commit 0c98c02fd7d64659ecfd89f0f17a53a8510a6fe2 Author: ModelHub XC Date: Tue Jul 7 20:19:13 2026 +0800 初始化项目，由ModelHub XC社区提供模型 Model: absltnull/predBor-v0.5 Source: Original Platform diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..a6344aa --- /dev/null +++ b/.gitattributes @@ -0,0 +1,35 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/LICENSE.md b/LICENSE.md new file mode 100644 index 0000000..2dfe4ab --- /dev/null +++ b/LICENSE.md @@ -0,0 +1,21 @@ +MIT License + +Copyright (c) 2026 Tarik Dedić + +Permission is hereby granted, free of charge, to any person obtaining a copy +of this software and associated documentation files (the "Software"), to deal +in the Software without restriction, including without limitation the rights +to use, copy, modify, merge, publish, distribute, sublicense, and/or sell +copies of the Software, and to permit persons to whom the Software is +furnished to do so, subject to the following conditions: + +The above copyright notice and this permission notice shall be included in all +copies or substantial portions of the Software. + +THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR +IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, +FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE +AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER +LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, +OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE +SOFTWARE. diff --git a/README.md b/README.md new file mode 100644 index 0000000..9920809 --- /dev/null +++ b/README.md @@ -0,0 +1,113 @@ +--- +tags: + - llm + - language-model + - causal-lm + - bosnian + - croatian + - serbian + - bcs + - balkan-languages + - llama + - 779m + - base-model + - undertrained + - multilingual +language: + - bs + - hr + - sr + - en +license: mit +base_model: none +pipeline_tag: text-generation +--- + +![predbor-logo](https://cdn-uploads.huggingface.co/production/uploads/65c541febbc318a59e31cd4e/WV5wW7E7I70JxUajZJLvw.png) + +## predBor-v0.5 + +A preview of predBor, a small language model built from the ground up to natively understand Bosnian/Croatian/Serbian while supporting English. + +**NOTE THAT THIS IS A BASE LANGUAGE MODEL. IT DOES NOT POSSESS THE ABILITY TO CHAT OR ANSWER QUESTIONS, ONLY CONTINUE TEXT.** + +### Architecture Details +- **Type:** Causal Language Model +- **Parameters:** 779M +- **Architecture:** LLaMA +- **Context window:** 4096 tokens +- **Tokenizer:** Bor-v2 +- **Dataset:** Bor-CORPUS-22B + +This repo contains an undertrained checkpoint of the predBor language model which has only seen 11B tokens of data, yet still shows promising performance on all four supported languages. + +### Emerging Capabilities +Even undertrained, predBor is starting to display some emerging skills in different fields, only serving to show the quality of its data and architecture. Notable achievements: + +- **Translation:** The model has developed semantic mapping between BCS and English, being able to translate words (and sometimes phrases) with the right prompt. +- **Fact memorization:** The model has seen enough data to show surprising amounts of general world knowledge, such as viable medical advice, historical facts, recipes with logically correct steps and ingredients, and the capital city to every country there is... for some reason. +- **Question answering:** When prompted with a question and the beginning of an answer (e.g., "The meaning of life is"), it delivers a somewhat viable answer depending on the topic. The model's current state impacts its overall intelligence, meaning some answers will be hallucinated. This does not represent the final state of the project. +- **And more.** Feel free to download and test the model yourself. + +## English Benchmark Comparison (0-shot lm-eval) + +**predBor-v0.5** (from-scratch, BCS-primary, early v0.5 checkpoint, 11B tokens) +vs +**gpt2-orao** (GPT-2 Large, finished Serbian model) + +| Task | predBor-v0.5 | gpt2-orao | +|-------------------|--------------|-----------| +| HellaSwag acc_norm| **34.5%** | 26.8% | +| ARC-Challenge acc_norm | 23.8% | **25.9%** | + +*Note: predBor evaluated on RTX 2050, full results JSONs attached.* + +### How to run + +#### Hugging Face Transformers (for quick testing) + +```bash +pip install transformers torch accelerate +``` + +Then, + +```python +from transformers import AutoModelForCausalLM, AutoTokenizer +import torch + +model_name = "absltnull/predBor-v0.5" + +tokenizer = AutoTokenizer.from_pretrained(model_name) +model = AutoModelForCausalLM.from_pretrained( + model_name, + torch_dtype=torch.bfloat16, + device_map="auto", + trust_remote_code=True +) + +prompt = "Glavni grad Bosne i Hercegovine je" + +inputs = tokenizer(prompt, return_tensors="pt").to(model.device) + +output = model.generate( + **inputs, + max_new_tokens=256, + temperature=0.7, + top_p=0.9, + repetition_penalty=1.1, + do_sample=True +) + +print(tokenizer.decode(output[0], skip_special_tokens=True)) +``` + +**System requirements** +- 3.2 GB storage (full model) +- 2+ GB VRAM/RAM for full bf16/fp16 + +--- + +The model is deliberately released in this raw base state so the community can see the real quality of the training data before any continued pretraining, post-training or alignment is applied. + +Feel free to fine-tune. The finished version of predBor will be out soon. \ No newline at end of file diff --git a/config.json b/config.json new file mode 100644 index 0000000..9062e69 --- /dev/null +++ b/config.json @@ -0,0 +1,32 @@ +{ + "architectures": [ + "LlamaForCausalLM" + ], + "attention_bias": false, + "attention_dropout": 0.0, + "bos_token_id": 1, + "dtype": "float32", + "eos_token_id": 3, + "head_dim": 96, + "hidden_act": "silu", + "hidden_size": 1536, + "initializer_range": 0.02, + "intermediate_size": 4096, + "max_position_embeddings": 4096, + "mlp_bias": false, + "model_type": "llama", + "num_attention_heads": 16, + "num_hidden_layers": 24, + "num_key_value_heads": 16, + "pad_token_id": 3, + "pretraining_tp": 1, + "rms_norm_eps": 1e-05, + "rope_parameters": { + "rope_theta": 10000.0, + "rope_type": "default" + }, + "tie_word_embeddings": true, + "transformers_version": "5.6.2", + "use_cache": false, + "vocab_size": 65000 +} diff --git a/generation_config.json b/generation_config.json new file mode 100644 index 0000000..106830f --- /dev/null +++ b/generation_config.json @@ -0,0 +1,10 @@ +{ + "_from_model_config": true, + "bos_token_id": 1, + "eos_token_id": 3, + "output_attentions": false, + "output_hidden_states": false, + "pad_token_id": 3, + "transformers_version": "5.6.2", + "use_cache": true +} diff --git a/model.safetensors b/model.safetensors new file mode 100644 index 0000000..2a2f83b --- /dev/null +++ b/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:8fe59146b6b09d8355148bf5485ccc942947064ecb3100d9f3e5828e34c5248b +size 3117595024 diff --git a/optimizer.pt b/optimizer.pt new file mode 100644 index 0000000..d8056fc --- /dev/null +++ b/optimizer.pt @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:2a53c3ada42f5fc7c1256e680e0f4453db70bfcca1b3bb2e03e8e822524fd9e8 +size 792133451 diff --git a/predbor-logo.png b/predbor-logo.png new file mode 100644 index 0000000..5b32e9f Binary files /dev/null and b/predbor-logo.png differ diff --git a/results_gpt2-orao.json b/results_gpt2-orao.json new file mode 100644 index 0000000..ca804a7 --- /dev/null +++ b/results_gpt2-orao.json @@ -0,0 +1,202 @@ +{ + "results": { + "hellaswag": { + "name": "hellaswag", + "alias": "hellaswag", + "sample_len": 10042, + "acc,none": 0.26926906990639315, + "acc_stderr,none": 0.00442673471880892, + "acc_norm,none": 0.2680740888269269, + "acc_norm_stderr,none": 0.004420511215131016 + }, + "arc_challenge": { + "name": "arc_challenge", + "alias": "arc_challenge", + "sample_len": 1172, + "acc,none": 0.1945392491467577, + "acc_stderr,none": 0.011567709174648728, + "acc_norm,none": 0.2593856655290102, + "acc_norm_stderr,none": 0.012808273573927099 + } + }, + "group_subtasks": {}, + "configs": { + "arc_challenge": { + "task": "arc_challenge", + "dataset_path": "allenai/ai2_arc", + "dataset_name": "ARC-Challenge", + "training_split": "train", + "validation_split": "validation", + "test_split": "test", + "doc_to_text": "Question: {{question}}\nAnswer:", + "doc_to_target": "{{choices.label.index(answerKey)}}", + "unsafe_code": false, + "doc_to_choice": "{{choices.text}}", + "description": "", + "target_delimiter": " ", + "fewshot_delimiter": "\n\n", + "fewshot_config": { + "sampler": "default", + "split": null, + "process_docs": null, + "fewshot_indices": null, + "samples": null, + "doc_to_text": "Question: {{question}}\nAnswer:", + "doc_to_choice": "{{choices.text}}", + "doc_to_target": "{{choices.label.index(answerKey)}}", + "gen_prefix": null, + "fewshot_delimiter": "\n\n", + "target_delimiter": " " + }, + "num_fewshot": 0, + "metric_list": [ + { + "metric": "acc", + "aggregation": "mean", + "higher_is_better": true + }, + { + "metric": "acc_norm", + "aggregation": "mean", + "higher_is_better": true + } + ], + "output_type": "multiple_choice", + "repeats": 1, + "should_decontaminate": true, + "doc_to_decontamination_query": "Question: {{question}}\nAnswer:", + "metadata": { + "version": 1.0, + "pretrained": "jerteh/gpt2-orao", + "config_source": "C:\\Users\\User\\AppData\\Local\\Programs\\Python\\Python310\\lib\\site-packages\\lm_eval\\tasks\\arc\\arc_challenge.yaml" + } + }, + "hellaswag": { + "task": "hellaswag", + "dataset_path": "Rowan/hellaswag", + "training_split": "train", + "validation_split": "validation", + "process_docs": "def process_docs(dataset: datasets.Dataset) -> datasets.Dataset:\n def _process_doc(doc):\n ctx = doc[\"ctx_a\"] + \" \" + doc[\"ctx_b\"].capitalize()\n out_doc = {\n \"query\": preprocess(doc[\"activity_label\"] + \": \" + ctx),\n \"choices\": [preprocess(ending) for ending in doc[\"endings\"]],\n \"gold\": int(doc[\"label\"]),\n }\n return out_doc\n\n return dataset.map(_process_doc)\n", + "doc_to_text": "{{query}}", + "doc_to_target": "{{label}}", + "unsafe_code": false, + "doc_to_choice": "choices", + "description": "", + "target_delimiter": " ", + "fewshot_delimiter": "\n\n", + "fewshot_config": { + "sampler": "default", + "split": null, + "process_docs": "", + "fewshot_indices": null, + "samples": null, + "doc_to_text": "{{query}}", + "doc_to_choice": "choices", + "doc_to_target": "{{label}}", + "gen_prefix": null, + "fewshot_delimiter": "\n\n", + "target_delimiter": " " + }, + "num_fewshot": 0, + "metric_list": [ + { + "metric": "acc", + "aggregation": "mean", + "higher_is_better": true + }, + { + "metric": "acc_norm", + "aggregation": "mean", + "higher_is_better": true + } + ], + "output_type": "multiple_choice", + "repeats": 1, + "should_decontaminate": false, + "metadata": { + "version": 1.0, + "pretrained": "jerteh/gpt2-orao", + "config_source": "C:\\Users\\User\\AppData\\Local\\Programs\\Python\\Python310\\lib\\site-packages\\lm_eval\\tasks\\hellaswag\\hellaswag.yaml" + } + } + }, + "versions": { + "arc_challenge": 1.0, + "hellaswag": 1.0 + }, + "n-shot": { + "arc_challenge": 0, + "hellaswag": 0 + }, + "higher_is_better": { + "arc_challenge": { + "acc": true, + "acc_norm": true + }, + "hellaswag": { + "acc": true, + "acc_norm": true + } + }, + "n-samples": { + "hellaswag": { + "original": 10042, + "effective": 10042 + }, + "arc_challenge": { + "original": 1172, + "effective": 1172 + } + }, + "config": { + "model": "hf", + "model_args": { + "pretrained": "jerteh/gpt2-orao" + }, + "model_num_parameters": 772615680, + "model_dtype": "torch.float32", + "model_revision": "main", + "model_sha": "a7dfec6b4290bcb48e579e13e39d20d0ea574449", + "batch_size": "4", + "batch_sizes": [], + "device": "cuda:0", + "use_cache": null, + "limit": null, + "bootstrap_iters": 100000, + "gen_kwargs": {}, + "random_seed": 0, + "numpy_seed": 1234, + "torch_seed": 1234, + "fewshot_seed": 1234 + }, + "git_hash": null, + "date": 1782051514.3003025, + "pretty_env_info": "PyTorch version: 2.11.0+cu130\nIs debug build: False\nCUDA used to build PyTorch: 13.0\nROCM used to build PyTorch: N/A\n\nOS: Microsoft Windows 11 Pro (10.0.26200 64-bit)\nGCC version: Could not collect\nClang version: Could not collect\nCMake version: Could not collect\nLibc version: N/A\n\nPython version: 3.10.9 (tags/v3.10.9:1dd9be6, Dec 6 2022, 20:01:21) [MSC v.1934 64 bit (AMD64)] (64-bit runtime)\nPython platform: Windows-10-10.0.26200-SP0\nIs CUDA available: True\nCUDA runtime version: 13.0.48\r\nCUDA_MODULE_LOADING set to: \nGPU models and configuration: GPU 0: NVIDIA GeForce RTX 2050\nNvidia driver version: 591.86\ncuDNN version: Could not collect\nIs XPU available: False\nHIP runtime version: N/A\nMIOpen runtime version: N/A\nIs XNNPACK available: True\nCaching allocator config: N/A\n\nCPU:\nName: 12th Gen Intel(R) Core(TM) i5-12450H\nManufacturer: GenuineIntel\nFamily: 205\nArchitecture: 9\nProcessorType: 3\nDeviceID: CPU0\nCurrentClockSpeed: 2000\nMaxClockSpeed: 2000\nL2CacheSize: 7168\nL2CacheSpeed: None\nRevision: None\n\nVersions of relevant libraries:\n[pip3] flash_attn==2.8.3+cu130torch2.11\n[pip3] numpy==2.2.6\n[pip3] optree==0.18.0\n[pip3] rotary-embedding-torch==0.6.4\n[pip3] torch==2.11.0+cu130\n[pip3] torchaudio==2.11.0+cu130\n[pip3] torchcrepe==0.0.20\n[pip3] torchgen==0.0.1\n[pip3] torchvision==0.26.0+cu130\n[conda] Could not collect", + "transformers_version": "5.12.0", + "lm_eval_version": "0.4.12", + "upper_git_hash": null, + "tokenizer_pad_token": [ + "<|endoftext|>", + "49152" + ], + "tokenizer_eos_token": [ + "<|endoftext|>", + "49152" + ], + "tokenizer_bos_token": [ + "<|endoftext|>", + "49152" + ], + "eot_token_id": 49152, + "max_length": 1024, + "task_hashes": {}, + "model_source": "hf", + "model_name": "jerteh/gpt2-orao", + "model_name_sanitized": "jerteh__gpt2-orao", + "system_instruction": null, + "system_instruction_sha": null, + "fewshot_as_multiturn": null, + "chat_template": null, + "chat_template_sha": null, + "total_evaluation_time_seconds": "4028.2001800000007" +} \ No newline at end of file diff --git a/results_predBor.json b/results_predBor.json new file mode 100644 index 0000000..3f5e9c6 --- /dev/null +++ b/results_predBor.json @@ -0,0 +1,202 @@ +{ + "results": { + "hellaswag": { + "name": "hellaswag", + "alias": "hellaswag", + "sample_len": 10042, + "acc,none": 0.3040231029675364, + "acc_stderr,none": 0.00459052357205796, + "acc_norm,none": 0.34534953196574386, + "acc_norm_stderr,none": 0.004745103543901273 + }, + "arc_challenge": { + "name": "arc_challenge", + "alias": "arc_challenge", + "sample_len": 1172, + "acc,none": 0.18430034129692832, + "acc_stderr,none": 0.011330517933037408, + "acc_norm,none": 0.2380546075085324, + "acc_norm_stderr,none": 0.012445770028026208 + } + }, + "group_subtasks": {}, + "configs": { + "arc_challenge": { + "task": "arc_challenge", + "dataset_path": "allenai/ai2_arc", + "dataset_name": "ARC-Challenge", + "training_split": "train", + "validation_split": "validation", + "test_split": "test", + "doc_to_text": "Question: {{question}}\nAnswer:", + "doc_to_target": "{{choices.label.index(answerKey)}}", + "unsafe_code": false, + "doc_to_choice": "{{choices.text}}", + "description": "", + "target_delimiter": " ", + "fewshot_delimiter": "\n\n", + "fewshot_config": { + "sampler": "default", + "split": null, + "process_docs": null, + "fewshot_indices": null, + "samples": null, + "doc_to_text": "Question: {{question}}\nAnswer:", + "doc_to_choice": "{{choices.text}}", + "doc_to_target": "{{choices.label.index(answerKey)}}", + "gen_prefix": null, + "fewshot_delimiter": "\n\n", + "target_delimiter": " " + }, + "num_fewshot": 0, + "metric_list": [ + { + "metric": "acc", + "aggregation": "mean", + "higher_is_better": true + }, + { + "metric": "acc_norm", + "aggregation": "mean", + "higher_is_better": true + } + ], + "output_type": "multiple_choice", + "repeats": 1, + "should_decontaminate": true, + "doc_to_decontamination_query": "Question: {{question}}\nAnswer:", + "metadata": { + "version": 1.0, + "pretrained": "absltnull/predBor-v0.5", + "config_source": "C:\\Users\\User\\AppData\\Local\\Programs\\Python\\Python310\\lib\\site-packages\\lm_eval\\tasks\\arc\\arc_challenge.yaml" + } + }, + "hellaswag": { + "task": "hellaswag", + "dataset_path": "Rowan/hellaswag", + "training_split": "train", + "validation_split": "validation", + "process_docs": "def process_docs(dataset: datasets.Dataset) -> datasets.Dataset:\n def _process_doc(doc):\n ctx = doc[\"ctx_a\"] + \" \" + doc[\"ctx_b\"].capitalize()\n out_doc = {\n \"query\": preprocess(doc[\"activity_label\"] + \": \" + ctx),\n \"choices\": [preprocess(ending) for ending in doc[\"endings\"]],\n \"gold\": int(doc[\"label\"]),\n }\n return out_doc\n\n return dataset.map(_process_doc)\n", + "doc_to_text": "{{query}}", + "doc_to_target": "{{label}}", + "unsafe_code": false, + "doc_to_choice": "choices", + "description": "", + "target_delimiter": " ", + "fewshot_delimiter": "\n\n", + "fewshot_config": { + "sampler": "default", + "split": null, + "process_docs": "", + "fewshot_indices": null, + "samples": null, + "doc_to_text": "{{query}}", + "doc_to_choice": "choices", + "doc_to_target": "{{label}}", + "gen_prefix": null, + "fewshot_delimiter": "\n\n", + "target_delimiter": " " + }, + "num_fewshot": 0, + "metric_list": [ + { + "metric": "acc", + "aggregation": "mean", + "higher_is_better": true + }, + { + "metric": "acc_norm", + "aggregation": "mean", + "higher_is_better": true + } + ], + "output_type": "multiple_choice", + "repeats": 1, + "should_decontaminate": false, + "metadata": { + "version": 1.0, + "pretrained": "absltnull/predBor-v0.5", + "config_source": "C:\\Users\\User\\AppData\\Local\\Programs\\Python\\Python310\\lib\\site-packages\\lm_eval\\tasks\\hellaswag\\hellaswag.yaml" + } + } + }, + "versions": { + "arc_challenge": 1.0, + "hellaswag": 1.0 + }, + "n-shot": { + "arc_challenge": 0, + "hellaswag": 0 + }, + "higher_is_better": { + "arc_challenge": { + "acc": true, + "acc_norm": true + }, + "hellaswag": { + "acc": true, + "acc_norm": true + } + }, + "n-samples": { + "hellaswag": { + "original": 10042, + "effective": 10042 + }, + "arc_challenge": { + "original": 1172, + "effective": 1172 + } + }, + "config": { + "model": "hf", + "model_args": { + "pretrained": "absltnull/predBor-v0.5" + }, + "model_num_parameters": 779392512, + "model_dtype": "torch.float32", + "model_revision": "main", + "model_sha": "d2f6884ce777628ec6e05aba33b2154c0fc01890", + "batch_size": "4", + "batch_sizes": [], + "device": "cuda:0", + "use_cache": null, + "limit": null, + "bootstrap_iters": 100000, + "gen_kwargs": {}, + "random_seed": 0, + "numpy_seed": 1234, + "torch_seed": 1234, + "fewshot_seed": 1234 + }, + "git_hash": null, + "date": 1782048025.6308908, + "pretty_env_info": "PyTorch version: 2.11.0+cu130\nIs debug build: False\nCUDA used to build PyTorch: 13.0\nROCM used to build PyTorch: N/A\n\nOS: Microsoft Windows 11 Pro (10.0.26200 64-bit)\nGCC version: Could not collect\nClang version: Could not collect\nCMake version: Could not collect\nLibc version: N/A\n\nPython version: 3.10.9 (tags/v3.10.9:1dd9be6, Dec 6 2022, 20:01:21) [MSC v.1934 64 bit (AMD64)] (64-bit runtime)\nPython platform: Windows-10-10.0.26200-SP0\nIs CUDA available: True\nCUDA runtime version: 13.0.48\r\nCUDA_MODULE_LOADING set to: \nGPU models and configuration: GPU 0: NVIDIA GeForce RTX 2050\nNvidia driver version: 591.86\ncuDNN version: Could not collect\nIs XPU available: False\nHIP runtime version: N/A\nMIOpen runtime version: N/A\nIs XNNPACK available: True\nCaching allocator config: N/A\n\nCPU:\nName: 12th Gen Intel(R) Core(TM) i5-12450H\nManufacturer: GenuineIntel\nFamily: 205\nArchitecture: 9\nProcessorType: 3\nDeviceID: CPU0\nCurrentClockSpeed: 2000\nMaxClockSpeed: 2000\nL2CacheSize: 7168\nL2CacheSpeed: None\nRevision: None\n\nVersions of relevant libraries:\n[pip3] flash_attn==2.8.3+cu130torch2.11\n[pip3] numpy==2.2.6\n[pip3] optree==0.18.0\n[pip3] rotary-embedding-torch==0.6.4\n[pip3] torch==2.11.0+cu130\n[pip3] torchaudio==2.11.0+cu130\n[pip3] torchcrepe==0.0.20\n[pip3] torchgen==0.0.1\n[pip3] torchvision==0.26.0+cu130\n[conda] Could not collect", + "transformers_version": "5.12.0", + "lm_eval_version": "0.4.12", + "upper_git_hash": null, + "tokenizer_pad_token": [ + "", + "0" + ], + "tokenizer_eos_token": [ + "", + "2" + ], + "tokenizer_bos_token": [ + "", + "1" + ], + "eot_token_id": 2, + "max_length": 4096, + "task_hashes": {}, + "model_source": "hf", + "model_name": "absltnull/predBor-v0.5", + "model_name_sanitized": "absltnull__predBor-v0.5", + "system_instruction": null, + "system_instruction_sha": null, + "fewshot_as_multiturn": null, + "chat_template": null, + "chat_template_sha": null, + "total_evaluation_time_seconds": "2531.7302202" +} \ No newline at end of file diff --git a/rng_state.pth b/rng_state.pth new file mode 100644 index 0000000..a087ff4 --- /dev/null +++ b/rng_state.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:93d8bb2aa07f82547f623b18dbff71b8098d135161e4cfc79e3d9f7d04080432 +size 14645 diff --git a/scheduler.pt b/scheduler.pt new file mode 100644 index 0000000..78defb8 --- /dev/null +++ b/scheduler.pt @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:673be6a7c33be57a826a89dc4844cc1013baa23001e2b017ddb416838b3e03f7 +size 1465 diff --git a/tokenizer.model b/tokenizer.model new file mode 100644 index 0000000..20b47eb --- /dev/null +++ b/tokenizer.model @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:cf008fac88fe2eaa753a83f3f085fc14e58858a17e06fe004464b8fbb1eb6453 +size 1182445 diff --git a/tokenizer.vocab b/tokenizer.vocab new file mode 100644 index 0000000..e2e7acc --- /dev/null +++ b/tokenizer.vocab @@ -0,0 +1,65000 @@ + 0 + 0 + 0 +<__end__> 0 +<__end_turn__> 0 +<0x00> 0 +<0x01> 0 +<0x02> 0 +<0x03> 0 +<0x04> 0 +<0x05> 0 +<0x06> 0 +<0x07> 0 +<0x08> 0 +<0x09> 0 +<0x0A> 0 +<0x0B> 0 +<0x0C> 0 +<0x0D> 0 +<0x0E> 0 +<0x0F> 0 +<0x10> 0 +<0x11> 0 +<0x12> 0 +<0x13> 0 +<0x14> 0 +<0x15> 0 +<0x16> 0 +<0x17> 0 +<0x18> 0 +<0x19> 0 +<0x1A> 0 +<0x1B> 0 +<0x1C> 0 +<0x1D> 0 +<0x1E> 0 +<0x1F> 0 +<0x20> 0 +<0x21> 0 +<0x22> 0 +<0x23> 0 +<0x24> 0 +<0x25> 0 +<0x26> 0 +<0x27> 0 +<0x28> 0 +<0x29> 0 +<0x2A> 0 +<0x2B> 0 +<0x2C> 0 +<0x2D> 0 +<0x2E> 0 +<0x2F> 0 +<0x30> 0 +<0x31> 0 +<0x32> 0 +<0x33> 0 +<0x34> 0 +<0x35> 0 +<0x36> 0 +<0x37> 0 +<0x38> 0 +<0x39> 0 +<0x3A> 0 +<0x3B> 0 +<0x3C> 0 +<0x3D> 0 +<0x3E> 0 +<0x3F> 0 +<0x40> 0 +<0x41> 0 +<0x42> 0 +<0x43> 0 +<0x44> 0 +<0x45> 0 +<0x46> 0 +<0x47> 0 +<0x48> 0 +<0x49> 0 +<0x4A> 0 +<0x4B> 0 +<0x4C> 0 +<0x4D> 0 +<0x4E> 0 +<0x4F> 0 +<0x50> 0 +<0x51> 0 +<0x52> 0 +<0x53> 0 +<0x54> 0 +<0x55> 0 +<0x56> 0 +<0x57> 0 +<0x58> 0 +<0x59> 0 +<0x5A> 0 +<0x5B> 0 +<0x5C> 0 +<0x5D> 0 +<0x5E> 0 +<0x5F> 0 +<0x60> 0 +<0x61> 0 +<0x62> 0 +<0x63> 0 +<0x64> 0 +<0x65> 0 +<0x66> 0 +<0x67> 0 +<0x68> 0 +<0x69> 0 +<0x6A> 0 +<0x6B> 0 +<0x6C> 0 +<0x6D> 0 +<0x6E> 0 +<0x6F> 0 +<0x70> 0 +<0x71> 0 +<0x72> 0 +<0x73> 0 +<0x74> 0 +<0x75> 0 +<0x76> 0 +<0x77> 0 +<0x78> 0 +<0x79> 0 +<0x7A> 0 +<0x7B> 0 +<0x7C> 0 +<0x7D> 0 +<0x7E> 0 +<0x7F> 0 +<0x80> 0 +<0x81> 0 +<0x82> 0 +<0x83> 0 +<0x84> 0 +<0x85> 0 +<0x86> 0 +<0x87> 0 +<0x88> 0 +<0x89> 0 +<0x8A> 0 +<0x8B> 0 +<0x8C> 0 +<0x8D> 0 +<0x8E> 0 +<0x8F> 0 +<0x90> 0 +<0x91> 0 +<0x92> 0 +<0x93> 0 +<0x94> 0 +<0x95> 0 +<0x96> 0 +<0x97> 0 +<0x98> 0 +<0x99> 0 +<0x9A> 0 +<0x9B> 0 +<0x9C> 0 +<0x9D> 0 +<0x9E> 0 +<0x9F> 0 +<0xA0> 0 +<0xA1> 0 +<0xA2> 0 +<0xA3> 0 +<0xA4> 0 +<0xA5> 0 +<0xA6> 0 +<0xA7> 0 +<0xA8> 0 +<0xA9> 0 +<0xAA> 0 +<0xAB> 0 +<0xAC> 0 +<0xAD> 0 +<0xAE> 0 +<0xAF> 0 +<0xB0> 0 +<0xB1> 0 +<0xB2> 0 +<0xB3> 0 +<0xB4> 0 +<0xB5> 0 +<0xB6> 0 +<0xB7> 0 +<0xB8> 0 +<0xB9> 0 +<0xBA> 0 +<0xBB> 0 +<0xBC> 0 +<0xBD> 0 +<0xBE> 0 +<0xBF> 0 +<0xC0> 0 +<0xC1> 0 +<0xC2> 0 +<0xC3> 0 +<0xC4> 0 +<0xC5> 0 +<0xC6> 0 +<0xC7> 0 +<0xC8> 0 +<0xC9> 0 +<0xCA> 0 +<0xCB> 0 +<0xCC> 0 +<0xCD> 0 +<0xCE> 0 +<0xCF> 0 +<0xD0> 0 +<0xD1> 0 +<0xD2> 0 +<0xD3> 0 +<0xD4> 0 +<0xD5> 0 +<0xD6> 0 +<0xD7> 0 +<0xD8> 0 +<0xD9> 0 +<0xDA> 0 +<0xDB> 0 +<0xDC> 0 +<0xDD> 0 +<0xDE> 0 +<0xDF> 0 +<0xE0> 0 +<0xE1> 0 +<0xE2> 0 +<0xE3> 0 +<0xE4> 0 +<0xE5> 0 +<0xE6> 0 +<0xE7> 0 +<0xE8> 0 +<0xE9> 0 +<0xEA> 0 +<0xEB> 0 +<0xEC> 0 +<0xED> 0 +<0xEE> 0 +<0xEF> 0 +<0xF0> 0 +<0xF1> 0 +<0xF2> 0 +<0xF3> 0 +<0xF4> 0 +<0xF5> 0 +<0xF6> 0 +<0xF7> 0 +<0xF8> 0 +<0xF9> 0 +<0xFA> 0 +<0xFB> 0 +<0xFC> 0 +<0xFD> 0 +<0xFE> 0 +<0xFF> 0 +, -3.25697 +. -3.69196 +▁i -4.15492 +▁the -4.29266 +▁je -4.31277 +▁u -4.40761 +. -4.47384 +s -4.53 +▁to -4.63213 + -4.68163 +▁da -4.70525 +▁a -4.71519 +▁and -4.78827 +a -4.85684 +▁of -4.89466 +▁se -4.96133 +▁na -4.98052 +▁za -5.21278 +▁in -5.29466 +e -5.37262 +- -5.38514 +▁su -5.44045 +m -5.55695 +u -5.59584 +▁ -5.62919 +i -5.63788 +▁is -5.68183 +▁od -5.69391 +o -5.70917 +▁for -5.79814 +▁I -5.80243 +▁- -5.81968 +: -5.84902 +▁that -5.85783 +▁sa -5.87842 +▁( -5.90238 +’ -5.9245 +▁on -5.99485 +▁you -6.06875 +▁koji -6.093 +▁with -6.09899 +) -6.14206 +▁ne -6.1454 +t -6.21733 +▁it -6.26885 +▁o -6.27753 +▁do -6.2843 +' -6.31371 +▁The -6.32219 +▁be -6.3422 +▁iz -6.34772 +▁are -6.37416 +▁“ -6.39414 +▁će -6.40565 +om -6.41499 +▁ -6.42568 +▁as -6.46726 +▁" -6.48492 +▁U -6.49247 +▁– -6.50659 +▁što -6.52217 +▁kao -6.56416 +▁was -6.58415 +▁or -6.60272 +▁at -6.64739 +▁have -6.65823 +▁bi -6.65926 +▁po -6.66171 +▁your -6.6804 +ma -6.68439 +▁s -6.69495 +▁this -6.69516 +▁from -6.70892 +▁by -6.74317 +ti -6.75094 +li -6.77856 +la -6.78183 +▁ili -6.79221 +ing -6.80922 +na -6.81852 +▁koje -6.82297 +te -6.83216 +▁can -6.83729 +ne -6.845 +▁A -6.85003 +▁an -6.86828 +▁not -6.88194 +d -6.88279 +h -6.88345 +▁will -6.88543 +▁nije -6.89263 +▁ali -6.89426 +▁„ -6.89786 +ed -6.89939 +g -6.94769 +▁godine -6.9521 +▁kako -6.97363 +▁sve -6.9988 +” -7.00913 +▁we -7.03129 +▁koja -7.04529 +▁sam -7.05534 +/ -7.07048 +ni -7.09072 +▁has -7.11079 +? -7.11086 +mo -7.14458 +▁one -7.14849 +▁te -7.166 +▁all -7.16952 +" -7.17143 +▁but -7.17788 +ju -7.21132 +▁more -7.21154 +▁biti -7.21378 +▁they -7.23148 +▁their -7.23237 +▁samo -7.23657 +▁he -7.25818 +j -7.25868 +re -7.26912 +ih -7.30374 +; -7.31754 +▁više -7.31856 +! -7.3213 +▁me -7.32929 +le -7.33194 +▁his -7.33812 +▁about -7.36931 +og -7.37598 +▁my -7.38268 +▁Na -7.39101 +▁up -7.39744 +▁smo -7.39992 +? -7.40025 +▁our -7.40138 +n -7.4197 +▁out -7.42105 +▁so -7.42151 +▁pa -7.42436 +no -7.44484 +▁time -7.44512 +▁which -7.44573 +▁može -7.47656 +▁S -7.48085 +lo -7.48247 +▁jer -7.48556 +im -7.49244 +: -7.49257 +▁bio -7.50905 +▁ima -7.51602 +▁It -7.51706 +“ -7.51859 +▁kada -7.52075 +er -7.52142 +▁mi -7.52419 +S -7.54257 +▁who -7.55068 +▁In -7.55446 +▁li -7.55714 +▁also -7.56093 +▁pre -7.56384 +ka -7.56791 +▁ga -7.57788 +▁još -7.59102 +▁bilo -7.59882 +y -7.60471 +▁To -7.61121 +▁tako -7.6253 +je -7.63275 +... -7.63587 +▁već -7.64124 +ima -7.64682 +! -7.65071 +ve -7.6573 +▁zbog -7.65784 +ly -7.66244 +▁been -7.66359 +ja -7.66373 +▁had -7.67077 +nja -7.67793 +▁her -7.67864 +A -7.68029 +▁like -7.68388 +▁were -7.68547 +nu -7.69344 +▁This -7.69357 +▁when -7.69855 +▁dana -7.7223 +▁if -7.7228 +▁what -7.72397 +▁We -7.73216 +▁other -7.73445 +▁no -7.74018 +▁there -7.75891 +), -7.75966 +▁godina -7.77131 +r -7.77461 +▁| -7.77945 +▁would -7.78517 +▁2 -7.79467 +▁mogu -7.79516 +▁some -7.79984 +nje -7.81112 +▁nakon -7.81669 +▁into -7.81678 +▁bez -7.83363 +ci -7.83567 +▁just -7.83636 +I -7.85137 +▁dok -7.85567 +▁new -7.85596 +▁mu -7.8583 +▁get -7.86145 +ca -7.86904 +▁Za -7.87083 +▁ni -7.87465 +▁BiH -7.87536 +▁O -7.88961 +▁said -7.89155 +▁than -7.8969 +▁people -7.89937 +▁them -7.90569 +▁kod -7.90576 +k -7.91387 +▁over -7.91467 +▁oko -7.91503 +▁uz -7.91534 +▁1 -7.9159 +▁3 -7.92256 +š -7.93301 +an -7.94345 +▁any -7.9461 +ce -7.95573 +▁jedan -7.95866 +▁ove -7.96004 +▁rekao -7.96364 +c -7.96778 +▁treba -7.96996 +▁its -7.97472 +in -7.97571 +▁ljudi -7.98292 +▁danas -7.99099 +▁ako -8.00392 +▁first -8.00526 +▁make -8.00625 +). -8.0154 +▁Da -8.01562 +▁put -8.01702 +▁how -8.01804 +▁only -8.0206 +▁bila -8.02287 +▁svoje -8.02748 +▁most -8.02988 +▁protiv -8.03174 +▁Ne -8.03351 +▁toga -8.03585 +oj -8.04478 +▁pod -8.04539 +▁ih -8.04673 +▁He -8.04689 +▁may -8.05829 +▁10 -8.06583 +▁You -8.06696 +D -8.07174 +▁prema -8.07928 +| -8.08169 +com -8.08177 +▁Srbije -8.08412 +▁tri -8.0929 +▁she -8.09321 +nih -8.09431 +▁5 -8.09738 +nog -8.1032 +ll -8.104 +▁sada -8.11293 +▁If -8.11417 +nom -8.11445 +▁work -8.1145 +▁these -8.12512 +▁well -8.12908 +▁nisu -8.13628 +▁nego -8.13846 +▁two -8.1411 +ke -8.14748 +▁E -8.15141 +”, -8.16005 +▁use -8.16153 +.” -8.16351 +▁dva -8.16666 +▁ja -8.18444 +es -8.18506 +l -8.19041 +▁4 -8.19614 +▁koju -8.19778 +▁way -8.20389 +▁način -8.20652 +▁very -8.20738 +▁On -8.2121 +▁tu -8.21717 +▁pri -8.21759 +to -8.21961 +al -8.22079 +ta -8.2221 +C -8.2266 +▁through -8.23592 +▁ko -8.23756 +▁many -8.2377 +▁years -8.23844 +▁back -8.24201 +", -8.25092 +▁need -8.25261 +U -8.25462 +▁radi -8.25501 +▁know -8.25733 +▁ti -8.25741 +▁B -8.25897 +nim -8.26888 +th -8.27025 +▁after -8.2774 +▁nema -8.27802 +] -8.28019 +▁could -8.28023 +▁vam -8.28273 +▁ste -8.28402 +▁nam -8.28655 +▁Po -8.29046 +ba -8.29218 +▁then -8.29357 +▁good -8.29749 +“, -8.2998 +▁year -8.30159 +▁And -8.30446 +▁broj -8.3066 +▁nekoliko -8.30773 +… -8.31336 +▁šta -8.31464 +▁now -8.31473 +▁because -8.32051 +p -8.3211 +▁C -8.32211 +▁ovaj -8.32234 +▁where -8.32696 +▁even -8.32704 +▁kad -8.32976 +▁& -8.33021 +▁20 -8.33038 +nju -8.33084 +2 -8.33315 +▁[ -8.34046 +de -8.34888 +▁go -8.35309 +▁kaže -8.35618 +▁bude -8.35911 +▁nas -8.3594 +▁imaju -8.36386 +▁should -8.36977 +▁help -8.38001 +▁much -8.38528 +▁re -8.38665 +E -8.3872 +▁M -8.39278 +▁So -8.39452 +▁him -8.39463 +а -8.39596 +▁such -8.39746 +▁ovog -8.39887 +▁e -8.39888 +▁preko -8.39983 +▁ovo -8.40008 +▁između -8.40364 +▁want -8.40402 +▁But -8.40461 +▁Do -8.40612 +▁tome -8.40733 +▁For -8.40884 +▁don -8.41196 +▁kojima -8.41376 +or -8.41524 +▁tokom -8.42409 +▁take -8.42596 +▁kroz -8.4343 +|| -8.43861 +▁svi -8.44023 +▁best -8.44347 +▁day -8.44765 +ku -8.45013 +▁bili -8.45147 +▁D -8.45315 +▁taj -8.4547 +▁being -8.45868 +ski -8.46001 +▁18 -8.46268 +▁see -8.46578 +O -8.47285 +▁here -8.47362 +▁' -8.47382 +▁strane -8.47686 +▁Kako -8.47779 +▁before -8.47814 +▁nešto -8.48047 +▁dobro -8.48261 +▁made -8.48288 +▁možete -8.48341 +st -8.48544 +1 -8.48568 +▁de -8.48707 +ra -8.48717 +▁those -8.48807 +▁oni -8.49025 +z -8.49149 +▁ovom -8.49331 +▁P -8.49363 +▁right -8.49469 +▁Ako -8.49794 +ske -8.49928 +▁im -8.4993 +▁As -8.49959 +▁‘ -8.50338 +▁prvi -8.51209 +▁No -8.51241 +▁us -8.51318 +b -8.51675 +ska -8.51679 +▁onda -8.51976 +▁15 -8.52244 +će -8.5251 +▁pred -8.52569 +da -8.52596 +x -8.52757 +▁mnogo -8.52766 +▁— -8.52788 +za -8.53312 +▁life -8.53412 +▁12 -8.53482 +." -8.53619 +▁prije -8.53782 +va -8.54031 +▁information -8.54654 +ers -8.54962 +▁home -8.55365 +▁malo -8.555 +▁6 -8.55714 +▁neće -8.55764 +▁svoj -8.55977 +v -8.56047 +▁great -8.56466 +▁down -8.56813 +me -8.57009 +▁Od -8.57176 +G -8.57365 +▁si -8.58097 +▁off -8.58169 +▁world -8.58172 +▁druge -8.58765 +ga -8.58893 +em -8.59186 +▁used -8.5951 +▁problem -8.59529 +▁tim -8.59742 +▁vas -8.60436 +ko -8.60613 +▁think -8.60699 +▁while -8.61047 +ći -8.61069 +▁pro -8.61324 +▁There -8.61345 +▁last -8.61347 +▁K -8.61419 +▁puta -8.61853 +P -8.61901 +▁find -8.61995 +▁vreme -8.62014 +B -8.62069 +▁30 -8.62082 +K -8.62175 +▁really -8.62839 +ova -8.63008 +▁own -8.63055 +▁same -8.63444 +▁going -8.6363 +M -8.63833 +▁svih -8.6429 +3 -8.64668 +▁They -8.65063 +▁svojim -8.65141 +▁each -8.65174 +▁njih -8.65484 +▁kojoj -8.65807 +cu -8.65999 +▁around -8.66008 +▁ka -8.66072 +▁Sa -8.66107 +4 -8.66339 +▁dan -8.66527 +▁čak -8.66628 +en -8.66635 +▁7 -8.67295 +▁dalje -8.67328 +▁program -8.67824 +▁part -8.6796 +▁New -8.68015 +▁long -8.68639 +on -8.68733 +▁still -8.68777 +▁/ -8.69055 +rs -8.6957 +▁odnosno -8.70067 +▁ta -8.70486 +▁jednom -8.70501 +▁gdje -8.70535 +▁business -8.70589 +▁8 -8.70601 +man -8.70678 +▁svoju -8.70767 +▁Re -8.70899 +▁high -8.71419 +е -8.72049 +▁ona -8.72357 +▁both -8.72481 +▁pet -8.72534 +▁Ali -8.72637 +▁gde -8.7304 +▁vrijeme -8.73334 +▁between -8.73433 +▁koliko -8.74195 +▁jedna -8.7426 +▁G -8.74531 +▁T -8.74648 +▁every -8.75001 +▁Srbiji -8.75064 +▁mora -8.75104 +▁drugi -8.75358 +▁rad -8.76045 +▁different -8.76226 +▁online -8.7629 +▁place -8.76322 +▁neki -8.76419 +▁nalazi -8.76601 +▁look -8.76669 +▁miliona -8.76705 +▁video -8.76998 +▁veoma -8.77409 +▁What -8.77557 +▁ono -8.77987 +ovi -8.78301 +ki -8.78564 +▁did -8.78758 +▁under -8.78955 +T -8.79633 +▁three -8.80116 +▁Ja -8.80337 +▁sto -8.80843 +▁postoji -8.81158 +▁Nakon -8.81263 +▁free -8.8145 +V -8.8189 +▁She -8.82276 +▁R -8.8239 +▁few -8.82529 +▁When -8.83141 +▁svim -8.83145 +▁things -8.83479 +▁H -8.83525 +ji -8.83593 +▁11 -8.83648 +,” -8.8375 +do -8.84058 +▁prava -8.84158 +▁little -8.84207 +sa -8.84537 +sti -8.84591 +▁F -8.848 +▁Mi -8.8491 +▁vremena -8.84979 +▁love -8.85276 +▁per -8.85397 +▁vrlo -8.85629 +▁1. -8.86213 +▁come -8.86932 +ija -8.87129 +▁using -8.87197 +▁L -8.87265 +▁vi -8.87657 +▁među -8.88066 +▁: -8.88165 +▁posebno -8.88165 +be -8.88511 +▁during -8.88515 +▁set -8.88614 +ove -8.88725 +f -8.88823 +▁Sve -8.89364 +▁end -8.89872 +▁novi -8.90419 +▁dr -8.90431 +▁Kada -8.90747 +skog -8.90748 +▁team -8.90762 +▁Pa -8.91001 +▁EU -8.91209 +▁top -8.91212 +tu -8.91235 +▁V -8.91495 +di -8.91581 +▁data -8.92076 +F -8.92315 +▁must -8.92476 +▁system -8.92643 +▁better -8.92824 +▁ćemo -8.92975 +▁does -8.93022 +po -8.93406 +▁always -8.93469 +▁something -8.93524 +ije -8.93592 +▁veliki -8.93647 +vi -8.93898 +▁experience -8.93923 +▁N -8.94067 +▁p -8.94101 +▁including -8.94116 +▁neke -8.94135 +▁company -8.94136 +5 -8.94145 +▁joj -8.94232 +▁post -8.94277 +▁available -8.94445 +▁without -8.94483 +▁stvari -8.94688 +▁Pro -8.9475 +▁16 -8.94829 +ica -8.94841 +▁osoba -8.94844 +▁naše -8.94915 +▁game -8.95036 +▁All -8.95041 +▁next -8.9549 +▁family -8.95528 +▁posle -8.95558 +pa -8.95586 +▁another -8.95827 +( -8.95898 +▁život -8.96017 +▁lot -8.96136 +▁kojem -8.96325 +ost -8.96368 +▁water -8.96735 +▁That -8.96935 +▁vode -8.96952 +▁manje -8.97049 +▁Ovo -8.97427 +able -8.97479 +ri -8.97619 +The -8.97634 +▁9 -8.97761 +▁J -8.97954 +▁might -8.98291 +se -8.98496 +▁pravo -8.98537 +▁support -8.98577 +W -8.98581 +▁14 -8.98638 +▁godinu -8.98809 +▁plan -8.99062 +▁number -8.99162 +▁say -8.99186 +▁ova -8.99288 +▁never -8.99514 +▁četiri -8.99603 +▁tom -8.99697 +▁neko -8.99732 +▁100 -8.99732 +▁film -8.9974 +▁pomoć -8.998 +▁pitanje -8.99897 +▁found -9.0005 +▁... -9.00115 +▁start -9.00351 +▁Iz -9.00909 +jući -9.00982 +N -9.01185 +▁since -9.01296 +H -9.01515 +6 -9.02057 +▁drugih -9.02374 +▁service -9.02644 +▁rada -9.02684 +▁50 -9.0273 +▁bit -9.02768 +▁17 -9.02899 +▁naj -9.03327 +▁too -9.03466 +▁grada -9.03513 +▁sebe -9.03529 +▁trebalo -9.03794 +▁Ko -9.04132 +▁sati -9.04279 +▁kraju -9.0434 +▁svom -9.04458 +▁dve -9.04515 +▁potrebno -9.04585 +▁d -9.04632 +:// -9.04872 +▁important -9.04887 +▁njega -9.04929 +▁takođe -9.05197 +▁got -9.05235 +▁zemlje -9.05275 +▁am -9.05387 +▁De -9.05634 +▁deo -9.05665 +▁Pre -9.05761 +▁nove -9.0585 +▁imati -9.06031 +▁One -9.06321 +▁svega -9.06516 +▁sure -9.06867 +▁full -9.07114 +▁zna -9.07253 +▁able -9.07432 +▁slučaju -9.07876 +▁13 -9.07936 +▁man -9.08097 +noj -9.08129 +▁Republike -9.08138 +▁dio -9.08301 +▁imao -9.08468 +ha -9.08567 +▁days -9.08661 +— -9.087 +če -9.09149 +▁života -9.09423 +L -9.09448 +▁show -9.09564 +▁give -9.09701 +▁provide -9.09711 +and -9.09973 +▁znači -9.10015 +▁Prema -9.10063 +▁m -9.10204 +▁bolje -9.10283 +▁putem -9.1029 +▁jednog -9.10306 +▁često -9.10505 +ov -9.10794 +▁24 -9.1084 +▁against -9.10973 +▁možda -9.11052 +0 -9.11078 +▁• -9.11421 +▁tada -9.11518 +▁ništa -9.11639 +▁small -9.11688 +▁keep -9.11894 +R -9.1208 +J -9.12122 +jte -9.12327 +▁ovu -9.12384 +▁real -9.12475 +lu -9.1254 +up -9.1269 +▁koristi -9.12731 +sko -9.12738 +▁week -9.12788 +▁zato -9.13003 +▁navodi -9.13051 +nica -9.13105 +▁25 -9.13307 +▁period -9.13391 +_ -9.13402 +▁Međutim -9.13518 +kom -9.13581 +▁within -9.13583 +▁nad -9.13589 +▁Z -9.13684 +▁feel -9.13857 +▁potpuno -9.14097 +▁pitanju -9.14181 +▁car -9.14195 +▁book -9.14357 +skom -9.14538 +▁predstavlja -9.1473 +▁Srbija -9.14771 +the -9.14894 +▁tek -9.14941 +▁school -9.15025 +ović -9.15059 +▁minuta -9.15064 +▁pored -9.15109 +▁order -9.15194 +▁With -9.15306 +▁care -9.15842 +▁let -9.15928 +▁zajedno -9.16092 +▁Be -9.16112 +▁state -9.1625 +▁list -9.16253 +▁bar -9.16312 +ic -9.16342 +▁uvijek -9.16356 +▁My -9.16491 +▁case -9.16566 +▁process -9.16632 +Z -9.16696 +▁KM -9.16747 +▁At -9.16782 +▁again -9.16847 +▁ovoj -9.16896 +▁working -9.17047 +▁biće -9.17053 +▁* -9.17173 +▁svaki -9.17191 +▁dvije -9.17287 +ak -9.17461 +▁2. -9.18356 +ation -9.18368 +▁services -9.18695 +▁away -9.18799 +▁poput -9.19009 +▁Beogradu -9.19076 +▁making -9.19379 +▁children -9.19621 +ac -9.19652 +8 -9.19756 +▁vlasti -9.19827 +▁posao -9.19834 +▁problema -9.19926 +▁uvek -9.19953 +▁site -9.20393 +ice -9.20421 +▁market -9.20492 +▁odsto -9.20496 +▁today -9.20531 +▁par -9.20546 +▁svog -9.20709 +▁ćete -9.20738 +▁play -9.20828 +sku -9.21101 +▁says -9.2118 +▁bih -9.21635 +▁mogao -9.21741 +w -9.21906 +▁19 -9.22053 +▁W -9.22062 +pe -9.22108 +▁health -9.22114 +▁pomoći -9.22165 +zi -9.22314 +▁looking -9.22481 +▁prilikom -9.22494 +▁change -9.22505 +▁jednu -9.22565 +▁local -9.22578 +▁name -9.22638 +ro -9.22677 +▁thing -9.22863 +ton -9.22893 +▁upravo -9.23108 +bi -9.23113 +▁baš -9.23193 +ili -9.23194 +▁How -9.23368 +▁Kao -9.23457 +▁razvoj -9.23528 +či -9.23549 +▁course -9.23572 +▁money -9.23604 +▁ponovo -9.23613 +▁okviru -9.23694 +▁njima -9.23769 +▁Dr -9.23815 +▁jedno -9.23872 +▁public -9.23968 +▁second -9.24068 +▁imali -9.24158 +▁point -9.24248 +▁ime -9.24279 +▁La -9.24346 +▁sad -9.24766 +▁students -9.2496 +▁un -9.25167 +▁и -9.25222 +co -9.25606 +▁until -9.25679 +▁why -9.25789 +▁aktivnosti -9.25984 +▁g -9.25999 +▁budu -9.26092 +▁open -9.26233 +▁TV -9.26534 +▁kazao -9.26616 +nici -9.26735 +▁An -9.26791 +▁nisam -9.2703 +▁person -9.27036 +▁sistem -9.27215 +▁grad -9.27339 +▁ce -9.27473 +▁Al -9.27541 +▁group -9.27609 +▁drugim -9.27684 +▁čini -9.27699 +▁tog -9.27757 +о -9.27829 +č -9.27921 +▁ovih -9.27924 +▁Iako -9.27943 +▁These -9.27992 +▁dovoljno -9.28144 +iji -9.28156 +nik -9.28247 +▁SAD -9.28684 +▁Our -9.28823 +▁igra -9.28891 +nost -9.28913 +▁osobe -9.29068 +▁wrote -9.29245 +▁God -9.29346 +▁email -9.29614 +▁together -9.29617 +▁old -9.29659 +▁side -9.29683 +▁ipak -9.29719 +▁možemo -9.29729 +▁žena -9.29952 +▁čega -9.29965 +ze -9.30086 +▁40 -9.30117 +is -9.30138 +▁moguće -9.30162 +▁big -9.30306 +▁pitanja -9.30633 +▁often -9.30726 +▁kasnije -9.30812 +ić -9.30837 +▁toliko -9.30929 +▁Ta -9.31117 +▁odmah -9.31141 +▁power -9.31247 +▁model -9.31503 +ša -9.31506 +ment -9.31515 +▁far -9.31607 +▁hard -9.31609 +9 -9.31679 +▁having -9.3197 +du -9.32038 +▁lica -9.32053 +▁didn -9.32142 +sta -9.32186 +▁21 -9.32362 +us -9.32721 +▁puno -9.32732 +▁periodu -9.32905 +osti -9.32946 +it -9.33087 +▁sebi -9.33146 +▁jeste -9.33163 +▁iako -9.33296 +▁države -9.33345 +▁odnosu -9.33356 +▁community -9.33388 +▁kojih -9.33397 +nije -9.33626 +▁area -9.33696 +▁left -9.33727 +▁jako -9.33781 +▁god -9.33972 +▁bolesti -9.34063 +▁isto -9.3411 +▁food -9.34327 +▁Tu -9.34329 +▁website -9.34341 +▁become -9.34371 +▁smatra -9.34519 +▁rekla -9.34543 +7 -9.34612 +," -9.34643 +▁done -9.34654 +ity -9.3474 +▁web -9.34767 +▁vodi -9.34861 +▁enough -9.34889 +vo -9.34895 +ness -9.3506 +▁body -9.35147 +▁Ovaj -9.35391 +▁After -9.35618 +▁design -9.35625 +▁University -9.35811 +▁ovim -9.35827 +▁22 -9.35933 +▁less -9.36004 +▁kojim -9.36008 +lja -9.36045 +▁у -9.36073 +▁proizvoda -9.36149 +▁građana -9.362 +▁possible -9.36325 +▁include -9.36494 +▁3. -9.36623 +ća -9.36759 +▁products -9.36797 +▁women -9.36836 +ar -9.36864 +▁ukoliko -9.37027 +▁šest -9.37106 +▁» -9.37136 +▁Tako -9.37155 +▁oblasti -9.37274 +▁niti -9.37301 +nice -9.37399 +ry -9.37515 +▁Beograd -9.37533 +▁hand -9.37678 +ću -9.3771 +▁sistema -9.3771 +▁Srpske -9.37711 +go -9.3779 +▁large -9.3787 +▁past -9.37946 +▁Ma -9.37959 +X -9.37979 +▁ranije -9.38011 +▁However -9.38066 +▁Sarajevo -9.38279 +▁naš -9.3845 +▁osnovu -9.38466 +▁mogli -9.38526 +▁times -9.38549 +▁njegov -9.38563 +▁ever -9.38564 +▁najbolje -9.38601 +▁Bosne -9.38636 +▁dolazi -9.38645 +▁trenutno -9.38997 +▁imamo -9.39029 +▁call -9.39094 +▁kraja -9.39243 +▁ma -9.39278 +▁quality -9.39426 +▁offer -9.39468 +son -9.39526 +▁research -9.39616 +▁based -9.39661 +▁already -9.39677 +skih -9.39731 +▁live -9.39755 +▁four -9.3993 +▁posto -9.39939 +mi -9.40018 +▁teško -9.4025 +▁0 -9.40265 +▁easy -9.40295 +▁read -9.40337 +▁kome -9.40435 +▁needs -9.40455 +io -9.40534 +ge -9.4055 +▁Novi -9.40568 +▁Šta -9.40657 +ru -9.40684 +▁Ukoliko -9.40702 +▁vezi -9.40788 +▁story -9.40974 +▁personal -9.41039 +▁season -9.41142 +▁getting -9.41214 +▁country -9.413 +▁raz -9.41313 +▁night -9.41346 +ting -9.41566 +▁several -9.41589 +▁kompanije -9.41666 +▁social -9.41695 +Y -9.41772 +▁level -9.42177 +▁called -9.42178 +▁priča -9.42319 +▁following -9.42672 +▁kuće -9.42679 +▁najviše -9.42955 +ča -9.42962 +▁American -9.43173 +▁create -9.43408 +▁project -9.43426 +▁means -9.43471 +▁room -9.43754 +▁run -9.43902 +▁informacije -9.44043 +ter -9.44103 +▁came -9.44172 +▁cilj -9.44223 +▁govori -9.44251 +▁line -9.44308 +ion -9.44332 +▁evra -9.44436 +▁along -9.44438 +še -9.44671 +▁zatim -9.44864 +lje -9.45007 +▁podršku -9.4521 +▁mjesto -9.45319 +▁prvo -9.45336 +▁godini -9.45476 +▁makes -9.45622 +ine -9.45693 +▁Nije -9.45771 +▁fact -9.45818 +▁mesto -9.45846 +▁government -9.45846 +▁head -9.45917 +30 -9.46004 +▁least -9.46016 +▁Your -9.46118 +▁jasno -9.46162 +▁doing -9.4629 +▁sezone -9.46295 +▁Le -9.46306 +ver -9.46355 +▁svojih -9.46415 +▁comes -9.46457 +▁dinara -9.46457 +▁across -9.46552 +▁non -9.46704 +▁dosta -9.46826 +▁prošle -9.46961 +▁mogućnost -9.46975 +▁though -9.47095 +▁rata -9.47156 +▁mene -9.47274 +▁rade -9.473 +▁others -9.47381 +▁brzo -9.47528 +". -9.47533 +▁sigurno -9.47563 +▁actually -9.47693 +ist -9.47799 +▁zašto -9.47854 +cima -9.4787 +▁future -9.47995 +▁lako -9.48036 +že -9.48047 +▁product -9.48058 +▁Pri -9.48068 +▁internet -9.48087 +nika -9.48144 +▁Or -9.48241 +”. -9.48494 +▁human -9.48725 +▁job -9.48841 +▁skladu -9.4904 +▁By -9.49105 +▁house -9.49245 +▁direktor -9.49306 +ck -9.49314 +tra -9.4932 +▁moći -9.49368 +▁test -9.49481 +at -9.4958 +▁United -9.4962 +▁gotovo -9.49657 +▁znam -9.49691 +▁doesn -9.49816 +▁red -9.49927 +▁Go -9.49988 +▁nikada -9.5014 +▁Svi -9.50147 +▁zemlji -9.5022 +▁biste -9.50278 +▁development -9.50406 +ž -9.50488 +▁osim -9.50503 +▁sta -9.50516 +▁grupe -9.5057 +▁Zbog -9.50574 +▁neka -9.50584 +ama -9.50712 +▁Mr -9.50718 +▁zaista -9.5083 +▁million -9.50839 +▁thought -9.50923 +▁radio -9.50941 +▁Co -9.51161 +▁co -9.51274 +▁izjavio -9.51279 +▁kind -9.51279 +▁postoje -9.51279 +▁Hercegovine -9.51348 +▁država -9.51363 +il -9.51391 +▁started -9.51403 +▁izgleda -9.51491 +– -9.515 +▁once -9.51516 +▁RS -9.51796 +▁X -9.51874 +▁won -9.5191 +▁city -9.51973 +▁al -9.51986 +▁projekta -9.52033 +▁bile -9.52277 +▁Ova -9.52295 +▁jedne -9.52381 +▁members -9.52472 +▁Gore -9.52475 +▁light -9.52556 +njem -9.52596 +▁example -9.52617 +▁4. -9.52714 +▁је -9.52752 +▁23 -9.53012 +ovima -9.5306 +▁škole -9.5308 +skoj -9.53088 +▁access -9.53124 +▁try -9.5315 +▁svojoj -9.5319 +▁May -9.53221 +red -9.53385 +▁hit -9.53439 +el -9.53586 +▁control -9.53647 +▁pravi -9.53668 +▁event -9.53885 +vu -9.53936 +▁gradu -9.53941 +▁San -9.54265 +▁Uz -9.5447 +▁programa -9.54476 +▁hours -9.54547 +▁sva -9.54553 +▁page -9.54652 +▁piše -9.54689 +▁took -9.54703 +▁content -9.54749 +age -9.54754 +▁St -9.54859 +▁novih -9.54875 +▁tamo -9.5488 +▁Ni -9.54965 +▁went -9.54978 +www -9.55065 +▁x -9.55142 +▁short -9.55163 +▁želi -9.55387 +". -9.55437 +▁kojeg -9.55514 +▁onih -9.55547 +ina -9.55683 +▁tih -9.55698 +▁men -9.55721 +▁City -9.55726 +▁60 -9.55766 +▁Oni -9.56 +▁Takođe -9.56082 +ch -9.56084 +▁general -9.56096 +▁yet -9.56237 +▁media -9.56308 +▁dobio -9.56487 +▁ago -9.56547 +▁njegova -9.56625 +▁front -9.56642 +pro -9.56794 +▁space -9.57002 +▁early -9.57026 +▁months -9.57206 +▁music -9.5741 +▁obzirom -9.57536 +▁auto -9.57541 +▁vozila -9.57783 +▁US -9.57854 +▁later -9.57926 +gu -9.57975 +▁price -9.58012 +▁known -9.5819 +▁learn -9.58252 +nosti -9.58263 +▁ću -9.58395 +▁žele -9.58403 +▁vidi -9.58506 +▁Te -9.58539 +▁drugom -9.58542 +Ne -9.58549 +▁skoro -9.58551 +sh -9.58629 +mu -9.58672 +▁podataka -9.58702 +▁Crne -9.58972 +▁priliku -9.59297 +▁žene -9.59363 +▁poslova -9.59373 +▁moraju -9.59529 +bu -9.59531 +▁k -9.59625 +▁razloga -9.59679 +▁Vi -9.59756 +▁ZA -9.59757 +▁share -9.60034 +▁koriste -9.60057 +▁York -9.60182 +▁trenutku -9.60195 +у -9.60305 +▁anti -9.60308 +▁five -9.60447 +▁prenosi -9.6051 +▁industry -9.60544 +▁toku -9.60558 +▁Kad -9.60654 +▁velike -9.60691 +▁told -9.60767 +▁ide -9.60787 +▁below -9.60819 +▁imala -9.60862 +▁form -9.6087 +▁mesta -9.60974 +▁believe -9.61001 +▁području -9.6117 +▁John -9.61174 +▁5. -9.61473 +▁Here -9.61527 +ši -9.6162 +▁While -9.61646 +& -9.61677 +▁low -9.61698 +▁zaštite -9.617 +▁Ti -9.61717 +▁friends -9.61737 +▁everything -9.61979 +▁mjesta -9.62006 +▁najbolji -9.62037 +▁prostor -9.62045 +▁reći -9.62049 +▁deset -9.6205 +▁face -9.62051 +▁Mar -9.6225 +▁Now -9.62459 +▁whether -9.62461 +ling -9.62575 +▁cost -9.62621 +We -9.62645 +skim -9.62935 +▁fun -9.62975 +▁svetu -9.63127 +org -9.63253 +▁given -9.63263 +▁predsjednik -9.6329 +▁pay -9.63325 +▁someone -9.63334 +▁special -9.63372 +▁proces -9.63384 +ite -9.63396 +▁drugo -9.63409 +▁Me -9.63449 +▁Google -9.63481 +▁stvar -9.63857 +▁companies -9.63966 +▁čemu -9.63969 +▁minutes -9.64007 +▁uglavnom -9.64013 +▁single -9.64027 +▁kompanija -9.64047 +▁opet -9.64226 +▁law -9.64376 +▁mind -9.64379 +▁Izvor -9.64382 +▁dolara -9.64453 +▁nivou -9.64459 +▁imate -9.64564 +▁Ipak -9.64638 +▁understand -9.64675 +@ -9.64692 +si -9.64846 +▁sveta -9.64872 +▁contact -9.64907 +▁ju -9.64975 +▁+ -9.65019 +▁Pored -9.65067 +▁Vlade -9.65076 +▁z -9.65095 +▁radu -9.65104 +ži -9.65175 +▁kraj -9.65201 +▁ispred -9.65205 +▁zakona -9.65376 +▁range -9.65409 +vši -9.65522 +▁due -9.65701 +▁Ona -9.65744 +▁whole -9.65768 +▁games -9.65783 +▁važno -9.65813 +▁nalaze -9.6594 +▁# -9.65961 +▁očekuje -9.65969 +▁zemalja -9.66 +▁study -9.66041 +10 -9.66111 +▁Some -9.66167 +iti -9.6621 +pre -9.66348 +▁njegove -9.66492 +▁ljudima -9.66515 +▁Mo -9.66576 +▁seen -9.66621 +▁dugo -9.66621 +▁rezultat -9.66651 +▁mogla -9.66727 +▁http -9.66791 +▁čiji -9.66819 +▁ljude -9.66885 +▁State -9.6695 +▁report -9.67263 +▁check -9.67302 +iju -9.67321 +▁dobar -9.67453 +ici -9.67606 +▁standard -9.67655 +▁v -9.67748 +▁novac -9.67805 +▁njemu -9.67877 +▁above -9.67893 +▁Facebook -9.68003 +▁mogućnosti -9.68317 +▁Osim -9.68398 +▁prvom -9.68572 +▁Bar -9.68926 +▁svakom -9.68941 +▁issues -9.69007 +▁200 -9.69101 +ant -9.69166 +▁-- -9.69275 +▁Ka -9.69329 +▁Hrvatske -9.6937 +▁posla -9.69412 +“. -9.69428 +▁original -9.69511 +ted -9.69535 +▁final -9.69563 +land -9.69609 +▁anything -9.69639 +▁air -9.69738 +▁nekim -9.69869 +▁taking -9.6988 +▁ovdje -9.69888 +▁current -9.70045 +▁veći -9.70129 +▁Danas -9.70169 +▁please -9.70181 +▁major -9.70467 +▁broja -9.70481 +▁ispod -9.70508 ++ -9.7052 +▁results -9.70648 +▁6. -9.70649 +Š -9.70806 +▁stanje -9.70832 +▁history -9.70846 +nji -9.7085 +▁technology -9.70936 +iz -9.70939 +▁niko -9.71016 +▁van -9.71075 +▁nova -9.7108 +id -9.71092 +▁potrebe -9.71147 +jem -9.7115 +▁mnogi -9.7119 +▁velika -9.71195 +▁isti -9.71209 +▁vrata -9.71306 +▁value -9.71389 +▁druga -9.71513 +men -9.71619 +▁child -9.71633 +▁jednostavno -9.71712 +▁building -9.71724 +▁Sarajevu -9.7179 +▁young -9.7179 +▁počinje -9.71836 +▁meni -9.72096 +▁mislim -9.72313 +▁c -9.72368 +▁naroda -9.72387 +▁dodao -9.72393 +▁add -9.72402 +▁prvog -9.72583 +▁His -9.72595 +▁super -9.72801 +▁istakao -9.72827 +▁Samo -9.7285 +▁NA -9.7285 +▁type -9.72884 +▁zapravo -9.72898 +▁ministar -9.72944 +line -9.72949 +▁features -9.72958 +▁Vlada -9.73081 +▁sata -9.73085 +zu -9.73167 +▁energy -9.73205 +▁close -9.73232 +ža -9.73282 +▁svakog -9.73287 +▁informacija -9.73311 +▁potom -9.73442 +▁series -9.73589 +▁također -9.73591 +▁individual -9.73593 +▁questions -9.73631 +šta -9.73638 +▁training -9.73671 +▁centar -9.73674 +▁heart -9.73681 +▁age -9.73693 +▁novog -9.73761 +и -9.73784 +▁dobiti -9.73795 +▁visit -9.73796 +stvo -9.73833 +▁National -9.73842 +-19 -9.7387 +▁idea -9.74039 +▁move -9.74045 +▁half -9.74081 +▁month -9.74103 +▁iza -9.7418 +ous -9.7425 +▁either -9.74455 +▁izuzetno -9.74489 +▁kažu -9.74491 +▁organizacije -9.74492 +▁Bosni -9.74518 +▁tell -9.74681 +▁pristup -9.74696 +ber -9.74699 +▁partner -9.74705 +▁More -9.74707 +▁kulture -9.74728 +eva -9.74747 +▁male -9.74961 +00 -9.75001 +▁prva -9.7508 +▁vlada -9.75089 +▁further -9.75171 +▁stop -9.75233 +▁result -9.75258 +he -9.75278 +▁Š -9.75403 +est -9.75417 +▁sedam -9.7544 +▁El -9.75611 +bo -9.75658 +▁perfect -9.75677 +▁Not -9.75721 +▁eura -9.75774 +▁la -9.75869 +▁almost -9.7587 +time -9.75985 +▁art -9.7602 +▁everyone -9.76121 +▁našeg -9.76197 +▁drugog -9.76288 +▁question -9.76441 +nd -9.76451 +less -9.76461 +net -9.76682 +tom -9.76709 +▁key -9.76717 +▁World -9.76763 +▁njihove -9.76784 +▁management -9.76842 +▁daje -9.76998 +ism -9.7702 +▁zaštitu -9.77388 +▁Zato -9.77481 +▁prve -9.77491 +▁customers -9.77567 +▁offers -9.77602 +▁svijetu -9.77824 +▁bring -9.77871 +▁student -9.77881 +▁blog -9.77906 +▁grupa -9.77906 +▁kom -9.77957 +▁ovde -9.77983 +▁да -9.78037 +▁Što -9.78038 +▁complete -9.78178 +fi -9.7827 +▁various -9.78288 +ley -9.78291 +▁član -9.78299 +▁zajednice -9.78301 +▁nudi -9.78329 +▁odnosi -9.78363 +Po -9.78401 +▁trying -9.78582 +▁primer -9.78597 +▁account -9.78621 +▁Ha -9.7866 +▁taken -9.78692 +▁addition -9.787 +▁percent -9.78712 +▁dis -9.78778 +▁časova -9.78814 +▁širom -9.78869 +▁izbor -9.78956 +▁centra -9.79132 +▁among -9.79206 +▁sami -9.79257 +▁naših -9.79314 +▁simple -9.79333 +▁predsednik -9.79337 +▁buy -9.7934 +▁lead -9.79518 +od -9.79533 +▁mladih -9.79535 +▁Man -9.79643 +▁likely -9.7975 +▁main -9.7978 +vanje -9.79822 +▁wanted -9.7983 +▁especially -9.79832 +▁pola -9.7984 +vanja -9.79856 +▁stanju -9.7995 +▁black -9.80005 +▁snage -9.80033 +▁quite -9.8013 +▁zdravlje -9.80133 +▁Bo -9.80156 +▁početka -9.80185 +▁Naime -9.80202 +▁clear -9.80205 +▁Beograda -9.80275 +▁koristiti -9.80356 +▁marketing -9.80377 +▁needed -9.80379 +▁Sada -9.80398 +▁на -9.80429 +▁office -9.80461 +▁kluba -9.80546 +▁rat -9.8056 +▁lice -9.80592 +▁turn -9.80603 +ur -9.80795 +▁news -9.80821 +▁nama -9.80826 +▁present -9.80927 +▁kući -9.80985 +▁self -9.81064 +▁performance -9.81108 +▁društva -9.81124 +▁javnosti -9.81166 +▁Su -9.8118 +▁energije -9.81188 +▁izvor -9.8119 +min -9.81197 +mer -9.81232 +▁sadrži -9.81348 +▁ističe -9.81487 +ty -9.81528 +▁naravno -9.81563 +▁pošto -9.81592 +▁kože -9.81682 +den -9.81682 +ila -9.81795 +▁odgovor -9.81851 +▁From -9.81997 +▁Grad -9.82012 +▁sredstva -9.822 +▁coming -9.82214 +▁godinama -9.82217 +▁continue -9.82332 +▁however -9.82447 +▁sud -9.82465 +▁asked -9.82538 +▁igre -9.82616 +▁www -9.82623 +pi -9.82687 +▁required -9.82707 +▁writing -9.82745 +▁view -9.82772 +▁issue -9.8281 +of -9.82876 +▁hrane -9.82903 +▁white -9.82945 +▁works -9.82955 +▁third -9.82975 +▁@ -9.83011 +▁Evrope -9.83062 +▁uključujući -9.83075 +▁Bio -9.83122 +▁meet -9.83149 +▁role -9.83201 +▁Don -9.83285 +▁bismo -9.83355 +fa -9.83387 +per -9.83397 +▁27 -9.83452 +▁različitih -9.83566 +▁porodice -9.83645 +▁vaše -9.83649 +▁party -9.8365 +▁Park -9.83695 +▁2020. -9.83738 +▁reason -9.83768 +▁životu -9.83808 +et -9.83982 +▁simply -9.84031 +▁Is -9.84057 +▁glavni -9.84104 +▁usluge -9.84109 +▁mestu -9.84118 +▁probably -9.84182 +▁Center -9.84196 +▁26 -9.84245 +▁moj -9.84247 +▁Dan -9.84288 +▁policije -9.84305 +▁points -9.84345 +▁di -9.84361 +▁Most -9.84406 +▁prostora -9.84418 +▁States -9.84436 +ali -9.84446 +▁kojom -9.8452 +▁opštine -9.84548 +▁provides -9.84559 +▁living -9.84589 +▁added -9.84625 +▁rest -9.84629 +▁centru -9.84649 +tri -9.84664 +ler -9.84728 +▁28 -9.84782 +▁yourself -9.84887 +▁matter -9.84914 +▁legal -9.84951 +▁niz -9.85034 +20 -9.85041 +▁dela -9.85209 +um -9.85256 +▁razvoja -9.85299 +▁risk -9.85365 +▁staff -9.85373 +▁amount -9.85614 +▁rather -9.85632 +▁novca -9.85674 +{ -9.85691 +▁klub -9.85695 +▁tržištu -9.85859 +▁7. -9.85903 +▁vrste -9.85943 +▁sredstava -9.85974 +▁areas -9.86062 +▁professional -9.86123 +▁Ministarstva -9.86141 +▁Please -9.86193 +ir -9.86331 +▁mjestu -9.86421 +▁slučaj -9.8652 +▁specific -9.86526 +▁common -9.86542 +▁dece -9.86737 +▁našem -9.86752 +▁nedavno -9.86835 +▁hope -9.86873 +year -9.86938 +NA -9.86939 +out -9.86948 +ner -9.87004 +▁metara -9.87005 +▁pretty -9.87093 +▁b -9.87158 +▁500 -9.87186 +▁vaš -9.87245 +Na -9.87277 +▁organizacija -9.87278 +tan -9.87415 +▁obzira -9.8742 +▁action -9.87473 +▁South -9.87474 +~ -9.87522 +▁natural -9.87588 +▁zdravlja -9.87591 +▁Can -9.87626 +▁nivo -9.87696 +▁10. -9.87697 +ana -9.87726 +▁svima -9.87736 +▁forward -9.87869 +▁behind -9.87891 +▁bad -9.87922 +▁škola -9.8795 +▁provided -9.87963 +▁ways -9.8801 +▁35 -9.88022 +▁link -9.88025 +▁računa -9.88061 +lju -9.88078 +▁nekih -9.88107 +▁skin -9.88199 +ary -9.88208 +▁Of -9.88228 +▁novu -9.88282 +▁koga -9.88365 +▁oil -9.88431 +▁dobili -9.88443 +▁svakako -9.8865 +▁pruža -9.88657 +▁želite -9.88734 +* -9.88737 +ian -9.88785 +▁strong -9.88881 +▁deal -9.88918 +▁isn -9.89008 +▁novo -9.89016 +▁stay -9.89074 +der -9.89083 +▁status -9.89133 +▁vrsta -9.89182 +▁živi -9.89187 +▁total -9.89211 +rd -9.89248 +▁najveći -9.89257 +▁utakmice -9.89264 +▁svijeta -9.89452 +▁Ra -9.89487 +▁pažnju -9.89503 +▁njihov -9.89565 +▁11. -9.89633 +▁stranke -9.8964 +ster -9.89641 +▁near -9.89725 +ran -9.89733 +▁Du -9.89754 +▁North -9.89758 +▁popular -9.89794 +▁izbora -9.90006 +▁nothing -9.90112 +▁Q -9.90121 +▁t -9.90122 +▁size -9.90257 +▁nemaju -9.90273 +▁build -9.90273 +▁America -9.90279 +▁Jedan -9.90303 +▁donosi -9.9032 +▁events -9.90334 +▁Vučić -9.90443 +mail -9.90545 +▁svet -9.90575 +▁words -9.90622 +▁win -9.90684 +niji -9.90684 +▁outside -9.90691 +▁field -9.90774 +▁class -9.90794 +▁redu -9.90799 +ive -9.90914 +example -9.90921 +▁odluka -9.90922 +▁ulogu -9.90998 += -9.91013 +It -9.91019 +▁ljubav -9.91098 +▁moment -9.91132 +▁unique -9.91166 +▁software -9.91281 +▁sat -9.91306 +▁2018 -9.91319 +▁School -9.91333 +▁ensure -9.91399 +▁phone -9.91419 +▁osam -9.91446 +žu -9.91523 +▁2019 -9.91618 +nicu -9.91624 +▁soon -9.91722 +▁ve -9.91842 +▁naša -9.91873 +▁usluga -9.91887 +▁našim -9.91894 +▁treatment -9.91903 +ad -9.91921 +▁Hrvatskoj -9.91948 +▁problems -9.91984 +uje -9.92062 +▁tvrdi -9.92125 +▁pot -9.92139 +pri -9.92168 +▁doći -9.92216 +▁sin -9.92218 +un -9.9224 +To -9.92244 +▁security -9.9227 +▁odnose -9.92305 +▁sense -9.92388 +▁includes -9.92391 +▁situacija -9.9245 +▁odluke -9.92474 +▁increase -9.92514 +▁reading -9.92534 +▁Vas -9.92561 +▁djece -9.92618 +▁riječ -9.9268 +▁II -9.92743 +▁led -9.92787 +▁hotel -9.9281 +▁iskustvo -9.92828 +▁ask -9.92871 +▁radnika -9.92871 +▁rate -9.92887 +▁true -9.9291 +▁certain -9.92913 +▁… -9.92996 +▁ukupno -9.93026 +▁mean -9.9308 +▁March -9.9309 +ies -9.9317 +▁građani -9.93176 +am -9.93271 +Re -9.93298 +▁financial -9.93403 +▁Prije -9.93427 +▁SE -9.93432 +lin -9.93472 +▁boje -9.93473 +▁Let -9.93505 +▁Aleksandar -9.93533 +▁search -9.93574 +▁choose -9.93713 +▁Red -9.9382 +▁n -9.93941 +▁sasvim -9.93963 +▁narod -9.94003 +▁nikad -9.94123 +▁Ga -9.94227 +▁modern -9.94275 +▁Li -9.94283 +▁enjoy -9.94292 +▁najmanje -9.94296 +▁došlo -9.94304 +▁recent -9.94329 +▁Prvi -9.94338 +▁album -9.94352 +▁vlast -9.94418 +▁Tri -9.94442 +▁ruke -9.94459 +▁upon -9.94703 +▁) -9.94703 +▁Gori -9.94718 +▁igrača -9.94759 +▁Tokom -9.94807 +▁reč -9.94813 +▁mnoge -9.94879 +▁beautiful -9.94904 +▁allow -9.94957 +▁cannot -9.94984 +▁nismo -9.95012 +▁higher -9.95084 +▁review -9.95089 +▁article -9.95122 +ković -9.95131 +▁potential -9.95194 +ј -9.95267 +▁options -9.95325 +▁held -9.95369 +▁Još -9.9538 +ira -9.95407 +▁raditi -9.95591 +▁Ba -9.95666 +▁km -9.95677 +▁Program -9.95723 +▁talk -9.95748 +▁op -9.958 +▁interest -9.95812 +▁ready -9.95858 +▁medical -9.95905 +▁West -9.95911 +by -9.96065 +ul -9.96067 +▁svake -9.96103 +▁property -9.96171 +▁juna -9.96242 +▁Lo -9.96246 +▁weeks -9.9628 +▁House -9.963 +▁Foto -9.96332 +▁leave -9.96361 +▁Ono -9.96459 +▁education -9.96478 +▁radova -9.96516 +▁six -9.96545 +▁imam -9.96563 +▁usually -9.9667 +▁Kosova -9.96712 +▁putu -9.96789 +van -9.96799 +▁stoji -9.9687 +▁opportunity -9.96958 +▁ugovor -9.96974 +▁2021. -9.96995 +▁position -9.97022 +▁Then -9.97023 +sto -9.97032 +▁veze -9.97054 +▁ekipa -9.97069 +▁našoj -9.97258 +▁povodom -9.97263 +▁kids -9.97296 +▁rast -9.97305 +▁longer -9.97377 +▁Internet -9.97378 +▁takes -9.97432 +▁brand -9.97457 +▁за -9.97489 +▁June -9.97494 +▁Nema -9.97511 +▁en -9.97525 +▁Car -9.97536 +▁changes -9.97549 +▁app -9.97574 +▁tj -9.97646 +▁2020 -9.97686 +▁County -9.97795 +▁80 -9.97812 +▁odluku -9.97867 +▁tiče -9.97929 +▁moglo -9.97945 +▁David -9.97965 +▁April -9.97966 +▁according -9.97972 +▁inside -9.97983 +▁couple -9.98011 +▁gas -9.98014 +▁2013 -9.98027 +▁Her -9.98027 +▁created -9.98061 +▁designed -9.98068 +▁omogućava -9.98169 +▁Pod -9.98262 +▁projekat -9.98368 +▁iznosi -9.98385 +▁čine -9.98446 +▁70 -9.98468 +▁focus -9.98491 +▁paper -9.98565 +▁15. -9.98589 +▁running -9.98629 +▁follow -9.98635 +▁njen -9.98638 +ft -9.98643 +ff -9.98645 +▁smislu -9.98705 +▁2012 -9.98726 +▁8. -9.98771 +▁preduzeća -9.98782 +▁date -9.98834 +▁learning -9.9885 +▁slika -9.98905 +▁Naravno -9.98921 +ized -9.99017 +▁para -9.99024 +▁step -9.99036 +▁2019. -9.99158 +▁similar -9.99285 +stva -9.99286 +▁practice -9.99309 +▁member -9.99465 +▁iskustva -9.99534 +▁extra -9.99566 +▁naveo -9.99576 +čić -9.99596 +▁else -9.99599 +lić -9.99603 +▁javno -9.99612 +ču -9.99631 +▁sound -9.997 +▁Ministarstvo -9.99768 +▁nekog -9.99794 +▁throughout -9.9981 +ts -9.99836 +▁style -9.99882 +▁početku -9.99951 +▁strani -10.001 +▁store -10.0013 +▁svako -10.0016 +▁Dakle -10.0018 +▁toj -10.0022 +▁postao -10.0028 +▁receive -10.0037 +▁2018. -10.0041 +▁početkom -10.0045 +25 -10.0049 +▁istraživanja -10.0062 +?” -10.0068 +▁Ivan -10.0073 +▁saradnji -10.0073 +▁late -10.0075 +▁Hercegovini -10.0081 +▁= -10.0085 +▁9. -10.0094 +▁poslije -10.0096 +tro -10.0114 +▁jezika -10.0119 +▁happy -10.0127 +▁record -10.0134 +▁knjige -10.0144 +▁weight -10.0153 +▁znanja -10.0156 +▁International -10.0162 +op -10.0166 +▁međutim -10.0168 +▁NATO -10.0169 +▁2017 -10.0169 +▁return -10.017 +▁poena -10.017 +▁details -10.0171 +▁maja -10.0175 +▁kola -10.0179 +hu -10.018 +▁etc -10.0183 +iranje -10.0186 +▁July -10.0189 +▁seems -10.019 +▁death -10.0193 +▁growth -10.0196 +▁medija -10.0202 +▁naći -10.0203 +▁material -10.0204 +tic -10.021 +▁itd -10.0211 +▁> -10.0213 +▁cause -10.0215 +▁12. -10.0218 +▁Evropi -10.0218 +▁се -10.0226 +▁card -10.0234 +▁Sta -10.0236 +▁customer -10.0236 +▁sales -10.0238 +▁cut -10.0242 +▁particular -10.0242 +▁First -10.0245 +izam -10.0248 +based -10.025 +▁daleko -10.0251 +▁korisnika -10.0259 +▁digital -10.0261 +dan -10.0264 +acija -10.0268 +▁moje -10.0269 +▁” -10.027 +▁systems -10.0279 +▁mali -10.028 +▁anyone -10.0282 +▁President -10.0283 +▁quickly -10.0287 +old -10.0293 +▁Ho -10.0297 +▁London -10.0302 +▁Home -10.0303 +▁national -10.0323 +▁rezultate -10.0336 +▁version -10.0339 +▁impact -10.0343 +▁war -10.0348 +▁jedini -10.0352 +▁misli -10.0355 +▁90 -10.0358 +▁Black -10.0358 +▁saw -10.0366 +▁via -10.0369 +▁lives -10.0372 +▁Day -10.0392 +▁shows -10.0395 +▁users -10.0397 +▁Novom -10.0407 +▁themselves -10.0412 +▁roku -10.0421 +▁Više -10.0422 +ć -10.0422 +▁policy -10.0424 +▁patients -10.0424 +ho -10.0431 +▁devet -10.0433 +▁items -10.0437 +▁novim -10.0439 +▁mediji -10.044 +▁krvi -10.044 +icu -10.0445 +▁veliku -10.0454 +for -10.0458 +▁received -10.0458 +šte -10.0463 +nija -10.0465 +▁policija -10.0472 +▁dobra -10.0472 +▁ostali -10.0473 +▁travel -10.0478 +50 -10.0479 +▁application -10.048 +▁znaju -10.0488 +▁hair -10.049 +ate -10.0493 +▁hiljada -10.0495 +▁Crnoj -10.0502 +▁jednoj -10.0503 +▁primjer -10.0508 +Mi -10.0514 +▁download -10.0514 +▁Milan -10.0518 +} -10.052 +led -10.052 +▁production -10.0524 +tion -10.0526 +▁suda -10.0532 +▁2014 -10.0533 +bra -10.0536 +▁Just -10.0538 +▁postaje -10.054 +ijom -10.0541 +40 -10.0547 +▁motor -10.0558 +▁neku -10.056 +era -10.056 +▁Dok -10.058 +▁region -10.0587 +▁proizvod -10.0591 +▁UK -10.0597 +▁došao -10.0598 +▁recently -10.0599 +▁Di -10.0614 +▁players -10.0616 +▁žive -10.0621 +▁dođe -10.0624 +▁Bi -10.0626 +▁tax -10.0632 +▁decision -10.0638 +▁traje -10.064 +▁2017. -10.0642 +▁zemlja -10.0645 +MA -10.0647 +▁45 -10.0654 +▁obično -10.0655 +▁300 -10.0661 +▁bolji -10.0664 +ful -10.0667 +▁cm -10.067 +▁woman -10.0675 +▁additional -10.068 +▁consider -10.0684 +▁većina -10.0685 +▁con -10.0686 +▁onaj -10.0687 +Do -10.0688 +▁različite -10.0695 +▁vise -10.0697 +▁čime -10.0698 +▁pe -10.0699 +▁Se -10.0714 +cije -10.0719 +▁min -10.0722 +▁Srbiju -10.0724 +▁Ima -10.0725 +NE -10.073 +▁August -10.073 +▁currently -10.073 +▁Free -10.0735 +.“ -10.0736 +▁knowledge -10.074 +ron -10.0741 +▁playing -10.0742 +▁park -10.0742 +▁summer -10.0744 +?" -10.0744 +▁lost -10.0751 +▁Top -10.0754 +15 -10.0757 +▁address -10.0765 +vr -10.0772 +met -10.0774 +▁podatke -10.0779 +▁direktno -10.078 +▁29 -10.0783 +cija -10.079 +▁Vam -10.0796 +▁banke -10.0797 +▁početak -10.0804 +▁books -10.0806 +▁delu -10.0807 +▁Real -10.0808 +▁odnos -10.0817 +lan -10.0825 +wa -10.0827 +In -10.083 +▁Ana -10.083 +▁filma -10.083 +▁korak -10.0831 +▁star -10.0832 +▁success -10.0834 +▁trener -10.0834 +▁situacije -10.0841 +Q -10.0842 +▁morning -10.0847 +12 -10.0849 +▁fire -10.085 +▁skills -10.0855 +▁počeo -10.0856 +▁njegovog -10.0857 +▁activities -10.0865 +▁credit -10.0867 +▁septembra -10.0879 +▁Ke -10.0879 +19 -10.088 +▁uprave -10.0885 +▁2016 -10.0886 +▁friend -10.0888 +▁goal -10.0889 +▁Sad -10.089 +▁poziv -10.0891 +▁difficult -10.0893 +▁cases -10.0895 +▁English -10.0897 +▁terms -10.0901 +ger -10.0903 +▁police -10.0907 +▁bol -10.0908 +▁ground -10.0911 +▁,, -10.0912 +▁potpunosti -10.0917 +NI -10.0919 +hr -10.0922 +▁isključivo -10.0925 +▁oktobra -10.0927 +▁blood -10.0928 +▁pravila -10.0932 +▁marta -10.0932 +▁iznad -10.0934 +▁društvo -10.0939 +45 -10.0939 +▁private -10.095 +▁plus -10.0951 +▁Super -10.0954 +▁word -10.0956 +▁knjiga -10.0956 +▁global -10.0961 +▁career -10.0962 +vali -10.0972 +▁njegovim -10.0977 +▁worked -10.0978 +▁članova -10.098 +▁wide -10.0983 +▁Health -10.0992 +▁traži -10.0993 +let -10.0996 +▁fast -10.0998 +▁road -10.1007 +▁noći -10.1007 +▁entire -10.1008 +▁festival -10.1014 +▁pop -10.1022 +▁Ve -10.1022 +▁по -10.103 +▁kuća -10.104 +▁ostale -10.1042 +▁ability -10.1045 +▁materijala -10.1045 +▁Con -10.1049 +▁cover -10.105 +▁Ca -10.1055 +▁environment -10.1058 +▁file -10.1059 +▁approach -10.1061 +▁user -10.1062 +▁safe -10.1071 +gi -10.1071 +▁cu -10.1072 +▁tip -10.1072 +▁ruku -10.1082 +log -10.109 +▁Friday -10.1091 +▁remember -10.1092 +▁included -10.1092 +▁korona -10.1092 +▁napada -10.1103 +▁oba -10.1107 +▁Pe -10.1112 +▁drive -10.112 +▁automobila -10.1124 +▁2016. -10.1132 +▁pomaže -10.1136 +▁ostaje -10.1139 +▁temperature -10.114 +▁zakon -10.1141 +rije -10.1146 +▁color -10.1147 +▁objavio -10.1148 +▁tima -10.1148 +▁table -10.1151 +▁odgovara -10.1153 +▁Evropske -10.1155 +lije -10.1157 +▁terenu -10.1159 +▁odnosa -10.1159 +▁našu -10.1164 +▁conditions -10.1167 +▁choice -10.1173 +▁favorite -10.1173 +▁dobila -10.1178 +▁spot -10.1179 +▁velikog -10.1179 +▁hot -10.1185 +▁easily -10.1185 +▁područja -10.1192 +▁20. -10.1194 +▁Mark -10.1194 +▁nje -10.12 +▁meeting -10.1204 +▁kvalitet -10.1209 +Da -10.1209 +▁itself -10.1212 +one -10.1216 +▁lower -10.1217 +▁portal -10.1218 +▁pokazuje -10.1224 +▁nosi -10.1227 +đa -10.1229 +▁stav -10.123 +day -10.1231 +▁priče -10.1235 +▁unutar -10.1236 +▁mjeseci -10.1238 +▁latest -10.1253 +▁19. -10.1264 +▁Group -10.1264 +▁nice -10.1268 +▁UN -10.127 +▁Kod -10.1271 +▁probleme -10.1273 +▁international -10.1275 +▁court -10.1277 +▁32 -10.1281 +▁Rusije -10.1281 +▁br -10.1283 +▁Windows -10.1285 +▁myself -10.1287 +▁involved -10.1293 +▁institucija -10.1293 +ng -10.1309 +▁Bez -10.1314 +fer -10.1315 +▁2015 -10.1315 +▁zahvaljujući -10.1317 +▁chance -10.1318 +▁September -10.1321 +% -10.1322 +▁attention -10.1335 +▁parents -10.1339 +▁clients -10.1342 +▁njihova -10.1343 +čke -10.1343 +▁lige -10.1354 +▁built -10.1358 +▁worth -10.1359 +▁countries -10.136 +▁dodaje -10.1361 +▁ex -10.1365 +▁Radi -10.1374 +▁January -10.1384 +▁Time -10.1386 +▁h -10.1388 +▁began -10.1395 +▁dolaze -10.1397 +▁Je -10.1398 +▁former -10.1398 +▁loss -10.1407 +ated -10.1407 +ker -10.1408 +▁naročito -10.1411 +▁14. -10.1418 +▁virusa -10.1419 +▁bavi -10.1424 +▁source -10.1429 +▁jezik -10.1431 +Za -10.1436 +▁relationship -10.1437 +▁sutra -10.1443 +90 -10.1444 +đe -10.1447 +▁wasn -10.1453 +▁ostalih -10.1455 +NO -10.1459 +▁Street -10.146 +▁NE -10.1461 +▁necessary -10.1461 +▁network -10.1464 +▁2011 -10.1465 +rija -10.1468 +▁meč -10.147 +▁IT -10.1477 +▁Zakona -10.1478 +▁Paul -10.1481 +▁political -10.1486 +é -10.1488 +▁dodatno -10.149 +▁insurance -10.1495 +▁hold -10.1497 +▁21. -10.1508 +▁Why -10.1523 +▁Well -10.1525 +we -10.1528 +▁programs -10.1528 +▁improve -10.1529 +ista -10.1532 +▁High -10.1536 +▁temu -10.1537 +▁virus -10.1537 +▁Also -10.1539 +▁goes -10.1546 +▁decided -10.1548 +▁sport -10.1551 +▁click -10.1553 +` -10.1557 +▁l -10.1561 +▁box -10.1561 +▁allows -10.1561 +▁njihovih -10.1564 +▁Even -10.1566 +▁watch -10.1575 +ла -10.1587 +▁board -10.1592 +nt -10.1597 +▁Lu -10.16 +▁proizvodi -10.1607 +ev -10.1607 +▁zemljama -10.161 +▁uskoro -10.1616 +▁prati -10.1618 +▁regular -10.1621 +▁cena -10.1623 +ya -10.1624 +▁levels -10.1626 +▁written -10.1629 +▁razliku -10.1633 +way -10.1634 +▁stalno -10.164 +▁traže -10.1648 +ance -10.1655 +▁aprila -10.1656 +ćemo -10.1662 +▁average -10.1662 +▁uslovima -10.1664 +▁proizvode -10.1668 +▁October -10.1669 +▁variety -10.167 +▁Department -10.1672 +▁meseci -10.1676 +▁r -10.1694 +▁prodaje -10.1694 +hi -10.1697 +▁doba -10.1705 +bar -10.1707 +▁priprema -10.1718 +▁blizini -10.1721 +▁eye -10.1723 +les -10.1727 +▁instead -10.1728 +▁hands -10.1728 +▁premijer -10.173 +▁počela -10.1731 +▁https -10.1739 +▁sme -10.1745 +▁normal -10.1746 +▁smrti -10.1746 +▁njoj -10.1752 +▁image -10.1754 +▁razlog -10.1756 +Ž -10.1756 +▁mjeseca -10.1757 +▁write -10.1766 +fe -10.1768 +▁Art -10.1769 +▁THE -10.1774 +▁jedino -10.1777 +▁utakmica -10.1779 +▁le -10.178 +▁politike -10.1781 +lji -10.1785 +▁related -10.1792 +▁leading -10.1793 +▁razvoju -10.1798 +▁predsjednika -10.1798 +Č -10.18 +▁Jer -10.181 +▁projects -10.1815 +▁sub -10.1824 +▁rights -10.1825 +▁Ar -10.1827 +▁uopšte -10.1828 +▁članovi -10.1831 +▁felt -10.1832 +▁En -10.1832 +▁pogled -10.1836 +▁plate -10.1843 +▁mom -10.1849 +▁voda -10.185 +▁održava -10.185 +čan -10.1852 +▁computer -10.1853 +tor -10.1853 +q -10.1853 +▁velikim -10.1858 +▁petak -10.1858 +▁Get -10.186 +▁drugu -10.1871 +▁fit -10.1871 +▁FBiH -10.1876 +▁became -10.1881 +▁mladi -10.1881 +▁Europe -10.1884 +▁stanja -10.1885 +▁purchase -10.1886 +▁tekst -10.1887 +м -10.1891 +▁sign -10.1892 +▁pain -10.1893 +ise -10.1896 +▁13. -10.1897 +▁du -10.1898 +▁walk -10.1899 +ik -10.19 +▁ideas -10.1903 +▁Zašto -10.1905 +▁effective -10.1908 +▁Možda -10.1911 +eg -10.1913 +▁benefits -10.1913 +▁option -10.1916 +ish -10.1919 +▁imena -10.1923 +▁jula -10.1924 +▁gr -10.1926 +▁snaga -10.1928 +▁looks -10.1932 +▁dete -10.1932 +▁mlade -10.1942 +čka -10.1946 +▁tema -10.1947 +▁Post -10.1947 +▁fall -10.1948 +▁iste -10.1948 +▁scene -10.1949 +▁Star -10.1951 +▁hear -10.1951 +▁et -10.1957 +▁budućnosti -10.1959 +vati -10.1959 +▁release -10.1959 +▁vlade -10.1964 +▁Ben -10.1967 +▁War -10.197 +▁benefit -10.1972 +▁svemu -10.1972 +▁odbora -10.1976 +▁Sunday -10.198 +▁November -10.1981 +▁wrong -10.1982 +▁dobre -10.1984 +▁ovako -10.1987 +▁Washington -10.1994 +▁saying -10.1996 +▁December -10.1998 +▁subject -10.2011 +▁ljubavi -10.2029 +▁inače -10.203 +▁čovjek -10.2031 +▁čeka -10.2037 +▁previše -10.2038 +like -10.2039 +▁najčešće -10.2046 +▁multi -10.2046 +▁break -10.2047 +▁ekipe -10.2052 +▁gore -10.2052 +▁javnog -10.2054 +▁multiple -10.2056 +▁javlja -10.2057 +▁zemlju -10.2061 +▁fine -10.2065 +▁metal -10.2066 +▁Green -10.2069 +▁met -10.207 +▁DA -10.208 +ating -10.208 +▁ra -10.2081 +▁costs -10.2082 +▁poziva -10.2084 +▁Web -10.2089 +▁location -10.2095 +▁sajtu -10.2099 +▁nedelje -10.2101 +▁nekom -10.2101 +▁kvaliteta -10.2104 +▁boja -10.2105 +▁2015. -10.2109 +▁movie -10.2111 +▁effect -10.2112 +▁JE -10.2115 +▁groups -10.2115 +▁Ro -10.2126 +▁pressure -10.2127 +▁2014. -10.2128 +▁land -10.213 +▁Many -10.2138 +▁sadržaja -10.2138 +▁eyes -10.2141 +▁procesa -10.2143 +▁dobija -10.2143 +▁Apple -10.2157 +▁porodica -10.2157 +▁Saturday -10.2165 +▁mere -10.2166 +▁band -10.2168 +▁track -10.2169 +▁completely -10.2169 +▁situation -10.2176 +▁svijet -10.2179 +▁tools -10.218 +▁pregleda -10.2188 +ни -10.219 +▁daily -10.2196 +▁vidu -10.2197 +acije -10.2203 +▁Business -10.2205 +ization -10.221 +▁mother -10.2217 +▁znak -10.2219 +▁njegovo -10.2219 +▁Per -10.2224 +▁jos -10.2224 +▁types -10.2225 +▁town -10.2226 +▁gave -10.2234 +▁svaka -10.2235 +▁Hrvatska -10.2236 +▁center -10.2236 +▁mreže -10.2238 +▁significant -10.2239 +▁Taj -10.2241 +▁zaštiti -10.2243 +▁term -10.2248 +▁zahteva -10.2264 +▁shall -10.2264 +▁subotu -10.2273 +▁predsednika -10.2276 +▁dijete -10.2278 +kova -10.228 +▁lakše -10.2281 +▁See -10.2282 +ven -10.2284 +ally -10.2286 +▁broju -10.2288 +▁Bilo -10.2289 +▁clean -10.2289 +▁podaci -10.2291 +▁door -10.2292 +▁31 -10.2292 +▁potrebna -10.2312 +▁16. -10.2312 +▁pada -10.2315 +▁ha -10.2315 +▁akcije -10.2315 +▁vodu -10.2317 +▁sex -10.2322 +▁vide -10.2328 +▁Posle -10.233 +▁White -10.233 +▁amazing -10.2336 +▁mobile -10.2336 +▁decembra -10.2341 +nski -10.2344 +nci -10.2346 +▁code -10.2347 +lica -10.2351 +▁januara -10.2353 +▁pick -10.2355 +▁vrijednosti -10.236 +tak -10.2363 +▁Are -10.2365 +▁General -10.2372 +▁mo -10.2377 +▁save -10.2385 +▁takav -10.2391 +▁Radio -10.2395 +▁djecu -10.2399 +с -10.24 +ard -10.2409 +▁Nikola -10.2413 +▁borbe -10.2415 +▁slike -10.2417 +▁2010 -10.2417 +ini -10.2418 +▁knew -10.2418 +▁piece -10.2429 +▁inter -10.243 +▁Ove -10.243 +▁putovanja -10.2431 +▁vrednosti -10.2434 +▁strana -10.2437 +▁answer -10.2454 +▁China -10.2455 +▁providing -10.2468 +▁borbi -10.2474 +▁moze -10.2478 +▁sites -10.2485 +▁Mislim -10.2486 +▁njim -10.2487 +▁located -10.2488 +на -10.2494 +▁djela -10.2502 +▁green -10.2503 +▁poznat -10.2505 +▁himself -10.2505 +▁istovremeno -10.2506 +bri -10.251 +ol -10.2511 +▁meseca -10.2512 +▁sent -10.2512 +▁dating -10.2515 +▁promene -10.2518 +ks -10.2518 +▁giving -10.2519 +▁stranici -10.2521 +▁stage -10.2521 +▁člana -10.2521 +▁prostoru -10.2521 +▁veće -10.2522 +▁thinking -10.2533 +▁resources -10.2535 +▁Wi -10.2536 +▁Hotel -10.2539 +▁proizvodnje -10.2542 +▁dobije -10.2542 +šu -10.2543 +▁sadržaj -10.2549 +LA -10.255 +16 -10.2551 +▁svojom -10.2563 +▁interesting -10.2564 +▁plans -10.2567 +▁fresh -10.258 +▁glas -10.2581 +▁nju -10.2581 +ia -10.2593 +▁Inc -10.2598 +▁language -10.2606 +▁Plan -10.2607 +▁političke -10.2607 +con -10.2607 +▁gives -10.2607 +▁Monday -10.2608 +▁Ver -10.2608 +▁Once -10.2612 +11 -10.2616 +▁sedmice -10.2616 +▁Evo -10.2616 +▁mir -10.2623 +▁expected -10.2624 +▁činjenica -10.2625 +▁directly -10.2627 +izma -10.2627 +▁reach -10.2634 +▁novom -10.2638 +▁safety -10.2638 +▁develop -10.2647 +▁vremenu -10.2649 +▁Također -10.2658 +▁positive -10.2659 +▁Best -10.2676 +▁heard -10.2678 +▁sort -10.2686 +▁huge -10.2688 +▁loše -10.2692 +▁ugovora -10.2693 +је -10.2695 +▁Nova -10.2706 +▁Court -10.2709 +▁pad -10.271 +▁novembra -10.2711 +▁cene -10.2722 +▁nature -10.2724 +▁lokalne -10.2729 +▁kon -10.2735 +▁stand -10.2738 +▁crkve -10.274 +▁Bu -10.2742 +▁vec -10.2742 +▁znamo -10.2743 +▁napisao -10.2747 +▁slučajeva -10.275 +▁trip -10.2751 +▁Since -10.2754 +▁Dodik -10.2758 +▁Si -10.2762 +▁cilju -10.2765 +60 -10.2765 +▁screen -10.2773 +▁dog -10.2775 +▁17. -10.2783 +vanju -10.2787 +US -10.2787 +mp -10.279 +▁send -10.2795 +off -10.2804 +▁solution -10.2805 +▁text -10.2806 +▁brought -10.281 +▁Tim -10.2812 +▁150 -10.2817 +▁18. -10.2822 +▁saradnju -10.2822 +▁played -10.2824 +▁player -10.2825 +▁2021 -10.283 +▁drugoj -10.2833 +▁održan -10.2835 +šću -10.2837 +▁News -10.284 +▁(19 -10.2845 +▁veka -10.285 +▁federal -10.2852 +kić -10.2856 +uju -10.2858 +▁character -10.2859 +70 -10.2859 +▁javnost -10.2869 +▁krajem -10.2869 +▁physical -10.287 +▁svaku -10.2872 +ent -10.2881 +▁čovek -10.2884 +ena -10.2887 +▁naši -10.2888 +end -10.2888 +▁događaja -10.2897 +▁postupak -10.2898 +▁race -10.29 +▁starting -10.2901 +▁fotografije -10.2904 +▁verovatno -10.2906 +tar -10.2913 +▁parking -10.2923 +▁poručio -10.2923 +▁Instagram -10.2926 +▁zgrade -10.2929 +▁račun -10.2932 +Ja -10.2933 +put -10.2933 +▁predstavnici -10.2934 +▁moramo -10.2934 +▁organization -10.2936 +▁spend -10.2937 +▁feature -10.2945 +▁sometimes -10.2957 +▁collection -10.2957 +▁kožu -10.2958 +▁Jan -10.2959 +75 -10.2962 +▁stories -10.2963 +lj -10.2966 +▁transfer -10.2967 +▁son -10.2974 +▁published -10.2982 +star -10.2985 +▁parts -10.2994 +▁India -10.2998 +▁Air -10.3 +ps -10.3 +▁Komentari -10.3007 +▁dnevno -10.3008 +mir -10.301 +® -10.3011 +▁message -10.3014 +▁riječi -10.3016 +▁California -10.3016 +▁predstavljaju -10.3018 +▁Jo -10.302 +▁cool -10.3023 +▁considered -10.3039 +▁trade -10.3045 +▁tačno -10.3047 +ika -10.3048 +▁33 -10.3052 +čki -10.3056 +▁došli -10.3059 +▁dešava -10.3064 +▁о -10.3065 +▁materials -10.3065 +▁napraviti -10.3071 +▁turned -10.3076 +▁towards -10.3078 +▁Ze -10.3081 +▁analysis -10.3084 +▁saopštenju -10.3086 +▁Service -10.3089 +▁Luka -10.3089 +▁srpski -10.3091 +gr -10.3092 +▁objekata -10.3094 +▁poslove -10.3099 +▁feeling -10.3102 +▁vrši -10.3103 +▁Gu -10.3103 +▁tela -10.3105 +▁podacima -10.3107 +▁father -10.3107 +▁značajno -10.3108 +▁section -10.3109 +ste -10.311 +▁decu -10.3112 +jo -10.3113 +▁Već -10.3116 +▁odbrane -10.3116 +zna -10.3116 +▁va -10.3117 +▁ulja -10.312 +bit -10.3121 +▁Hi -10.3129 +▁limited -10.3132 +▁pi -10.3138 +sen -10.3138 +▁Autor -10.3139 +▁mjere -10.3142 +šić -10.3144 +lija -10.3151 +pu -10.3153 +▁base -10.3153 +▁direktora -10.3154 +▁Make -10.3155 +▁Kon -10.3158 +▁konačno -10.3162 +▁$ -10.3164 +▁stock -10.3164 +▁kakav -10.3164 +han -10.3165 +▁successful -10.3167 +▁ideja -10.3171 +▁obaveza -10.318 +▁Good -10.3183 +▁prvih -10.3187 +▁njegovom -10.3191 +▁individuals -10.3195 +▁smatraju -10.3199 +▁Koliko -10.3205 +▁seem -10.3205 +▁Marko -10.3206 +▁2022. -10.3206 +▁helps -10.3209 +▁stvarno -10.321 +▁evidence -10.3218 +▁pronaći -10.3221 +▁brojne -10.3221 +ator -10.3228 +▁institucije -10.3229 +▁firme -10.3233 +▁highly -10.3236 +▁PO -10.3239 +▁happen -10.3239 +▁speed -10.324 +▁prevent -10.324 +▁odgovornost -10.325 +▁Pred -10.3252 +kao -10.326 +▁duže -10.3263 +ring -10.3273 +▁college -10.3274 +▁situaciju -10.3278 +▁deca -10.3279 +▁require -10.3282 +▁najboljih -10.3284 +▁uslove -10.3287 +▁pak -10.3292 +▁oči -10.3294 +▁modela -10.3294 +▁samog -10.3303 +▁drug -10.3305 +raz -10.3306 +đi -10.3306 +stra -10.3307 +▁100% -10.331 +▁moja -10.331 +▁reči -10.331 +▁ostalo -10.3312 +▁Twitter -10.3327 +▁response -10.3331 +▁prodaju -10.3332 +▁transport -10.3335 +▁developed -10.3336 +▁uticaj -10.3342 +▁obliku -10.3342 +▁str -10.3348 +▁građanima -10.335 +ence -10.3358 +▁Michael -10.3368 +os -10.337 +▁Sam -10.3371 +▁Film -10.3372 +▁rok -10.3375 +njima -10.3378 +▁sredine -10.3386 +din -10.3387 +▁device -10.3388 +▁kuna -10.3397 +▁College -10.3401 +▁growing -10.3403 +▁opreme -10.3406 +▁looked -10.3406 +kin -10.3408 +▁gu -10.3413 +▁njegovu -10.3417 +▁James -10.3423 +▁telefon -10.3425 +▁traditional -10.3428 +▁economic -10.343 +▁srca -10.3431 +▁Zoran -10.3432 +▁autor -10.3436 +▁ras -10.3437 +Ma -10.3447 +▁equipment -10.3454 +▁creating -10.3455 +▁organizaciji -10.3457 +▁vidjeti -10.3462 +▁planning -10.3466 +▁avoid -10.3476 +▁grow -10.3478 +▁begin -10.3478 +▁juče -10.348 +tre -10.3482 +▁kr -10.3495 +▁2012. -10.3497 +▁February -10.3499 +▁studija -10.3503 +▁ba -10.3506 +▁Kur -10.351 +▁izgled -10.3512 +▁gets -10.3512 +▁European -10.3515 +▁februara -10.3516 +Pro -10.3517 +▁TO -10.3517 +dom -10.3519 +▁društvenim -10.3522 +▁author -10.3525 +▁sale -10.3525 +grad -10.353 +▁društvu -10.3532 +▁Office -10.3535 +▁zajednica -10.3538 +0,000 -10.3542 +▁agencija -10.3544 +▁dijelu -10.3548 +▁ovi -10.3552 +▁effects -10.3553 +▁stanovništva -10.3559 +!” -10.356 +▁hour -10.3562 +▁takmičenja -10.3562 +▁Dragan -10.3564 +ping -10.3565 +▁employees -10.3566 +▁Sport -10.3566 +ли -10.3567 +▁released -10.3569 +▁Tom -10.3572 +▁picture -10.3573 +lom -10.3578 +▁fully -10.358 +▁protect -10.3581 +▁2009 -10.3587 +▁$1 -10.3588 +▁istom -10.3591 +18 -10.3594 +▁spremni -10.3595 +▁prilika -10.3599 +ie -10.36 +▁velikih -10.361 +▁PM -10.3611 +▁morate -10.3615 +▁Y -10.3615 +▁telefona -10.3617 +▁22. -10.3618 +zo -10.3619 +▁2013. -10.3622 +▁Jedna -10.3625 +▁Ž -10.3628 +▁njene -10.363 +); -10.3633 +р -10.3635 +▁beginning -10.3636 +can -10.3637 +▁healthy -10.364 +▁culture -10.3642 +▁veća -10.3644 +▁platform -10.3646 +ob -10.3649 +▁različitim -10.3659 +▁otac -10.3664 +▁takve -10.3664 +99 -10.3666 +▁majka -10.3667 +ex -10.367 +▁spent -10.3671 +▁priču -10.3676 +▁srpske -10.3676 +▁tro -10.3678 +▁reported -10.3678 +De -10.3679 +▁tried -10.3682 +rin -10.3683 +▁stvara -10.369 +▁deep -10.369 +▁pritisak -10.3693 +▁Ri -10.3694 +▁ostalog -10.3695 +▁Online -10.3695 +▁održana -10.3695 +uk -10.3705 +-1 -10.3706 +que -10.3708 +▁projekata -10.3716 +:|| -10.3717 +▁understanding -10.3719 +▁nazivom -10.3722 +▁stan -10.3725 +▁snagu -10.3735 +80 -10.3738 +▁gol -10.3741 +▁rečima -10.3742 +▁budućnost -10.3743 +▁expect -10.3743 +▁bitno -10.375 +▁sit -10.375 +▁komentar -10.3752 +▁Pan -10.3756 +▁quick -10.376 +▁Android -10.376 +▁regionu -10.3761 +▁48 -10.3762 +▁36 -10.3769 +▁mm -10.3771 +▁states -10.3777 +▁previous -10.3779 +▁finally -10.378 +▁proizvodnju -10.3782 +▁match -10.3782 +▁businesses -10.3782 +▁Pi -10.3783 +▁Although -10.3785 +▁400 -10.3786 +▁Neki -10.3787 +▁srpskog -10.3789 +▁rock -10.379 +▁načina -10.3797 +▁poznato -10.3799 +▁Bor -10.38 +▁Video -10.38 +▁senior -10.3803 +▁activity -10.3804 +не -10.3806 +▁milijardi -10.3806 +14 -10.3807 +ića -10.3812 +▁Fa -10.3813 +▁kolu -10.3818 +▁objašnjava -10.3833 +▁projekt -10.3835 +zer -10.3837 +▁round -10.3838 +▁telo -10.384 +▁wife -10.3841 +▁certainly -10.3842 +▁tool -10.3842 +▁minute -10.3843 +gar -10.3844 +▁postala -10.3844 +▁ulici -10.3844 +▁zaposlenih -10.3849 +▁shop -10.3851 +▁floor -10.3854 +▁25. -10.3854 +▁Services -10.3861 +▁učenika -10.3869 +▁direct -10.387 +▁feet -10.3874 +▁naglasio -10.3876 +ture -10.3878 +▁baby -10.3879 +▁obrazovanja -10.3879 +▁dati -10.388 +▁moving -10.3884 +▁interested -10.3898 +▁čija -10.39 +ten -10.39 +▁djeca -10.39 +▁polu -10.3902 +▁izborima -10.3906 +▁DO -10.3907 +▁autora -10.3911 +▁sklopu -10.3912 +▁unije -10.3924 +▁photo -10.3924 +▁servis -10.3929 +▁signal -10.393 +▁apply -10.3931 +▁Pu -10.3934 +▁commercial -10.3937 +mm -10.3942 +▁navode -10.3945 +▁medijima -10.3951 +▁method -10.396 +▁zavisi -10.3962 +kov -10.3964 +▁exactly -10.3968 +▁Inter -10.3976 +▁SA -10.3979 +▁trend -10.3985 +▁ob -10.3988 +san -10.3992 +▁rešenje -10.3995 +▁cancer -10.3995 +▁tijela -10.4001 +▁COVID -10.4007 +▁fan -10.4009 +▁wait -10.401 +pm -10.401 +▁školi -10.4017 +▁f -10.4017 +▁purpose -10.4021 +▁Over -10.4022 +▁Research -10.4024 +▁Naj -10.4026 +▁Open -10.4029 +▁Ju -10.4033 +▁2011. -10.4034 +▁kilometara -10.4035 +▁navodno -10.4036 +▁čije -10.4036 +▁školu -10.4043 +▁igrač -10.4044 +▁excellent -10.4048 +▁Grada -10.4049 +▁njihovim -10.4051 +▁maybe -10.4051 +▁paid -10.4058 +gen -10.4058 +▁želimo -10.4058 +▁koncert -10.4059 +▁veliko -10.4062 +▁opportunities -10.4063 +▁profesor -10.4065 +ize -10.4071 +▁udruženja -10.4077 +▁nastavlja -10.408 +▁solutions -10.4087 +▁girl -10.4088 +▁portala -10.4091 +▁join -10.4091 +▁Vladimir -10.4093 +▁nearly -10.4099 +▁nagrade -10.4101 +nce -10.4107 +▁daju -10.4107 +▁nagrada -10.411 +▁kamen -10.411 +▁automobil -10.4114 +▁državi -10.4117 +▁svakodnevno -10.4118 +▁Kosovo -10.412 +▁bh -10.412 +▁Mu -10.4121 +▁vidim -10.4131 +▁wish -10.4139 +▁Sarajeva -10.414 +▁programu -10.4141 +▁neophodno -10.4145 +god -10.4146 +▁pokazuju -10.4148 +▁rasta -10.4148 +▁Life -10.4148 +▁građane -10.4156 +▁ostati -10.4159 +ot -10.4163 +▁campaign -10.4165 +▁stuff -10.4168 +▁ideal -10.4172 +17 -10.4172 +▁Treba -10.4172 +▁budget -10.4174 +▁održavanje -10.4179 +▁predstavnika -10.418 +▁Sto -10.4182 +▁obrazovanje -10.4185 +▁nastaviti -10.4186 +▁Robert -10.4186 +▁Skupštine -10.4186 +▁politički -10.4199 +▁fi -10.4201 +lice -10.4202 +▁condition -10.4204 +▁machine -10.4212 +▁Great -10.4216 +▁According -10.4217 +▁osvojio -10.4217 +ра -10.4218 +▁reče -10.4218 +▁disease -10.4227 +▁podrške -10.4229 +Bo -10.4231 +▁onima -10.4238 +▁places -10.4242 +▁difference -10.4244 +▁njihovo -10.4245 +24 -10.4245 +!" -10.4251 +▁billion -10.4253 +▁velikom -10.4256 +▁istraživanje -10.426 +▁barem -10.4264 +▁akcija -10.4267 +čkom -10.4271 +▁families -10.4279 +▁teritoriji -10.4279 +▁saradnje -10.4282 +▁bed -10.4285 +ek -10.4285 +▁podržava -10.4286 +▁vama -10.429 +▁š -10.4294 +▁stanovnika -10.4297 +▁title -10.4297 +ns -10.4299 +▁ponekad -10.4305 +▁Rusija -10.4309 +▁goals -10.431 +▁photos -10.431 +▁voice -10.4312 +▁mrežama -10.4315 +▁Act -10.4322 +▁alone -10.4322 +ovanje -10.4323 +▁Pet -10.4335 +▁naziv -10.4338 +▁Fe -10.434 +▁rezultata -10.4344 +▁IN -10.4347 +ny -10.4347 +▁Ru -10.435 +▁pregled -10.4352 +eve -10.4361 +▁ciljem -10.4363 +▁Peter -10.4365 +▁lose -10.4366 +▁effort -10.4366 +▁Prvo -10.4371 +▁су -10.4372 +▁tržište -10.4372 +▁eat -10.4377 +▁Mac -10.4388 +▁mala -10.439 +▁East -10.4391 +▁Because -10.4392 +▁seven -10.4397 +Ko -10.4406 +gre -10.4406 +▁ovoga -10.4407 +▁slično -10.4413 +▁kontrolu -10.4431 +▁beyond -10.4437 +▁drugačije -10.444 +▁reports -10.4441 +▁Thursday -10.4441 +▁nose -10.4444 +▁Novog -10.4452 +▁president -10.4455 +▁MUP -10.4455 +▁Big -10.4457 +▁master -10.446 +▁rezultati -10.4462 +CA -10.4463 +side -10.4463 +▁politika -10.4466 +▁requirements -10.4466 +▁učiniti -10.4467 +▁Broj -10.4467 +▁oblik -10.4467 +▁granice -10.4474 +vin -10.4475 +▁materijal -10.4476 +▁Ku -10.4476 +▁increased -10.4481 +▁govore -10.4481 +▁civil -10.4482 +▁prvu -10.4483 +▁Centar -10.4488 +ona -10.4493 +kla -10.4495 +▁medicine -10.4498 +▁particularly -10.4499 +▁prilično -10.4502 +▁Federacije -10.4503 +▁Other -10.4503 +Fi -10.4513 +▁znatno -10.4517 +▁Each -10.4517 +▁Christmas -10.4524 +▁Use -10.4535 +▁2000 -10.4536 +chi -10.4537 +br -10.4538 +▁rekli -10.4543 +▁igrati -10.4546 +▁heat -10.4547 +▁susret -10.4549 +▁godišnje -10.4554 +▁23. -10.4555 +back -10.4562 +▁Read -10.4562 +▁niste -10.4563 +▁charge -10.4564 +▁Jesus -10.4568 +▁javne -10.4569 +vala -10.457 +▁znate -10.4571 +▁24. -10.4571 +▁pripada -10.4573 +▁pandemije -10.4578 +▁lack -10.4579 +▁vraća -10.4582 +▁Last -10.4586 +▁večeras -10.4587 +▁act -10.4588 +▁Sun -10.4588 +▁sporazum -10.4588 +▁Microsoft -10.4588 +▁Aleksandra -10.459 +▁obavezno -10.4594 +▁Un -10.4597 +▁investment -10.4603 +▁touch -10.4604 +▁definitely -10.4605 +▁ponudi -10.4607 +▁guide -10.4609 +▁Tuesday -10.4611 +dy -10.4614 +26 -10.4615 +▁People -10.4615 +▁prijave -10.4616 +kon -10.4616 +▁Today -10.462 +▁nastupa -10.4623 +vor -10.4625 +▁allowed -10.4627 +▁ten -10.4632 +▁mišljenje -10.4635 +▁2008 -10.4637 +▁essential -10.4637 +▁basis -10.4643 +▁voli -10.4647 +▁advice -10.4647 +▁schools -10.4649 +▁poslednjih -10.4659 +▁samom -10.4659 +▁Japan -10.4662 +▁earlier -10.4662 +▁prednost -10.4662 +▁rizik -10.4664 +▁cijena -10.4666 +▁utakmicu -10.4668 +▁prirode -10.4671 +▁nastavi -10.4672 +▁grupi -10.4674 +▁vidimo -10.4677 +▁press -10.4678 +28 -10.4679 +22 -10.4679 +▁talking -10.468 +▁pravu -10.4681 +▁Trump -10.4683 +▁Who -10.4683 +▁challenge -10.4685 +▁predmet -10.4686 +▁prof -10.4689 +▁double -10.469 +▁ball -10.4691 +if -10.4693 +▁note -10.4694 +pt -10.4696 +▁statement -10.4698 +▁tra -10.47 +▁redovno -10.4701 +▁dark -10.4701 +▁Up -10.4703 +You -10.4712 +slav -10.4715 +▁sama -10.4718 +▁Like -10.4718 +sion -10.4722 +▁igru -10.4724 +▁iznosu -10.4726 +▁offered -10.4729 +▁blizu -10.4732 +gan -10.4732 +▁Van -10.4734 +▁šef -10.4736 +▁reasons -10.4739 +▁životne -10.474 +TE -10.4741 +tel -10.4741 +▁određene -10.4743 +▁pass -10.4743 +▁ponude -10.4747 +▁napad -10.4749 +95 -10.475 +▁images -10.4751 +▁mini -10.4753 +▁Love -10.4754 +inu -10.4759 +▁overall -10.476 +▁28. -10.4761 +▁34 -10.4762 +▁sobom -10.4762 +▁organa -10.4765 +▁prave -10.4766 +▁announced -10.4778 +▁kose -10.4779 +▁vole -10.4779 +čkog -10.4789 +Ba -10.4791 +▁Bank -10.4792 +▁active -10.4793 +▁plaća -10.4794 +SA -10.4794 +isti -10.4794 +▁complex -10.4795 +▁serve -10.4796 +▁kandidata -10.4799 +▁poslu -10.48 +▁Obama -10.4805 +▁solid -10.481 +▁njihovog -10.4814 +▁Council -10.4815 +Pa -10.482 +▁iznos -10.4827 +▁prices -10.483 +92 -10.483 +35 -10.4833 +▁ones -10.4833 +▁prior -10.484 +▁Check -10.4841 +▁pogledajte -10.4842 +▁obe -10.4842 +▁audio -10.4844 +▁najavio -10.4844 +▁:) -10.4847 +▁kontakt -10.4853 +RE -10.4854 +▁sleep -10.4857 +▁sl -10.4861 +▁function -10.4863 +▁Kosovu -10.4864 +▁promet -10.4864 +▁onoga -10.4865 +▁ličnosti -10.4865 +▁lista -10.4867 +▁službe -10.4867 +▁damage -10.4868 +▁plant -10.4874 +▁odmor -10.4877 +▁planu -10.4879 +▁director -10.4881 +▁odlučio -10.4882 +nske -10.4884 +▁Čak -10.489 +▁četvrtak -10.4897 +ovog -10.4898 +▁reduce -10.4902 +▁Los -10.4903 +▁although -10.4904 +▁tijelo -10.4905 +▁kantona -10.4907 +▁sna -10.491 +▁razne -10.491 +top -10.491 +▁cash -10.4914 +27 -10.4914 +▁Canada -10.4915 +▁bivši -10.4916 +▁hi -10.4919 +▁vehicle -10.4921 +▁View -10.4922 +▁kosu -10.4923 +▁rešenja -10.4925 +▁procesu -10.4926 +▁Martin -10.4928 +▁roditelji -10.4928 +▁ostao -10.4929 +▁sumnje -10.4931 +▁pokazala -10.4932 +ita -10.4938 +wi -10.4938 +field -10.4939 +▁King -10.494 +▁wants -10.494 +▁immediately -10.4943 +▁shown -10.4944 +▁Srba -10.4946 +13 -10.4947 +▁panel -10.495 +▁ministra -10.4954 +° -10.4955 +▁Media -10.4957 +ura -10.4962 +▁couldn -10.4962 +▁responsible -10.4963 +▁PC -10.4965 +▁Pogledajte -10.4969 +ovo -10.4971 +▁loved -10.4971 +▁27. -10.4973 +▁lu -10.4977 +▁evo -10.498 +▁produce -10.4981 +▁vesti -10.4982 +house -10.4986 +stvu -10.4988 +▁moved -10.4988 +ren -10.4995 +▁IZ -10.4995 +▁song -10.4997 +▁ž -10.4998 +▁Crna -10.5003 +tica -10.5006 +▁Lord -10.5006 +▁iPhone -10.5008 +▁Board -10.5011 +▁firm -10.5016 +▁patient -10.5016 +ти -10.5018 +▁kažem -10.502 +▁trebao -10.502 +▁Company -10.5023 +▁church -10.5027 +▁fa -10.5039 +▁prevoz -10.5042 +▁j -10.5052 +▁teams -10.5054 +▁Drugi -10.5055 +nska -10.5064 +▁situaciji -10.5064 +▁whose -10.5071 +▁Među -10.5074 +▁relevant -10.5075 +▁serije -10.5085 +▁rules -10.5085 +He -10.5096 +▁applications -10.5098 +▁trans -10.5101 +▁vrati -10.5107 +▁stigao -10.5107 +▁zahtev -10.5109 +▁changed -10.511 +▁30. -10.5113 +▁serious -10.5113 +▁science -10.5114 +▁OD -10.5117 +▁Yes -10.5118 +ham -10.5118 +▁Kar -10.5118 +▁Wednesday -10.5122 +▁About -10.5122 +▁dakle -10.5123 +ovao -10.5129 +▁Association -10.513 +▁server -10.5135 +▁otvoren -10.5136 +▁enter -10.5136 +▁degree -10.5138 +▁naslov -10.5141 +▁force -10.5142 +▁RE -10.5142 +ology -10.5146 +▁bo -10.5148 +▁central -10.5151 +ding -10.5151 +▁zvanično -10.516 +▁Press -10.5166 +▁Hvala -10.5168 +▁meri -10.5175 +21 -10.5175 +▁Click -10.5176 +▁svoja -10.5176 +▁smrt -10.5181 +▁official -10.5183 +▁dovodi -10.5183 +▁Vo -10.5188 +term -10.5189 +▁weekend -10.5191 +▁mjesec -10.5193 +▁agencije -10.52 +des -10.5201 +BA -10.5202 +▁borbu -10.5207 +▁cross -10.5208 +▁During -10.5211 +▁fotografija -10.5217 +tr -10.5227 +▁Hu -10.523 +▁nagradu -10.5232 +▁uređaja -10.5232 +▁savez -10.5237 +▁avgusta -10.5238 +▁truly -10.524 +▁povećanje -10.5243 +▁Club -10.5243 +▁Va -10.5244 +lac -10.5245 +▁easier -10.5248 +▁basic -10.525 +▁teme -10.5252 +ability -10.5253 +▁associated -10.5256 +▁budući -10.5256 +▁recommend -10.5261 +▁mid -10.5263 +29 -10.5266 +[ -10.5266 +▁pacijenata -10.5267 +▁upotrebu -10.5268 +▁san -10.5268 +▁middle -10.527 +▁nastavku -10.5271 +▁minimum -10.5271 +▁najvećih -10.5274 +▁studies -10.528 +set -10.5289 +▁sastanak -10.529 +▁značaj -10.5291 +▁strategy -10.5294 +▁adresu -10.5296 +▁ostalim -10.5297 +▁političkih -10.5298 +▁izgradnju -10.5303 +▁nasilja -10.5303 +▁trust -10.5303 +▁interes -10.5313 +▁ideje -10.5319 +▁cold -10.532 +rom -10.5321 +▁govorio -10.5321 +▁military -10.5323 +▁prvoj -10.5324 +▁Ci -10.533 +▁naziva -10.533 +▁idu -10.5333 +vje -10.5335 +▁riječima -10.5337 +▁Ili -10.5342 +▁figure -10.5344 +▁jednim -10.5346 +▁2010. -10.5352 +▁gleda -10.5355 +ier -10.5357 +▁Vol -10.5361 +ма -10.5361 +qui -10.5362 +IN -10.5363 +▁comments -10.5364 +▁AM -10.5372 +▁tržišta -10.5374 +▁opening -10.5385 +ble -10.5393 +KA -10.5401 +▁poznati -10.5402 +▁promjene -10.5403 +▁teren -10.5406 +▁jeziku -10.5407 +▁shot -10.5408 +▁učešće -10.5414 +▁fakulteta -10.5415 +cy -10.5415 +▁planira -10.5416 +▁hranu -10.5417 +Be -10.5422 +▁postane -10.5425 +▁Gar -10.543 +▁client -10.5435 +▁OK -10.5438 +▁steps -10.5439 +pan -10.5442 +che -10.5444 +▁Auto -10.5447 +▁manji -10.5448 +čku -10.5449 +▁26. -10.5452 +▁tipa -10.5453 +▁Premijer -10.5458 +jan -10.546 +▁claim -10.5464 +▁income -10.5467 +▁Men -10.5468 +▁Dobro -10.5468 +▁ru -10.5469 +tur -10.5476 +▁mode -10.5477 +▁nesto -10.5481 +▁njegovih -10.5482 +▁javnih -10.5484 +▁politiku -10.5486 +▁request -10.5486 +▁numbers -10.5488 +▁mental -10.5493 +▁bottom -10.5495 +▁guys -10.5496 +ati -10.5497 +▁greater -10.5498 +▁notice -10.55 +▁Zakon -10.55 +▁British -10.551 +▁soft -10.5511 +▁Bill -10.5512 +▁fight -10.5513 +▁75 -10.5515 +▁construction -10.5517 +▁ahead -10.552 +▁Law -10.5523 +> -10.5528 +▁Predsjednik -10.5529 +▁ulje -10.5531 +▁Texas -10.5533 +▁održati -10.5535 +▁protection -10.554 +nov -10.5541 +▁55 -10.5544 +▁Har -10.5548 +▁gradova -10.5551 +sk -10.5557 +▁stil -10.556 +▁powerful -10.556 +▁happened -10.5561 +▁vašeg -10.5562 +rk -10.5564 +▁respect -10.5567 +▁izvora -10.5572 +▁vlasnik -10.5572 +▁blue -10.5574 +▁nekada -10.5574 +▁rates -10.5574 +▁born -10.5575 +▁utorak -10.5581 +▁efforts -10.5583 +▁1, -10.5584 +55 -10.5584 +▁helped -10.5584 +▁Gora -10.5588 +▁surface -10.5589 +▁bank -10.5589 +▁audience -10.559 +vica -10.5591 +use -10.5591 +▁guy -10.5593 +▁Jugoslavije -10.5601 +voj -10.5602 +▁ostala -10.5606 +▁mnogim -10.5609 +▁pages -10.561 +▁doprinos -10.5614 +ris -10.5615 +▁pr -10.5618 +▁znanje -10.562 +ure -10.5622 +▁urban -10.5623 +▁Director -10.5624 +▁Tada -10.5624 +▁delivery -10.5629 +This -10.5629 +▁želim -10.5633 +▁zahtjev -10.5635 +▁govor -10.5637 +iše -10.5637 +▁Upravo -10.5639 +▁prednosti -10.564 +JE -10.5641 +▁perhaps -10.5642 +med -10.565 +▁uslovi -10.5651 +▁uses -10.5652 +▁rich -10.5653 +▁radom -10.5654 +▁finish -10.5657 +▁tzv -10.5657 +▁Republici -10.5657 +▁wear -10.5657 +▁supply -10.566 +▁pokazao -10.5664 +▁teksta -10.5665 +▁brain -10.5667 +▁bodova -10.5669 +over -10.5675 +▁pogledu -10.5675 +▁offering -10.5677 +evi -10.5677 +ovati -10.5681 +▁nivoa -10.5682 +▁poruku -10.5684 +▁KS -10.5685 +▁objavila -10.5686 +▁extremely -10.5693 +▁vid -10.5694 +▁journey -10.5701 +▁display -10.5704 +ile -10.571 +▁zove -10.5714 +▁tvrde -10.5718 +▁mark -10.5719 +▁uključuje -10.5725 +▁Inače -10.5725 +▁Mal -10.5727 +▁girls -10.5738 +▁slobode -10.5738 +▁lo -10.5741 +▁pra -10.5742 +▁dry -10.5742 +▁roditelja -10.5744 +nova -10.5744 +▁Grand -10.5744 +king -10.5745 +но -10.5746 +▁devices -10.5746 +▁veza -10.5748 +▁povećava -10.5749 +vao -10.5749 +▁Univerziteta -10.5751 +▁stare -10.5751 +▁contract -10.5752 +Sa -10.5753 +▁kept -10.5755 +▁stepeni -10.5756 +▁helping -10.5756 +ide -10.5757 +▁licu -10.5764 +▁bas -10.5764 +▁regarding -10.5769 +▁од -10.577 +▁izbore -10.5772 +▁postati -10.5772 +▁38 -10.5774 +▁Svaki -10.5774 +▁Another -10.5779 +▁'' -10.5779 +▁pogotovo -10.578 +▁potreba -10.5782 +Me -10.5785 +▁Take -10.5786 +▁lider -10.5787 +▁comment -10.5788 +▁с -10.5792 +▁ver -10.5793 +val -10.5793 +▁followed -10.5794 +▁husband -10.5799 +board -10.5803 +irati -10.5803 +▁sports -10.5806 +▁wall -10.5808 +▁hoće -10.5809 +▁rješenje -10.5809 +▁structure -10.5811 +ries -10.5818 +▁Water -10.582 +▁procedure -10.5821 +▁fans -10.5821 +▁Balkan -10.5822 +▁Road -10.5824 +▁Zagrebu -10.5825 +▁aplikacije -10.5825 +▁zvezda -10.5826 +▁agent -10.5828 +La -10.5832 +▁item -10.5842 +▁miris -10.5846 +▁000 -10.5849 +▁65 -10.585 +▁interesa -10.585 +▁morati -10.5852 +▁treći -10.5852 +▁utiče -10.5853 +▁HDZ -10.5857 +▁setting -10.586 +ther -10.5861 +▁pokušava -10.5863 +▁gone -10.5864 +▁trenutak -10.5872 +GA -10.5872 +nk -10.5872 +▁leg -10.5875 +▁ujedno -10.5877 +▁prijatelja -10.5877 +▁tehnologije -10.5877 +▁club -10.5879 +▁workers -10.5881 +▁37 -10.5884 +cer -10.5886 +▁Mnogi -10.5887 +▁Ki -10.5889 +▁Management -10.5891 +▁protein -10.5892 +▁tretman -10.5895 +▁lines -10.5895 +▁annual -10.5897 +▁gift -10.59 +▁ku -10.5902 +form -10.5903 +ors -10.5904 +OM -10.5909 +▁zanima -10.591 +▁raste -10.591 +▁ozbiljno -10.5915 +var -10.5916 +▁doma -10.5921 +▁42 -10.5924 +▁sobe -10.5926 +▁bra -10.5927 +▁French -10.5929 +▁površine -10.5932 +▁achieve -10.5935 +▁poruka -10.594 +▁vodom -10.5942 +▁casino -10.5944 +▁noć -10.5944 +▁partnera -10.5945 +▁stavove -10.5945 +▁Tuzla -10.5945 +▁society -10.5946 +▁sinoć -10.5946 +▁kuću -10.5947 +▁format -10.595 +▁strip -10.5952 +▁visoko -10.5953 +▁ratu -10.5954 +jer -10.5955 +tin -10.5957 +▁determine -10.5959 +AL -10.5961 +nda -10.5965 +gra -10.5972 +nskog -10.5977 +port -10.5977 +▁largest -10.5978 +▁tebe -10.5978 +▁festivala -10.5979 +» -10.5979 +▁Udruženja -10.5981 +▁primary -10.5981 +▁drugima -10.5982 +▁Sadu -10.5984 +▁umjesto -10.5984 +▁movement -10.5986 +▁poslovanja -10.5986 +▁napravi -10.5989 +▁rečeno -10.599 +▁obzir -10.5991 +▁Ge -10.5991 +▁završio -10.5994 +▁appropriate -10.5995 +▁sliku -10.5999 +▁djelo -10.5999 +▁srce -10.6 +▁umesto -10.6 +▁leaders -10.6001 +▁počeli -10.6002 +▁Cu -10.6004 +▁napravio -10.6004 +▁glavu -10.6005 +49 -10.6005 +▁Par -10.6008 +don -10.6008 +▁aren -10.6009 +▁studije -10.601 +▁položaj -10.6011 +dar -10.6011 +stru -10.6013 +ship -10.6014 +▁Festival -10.6014 +▁speak -10.602 +▁njenog -10.6022 +▁wonderful -10.6025 +▁remain -10.6026 +!!! -10.6028 +▁host -10.6031 +glas -10.6032 +eri -10.6034 +▁River -10.6034 +▁generally -10.6035 +▁cell -10.6036 +▁USA -10.6037 +▁w -10.6038 +!) -10.6039 +tim -10.604 +▁existing -10.6041 +▁250 -10.6048 +▁bonus -10.6049 +nac -10.6049 +▁kazne -10.6051 +▁Ce -10.6053 +▁čelu -10.6055 +▁objekta -10.6055 +65 -10.6061 +▁osnovne -10.6061 +▁stranice -10.6064 +▁Đoković -10.607 +▁sezonu -10.6071 +▁Op -10.6071 +▁kakve -10.6072 +▁kitchen -10.6074 +▁obavlja -10.6078 +▁bolest -10.608 +▁utakmici -10.6081 +▁Church -10.6082 +▁served -10.6083 +▁gold -10.6085 +▁milion -10.6085 +▁njena -10.6088 +▁Vaš -10.6088 +IT -10.6095 +▁tekstu -10.61 +▁agree -10.6102 +к -10.6103 +▁Two -10.6109 +▁« -10.6109 +▁29. -10.611 +▁09 -10.611 +▁meča -10.6113 +OS -10.6114 +▁jobs -10.6115 +▁Bosna -10.6116 +т -10.6117 +▁reality -10.6124 +ovu -10.6126 +▁šećera -10.6126 +▁straight -10.6127 +▁Australia -10.6134 +▁umetnosti -10.6135 +stan -10.6136 +▁Book -10.6137 +▁din -10.6137 +▁njihovu -10.6138 +▁prilike -10.614 +▁stranu -10.614 +▁širi -10.6148 +▁sistemu -10.615 +▁lično -10.6153 +▁stress -10.6156 +▁rješenja -10.6162 +▁passed -10.6163 +▁creative -10.6173 +▁cijene -10.6174 +▁finished -10.6176 +▁wedding -10.6177 +kle -10.6178 +▁sigurnosti -10.6181 +▁Veliki -10.6182 +▁samim -10.6184 +▁potvrdio -10.6185 +▁2022 -10.6192 +▁eight -10.6192 +▁established -10.6194 +well -10.6195 +▁sweet -10.6196 +▁mail -10.6197 +▁praktično -10.62 +▁uzrok -10.6201 +▁postavlja -10.6205 +▁Show -10.6205 +▁prethodno -10.6208 +▁31. -10.6211 +▁Če -10.6212 +▁Will -10.6212 +▁tijekom -10.6218 +▁istog -10.6218 +▁compared -10.6223 +▁zavisnosti -10.623 +01 -10.6239 +▁stari -10.6239 +rt -10.6239 +▁Ministar -10.624 +▁George -10.6242 +▁usta -10.6243 +nes -10.6243 +▁Bog -10.6245 +▁bend -10.6246 +▁learned -10.6247 +▁ponudu -10.625 +▁path -10.6253 +▁named -10.6255 +▁zadatak -10.6261 +▁argument -10.6262 +▁znati -10.6263 +▁kg -10.6267 +▁Have -10.6267 +No -10.6268 +▁Val -10.6268 +▁Institute -10.6276 +▁Every -10.6281 +▁jedinica -10.6284 +▁kriminal -10.6284 +CI -10.6286 +▁komisije -10.6286 +-2 -10.6286 +▁spa -10.6287 +fu -10.6296 +▁advantage -10.6297 +▁SDA -10.6301 +▁continued -10.6302 +▁dokaz -10.6302 +▁payment -10.6305 +▁Naš -10.6307 +▁Kine -10.6309 +▁partije -10.631 +iranja -10.6313 +SE -10.6315 +▁Partizan -10.6316 +▁ceo -10.6317 +▁Ča -10.6317 +▁Cilj -10.6318 +▁dovesti -10.6318 +▁lots -10.6318 +▁Srbi -10.6319 +▁weather -10.632 +▁driving -10.6325 +▁drop -10.6329 +▁CD -10.633 +▁generacije -10.6332 +▁krize -10.6333 +▁fazi -10.6334 +▁novinara -10.6334 +▁komentara -10.6336 +▁listi -10.6336 +▁mr -10.6336 +▁larger -10.6343 +ford -10.6345 +▁nikako -10.6346 +▁bill -10.6347 +▁njihovom -10.6355 +▁unit -10.6357 +▁biggest -10.6361 +pos -10.6362 +▁poruke -10.6362 +▁letter -10.6365 +▁čuva -10.6365 +▁Prva -10.6367 +▁cup -10.6369 +bs -10.6371 +▁vratiti -10.6374 +dra -10.6377 +▁porodici -10.6377 +в -10.6379 +rad -10.638 +▁mreža -10.6381 +▁teaching -10.6382 +her -10.6386 +▁Add -10.6386 +▁nastavak -10.6389 +sed -10.6392 +64 -10.6393 +▁appear -10.6393 +godine -10.6394 +▁critical -10.6395 +▁pen -10.6396 +▁PA -10.6396 +▁upravljanje -10.6397 +▁bave -10.64 +wood -10.6401 +ка -10.6402 +▁Christ -10.6402 +▁slobodno -10.6404 +▁hotela -10.6408 +▁Č -10.6411 +▁mnogih -10.6412 +▁šampiona -10.6412 +▁truth -10.6416 +▁experienced -10.6417 +▁pomoću -10.6419 +36 -10.6423 +▁rezultatom -10.6426 +▁sela -10.6426 +▁fish -10.6427 +▁postigao -10.643 +▁igraju -10.6432 +▁Rad -10.6436 +uz -10.6438 +mor -10.6439 +lastname -10.644 +ists -10.644 +▁premijera -10.6442 +LO -10.6444 +čko -10.6449 +.000 -10.645 +▁wood -10.645 +▁igrao -10.645 +▁sold -10.645 +▁Design -10.6454 +▁Live -10.6457 +▁са -10.6457 +VIDEO -10.6459 +light -10.6463 +▁Power -10.6465 +▁sell -10.6466 +▁120 -10.6469 +▁mis -10.6471 +▁takva -10.6471 +▁rođen -10.6474 +▁requires -10.6475 +▁dijela -10.6477 +▁dream -10.6478 +▁smanjenje -10.6479 +▁uspešno -10.6481 +▁Step -10.6482 +▁raznih -10.6482 +▁radovi -10.6483 +▁menja -10.6486 +▁važan -10.6488 +▁obaveze -10.6488 +▁značaja -10.6488 +TA -10.6489 +▁01 -10.6491 +▁parties -10.6495 +▁не -10.6496 +ciji -10.6497 +▁Nisam -10.6499 +▁Island -10.65 +▁konferenciji -10.65 +▁08 -10.6501 +▁zvezde -10.6502 +gor -10.6506 +▁seeing -10.6506 +▁target -10.6507 +▁camera -10.6508 +▁izbori -10.651 +▁mission -10.651 +▁OS -10.6515 +▁budžeta -10.6516 +▁rukama -10.6516 +▁reda -10.6521 +Ha -10.6524 +site -10.6527 +▁poziciju -10.6527 +▁sina -10.6528 +▁progress -10.6529 +▁Predsednik -10.6531 +tter -10.6533 +▁selection -10.6535 +aciji -10.6539 +▁reci -10.6541 +▁podrška -10.6542 +▁distance -10.6544 +▁povrede -10.6546 +▁shared -10.6546 +▁pripreme -10.6549 +▁odličan -10.6549 +▁Ber -10.6551 +▁Call -10.6553 +ney -10.6559 +▁correct -10.6559 +▁Ban -10.6562 +▁volje -10.6565 +▁sajta -10.6568 +▁nedelju -10.6568 +▁brže -10.6569 +▁ponovno -10.657 +▁Lake -10.6573 +▁schedule -10.6578 +37 -10.6579 +▁funkcije -10.6583 +▁onto -10.6586 +ING -10.6587 +▁tehnologija -10.6588 +▁studio -10.6589 +ey -10.659 +▁poor -10.6591 +▁pol -10.6592 +▁spring -10.6594 +▁ulazi -10.6594 +▁cells -10.6596 +▁economy -10.6597 +mar -10.6602 +▁therefore -10.6605 +tru -10.6606 +▁Amazon -10.661 +▁Goran -10.6611 +▁Gra -10.6613 +▁Public -10.6614 +dr -10.6616 +ciju -10.662 +▁older -10.6622 +▁Sin -10.6623 +▁connection -10.6623 +pet -10.6623 +▁organizations -10.6627 +32 -10.6628 +23 -10.6628 +▁jedinice -10.6633 +▁reviews -10.6635 +è -10.6637 +48 -10.6638 +▁Ču -10.6638 +aca -10.6638 +▁print -10.6639 +▁vo -10.664 +▁Član -10.6643 +▁cijeli -10.6644 +▁% -10.6645 +MO -10.6652 +▁bag -10.6652 +ical -10.6653 +): -10.6654 +ved -10.6654 +▁otvara -10.666 +▁sledeće -10.666 +jima -10.6661 +▁korist -10.6663 +ple -10.6665 +д -10.6671 +▁hospital -10.6674 +▁actual -10.6676 +par -10.6676 +▁sporazuma -10.6676 +▁protest -10.6678 +▁Christian -10.668 +ovića -10.6681 +pra -10.6684 +▁finding -10.6685 +PA -10.6687 +ata -10.6694 +▁vratio -10.6699 +▁coffee -10.67 +▁balance -10.6701 +acijom -10.6703 +▁sezoni -10.6704 +▁organizuje -10.6704 +▁poraz -10.6705 +▁population -10.6705 +▁listu -10.6706 +▁služi -10.671 +.00 -10.671 +free -10.671 +▁muzike -10.6711 +▁mikro -10.6712 +▁miles -10.6713 +▁kupiti -10.6715 +▁methods -10.6715 +▁smanjuje -10.6715 +▁naredne -10.6715 +▁mada -10.6719 +▁izvan -10.6719 +▁odlično -10.673 +▁views -10.673 +▁skup -10.6734 +▁kategorije -10.6734 +▁warm -10.6736 +▁custom -10.6738 +▁useful -10.674 +▁toward -10.6741 +▁filter -10.6741 +▁comfortable -10.6742 +ville -10.6745 +▁zone -10.6746 +▁Gi -10.6746 +ward -10.6746 +▁vezu -10.6751 +▁istoriji -10.6753 +▁budžet -10.6756 +▁sekretar -10.6757 +▁promena -10.676 +▁tour -10.6761 +▁kandidat -10.6764 +▁Music -10.6765 +▁pieces -10.6765 +šti -10.6772 +▁temperatura -10.6773 +▁Er -10.6775 +▁carry -10.6775 +▁Bay -10.6776 +ME -10.6778 +▁regiona -10.6779 +▁Global -10.6779 +▁narednih -10.6782 +▁capital -10.6784 +▁leader -10.6784 +▁dizajn -10.6785 +▁članica -10.6788 +▁usled -10.6788 +ct -10.6791 +▁PRO -10.6793 +▁dobru -10.6799 +tch -10.6799 +▁mjera -10.6802 +▁uzima -10.6806 +▁wouldn -10.6808 +▁kreće -10.6809 +▁bu -10.681 +▁vašem -10.6811 +▁Tra -10.6817 +▁street -10.6821 +AM -10.6822 +ška -10.6823 +▁gubi -10.6825 +CE -10.6826 +▁tank -10.6827 +mit -10.6828 +▁če -10.6828 +▁Project -10.683 +▁Plus -10.6833 +▁prijatelj -10.6835 +'' -10.6835 +rica -10.6835 +▁podrazumeva -10.6835 +44 -10.6836 +jena -10.684 +jom -10.6842 +▁slow -10.6843 +▁Banja -10.6843 +▁vjerovatno -10.6844 +▁exercise -10.6844 +▁remove -10.6845 +▁zadovoljstvo -10.6845 +▁videti -10.6853 +▁Bra -10.6853 +▁zatvora -10.6856 +▁događaj -10.6857 +▁glasova -10.686 +▁odbor -10.6863 +▁select -10.6865 +▁prima -10.6865 +▁incident -10.6868 +ning -10.6868 +▁kratko -10.6869 +▁unutrašnjih -10.6871 +bor -10.6872 +▁radnog -10.6875 +▁medije -10.6879 +▁opština -10.6883 +▁fear -10.6886 +▁državni -10.6888 +▁Play -10.6889 +▁opcija -10.6891 +▁kazala -10.6892 +н -10.6893 +▁organ -10.6895 +▁Postoji -10.6899 +▁Brown -10.6901 +rate -10.6902 +▁interview -10.6903 +▁Jovanović -10.6912 +▁poznata -10.6914 +▁nation -10.6915 +▁vest -10.6916 +▁bezbednosti -10.692 +▁Vladi -10.6922 +▁sporta -10.6922 +▁predmeta -10.6923 +nović -10.6924 +▁Možete -10.6927 +▁challenges -10.6931 +▁2008. -10.6932 +▁Team -10.6936 +▁evening -10.6937 +▁glave -10.6937 +▁copy -10.6938 +car -10.6939 +LI -10.6942 +▁Fi -10.6942 +ED -10.6942 +▁radimo -10.6942 +ški -10.6943 +Pre -10.6946 +izing -10.6948 +▁Rusiji -10.6949 +tić -10.6951 +▁meaning -10.6952 +▁heavy -10.6954 +▁2009. -10.6955 +rod -10.6958 +▁lepo -10.6958 +▁perioda -10.6962 +▁Ivana -10.6963 +▁porez -10.6966 +Ka -10.6967 +▁Information -10.6968 +▁OF -10.6968 +▁length -10.6971 +▁dvoje -10.6971 +▁highest -10.6972 +pping -10.6972 +85 -10.6973 +▁names -10.6974 +▁američki -10.698 +kovi -10.6981 +▁rod -10.6981 +▁sugar -10.6985 +▁robe -10.6986 +▁Sen -10.6987 +▁Times -10.6987 +▁window -10.6988 +▁razgovor -10.6992 +▁gradonačelnik -10.6993 +▁factors -10.6993 +▁prolazi -10.6994 +▁nauka -10.6997 +▁proizvođača -10.6997 +▁uslova -10.7 +▁danima -10.7005 +▁sun -10.7007 +▁državne -10.7009 +▁energiju -10.701 +▁siguran -10.7013 +rka -10.7015 +▁sigurni -10.7019 +▁smeštaj -10.702 +▁osećaj -10.7021 +▁općine -10.7021 +▁из -10.7021 +bija -10.7022 +▁demand -10.7023 +▁ponuda -10.7025 +▁calls -10.7027 +▁storage -10.7029 +▁saobraćaj -10.7033 +▁Em -10.7033 +▁completed -10.7035 +▁manage -10.7036 +▁ok -10.7037 +▁Dana -10.7038 +▁karte -10.7039 +▁morao -10.7043 +bel -10.7043 +tka -10.7046 +-3 -10.7048 +▁daughter -10.7053 +▁tips -10.7054 +▁traffic -10.7056 +Le -10.706 +▁strah -10.7061 +▁2007 -10.7062 +▁novinar -10.7063 +▁sastav -10.7063 +▁ljudska -10.7063 +.... -10.7065 +▁pokreta -10.7066 +čni -10.7066 +▁Kre -10.7069 +▁Blue -10.7071 +▁dead -10.7073 +▁vrhu -10.7075 +▁desilo -10.7076 +▁došla -10.7079 +▁models -10.7079 +▁ulice -10.708 +▁communication -10.7086 +▁artist -10.7086 +lon -10.7087 +▁disk -10.7089 +▁Stoga -10.7093 +cm -10.7094 +▁Mali -10.7095 +▁pictures -10.7096 +100 -10.7097 +▁Hall -10.7099 +▁uspeh -10.71 +▁koristite -10.7101 +ised -10.7104 +▁attack -10.7105 +▁Anti -10.7109 +▁placed -10.7109 +▁Data -10.711 +▁Sud -10.7112 +▁Long -10.7114 +▁Cor -10.7115 +▁potrebne -10.7117 +▁maintain -10.7121 +▁Thank -10.7122 +▁gola -10.7122 +▁potencijal -10.7125 +▁spreman -10.7131 +▁radili -10.7136 +▁Any -10.714 +▁Central -10.714 +▁owner -10.7142 +▁flow -10.7144 +▁domaće -10.7148 +▁kredit -10.715 +anje -10.7151 +▁el -10.7153 +▁whatever -10.7155 +▁battle -10.7156 +79 -10.7157 +▁reprezentacije -10.7164 +ities -10.7167 +▁potreban -10.7169 +▁Ex -10.717 +▁Kara -10.7171 +▁Zagreb -10.7172 +oko -10.7172 +▁mix -10.7179 +▁trebaju -10.7182 +oci -10.7183 +▁conference -10.7184 +▁prvenstvo -10.7187 +▁dosad -10.7188 +▁Out -10.7191 +PS -10.7192 +▁welcome -10.7193 +▁characters -10.7193 +▁Care -10.7196 +ara -10.7196 +▁· -10.7197 +▁dom -10.7199 +▁elements -10.7201 +▁sigurnost -10.7202 +▁leta -10.7203 +▁funkciju -10.7203 +▁Centra -10.7203 +« -10.7205 +▁posvećen -10.7207 +▁moć -10.7209 +34 -10.7209 +▁meču -10.7209 +▁vrh -10.7211 +▁problemi -10.7212 +bre -10.7216 +▁Indian -10.7217 +▁foot -10.7219 +▁fat -10.7219 +▁roman -10.7221 +▁combination -10.7222 +▁firstname -10.7223 +▁recimo -10.7223 +but -10.7226 +▁44 -10.7226 +▁kontrole -10.7228 +▁wine -10.723 +▁fashion -10.7232 +▁opened -10.7235 +▁trebali -10.7235 +▁Sha -10.7235 +▁Bal -10.7236 +eta -10.7237 +▁nude -10.724 +▁cards -10.7244 +▁Novak -10.725 +▁otvorena -10.725 +ES -10.7251 +▁Bre -10.7256 +▁znao -10.7261 +rić -10.7262 +▁doctor -10.7264 +▁sastavu -10.7268 +▁glass -10.7269 +▁PS -10.7273 +▁deliver -10.7274 +▁Social -10.7276 +▁simbol -10.7277 +▁zakonom -10.7277 +tz -10.7277 +stav -10.7284 +▁vs -10.7287 +▁razvija -10.7287 +▁Ovi -10.7289 +▁videos -10.7291 +kra -10.7293 +▁pres -10.7296 +▁glasa -10.7301 +▁beauty -10.7306 +rat -10.7309 +▁vision -10.7312 +▁block -10.7315 +▁Srpska -10.7315 +▁ran -10.7315 +▁projektu -10.7322 +▁shopping -10.7322 +▁budemo -10.7322 +lov -10.7322 +▁odvija -10.7323 +▁produced -10.7324 +▁41 -10.7325 +▁prisustvo -10.7331 +▁uprkos -10.7332 +▁razgovora -10.7333 +▁pristupa -10.7334 +▁jedina -10.7334 +▁manager -10.7336 +▁links -10.734 +work -10.7341 +▁Ad -10.7341 +▁domaćin -10.7343 +▁Putin -10.7344 +IC -10.7344 +▁taste -10.7345 +▁čast -10.7345 +▁mera -10.7345 +žan -10.7352 +▁instrument -10.7352 +▁arm -10.7352 +▁System -10.7353 +▁showed -10.7361 +ative -10.7362 +▁klubu -10.7363 +▁blago -10.7367 +res -10.7367 +▁žrtve -10.7372 +▁score -10.7372 +▁prošlog -10.7375 +▁narednom -10.7376 +▁krv -10.7378 +▁treće -10.738 +▁liste -10.738 +▁Zatim -10.7389 +▁dodatne -10.7395 +▁banka -10.7396 +aj -10.7406 +eni -10.7408 +mon -10.7409 +ćete -10.7411 +▁teret -10.7412 +▁čovjeka -10.7417 +▁talent -10.7417 +▁prepared -10.7422 +▁Han -10.7423 +▁sastoji -10.7423 +▁besplatno -10.7424 +▁Isto -10.7425 +▁ostane -10.7428 +▁upotrebe -10.7432 +02 -10.7433 +▁stavlja -10.7435 +▁influence -10.7435 +izacija -10.7437 +▁bira -10.7438 +▁Chinese -10.744 +▁pojave -10.744 +sy -10.7443 +▁39 -10.7445 +▁srednje -10.7448 +▁igrači -10.7448 +▁turizma -10.7448 +66 -10.7449 +▁haven -10.745 +ram -10.745 +kar -10.7451 +▁Raz -10.7452 +▁pokret -10.7452 +▁famous -10.7454 +▁profit -10.7455 +▁communities -10.7456 +▁button -10.7456 +▁Part -10.7457 +▁kakva -10.7461 +▁ista -10.7463 +▁Allah -10.7464 +▁prvenstva -10.7464 +▁dug -10.7466 +▁cast -10.7467 +▁remains -10.7467 +▁ml -10.747 +▁informacijama -10.7471 +▁Velika -10.7474 +▁dogodilo -10.7475 +▁područje -10.748 +istic -10.7483 +▁lak -10.7483 +▁važi -10.7486 +▁update -10.7486 +▁claims -10.7491 +Od -10.7493 +▁waiting -10.7496 +▁rep -10.7498 +▁alternative -10.7499 +▁coach -10.7503 +▁osnovnih -10.7504 +▁očekuju -10.7504 +▁App -10.7504 +nić -10.7505 +RA -10.7507 +zija -10.7511 +▁Jelena -10.7511 +▁England -10.7512 +▁presented -10.7514 +▁foreign -10.7514 +▁pan -10.7518 +▁istina -10.752 +▁zločina -10.7521 +▁brat -10.7523 +▁info -10.7525 +▁died -10.7527 +▁izlazi -10.7527 +▁gosti -10.7529 +▁fair -10.7529 +▁continues -10.7529 +TI -10.7529 +▁described -10.753 +▁Journal -10.753 +▁testing -10.7531 +▁aplikacija -10.7532 +▁duboko -10.7534 +izacije -10.7537 +▁vina -10.7537 +▁competition -10.7538 +len -10.7539 +▁nekako -10.7542 +▁experiences -10.7543 +▁Pra -10.7543 +▁~ -10.7545 +39 -10.7546 +78 -10.7552 +▁Science -10.7552 +▁fla -10.7554 +▁fill -10.7554 +▁kilograma -10.7559 +stava -10.756 +▁želje -10.7561 +▁developing -10.7562 +▁oblika -10.7563 +ле -10.7565 +▁Mer -10.7568 +bin -10.7568 +▁zdravstvene -10.7569 +▁kulturu -10.7569 +▁pun -10.7571 +nicima -10.7574 +▁pokazali -10.7577 +▁Spa -10.758 +▁element -10.7581 +▁polju -10.7581 +▁Development -10.7582 +▁uvid -10.7583 +▁glad -10.7584 +▁department -10.7584 +▁Their -10.7585 +ret -10.7585 +▁Moj -10.7585 +▁operations -10.7586 +▁uspjeh -10.7589 +▁accept -10.759 +pod -10.7592 +▁2023. -10.7592 +▁engine -10.7595 +▁čoveka -10.7596 +▁prošlosti -10.7598 +▁filmu -10.7599 +aciju -10.7599 +▁provodi -10.7599 +▁Back -10.7599 +▁covered -10.76 +not -10.76 +▁Education -10.7602 +▁izaziva -10.7604 +▁perform -10.7605 +▁values -10.7605 +▁Srpskoj -10.7606 +▁delo -10.7606 +▁smije -10.7607 +▁Rock -10.7609 +▁Roman -10.7609 +zen -10.7615 +▁rise -10.7616 +▁Nikolić -10.7619 +▁radnici -10.7622 +▁Florida -10.7622 +▁gain -10.7624 +▁razlika -10.7625 +▁а -10.7626 +čević -10.7627 +prav -10.7633 +▁poklon -10.7633 +▁tko -10.7634 +▁Mike -10.7634 +▁doktor -10.7635 +▁quarter -10.7637 +▁šanse -10.7642 +▁Ljudi -10.7644 +▁ro -10.7647 +▁files -10.7649 +▁sudija -10.7651 +05 -10.7653 +my -10.7655 +31 -10.7661 +▁happens -10.7666 +▁slučajevima -10.7666 +▁noge -10.7666 +▁(1 -10.7667 +▁drži -10.7667 +▁visoke -10.7668 +▁keeping -10.7669 +200 -10.767 +▁državu -10.767 +▁thus -10.767 +ped -10.7672 +▁Before -10.7672 +▁dodati -10.7673 +▁thanks -10.7674 +▁vaša -10.7674 +ified -10.7676 +▁dogovor -10.7683 +OR -10.7685 +▁plants -10.7685 +▁Market -10.7686 +▁jesu -10.7686 +▁raspolaganju -10.7687 +33 -10.7688 +▁YouTube -10.7691 +▁pozvao -10.7693 +▁novel -10.7701 +▁trebala -10.7704 +▁Thanks -10.7706 +ung -10.7713 +mije -10.7715 +tno -10.7717 +fo -10.7719 +▁France -10.7721 +▁sadrže -10.7724 +▁njegovoj -10.7724 +jev -10.7726 +▁shape -10.7727 +▁smart -10.7729 +86 -10.7731 +▁studenata -10.7732 +IO -10.7733 +▁technical -10.7733 +▁mentioned -10.7737 +▁sajt -10.7737 +▁century -10.7738 +ap -10.7738 +▁korisnicima -10.774 +▁korišćenje -10.774 +▁vrednost -10.7742 +▁granica -10.7746 +▁ligi -10.7747 +▁AP -10.7747 +▁poseban -10.7748 +▁Ste -10.7751 +Se -10.7754 +lar -10.7757 +▁rule -10.7761 +▁susreta -10.7766 +09 -10.7772 +▁javni -10.7773 +▁predstavnik -10.7774 +▁linije -10.7775 +nka -10.7776 +▁saobraćaja -10.7777 +vid -10.778 +▁Year -10.778 +▁njihovi -10.7781 +67 -10.7783 +▁doubt -10.7783 +▁datum -10.7783 +▁stoga -10.7787 +▁nastave -10.779 +▁estate -10.7791 +▁MS -10.7791 +har -10.7793 +ned -10.7794 +tika -10.7796 +ješ -10.7796 +▁vojske -10.7798 +▁korišćenja -10.78 +▁Joe -10.78 +▁Gold -10.7802 +▁handle -10.7802 +▁koronavirusa -10.7808 +▁aid -10.7808 +▁gubitak -10.782 +vis -10.7822 +▁animals -10.7823 +▁diet -10.7824 +▁ho -10.7826 +▁session -10.7828 +▁secure -10.7829 +89 -10.7829 +▁izabran -10.783 +▁Bur -10.7836 +▁čas -10.7839 +▁minutu -10.7841 +▁Doma -10.7844 +▁Smith -10.7844 +▁(@ -10.7846 +▁III -10.7846 +ins -10.7848 +▁pita -10.7848 +▁lijepo -10.7848 +tera -10.785 +▁onog -10.7851 +▁boravak -10.7856 +▁PR -10.7856 +Ra -10.7859 +▁svakoj -10.7861 +▁CA -10.7867 +▁Human -10.7867 +▁predlog -10.7869 +▁station -10.787 +▁veću -10.7877 +▁stranka -10.7877 +▁garden -10.7877 +▁trial -10.788 +▁Bob -10.788 +▁SDP -10.7881 +▁prijatelji -10.7881 +▁međuvremenu -10.7881 +▁selu -10.7883 +▁čišćenje -10.7885 +▁ljudskih -10.7885 +▁zajednički -10.7888 +▁odgovori -10.7889 +kr -10.789 +▁izazov -10.7891 +▁količine -10.7894 +\ -10.7896 +▁zvuk -10.7898 +▁Pošto -10.7908 +▁runs -10.7912 +ST -10.7913 +▁emisije -10.7915 +▁normalno -10.7915 +▁raznim -10.7916 +▁Stefan -10.7917 +▁otišao -10.7923 +▁sir -10.7923 +▁mesec -10.7929 +46 -10.7931 +▁početi -10.7932 +iraju -10.7932 +▁polako -10.7933 +▁aware -10.7933 +▁fakultet -10.7933 +▁driver -10.7939 +▁records -10.795 +▁grade -10.795 +▁direction -10.7951 +▁strength -10.7951 +▁knows -10.7953 +▁zadržava -10.7956 +uze -10.796 +Mo -10.7962 +vom -10.7964 +▁Marija -10.7965 +▁memory -10.7965 +▁učenici -10.7966 +▁port -10.7967 +▁društvene -10.7969 +▁poslednje -10.7971 +▁monitor -10.7971 +▁projekte -10.7973 +ala -10.7973 +▁mišljenja -10.7974 +▁Dec -10.7982 +▁Med -10.7983 +▁uspješno -10.7987 +Ta -10.7992 +▁scale -10.7993 +▁Kantona -10.7994 +▁slobodu -10.7995 +▁Stra -10.7995 +▁Malo -10.7996 +▁onako -10.7996 +vat -10.7997 +▁prioritet -10.7998 +▁lokalnih -10.7998 +rina -10.7998 +DA -10.7998 +▁radnih -10.8001 +?! -10.8004 +▁ministara -10.8006 +stup -10.8007 +▁ekipu -10.8007 +▁raised -10.8012 +▁Maj -10.8012 +87 -10.8015 +▁Iran -10.8017 +DE -10.8018 +lic -10.8018 +▁wind -10.8019 +▁saopšteno -10.802 +SS -10.8021 +▁core -10.8023 +▁učesnika -10.8023 +▁jedni -10.8025 +ez -10.8027 +▁winter -10.8027 +▁Bol -10.8028 +▁segment -10.8029 +▁2005 -10.8031 +▁Kr -10.8031 +▁aktivnost -10.8032 +gin -10.8033 +MP -10.8033 +88 -10.8035 +▁Bel -10.8035 +▁Nu -10.8037 +▁farm -10.8039 +ari -10.8041 +▁očekivati -10.8041 +▁agreement -10.8041 +▁closed -10.8042 +▁forget -10.8043 +▁soba -10.8043 +▁vrijednost -10.8044 +▁vrstu -10.8046 +▁$2 -10.8046 +▁football -10.805 +▁stvaranje -10.8051 +▁© -10.8053 +ach -10.8058 +▁watching -10.8058 +▁leaving -10.8058 +▁document -10.8061 +▁Digital -10.8062 +▁seemed -10.8062 +▁sources -10.8062 +да -10.8063 +▁funds -10.8063 +▁sceni -10.8064 +▁malih -10.8066 +▁DE -10.8067 +▁thousands -10.8067 +▁Where -10.8071 +▁Network -10.8071 +▁oca -10.8074 +▁capacity -10.8077 +eno -10.8078 +▁Both -10.8081 +vice -10.8082 +ndi -10.8082 +▁bazi -10.8083 +▁voća -10.8085 +▁domaći -10.8086 +godišnji -10.8086 +▁otkriva -10.8092 +▁ambasador -10.8096 +▁HD -10.8096 +▁sudu -10.8099 +▁proper -10.8099 +▁postupku -10.8101 +▁caused -10.8106 +▁biljke -10.8108 +▁međunarodne -10.8109 +ban -10.811 +▁javnom -10.8111 +▁ukazuje -10.8111 +▁želja -10.8112 +pon -10.8114 +▁dedicated -10.8114 +▁holding -10.8118 +▁otherwise -10.8119 +▁drama -10.812 +▁numerous -10.8122 +▁kriv -10.8126 +▁tree -10.8126 +nijih -10.8131 +▁thank -10.8132 +dio -10.8138 +▁Africa -10.8139 +▁clearly -10.8139 +▁AND -10.814 +69 -10.8141 +▁43 -10.8144 +▁excited -10.8148 +▁rival -10.8149 +▁Frank -10.8149 +pen -10.815 +▁ze -10.8152 +▁saopštio -10.8153 +▁možeš -10.8155 +▁2006. -10.8156 +▁becoming -10.8159 +▁Work -10.816 +ud -10.8162 +▁District -10.8165 +▁izgradnje -10.8165 +▁supruga -10.8166 +▁nalog -10.8168 +▁Vojvodine -10.8169 +▁pla -10.817 +▁Women -10.8172 +▁Miloš -10.8177 +▁najveća -10.8178 +▁prijedlog -10.8179 +▁odlučili -10.818 +▁independent -10.8181 +▁posljednjih -10.8183 +▁vitamina -10.8185 +▁separate -10.8189 +▁majority -10.8189 +▁meta -10.8191 +▁uradi -10.8191 +▁showing -10.8193 +▁bus -10.8193 +▁najveće -10.8193 +▁appears -10.8194 +77 -10.8194 +€ -10.8195 +47 -10.8196 +▁definitivno -10.8196 +▁dance -10.8197 +▁posted -10.8197 +pr -10.8197 +ras -10.8198 +▁poslovne -10.82 +shi -10.8201 +▁Chicago -10.8201 +▁Wa -10.8205 +▁glavi -10.8206 +our -10.8207 +▁hearing -10.8207 +▁cenu -10.8209 +▁ponašanje -10.8209 +▁delova -10.8209 +▁deli -10.8211 +▁njegovi -10.8218 +▁1000 -10.8222 +▁Old -10.8223 +RS -10.8224 +▁Committee -10.8225 +▁residents -10.8229 +dis -10.823 +▁discuss -10.823 +▁npr -10.8232 +▁pomogne -10.8237 +▁osnova -10.8241 +▁pool -10.8247 +▁standards -10.8248 +▁winning -10.8251 +38 -10.8251 +▁identify -10.8258 +▁guess -10.826 +▁despite -10.8261 +▁navedeno -10.8261 +42 -10.8263 +▁vikenda -10.8264 +ep -10.8264 +▁stranica -10.8266 +▁crno -10.8268 +ом -10.8268 +▁sektora -10.8272 +▁čitav -10.8272 +down -10.8272 +▁pull -10.8274 +▁Under -10.8274 +▁objavljen -10.8278 +ida -10.828 +▁apsolutno -10.8282 +nata -10.8282 +▁deluje -10.8282 +▁vazduha -10.8285 +▁Posebno -10.8286 +▁German -10.8286 +anović -10.8287 +▁focused -10.8288 +▁Euro -10.829 +▁smaller -10.829 +▁forms -10.8292 +▁exchange -10.8293 +▁plastic -10.8294 +▁sastanku -10.8296 +те -10.8296 +▁posledica -10.8296 +▁Government -10.8296 +▁fuel -10.8297 +▁plenty -10.8299 +▁background -10.8302 +▁selected -10.8303 +▁CO -10.8304 +▁decide -10.8308 +76 -10.831 +▁bore -10.8313 +gla -10.8319 +▁leadership -10.8321 +▁sreću -10.8322 +▁officials -10.8324 +vjer -10.8332 +▁peace -10.8334 +▁limit -10.8337 +head -10.8341 +▁sposobnosti -10.8342 +▁pravde -10.8343 +▁ispita -10.8344 +07 -10.8347 +▁moram -10.835 +▁tend -10.8351 +▁Find -10.8352 +▁fond -10.8356 +▁agency -10.8356 +ва -10.8359 +▁Fire -10.836 +đu -10.8361 +▁milijuna -10.8362 +▁kompleks -10.8362 +zan -10.8362 +jen -10.8362 +▁karijeru -10.8374 +kri -10.8374 +▁Nov -10.8379 +mark -10.8379 +pp -10.8379 +▁majke -10.838 +▁Community -10.8383 +▁uoči -10.8384 +▁adding -10.8385 +▁becomes -10.8385 +▁treat -10.8391 +▁classes -10.8391 +▁Full -10.8391 +▁činjenice -10.8391 +▁injury -10.8391 +▁zgrada -10.8392 +▁forum -10.8392 +▁Kra -10.8393 +▁relationships -10.8395 +▁službi -10.8396 +▁industrije -10.8397 +▁takvih -10.8398 +▁ring -10.8398 +▁bori -10.8399 +▁neutral -10.8401 +▁otpada -10.8404 +▁Review -10.8404 +▁classic -10.8407 +▁košta -10.8409 +▁dinner -10.841 +▁cars -10.8411 +ens -10.8414 +sha -10.8415 +▁opinion -10.8416 +▁owners -10.8417 +▁Oh -10.8417 +▁ustanove -10.8418 +▁Chris -10.8421 +▁600 -10.8422 +▁ski -10.8425 +▁evropskih -10.8428 +▁prethodnih -10.8431 +▁rekord -10.8431 +▁odgovornosti -10.8432 +▁večeri -10.8435 +▁nadzor -10.8437 +▁Ukrajini -10.844 +▁osobama -10.844 +▁Beach -10.8441 +▁2007. -10.8442 +▁ikada -10.8443 +▁spending -10.8443 +▁Može -10.8444 +▁SP -10.8446 +▁Turske -10.8446 +▁explore -10.8447 +▁utisak -10.845 +98 -10.8456 +▁LA -10.8457 +43 -10.8461 +▁titulu -10.8462 +▁coverage -10.8472 +▁nor -10.8472 +................ -10.8476 +▁vote -10.8481 +▁okvir -10.8485 +▁akciju -10.8491 +▁hrana -10.8491 +dje -10.8493 +ilo -10.8494 +rio -10.8495 +▁troškove -10.8497 +▁MA -10.8499 +▁mouth -10.8504 +▁essay -10.8505 +▁Mc -10.8507 +▁ulazak -10.8509 +▁NBA -10.8512 +LE -10.8513 +▁nikakve -10.8515 +tain -10.8517 +▁holiday -10.8519 +▁Predsjedništva -10.8519 +▁profile -10.8521 +▁comfort -10.8523 +▁Kim -10.8527 +▁practices -10.8527 +▁advanced -10.8528 +▁Bila -10.8529 +cka -10.8535 +▁igri -10.8536 +▁makar -10.8539 +▁razlike -10.8539 +irani -10.8544 +▁contains -10.8545 +▁oružja -10.8546 +tina -10.8547 +!! -10.8548 +▁Only -10.8548 +á -10.8549 +▁aktivnostima -10.8551 +▁junior -10.8552 +▁boji -10.8558 +▁mjeri -10.8559 +▁korisnici -10.8562 +nite -10.8563 +▁End -10.8563 +▁stiže -10.8564 +▁paket -10.8566 +čenje -10.8569 +▁experts -10.8569 +čna -10.8572 +▁Foundation -10.8573 +▁ME -10.8574 +vod -10.8575 +▁Watch -10.8577 +▁negative -10.8578 +▁sector -10.8581 +▁homes -10.8581 +▁sjednici -10.8582 +▁operating -10.8582 +bli -10.8584 +▁Medical -10.8584 +▁masti -10.8584 +▁potrebu -10.8587 +▁Direktor -10.8592 +▁mira -10.8596 +84 -10.8597 +▁award -10.8598 +91 -10.86 +▁до -10.8604 +jak -10.8606 +vija -10.8608 +▁hu -10.861 +▁46 -10.8611 +▁jutros -10.8612 +▁otvoreno -10.8614 +▁Union -10.8616 +▁presence -10.8623 +▁bolnice -10.8625 +▁Br -10.8634 +▁sezona -10.8638 +▁nastup -10.8639 +2. -10.8639 +▁Naša -10.8639 +▁velikoj -10.864 +▁PRE -10.8641 +ele -10.8641 +▁kra -10.8642 +▁omogućiti -10.8648 +▁64 -10.8648 +iv -10.8648 +▁Set -10.865 +ovala -10.8652 +▁većinu -10.8654 +▁debt -10.8654 +▁chat -10.8658 +▁policies -10.8658 +▁znali -10.8658 +TV -10.866 +▁dvo -10.867 +cijom -10.8671 +▁initial -10.8672 +ok -10.8673 +IM -10.8674 +gon -10.8679 +▁defense -10.8688 +63 -10.8689 +▁changing -10.8691 +▁plaćanja -10.8692 +▁mog -10.8693 +▁loan -10.8693 +▁sekundi -10.8694 +▁Nišu -10.8695 +▁domaćih -10.8697 +▁putnika -10.8698 +▁Dis -10.8699 +▁Sea -10.87 +▁trgovine -10.8704 +▁vr -10.8704 +▁sektoru -10.8705 +▁biznis -10.8707 +▁prvaka -10.8707 +ans -10.8713 +74 -10.8715 +▁saveza -10.8718 +▁Test -10.872 +▁task -10.8722 +ID -10.8722 +▁turnira -10.8722 +cem -10.8725 +▁srpskih -10.8726 +▁američke -10.8728 +▁ended -10.8729 +▁savršeno -10.873 +▁igara -10.8732 +▁zemljišta -10.8733 +▁Next -10.8736 +▁uređaj -10.874 +▁49 -10.8742 +▁concept -10.8743 +▁marriage -10.8745 +▁troškova -10.8745 +▁javnim -10.8748 +pot -10.8748 +▁Congress -10.8749 +▁Mary -10.8752 +▁nadam -10.8756 +▁uspeo -10.8757 +▁desetak -10.8757 +▁starts -10.8758 +▁knjigu -10.8758 +irao -10.876 +▁climate -10.8763 +▁responsibility -10.8763 +▁reached -10.8763 +▁Postoje -10.8765 +▁uraditi -10.8767 +▁jaja -10.8771 +▁dokaza -10.8776 +▁spread -10.8777 +▁buying -10.8782 +▁actions -10.8782 +▁07 -10.8784 +▁udar -10.8785 +▁krug -10.8786 +▁female -10.8788 +▁nažalost -10.879 +▁faith -10.8792 +▁centre -10.8792 +▁čaj -10.8796 +▁napravili -10.8796 +▁evropske -10.8799 +▁štetu -10.8804 +▁trouble -10.8808 +▁walking -10.8808 +68 -10.8809 +ške -10.8812 +62 -10.8813 +▁Game -10.8816 +▁academic -10.8818 +▁putting -10.8819 +kama -10.8819 +▁listen -10.8821 +▁naselja -10.8821 +▁brojnim -10.8822 +▁Head -10.8822 +▁List -10.8823 +rp -10.8829 +▁sastanka -10.8832 +▁boravka -10.8832 +▁volim -10.8833 +▁Udruženje -10.8834 +ray -10.8834 +▁discussion -10.884 +▁brend -10.8841 +▁Jack -10.8847 +▁Balkana -10.8847 +▁06 -10.8848 +▁zajednici -10.885 +▁nekad -10.8854 +▁DJ -10.8855 +▁secret -10.8856 +nca -10.8856 +▁društvenih -10.8863 +▁karijere -10.8864 +▁aktivno -10.8864 +▁Republika -10.8867 +▁otkrio -10.8868 +▁Land -10.887 +vije -10.8874 +▁earth -10.8875 +▁glavnog -10.8876 +▁problemima -10.8876 +▁Am -10.8877 +▁markets -10.8881 +▁izložbe -10.8882 +▁kn -10.8884 +del -10.8886 +▁kupovinu -10.8887 +56 -10.8888 +▁package -10.889 +▁administration -10.8892 +▁Evropska -10.8893 +▁connect -10.8894 +▁С -10.8895 +PO -10.8896 +▁? -10.8896 +▁eventually -10.8897 +▁Politika -10.8899 +lik -10.89 +▁vremenom -10.8902 +book -10.8903 +▁mat -10.8905 +▁odgovora -10.8905 +▁meant -10.8905 +▁vrt -10.8908 +▁Nadam -10.8909 +▁MP -10.8911 +▁edge -10.8911 +▁st -10.8912 +▁assist -10.8913 +▁techniques -10.8914 +▁važna -10.8915 +▁automatski -10.8916 +$ -10.8921 +▁reference -10.8923 +▁dvadeset -10.8923 +▁professionals -10.8923 +61 -10.8923 +▁kapaciteta -10.8925 +▁radno -10.8927 +▁cloud -10.8927 +▁restaurant -10.8928 +cha -10.8929 +▁Lige -10.8929 +ло -10.893 +▁attempt -10.893 +ria -10.893 +imo -10.8932 +▁liberal -10.8933 +▁prethodne -10.8933 +▁Earth -10.8935 +▁environmental -10.8936 +▁ruske -10.8937 +▁laws -10.8937 +▁Master -10.8938 +▁Pla -10.894 +▁obitelji -10.894 +AK -10.8941 +▁Johnson -10.8941 +▁managed -10.8941 +▁sharing -10.8942 +▁stanice -10.8943 +▁vidite -10.8946 +▁njenom -10.8948 +▁jednako -10.895 +▁prijavu -10.8952 +▁deci -10.8953 +EN -10.8953 +▁održavanja -10.8956 +▁osiguranje -10.8957 +▁kategoriji -10.8957 +▁stručnjaci -10.8958 +▁concerns -10.8958 +ld -10.8959 +▁izgubio -10.8962 +ко -10.8964 +▁cent -10.8964 +▁vozač -10.8965 +▁načelnik -10.8966 +▁čim -10.8966 +# -10.8967 +ef -10.8968 +▁ceni -10.8969 +▁generation -10.8971 +box -10.8975 +▁documents -10.8976 +97 -10.8977 +▁sreće -10.8979 +82 -10.8981 +▁Onda -10.8982 +▁visokog -10.8983 +ovom -10.8984 +ken -10.8984 +▁birth -10.8988 +▁nedostatak -10.8989 +▁prvenstvu -10.8989 +▁njom -10.899 +▁opasnost -10.8992 +▁mesa -10.8993 +▁skupštine -10.8994 +▁Security -10.8995 +▁Food -10.8995 +▁poslovanje -10.8997 +96 -10.8997 +▁upravljanja -10.8998 +▁očigledno -10.8998 +▁svu -10.9005 +▁ženama -10.9006 +▁micro -10.9006 +▁zapošljavanje -10.9006 +▁47 -10.9007 +▁komisija -10.9008 +▁brother -10.9009 +AS -10.9011 +▁SU -10.9012 +▁praksi -10.9013 +ola -10.9014 +vaju -10.9016 +tes -10.9018 +▁CEO -10.9018 +IJA -10.9018 +▁medium -10.9019 +▁thoughts -10.902 +▁previously -10.902 +▁teže -10.9021 +▁Mag -10.9023 +▁800 -10.9024 +▁preporučuje -10.9027 +▁spor -10.9027 +‘ -10.9028 +ations -10.903 +ani -10.9031 +▁finansija -10.9032 +▁određeni -10.9033 +▁Israel -10.9033 +bol -10.9033 +▁zaključio -10.9038 +berg -10.9043 +▁mention -10.9045 +▁konkurs -10.9045 +▁Whether -10.9045 +06 -10.9047 +▁prime -10.905 +pis -10.905 +▁facilities -10.905 +▁foto -10.9051 +▁pismo -10.9052 +▁Chi -10.9057 +▁expert -10.906 +▁slightly -10.9061 +▁William -10.9061 +▁4, -10.9062 +▁minuti -10.9062 +▁Hol -10.9063 +▁prate -10.9065 +▁guests -10.9066 +▁Mostar -10.9066 +▁našao -10.9068 +▁filmova -10.9068 +.2 -10.9068 +▁bought -10.9069 +▁miss -10.9069 +▁leaves -10.9071 +What -10.9071 +▁pojava -10.9074 +▁allowing -10.9074 +▁Light -10.9076 +ovac -10.9078 +▁assistance -10.9078 +▁asking -10.9079 +▁prefer -10.9081 +▁poslovni -10.9082 +▁Far -10.9082 +▁exciting -10.9083 +▁ubrzo -10.9083 +▁Thomas -10.9086 +▁gostiju -10.9087 +▁relativno -10.9089 +▁veličine -10.9092 +?“ -10.9093 +▁potrebama -10.9096 +▁Marković -10.9099 +▁vikend -10.91 +▁decisions -10.9101 +▁prvenstveno -10.9102 +▁slot -10.9102 +▁friendly -10.9103 +▁flat -10.9105 +ш -10.9108 +▁52 -10.9113 +▁osjećaj -10.9115 +▁onim -10.9116 +▁steel -10.9117 +▁Party -10.9118 +▁ride -10.9119 +▁Niko -10.912 +cc -10.912 +▁Ed -10.912 +If -10.9121 +▁1/2 -10.9121 +▁med -10.9121 +▁brings -10.9123 +▁Contact -10.9124 +▁MI -10.9125 +čno -10.9128 +▁2004 -10.9131 +ljenje -10.9131 +▁uloga -10.9131 +▁League -10.9132 +▁partners -10.9133 +Vi -10.9133 +low -10.9137 +▁valja -10.9137 +Pri -10.9138 +▁VI -10.9142 +lović -10.9143 +▁grupu -10.9144 +.« -10.9145 +▁Petrović -10.9146 +▁survey -10.9147 +▁Trenutno -10.9147 +▁2006 -10.9148 +nke -10.9149 +stu -10.9153 +jedi -10.9155 +pped -10.9157 +▁beba -10.9159 +vić -10.916 +▁koncept -10.9163 +▁hrani -10.9163 +▁nemam -10.9163 +▁Filip -10.9167 +▁posts -10.9167 +lina -10.9168 +ško -10.9173 +▁funding -10.9174 +▁stepen -10.9174 +2, -10.9177 +72 -10.9179 +▁nu -10.918 +ovali -10.9186 +▁uhapšen -10.9186 +▁train -10.9186 +For -10.9189 +▁staviti -10.9192 +▁Mon -10.9192 +▁articles -10.9193 +MS -10.9193 +▁commitment -10.9193 +▁zadovoljni -10.9193 +▁socijalne -10.9194 +▁(2 -10.9194 +▁objekat -10.9195 +ње -10.9195 +▁manner -10.9196 +08 -10.9197 +▁< -10.9197 +▁karakter -10.92 +nuo -10.9204 +41 -10.9206 +▁😂 -10.9207 +▁životinja -10.9209 +▁ostavlja -10.9211 +IS -10.9215 +ljiva -10.9215 +1. -10.9216 +▁savjet -10.9217 +▁pritiska -10.922 +▁consumers -10.9222 +▁Hill -10.9224 +▁maraka -10.9225 +▁PDV -10.9226 +▁Tre -10.9227 +ava -10.9229 +wing -10.9229 +▁species -10.923 +▁timu -10.9232 +▁fruit -10.9233 +▁Njegov -10.9234 +▁filled -10.9235 +▁pair -10.9236 +▁listed -10.9237 +▁pilot -10.924 +more -10.9241 +▁saopštila -10.9241 +▁institucijama -10.9244 +više -10.9244 +▁rob -10.9245 +sis -10.9249 +▁expensive -10.9249 +▁Del -10.925 +▁izjavila -10.9253 +▁salt -10.9253 +▁Society -10.9254 +▁novoj -10.9254 +▁ekonomski -10.9257 +▁connected -10.926 +▁vašu -10.926 +▁Che -10.9261 +▁nasilje -10.9264 +▁teacher -10.9267 +▁Dejan -10.9268 +▁entry -10.9278 +ište -10.928 +мо -10.9284 +▁maksimalno -10.9284 +▁ad -10.9287 +▁Boston -10.9289 +▁bolnici -10.929 +▁operation -10.9291 +▁Mora -10.9292 +▁tough -10.9292 +▁MO -10.9295 +▁artists -10.9297 +rac -10.9299 +▁Save -10.93 +▁kolege -10.9302 +▁properties -10.9302 +▁gostima -10.9303 +▁firmi -10.9306 +▁absolutely -10.9309 +nut -10.9309 +▁radim -10.931 +▁mostly -10.931 +AC -10.9311 +▁Western -10.9314 +▁typically -10.9315 +▁pravilno -10.9316 +▁poreza -10.932 +▁serving -10.9321 +▁koži -10.9321 +LU -10.9322 +▁takmičenje -10.9322 +TO -10.9323 +▁measures -10.9324 +▁catch -10.9324 +▁discover -10.9324 +▁visitors -10.9329 +▁ponašanja -10.9329 +▁kupa -10.9331 +▁camp -10.9333 +▁plasman -10.9334 +▁sounds -10.9335 +71 -10.9337 +bed -10.9338 +▁Francuske -10.934 +ну -10.9341 +▁misle -10.9341 +▁nada -10.9343 +▁songs -10.9343 +▁sexual -10.9343 +ction -10.9345 +▁wild -10.9346 +▁kog -10.9348 +▁okolnosti -10.9348 +▁termin -10.9348 +▁cream -10.935 +▁killed -10.9355 +▁jest -10.9356 +▁formula -10.9356 +kan -10.936 +▁ID -10.9363 +▁rizika -10.9363 +▁pala -10.9363 +▁VIDEO -10.9364 +▁Pročitajte -10.9365 +▁obuhvata -10.9366 +▁boy -10.9366 +▁beach -10.937 +та -10.9374 +▁Note -10.9377 +▁Ram -10.9379 +Te -10.9379 +▁uzeti -10.9381 +▁Novo -10.9382 +▁Manager -10.9386 +▁komunikacije -10.9389 +▁uživa -10.9391 +▁fee -10.9391 +yl -10.9397 +▁ukus -10.9397 +▁dokument -10.9398 +▁loptu -10.9399 +lova -10.94 +▁poraza -10.9401 +nder -10.9404 +▁brojnih -10.9407 +▁Fer -10.9411 +uri -10.9411 +▁Većina -10.9412 +▁pu -10.9413 +▁udara -10.9414 +▁corporate -10.9416 +▁Ya -10.9418 +nic -10.9418 +▁Hercegovina -10.9418 +▁muškaraca -10.9418 +▁izvoz -10.942 +▁protected -10.9422 +▁prostorima -10.9422 +▁desi -10.9422 +▁objasnio -10.9424 +gled -10.9425 +-10 -10.9425 +▁animal -10.9425 +▁vital -10.9428 +▁Gr -10.9428 +▁muziku -10.9428 +▁laptop -10.9428 +▁Tekst -10.9428 +▁milk -10.9429 +▁zločin -10.9429 +▁Niš -10.9431 +▁ke -10.9433 +rna -10.9433 +▁hrvatski -10.9434 +▁prostorijama -10.9439 +▁postupka -10.9443 +▁stručnjaka -10.9444 +see -10.9444 +▁Balkanu -10.9447 +▁korupcije -10.9447 +▁drink -10.9447 +▁increasing -10.9449 +▁kampanje -10.9454 +▁pogledati -10.9459 +nj -10.9468 +bil -10.947 +▁menu -10.9471 +▁Valley -10.9473 +njom -10.9474 +▁dozvoljeno -10.9485 +▁ruski -10.9486 +▁eating -10.9486 +▁returned -10.9488 +▁prijateljima -10.9493 +▁predstave -10.9493 +▁IP -10.9493 +▁alkohol -10.9496 +ela -10.9497 +▁Bad -10.9497 +▁sustav -10.9498 +▁selling -10.9499 +▁cultural -10.9502 +ју -10.9502 +▁prihoda -10.9503 +▁Tor -10.9505 +▁Model -10.9508 +▁suggest -10.9509 +▁njeno -10.9511 +▁osvojila -10.9513 +KO -10.9515 +▁fabric -10.9519 +▁vozilo -10.9521 +cal -10.9521 +▁zaštita -10.9521 +▁lek -10.9524 +▁moral -10.9524 +ја -10.9525 +▁muzej -10.9525 +▁Mir -10.9525 +▁novinarima -10.9525 +▁istakla -10.9526 +▁plana -10.9528 +▁organizam -10.9529 +▁realize -10.9529 +▁paint -10.953 +▁slavi -10.9531 +▁snow -10.9532 +ori -10.9532 +▁poseduje -10.9532 +▁processes -10.9536 +▁rooms -10.9536 +▁studenti -10.9537 +▁odlazi -10.9539 +▁launch -10.9539 +oc -10.9539 +▁turnir -10.9541 +▁Daniel -10.9542 +▁Richard -10.9542 +▁die -10.9543 +▁teške -10.9544 +▁Samsung -10.9546 +boj -10.955 +▁helpful -10.9554 +▁Family -10.9557 +Je -10.9559 +▁pozicije -10.9563 +▁Stan -10.9564 +▁LED -10.9565 +▁istu -10.9566 +2) -10.9567 +gov -10.9568 +▁funkcija -10.9568 +▁nemoguće -10.9568 +▁Mor -10.9569 +▁married -10.957 +anja -10.9571 +▁stated -10.9571 +▁Russian -10.9573 +▁properly -10.9576 +iva -10.9576 +▁colors -10.9577 +▁joined -10.9578 +▁Yu -10.9579 +▁leđa -10.9581 +IP -10.9582 +▁ship -10.9583 +lovi -10.9584 +▁ca -10.9588 +▁inform -10.9589 +▁missing -10.9589 +▁sitting -10.9593 +▁map -10.9594 +▁draw -10.9595 +dri -10.9595 +bla -10.9601 +▁oružje -10.9601 +▁Lee -10.9605 +▁notes -10.9606 +▁cities -10.9606 +▁African -10.9606 +▁corner -10.9607 +54 -10.9607 +▁najvažnije -10.961 +▁knjizi -10.961 +▁Kor -10.961 +▁visok -10.9611 +▁češće -10.9611 +▁raka -10.9614 +▁uprava -10.9616 +▁značajan -10.9616 +▁ot -10.9617 +DS -10.9618 +▁02 -10.962 +▁der -10.9624 +▁Pen -10.9626 +▁affect -10.9626 +▁prijem -10.9627 +▁nista -10.9629 +▁pravom -10.9629 +▁žrtava -10.963 +▁Angeles -10.9633 +▁odlučila -10.9633 +▁Mel -10.9636 +▁pripadnici -10.9641 +▁vijesti -10.9642 +▁ustanova -10.9642 +rak -10.9643 +▁performed -10.9647 +▁Put -10.9648 +73 -10.9649 +▁Cup -10.9649 +▁recept -10.965 +ziv -10.9652 +▁osiguranja -10.9654 +▁facility -10.9655 +▁Special -10.9655 +▁jučer -10.9655 +▁ovakve -10.9656 +▁sukoba -10.9656 +▁završava -10.9657 +AT -10.9659 +dite -10.9659 +ah -10.9661 +де -10.9661 +▁debate -10.9663 +▁repair -10.9663 +▁pravcu -10.967 +▁Start -10.967 +▁poslovnih -10.9671 +Bi -10.9671 +04 -10.9671 +tni -10.9674 +▁internetu -10.9674 +enje -10.9675 +▁USB -10.9675 +▁brak -10.9676 +▁nine -10.9677 +▁adult -10.9678 +▁readers -10.9681 +▁meso -10.9682 +▁proud -10.9683 +▁tre -10.9683 +▁kill -10.9683 +93 -10.9683 +▁efekat -10.9683 +▁SO -10.9686 +▁Commission -10.9686 +▁odlazak -10.9688 +▁doprinosi -10.969 +▁hvala -10.9691 +▁budete -10.9691 +▁sprema -10.9692 +▁promote -10.9692 +▁volume -10.9697 +ene -10.9698 +▁factor -10.9699 +▁virtual -10.9702 +▁jak -10.9703 +▁Partizana -10.9704 +▁kolo -10.9704 +▁zahtjeva -10.9704 +▁applied -10.9705 +VA -10.9705 +OK -10.9708 +▁Those -10.9708 +▁parlamenta -10.9708 +▁osobu -10.971 +kog -10.9711 +gli -10.9713 +▁district -10.9713 +▁putovanje -10.9716 +▁seks -10.9719 +ase -10.972 +▁feels -10.9722 +ably -10.9723 +▁uopće -10.9724 +mat -10.9724 +▁feed -10.9725 +▁importance -10.9725 +▁stres -10.9725 +▁unless -10.9726 +▁Sim -10.9726 +▁Download -10.973 +▁whom -10.9732 +▁firma -10.9734 +▁NO -10.9735 +▁committed -10.9735 +▁partija -10.9737 +▁ideju -10.9741 +▁napredak -10.9746 +▁gun -10.9747 +▁krivično -10.9749 +▁prepare -10.9751 +▁appeal -10.9753 +▁worry -10.9756 +ora -10.9757 +▁signed -10.9757 +▁shipping -10.976 +▁radne -10.9761 +▁Velike -10.9762 +dija -10.9763 +▁prove -10.9764 +▁context -10.9765 +▁počne -10.9769 +х -10.9769 +▁štiti -10.977 +▁Wood -10.9771 +▁lift -10.9773 +▁Cal -10.9775 +▁mrežu -10.9775 +▁linija -10.9776 +▁Američki -10.9776 +▁appeared -10.9779 +ви -10.978 +▁Šu -10.9789 +▁seeking -10.979 +▁porodicu -10.9791 +▁prirodi -10.9792 +cher -10.9792 +ong -10.9792 +▁TE -10.9793 +▁elektro -10.9797 +ako -10.9799 +▁hip -10.9801 +▁Cena -10.9801 +▁split -10.9806 +83 -10.9812 +▁čin -10.9814 +▁logo -10.9815 +▁količina -10.9818 +▁nacionalne -10.9819 +▁worse -10.9821 +▁mine -10.9821 +▁mreži -10.9821 +ula -10.9826 +3. -10.9828 +ovih -10.9828 +▁vakcina -10.983 +▁instance -10.983 +▁učestvuje -10.9831 +NJE -10.9833 +▁familiar -10.9836 +▁milijarde -10.9838 +▁clinical -10.9842 +sp -10.9843 +▁dokumenta -10.9844 +vale -10.9846 +▁nauke -10.9846 +▁waste -10.9846 +▁standing -10.9848 +▁glavom -10.9851 +▁ekonomske -10.9853 +▁voz -10.9854 +▁raise -10.9854 +▁reakcije -10.9856 +▁seminar -10.9858 +▁finansira -10.9859 +▁morali -10.9859 +▁njenim -10.986 +išu -10.9862 +▁nemamo -10.9865 +▁conversation -10.9866 +▁duh -10.9868 +▁publika -10.9869 +▁greške -10.9872 +▁manifestacije -10.9872 +▁brani -10.9873 +▁Technology -10.9877 +▁Zna -10.9877 +▁prilog -10.9877 +58 -10.9879 +▁symptoms -10.9879 +▁odgovorio -10.9879 +▁ingredients -10.9881 +EL -10.9882 +▁cap -10.9883 +njak -10.9883 +▁štampa -10.9884 +pla -10.9886 +▁poljoprivrede -10.9887 +▁šansu -10.9887 +▁Wall -10.9888 +▁Baš -10.9888 +mena -10.9889 +stro -10.9889 +▁ourselves -10.9892 +▁Code -10.9892 +▁ulaganja -10.9892 +ose -10.9894 +▁stores -10.9897 +nskom -10.9899 +▁Ob -10.9901 +▁državnog -10.9901 +▁religious -10.9904 +▁mijenja -10.9907 +▁square -10.9918 +▁pozitivno -10.9919 +▁dođu -10.9919 +▁Zahvaljujući -10.9919 +▁krevet -10.992 +59 -10.9921 +▁pogon -10.9921 +Ako -10.9922 +▁najbolja -10.9923 +▁south -10.9925 +▁forces -10.9927 +▁03 -10.9927 +▁postojanja -10.9929 +▁Milorad -10.9933 +▁specifically -10.9934 +xi -10.9935 +▁trag -10.9935 +▁cleaning -10.9936 +Ro -10.9937 +rine -10.994 +▁stigla -10.9943 +▁Police -10.9946 +all -10.9948 +▁soli -10.995 +▁serija -10.9951 +▁leads -10.9955 +▁proizvodnja -10.9955 +▁spomen -10.9958 +▁fra -10.9959 +▁plata -10.9959 +▁detail -10.996 +▁topic -10.9961 +▁vidio -10.9964 +▁trading -10.9964 +▁internal -10.9966 +▁Rod -10.9968 +▁fantastic -10.9969 +▁nedjelju -10.9969 +▁cele -10.9969 +▁Place -10.9969 +▁.. -10.9972 +▁1992. -10.9973 +jim -10.9974 +ware -10.9978 +▁dostupan -10.9979 +▁Vaše -10.9981 +▁writer -10.9982 +▁identitet -10.9982 +▁vojnika -10.9986 +▁mg -10.9988 +▁šut -10.9988 +▁Crvene -10.999 +▁Americi -10.9991 +▁mass -10.9991 +▁advance -10.9992 +▁sektor -10.9992 +ksi -10.9993 +▁režim -10.9994 +pad -10.9994 +▁jedva -10.9994 +▁izradu -10.9999 +▁Svaka -11.0002 +▁lokacija -11.0003 +point -11.0005 +▁čet -11.0007 +▁prijava -11.0008 +sno -11.0008 +▁nužno -11.0011 +▁51 -11.0011 +▁Sir -11.0011 +▁osuđen -11.0015 +▁naselju -11.0016 +▁nekoj -11.0017 +▁načine -11.0017 +▁Fu -11.0017 +▁push -11.0018 +ino -11.0019 +▁Ten -11.0022 +▁ulaz -11.0022 +▁sav -11.0022 +▁srpskom -11.0023 +nskih -11.0024 +▁bezbednost -11.0024 +▁istim -11.0024 +▁stanica -11.0031 +▁privrede -11.0031 +▁installation -11.0034 +53 -11.0038 +▁nećemo -11.0038 +▁Agencije -11.0039 +▁fees -11.004 +▁odavno -11.004 +94 -11.0041 +▁attend -11.0042 +▁fu -11.0043 +▁formi -11.0043 +▁y -11.0043 +▁Dom -11.0043 +▁rastu -11.0043 +ang -11.0044 +▁burn -11.0047 +▁Sla -11.0048 +▁Mat -11.0049 +Co -11.0051 +▁RSD -11.0054 +ls -11.0055 +▁Cha -11.0059 +▁Jones -11.006 +▁izdanje -11.0062 +▁behavior -11.0062 +▁Dar -11.0064 +▁gost -11.0064 +▁KO -11.0065 +▁infekcije -11.0067 +▁smanji -11.0068 +▁2023 -11.0071 +▁2003 -11.0071 +▁ured -11.0071 +л -11.0072 +▁05 -11.0072 +čkoj -11.0077 +▁participants -11.0078 +▁license -11.0081 +▁maintenance -11.0083 +▁netko -11.0083 +▁Ser -11.0084 +▁explain -11.0085 +▁53 -11.0086 +▁meat -11.0086 +▁Adam -11.0087 +▁zid -11.0088 +▁Luci -11.0089 +▁beat -11.0089 +▁šećer -11.0091 +▁locations -11.0092 +čne -11.0093 +▁smooth -11.0094 +bal -11.0094 +▁BE -11.0094 +▁ići -11.0095 +▁radove -11.0095 +▁creation -11.0097 +▁Bri -11.0097 +▁surprise -11.0099 +▁recommended -11.0099 +▁imovine -11.0099 +▁Ukrajine -11.0104 +▁Maybe -11.0108 +▁proteklih -11.0109 +▁takvim -11.011 +ња -11.0112 +▁measure -11.0113 +▁nađe -11.0114 +▁Rob -11.0115 +▁formira -11.0118 +▁except -11.0119 +▁luk -11.0121 +▁Night -11.0121 +sija -11.0126 +▁domu -11.013 +▁operacije -11.013 +što -11.0132 +▁odakle -11.0133 +▁Fo -11.0133 +▁pobede -11.0135 +▁confidence -11.0138 +are -11.0139 +▁Paris -11.0139 +▁solar -11.0139 +▁glavna -11.014 +km -11.0142 +▁dobit -11.0142 +▁otvori -11.0143 +▁seek -11.0143 +▁Raj -11.0146 +▁busy -11.0147 +▁priznanje -11.015 +▁pitanjima -11.0151 +kup -11.0154 +▁Glavni -11.0154 +▁Dušan -11.0156 +▁Instead -11.0158 +▁apps -11.0158 +▁obje -11.0159 +▁university -11.0161 +icama -11.0162 +which -11.0162 +ric -11.0162 +▁56 -11.0163 +▁websites -11.0165 +▁razgovoru -11.0166 +▁possibly -11.0169 +▁američkog -11.0169 +▁trud -11.017 +▁dolaska -11.0172 +▁trees -11.0175 +▁kapital -11.0175 +▁Sva -11.0177 +▁zanimljivo -11.0178 +▁namenjen -11.018 +▁Zvezda -11.0181 +57 -11.0184 +▁finale -11.0184 +▁Opis -11.0185 +▁nekoga -11.0186 +▁ban -11.0187 +▁Nove -11.0188 +tal -11.019 +▁desire -11.0192 +▁brojem -11.0193 +▁kredita -11.0193 +▁donese -11.0194 +▁teniser -11.0195 +cin -11.0195 +▁kolega -11.0196 +▁seat -11.0199 +▁islam -11.02 +▁Support -11.02 +▁adults -11.02 +▁naglašava -11.0201 +▁conduct -11.0204 +▁eto -11.0205 +dž -11.0206 +▁hiljade -11.0209 +▁pokušaj -11.0209 +▁Americans -11.0212 +▁predstavnicima -11.0214 +▁trajanja -11.0214 +▁50% -11.0218 +▁Santa -11.022 +▁ri -11.0221 +▁pic -11.0221 +▁teachers -11.0223 +▁election -11.0223 +▁grama -11.0224 +▁Uprave -11.0229 +unt -11.0231 +▁sposobnost -11.0233 +šće -11.0234 +▁radionice -11.0234 +▁hurt -11.0236 +▁Minister -11.0236 +▁povratak -11.0236 +▁Did -11.0236 +▁pažnje -11.024 +▁trenutka -11.024 +▁(3 -11.0245 +▁trenera -11.0249 +war -11.0251 +ow -11.0252 +▁cilja -11.0253 +▁vlasnika -11.0253 +▁fell -11.0254 +▁tr -11.0254 +▁promjena -11.0254 +▁izgradnji -11.0256 +▁dodir -11.0257 +▁Sv -11.0258 +▁calling -11.026 +▁malim -11.0261 +▁Općine -11.0262 +▁willing -11.0262 +▁sprovodi -11.0263 +▁browser -11.0263 +Ovo -11.0264 +81 -11.0267 +alni -11.0269 +▁pogleda -11.0269 +▁terena -11.0269 +▁drugs -11.027 +▁Australian -11.027 +▁uticaja -11.0271 +▁ostaviti -11.0271 +▁strategies -11.0272 +▁pret -11.0274 +ER -11.0276 +▁advertising -11.0277 +▁karijeri -11.0277 +So -11.0279 +▁dolazak -11.028 +▁kralj -11.028 +▁pobjedu -11.0283 +▁Max -11.0286 +▁purposes -11.0287 +▁otvaranje -11.0287 +▁cat -11.0288 +Fa -11.0288 +▁savet -11.0289 +▁lidera -11.029 +novi -11.0291 +▁aviona -11.0291 +▁Jovan -11.0291 +▁napred -11.0295 +▁log -11.0297 +▁imenom -11.0297 +▁saradnja -11.0299 +▁pm -11.03 +▁lived -11.03 +▁sample -11.0302 +▁Oko -11.0302 +▁državnih -11.0303 +▁vojne -11.0304 +▁grant -11.0305 +▁Key -11.0305 +▁osnovi -11.0306 +SP -11.0307 +▁bivše -11.0313 +▁enjoyed -11.0313 +▁signs -11.0313 +▁iron -11.0317 +▁intended -11.0319 +▁učestvuju -11.032 +▁] -11.0321 +▁posebnim -11.0322 +▁pratiti -11.0322 +▁fe -11.0323 +▁totally -11.0325 +play -11.0325 +▁[…] -11.0325 +▁north -11.0329 +list -11.0329 +▁ubistva -11.0336 +ight -11.0336 +▁Kompanija -11.0341 +▁ponedjeljak -11.0341 +▁količinu -11.0341 +▁postali -11.0343 +▁expression -11.0344 +▁teži -11.0344 +▁proposed -11.0345 +▁Policija -11.0347 +▁sumnja -11.035 +▁opis -11.035 +▁Royal -11.0351 +qua -11.0352 +▁zuba -11.0354 +▁školama -11.0355 +▁Nažalost -11.0355 +▁dijalog -11.0355 +AN -11.0356 +▁papir -11.0356 +▁Federal -11.0357 +▁afternoon -11.0357 +▁pripadnika -11.0362 +▁nisi -11.0363 +▁lik -11.0366 +▁događa -11.0367 +CC -11.0368 +▁Popović -11.0369 +▁bright -11.0369 +▁opšte -11.037 +▁Prime -11.0372 +▁revenue -11.0373 +rant -11.0377 +▁nastala -11.0377 +▁Mas -11.0377 +▁Koji -11.0379 +▁šire -11.038 +▁gradi -11.038 +▁Sports -11.0381 +▁noted -11.0381 +dić -11.0382 +▁72 -11.0385 +▁postaju -11.0385 +▁Standard -11.0388 +▁layer -11.0389 +▁bebe -11.0393 +stri -11.0396 +▁mentor -11.0398 +▁crowd -11.0398 +▁poziciji -11.04 +cent -11.0401 +▁prošlo -11.0404 +▁pjesme -11.0406 +▁interests -11.0406 +NU -11.0407 +▁Cat -11.0411 +▁nece -11.0413 +▁poznate -11.0414 +▁mogle -11.0414 +▁violence -11.0416 +▁encourage -11.0416 +▁improved -11.0417 +▁prelazi -11.0418 +▁recovery -11.0419 +▁novinare -11.0419 +usa -11.042 +-4 -11.042 +▁Scott -11.0421 +▁poslednji -11.0421 +govor -11.0422 +▁net -11.0423 +▁prenose -11.0424 +▁okruženju -11.0426 +agić -11.0426 +▁Card -11.043 +▁processing -11.0432 +▁pattern -11.0433 +ery -11.0433 +mija -11.0435 +▁fund -11.0436 +▁rezultatima -11.0437 +▁izjave -11.0438 +▁formal -11.044 +▁respond -11.0442 +▁osobi -11.0443 +stone -11.0448 +▁foundation -11.0449 +▁brojni -11.0449 +▁Molimo -11.0451 +▁yes -11.0453 +▁180 -11.0454 +▁Rat -11.0454 +rne -11.0455 +IL -11.0456 +▁uspio -11.0456 +▁duga -11.0458 +▁publike -11.0465 +▁slučaja -11.0466 +Iz -11.0468 +▁Using -11.0471 +▁chain -11.0471 +art -11.0471 +bio -11.0472 +▁criminal -11.0472 +janje -11.0473 +▁bur -11.0475 +▁zaposleni -11.0478 +ević -11.0482 +▁counter -11.0483 +▁aspects -11.0487 +▁gradonačelnika -11.0489 +▁supported -11.049 +AP -11.0492 +▁fudbaler -11.0493 +kako -11.0496 +vac -11.0498 +▁bowl -11.05 +▁Date -11.0503 +▁sredstvo -11.0504 +▁visual -11.0506 +▁ulicama -11.0506 +000 -11.051 +▁consumer -11.0511 +HA -11.0512 +▁odnosima -11.0512 +▁planet -11.0513 +▁maximum -11.0514 +▁slave -11.0515 +▁cijeni -11.0515 +▁appearance -11.0516 +▁analize -11.052 +▁tender -11.0521 +▁removed -11.0523 +tna -11.0525 +▁stana -11.0525 +joj -11.0526 +▁pomažu -11.0527 +▁courses -11.053 +▁Italije -11.053 +▁adresa -11.0531 +▁metoda -11.0533 +▁Kom -11.0534 +▁contain -11.0537 +▁hrvatskog -11.0538 +▁gradovima -11.0539 +▁Steve -11.0544 +▁Oba -11.0545 +▁Award -11.0546 +▁klubova -11.0547 +ane -11.0548 +long -11.0548 +▁Young -11.0549 +▁bolja -11.0553 +▁cheap -11.0557 +kva -11.0559 +-12 -11.0562 +burg -11.0562 +▁govoriti -11.0568 +▁dnevni -11.0568 +▁failed -11.0569 +▁IS -11.057 +▁dress -11.0572 +ljivo -11.0574 +▁Port -11.0574 +tine -11.0576 +▁mon -11.0577 +▁Kroz -11.0578 +▁neposredno -11.0578 +▁tells -11.0579 +▁dužnosti -11.058 +kinja -11.0584 +▁prakse -11.0585 +▁rain -11.0588 +▁monitoring -11.0588 +▁Riječ -11.0589 +▁menadžer -11.059 +▁plays -11.059 +▁skupa -11.0591 +tive -11.0591 +▁razreda -11.0591 +▁Germany -11.0596 +▁pokazalo -11.0597 +mes -11.0599 +▁stra -11.06 +▁dobiju -11.0602 +▁Neka -11.0603 +▁flight -11.0603 +▁decenije -11.0604 +▁kretanja -11.0607 +▁pokazati -11.0607 +▁Luke -11.061 +▁accounts -11.0611 +▁zavod -11.0612 +▁trening -11.0614 +▁pažljivo -11.0617 +▁invaliditetom -11.0618 +▁HR -11.0618 +▁predstavi -11.0619 +▁Has -11.062 +▁dali -11.0622 +▁stranih -11.0623 +▁Energy -11.0623 +▁efficient -11.0625 +▁forced -11.0626 +ros -11.0627 +▁složen -11.0629 +▁discovered -11.0629 +▁bicikl -11.0629 +▁faster -11.0633 +▁2002 -11.0633 +г -11.0633 +lt -11.0635 +▁raspored -11.0635 +03 -11.0637 +▁pare -11.0638 +8% -11.0639 +▁ulica -11.0639 +▁kapi -11.064 +▁upravlja -11.0648 +▁borba -11.065 +▁voditi -11.065 +▁Jun -11.0653 +▁gre -11.0653 +▁movies -11.0654 +▁videli -11.0656 +row -11.0656 +▁emergency -11.0656 +▁Children -11.0658 +▁međusobno -11.0659 +▁radni -11.0659 +▁investicija -11.066 +▁Name -11.066 +▁error -11.0663 +▁javljaju -11.0663 +▁enhance -11.0664 +rn -11.0664 +▁otvorenom -11.0665 +▁combined -11.0667 +ium -11.0667 +▁Museum -11.0667 +inom -11.0668 +▁approximately -11.0669 +▁umjetnosti -11.067 +▁spava -11.0671 +▁uspjeli -11.0671 +kre -11.0671 +з -11.0671 +▁Imam -11.0675 +▁stara -11.0675 +▁verzija -11.0677 +▁ekonomije -11.0678 +▁hrvatske -11.0678 +▁pojedinih -11.068 +▁Nenad -11.0682 +ification -11.0683 +stal -11.0683 +▁propisa -11.0684 +▁prolaz -11.0684 +▁€ -11.0686 +▁robot -11.0686 +▁inicijativu -11.0689 +▁technologies -11.0689 +▁Gen -11.0693 +▁RTS -11.0693 +▁dodajte -11.0696 +▁uspeli -11.0697 +▁depending -11.0707 +▁BH -11.0709 +▁spirit -11.0709 +▁faktor -11.071 +▁brod -11.0711 +▁EP -11.0713 +▁fizički -11.0713 +▁ovakav -11.0717 +▁opremu -11.0717 +▁ključ -11.0717 +ON -11.0719 +▁briga -11.072 +▁Pat -11.0724 +▁Problem -11.0724 +bb -11.0724 +▁detalje -11.0725 +▁executive -11.0726 +▁fakultetu -11.0733 +▁IV -11.0734 +▁prirodni -11.0734 +▁seconds -11.0736 +▁Gre -11.074 +▁arrived -11.0741 +tova -11.0741 +▁windows -11.0742 +300 -11.0743 +▁(18 -11.0745 +▁pružaju -11.0745 +▁analiza -11.0747 +▁istorije -11.0747 +nsku -11.0749 +▁telling -11.0749 +▁passion -11.0749 +▁chief -11.075 +pin -11.0752 +▁kid -11.0753 +▁brine -11.0754 +▁vašim -11.0754 +▁pomalo -11.0754 +▁caught -11.0756 +▁tvoj -11.0758 +▁završi -11.0759 +▁Search -11.076 +▁sister -11.0763 +▁provider -11.0764 +▁Russia -11.0764 +:15 -11.0765 +▁poboljšanje -11.0765 +ces -11.0765 +▁fly -11.0767 +▁proizvodnji -11.0769 +▁oprema -11.0769 +▁Mladen -11.077 +▁Keep -11.0771 +ible -11.0776 +▁znaci -11.0776 +RI -11.0778 +▁inostranstvu -11.0778 +▁djeci -11.0781 +ovim -11.0781 +▁Dva -11.0785 +▁slu -11.0787 +MI -11.0789 +▁opasnosti -11.079 +▁carried -11.0795 +▁čisti -11.0795 +▁equal -11.0795 +SI -11.0798 +▁rent -11.0798 +▁wonder -11.0803 +▁delivered -11.0804 +FA -11.0806 +51 -11.0806 +500 -11.0807 +SKI -11.0807 +▁porast -11.081 +▁narodu -11.0811 +▁svrhu -11.0812 +nger -11.0812 +▁njenu -11.0812 +▁Vin -11.0813 +▁components -11.0814 +▁vehicles -11.0814 +▁sets -11.0815 +▁concerned -11.0816 +▁lokalnim -11.0816 +naj -11.0816 +▁awesome -11.0817 +▁cheese -11.0817 +▁profil -11.0821 +▁negdje -11.0825 +▁knowing -11.0826 +▁Svet -11.083 +▁Canadian -11.083 +▁Gro -11.0833 +▁lunch -11.0834 +▁wearing -11.0836 +▁causes -11.0837 +info -11.0837 +▁površina -11.0838 +▁dogs -11.084 +▁Pakistan -11.0841 +lima -11.0842 +▁hundreds -11.0843 +▁determined -11.0845 +ве -11.0846 +▁vojska -11.0851 +▁učenje -11.0857 +▁pobjede -11.0857 +▁units -11.0858 +▁Svetog -11.0858 +▁ubistvo -11.0862 +▁motiv -11.0864 +▁Druga -11.0864 +▁goriva -11.0865 +dor -11.0866 +▁Ford -11.0872 +▁Evropa -11.0877 +ties -11.0879 +▁Sara -11.0879 +▁Middle -11.088 +▁Does -11.0881 +▁teach -11.0886 +▁Dže -11.0886 +iste -11.0888 +▁updated -11.0888 +▁posljedica -11.0889 +▁zlo -11.089 +▁stoje -11.0891 +▁pesme -11.0891 +spo -11.0892 +▁većine -11.0892 +▁dž -11.0896 +BE -11.09 +▁Though -11.0904 +▁njihovoj -11.0905 +▁count -11.0906 +▁surgery -11.0909 +int -11.0912 +▁vakcine -11.0913 +▁premium -11.0913 +▁distribution -11.0913 +▁većini -11.0914 +▁introduced -11.0914 +kg -11.0917 +800 -11.0918 +▁podne -11.0919 +▁samostalno -11.0919 +▁FA -11.0922 +▁posljednje -11.0922 +▁lečenje -11.0922 +▁jesen -11.0923 +cker -11.0924 +▁LI -11.0924 +▁television -11.0924 +▁deteta -11.0926 +▁Page -11.0926 +▁command -11.0926 +▁bivšeg -11.093 +▁Site -11.093 +▁situacijama -11.0931 +▁posmatra -11.0932 +▁ističu -11.0936 +▁(1) -11.0937 +▁officer -11.0941 +▁posebne -11.0941 +There -11.0942 +▁podseća -11.0944 +▁Mostaru -11.0947 +▁nogu -11.0947 +▁Petar -11.0948 +▁greatest -11.0949 +▁PU -11.0949 +sam -11.0951 +▁installed -11.0951 +▁Help -11.0953 +▁zločine -11.0956 +OL -11.0957 +▁radila -11.0958 +▁predviđa -11.0964 +▁PDF -11.0964 +▁kombinacija -11.0964 +ip -11.0968 +related -11.097 +▁BO -11.0971 +▁obtain -11.0972 +▁vitamin -11.0973 +▁charges -11.0974 +sije -11.0975 +sel -11.0975 +▁lokaciji -11.0976 +их -11.0978 +7% -11.098 +▁FK -11.0981 +▁detailed -11.0981 +▁herself -11.0983 +▁prikaz -11.0984 +▁freedom -11.0985 +▁ki -11.0985 +▁predstava -11.0985 +▁starije -11.0987 +▁uradio -11.0988 +▁kick -11.0989 +▁onome -11.0989 +▁navela -11.099 +▁FOR -11.099 +▁Mini -11.099 +▁tests -11.0991 +▁gel -11.0992 +▁vozača -11.0992 +▁svrhe -11.0993 +▁klima -11.0993 +▁abuse -11.0994 +▁cr -11.0996 +▁educational -11.0996 +­ -11.0998 +▁potez -11.1 +ph -11.1002 +nc -11.1003 +▁GA -11.1003 +▁mineral -11.1005 +▁nepo -11.1006 +▁nedelja -11.1007 +TS -11.1007 +tih -11.1007 +town -11.1007 +▁Price -11.1009 +▁Ministarstvu -11.101 +▁povrat -11.1011 +▁prvim -11.1013 +▁izdanja -11.1013 +right -11.1013 +▁kulturno -11.1015 +▁uniform -11.1016 +▁spiritual -11.1016 +▁Travel -11.1018 +▁tražiti -11.1019 +table -11.1019 +▁Email -11.1019 +▁massive -11.1021 +▁Tr -11.1024 +▁dobri -11.1026 +mb -11.1031 +▁čvrsto -11.1033 +▁radnje -11.1034 +▁Control -11.1035 +6. -11.1036 +▁činjenicu -11.1038 +▁cijenu -11.104 +▁anywhere -11.104 +▁transform -11.104 +pred -11.1041 +ever -11.1042 +▁Tek -11.1042 +▁proglašen -11.1044 +▁izboru -11.1045 +ser -11.1048 +▁Pop -11.1049 +▁bringing -11.1051 +▁Sky -11.1053 +jet -11.1053 +▁takmičenju -11.1056 +▁62 -11.1056 +ošću -11.1058 +▁orders -11.1059 +▁ćelija -11.1063 +▁library -11.1063 +▁nacija -11.1064 +▁počelo -11.1065 +ions -11.1066 +▁Ok -11.1067 +▁bike -11.1068 +▁satima -11.1072 +wn -11.1074 +▁(4 -11.1074 +▁Tanjug -11.1074 +ч -11.1074 +▁Bosnu -11.1076 +ec -11.1078 +▁Željko -11.1079 +▁ujutro -11.1079 +▁tele -11.1082 +▁earn -11.1084 +▁emotional -11.1087 +kli -11.1087 +▁sv -11.1087 +jeli -11.109 +nos -11.1092 +▁akciji -11.1092 +▁failure -11.1092 +▁roditeljima -11.1093 +▁Kovačević -11.1096 +▁chicken -11.1097 +▁jump -11.1098 +lf -11.11 +prije -11.1102 +▁Bit -11.111 +▁donose -11.111 +GB -11.1111 +▁golf -11.1112 +52 -11.1113 +▁korisnike -11.1123 +▁brown -11.1124 +▁drago -11.1128 +  -11.113 +▁suit -11.1133 +ments -11.1133 +▁roll -11.1133 +▁kit -11.1134 +▁projektima -11.1134 +mic -11.1136 +▁Ken -11.1136 +▁kre -11.1139 +▁Njegova -11.1139 +▁begins -11.1141 +zda -11.1142 +▁bigger -11.1142 +▁napadač -11.1142 +▁fil -11.1145 +▁predavanja -11.115 +▁significantly -11.1153 +▁kupovine -11.1154 +▁policiji -11.1154 +▁motion -11.1154 +▁dollars -11.1156 +▁pripremi -11.1157 +▁Guide -11.1157 +izaciju -11.1158 +▁maj -11.1158 +▁električne -11.1159 +▁Agencija -11.1159 +▁vijeća -11.116 +▁snimak -11.116 +▁djeluje -11.1161 +▁competitive -11.1161 +▁nastao -11.1163 +▁organizma -11.1163 +enja -11.1164 +▁Igor -11.1167 +lak -11.1168 +▁regional -11.1169 +svet -11.117 +▁Look -11.1171 +▁Hot -11.1171 +▁Boris -11.1183 +▁1) -11.1183 +▁Learn -11.1184 +▁AS -11.1188 +▁frame -11.1189 +▁Williams -11.119 +▁jo -11.1191 +▁concern -11.1194 +▁sljedeće -11.1194 +▁kli -11.1195 +▁kontekstu -11.1195 +▁при -11.1197 +RO -11.12 +▁soul -11.1203 +▁Louis -11.1205 +▁input -11.1205 +▁bla -11.1206 +▁Fat -11.1206 +▁resolution -11.1206 +▁inspired -11.1206 +▁participate -11.1207 +▁broken -11.1208 +▁Međunarodni -11.1209 +▁zatvor -11.1209 +▁poslati -11.1212 +▁SEO -11.1213 +▁install -11.1214 +▁sides -11.1215 +▁functions -11.1222 +▁pobedu -11.1223 +room -11.1225 +▁happening -11.1225 +▁BBC -11.1225 +▁fudbal -11.1226 +▁faze -11.1229 +▁stadionu -11.1229 +▁therapy -11.1229 +▁dalji -11.1231 +dge -11.1235 +▁postavljanje -11.1235 +▁kor -11.1237 +▁svetskog -11.1237 +▁favor -11.1237 +▁proba -11.1239 +▁primi -11.124 +ial -11.124 +▁uživo -11.1242 +▁fix -11.1243 +▁finalu -11.1244 +mber -11.1245 +▁izradi -11.125 +vla -11.125 +▁employee -11.1251 +▁učenja -11.1252 +▁vožnje -11.1253 +▁Drugog -11.1257 +▁istoriju -11.1259 +▁efikasno -11.126 +▁57 -11.1262 +▁54 -11.1263 +▁Las -11.1264 +▁Visit -11.1266 +AD -11.1267 +▁grand -11.1268 +čak -11.127 +▁Simon -11.127 +ml -11.127 +tori -11.1271 +▁approved -11.1271 +Li -11.1275 +▁dose -11.1276 +▁članovima -11.1276 +▁kup -11.1277 +zor -11.1278 +▁Matt -11.1278 +▁Prilikom -11.1278 +▁lagano -11.1279 +▁recipe -11.1282 +glav -11.1283 +▁fourth -11.1285 +▁registered -11.1285 +▁budem -11.1287 +▁Londonu -11.1288 +▁chocolate -11.1288 +vy -11.1289 +▁duž -11.1289 +▁uđe -11.1292 +▁committee -11.1294 +▁ministarstva -11.1295 +ons -11.1296 +▁manifestacija -11.1299 +▁pasa -11.1299 +▁pokušao -11.13 +▁Rose -11.13 +nel -11.1301 +▁Centre -11.1302 +▁Yet -11.1303 +osa -11.1303 +▁supporting -11.1306 +▁želju -11.1306 +▁pojavio -11.1308 +▁Week -11.1309 +▁ušao -11.1309 +▁agreed -11.1311 +▁polja -11.1311 +▁Dragana -11.1311 +▁njenih -11.1313 +▁Hand -11.1316 +▁postignut -11.1317 +▁outdoor -11.1318 +CO -11.132 +▁Photo -11.1322 +▁draft -11.1325 +▁mišljenju -11.1329 +▁perspective -11.1334 +▁comprehensive -11.1335 +▁treated -11.1338 +▁predstavio -11.1341 +▁traga -11.1341 +▁considering -11.1343 +▁boat -11.1349 +nch -11.1349 +▁Najbolji -11.1349 +▁collect -11.1349 +▁ruskog -11.1351 +▁2005. -11.1352 +▁explained -11.1352 +™ -11.1352 +▁Važno -11.1353 +▁gospodar -11.1354 +▁automatically -11.1359 +▁golova -11.1359 +jić -11.136 +▁prirodnih -11.1364 +▁visokim -11.1364 +â -11.137 +▁feedback -11.1371 +▁category -11.1372 +▁Chief -11.1373 +▁decades -11.1373 +iran -11.1376 +▁oboljenja -11.1376 +▁plati -11.1378 +sur -11.1379 +▁alarm -11.138 +wer -11.1381 +▁Trans -11.1382 +▁puni -11.1382 +▁6, -11.1383 +▁kakvu -11.1383 +irana -11.1384 +▁otpor -11.1387 +▁komada -11.1387 +▁Charles -11.1387 +▁К -11.1389 +▁Še -11.1392 +▁sc -11.1392 +▁Dark -11.1392 +▁expertise -11.1395 +▁koža -11.1396 +▁appreciate -11.1396 +▁Tar -11.1397 +DO -11.1397 +▁korištenje -11.1398 +▁crime -11.1402 +▁04 -11.1403 +▁ciljeva -11.1403 +rske -11.1405 +ds -11.1405 +▁politička -11.1406 +oni -11.1407 +obi -11.1408 +▁katalog -11.1408 +▁valuable -11.1412 +▁crisis -11.1412 +▁toplo -11.1413 +▁cutting -11.1415 +▁muškarac -11.1418 +ovski -11.1418 +radi -11.1419 +▁poslanika -11.1422 +▁butter -11.1423 +▁1999. -11.1423 +icom -11.1424 +▁load -11.1424 +▁Shop -11.1424 +▁route -11.1424 +▁Mile -11.1425 +▁PRI -11.1428 +▁moru -11.1429 +eći -11.1432 +▁Svako -11.1433 +▁nemojte -11.1435 +▁podatak -11.1436 +▁zasnovan -11.1436 +▁drugačiji -11.1437 +▁stars -11.1437 +▁Portugal -11.1437 +▁radite -11.1439 +▁sredstvima -11.1442 +▁85 -11.1442 +▁effectively -11.1442 +▁tražio -11.1443 +▁mar -11.1444 +▁transition -11.1446 +▁ostatak -11.1448 +▁paying -11.1448 +FOTO -11.1449 +▁Report -11.145 +▁oštećenja -11.145 +▁Imamo -11.1453 +▁Amerike -11.1454 +life -11.1455 +▁95 -11.1455 +▁edition -11.1456 +ella -11.1458 +▁updates -11.1458 +ration -11.146 +▁širok -11.1462 +▁Parizu -11.1463 +▁Little -11.1463 +▁launched -11.1466 +zom -11.1466 +▁tab -11.1469 +▁preduzeće -11.1469 +▁zadužen -11.147 +▁luka -11.1471 +▁rado -11.1471 +▁dodala -11.1471 +▁hitno -11.1473 +▁2001 -11.1473 +▁Donald -11.1473 +▁Ger -11.1474 +▁crkva -11.1478 +▁izrade -11.1479 +▁poslao -11.148 +av -11.1482 +▁naselje -11.1482 +▁pojavi -11.1482 +▁Asia -11.1483 +water -11.1483 +▁dokumenata -11.1483 +▁međunarodnih -11.1486 +▁štete -11.1487 +▁očekivanja -11.1491 +▁važnosti -11.1495 +▁konferencije -11.1495 +▁sobi -11.1496 +Di -11.1501 +▁channel -11.1502 +▁Zo -11.1504 +▁speech -11.1504 +▁Brazil -11.1506 +▁AC -11.1506 +Al -11.1507 +▁kompaniji -11.1507 +▁hr -11.151 +▁visine -11.1512 +▁boju -11.1513 +▁choices -11.1513 +▁mišića -11.1513 +▁želji -11.1514 +▁Boga -11.1516 +▁prirodno -11.1518 +▁stone -11.152 +▁čekaju -11.152 +▁youth -11.152 +▁metode -11.1523 +▁AD -11.1523 +pala -11.1524 +▁smile -11.1526 +▁Mexico -11.1527 +CH -11.1531 +▁istoj -11.1531 +▁vlasništvu -11.1532 +▁fo -11.1532 +▁ice -11.1534 +▁Shi -11.1534 +AR -11.1535 +▁Kevin -11.1535 +▁privremeno -11.1541 +nula -11.1542 +▁mama -11.1542 +with -11.1543 +▁Sub -11.1544 +▁Potrebno -11.1546 +zar -11.1546 +vanjem -11.1546 +▁Petra -11.1547 +ovic -11.1548 +nta -11.155 +▁Despite -11.155 +▁Italiji -11.1556 +▁ćeš -11.1558 +▁određenih -11.1561 +▁utiču -11.1562 +tike -11.1564 +plo -11.1565 +▁SNS -11.1565 +▁Ph -11.1568 +▁veruje -11.1569 +▁Tour -11.157 +▁label -11.1571 +▁Marketing -11.1572 +slu -11.1573 +▁acid -11.1573 +▁Jim -11.1573 +▁generacija -11.1573 +shed -11.1573 +▁očima -11.1574 +▁twice -11.1574 +mal -11.1574 +▁Order -11.1577 +aju -11.158 +▁valid -11.1583 +▁vladi -11.1584 +šao -11.1585 +▁investicije -11.1586 +▁Pink -11.1587 +para -11.1589 +▁gro -11.1591 +▁nadležnosti -11.1592 +▁sand -11.1592 +▁enable -11.1594 +bro -11.1594 +Con -11.1595 +▁Line -11.1595 +▁Arts -11.1597 +dne -11.1598 +ming -11.1598 +▁slab -11.1598 +▁reduced -11.16 +▁Sand -11.1603 +cen -11.1603 +▁meal -11.1605 +you -11.1606 +▁recognize -11.1606 +▁66 -11.1607 +telj -11.1609 +▁Godine -11.161 +▁circumstances -11.1611 +▁examples -11.1615 +▁rub -11.1616 +▁trudnoće -11.1616 +▁glavne -11.1616 +▁domestic -11.1616 +▁History -11.1616 +▁prođe -11.1623 +▁programe -11.1623 +▁Vu -11.1624 +▁scientific -11.1624 +:10 -11.1624 +▁brands -11.1627 +tke -11.1628 +▁Therefore -11.1629 +NS -11.1629 +▁smanjiti -11.163 +▁finala -11.1631 +▁unos -11.1633 +▁topics -11.1634 +hand -11.1635 +▁$3 -11.1635 +▁63 -11.1635 +400 -11.1635 +čin -11.1638 +ovoj -11.164 +▁reprezentacija -11.1641 +▁treninga -11.1641 +lozi -11.1642 +čkih -11.1642 +▁providers -11.1643 +▁obavezu -11.1648 +▁zakonu -11.165 +▁exist -11.165 +▁uključuju -11.1651 +▁šteta -11.1657 +SC -11.1658 +mjer -11.1661 +▁{ -11.1661 +mara -11.1661 +▁završen -11.1661 +▁alat -11.1663 +▁reakcija -11.1664 +▁samouprave -11.1665 +▁glumac -11.1666 +▁Mad -11.1668 +▁srijedu -11.1671 +▁Which -11.1673 +▁postavio -11.1677 +▁morala -11.1677 +▁oseća -11.1679 +▁brief -11.168 +On -11.168 +ljeni -11.1681 +▁housing -11.1683 +▁99 -11.1683 +▁otvorio -11.1685 +▁joy -11.1686 +▁stopped -11.1686 +▁rođendan -11.1687 +▁gledati -11.1687 +▁servisa -11.1687 +▁Saveza -11.1687 +▁kaze -11.1687 +lly -11.1689 +▁Bush -11.1691 +▁era -11.1696 +▁remaining -11.1696 +▁izgradnja -11.1697 +▁dobrih -11.17 +▁poboljša -11.17 +▁Ham -11.1701 +DI -11.1703 +kor -11.1703 +▁nafte -11.1703 +▁stanu -11.1704 +▁vodio -11.1705 +▁Zar -11.1707 +▁Series -11.1707 +▁Vijeća -11.1708 +▁Država -11.1711 +bus -11.1712 +▁AI -11.1712 +nike -11.1713 +▁neću -11.1714 +▁kultura -11.1715 +▁Fair -11.1715 +▁goste -11.1716 +čar -11.1716 +uring -11.1717 +▁sok -11.1719 +▁bod -11.1719 +▁pose -11.1719 +▁rare -11.172 +▁Kina -11.1721 +SU -11.1722 +▁stariji -11.1722 +▁honor -11.1724 +▁praćenje -11.1724 +▁taught -11.1727 +▁Kal -11.1729 +▁Posted -11.173 +ljiv -11.1731 +▁gene -11.1733 +▁Type -11.1734 +▁tačke -11.1737 +▁Milana -11.1738 +▁kombinaciji -11.1738 +▁Predrag -11.1739 +▁dodatak -11.1741 +▁služe -11.1742 +style -11.1743 +vesti -11.1747 +▁informaciju -11.1747 +í -11.1749 +▁kinds -11.175 +▁albuma -11.1752 +▁Ot -11.1753 +▁officers -11.1756 +▁zar -11.1758 +▁Francuskoj -11.1758 +▁battery -11.1758 +▁replace -11.1759 +▁nizu -11.1759 +▁Pr -11.1759 +▁Vel -11.1759 +▁razum -11.176 +▁Forum -11.1762 +▁Skupštini -11.1763 +get -11.1765 +▁govora -11.1768 +▁Conference -11.1769 +▁EUR -11.177 +▁živ -11.177 +▁poštovanje -11.1771 +▁krenuo -11.1773 +ging -11.1773 +Bu -11.1774 +hod -11.1775 +▁predviđeno -11.178 +▁Sign -11.1781 +▁infrastrukture -11.1781 +▁landscape -11.1781 +▁Tuzli -11.1782 +▁dangerous -11.1787 +▁Mogu -11.1788 +▁regularly -11.1788 +▁izdanju -11.179 +▁Milošević -11.1791 +▁2004. -11.1796 +▁ulozi -11.1797 +▁upozorava -11.1798 +▁database -11.1798 +▁entirely -11.1801 +jela -11.1805 +▁euro -11.1805 +▁infrastructure -11.1806 +▁fellow -11.1806 +▁Instituta -11.1807 +▁Oil -11.1807 +▁practical -11.1808 +▁Right -11.181 +▁imagine -11.181 +..." -11.1812 +▁island -11.1812 +▁village -11.1813 +▁Cross -11.1816 +▁američkih -11.1817 +▁boost -11.1817 +dale -11.1817 +Ti -11.1817 +▁stavite -11.1818 +||1 -11.1818 +▁lake -11.1821 +▁switch -11.1822 +▁pit -11.1823 +▁tkiva -11.1825 +nima -11.1825 +ndo -11.1827 +▁uloge -11.1827 +▁Col -11.1827 +▁restoran -11.1828 +▁dobijaju -11.1829 +▁speaking -11.183 +▁karakteristika -11.1831 +pit -11.1831 +▁planned -11.1833 +▁dobrim -11.1835 +▁Join -11.1836 +▁veb -11.1836 +▁manufacturing -11.1837 +▁affected -11.1837 +▁Angel -11.1839 +▁JP -11.1839 +▁identity -11.1843 +▁glavnih -11.1846 +▁struje -11.1847 +▁načinu -11.1848 +▁58 -11.185 +▁BA -11.1856 +rski -11.1857 +▁Savez -11.1857 +▁svoga -11.1859 +▁1990 -11.186 +▁matters -11.186 +▁investigation -11.186 +▁contest -11.1861 +▁retail -11.1862 +UN -11.1863 +▁mandat -11.1863 +▁suitable -11.1863 +▁izvodi -11.1864 +▁spoljnih -11.1864 +▁fer -11.1866 +▁guest -11.1867 +▁alkohola -11.1867 +▁turns -11.1868 +And -11.187 +▁dodatni -11.187 +им -11.1871 +▁gospodin -11.1872 +▁Hospital -11.1874 +▁industriji -11.1875 +link -11.1875 +▁contribute -11.1877 +▁institutions -11.1879 +▁rano -11.1879 +rov -11.1881 +▁imale -11.1883 +▁neuro -11.1884 +▁fields -11.1885 +▁Para -11.1885 +▁lične -11.1892 +▁preuzeti -11.1892 +▁native -11.1892 +til -11.1893 +▁designs -11.1895 +▁Academy -11.1896 +▁crveno -11.1896 +▁constantly -11.1897 +▁pas -11.19 +▁Vijesti -11.19 +▁kafe -11.1902 +▁chosen -11.1904 +▁imalo -11.1906 +▁slijedi -11.1906 +▁koristeći -11.1909 +▁priznanja -11.191 +gal -11.191 +▁stoljeća -11.1912 +▁lifestyle -11.1914 +▁Stanković -11.1915 +▁pokaže -11.1915 +▁spada -11.1917 +▁dobi -11.1917 +▁Glas -11.1918 +▁povreda -11.1918 +▁Mur -11.1919 +▁theory -11.192 +▁recorded -11.192 +▁težak -11.192 +sin -11.1921 +▁potpis -11.1923 +▁muškarci -11.1924 +▁posebnu -11.1924 +▁deposit -11.1924 +▁uslugu -11.1925 +▁unapred -11.1927 +▁vezane -11.193 +▁zadovoljan -11.1931 +▁takvu -11.1931 +ero -11.1934 +vlja -11.1934 +▁izložba -11.1937 +▁innovative -11.1937 +▁kaznu -11.1938 +▁poli -11.1938 +▁hosting -11.1938 +▁međunarodnim -11.1939 +▁relatively -11.194 +uch -11.1941 +▁lovely -11.1942 +600 -11.1942 +▁mase -11.1944 +▁komentare -11.1945 +▁SNSD -11.1946 +▁isplati -11.195 +▁genocid -11.195 +▁Win -11.1951 +▁iskreno -11.1951 +▁šampion -11.1952 +pao -11.1952 +▁požara -11.1953 +lika -11.1954 +▁spremna -11.1956 +▁učini -11.1957 +▁issued -11.1958 +▁plaćanje -11.1959 +▁magazine -11.196 +▁pozitivan -11.1962 +▁Image -11.1963 +▁Met -11.1964 +▁šalje -11.1969 +▁gra -11.1972 +▁Kini -11.1973 +▁opštini -11.1973 +lum -11.1974 +▁rukom -11.1975 +▁charged -11.1977 +▁2) -11.1979 +▁Vučića -11.1981 +▁bri -11.1981 +▁Wild -11.1983 +▁djelatnosti -11.1984 +▁Nor -11.1985 +TC -11.1986 +▁dozvole -11.1987 +tech -11.1988 +▁novine -11.1989 +▁frequently -11.199 +▁industrial -11.1991 +▁Ker -11.1993 +part -11.1993 +▁interior -11.1993 +▁fotografiju -11.1994 +hal -11.1994 +▁Farm -11.1994 +▁identified -11.1995 +▁Virginia -11.1996 +ade -11.1996 +▁Opštine -11.1997 +izira -11.1999 +BiH -11.1999 +▁OŠ -11.1999 +▁OB -11.2 +▁closer -11.2002 +sni -11.2002 +▁ispit -11.2003 +▁vjerojatno -11.2005 +▁Najveći -11.2006 +jević -11.2006 +▁uputio -11.2008 +▁pin -11.2008 +▁Džon -11.2011 +▁Priprema -11.2013 +▁organizira -11.2013 +▁težine -11.2014 +▁picked -11.2014 +▁tea -11.2015 +▁ostaju -11.2018 +▁electric -11.2018 +▁pozorišta -11.2019 +▁700 -11.202 +sad -11.2022 +▁Slobodan -11.2022 +▁dešavanja -11.2024 +▁truck -11.2025 +▁represent -11.2025 +▁završila -11.2025 +▁motora -11.2025 +beli -11.2027 +mper -11.2029 +▁Stari -11.203 +▁ćelije -11.203 +▁stick -11.2031 +sport -11.2031 +▁foods -11.2036 +▁Finally -11.2036 +▁ostvariti -11.2036 +▁rental -11.2038 +▁follows -11.2039 +▁Rok -11.204 +▁razmišlja -11.2041 +▁sredini -11.2041 +▁Sel -11.2041 +▁peva -11.2042 +▁Maja -11.2044 +▁zgradi -11.2044 +▁cycle -11.2049 +▁potrebi -11.2051 +▁agencies -11.2051 +▁očiju -11.2054 +▁historical -11.2054 +▁Banjaluci -11.2057 +▁realizaciju -11.2058 +KE -11.206 +ри -11.206 +▁hoda -11.2063 +▁promeni -11.2064 +▁Andrew -11.2065 +▁nijedan -11.2067 +▁prekida -11.2067 +run -11.2068 +▁teška -11.207 +▁lamp -11.2071 +irali -11.2073 +▁Var -11.2074 +1, -11.2075 +▁budi -11.2076 +▁shares -11.2076 +▁justice -11.208 +▁ispunjava -11.2082 +▁wa -11.2083 +▁opcije -11.2084 +nar -11.2084 +▁kriza -11.2086 +▁flash -11.2086 +žni -11.2088 +▁povremeno -11.2089 +▁murder -11.2091 +▁DS -11.2092 +▁učestvovali -11.2095 +▁rural -11.2096 +▁blend -11.21 +▁Tro -11.2101 +▁receiving -11.2101 +▁Sometimes -11.2103 +▁interneta -11.2105 +fri -11.2106 +pur -11.2106 +ota -11.2106 +▁razgovara -11.2106 +▁episode -11.2109 +▁register -11.211 +▁usvojen -11.2112 +▁struktura -11.2113 +▁pokušavaju -11.2113 +▁revealed -11.2114 +▁životinje -11.2115 +▁obvious -11.2116 +▁bottle -11.2116 +▁upis -11.2117 +▁JU -11.2118 +▁plod -11.2119 +mil -11.2121 +▁noticed -11.2121 +▁doors -11.2122 +▁affordable -11.2128 +▁sjedi -11.2129 +▁citizens -11.2131 +▁tužilaštvo -11.2133 +▁scenario -11.2135 +▁portalu -11.2135 +▁settings -11.2137 +▁reliable -11.2139 +▁chair -11.214 +▁phase -11.2145 +▁occur -11.2146 +▁worldwide -11.2147 +▁soil -11.2148 +iš -11.2148 +▁Space -11.2152 +▁konkurenciji -11.2152 +▁saglasnost -11.2153 +fon -11.2156 +TER -11.2156 +▁uključi -11.2158 +▁monthly -11.216 +▁stranaka -11.2161 +▁investors -11.2162 +▁labor -11.2164 +▁Hor -11.2164 +▁političkog -11.2164 +▁intervju -11.2164 +▁širenje -11.2165 +▁zdravstvenih -11.2165 +▁izraz -11.2165 +▁Japanese -11.2165 +▁61 -11.2169 +▁DC -11.2169 +▁preda -11.217 +▁furniture -11.2171 +tt -11.2172 +▁Still -11.2175 +▁mandata -11.2175 +▁čuo -11.2177 +▁Queen -11.2177 +▁answers -11.2179 +▁missed -11.218 +▁portion -11.2181 +eli -11.2182 +▁Srpski -11.2188 +▁proveo -11.2188 +▁deals -11.2189 +▁th -11.219 +▁nastavio -11.219 +▁podrazumijeva -11.2191 +▁Zi -11.2191 +▁celebrate -11.2193 +▁zadnji -11.2194 +▁kupi -11.2195 +▁određenim -11.2196 +▁smje -11.2197 +čani -11.2197 +▁registration -11.2198 +▁AL -11.22 +▁div -11.22 +▁spoj -11.2201 +▁Tramp -11.2203 +riju -11.2204 +▁Igra -11.2205 +▁odgovore -11.2205 +▁horse -11.2206 +▁Alex -11.2206 +▁pića -11.2209 +▁funkcioniše -11.221 +ological -11.2211 +▁Mladi -11.2212 +▁shooting -11.2213 +▁sindikata -11.2214 +▁tickets -11.2216 +▁politici -11.2216 +▁stigli -11.2217 +igra -11.2217 +Go -11.2217 +▁ostavio -11.2218 +alno -11.2219 +▁Way -11.222 +▁Veoma -11.2229 +▁lokacije -11.223 +▁celog -11.2232 +NJA -11.2232 +▁Three -11.2232 +▁Cur -11.2233 +▁elemenata -11.2233 +BI -11.2234 +▁radna -11.2235 +▁supposed -11.2235 +▁projekti -11.2235 +▁tumor -11.2237 +drž -11.224 +▁hotelu -11.2243 +▁electronic -11.2245 +▁boda -11.2245 +.3 -11.2246 +▁slične -11.2246 +▁output -11.2247 +▁glumica -11.2247 +▁ponedeljak -11.2249 +▁Pol -11.2249 +▁authority -11.2251 +▁grown -11.2251 +▁Trust -11.2252 +▁1995. -11.2253 +▁jednostavan -11.2255 +▁komunikacija -11.2255 +▁lekara -11.2258 +▁rak -11.2258 +ball -11.2258 +▁accepted -11.2258 +▁Mod -11.226 +▁stvarima -11.2261 +EC -11.2261 +▁Library -11.2262 +▁Carolina -11.2262 +▁minimal -11.2263 +▁crew -11.2264 +▁guarantee -11.2267 +▁odigrao -11.2268 +▁stanova -11.2269 +▁potpisao -11.227 +▁Brod -11.2271 +▁ostavi -11.2274 +▁dostupna -11.2281 +1) -11.2285 +▁tight -11.2286 +▁posledice -11.2288 +▁našli -11.229 +Ä -11.2291 +▁patent -11.2293 +▁gear -11.2293 +▁apart -11.2293 +▁avio -11.2298 +▁zraka -11.2301 +▁preminuo -11.2301 +▁profesora -11.2302 +▁Društvo -11.2302 +▁solo -11.2303 +▁sjaj -11.2303 +▁object -11.2309 +▁dim -11.2309 +▁purchased -11.231 +▁visini -11.231 +Mar -11.2311 +ole -11.2314 +rob -11.2314 +▁Često -11.2315 +▁jugu -11.2315 +▁ishod -11.2317 +▁nacionalnog -11.2318 +PC -11.2322 +čica -11.2322 +▁kuva -11.2323 +▁attacks -11.2325 +aka -11.2325 +▁Niša -11.2326 +▁protesta -11.2326 +▁bazen -11.2327 +▁organizaciju -11.2327 +▁objavljeni -11.2328 +▁postići -11.2328 +isa -11.2332 +▁Srebrenici -11.2333 +▁10% -11.2335 +▁članove -11.2339 +▁yesterday -11.234 +▁Having -11.234 +▁perfectly -11.2341 +▁stilu -11.2341 +▁reform -11.2342 +rid -11.2342 +▁suočava -11.2342 +▁visokom -11.2342 +▁ograničenja -11.2343 +▁izjavi -11.2344 +▁religion -11.2346 +▁faktora -11.2346 +▁lights -11.2348 +cr -11.2348 +▁nastaje -11.2348 +zem -11.2349 +▁Modern -11.2349 +ys -11.2349 +teri -11.2351 +▁Fund -11.2352 +kih -11.2353 +gg -11.2353 +▁zdrav -11.2354 +▁stream -11.2355 +jeva -11.2358 +▁viđen -11.2358 +▁sportski -11.2359 +▁karakteristike -11.2359 +▁telu -11.2362 +▁lay -11.2364 +▁Cap -11.2364 +▁pruži -11.2365 +▁incredible -11.2366 +▁victory -11.2366 +▁aplikaciju -11.2366 +▁sluša -11.2367 +▁visiting -11.237 +▁candidates -11.2371 +▁prošao -11.2374 +▁usual -11.2378 +vre -11.2378 +real -11.2378 +late -11.2378 +▁celu -11.2379 +▁Hrvatsku -11.2379 +▁extensive -11.2381 +▁Kategorija -11.2382 +mina -11.2382 +по -11.2383 +▁gay -11.2383 +▁liječenje -11.2388 +▁resource -11.2391 +▁OR -11.2391 +kriven -11.2392 +▁entered -11.2393 +vent -11.2394 +GO -11.2394 +▁accurate -11.2394 +▁judge -11.2395 +▁srpska -11.2395 +▁većim -11.2397 +▁Meni -11.2397 +iku -11.2398 +▁literature -11.2399 +▁quiet -11.2401 +ovanja -11.2402 +▁osnovni -11.2402 +▁boys -11.2403 +▁accident -11.2403 +▁rez -11.2404 +▁expand -11.2405 +▁prostorije -11.2406 +▁gender -11.2407 +und -11.2408 +▁nećete -11.2408 +sky -11.2409 +▁postavljen -11.241 +▁donio -11.241 +IA -11.2411 +▁Net -11.2411 +▁challenging -11.2412 +ike -11.2412 +▁krene -11.2413 +▁Ras -11.2413 +▁Bla -11.2414 +▁otkrila -11.2416 +▁league -11.2417 +▁hate -11.2419 +▁proteina -11.2419 +▁navijača -11.242 +ö -11.242 +▁fundamental -11.242 +lici -11.242 +▁objekti -11.2423 +▁moments -11.2423 +▁assets -11.243 +▁tačka -11.243 +Lo -11.2431 +▁surrounding -11.2433 +bom -11.2435 +▁exposure -11.2438 +▁najbolju -11.2438 +▁strukture -11.2438 +▁uticati -11.2438 +OVIĆ -11.2439 +▁Smart -11.2439 +▁zarade -11.2439 +fin -11.244 +ral -11.2441 +▁sjajno -11.2441 +Su -11.2441 +sive -11.2443 +▁mag -11.2445 +ising -11.2445 +п -11.2447 +▁efficiency -11.2447 +▁border -11.2449 +▁Pay -11.245 +vim -11.2452 +▁(5 -11.2455 +▁engage -11.2455 +▁researchers -11.2456 +ljivi -11.2458 +mann -11.246 +▁roof -11.2461 +▁Store -11.2462 +▁publici -11.2465 +▁prikazuje -11.2465 +dela -11.2466 +▁ease -11.2466 +▁campus -11.2467 +▁covers -11.247 +▁turning -11.2472 +An -11.2473 +▁throw -11.2473 +▁odbrani -11.2474 +▁honest -11.2475 +▁pogodio -11.2476 +▁fixed -11.2476 +meri -11.2477 +▁parent -11.2478 +štima -11.2478 +▁Agency -11.2478 +koji -11.2479 +ćom -11.248 +▁straha -11.2481 +▁Brčko -11.2482 +▁publiku -11.2484 +nama -11.2485 +glu -11.2489 +ants -11.2491 +▁Dra -11.2492 +mont -11.2492 +▁unapređenje -11.2494 +▁dogodila -11.2494 +ITE -11.2494 +▁procedures -11.2494 +▁Ša -11.2495 +▁jači -11.2495 +▁sportske -11.2496 +ljenja -11.2496 +▁Mate -11.2498 +▁kar -11.2498 +▁istrage -11.2498 +▁upoznati -11.2499 +▁capable -11.2499 +▁prošli -11.2502 +▁namirnica -11.2505 +▁muzeja -11.2509 +▁engleski -11.2511 +▁današnji -11.2511 +▁rear -11.2511 +▁cijele -11.2513 +▁messages -11.2516 +▁državama -11.2517 +▁110 -11.2518 +▁okuplja -11.2518 +đen -11.2518 +▁positions -11.2518 +▁iskoristiti -11.252 +▁nacionalnih -11.252 +▁članice -11.2522 +▁potvrđeno -11.2523 +▁birthday -11.2525 +▁ultra -11.2525 +▁7, -11.2527 +▁ge -11.2527 +ljen -11.2529 +KU -11.2532 +▁povećan -11.2536 +itet -11.2538 +▁uživaju -11.2541 +▁prirodne -11.2544 +▁infekcija -11.2544 +ičan -11.2546 +▁grew -11.2552 +Narodne -11.2554 +▁voće -11.2556 +▁Vuk -11.2558 +▁otpad -11.2559 +▁Link -11.256 +▁kupaca -11.256 +▁Feb -11.256 +ben -11.2563 +ljak -11.2563 +▁stvori -11.2564 +▁nositi -11.2564 +TH -11.2566 +▁četvrti -11.2567 +rno -11.2567 +Đ -11.257 +bot -11.2572 +)| -11.2572 +▁bridge -11.2572 +▁pjeva -11.2575 +▁oblast -11.2575 +сти -11.2577 +▁submit -11.2577 +▁leži -11.2579 +▁Projekt -11.258 +▁formiranje -11.258 +▁rose -11.2581 +▁Mnogo -11.2582 +▁engineering -11.2582 +▁ostvari -11.2583 +▁ishrane -11.2584 +wan -11.2586 +▁Students -11.2587 +▁postavi -11.2588 +▁conducted -11.259 +9. -11.2592 +▁jača -11.2593 +▁Hrvata -11.2593 +▁ovome -11.2596 +▁cake -11.2597 +▁dodatnih -11.2597 +▁Gene -11.2598 +▁entertainment -11.2598 +čića -11.26 +▁advokat -11.26 +▁Velikoj -11.26 +EM -11.2602 +▁prizna -11.2603 +▁kanala -11.2603 +▁pripadaju -11.2604 +▁govorimo -11.2605 +▁prekršaj -11.2607 +▁Crvena -11.2607 +▁regulations -11.2611 +▁Fan -11.2614 +▁mod -11.2615 +▁minor -11.2617 +▁trećem -11.2618 +▁suggested -11.2618 +▁povrća -11.2618 +▁Tech -11.2618 +▁hor -11.2619 +-20 -11.262 +▁Vid -11.262 +▁pump -11.262 +▁uvoz -11.2621 +▁storm -11.2621 +▁izazove -11.2624 +zije -11.2625 +▁rijeke -11.2625 +ky -11.2626 +▁karaktera -11.2626 +jenje -11.2626 +▁Info -11.2626 +▁požar -11.2627 +▁Vreme -11.2628 +Ru -11.2628 +▁recognized -11.2631 +▁believed -11.2631 +▁healthcare -11.2632 +▁upotreba -11.2632 +rska -11.2632 +sten -11.2632 +▁slučajno -11.2633 +▁neo -11.2633 +avanje -11.2634 +▁Vrlo -11.2636 +tne -11.2637 +▁konferencija -11.2638 +▁muzika -11.2638 +▁extended -11.2638 +rima -11.2639 +đ -11.2639 +▁pravima -11.264 +▁pack -11.2641 +4% -11.2642 +▁blok -11.2642 +.| -11.2644 +▁dostupni -11.2644 +▁teeth -11.2644 +▁mozda -11.2645 +▁učinio -11.2646 +čnu -11.2646 +▁val -11.2649 +▁kazna -11.2649 +isation -11.2649 +▁rasp -11.2649 +dno -11.265 +▁igrali -11.2652 +▁meetings -11.2652 +RC -11.2652 +isao -11.2656 +▁glavnom -11.2658 +▁najboljeg -11.266 +▁uživati -11.2661 +▁regije -11.2661 +▁assessment -11.2661 +spi -11.2661 +▁intervjuu -11.2663 +▁kiselina -11.2664 +bije -11.2664 +▁vre -11.2665 +▁vjeruje -11.2665 +▁tape -11.2665 +▁starih -11.2666 +▁films -11.2667 +▁biljaka -11.2667 +pati -11.2669 +▁Saša -11.2671 +▁buildings -11.2672 +▁veče -11.2672 +▁pao -11.2673 +▁Box -11.2674 +▁vjerujem -11.2677 +zne -11.2678 +▁potpisan -11.2679 +▁Jedno -11.2682 +VI -11.2685 +▁naknade -11.2685 +▁Bošnjaka -11.2686 +▁Change -11.2687 +▁trail -11.2687 +▁prenos -11.2687 +nsko -11.2687 +▁tv -11.2688 +▁vrijedi -11.2692 +▁CE -11.2692 +▁iOS -11.2693 +lek -11.2694 +▁cook -11.2694 +ično -11.2698 +▁organizmu -11.2699 +samo -11.2701 +▁holds -11.2703 +▁evropskim -11.2704 +▁Bat -11.2705 +▁prozor -11.2705 +▁gor -11.2706 +bili -11.2706 +Hi -11.2708 +UM -11.2708 +sao -11.2708 +▁employment -11.271 +▁presentation -11.2711 +dent -11.2712 +▁ciljeve -11.2714 +▁definition -11.2714 +▁kurs -11.2715 +lna -11.2715 +itelj -11.2715 +▁jezera -11.2715 +▁Francuska -11.2716 +▁editor -11.2716 +▁ekipi -11.2719 +▁interface -11.2719 +▁današnje -11.272 +▁height -11.2721 +▁jačanje -11.2722 +▁Daily -11.2723 +▁utvrđeno -11.2724 +ual -11.2725 +▁arms -11.2727 +▁sloboda -11.2729 +jd -11.2729 +▁Band -11.273 +▁Student -11.2731 +▁(2) -11.2732 +▁plot -11.2732 +▁autobus -11.2733 +▁diverse -11.2734 +dina -11.2735 +▁štaba -11.2738 +▁živimo -11.2741 +niku -11.2746 +▁važne -11.2746 +▁mozga -11.2746 +▁kvalitetu -11.2748 +▁nesreće -11.2753 +▁Neke -11.2753 +▁Iza -11.2753 +▁airport -11.2754 +▁contrast -11.2754 +liti -11.2754 +▁Town -11.2755 +plat -11.2757 +ket -11.2758 +▁uzme -11.2759 +▁valjda -11.276 +▁DVD -11.276 +▁del -11.276 +▁lep -11.2763 +▁winner -11.2763 +nio -11.2764 +▁00 -11.2764 +▁organic -11.2764 +▁shower -11.2766 +▁candidate -11.2768 +▁walked -11.2769 +▁tužilaštva -11.2773 +▁unable -11.2777 +▁baza -11.278 +▁djeteta -11.278 +▁udaljen -11.2782 +▁potrošača -11.2782 +▁mountain -11.2784 +/10 -11.2786 +▁pleasure -11.2787 +▁2003. -11.2788 +▁£ -11.2789 +▁cure -11.279 +bur -11.2791 +dža -11.2792 +▁colour -11.2792 +▁scheduled -11.2792 +▁odgovaraju -11.2793 +▁threat -11.2793 +sve -11.2795 +▁Italian -11.2795 +▁časa -11.2795 +▁demo -11.2798 +▁Istovremeno -11.2801 +▁stranicu -11.2807 +▁Jackson -11.2808 +▁opozicije -11.2809 +▁drivers -11.2809 +▁pamet -11.2811 +▁owned -11.2811 +▁Catholic -11.2814 +▁Its -11.2814 +▁savršen -11.2815 +▁prisutni -11.2815 +▁про -11.2815 +sco -11.282 +▁losing -11.282 +prem -11.282 +▁county -11.282 +▁pokazatelj -11.2821 +▁Evropu -11.2821 +yn -11.2823 +▁pozdrav -11.2823 +▁buduće -11.2824 +Ex -11.2825 +▁Ak -11.2825 +▁carefully -11.2826 +▁Room -11.2827 +▁collaboration -11.2828 +▁potvrđuje -11.2828 +▁Izrael -11.2828 +▁pis -11.2832 +▁doneo -11.2832 +▁prija -11.2833 +▁posta -11.2834 +▁LE -11.2835 +▁indeed -11.2836 +▁Jel -11.2836 +▁pišu -11.2836 +▁pranje -11.2838 +▁proći -11.284 +▁breath -11.2842 +▁Oct -11.2842 +▁Ovim -11.2844 +▁muscle -11.2844 +▁sestra -11.2844 +▁formed -11.2844 +▁piće -11.2845 +non -11.2846 +dic -11.2846 +▁reasonable -11.2847 +▁tebi -11.2847 +▁Michigan -11.2848 +▁Hard -11.2849 +▁invalid -11.2849 +▁river -11.285 +▁dobrom -11.2852 +▁stvaraju -11.2854 +tura -11.2854 +ključ -11.2855 +BO -11.2855 +▁skill -11.2856 +▁transparent -11.2857 +post -11.2857 +nuti -11.2857 +▁izlaz -11.2857 +▁umro -11.286 +▁earned -11.2861 +▁takvo -11.2861 +▁Nekoliko -11.2863 +▁noise -11.2865 +taj -11.2865 +▁tap -11.2866 +▁Second -11.2867 +tting -11.287 +▁detalja -11.2871 +▁uređen -11.2874 +▁Sal -11.2874 +▁improvement -11.2875 +▁očito -11.2875 +▁jutro -11.2875 +▁Podgorici -11.2876 +▁delicious -11.2876 +▁manja -11.2877 +▁instructions -11.2878 +My -11.288 +▁Div -11.2882 +▁younger -11.2883 +▁geo -11.2884 +▁faza -11.2886 +▁mestima -11.2886 +cion -11.2887 +▁Cer -11.2888 +izmu -11.2888 +▁Final -11.2888 +RP -11.2891 +ksa -11.2891 +▁ojača -11.2893 +▁01. -11.2894 +▁capture -11.2894 +JA -11.2894 +▁Games -11.2895 +▁snima -11.2895 +▁NGC -11.2897 +▁authorities -11.2897 +▁trajati -11.2899 +▁Miss -11.2901 +▁sledi -11.2901 +▁conflict -11.2902 +lat -11.2904 +▁flu -11.2905 +▁Professional -11.2905 +▁bolnicu -11.2905 +▁keeps -11.2907 +dem -11.2907 +vik -11.2908 +▁aparat -11.2908 +▁breakfast -11.291 +▁Copyright -11.2912 +▁remote -11.2913 +▁crta -11.2914 +▁то -11.2915 +▁favourite -11.2918 +▁clothes -11.2919 +▁Mek -11.2919 +rni -11.2919 +▁suprotno -11.292 +▁Cel -11.292 +▁spoke -11.292 +▁Aj -11.2921 +▁cooking -11.2922 +▁spomenik -11.2922 +▁kralja -11.2923 +▁worst -11.2924 +▁energija -11.2925 +cional -11.2925 +▁1970 -11.2927 +▁elegant -11.293 +▁ogroman -11.2931 +▁sukob -11.2931 +▁podsjeća -11.2932 +▁Bojan -11.2932 +▁Nick -11.2933 +▁1991. -11.2933 +snu -11.2935 +▁Brand -11.2935 +▁dizajna -11.2937 +▁sauce -11.2938 +▁machines -11.2939 +▁Thus -11.2939 +IR -11.294 +1% -11.2942 +jeti -11.2942 +▁tretira -11.2943 +▁kretanje -11.2945 +▁učesnici -11.2946 +▁2000. -11.2946 +▁prihvati -11.2946 +▁gradske -11.2947 +▁Personal -11.2947 +tus -11.2947 +▁preuzimanje -11.2948 +▁folks -11.2948 +▁znala -11.2948 +▁Studio -11.2949 +▁Latin -11.295 +▁establish -11.295 +gging -11.295 +▁osnivač -11.2952 +▁ministarstvo -11.2953 +▁thin -11.2955 +cho -11.2955 +▁ticket -11.2956 +▁sviđa -11.2957 +▁vino -11.2957 +▁industrija -11.296 +▁sustava -11.296 +▁fighting -11.2961 +▁uvod -11.2963 +▁partnership -11.2964 +▁mogući -11.2965 +▁nazad -11.2965 +▁srcu -11.2966 +▁Zorana -11.2967 +fully -11.2968 +nn -11.2968 +▁Fin -11.297 +jski -11.2973 +▁tehnike -11.2973 +▁odbranu -11.2973 +▁Senate -11.2973 +▁povećanja -11.2975 +▁tretmana -11.2977 +▁stvaranja -11.2979 +▁tech -11.2979 +EST -11.2979 +▁troškovi -11.2981 +▁Slovenije -11.2981 +▁sredinom -11.2981 +▁magic -11.2981 +▁pokušati -11.2982 +▁snazi -11.2982 +▁expectations -11.2985 +▁Fla -11.2985 +LS -11.2987 +▁impressive -11.2987 +▁spas -11.2988 +▁generate -11.2989 +lor -11.2991 +▁lokalni -11.2992 +rry -11.2994 +▁deck -11.2996 +▁carbon -11.2996 +▁poslanik -11.2998 +kupljen -11.3001 +▁tablet -11.3002 +▁description -11.3006 +▁Janković -11.3006 +▁prelep -11.3007 +▁tasks -11.3012 +nin -11.3012 +▁Voj -11.3014 +▁muškarca -11.3015 +▁defined -11.3015 +▁še -11.3016 +lio -11.3018 +▁krije -11.302 +9% -11.3021 +▁razred -11.3022 +▁NY -11.3023 +▁poveća -11.3024 +win -11.3024 +isanje -11.3024 +▁Goru -11.3025 +▁Justice -11.3025 +▁upcoming -11.3025 +▁TA -11.3025 +▁pružiti -11.3027 +▁degrees -11.3027 +ale -11.303 +kos -11.3031 +▁igrače -11.3033 +▁vol -11.3033 +bje -11.3034 +▁emisiji -11.3035 +▁dobrog -11.3039 +▁SC -11.3039 +▁mono -11.3041 +ass -11.3043 +niti -11.3045 +ub -11.3046 +▁Ref -11.3047 +lit -11.3049 +▁označava -11.305 +▁20% -11.3052 +▁retko -11.3053 +▁Žu -11.3053 +▁Blog -11.3054 +▁AT -11.3055 +▁fin -11.3056 +▁featured -11.3057 +▁standardima -11.3057 +▁Nemačkoj -11.3057 +▁Miroslav -11.3058 +▁implementation -11.3058 +▁preporuka -11.3059 +gle -11.306 +▁cookies -11.306 +▁NOT -11.3061 +▁alcohol -11.3062 +”) -11.3062 +tović -11.3062 +▁Camp -11.3063 +▁Zakonom -11.3064 +▁koš -11.3065 +▁rib -11.3066 +roll -11.3067 +6% -11.3067 +▁joint -11.3068 +3% -11.3069 +▁ratne -11.3069 +▁Izetbegović -11.307 +član -11.307 +▁external -11.3071 +▁posljedice -11.3071 +▁donijeti -11.3071 +▁praksa -11.3071 +▁Class -11.3071 +▁Unfortunately -11.3072 +ку -11.3073 +▁Mil -11.3074 +ving -11.3074 +▁Lin -11.3075 +▁ženu -11.3075 +ab -11.3075 +▁decade -11.3078 +▁crucial -11.3078 +▁discipline -11.3078 +▁vice -11.3078 +▁potrebni -11.3079 +▁DPS -11.308 +▁položaja -11.3081 +▁ads -11.3081 +▁Pot -11.3082 +▁com -11.3084 +▁slowly -11.3086 +▁ljeta -11.3087 +front -11.3087 +▁Pala -11.3087 +ncija -11.3091 +▁sprečava -11.3091 +mble -11.3091 +▁superior -11.3092 +ologija -11.3096 +▁prepoznatljiv -11.3097 +▁risks -11.3098 +▁glumi -11.3099 +▁payments -11.31 +▁političkim -11.3101 +▁sky -11.3101 +▁igrama -11.3102 +▁domain -11.3102 +▁index -11.3105 +pper -11.3105 +▁Jewish -11.3106 +▁Georgia -11.3107 +то -11.3107 +▁engagement -11.3108 +šća -11.3108 +▁А -11.3108 +▁Turska -11.3109 +▁omogući -11.3109 +▁grab -11.311 +kop -11.311 +bet -11.3111 +▁Moja -11.3111 +▁Through -11.3112 +▁typical -11.3114 +Star -11.3114 +▁prodaji -11.3114 +PI -11.3116 +vara -11.3117 +▁grob -11.3118 +▁inches -11.3119 +▁insistira -11.3119 +MB -11.312 +▁Džo -11.312 +▁osnovna -11.3121 +sch -11.3121 +▁negde -11.3122 +ngle -11.3122 +▁talas -11.3124 +▁unutrašnje -11.3124 +▁druženje -11.3125 +▁68 -11.3125 +▁patterns -11.3126 +▁ef -11.3126 +▁regiji -11.3127 +▁aerodrom -11.3132 +▁Či -11.3135 +▁У -11.3136 +▁pulled -11.3136 +▁takvog -11.3136 +▁dealing -11.3138 +▁Nisu -11.3138 +▁>> -11.314 +▁Uprkos -11.3141 +▁odlaska -11.3142 +▁hladno -11.3142 +▁glasi -11.3145 +rie -11.3146 +▁portfolio -11.3148 +▁istinu -11.3149 +mul -11.3151 +ruč -11.3152 +▁Summer -11.3153 +▁posete -11.3154 +tku -11.3156 +▁Tur -11.3156 +pl -11.3157 +▁zanimljiv -11.3158 +▁odigra -11.3158 +▁Multi -11.3161 +oze -11.3161 +GE -11.3162 +▁počinju -11.3162 +▁trećeg -11.3166 +▁objave -11.3169 +▁kru -11.3169 +▁režima -11.317 +▁lov -11.317 +▁smeta -11.317 +qu -11.3171 +▁Marka -11.3172 +▁ends -11.3172 +ET -11.3175 +▁Poslanik -11.3176 +▁besplatan -11.3176 +▁podsticaj -11.3176 +▁nedostaje -11.3176 +▁NS -11.3177 +▁otići -11.3177 +▁express -11.3178 +tam -11.318 +olu -11.3182 +▁poslovima -11.3186 +▁Heart -11.319 +mus -11.319 +▁finansijske -11.3191 +▁који -11.3191 +html -11.3191 +▁Local -11.3191 +bić -11.3192 +▁reflect -11.3192 +▁moju -11.3192 +▁Ovde -11.3195 +▁konstantno -11.3198 +▁loš -11.3199 +▁genocida -11.32 +▁Islam -11.3201 +▁stands -11.3202 +▁refer -11.3203 +als -11.3204 +▁pojavila -11.3204 +▁innovation -11.3204 +▁professor -11.3205 +▁awareness -11.3206 +▁ekran -11.3209 +▁mislite -11.321 +▁walls -11.3211 +▁bathroom -11.3212 +ijski -11.3214 +cing -11.3215 +čina -11.3215 +klad -11.3217 +▁Kli -11.3217 +▁mirno -11.3218 +▁objavljena -11.3219 +▁upper -11.3219 +▁password -11.3219 +gije -11.322 +▁stotine -11.3221 +▁čuti -11.3221 +▁virusom -11.3222 +▁Domu -11.3223 +▁1.000 -11.3225 +▁differences -11.3225 +▁pogrešno -11.3226 +▁zahtijeva -11.3227 +state -11.3228 +▁pravni -11.3228 +▁sledeći -11.3228 +▁ancient -11.323 +▁takvi -11.3231 +burn -11.3231 +▁seriji -11.3231 +▁Mari -11.3234 +As -11.3234 +▁snimljen -11.3234 +▁fonda -11.3234 +▁lab -11.3235 +▁Potom -11.3235 +▁napravljen -11.3235 +VE -11.3236 +ična -11.3237 +▁Prve -11.324 +▁ishrani -11.3241 +▁figures -11.3241 +▁division -11.3241 +▁facing -11.3241 +Sve -11.3241 +▁sha -11.3246 +▁successfully -11.3247 +▁impossible -11.3248 +▁područjima -11.3248 +oid -11.325 +▁banks -11.3251 +daj -11.3251 +▁Mala -11.3251 +▁Sound -11.3253 +▁CR -11.3254 +▁simptoma -11.3255 +▁Francisco -11.3255 +▁exclusive -11.326 +▁psa -11.3261 +▁desiti -11.3262 +▁Executive -11.3262 +▁reader -11.3262 +▁izrazio -11.3262 +▁reporting -11.3262 +▁Naše -11.3264 +▁benda -11.3264 +rović -11.3265 +▁Muslim -11.3266 +▁shoes -11.3268 +▁possibility -11.3269 +gel -11.3269 +▁generalni -11.3269 +▁JA -11.327 +▁59 -11.3271 +▁vrše -11.3271 +▁Main -11.3272 +▁Dačić -11.3272 +jeni -11.3279 +▁ukazuju -11.3281 +rr -11.3283 +▁posebna -11.3283 +▁brenda -11.3283 +▁kontrola -11.3284 +▁crack -11.3286 +▁standarda -11.3286 +bez -11.3288 +▁upotrebi -11.3288 +Read -11.3289 +nicom -11.3289 +▁restorana -11.3289 +▁Stone -11.3289 +▁pokretanje -11.3289 +▁važnost -11.3291 +▁consistent -11.3293 +▁izjava -11.3296 +ify -11.3296 +▁korisnik -11.3298 +▁technique -11.3298 +▁duži -11.3298 +But -11.3299 +▁closely -11.3299 +▁afford -11.33 +-5 -11.3301 +▁temi -11.3302 +▁terminal -11.3303 +▁Den -11.3303 +▁tradicionalno -11.3303 +▁zaključuje -11.3305 +▁Aug -11.3306 +▁francuski -11.3306 +▁bosansko -11.3307 +▁cijelog -11.3307 +http -11.3309 +▁turista -11.3312 +▁privatnosti -11.3313 +▁sila -11.3314 +▁odobren -11.3316 +▁namijenjen -11.3318 +▁kontrolom -11.3319 +▁kur -11.3319 +▁Jordan -11.3319 +▁učinak -11.332 +▁situations -11.3321 +▁11, -11.3323 +▁realized -11.3324 +▁broad -11.3325 +▁sessions -11.3325 +▁salon -11.3329 +vjes -11.333 +▁pale -11.333 +ano -11.3331 +▁Kong -11.3333 +▁Njemačkoj -11.3334 +▁politics -11.3334 +pun -11.3336 +▁momentu -11.3336 +▁mislio -11.3337 +▁vijeka -11.3337 +▁idemo -11.3341 +▁uče -11.3343 +ctor -11.3345 +▁Crnu -11.3346 +▁Mitrović -11.3346 +▁umu -11.3348 +▁vazduh -11.3348 +▁teritorije -11.335 +▁osigura -11.3351 +▁67 -11.3351 +▁postepeno -11.3352 +▁sestre -11.3352 +▁bolju -11.3354 +▁izvještaj -11.3354 +▁unazad -11.3355 +▁ukupne -11.3356 +▁obuke -11.3357 +▁Čović -11.3359 +▁Berlin -11.3361 +▁ska -11.3361 +▁poznatih -11.3362 +▁Age -11.3362 +▁Spanish -11.3363 +▁communicate -11.3363 +▁Zagreba -11.3365 +▁otprilike -11.337 +▁navrata -11.337 +čice -11.337 +▁Bak -11.3371 +▁radionica -11.3373 +tis -11.3373 +▁Ag -11.3375 +▁pojavljuje -11.3377 +▁2001. -11.3378 +▁` -11.3378 +meni -11.3378 +▁osvojili -11.3379 +▁ša -11.338 +ä -11.3382 +▁odluči -11.3382 +▁okolnostima -11.3383 +▁procedura -11.3383 +▁inicijativa -11.3384 +▁analizu -11.3385 +▁strategije -11.3385 +▁stabilnost -11.3386 +▁pure -11.3388 +▁nekome -11.3388 +▁boli -11.3389 +▁pojedinim -11.3391 +▁članak -11.3391 +▁Low -11.3391 +▁powder -11.3392 +▁Turskoj -11.3393 +▁nacin -11.3393 +▁obrazovanju -11.3394 +▁Rights -11.3394 +▁implement -11.3394 +▁kiseline -11.3394 +▁onlajn -11.3395 +▁krov -11.3396 +ime -11.3398 +зи -11.3399 +▁dozvolu -11.3399 +▁pritiskom -11.3399 +jih -11.34 +▁proizvodima -11.34 +▁restaurants -11.34 +▁Bell -11.3402 +▁trka -11.3403 +sak -11.3404 +▁Access -11.3409 +▁Try -11.341 +UR -11.3411 +▁čuje -11.3411 +▁pepper -11.3414 +▁Ryan -11.3417 +▁silver -11.3421 +▁urednik -11.3422 +▁69 -11.3425 +▁ispunjen -11.3427 +ada -11.3427 +▁vezano -11.3428 +▁approval -11.3428 +▁replacement -11.343 +▁Kan -11.3434 +alne -11.3434 +▁Fil -11.3437 +▁čisto -11.3438 +▁zaštitni -11.3438 +▁ongoing -11.3438 +▁sobu -11.3438 +▁paketa -11.3438 +▁manual -11.3439 +▁Run -11.3442 +▁Bet -11.3442 +▁održao -11.3442 +▁mleka -11.3443 +▁reduction -11.3444 +▁napravila -11.3444 +▁tehnika -11.3444 +▁fokus -11.3445 +▁Tadić -11.3446 +▁oglasi -11.3446 +pir -11.3446 +potreb -11.3448 +▁stati -11.3449 +PR -11.3451 +▁Drive -11.3451 +▁immediate -11.3452 +▁brata -11.3453 +▁Buy -11.3454 +▁povećati -11.3455 +▁Naši -11.3456 +štu -11.3456 +▁odrasle -11.3457 +Izvor -11.3458 +▁Share -11.3458 +▁fairly -11.3458 +▁malu -11.3458 +▁sredinu -11.3459 +jete -11.346 +INA -11.3462 +▁uradili -11.3462 +▁Herceg -11.3463 +▁čuli -11.3463 +They -11.3467 +▁izgrađen -11.3467 +▁platforme -11.3467 +▁povrće -11.3471 +▁vast -11.3472 +ranje -11.3472 +▁mašine -11.3472 +ovan -11.3473 +▁Pavlović -11.3476 +kal -11.3478 +▁hrvatskih -11.348 +▁Đorđević -11.348 +▁invest -11.348 +▁houses -11.3481 +▁međunarodni -11.3482 +rati -11.3482 +▁Rade -11.3483 +▁goods -11.3483 +▁obezbedi -11.3484 +kcija -11.3485 +oz -11.3486 +▁Božić -11.3486 +činjen -11.3487 +▁Ohio -11.3488 +▁otvoriti -11.3488 +▁svjetskog -11.3488 +▁imaš -11.3489 +▁komentari -11.349 +▁malom -11.349 +klo -11.3491 +▁pusti -11.3491 +ix -11.3492 +▁prihvata -11.3492 +▁none -11.3493 +▁theme -11.3496 +▁ulaska -11.3496 +▁izgubili -11.3497 +2015 -11.3497 +▁Obradović -11.3498 +▁lokalnom -11.3499 +▁Odgovor -11.3499 +ци -11.35 +▁returns -11.3503 +class -11.3503 +▁TK -11.3506 +▁dijelom -11.3508 +▁pozitivne -11.3508 +▁Follow -11.3508 +▁opciju -11.3509 +▁ugled -11.3511 +▁sloj -11.3512 +▁stresa -11.3512 +▁Area -11.3513 +FI -11.3513 +▁depth -11.3514 +cke -11.3516 +▁kreću -11.3517 +cking -11.3518 +▁beer -11.352 +▁mart -11.3524 +▁stotina -11.3524 +▁severe -11.3524 +▁tiny -11.3524 +▁kori -11.3525 +▁mor -11.3526 +some -11.3531 +▁2.0 -11.3532 +tice -11.3535 +▁medicinske -11.3538 +▁drveta -11.3538 +▁sunca -11.354 +▁crazy -11.3545 +▁otvaranja -11.3547 +▁surprised -11.3552 +▁mjestima -11.3552 +alna -11.3552 +▁Zu -11.3555 +▁programme -11.3556 +▁gume -11.3557 +priv -11.3558 +vog -11.356 +▁HIV -11.356 +▁пре -11.356 +▁Fox -11.3561 +▁Mars -11.3561 +▁osjeća -11.3563 +▁Mrs -11.3563 +▁350 -11.3563 +▁ultimately -11.3564 +▁Building -11.3564 +▁napisala -11.3565 +▁krenuli -11.3566 +▁ostrva -11.3567 +▁dvojica -11.3567 +▁prisustvovali -11.3568 +▁ocean -11.3568 +▁predstaviti -11.3568 +▁Islamske -11.357 +bila -11.357 +▁hundred -11.357 +KS -11.3571 +▁snažno -11.3571 +▁Number -11.3572 +▁assume -11.3572 +▁Coast -11.3572 +▁Evropskog -11.3572 +iza -11.3573 +▁površini -11.3574 +▁polje -11.3576 +▁Reč -11.3577 +▁confirmed -11.3577 +▁Mobile -11.3578 +▁legs -11.3579 +▁fitness -11.358 +▁Ol -11.3581 +▁musical -11.3582 +inter -11.3583 +▁liquid -11.3584 +▁routine -11.3584 +▁seriously -11.3585 +▁najpre -11.3586 +▁iPad -11.3586 +rice -11.3588 +▁regulator -11.3588 +▁Federaciji -11.3589 +▁vacation -11.3589 +▁oglas -11.359 +▁stavi -11.3592 +▁maju -11.3592 +▁ostvaren -11.3592 +šnji -11.3595 +▁Galaxy -11.3597 +▁attorney -11.36 +▁krivi -11.3601 +▁mržnje -11.3604 +▁Customer -11.3604 +▁accessible -11.3605 +ington -11.3606 +▁turniru -11.3608 +▁okonča -11.3609 +▁igračima -11.3611 +▁Cro -11.3611 +▁Ltd -11.3612 +▁kosa -11.3613 +▁Tel -11.3615 +▁suffer -11.3616 +▁doprinose -11.3616 +rated -11.3617 +▁staze -11.3617 +12. -11.3618 +▁pomognu -11.3619 +vih -11.3619 +▁oblastima -11.3621 +▁staro -11.3623 +▁Priča -11.3624 +▁shoot -11.3624 +JU -11.3628 +▁održano -11.3628 +▁ratnih -11.3628 +▁exact -11.3629 +▁8, -11.363 +▁mixed -11.3631 +▁započeo -11.3634 +▁tested -11.3635 +▁discussed -11.3636 +▁istih -11.3638 +▁dijeli -11.3638 +vit -11.3638 +▁Milo -11.3638 +▁obi -11.3639 +▁obtained -11.3639 +▁maske -11.364 +▁Golden -11.364 +▁intelligence -11.3641 +▁prica -11.3642 +▁ear -11.3643 +ddy -11.3644 +▁simptome -11.3645 +æe -11.3645 +▁poslovnog -11.3645 +rc -11.3647 +IĆ -11.3647 +rot -11.3648 +▁guidance -11.3649 +jed -11.3649 +▁(6 -11.3649 +▁membership -11.365 +2% -11.365 +▁Des -11.3651 +▁fluid -11.3651 +▁GO -11.3651 +▁guitar -11.3651 +▁Product -11.3652 +▁Ilić -11.3652 +nge -11.3654 +▁pronašli -11.3656 +▁članstvo -11.3656 +▁pobeda -11.3656 +▁Southern -11.3656 +▁Lab -11.3657 +quality -11.3658 +dia -11.3659 +▁Marin -11.3659 +▁Rev -11.3659 +grade -11.366 +jka -11.366 +-18 -11.3661 +▁bear -11.3662 +▁Rezultati -11.3663 +▁izjavu -11.3664 +▁popis -11.3664 +▁те -11.3664 +▁Spring -11.3665 +ette -11.3665 +.10. -11.3667 +▁prodaja -11.3667 +▁bodies -11.3672 +OJ -11.3674 +▁simptomi -11.3674 +▁objavili -11.3674 +▁neprijatelj -11.3675 +▁ljeto -11.3676 +▁trends -11.3676 +▁skloni -11.3677 +▁comparison -11.3678 +▁evaluation -11.3678 +▁trideset -11.3678 +▁adventure -11.3681 +▁dining -11.3681 +page -11.3681 +▁pojas -11.3682 +▁bath -11.3683 +▁službenici -11.3684 +▁bud -11.3685 +▁pripremu -11.3686 +▁guidelines -11.3686 +▁zakup -11.3686 +cular -11.3686 +▁komad -11.3688 +▁naveli -11.3688 +▁dogodi -11.3692 +▁županije -11.3692 +sia -11.3692 +▁Kup -11.3693 +▁postigli -11.3693 +ü -11.3698 +nde -11.3698 +▁Professor -11.3701 +▁svojstva -11.3701 +rian -11.3703 +▁proda -11.3704 +5% -11.3705 +▁festivalu -11.3705 +▁hire -11.3706 +▁chapter -11.3706 +▁finansijski -11.3706 +▁Regional -11.3708 +▁Small -11.3709 +▁društveno -11.3709 +▁uči -11.3709 +▁spominje -11.3711 +bl -11.3712 +▁shift -11.3715 +▁Makedonije -11.3716 +▁političku -11.3716 +▁би -11.3717 +▁Es -11.3718 +▁javi -11.3719 +▁Ab -11.3719 +▁vozi -11.3719 +▁vidjeli -11.3719 +▁Joseph -11.3725 +▁permanent -11.3728 +Ve -11.3729 +▁calm -11.3729 +▁zainteresovani -11.3729 +ре -11.373 +▁HA -11.3731 +▁htio -11.3731 +▁Projekat -11.3733 +▁flavor -11.3735 +▁ostvarili -11.3736 +▁interesu -11.3736 +▁narrow -11.3738 +▁Policy -11.3738 +▁9, -11.3739 +▁čijem -11.3739 +▁krajnje -11.374 +▁ponavlja -11.374 +▁stopa -11.3742 +str -11.3742 +vers -11.3743 +▁inženjer -11.3744 +▁nuclear -11.3746 +▁Garden -11.3749 +▁informed -11.375 +▁reforme -11.375 +▁Army -11.3751 +dding -11.3751 +vert -11.3751 +▁harm -11.3751 +▁increases -11.3751 +▁bog -11.3752 +▁dropped -11.3754 +▁supports -11.3754 +▁visoki -11.3755 +▁Poli -11.3755 +▁državnom -11.3758 +ugh -11.376 +▁serves -11.3761 +▁izazvati -11.3761 +▁pesmu -11.3761 +▁kanal -11.3762 +rani -11.3762 +rav -11.3764 +-6 -11.3764 +▁Gor -11.3764 +▁liga -11.3765 +▁sight -11.3766 +▁#### -11.3768 +▁Banjaluka -11.3768 +▁Ši -11.377 +▁kovid -11.3771 +▁Four -11.3772 +uff -11.3773 +▁76 -11.3773 +▁Jovana -11.3774 +▁kapacitet -11.3775 +▁relief -11.3776 +pers -11.3776 +▁priznati -11.3777 +▁predložen -11.3778 +PE -11.3778 +▁ustanovi -11.378 +ese -11.3781 +▁magnet -11.3783 +▁kulturne -11.3783 +ux -11.3784 +▁krugu -11.3785 +▁nalogu -11.3785 +▁proof -11.3787 +▁yards -11.3787 +▁Bible -11.3788 +DR -11.3788 +vari -11.3789 +▁masa -11.3791 +▁završetka -11.3791 +▁određeno -11.3791 +Ni -11.3791 +▁Covid -11.3792 +3) -11.3793 +▁rang -11.3793 +▁primljen -11.3793 +por -11.3794 +view -11.3795 +lock -11.3795 +▁collected -11.3796 +▁Source -11.3798 +nny -11.3798 +▁učenicima -11.3799 +▁odlična -11.3799 +vel -11.38 +▁žali -11.3801 +▁kreira -11.3802 +▁feelings -11.3802 +▁operate -11.3802 +▁kategorija -11.3804 +▁Rado -11.3805 +▁književnosti -11.3805 +▁Ljubav -11.3806 +▁znaš -11.3807 +gy -11.3808 +▁stručnjak -11.381 +jmo -11.3811 +▁Ball -11.3813 +▁Znam -11.3813 +▁Grupa -11.3813 +▁Budući -11.3814 +▁operacija -11.3816 +▁hang -11.3816 +▁realizovan -11.3817 +▁struggle -11.3817 +▁kvalitetno -11.3818 +▁pravilima -11.3819 +▁apartment -11.3821 +▁softver -11.3822 +▁iznenađenje -11.3824 +▁porekla -11.3824 +▁percentage -11.3825 +ig -11.3826 +▁bread -11.3826 +▁roka -11.3828 +▁Senior -11.3829 +▁turističke -11.3829 +▁autori -11.3831 +▁napadu -11.3831 +▁constant -11.3832 +▁ostavite -11.3832 +▁; -11.3832 +▁izađe -11.3833 +▁zauzima -11.3833 +▁describe -11.3833 +▁minister -11.3834 +▁objavljeno -11.3834 +▁razgovarali -11.3835 +▁drvo -11.3836 +▁saznaje -11.3838 +▁Financial -11.3838 +▁giant -11.3839 +èi -11.384 +▁Come -11.3841 +▁bru -11.3841 +▁prop -11.3842 +pol -11.3842 +▁neck -11.3843 +:20 -11.3844 +▁millions -11.3845 +▁pokušaja -11.3846 +▁spin -11.3846 +▁confirm -11.3848 +▁humor -11.3848 +cki -11.3851 +▁Stephen -11.3852 +▁Sav -11.3852 +▁niže -11.3855 +DC -11.3856 +▁aspect -11.3858 +place -11.3858 +▁terapije -11.3859 +▁Fra -11.386 +▁Kupa -11.3861 +škom -11.3862 +▁kasno -11.3863 +blo -11.3864 +ets -11.3867 +▁pros -11.3867 +▁Remember -11.3867 +▁77 -11.3868 +▁većeg -11.3869 +▁originally -11.387 +law -11.387 +▁suffering -11.387 +▁drum -11.3872 +-15 -11.3872 +bid -11.3873 +Pi -11.3874 +njaka -11.3874 +LY -11.3876 +▁Spo -11.3876 +▁Henry -11.3877 +gate -11.3878 +▁Express -11.3879 +▁everyday -11.388 +▁facts -11.3881 +▁mainly -11.3882 +jeg -11.3885 +▁navedene -11.3885 +▁#1 -11.3886 +lay -11.3889 +▁confident -11.3889 +▁davno -11.389 +▁scenu -11.389 +▁završiti -11.389 +▁Ros -11.3891 +▁nearby -11.3892 +▁Italy -11.3892 +▁sile -11.3893 +nički -11.3893 +▁pp -11.3893 +▁! -11.3894 +▁promijeniti -11.3896 +▁permission -11.3898 +▁radnike -11.39 +▁extreme -11.39 +šević -11.3901 +5,000 -11.3903 +▁objektiv -11.3903 +zni -11.3903 +▁odluci -11.3904 +rci -11.3904 +▁grudi -11.3905 +▁strategic -11.3906 +▁Word -11.3906 +ljeno -11.3907 +▁Mass -11.3908 +ţ -11.3909 +▁Mario -11.391 +▁personally -11.3911 +▁kasni -11.3912 +zel -11.3913 +▁bond -11.3913 +▁rođenja -11.3915 +That -11.3918 +▁2:0 -11.3919 +▁grip -11.3919 +▁contemporary -11.392 +▁reprezentativac -11.392 +▁platiti -11.392 +▁Such -11.3921 +▁Republican -11.3923 +▁uređaje -11.3924 +▁Cook -11.3925 +▁authors -11.3928 +▁Tesla -11.3928 +▁pobjeda -11.3928 +ident -11.3929 +▁Bridge -11.3929 +▁kampanja -11.393 +▁Savić -11.393 +▁Kol -11.3931 +▁mosta -11.3933 +jelo -11.3934 +▁Damir -11.3934 +hor -11.3934 +▁najnovije -11.3935 +▁gasa -11.3936 +▁hardware -11.3937 +▁služba -11.3938 +▁zasniva -11.3938 +pul -11.3938 +▁podnosi -11.3939 +rit -11.394 +▁Sep -11.394 +illa -11.394 +▁3- -11.3941 +▁filed -11.3941 +inja -11.3941 +▁vary -11.3942 +sus -11.3943 +▁presude -11.3943 +▁svetski -11.3943 +▁Total -11.3943 +▁Zavoda -11.3944 +▁sačuva -11.3944 +▁naučnici -11.3944 +▁anyway -11.3946 +▁vje -11.3946 +▁listening -11.3947 +▁appointment -11.3948 +AA -11.3949 +..... -11.395 +tics -11.3951 +▁glazbe -11.3951 +voz -11.3951 +nicama -11.3954 +▁kakvo -11.3955 +▁vijest -11.3956 +▁pisao -11.3956 +ked -11.3956 +zz -11.3957 +▁suggests -11.3957 +▁admit -11.3958 +▁Eli -11.3958 +šan -11.3961 +▁resort -11.3962 +▁Color -11.3964 +▁kamion -11.3964 +▁smell -11.3965 +▁detaljno -11.3965 +-8 -11.3965 +▁tomorrow -11.3966 +▁događaju -11.3968 +▁ratni -11.3968 +CG -11.3969 +▁muž -11.3969 +7. -11.3969 +▁qualified -11.397 +▁izvrši -11.3971 +▁prepun -11.3971 +ljena -11.3972 +▁aktivni -11.3972 +licu -11.3973 +▁zajednicu -11.3974 +▁mozak -11.3974 +▁Pravo -11.3977 +▁srednjih -11.3978 +gas -11.398 +ete -11.3981 +▁zida -11.3982 +▁script -11.3982 +▁71 -11.3982 +▁izašao -11.3982 +▁kampanju -11.3982 +▁spomenika -11.3984 +▁slo -11.3984 +▁izgubi -11.3984 +▁primene -11.3985 +▁statements -11.3985 +▁fokusira -11.3987 +air -11.399 +▁gen -11.399 +▁Nemačke -11.3991 +▁Mis -11.3991 +▁snimanje -11.3994 +▁compete -11.3996 +▁drže -11.3997 +▁atmosferu -11.3997 +▁coast -11.3998 +kim -11.3999 +aries -11.3999 +mel -11.4 +valo -11.4002 +▁obali -11.4002 +▁Off -11.4003 +▁propisima -11.4003 +▁flowers -11.4004 +▁vašoj -11.4004 +▁Taylor -11.4004 +▁pitao -11.4005 +▁ljudske -11.4005 +▁adds -11.4008 +dal -11.4008 +0% -11.4009 +oca -11.4009 +▁postalo -11.4009 +▁završena -11.4011 +▁pritom -11.4011 +▁ostvario -11.4012 +▁populacije -11.4012 +išta -11.4013 +Kako -11.4014 +▁gledaju -11.4014 +▁thick -11.4015 +▁loans -11.4018 +▁starog -11.4019 +▁planove -11.402 +▁1999 -11.4022 +▁objavi -11.4025 +djela -11.4027 +▁increasingly -11.4027 +▁featuring -11.4028 +▁trained -11.4028 +▁papers -11.4028 +▁Jersey -11.4028 +tanje -11.4028 +▁normally -11.4028 +▁passing -11.4028 +▁obuku -11.4029 +▁yellow -11.403 +▁vanjskih -11.4031 +made -11.4032 +▁Boy -11.4034 +žno -11.4035 +!“ -11.4037 +▁partnerima -11.404 +▁letters -11.404 +▁odbija -11.4042 +▁molim -11.4042 +▁okruženje -11.4044 +▁unutra -11.4045 +▁expressed -11.4046 +oba -11.4048 +she -11.4049 +▁cijelu -11.4051 +▁utjecaj -11.4053 +▁zdravstvenog -11.4053 +▁opremljen -11.4055 +▁dužan -11.4056 +▁wheel -11.4057 +▁classroom -11.4059 +▁svira -11.4059 +▁basically -11.406 +vaj -11.4061 +▁zadnje -11.4062 +▁razlikuje -11.4062 +date -11.4063 +▁neophodna -11.4066 +▁injuries -11.4066 +▁Uslovi -11.4066 +▁verzije -11.4066 +that -11.4067 +▁Kas -11.4069 +▁koristili -11.407 +▁moguća -11.407 +▁prosto -11.4072 +▁trenira -11.4073 +▁smisla -11.4074 +▁pouzdan -11.4074 +LJE -11.4075 +▁drinking -11.4076 +▁Hrvati -11.4077 +▁Male -11.4079 +▁integrated -11.4079 +▁planirano -11.408 +▁troje -11.4081 +▁Manchester -11.4082 +▁nadu -11.4082 +▁linked -11.4082 +▁aside -11.4082 +ick -11.4083 +▁Novosti -11.4085 +▁ponaša -11.4085 +▁radnom -11.4086 +▁Author -11.4089 +zim -11.4089 +▁Eric -11.409 +▁spisak -11.409 +▁kamera -11.4091 +▁obitelj -11.4094 +▁vlasnici -11.4096 +▁pregovora -11.4097 +▁imovinu -11.4097 +▁dental -11.4099 +▁Drug -11.4099 +▁obrade -11.41 +tara -11.4101 +▁sali -11.4103 +▁13, -11.4104 +tio -11.4104 +▁navedenih -11.4105 +▁većinom -11.4106 +▁finance -11.4107 +▁studente -11.4107 +▁stepena -11.411 +▁dizajniran -11.411 +▁78 -11.411 +▁ages -11.411 +▁ugovore -11.4113 +▁uspostavi -11.4113 +čkim -11.4114 +▁experiment -11.4115 +▁funny -11.4115 +▁najave -11.4115 +ljan -11.4115 +▁Tip -11.4117 +▁130 -11.4118 +read -11.4119 +▁posjete -11.412 +▁inicijative -11.4121 +▁Vaša -11.4123 +▁razmatra -11.4124 +▁des -11.4129 +▁desk -11.4129 +▁$5 -11.4129 +▁kamere -11.413 +▁izda -11.4131 +▁studentima -11.4134 +▁zasad -11.4135 +ddle -11.4137 +▁Sol -11.4137 +▁Branko -11.4138 +▁kupio -11.4139 +▁izaći -11.4141 +▁taxes -11.4141 +▁solve -11.4142 +▁eksperiment -11.4143 +▁osvaja -11.4145 +▁reditelj -11.4145 +▁kartice -11.4146 +▁1,5 -11.4146 +▁pozicija -11.4146 +▁zemljište -11.4147 +Si -11.4148 +▁Zanimljivo -11.4148 +▁mlada -11.4148 +▁networks -11.415 +mine -11.4152 +Mu -11.4152 +▁Rođen -11.4153 +▁SK -11.4154 +tični -11.4155 +▁preparation -11.4155 +▁najboljim -11.4157 +gro -11.4158 +ići -11.4159 +▁olakša -11.4159 +▁broadcast -11.416 +▁odlukom -11.416 +▁pripremljen -11.416 +▁kvalifikacija -11.4163 +▁narednim -11.4163 +▁analizira -11.4165 +▁Had -11.4166 +▁proven -11.4166 +▁pretvara -11.4167 +▁reputation -11.4168 +▁preporuke -11.4169 +▁Sava -11.4169 +▁martu -11.4171 +▁Ovdje -11.4172 +▁organi -11.4173 +▁prison -11.4174 +▁razgovarati -11.4174 +▁efikasnost -11.4174 +opa -11.4175 +▁detalj -11.4175 +▁recording -11.4175 +▁tall -11.4176 +▁Additionally -11.4178 +▁odgovorni -11.4181 +adi -11.4184 +▁dvor -11.4186 +▁baca -11.4188 +▁obviously -11.4189 +▁odredi -11.419 +▁necessarily -11.4191 +▁promise -11.4192 +▁neighborhood -11.4194 +▁talked -11.4195 +▁prethodnog -11.4198 +▁zajedničke -11.4199 +▁Chapter -11.4199 +nošću -11.4199 +▁extent -11.42 +▁pravne -11.4203 +▁Officer -11.4204 +▁principles -11.4204 +▁desired -11.4207 +▁Bro -11.4209 +▁zivot -11.4209 +▁improving -11.4211 +▁zoni -11.4213 +▁privacy -11.4215 +▁supplies -11.4215 +▁stigne -11.4215 +▁izmedju -11.4215 +▁Jean -11.4216 +▁RH -11.4217 +▁Sed -11.4217 +▁Down -11.4218 +▁tvoje -11.422 +▁Hrvatski -11.4222 +ators -11.4223 +▁pacijenta -11.4223 +") -11.4224 +Man -11.4225 +▁Casino -11.4225 +▁voditelj -11.4225 +▁decom -11.4226 +▁agents -11.4227 +▁84 -11.4228 +ches -11.4228 +▁omogućavaju -11.4229 +lni -11.423 +▁upita -11.423 +▁obavljaju -11.423 +▁sankcije -11.4231 +▁djelovanja -11.4234 +ujemo -11.4235 +▁west -11.4237 +▁represents -11.4238 +isati -11.4238 +▁komunikaciju -11.4238 +DU -11.424 +dži -11.4243 +▁Force -11.4245 +▁avion -11.4246 +▁Corporation -11.4246 +▁Skupština -11.4246 +лу -11.4246 +naca -11.4246 +▁osigurati -11.4251 +▁potiče -11.4252 +▁zabrani -11.4253 +▁marke -11.4254 +▁riješiti -11.4256 +▁obraz -11.4256 +▁trijumf -11.4256 +▁Table -11.4259 +ston -11.426 +▁Šo -11.426 +care -11.426 +NC -11.4264 +▁duel -11.4265 +▁radnicima -11.4267 +▁temama -11.4267 +▁2002. -11.4268 +▁tag -11.4268 +▁Mili -11.4269 +ог -11.4269 +▁Čini -11.4269 +▁uslov -11.4269 +▁političari -11.4271 +▁napravite -11.4271 +hol -11.4273 +▁debut -11.4274 +▁compare -11.4276 +▁Bitcoin -11.4278 +▁Mercedes -11.4281 +▁ši -11.4282 +Jo -11.4282 +▁sredu -11.4282 +tski -11.4283 +▁Min -11.4284 +ett -11.4286 +▁Najviše -11.4286 +▁hell -11.4286 +▁okoline -11.429 +fit -11.4291 +stat -11.4292 +OP -11.4292 +▁univerziteta -11.4292 +▁objektu -11.4295 +▁Him -11.4296 +▁Indi -11.4296 +▁Pitanje -11.4298 +▁Mountain -11.4299 +▁obradu -11.43 +▁parlament -11.4301 +▁neophodne -11.4302 +▁Njemačke -11.4302 +▁rezultira -11.4302 +mana -11.4302 +▁Srđan -11.4303 +kol -11.4304 +▁pojačan -11.4306 +▁Kurir -11.4307 +hin -11.4307 +▁1.5 -11.4308 +▁otišla -11.431 +▁potrazi -11.431 +▁banaka -11.4312 +anti -11.4312 +▁dovede -11.4313 +▁dynamic -11.4313 +▁Rak -11.4314 +▁Jul -11.4314 +▁Tamo -11.4315 +▁pleased -11.432 +▁krema -11.432 +ender -11.432 +▁izgubila -11.4321 +▁meda -11.4322 +▁breast -11.4322 +▁Sar -11.4322 +fik -11.4323 +▁dres -11.4324 +▁slobodan -11.4326 +▁Sloveniji -11.4326 +tiv -11.4326 +▁Need -11.4327 +▁našla -11.4327 +▁psi -11.4327 +▁pivo -11.433 +▁destination -11.433 +▁Instagramu -11.433 +▁360 -11.4332 +▁plej -11.4333 +▁Capital -11.4334 +cama -11.4335 +▁pink -11.4336 +▁kolegama -11.4337 +▁prize -11.4337 +tv -11.4338 +▁postojanje -11.4339 +▁uvođenje -11.434 +▁smatrati -11.434 +▁searching -11.4344 +▁puk -11.4345 +▁chose -11.4345 +▁Roma -11.4347 +▁nitko -11.4348 +▁smanjenja -11.4348 +▁73 -11.4348 +▁Oliver -11.4349 +▁chemical -11.4349 +ito -11.4349 +▁nogama -11.435 +▁novinari -11.435 +▁Cloud -11.4351 +BS -11.4351 +▁proizvođač -11.4352 +▁Ple -11.4353 +ore -11.4354 +▁weapons -11.4355 +▁gust -11.4355 +▁Njen -11.4356 +love -11.4356 +▁Bivši -11.4357 +▁septembru -11.4357 +▁🙂 -11.4357 +vna -11.4358 +▁Rep -11.4358 +▁starosti -11.4358 +▁Države -11.4359 +▁Should -11.4359 +▁moves -11.436 +▁oktobar -11.4362 +▁Kat -11.4363 +malo -11.4365 +▁pace -11.4366 +▁jasan -11.4367 +▁klase -11.4367 +▁selektor -11.4368 +▁zameni -11.4368 +▁wealth -11.4368 +▁doza -11.4369 +▁miru -11.437 +video -11.437 +▁blokira -11.437 +▁govorili -11.4371 +▁streets -11.4371 +level -11.4371 +PM -11.4372 +stoj -11.4372 +▁kosti -11.4373 +▁uzeo -11.4374 +▁Piše -11.4376 +▁resursa -11.4376 +rap -11.4377 +▁Vil -11.4378 +▁evropski -11.4378 +▁mladim -11.4378 +game -11.438 +ajte -11.438 +▁shots -11.4381 +▁sre -11.4383 +laganje -11.4383 +▁negu -11.4384 +olog -11.4384 +▁materija -11.4385 +▁načelnika -11.4387 +▁izgledaju -11.4388 +▁hoping -11.4388 +▁čita -11.4389 +▁Britanije -11.4389 +«, -11.4392 +▁Sergej -11.4392 +▁Being -11.4394 +▁pobedi -11.4395 +ме -11.4395 +▁fudbala -11.4396 +RT -11.4398 +▁submitted -11.4398 +▁odbio -11.44 +▁razume -11.4401 +▁nemate -11.4401 +gged -11.4404 +▁destinacija -11.4405 +▁Povodom -11.4408 +▁Milanović -11.4408 +gger -11.441 +▁pune -11.441 +▁optimal -11.4411 +▁Kos -11.4413 +▁Disney -11.4413 +▁mortgage -11.4413 +▁referred -11.4414 +▁donošenje -11.4415 +▁pravno -11.4415 +mera -11.4417 +tta -11.4418 +▁ključnih -11.4419 +▁napustio -11.4419 +▁verziju -11.4422 +▁gori -11.4422 +▁attractive -11.4423 +▁kapitala -11.4426 +▁minus -11.4428 +▁zaboraviti -11.4429 +″ -11.4429 +PP -11.4429 +hy -11.443 +▁tražili -11.443 +▁managing -11.443 +▁dish -11.4431 +čiti -11.4434 +ički -11.4436 +▁duty -11.4437 +▁podržavaju -11.4437 +▁klijenata -11.4437 +▁poslednja -11.4438 +▁recognition -11.4438 +▁održavaju -11.444 +▁organizovan -11.4441 +far -11.4442 +▁doneti -11.4442 +▁believes -11.4442 +drug -11.4443 +matic -11.4446 +▁Vegas -11.4446 +▁gaming -11.4446 +nskoj -11.4447 +eks -11.4448 +▁Darko -11.4449 +▁Select -11.4449 +▁attached -11.445 +▁ples -11.4454 +▁Ireland -11.4454 +▁Ly -11.4455 +▁Marina -11.4455 +▁74 -11.4456 +▁socijalni -11.4457 +▁plaže -11.4457 +▁učenike -11.4457 +▁inspiration -11.446 +▁Fort -11.4461 +▁sustainable -11.4462 +▁Allahov -11.4462 +▁Međunarodnog -11.4465 +▁odgovarajuće -11.4465 +▁den -11.4465 +▁Jeff -11.4466 +▁explains -11.4466 +▁Civil -11.4468 +▁Portal -11.4468 +RU -11.4468 +▁zlata -11.4469 +▁duše -11.4469 +▁Perhaps -11.447 +▁legislation -11.447 +▁primarily -11.447 +organ -11.4471 +▁indeks -11.4472 +▁bird -11.4472 +▁ruci -11.4473 +▁sheet -11.4473 +▁Klub -11.4474 +FF -11.4474 +▁Drugo -11.4476 +rana -11.4477 +▁Software -11.4478 +▁architecture -11.4478 +▁stood -11.4478 +▁doveo -11.4481 +HO -11.4481 +▁Iraq -11.4481 +▁shut -11.4483 +az -11.4483 +mak -11.4486 +▁većih -11.4486 +▁funkciji -11.4486 +▁korištenja -11.4489 +▁remind -11.4489 +▁ordered -11.4489 +ged -11.4491 +▁USD -11.4491 +▁kap -11.4492 +▁epi -11.4492 +▁ocenio -11.4493 +tres -11.4493 +▁craft -11.4496 +▁somewhat -11.4497 +▁res -11.4497 +▁graduate -11.4502 +▁oktobru -11.4502 +▁roditelje -11.4503 +▁ovakvim -11.4504 +▁ко -11.4505 +▁Clark -11.4506 +▁kriminala -11.4509 +▁ciklus -11.451 +▁namirnice -11.451 +▁Lav -11.4513 +▁kafu -11.4514 +čini -11.4516 +▁viši -11.4517 +▁BR -11.4518 +žne -11.452 +▁Dragi -11.452 +tva -11.4521 +▁uveče -11.4521 +га -11.4525 +▁sunce -11.4525 +▁Mont -11.4526 +▁sjednice -11.4526 +making -11.4527 +▁Izbor -11.4528 +▁widely -11.4528 +А -11.4529 +watch -11.453 +▁resulting -11.453 +vad -11.4531 +▁Bogu -11.4532 +▁juice -11.4533 +▁vaših -11.4534 +▁Dodaj -11.4535 +▁Odmah -11.4535 +▁export -11.4536 +▁Tan -11.4536 +▁Nikole -11.4536 +▁klijentima -11.4537 +▁Nemanja -11.4539 +▁odraslih -11.4541 +▁victims -11.4542 +▁piva -11.4542 +▁ubijen -11.4546 +▁vatre -11.4547 +▁Happy -11.4547 +▁discount -11.4548 +inje -11.4548 +▁laser -11.4548 +▁delom -11.455 +una -11.4552 +▁pounds -11.4552 +▁Section -11.4553 +▁mnom -11.4554 +istički -11.4555 +▁Ništa -11.4558 +▁choosing -11.4559 +lište -11.4559 +▁hidden -11.4559 +▁outstanding -11.4561 +▁Ski -11.4562 +▁bogat -11.4562 +IMA -11.4562 +▁scena -11.4563 +▁unaprijed -11.4564 +▁Fre -11.4566 +▁interesovanje -11.4568 +▁tačnije -11.4568 +▁Welcome -11.457 +▁čudo -11.457 +▁illegal -11.4571 +▁Kaže -11.4572 +▁160 -11.4572 +RED -11.4573 +▁Golf -11.4573 +ched -11.4574 +▁negativno -11.4575 +▁naime -11.4575 +▁Nebojša -11.4575 +▁engleskog -11.4576 +▁PE -11.4577 +▁trudi -11.4577 +▁Milica -11.4578 +▁Brian -11.4578 +▁Zadar -11.4579 +▁dozvoljava -11.4579 +▁Silver -11.4579 +▁mašina -11.4579 +▁flag -11.458 +▁umor -11.4582 +▁kim -11.4582 +▁Britaniji -11.4583 +▁resistance -11.4584 +▁designer -11.4586 +▁kazni -11.4586 +▁komentarima -11.4587 +▁adapt -11.4588 +▁televizije -11.4588 +▁Carl -11.459 +▁osoblje -11.4592 +▁BEOGRAD -11.4593 +▁forest -11.4594 +▁blind -11.4594 +▁somewhere -11.4595 +▁hole -11.4595 +▁painting -11.4595 +▁radost -11.4596 +▁brzina -11.4596 +gom -11.4597 +че -11.4597 +ye -11.4597 +▁parlamentu -11.4597 +bru -11.4598 +▁postaviti -11.4598 +▁Denis -11.46 +▁uspeha -11.4601 +▁stručnog -11.4601 +IZ -11.4605 +▁dig -11.4606 +▁introduce -11.4606 +ČE -11.4607 +-16 -11.4608 +▁doživljaj -11.4608 +-11 -11.4609 +-17 -11.4612 +gnu -11.4613 +▁školske -11.4616 +▁posljednji -11.4618 +▁Jednostavno -11.4619 +▁taksi -11.462 +▁lucky -11.4621 +▁Zenica -11.4622 +▁scheme -11.4624 +▁newsletter -11.4624 +▁terapija -11.4624 +▁sagovornik -11.4624 +telja -11.4625 +▁Poslije -11.4625 +EK -11.4625 +▁domaćina -11.4626 +▁guard -11.463 +pat -11.4631 +ične -11.4631 +▁klasi -11.4632 +▁pluća -11.4633 +▁Prof -11.4635 +▁watched -11.4637 +▁Tax -11.4639 +▁slici -11.464 +▁atmosphere -11.4641 +▁uzbudljiv -11.4641 +▁thread -11.4641 +▁okolini -11.4641 +▁sudije -11.4643 +▁strogo -11.4643 +▁uklanjanje -11.4644 +▁demon -11.4645 +▁Phil -11.4646 +▁malog -11.4648 +▁Hercegovinu -11.4649 +▁false -11.465 +▁Miami -11.465 +pres -11.465 +kad -11.4651 +▁bedroom -11.4651 +leg -11.4652 +▁YOU -11.4652 +SO -11.4653 +▁rating -11.4654 +▁protivnika -11.4655 +▁inner -11.4655 +oda -11.4656 +▁Biće -11.4657 +▁Supreme -11.4657 +▁council -11.4657 +▁realizuje -11.4658 +▁dokumentacije -11.4658 +▁zaraze -11.4659 +▁otkrili -11.4662 +▁wave -11.4665 +▁Erdogan -11.4665 +▁obezbeđuje -11.4665 +▁uništen -11.4665 +▁framework -11.4666 +ljev -11.4666 +tinu -11.4668 +▁platforms -11.4669 +▁objects -11.4669 +▁Grant -11.4671 +obra -11.4671 +vio -11.4673 +▁afraid -11.4674 +▁Division -11.4674 +ttle -11.4674 +▁njeni -11.4674 +▁sazna -11.4677 +▁writers -11.4678 +▁Ray -11.4679 +▁arrive -11.4679 +▁Len -11.468 +▁godišnji -11.4681 +▁rasprave -11.4682 +▁Arch -11.4685 +▁Sre -11.4686 +ا -11.4687 +▁crne -11.4687 +kve -11.4688 +▁ministri -11.4688 +dije -11.4688 +profit -11.4688 +▁involves -11.4689 +▁Field -11.469 +3, -11.469 +▁pošte -11.4691 +▁Pass -11.4692 +CR -11.4692 +▁organizacijama -11.4695 +▁osetljiv -11.4695 +▁tradition -11.4695 +▁root -11.4696 +▁140 -11.4698 +▁sportskih -11.4698 +▁nacionalni -11.4699 +▁occurred -11.4699 +irano -11.4701 +▁Vitamin -11.4702 +Is -11.4704 +▁SR -11.4706 +▁pije -11.4707 +▁koraka -11.4707 +▁Davis -11.4707 +▁seriju -11.4707 +▁Yo -11.471 +TU -11.4711 +▁luksuz -11.4714 +▁Spirit -11.4715 +▁opposite -11.4715 +▁površinu -11.4715 +▁teškim -11.4715 +▁claimed -11.4716 +▁Madrid -11.4716 +▁harmoni -11.4716 +▁spaces -11.4717 +▁Dje -11.4717 +hem -11.4717 +EP -11.4719 +▁nimalo -11.4719 +▁CBD -11.4721 +▁Bru -11.4721 +▁svesti -11.4721 +gue -11.4722 +▁emocije -11.4723 +▁Point -11.4723 +▁DR -11.4725 +▁Jay -11.4726 +▁računar -11.4727 +cio -11.4727 +▁Looking -11.4731 +▁smoke -11.4734 +▁cable -11.4736 +▁wet -11.4737 +▁sličan -11.4738 +▁očekujemo -11.4739 +▁Sony -11.474 +▁Action -11.474 +turn -11.4741 +▁liked -11.4741 +▁alongside -11.4742 +▁founded -11.4742 +oli -11.4742 +rus -11.4743 +▁lijek -11.4744 +▁lessons -11.4745 +▁Rekao -11.4745 +▁2:1 -11.4746 +▁faculty -11.4748 +▁Medicine -11.4748 +▁14, -11.4749 +▁ubio -11.4749 +▁prihvaćen -11.4749 +▁napusti -11.475 +▁odjednom -11.475 +▁ukupnog -11.475 +▁Trade -11.475 +▁simboli -11.475 +▁10.000 -11.4754 +▁king -11.4757 +▁drawing -11.4759 +▁sending -11.4761 +▁pevač -11.4762 +▁mejl -11.4762 +irajte -11.4762 +▁odgovoran -11.4765 +▁Was -11.4765 +tko -11.4766 +▁nikakav -11.4766 +jeca -11.4769 +▁instant -11.477 +▁Mes -11.477 +tek -11.4771 +▁zaraženih -11.4771 +▁plaćaju -11.4773 +▁zvijezda -11.4773 +▁tisuća -11.4773 +▁odmora -11.4774 +▁mleko -11.4774 +▁victim -11.4774 +▁interese -11.4776 +▁očuvanje -11.4777 +prim -11.4777 +▁assistant -11.4778 +2012 -11.478 +▁nazivaju -11.478 +▁lični -11.4781 +▁Tužilaštvo -11.4781 +▁Hollywood -11.4782 +▁2-3 -11.4783 +▁Smatra -11.4785 +▁svuda -11.4785 +▁Palm -11.4787 +phone -11.4788 +af -11.4788 +▁Continue -11.4788 +▁zu -11.4788 +▁attended -11.4789 +▁Very -11.479 +asi -11.479 +▁Baj -11.4791 +▁tehničke -11.4794 +▁Srbima -11.4795 +▁pjevač -11.4795 +▁presuda -11.4797 +▁kulturnog -11.4797 +▁arts -11.4797 +▁potvrdila -11.4797 +dovolj -11.4798 +▁SDS -11.4798 +cast -11.4799 +EA -11.48 +▁dodajući -11.48 +▁Kit -11.4801 +▁ljut -11.4802 +▁Form -11.4802 +▁tube -11.4803 +▁BI -11.4805 +▁radnik -11.4806 +OVI -11.4806 +▁twenty -11.4806 +▁preuzeo -11.4806 +▁desktop -11.4807 +▁mixture -11.4807 +jene -11.4809 +▁realizacije -11.4809 +▁entitet -11.4809 +▁stanovništvo -11.481 +gura -11.4812 +▁Metal -11.4812 +▁Char -11.4813 +▁posluži -11.4813 +▁estimated -11.4813 +gleda -11.4814 +▁anxiety -11.4815 +▁postiže -11.4815 +▁Made -11.4815 +▁Mihajlović -11.4816 +▁krst -11.4816 +▁luck -11.4817 +▁slabo -11.4817 +▁Want -11.4819 +▁biljka -11.482 +▁komore -11.482 +▁stručni -11.4823 +▁uputstva -11.4823 +▁Bili -11.4823 +▁Dream -11.4824 +▁Dun -11.4824 +PL -11.4827 +▁Content -11.4827 +▁engaged -11.4828 +▁peak -11.4831 +æi -11.4831 +▁Colorado -11.4832 +▁primenu -11.4833 +▁kuha -11.4833 +▁creates -11.4833 +▁Život -11.4833 +▁MD -11.4836 +▁savings -11.4836 +▁uzrasta -11.4838 +laga -11.4839 +▁Ujedinjenih -11.484 +▁zatvoren -11.484 +▁Siriji -11.4842 +▁utvrdi -11.4844 +▁Without -11.4845 +▁Gradskog -11.4846 +▁punu -11.4847 +▁Odluka -11.4849 +IH -11.485 +▁texture -11.4852 +ше -11.4854 +▁Phone -11.4855 +▁chi -11.4856 +▁talks -11.4856 +▁epidemije -11.4857 +▁kupatilo -11.4857 +▁causing -11.4857 +fra -11.4857 +▁dust -11.4858 +чи -11.486 +▁obratio -11.486 +▁praznika -11.486 +▁iskoristi -11.4861 +avi -11.4861 +Ar -11.4861 +▁Pacific -11.4862 +ges -11.4864 +zin -11.4864 +▁posve -11.4866 +▁1960 -11.4869 +▁eventualno -11.4869 +▁dogoditi -11.487 +rah -11.4873 +▁tijelu -11.4873 +▁KA -11.4874 +▁Rome -11.4875 +lazi -11.4875 +▁laž -11.4875 +▁proposal -11.4875 +▁zapošljavanja -11.4876 +▁riba -11.4877 +▁Evropskoj -11.4878 +||3 -11.4878 +▁clothing -11.488 +tali -11.488 +▁1980 -11.488 +▁persons -11.488 +▁weekly -11.4881 +▁udarac -11.4881 +cept -11.4882 +▁Paper -11.4883 +▁Beta -11.4883 +SKA -11.4884 +ова -11.4885 +mun -11.4885 +▁fudbalera -11.4885 +▁reaction -11.4886 +▁warning -11.4886 +▁directed -11.4887 +▁Bul -11.4889 +▁pravilo -11.4889 +▁humans -11.4891 +Ali -11.4894 +▁izdvaja -11.4894 +▁(“ -11.4894 +▁istoku -11.4897 +▁kuhinje -11.4899 +▁zdrave -11.49 +▁većem -11.4903 +▁postojeće -11.4904 +▁19, -11.4904 +▁Kontakt -11.4905 +irane -11.4907 +▁odlučuje -11.4907 +▁И -11.4907 +pel -11.4907 +▁istraživanju -11.4907 +▁Son -11.4908 +LJA -11.4909 +▁stavljen -11.4909 +irala -11.491 +▁lighting -11.491 +▁Training -11.4911 +When -11.4914 +▁1: -11.4914 +ign -11.4915 +zy -11.4915 +uda -11.4915 +▁acts -11.4916 +kret -11.4916 +▁organized -11.4917 +▁82 -11.4917 +ught -11.4917 +▁puteva -11.4918 +▁unija -11.4919 +▁novosti -11.492 +mis -11.4921 +▁oka -11.4922 +▁principu -11.4922 +▁encounter -11.4922 +▁gi -11.4923 +▁Izgleda -11.4925 +▁objektima -11.4926 +▁Denver -11.4927 +hour -11.4929 +▁bolova -11.493 +▁careful -11.493 +tle -11.4933 +▁fizičke -11.4933 +▁fotograf -11.4933 +▁događaje -11.4934 +▁garage -11.4935 +▁Gas -11.4935 +ди -11.4935 +▁strange -11.4935 +▁identiteta -11.4936 +gori -11.4936 +▁otkup -11.4937 +▁09. -11.4939 +700 -11.494 +▁krenula -11.494 +▁automobile -11.4941 +uf -11.4941 +▁Bas -11.4941 +zira -11.4941 +▁vredno -11.4942 +▁bakterija -11.4943 +▁pevačica -11.4943 +▁singl -11.4944 +▁Slav -11.4944 +▁dogodio -11.4944 +▁Mom -11.4946 +▁lekar -11.4947 +________________ -11.4949 +▁kamp -11.4949 +▁aktivira -11.495 +▁blow -11.495 +▁devedesetih -11.4951 +▁Gun -11.4952 +▁zime -11.4952 +▁shouldn -11.4953 +▁razini -11.4953 +▁ratio -11.4953 +▁leto -11.4953 +▁majstor -11.4953 +▁Ven -11.4954 +▁92 -11.4956 +▁sick -11.4958 +▁titule -11.4958 +▁povezuje -11.4958 +media -11.496 +▁doctors -11.4961 +▁precizno -11.4961 +▁Credit -11.4962 +▁pojedine -11.4962 +▁doživljava -11.4963 +▁Karl -11.4964 +▁puca -11.4965 +uka -11.4965 +▁ručno -11.4966 +ENT -11.4967 +▁Fri -11.4968 +vez -11.497 +OG -11.4971 +▁loves -11.4973 +▁Easy -11.4975 +▁hasn -11.4977 +▁fail -11.4978 +▁mlađe -11.4981 +▁druži -11.4981 +▁širenja -11.4982 +▁cha -11.4982 +djel -11.4983 +▁Der -11.4986 +OVA -11.4986 +▁oglasa -11.4987 +▁row -11.4988 +▁preti -11.499 +▁smještaj -11.4991 +press -11.4992 +renje -11.4992 +▁ostavku -11.4993 +▁finansijskih -11.4995 +▁grass -11.4995 +▁Preko -11.4995 +tite -11.4997 +▁osigurava -11.4997 +▁Jane -11.4998 +▁dizajner -11.5 +▁NFL -11.5001 +▁Safety -11.5002 +▁Holy -11.5005 +kat -11.5006 +▁udruženje -11.5007 +twitter -11.5007 +uma -11.5007 +▁nedostatka -11.5009 +▁jedinstven -11.5011 +šli -11.5012 +▁Institut -11.5012 +nate -11.5017 +▁Kate -11.5018 +▁zaustavi -11.5022 +▁Hal -11.5023 +▁povijesti -11.5024 +▁Andrea -11.5026 +even -11.5026 +▁mill -11.5027 +▁idealno -11.5029 +▁sharp -11.503 +▁Bull -11.503 +ograf -11.5031 +rok -11.5031 +▁naturally -11.5033 +▁krenuti -11.5034 +▁saveta -11.5034 +▁Zemlji -11.5034 +▁Koristi -11.5035 +▁Major -11.5036 +stran -11.5036 +▁Razlog -11.5037 +▁incredibly -11.5037 +▁vratila -11.504 +sil -11.5041 +▁Jr -11.5042 +▁međunarodnog -11.5042 +▁evro -11.5042 +▁Ye -11.5043 +foot -11.5043 +▁obavljanje -11.5044 +chen -11.5045 +▁vjere -11.5045 +▁prometa -11.5046 +▁engleskom -11.5047 +▁dimenzija -11.5047 +ће -11.5051 +▁adekvatno -11.5052 +▁circuit -11.5052 +▁upit -11.5052 +▁planete -11.5052 +▁stuck -11.5052 +▁Wal -11.5054 +▁ultimate -11.5055 +▁Ter -11.5058 +▁ličnih -11.5058 +Fe -11.5059 +kcije -11.5059 +▁visited -11.506 +▁vrate -11.5061 +▁privatni -11.5061 +▁Stojanović -11.5063 +ке -11.5064 +šnja -11.5067 +▁Irish -11.5069 +▁bet -11.5069 +▁osvoji -11.5069 +▁GB -11.5069 +▁AR -11.507 +▁oštri -11.507 +▁ispitivanja -11.507 +▁О -11.507 +▁kle -11.507 +▁nezavisnosti -11.5074 +▁Systems -11.5075 +▁puna -11.5076 +▁Houston -11.5077 +▁trajno -11.5078 +▁angle -11.5079 +▁januar -11.508 +spor -11.5081 +▁minut -11.5083 +▁licima -11.5084 +rene -11.5085 +▁upozna -11.5085 +▁celebration -11.5086 +▁usne -11.5087 +▁prijavi -11.5087 +▁ST -11.5088 +▁krajeva -11.509 +▁ciklusa -11.5091 +▁bat -11.5092 +▁spreči -11.5093 +▁Službe -11.5093 +▁Awards -11.5094 +▁Micro -11.5094 +▁historic -11.5094 +▁učestvovao -11.5094 +itis -11.5094 +▁dvorani -11.5095 +▁Website -11.5095 +▁LLC -11.5095 +▁veteran -11.5096 +▁kritike -11.5096 +zmi -11.5097 +▁kore -11.5098 +▁producent -11.5098 +▁3) -11.5098 +ILA -11.5099 +▁definisan -11.5099 +▁Member -11.51 +▁recommendations -11.51 +▁Građani -11.51 +▁pokušaju -11.5102 +▁88 -11.5103 +Srbija -11.5103 +▁Experience -11.5103 +▁79 -11.5103 +▁Ugovor -11.5104 +▁Non -11.5104 +▁strategija -11.5105 +▁VR -11.5105 +▁tabeli -11.5106 +▁Harry -11.5106 +▁nov -11.5107 +< -11.5107 +▁Mada -11.5108 +slika -11.5108 +▁usred -11.5111 +▁Viktor -11.5111 +▁BMW -11.5112 +▁povezan -11.5112 +▁krsta -11.5113 +▁zahvalio -11.5114 +▁oven -11.5115 +npr -11.5115 +▁zdravstveno -11.5116 +▁službenika -11.5116 +pil -11.5116 +▁acting -11.5118 +▁šuma -11.5118 +▁političara -11.5119 +MC -11.512 +▁empty -11.512 +▁examine -11.5121 +▁reducing -11.5122 +▁component -11.5125 +▁heroj -11.5125 +▁sensitive -11.5128 +▁expansion -11.5129 +▁nek -11.513 +▁pokrenuti -11.513 +▁kvar -11.513 +▁Evropski -11.5132 +▁javna -11.5132 +▁uređenje -11.5133 +▁punom -11.5133 +▁elite -11.5134 +▁supplement -11.5134 +▁radnim -11.5138 +▁east -11.514 +▁suddenly -11.514 +▁Drago -11.5141 +▁ugrađen -11.5143 +▁Vr -11.5144 +▁obrok -11.5145 +▁romana -11.5146 +▁oporavak -11.5146 +▁ostvaruje -11.5146 +▁donijela -11.5146 +▁turizam -11.5147 +▁Tuzlanskog -11.5147 +zbi -11.5147 +▁razgovarao -11.5148 +ој -11.5149 +▁dužnost -11.5149 +nička -11.515 +▁dužine -11.5152 +▁consideration -11.5156 +pak -11.5156 +▁poboljšava -11.5158 +▁reke -11.5158 +▁zlato -11.5158 +▁porn -11.5159 +▁delatnosti -11.516 +rnu -11.5162 +▁organima -11.5163 +▁outcomes -11.5163 +▁Lewis -11.5164 +▁spol -11.5165 +IK -11.5165 +▁Tony -11.5166 +▁brush -11.5166 +▁saobraćaju -11.5166 +▁Ante -11.5166 +rup -11.5166 +▁achieved -11.5172 +▁jar -11.5172 +▁stavio -11.5172 +▁junu -11.5173 +▁fazu -11.5174 +▁stronger -11.5174 +▁sudova -11.5174 +▁household -11.5176 +▁osnovana -11.5176 +AJ -11.5176 +▁scored -11.5177 +▁veštine -11.5177 +▁pronađe -11.5178 +▁obratiti -11.518 +▁Learning -11.518 +▁testiranje -11.5181 +▁opt -11.5181 +tala -11.5181 +▁sastojaka -11.5182 +▁dates -11.5185 +▁granici -11.5186 +▁mladima -11.5187 +▁shvatio -11.5188 +▁povezani -11.519 +Ju -11.5192 +▁kolektiv -11.5192 +▁transportation -11.5193 +▁folder -11.5193 +Kada -11.5194 +▁današnjeg -11.5194 +▁OP -11.5195 +▁izveštaj -11.5195 +▁Natural -11.5196 +▁healing -11.5197 +▁em -11.5199 +jin -11.5199 +dro -11.52 +▁navijači -11.52 +▁exhibition -11.5201 +▁okruženja -11.5202 +Sta -11.5203 +▁okupljanja -11.5204 +▁objekte -11.5204 +▁nadležnih -11.5206 +▁dozvola -11.5207 +▁vladavine -11.5207 +▁Bos -11.5209 +▁Ap -11.5209 +▁prirodnim -11.521 +ološki -11.521 +▁poremećaja -11.5213 +▁ending -11.5214 +▁održi -11.5214 +▁stunning -11.5215 +sses -11.5216 +▁bags -11.5216 +▁pojma -11.5217 +lation -11.5218 +▁januaru -11.5218 +▁controlled -11.522 +▁lawyer -11.5222 +▁živote -11.5223 +bank -11.5224 +▁pomogli -11.5224 +▁opstanak -11.5224 +ući -11.5225 +▁DF -11.5225 +▁developer -11.5225 +▁findings -11.5226 +▁značajne -11.5227 +▁produžen -11.5228 +▁priči -11.5228 +▁fenomen -11.5228 +▁potentially -11.5229 +▁spre -11.523 +dob -11.523 +tric -11.523 +▁06. -11.5231 +▁zvaničnici -11.5231 +▁Country -11.5233 +▁pojedinaca -11.5235 +bac -11.5239 +▁UV -11.5239 +mbo -11.5239 +▁shvati -11.524 +▁escape -11.5241 +▁tradiciju -11.5242 +▁ukusa -11.5242 +▁ograničen -11.5244 +▁ostanu -11.5244 +ians -11.5244 +▁scientists -11.5244 +evo -11.5245 +▁verujem -11.5247 +▁dual -11.5247 +▁Stefanović -11.525 +▁želio -11.5252 +▁Nemačka -11.5252 +CT -11.5253 +▁poštuje -11.5254 +roš -11.5254 +▁Tea -11.5255 +▁Baby -11.5255 +vrš -11.5259 +▁sigurna -11.5259 +▁roba -11.526 +▁stava -11.526 +▁mega -11.5261 +▁forever -11.5263 +▁liniju -11.5264 +▁profilu -11.5265 +▁njenoj -11.5265 +rb -11.5266 +▁kin -11.5267 +▁ON -11.5267 +▁izvršio -11.5268 +▁Print -11.5268 +nskim -11.5269 +vana -11.527 +▁HP -11.5272 +beg -11.5274 +▁Steel -11.5274 +▁Hit -11.5275 +▁brzine -11.5275 +test -11.5276 +▁86 -11.5277 +▁Father -11.5278 +friendly -11.5278 +▁pisac -11.5279 +▁ovakvih -11.5281 +▁dobiva -11.5281 +▁imenovan -11.5282 +▁Pratite -11.5284 +▁primio -11.5284 +▁87 -11.5285 +▁fishing -11.5286 +▁Briselu -11.5288 +▁quote -11.5288 +▁FREE -11.5289 +▁izvori -11.5289 +▁random -11.529 +▁Com -11.529 +▁Story -11.5291 +spa -11.5292 +cioni -11.5293 +▁commission -11.5294 +▁pojaviti -11.5294 +▁Brnabić -11.5294 +▁neither -11.5294 +▁korisno -11.5297 +▁gem -11.5299 +▁1998 -11.5299 +▁largely -11.5299 +▁Sy -11.5299 +▁channels -11.5302 +▁remained -11.5302 +▁reformi -11.5304 +▁$4 -11.5304 +▁brutal -11.5304 +▁uspela -11.5306 +▁april -11.5308 +krat -11.5308 +▁dokaze -11.5309 +▁Rio -11.5311 +▁određena -11.5311 +▁kreveta -11.5311 +▁recall -11.5312 +ača -11.5312 +▁crkvi -11.5312 +Dr -11.5312 +▁industries -11.5312 +▁specijal -11.5312 +▁pur -11.5313 +▁privlači -11.5313 +▁poker -11.5314 +▁niza -11.5316 +▁selo -11.5317 +▁poly -11.5318 +▁performing -11.5318 +IJE -11.5318 +▁communications -11.5319 +▁kult -11.532 +▁susjed -11.532 +džić -11.5321 +▁VA -11.5321 +inch -11.5322 +vol -11.5323 +▁Bon -11.5323 +▁tan -11.5323 +▁shvatiti -11.5323 +▁desni -11.5324 +▁plug -11.5327 +▁kašike -11.5329 +▁aerodroma -11.5329 +▁golman -11.533 +▁Fall -11.533 +▁karta -11.533 +kuje -11.5331 +▁Miller -11.5331 +▁Res -11.5331 +▁baze -11.5332 +▁lies -11.5332 +pal -11.5333 +▁nepri -11.5334 +▁pile -11.5334 +▁nedovoljno -11.5334 +▁šefa -11.5334 +▁Sat -11.5337 +▁Branislav -11.5338 +▁trajanju -11.5338 +▁liniji -11.5338 +▁Marine -11.534 +čev -11.5343 +▁petka -11.5346 +▁mladić -11.5347 +▁muslimana -11.5347 +▁upravi -11.5348 +▁Jedino -11.5348 +▁obale -11.5349 +▁evil -11.5349 +▁profesionalno -11.535 +▁pokriva -11.5352 +▁skok -11.5352 +▁tissue -11.5354 +▁upućen -11.5355 +▁dovoljan -11.5356 +▁pesama -11.5356 +▁obroka -11.5356 +▁zdravstva -11.5356 +▁smatram -11.5357 +▁Fen -11.5358 +rif -11.5358 +▁Jar -11.5359 +▁izvršiti -11.536 +pasti -11.5362 +▁invited -11.5363 +▁stable -11.5363 +▁Asian -11.5363 +▁Amerika -11.5363 +▁podizanje -11.5364 +▁Kotor -11.5364 +▁(10 -11.5364 +▁rijetko -11.5365 +load -11.5366 +▁Gradske -11.5367 +jav -11.5369 +▁Rus -11.5369 +zing -11.5369 +▁ubija -11.537 +▁starijih -11.5371 +▁smanjen -11.5373 +▁continuing -11.5373 +▁velik -11.5374 +▁odražavaju -11.5374 +nor -11.5374 +▁connections -11.5374 +rke -11.5375 +▁Đukanović -11.5376 +▁LO -11.5377 +▁Index -11.5379 +bat -11.5379 +▁nijesu -11.5379 +▁nekadašnji -11.538 +izuje -11.5381 +▁krivičnog -11.5381 +ranja -11.5382 +ţe -11.5382 +▁poštuju -11.5382 +▁plain -11.5383 +▁Kingdom -11.5383 +▁koristio -11.5385 +UP -11.5386 +▁angažovan -11.5387 +▁Turn -11.5388 +▁kartica -11.5389 +žna -11.5389 +▁Britain -11.5391 +▁Ultra -11.5392 +▁Dallas -11.5392 +▁nekretnine -11.5394 +▁wake -11.5395 +▁orange -11.5397 +▁aroma -11.5399 +▁tracks -11.5404 +▁Zapad -11.5404 +▁Classic -11.5404 +▁ustanovama -11.5405 +▁glava -11.5406 +▁sizes -11.5407 +cl -11.5407 +▁redom -11.5408 +▁profila -11.5409 +▁mnoštvo -11.5409 +▁copyright -11.5409 +▁stola -11.541 +▁roles -11.541 +ZA -11.541 +▁vojni -11.5413 +▁rid -11.5413 +rez -11.5413 +lne -11.5414 +▁finansiranje -11.5414 +▁realno -11.5415 +▁tired -11.5416 +▁cak -11.5416 +▁flexible -11.5418 +▁Vis -11.5418 +uta -11.5418 +ically -11.5419 +Šta -11.542 +kur -11.542 +▁faces -11.5421 +loži -11.5422 +ujte -11.5422 +▁producing -11.5423 +▁30% -11.5424 +▁državnim -11.5424 +oka -11.5425 +kta -11.5426 +▁ritual -11.5427 +▁marked -11.5429 +▁zero -11.5431 +ded -11.5431 +▁ču -11.5431 +hat -11.5432 +Ga -11.5433 +zno -11.5433 +▁egg -11.5434 +▁efikasnosti -11.5434 +▁breaking -11.5435 +▁stvaranju -11.5435 +▁consent -11.5436 +stop -11.5436 +▁djelovanje -11.5436 +▁vrha -11.5436 +▁Ured -11.5437 +▁prijatelje -11.5437 +▁apparently -11.5438 +▁Ale -11.5439 +▁developers -11.544 +▁kompanijama -11.544 +sburg -11.5441 +▁expenses -11.5442 +▁razmišljanja -11.5442 +▁domaćem -11.5444 +� -11.5444 +▁Studies -11.5444 +▁trailer -11.5444 +▁učešća -11.5444 +▁čudno -11.5445 +▁dokumentaciju -11.5445 +▁želeo -11.5445 +ew -11.5445 +▁ispuni -11.5446 +▁trap -11.5448 +ْ -11.545 +dam -11.5451 +ač -11.5452 +▁Lip -11.5453 +ā -11.5453 +graf -11.5454 +jske -11.5456 +▁Ron -11.5457 +▁massage -11.5457 +▁raw -11.5458 +▁pojedini -11.5459 +▁Mah -11.5459 +▁Pin -11.546 +cat -11.5461 +▁dala -11.5461 +▁metra -11.5461 +▁pojavu -11.5462 +▁gubitka -11.5463 +▁mojoj -11.5463 +▁Trener -11.5463 +obraz -11.5464 +▁Never -11.5465 +▁posjeduje -11.5467 +new -11.5467 +▁moji -11.5471 +▁pokušali -11.5473 +▁hopes -11.5475 +▁Jon -11.5477 +▁replaced -11.5477 +▁vratili -11.5477 +▁istine -11.5478 +▁oz -11.5478 +NIK -11.5478 +mr -11.5478 +▁pogađa -11.5478 +▁whenever -11.5478 +▁mirisa -11.548 +▁everywhere -11.5481 +▁pojavljuju -11.5482 +▁Lan -11.5483 +▁sadržajem -11.5483 +ivo -11.5483 +▁crni -11.5484 +▁Najbolje -11.5484 +▁outfit -11.5488 +kinje -11.5489 +ular -11.5489 +dah -11.549 +▁SD -11.5491 +sav -11.5492 +čen -11.5493 +how -11.5493 +▁var -11.5494 +▁Italija -11.5496 +▁luxury -11.5498 +▁Pal -11.5498 +▁zgradu -11.5498 +▁Bud -11.5498 +-9 -11.55 +▁kulturi -11.5501 +key -11.5501 +▁emisija -11.5503 +▁Hari -11.5505 +▁postanu -11.5506 +▁deficit -11.5506 +▁Zdravlje -11.5507 +▁existence -11.5507 +▁rising -11.5508 +ws -11.5508 +▁publication -11.5508 +▁Že -11.5509 +yan -11.5509 +▁mask -11.551 +▁Hong -11.551 +BC -11.551 +▁predstavljen -11.5511 +▁weren -11.5512 +▁Gri -11.5513 +gene -11.5513 +▁principal -11.5514 +▁Ty -11.5516 +FS -11.5516 +▁saradnik -11.5516 +▁capabilities -11.5516 +▁memories -11.5517 +▁naprave -11.5517 +▁loud -11.5518 +▁karata -11.5518 +▁optužen -11.5519 +▁Sistem -11.552 +▁convenient -11.552 +▁Maria -11.5522 +▁regard -11.5523 +▁britanski -11.5523 +All -11.5524 +▁ozbiljan -11.5525 +▁promociju -11.5525 +▁zabranjeno -11.5525 +▁Moon -11.5526 +sar -11.5526 +▁prebaci -11.553 +▁Isti -11.5531 +▁Gran -11.5533 +▁Administration -11.5534 +▁enterprise -11.5534 +▁zdravstvo -11.5535 +▁preferred -11.5535 +▁manufacturer -11.5537 +▁prilici -11.5537 +▁pride -11.5539 +kro -11.5542 +▁understood -11.5543 +▁svetlo -11.5544 +▁Blu -11.5546 +ног -11.5547 +▁announcement -11.5547 +telji -11.5547 +▁swing -11.5549 +▁boriti -11.5549 +▁julu -11.555 +▁Kap -11.555 +▁regardless -11.5552 +▁outcome -11.5553 +▁forth -11.5554 +▁ženi -11.5554 +▁Josip -11.5555 +▁zube -11.5556 +▁founder -11.5557 +sec -11.5558 +▁broke -11.5559 +▁srpskim -11.556 +▁portparol -11.5561 +▁amounts -11.5562 +▁kla -11.5563 +▁Mun -11.5564 +▁ikad -11.5564 +▁Zlat -11.5564 +▁određuje -11.5565 +▁dijaloga -11.5565 +▁mogućnostima -11.5565 +▁posjed -11.5566 +▁saznanja -11.5566 +▁troši -11.5566 +▁obožava -11.5567 +▁proved -11.5568 +▁pokrenuo -11.5569 +gh -11.5569 +▁najkasnije -11.557 +▁tournament -11.557 +▁završili -11.557 +▁vezana -11.5571 +nal -11.5571 +▁Prince -11.5572 +kaza -11.5572 +godišnja -11.5573 +▁Saveta -11.5573 +▁Ovu -11.5573 +▁Intel -11.5575 +▁naučno -11.5577 +▁doda -11.5578 +▁prethodnom -11.5578 +▁fabrike -11.5579 +▁Among -11.5579 +▁Monte -11.5579 +▁zabave -11.558 +▁matches -11.5581 +▁BIH -11.5582 +▁nosio -11.5587 +▁pokrene -11.5588 +Е -11.5588 +▁Northern -11.5588 +▁mojim -11.5588 +Car -11.5589 +▁rec -11.5589 +▁Following -11.5592 +▁pojača -11.5593 +inski -11.5594 +▁eligible -11.5597 +▁tvrtke -11.5597 +▁Zemlje -11.5597 +▁muškarce -11.5597 +▁omogućuje -11.5597 +▁Antonio -11.5599 +▁compliance -11.5599 +▁najvećim -11.5601 +▁gifts -11.5601 +▁tok -11.5603 +▁testiranja -11.5604 +▁Cho -11.5607 +▁File -11.5608 +▁skupi -11.5609 +▁Urban -11.5609 +▁alata -11.561 +▁značajna -11.5611 +▁napor -11.5613 +ovani -11.5613 +▁introduction -11.5615 +▁dostupne -11.5615 +▁potvrdu -11.5615 +▁osobno -11.5615 +▁bliže -11.5616 +▁kandidati -11.5616 +▁relative -11.5618 +▁bone -11.562 +spe -11.562 +▁Ross -11.562 +jemo -11.5621 +▁obavi -11.5622 +▁Đorđe -11.5623 +ziju -11.5627 +ijan -11.5628 +има -11.5628 +▁nož -11.5628 +▁handling -11.563 +▁generalno -11.563 +▁poslovanju -11.5632 +▁categories -11.5633 +▁čišćenja -11.5633 +rik -11.5633 +▁analog -11.5634 +yer -11.5634 +▁Nik -11.5635 +▁singer -11.5636 +▁Forest -11.5637 +▁gradskog -11.5639 +▁83 -11.564 +▁tad -11.564 +▁decrease -11.5641 +▁povratka -11.5641 +▁eggs -11.5642 +▁policijski -11.5642 +▁televiziji -11.5642 +▁Secretary -11.5642 +▁najveću -11.5642 +▁traju -11.5644 +▁otp -11.5644 +▁februaru -11.5644 +▁spremi -11.5644 +▁prošlost -11.5645 +▁Gde -11.5646 +jenja -11.5646 +Com -11.5647 +▁općina -11.5648 +▁Pozdrav -11.5649 +▁ulaze -11.565 +▁vrat -11.5652 +▁tur -11.5653 +▁availability -11.5653 +▁samoj -11.5657 +lete -11.5659 +▁Vice -11.566 +▁electrical -11.566 +ziva -11.5662 +▁Prijava -11.5662 +▁tajne -11.5662 +▁misija -11.5665 +▁limits -11.5665 +▁driven -11.5667 +▁potpisali -11.5668 +▁ključni -11.5668 +▁energetske -11.5669 +▁koalicije -11.5669 +▁migranata -11.5669 +▁preduze -11.5671 +▁brinu -11.5671 +▁planine -11.5672 +rada -11.5672 +▁Ponekad -11.5672 +▁Tomislav -11.5672 +▁Think -11.5673 +▁stvarnosti -11.5677 +▁organizator -11.5677 +eng -11.5677 +đo -11.5678 +▁tradicije -11.5678 +▁Uni -11.5679 +▁ekrana -11.568 +▁poluvremenu -11.568 +juće -11.5681 +▁brzinu -11.5681 +▁isporuke -11.5682 +▁Allaha -11.5682 +▁cute -11.5682 +▁poznaje -11.5685 +▁Bag -11.5686 +▁Dža -11.5687 +▁pokuša -11.5688 +▁sajam -11.5689 +▁default -11.5691 +▁jače -11.5694 +▁Apr -11.5695 +▁bunch -11.5695 +▁najvažniji -11.5696 +ç -11.5697 +▁veličina -11.5697 +▁ujutru -11.5697 +▁intense -11.5697 +▁kvalitete -11.5698 +▁Season -11.5698 +▁objective -11.5699 +▁zaključak -11.5701 +▁Savet -11.5702 +OT -11.5705 +▁Mid -11.5705 +▁diseases -11.5705 +▁consumption -11.5706 +▁itekako -11.5706 +▁pratite -11.5707 +▁integration -11.5707 +▁ple -11.5708 +leti -11.5708 +▁pogledom -11.5708 +▁otvoreni -11.5708 +▁UEFA -11.5709 +▁dočeka -11.5709 +▁boraca -11.5709 +rskog -11.571 +ру -11.571 +mini -11.5711 +▁па -11.5712 +fr -11.5712 +▁baterije -11.5715 +▁concrete -11.5715 +▁saved -11.5715 +▁covering -11.5717 +▁chances -11.5719 +uru -11.572 +▁pojedinačno -11.5721 +▁Evropskom -11.5722 +ATA -11.5724 +rač -11.5724 +▁reaguje -11.5724 +▁aircraft -11.5725 +▁Kla -11.5725 +▁96 -11.5725 +▁čula -11.5728 +▁offices -11.5729 +bon -11.5729 +▁Elizabeth -11.5731 +▁obnovi -11.5731 +pom -11.5733 +▁svjesni -11.5734 +kne -11.5736 +▁Kids -11.5737 +cus -11.5737 +▁položaju -11.574 +▁relations -11.574 +▁Republic -11.574 +vina -11.5741 +▁ključne -11.5742 +▁tajna -11.5742 +▁2: -11.5742 +▁pretežno -11.5742 +▁extend -11.5743 +▁proizveden -11.5743 +▁Arm -11.5744 +▁konkretno -11.5746 +▁birds -11.5746 +gru -11.5747 +▁jutra -11.5748 +verse -11.5748 +▁stored -11.5748 +IF -11.5749 +▁svetske -11.5751 +▁parku -11.5751 +▁dreams -11.5752 +ust -11.5755 +?) -11.5756 +▁tužilac -11.5757 +▁proizvođači -11.5757 +▁poznatog -11.5757 +▁modeli -11.576 +▁priznao -11.5761 +▁100.000 -11.5762 +▁bak -11.5764 +▁prsten -11.5765 +▁održiv -11.5765 +▁staying -11.5766 +▁Hr -11.5767 +▁gledao -11.5769 +▁alive -11.5769 +▁otkaz -11.577 +▁izvođenje -11.5771 +▁crveni -11.5771 +▁mood -11.5772 +▁fiber -11.5772 +▁settlement -11.5773 +▁WA -11.5773 +▁priznaje -11.5774 +▁civilnog -11.5774 +▁falling -11.5778 +rum -11.5778 +▁prisutan -11.5779 +▁Machine -11.578 +▁everybody -11.578 +▁nadamo -11.578 +▁ekonomskih -11.5781 +vne -11.5781 +▁aprilu -11.5781 +vil -11.5782 +born -11.5782 +▁10- -11.5785 +▁diploma -11.5786 +slov -11.5786 +▁wash -11.5787 +▁Teško -11.5788 +▁izmjene -11.5788 +▁brašna -11.5788 +▁marks -11.5789 +▁1998. -11.579 +▁HE -11.579 +▁Lady -11.5791 +▁RAD -11.5794 +▁kulturnih -11.5796 +ering -11.5797 +▁(3) -11.5798 +▁Najnovije -11.5798 +▁calendar -11.5798 +▁otišli -11.5798 +▁Ovako -11.5798 +▁Grčke -11.5798 +▁objavljuje -11.5799 +▁Dodao -11.5799 +▁primiti -11.58 +▁Edition -11.5801 +CS -11.5803 +▁nijedna -11.5803 +▁statistiku -11.5807 +▁sjednica -11.5807 +▁newly -11.5808 +▁observed -11.5808 +▁clan -11.5808 +▁treća -11.5808 +▁ре -11.581 +ICA -11.581 +▁pauze -11.5811 +▁organizuju -11.5811 +ologije -11.5813 +▁istraži -11.5814 +bes -11.5815 +▁corn -11.5816 +▁peri -11.5816 +▁temperaturu -11.5816 +▁kalorija -11.5816 +▁dragi -11.5816 +▁strike -11.5816 +▁prošla -11.5818 +▁zovu -11.5819 +▁Would -11.5819 +▁zanat -11.5819 +pravi -11.5821 +▁domaćim -11.5821 +▁prihvatiti -11.5822 +band -11.5823 +▁domaćeg -11.5823 +▁reserved -11.5824 +▁prevelik -11.5824 +▁izveden -11.5824 +▁Split -11.5825 +▁decembru -11.5825 +▁Arizona -11.5825 +vršen -11.5826 +▁Case -11.5826 +icija -11.5826 +▁Neko -11.5828 +▁raspoloženje -11.5831 +mbi -11.5831 +▁Pun -11.5831 +SL -11.5833 +▁pjesmu -11.5834 +▁Mega -11.5836 +dre -11.5836 +▁partneri -11.5837 +▁ukras -11.5838 +▁ubrza -11.5842 +▁pohađa -11.5843 +▁ponovi -11.5843 +▁deeper -11.5844 +▁Avenue -11.5844 +▁selekcije -11.5844 +▁konkursa -11.5845 +▁suffered -11.5847 +▁skriva -11.5848 +▁Engineering -11.5849 +▁prepoznati -11.5851 +▁commonly -11.5851 +VO -11.5854 +▁ABA -11.5855 +▁Dugo -11.5857 +vet -11.5858 +▁tackle -11.5858 +▁versions -11.5858 +▁dogovora -11.5858 +▁lock -11.5859 +oh -11.586 +▁svjetski -11.5861 +2021 -11.5863 +▁desert -11.5863 +▁literally -11.5863 +▁startu -11.5863 +▁Trg -11.5865 +▁prihod -11.5866 +▁Moramo -11.5867 +▁bal -11.5871 +▁Insurance -11.5872 +▁attract -11.5872 +▁vođa -11.5872 +▁81 -11.5872 +high -11.5873 +▁Korea -11.5874 +▁comp -11.5874 +▁prolaze -11.5875 +cel -11.5876 +iness -11.5878 +▁penis -11.5878 +▁obim -11.5878 +▁pokloni -11.588 +▁Ligu -11.5882 +▁hall -11.5884 +iću -11.5885 +▁popust -11.5886 +name -11.5887 +▁drawn -11.5889 +▁900 -11.5889 +▁Komisije -11.589 +▁samples -11.5892 +▁zamisli -11.5894 +jn -11.5896 +-14 -11.5896 +▁sastavni -11.5897 +market -11.5898 +▁SMS -11.5898 +šnje -11.5899 +▁intenzivno -11.5899 +▁residential -11.59 +▁Philip -11.59 +▁pročitati -11.59 +▁uključeni -11.59 +▁1:1 -11.5901 +▁clock -11.5902 +app -11.5902 +▁stretch -11.5903 +▁Direct -11.5906 +vine -11.5908 +▁Austrije -11.5909 +▁Komisija -11.5909 +▁hektara -11.5909 +▁Enjoy -11.5909 +▁Account -11.591 +luk -11.591 +▁MB -11.591 +rama -11.5912 +ст -11.5912 +-7 -11.5913 +vir -11.5914 +5|| -11.5917 +▁ponuditi -11.5917 +▁decline -11.5918 +▁tehnologiju -11.5918 +gne -11.5919 +kul -11.5922 +nove -11.5922 +▁Sex -11.5923 +▁requests -11.5924 +▁otvaranju -11.5924 +▁imunitet -11.5924 +▁ploča -11.5926 +▁postigne -11.5926 +▁kartu -11.5927 +▁Ivanović -11.5927 +▁nesreća -11.5927 +▁Eye -11.5928 +▁enforcement -11.5928 +▁drag -11.5928 +sum -11.5928 +▁Osman -11.5928 +▁uspe -11.5929 +▁Ruski -11.5929 +▁2,5 -11.593 +▁nazvao -11.593 +них -11.5931 +ern -11.5932 +Mon -11.5932 +titi -11.5933 +▁vežba -11.5936 +▁pandemic -11.5937 +▁Rud -11.5937 +▁radikal -11.5937 +▁Plant -11.5938 +▁boravi -11.5938 +▁Šk -11.5938 +TM -11.5938 +▁infection -11.5942 +▁extension -11.5942 +▁Everyone -11.5942 +kciju -11.5942 +▁nekretnina -11.5943 +▁Sigurno -11.5943 +▁saving -11.5944 +▁povređen -11.5945 +Vo -11.5946 +▁MU -11.5946 +▁Challenge -11.5946 +▁pokreće -11.5946 +▁realizaciji -11.5947 +▁SVE -11.5948 +▁ATP -11.5949 +kus -11.5949 +▁dodatnu -11.5949 +▁Mančester -11.5956 +▁džamije -11.5956 +▁poginulo -11.5956 +▁približava -11.5956 +▁Quality -11.5956 +▁novembar -11.5956 +leta -11.5958 +▁delovima -11.5958 +▁rely -11.5959 +▁svečano -11.596 +jevi -11.5962 +▁Budit -11.5963 +ib -11.5964 +▁OVDE -11.5965 +▁sprovođenje -11.5966 +avanja -11.5966 +lot -11.5967 +▁Plav -11.597 +▁CT -11.597 +▁03. -11.597 +▁institut -11.5971 +▁characteristics -11.5972 +ATE -11.5972 +▁Sales -11.5972 +▁Enter -11.5973 +kultur -11.5973 +èe -11.5974 +▁laži -11.5976 +▁naučiti -11.5976 +▁Vir -11.5979 +FC -11.5979 +▁Log -11.598 +▁vrijedno -11.598 +▁laugh -11.5981 +dže -11.5981 +▁Sveti -11.5981 +▁Knežević -11.5982 +▁usvajanje -11.5982 +▁kontroli -11.5982 +▁atmosfera -11.5984 +▁ozbiljne -11.5984 +▁istragu -11.5984 +Ho -11.5984 +▁osnivanja -11.5986 +▁Greek -11.5986 +▁Matthew -11.5986 +▁entiteta -11.5987 +▁Registracija -11.5988 +▁komp -11.5988 +vnu -11.5989 +▁raspolaže -11.5989 +▁wi -11.5989 +▁Policijske -11.599 +▁slova -11.5991 +─ -11.5993 +▁NAPOMENA -11.5993 +▁accommodation -11.5993 +▁skupštini -11.5993 +▁pomogao -11.5993 +▁merely -11.5993 +▁awards -11.5995 +▁apartman -11.5995 +▁zatvoru -11.5997 +▁policiju -11.6003 +žite -11.6004 +pus -11.6004 +lama -11.6004 +▁Partner -11.6005 +kija -11.6006 +▁prvak -11.6006 +▁pažnja -11.6006 +▁razvijen -11.6007 +▁Bear -11.6008 +ago -11.6008 +▁CC -11.6008 +▁Rusiju -11.6009 +▁combat -11.6009 +▁temelj -11.6011 +▁firms -11.6014 +▁otvorila -11.6014 +С -11.6014 +▁gli -11.6015 +▁Protiv -11.602 +▁prihvatljiv -11.6021 +šo -11.6022 +▁koordinator -11.6023 +▁oral -11.6023 +▁platformi -11.6026 +▁socijalno -11.6027 +▁predvodi -11.6027 +▁odlične -11.6027 +▁tracking -11.6028 +▁strain -11.6029 +dok -11.6029 +▁standarde -11.6029 +▁jam -11.603 +▁heading -11.6031 +tog -11.6032 +▁dugme -11.6033 +▁bora -11.6034 +čite -11.6034 +▁DNA -11.6034 +▁mojih -11.6034 +▁različita -11.6034 +▁photography -11.6035 +ljene -11.6035 +home -11.6036 +▁neobično -11.6036 +▁nikoga -11.6037 +▁sponzor -11.6038 +▁05. -11.6039 +▁Mostara -11.604 +diti -11.6042 +▁managers -11.6046 +▁uplate -11.6046 +fil -11.6046 +sign -11.6047 +▁raspo -11.6047 +▁prezime -11.6048 +▁Fond -11.6051 +▁žrtvama -11.6052 +▁wire -11.6052 +▁Njemačka -11.6053 +▁unusual -11.6057 +▁carrying -11.6059 +▁vanredne -11.6059 +▁tjedna -11.606 +stein -11.606 +▁HO -11.6062 +▁enables -11.6066 +Nije -11.6068 +hl -11.6068 +▁Toronto -11.6069 +▁stranicama -11.6069 +▁spray -11.6069 +▁Centru -11.6069 +▁konflikt -11.6069 +hir -11.6069 +▁istraga -11.607 +▁killing -11.6071 +▁rice -11.6071 +▁droge -11.6071 +▁functional -11.6072 +▁announce -11.6073 +gres -11.6075 +SD -11.6076 +▁signature -11.6078 +▁Merkel -11.6078 +▁tonight -11.6079 +čenja -11.6081 +cht -11.6081 +▁programming -11.6081 +▁depends -11.6082 +▁zabilježen -11.6082 +▁till -11.6084 +št -11.6084 +▁sjajan -11.6084 +▁posjeti -11.6084 +▁organiziran -11.6085 +▁uzor -11.6085 +▁operator -11.6086 +▁angažman -11.6086 +oza -11.6086 +ćem -11.6087 +▁leather -11.6088 +▁novembru -11.6088 +▁profesionalni -11.6088 +▁umetnika -11.6088 +▁Petrov -11.6089 +▁isključi -11.6089 +▁kapiten -11.6089 +▁droga -11.609 +▁Mill -11.6091 +▁exposed -11.6092 +mond -11.6093 +▁zarada -11.6093 +▁kontra -11.6094 +▁kvalitetan -11.6094 +▁bića -11.6097 +▁čudi -11.6097 +▁potres -11.6097 +па -11.61 +▁poručuje -11.6101 +▁bound -11.6101 +▁procese -11.6102 +▁vremenski -11.6103 +sit -11.6104 +▁visokih -11.6104 +▁Saint -11.6105 +▁joining -11.6105 +▁judgment -11.6107 +▁disaster -11.6107 +▁poslovi -11.6107 +čana -11.6108 +ologiju -11.6108 +▁offense -11.6109 +▁bogatstvo -11.611 +rge -11.6114 +▁kupuje -11.6114 +▁usmjeren -11.6115 +▁Meanwhile -11.6116 +▁Square -11.6116 +▁polovini -11.6116 +▁dejstvo -11.6116 +▁Između -11.6117 +▁kraljev -11.6117 +▁veku -11.6117 +▁latter -11.6118 +▁Napomena -11.6119 +▁septembar -11.6119 +же -11.612 +▁dobijete -11.612 +▁ljudskog -11.6122 +▁harder -11.6123 +▁testa -11.6123 +▁attitude -11.6123 +▁medalje -11.6123 +▁nikome -11.6124 +▁pisanje -11.6125 +▁posting -11.6125 +▁devojka -11.6126 +▁brigu -11.6127 +▁navika -11.6127 +ume -11.6127 +bina -11.6128 +▁Bonus -11.6128 +AV -11.6129 +▁consists -11.6129 +▁lady -11.613 +▁behalf -11.6132 +gija -11.6132 +▁povišen -11.6132 +▁tekstova -11.6133 +vani -11.6134 +▁personality -11.6134 +▁stadion -11.6134 +▁coat -11.6134 +▁obnovu -11.6135 +▁sertifikat -11.6135 +▁Kel -11.6136 +El -11.6136 +VR -11.6137 +St -11.6137 +▁toalet -11.6137 +▁priority -11.6138 +▁bull -11.6139 +card -11.6139 +▁controls -11.614 +▁1:0 -11.6142 +▁današnjem -11.6142 +▁Žene -11.6143 +▁sufficient -11.6144 +▁bukvalno -11.6145 +▁ekonomija -11.6145 +▁Ash -11.6145 +▁Španije -11.6145 +▁extract -11.6146 +space -11.6149 +▁laid -11.6149 +ense -11.6149 +ffer -11.6151 +▁vla -11.6153 +▁FL -11.6153 +▁manufacturers -11.6155 +▁zabrane -11.6155 +▁Vijeće -11.6156 +▁impression -11.6156 +ient -11.6156 +čem -11.6158 +▁primeni -11.6158 +▁podijeljen -11.6159 +pija -11.6161 +▁snimanja -11.6162 +▁anymore -11.6162 +▁concert -11.6162 +▁belief -11.6162 +ĆE -11.6164 +▁napominje -11.6164 +▁criteria -11.6164 +▁prepreka -11.6164 +▁stručne -11.6164 +▁promocije -11.6164 +▁Šef -11.6166 +▁consultation -11.6166 +▁kamena -11.6167 +▁98 -11.6167 +▁colleagues -11.6168 +▁dev -11.6168 +▁koristimo -11.6169 +▁zvuka -11.6169 +▁dominira -11.617 +izmom -11.6171 +▁predavanje -11.6171 +hra -11.6172 +vremeni -11.6175 +▁prirodnog -11.6176 +siti -11.6177 +▁Mother -11.6177 +▁saznati -11.6178 +▁approaches -11.6179 +▁edit -11.6179 +hard -11.6179 +▁crash -11.6179 +▁trke -11.6179 +▁margin -11.6181 +▁organisation -11.6181 +▁Članovi -11.6182 +▁zajedničkog -11.6182 +She -11.6182 +▁exam -11.6182 +▁upozorio -11.6183 +▁Zealand -11.6183 +veden -11.6183 +▁(9 -11.6183 +rick -11.6183 +▁Sarah -11.6184 +▁Ska -11.6184 +▁tečnosti -11.6187 +▁structures -11.6188 +tors -11.6188 +▁Raš -11.6189 +▁korake -11.619 +▁sedmica -11.619 +▁Again -11.619 +▁NASA -11.6191 +▁oslanja -11.6191 +ened -11.6191 +▁chest -11.6192 +tija -11.6193 +▁certification -11.6193 +▁zdravlju -11.6193 +▁Anderson -11.6194 +▁kiša -11.6195 +▁seeds -11.6198 +▁Edin -11.6198 +▁Dog -11.6198 +vode -11.6198 +▁4- -11.6199 +▁volunteer -11.6199 +cno -11.62 +▁postavljena -11.6201 +▁Clinton -11.6202 +▁conversion -11.6202 +▁životni -11.6203 +▁duge -11.6204 +▁Pita -11.6204 +▁kratkom -11.6206 +во -11.6206 +▁tehnički -11.621 +▁fur -11.6211 +▁reprezentaciju -11.6212 +▁enjoying -11.6213 +▁ће -11.6213 +▁posed -11.6215 +▁prikazan -11.6215 +▁hits -11.6215 +▁ruskih -11.6215 +ude -11.6219 +lića -11.622 +▁closing -11.6221 +▁crna -11.6224 +čio -11.6225 +▁pojam -11.6225 +▁ući -11.6226 +HR -11.6226 +▁prilagođen -11.6227 +mora -11.6227 +▁povjerenje -11.6229 +isali -11.6229 +▁Ime -11.623 +▁mol -11.6231 +▁Ivica -11.6231 +▁Collection -11.6232 +▁papira -11.6233 +▁brzinom -11.6233 +hran -11.6234 +▁venture -11.6234 +▁Jason -11.6236 +▁IC -11.6236 +INE -11.6237 +kove -11.6237 +▁Motor -11.6237 +▁visoka -11.6237 +▁Sjedinjenih -11.6237 +ijem -11.6238 +▁maintaining -11.6239 +▁Six -11.6239 +▁concerning -11.624 +▁demokratske -11.6241 +▁participation -11.6241 +▁initially -11.6241 +▁Pravi -11.6241 +ening -11.6242 +đeni -11.6242 +▁presents -11.6243 +▁ruž -11.6243 +▁zavoda -11.6243 +▁zabranjen -11.6244 +▁wireless -11.6246 +▁parka -11.6246 +▁cas -11.6247 +▁meals -11.6248 +▁ribe -11.6249 +▁farmers -11.6249 +▁zabavlja -11.625 +ivi -11.6253 +▁cini -11.6253 +▁Size -11.6253 +power -11.6255 +▁Eastern -11.6256 +▁zadnjih -11.6256 +▁wh -11.6256 +▁stručno -11.6257 +▁cijelom -11.6258 +▁Cijena -11.6259 +▁različiti -11.6259 +ich -11.6259 +niju -11.6259 +▁Illinois -11.626 +▁doktora -11.6261 +▁opisuje -11.6263 +▁Njihov -11.6264 +polj -11.6265 +▁poverenje -11.6267 +▁praznik -11.6267 +leb -11.6268 +iro -11.6268 +▁nastanka -11.627 +▁senzor -11.627 +▁temelju -11.6271 +How -11.6271 +▁Available -11.6272 +▁Sanja -11.6272 +▁civilne -11.6275 +▁riješi -11.6277 +▁што -11.6279 +▁Dia -11.6279 +▁Sadržaj -11.6279 +▁zla -11.628 +from -11.628 +▁loose -11.628 +▁iznosila -11.6281 +tici -11.6282 +▁Hum -11.6282 +kraj -11.6284 +eur -11.6284 +▁Cons -11.6284 +▁pole -11.6286 +▁odgovarajući -11.6287 +En -11.6289 +▁polovine -11.6289 +▁najvažnijih -11.629 +▁(7 -11.6291 +▁Umesto -11.6292 +▁koncerta -11.6292 +vise -11.6293 +▁Things -11.6294 +lože -11.6294 +▁konkurent -11.6294 +▁medalju -11.6294 +▁heads -11.6296 +▁ensuring -11.6299 +▁povezane -11.6303 +▁import -11.6305 +▁Books -11.6306 +▁međunarodnom -11.6307 +▁nabavku -11.6308 +▁kompletno -11.631 +▁grupama -11.6312 +▁baviti -11.6312 +▁nos -11.6312 +▁domaćini -11.6313 +▁Cover -11.6313 +▁Ovom -11.6315 +▁ušli -11.6315 +▁sastava -11.6316 +▁thousand -11.6318 +▁mirror -11.6318 +ography -11.6318 +▁loop -11.6318 +▁Prištine -11.6318 +▁repeat -11.6319 +▁resume -11.6319 +▁treatments -11.6319 +sman -11.632 +▁trigger -11.6321 +▁izražavanja -11.6322 +▁odabir -11.6322 +▁jetre -11.6322 +▁pacijenti -11.6323 +▁prozora -11.6324 +▁visible -11.6324 +▁Comp -11.6324 +▁robu -11.6325 +▁zona -11.6328 +▁Linux -11.6332 +vci -11.6335 +▁Sale -11.6335 +▁životnu -11.6335 +▁..... -11.6337 +▁provesti -11.6337 +▁Original -11.6338 +cena -11.6338 +▁dnevnog -11.6339 +▁plaži -11.6339 +itar -11.634 +▁evropskog -11.634 +▁Child -11.6341 +▁susretu -11.6341 +ching -11.6342 +▁Gol -11.6344 +▁iznose -11.6345 +▁obeležava -11.6345 +SH -11.6345 +vicu -11.6345 +▁16, -11.6345 +▁shoulder -11.6345 +lim -11.6345 +Blic -11.6346 +čine -11.6346 +▁podršci -11.6347 +▁učestvovati -11.6347 +▁zvuči -11.6347 +▁američka -11.6347 +▁vek -11.6348 +▁elected -11.6349 +▁Blic -11.635 +▁povez -11.635 +▁Istina -11.6352 +▁buyers -11.6352 +▁hat -11.6353 +▁sought -11.6354 +izaciji -11.6356 +▁pogođen -11.6356 +▁optužbe -11.6357 +▁košarkaš -11.6357 +▁skupština -11.6357 +građ -11.6358 +▁ručak -11.6358 +▁Radovan -11.6358 +▁Connect -11.636 +▁učinili -11.6365 +▁Oxford -11.6367 +▁završetku -11.6367 +▁ishranu -11.6367 +▁centara -11.6368 +▁porodicom -11.6369 +▁izdavanje -11.6369 +▁react -11.6369 +▁celom -11.6369 +▁ramp -11.6369 +▁prijatno -11.6369 +ţi -11.637 +▁krivičnih -11.637 +dna -11.637 +▁pointed -11.637 +▁vratima -11.637 +emo -11.637 +gram -11.6373 +peri -11.6374 +šla -11.6375 +▁preuzme -11.6376 +▁Harvard -11.6377 +▁Sp -11.6377 +▁braku -11.6377 +▁uniji -11.6379 +▁1950 -11.6383 +veli -11.6383 +▁Koje -11.6385 +▁Đurić -11.6385 +▁magazin -11.6386 +▁fifth -11.6386 +▁Oregon -11.6386 +▁dele -11.6387 +▁proceni -11.6387 +▁kapetan -11.6389 +▁opasno -11.6389 +▁cuts -11.6391 +▁filozof -11.6391 +▁2012, -11.6393 +▁spadaju -11.6393 +▁dodatna -11.6394 +▁facilitate -11.6396 +▁podstiče -11.6396 +▁Ang -11.6396 +▁snažan -11.6397 +▁kontaktu -11.6398 +laze -11.6399 +▁08. -11.64 +ITI -11.64 +▁plane -11.6401 +▁sudeći -11.6401 +DP -11.6402 +▁postupa -11.6402 +▁Mix -11.6403 +▁plasira -11.6403 +▁govorim -11.6404 +▁planeta -11.6404 +▁arrested -11.6406 +▁nabavke -11.6406 +▁Kam -11.6408 +Ri -11.6408 +dru -11.6408 +▁jezero -11.6409 +▁klanja -11.641 +▁Nemojte -11.641 +▁izborne -11.6411 +yard -11.6411 +gore -11.6412 +bble -11.6412 +rri -11.6413 +▁osnov -11.6414 +▁izlazak -11.6414 +Parovi -11.6414 +▁regions -11.6414 +▁shell -11.6414 +▁demands -11.6415 +▁litara -11.6416 +▁arrival -11.6416 +▁potencijalno -11.6416 +ying -11.6416 +▁indicate -11.6416 +▁sednici -11.6417 +MAN -11.6417 +▁gap -11.6417 +Tu -11.6418 +▁greatly -11.6419 +▁Deca -11.6422 +ujući -11.6422 +▁razvijaju -11.6422 +▁volite -11.6423 +▁napomenuti -11.6423 +ode -11.6424 +▁97 -11.6424 +ље -11.6424 +▁televizija -11.6425 +▁Computer -11.6425 +bolje -11.6426 +▁Pad -11.6427 +čnih -11.6427 +▁idem -11.6429 +▁rapid -11.6429 +▁Bil -11.6429 +evima -11.643 +▁Bogdan -11.6431 +▁donošenja -11.6432 +▁fault -11.6433 +▁titles -11.6433 +▁privatne -11.6435 +▁Tuzle -11.6435 +▁involving -11.6435 +▁array -11.6435 +▁moderne -11.6436 +▁02. -11.6437 +▁vijeće -11.6437 +▁Fonda -11.6439 +▁šeta -11.644 +▁podeljen -11.644 +▁određen -11.6441 +▁Gru -11.6442 +▁Give -11.6443 +▁rastvor -11.6444 +▁Želim -11.6444 +▁Gradonačelnik -11.6445 +▁Zenici -11.6449 +▁Kir -11.645 +dati -11.6452 +▁prešao -11.6454 +▁poboljšanja -11.6455 +▁Austriji -11.6455 +▁Consider -11.6455 +▁potvrda -11.6455 +▁suggestions -11.6455 +▁svjedoči -11.6459 +▁pacijent -11.646 +▁nauči -11.6461 +▁približi -11.6463 +▁sorry -11.6463 +▁WordPress -11.6465 +▁Judge -11.6465 +▁Article -11.6466 +▁vraćen -11.6466 +▁headed -11.6466 +▁Cost -11.6468 +try -11.6468 +▁certified -11.6469 +idi -11.647 +▁Columbia -11.647 +▁traveling -11.6471 +▁idealan -11.6471 +▁improvements -11.6471 +▁refund -11.6472 +▁ops -11.6472 +▁princip -11.6472 +▁Ustav -11.6472 +▁plaši -11.6473 +▁pružanje -11.6473 +▁Clean -11.6473 +▁complicated -11.6475 +eb -11.6475 +▁dnevnik -11.6475 +▁2.5 -11.6476 +▁povr -11.6478 +▁shops -11.6479 +tima -11.6479 +▁93 -11.648 +▁kontinuirano -11.6481 +▁Audi -11.6482 +▁Tele -11.6482 +▁pisma -11.6483 +▁succeed -11.6484 +▁gotten -11.6486 +ener -11.6487 +▁navedenog -11.6488 +▁istorija -11.6489 +kuša -11.6489 +▁consequences -11.6489 +rous -11.6491 +▁gura -11.6493 +▁Jeste -11.6493 +▁legitim -11.6494 +▁Moskvi -11.6494 +▁assault -11.6495 +▁subscription -11.6495 +▁rasprava -11.6495 +▁subjects -11.6495 +▁objašnjenja -11.6496 +▁braka -11.6496 +▁Ac -11.6496 +▁Predstavnici -11.6497 +▁bezbjednosti -11.6497 +▁Create -11.6499 +gao -11.6499 +▁najvećeg -11.65 +▁Anna -11.6503 +rova -11.6504 +▁basket -11.6505 +▁peto -11.6505 +▁radnji -11.6505 +stin -11.6505 +ZI -11.6505 +▁). -11.6506 +▁neverovatno -11.6506 +▁kupcima -11.6507 +▁porodicama -11.6508 +▁booking -11.6511 +vno -11.6512 +▁Level -11.6512 +loga -11.6513 +▁Spain -11.6513 +▁popularni -11.6514 +▁1997 -11.6514 +▁Premier -11.6514 +▁potrošnje -11.6514 +▁preuzima -11.6516 +▁vojnih -11.6516 +▁sadržaji -11.6516 +▁mit -11.6517 +pić -11.6518 +PT -11.652 +▁Nešto -11.652 +▁napore -11.6521 +▁Side -11.6521 +▁Pick -11.6521 +▁stvoriti -11.6522 +▁strongly -11.6522 +▁Sala -11.6523 +▁pravilu -11.6523 +▁takvom -11.6524 +▁specialist -11.6524 +▁utilize -11.6524 +▁klijent -11.6524 +▁removal -11.6524 +▁odlaze -11.6526 +▁poslovnim -11.6526 +▁komandant -11.6527 +▁nemački -11.6528 +▁Francis -11.6528 +stala -11.6529 +▁styles -11.6529 +Nema -11.653 +▁scope -11.6531 +vrat -11.6531 +▁Fudbaleri -11.6531 +▁generated -11.6532 +▁žalost -11.6532 +0) -11.6533 +▁ISO -11.6533 +▁političkom -11.6533 +▁Ave -11.6533 +▁applicable -11.6534 +▁statusa -11.6534 +▁imaće -11.6534 +▁Grčkoj -11.6534 +▁covjek -11.6534 +▁seats -11.6535 +▁sentence -11.6536 +▁zdravo -11.6537 +▁trenucima -11.6537 +▁bills -11.6537 +▁Fudbal -11.6538 +▁vod -11.6539 +▁mature -11.6539 +▁Dobri -11.6539 +/2 -11.6542 +anu -11.6542 +▁Core -11.6544 +▁omladine -11.6544 +▁ispravke -11.6544 +▁vlastite -11.6544 +▁newspaper -11.6546 +world -11.6548 +▁Products -11.6548 +▁provode -11.6548 +▁modele -11.6549 +▁Iron -11.6551 +▁Nikada -11.6552 +▁cor -11.6552 +▁Srbe -11.6553 +▁oblačno -11.6554 +▁explanation -11.6554 +▁Prošle -11.6554 +▁vladu -11.6555 +▁palm -11.6555 +▁Sr -11.6555 +▁awarded -11.6557 +▁riding -11.6557 +▁Hope -11.6558 +who -11.656 +▁mlad -11.6561 +▁prekr -11.6561 +▁zaslužuje -11.6562 +▁finds -11.6562 +▁spec -11.6563 +▁Jedini -11.6563 +▁Poštovani -11.6564 +▁brašno -11.6564 +▁seksualno -11.6564 +▁casual -11.6564 +▁molimo -11.6564 +▁značenje -11.6566 +▁Sur -11.6567 +Ć -11.6567 +▁protivnik -11.6567 +mili -11.6567 +▁svakoga -11.6568 +▁elemente -11.6569 +▁eks -11.6573 +▁dozvoliti -11.6573 +▁brilliant -11.6574 +▁teorija -11.6574 +▁smiri -11.6575 +rent -11.6575 +▁Kasnije -11.6575 +hold -11.6577 +▁Ble -11.6577 +▁garantuje -11.6577 +including -11.6578 +▁spavanje -11.6581 +▁iskustvom -11.6582 +rbi -11.6582 +čnog -11.6582 +▁opa -11.6583 +email -11.6584 +šenje -11.6584 +▁visina -11.6585 +▁Visoko -11.6585 +▁semi -11.6588 +▁vezan -11.6589 +▁entering -11.6589 +▁Prvog -11.6589 +▁Everything -11.6589 +▁wins -11.6589 +▁printed -11.6591 +▁zadataka -11.6592 +▁encouraged -11.6593 +▁ušla -11.6593 +▁iskusni -11.6594 +▁stižu -11.6594 +▁racing -11.6594 +▁fen -11.6595 +▁objasniti -11.6595 +ndu -11.6595 +▁štab -11.6596 +▁djecom -11.6597 +▁94 -11.6597 +▁limuna -11.6597 +▁majku -11.6598 +▁bojama -11.6599 +▁1995 -11.6599 +▁zakoni -11.6602 +▁ventil -11.6602 +▁UP -11.6602 +▁neza -11.6603 +▁compensation -11.6604 +▁kompromis -11.6604 +▁arch -11.6604 +▁convert -11.6604 +▁dovelo -11.6604 +▁dominant -11.6605 +▁automat -11.6606 +▁navodeći -11.6609 +▁živjeti -11.661 +▁Odbora -11.6611 +▁patriot -11.6611 +▁unknown -11.6611 +▁contained -11.6612 +▁kanalu -11.6613 +▁sastojke -11.6614 +▁101 -11.6614 +▁horizontal -11.6615 +▁užas -11.6615 +vak -11.6616 +▁roditelj -11.6617 +ways -11.662 +▁observe -11.662 +▁prethodni -11.662 +ppy -11.6622 +▁predstavu -11.6623 +sey -11.6623 +▁muslimani -11.6625 +stabil -11.6625 +▁ugljen -11.6625 +▁weak -11.6625 +jedno -11.6628 +▁ogleda -11.663 +godišnje -11.6631 +▁illness -11.6631 +▁mistake -11.6631 +▁dostavljen -11.6632 +▁rođena -11.6633 +▁hol -11.6634 +▁bitan -11.6634 +▁jeseni -11.6635 +▁origin -11.664 +▁Deb -11.6641 +▁obilježava -11.6642 +▁poče -11.6643 +▁najavila -11.6643 +act -11.6643 +▁psiho -11.6644 +▁telephone -11.6644 +▁GP -11.6644 +▁pritvor -11.6644 +▁stol -11.6645 +▁rađen -11.6647 +▁povratku -11.6648 +NK -11.665 +▁posvećena -11.665 +▁sličnih -11.6651 +▁pečat -11.6651 +▁Muhamed -11.6654 +▁devojke -11.6654 +▁chronic -11.6654 +▁occasion -11.6654 +▁hook -11.6655 +▁osnovnim -11.6655 +CU -11.6655 +EG -11.6655 +▁skokova -11.6656 +▁kakvi -11.6657 +čari -11.6657 +▁association -11.6657 +mić -11.6659 +▁okoliša -11.666 +trans -11.666 +▁odgovorno -11.6661 +ious -11.6661 +atory -11.6662 +▁uhvati -11.6663 +▁podu -11.6664 +▁Ukrajina -11.6664 +▁writes -11.6664 +▁као -11.6665 +▁peti -11.6665 +▁stići -11.6665 +▁army -11.6667 +▁Mail -11.6667 +▁loving -11.6668 +▁ptica -11.6669 +▁lokalnoj -11.6669 +onic -11.667 +ister -11.6671 +PD -11.6672 +▁vodeći -11.6673 +▁granted -11.6673 +▁Tužilaštva -11.6674 +▁acquisition -11.6674 +▁naknada -11.6674 +▁childhood -11.6674 +▁Svakako -11.6678 +▁17, -11.668 +ljo -11.668 +▁pocket -11.6682 +4) -11.6683 +▁studira -11.6683 +▁skupina -11.6683 +▁hiljadu -11.6684 +škog -11.6684 +▁Medi -11.6685 +▁nastavu -11.6685 +▁nedeljno -11.6685 +▁kro -11.6686 +▁cur -11.6687 +▁pogodak -11.6687 +▁progon -11.6687 +▁forumu -11.6688 +laca -11.6688 +▁lane -11.6688 +▁datuma -11.6688 +▁04. -11.6689 +▁opisan -11.6689 +pira -11.669 +pic -11.669 +▁ostvarila -11.6691 +▁okružen -11.6692 +бе -11.6692 +▁dovode -11.6692 +▁Kragujevcu -11.6694 +▁povezivanje -11.6694 +▁containing -11.6694 +▁adresi -11.6695 +▁Wilson -11.6695 +▁kata -11.6696 +▁Winter -11.6698 +▁requirement -11.6701 +:25 -11.6702 +▁Weight -11.6702 +nese -11.6702 +▁usage -11.6702 +▁teških -11.6703 +▁Bowl -11.6703 +▁sajmu -11.6704 +▁diplomat -11.6706 +tao -11.6706 +bul -11.6706 +▁Money -11.6707 +▁ма -11.6707 +▁studiju -11.6707 +Lu -11.6707 +▁Working -11.6709 +▁soka -11.6711 +One -11.6712 +crta -11.6712 +▁accuracy -11.6714 +▁narrative -11.6714 +▁Reference -11.6714 +▁differ -11.6715 +▁investitora -11.6715 +??? -11.6716 +▁Study -11.6716 +▁foruma -11.6716 +▁Dor -11.6718 +tov -11.6718 +▁Mara -11.672 +ced -11.672 +IV -11.672 +šen -11.6721 +▁delove -11.6721 +▁vraćaju -11.6721 +▁upoznao -11.6723 +▁scenes -11.6723 +cked -11.6725 +2016 -11.6725 +tha -11.6726 +▁nastavljaju -11.6726 +ctic -11.6726 +ICE -11.6727 +▁diversity -11.6728 +▁Gospodin -11.6729 +▁Self -11.673 +▁obračun -11.6731 +any -11.6733 +▁formation -11.6733 +▁Zelen -11.6734 +▁Hamilton -11.6735 +▁koren -11.6735 +▁zdravstveni -11.6735 +▁electricity -11.6736 +▁setup -11.6737 +▁ekonomskog -11.6738 +▁stečen -11.6739 +▁akt -11.6739 +▁dnevnom -11.674 +▁kazali -11.674 +▁spr -11.674 +ба -11.6743 +▁equally -11.6743 +▁ostvare -11.6744 +▁ume -11.6744 +py -11.6744 +▁flying -11.6745 +▁oslobodi -11.6745 +▁takmičar -11.6746 +kovac -11.6746 +▁efekti -11.6747 +▁VE -11.6748 +▁specijalno -11.6749 +▁Beču -11.6751 +▁prostran -11.6751 +▁witness -11.6752 +▁sastavljen -11.6752 +▁krila -11.6753 +ote -11.6754 +▁stayed -11.6754 +zon -11.6754 +▁manifest -11.6754 +▁fraud -11.6755 +▁upoznaju -11.6756 +▁prevod -11.6756 +▁optuženi -11.6756 +▁Andrej -11.6757 +▁vjeruju -11.6757 +▁osmeh -11.6758 +▁stakla -11.6758 +lip -11.6759 +▁boxes -11.676 +▁represented -11.6761 +▁Alan -11.6762 +▁stope -11.6762 +ин -11.6763 +▁sankcija -11.6763 +▁istinit -11.6763 +▁nesreći -11.6765 +▁poređenju -11.6765 +▁hranom -11.6765 +▁exit -11.6765 +▁sistemom -11.6765 +ulation -11.6765 +ф -11.6765 +▁injured -11.6766 +▁Diego -11.6766 +▁blocks -11.6766 +▁Dave -11.6768 +enu -11.6769 +▁tiču -11.6769 +ND -11.6769 +▁raspravlja -11.677 +▁zastupa -11.6771 +▁Cla -11.6772 +▁Univerzitet -11.6772 +▁implant -11.6773 +▁Peru -11.6774 +▁presudu -11.6775 +▁tužitelj -11.6775 +▁stid -11.6776 +biju -11.6776 +▁CNN -11.6777 +zio -11.6777 +▁priključi -11.6777 +▁lečenja -11.6777 +▁Kelly -11.6781 +ory -11.6781 +biljež -11.6782 +▁nezavisnost -11.6782 +▁žrtva -11.6783 +▁Ostali -11.6783 +▁budite -11.6784 +▁dijelova -11.6785 +hid -11.6785 +▁smisao -11.6785 +▁hormona -11.6786 +▁30- -11.6786 +spec -11.6786 +▁Fran -11.6787 +▁conservative -11.6788 +legal -11.6789 +▁skr -11.6789 +glo -11.6789 +▁manjina -11.6791 +▁jedinstveni -11.6791 +▁scan -11.6795 +▁integral -11.6795 +▁engaging -11.6795 +▁novina -11.6796 +▁rezervi -11.6798 +▁snijeg -11.6799 +ан -11.6799 +َ -11.6799 +▁savlada -11.6799 +▁Custom -11.68 +▁praćen -11.6803 +▁jugoistočn -11.6805 +▁današnjoj -11.6806 +▁swimming -11.6806 +▁filmove -11.6806 +)|| -11.6809 +▁Živ -11.6812 +▁računara -11.6813 +▁stranci -11.6814 +fire -11.6814 +▁1993. -11.6816 +▁dnevne -11.6816 +▁equivalent -11.6816 +▁pregovore -11.6816 +▁NC -11.6817 +▁finger -11.6817 +ста -11.6817 +▁Moreover -11.6818 +▁trg -11.6818 +▁zapita -11.6822 +▁ed -11.6824 +▁Isus -11.6825 +▁atmosferi -11.6826 +▁posljednja -11.6826 +▁prisutne -11.6826 +▁Israeli -11.6827 +▁snu -11.6827 +▁gorivo -11.6827 +▁procenat -11.6827 +▁Uprava -11.6828 +▁def -11.6829 +▁proširen -11.683 +boga -11.6831 +▁boss -11.6832 +/5 -11.6832 +▁uspjela -11.6833 +▁izrazito -11.6833 +kori -11.6833 +▁Muzej -11.6834 +Ima -11.6835 +ж -11.6835 +▁Vladimira -11.6835 +▁89 -11.6836 +zol -11.6836 +▁prayer -11.6837 +▁pominje -11.6837 +▁provod -11.6837 +▁organizatori -11.6839 +▁Knjiga -11.684 +▁respectively -11.684 +▁chart -11.6841 +Rad -11.6844 +▁hidro -11.6844 +▁drinks -11.6846 +▁tužilaštvu -11.6847 +▁napokon -11.6847 +građen -11.6848 +▁Slika -11.6848 +ncy -11.6849 +▁maska -11.6849 +▁lesson -11.6849 +▁yard -11.6849 +▁prijaviti -11.685 +▁kilogram -11.6851 +▁reveal -11.6851 +▁gained -11.6852 +▁smartphone -11.6852 +udi -11.6853 +EU -11.6854 +▁pozivaju -11.6855 +...) -11.6855 +▁uživanje -11.6855 +živ -11.6856 +▁faced -11.6856 +▁entrance -11.6857 +roid -11.6858 +-13 -11.6858 +▁Server -11.6859 +▁Single -11.6859 +▁steam -11.6861 +▁SI -11.6861 +▁initiative -11.6862 +▁sp -11.6863 +▁duha -11.6865 +▁prostorija -11.6866 +cur -11.6866 +▁Sastojci -11.6867 +▁decent -11.6867 +▁započela -11.6867 +▁šansa -11.6867 +ates -11.6867 +▁horoskop -11.687 +▁mesečno -11.687 +▁mladog -11.6871 +▁Station -11.6872 +▁Body -11.6873 +▁povrijeđen -11.6873 +▁važe -11.6875 +ó -11.6875 +▁Sjedinjen -11.6876 +▁poboljšati -11.6876 +▁Steven -11.6876 +▁potvrdili -11.6876 +▁baci -11.6877 +klop -11.6877 +▁stekao -11.6877 +Ob -11.6878 +▁belt -11.6878 +▁linku -11.6879 +▁slanje -11.6879 +▁plin -11.6879 +▁BDP -11.688 +▁21, -11.6881 +▁biraju -11.6882 +▁či -11.6883 +▁adopted -11.6886 +2019 -11.6887 +▁transmission -11.6888 +▁zadovolji -11.6889 +▁workshop -11.6889 +▁dollar -11.689 +▁jake -11.6891 +đenje -11.6891 +▁Vla -11.6892 +oto -11.6892 +laskom -11.6892 +▁obraća -11.6893 +▁neiz -11.6894 +▁pozitivnih -11.6894 +▁occurs -11.6895 +▁mač -11.6897 +▁kvalitetne -11.6897 +▁haos -11.6897 +▁gathering -11.6897 +ničke -11.6897 +▁Cre -11.6898 +▁razlikuju -11.6899 +▁Podsetimo -11.69 +▁sink -11.6901 +▁izvesti -11.6901 +▁vrhunski -11.6901 +▁Fast -11.6902 +▁Brad -11.6903 +▁conclusion -11.6904 +jac -11.6904 +▁bogate -11.6907 +▁listing -11.6908 +▁survive -11.6908 +▁primenjuje -11.6908 +▁creva -11.6911 +▁Limited -11.6912 +▁Očekuje -11.6913 +▁zatvori -11.6914 +▁meša -11.6915 +šev -11.6915 +▁proučava -11.6915 +▁postojećih -11.6915 +▁neto -11.6916 +SB -11.6916 +▁okvira -11.6916 +▁prihvatio -11.6916 +▁istinski -11.6918 +▁kompaniju -11.6918 +▁perspektive -11.6918 +▁Rojters -11.6918 +▁Junior -11.6919 +đuju -11.692 +▁Kamen -11.6922 +▁downtown -11.6922 +▁zakazan -11.6923 +▁flower -11.6923 +▁delay -11.6925 +▁NJ -11.6926 +▁Teme -11.6928 +▁disc -11.6928 +▁Austin -11.6929 +▁Jacob -11.6929 +▁Records -11.6929 +▁centers -11.693 +▁povezana -11.693 +▁Komentar -11.6931 +▁Hel -11.6933 +nijim -11.6933 +▁Čo -11.6934 +▁dizel -11.6934 +▁Meta -11.6935 +▁farmer -11.6936 +▁returning -11.6936 +▁Ms -11.6937 +▁negira -11.6937 +▁union -11.6937 +▁Due -11.6937 +▁referendum -11.6938 +▁Arab -11.6939 +▁označen -11.6939 +▁arrest -11.6939 +▁intervencije -11.694 +ktor -11.694 +▁izvršni -11.694 +▁Moguće -11.694 +▁personnel -11.6941 +▁osmo -11.6941 +▁donela -11.6942 +type -11.6943 +▁stages -11.6943 +▁upgrade -11.6944 +month -11.6947 +▁Srbin -11.6948 +▁MR -11.6948 +▁uvjetima -11.6948 +▁Pur -11.695 +▁decenijama -11.6951 +▁assess -11.6952 +bud -11.6952 +craft -11.6953 +▁Biden -11.6953 +▁sistemi -11.6954 +▁Bok -11.6955 +▁Kraj -11.6955 +▁usmeren -11.6956 +hla -11.6956 +▁Justin -11.6956 +kovića -11.6956 +▁deeply -11.6957 +▁07. -11.6957 +iteta -11.6959 +▁Ukrajinu -11.696 +▁kuhinja -11.696 +▁vlasništvo -11.696 +ANJE -11.6962 +▁tvoja -11.6963 +▁posluje -11.6963 +▁Vojske -11.6963 +▁čuveni -11.6963 +▁pricing -11.6964 +▁investira -11.6964 +NT -11.6965 +▁Mul -11.6967 +▁1996 -11.6968 +▁Song -11.6968 +||2 -11.6968 +▁svetskih -11.6969 +▁cenama -11.6969 +dig -11.6969 +▁metro -11.6969 +900 -11.697 +American -11.697 +▁depression -11.697 +▁prirodu -11.697 +▁praksu -11.697 +▁greška -11.6971 +▁baseball -11.6971 +▁Five -11.6972 +▁equipped -11.6974 +shing -11.6975 +▁Rast -11.6975 +wel -11.6975 +▁bioskop -11.6975 +▁sections -11.6976 +master -11.6976 +▁Update -11.6977 +▁leak -11.6979 +▁šu -11.698 +▁Pirot -11.6981 +▁composition -11.6981 +▁zabavu -11.6981 +▁Return -11.6983 +Or -11.6983 +▁Magazine -11.6985 +▁brigade -11.6986 +▁Ivo -11.6986 +▁Comments -11.6987 +jedna -11.6987 +▁upale -11.6987 +HS -11.6988 +nan -11.699 +▁procesor -11.699 +▁stopala -11.6991 +▁izazvao -11.6991 +▁energijom -11.6991 +▁1996. -11.6991 +▁odgoj -11.6992 +▁otkrije -11.6992 +puta -11.6993 +▁tamno -11.6993 +▁višak -11.6994 +▁žar -11.6995 +▁Ask -11.6997 +▁naknadno -11.6997 +ency -11.6998 +▁iznosio -11.7001 +▁ogromne -11.7001 +▁držati -11.7001 +▁prvobitno -11.7001 +▁skida -11.7002 +cro -11.7003 +▁|| -11.7004 +▁lifetime -11.7005 +▁hide -11.7006 +▁Travnik -11.7006 +▁reporter -11.7006 +▁cre -11.7007 +▁predstavljanje -11.7008 +▁uzimaju -11.7008 +▁rece -11.701 +▁pitam -11.701 +▁2.000 -11.7011 +▁narodne -11.7011 +▁plavo -11.7012 +▁diabetes -11.7012 +▁podržati -11.7012 +▁Seattle -11.7012 +▁ispriča -11.7013 +▁ugla -11.7014 +▁objasni -11.7015 +▁Mesec -11.7015 +▁Pros -11.7016 +▁rapidly -11.7017 +rol -11.7017 +▁cvet -11.7019 +▁Short -11.7019 +æ -11.7021 +▁entitled -11.7022 +▁iskren -11.7024 +▁ljudski -11.7024 +▁iduće -11.7026 +▁ponuđen -11.7027 +б -11.7027 +▁1994. -11.7028 +▁Fejsbuk -11.7029 +▁pojedinci -11.7032 +nosi -11.7032 +▁FE -11.7032 +▁manastir -11.7033 +▁highlight -11.7034 +▁obrazac -11.7034 +▁Slovenija -11.7034 +▁Nature -11.7036 +known -11.7039 +tiku -11.704 +▁Allen -11.704 +▁krvnih -11.704 +▁representation -11.7041 +ktu -11.7041 +▁komfor -11.7042 +▁interesovanja -11.7043 +sol -11.7043 +pušten -11.7044 +▁Kle -11.7046 +pio -11.7046 +▁Stock -11.7048 +anta -11.7049 +▁najboljem -11.7049 +kt -11.705 +jon -11.7051 +▁dje -11.7051 +▁Kaz -11.7051 +О -11.7052 +other -11.7052 +▁skuplja -11.7053 +mission -11.7053 +▁Fashion -11.7053 +▁pitaju -11.7054 +▁važnu -11.7054 +▁Općina -11.7054 +znu -11.7054 +▁predstavila -11.7054 +▁bin -11.7055 +▁ravno -11.7055 +▁ratova -11.7056 +▁mah -11.7056 +▁kva -11.7056 +▁svijesti -11.7056 +LD -11.7057 +els -11.7058 +zak -11.7058 +▁|1 -11.7058 +▁stalo -11.706 +▁Hasan -11.7062 +▁adjust -11.7062 +wl -11.7063 +▁Stop -11.7063 +▁prodavnice -11.7064 +▁pravda -11.7064 +▁pušten -11.7064 +▁divlje -11.7065 +ison -11.7065 +▁packed -11.7065 +▁uspjeha -11.7066 +▁ligu -11.7066 +Va -11.7066 +:40 -11.7069 +▁dodje -11.7069 +▁relation -11.707 +▁bearing -11.707 +▁sumnjiv -11.7072 +▁Nedavno -11.7073 +▁1/4 -11.7074 +▁strengthen -11.7074 +▁kontroliše -11.7075 +▁uvodi -11.7075 +▁chill -11.7076 +▁Zapravo -11.7077 +▁obaviti -11.7078 +▁Sporazum -11.7081 +▁20- -11.7081 +▁genre -11.7081 +▁bre -11.7082 +▁radilo -11.7082 +ični -11.7083 +▁ek -11.7084 +▁dokazi -11.7085 +▁želeli -11.7085 +▁examination -11.7085 +▁kompleksa -11.7085 +▁bass -11.7086 +▁izgledati -11.7086 +▁pali -11.7086 +▁Leon -11.7087 +▁Living -11.7089 +▁bold -11.7089 +▁Jokić -11.7089 +▁lemon -11.709 +▁Gleda -11.709 +▁prestižn -11.7093 +▁prijeti -11.7094 +||4 -11.7094 +▁5.000 -11.7095 +▁leđima -11.7095 +▁studied -11.7095 +▁displayed -11.7095 +▁Jugoslaviji -11.7096 +▁ljubi -11.7098 +▁lijekova -11.7098 +▁opinions -11.7098 +▁instalira -11.7099 +▁gradnje -11.71 +▁snosi -11.7101 +▁savremene -11.7101 +ovca -11.7101 +▁normalan -11.7102 +▁veština -11.7103 +▁zapadne -11.7103 +▁najavljeno -11.7103 +jska -11.7104 +hel -11.7104 +▁italijanski -11.7106 +▁oporavi -11.7106 +И -11.7108 +▁posjeta -11.711 +oru -11.7111 +▁brze -11.7112 +▁prevoza -11.7114 +▁čuvaju -11.7115 +bert -11.7116 +ovalo -11.7116 +▁naknadu -11.7116 +▁intellectual -11.7116 +▁Based -11.7117 +ља -11.7117 +▁zasto -11.7117 +jskog -11.7117 +bound -11.7118 +▁kosi -11.7119 +▁gambling -11.7119 +alo -11.7121 +▁koli -11.7122 +▁opšti -11.7122 +▁zahteve -11.7124 +▁lokalnog -11.7126 +▁flexibility -11.7127 +▁basketball -11.7127 +▁usvojila -11.7128 +▁mile -11.7129 +▁Pas -11.7129 +▁RTV -11.7133 +▁nastavnika -11.7133 +▁određenu -11.7135 +▁teritoriju -11.7137 +ćih -11.7137 +▁behaviour -11.7137 +▁najavljuje -11.7137 +▁Crkve -11.7138 +▁dvorištu -11.7138 +▁pojedinca -11.7139 +▁dušu -11.7139 +▁Mađarske -11.7139 +▁pravna -11.714 +▁1992 -11.714 +▁misao -11.714 +▁asks -11.714 +▁smeštaja -11.7142 +▁nastoji -11.7142 +tol -11.7145 +▁podjednako -11.7145 +▁cho -11.7145 +▁filling -11.7146 +▁udario -11.7147 +▁ustvari -11.7148 +▁oprez -11.7148 +▁planiranje -11.7148 +▁nikakvih -11.7151 +▁tenis -11.7152 +begović -11.7153 +▁emotions -11.7153 +kn -11.7154 +meter -11.7158 +rich -11.7158 +▁interaction -11.7158 +▁osjetljiv -11.7159 +▁philosophy -11.7159 +▁Ahmed -11.7159 +▁odredbe -11.716 +:11 -11.7161 +▁recipes -11.7162 +▁Vidi -11.7162 +▁tower -11.7162 +▁hod -11.7163 +Th -11.7163 +▁Jur -11.7163 +▁moon -11.7164 +▁crvene -11.7165 +▁Solutions -11.7165 +▁jun -11.7167 +▁rough -11.7169 +▁91 -11.7169 +▁dugoročno -11.7169 +ujem -11.717 +▁Reg -11.717 +city -11.7172 +▁protekle -11.7172 +▁Edward -11.7173 +▁depend -11.7174 +▁indoor -11.7174 +▁predict -11.7174 +▁Šest -11.7175 +▁Opština -11.7176 +▁izloženi -11.7176 +emi -11.7177 +▁pređe -11.7179 +▁intern -11.7179 +▁wrap -11.718 +▁Greg -11.718 +▁æe -11.718 +luž -11.7181 +▁volunteers -11.7182 +ters -11.7183 +▁učenik -11.7184 +▁Know -11.7185 +▁genetic -11.7185 +▁insights -11.7186 +▁komplet -11.7187 +▁Democrats -11.7189 +AMA -11.7189 +▁column -11.7189 +▁nogomet -11.719 +▁neprestano -11.719 +▁enemy -11.719 +▁Furthermore -11.719 +▁primanja -11.7193 +tone -11.7193 +▁Victoria -11.7193 +MU -11.7194 +▁span -11.7194 +▁negativne -11.7194 +gl -11.7196 +▁По -11.7196 +▁zrak -11.7198 +▁vodo -11.7199 +▁museum -11.72 +▁nikakvu -11.7201 +▁šampon -11.7201 +▁reši -11.7201 +▁završni -11.7201 +▁admission -11.7201 +▁sudbina -11.7202 +njoj -11.7202 +pire -11.7202 +▁odgovoriti -11.7204 +▁font -11.7205 +▁Quick -11.7205 +▁bolnica -11.7206 +▁programi -11.7206 +tana -11.7208 +vera -11.721 +▁prekid -11.7211 +...... -11.7212 +▁navike -11.7212 +▁vodič -11.7213 +▁promenu -11.7213 +▁otvorene -11.7214 +rca -11.7215 +▁(8 -11.7216 +▁opći -11.7218 +▁formalno -11.7218 +▁Univerzitetu -11.7218 +riji -11.722 +▁Unit -11.722 +▁transaction -11.7221 +▁medication -11.7222 +▁stvorio -11.7222 +▁prebačen -11.7222 +mid -11.7224 +▁CV -11.7224 +▁loša -11.7225 +▁upisao -11.7225 +▁promocija -11.7226 +▁bars -11.7226 +VAN -11.7226 +person -11.7227 +▁ovlašćen -11.7228 +▁prljav -11.7229 +▁okončan -11.7229 +▁vuk -11.7229 +dine -11.7229 +▁Ann -11.723 +word -11.723 +▁exceptional -11.7231 +▁Vesna -11.7232 +▁mlijeka -11.7233 +shire -11.7233 +lent -11.7234 +▁šume -11.7236 +▁valve -11.7236 +▁Šar -11.7236 +▁njezin -11.7239 +▁apel -11.7239 +laže -11.7239 +ićem -11.7239 +▁pokrenula -11.724 +▁izgubljen -11.724 +mali -11.7243 +▁suspect -11.7243 +▁struggling -11.7243 +▁integracije -11.7244 +NOG -11.7244 +▁balkon -11.7244 +▁jesti -11.7245 +▁tužioca -11.7245 +▁uredi -11.7245 +▁producer -11.7246 +▁theater -11.7248 +lno -11.7248 +▁journal -11.7249 +▁formu -11.725 +NIH -11.725 +▁jazz -11.725 +▁uveliko -11.725 +▁pisanju -11.7251 +▁vokal -11.7251 +▁celokupn -11.7251 +▁bitna -11.7252 +kola -11.7253 +ل -11.7253 +…) -11.7254 +▁međunarodna -11.7254 +▁Meh -11.7255 +▁trips -11.7255 +▁Ah -11.7255 +▁pitch -11.7257 +▁pisati -11.7257 +▁Pregled -11.7258 +▁lideri -11.7258 +▁djevojka -11.7258 +▁staza -11.726 +▁svome -11.7261 +▁Tru -11.7263 +▁slobodnih -11.7263 +oon -11.7264 +▁wondering -11.7265 +▁trace -11.7265 +▁beta -11.7265 +▁održavanju -11.7265 +▁checking -11.7266 +▁arhiv -11.7266 +uče -11.7267 +▁opravda -11.7267 +▁Zakonu -11.7268 +▁interpret -11.727 +▁odigrali -11.7271 +▁otkriti -11.7272 +▁nazvan -11.7273 +си -11.7274 +▁iskoristio -11.7275 +riti -11.7275 +poli -11.7276 +▁Protection -11.7276 +▁Eto -11.7277 +▁naslova -11.7277 +▁vani -11.7277 +ши -11.7278 +▁napade -11.7279 +▁Upravnog -11.728 +▁podcast -11.728 +▁Hat -11.728 +▁lekova -11.7281 +anju -11.7282 +▁rešavanje -11.7282 +New -11.7282 +▁TI -11.7282 +▁Wolf -11.7282 +▁mess -11.7282 +▁Bošnjaci -11.7284 +žić -11.7286 +▁Minnesota -11.7286 +▁Ocean -11.7286 +▁Complete -11.7286 +▁transactions -11.7287 +▁conventional -11.7288 +▁predstavnike -11.7289 +▁boot -11.729 +▁suprug -11.729 +▁opozicija -11.7291 +▁dnu -11.7291 +sc -11.7292 +eth -11.7293 +× -11.7293 +kada -11.7294 +▁putuje -11.7294 +vrije -11.7294 +▁zavr -11.7295 +dos -11.7295 +▁Imao -11.7295 +▁Stay -11.7296 +▁opposition -11.7297 +▁Pomoć -11.7297 +Ad -11.7298 +boy -11.7298 +▁predlaže -11.7298 +▁Democratic -11.7299 +▁Cam -11.73 +▁affiliate -11.73 +▁svesni -11.73 +▁događajima -11.73 +screen -11.7302 +▁Nadal -11.7302 +meta -11.7304 +▁minimalno -11.7304 +▁Objavljeno -11.7305 +▁Send -11.7305 +▁Kri -11.7306 +▁veterinar -11.7306 +▁focusing -11.7307 +▁severu -11.7307 +▁osobom -11.7308 +▁scratch -11.7308 +▁spis -11.731 +▁Got -11.7312 +▁promo -11.7315 +▁pretpostavlja -11.7316 +▁Sho -11.7317 +▁državna -11.7318 +▁konja -11.7318 +▁postojala -11.7319 +▁advantages -11.7319 +▁Bran -11.7319 +▁razgovore -11.732 +▁bare -11.7321 +▁svjetlo -11.7322 +▁dostavlja -11.7323 +▁workplace -11.7323 +▁veš -11.7324 +▁Mandić -11.7325 +▁Đa -11.7325 +▁aut -11.7325 +▁nastavila -11.7326 +▁Narod -11.7326 +▁pretvori -11.7327 +▁struju -11.7327 +▁(20 -11.7328 +▁regionalne -11.7328 +▁applying -11.7328 +▁Britanija -11.7329 +▁forecast -11.7329 +▁Kaj -11.733 +fen -11.733 +▁zelene -11.733 +▁Osnovni -11.7331 +▁Znači -11.7332 +STO -11.7335 +▁pove -11.7335 +cle -11.7335 +cenje -11.7335 +▁ukupan -11.734 +laj -11.7341 +▁eliminate -11.7341 +▁Davor -11.7342 +▁:-) -11.7342 +5) -11.7342 +▁istaknuo -11.7342 +▁bos -11.7343 +▁Fit -11.7343 +puca -11.7344 +▁decembar -11.7344 +▁naloga -11.7345 +CD -11.7346 +most -11.7346 +▁svež -11.7346 +▁maintained -11.7346 +▁speaker -11.7348 +▁hosted -11.735 +▁smanjuju -11.7351 +rba -11.7351 +▁invention -11.7352 +▁Albert -11.7353 +▁shock -11.7353 +▁Shu -11.7353 +▁Morgan -11.7354 +▁dnevna -11.7357 +▁kuca -11.7359 +▁BC -11.736 +▁Dodika -11.7361 +▁Dunav -11.7361 +▁putevima -11.7362 +sal -11.7362 +sse -11.7364 +▁nastaju -11.7365 +▁Talk -11.7366 +▁išao -11.7368 +▁Front -11.7368 +▁nights -11.7369 +▁gledam -11.737 +▁Slu -11.737 +▁izlaska -11.7373 +▁žalbe -11.7373 +▁Region -11.7374 +▁provision -11.7374 +▁tvrdnje -11.7375 +▁obuka -11.7375 +▁Imate -11.7376 +▁Gdje -11.7376 +▁Sco -11.7377 +▁fri -11.7377 +▁concepts -11.7378 +▁spots -11.7379 +ц -11.738 +▁ukazao -11.7381 +ound -11.7382 +▁zadržati -11.7383 +▁glavnu -11.7383 +▁Resort -11.7383 +▁elementi -11.7384 +▁interactive -11.7385 +▁agenda -11.7385 +▁liči -11.7385 +▁ponosni -11.7386 +LOG -11.7387 +Grad -11.7388 +▁absolute -11.7389 +8) -11.739 +▁Gil -11.7391 +▁krvni -11.7391 +fan -11.7391 +face -11.7392 +▁Profesor -11.7394 +RNA -11.7394 +▁attempts -11.7395 +▁poseti -11.7397 +▁kiše -11.7398 +riva -11.7398 +ovanju -11.7398 +▁FC -11.7399 +▁sala -11.74 +jk -11.7401 +▁medalja -11.7401 +▁procenata -11.7401 +▁roads -11.7402 +▁Metro -11.7403 +▁bebu -11.7403 +▁pravnih -11.7403 +▁uvjeren -11.7403 +▁prilagodi -11.7404 +čanin -11.7404 +▁shirt -11.7404 +▁satisfaction -11.7405 +▁Kristijan -11.7406 +▁okus -11.7406 +▁Srbijom -11.7407 +▁evaluate -11.7408 +▁cijeloj -11.741 +▁deadline -11.7411 +▁° -11.7411 +open -11.7411 +▁Spi -11.7412 +NICA -11.7413 +▁Čita -11.7413 +tvrd -11.7414 +▁nivoima -11.7414 +▁lokalna -11.7414 +са -11.7415 +▁vožnju -11.7415 +▁representative -11.7417 +▁nacije -11.7417 +▁overcome -11.7417 +▁izmene -11.7418 +arni -11.7418 +rodi -11.7418 +▁probudi -11.7419 +wed -11.7419 +▁autobusa -11.742 +▁uključen -11.7421 +▁computers -11.7423 +сто -11.7424 +cep -11.7424 +▁veli -11.7426 +▁Scotland -11.7426 +▁epizoda -11.7426 +▁Sept -11.7426 +▁secondary -11.7427 +▁Airport -11.7427 +▁manjim -11.7428 +▁ispričao -11.7428 +▁smešten -11.7428 +▁pray -11.7428 +▁pisali -11.7429 +▁održaće -11.7429 +▁Magic -11.7429 +▁correctly -11.7429 +▁sred -11.7431 +▁Estate -11.7432 +▁izgubiti -11.7432 +▁90% -11.7432 +▁trazi -11.7432 +▁saradnika -11.7433 +▁delovi -11.7435 +▁Brit -11.7435 +under -11.7436 +▁komponente -11.7437 +▁terapiju -11.7437 +▁skupu -11.7437 +figur -11.7438 +▁poručila -11.7438 +NET -11.7438 +▁ličnost -11.7438 +▁ped -11.7438 +▁najgore -11.7439 +▁zadrži -11.7439 +▁stadiona -11.7439 +▁izazivaju -11.7439 +▁gest -11.744 +▁utvrđen -11.7442 +▁23, -11.7442 +OC -11.7442 +ičić -11.7444 +▁symbol -11.7444 +mut -11.7444 +▁kupuju -11.7445 +koj -11.7447 +▁ispravno -11.7447 +▁accessories -11.7448 +▁Legend -11.7448 +▁stabilnosti -11.7448 +▁Location -11.7448 +▁factory -11.7449 +vni -11.7449 +▁sačeka -11.7449 +ljuje -11.745 +čnim -11.7451 +misli -11.7452 +▁prep -11.7453 +▁URL -11.7454 +/1 -11.7457 +raj -11.7458 +▁spaja -11.7458 +▁pipe -11.746 +▁Patrick -11.746 +▁involve -11.746 +▁zasigurno -11.7464 +▁employer -11.7464 +▁prinos -11.7464 +Mislim -11.7464 +AST -11.7466 +▁izazovima -11.7467 +▁klubovi -11.7467 +▁vara -11.7468 +this -11.7468 +▁Mladić -11.7468 +ženi -11.7469 +▁gorgeous -11.747 +▁associate -11.747 +▁misije -11.7474 +▁trauma -11.7475 +jedni -11.7475 +▁fino -11.7476 +UL -11.7477 +▁targeted -11.7478 +▁nađu -11.7478 +▁zabrinutost -11.7479 +▁Gosti -11.7479 +▁acquired -11.7479 +▁aranžman -11.7479 +▁BONUS -11.7481 +▁banci -11.7481 +▁Annual -11.7481 +▁yield -11.7483 +▁API -11.7483 +▁potpuni -11.7483 +▁opposed -11.7484 +tacija -11.7485 +▁Members -11.7486 +▁organizatora -11.7487 +elle -11.7487 +▁streaming -11.7488 +▁javio -11.7489 +Op -11.749 +▁beneficial -11.7492 +▁obezbeđen -11.7492 +▁teorije -11.7492 +live -11.7493 +▁answered -11.7493 +▁redovima -11.7494 +NG -11.7494 +stock -11.7495 +▁Pack -11.7497 +▁Skin -11.75 +▁ALL -11.75 +▁obratite -11.75 +▁pozorište -11.7503 +▁odabrati -11.7503 +▁uzgaja -11.7503 +tički -11.7503 +▁tepih -11.7503 +▁poslednjem -11.7504 +▁Cancer -11.7504 +▁preneo -11.7504 +▁medij -11.7506 +▁125 -11.7506 +▁Sem -11.7506 +juća -11.7506 +01. -11.7507 +▁grain -11.7507 +▁komplikovan -11.7513 +▁Željka -11.7514 +▁retirement -11.7514 +jskom -11.7516 +▁trofej -11.7518 +▁RAM -11.752 +BU -11.752 +▁Ever -11.7521 +▁poll -11.7521 +mira -11.7522 +▁tables -11.7522 +▁dozu -11.7524 +▁stanovnici -11.7524 +▁slede -11.7524 +▁samih -11.7524 +▁purchasing -11.7524 +▁southern -11.7525 +tki -11.7525 +▁flour -11.7527 +▁sadržaje -11.7529 +▁četvoro -11.7529 +UK -11.7529 +▁Hip -11.753 +▁intervencija -11.753 +OD -11.7532 +▁Meeting -11.7535 +▁worship -11.7535 +▁printing -11.7535 +▁resident -11.7536 +eš -11.7536 +▁beli -11.7536 +▁Theatre -11.7536 +▁smješten -11.7537 +▁describes -11.7537 +▁dojke -11.7538 +▁permit -11.7541 +▁Electric -11.7541 +lite -11.7542 +sud -11.7544 +▁zajedničkim -11.7544 +▁veruju -11.7545 +.000,00 -11.7545 +VU -11.7546 +▁restoranu -11.7546 +stream -11.7546 +▁defensive -11.7546 +▁prisutna -11.7546 +▁hteo -11.7547 +▁promoting -11.7547 +▁ostvarenja -11.7547 +▁medijske -11.7549 +▁granicu -11.7549 +week -11.755 +▁22, -11.755 +▁plaće -11.755 +arija -11.7551 +2000 -11.7552 +▁zakonima -11.7553 +stim -11.7553 +▁Zapadnog -11.7553 +sme -11.7554 +▁dužni -11.7554 +▁focuses -11.7555 +▁povod -11.7555 +▁umetnost -11.7555 +▁interval -11.7556 +▁Choose -11.7558 +rl -11.7558 +▁kontaktira -11.756 +▁biva -11.7561 +cor -11.7562 +▁hotels -11.7562 +▁običaj -11.7562 +▁liability -11.7564 +▁organizovana -11.7565 +▁twin -11.7565 +▁rarely -11.7566 +▁Svetsk -11.7568 +▁sopstvene -11.7568 +▁mobilne -11.7568 +▁grateful -11.7568 +▁Koja -11.7569 +▁demokratije -11.7569 +▁passionate -11.7569 +▁pročitajte -11.7569 +▁volju -11.7571 +cina -11.7573 +hen -11.7574 +▁oper -11.7575 +▁moli -11.7575 +▁dija -11.7576 +▁ekstrakt -11.7577 +▁emocija -11.7578 +▁residence -11.758 +▁nedo -11.758 +ičar -11.758 +scale -11.7581 +▁shelter -11.7581 +janja -11.7583 +ištu -11.7583 +▁combine -11.7584 +▁izdaje -11.7584 +fish -11.7584 +▁ustav -11.7585 +▁losses -11.7585 +▁investments -11.7586 +▁desetine -11.7587 +▁wanting -11.7587 +▁časopisa -11.7588 +▁nabavi -11.7588 +▁oboje -11.7588 +kes -11.7588 +▁delivering -11.7588 +▁Karadžić -11.759 +▁izložbi -11.759 +▁lje -11.7591 +▁weird -11.7591 +▁vladajuće -11.7591 +▁Future -11.7591 +▁implementira -11.7593 +KM -11.7593 +▁dostave -11.7593 +▁baking -11.7594 +▁possession -11.7594 +zama -11.7594 +sio -11.7594 +ističke -11.7595 +eru -11.7599 +▁raising -11.76 +▁topli -11.76 +▁packaging -11.7602 +▁interact -11.7602 +liku -11.7602 +SKE -11.7603 +▁RO -11.7604 +▁Fed -11.7605 +▁zadovoljava -11.7605 +▁ulazu -11.7605 +▁tied -11.7608 +▁trgu -11.7611 +▁falls -11.7612 +▁logic -11.7612 +▁accordance -11.7613 +▁shake -11.7613 +▁accused -11.7615 +▁Village -11.7615 +tičan -11.7616 +▁reaching -11.7618 +▁sneg -11.7618 +▁Jako -11.7618 +▁republika -11.7619 +▁Ć -11.7621 +▁knee -11.7621 +▁promeniti -11.7622 +▁fiction -11.7622 +▁worried -11.7624 +▁zatražio -11.7624 +▁izabrati -11.7624 +▁drain -11.7624 +▁highlights -11.7627 +ION -11.7628 +▁bomb -11.7628 +▁snagama -11.7629 +▁privatnom -11.7629 +▁Cool -11.7631 +▁rješavanje -11.7631 +▁musliman -11.7632 +▁FI -11.7632 +▁poduhvat -11.7634 +▁proširi -11.7634 +▁Uglavnom -11.7635 +▁preparing -11.7635 +▁tadašnji -11.7635 +liju -11.7638 +▁mobilni -11.7638 +OV -11.764 +▁ishrana -11.764 +hood -11.764 +▁voters -11.7641 +cut -11.7642 +ump -11.7643 +▁substantial -11.7643 +▁Anthony -11.7646 +▁emerging -11.7646 +▁jednostavna -11.7646 +▁temperaturi -11.7646 +▁pore -11.7647 +▁ces -11.7647 +▁shvata -11.7648 +▁prescription -11.7648 +wind -11.7649 +▁funkcionira -11.7649 +kata -11.7649 +▁contributions -11.7651 +▁imenu -11.7652 +▁cla -11.7652 +▁okay -11.7653 +▁scores -11.7653 +vici -11.7654 +▁pregnant -11.7657 +▁lopte -11.7657 +▁gym -11.7657 +▁Ministry -11.7659 +▁fewer -11.766 +▁$10 -11.766 +▁dopis -11.7661 +▁rail -11.7662 +▁SL -11.7662 +▁Zemlja -11.7663 +▁institution -11.7665 +▁Anton -11.7666 +MENT -11.7667 +▁prob -11.7667 +03. -11.7667 +▁pushed -11.7668 +▁relax -11.7668 +▁Detroit -11.7668 +▁franchise -11.7668 +tag -11.7668 +▁dvorište -11.7668 +▁akademije -11.7669 +njiva -11.7669 +▁Nada -11.7669 +▁DI -11.7669 +▁osobito -11.7669 +▁clo -11.767 +▁ulaganje -11.7671 +▁pisan -11.7672 +▁CH -11.7673 +ŽE -11.7673 +dica -11.7673 +sada -11.7673 +Kad -11.7674 +▁uređenja -11.7676 +▁turističkih -11.7676 +▁western -11.7676 +zivanje -11.7677 +lton -11.7679 +▁naprijed -11.7679 +▁requested -11.768 +▁slobodnog -11.768 +▁vodećih -11.7681 +7) -11.7681 +ал -11.7682 +nti -11.7683 +▁establishment -11.7685 +▁jeftin -11.7686 +lab -11.7686 +uga -11.7686 +news -11.7687 +▁hidrata -11.7689 +▁nacrt -11.769 +▁Ji -11.769 +▁Philadelphia -11.769 +▁copies -11.769 +▁translation -11.7691 +▁JKP -11.7691 +▁employed -11.7691 +▁Dance -11.7691 +▁ploče -11.7691 +▁Mount -11.7691 +code -11.7692 +▁padne -11.7692 +▁5% -11.7692 +▁aparata -11.7693 +▁hanging -11.7695 +▁slavlje -11.7696 +▁essentially -11.7696 +▁restrictions -11.7697 +▁Bond -11.7697 +▁Jadran -11.7698 +human -11.7698 +▁asset -11.7698 +▁performanse -11.7699 +▁mold -11.7699 +▁gum -11.7699 +▁Dragon -11.77 +ijum -11.7701 +▁džamija -11.7701 +▁muzičke -11.7701 +▁tradicija -11.7701 +▁reagira -11.7701 +▁sportu -11.7702 +▁insight -11.7703 +▁exhibit -11.7703 +▁Doboj -11.7703 +▁Ligi -11.7704 +sul -11.7704 +▁Komšić -11.7706 +▁define -11.7706 +▁Fun -11.7707 +▁bro -11.7707 +▁transformation -11.7707 +▁Telegraf -11.771 +Dobro -11.7711 +▁moguć -11.7712 +▁masovno -11.7712 +▁funkcionisanje -11.7712 +▁klupi -11.7712 +▁ljekar -11.7713 +▁Glo -11.7716 +▁MC -11.7716 +▁inch -11.7716 +▁ljubitelje -11.7716 +▁trick -11.7717 +▁Pročitaj -11.7719 +▁principle -11.772 +▁gledali -11.772 +đeno -11.7721 +▁trci -11.7722 +▁evident -11.7723 +▁plaćen -11.7724 +▁dovela -11.7725 +▁izvještaju -11.7725 +▁sportista -11.7726 +▁romantic -11.7726 +▁Savjet -11.7726 +šava -11.7727 +▁VO -11.773 +▁nalazio -11.7731 +BR -11.7731 +▁coaching -11.7732 +▁Edit -11.7732 +▁hoce -11.7732 +▁starom -11.7734 +ITA -11.7734 +▁najavili -11.7734 +nat -11.7734 +▁Datum -11.7734 +▁Death -11.7735 +▁indicated -11.7735 +▁krizu -11.7735 +▁svjetske -11.7736 +▁bli -11.7736 +▁Course -11.7738 +cious -11.7738 +▁saznali -11.7739 +▁članku -11.7739 +▁Hair -11.7739 +▁fondova -11.7739 +▁danger -11.7739 +▁Jelen -11.774 +ggle -11.774 +▁odlučiti -11.7742 +▁Će -11.7742 +▁Abu -11.7742 +▁planova -11.7742 +▁respirator -11.7744 +▁glasnik -11.7744 +hit -11.7745 +▁evolution -11.7746 +▁proleće -11.7746 +▁fizičko -11.7747 +▁holidays -11.7747 +▁obližnj -11.7747 +ruž -11.7748 +ном -11.7748 +▁kruga -11.775 +▁NK -11.7751 +▁errors -11.7751 +▁venue -11.7751 +▁popravi -11.7751 +rug -11.7751 +▁Kosovsk -11.7753 +▁CS -11.7753 +08. -11.7753 +▁backup -11.7754 +▁stations -11.7755 +▁peče -11.7756 +▁navedeni -11.7757 +▁neophodan -11.7757 +▁prisustvovao -11.7758 +▁ceiling -11.7758 +▁climb -11.7759 +▁Girl -11.776 +▁(„ -11.776 +▁resist -11.7761 +▁Audio -11.7762 +▁pročita -11.7764 +▁vaši -11.7767 +▁Resources -11.7767 +▁razlozi -11.7768 +▁harvest -11.7768 +▁mlijeko -11.7768 +▁slobodi -11.7768 +▁politikom -11.7769 +▁Zavod -11.7769 +▁naglo -11.777 +▁poslodavaca -11.7771 +▁tumači -11.7773 +▁uzgoj -11.7773 +06. -11.7774 +▁detaljima -11.7776 +▁delegat -11.7776 +▁Rick -11.7778 +▁kum -11.7778 +vodi -11.7779 +▁Chamber -11.778 +▁srpsko -11.7783 +▁ugleda -11.7783 +▁naredni -11.7784 +▁boards -11.7784 +nz -11.7785 +ups -11.7785 +▁dubok -11.7786 +▁jaka -11.7787 +▁ref -11.7788 +▁П -11.7789 +mming -11.7789 +′ -11.7791 +▁Govoreći -11.7791 +▁pronašao -11.7791 +▁internacional -11.7792 +▁trebate -11.7792 +gova -11.7793 +▁kompletan -11.7795 +tail -11.7796 +▁desetina -11.7797 +▁haj -11.7798 +▁Vaj -11.7799 +▁RT -11.78 +▁programima -11.78 +▁1990. -11.7801 +▁whilst -11.7802 +▁penziju -11.7802 +▁evropskom -11.7803 +▁nadležni -11.7803 +▁decenija -11.7804 +▁dugogodišnji -11.7804 +▁rivala -11.7804 +▁navija -11.7804 +▁cart -11.7804 +▁campaigns -11.7804 +▁uspostavljanje -11.7805 +▁suđenje -11.7805 +▁smi -11.7805 +pola -11.7806 +▁Dani -11.7806 +▁26, -11.7806 +▁vojnici -11.7806 +▁potvrđen -11.7806 +Svi -11.7807 +▁dobilo -11.7807 +▁poslanici -11.7808 +▁članci -11.7809 +▁lists -11.781 +▁mistakes -11.781 +▁uticajem -11.7811 +▁efekte -11.7813 +ough -11.7813 +▁strukturu -11.7814 +▁omiljeni -11.7814 +▁administrator -11.7814 +▁slip -11.7814 +KI -11.7814 +▁kritika -11.7814 +▁folk -11.7815 +▁softvera -11.7817 +fla -11.7817 +▁printer -11.7818 +▁speakers -11.7818 +pada -11.7818 +Ki -11.782 +plata -11.7822 +▁MAR -11.7822 +šku -11.7822 +Tanjug -11.7823 +CP -11.7824 +▁smanjenju -11.7824 +▁pregnancy -11.7825 +▁Kansas -11.7825 +▁Third -11.7825 +▁На -11.7825 +▁brige -11.7827 +▁moraš -11.7827 +▁guilty -11.7827 +▁stanici -11.7827 +▁dishes -11.783 +▁somehow -11.783 +▁muči -11.783 +mica -11.7831 +▁retain -11.7832 +now -11.7832 +0.00 -11.7834 +▁Event -11.7835 +▁mild -11.7836 +▁preduzećima -11.7836 +▁tableta -11.7837 +Br -11.7838 +▁značilo -11.7839 +▁struck -11.784 +▁buk -11.784 +čita -11.7841 +njuje -11.7842 +▁AK -11.7842 +▁max -11.7842 +▁pate -11.7842 +via -11.7842 +body -11.7843 +▁doveli -11.7847 +renja -11.7847 +▁immigration -11.7848 +▁Zajedno -11.7848 +▁tension -11.7849 +▁Mirko -11.785 +▁packages -11.785 +▁Marić -11.7851 +▁organizovani -11.7851 +▁lipnja -11.7852 +▁CI -11.7852 +▁poslednjeg -11.7852 +▁izrazi -11.7853 +▁Style -11.7853 +rite -11.7854 +▁por -11.7855 +▁gotovi -11.7856 +Os -11.7856 +▁mlađi -11.7857 +▁uredno -11.7858 +▁uobičajeno -11.7858 +▁nadležnim -11.7858 +▁svemirsk -11.7859 +▁anniversary -11.7859 +▁oštro -11.7859 +▁aspekt -11.7859 +▁elektronske -11.7859 +▁pismu -11.786 +▁Vest -11.786 +▁dostupno -11.7861 +Pod -11.7862 +▁Dean -11.7863 +▁prote -11.7863 +▁lekovit -11.7865 +▁graphics -11.7866 +▁fatal -11.7866 +▁Ustava -11.7867 +▁Molim -11.7867 +▁najpoznatijih -11.7868 +▁prizor -11.7869 +▁stru -11.787 +▁suštini -11.787 +▁Job -11.787 +▁fabrika -11.787 +▁redovne -11.787 +▁vegetables -11.7873 +▁obnavlja -11.7874 +▁MIL -11.7874 +▁pregovara -11.7875 +bly -11.7875 +šom -11.7876 +tron -11.7876 +:50 -11.7877 +▁lets -11.7878 +▁testira -11.7878 +…” -11.7879 +round -11.788 +ćoj -11.788 +▁Individual -11.7881 +▁najverovatnije -11.7881 +▁offensive -11.7881 +tili -11.7882 +▁dogovoru -11.7882 +ن -11.7883 +▁maksimum -11.7883 +▁GPS -11.7884 +▁autoritet -11.7884 +▁nervous -11.7885 +▁Speed -11.7885 +▁Ljubi -11.7885 +▁contribution -11.7888 +▁planiraju -11.7889 +▁Amerikanci -11.7891 +▁ljudskim -11.7891 +▁viewing -11.7892 +▁Trail -11.7892 +▁dolasku -11.7893 +▁policijske -11.7893 +▁admitted -11.7894 +▁globe -11.7894 +pov -11.7895 +▁170 -11.7896 +▁koronavirusom -11.7897 +▁sljedeći -11.7898 +▁mountains -11.7898 +store -11.7898 +▁takmiči -11.7899 +▁nadzora -11.79 +▁interven -11.79 +▁Coach -11.79 +gić -11.7901 +▁detect -11.7901 +▁otkaza -11.7903 +▁dodeli -11.7903 +▁cotton -11.7904 +▁KK -11.7904 +▁lawsuit -11.7905 +▁tune -11.7905 +ear -11.7905 +mmy -11.7905 +ženje -11.7907 +▁prepozna -11.7907 +▁somebody -11.7908 +▁manjih -11.7908 +▁Način -11.7908 +▁statistics -11.7908 +cite -11.7909 +tiva -11.791 +▁osnovan -11.7911 +▁popisu -11.7911 +▁počele -11.7912 +nad -11.7912 +where -11.7912 +▁demonstrate -11.7912 +▁27, -11.7913 +▁prijenos -11.7913 +Up -11.7913 +▁FBI -11.7913 +▁patrol -11.7915 +▁svakodnevni -11.7915 +ним -11.7916 +▁penal -11.7916 +▁izašli -11.7917 +▁birača -11.7918 +vremeno -11.7919 +ille -11.7919 +▁platu -11.792 +я -11.792 +▁phones -11.792 +▁Mode -11.7921 +▁Staff -11.7921 +▁upload -11.7925 +atu -11.7926 +Oh -11.7927 +▁ceremony -11.7927 +▁Gift -11.7928 +▁Buck -11.7929 +▁Kultura -11.7929 +vost -11.7929 +▁forme -11.7929 +▁civila -11.793 +▁odlučuju -11.793 +▁mozete -11.7932 +▁predmete -11.7932 +▁promotion -11.7932 +▁PP -11.7933 +enti -11.7933 +▁dobijate -11.7934 +▁preparat -11.7935 +iru -11.7937 +▁ključna -11.7938 +▁Plenković -11.7938 +▁djevojke -11.7939 +jskoj -11.7939 +▁mining -11.7939 +▁bola -11.794 +▁odobri -11.7941 +▁distinct -11.7941 +▁450 -11.7942 +▁Luk -11.7944 +▁automatic -11.7945 +Н -11.7945 +▁Av -11.7945 +▁zaposlene -11.7945 +▁golden -11.7946 +▁vjeru -11.7947 +▁Atlanta -11.795 +▁crystal -11.795 +nki -11.795 +▁soldiers -11.795 +ћ -11.795 +izovan -11.7951 +LT -11.7952 +godišnjeg -11.7952 +▁Kai -11.7953 +▁Hus -11.7954 +▁kojemu -11.7955 +RY -11.7955 +▁Tell -11.7955 +▁GM -11.7955 +▁krajnji -11.7956 +▁daljem -11.7956 +▁talenat -11.7957 +▁kop -11.7957 +▁Advanced -11.7958 +iko -11.7958 +hvat -11.7959 +▁Savjeta -11.7961 +▁Narodna -11.7961 +▁legend -11.7961 +▁Goražde -11.7961 +▁intend -11.7962 +▁Islamsk -11.7963 +▁studying -11.7963 +▁visits -11.7964 +rest -11.7964 +▁courts -11.7965 +fest -11.7965 +▁usporava -11.7966 +▁obilježavanja -11.7966 +▁fake -11.7966 +▁zaključiti -11.7971 +▁grana -11.7972 +▁budžetu -11.7972 +▁izrada -11.7973 +▁Enterprise -11.7973 +▁tehničkih -11.7973 +▁singles -11.7974 +▁nebo -11.7976 +▁Vrijeme -11.7977 +▁dostavi -11.7977 +▁dil -11.7978 +▁28, -11.7978 +▁Sputnjik -11.7979 +▁kupci -11.7979 +ATI -11.7979 +▁USK -11.7979 +▁sisteme -11.798 +▁mečeva -11.7981 +▁signing -11.7982 +berry -11.7983 +ljka -11.7983 +gradi -11.7983 +▁revolution -11.7984 +kati -11.7985 +▁Bajden -11.7985 +▁interviews -11.7987 +▁kažemo -11.7988 +▁stvoren -11.7988 +▁otrov -11.799 +▁silu -11.7991 +▁Papa -11.7991 +▁studij -11.7992 +ništvo -11.7992 +▁doista -11.7992 +▁Ekipa -11.7993 +▁težinu -11.7994 +▁klik -11.7995 +▁Liverpool -11.7996 +▁podigne -11.7996 +▁northern -11.7996 +tini -11.7997 +▁osmišljen -11.7997 +▁Cut -11.7997 +▁shvatili -11.7999 +▁Umjesto -11.8 +▁temple -11.8 +▁februar -11.8 +▁dionica -11.8 +▁importantly -11.8 +kut -11.8 +▁heaven -11.8003 +▁Hrvatskog -11.8004 +се -11.8005 +▁Osnovna -11.8005 +▁vjero -11.8006 +▁crnogorski -11.8006 +▁ton -11.8006 +▁clip -11.8007 +▁kolekcije -11.8007 +▁temporary -11.8007 +▁ubuduće -11.8007 +▁Ukupno -11.8007 +▁stolu -11.8007 +▁obuhvaćen -11.8007 +▁seasons -11.8008 +đuje -11.8008 +▁karton -11.8009 +▁telefonom -11.8009 +▁Luis -11.801 +▁bazu -11.801 +▁Uvek -11.801 +lih -11.801 +tty -11.8011 +▁građe -11.8012 +▁iznosa -11.8012 +▁aim -11.8012 +▁krvav -11.8013 +wide -11.8013 +▁meets -11.8014 +▁uporno -11.8016 +▁*** -11.8017 +▁lip -11.8017 +▁Holiday -11.8019 +▁reakciju -11.8019 +▁immune -11.8019 +▁ohladi -11.8019 +▁obezbijedi -11.8019 +▁ми -11.8019 +▁mnoga -11.8019 +▁(" -11.8019 +▁bazena -11.802 +▁Glu -11.802 +ere -11.8021 +viti -11.8021 +11. -11.8022 +▁vredi -11.8023 +▁upozoravaju -11.8023 +▁Arsenal -11.8023 +▁Doctor -11.8024 +▁lens -11.8024 +▁ča -11.8024 +jek -11.8026 +▁upoznavanje -11.8028 +▁Por -11.8029 +▁moderate -11.803 +▁heavily -11.803 +▁singing -11.8032 +▁accounting -11.8032 +▁Mind -11.8033 +SK -11.8034 +▁ordinary -11.8034 +▁glasno -11.8035 +vra -11.8036 +▁Ibrahim -11.8036 +▁cameras -11.8037 +▁emails -11.8038 +▁deluju -11.8039 +▁Must -11.8039 +▁employers -11.8041 +FT -11.8042 +▁Exchange -11.8042 +▁Organization -11.8042 +▁protok -11.8043 +▁izražava -11.8045 +IRA -11.8046 +FE -11.8047 +▁24- -11.8047 +▁Safe -11.8049 +▁policijsk -11.805 +▁muzički -11.8051 +Naj -11.8051 +▁razdoblju -11.8053 +▁vežbe -11.8053 +▁Channel -11.8053 +▁pronađeno -11.8054 +▁Prijedor -11.8055 +▁principa -11.8055 +aze -11.8055 +▁Fred -11.8056 +▁kupljen -11.8057 +▁nastale -11.8057 +▁nezna -11.8057 +▁fudbalu -11.8057 +▁EM -11.8059 +▁dresu -11.806 +rink -11.8061 +▁grace -11.8063 +hur -11.8063 +▁Premium -11.8065 +▁Perfect -11.8065 +kl -11.8065 +▁Atlantic -11.8067 +▁3: -11.8067 +▁stručnih -11.8068 +▁Tree -11.8068 +▁žuti -11.8068 +▁krši -11.8069 +▁naruči -11.8069 +gara -11.8069 +▁VIP -11.8071 +▁continuous -11.8072 +▁addresses -11.8072 +▁komora -11.8073 +▁SH -11.8073 +čena -11.8073 +▁čitavog -11.8075 +▁summary -11.8076 +▁saopćeno -11.8076 +▁vojsku -11.8076 +▁suprotnom -11.8077 +▁rane -11.8077 +▁foster -11.8078 +▁burden -11.8079 +▁dugi -11.8079 +▁izveštaju -11.808 +plan -11.808 +▁privatnog -11.8084 +ćim -11.8085 +▁authentic -11.8086 +▁sastojci -11.8087 +▁Bluetooth -11.8088 +▁papa -11.8088 +▁krivična -11.8089 +▁bogata -11.8089 +▁Lazar -11.809 +data -11.8091 +▁tla -11.8093 +▁opera -11.8094 +▁platforma -11.8094 +njava -11.8095 +▁Fest -11.8097 +had -11.8097 +▁počnu -11.8098 +Beograd -11.8098 +ložen -11.8099 +▁kostiju -11.8099 +▁Release -11.81 +▁prominent -11.81 +▁nedjelje -11.81 +cap -11.81 +▁ranjen -11.8101 +▁defeat -11.8101 +duk -11.8103 +▁Early -11.8103 +▁Published -11.8104 +stvom -11.8105 +/3 -11.8105 +▁Jović -11.8107 +▁regulatory -11.8107 +▁gather -11.8108 +▁svejedno -11.811 +▁stvarnost -11.8111 +▁Face -11.8111 +▁Vuković -11.8112 +▁Lisa -11.8115 +▁Jasmin -11.8116 +▁materije -11.8116 +▁Sreć -11.8116 +dali -11.8117 +▁katastrofa -11.8117 +▁strateški -11.8119 +▁svetskom -11.8119 +▁izvještaja -11.812 +ћи -11.812 +jaka -11.8121 +dni -11.8122 +cri -11.8122 +▁samouprava -11.8123 +▁izjasni -11.8123 +▁cruise -11.8123 +▁pčelar -11.8125 +▁Krst -11.8125 +php -11.8125 +▁plemenit -11.8126 +▁pse -11.8126 +▁korisni -11.8128 +▁pravnog -11.8128 +▁Uvijek -11.8129 +▁političkoj -11.8129 +bele -11.8129 +▁Rim -11.8129 +▁lie -11.8129 +▁bračni -11.8131 +▁obr -11.8132 +▁postavljaju -11.8133 +▁važnih -11.8133 +▁SPC -11.8134 +▁recover -11.8134 +▁pesma -11.8134 +▁Attorney -11.8134 +▁Wisconsin -11.8134 +▁baziran -11.8135 +dala -11.8137 +▁stane -11.8137 +▁upoznali -11.8138 +,500 -11.814 +▁Kovač -11.814 +▁Cell -11.8146 +▁veličini -11.8146 +▁Roll -11.8147 +lena -11.815 +▁centralne -11.8151 +▁pursue -11.8153 +coming -11.8153 +▁exists -11.8154 +▁Les -11.8157 +▁DU -11.8158 +▁Singapore -11.8158 +▁dvostruko -11.8158 +▁oceni -11.8158 +▁trebamo -11.8158 +njeg -11.8159 +▁Aleksić -11.8159 +▁hint -11.8162 +čevi -11.8162 +▁pitali -11.8163 +▁sram -11.8163 +▁Tam -11.8163 +▁officially -11.8163 +path -11.8164 +▁fingers -11.8164 +▁kulturni -11.8165 +▁User -11.8166 +UT -11.8167 +▁mechanism -11.8167 +▁incorporate -11.8167 +▁temelji -11.8167 +▁fizičkog -11.8169 +▁objavu -11.8169 +▁pronašla -11.8169 +▁participating -11.817 +▁ya -11.817 +▁2024. -11.8171 +▁spremnost -11.8171 +▁istaknuti -11.8172 +▁POS -11.8173 +▁povuče -11.8173 +sala -11.8173 +▁discussions -11.8173 +fect -11.8174 +ljuju -11.8175 +lera -11.8176 +Sport -11.8177 +▁oslobođen -11.8177 +lana -11.8178 +▁substance -11.8179 +▁vodila -11.818 +▁Njujorku -11.8181 +▁prikupljanje -11.8181 +▁poremećaj -11.8181 +▁Double -11.8181 +▁zakone -11.8181 +▁rezervacije -11.8181 +▁Turkey -11.8181 +▁acknowledge -11.8183 +▁inspire -11.8183 +lves -11.8185 +▁zapis -11.8185 +▁damaged -11.8185 +▁screening -11.8186 +▁branch -11.8186 +▁Moram -11.8187 +▁photographs -11.8189 +▁teritorija -11.8189 +▁sekretara -11.8191 +▁srećni -11.8191 +▁happiness -11.8193 +▁izazvala -11.8193 +▁vulnerable -11.8193 +▁2- -11.8193 +▁cyber -11.8193 +▁Several -11.8195 +▁šesto -11.8197 +▁kri -11.8198 +▁1991 -11.8198 +▁kadet -11.8201 +Kr -11.8202 +▁slots -11.8203 +▁djelu -11.8203 +▁proširenje -11.8203 +▁hadn -11.8203 +▁osoblja -11.8205 +▁privredu -11.8205 +▁Moskva -11.8205 +▁snimke -11.8205 +▁tutorial -11.8206 +▁mjesečno -11.8207 +▁lekari -11.8207 +▁suoči -11.8208 +▁passage -11.8208 +▁Rum -11.8208 +position -11.8209 +▁prestaje -11.8209 +▁expanded -11.8211 +▁Ari -11.8211 +▁reception -11.8214 +▁Jednom -11.8216 +▁40% -11.8216 +nner -11.8216 +▁Splitu -11.8217 +▁rujna -11.8217 +▁Mila -11.8217 +▁pobedio -11.8218 +▁Az -11.8218 +vjest -11.8219 +▁intra -11.8219 +▁kalendar -11.8219 +▁mladića -11.8219 +pravni -11.8219 +▁sajma -11.822 +ič -11.822 +▁električni -11.822 +▁initiatives -11.8222 +▁assigned -11.8222 +▁ovogodišnji -11.8222 +▁iskaz -11.8223 +▁roots -11.8223 +deli -11.8223 +▁regime -11.8224 +kovic -11.8224 +▁Ky -11.8224 +▁odobrava -11.8224 +▁orbit -11.8226 +▁Deep -11.8227 +▁Cir -11.8227 +▁Chelsea -11.8228 +▁policajci -11.8228 +▁Oscar -11.8228 +▁ego -11.823 +-30 -11.823 +jera -11.823 +▁vezanih -11.8232 +▁Orange -11.8232 +▁Blood -11.8232 +▁Posao -11.8233 +▁bub -11.8234 +▁80% -11.8235 +▁timova -11.8236 +▁Nikad -11.8237 +nuli -11.8237 +▁onom -11.8238 +▁ravni -11.8239 +▁holes -11.8239 +▁Miodrag -11.824 +▁diagnosis -11.824 +▁pjesama -11.824 +država -11.824 +▁arise -11.824 +▁vatru -11.8241 +▁attending -11.8241 +▁GT -11.8243 +mile -11.8244 +▁utvrditi -11.8244 +tvo -11.8245 +▁currency -11.8245 +▁languages -11.8245 +▁nebu -11.8245 +lands -11.8246 +▁Košarkaši -11.8246 +psi -11.8246 +▁Maš -11.8247 +▁Dead -11.8249 +▁ambijent -11.825 +ша -11.825 +ega -11.8251 +▁Pennsylvania -11.8252 +▁ekonomiju -11.8252 +▁privredni -11.8252 +▁Analysis -11.8252 +▁prestane -11.8252 +▁kakvom -11.8253 +▁Aktiv -11.8253 +iranju -11.8257 +▁Treći -11.8257 +▁abroad -11.8258 +▁KiM -11.8258 +▁directions -11.8258 +▁divided -11.8258 +▁rodi -11.8258 +▁Dubai -11.826 +rose -11.8261 +▁alleged -11.8261 +▁Istanbul -11.8262 +▁Economic -11.8262 +▁Dobra -11.8263 +▁Prištini -11.8263 +▁possibilities -11.8263 +▁lopta -11.8263 +▁Zlatibor -11.8264 +▁počinio -11.8265 +▁Portland -11.8265 +▁upotrebljava -11.8265 +▁efekt -11.8265 +▁grub -11.8266 +▁rame -11.8267 +fall -11.8268 +▁saopštili -11.8268 +▁detalji -11.8269 +▁komunicira -11.8269 +▁okruga -11.8269 +▁pravim -11.827 +ца -11.827 +već -11.827 +▁Mus -11.8271 +▁Nacrt -11.8271 +▁31, -11.8272 +▁Reading -11.8272 +▁kristal -11.8272 +▁Ring -11.8273 +cate -11.8273 +▁osobine -11.8275 +▁hodnik -11.8275 +▁licensed -11.8275 +▁wellness -11.8275 +▁kašika -11.8275 +▁Performance -11.8275 +▁Creative -11.8275 +▁Podaci -11.8276 +▁zaredom -11.8276 +▁satisfied -11.8276 +biti -11.8277 +▁Reviews -11.8279 +▁operativni -11.828 +▁govorila -11.8281 +qa -11.8282 +▁Organizator -11.8283 +▁štrajk -11.8283 +blje -11.8284 +▁dugu -11.8284 +nema -11.8284 +▁Egypt -11.8285 +▁addressed -11.8286 +▁poslom -11.8287 +▁folklor -11.8287 +▁ulaznica -11.8289 +би -11.829 +▁aerodromu -11.829 +▁Rich -11.8293 +▁čitanja -11.8294 +jati -11.8295 +▁životom -11.8295 +▁takodje -11.8296 +GS -11.8297 +▁Kro -11.8297 +▁ljudsko -11.8297 +▁Planet -11.8298 +eller -11.8299 +lacija -11.8299 +▁Private -11.8299 +▁fali -11.8299 +▁Džek -11.8299 +▁početni -11.83 +thing -11.8301 +▁istaknu -11.8301 +": -11.8302 +▁slobodni -11.8302 +▁Bara -11.8302 +▁targets -11.8304 +rku -11.8305 +▁1- -11.8306 +▁Map -11.8306 +▁Editor -11.8306 +▁javiti -11.8308 +Dis -11.8309 +suit -11.831 +▁kolekcija -11.8311 +▁fits -11.8312 +▁Moore -11.8312 +▁popularne -11.8313 +▁patch -11.8315 +▁violent -11.8316 +?« -11.8317 +▁icon -11.8317 +▁Đur -11.8318 +nstva -11.8318 +roni -11.832 +blja -11.832 +▁nemoj -11.8321 +stig -11.8321 +▁metala -11.8322 +minute -11.8322 +▁Netflix -11.8323 +▁doručak -11.8323 +▁fragment -11.8323 +▁novčane -11.8323 +▁ionako -11.8323 +▁lokaciju -11.8323 +onica -11.8324 +▁specijalne -11.8325 +▁raj -11.8326 +▁kuka -11.8327 +▁formiranja -11.8327 +▁Zaista -11.8327 +vnih -11.8328 +▁miješa -11.8328 +ı -11.8328 +godišnjak -11.8329 +▁Ranije -11.833 +▁Islamic -11.8331 +▁Harris -11.8333 +▁rijeci -11.8333 +▁Javni -11.8334 +▁izveštaja -11.8334 +▁trake -11.8334 +▁djeluju -11.8335 +▁norm -11.8335 +▁Odbor -11.8337 +▁Vama -11.8338 +dju -11.8339 +▁dodaju -11.834 +▁nations -11.834 +kupi -11.8341 +stol -11.8342 +▁sudom -11.8342 +▁nošenje -11.8343 +▁Traži -11.8343 +▁Nismo -11.8345 +▁dvanaest -11.8345 +riz -11.8345 +šenja -11.8346 +▁Odluke -11.8346 +▁audit -11.8347 +▁1.2 -11.8348 +ivanje -11.8349 +▁1971 -11.8349 +range -11.835 +:12 -11.8351 +▁mišićn -11.8351 +▁gigant -11.8351 +▁hack -11.8353 +▁uspeva -11.8354 +rce -11.8354 +▁environments -11.8355 +▁(15 -11.8355 +ique -11.8356 +pha -11.8356 +▁heroin -11.8356 +▁glumačk -11.8358 +▁strašno -11.8359 +ĉi -11.8359 +▁functionality -11.836 +▁lokal -11.836 +▁ekološki -11.836 +▁Tema -11.836 +▁ekranu -11.8361 +▁nastupi -11.8361 +čila -11.8361 +▁predmetu -11.8361 +▁hrvatskom -11.8361 +▁savladao -11.8361 +▁ubije -11.8362 +▁spušta -11.8363 +▁Cy -11.8363 +▁priveden -11.8365 +▁regulation -11.8365 +▁uradila -11.8366 +▁dijelovima -11.8368 +▁subjekata -11.8368 +Bar -11.8368 +▁powers -11.8368 +▁fotografijama -11.837 +▁dozna -11.837 +▁vintage -11.837 +▁Practice -11.837 +OB -11.8372 +▁acquire -11.8372 +▁RA -11.8372 +▁Vesti -11.8372 +▁živa -11.8373 +▁emphasis -11.8373 +▁predstavljati -11.8375 +▁pomoćnik -11.8375 +dd -11.8375 +▁pozvala -11.8375 +▁noću -11.8376 +▁obećava -11.8376 +▁priroda -11.8376 +▁pisanja -11.8377 +▁momenat -11.8377 +▁codes -11.8378 +▁TR -11.8378 +▁AN -11.8379 +▁čiste -11.8379 +▁podrum -11.8381 +▁Further -11.8382 +jne -11.8383 +▁stability -11.8383 +▁motivation -11.8383 +▁derbi -11.8383 +▁postizanje -11.8384 +▁podrži -11.8384 +▁aims -11.8384 +▁$6 -11.8385 +▁elections -11.8386 +▁), -11.8386 +RAN -11.8386 +▁responses -11.8387 +▁Viber -11.8388 +▁gledamo -11.8388 +ŠA -11.8391 +rta -11.8393 +▁Banjaluke -11.8394 +▁pravoslavne -11.8394 +▁dovoljna -11.8394 +▁Dep -11.8395 +▁ph -11.8395 +▁Large -11.8395 +▁pl -11.8395 +roz -11.8396 +▁fence -11.8396 +iling -11.8397 +▁Kin -11.8398 +▁robust -11.8399 +▁Zvezde -11.8399 +▁Terms -11.84 +ljep -11.84 +▁visoku -11.84 +2022 -11.84 +ono -11.8401 +▁consistently -11.8402 +▁davanja -11.8402 +▁toilet -11.8403 +▁osjeti -11.8404 +▁configuration -11.8406 +▁trgovinu -11.8406 +▁Rijeka -11.8406 +▁proportion -11.8406 +▁Alexander -11.8406 +▁travnja -11.8407 +▁vida -11.8408 +▁Tal -11.8408 +▁Nothing -11.8408 +▁burning -11.8408 +▁privatnih -11.8408 +▁checked -11.841 +▁wooden -11.8412 +▁doze -11.8412 +▁znaku -11.8412 +Tra -11.8413 +▁Villa -11.8414 +▁isprati -11.8414 +▁slavio -11.8415 +▁respective -11.8415 +▁zvan -11.8415 +▁jail -11.8417 +▁kupac -11.8417 +▁Legal -11.8417 +ijske -11.8417 +▁elsewhere -11.8418 +▁tail -11.8419 +▁module -11.8419 +▁kvadratnih -11.842 +gun -11.842 +▁boljeg -11.8421 +▁layout -11.8421 +hn -11.8421 +▁ulicu -11.8422 +▁bogati -11.8423 +▁krompir -11.8424 +Har -11.8425 +▁klubovima -11.8425 +rig -11.8426 +▁Oak -11.8427 +▁sklad -11.8427 +đena -11.8427 +▁Meet -11.8427 +▁belog -11.8429 +▁nade -11.8429 +lb -11.843 +▁Industry -11.843 +▁diskriminacije -11.843 +▁upućuje -11.843 +▁Nataša -11.843 +▁adrese -11.843 +▁ramena -11.843 +▁Below -11.8433 +▁kategoriju -11.8433 +▁layers -11.8433 +zv -11.8435 +▁sindrom -11.8437 +ر -11.8437 +▁medicinskih -11.8438 +its -11.8439 +5.000 -11.8441 +▁pripremili -11.8441 +▁Bruce -11.8442 +▁kombinaciju -11.8442 +▁universities -11.8442 +▁suradnji -11.8442 +▁Besides -11.8442 +▁championship -11.8442 +Što -11.8443 +▁poslali -11.8443 +▁ruti -11.8443 +tos -11.8443 +▁inspection -11.8444 +▁ženski -11.8445 +▁kan -11.8445 +fat -11.8445 +tivna -11.8446 +▁prateći -11.8446 +▁implemented -11.8447 +oro -11.8447 +▁prijavljen -11.8448 +▁Unije -11.8449 +Our -11.845 +▁Kostić -11.845 +▁kršenje -11.8451 +ement -11.8452 +▁cock -11.8452 +▁reklama -11.8452 +▁izazvan -11.8453 +▁inspekcijsk -11.8454 +▁međunarodnu -11.8454 +▁potpredsednik -11.8454 +▁29, -11.8454 +gent -11.8455 +▁liječenja -11.8456 +▁obračuna -11.8458 +▁Zen -11.8461 +▁stack -11.8461 +tions -11.8463 +bav -11.8465 +▁pregovorima -11.8465 +▁experiencing -11.8466 +▁izložbu -11.8466 +▁zahtjeve -11.8467 +▁Doktor -11.8468 +▁izgovor -11.8468 +▁Within -11.8469 +dana -11.8469 +▁cons -11.847 +▁Sciences -11.8472 +ERS -11.8472 +▁registrovan -11.8472 +▁guaranteed -11.8473 +▁redova -11.8474 +▁bid -11.8474 +▁stroke -11.8475 +▁Svijet -11.8476 +▁zdravstvenim -11.8478 +▁Moje -11.8478 +IKA -11.8479 +ifying -11.8479 +▁yoga -11.848 +▁hapšenja -11.848 +▁odrasli -11.848 +▁Izraela -11.8481 +▁namaz -11.8482 +▁Pazar -11.8483 +git -11.8484 +▁sexy -11.8484 +▁dozvoli -11.8484 +▁suprugom -11.8485 +▁zahtevaju -11.8485 +▁znanosti -11.8487 +▁predložio -11.8488 +▁(17 -11.8488 +▁Hay -11.8489 +▁Nju -11.849 +▁Podgorica -11.849 +▁creativity -11.849 +▁terrible -11.849 +▁pizza -11.849 +▁inostranstva -11.849 +▁discovery -11.849 +ending -11.8491 +▁objavljivanje -11.8492 +▁ostvarenje -11.8493 +▁Europi -11.8493 +▁movements -11.8493 +▁ought -11.8493 +▁filmovi -11.8495 +▁zaboravi -11.8496 +gur -11.8496 +▁Dur -11.8496 +▁Bed -11.8497 +▁muscles -11.8498 +▁zajednicama -11.8498 +▁Jose -11.8499 +▁glu -11.8499 +▁tražite -11.85 +▁virtually -11.8501 +▁ikakvih -11.8502 +▁performances -11.8503 +▁Demokratske -11.8504 +▁njemački -11.8504 +▁dvadesetak -11.8505 +▁RI -11.8505 +▁viewed -11.8506 +▁francuskog -11.8507 +▁skupine -11.8507 +▁appointed -11.851 +▁Delta -11.851 +▁Fakulteta -11.8511 +▁passes -11.8512 +source -11.8512 +▁trpe -11.8514 +▁(12 -11.8514 +▁accommodate -11.8514 +▁exploring -11.8514 +▁baterija -11.8514 +▁trajala -11.8515 +▁bubrega -11.8515 +▁poljoprivrednih -11.8515 +▁twist -11.8516 +▁$7 -11.8517 +▁carpet -11.8518 +▁produ -11.8518 +▁Andre -11.8518 +▁obećanja -11.8518 +▁žirija -11.8519 +▁amongst -11.852 +▁neželjen -11.852 +▁Snow -11.8521 +▁asistent -11.8521 +▁genuine -11.8522 +▁programom -11.8522 +tari -11.8524 +snim -11.8525 +▁planovima -11.8526 +▁Vietnam -11.8526 +▁Ran -11.8526 +▁Governor -11.8526 +▁obnovljen -11.8526 +▁screw -11.8526 +▁pošalje -11.8528 +▁dokazuje -11.8528 +▁pomenuti -11.853 +▁podnese -11.8534 +▁omogućio -11.8535 +▁objectives -11.8535 +:17 -11.8535 +„ -11.8536 +▁Robin -11.8537 +▁želiš -11.8538 +▁Crkva -11.8539 +▁arhitekture -11.8539 +▁cevi -11.8539 +ду -11.8539 +▁Rom -11.854 +▁divorce -11.854 +ро -11.8541 +AB -11.8542 +vajući -11.8542 +▁brz -11.8543 +▁turisti -11.8543 +tip -11.8545 +▁Sjedinjenim -11.8545 +Per -11.8547 +▁tuš -11.8547 +▁kvadrata -11.8547 +▁olive -11.8547 +uše -11.8548 +▁CB -11.8549 +▁društveni -11.855 +▁Europske -11.855 +▁pjesma -11.855 +▁Haris -11.855 +▁Izvještaj -11.8551 +▁poverty -11.8551 +▁fizička -11.8551 +▁Republicans -11.8551 +▁ownership -11.8552 +night -11.8553 +▁Christians -11.8553 +isto -11.8553 +▁započet -11.8554 +take -11.8554 +▁1500 -11.8555 +ziji -11.8555 +▁estimate -11.8556 +▁flights -11.8557 +▁menadžment -11.8558 +▁udaljenost -11.856 +▁priznat -11.8563 +▁centrima -11.8564 +▁ciljevi -11.8565 +▁uzrokovan -11.8566 +▁Official -11.8566 +:16 -11.8567 +HD -11.8568 +▁де -11.8568 +sut -11.8568 +▁све -11.8569 +▁lažno -11.8569 +▁američkim -11.8572 +ello -11.8572 +▁momci -11.8573 +▁hvata -11.8575 +▁mentalno -11.8575 +vač -11.8575 +▁činjenici -11.8575 +▁Klix -11.8575 +▁mekan -11.8575 +.• -11.8575 +▁universe -11.8575 +▁sličnim -11.8575 +teen -11.8575 +▁izvuče -11.8576 +▁Nalazi -11.8577 +▁Mask -11.8578 +▁svojevremeno -11.8578 +SM -11.8579 +▁objašnjenje -11.858 +▁drove -11.858 +▁ES -11.858 +:19 -11.8581 +▁čip -11.8582 +▁adopt -11.8582 +▁filmski -11.8582 +▁saobraćajne -11.8584 +▁potencijala -11.8585 +▁Promo -11.8585 +šni -11.8586 +▁brothers -11.8586 +▁1997. -11.8586 +▁Vojvodini -11.8587 +▁treasure -11.8587 +▁applies -11.8587 +▁podignut -11.8588 +▁očuva -11.8588 +▁Berlinu -11.8589 +за -11.859 +▁Figure -11.859 +sati -11.8591 +▁nosilac -11.8591 +▁Želimo -11.8592 +▁difficulty -11.8592 +▁sretni -11.8592 +yo -11.8594 +▁sleeping -11.8594 +▁hospitals -11.8594 +▁tie -11.8595 +▁vri -11.8597 +▁Trgu -11.8597 +cni -11.8598 +▁strukturi -11.8599 +▁eko -11.8599 +▁kompjuter -11.8599 +▁horror -11.8599 +▁izme -11.8599 +▁hyper -11.86 +▁Battle -11.86 +▁noćenja -11.86 +▁adoption -11.8601 +▁objavljivanja -11.8601 +ем -11.8601 +▁Poslednji -11.8601 +▁spell -11.8602 +▁3.000 -11.8603 +▁jede -11.8603 +▁starim -11.8603 +▁hiring -11.8605 +jna -11.8606 +▁oštećen -11.8607 +▁nastavili -11.8608 +kreativ -11.861 +▁intent -11.861 +raž -11.8611 +▁Makedoniji -11.8612 +▁pleasant -11.8612 +▁absence -11.8612 +▁generator -11.8612 +▁supermarket -11.8612 +▁kancelarije -11.8613 +▁Gotovo -11.8613 +▁pushing -11.8613 +▁|2 -11.8614 +▁sequence -11.8614 +▁anger -11.8615 +direkt -11.8616 +▁uporedi -11.8616 +▁pratio -11.8617 +▁Sup -11.8617 +▁kupca -11.8619 +▁spriječi -11.862 +▁Say -11.862 +▁Race -11.862 +pop -11.862 +▁heating -11.8621 +▁es -11.8622 +▁Austrija -11.8622 +ička -11.8622 +kru -11.8623 +▁imajući -11.8623 +▁survival -11.8624 +▁Massachusetts -11.8624 +▁organizovao -11.8624 +▁versus -11.8624 +▁accomplish -11.8625 +▁NI -11.8625 +▁tamni -11.8626 +čara -11.8627 +dav -11.8627 +▁destroy -11.8627 +▁Jen -11.8627 +duži -11.8627 +▁Lov -11.8627 +▁lud -11.8628 +▁koronavirus -11.8628 +▁usput -11.8628 +very -11.8629 +mmer -11.8629 +▁urade -11.863 +▁controller -11.863 +▁olakšava -11.8631 +tto -11.8633 +▁fre -11.8634 +▁svest -11.8634 +▁napadača -11.8634 +▁istraživači -11.8635 +uku -11.8635 +▁modelu -11.8636 +▁satellite -11.8636 +▁presudi -11.8637 +▁Grčka -11.8637 +▁EN -11.8637 +▁makeup -11.864 +▁banking -11.8641 +▁zamenik -11.8641 +peti -11.8643 +▁napuni -11.8643 +▁mater -11.8644 +EF -11.8645 +vidi -11.8646 +oso -11.8646 +▁ovisi -11.8646 +tičar -11.8646 +▁spremno -11.8647 +▁Mnoge -11.8649 +▁punjenje -11.8649 +čili -11.8649 +▁magistra -11.865 +▁zamjenik -11.8651 +▁šok -11.8652 +lobo -11.8653 +▁Reuters -11.8653 +▁Sabor -11.8654 +▁zabeležen -11.8654 +fal -11.8655 +▁actively -11.8655 +▁Title -11.8656 +▁pills -11.8656 +▁svetlosti -11.8659 +▁naglasila -11.8661 +▁Unlike -11.8662 +▁određenog -11.8662 +:35 -11.8663 +▁kolovoza -11.8663 +▁nacionalnu -11.8664 +▁saznajte -11.8665 +▁zaustaviti -11.8665 +hill -11.8666 +▁zaljubljen -11.8666 +:13 -11.8667 +▁lošeg -11.8667 +▁opens -11.8668 +▁prelaz -11.8668 +▁citira -11.867 +java -11.867 +▁smatramo -11.8671 +sci -11.8671 +▁representatives -11.8672 +▁započeti -11.8672 +▁MMF -11.8672 +▁Kid -11.8672 +▁infrastrukturu -11.8673 +▁pravosuđa -11.8673 +▁universal -11.8673 +▁opremom -11.8673 +ničar -11.8673 +▁Finance -11.8673 +▁letting -11.8674 +▁plaža -11.8674 +▁drives -11.8676 +▁argue -11.8678 +▁rack -11.8679 +▁mechanical -11.8679 +▁Lau -11.868 +▁protu -11.8681 +▁PRED -11.8681 +▁kolač -11.8682 +bijanje -11.8682 +nzi -11.8684 +▁poplava -11.8685 +▁besplatne -11.8685 +▁Bulevar -11.8685 +▁ocijenio -11.8685 +▁denied -11.8685 +▁kućama -11.8685 +▁excess -11.8686 +čija -11.8687 +▁exception -11.8687 +▁25, -11.8687 +▁Ves -11.8688 +▁Secret -11.8688 +▁temperatures -11.8689 +▁Organ -11.8692 +▁sloven -11.8692 +▁mehanizam -11.8694 +▁Hajde -11.8694 +▁Glen -11.8695 +▁korišćen -11.8696 +dir -11.8697 +▁grešaka -11.8697 +▁transakcije -11.8697 +▁Memorial -11.8697 +▁iskustava -11.8698 +▁saznajemo -11.8698 +pas -11.8699 +▁dramatic -11.8699 +▁upozorenja -11.8699 +▁champion -11.8699 +▁centri -11.8699 +▁hormone -11.8699 +▁zvaničnika -11.87 +GU -11.87 +▁Podsjetimo -11.8701 +ljive -11.8701 +▁shodno -11.8701 +▁TRA -11.8701 +▁dive -11.8702 +▁gradski -11.8702 +▁važni -11.8702 +valu -11.8703 +▁točno -11.8703 +vek -11.8703 +:22 -11.8704 +▁verbal -11.8704 +rena -11.8704 +▁investing -11.8704 +▁Alo -11.8704 +▁Kil -11.8704 +▁mjesecu -11.8705 +▁Narodnog -11.8706 +▁Berg -11.8707 +kovima -11.8707 +▁hitne -11.8708 +▁Mira -11.8709 +nton -11.8709 +▁convenience -11.871 +▁poručuju -11.871 +▁Gallery -11.871 +▁selekcija -11.871 +▁Bosansko -11.871 +nnie -11.871 +▁hrvatska -11.871 +▁Heat -11.8711 +▁reply -11.8712 +▁SS -11.8712 +▁odbrana -11.8712 +▁safely -11.8713 +▁Prostor -11.8713 +▁znakova -11.8713 +▁sapun -11.8713 +▁pal -11.8713 +▁thinks -11.8714 +▁integrisan -11.8714 +Bra -11.8715 +▁restore -11.8716 +▁nerve -11.8716 +▁alter -11.8717 +▁** -11.8717 +▁Bek -11.8718 +vec -11.8718 +▁Sandra -11.8718 +kara -11.8718 +▁profession -11.8719 +▁pasoš -11.8719 +▁čokolade -11.8722 +▁scoring -11.8722 +▁osećaju -11.8723 +▁Španiji -11.8723 +▁analitičar -11.8725 +▁1994 -11.8725 +▁photograph -11.8725 +▁planina -11.8725 +▁nigdje -11.8725 +▁physician -11.8726 +▁weapon -11.8727 +▁distributed -11.8728 +ijal -11.8728 +▁commit -11.8731 +▁Solar -11.8733 +Don -11.8733 +ijska -11.8734 +▁clicking -11.8734 +▁completion -11.8734 +▁istražuje -11.8734 +▁Serbia -11.8735 +čeno -11.8737 +▁Sloboda -11.8739 +lnih -11.874 +lift -11.874 +▁volja -11.874 +▁izbjegava -11.8741 +▁reviewed -11.8742 +chy -11.8742 +▁aimed -11.8742 +▁ovakvog -11.8742 +▁viđa -11.8743 +▁Bus -11.8743 +▁krenu -11.8745 +▁aktivan -11.8745 +Novi -11.8745 +▁ministry -11.8747 +▁stomach -11.8747 +▁meaningful -11.8747 +▁kupce -11.8747 +▁komentira -11.8748 +▁lečenju -11.8748 +▁pomisli -11.8748 +piece -11.8751 +▁actor -11.8752 +▁NIS -11.8752 +▁ranging -11.8753 +▁Rezultat -11.8753 +ats -11.8754 +▁vodili -11.8755 +ivati -11.8755 +▁pokrenut -11.8755 +bilo -11.8755 +OST -11.8756 +▁rešava -11.8758 +▁measured -11.8759 +▁spusti -11.8759 +▁Creek -11.876 +active -11.876 +▁stamp -11.876 +▁negativan -11.8761 +outs -11.8761 +CL -11.8763 +▁CON -11.8764 +about -11.8764 +▁resurse -11.8764 +▁Ry -11.8765 +away -11.8766 +▁Agent -11.8766 +▁rase -11.8767 +▁nezakonit -11.8767 +▁Artist -11.8768 +ljivanje -11.8768 +▁Hills -11.877 +Moj -11.877 +▁promatra -11.8771 +▁frequent -11.8771 +▁NAS -11.8771 +▁poginuo -11.8772 +▁edukacije -11.8772 +▁podržan -11.8772 +▁vjerovati -11.8772 +▁prete -11.8772 +mila -11.8773 +▁subote -11.8773 +▁divi -11.8774 +▁isproba -11.8775 +iner -11.8776 +▁Dio -11.8776 +▁vrsti -11.8776 +▁Tomić -11.8776 +▁jasna -11.8776 +nga -11.8778 +▁3:0 -11.8779 +uck -11.8779 +▁graphic -11.8779 +▁EC -11.8781 +RIJE -11.8781 +▁Mej -11.8781 +▁savetnik -11.8782 +▁Agreement -11.8784 +▁sacrifice -11.8784 +▁Prijedlog -11.8784 +▁Hoće -11.8784 +▁drugačija -11.8785 +▁bon -11.8788 +tska -11.8789 +-21 -11.879 +▁bot -11.8791 +▁gang -11.8791 +▁iznimno -11.8792 +▁ubrzava -11.8792 +▁cats -11.8793 +▁blame -11.8793 +▁ukidanje -11.8795 +igrač -11.8796 +▁poslodavca -11.8797 +▁odabran -11.8797 +▁glasanje -11.8799 +LC -11.8799 +▁rescue -11.8799 +isan -11.8801 +▁ostvarivanje -11.8801 +▁circle -11.8801 +▁frequency -11.8802 +▁bug -11.8802 +▁Borac -11.8803 +▁FIG -11.8807 +▁und -11.8808 +jci -11.8808 +▁punch -11.8809 +▁prodavnica -11.8809 +▁izlaze -11.8809 +▁dvojice -11.8809 +▁polufinalu -11.8809 +▁svibnja -11.8809 +=" -11.8809 +▁Cast -11.881 +▁cups -11.881 +gađa -11.881 +▁Maryland -11.8811 +▁postupaka -11.8811 +▁Zapada -11.8811 +▁resolve -11.8812 +TON -11.8812 +▁rudar -11.8813 +plav -11.8813 +▁Eco -11.8814 +▁skilled -11.8815 +▁Given -11.8816 +▁tub -11.8816 +م -11.8817 +▁subsequent -11.8817 +▁sole -11.8817 +▁crnog -11.8818 +▁potvrdi -11.8818 +▁odjel -11.8818 +▁osećanja -11.8818 +▁vojnog -11.8819 +▁responded -11.882 +▁има -11.882 +ert -11.8821 +▁interesuje -11.8821 +xa -11.8821 +daju -11.8821 +▁Republiku -11.8821 +▁traka -11.8822 +▁pravca -11.8822 +▁ubijeno -11.8822 +▁Lou -11.8822 +▁Vila -11.8822 +bad -11.8822 +▁Takav -11.8823 +▁Albanije -11.8823 +▁ženske -11.8823 +▁Nekada -11.8826 +▁concentration -11.8826 +▁nalik -11.8827 +▁vježba -11.8828 +▁slijede -11.8828 +▁svakih -11.8828 +▁odrediti -11.8828 +▁betting -11.8829 +▁serum -11.8832 +hari -11.8832 +▁beef -11.8834 +▁predsjednica -11.8834 +▁podigao -11.8834 +▁Cambridge -11.8834 +▁Beauty -11.8834 +▁Assistant -11.8834 +▁charity -11.8834 +▁donira -11.8835 +▁predaje -11.8835 +▁editing -11.8836 +▁starter -11.8836 +▁Jennifer -11.8836 +▁profesori -11.8836 +▁Fresh -11.8836 +▁hopefully -11.8837 +▁Language -11.8838 +▁instituta -11.8838 +▁§ -11.8839 +▁Bird -11.8842 +▁uradite -11.8843 +▁željeli -11.8844 +▁enhanced -11.8845 +▁Pale -11.8846 +▁kuhinji -11.8846 +▁fiscal -11.8846 +▁Moskve -11.8847 +▁kreiranje -11.8847 +alnog -11.8849 +▁otvorili -11.8849 +▁obolelih -11.885 +▁clubs -11.885 +lost -11.8851 +▁vremenima -11.8851 +▁\ -11.8854 +▁govoreći -11.8855 +NOM -11.8855 +amp -11.8855 +▁društvenog -11.8856 +▁poen -11.8857 +đite -11.8858 +▁guma -11.8858 +mjeri -11.8859 +▁Writing -11.8859 +▁ogromna -11.8859 +▁kakvih -11.8859 +chu -11.886 +▁ladies -11.886 +▁izašla -11.886 +▁lopti -11.886 +▁bakterije -11.886 +▁njime -11.886 +▁emotivno -11.8861 +▁analyze -11.8861 +ground -11.8862 +ously -11.8862 +▁sjećanja -11.8862 +▁1.0 -11.8862 +HE -11.8863 +▁protokol -11.8863 +▁painful -11.8864 +šak -11.8864 +▁lowest -11.8865 +▁uvjete -11.8865 +called -11.8866 +▁cela -11.8866 +▁uništi -11.8866 +prema -11.8867 +▁ostavili -11.8869 +▁tjedan -11.8869 +▁Pap -11.887 +▁wise -11.887 +▁Pres -11.887 +▁companion -11.8871 +▁hybrid -11.8871 +▁dialogue -11.8872 +▁Američke -11.8872 +▁kratak -11.8873 +▁Njihova -11.8874 +▁izvođenja -11.8874 +▁krše -11.8875 +▁konzumira -11.8875 +tira -11.8876 +▁čitanje -11.8877 +▁Govori -11.8878 +▁široko -11.8879 +stani -11.888 +▁policijskih -11.8881 +kala -11.8881 +▁Prima -11.8881 +▁Možemo -11.8882 +lista -11.8882 +▁svo -11.8882 +▁menjaju -11.8883 +▁abilities -11.8883 +▁kombinacije -11.8884 +▁remarkable -11.8884 +▁režiji -11.8884 +ми -11.8884 +▁trajao -11.8884 +▁registracije -11.8884 +▁ostavila -11.8884 +▁frižider -11.8884 +col -11.8885 +▁Cash -11.8885 +▁honey -11.8885 +▁predstavili -11.8885 +љ -11.8886 +▁Bugarske -11.8886 +▁šalju -11.8886 +▁javnu -11.8888 +▁osumnjičeni -11.8889 +▁zajedničko -11.8889 +▁razumevanje -11.889 +▁declared -11.8891 +▁otvaraju -11.8893 +▁salad -11.8893 +▁settled -11.8894 +▁Juventus -11.8894 +▁učesnicima -11.8895 +▁gathered -11.8895 +▁Much -11.8895 +▁preserve -11.8895 +▁proslave -11.8897 +▁takmičenjima -11.8897 +▁posudu -11.8897 +▁regija -11.8898 +hop -11.8899 +▁Živković -11.8899 +ovana -11.8901 +▁odvaja -11.8902 +:55 -11.8902 +▁dispute -11.8903 +▁pranja -11.8904 +▁athletes -11.8904 +▁fr -11.8905 +▁defend -11.8905 +ređivanje -11.8906 +▁džep -11.8907 +lp -11.8909 +▁Početkom -11.8909 +▁verziji -11.8909 +▁biber -11.8911 +▁investigate -11.8911 +▁wo -11.8912 +▁umre -11.8913 +▁kreativni -11.8913 +▁AV -11.8913 +tije -11.8914 +▁Ustavnog -11.8916 +tum -11.8916 +▁strel -11.892 +▁šk -11.892 +▁Anne -11.8921 +usta -11.8921 +▁Tag -11.8921 +▁EL -11.8922 +tik -11.8922 +▁Transfer -11.8923 +▁Vladu -11.8923 +▁jedinstvena -11.8923 +▁Parlamenta -11.8925 +▁Iowa -11.8926 +▁mal -11.8927 +▁postavili -11.893 +lazak -11.8933 +▁prompt -11.8933 +dle -11.8933 +▁asistencija -11.8934 +▁započinje -11.8934 +▁equity -11.8935 +▁6- -11.8935 +▁Overall -11.8935 +iri -11.8936 +▁čaja -11.8936 +▁činilo -11.8936 +▁svjetskih -11.8936 +▁RU -11.8937 +▁FOTO -11.8937 +▁comic -11.8938 +▁IM -11.8939 +▁akcijama -11.8939 +▁najavi -11.8941 +▁intervention -11.8941 +▁beton -11.8941 +phy -11.8942 +▁aggressive -11.8942 +▁osumnjičen -11.8944 +▁hipo -11.8944 +▁destroyed -11.8945 +iest -11.8945 +▁hunt -11.8945 +▁startup -11.8946 +▁uplati -11.8946 +▁napravljena -11.8946 +▁zaboravite -11.8946 +▁čovjeku -11.8947 +▁trgovina -11.8947 +▁zanimljiva -11.8947 +zov -11.8948 +▁sabor -11.8948 +▁uzrokuje -11.8951 +▁biskup -11.8951 +▁Crvenog -11.8954 +▁disorder -11.8954 +▁possess -11.8955 +serv -11.8956 +ujete -11.8956 +ijent -11.8956 +▁gradskih -11.8956 +▁vrtić -11.8956 +▁cement -11.8957 +▁Žan -11.8957 +▁žiri -11.8958 +▁zabavi -11.8959 +▁najvećem -11.8959 +▁nursing -11.896 +▁prirodna -11.896 +▁organizovali -11.896 +▁Toyota -11.896 +▁Yeah -11.896 +▁Guy -11.8961 +▁savladali -11.8961 +▁zajedničkom -11.8961 +▁žao -11.8962 +ио -11.8962 +▁ovakva -11.8963 +▁auta -11.8963 +▁smjeru -11.8963 +▁infant -11.8963 +▁Sama -11.8964 +▁insert -11.8965 +die -11.8966 +▁Pel -11.8966 +▁zabrana -11.8967 +▁poet -11.8968 +ي -11.8969 +▁hike -11.897 +čaj -11.897 +acioni -11.8971 +▁hardly -11.8971 +ljić -11.8972 +▁razvije -11.8972 +▁Todorović -11.8972 +▁obnove -11.8973 +▁penalty -11.8973 +▁Hadži -11.8973 +▁hibrid -11.8973 +ivan -11.8974 +▁socijalnu -11.8975 +▁rana -11.8976 +▁čuju -11.8976 +▁duhovno -11.8977 +▁Korean -11.8978 +▁themes -11.8978 +nku -11.8978 +▁Friends -11.898 +▁prihvatili -11.898 +▁consult -11.8982 +lated -11.8983 +cra -11.8983 +cco -11.8983 +normal -11.8983 +▁50.000 -11.8983 +▁Geo -11.8984 +raju -11.8985 +▁Sydney -11.8985 +▁Abazović -11.8985 +▁držao -11.8985 +▁potvrde -11.8985 +▁designers -11.8987 +▁promijeni -11.8988 +▁registrovano -11.8988 +▁članka -11.899 +MR -11.899 +▁celoj -11.899 +▁gluten -11.8991 +▁izbjeglica -11.8994 +▁cita -11.8994 +▁stila -11.8995 +▁Osnovne -11.8995 +▁savete -11.8997 +▁principima -11.8997 +▁pametni -11.8997 +▁generous -11.8998 +▁narednu -11.8998 +▁generations -11.8998 +▁BU -11.8998 +▁istorijski -11.8999 +▁duties -11.8999 +ак -11.9 +▁Xbox -11.9 +▁bake -11.9 +mg -11.9 +▁PVC -11.9 +used -11.9001 +▁čitave -11.9002 +ony -11.9003 +čnom -11.9003 +▁flo -11.9003 +▁stupid -11.9004 +▁reward -11.9004 +▁governments -11.9004 +▁Honor -11.9005 +▁Svoj -11.9005 +▁Jos -11.9005 +▁proseku -11.9005 +▁korišten -11.9006 +▁desne -11.9006 +▁prikuplja -11.9007 +▁dijeta -11.9007 +▁sing -11.9007 +TT -11.9007 +▁zabrinut -11.9007 +▁hub -11.9008 +▁bok -11.9009 +▁indicates -11.9009 +▁administracije -11.901 +▁promoviše -11.9011 +ception -11.9011 +▁slavu -11.9011 +▁stake -11.9013 +250 -11.9013 +▁že -11.9013 +▁NVO -11.9014 +▁Obr -11.9015 +▁е -11.9016 +▁Zadru -11.9017 +▁naked -11.9017 +vlači -11.9017 +▁broda -11.9017 +▁fizi -11.9018 +▁suđenja -11.9018 +▁Stro -11.9018 +▁TU -11.9018 +enju -11.9019 +▁ostrvo -11.9023 +▁skraćen -11.9023 +▁etno -11.9024 +▁tradicionalne -11.9024 +▁Mehmed -11.9025 +▁Latest -11.9026 +▁coal -11.9028 +▁workout -11.9028 +▁Crveni -11.9028 +▁muče -11.9029 +▁Mađar -11.903 +čnost -11.9031 +dva -11.9032 +▁receptor -11.9032 +▁desno -11.9032 +▁osnove -11.9033 +avaju -11.9034 +tok -11.9035 +▁Application -11.9035 +▁Bakir -11.9035 +▁nikakva -11.9036 +▁gonna -11.9036 +odo -11.9037 +sek -11.9037 +▁Nations -11.9039 +▁flood -11.9041 +▁sruši -11.9041 +▁buke -11.9042 +pass -11.9043 +▁maski -11.9043 +▁socijalna -11.9044 +▁resulted -11.9046 +▁nest -11.9046 +▁potroši -11.9046 +▁invite -11.9047 +▁pričaju -11.9048 +▁znanstveni -11.9049 +▁Stjepan -11.9049 +rskih -11.9049 +▁odličnu -11.9049 +▁idealna -11.9049 +▁pripremiti -11.9049 +▁Sunce -11.9049 +▁detaljnije -11.905 +▁trusted -11.905 +▁titula -11.9051 +▁Text -11.9052 +jana -11.9052 +core -11.9052 +▁bugarsk -11.9052 +itu -11.9052 +▁gran -11.9053 +▁(16 -11.9054 +▁očuvanju -11.9055 +▁Zrenjanin -11.9056 +▁Beli -11.9057 +▁događaji -11.9058 +▁bomba -11.9059 +▁physically -11.906 +▁privrednih -11.906 +▁potpredsjednik -11.906 +belih -11.9061 +▁isplate -11.9061 +▁crusher -11.9061 +zam -11.9061 +▁božićn -11.9061 +▁cigareta -11.9062 +voli -11.9062 +▁Ekonomija -11.9062 +▁Lju -11.9063 +▁nastupiti -11.9063 +▁čist -11.9063 +▁borrow -11.9064 +▁Kvalitet -11.9064 +bun -11.9065 +▁SUV -11.9065 +▁odbaci -11.9065 +/4 -11.9067 +AVA -11.9069 +▁duhu -11.907 +▁Kale -11.907 +▁jul -11.907 +▁contracts -11.9071 +▁105 -11.9071 +ту -11.9072 +ssing -11.9073 +▁ritam -11.9075 +▁Animal -11.9075 +▁većoj -11.9076 +▁treću -11.9076 +▁Clo -11.9078 +▁nezavisno -11.9078 +izer -11.9079 +▁mast -11.908 +rodnoj -11.908 +▁odlučite -11.908 +ncu -11.9081 +▁jezikom -11.9082 +1000 -11.9082 +▁napušta -11.9083 +▁duša -11.9083 +ALL -11.9084 +▁ukloniti -11.9085 +▁220 -11.9085 +rga -11.9086 +▁demonstrated -11.9086 +sters -11.9086 +jeda -11.9086 +▁Benjamin -11.9087 +▁Chair -11.9087 +▁Thi -11.9088 +pros -11.9089 +▁realnost -11.909 +▁mnogima -11.909 +▁nacionalnom -11.909 +▁lease -11.909 +▁približno -11.9091 +▁Jews -11.9091 +▁Materijal -11.9092 +▁MZ -11.9092 +▁napora -11.9093 +▁dole -11.9093 +▁Cra -11.9093 +▁prahu -11.9093 +▁Later -11.9093 +▁energetski -11.9093 +▁tačku -11.9093 +▁značaju -11.9094 +▁certificate -11.9095 +▁najviši -11.9095 +▁Commissioner -11.9096 +▁tekstovi -11.9096 +▁mislili -11.9096 +yes -11.9097 +▁horses -11.9097 +nsi -11.9098 +▁instruments -11.9098 +▁consist -11.9099 +▁suite -11.91 +▁garlic -11.91 +▁zadatke -11.91 +▁Državama -11.9101 +▁Ch -11.9101 +▁limun -11.9103 +▁Wind -11.9103 +▁Ulaz -11.9103 +▁sistemima -11.9107 +▁aged -11.9107 +▁sjajne -11.9108 +▁1993 -11.9109 +reni -11.9109 +▁24, -11.9112 +▁padavina -11.9113 +▁tinejdžer -11.9114 +nity -11.9114 +▁modernog -11.9115 +▁neposrednoj -11.9116 +ičke -11.9116 +▁overnight -11.9116 +▁književnost -11.9117 +▁dublje -11.9117 +ţa -11.9117 +▁asfalt -11.9117 +krug -11.9118 +▁nosa -11.912 +lep -11.9121 +▁curve -11.9121 +▁hearts -11.9121 +▁wider -11.9123 +▁prazni -11.9123 +▁podsjetio -11.9123 +just -11.9124 +▁Radno -11.9124 +▁firmu -11.9125 +▁Ren -11.9125 +rock -11.9125 +▁nanosi -11.9125 +▁Miš -11.9126 +▁Radović -11.9128 +lk -11.9129 +▁pojačava -11.913 +▁connecting -11.913 +UB -11.9131 +▁vještine -11.9131 +▁činiti -11.9136 +▁refused -11.9136 +?? -11.9136 +▁Flash -11.9137 +▁Airbnb -11.9138 +▁Mustafa -11.9138 +▁preduslov -11.9138 +▁istoričar -11.9138 +▁službeno -11.9139 +▁insulin -11.9139 +▁Andy -11.914 +▁inventory -11.914 +▁AB -11.9141 +▁panels -11.9141 +winning -11.9142 +▁najavljen -11.9142 +▁radnu -11.9142 +▁savjeta -11.9142 +▁scrap -11.9142 +▁Skup -11.9143 +▁CG -11.9143 +▁interpretation -11.9144 +▁Bern -11.9144 +Cha -11.9144 +▁operated -11.9144 +▁Rusi -11.9145 +▁fired -11.9145 +▁izvorima -11.9145 +▁vođenje -11.9148 +150 -11.9149 +cuje -11.915 +▁deserve -11.915 +print -11.915 +▁helikopter -11.9151 +▁administrative -11.9151 +▁agenciji -11.9151 +▁aktuelne -11.9151 +▁Radulović -11.9151 +▁golom -11.9151 +▁izvođača -11.9152 +vreme -11.9153 +▁biznisa -11.9153 +▁NAJ -11.9154 +▁20.000 -11.9154 +▁zamisliti -11.9154 +▁izazova -11.9155 +▁izvođač -11.9155 +▁gentle -11.9156 +▁kontinuiran -11.9156 +▁stup -11.9156 +▁Screen -11.9157 +▁Izložba -11.9158 +▁habits -11.916 +▁10:00 -11.916 +▁odmara -11.916 +▁Hadžić -11.9162 +▁četrdeset -11.9163 +hole -11.9164 +▁gradskom -11.9164 +▁tehničar -11.9164 +▁smiju -11.9164 +what -11.9165 +sure -11.9166 +▁stir -11.9169 +▁čitati -11.917 +miješa -11.9171 +štvo -11.9171 +ruši -11.9172 +▁srpskoj -11.9172 +rtv -11.9173 +tanja -11.9173 +▁snova -11.9175 +▁(0) -11.9176 +▁dimenzije -11.9177 +▁Njih -11.9177 +▁prostate -11.9177 +▁čvor -11.9178 +▁znoj -11.9178 +▁džez -11.9179 +▁Žena -11.9179 +▁letnje -11.9179 +▁ни -11.918 +▁refuse -11.918 +Samo -11.9181 +▁promenama -11.9182 +▁Wars -11.9183 +▁talented -11.9184 +▁primjene -11.9184 +firm -11.9185 +▁earnings -11.9186 +▁Glass -11.9189 +racija -11.9189 +▁breaks -11.9189 +▁240 -11.919 +▁fantasy -11.919 +▁prodati -11.919 +▁prezentacije -11.919 +jar -11.919 +ARA -11.9191 +jl -11.9191 +▁Istraživanje -11.9192 +▁Lock -11.9192 +Kon -11.9192 +▁troše -11.9195 +▁hiper -11.9195 +▁Kurti -11.9196 +▁vendors -11.9197 +sale -11.9197 +▁Gazi -11.9198 +▁tice -11.9198 +gistr -11.9199 +▁potpunu -11.92 +mesečn -11.92 +▁grounds -11.9201 +▁saglasnosti -11.9201 +▁Arena -11.9201 +▁poster -11.9202 +!? -11.9203 +▁CIA -11.9203 +▁Ruske -11.9203 +▁materijali -11.9204 +▁usamljen -11.9204 +▁Track -11.9205 +ggy -11.9205 +њу -11.9206 +▁instruction -11.9207 +▁Susan -11.9207 +▁Uskoro -11.9208 +▁štetnih -11.9208 +iranih -11.9209 +▁Saudi -11.9209 +▁mozes -11.9209 +▁troops -11.9211 +▁č -11.9212 +▁virtueln -11.9212 +▁izabrani -11.9212 +▁representing -11.9213 +▁učestvovalo -11.9216 +▁FIFA -11.9216 +-24 -11.9216 +▁Katarina -11.9217 +▁Telekom -11.9217 +▁Ep -11.9218 +wear -11.9219 +▁doprinosa -11.922 +▁očaj -11.922 +▁Preporučujemo -11.9222 +▁suppliers -11.9222 +▁wheels -11.9223 +▁Tito -11.9224 +▁enormous -11.9224 +▁suprotnosti -11.9224 +▁Close -11.9227 +▁cro -11.9228 +uge -11.9228 +▁Predlog -11.9228 +wick -11.9229 +▁Šešelj -11.9229 +▁prosvete -11.9229 +▁Trebinje -11.9229 +▁puzzle -11.9229 +▁kliknite -11.9229 +▁čekati -11.9229 +mere -11.9229 +▁networking -11.9229 +▁mil -11.923 +▁beleži -11.9231 +▁DNK -11.9232 +▁rijeka -11.9232 +▁prigodn -11.9233 +vite -11.9234 +▁Mak -11.9235 +▁količinama -11.9235 +▁sjeti -11.9236 +▁instantly -11.9236 +▁vrtića -11.9236 +:18 -11.9238 +▁rukovodstvo -11.9241 +▁artificial -11.9242 +▁cluster -11.9242 +▁vidjela -11.9243 +▁Monitor -11.9244 +party -11.9245 +cru -11.9246 +▁socijalnog -11.9246 +▁3.5 -11.9248 +▁američkom -11.9248 +▁temp -11.9248 +▁gornji -11.9249 +▁contributed -11.925 +gard -11.9252 +▁zeleno -11.9254 +▁takmičara -11.9254 +▁Jasno -11.9254 +▁uređajima -11.9255 +bell -11.9255 +▁Simply -11.9255 +▁ozbiljna -11.9255 +▁agresije -11.9255 +▁podiže -11.9255 +▁predsjedničk -11.9255 +▁leči -11.9255 +▁Description -11.9256 +▁vidljiv -11.9256 +▁ponudio -11.9256 +▁babies -11.9256 +▁nutrition -11.9256 +Art -11.9256 +▁4) -11.9258 +commerce -11.9258 +▁Sch -11.9259 +spite -11.9259 +▁Olimpijsk -11.9259 +▁zdrava -11.9259 +▁popularna -11.9259 +▁nobody -11.926 +▁Better -11.9261 +nesite -11.9263 +▁faktori -11.9263 +▁ABC -11.9263 +▁ceka -11.9264 +school -11.9264 +▁није -11.9265 +▁math -11.9265 +▁saradnicima -11.9265 +▁bezbedno -11.9265 +▁baštine -11.9266 +▁ears -11.9267 +GI -11.9267 +▁štite -11.9267 +ćeg -11.9268 +▁Amsterdam -11.9268 +▁postrojenja -11.9268 +▁prepoznaju -11.9268 +▁bliži -11.9269 +▁prijateljstva -11.927 +▁Sure -11.927 +▁ulaznice -11.927 +▁Raf -11.9271 +02. -11.9271 +▁Kuća -11.9272 +▁svakim -11.9272 +▁solely -11.9273 +shop -11.9273 +▁Bau -11.9274 +▁nauci -11.9275 +▁chef -11.9275 +▁reka -11.9275 +▁momenta -11.9277 +▁Leave -11.9277 +stre -11.9277 +LL -11.9278 +obe -11.9278 +▁Milk -11.9279 +▁template -11.9279 +▁peći -11.9279 +▁globalne -11.9279 +▁shit -11.928 +▁danu -11.928 +FP -11.928 +▁jurisdiction -11.9281 +▁bands -11.9282 +▁settle -11.9285 +izuju -11.9286 +▁Past -11.9286 +▁kršenja -11.9286 +▁Siniša -11.9286 +▁к -11.9287 +▁direktorka -11.9288 +BL -11.9289 +pack -11.9289 +▁pomak -11.9292 +▁complaint -11.9292 +▁2011, -11.9293 +hot -11.9293 +▁kakvim -11.9293 +jor -11.9294 +▁spektakl -11.9294 +▁edukaciju -11.9294 +▁obriše -11.9294 +▁izvr -11.9296 +▁Communications -11.9298 +▁cjelokupn -11.9298 +▁hram -11.9298 +▁Bogdanović -11.9299 +▁tear -11.9299 +▁piti -11.9299 +grada -11.9301 +▁predsjednikom -11.9302 +▁Nastavi -11.9302 +▁Allahu -11.9303 +▁pie -11.9303 +▁spratu -11.9304 +▁painted -11.9304 +▁£1 -11.9304 +ffe -11.9304 +▁GE -11.9305 +▁Chat -11.9305 +pita -11.9306 +▁Pripadnici -11.9307 +▁Ognjen -11.9307 +▁teen -11.9308 +rma -11.9308 +▁Planning -11.9309 +▁pokri -11.931 +cover -11.931 +▁votes -11.931 +dog -11.9311 +▁Čim -11.9312 +▁Liv -11.9312 +▁bliski -11.9313 +▁najznačajnijih -11.9316 +ops -11.9316 +▁kraće -11.9316 +▁obli -11.9317 +lines -11.9318 +▁završetak -11.9318 +▁spriječiti -11.932 +cene -11.9321 +▁2013, -11.9321 +▁LG -11.9321 +tovi -11.9321 +▁friendship -11.9322 +▁korone -11.9323 +▁neophodni -11.9323 +OVE -11.9323 +▁tobom -11.9323 +drži -11.9323 +▁Platform -11.9323 +Telegraf -11.9324 +nning -11.9324 +itor -11.9324 +vic -11.9324 +TRO -11.9324 +▁volio -11.9324 +▁delimično -11.9325 +staje -11.9325 +▁minds -11.9326 +▁zvanični -11.9327 +group -11.9327 +▁vođe -11.9327 +▁obezbediti -11.9328 +▁reverse -11.9328 +▁Kun -11.9329 +▁hitting -11.933 +ušić -11.933 +▁Labor -11.933 +Vesti -11.9331 +▁Vašem -11.9331 +▁Matić -11.9332 +▁potpisuje -11.9333 +▁dostaviti -11.9335 +▁perception -11.9335 +▁breed -11.9336 +▁Zemun -11.9337 +▁dependent -11.9337 +reci -11.9338 +▁obećao -11.9338 +▁Opet -11.9338 +▁Mission -11.9339 +▁pozvali -11.9339 +▁spo -11.934 +▁captured -11.934 +ljem -11.934 +▁levo -11.9341 +nstvo -11.9341 +▁alert -11.9344 +Net -11.9344 +▁FDA -11.9344 +▁kupili -11.9346 +▁dobijanje -11.9346 +▁Saznajte -11.9346 +▁milijardu -11.9347 +▁Afrike -11.9347 +▁Učenici -11.9347 +▁ка -11.9347 +▁jacket -11.9348 +ault -11.9349 +▁Senator -11.9349 +▁warranty -11.9351 +▁iskoristili -11.9351 +▁Youth -11.9351 +▁htjeli -11.9351 +ETA -11.9352 +▁manastira -11.9352 +▁surely -11.9352 +▁ugodno -11.9354 +▁vlastima -11.9354 +lagao -11.9355 +▁vertical -11.9356 +▁umetnik -11.9359 +▁destinacije -11.936 +▁otkako -11.936 +▁showcase -11.9361 +▁salary -11.9361 +---------------- -11.9362 +ller -11.9363 +▁aktuelni -11.9364 +▁iznova -11.9364 +rsku -11.9365 +max -11.9365 +▁Zor -11.9366 +▁processed -11.9366 +llen -11.9367 +▁Federer -11.9367 +▁Osta -11.9368 +▁letova -11.9369 +▁Ibn -11.9369 +trop -11.937 +etic -11.937 +▁branio -11.937 +sty -11.9371 +▁actors -11.9371 +▁amp -11.9372 +▁humanitarne -11.9373 +▁tremendous -11.9373 +▁Guard -11.9373 +▁zapisa -11.9373 +▁oznaka -11.9373 +▁penzije -11.9373 +▁isteka -11.9373 +▁Environmental -11.9374 +▁poslovnom -11.9374 +zijom -11.9375 +▁zaigra -11.9375 +▁Gel -11.9376 +▁Nacionalni -11.9376 +▁specijalitet -11.9377 +▁Beat -11.9377 +sic -11.9379 +anski -11.9379 +▁brane -11.9379 +▁tehnološki -11.9383 +▁broji -11.9384 +park -11.9386 +▁povlači -11.9386 +▁grešku -11.9386 +izo -11.9388 +▁Primer -11.9389 +▁donekle -11.9389 +▁Letter -11.939 +▁Pir -11.9391 +▁predviđena -11.9392 +▁bench -11.9394 +▁šar -11.9394 +ček -11.9394 +▁sreća -11.9395 +▁sprečavanje -11.9396 +aut -11.9396 +▁okret -11.9397 +▁Gal -11.9398 +▁likova -11.9399 +▁hill -11.9399 +▁određenom -11.94 +ovci -11.94 +▁bilježi -11.9401 +▁industriju -11.9401 +sson -11.9403 +▁HI -11.9403 +Р -11.9403 +▁nogometaš -11.9403 +▁suočavaju -11.9407 +▁Hello -11.9408 +▁mole -11.9408 +▁kupe -11.941 +ancy -11.941 +▁Hart -11.941 +▁finansiranja -11.9411 +ки -11.9411 +▁MAN -11.9412 +▁proceduru -11.9412 +▁društava -11.9412 +▁glavnim -11.9413 +▁crkvu -11.9413 +▁quantity -11.9413 +▁Indeed -11.9413 +▁auction -11.9413 +rava -11.9415 +▁Along -11.9415 +го -11.9415 +▁partnerom -11.9415 +▁priest -11.9415 +▁rezervisan -11.9416 +▁Nacionalnog -11.9417 +▁bulk -11.9417 +▁plugin -11.9418 +▁gallery -11.942 +ча -11.9421 +ruc -11.9422 +▁2016, -11.9423 +:14 -11.9423 +▁Milić -11.9423 +▁prevari -11.9423 +▁swim -11.9425 +▁Round -11.9425 +▁squad -11.9426 +▁convey -11.9426 +▁Charlie -11.9426 +oper -11.9426 +▁Barbara -11.9426 +▁istakli -11.9426 +▁kut -11.9427 +▁Ću -11.9428 +▁tent -11.9428 +prava -11.9428 +▁spomenuti -11.9429 +▁silent -11.9429 +▁modified -11.9429 +demo -11.9431 +anj -11.9431 +▁Festivala -11.9431 +▁5- -11.9432 +▁živim -11.9432 +▁leš -11.9432 +▁Petković -11.9433 +▁putuju -11.9433 +▁spam -11.9433 +▁cord -11.9433 +▁proverite -11.9434 +▁picking -11.9435 +▁Bože -11.9436 +▁metod -11.9436 +▁radical -11.9437 +▁(11 -11.9438 +▁nauče -11.9438 +dit -11.9438 +▁društvenoj -11.9438 +▁leti -11.9439 +▁majčin -11.9439 +▁skupštinsk -11.9439 +▁tačaka -11.9439 +▁Ideja -11.944 +▁proizvodnjom -11.944 +▁pretres -11.944 +▁zatvaranje -11.9441 +▁rap -11.9444 +▁noćni -11.9444 +ndra -11.9445 +pora -11.9445 +▁Hub -11.9446 +▁heal -11.9448 +▁mimo -11.9448 +▁privatnim -11.9448 +▁tak -11.9448 +▁navijačima -11.9449 +ado -11.9449 +CIJA -11.9449 +TOR -11.945 +rgi -11.9451 +▁obavljen -11.9451 +▁zeleni -11.9452 +▁$100 -11.9452 +▁koalicija -11.9452 +▁finansije -11.9452 +▁pozitivna -11.9452 +▁Chrome -11.9452 +▁kupovina -11.9452 +▁porodične -11.9452 +▁obu -11.9453 +feld -11.9453 +▁zračn -11.9453 +▁Tuzlanski -11.9455 +▁Bečej -11.9455 +▁Tomas -11.9455 +ар -11.9455 +▁Cape -11.9457 +▁supruge -11.9457 +▁publish -11.9457 +▁nagrađen -11.946 +▁Sri -11.9461 +▁svečanosti -11.9462 +-22 -11.9462 +▁processor -11.9463 +bora -11.9464 +▁uništava -11.9464 +▁pozivu -11.9464 +▁string -11.9464 +▁prona -11.9464 +▁mobilnih -11.9465 +▁oduševljen -11.9465 +▁koktel -11.9466 +▁strategiju -11.9466 +▁integracija -11.9467 +▁chip -11.9467 +▁filmovima -11.9467 +poz -11.9467 +▁cancel -11.9468 +At -11.9468 +▁Miloša -11.9468 +▁tons -11.9468 +▁predvođen -11.9469 +vladin -11.9469 +▁račune -11.9469 +▁thoroughly -11.9469 +▁Prior -11.9469 +▁15- -11.9469 +inović -11.947 +sat -11.947 +▁upozorenje -11.947 +▁Getting -11.9471 +▁apetit -11.9472 +▁Pogledaj -11.9473 +ције -11.9474 +▁PI -11.9475 +▁Omer -11.9475 +▁žestok -11.9476 +▁predloga -11.9477 +▁pasti -11.9477 +▁Haj -11.9477 +▁razumije -11.9478 +rator -11.9479 +erson -11.9479 +▁kolekciju -11.9479 +▁službu -11.9479 +▁jabuka -11.9479 +▁Peace -11.9479 +▁Pobjed -11.9479 +▁Brijeg -11.948 +▁pamti -11.9481 +▁2015, -11.9482 +▁3000 -11.9483 +▁phrase -11.9485 +▁KP -11.9486 +▁lung -11.9487 +||5 -11.9487 +▁Osnov -11.9487 +▁međunarodno -11.9488 +ičnu -11.949 +▁ft -11.949 +elu -11.949 +liv -11.9491 +▁objasnila -11.9493 +plus -11.9494 +tele -11.9494 +▁nepravilnosti -11.9495 +▁ispitanika -11.9495 +▁Cri -11.9495 +▁osnivača -11.9495 +▁debat -11.9496 +▁dodat -11.9497 +▁digitalne -11.9498 +тра -11.9498 +▁zanimljive -11.95 +▁Hur -11.9501 +▁Hitler -11.9501 +/8 -11.9502 +▁sjeveru -11.9502 +miju -11.9504 +▁container -11.9505 +▁Srpsku -11.9506 +▁konkurencije -11.9506 +▁nadležne -11.9506 +▁ribolov -11.9506 +▁namjerava -11.9507 +▁Stojković -11.9508 +▁bele -11.9508 +▁reserve -11.9508 +▁primili -11.9509 +▁pH -11.951 +▁Currently -11.951 +▁rush -11.951 +▁Excel -11.9511 +pije -11.9511 +▁slična -11.9512 +▁prenese -11.9514 +▁Obi -11.9514 +▁sjajna -11.9514 +▁threats -11.9515 +▁landing -11.9516 +enzi -11.9516 +▁Sab -11.9517 +▁socio -11.9517 +▁tunel -11.9517 +▁učinkovit -11.9518 +▁endless -11.9518 +▁Krivokapić -11.9519 +▁nezadovoljstvo -11.9519 +▁Nelson -11.9519 +▁breach -11.952 +sipa -11.9521 +▁sakuplja -11.9522 +▁političar -11.9522 +▁mladosti -11.9523 +▁spark -11.9523 +▁overwhelming -11.9523 +▁razvojem -11.9523 +▁Voice -11.9523 +▁poluvremena -11.9523 +▁direktorica -11.9524 +▁Činjenica -11.9524 +ock -11.9524 +▁engines -11.9524 +▁pretend -11.9526 +▁procesima -11.9526 +▁advokata -11.9527 +▁Dinamo -11.9528 +tična -11.9528 +▁pokažu -11.9529 +mate -11.953 +tske -11.953 +▁periods -11.9532 +▁konkretne -11.9532 +▁proljeće -11.9532 +▁uveri -11.9533 +▁boks -11.9533 +cation -11.9533 +mination -11.9534 +2010 -11.9534 +▁Lincoln -11.9535 +▁postale -11.9536 +▁Football -11.9536 +▁nezakonito -11.9537 +▁Common -11.9538 +▁workshops -11.9538 +▁uvođenja -11.9538 +▁Glavna -11.9538 +▁specijalizovan -11.9539 +▁cooked -11.9539 +:05 -11.954 +▁Flu -11.954 +▁primena -11.954 +tant -11.954 +COM -11.9541 +▁operational -11.9542 +maj -11.9542 +aire -11.9544 +▁HS -11.9546 +▁finansijsku -11.9546 +▁trgovini -11.9546 +▁Charlotte -11.9546 +▁[...] -11.9546 +▁Đilas -11.9546 +▁ugosti -11.9546 +▁Championship -11.9546 +▁productivity -11.9546 +▁presidential -11.9546 +▁slam -11.9546 +Fo -11.9547 +rođen -11.9547 +▁nudimo -11.9549 +▁vođen -11.9549 +▁reprezentativn -11.9549 +▁Dalje -11.9549 +▁Palestinian -11.955 +zra -11.955 +▁materijale -11.955 +čeni -11.9551 +▁kriterij -11.9551 +▁3-4 -11.9552 +ački -11.9553 +▁sjever -11.9553 +▁Vašu -11.9556 +▁prisustvu -11.9556 +▁Gary -11.9559 +▁direktan -11.9559 +▁vlakana -11.956 +▁Astro -11.956 +▁involvement -11.956 +:23 -11.9561 +▁fed -11.9561 +.2013 -11.9561 +▁EV -11.9562 +▁mobitel -11.9562 +▁Hy -11.9562 +▁planirana -11.9563 +▁dobitnik -11.9565 +▁Vojvodina -11.9565 +▁Wil -11.9566 +iće -11.9566 +▁Slo -11.9567 +Tri -11.9569 +▁slikama -11.9569 +▁Bun -11.957 +▁održani -11.9571 +▁Lukić -11.9571 +chan -11.9572 +▁sveže -11.9572 +й -11.9573 +▁Constitution -11.9573 +▁održala -11.9573 +▁medicinska -11.9573 +▁pomogla -11.9573 +▁sporo -11.9574 +▁governor -11.9575 +▁Spec -11.9575 +vlada -11.9575 +▁servira -11.9575 +▁bloka -11.9577 +service -11.9579 +▁Questions -11.958 +jedan -11.958 +▁profesionalne -11.958 +▁zvon -11.958 +▁dear -11.9581 +▁kafa -11.9581 +▁iznenada -11.9581 +▁concluded -11.9581 +▁Kop -11.9582 +▁LGBT -11.9582 +▁ispitivanje -11.9582 +▁sr -11.9582 +dik -11.9583 +▁enhancement -11.9583 +▁stomak -11.9583 +▁legacy -11.9586 +▁pedagog -11.9586 +rane -11.9587 +sted -11.9587 +ић -11.9587 +▁napitak -11.9588 +▁zadržavanje -11.9588 +▁stotinu -11.9589 +▁Invest -11.9589 +▁Razvoj -11.9589 +▁lawyers -11.959 +▁Value -11.9591 +▁Njegovo -11.9592 +novo -11.9592 +▁advise -11.9592 +▁udaljenosti -11.9594 +▁astronom -11.9594 +▁placa -11.9595 +▁stambenih -11.9595 +▁lijevo -11.9597 +▁productive -11.9598 +ceni -11.9599 +fika -11.9599 +▁teaspoon -11.96 +▁pratnji -11.96 +▁promociji -11.96 +▁navigate -11.96 +EX -11.96 +PRE -11.9602 +▁planeti -11.9603 +▁Gradu -11.9603 +▁teror -11.9604 +▁članu -11.9604 +▁retired -11.9605 +▁osjećaju -11.9606 +▁osnovnu -11.9606 +▁suprugu -11.9606 +Hu -11.9606 +▁cijela -11.9607 +enta -11.9608 +▁oglasio -11.9608 +▁buck -11.9609 +▁ruska -11.9611 +▁shortly -11.9611 +size -11.9612 +▁horizon -11.9612 +▁Barcelona -11.9613 +▁Najčešće -11.9613 +▁besplatna -11.9613 +▁fascinating -11.9613 +▁spouse -11.9613 +▁penzija -11.9614 +▁Andrija -11.9615 +▁embrace -11.9616 +▁paradajz -11.9616 +▁sklon -11.9617 +▁zahvalnost -11.9617 +▁unlikely -11.9618 +▁Kings -11.9619 +Danas -11.9619 +▁obradi -11.9619 +▁paste -11.9619 +▁steal -11.9622 +▁winners -11.9623 +▁_ -11.9623 +▁True -11.9624 +▁Uroš -11.9625 +▁Bjel -11.9625 +▁logično -11.9626 +▁Naredn -11.9626 +▁popularnost -11.9627 +▁građevina -11.9627 +▁inspirisan -11.9627 +▁postavljeni -11.9627 +▁sposobni -11.9627 +▁+381 -11.9627 +maker -11.9627 +▁isporuči -11.9628 +▁Đ -11.9628 +▁časopis -11.9629 +▁McC -11.9629 +▁čiju -11.9629 +▁ukupnom -11.9629 +bby -11.963 +▁Kari -11.963 +▁pregovori -11.9631 +▁Južne -11.9632 +▁upali -11.9632 +zić -11.9633 +▁Wine -11.9634 +▁1.4 -11.9634 +▁constructed -11.9636 +▁Danijel -11.9636 +▁dough -11.9636 +▁muža -11.9637 +▁trials -11.9638 +▁FM -11.9638 +fera -11.9638 +▁obori -11.9639 +▁Konačno -11.964 +isi -11.964 +▁extraordinary -11.964 +▁province -11.964 +▁exp -11.9641 +▁narodni -11.9642 +ređuje -11.9642 +▁Hil -11.9643 +▁obilježen -11.9643 +▁pati -11.9644 +▁Princip -11.9644 +▁natpis -11.9644 +isala -11.9645 +▁1.1 -11.9646 +▁struke -11.9647 +▁zaklju -11.9647 +▁moćni -11.9648 +▁slucaju -11.9648 +▁OVO -11.9649 +▁vakcinisan -11.9651 +▁publishing -11.9651 +▁opisao -11.9652 +lnog -11.9652 +got -11.9653 +▁obra -11.9653 +▁pozorištu -11.9654 +▁tvrtka -11.9654 +▁kineske -11.9654 +▁uzeli -11.9654 +▁nurse -11.9654 +▁zapadu -11.9654 +▁odgovorila -11.9655 +▁Dija -11.9656 +▁obrada -11.9657 +:21 -11.9658 +owned -11.9659 +▁godišnjice -11.9659 +▁izvore -11.966 +▁Dosta -11.9661 +▁Dre -11.9661 +▁Г -11.9661 +▁lips -11.9662 +▁kvalifikacijama -11.9662 +▁apparent -11.9663 +▁balanced -11.9664 +-25 -11.9664 +citi -11.9664 +ect -11.9667 +▁Jonathan -11.9667 +▁wisdom -11.9667 +▁Početak -11.9667 +▁Lider -11.9668 +▁Rusijom -11.9668 +▁tears -11.9669 +jesni -11.9669 +▁Dolazak -11.967 +▁organisations -11.967 +▁odredjen -11.9672 +▁napustiti -11.9673 +▁barely -11.9673 +▁poprilično -11.9675 +▁klijente -11.9676 +▁ET -11.9678 +▁otkriven -11.9678 +▁sprat -11.9678 +▁POD -11.9679 +▁zdravi -11.9679 +▁bazira -11.968 +▁brejk -11.9681 +DF -11.9681 +▁utemeljen -11.9681 +beri -11.9681 +▁udari -11.9682 +raža -11.9682 +▁finest -11.9682 +▁ruling -11.9683 +ijih -11.9683 +▁islama -11.9684 +stanak -11.9684 +ILI -11.9685 +▁exercises -11.9687 +▁ranked -11.9687 +▁budućim -11.9687 +▁25% -11.9687 +▁Panel -11.9688 +▁gradove -11.9688 +▁izgradi -11.9688 +▁senator -11.9688 +▁bris -11.9689 +▁casinos -11.969 +▁expanding -11.969 +▁Leader -11.9691 +▁worker -11.9691 +▁об -11.9691 +▁pijan -11.9691 +▁komesar -11.9691 +▁pronađeni -11.9692 +▁vodovod -11.9692 +▁učesnik -11.9692 +▁upisa -11.9693 +▁Foreign -11.9694 +▁muzici -11.9695 +▁polovina -11.9695 +▁Visa -11.9695 +▁Knight -11.9697 +▁Ostalo -11.9697 +▁beliefs -11.9697 +▁ignore -11.9698 +▁Poziv -11.9698 +▁brži -11.9699 +tične -11.97 +▁tata -11.9701 +▁ram -11.9701 +▁Howard -11.9702 +▁minerala -11.9702 +▁Walk -11.9702 +▁cijelo -11.9703 +tkom -11.9704 +▁verse -11.9705 +▁Bin -11.9706 +ред -11.9707 +▁komunikaciji -11.9708 +▁pokaz -11.9708 +▁Krist -11.9708 +▁conversations -11.9708 +▁integrity -11.9709 +▁obrati -11.9709 +▁opće -11.9709 +▁promised -11.9712 +▁apartmana -11.9712 +▁Sweet -11.9713 +▁delatnost -11.9713 +rstva -11.9713 +▁SPS -11.9714 +▁Obično -11.9714 +▁surrounded -11.9715 +▁najpopularnijih -11.9716 +▁precizira -11.9717 +▁izmjenama -11.9719 +▁Karen -11.9719 +▁rolling -11.9721 +▁biblioteke -11.9722 +▁territory -11.9722 +▁sudbinu -11.9722 +▁Could -11.9722 +▁utility -11.9722 +▁kampanji -11.9722 +▁followers -11.9723 +▁tale -11.9725 +▁impressed -11.9727 +▁под -11.9727 +MET -11.9729 +looking -11.9729 +▁kreme -11.9731 +▁klijenta -11.9731 +▁crnogorske -11.9732 +▁Kluba -11.9733 +▁Additional -11.9735 +▁dijelove -11.9735 +▁Milena -11.9736 +▁dogovorili -11.9736 +▁sklopi -11.9736 +kel -11.9737 +▁relating -11.9738 +▁urađen -11.9738 +▁PL -11.9738 +▁Konstantin -11.9739 +▁bolesnika -11.9739 +▁ometa -11.974 +▁Sil -11.974 +▁poslužiti -11.9741 +▁roughly -11.9741 +▁couples -11.9742 +vini -11.9743 +▁breathing -11.9744 +iziran -11.9745 +▁zatvara -11.9745 +▁Die -11.9747 +cca -11.9747 +▁graf -11.9748 +▁stiglo -11.9749 +▁karantin -11.9749 +▁duration -11.975 +▁Retrieved -11.975 +▁subtle -11.975 +▁mutual -11.975 +AF -11.9751 +UD -11.9751 +▁foam -11.9751 +▁odds -11.9751 +▁truda -11.9752 +▁Virtual -11.9752 +▁gube -11.9752 +▁temelje -11.9752 +▁lakši -11.9752 +▁absorb -11.9753 +shes -11.9753 +▁čista -11.9754 +▁armed -11.9757 +nada -11.9757 +▁zaposlenima -11.9758 +▁Mayor -11.9758 +▁obavijesti -11.9761 +▁thrown -11.9761 +ounce -11.9761 +▁sira -11.9762 +kins -11.9762 +▁SFRJ -11.9763 +▁jabuke -11.9763 +▁istraživanjima -11.9763 +▁poezije -11.9763 +▁klasične -11.9763 +▁Empire -11.9763 +▁igrala -11.9764 +▁poticaj -11.9765 +▁pokušala -11.9766 +▁krevetu -11.9766 +▁spisku -11.9766 +▁// -11.9767 +▁progressive -11.9768 +▁vrstama -11.9769 +▁cry -11.9769 +▁voted -11.9769 +ered -11.9771 +nick -11.9771 +▁considerable -11.9771 +▁redovni -11.9772 +▁Muzičk -11.9772 +▁održivog -11.9772 +▁prepoznaje -11.9772 +▁zo -11.9773 +▁čar -11.9774 +▁zaključi -11.9774 +▁banana -11.9775 +▁Alija -11.9775 +▁angry -11.9777 +Yes -11.9777 +▁1-2 -11.9777 +▁Josh -11.9777 +▁onoliko -11.9778 +▁zakonski -11.978 +zone -11.9782 +Д -11.9782 +▁glo -11.9783 +▁dinar -11.9783 +▁comedy -11.9783 +▁mogućih -11.9783 +▁kreativnost -11.9784 +▁ljuti -11.9787 +▁Ovog -11.9787 +▁Ant -11.9788 +▁uglja -11.9789 +▁hydro -11.979 +▁galeriji -11.979 +▁Utakmica -11.979 +▁telesne -11.979 +▁redakcije -11.9791 +IB -11.9793 +▁2010, -11.9793 +▁#2 -11.9795 +View -11.9796 +▁comply -11.9797 +Zna -11.9798 +grani -11.9798 +▁puls -11.9799 +dium -11.9799 +▁ugasi -11.98 +viz -11.98 +▁maps -11.98 +▁Svoje -11.98 +raš -11.9801 +▁scar -11.9802 +▁mislimo -11.9803 +▁podržali -11.9804 +▁tjelesne -11.9804 +▁galaksija -11.9804 +▁prethodi -11.9804 +▁potvrđuju -11.9804 +LM -11.9804 +▁pozivajući -11.9804 +▁zabranu -11.9804 +▁zub -11.9804 +▁nemir -11.9805 +▁zapaljen -11.9805 +▁sweat -11.9807 +▁pik -11.9807 +▁besplatni -11.9807 +▁vidljivi -11.9809 +ANA -11.9809 +▁prežive -11.9809 +▁Days -11.981 +ruk -11.981 +evog -11.981 +▁upset -11.981 +ALI -11.9811 +▁blast -11.9811 +ijama -11.9812 +▁predvodio -11.9812 +▁najmlađi -11.9813 +▁pronađen -11.9814 +than -11.9814 +▁misliš -11.9815 +▁hosts -11.9816 +▁Domin -11.9817 +▁finansijska -11.9818 +▁klupe -11.9818 +▁Džordž -11.9818 +▁excuse -11.9818 +▁trećoj -11.9818 +▁Dobar -11.9818 +fini -11.982 +▁filing -11.982 +▁toys -11.9822 +▁Mine -11.9822 +puštanje -11.9822 +▁Meri -11.9823 +Let -11.9824 +2018 -11.9825 +▁uklanja -11.9827 +▁Hunt -11.9827 +▁estimates -11.9829 +▁godišnjem -11.9831 +▁zastupljen -11.9831 +▁Huawei -11.9831 +▁Mexican -11.9831 +▁Orleans -11.9831 +▁encouraging -11.9831 +▁intelligent -11.9831 +▁inflation -11.9831 +▁Rafael -11.9832 +▁matching -11.9832 +▁Focus -11.9832 +▁removing -11.9832 +▁struja -11.9832 +▁unlike -11.9833 +▁peaceful -11.9833 +rovi -11.9834 +▁Nina -11.9834 +vlje -11.9834 +▁biblioteka -11.9834 +ŠE -11.9835 +▁rank -11.9836 +▁finishing -11.9836 +▁razni -11.9836 +▁odraz -11.9836 +▁curious -11.9837 +▁pedeset -11.9838 +▁zajedničkih -11.9838 +▁gospodina -11.9839 +gol -11.9839 +▁masu -11.9839 +▁poštovanja -11.9839 +▁Noć -11.9839 +▁credits -11.9841 +▁premijerno -11.9841 +▁centimetara -11.9842 +▁balans -11.9843 +AGE -11.9844 +▁flip -11.9844 +ured -11.9845 +▁curriculum -11.9845 +▁identification -11.9845 +▁svijest -11.9847 +▁klip -11.9848 +▁kolegi -11.9848 +▁ме -11.9848 +▁Dub -11.9848 +▁documentation -11.9849 +SR -11.9849 +▁referent -11.9849 +ifi -11.9849 +▁whereas -11.985 +▁zastupnik -11.9851 +▁oblici -11.9851 +▁funti -11.9852 +▁državljanin -11.9853 +▁Coll -11.9853 +wo -11.9853 +đivanja -11.9854 +▁Lang -11.9855 +▁okupljanje -11.9856 +RD -11.9856 +color -11.9858 +▁Budi -11.9858 +▁Telefon -11.9859 +▁poslala -11.986 +scu -11.986 +IE -11.986 +▁Masters -11.986 +▁začin -11.9862 +jao -11.9862 +▁Investment -11.9863 +▁drill -11.9863 +▁poželjno -11.9864 +▁disanje -11.9864 +rami -11.9864 +▁stečaj -11.9865 +gradnja -11.9865 +▁poklanja -11.9865 +▁učesnike -11.9865 +▁planovi -11.9865 +▁chemicals -11.9865 +▁osvajanje -11.9866 +▁zgod -11.9866 +▁Novu -11.9867 +▁eksp -11.9868 +▁prijevoz -11.9868 +▁ukusu -11.9869 +▁2014, -11.9869 +▁Kralj -11.9869 +▁Il -11.987 +▁stekli -11.987 +▁ovogodišnjeg -11.987 +▁Južn -11.9871 +▁chips -11.9872 +▁Rs -11.9872 +▁NEW -11.9873 +nte -11.9873 +▁Sum -11.9873 +responsibilities -11.9873 +▁osnivanje -11.9874 +▁staklo -11.9875 +gradu -11.9875 +▁raspada -11.9876 +▁izvršava -11.9876 +▁1976 -11.9876 +▁sprovode -11.9876 +▁uslugama -11.9876 +▁Vulin -11.9877 +tila -11.9878 +▁Bojana -11.9878 +▁retro -11.9879 +▁trendove -11.988 +▁Gli -11.988 +▁monster -11.988 +▁pojasnio -11.9881 +▁slikar -11.9881 +Raz -11.9882 +▁beds -11.9882 +▁osvojen -11.9882 +▁turske -11.9882 +▁stvorili -11.9883 +▁beans -11.9883 +ovcu -11.9883 +▁stocks -11.9884 +▁tražila -11.9884 +▁prijedloga -11.9887 +▁vakcinu -11.9887 +▁Indiana -11.9887 +▁eager -11.9887 +▁termina -11.9887 +▁magazina -11.9888 +▁Japana -11.9888 +▁srpnja -11.9889 +▁Touch -11.9889 +▁Suite -11.9891 +▁1977 -11.9891 +▁specifično -11.9891 +▁defendant -11.9891 +▁Document -11.9892 +▁Muj -11.9892 +▁premijeru -11.9893 +▁tlo -11.9893 +▁Deset -11.9893 +▁coating -11.9894 +▁pomoc -11.9894 +▁precious -11.9894 +▁tereti -11.9895 +▁advisor -11.9896 +▁purchases -11.9896 +▁Suda -11.9896 +rek -11.9898 +▁begun -11.9898 +▁Player -11.9899 +▁penzionera -11.99 +▁spavanja -11.9901 +▁Entertainment -11.9901 +▁ožujka -11.9901 +▁potrošnju -11.9901 +▁preporučuju -11.9901 +▁Stručnjaci -11.9901 +▁Russell -11.9901 +▁dogovoreno -11.9901 +▁generic -11.9901 +▁apple -11.9901 +▁operaciju -11.9901 +▁Nikšić -11.9901 +▁3:1 -11.9902 +▁Always -11.9902 +▁turski -11.9903 +▁popodne -11.9903 +enberg -11.9904 +▁očekivan -11.9904 +ор -11.9905 +▁povlačenje -11.9905 +▁Bod -11.9906 +▁blagoslov -11.9906 +vič -11.9906 +cell -11.9906 +inama -11.9906 +pher -11.9906 +nijeg -11.9907 +▁Springs -11.9907 +ljub -11.9908 +sher -11.9908 +▁pionir -11.9911 +▁važnije -11.9911 +▁pest -11.9912 +being -11.9912 +▁smoking -11.9913 +▁teškom -11.9913 +▁suncu -11.9914 +▁održali -11.9915 +▁roštilj -11.9915 +▁mystery -11.9915 +▁lete -11.9915 +▁jevrejsk -11.9916 +▁|0|| -11.9917 +Time -11.9918 +▁stranim -11.9918 +▁expense -11.9919 +▁Andrić -11.9919 +▁pohod -11.992 +och -11.992 +▁ćerka -11.9923 +▁2007, -11.9923 +▁Lis -11.9923 +▁surprising -11.9924 +▁checks -11.9925 +▁povoljno -11.9925 +Ova -11.9925 +▁jog -11.9926 +šno -11.9926 +▁izgledalo -11.9926 +tora -11.9927 +▁pronađena -11.9927 +▁Izaberite -11.9929 +▁assembly -11.9929 +▁varijanta -11.9929 +▁izvoza -11.9929 +▁criticism -11.9929 +▁stabilno -11.993 +▁Lea -11.993 +▁izlet -11.993 +▁unapređenja -11.9931 +▁Majka -11.9932 +▁napreduje -11.9932 +▁Syn -11.9933 +▁365 -11.9934 +▁činili -11.9935 +▁transporta -11.9935 +▁Remove -11.9936 +lating -11.9936 +▁slabi -11.9938 +čel -11.9938 +▁stub -11.9939 +07. -11.9942 +▁tries -11.9942 +Ku -11.9942 +▁cipele -11.9943 +▁očekivao -11.9943 +▁usljed -11.9943 +▁biznismen -11.9943 +▁maha -11.9944 +▁melt -11.9944 +▁životnog -11.9944 +▁mouse -11.9944 +▁baj -11.9945 +▁counsel -11.9945 +▁strive -11.9946 +▁učinila -11.9946 +▁crop -11.9948 +▁prevention -11.9948 +** -11.995 +▁pliva -11.9951 +kolo -11.9951 +▁strict -11.9951 +▁uzimanje -11.9952 +▁bacteria -11.9953 +▁Sti -11.9953 +▁Dvor -11.9954 +▁radovima -11.9954 +▁pretraživač -11.9954 +▁Too -11.9955 +▁volimo -11.9955 +▁Trebalo -11.9956 +▁efikasan -11.9956 +▁excitement -11.9956 +▁publikom -11.9956 +▁pretrage -11.9957 +▁signals -11.9957 +▁organizovati -11.9957 +▁oblike -11.9957 +Tre -11.9957 +▁doslovno -11.9957 +▁mrzi -11.9957 +ћа -11.9958 +▁odred -11.9958 +ivanja -11.9959 +▁Proces -11.9959 +09. -11.996 +▁odredbama -11.9961 +▁jedanaest -11.9961 +▁Neuro -11.9961 +sub -11.9962 +▁Laura -11.9962 +04. -11.9963 +▁visa -11.9963 +▁$8 -11.9963 +rel -11.9963 +▁kakvog -11.9964 +ivač -11.9964 +▁peer -11.9965 +▁Helen -11.9965 +▁Oglasi -11.9966 +▁debit -11.9967 +▁Bes -11.9967 +aging -11.9967 +Un -11.9969 +▁najpoznatiji -11.9969 +▁constitute -11.9971 +▁navikli -11.9971 +glašen -11.9971 +ćen -11.9973 +▁obaveštenja -11.9973 +kciji -11.9973 +▁Podsjećamo -11.9973 +▁sportskim -11.9974 +▁vetar -11.9975 +▁grid -11.9975 +▁Oklahoma -11.9976 +▁književni -11.9976 +▁asortiman -11.9977 +▁Tab -11.9978 +▁march -11.9978 +▁koristim -11.9979 +▁Dodaje -11.998 +▁Rap -11.9982 +posle -11.9982 +pid -11.9982 +mladi -11.9983 +▁102 -11.9983 +App -11.9983 +blog -11.9984 +▁Vojislav -11.9984 +▁relaciji -11.9984 +▁zimske -11.9984 +▁sovjetsk -11.9985 +▁aesthetic -11.9985 +▁habit -11.9985 +▁Construction -11.9985 +▁references -11.9986 +kh -11.9987 +▁mad -11.9987 +▁artistic -11.9988 +▁Stevan -11.999 +▁clinic -11.9991 +▁overview -11.9991 +▁pozove -11.9994 +▁Bolje -11.9995 +▁totalno -11.9995 +▁tereta -11.9995 +▁dogovori -11.9995 +ђе -11.9995 +▁pour -11.9996 +▁kul -11.9997 +▁Frankfurt -11.9998 +▁execution -11.9998 +▁devojčica -11.9998 +▁пред -11.9999 +▁knjigama -12 +▁razmišljanje -12.0001 +▁Kragujevac -12.0001 +lumin -12.0002 +▁Hajduk -12.0002 +▁blogs -12.0003 +це -12.0003 +▁mjerama -12.0004 +rje -12.0004 +▁sail -12.0004 +▁dozen -12.0004 +▁neprijatelja -12.0004 +▁vet -12.0005 +ivna -12.0006 +▁DM -12.0007 +▁vidljivo -12.0007 +▁Production -12.001 +▁tablete -12.001 +▁hadis -12.001 +▁sever -12.0011 +luka -12.0012 +ential -12.0012 +▁Phoenix -12.0013 +▁underlying -12.0013 +▁cooperation -12.0013 +▁korisne -12.0013 +▁Informacije -12.0013 +▁srpsku -12.0013 +ril -12.0013 +▁Džejms -12.0013 +▁aranžmana -12.0014 +▁Cr -12.0015 +tona -12.0015 +▁uređaji -12.0016 +▁voting -12.0016 +▁Krajem -12.0017 +▁jaje -12.0019 +▁protekla -12.0019 +▁etike -12.0021 +▁gradnju -12.0021 +▁fuck -12.0022 +▁rev -12.0023 +▁regulisan -12.0023 +▁nacionalnim -12.0024 +▁liver -12.0024 +▁quo -12.0025 +▁rever -12.0026 +▁democracy -12.0027 +▁vojnu -12.0027 +▁narednoj -12.0027 +▁Evropsko -12.0027 +kredit -12.0027 +will -12.0028 +▁tražimo -12.0028 +▁shore -12.0029 +▁Milorada -12.0029 +▁dešavalo -12.0029 +▁predmeti -12.003 +▁outline -12.003 +PU -12.0031 +▁razvod -12.0031 +▁ispoljava -12.0031 +▁shade -12.0032 +▁obavezni -12.0032 +fle -12.0033 +:26 -12.0033 +▁marketinga -12.0033 +stage -12.0034 +▁zena -12.0035 +▁Sirije -12.0035 +▁spare -12.0035 +▁dokumentima -12.0036 +▁Lauren -12.0037 +knjiž -12.0037 +good -12.0037 +broja -12.0038 +▁saves -12.0038 +tens -12.0039 +fre -12.004 +▁intention -12.004 +▁Details -12.004 +▁ekipom -12.0041 +▁knife -12.0041 +▁razmak -12.0041 +▁Property -12.0041 +▁prijetnje -12.0041 +▁trude -12.0042 +▁prag -12.0044 +▁avgustu -12.0045 +▁izvještava -12.0045 +stavi -12.0045 +ِ -12.0045 +▁dru -12.0046 +▁pru -12.0046 +▁Trend -12.0047 +▁krenulo -12.0047 +dian -12.0048 +▁napušten -12.0049 +▁polaganje -12.0049 +▁Vasil -12.005 +▁tradicionalni -12.0051 +inske -12.0053 +▁odgovorna -12.0053 +▁los -12.0053 +zir -12.0054 +▁diz -12.0054 +▁SM -12.0055 +▁ekonomska -12.0055 +▁Margaret -12.0055 +▁accent -12.0055 +▁snimku -12.0055 +▁ovakvu -12.0056 +▁pobjedi -12.0056 +▁pušta -12.0056 +▁licence -12.0058 +▁Syria -12.0058 +▁pribor -12.0058 +▁objektivno -12.0059 +▁kostim -12.0059 +ivni -12.0059 +▁sopstveni -12.0062 +▁Comment -12.0063 +▁iznese -12.0063 +▁trpi -12.0064 +▁unexpected -12.0064 +▁balls -12.0066 +▁bebi -12.0068 +▁poljoprivrednik -12.0068 +koli -12.0069 +▁Afghanistan -12.0069 +▁zloupotrebe -12.0069 +▁riješen -12.0069 +specific -12.007 +ložila -12.007 +▁Emir -12.0071 +▁Making -12.0071 +▁Dutch -12.0071 +▁PET -12.0071 +fight -12.0073 +canje -12.0073 +▁nazvati -12.0073 +▁vanredno -12.0074 +▁Nad -12.0074 +▁receiver -12.0075 +pali -12.0076 +▁srednjeg -12.0079 +evu -12.008 +▁nagradi -12.008 +▁slažu -12.0081 +▁pekar -12.0081 +▁Lane -12.0083 +▁energetike -12.0083 +▁očekivali -12.0083 +▁potrebnu -12.0083 +▁jednokratn -12.0083 +▁stazi -12.0084 +▁sportskog -12.0084 +▁studiji -12.0085 +▁bavio -12.0085 +▁competitors -12.0086 +▁lijep -12.0087 +▁odvojen -12.0087 +▁Toliko -12.0087 +▁držanje -12.0088 +▁policajaca -12.0088 +vrsta -12.0089 +graph -12.009 +▁Range -12.009 +▁Bora -12.0091 +▁legenda -12.0091 +▁producers -12.0092 +▁walks -12.0092 +▁Parker -12.0092 +▁adequate -12.0093 +▁(14 -12.0093 +boli -12.0093 +dej -12.0094 +▁izdava -12.0095 +polis -12.0096 +▁uspješni -12.0096 +▁SARAJEVO -12.0097 +▁psychological -12.0097 +▁prilagođava -12.0097 +▁odeljenja -12.0098 +Naš -12.0098 +▁nisko -12.0099 +▁Corp -12.0099 +jača -12.0099 +▁marginal -12.0099 +▁dirt -12.0099 +▁interactions -12.01 +▁poljoprivredni -12.01 +web -12.0101 +▁Vision -12.0103 +▁izvršili -12.0104 +▁polar -12.0105 +▁ent -12.0105 +tex -12.0107 +▁Cold -12.011 +▁kvalitetnih -12.011 +▁najavljuju -12.0111 +▁kuhinju -12.0111 +▁naglasiti -12.0111 +▁bojkot -12.0111 +▁boljim -12.0113 +▁г -12.0113 +wall -12.0114 +▁1969 -12.0115 +▁Marinković -12.0115 +▁uputi -12.0115 +▁1,2 -12.0116 +▁gej -12.0116 +▁hvali -12.0117 +▁jačanju -12.0117 +▁slucaj -12.0117 +▁značajnu -12.0117 +▁reše -12.0117 +:24 -12.0117 +onia -12.0119 +▁uveren -12.012 +▁političko -12.012 +▁zastupnika -12.012 +▁kontrolira -12.0121 +▁jel -12.0122 +▁podsetio -12.0122 +nson -12.0122 +EE -12.0125 +▁ugrožava -12.0125 +▁gradovi -12.0126 +▁pandemija -12.0126 +▁Verovatno -12.0126 +Well -12.0126 +▁Srebrenice -12.0126 +▁posebnom -12.0127 +▁natera -12.0127 +▁raduje -12.0127 +▁niske -12.0128 +▁ugrozi -12.0128 +▁Japanu -12.0129 +zvan -12.013 +▁torbi -12.013 +▁Seven -12.0132 +▁umjetnika -12.0132 +▁problemu -12.0133 +▁WE -12.0136 +▁Vuka -12.0136 +▁accomplished -12.0137 +▁Ronaldo -12.0138 +▁AG -12.0138 +▁$20 -12.0139 +haus -12.0139 +▁prom -12.0139 +▁veličinu -12.014 +▁uđu -12.014 +▁mainstream -12.0141 +▁regionalni -12.0141 +▁saopštilo -12.0143 +▁1961 -12.0143 +▁zanemari -12.0144 +istička -12.0144 +▁reklame -12.0145 +▁socijalnih -12.0146 +▁3.0 -12.0147 +▁objaviti -12.0147 +▁EX -12.0147 +▁upala -12.0148 +▁ponovio -12.0148 +▁sirup -12.0148 +▁rom -12.0148 +▁beautifully -12.0148 +▁Filipović -12.0154 +▁slobodne -12.0154 +▁promjenu -12.0154 +▁Temp -12.0154 +EZ -12.0155 +▁definiše -12.0155 +▁compact -12.0155 +▁waves -12.0155 +▁pub -12.0155 +▁oprosti -12.0156 +▁Gala -12.0156 +▁fleet -12.0156 +voje -12.0157 +▁primarno -12.0157 +May -12.0158 +vijesti -12.0159 +▁bruto -12.0159 +▁struk -12.016 +▁informati -12.016 +▁artwork -12.016 +▁keys -12.0162 +▁petnaest -12.0164 +▁Rosa -12.0167 +▁benzin -12.0167 +▁Hag -12.0168 +▁automobilu -12.0168 +² -12.0168 +▁ogromnu -12.0168 +▁zajedničku -12.0168 +▁Defense -12.0168 +▁Convention -12.0168 +▁pokazale -12.0169 +▁Australije -12.0169 +▁Gordon -12.0169 +▁predviđen -12.0169 +želj -12.017 +▁pripremaju -12.017 +▁Authority -12.017 +▁gradom -12.017 +▁granicama -12.017 +▁urgent -12.0171 +▁naslovom -12.0172 +▁povijest -12.0172 +▁ističući -12.0173 +step -12.0173 +▁dancing -12.0173 +▁vezani -12.0174 +▁2009, -12.0174 +shot -12.0175 +▁Kozar -12.0175 +▁soap -12.0177 +05. -12.0177 +nesu -12.0178 +▁predstavljena -12.0178 +▁nevjer -12.018 +▁junak -12.018 +▁instrumental -12.0181 +▁pec -12.0181 +▁Makedonija -12.0183 +▁plastike -12.0183 +▁washing -12.0183 +▁rubber -12.0184 +▁proglasi -12.0184 +▁Diet -12.0185 +▁zaposli -12.0186 +▁strasti -12.0187 +▁tours -12.0187 +ISA -12.0188 +▁zaražen -12.0189 +Kao -12.0189 +▁vještina -12.0189 +▁KOR -12.0189 +▁Mama -12.019 +spava -12.019 +▁djelatnost -12.019 +▁brick -12.019 +▁refers -12.019 +▁Opti -12.0191 +:27 -12.0192 +▁Jazz -12.0192 +▁prijateljski -12.0192 +▁colours -12.0193 +▁Žele -12.0194 +▁handy -12.0195 +▁exploit -12.0196 +▁plamen -12.0196 +▁ostrvu -12.0197 +▁Cooper -12.0198 +lazeći -12.0198 +▁Naučnici -12.0199 +▁igrom -12.02 +▁odigran -12.02 +▁bump -12.0201 +cott -12.0202 +▁napadima -12.0203 +▁nalazimo -12.0204 +▁GS -12.0204 +kaš -12.0206 +mount -12.0206 +▁kursa -12.0208 +▁pacijentima -12.0208 +▁profits -12.0209 +kazuje -12.0209 +▁uslijed -12.0209 +▁patron -12.021 +▁Row -12.0211 +▁sudski -12.0212 +▁kamiona -12.0215 +▁Pariz -12.0215 +▁urađeno -12.0215 +▁quotes -12.0215 +▁osmijeh -12.0216 +ido -12.0216 +▁Process -12.0217 +▁Vozač -12.0217 +▁Ane -12.0218 +▁nadaju -12.0219 +▁reflection -12.0219 +▁plavi -12.0219 +▁kabl -12.0219 +▁spavaće -12.0219 +brani -12.0219 +▁soup -12.022 +▁STO -12.022 +▁Salt -12.022 +▁sitno -12.0221 +ius -12.0221 +ended -12.0221 +▁vozači -12.0221 +▁članom -12.0223 +▁posebnog -12.0224 +▁duhovni -12.0224 +▁modul -12.0225 +▁Jupiter -12.0226 +▁Prize -12.0226 +▁0.0 -12.0227 +▁shame -12.0227 +▁ambasadora -12.0229 +▁Stara -12.023 +▁releases -12.023 +▁Offer -12.0231 +▁ribar -12.0231 +▁napravimo -12.0232 +▁SAM -12.0233 +anka -12.0233 +atori -12.0233 +▁wing -12.0233 +▁sunčev -12.0234 +▁izuzet -12.0234 +Če -12.0236 +▁collective -12.0237 +▁Events -12.0237 +▁kombi -12.0237 +||$ -12.0238 +▁vozilom -12.0238 +▁Amb -12.0238 +▁sarađuje -12.0239 +▁exceed -12.0239 +▁kilometra -12.0239 +▁činjenicom -12.024 +▁samopouzdanje -12.024 +▁započeli -12.024 +▁grejanje -12.024 +▁shapes -12.0241 +▁zarad -12.0241 +čava -12.0242 +roga -12.0242 +▁sorts -12.0243 +▁radar -12.0243 +▁oseti -12.0244 +▁produces -12.0244 +▁pomenuto -12.0244 +RIJA -12.0244 +▁poginulih -12.0245 +▁TX -12.0245 +▁inicira -12.0246 +nak -12.0246 +▁Hodžić -12.0246 +baci -12.0247 +youtube -12.0247 +▁sensor -12.0247 +▁ли -12.0249 +▁Amy -12.0249 +▁lean -12.025 +▁750 -12.0251 +jama -12.0252 +▁rukomet -12.0253 +▁proračun -12.0254 +▁ruskom -12.0254 + -12.0254 +▁Alliance -12.0254 +▁železničk -12.0254 +▁90- -12.0255 +▁potpisivanje -12.0255 +▁izdavačk -12.0255 +▁unosi -12.0255 +▁1,000 -12.0256 +▁Guardian -12.0256 +logy -12.0257 +tsu -12.0257 +▁oduzet -12.0258 +▁slavili -12.0259 +lijeva -12.026 +they -12.026 +▁potrebnih -12.0261 +▁vene -12.0262 +ENA -12.0264 +▁sekunde -12.0264 +▁Lokacija -12.0265 +▁reg -12.0266 +▁acres -12.0266 +▁engineers -12.0266 +▁pitala -12.0266 +stavlja -12.0267 +▁Flo -12.0267 +▁provede -12.0267 +▁Svjetskog -12.0268 +liza -12.0269 +¡ -12.0269 +▁objava -12.0269 +▁које -12.0269 +▁raketa -12.0269 +▁ruskim -12.027 +▁Vašington -12.027 +▁Images -12.027 +▁rum -12.0271 +▁vladar -12.0271 +mene -12.0272 +▁lekove -12.0274 +▁viška -12.0274 +▁rot -12.0275 +▁Sko -12.0275 +WA -12.0276 +▁crvena -12.0276 +dera -12.0277 +▁pokrenuli -12.0278 +▁bun -12.028 +žive -12.0281 +▁coaches -12.0281 +▁tople -12.0282 +▁projektom -12.0282 +▁Extra -12.0283 +▁napredne -12.0283 +▁porijekla -12.0283 +▁pravdu -12.0283 +▁addiction -12.0284 +▁uštede -12.0284 +▁vibrant -12.0284 +RES -12.0285 +▁Baker -12.0287 +▁učitelj -12.0287 +▁donacija -12.0288 +▁Bik -12.0288 +/20 -12.0288 +pravne -12.0289 +▁kontekst -12.029 +▁uviđaj -12.029 +rdin -12.0292 +▁vremenske -12.0292 +▁policajac -12.0292 +osu -12.0293 +▁oružjem -12.0294 +▁zabavni -12.0295 +oks -12.0296 +▁Roditelji -12.0298 +▁emissions -12.0298 +▁financing -12.0298 +▁Milutin -12.0299 +AG -12.0299 +▁Hrvatskom -12.0299 +▁2017, -12.03 +▁medju -12.03 +▁ravnatelj -12.0301 +pazi -12.0301 +▁1968 -12.0301 +nčić -12.0301 +▁dokumentu -12.0303 +▁gotov -12.0303 +vca -12.0303 +Foto -12.0305 +▁Čeka -12.0305 +pdf -12.0305 +▁granu -12.0306 +:31 -12.0307 +vođenja -12.0307 +ник -12.0309 +kvi -12.031 +▁zaustavlja -12.031 +▁tekstil -12.0311 +▁STA -12.0311 +▁boj -12.0311 +▁Liber -12.0312 +▁izvode -12.0312 +▁posred -12.0312 +▁fl -12.0312 +▁učestvovala -12.0312 +▁Answer -12.0312 +▁navijače -12.0312 +▁Utah -12.0313 +▁tongue -12.0313 +▁brojna -12.0314 +▁dying -12.0314 +▁ukloni -12.0315 +▁radija -12.0316 +▁Otac -12.0316 +▁slučajevi -12.0316 +irajući -12.0316 +▁vegan -12.0316 +▁AF -12.0317 +SON -12.0318 +▁dozvoljeni -12.0318 +▁fitting -12.0318 +▁loših -12.0318 +▁mjesecima -12.0318 +Post -12.0318 +Ver -12.032 +▁aktivnih -12.032 +▁supplier -12.032 +▁advocate -12.0321 +▁štit -12.0321 +▁sjede -12.0323 +▁Pic -12.0324 +▁Tower -12.0325 +▁leaf -12.0325 +▁puts -12.0326 +▁128 -12.0326 +▁polufinale -12.0327 +▁heritage -12.0327 +▁moisture -12.0327 +▁Kitchen -12.0327 +▁spectrum -12.0327 +▁sectors -12.0327 +DB -12.0329 +▁que -12.0329 +fet -12.0329 +▁prosjeku -12.0329 +▁izgovori -12.0329 +▁razumijevanje -12.0331 +▁osuđeni -12.0331 +inal -12.0333 +▁rani -12.0334 +▁trainer -12.0337 +▁muzičar -12.0337 +zdrav -12.0338 +▁ljubitelji -12.0338 +▁Rimu -12.0339 +TP -12.0339 +atora -12.0339 +▁vlastiti -12.034 +žom -12.034 +▁Najčitanije -12.0341 +▁ekonomsku -12.0341 +▁rezerve -12.0341 +▁Airlines -12.0342 +▁protecting -12.0342 +▁slaže -12.0342 +▁karticu -12.0342 +▁Budućnost -12.0342 +▁ozbiljnije -12.0344 +:59 -12.0345 +▁konz -12.0347 +▁slide -12.0347 +▁Olimpijski -12.0347 +▁kažnjava -12.0347 +zanja -12.0347 +▁doc -12.0347 +▁suze -12.0349 +▁izdvojiti -12.035 +æu -12.035 +rasta -12.035 +▁formiraju -12.035 +▁Simić -12.035 +▁Kome -12.0351 +▁enjoyable -12.0351 +ALE -12.0352 +▁cemo -12.0355 +▁diamond -12.0356 +▁najteže -12.0356 +oke -12.0356 +AND -12.0357 +TRA -12.0358 +▁diver -12.0359 +▁Zadra -12.0359 +Bos -12.0359 +▁prikaza -12.036 +duction -12.0361 +▁bride -12.0361 +▁upoznat -12.0362 +▁Alen -12.0362 +▁proveren -12.0362 +HP -12.0362 +▁tekući -12.0364 +itude -12.0365 +▁pobijedio -12.0365 +▁varira -12.0365 +▁ovlašten -12.0365 +▁Učesnici -12.0368 +▁Arg -12.0368 +ُ -12.0369 +▁Ul -12.0369 +sized -12.0369 +▁è -12.0369 +▁dijele -12.0371 +▁ljubimci -12.0371 +▁silence -12.0371 +▁uključe -12.0371 +▁Tko -12.0372 +ffi -12.0372 +▁keyboard -12.0373 +▁1973 -12.0373 +▁guides -12.0373 +ničkog -12.0373 +DER -12.0373 +▁contents -12.0373 +▁difficulties -12.0374 +▁opseg -12.0375 +▁ravnopravnosti -12.0375 +▁nase -12.0375 +duce -12.0375 +▁Bow -12.0376 +▁Nacionalne -12.0376 +▁legendarni -12.0376 +▁ruka -12.0376 +▁prospect -12.0377 +▁potpisa -12.0378 +online -12.0381 +▁KOM -12.0381 +▁medijski -12.0383 +▁myth -12.0383 +▁instalacije -12.0385 +▁nedaleko -12.0385 +▁expecting -12.0385 +▁Mađarskoj -12.0386 +▁rodila -12.0387 +▁iznenađenja -12.0388 +▁Bring -12.0388 +▁hop -12.0389 +▁bosanski -12.0389 +▁privrednog -12.0389 +▁Mani -12.0393 +▁testova -12.0395 +bury -12.0395 +▁praviti -12.0396 +mio -12.0396 +ijskog -12.0396 +▁dopada -12.0398 +ees -12.0398 +▁sunčano -12.0399 +▁Oz -12.0399 +▁bivša -12.0399 +▁obilazak -12.04 +▁worn -12.04 +RM -12.04 +▁diljem -12.0401 +▁vu -12.0401 +▁pravog -12.0402 +▁predstavljeni -12.0402 +▁Java -12.0402 +▁Pret -12.0402 +▁ruin -12.0402 +olom -12.0403 +kuplja -12.0403 +ander -12.0403 +fl -12.0404 +▁mak -12.0404 +▁punim -12.0405 +aktiv -12.0406 +▁fruits -12.0406 +▁graditi -12.0407 +▁dinamičn -12.0408 +▁likes -12.0408 +▁qui -12.0409 +LJ -12.0409 +▁mislila -12.041 +▁BB -12.0412 +Free -12.0412 +▁odražava -12.0413 +▁krizn -12.0413 +oooo -12.0414 +▁parallel -12.0414 +▁thirty -12.0414 +▁Konkurs -12.0414 +▁obezbede -12.0414 +haj -12.0414 +▁maraton -12.0414 +▁hunting -12.0414 +▁Address -12.0414 +▁suštinski -12.0414 +▁Arthur -12.0415 +▁porastao -12.0415 +▁kreator -12.0415 +erija -12.0415 +▁porodi -12.0416 +▁(4) -12.0416 +▁tvari -12.0416 +▁informisanja -12.0416 +▁dečaka -12.0417 +▁Ruž -12.0418 +▁razočaran -12.0418 +▁ispuniti -12.0419 +pisa -12.0419 +▁Dve -12.042 +▁quest -12.042 +▁časovima -12.042 +▁sajtova -12.042 +lc -12.0421 +||6 -12.0422 +▁Branka -12.0422 +▁svjetskom -12.0423 +▁pričao -12.0424 +▁Sh -12.0424 +▁Spin -12.0425 +▁Vrati -12.0425 +▁kvadrat -12.0425 +lash -12.0425 +▁kupite -12.0426 +iranjem -12.0426 +▁affairs -12.0426 +▁х -12.0427 +štva -12.0428 +▁Vancouver -12.0429 +▁rhythm -12.0429 +▁Švedske -12.0429 +▁obaveštava -12.0429 +▁Koncert -12.0429 +▁ikakve -12.0429 +▁prikazuju -12.0429 +šića -12.0429 +▁preduzeću -12.043 +▁zahtevima -12.043 +▁WiFi -12.043 +▁Hunter -12.0431 +▁tourism -12.0431 +▁platio -12.0432 +▁Hey -12.0432 +ingly -12.0433 +tent -12.0435 +▁shine -12.0435 +QU -12.0436 +▁ISBN -12.0436 +ridge -12.0437 +stveni -12.0438 +▁tekstove -12.0438 +▁astrolog -12.0439 +▁appreciated -12.0439 +▁Pes -12.044 +▁Clear -12.044 +▁displays -12.0442 +kuju -12.0442 +▁večer -12.0442 +▁zaboravljen -12.0444 +kril -12.0444 +▁Banjoj -12.0445 +▁Skoro -12.0445 +▁Đokovića -12.0448 +▁1920 -12.045 +▁unutrašnjosti -12.0451 +▁BY -12.0453 +such -12.0455 +▁novinsk -12.0455 +dust -12.0456 +▁grla -12.0456 +lud -12.0456 +▁technological -12.0458 +▁prijelaz -12.0458 +▁Bureau -12.0458 +action -12.0459 +▁раз -12.0459 +▁pripremn -12.046 +▁nacionalnosti -12.046 +▁petition -12.046 +jali -12.0461 +▁delovanja -12.0461 +▁momak -12.0461 +▁arrangements -12.0462 +speed -12.0463 +▁affects -12.0466 +▁ženskog -12.0466 +▁pumpe -12.0468 +▁damages -12.0468 +▁toxic -12.0468 +osis -12.0468 +▁blisko -12.0469 +bird -12.047 +▁powered -12.047 +ZO -12.0471 +▁kožn -12.0471 +▁formiranju -12.0472 +▁zvijezde -12.0473 +▁imagination -12.0473 +▁kardiovaskularn -12.0473 +▁ostvaruju -12.0473 +▁vožnja -12.0473 +▁pomera -12.0474 +▁postojao -12.0474 +▁zastave -12.0474 +▁oduzima -12.0475 +rila -12.0475 +▁nekadašnje -12.0476 +▁occasionally -12.0477 +▁delivers -12.0477 +tl -12.0477 +▁parcel -12.0477 +▁Duško -12.0477 +▁prezentacija -12.0478 +▁Masa -12.0479 +▁AA -12.0481 +▁Victor -12.0482 +▁uručen -12.0483 +bling -12.0483 +usp -12.0483 +▁limitations -12.0484 +▁dječak -12.0484 +▁čvrst -12.0484 +▁021 -12.0484 +▁mesecima -12.0485 +▁Dad -12.0486 +▁vladaju -12.0486 +sie -12.0487 +▁Ubrzo -12.0487 +▁napretka -12.0487 +▁1.6 -12.0488 +▁conservation -12.0488 +▁Sje -12.0489 +pes -12.0489 +ante -12.0491 +▁Swa -12.0491 +▁Luna -12.0491 +▁sunčan -12.0493 +▁personalized -12.0494 +▁duo -12.0494 +▁est -12.0494 +▁novinama -12.0495 +▁pogodnosti -12.0495 +▁zabavno -12.0495 +▁umjetnost -12.0495 +▁lit -12.0495 +▁građanin -12.0496 +lator -12.0497 +▁Gur -12.0497 +▁istoimen -12.0497 +▁kineski -12.0498 +ELL -12.0498 +▁warrant -12.0498 +▁advised -12.0499 +▁posetite -12.0499 +▁bor -12.0501 +pove -12.0501 +▁pohvali -12.0502 +▁Načelnik -12.0502 +▁zadovoljstva -12.0502 +▁Malaysia -12.0502 +▁instalacija -12.0502 +▁actress -12.0502 +▁promjeni -12.0502 +▁tooth -12.0503 +rađen -12.0503 +▁upravu -12.0505 +▁gle -12.0505 +Cr -12.0505 +▁Qu -12.0507 +▁servers -12.0508 +ines -12.0509 +▁popularity -12.051 +▁Ted -12.051 +▁razloge -12.051 +▁70% -12.051 +▁brendova -12.0511 +▁naplati -12.0511 +dorf -12.0512 +▁lažnih -12.0513 +▁integritet -12.0513 +▁povezanost -12.0515 +▁Džej -12.0515 +▁parameters -12.0516 +▁provisions -12.0516 +▁disp -12.0516 +▁kanton -12.0517 +▁Ontario -12.0517 +▁polaznika -12.0517 +▁krajevima -12.0518 +▁piano -12.0518 +▁pise -12.0518 +arm -12.0519 +▁izbaci -12.052 +▁sretan -12.052 +uredi -12.052 +▁specified -12.0521 +▁figura -12.0521 +▁newest -12.0522 +▁ED -12.0523 +▁korijen -12.0524 +▁španski -12.0524 +▁XX -12.0524 +Tech -12.0525 +▁isključen -12.0526 +zma -12.0526 +▁notion -12.0528 +▁iskaza -12.0529 +▁ponos -12.053 +▁popravlja -12.053 +II -12.053 +▁matičn -12.053 +▁Neće -12.0531 +▁svetla -12.0531 +▁Novaka -12.0531 +▁navodima -12.0531 +▁Thompson -12.0532 +▁Četiri -12.0532 +▁koncertu -12.0532 +▁načini -12.0534 +▁pakovanje -12.0534 +FO -12.0535 +▁uspijeva -12.0535 +▁surfaces -12.0536 +ovina -12.0536 +▁srednjim -12.0536 +▁definira -12.0536 +IST -12.0537 +▁dužini -12.0537 +▁jedinstvenu -12.0537 +▁vremenskom -12.0537 +▁bolesni -12.0537 +▁zi -12.0538 +▁buyer -12.0538 +ljivost -12.0539 +VER -12.0539 +▁($ -12.0539 +▁modne -12.0541 +▁stops -12.0541 +▁postavila -12.0542 +▁lepa -12.0542 +▁ја -12.0542 +oče -12.0543 +alnih -12.0544 +▁napisano -12.0544 +▁formatu -12.0546 +▁napomenu -12.0546 +▁pojašnjava -12.0547 +▁Sulejman -12.0547 +▁substitute -12.0547 +▁tržištima -12.0547 +▁raspravu -12.0547 +▁požele -12.0547 +▁Jedinstven -12.0547 +▁theatre -12.0547 +▁veša -12.0548 +duct -12.0548 +▁locked -12.0548 +▁ponoći -12.0549 +▁wherever -12.0549 +ljević -12.0549 +▁rizičn -12.055 +▁Fakultetu -12.0551 +▁nalazila -12.0552 +▁Sunca -12.0554 +▁reminder -12.0555 +▁flame -12.0555 +Vijesti -12.0555 +▁construct -12.0555 +▁occasions -12.0557 +▁moto -12.0557 +▁medicinski -12.0557 +▁koncentr -12.0557 +▁crown -12.0557 +▁Rudar -12.0557 +pravno -12.0558 +▁YOUR -12.0558 +▁odobrenje -12.0558 +▁veci -12.0559 +▁podeli -12.0559 +▁teroristi -12.0559 +▁Elektro -12.0559 +▁Mit -12.056 +▁prepusti -12.0561 +▁MONITOR -12.0561 +▁spektar -12.0561 +▁drastično -12.0561 +▁Zdravko -12.0561 +▁Diamond -12.0562 +▁simbola -12.0562 +▁grani -12.0563 +▁desio -12.0563 +▁15% -12.0564 +▁poražen -12.0564 +▁krem -12.0566 +▁zanimanja -12.0567 +▁ostaci -12.0567 +▁vile -12.0567 +▁ble -12.0567 +▁Anyway -12.0567 +▁Katar -12.0567 +rade -12.0568 +ré -12.057 +aged -12.057 +gdje -12.0571 +▁Mos -12.0573 +umu -12.0573 +ijim -12.0573 +AO -12.0573 +▁Tviteru -12.0574 +eka -12.0575 +▁hired -12.0575 +arna -12.0576 +π -12.0576 +▁sophisticated -12.0576 +▁izum -12.0576 +▁umjeren -12.0577 +▁historiji -12.0577 +▁Njena -12.0577 +▁boga -12.0578 +▁Vašeg -12.0578 +▁izbornog -12.0578 +▁diplomatije -12.0578 +▁Falkon -12.0579 +▁Cyber -12.0579 +▁održanoj -12.058 +▁državno -12.058 +stick -12.0583 +▁Bugar -12.0584 +▁Demokratsk -12.0586 +▁bottles -12.0588 +njaci -12.0589 +▁Tha -12.059 +▁spectacular -12.0591 +ural -12.0593 +▁savremeni -12.0593 +▁udruga -12.0595 +▁chairman -12.0595 +▁Whit -12.0595 +▁sukobu -12.0597 +▁savetuje -12.0598 +▁reveals -12.0598 +Vr -12.0599 +▁Ustavni -12.0599 +njenje -12.06 +▁pdf -12.06 +▁Tap -12.06 +▁nastava -12.0601 +▁snimio -12.0601 +▁Active -12.0602 +▁namenjena -12.0603 +▁Olympic -12.0603 +▁cara -12.0604 +▁FS -12.0604 +▁aspekta -12.0605 +ulu -12.0605 +▁Babi -12.0605 +▁inovacije -12.0606 +▁terorizma -12.0606 +▁izrađen -12.0609 +▁posjetio -12.0609 +▁zamijeni -12.061 +worth -12.0611 +▁donji -12.0611 +▁Kala -12.0612 +▁skupo -12.0612 +▁2008, -12.0612 +▁gig -12.0613 +▁von -12.0613 +▁favorit -12.0613 +NIKA -12.0614 +▁poznavanje -12.0614 +▁marine -12.0614 +▁luta -12.0614 +▁Girls -12.0615 +▁kraljica -12.0615 +▁Mona -12.0615 +▁mišiće -12.0617 +▁JNA -12.0617 +▁putnici -12.0617 +▁uputili -12.0618 +▁primaju -12.0618 +books -12.0619 +pusti -12.0619 +▁supporters -12.062 +▁Fle -12.062 +▁attain -12.062 +▁diameter -12.0621 +▁Gall -12.0621 +▁zdravstvena -12.0621 +▁wildlife -12.0621 +▁Fondacije -12.0622 +▁masno -12.0622 +▁permitted -12.0623 +▁dečak -12.0624 +▁neighbors -12.0626 +pravlja -12.0626 +:1 -12.0628 +▁differently -12.0629 +▁efikasni -12.0632 +▁njegu -12.0633 +NP -12.0633 +▁angel -12.0635 +arch -12.0635 +jeno -12.0636 +å -12.0636 +▁Halloween -12.0636 +▁carinsk -12.0636 +▁kvalifikacije -12.0636 +▁poglavlja -12.0636 +▁Poljske -12.0636 +▁brave -12.0636 +▁najkraćem -12.0637 +▁Marc -12.0637 +▁Soul -12.0637 +▁Obe -12.0638 +▁smeš -12.0639 +umi -12.0639 +▁primjenu -12.064 +▁organizovano -12.064 +▁Gan -12.0641 +▁globalnom -12.0642 +ogram -12.0642 +▁proveli -12.0642 +▁Ulici -12.0643 +▁popusta -12.0643 +▁kiss -12.0643 +zla -12.0644 +▁rešen -12.0644 +skoči -12.0646 +▁fudbalski -12.0646 +▁dividend -12.0647 +▁naplate -12.0647 +▁natječaj -12.0648 +▁poslodavac -12.0648 +▁dužina -12.0649 +▁posveti -12.0649 +▁obavezi -12.0649 +▁spoken -12.0649 +ACIJA -12.065 +▁104 -12.065 +▁lansira -12.065 +MER -12.065 +plication -12.0651 +▁pozvan -12.0651 +bran -12.0651 +▁sladoled -12.0651 +▁jewelry -12.0651 +▁listopada -12.0651 +▁Australiji -12.0651 +▁Mall -12.0651 +▁vele -12.0652 +▁najprije -12.0654 +▁nosila -12.0654 +oku -12.0655 +▁sorte -12.0655 +▁coin -12.0656 +▁skroz -12.0656 +traže -12.0657 +▁cave -12.0657 +Pra -12.0658 +▁bullet -12.0658 +▁davanje -12.0659 +▁slabije -12.0661 +▁zapošljava -12.0661 +▁Kolo -12.0661 +▁organe -12.0662 +šin -12.0662 +rijum -12.0662 +▁nosač -12.0663 +▁Bron -12.0663 +▁dešavaju -12.0664 +▁Mol -12.0665 +▁poljoprivredu -12.0666 +▁soccer -12.0666 +▁Melbourne -12.0666 +▁interesantno -12.0666 +đivanje -12.0666 +▁potraživanja -12.0666 +до -12.0667 +kanović -12.0667 +▁Af -12.0668 +▁Messi -12.0669 +▁druženja -12.0669 +nete -12.067 +flow -12.0672 +▁zeli -12.0672 +▁Mađarska -12.0672 +ološkog -12.0672 +▁Jobs -12.0673 +▁bay -12.0674 +▁rejected -12.0674 +▁ZNA -12.0675 +▁linear -12.0675 +▁throwing -12.0676 +▁probe -12.0676 +uro -12.0677 +zbe -12.0679 +▁Volim -12.0679 +▁Kamp -12.068 +only -12.0681 +▁depresije -12.0681 +▁oxygen -12.0681 +▁Vukodav -12.0681 +▁narednog -12.0681 +▁vijek -12.0682 +▁Sme -12.0682 +▁disability -12.0684 +▁attempted -12.0684 +▁tabele -12.0684 +▁čitatelj -12.0684 +▁trash -12.0685 +▁placement -12.0686 +▁Wo -12.0686 +▁izvesno -12.0687 +▁Drag -12.0689 +▁kuci -12.0689 +▁celebrated -12.069 +▁negativnih -12.069 +▁dron -12.0691 +▁Soko -12.0693 +▁prethodnim -12.0693 +▁passengers -12.0694 +▁prepoznat -12.0695 +▁keen -12.0695 +▁Opera -12.0695 +▁medal -12.0695 +▁Scholar -12.0696 +▁escort -12.0696 +▁inteligencije -12.0696 +▁režiser -12.0696 +▁Engleske -12.0696 +kazivanje -12.0696 +▁rođeni -12.0697 +▁postavljene -12.0697 +▁čuvar -12.0697 +▁dionice -12.0698 +▁cijenama -12.0699 +▁imovina -12.0699 +▁Current -12.07 +▁Gradska -12.07 +▁Savi -12.0701 +▁realistic -12.0701 +▁elementima -12.0702 +▁IBM -12.0702 +▁placing -12.0703 +▁odgovoru -12.0703 +▁Senad -12.0703 +▁očuvanja -12.0704 +▁Ključn -12.0705 +▁zvani -12.0705 +▁fudbaleri -12.0706 +▁Vjerujem -12.0707 +▁Lead -12.0708 +▁rasti -12.0708 +▁RAZ -12.0709 +mjera -12.0709 +▁sastojak -12.0709 +▁posljednjem -12.0709 +veze -12.071 +▁computing -12.0711 +▁amandman -12.0711 +▁zemljom -12.0711 +▁sramota -12.0711 +krv -12.0712 +▁Dži -12.0712 +▁Navy -12.0712 +▁gross -12.0713 +▁igramo -12.0714 +▁spoji -12.0715 +▁brzi -12.0716 +▁dobile -12.0716 +▁gora -12.0717 +ulja -12.0717 +▁lokacijama -12.0718 +▁raspisan -12.0719 +▁trenutni -12.0719 +▁umeren -12.0719 +▁compatible -12.072 +▁stolice -12.0721 +▁osnovao -12.0721 +▁pratili -12.0723 +▁turistički -12.0723 +▁uključiti -12.0723 +rinu -12.0724 +▁Liz -12.0726 +▁paprike -12.0726 +igan -12.0726 +▁indication -12.0726 +▁steady -12.0726 +rang -12.0727 +▁Results -12.0728 +▁marketplace -12.0728 +javi -12.0728 +▁confused -12.0729 +▁bek -12.0729 +▁glasanja -12.073 +▁Srebrenica -12.073 +▁races -12.073 +▁privilege -12.0731 +▁deaths -12.0732 +▁zelena -12.0734 +▁završeno -12.0736 +kind -12.0736 +ZE -12.0737 +▁nebi -12.0737 +▁conscious -12.0738 +▁fallen -12.0738 +2011 -12.0738 +▁shadow -12.0738 +▁porodični -12.0738 +▁izbegava -12.0738 +▁pobjednik -12.0739 +▁violation -12.074 +️ -12.0741 +▁Uostalom -12.0741 +RB -12.0741 +▁Nermin -12.0742 +▁optim -12.0742 +▁Shipping -12.0742 +▁dried -12.0742 +▁nezaposlenih -12.0745 +▁zabava -12.0746 +▁koristila -12.0746 +▁locally -12.0747 +▁suicide -12.0747 +tove -12.0749 +TR -12.075 +П -12.075 +▁Levi -12.0751 +▁parkira -12.0751 +▁pozajm -12.0751 +▁kategorijama -12.0752 +▁loaded -12.0752 +▁razor -12.0752 +pale -12.0753 +▁convention -12.0755 +▁JO -12.0756 +▁Volkswagen -12.0756 +▁prognoza -12.0756 +▁specijalni -12.0758 +račun -12.0759 +▁detection -12.0759 +NIM -12.0759 +▁sećanja -12.0761 +▁anybody -12.0761 +▁počast -12.0762 +▁školovanje -12.0762 +▁KC -12.0763 +iki -12.0763 +lant -12.0764 +▁disorders -12.0764 +▁integrate -12.0764 +▁Miloševića -12.0765 +▁postupcima -12.0766 +▁umiru -12.0766 +▁repeated -12.0767 +▁čestita -12.0768 +▁solidarnosti -12.0769 +▁saopštenje -12.0769 +▁proteste -12.077 +▁guverner -12.0771 +▁korporativn -12.0771 +▁privredne -12.0771 +▁suspension -12.0771 +eau -12.0772 +▁uistinu -12.0772 +00,00 -12.0773 +▁optuži -12.0773 +▁Upon -12.0773 +▁izmjena -12.0774 +▁disappointed -12.0774 +▁audiences -12.0775 +corn -12.0775 +▁hlad -12.0775 +▁proglasio -12.0776 +▁bow -12.0777 +▁dirty -12.0777 +▁ispunjavaju -12.0779 +▁mari -12.0779 +▁mjesn -12.078 +▁Dodatn -12.0782 +▁NP -12.0782 +▁nastali -12.0782 +▁cloth -12.0783 +▁pravnim -12.0783 +uzi -12.0784 +▁pričati -12.0785 +▁lan -12.0786 +▁Assembly -12.0787 +▁Kentucky -12.0787 +▁Missouri -12.0787 +▁Tennessee -12.0787 +▁svedoči -12.0787 +▁mrežn -12.0787 +▁churches -12.0787 +▁uzimati -12.0789 +▁kapacitete -12.0789 +▁Independent -12.0789 +▁komentariše -12.079 +▁ć -12.079 +▁1948 -12.0791 +▁grane -12.0791 +▁cheer -12.0791 +danje -12.0791 +imenovan -12.0791 +▁povećavaju -12.0792 +▁prihodi -12.0792 +green -12.0792 +▁Živi -12.0792 +chin -12.0794 +Pred -12.0794 +aši -12.0795 +život -12.0795 +▁aktivne -12.0797 +▁segmentu -12.0798 +MG -12.0799 +▁incidenta -12.08 +▁NIJE -12.0802 +▁emisiju -12.0802 +▁supstance -12.0802 +▁striking -12.0802 +▁laboratory -12.0802 +▁verify -12.0802 +▁Canon -12.0804 +▁propisano -12.0804 +▁investitor -12.0805 +/19 -12.0805 +zovi -12.0806 +nina -12.0806 +season -12.0809 +▁Sutra -12.0809 +▁nakit -12.081 +▁trebati -12.081 +▁Nama -12.0811 +▁uvede -12.0811 +▁oldest -12.0811 +▁klikom -12.0812 +▁pištolj -12.0813 +▁smiren -12.0814 +▁duši -12.0816 +▁reditelja -12.0816 +RK -12.0817 +▁pohvale -12.0817 +▁Sleep -12.0817 +▁uspostavljen -12.0817 +▁automated -12.0817 +▁upotrebom -12.0817 +▁Captain -12.0818 +char -12.0818 +hana -12.0818 +▁Peri -12.0818 +▁masne -12.0819 +▁Lako -12.0819 +start -12.082 +▁Zeničko -12.082 +▁prioriteta -12.082 +▁fol -12.082 +▁ulaza -12.082 +šum -12.082 +▁1967 -12.0821 +▁Drugim -12.0821 +▁hrvatskim -12.0821 +▁Dug -12.0822 +redi -12.0822 +▁Spe -12.0822 +▁lepe -12.0823 +▁3,5 -12.0823 +▁navedenim -12.0824 +▁forgotten -12.0825 +▁ceste -12.0825 +▁banjalučk -12.0826 +▁Period -12.0826 +dol -12.0828 +▁Rank -12.0829 +▁LP -12.083 +▁Imaju -12.083 +▁sol -12.0831 +▁težina -12.0832 +▁Cleveland -12.0832 +▁prethodna -12.0832 +▁gostovanju -12.0833 +▁kupatila -12.0833 +▁Ukraine -12.0833 +▁planiranja -12.0833 +▁Pazaru -12.0834 +▁prilagoditi -12.0834 +▁Reserve -12.0837 +▁rein -12.0837 +▁obavljati -12.0837 +kriv -12.0838 +▁Beck -12.0838 +▁klasa -12.0838 +▁muški -12.0838 +tted -12.0839 +ovica -12.084 +▁→ -12.084 +▁Duh -12.0841 +▁stanicu -12.0841 +▁poznatim -12.0843 +▁potencijalne -12.0843 +▁zbor -12.0843 +logu -12.0844 +▁novcem -12.0845 +njo -12.0846 +gos -12.0847 +▁dragocen -12.0847 +▁destruction -12.0848 +▁organizovala -12.0848 +▁okrene -12.0848 +▁sudden -12.0849 +▁rasporedu -12.0849 +▁tumora -12.0849 +▁legitimate -12.0849 +Not -12.085 +▁pošten -12.0851 +▁(0 -12.0851 +▁plaćeni -12.0851 +▁slični -12.0852 +▁plaka -12.0852 +▁acceptable -12.0852 +PER -12.0852 +▁Sever -12.0853 +▁DNS -12.0853 +▁stre -12.0853 +▁Vrbas -12.0853 +road -12.0854 +▁pojačanje -12.0856 +▁qua -12.0857 +▁prod -12.086 +▁kriju -12.086 +▁osnovno -12.0861 +▁Bela -12.0862 +▁oblicima -12.0863 +▁marijuana -12.0863 +▁koncentracije -12.0863 +▁intimate -12.0864 +▁trava -12.0864 +▁medications -12.0864 +BB -12.0864 +▁obrađen -12.0865 +▁aktiv -12.0866 +inska -12.0868 +reza -12.0868 +▁četvrtom -12.0868 +tako -12.0868 +▁Tips -12.0868 +▁osvojiti -12.0868 +▁broker -12.0869 +▁tempo -12.087 +▁izdao -12.087 +ofa -12.0871 +▁procesi -12.0871 +rz -12.0872 +▁meters -12.0872 +▁naučnih -12.0873 +jke -12.0873 +▁levi -12.0874 +▁pljačka -12.0874 +lex -12.0875 +▁poseta -12.0876 +▁Twin -12.0876 +▁excessive -12.0877 +aru -12.0878 +▁preminula -12.0878 +▁dodijeli -12.0878 +▁Led -12.0879 +tional -12.0879 +zima -12.0879 +▁Rou -12.088 +▁leverage -12.0881 +▁seksa -12.0882 +▁ekonomskom -12.0883 +▁sixth -12.0884 +dice -12.0885 +▁kompletnu -12.0885 +▁izvršenje -12.0885 +▁guns -12.0887 +rcu -12.0887 +▁registra -12.0887 +▁slatki -12.0891 +▁produži -12.0891 +▁Erik -12.0891 +▁Petro -12.0891 +▁Leg -12.0892 +END -12.0892 +▁pobednik -12.0893 +▁Alabama -12.0894 +▁Engleskoj -12.0894 +▁dessert -12.0894 +▁Consumer -12.0894 +▁seemingly -12.0894 +▁12- -12.0894 +▁sedi -12.0895 +▁figured -12.0896 +uša -12.0897 +▁mijenjati -12.0898 +▁prijema -12.0898 +▁bivših -12.0899 +▁leka -12.0899 +▁zaradu -12.09 +2014 -12.09 +▁otok -12.09 +▁retreat -12.0901 +final -12.0902 +▁objavljene -12.0904 +▁1989 -12.0905 +▁izabrali -12.0909 +▁Poljskoj -12.0909 +▁opasne -12.0909 +▁console -12.0909 +▁nastanak -12.091 +▁nemoć -12.091 +▁cookie -12.091 +▁edges -12.0912 +▁ležaj -12.0912 +▁odlaganje -12.0912 +▁manipul -12.0913 +▁shvatila -12.0913 +▁nezavisni -12.0914 +▁plave -12.0915 +▁Dol -12.0915 +▁povećanju -12.0916 +▁assured -12.0916 +▁Schu -12.0917 +▁Akcija -12.0918 +▁republičk -12.0918 +ب -12.0918 +▁gledajući -12.0918 +К -12.0919 +Google -12.0919 +▁radosti -12.092 +▁uspjeti -12.092 +▁prekriven -12.0921 +žava -12.0922 +▁dlan -12.0922 +▁obrnuto -12.0923 +▁sredina -12.0923 +▁autobusk -12.0924 +▁Walker -12.0924 +▁Podgorice -12.0924 +▁enemies -12.0924 +▁rezolucije -12.0924 +▁nagradn -12.0924 +▁Aleksinac -12.0924 +▁capability -12.0925 +▁završe -12.0927 +▁termo -12.0927 +▁Commercial -12.0928 +▁otkrivanje -12.0928 +▁četvrtka -12.0928 +▁starijim -12.0929 +▁visinu -12.0929 +▁publicly -12.0929 +▁developments -12.093 +nsa -12.0931 +▁Rot -12.0933 +▁dokumente -12.0933 +jde -12.0933 +SKO -12.0934 +▁odigrati -12.0934 +▁voices -12.0934 +▁svetlost -12.0934 +ckle -12.0935 +Can -12.0936 +▁sedmo -12.0937 +▁Upravni -12.0938 +▁В -12.0939 +▁Putina -12.0939 +▁Dnevni -12.0939 +▁dijabetes -12.0939 +▁depozit -12.0939 +▁Tijekom -12.094 +▁garancija -12.094 +▁reaguju -12.094 +▁ansambl -12.094 +▁cocktail -12.094 +▁dlake -12.094 +▁paragraph -12.094 +▁binary -12.0941 +▁princ -12.0941 +▁otkrivaju -12.0941 +▁provođenje -12.0941 +▁lom -12.0941 +▁Nike -12.0942 +▁spice -12.0943 +▁kazem -12.0944 +▁dokazano -12.0945 +▁Voda -12.0945 +▁poljoprivredne -12.0946 +▁izveštava -12.0946 +▁dump -12.0947 +▁PhD -12.0948 +titu -12.0948 +▁svjedok -12.095 +▁SF -12.095 +▁Cru -12.0951 +▁kadar -12.0952 +kana -12.0952 +▁Dy -12.0953 +bir -12.0954 +▁dogovoren -12.0954 +virus -12.0954 +▁kućni -12.0954 +▁kompakt -12.0954 +▁tajni -12.0955 +▁beogradski -12.0956 +▁snagom -12.0956 +▁okoliš -12.0957 +▁lagan -12.0957 +▁Ice -12.0958 +▁biological -12.0959 +plaćiva -12.0959 +inac -12.0959 +phi -12.0959 +▁pokretu -12.096 +▁napadi -12.0962 +▁Gornji -12.0962 +padnu -12.0963 +▁veličanstven -12.0963 +▁ministarka -12.0964 +▁Laj -12.0964 +▁pacijente -12.0966 +njače -12.0967 +▁hrabrost -12.0968 +▁Adams -12.0968 +menu -12.0969 +▁prodat -12.0969 +▁tesko -12.0969 +▁čuvanje -12.097 +▁Sjever -12.097 +▁Together -12.0971 +▁vari -12.0971 +▁Slavon -12.0971 +ljava -12.0971 +▁regret -12.0971 +▁Anyone -12.0972 +▁pristupiti -12.0973 +▁amendment -12.0973 +▁Nemam -12.0973 +▁grey -12.0974 +▁Delhi -12.0974 +▁bezbroj -12.0975 +asing -12.0976 +▁zidova -12.0976 +ANT -12.0976 +▁popunjen -12.0976 +ENE -12.0976 +▁effectiveness -12.0976 +▁promjenama -12.0977 +▁vere -12.0977 +koja -12.0977 +▁vjera -12.0979 +▁generalnog -12.0979 +و -12.0982 +▁poboljšanju -12.0982 +▁provjere -12.0982 +▁cl -12.0984 +▁obećanje -12.0984 +▁talasa -12.0985 +▁tru -12.0985 +▁Pokrajinsk -12.0986 +▁djevojčica -12.0986 +▁vježbe -12.0986 +▁Srednje -12.0987 +▁groblju -12.0987 +ijsku -12.0987 +flu -12.0988 +▁slatko -12.0988 +ovano -12.0988 +▁caring -12.0989 +▁Rather -12.0989 +▁gledano -12.0989 +elli -12.0989 +▁strap -12.0989 +▁lanac -12.099 +▁blistav -12.099 +▁barrel -12.0991 +▁Fel -12.0992 +▁charging -12.0993 +▁kalup -12.0993 +mire -12.0995 +▁ukraden -12.0996 +sell -12.0997 +▁pružanja -12.0997 +present -12.0998 +▁snap -12.0998 +▁precise -12.0999 +▁login -12.0999 +▁šah -12.0999 +▁Hagu -12.0999 +lnim -12.1 +▁Stru -12.1 +rao -12.1 +▁ranking -12.1001 +▁Features -12.1001 +фи -12.1001 +▁athletic -12.1002 +▁prepreke -12.1002 +▁potrošnja -12.1002 +▁ye -12.1002 +▁glory -12.1002 +▁udruge -12.1003 +▁duplo -12.1003 +▁Acc -12.1003 +jku -12.1003 +itz -12.1003 +ljenju -12.1004 +▁zatvorena -12.1005 +eze -12.1005 +PRO -12.1006 +▁conclude -12.1007 +▁Kažu -12.1007 +▁korišćenjem -12.1008 +▁Basic -12.1008 +▁convinced -12.1009 +▁posjetu -12.101 +▁omogućili -12.1011 +▁Bab -12.1012 +▁doček -12.1013 +ticanje -12.1013 +▁Years -12.1016 +▁Stevanović -12.1017 +▁Affairs -12.1017 +▁voltage -12.1017 +▁Odluku -12.1017 +▁šolje -12.1017 +▁Alaska -12.1018 +vest -12.1019 +▁suzbijanje -12.1019 +KOM -12.1019 +▁lijekove -12.102 +▁glumci -12.102 +▁službenik -12.1022 +ALA -12.1023 +Tur -12.1024 +▁8- -12.1026 +žnja -12.1026 +▁poručili -12.1027 +ačka -12.1027 +▁privatno -12.1028 +zvani -12.1028 +▁Babić -12.103 +▁Cene -12.1031 +▁bell -12.1032 +▁svrha -12.1033 +▁ekstra -12.1033 +▁potpisivanja -12.1033 +▁Rada -12.1033 +▁outer -12.1034 +▁posetilaca -12.1034 +▁quit -12.1035 +▁klavir -12.1035 +▁Leo -12.1035 +▁hon -12.1035 +▁enabled -12.1035 +rona -12.1035 +▁vozilu -12.1035 +▁discounts -12.1035 +▁Ponovo -12.1036 +▁omogućeno -12.1036 +▁puteve -12.1036 +▁savremenog -12.1038 +▁fudbalske -12.1038 +▁pound -12.1038 +▁Mogućnost -12.1039 +▁Rate -12.1039 +▁panic -12.1041 +čeva -12.1041 +▁delovanje -12.1042 +▁108 -12.1043 +▁115 -12.1043 +isani -12.1043 +▁Thr -12.1044 +▁humanity -12.1045 +▁mame -12.1047 +▁damn -12.1047 +▁fokusiran -12.1047 +▁prevenciju -12.1048 +▁Client -12.1048 +▁Reform -12.1048 +▁Adobe -12.1049 +▁kratke -12.1049 +▁fokusu -12.105 +▁djelova -12.1053 +▁Radnički -12.1055 +ponent -12.1055 +▁Duke -12.1055 +▁Wales -12.1056 +▁Veli -12.1057 +▁Jakov -12.1058 +jko -12.1059 +say -12.1059 +▁tešku -12.1059 +▁Irana -12.1059 +▁Ara -12.1059 +yu -12.106 +▁blagi -12.1061 +▁Sid -12.1061 +HL -12.1062 +ONE -12.1063 +▁merama -12.1063 +▁pridržava -12.1063 +▁umetnički -12.1063 +▁razdvaja -12.1064 +▁religija -12.1064 +▁saopćenju -12.1064 +▁structural -12.1064 +▁chamber -12.1064 +▁Stadium -12.1064 +▁trećine -12.1065 +▁handed -12.1067 +▁measurement -12.1067 +▁rally -12.1067 +▁feeding -12.1068 +MM -12.1068 +▁cooling -12.1069 +ы -12.1069 +▁Deal -12.107 +▁Lud -12.1071 +▁Grupe -12.1072 +▁Tara -12.1072 +Optuž -12.1073 +tale -12.1074 +/13 -12.1074 +deset -12.1074 +stiti -12.1075 +▁POT -12.1075 +▁voleo -12.1077 +kali -12.1077 +brana -12.1077 +NJU -12.1077 +▁poslat -12.1077 +▁exploration -12.1079 +▁године -12.1079 +▁durable -12.1079 +▁zaštitom -12.108 +▁šou -12.108 +▁dumpster -12.1081 +▁kutije -12.1081 +▁Konjic -12.1083 +▁ličnog -12.1084 +▁alejhi -12.1084 +jesti -12.1084 +▁odluče -12.1085 +▁Vene -12.1085 +rika -12.1087 +▁retailers -12.1087 +▁timovi -12.1087 +▁treating -12.1089 +FR -12.109 +▁Poznato -12.1091 +▁sperm -12.1092 +treba -12.1092 +prop -12.1093 +kanje -12.1094 +▁etičk -12.1095 +▁videla -12.1095 +▁aktuelna -12.1095 +▁Kontrol -12.1095 +▁općini -12.1096 +▁Stranke -12.1096 +▁Kakva -12.1097 +▁Chairman -12.1097 +▁vrhunac -12.1098 +▁režimu -12.1098 +▁Wayne -12.1098 +▁blessing -12.1099 +▁gripa -12.11 +jala -12.11 +▁Khan -12.11 +▁operators -12.11 +▁turbo -12.11 +▁Ća -12.1101 +▁terminu -12.1101 +▁distrikta -12.1102 +▁ponosan -12.1103 +▁utakmicama -12.1104 +TY -12.1105 +▁Bub -12.1105 +▁dojam -12.1105 +▁Castle -12.1105 +▁sheets -12.1107 +▁stanovi -12.1107 +▁bezbjednost -12.1107 +▁Aid -12.1108 +▁pravac -12.1108 +▁punih -12.1109 +▁Fish -12.1109 +vraća -12.1109 +▁pojavili -12.1109 +▁golmana -12.1109 +▁funded -12.1109 +▁skandal -12.111 +▁razmišljaju -12.111 +ctive -12.1111 +▁izvršena -12.1111 +▁achieving -12.1111 +▁prisustva -12.1111 +▁postupke -12.1111 +▁Francuski -12.1111 +▁dijabetesa -12.1111 +▁bubble -12.1111 +▁izdavač -12.1112 +▁ženska -12.1113 +▁calories -12.1114 +▁GRAD -12.1116 +ML -12.1116 +▁jasne -12.1117 +▁achievement -12.1117 +▁Zajedničk -12.1118 +▁lova -12.1119 +hum -12.1119 +▁smu -12.1119 +▁inspektor -12.1121 +▁tren -12.1122 +▁Stage -12.1122 +▁nevidljiv -12.1123 +▁miš -12.1124 +▁transplant -12.1126 +▁sustainability -12.1127 +▁yeah -12.1127 +▁shipped -12.1127 +▁uvrsti -12.1128 +juci -12.1129 +▁30.000 -12.113 +▁romance -12.1131 +▁zimi -12.1131 +▁Hamas -12.1132 +▁prospects -12.1132 +▁profesionalnog -12.1132 +▁sustain -12.1133 +seljeni -12.1133 +▁entertaining -12.1133 +▁corresponding -12.1134 +▁izborni -12.1134 +▁stupa -12.1135 +▁mob -12.1136 +tters -12.1136 +▁preparata -12.1138 +▁uzbu -12.1139 +▁integr -12.114 +enko -12.114 +▁Dick -12.114 +kazao -12.114 +arne -12.1141 +▁raspoloživ -12.1141 +▁rasvjet -12.1141 +▁Е -12.1142 +▁Updated -12.1142 +▁Jutarnja -12.1142 +▁dijaspore -12.1142 +▁reciklira -12.1142 +▁najstariji -12.1142 +▁Mitrovici -12.1142 +▁metabolizam -12.1142 +▁intenzitet -12.1143 +▁Until -12.1143 +▁Bošković -12.1144 +▁TH -12.1144 +▁utvrđivanje -12.1144 +▁Gorana -12.1146 +▁carries -12.1147 +▁$50 -12.1148 +▁opštinama -12.1148 +▁Razgovara -12.1148 +ico -12.1149 +▁CAR -12.1149 +▁gađa -12.115 +▁radije -12.115 +▁pulling -12.1151 +▁platformu -12.1151 +▁prednje -12.1152 +dies -12.1153 +vezao -12.1154 +▁Prijedora -12.1154 +proof -12.1154 +▁106 -12.1157 +▁kriminalističk -12.1157 +▁kancelar -12.1157 +▁razdoblje -12.1158 +▁religije -12.1158 +▁Adult -12.1158 +▁Brooklyn -12.1158 +▁revanš -12.1158 +mobil -12.1159 +dim -12.1159 +▁pension -12.1159 +▁oficir -12.1159 +^ -12.116 +rist -12.1161 +▁evidentiran -12.1161 +▁Juan -12.1161 +▁boom -12.1162 +▁nauku -12.1163 +bacuju -12.1164 +▁Engine -12.1164 +▁rated -12.1167 +▁additionally -12.1167 +icima -12.1167 +▁igranje -12.1167 +kod -12.1167 +▁veseli -12.1168 +▁Proizvod -12.1168 +▁zavisno -12.1169 +▁skip -12.117 +▁Bend -12.117 +▁rim -12.1171 +njih -12.1171 +▁išli -12.1173 +sville -12.1173 +▁Društva -12.1174 +▁Heritage -12.1174 +▁utvrđuje -12.1174 +▁frozen -12.1174 +▁girlfriend -12.1174 +▁omega -12.1174 +▁сам -12.1174 +▁Bernard -12.1175 +▁Vitez -12.1176 +▁testo -12.1178 +Vol -12.1179 +▁Tvoj -12.118 +▁duela -12.1181 +grup -12.1181 +▁Eve -12.1182 +▁omogućila -12.1183 +▁photographer -12.1184 +volu -12.1184 +▁60% -12.1185 +▁Dev -12.1186 +▁ličnu -12.1186 +▁insist -12.1187 +▁Hej -12.1187 +▁Blago -12.1188 +Why -12.1188 +stom -12.1188 +▁viewers -12.1189 +▁oporavka -12.1189 +▁tabloid -12.119 +nošenje -12.119 +▁gently -12.119 +▁determination -12.119 +stina -12.1192 +▁kolena -12.1194 +▁XP -12.1194 +▁prestati -12.1194 +▁obeležen -12.1195 +▁attempting -12.1196 +▁filmske -12.1196 +opis -12.1196 +manje -12.1197 +▁vršiti -12.1198 +▁tribina -12.1198 +ENI -12.1198 +▁lokalno -12.1201 +kit -12.1201 +▁в -12.1202 +▁lawn -12.1202 +▁Olivera -12.1202 +▁ravnopravnost -12.1203 +▁plates -12.1204 +▁Eva -12.1205 +▁aero -12.1205 +base -12.1205 +▁podržao -12.1205 +nol -12.1207 +▁Related -12.1207 +▁viagra -12.1207 +▁wishes -12.1208 +▁bilja -12.1208 +▁Tweet -12.121 +▁cit -12.1212 +▁igračke -12.1212 +user -12.1212 +▁neočekivan -12.1213 +▁vent -12.1213 +▁svakodnevnom -12.1214 +▁neba -12.1215 +▁krava -12.1215 +▁predsednikom -12.1217 +▁prah -12.1218 +▁dressed -12.1219 +stakao -12.122 +▁prste -12.122 +▁linkovi -12.122 +▁općenito -12.1221 +▁Between -12.1221 +▁polovinu -12.1221 +▁spoljne -12.1221 +▁(13 -12.1221 +▁keks -12.1222 +▁stainless -12.1222 +▁krivičnu -12.1222 +▁Željezničar -12.1223 +▁privlače -12.1223 +▁Antić -12.1223 +▁Freedom -12.1224 +▁rational -12.1224 +▁uživate -12.1225 +▁п -12.1225 +▁upitao -12.1225 +▁1964 -12.1226 +=1 -12.1226 +▁bitter -12.1226 +▁Aqua -12.1227 +▁Madrida -12.1227 +▁praise -12.1229 +▁melodi -12.1229 +cko -12.1229 +▁Sent -12.1229 +▁accompanied -12.123 +▁reklamira -12.123 +▁OT -12.1231 +▁kontinuitet -12.1231 +▁alien -12.1231 +▁razgovori -12.1232 +▁odložen -12.1232 +:28 -12.1233 +▁Poslovni -12.1234 +▁Stefana -12.1234 +▁spora -12.1234 +main -12.1235 +▁efficiently -12.1235 +▁ethnic -12.1236 +▁Disease -12.1237 +▁ljubomor -12.1237 +▁meditation -12.1237 +▁portrait -12.1237 +▁trenutke -12.1237 +▁dočekuje -12.1237 +▁jedinstvo -12.1237 +▁therapist -12.1237 +▁delicate -12.1237 +▁zaključka -12.1238 +▁рад -12.1238 +▁trajanje -12.1238 +rab -12.1239 +▁Gospodar -12.1239 +pušta -12.1239 +▁snižen -12.124 +▁javnošću -12.124 +▁Slobodana -12.124 +▁klupsk -12.124 +▁štetno -12.1241 +▁Door -12.1241 +▁Marije -12.1242 +▁qualify -12.1242 +▁klijenti -12.1243 +sex -12.1244 +▁pojedinac -12.1245 +▁1953 -12.1246 +▁kora -12.1246 +rva -12.1247 +▁čekali -12.1247 +▁prelijep -12.1247 +▁profiles -12.1248 +▁tlu -12.1249 +Bor -12.1249 +▁naučnika -12.1249 +▁proslavi -12.1249 +aro -12.1252 +was -12.1252 +▁Gay -12.1253 +▁namerava -12.1253 +▁rekonstrukcije -12.1253 +▁requiring -12.1253 +▁CL -12.1253 +▁najmanji -12.1253 +▁zemljotres -12.1255 +▁interesima -12.1255 +▁polazi -12.1255 +▁bul -12.1256 +▁najgori -12.1256 +▁inostranstvo -12.1256 +▁roster -12.1257 +▁obraćanju -12.1257 +sun -12.1257 +▁ponoviti -12.1257 +▁domaća -12.1257 +▁čuvati -12.1257 +oskop -12.1258 +godišnju -12.1259 +▁Tamara -12.1259 +▁uzoraka -12.1261 +ovale -12.1262 +▁Muzeja -12.1263 +ljuš -12.1263 +self -12.1263 +▁jury -12.1263 +▁handful -12.1264 +▁krizi -12.1264 +▁kvalitetom -12.1264 +stima -12.1265 +▁Beg -12.1265 +vaca -12.1265 +▁medijskih -12.1266 +▁organizovanje -12.1266 +▁Generalni -12.1266 +▁padaju -12.1267 +▁grčki -12.1268 +▁zatvorenom -12.1268 +.000.000 -12.1268 +▁kontejner -12.1269 +▁declined -12.127 +▁Kris -12.1273 +vođenje -12.1273 +▁tekuće -12.1273 +▁LCD -12.1274 +▁Polo -12.1274 +▁htjela -12.1275 +▁predsjedniku -12.1275 +▁ukaže -12.1275 +▁Target -12.1276 +▁Carter -12.1276 +šir -12.1277 +▁surgeon -12.1278 +▁arranged -12.1278 +▁monopol -12.1278 +▁promises -12.1279 +▁consulting -12.1283 +dur -12.1283 +▁Višegrad -12.1283 +▁remi -12.1283 +▁najnoviji -12.1283 +▁pigment -12.1284 +KOVIĆ -12.1284 +▁jedu -12.1284 +▁zakonske -12.1284 +▁kupovini -12.1285 +▁tkivo -12.1285 +▁analytics -12.1285 +▁produkcije -12.1285 +▁uzroka -12.1285 +ција -12.1285 +▁čašu -12.1285 +▁sedišta -12.1286 +▁vrhunske -12.1286 +▁svjet -12.1286 +▁cultures -12.1288 +nter -12.1288 +▁Flor -12.1288 +▁complaints -12.1289 +Т -12.1289 +▁dječaka -12.1289 +▁Floor -12.1289 +▁Slučaj -12.129 +▁tiho -12.129 +▁Svetskog -12.1291 +NB -12.1291 +▁Marjanović -12.1291 +▁Sej -12.1291 +▁lokalnu -12.1291 +▁grill -12.1291 +бо -12.1291 +▁› -12.1291 +▁posetioci -12.1292 +▁povezano -12.1293 +▁Megan -12.1293 +there -12.1294 +krivljen -12.1295 +▁Ostale -12.1297 +▁promovira -12.1298 +▁dobroj -12.1299 +▁favour -12.1299 +▁ocu -12.1301 +▁diplome -12.1301 +▁ukupna -12.1301 +▁uspje -12.1302 +▁ships -12.1302 +godi -12.1302 +▁nonprofit -12.1302 +▁token -12.1302 +▁clue -12.1302 +▁Poznati -12.1302 +▁ocena -12.1304 +▁dijelovi -12.1304 +▁stupi -12.1304 +▁Saturn -12.1305 +▁lying -12.1305 +▁pripadnik -12.1305 +▁brda -12.1306 +▁vojno -12.1306 +▁logora -12.1307 +pišite -12.1307 +▁Bijeljini -12.1307 +▁impacts -12.1308 +▁Lazić -12.1308 +▁repairs -12.1308 +tour -12.1309 +▁strast -12.131 +▁detetu -12.1311 +▁NOVI -12.1311 +▁dekor -12.1312 +▁takozvani -12.1312 +▁Alp -12.1312 +.99 -12.1312 +▁bezbednosn -12.1312 +▁opada -12.1313 +▁rolled -12.1313 +▁Bou -12.1314 +▁episodes -12.1314 +▁mac -12.1315 +▁chairs -12.1316 +▁Vod -12.1317 +▁konferenciju -12.1317 +▁protagonist -12.1317 +▁qualities -12.1317 +▁palestinsk -12.1317 +▁Akademije -12.1317 +▁suviše -12.1317 +soft -12.1317 +▁entity -12.1318 +▁cca -12.1318 +▁razočara -12.1318 +▁univerzitet -12.1319 +CM -12.132 +▁Puno -12.132 +worm -12.1321 +▁vidiš -12.1322 +bana -12.1322 +▁kovida -12.1322 +▁mrtvih -12.1324 +▁Jake -12.1324 +▁crtež -12.1327 +▁Osijek -12.1328 +▁Record -12.1329 +У -12.1329 +lop -12.1329 +/16 -12.1329 +▁držite -12.1329 +▁opisu -12.133 +▁mobiliz -12.133 +bijen -12.133 +tivan -12.1331 +▁zrna -12.1331 +▁dospe -12.1331 +rko -12.1332 +▁KU -12.1332 +NER -12.1332 +▁embodiment -12.1333 +▁konstrukcije -12.1333 +▁svedoče -12.1336 +FL -12.1337 +▁kampu -12.1337 +▁precisely -12.1338 +▁vozilima -12.1338 +▁га -12.134 +▁trupa -12.134 +▁lasting -12.1341 +tten -12.1341 +▁FO -12.1341 +ovine -12.1342 +▁lišen -12.1342 +▁Radovi -12.1343 +▁Easter -12.1344 +▁Potpuno -12.1344 +▁javnoj -12.1344 +▁bias -12.1344 +▁alternatives -12.1345 +▁trave -12.1345 +Beta -12.1345 +▁ruk -12.1346 +▁Neo -12.1346 +▁Soft -12.1346 +▁olimpij -12.1347 +▁pitati -12.1347 +▁cleaner -12.1348 +▁davati -12.1348 +▁šokira -12.1349 +▁zaradio -12.1349 +▁completing -12.1349 +▁iskustvu -12.1349 +film -12.135 +▁edited -12.135 +▁pridruže -12.135 +kora -12.135 +▁acceptance -12.135 +jković -12.1351 +▁Provide -12.1351 +▁fronta -12.1351 +▁unlock -12.1351 +▁slight -12.1353 +ón -12.1353 +▁pogledate -12.1353 +▁LU -12.1354 +▁rupe -12.1354 +▁mili -12.1354 +▁Popov -12.1355 +▁Recimo -12.1356 +▁Loren -12.1357 +rdi -12.1357 +▁Angela -12.1357 +▁Znate -12.1357 +▁preuzimanja -12.1358 +▁gut -12.1359 +▁redovito -12.136 +▁preporučujemo -12.1361 +▁Ceo -12.1361 +dova -12.1361 +▁stavljaju -12.1362 +▁1941. -12.1362 +▁ethical -12.1362 +▁BS -12.1362 +▁kancelarija -12.1362 +▁minimize -12.1364 +▁natjecanja -12.1365 +▁Companies -12.1365 +▁poglavlje -12.1365 +▁rezervoar -12.1365 +▁utilizing -12.1365 +▁pomenute -12.1365 +▁prosinca -12.1365 +▁ručni -12.1365 +ook -12.1365 +▁EPS -12.1366 +▁naučne -12.1366 +▁Something -12.1366 +xy -12.1366 +▁semester -12.1366 +▁ambijentu -12.1367 +vka -12.1367 +▁workforce -12.1368 +▁dokumentacija -12.1368 +▁pozdravlja -12.1369 +▁Whatever -12.1369 +▁stambene -12.137 +▁kažete -12.137 +▁magical -12.137 +▁prošloj -12.137 +plant -12.1371 +▁BL -12.1372 +▁Match -12.1373 +▁warned -12.1373 +▁vlastitog -12.1375 +▁donations -12.1376 +▁Okt -12.1377 +▁Otvoren -12.1377 +▁vis -12.1378 +GR -12.1378 +▁oboljel -12.1379 +▁hirurg -12.1379 +▁bitne -12.138 +▁refresh -12.138 +▁nameće -12.138 +▁zamoli -12.138 +ikom -12.1381 +▁idiot -12.1381 +▁demonstration -12.1381 +▁izazvalo -12.1381 +▁Vakuf -12.1381 +lej -12.1382 +▁poetry -12.1382 +▁potraži -12.1382 +▁roda -12.1382 +ENJE -12.1382 +▁Joan -12.1382 +▁● -12.1383 +▁HERE -12.1384 +▁navesti -12.1384 +vića -12.1385 +▁naredio -12.1385 +▁transferred -12.1386 +▁Roger -12.1386 +ološka -12.1387 +▁Dvije -12.1389 +▁preuzela -12.1389 +▁Tači -12.1389 +▁upute -12.139 +ređuju -12.1391 +▁četvero -12.1391 +▁javila -12.1392 +▁srednjoj -12.1392 +▁pametno -12.1392 +▁štedi -12.1393 +▁feminist -12.1393 +▁tourist -12.1393 +bine -12.1393 +cade -12.1393 +▁zastava -12.1394 +▁Edge -12.1396 +narod -12.1397 +▁pokraj -12.1397 +▁garancije -12.1397 +▁komplikacija -12.1397 +▁flavour -12.1397 +▁edukacija -12.1397 +▁Survey -12.1397 +▁Culture -12.1397 +▁jastuk -12.1398 +▁captain -12.1398 +▁DIY -12.1399 +▁vakcinacije -12.1399 +rskom -12.1399 +zdi -12.1401 +jeve -12.1402 +▁realnom -12.1402 +▁citizen -12.1403 +▁ensures -12.1403 +▁Titan -12.1404 +▁seta -12.1406 +olozi -12.1406 +▁uspeti -12.1406 +stupanje -12.1408 +▁izlaganja -12.1409 +▁igrica -12.1409 +čije -12.141 +▁pravljenje -12.1411 +rano -12.1412 +▁relaxed -12.1412 +ukrajinsk -12.1412 +▁karcinoma -12.1413 +▁sopstvenu -12.1413 +spekt -12.1414 +▁pronađu -12.1414 +TL -12.1415 +▁Element -12.1416 +▁kviz -12.1416 +▁118 -12.1416 +▁brza -12.1416 +▁memorije -12.1417 +ističkog -12.1417 +▁zamena -12.1417 +▁cesto -12.1418 +ubi -12.1418 +▁dočekati -12.1418 +▁nacrta -12.1418 +▁kontrolisan -12.1418 +▁lažne -12.1419 +▁avgust -12.1419 +NF -12.1419 +▁radiš -12.1419 +▁potencijalnih -12.1419 +▁procene -12.142 +▁posebnih -12.1421 +nijom -12.1422 +▁pomen -12.1424 +▁čitavu -12.1424 +vant -12.1424 +▁vlastitu -12.1425 +Å -12.1426 +▁Lim -12.1426 +▁stylish -12.1429 +▁membrane -12.143 +▁glumca -12.143 +▁pomoglo -12.143 +▁vrijedan -12.143 +▁iznutra -12.143 +zala -12.1432 +▁prezentira -12.1432 +▁premier -12.1432 +▁srednju -12.1433 +▁drops -12.1434 +▁miks -12.1435 +▁inostranih -12.1436 +▁žen -12.1437 +▁komun -12.1437 +▁izgrađena -12.1438 +▁Istočno -12.1438 +▁DIS -12.1439 +▁derived -12.1441 +жи -12.1441 +cali -12.1442 +▁5000 -12.1442 +▁lok -12.1442 +writing -12.1442 +▁vraćanje -12.1443 +▁ratnog -12.1445 +▁Restaurant -12.1446 +▁HTML -12.1446 +caj -12.1446 +▁otpora -12.1446 +zao -12.1446 +▁sneak -12.1446 +▁Federalnog -12.1446 +▁cheaper -12.1446 +▁ciljevima -12.1448 +▁ŠTA -12.1448 +▁omogućen -12.1448 +služi -12.1448 +▁Wright -12.1449 +▁državljana -12.1449 +▁televizor -12.1449 +▁lat -12.1449 +iša -12.1449 +▁hleb -12.145 +▁uhapsila -12.145 +▁gaze -12.1451 +▁devoted -12.1451 +vele -12.1451 +PG -12.1453 +▁Half -12.1453 +▁Shar -12.1453 +▁Glavnog -12.1453 +▁problemom -12.1454 +show -12.1454 +▁usvoji -12.1456 +jač -12.1456 +▁osudi -12.146 +▁cop -12.146 +▁kliza -12.146 +▁konkursu -12.1461 +▁ukupni -12.1462 +▁Toma -12.1462 +▁komiteta -12.1462 +▁pogodan -12.1462 +▁primenjuju -12.1462 +▁sadržan -12.1463 +koje -12.1464 +order -12.1464 +▁blagdan -12.1466 +▁entrepreneurs -12.1467 +▁Koz -12.1468 +kari -12.147 +stog -12.147 +▁pehar -12.147 +▁Evro -12.1471 +▁discussing -12.1471 +▁pokupi -12.1471 +2020 -12.1471 +▁graduated -12.1472 +▁pants -12.1473 +ntal -12.1473 +▁priznala -12.1473 +▁merit -12.1474 +▁slep -12.1474 +▁istraživač -12.1474 +▁Poly -12.1475 +SN -12.1478 +▁UNESCO -12.1478 +▁Innovation -12.1478 +▁threw -12.1478 +▁Okružno -12.1478 +▁ecosystem -12.1478 +▁tuzlansk -12.1478 +▁vojna -12.1479 +čo -12.1479 +▁Uživajte -12.1479 +ologiji -12.1479 +▁drame -12.1479 +▁domaćinstva -12.148 +▁з -12.148 +▁sasluša -12.1481 +▁davao -12.1481 +šiti -12.1482 +▁zvaničnik -12.1483 +▁susedn -12.1483 +▁ulaže -12.1484 +▁Math -12.1484 +▁prikupljanja -12.1484 +▁jedinici -12.1485 +▁oboljelih -12.1485 +▁več -12.1485 +▁moguce -12.1486 +▁infections -12.1486 +▁državnoj -12.1486 +▁aplicira -12.1486 +▁attorneys -12.1486 +▁kantonu -12.1486 +▁thumb -12.1487 +▁Block -12.1487 +▁zbunjen -12.1488 +▁sirovina -12.1488 +▁kriti -12.1489 +▁rug -12.1489 +▁Špan -12.1489 +istu -12.1491 +▁WC -12.1491 +▁Path -12.1492 +▁pričamo -12.1492 +▁gradskim -12.1492 +▁mesecu -12.1492 +▁uključivanje -12.1493 +▁crimes -12.1493 +▁materi -12.1493 +hydra -12.1494 +▁enabling -12.1494 +▁Technical -12.1495 +▁željom -12.1495 +▁pušenje -12.1495 +▁uvoza -12.1495 +▁ekstern -12.1495 +▁odvoji -12.1496 +▁1930 -12.1496 +stor -12.1497 +▁Nest -12.1497 +▁podnošenje -12.1498 +▁117 -12.1499 +▁kombinova -12.15 +▁independence -12.15 +▁osjećam -12.1501 +▁rewards -12.1502 +▁Mirsad -12.1502 +▁ljekara -12.1503 +▁rađa -12.1503 +broj -12.1503 +▁oils -12.1504 +▁konstrukcija -12.1506 +▁aktivna -12.1506 +dji -12.1507 +▁stomaku -12.1507 +▁jesam -12.1508 +With -12.1508 +▁fizičkih -12.1509 +▁prodor -12.1509 +▁zamišljen -12.1509 +ićeva -12.1509 +vima -12.151 +Ed -12.151 +▁boots -12.151 +▁Bah -12.151 +▁agriculture -12.1511 +▁prethodnu -12.1511 +▁beneath -12.1511 +▁overseas -12.1511 +▁seksualne -12.1511 +▁chopped -12.1511 +ićima -12.1511 +▁Gospod -12.1511 +▁Senat -12.1512 +▁postojati -12.1512 +▁održavati -12.1512 +▁portret -12.1514 +▁pružio -12.1514 +▁Polja -12.1514 +▁motivisan -12.1514 +▁essays -12.1514 +▁rešiti -12.1515 +▁čuda -12.1516 +ibility -12.1517 +leteo -12.1517 +tapa -12.1517 +▁grants -12.1517 +▁Tin -12.1518 +▁srećan -12.1518 +▁zainteresovane -12.1519 +▁traktor -12.1519 +▁pli -12.1519 +▁popisa -12.152 +▁Inn -12.152 +:01 -12.1522 +▁preduzima -12.1522 +▁isporuka -12.1523 +▁recommendation -12.1523 +▁CP -12.1524 +▁Turci -12.1524 +effective -12.1525 +▁mlađih -12.1526 +pret -12.1526 +▁zahtjevima -12.1526 +▁sindikal -12.1527 +▁pseudo -12.1527 +▁Subotici -12.1528 +▁rakete -12.1528 +▁Annie -12.1528 +▁Voli -12.1529 +jevu -12.1529 +▁lap -12.153 +vizij -12.1531 +▁modni -12.1531 +▁sredi -12.1532 +▁Španija -12.1533 +PH -12.1533 +▁locate -12.1534 +▁nepro -12.1534 +▁Parliament -12.1535 +001 -12.1535 +▁starenja -12.1536 +▁podnio -12.1537 +▁Zone -12.1537 +▁Turk -12.1537 +▁specialized -12.1538 +▁napisan -12.1538 +▁му -12.1539 +▁bijele -12.154 +▁zatraži -12.1542 +▁srednja -12.1542 +▁prevara -12.1542 +▁deport -12.1543 +▁povezanih -12.1543 +▁svodi -12.1543 +▁Mjesec -12.1544 +▁Prnjavor -12.1544 +▁opredeljen -12.1544 +▁orijentisan -12.1544 +▁privatna -12.1544 +▁ravnotežu -12.1544 +▁mrtav -12.1544 +▁Brisel -12.1544 +bridge -12.1544 +▁ocijeni -12.1544 +▁stakleni -12.1544 +▁prosperitet -12.1544 +▁vjetar -12.1544 +▁facebook -12.1545 +▁Fondacija -12.1545 +▁Francuz -12.1547 +▁tribine -12.1547 +▁AFP -12.1547 +ional -12.1548 +▁izveo -12.1549 +▁Cole -12.155 +▁Drop -12.1551 +▁najnovijim -12.1551 +▁lekovi -12.1551 +▁identifying -12.1553 +▁planiran -12.1553 +▁joke -12.1554 +rove -12.1554 +▁aktivista -12.1555 +▁ibn -12.1555 +▁saradnici -12.1557 +2023 -12.1558 +▁Fakultet -12.156 +▁poljoprivredi -12.156 +računa -12.156 +▁dejstva -12.156 +▁beloved -12.156 +▁augusta -12.1561 +ites -12.1562 +▁1.500 -12.1562 +▁pedal -12.1563 +▁udobnost -12.1563 +▁generala -12.1563 +▁Ambasador -12.1563 +▁inovacija -12.1564 +▁11:00 -12.1564 +ис -12.1564 +▁Register -12.1566 +▁vodama -12.1568 +▁Question -12.1568 +▁opponent -12.1568 +▁istaći -12.1568 +▁međunarodnoj -12.1569 +/12 -12.1569 +▁efekata -12.1569 +▁pronalazi -12.1569 +▁životnih -12.157 +▁dobara -12.157 +hoe -12.1571 +▁prilikama -12.1571 +▁hence -12.1571 +▁Kru -12.1571 +▁bust -12.1572 +▁sons -12.1573 +▁ch -12.1573 +▁Chan -12.1573 +guard -12.1574 +ština -12.1575 +have -12.1575 +▁cited -12.1576 +▁Dokument -12.1577 +▁isplatu -12.1577 +▁rekavši -12.1577 +▁trebale -12.1578 +ске -12.1578 +KR -12.1578 +▁slučajeve -12.1579 +▁publications -12.1579 +▁Gradsko -12.158 +Sloven -12.158 +▁Sombor -12.1581 +▁sadržajima -12.1581 +▁Troj -12.1581 +▁zaštićeni -12.1581 +▁(30 -12.1581 +▁obrt -12.1581 +▁smanjio -12.1582 +▁gains -12.1582 +▁seminara -12.1583 +kaj -12.1584 +▁cal -12.1584 +▁prirodan -12.1584 +▁harsh -12.1585 +šković -12.1586 +Sto -12.1587 +rious -12.1587 +▁slijep -12.1587 +▁nikakvog -12.1588 +stine -12.1588 +raste -12.1588 +ložiti -12.1589 +▁lepote -12.159 +▁niskim -12.1592 +▁architect -12.1592 +▁Coffee -12.1593 +▁transakcija -12.1593 +▁postigla -12.1593 +▁telefone -12.1593 +tehni -12.1594 +fort -12.1595 +▁verujemo -12.1595 +▁učine -12.1596 +▁Break -12.1598 +▁prose -12.1599 +▁Born -12.1599 +▁građevinski -12.1599 +▁Zub -12.1599 +▁listova -12.16 +▁secured -12.1601 +▁svašta -12.1601 +▁Lak -12.1602 +pose -12.1602 +▁jasni -12.1603 +▁jave -12.1603 +poslovnu -12.1606 +▁charm -12.1608 +▁burst -12.1608 +▁usklađen -12.1609 +▁Trebinju -12.1609 +▁administracija -12.1609 +▁conviction -12.1609 +▁pamćenje -12.1609 +▁specialists -12.1609 +▁optužnice -12.1609 +dao -12.161 +▁wrapped -12.161 +▁provere -12.161 +▁poljima -12.1611 +anjem -12.1611 +▁Trampa -12.1611 +▁candle -12.1612 +▁lika -12.1612 +▁Hon -12.1612 +pru -12.1612 +▁Larry -12.1612 +▁budućih -12.1614 +foto -12.1615 +▁zatvaranja -12.1615 +▁Gali -12.1615 +▁hrabrosti -12.1616 +▁designated -12.1616 +▁Kupu -12.1616 +ličan -12.1618 +▁gospodine -12.1618 +▁Državni -12.1618 +rial -12.1618 +▁assignment -12.1618 +▁nasilni -12.1618 +▁Dem -12.1618 +▁čitao -12.1618 +▁killer -12.1619 +▁spiral -12.162 +▁tuđe -12.162 +▁Klo -12.1621 +▁nekadašnjeg -12.1621 +▁borili -12.1622 +▁sociolog -12.1622 +▁izvadi -12.1623 +zde -12.1624 +▁muško -12.1624 +ars -12.1625 +žen -12.1625 +▁Veliko -12.1625 +▁Wheel -12.1626 +▁supplied -12.1626 +▁Aerodrom -12.1626 +▁Adventure -12.1626 +▁departure -12.1626 +▁entries -12.1626 +▁turistička -12.1626 +vamo -12.1626 +žnu -12.1626 +▁predao -12.1627 +▁polazak -12.1627 +▁valley -12.1627 +▁ratings -12.1628 +▁ruši -12.1629 +▁compelling -12.1629 +▁popularan -12.1629 +▁Pit -12.163 +▁načinom -12.1632 +▁1.3 -12.1632 +▁trku -12.1633 +▁postupanje -12.1634 +blu -12.1634 +▁uspešni -12.1635 +▁ose -12.1637 +▁Base -12.1638 +▁voze -12.1638 +bn -12.1638 +▁uklapa -12.1638 +▁alergijsk -12.1639 +▁postojeći -12.164 +posed -12.1641 +▁maltretira -12.1642 +▁fabulous -12.1642 +▁saznao -12.1643 +▁liječenju -12.1643 +▁počiva -12.1644 +▁Fab -12.1644 +▁plesa -12.1645 +▁papiru -12.1646 +▁dozvoljen -12.1646 +▁diagnosed -12.1647 +▁enterijer -12.1648 +▁superb -12.1648 +▁otežava -12.1648 +▁otkriće -12.1649 +▁atentat -12.1649 +▁alternativa -12.165 +▁BOS -12.165 +▁Dete -12.165 +šina -12.165 +▁regionalnog -12.1652 +▁112 -12.1652 +▁zaradi -12.1652 +▁exclusively -12.1653 +▁neprekidno -12.1654 +▁pig -12.1654 +▁manju -12.1655 +▁priliv -12.1656 +generation -12.1656 +▁Ključ -12.1658 +▁želela -12.1659 +▁tradiciji -12.1659 +▁mattress -12.1659 +▁uzalud -12.1659 +Bio -12.1659 +▁kredite -12.1659 +▁Ristić -12.1659 +služen -12.1659 +▁laka -12.1661 +▁Adnan -12.1661 +▁Rav -12.1662 +wal -12.1662 +▁prijavite -12.1662 +▁Barack -12.1663 +ality -12.1664 +▁plodova -12.1664 +dress -12.1664 +▁Osnovno -12.1664 +▁operates -12.1664 +MD -12.1665 +▁ošteti -12.1665 +note -12.1665 +▁masku -12.1665 +▁otvorenih -12.1666 +▁lav -12.1666 +▁funkcionalnosti -12.1667 +▁pristupi -12.1667 +▁sloja -12.1667 +▁influenced -12.1668 +▁nacionalna -12.1669 +▁zamenu -12.1669 +▁Iskreno -12.1669 +IJI -12.1669 +▁vozio -12.167 +▁opojn -12.167 +▁plo -12.167 +▁oslobađa -12.1671 +▁časopisu -12.1671 +bach -12.1673 +▁modify -12.1675 +▁ureda -12.1675 +▁rekonstrukciju -12.1675 +▁obaviješten -12.1675 +▁objavljuju -12.1676 +▁gluposti -12.1676 +savljević -12.1676 +▁potro -12.1676 +WS -12.1676 +▁FB -12.1676 +▁vanjske -12.1677 +▁Volume -12.1677 +ljke -12.1679 +▁češ -12.1681 +▁Zenice -12.1682 +▁Izuzetno -12.1683 +IVE -12.1684 +▁ukrajinski -12.1684 +▁muzeju -12.1685 +▁planini -12.1685 +weight -12.1686 +▁variable -12.1686 +emia -12.1686 +▁politicians -12.1687 +ific -12.1687 +▁čelika -12.1687 +▁Temple -12.1689 +▁cveta -12.1689 +▁Exam -12.1689 +▁Čelik -12.169 +▁demanding -12.169 +Äe -12.1691 +▁salata -12.1691 +▁Abd -12.1691 +▁razvijati -12.1691 +▁seksualnog -12.1691 +check -12.1691 +▁complement -12.1692 +▁vacuum -12.1692 +▁Telegram -12.1692 +▁stranku -12.1692 +struktur -12.1693 +▁identical -12.1693 +▁Works -12.1693 +▁Fine -12.1693 +▁Bihać -12.1693 +▁uspije -12.1695 +▁studenog -12.1695 +▁braća -12.1696 +quest -12.1696 +materijal -12.1696 +▁efikasnije -12.1697 +▁razme -12.1697 +▁portable -12.1697 +▁cabin -12.1698 +▁celi -12.17 +▁osniva -12.17 +nikom -12.1701 +UJE -12.1702 +▁četvrtine -12.1702 +ovni -12.1704 +▁brojeva -12.1704 +▁titled -12.1704 +▁Hell -12.1704 +▁Nepal -12.1705 +▁Dvo -12.1706 +polja -12.1707 +▁regards -12.1708 +▁collections -12.1708 +▁bilje -12.1709 +▁Kennedy -12.1709 +▁Manhattan -12.1709 +▁građevinske -12.1709 +▁Rijeci -12.1709 +▁Otkri -12.1709 +▁Spisak -12.1709 +▁Turističke -12.1709 +▁naredna -12.171 +▁Dental -12.1711 +▁WI -12.1711 +bis -12.1711 +▁nemačke -12.1712 +▁Christopher -12.1712 +kriti -12.1712 +▁kćer -12.1712 +▁neograničen -12.1712 +▁Tursku -12.1712 +▁aktivisti -12.1713 +▁gradually -12.1714 +▁Opšte -12.1714 +▁slati -12.1714 +▁Schools -12.1715 +▁gaji -12.1716 +▁podići -12.1716 +▁Beth -12.1716 +gil -12.1717 +▁ispr -12.1718 +▁podijeliti -12.1719 +▁okupili -12.1719 +▁roller -12.1719 +bole -12.1719 +force -12.1719 +čima -12.1721 +▁nadzorom -12.1721 +▁Fur -12.1721 +▁Onaj -12.1722 +LED -12.1722 +▁skor -12.1722 +▁stavova -12.1723 +▁towel -12.1724 +fija -12.1724 +▁ambasade -12.1725 +▁Slobodno -12.1725 +▁najvažnija -12.1725 +▁Cvijanović -12.1725 +▁odsustvo -12.1725 +▁Penn -12.1725 +▁;) -12.1727 +▁opremi -12.1727 +ativni -12.1728 +▁posvećenost -12.1728 +▁Indiji -12.1729 +▁manjine -12.1729 +▁fastest -12.173 +▁McG -12.173 +ozi -12.1731 +▁ažurira -12.1731 +▁ublažava -12.1731 +Ci -12.1731 +▁anticipated -12.1732 +lazni -12.1732 +▁pobedili -12.1732 +hara -12.1733 +track -12.1733 +▁suvo -12.1733 +horn -12.1733 +ndy -12.1733 +▁flavors -12.1734 +strom -12.1734 +▁vodstvo -12.1734 +▁arhiva -12.1735 +▁SB -12.1735 +▁mrak -12.1735 +▁Muhammed -12.1736 +▁pritvoru -12.1737 +DM -12.1738 +▁okupio -12.1739 +Nisam -12.174 +▁proveri -12.174 +▁Jug -12.174 +fizi -12.1741 +▁ostavljen -12.1741 +▁ubacio -12.1742 +▁Lawrence -12.1742 +▁agricultural -12.1742 +▁dugotrajno -12.1742 +ćenje -12.1743 +(1) -12.1744 +▁vir -12.1744 +▁zvaničnom -12.1744 +▁Porto -12.1744 +ache -12.1745 +▁tennis -12.1746 +▁šap -12.1746 +▁blessed -12.1746 +▁primenjen -12.1746 +▁prevare -12.1748 +RAV -12.1748 +▁organizovanog -12.1749 +▁Highway -12.1749 +▁abandoned -12.1749 +▁1989. -12.175 +▁naoružan -12.1751 +▁transparentnost -12.1751 +▁Naziv -12.1752 +kaže -12.1752 +▁carstva -12.1752 +đenja -12.1754 +misle -12.1754 +▁thorough -12.1754 +▁Discover -12.1754 +▁kutija -12.1755 +▁Nur -12.1755 +▁četvrtog -12.1755 +bag -12.1755 +▁Driver -12.1756 +HI -12.1756 +▁celo -12.1757 +▁floors -12.1758 +ovič -12.1758 +▁evropska -12.1759 +▁Africi -12.1759 +▁eastern -12.1759 +bolj -12.1759 +▁prodajom -12.1759 +▁stereo -12.1759 +▁zapažen -12.1759 +▁dokumentarni -12.1759 +▁lobby -12.176 +▁palo -12.176 +▁103 -12.176 +▁offerings -12.176 +▁doktori -12.1763 +||10 -12.1763 +▁disabled -12.1763 +▁ugovoru -12.1763 +▁saobraćajnoj -12.1764 +▁istraživački -12.1764 +▁čvrsti -12.1765 +▁Gov -12.1767 +▁Dali -12.1768 +rič -12.1768 +▁Holding -12.177 +▁bolove -12.1771 +▁selektora -12.1771 +tati -12.1772 +▁pohvaliti -12.1772 +▁firmama -12.1772 +▁Zdrav -12.1772 +▁monetarn -12.1773 +▁buttons -12.1773 +▁Mirjana -12.1773 +▁Kis -12.1774 +▁Kragujevca -12.1775 +▁siječnja -12.1775 +▁Pozivamo -12.1776 +▁stavili -12.1776 +▁Američka -12.1776 +▁organizacijom -12.1776 +▁Milojević -12.1776 +▁privredi -12.1777 +▁svetom -12.1777 +▁Nice -12.1777 +▁documentary -12.1778 +▁Cream -12.1778 +▁ključno -12.1779 +lacije -12.1779 +▁alike -12.178 +▁Programa -12.178 +IRE -12.178 +▁Telecom -12.1781 +▁Term -12.1781 +▁svađa -12.1781 +▁sisters -12.1781 +nsure -12.1782 +lade -12.1782 +Med -12.1782 +▁trucks -12.1783 +▁Sprem -12.1783 +▁zdravstvenom -12.1783 +daje -12.1784 +▁celini -12.1784 +▁116 -12.1785 +▁che -12.1785 +▁dolar -12.1787 +▁narativ -12.1787 +▁logor -12.1788 +▁CM -12.1788 +▁crnogorskog -12.1788 +▁uvesti -12.179 +▁seksi -12.1791 +▁reset -12.1792 +▁Đo -12.1792 +▁centuries -12.1792 +▁ikakvog -12.1792 +▁memorable -12.1792 +▁receipt -12.1792 +▁Trebinja -12.1792 +milo -12.1793 +Book -12.1793 +▁blizak -12.1793 +▁ere -12.1794 +plod -12.1794 +▁ubaci -12.1794 +dnevni -12.1796 +▁Veliku -12.1796 +▁Johan -12.1796 +▁gledalaca -12.1796 +▁usvajanja -12.1796 +▁koncentracija -12.1796 +▁stalni -12.1797 +▁psiholog -12.1797 +▁Liberal -12.1798 +▁Iraku -12.1798 +▁urge -12.1798 +Stra -12.1799 +▁napisati -12.1799 +▁pozivamo -12.18 +lus -12.18 +▁Walter -12.1801 +▁formiran -12.1801 +▁milione -12.1802 +▁Commerce -12.1802 +▁narodnog -12.1804 +▁Inside -12.1804 +▁klasik -12.1805 +▁istočne -12.1805 +▁uputila -12.1807 +▁Gale -12.1808 +▁prijavio -12.1809 +štvu -12.1809 +▁kraći -12.1809 +▁sjednicu -12.1809 +▁aluminum -12.1809 +▁ambicije -12.1809 +▁matematike -12.1809 +iya -12.1809 +▁mozgu -12.1809 +▁VIŠE -12.1809 +▁žalbu -12.1809 +▁labour -12.181 +▁24/7 -12.181 +▁osmisli -12.1811 +▁Sadrži -12.1812 +▁cijevi -12.1812 +/6 -12.1812 +▁zimu -12.1813 +▁uzvrati -12.1813 +ref -12.1813 +▁biser -12.1813 +▁osobina -12.1813 +▁hypo -12.1814 +▁malign -12.1814 +▁utvrdili -12.1815 +▁unatoč -12.1815 +▁viša -12.1815 +ofil -12.1816 +▁ekstrem -12.1816 +▁Fr -12.1817 +▁naučni -12.1817 +▁nastavite -12.1819 +▁digitalni -12.1819 +izacijom -12.1819 +▁Azije -12.1821 +Ovaj -12.1822 +▁Brend -12.1823 +▁tražeći -12.1823 +▁preterano -12.1823 +manović -12.1824 +ncije -12.1824 +▁Croatia -12.1824 +▁proteklom -12.1824 +▁Liga -12.1826 +▁funeral -12.1826 +▁remembered -12.1826 +▁reguliše -12.1826 +▁haljina -12.1826 +▁turiste -12.1826 +▁Božović -12.1826 +▁receives -12.1828 +▁Often -12.1829 +ELI -12.1829 +▁quarterback -12.183 +▁Marvel -12.183 +▁unapređenju -12.183 +thy -12.183 +▁EK -12.183 +▁Feel -12.183 +hvaćen -12.1831 +▁withdrawal -12.1831 +▁razmotri -12.1831 +▁eksperti -12.1831 +▁supplements -12.1831 +▁inspiring -12.1831 +▁GRA -12.1831 +hta -12.1832 +▁tvit -12.1832 +using -12.1832 +▁echo -12.1832 +▁polaska -12.1833 +▁korena -12.1833 +▁hum -12.1833 +▁Industrial -12.1833 +▁ugovori -12.1834 +jaca -12.1835 +▁predsednica -12.1835 +▁shoe -12.1835 +ONA -12.1836 +▁mounted -12.1836 +▁stepped -12.1837 +▁reduces -12.1837 +▁ispada -12.1838 +▁Centralne -12.1839 +▁pretnje -12.1839 +rstvo -12.184 +▁sits -12.184 +▁prikupi -12.1841 +▁Alban -12.1841 +▁Jerusalem -12.1843 +▁delegacije -12.1843 +▁devojčice -12.1843 +▁pejzaž -12.1843 +▁republike -12.1843 +▁karijera -12.1843 +▁boundaries -12.1843 +▁motorcycle -12.1843 +▁pristigl -12.1844 +▁pomorsk -12.1844 +▁Treatment -12.1844 +▁KAKO -12.1844 +▁šali -12.1846 +▁poseduju -12.1846 +▁uveo -12.1846 +cos -12.1847 +Gra -12.1847 +▁Općinskog -12.1847 +▁Rama -12.1848 +▁brodova -12.1848 +▁lijepa -12.1849 +racije -12.185 +▁Bijeljina -12.185 +NN -12.185 +▁otpadom -12.1851 +alnom -12.1852 +▁vaccine -12.1854 +ssel -12.1855 +rata -12.1855 +deš -12.1856 +▁Posl -12.1856 +fur -12.1857 +▁BEZ -12.1857 +▁čekamo -12.1858 +▁analizi -12.1858 +▁brojeve -12.1858 +▁sezonsk -12.1858 +▁smeru -12.1859 +▁beverage -12.186 +▁Vra -12.186 +▁trojica -12.186 +▁majci -12.186 +▁rješavanju -12.1862 +▁fancy -12.1862 +▁podizanja -12.1862 +▁needle -12.1863 +▁timing -12.1863 +▁adapter -12.1863 +▁značiti -12.1863 +ćuje -12.1864 +▁License -12.1864 +▁preminulo -12.1865 +Sha -12.1865 +▁Radnik -12.1866 +▁(25 -12.1866 +tern -12.1867 +member -12.1867 +▁torture -12.1868 +▁performans -12.1869 +▁blade -12.1869 +▁само -12.187 +▁posljednjeg -12.187 +▁županija -12.1871 +▁Vit -12.1871 +tično -12.1871 +▁bašti -12.1871 +▁Ruk -12.1873 +▁krvnog -12.1873 +▁maloj -12.1874 +▁Ward -12.1874 +• -12.1874 +▁speaks -12.1875 +▁1200 -12.1875 +▁Burn -12.1875 +onski -12.1876 +▁relaxing -12.1877 +▁zvao -12.1877 +▁Metohiji -12.1877 +▁replied -12.1877 +▁Jeremić -12.1877 +▁sahranjen -12.1877 +▁količini -12.1877 +▁šverc -12.1877 +▁honour -12.1877 +▁confusion -12.1877 +!!!! -12.1877 +▁Druge -12.1878 +▁Bajern -12.1878 +▁ljep -12.1878 +▁pogona -12.1879 +▁lutk -12.1879 +▁injection -12.188 +▁Atlas -12.188 +sheet -12.1881 +▁zagađenja -12.1881 +▁Kali -12.1882 +kcionar -12.1883 +▁osmi -12.1883 +vane -12.1883 +▁zonu -12.1884 +inić -12.1885 +▁pozvani -12.1885 +▁primjerice -12.1885 +DL -12.1887 +▁sklapa -12.1887 +-23 -12.1887 +▁religijsk -12.1887 +nation -12.1888 +▁pripadnicima -12.1888 +.[ -12.1889 +▁sagleda -12.1889 +▁istaknuto -12.1889 +▁rav -12.189 +ljani -12.1891 +▁uključena -12.1892 +▁prihvatila -12.1893 +▁LinkedIn -12.1894 +▁državnu -12.1894 +▁inspiracija -12.1894 +▁welfare -12.1894 +▁zdravstvenu -12.1894 +▁Simple -12.1894 +▁tranzit -12.1894 +▁Kancelarije -12.1894 +▁performansi -12.1895 +▁Naslov -12.1896 +▁paintings -12.1896 +▁authorized -12.1896 +▁Scout -12.1897 +▁IL -12.1897 +▁determining -12.1897 +PORT -12.1898 +▁rijaliti -12.1898 +▁Gin -12.1899 +▁WITH -12.1899 +https -12.1899 +ancing -12.19 +▁jedete -12.19 +▁Italijan -12.1901 +▁odgovarati -12.1901 +▁Specijaln -12.1902 +▁znače -12.1902 +▁kal -12.1902 +izirani -12.1903 +nko -12.1903 +mag -12.1903 +cip -12.1904 +▁blokiran -12.1905 +▁Pac -12.1905 +▁gledanje -12.1905 +▁мо -12.1906 +▁preview -12.1906 +▁Boban -12.1906 +▁participated -12.1907 +▁engineer -12.1907 +▁odvojeno -12.1908 +iča -12.1908 +:29 -12.1908 +▁bogato -12.1909 +▁održat -12.1909 +▁zaštititi -12.191 +John -12.191 +▁controversial -12.1911 +▁vaučer -12.1911 +▁abnormal -12.1911 +▁sastanke -12.1911 +▁indirektno -12.1912 +▁Sajam -12.1912 +▁cesti -12.1912 +▁Version -12.1913 +▁prednji -12.1913 +▁pasta -12.1914 +▁garant -12.1914 +▁preuzet -12.1915 +▁Grab -12.1916 +▁najlepših -12.1916 +▁jaw -12.1917 +▁gate -12.1917 +▁continuously -12.1917 +▁vremenskih -12.1918 +▁zanimanje -12.1919 +▁korpu -12.1919 +▁tel -12.1919 +▁sindikat -12.192 +▁znanjem -12.192 +▁derbiju -12.1921 +▁vredni -12.1922 +ncima -12.1922 +▁vrijeđa -12.1923 +▁optional -12.1923 +▁relativ -12.1924 +▁serijal -12.1924 +▁vidje -12.1925 +džija -12.1925 +▁kupila -12.1925 +▁ĆE -12.1926 +iving -12.1927 +▁zajednička -12.1928 +▁tegoba -12.1928 +▁potporu -12.1928 +▁vjerske -12.1928 +▁Delivery -12.193 +▁Apply -12.193 +▁CF -12.1931 +▁poverenja -12.1931 +minate -12.1931 +▁Organizacija -12.1932 +▁povjerenja -12.1932 +▁Zvornik -12.1932 +▁porođaja -12.1932 +▁mount -12.1933 +▁taster -12.1934 +gio -12.1936 +prave -12.1936 +▁donjem -12.1937 +▁uspon -12.1937 +▁proceedings -12.1939 +▁namaza -12.1939 +▁Poresk -12.1939 +▁obligation -12.194 +ographic -12.194 +shirt -12.194 +NICI -12.1941 +▁Morav -12.1941 +´ -12.1943 +vača -12.1943 +▁smr -12.1944 +▁oprezni -12.1944 +▁britanske -12.1945 +▁essence -12.1945 +▁supstanci -12.1945 +▁pollution -12.1945 +▁oduvek -12.1945 +▁reflects -12.1946 +▁azil -12.1946 +NOST -12.1947 +▁SIM -12.1947 +▁anal -12.1947 +▁žestoko -12.1948 +▁akademija -12.1949 +▁highway -12.1949 +▁intervjua -12.195 +hab -12.195 +▁Grey -12.195 +povi -12.195 +ige -12.1951 +▁menadžmenta -12.1951 +rman -12.1952 +▁slabosti -12.1952 +▁pozvati -12.1952 +▁ovisno -12.1953 +▁obave -12.1953 +▁primjeti -12.1954 +▁tera -12.1954 +▁Zmaj -12.1955 +▁racial -12.1955 +▁gardens -12.1956 +▁tadašnje -12.1956 +▁dno -12.1957 +Inter -12.1957 +▁pokrenu -12.1957 +padne -12.1959 +▁Krim -12.1959 +▁Host -12.1959 +▁pumpa -12.196 +▁delight -12.196 +▁važnim -12.196 +ngu -12.1961 +▁igranja -12.1961 +▁Swiss -12.1962 +▁medicinsku -12.1962 +▁revolucije -12.1962 +▁opasan -12.1963 +▁tužbe -12.1964 +▁telefonu -12.1964 +▁originalni -12.1964 +mates -12.1964 +▁Montenegro -12.1965 +gde -12.1965 +▁acute -12.1966 +▁mandate -12.1967 +▁sastavi -12.1968 +▁povezuju -12.1968 +▁sudske -12.1968 +rating -12.1969 +▁Drugom -12.1969 +NR -12.1971 +▁išla -12.1972 +▁Mina -12.1972 +▁predsedničk -12.1973 +▁dozens -12.1974 +▁proposals -12.1974 +▁postignu -12.1975 +ADA -12.1975 +ов -12.1975 +▁argued -12.1976 +▁collecting -12.1977 +vision -12.1977 +▁stambeno -12.1977 +▁mysterious -12.1979 +▁abstract -12.1979 +▁invitation -12.1979 +▁Visual -12.1979 +▁kingdom -12.1979 +▁takvoj -12.1979 +▁Pose -12.198 +▁Karlo -12.198 +▁menadžera -12.1981 +▁Starog -12.1981 +▁digitalnih -12.1982 +▁composed -12.1982 +▁zip -12.1982 +▁redove -12.1983 +▁profesionalnih -12.1983 +▁arrange -12.1985 +▁Michelle -12.1985 +charge -12.1986 +▁50- -12.1987 +▁seksualni -12.1987 +▁Jam -12.1988 +▁batch -12.1989 +▁Hawaii -12.1989 +▁primarni -12.1991 +▁Rain -12.1991 +▁towns -12.1991 +Kar -12.1991 +▁večernjim -12.1992 +▁blaga -12.1992 +▁svjetla -12.1995 +▁prepoznali -12.1996 +▁najvećoj -12.1996 +▁Zaključak -12.1996 +▁odjeće -12.1996 +▁zdravog -12.1997 +▁propis -12.1997 +▁prošeta -12.1997 +▁privatnost -12.1997 +▁pruge -12.1997 +▁slovo -12.1998 +▁slogan -12.1998 +db -12.1999 +▁situated -12.1999 +▁summit -12.1999 +pc -12.1999 +▁vrijeđanja -12.2 +▁luke -12.2001 +ovna -12.2001 +▁pat -12.2001 +▁Sorry -12.2001 +hall -12.2002 +▁očekujem -12.2002 +tjera -12.2002 +▁width -12.2002 +▁111 -12.2003 +▁lime -12.2004 +astic -12.2004 +▁parfem -12.2004 +▁Explorer -12.2004 +▁resor -12.2005 +▁Kay -12.2006 +▁daljeg -12.2008 +▁Direkt -12.2008 +▁Kurt -12.2008 +yon -12.2009 +rop -12.201 +▁tho -12.201 +▁sportova -12.201 +sley -12.2012 +▁organize -12.2012 +▁Et -12.2012 +Zašto -12.2013 +▁grocery -12.2013 +▁recenzije -12.2013 +▁Poslanika -12.2013 +▁zlatne -12.2013 +▁Jimmy -12.2014 +▁simultaneously -12.2014 +▁Ameriku -12.2015 +▁subscribe -12.2015 +▁Mediteran -12.2015 +▁konstruktivn -12.2015 +▁tanjir -12.2015 +▁KUD -12.2015 +▁pridruži -12.2016 +▁gomila -12.2017 +▁gradska -12.2017 +▁uljem -12.202 +Dan -12.202 +▁dna -12.2021 +▁Zrenjanina -12.2022 +rv -12.2022 +▁gray -12.2022 +▁preferences -12.2023 +▁ustašk -12.2024 +▁Pru -12.2024 +▁hero -12.2025 +▁logical -12.2025 +▁spi -12.2025 +▁inostran -12.2026 +▁carrier -12.2026 +▁UZ -12.2026 +▁omogućilo -12.2027 +▁arrangement -12.2027 +▁Nasta -12.2027 +▁napon -12.2029 +▁oh -12.2029 +▁Amir -12.2029 +jpg -12.2029 +▁exterior -12.203 +▁prevencije -12.203 +▁competing -12.203 +▁zaštitne -12.203 +▁rukopis -12.203 +▁Njega -12.203 +▁zapali -12.2031 +▁Rumunije -12.2031 +▁usavršavanje -12.2032 +▁nastavni -12.2033 +▁assists -12.2033 +▁vazduhu -12.2034 +▁peel -12.2034 +▁spill -12.2034 +▁Switch -12.2034 +▁otoka -12.2035 +▁uzela -12.2035 +žali -12.2035 +Now -12.2035 +▁contractors -12.2035 +▁ponašanju -12.2036 +▁Chase -12.2037 +▁emerge -12.2037 +▁preporuči -12.2037 +▁primjera -12.2038 +▁predmetima -12.2039 +pore -12.2039 +▁Brzo -12.204 +▁Pavle -12.204 +▁kocka -12.204 +antan -12.2042 +▁okrenut -12.2043 +▁journalist -12.2043 +▁Benefits -12.2043 +▁psycho -12.2044 +▁} -12.2046 +plane -12.2047 +▁Boja -12.2047 +▁Analytics -12.2047 +▁francuske -12.2047 +▁prodavnici -12.2047 +▁šminke -12.2047 +▁Album -12.2048 +▁pets -12.2048 +▁okrenuti -12.2048 +▁vožnji -12.2048 +▁Upotreba -12.2048 +▁zauvek -12.2048 +▁osudio -12.2048 +▁lightweight -12.2048 +▁Ostr -12.2049 +▁uslovom -12.2049 +▁Shopping -12.205 +▁Zapadu -12.2051 +▁Writer -12.2051 +San -12.2051 +evoj -12.2052 +▁američkoj -12.2052 +▁KI -12.2053 +▁odbijen -12.2054 +▁За -12.2055 +▁contractor -12.2055 +▁sumnjam -12.2055 +▁proglašena -12.2056 +▁osvajač -12.2056 +▁Craft -12.2057 +▁Objav -12.2057 +▁Device -12.2058 +kine -12.206 +after -12.206 +▁charter -12.2061 +▁zaključila -12.2062 +▁vra -12.2062 +▁glasses -12.2062 +visi -12.2063 +▁sačuvan -12.2063 +▁proleća -12.2065 +▁Ukupna -12.2065 +▁ljepote -12.2065 +▁diskusija -12.2065 +▁Studenti -12.2065 +▁harmful -12.2066 +▁Scottish -12.2066 +▁Budva -12.2068 +▁odredio -12.2069 +▁junaka -12.207 +▁tačne -12.207 +▁kvartal -12.2071 +▁Zel -12.2072 +▁shed -12.2073 +▁Vodi -12.2073 +▁gledate -12.2073 +genic -12.2074 +lazimo -12.2074 +▁SBB -12.2074 +▁Josipa -12.2076 +▁šal -12.2078 +stead -12.2079 +▁ubiti -12.208 +120 -12.208 +▁Hack -12.2081 +▁Really -12.2082 +▁Transport -12.2082 +▁djetetu -12.2082 +▁nijanse -12.2082 +▁optužbi -12.2082 +▁struka -12.2082 +▁Albanaca -12.2082 +▁parks -12.2083 +▁mall -12.2083 +inskog -12.2083 +▁Gulf -12.2083 +▁ispričala -12.2083 +janović -12.2083 +▁drunk -12.2083 +▁Grace -12.2084 +▁waters -12.2084 +▁Write -12.2084 +▁nestao -12.2084 +▁Emily -12.2084 +▁sword -12.2085 +▁confirmation -12.2085 +▁tweet -12.2086 +▁povećana -12.2086 +▁poison -12.2087 +cati -12.2087 +▁višestruko -12.2089 +▁momentum -12.2089 +▁priznaju -12.209 +skop -12.209 +▁paralel -12.2091 +▁Međunarodne -12.2092 +▁ruled -12.2093 +▁povukao -12.2093 +▁dobrobit -12.2093 +trg -12.2095 +▁loads -12.2095 +▁backed -12.2096 +▁zatvoreni -12.2096 +▁Hero -12.2097 +vnog -12.2097 +▁živo -12.2097 +▁kaj -12.2098 +▁čijim -12.2098 +▁Tuđman -12.2099 +▁Evropsku -12.2099 +▁nečemu -12.2099 +▁paprika -12.2099 +▁umrla -12.21 +▁Svjetske -12.21 +jica -12.21 +▁prevezen -12.21 +▁anchor -12.21 +vosti -12.21 +▁Esp -12.21 +▁onoj -12.2101 +▁ručka -12.2101 +▁countless -12.2101 +▁poem -12.2102 +▁instances -12.2102 +▁objekt -12.2102 +▁arguments -12.2102 +▁reklamn -12.2102 +working -12.2103 +▁Marie -12.2104 +▁Tita -12.2104 +▁prevodi -12.2105 +▁pozdravio -12.2105 +▁Ebu -12.2105 +▁finalist -12.2107 +▁poklone -12.2107 +▁olakšati -12.2107 +▁ograničava -12.2107 +▁1940 -12.2108 +▁Wy -12.2108 +▁ozbiljni -12.2109 +▁izvršen -12.2109 +lder -12.2109 +▁životinjama -12.2111 +▁Л -12.2111 +▁dizajnira -12.2111 +▁sjajnu -12.2111 +▁Ay -12.2112 +▁kojega -12.2112 +▁Stvar -12.2113 +▁bitku -12.2114 +▁cabinet -12.2114 +▁nosili -12.2115 +▁partnerstvo -12.2115 +▁stavila -12.2115 +▁štampu -12.2117 +▁prihode -12.2117 +▁nastalo -12.2117 +▁Husein -12.2117 +▁osnovnog -12.2118 +▁Robinson -12.2118 +▁pisalo -12.2118 +▁Youtube -12.2118 +▁otpornost -12.2118 +▁Alarm -12.2118 +▁Beautiful -12.2119 +▁Korisnici -12.212 +2009 -12.2122 +▁lijepe -12.2124 +zad -12.2124 +▁Listen -12.2125 +▁značajnih -12.2125 +▁pokrenuta -12.2125 +▁PCR -12.2125 +▁željeni -12.2125 +ografija -12.2126 +▁beam -12.2126 +ије -12.2127 +▁stopping -12.2127 +▁sjeća -12.2127 +▁ziv -12.2128 +HF -12.2129 +▁Roz -12.2129 +vinu -12.2131 +▁sedište -12.2131 +▁suspend -12.2131 +▁Taking -12.2131 +ت -12.2132 +▁hoped -12.2132 +▁Partners -12.2133 +▁iconic -12.2133 +▁royal -12.2133 +▁Osobe -12.2134 +▁BANJALUKA -12.2134 +▁Nintendo -12.2134 +▁routes -12.2134 +▁Orlando -12.2134 +onu -12.2134 +▁stručna -12.2134 +▁muškarcima -12.2134 +▁utilized -12.2134 +▁izolovan -12.2135 +▁vlage -12.2136 +▁vratimo -12.2137 +▁zvučni -12.2137 +▁osamdesetih -12.2137 +▁DAN -12.2137 +▁Firm -12.2138 +▁cri -12.2139 +▁okrug -12.2139 +rasli -12.2139 +▁failing -12.214 +▁branitelj -12.2141 +ен -12.2141 +▁motivated -12.2141 +▁Amar -12.2143 +▁Kasi -12.2143 +ски -12.2143 +mešajte -12.2143 +▁TRI -12.2144 +rium -12.2144 +▁donation -12.2144 +▁dozi -12.2144 +▁Gaze -12.2145 +▁experiments -12.2145 +▁Kul -12.2145 +jca -12.2146 +▁1988 -12.2147 +▁Mene -12.2147 +ricu -12.2149 +▁smatrate -12.215 +▁CBS -12.2151 +▁excellence -12.2151 +▁iskoriste -12.2151 +▁psihološki -12.2151 +▁Detalji -12.2151 +▁grupom -12.2151 +▁Lar -12.2152 +▁ghost -12.2152 +▁obavesti -12.2153 +▁gasova -12.2153 +▁Bart -12.2153 +▁NOVA -12.2154 +▁dokaže -12.2154 +▁dame -12.2155 +▁jezeru -12.2155 +▁naučio -12.2155 +▁Franklin -12.2155 +ČI -12.2155 +▁imenima -12.2156 +▁ljubavlju -12.2156 +čer -12.2157 +▁palate -12.2158 +▁Reader -12.2158 +▁starija -12.2158 +tory -12.2158 +▁thereby -12.2159 +▁worthy -12.2159 +▁pozive -12.2159 +▁directors -12.216 +GP -12.216 +▁implementing -12.2161 +▁boravio -12.2161 +▁gradnja -12.2162 +▁milo -12.2162 +lajn -12.2162 +index -12.2163 +▁Din -12.2163 +▁Djeca -12.2164 +▁tablets -12.2164 +▁pastor -12.2164 +▁budućeg -12.2164 +▁temom -12.2165 +▁rečenica -12.2166 +▁oštećenje -12.2166 +▁SPA -12.2167 +mental -12.2167 +ojević -12.2167 +▁Parking -12.2167 +▁uvećan -12.2168 +:37 -12.2169 +▁significance -12.2169 +▁implications -12.2169 +▁Merkur -12.2169 +ovnik -12.217 +▁uvjeri -12.217 +▁GI -12.217 +▁Bayern -12.2171 +▁Gray -12.2171 +▁smeju -12.2172 +▁Brat -12.2172 +▁Vari -12.2172 +▁Mason -12.2172 +▁klimatskih -12.2172 +▁Century -12.2172 +▁corporations -12.2173 +pho -12.2173 +▁posjetiti -12.2173 +▁Demo -12.2175 +▁archive -12.2175 +▁SW -12.2175 +▁zanimljivih -12.2176 +▁citat -12.2176 +▁amater -12.2177 +▁sedmi -12.2177 +▁prodava -12.2177 +▁Stani -12.2178 +▁donosimo -12.218 +▁proceed -12.218 +lux -12.218 +▁honestly -12.2181 +▁Hai -12.2181 +▁nosite -12.2182 +▁IF -12.2183 +▁sredinama -12.2183 +▁Д -12.2184 +▁komercijal -12.2184 +▁PH -12.2184 +▁nepoznati -12.2185 +▁stavovi -12.2186 +▁nezgoda -12.2186 +▁cipela -12.2186 +▁Renault -12.2186 +▁žitarica -12.2186 +▁glatko -12.2186 +▁konobar -12.2186 +▁unemployment -12.2186 +▁manufacture -12.2186 +div -12.2187 +▁prelazak -12.2189 +▁propisuje -12.219 +▁Bogo -12.219 +▁namjera -12.219 +▁TB -12.2191 +▁repeatedly -12.2192 +▁glavnoj -12.2192 +▁nestala -12.2192 +▁surgical -12.2192 +▁pozitivni -12.2193 +izovani -12.2193 +▁zivi -12.2194 +▁uzrast -12.2194 +▁grijeh -12.2196 +▁jutarnjim -12.2197 +fekt -12.2198 +▁jug -12.2198 +▁opus -12.2198 +▁Bitno -12.2198 +▁Tickets -12.2198 +▁recruit -12.2199 +▁čitalaca -12.2199 +▁Visoki -12.2199 +▁belong -12.2201 +▁Present -12.2201 +plex -12.2203 +º -12.2204 +▁ambiciozn -12.2204 +▁potiču -12.2204 +▁Mediji -12.2204 +▁poteza -12.2204 +▁blank -12.2204 +▁masnih -12.2204 +▁potencijalni -12.2204 +▁corruption -12.2204 +▁redovna -12.2204 +▁ISP -12.2205 +▁dial -12.2206 +▁Wash -12.2206 +ŽI -12.2207 +▁Bogat -12.2207 +building -12.2207 +▁107 -12.2208 +▁pozadini -12.2208 +▁Sugar -12.2208 +fak -12.2209 +▁kažnjen -12.221 +▁pesnik -12.221 +quire -12.221 +▁islamske -12.2211 +▁Najmanje -12.2212 +▁težnj -12.2213 +▁д -12.2213 +onice -12.2213 +▁Carol -12.2215 +▁Morate -12.2215 +illo -12.2216 +▁Eur -12.2216 +▁Mladost -12.2216 +▁Majkl -12.2217 +▁obla -12.2217 +▁vidljivost -12.2217 +▁oslobađanje -12.2218 +▁duguje -12.2218 +▁timely -12.2218 +▁smjer -12.2218 +▁događanja -12.2219 +▁Znamo -12.222 +cons -12.2221 +▁Beyond -12.2221 +▁okršaj -12.2221 +▁slobodna -12.2221 +▁lozinku -12.2221 +▁Sekretarijat -12.2221 +▁koristan -12.2221 +▁rekonstrukcija -12.2222 +▁Danilo -12.2222 +▁izborna -12.2223 +▁školovanja -12.2224 +▁NBC -12.2224 +▁poštovati -12.2225 +▁klime -12.2227 +▁posluša -12.2228 +▁Zdravstven -12.2228 +▁Originally -12.223 +▁poslaničk -12.223 +▁videu -12.2231 +▁testovi -12.2234 +▁timom -12.2234 +▁kongres -12.2234 +▁videa -12.2235 +▁sekund -12.2235 +▁Slično -12.2235 +▁takt -12.2235 +kina -12.2235 +clu -12.2236 +interes -12.2236 +rage -12.2238 +▁zaslužuju -12.2239 +س -12.2239 +▁revizije -12.2239 +▁Kakav -12.2239 +▁komšije -12.2239 +▁preći -12.224 +▁Koristite -12.2243 +▁pjevačica -12.2244 +mišlja -12.2244 +▁konstitutivn -12.2246 +▁suppose -12.2246 +tičari -12.2247 +▁modelima -12.2248 +▁razviti -12.2248 +claim -12.2249 +▁čestica -12.2249 +▁određivanje -12.2251 +▁Pine -12.2251 +▁gravi -12.2251 +▁esej -12.2252 +▁propisane -12.2252 +▁stiče -12.2252 +jele -12.2252 +▁dopušten -12.2253 +▁omiljene -12.2254 +▁potresa -12.2255 +▁compound -12.2255 +▁Revolution -12.2256 +▁demonstrira -12.2256 +▁plaintiff -12.2256 +▁Lopez -12.2256 +▁okolinu -12.2257 +▁riziku -12.2257 +puštaju -12.2257 +▁formirana -12.2257 +rsko -12.2257 +▁designing -12.2258 +▁experimental -12.2259 +▁android -12.2259 +▁Clinical -12.2259 +▁delete -12.2259 +▁maker -12.226 +fusion -12.226 +▁osvrnuo -12.2261 +ncies -12.2262 +▁Emma -12.2263 +IG -12.2263 +▁zglob -12.2263 +▁separated -12.2263 +▁intake -12.2263 +▁visi -12.2263 +▁invested -12.2263 +nders -12.2263 +▁automobili -12.2264 +▁delighted -12.2267 +▁kičme -12.2267 +▁sellem -12.2268 +▁poduzet -12.2269 +▁ER -12.2269 +▁glumaca -12.2269 +▁serijala -12.227 +▁tvrdio -12.2271 +▁Vesić -12.2271 +▁obavezama -12.2272 +▁1% -12.2272 +▁stopu -12.2272 +▁Bella -12.2272 +UND -12.2273 +▁crnogorsko -12.2274 +▁apsurd -12.2274 +▁ridiculous -12.2274 +▁ginekolog -12.2274 +▁tattoo -12.2274 +▁veljače -12.2274 +▁cousin -12.2274 +▁hteli -12.2274 +▁nastavka -12.2274 +▁revitaliz -12.2274 +evom -12.2274 +▁ugovorom -12.2274 +▁Status -12.2275 +▁Billy -12.2276 +▁Protein -12.2276 +▁Wait -12.2277 +jaci -12.2277 +▁nicely -12.2278 +▁Prijave -12.2278 +▁enforce -12.2278 +▁sponsor -12.2278 +▁boil -12.2278 +▁RF -12.2278 +▁BP -12.2279 +▁smanjena -12.2281 +▁naslon -12.2281 +▁vjerskih -12.2281 +▁draga -12.2282 +▁stajao -12.2282 +▁imenovanje -12.2283 +čad -12.2283 +vl -12.2284 +▁prosečno -12.2284 +▁Dela -12.2284 +▁kampa -12.2285 +▁ekstremno -12.2285 +▁varied -12.2286 +▁Usta -12.2286 +Sun -12.2286 +▁zem -12.2286 +▁prostoriji -12.2287 +▁zaštitili -12.2287 +▁½ -12.2289 +▁muzičkih -12.229 +▁seća -12.229 +▁zaboravlja -12.2291 +▁Bot -12.2291 +▁pravosuđe -12.2292 +▁vazdušni -12.2292 +▁Ričard -12.2292 +▁postavke -12.2292 +▁neizvjesn -12.2292 +▁Summit -12.2292 +▁purple -12.2292 +▁predsedniku -12.2292 +▁Craig -12.2292 +▁civilizacije -12.2293 +▁doživeo -12.2293 +▁izgledom -12.2294 +▁Istanbulu -12.2294 +▁zadovoljiti -12.2294 +Nakon -12.2294 +▁Majk -12.2295 +▁Tool -12.2296 +▁postavljanja -12.2297 +▁ranijih -12.2297 +▁Dejana -12.2298 +plju -12.2298 +▁lanca -12.2298 +walk -12.2299 +▁translate -12.23 +▁biro -12.23 +▁holesterola -12.2302 +▁Metod -12.2302 +▁SEC -12.2303 +▁redatelj -12.2304 +▁otvorenog -12.2304 +92. -12.2305 +▁provjeri -12.2305 +▁grave -12.2305 +▁tenisera -12.2306 +▁grb -12.2306 +▁mixing -12.2307 +▁obeleži -12.2307 +▁consecutive -12.2309 +▁tunnel -12.2309 +▁ZDK -12.2309 +▁zapamti -12.2309 +▁Ponuda -12.2309 +▁specifične -12.2309 +▁stitch -12.2309 +▁najviša -12.231 +▁Rachel -12.231 +▁renewable -12.231 +▁prijavljenih -12.2311 +moguć -12.2311 +▁imidž -12.2312 +▁kamate -12.2312 +▁Recently -12.2313 +▁Bihaću -12.2313 +cenjiva -12.2314 +▁načela -12.2314 +▁ovogodišnje -12.2316 +mbra -12.2317 +▁wound -12.2317 +▁departments -12.2317 +uter -12.2317 +▁Gent -12.2318 +▁spojen -12.2318 +▁cinema -12.2319 +llah -12.2319 +▁sprječava -12.2319 +▁setu -12.2319 +▁starta -12.2319 +▁Blo -12.2319 +▁mahom -12.232 +▁viral -12.2321 +▁kasi -12.2321 +▁pitate -12.2321 +▁Horse -12.2322 +▁podnijeti -12.2322 +▁labels -12.2323 +▁PDP -12.2323 +▁rol -12.2323 +▁nemačkog -12.2324 +▁kvalitetnije -12.2324 +▁trails -12.2325 +▁rasvet -12.2325 +▁handled -12.2325 +▁steep -12.2325 +zme -12.2326 +▁Vul -12.2326 +▁kandid -12.2326 +▁Lil -12.2327 +▁naporima -12.2327 +▁komponenti -12.2327 +▁ocjena -12.2327 +▁Poruka -12.2327 +TF -12.2327 +▁Zabava -12.2327 +▁ovakvom -12.2328 +▁govoru -12.2329 +▁sponsored -12.233 +jenu -12.233 +▁Lavrov -12.233 +▁Aaron -12.2332 +▁angažovanje -12.2332 +▁Kha -12.2333 +▁crossing -12.2335 +SF -12.2336 +▁TRE -12.2337 +hija -12.2337 +▁špa -12.2337 +▁braće -12.2337 +laz -12.2338 +fir -12.2338 +▁Pokreta -12.2339 +▁mačke -12.2339 +▁Barn -12.234 +case -12.234 +▁Horn -12.2341 +▁grudima -12.2342 +▁stones -12.2343 +has -12.2343 +▁Baltimore -12.2345 +▁kompanijom -12.2345 +▁pandemijom -12.2345 +▁ocjenu -12.2345 +▁najuspješnij -12.2345 +▁zadovoljna -12.2345 +▁kolačiće -12.2345 +▁touchdown -12.2346 +kula -12.2347 +▁Prvu -12.2347 +plje -12.2348 +▁affecting -12.2349 +▁Protect -12.2349 +▁najmlađe -12.235 +▁Chu -12.235 +dnu -12.235 +▁kruh -12.235 +▁koridor -12.235 +▁kućne -12.2351 +▁gledajte -12.2351 +▁vadi -12.2351 +patient -12.2351 +▁izdavanja -12.2352 +▁12:00 -12.2353 +▁dopunama -12.2353 +▁distinctive -12.2354 +▁Kut -12.2354 +section -12.2354 +▁бо -12.2355 +▁večeru -12.2356 +▁odbornika -12.2357 +▁srednjem -12.2358 +▁Pola -12.2358 +▁Petri -12.2359 +▁električnih -12.236 +▁bara -12.236 +moral -12.2361 +▁nameštaja -12.2362 +▁Hayat -12.2362 +▁traditions -12.2362 +▁nastupao -12.2362 +▁Stewart -12.2362 +▁certifikat -12.2362 +▁pioneer -12.2362 +▁poslovna -12.2362 +▁komunalne -12.2362 +▁vizuelno -12.2362 +▁Đer -12.2364 +▁umrlo -12.2365 +▁Dovoljno -12.2365 +▁Speaker -12.2365 +VOJ -12.2366 +▁Kirk -12.2366 +▁bitke -12.2366 +▁jednoglasno -12.2366 +uel -12.2367 +▁tortu -12.2367 +▁Takva -12.2367 +▁Pil -12.2369 +▁Py -12.237 +▁akteri -12.2371 +▁uspored -12.2371 +ziti -12.2371 +▁Risk -12.2373 +▁porasla -12.2374 +▁radničk -12.2374 +▁vel -12.2374 +▁najbliži -12.2375 +zati -12.2376 +▁Ostavit -12.2376 +▁Soon -12.2376 +2008 -12.2377 +▁Pove -12.2378 +▁donacije -12.2379 +▁Godina -12.238 +▁stain -12.238 +▁balkan -12.238 +▁reko -12.238 +▁tehnologijom -12.238 +▁testimony -12.238 +▁vojsci -12.238 +▁kuhinjsk -12.238 +▁svjestan -12.238 +▁recenzija -12.238 +▁stakeholders -12.238 +▁pobedom -12.238 +▁prezentaciju -12.238 +▁Seminar -12.2381 +▁judges -12.2381 +▁stabla -12.2383 +▁Čaj -12.2383 +▁izlaganje -12.2384 +▁datira -12.2384 +danas -12.2385 +▁dočekali -12.2385 +▁iskoristite -12.2385 +▁agreements -12.2385 +▁leap -12.2386 +dosta -12.2386 +klu -12.2387 +▁distributer -12.2388 +▁slem -12.2389 +▁pisca -12.239 +▁svjedoče -12.239 +2.5 -12.239 +▁sentiment -12.2391 +mpa -12.2391 +viđa -12.2391 +▁Polje -12.2391 +prom -12.2393 +▁fal -12.2393 +njača -12.2394 +▁sirom -12.2394 +▁sporni -12.2396 +▁izabrao -12.2398 +▁Aleksincu -12.2398 +▁najmanju -12.2398 +▁ukrajinske -12.2398 +▁dopune -12.2398 +▁kandidate -12.2399 +system -12.24 +šeni -12.24 +▁odvod -12.24 +▁potatoes -12.24 +▁finansijskog -12.2401 +▁predaju -12.2404 +▁nesrećn -12.2404 +▁Cop -12.2404 +▁variations -12.2404 +▁gladi -12.2405 +▁Roy -12.2406 +▁protective -12.2406 +bara -12.2406 +▁brdo -12.2411 +▁Cara -12.2411 +IŠ -12.2411 +Top -12.2412 +▁uživali -12.2412 +▁graph -12.2413 +ističkih -12.2414 +▁obtaining -12.2415 +▁cannabis -12.2416 +▁obavještava -12.2416 +▁reviziju -12.2416 +voljno -12.2416 +▁presenting -12.2417 +▁operater -12.2418 +MEN -12.2418 +lagali -12.2418 +▁classified -12.2418 +▁Woman -12.2418 +▁Kriv -12.2418 +▁ov -12.2419 +▁prospective -12.2419 +▁rotation -12.2419 +▁izgledala -12.242 +hun -12.242 +▁posudi -12.2421 +ičara -12.2421 +▁Novinar -12.2421 +▁Strip -12.2421 +▁Želite -12.2421 +▁upoznala -12.2421 +▁hara -12.2422 +▁COM -12.2422 +▁soak -12.2423 +▁GR -12.2423 +tun -12.2424 +DAR -12.2424 +doc -12.2425 +▁Stav -12.2426 +▁duelu -12.2426 +▁Lek -12.2426 +▁ozbiljnih -12.2427 +▁Dim -12.2427 +▁minimalne -12.2427 +▁kremu -12.2428 +gina -12.2428 +▁Interest -12.2428 +▁šte -12.2429 +▁Spomen -12.2429 +▁fajl -12.2431 +▁Qui -12.2432 +▁strada -12.2432 +▁Flower -12.2432 +tivni -12.2434 +▁eksplozije -12.2434 +▁mršavljenje -12.2434 +▁Čovjek -12.2434 +▁utjecati -12.2434 +▁medicini -12.2434 +▁pečenje -12.2435 +▁Repair -12.2435 +▁Wonder -12.2435 +▁fortune -12.2436 +▁kis -12.2437 +▁propusti -12.2438 +▁Hydro -12.2438 +▁progovori -12.2439 +▁imuniteta -12.244 +▁Korišćenje -12.244 +▁Alice -12.2442 +▁jedinstvene -12.2442 +▁calculated -12.2442 +▁publisher -12.2442 +▁Epi -12.2442 +▁kukuruz -12.2442 +▁Zlatko -12.2444 +▁telekomunikacij -12.2444 +▁Nation -12.2446 +▁jačanja -12.2446 +▁Dnevn -12.2447 +▁preci -12.2448 +bay -12.2448 +:02 -12.2449 +driven -12.245 +ijer -12.2451 +▁survived -12.2452 +▁siromaštva -12.2452 +▁televiziju -12.2452 +▁throat -12.2452 +▁uncomfortable -12.2452 +▁Greece -12.2452 +▁situacijom -12.2452 +▁или -12.2453 +▁dipl -12.2453 +▁MVP -12.2454 +▁preach -12.2454 +▁obuće -12.2455 +▁ptice -12.2455 +▁svjesno -12.2455 +▁Rh -12.2456 +▁zadovolje -12.2456 +ijana -12.2456 +See -12.2456 +▁poslednjim -12.2457 +▁volan -12.2457 +▁sees -12.2457 +done -12.2458 +▁screens -12.2458 +▁zaštićena -12.2458 +▁povrati -12.2459 +LIN -12.2459 +▁humanitarni -12.2459 +▁Zapadni -12.246 +▁trz -12.246 +cine -12.2461 +▁dobijemo -12.2461 +▁Pure -12.2461 +▁Navodi -12.2462 +čim -12.2462 +▁Toni -12.2464 +▁sakupi -12.2464 +ljna -12.2465 +▁lagani -12.2465 +:33 -12.2465 +▁samostan -12.2465 +▁propise -12.2466 +▁Stoj -12.2466 +▁prijateljica -12.2468 +▁seasonal -12.2469 +išite -12.2469 +▁Severne -12.2469 +▁Brook -12.2469 +▁gimnazije -12.247 +▁gužve -12.247 +▁najbitnije -12.247 +▁Douglas -12.247 +▁vizu -12.247 +▁paradigm -12.247 +▁Pevačica -12.247 +through -12.2471 +▁Graham -12.2471 +▁podsjeti -12.2471 +▁zaposlen -12.2471 +▁Dating -12.2472 +▁kontaktirati -12.2472 +▁zakonskih -12.2472 +vcu -12.2472 +▁izrazili -12.2472 +▁naučili -12.2473 +▁najbliže -12.2474 +▁darkness -12.2475 +▁Formula -12.2475 +▁bliz -12.2476 +▁Hans -12.2476 +▁Kiš -12.2476 +▁reminded -12.2476 +kažu -12.2476 +▁čekao -12.2477 +▁anytime -12.2477 +Pet -12.2477 +▁reject -12.2477 +▁duhovit -12.2478 +hercegovački -12.2478 +▁customized -12.2479 +2004 -12.2479 +▁IPA -12.2479 +▁0,5 -12.2479 +▁kabineta -12.248 +▁Bee -12.2481 +▁albumu -12.2481 +▁Primor -12.2481 +:34 -12.2481 +▁turskog -12.2482 +▁Def -12.2482 +▁opisati -12.2482 +▁savjetnik -12.2483 +▁krivo -12.2483 +▁Braun -12.2483 +arević -12.2483 +▁pauza -12.2484 +▁mašta -12.2484 +▁prostore -12.2485 +▁FT -12.2485 +▁Bir -12.2487 +▁Fal -12.2487 +▁depart -12.2487 +▁Cameron -12.2488 +▁Nissan -12.2488 +▁Leadership -12.2488 +▁adverse -12.2488 +▁dressing -12.2488 +▁nabaviti -12.2489 +▁istra -12.2489 +▁dodjelu -12.249 +▁seller -12.249 +IDE -12.2492 +▁Zdravo -12.2492 +▁posetu -12.2492 +▁odradi -12.2493 +▁Osam -12.2493 +saka -12.2493 +▁reaches -12.2494 +▁Dimenzije -12.2494 +cijama -12.2494 +▁koncepta -12.2494 +▁Organizatori -12.2494 +▁razvio -12.2494 +▁threatened -12.2495 +▁disappear -12.2495 +▁otvore -12.2496 +▁1965 -12.2498 +▁daljnje -12.2498 +▁ostavljaju -12.2498 +fun -12.2499 +▁svetlu -12.2499 +▁klin -12.2499 +▁kontrast -12.25 +▁Pope -12.25 +▁pišem -12.2501 +▁primera -12.2501 +▁umjetn -12.2501 +▁hajde -12.2501 +▁Alfa -12.2501 +▁114 -12.2502 +▁staru -12.2504 +▁Impact -12.2506 +▁renowned -12.2506 +▁responsive -12.2506 +▁londonsk -12.2506 +▁obustavljen -12.2506 +▁obustavi -12.2506 +▁prosječno -12.2506 +▁alternate -12.2506 +▁fought -12.2506 +▁psovanja -12.2506 +stajanje -12.2506 +▁Žarko -12.2507 +▁čestitke -12.2508 +▁nezaposlenosti -12.2508 +vuče -12.2508 +▁čelo -12.2508 +▁pokretanja -12.251 +razum -12.251 +▁MM -12.2511 +▁Dina -12.2511 +▁Strong -12.2513 +▁horor -12.2513 +:32 -12.2513 +▁Movie -12.2513 +▁Opštinsk -12.2514 +ARD -12.2514 +▁terapeut -12.2514 +▁correction -12.2514 +▁planom -12.2516 +▁Pokret -12.2516 +▁motive -12.2517 +▁pozicijama -12.2517 +arski -12.2517 +erman -12.2517 +▁spozna -12.2518 +wise -12.2519 +▁Person -12.2523 +▁Emergency -12.2524 +▁Universal -12.2524 +▁intensity -12.2524 +▁Lončar -12.2524 +▁doduše -12.2524 +dat -12.2524 +▁odjeću -12.2524 +▁Не -12.2524 +▁Turkish -12.2524 +▁statistički -12.2524 +ĆI -12.2524 +pani -12.2524 +tivno -12.2525 +▁yo -12.2525 +▁efekta -12.2526 +esh -12.2526 +▁ljekovi -12.2527 +ком -12.2527 +palo -12.2527 +▁posjetili -12.2528 +▁odmori -12.2528 +▁realnosti -12.2529 +hart -12.2529 +vam -12.253 +▁vanilla -12.2531 +▁addressing -12.2531 +▁musicians -12.2531 +▁compromise -12.2531 +▁mogućim -12.2532 +▁PER -12.2533 +▁konstat -12.2534 +▁PG -12.2535 +▁pripremama -12.2535 +▁prisil -12.2535 +▁nezavisnih -12.2536 +▁SV -12.2538 +▁automobilom -12.2538 +▁Serija -12.2538 +▁stolen -12.2538 +▁šarm -12.254 +▁brutalno -12.254 +▁counts -12.2542 +▁živio -12.2542 +▁doprinijeti -12.2542 +▁psihički -12.2542 +▁restoration -12.2542 +▁courtesy -12.2542 +▁deemed -12.2542 +▁blagovremeno -12.2542 +▁literary -12.2542 +▁predsjedavajući -12.2543 +▁ličnim -12.2544 +▁unfortunately -12.2545 +▁sprovede -12.2545 +iranog -12.2545 +▁promenio -12.2546 +▁couch -12.2546 +▁nožem -12.2546 +▁Protest -12.2546 +▁пос -12.2547 +▁uhapšeni -12.2547 +▁obligations -12.2547 +▁izgledao -12.2548 +▁nadoknadi -12.2548 +▁muzičara -12.2548 +▁putevi -12.2548 +▁kol -12.2549 +▁Inform -12.2549 +▁Jerry -12.255 +▁nizak -12.255 +neta -12.2551 +kir -12.2551 +ESS -12.2551 +Cl -12.2551 +▁natrag -12.2552 +▁doneta -12.2554 +▁taman -12.2554 +▁shorter -12.2554 +▁odbila -12.2554 +▁Fizi -12.2555 +▁utjecaja -12.2555 +▁broader -12.2555 +▁poruči -12.2556 +▁fucking -12.2556 +▁Words -12.2557 +▁službenoj -12.2558 +▁consume -12.2558 +▁Rumun -12.2559 +▁Slot -12.2559 +▁IMA -12.256 +▁atmosfere -12.256 +▁susreću -12.256 +▁Automat -12.256 +▁Month -12.256 +▁zarobljeni -12.2561 +▁scholarship -12.2561 +▁Pravila -12.2562 +▁automation -12.2562 +▁tribe -12.2562 +▁domena -12.2562 +▁Posla -12.2563 +0° -12.2563 +▁istoka -12.2564 +▁:( -12.2564 +▁Južnoj -12.2564 +▁prigovor -12.2564 +▁izuzetan -12.2565 +cione -12.2565 +sigur -12.2565 +▁službene -12.2567 +▁košarkaši -12.2568 +▁vendor -12.2568 +makers -12.2571 +dul -12.2573 +▁Fly -12.2573 +▁prometu -12.2573 +▁Kost -12.2573 +▁Imajući -12.2574 +host -12.2576 +RG -12.2576 +▁relate -12.2576 +▁homo -12.2577 +__ -12.2577 +▁naizgled -12.2578 +▁prošlu -12.2578 +▁straightforward -12.2578 +▁Ferrari -12.2578 +▁trenutne -12.2578 +▁readily -12.2578 +▁pauzu -12.2578 +▁okreće -12.2579 +▁saznanjima -12.2579 +▁Istraživanja -12.2579 +ozna -12.2579 +dbe -12.2579 +▁Bošnjacima -12.2581 +▁KON -12.2582 +▁rešavanju -12.2582 +pital -12.2582 +lovo -12.2582 +▁ranim -12.2583 +▁uradimo -12.2583 +▁teens -12.2584 +▁prijateljstvo -12.2584 +▁annually -12.2585 +▁metodama -12.2585 +▁ispostavilo -12.2586 +▁PD -12.2586 +▁održane -12.2586 +voda -12.2587 +mjere -12.2588 +▁kratkog -12.2588 +▁Palace -12.2588 +▁ljubavni -12.2589 +▁Crime -12.2589 +▁gastro -12.2589 +▁nadgleda -12.2589 +▁ugao -12.259 +▁preuzeli -12.259 +▁Jedina -12.2593 +Mora -12.2594 +▁modu -12.2595 +dging -12.2595 +▁dizajnu -12.2595 +▁Certified -12.2596 +▁Švedska -12.2596 +▁Session -12.2596 +▁Kurs -12.2596 +▁odlikuje -12.2596 +▁štampe -12.2596 +▁vlastitim -12.2597 +α -12.2597 +Ono -12.2598 +▁Veljko -12.2599 +▁konačnici -12.26 +Life -12.26 +▁napomenuo -12.26 +prijatelj -12.2601 +▁stolom -12.2601 +▁perceived -12.2602 +▁Obu -12.2603 +▁subjekt -12.2603 +:58 -12.2603 +mešati -12.2604 +▁4.0 -12.2604 +▁upravljanju -12.2604 +▁Popular -12.2606 +▁Prati -12.2607 +▁reper -12.2607 +fic -12.2607 +▁colleges -12.2607 +file -12.2608 +▁proizvodu -12.261 +▁napustili -12.261 +govori -12.261 +▁Terra -12.261 +▁partizan -12.2611 +▁saveznik -12.2611 +arić -12.2612 +▁pomognemo -12.2613 +▁stao -12.2613 +▁Pul -12.2613 +▁članaka -12.2614 +▁čekanja -12.2614 +▁telefonski -12.2614 +ĉe -12.2614 +▁disclosure -12.2614 +▁measuring -12.2614 +▁syndrome -12.2614 +▁životno -12.2615 +▁flesh -12.2615 +▁Coca -12.2615 +▁quilt -12.2617 +URA -12.2617 +▁kvartalu -12.2617 +▁browse -12.2618 +▁davne -12.2618 +ника -12.2618 +▁RV -12.2619 +▁Nigeria -12.2619 +▁otkri -12.262 +▁partnerstva -12.262 +▁nadi -12.2621 +▁dubl -12.2621 +▁Steam -12.2622 +▁Čar -12.2622 +▁pazi -12.2622 +▁najava -12.2623 +cial -12.2624 +▁ordering -12.2625 +▁stručnim -12.2626 +▁najve -12.2626 +▁realizira -12.2627 +▁emerged -12.2628 +▁ekspert -12.2628 +▁parova -12.2629 +▁putnike -12.2629 +nell -12.2629 +▁Others -12.2629 +▁razmišljati -12.263 +▁cemu -12.2632 +tane -12.2632 +▁wallet -12.2632 +▁rasa -12.2632 +▁Cruz -12.2633 +▁epizode -12.2633 +▁trčanje -12.2633 +▁promising -12.2633 +▁uopste -12.2633 +▁grafički -12.2633 +▁obavezna -12.2633 +iel -12.2633 +▁domaćinstava -12.2634 +▁zivota -12.2634 +:36 -12.2635 +▁Lor -12.2636 +▁mechanisms -12.2636 +NOSTI -12.2636 +gia -12.2636 +▁Rule -12.2637 +'', -12.2637 +▁kafić -12.2638 +BER -12.2639 +▁osta -12.2639 +▁kanale -12.264 +▁barriers -12.264 +▁svetskim -12.2641 +▁concentrate -12.2641 +▁kopa -12.2641 +▁smeće -12.2641 +▁primje -12.2641 +▁rasprostranjen -12.2643 +▁wore -12.2644 +▁Beč -12.2644 +last -12.2644 +▁Rasp -12.2645 +ggie -12.2645 +▁beaches -12.2646 +bile -12.2646 +▁tipova -12.2646 +▁posvetiti -12.2647 +▁prelaze -12.2648 +▁contacts -12.2648 +▁uručio -12.2648 +▁ljudskom -12.265 +▁Napoli -12.265 +▁slušao -12.265 +د -12.2651 +▁opredeli -12.2651 +▁rukovodstva -12.2651 +▁Ovakav -12.2651 +▁closure -12.2651 +▁stimulate -12.2651 +▁Jessica -12.2651 +▁Thailand -12.2652 +▁Dino -12.2652 +▁Pinterest -12.2652 +▁reside -12.2652 +sjeda -12.2653 +▁Falls -12.2653 +fold -12.2653 +▁passenger -12.2653 +▁trudnice -12.2654 +▁Egyptian -12.2654 +▁isolated -12.2655 +▁Speaking -12.2656 +▁sofa -12.2656 +▁mlađim -12.2657 +▁Takvi -12.2657 +▁Verujem -12.2658 +▁nameru -12.2659 +▁nuts -12.2661 +cid -12.2661 +▁Pie -12.2661 +▁Vašingtonu -12.2662 +▁hapšenje -12.2663 +▁Prijavi -12.2663 +mari -12.2664 +▁Institutu -12.2664 +▁reportedly -12.2664 +▁spasiti -12.2665 +▁bang -12.2667 +▁Kent -12.2668 +▁društvena -12.2669 +/14 -12.2669 +▁aging -12.2669 +▁Crystal -12.2669 +▁booth -12.2669 +▁sanitarn -12.2669 +▁pobjedom -12.267 +▁nijansi -12.267 +▁discharge -12.267 +dad -12.267 +▁eco -12.267 +▁Seg -12.2671 +▁nalaz -12.2672 +▁HNK -12.2672 +▁izbjeglice -12.2672 +rado -12.2672 +▁Jesi -12.2673 +▁takse -12.2673 +jani -12.2673 +▁consultant -12.2673 +kice -12.2674 +▁assert -12.2674 +▁realizacija -12.2674 +▁Stre -12.2675 +▁Racing -12.2677 +▁temperaturama -12.2677 +▁stražnj -12.2677 +▁Lice -12.2678 +▁samostalni -12.2678 +▁lineup -12.2679 +▁stvore -12.2679 +▁Preporučuje -12.268 +▁Hen -12.268 +center -12.268 +▁Okay -12.268 +▁TOP -12.2683 +rgo -12.2683 +▁savremenih -12.2684 +VOD -12.2684 +▁approached -12.2684 +▁laboratorija -12.2684 +▁strelac -12.2684 +▁WH -12.2684 +▁ranks -12.2685 +▁kriminalne -12.2687 +▁prenio -12.2687 +▁appreciation -12.2688 +▁suzdrže -12.2688 +▁Mundijal -12.2688 +▁prosecutor -12.2688 +▁ubica -12.2688 +▁innocent -12.2688 +▁wage -12.2688 +▁sketch -12.2688 +▁filmskih -12.2689 +▁Morning -12.2689 +▁Karlov -12.2689 +liko -12.2689 +▁komunisti -12.2689 +▁Kore -12.2689 +▁JOŠ -12.2689 +▁LJUBAV -12.269 +▁tricks -12.2691 +▁Sindikata -12.2691 +▁dip -12.2691 +▁preveden -12.2691 +▁ulju -12.2692 +mac -12.2692 +▁Moto -12.2692 +▁estrad -12.2694 +▁koljena -12.2694 +▁napadnut -12.2695 +▁napao -12.2695 +▁shoulders -12.2695 +▁oblikovan -12.2695 +pisi -12.2695 +▁specialty -12.2695 +▁pete -12.2696 +▁glasaju -12.2696 +▁Wing -12.2696 +▁zagrebačk -12.2697 +▁žanr -12.2697 +▁opponents -12.2697 +▁jasnu -12.2698 +▁cam -12.2698 +TED -12.2699 +▁postavite -12.2699 +▁znaka -12.2699 +▁investitori -12.27 +▁ustima -12.2701 +žena -12.2701 +▁2006, -12.2701 +▁knock -12.2702 +▁patio -12.2702 +▁tunela -12.2703 +▁vešti -12.2704 +▁bivšim -12.2704 +▁zahvata -12.2704 +opera -12.2705 +▁potvrditi -12.2705 +▁spar -12.2705 +▁Kristina -12.2706 +▁financira -12.2706 +▁collaborative -12.2706 +▁dileme -12.2706 +RON -12.2706 +▁Qua -12.2706 +▁onemogući -12.2706 +▁opremljena -12.2707 +▁oglase -12.2707 +going -12.2707 +▁Poz -12.2708 +▁dečije -12.2708 +▁navečer -12.2709 +▁blokade -12.271 +▁preventing -12.271 +▁Roberts -12.271 +▁gru -12.271 +▁Prethodn -12.2711 +▁blanket -12.2711 +▁М -12.2712 +▁otima -12.2712 +writer -12.2713 +▁Donji -12.2713 +▁razlici -12.2713 +▁lands -12.2714 +▁položen -12.2714 +▁Polju -12.2714 +tiče -12.2715 +▁štap -12.2716 +▁balon -12.2717 +▁rocks -12.2718 +mbling -12.2719 +▁osećate -12.272 +▁Nego -12.272 +▁hrabro -12.272 +▁builder -12.2721 +stvima -12.2722 +▁Facebooku -12.2723 +▁Cle -12.2723 +▁Barb -12.2724 +rrell -12.2724 +▁antioksidans -12.2724 +▁zloupotreba -12.2724 +▁jubilej -12.2724 +▁Početna -12.2725 +▁MK -12.2725 +▁clever -12.2725 +▁Aleksa -12.2725 +facebook -12.2726 +▁spasi -12.2726 +▁blogu -12.2726 +▁underground -12.2727 +▁drew -12.2727 +▁rušenje -12.2729 +▁prazno -12.2729 +▁trajni -12.2731 +gnite -12.2731 +▁Sastav -12.2732 +▁Ј -12.2732 +veni -12.2733 +▁profound -12.2734 +vila -12.2735 +▁zadarsk -12.2736 +▁Shin -12.2736 +čisti -12.2737 +▁sopstvenim -12.2738 +▁lbs -12.2738 +▁Salon -12.2738 +▁namjerno -12.2738 +▁selima -12.2739 +▁kino -12.2739 +▁zapad -12.274 +▁texts -12.274 +▁patrijarh -12.2741 +▁presentations -12.2742 +▁poznatom -12.2742 +▁fame -12.2742 +▁climbing -12.2743 +▁Mihailović -12.2743 +▁Egipat -12.2743 +▁izaberite -12.2743 +▁tužbu -12.2743 +▁industrijske -12.2743 +▁indikator -12.2743 +▁widespread -12.2743 +▁kape -12.2743 +▁crijeva -12.2743 +▁otpoče -12.2743 +▁terror -12.2743 +▁Vera -12.2744 +▁1945. -12.2744 +therapy -12.2744 +***** -12.2744 +▁Košarkašk -12.2744 +▁izađu -12.2746 +cne -12.2746 +▁POST -12.2746 +▁animation -12.2746 +▁zasluženo -12.2747 +▁Bošnjak -12.2748 +▁camping -12.2749 +ERA -12.2751 +▁idol -12.2751 +IX -12.2752 +▁novčani -12.2755 +▁hladne -12.2756 +▁umjetnik -12.2756 +pay -12.2757 +▁Brain -12.2757 +▁tribunal -12.2758 +▁badly -12.2758 +hip -12.2758 +▁navedenom -12.2759 +▁suits -12.2759 +▁ham -12.276 +▁measurements -12.2761 +▁Circuit -12.2761 +▁trudnoći -12.2761 +▁twelve -12.2761 +▁Švedskoj -12.2761 +▁fortunate -12.2761 +▁boyfriend -12.2762 +▁facial -12.2762 +▁Avoid -12.2762 +▁zračenja -12.2763 +▁zubi -12.2764 +▁Retail -12.2764 +▁pipeline -12.2765 +▁Pli -12.2765 +stanite -12.2766 +▁provela -12.2766 +▁stranama -12.2766 +▁Vjer -12.2768 +▁prekine -12.2768 +rđa -12.2768 +▁rounds -12.2769 +▁attachment -12.277 +mbar -12.2771 +bos -12.2772 +▁domovima -12.2774 +▁milijun -12.2776 +.500 -12.2776 +▁dogovore -12.2776 +▁kupu -12.2776 +kvalifik -12.2777 +▁habitat -12.2778 +▁Amel -12.2778 +▁statistical -12.2778 +▁tvrd -12.2778 +▁discretion -12.278 +▁fantastično -12.278 +▁sallallahu -12.278 +▁registar -12.278 +▁Romney -12.278 +TK -12.2781 +big -12.2781 +▁varenje -12.2782 +▁momčad -12.2782 +▁footage -12.2783 +▁vila -12.2784 +▁journalists -12.2784 +▁razinu -12.2785 +▁onion -12.2786 +▁odlukama -12.2786 +▁Automobil -12.2786 +▁smatrao -12.2788 +▁Engineer -12.2789 +▁nastavnici -12.279 +Oni -12.2792 +▁Bele -12.2792 +▁bombe -12.2792 +▁prikazani -12.2793 +▁komade -12.2793 +▁VII -12.2793 +▁Trip -12.2794 +▁paradajza -12.2794 +▁fold -12.2794 +▁Michel -12.2795 +▁birati -12.2796 +▁okupi -12.2796 +tile -12.2797 +▁fulfill -12.2797 +▁bijeli -12.2797 +▁Statut -12.2797 +▁unapredi -12.2798 +wire -12.2798 +▁PlayStation -12.2798 +▁discrimination -12.2798 +▁zagarantovan -12.2798 +▁zrakoplov -12.2798 +▁McDonald -12.2798 +▁Kakanj -12.2798 +▁atrakcija -12.2798 +▁Kh -12.2798 +▁ekološke -12.2799 +▁converted -12.2799 +▁povezati -12.2799 +:38 -12.2799 +▁uvjeta -12.28 +▁Career -12.28 +▁EPA -12.2801 +dovi -12.2801 +hap -12.2801 +▁pup -12.2802 +▁propušta -12.2802 +▁Rid -12.2802 +▁Krivičn -12.2802 +eye -12.2803 +▁Inspir -12.2803 +▁Associate -12.2803 +▁distinction -12.2803 +▁brojke -12.2804 +▁kritiku -12.2804 +▁Pis -12.2804 +▁Situacija -12.2804 +▁snimci -12.2805 +▁produktivnost -12.2805 +stali -12.2806 +▁Grade -12.2806 +▁silk -12.2806 +ech -12.2807 +▁Broz -12.2807 +RIS -12.2808 +▁atraktivno -12.2808 +▁današnjice -12.2808 +▁prstima -12.2809 +mart -12.281 +lets -12.281 +▁dokazati -12.2811 +▁faithful -12.2812 +:39 -12.2812 +▁Sean -12.2812 +▁sagrađen -12.2812 +▁175 -12.2812 +▁fears -12.2812 +pine -12.2813 +▁izborom -12.2813 +▁10,000 -12.2813 +ljci -12.2814 +▁Haradinaj -12.2817 +▁Nevertheless -12.2817 +▁appetite -12.2817 +▁zadržao -12.2817 +borough -12.2817 +▁episkop -12.2817 +▁THIS -12.2817 +▁prodavnicama -12.2817 +Saznajte -12.2818 +▁spontano -12.2819 +▁maline -12.2819 +▁svjedoka -12.2819 +▁zainteresovan -12.2819 +▁procita -12.282 +ink -12.2821 +▁tjera -12.2822 +nine -12.2823 +▁satisfy -12.2823 +▁vruće -12.2823 +▁ekskluziv -12.2823 +▁zadnja -12.2824 +▁divine -12.2824 +News -12.2824 +▁lovers -12.2825 +▁održivi -12.2825 +▁lag -12.2825 +▁Ton -12.2826 +Red -12.2826 +▁okrugli -12.2827 +EV -12.2828 +ivao -12.283 +UZ -12.283 +▁Davida -12.2831 +▁izvedena -12.2831 +▁izgledu -12.2832 +isano -12.2832 +▁makers -12.2832 +zava -12.2833 +▁nut -12.2833 +nera -12.2833 +▁akademik -12.2833 +▁Bha -12.2833 +▁državljani -12.2833 +▁ties -12.2834 +▁spolja -12.2834 +▁Intelligence -12.2836 +▁doprineti -12.2836 +▁isporuku -12.2836 +▁nestali -12.2836 +▁Notice -12.2836 +▁umire -12.2837 +▁Hir -12.2837 +▁filozofije -12.2838 +▁službeni -12.2839 +▁Bori -12.284 +▁observation -12.284 +▁Eko -12.2841 +▁partiju -12.2842 +▁plemena -12.2842 +▁Gruzij -12.2842 +▁Rekla -12.2842 +▁disciplini -12.2843 +▁Ideal -12.2843 +▁miran -12.2843 +▁exhaust -12.2843 +dot -12.2844 ++1 -12.2844 +▁nesmetano -12.2844 +жа -12.2847 +bic -12.2847 +▁izučava -12.2847 +▁domova -12.2848 +▁rupa -12.2848 +▁Banka -12.2849 +▁Drama -12.285 +▁Sindikat -12.2851 +pek -12.2852 +▁intenzivni -12.2854 +▁konsultacije -12.2854 +▁podržala -12.2854 +▁simulation -12.2854 +▁varijante -12.2854 +▁Turistička -12.2855 +▁daughters -12.2855 +▁Recept -12.2855 +▁Planira -12.2856 +▁Cycl -12.2857 +||0 -12.2857 +▁bacio -12.2857 +▁Maine -12.2857 +▁ballot -12.2857 +▁bones -12.2859 +▁Armije -12.2859 +▁submission -12.286 +▁obavljanja -12.286 +▁poslodavci -12.286 +▁travelling -12.286 +▁tick -12.2861 +▁Fill -12.2861 +ROM -12.2861 +▁Vasić -12.2861 +javljen -12.2862 +▁restricted -12.2863 +▁Nagrada -12.2864 +zil -12.2864 +▁Zlatan -12.2865 +▁Cazin -12.2865 +▁globalni -12.2866 +▁Analiza -12.2868 +▁reactions -12.2868 +▁sticanje -12.287 +▁230 -12.287 +▁opterećenje -12.287 +▁Morris -12.2871 +▁Franjo -12.2872 +pravo -12.2872 +▁wax -12.2873 +▁bunar -12.2873 +▁gledatelj -12.2873 +NJI -12.2873 +▁Connecticut -12.2873 +▁Sweden -12.2873 +▁coconut -12.2873 +▁reagovao -12.2873 +▁rejting -12.2873 +▁abortion -12.2873 +▁Gost -12.2873 +▁kamoli -12.2873 +▁energ -12.2874 +▁referring -12.2874 +▁shaped -12.2874 +▁Fitness -12.2874 +▁krasi -12.2875 +▁boring -12.2875 +▁nedostaju -12.2875 +▁mobilnog -12.2876 +▁deployment -12.2876 +:44 -12.2876 +▁PT -12.2878 +▁Hours -12.2878 +▁poslovno -12.2879 +tskog -12.2879 +▁frames -12.2879 +KK -12.2879 +▁svakodnevne -12.288 +▁vlakna -12.288 +▁prekomern -12.2881 +BP -12.2881 +▁Čovek -12.2881 +▁očekivano -12.2881 +:03 -12.2882 +▁Late -12.2883 +▁Solun -12.2883 +▁attach -12.2883 +▁piju -12.2883 +▁misterij -12.2884 +▁нај -12.2886 +▁neprijatno -12.2886 +ovićem -12.2886 +▁Studija -12.2887 +ništva -12.2887 +▁$25 -12.2888 +▁fest -12.2889 +▁opšteg -12.289 +lci -12.2891 +▁thrive -12.2892 +▁skirt -12.2893 +▁secretary -12.2894 +▁Maglaj -12.2894 +▁decor -12.2894 +▁zagađen -12.2895 +▁waist -12.2895 +▁pruže -12.2895 +▁Vran -12.2896 +▁uloženo -12.2896 +▁ARE -12.2896 +▁Vrhovnog -12.2896 +▁pristupom -12.2896 +▁mailing -12.2896 +▁srednjo -12.2897 +▁kontakta -12.2898 +▁claiming -12.2899 +▁illustrate -12.29 +▁Madridu -12.2901 +ĆA -12.2901 +▁sinus -12.2902 +▁swap -12.2902 +▁costly -12.2903 +▁tečnost -12.2904 +▁godišnjeg -12.2905 +loss -12.2907 +stajanja -12.2908 +▁slabiji -12.2909 +▁Argentina -12.291 +▁Najveća -12.291 +▁Porsche -12.291 +▁Soviet -12.291 +▁isporučen -12.2911 +▁nesumnjivo -12.2911 +▁entities -12.2911 +▁poruci -12.2911 +▁batteries -12.2911 +▁Collins -12.2911 +ticu -12.2911 +▁osporava -12.2911 +▁teškog -12.2913 +▁vessels -12.2913 +VC -12.2914 +▁čestitao -12.2914 +▁oružan -12.2916 +▁lighter -12.2918 +▁slomi -12.2918 +▁tragično -12.2918 +▁hali -12.2919 +▁lijeka -12.2919 +▁Stream -12.2919 +▁otvorenim -12.2919 +▁gostujući -12.292 +/18 -12.2921 +▁proširenja -12.2921 +▁Payment -12.2924 +plet -12.2924 +▁arhitekt -12.2924 +▁daljinu -12.2925 +friend -12.2926 +▁pritvora -12.2926 +▁usana -12.2927 +▁lob -12.2927 +▁pokretač -12.2927 +▁Valentin -12.2928 +▁Pravilnik -12.2929 +2,000 -12.2929 +▁Corporate -12.2929 +▁Varaždin -12.2929 +▁maloprodajn -12.2929 +▁prtljag -12.2929 +▁likovi -12.2929 +▁nezadovoljni -12.2929 +▁drveća -12.2929 +▁Subscribe -12.2929 +▁pecivo -12.2929 +▁disabilities -12.293 +▁Dal -12.293 +▁Stars -12.2932 +može -12.2932 +▁optužio -12.2933 +rogen -12.2933 +▁али -12.2933 +▁džemat -12.2933 +ANJA -12.2934 +ljana -12.2936 +▁podloga -12.2936 +▁izbio -12.2936 +▁rukovodi -12.2936 +jun -12.2937 +▁sjajni -12.2937 +jevo -12.2938 +▁Finding -12.294 +▁establishing -12.294 +iranim -12.2941 +▁Pete -12.2941 +▁Nazi -12.2941 +▁zaključen -12.2942 +▁seeks -12.2942 +▁zavrsi -12.2942 +▁Kućni -12.2943 +▁zapadnog -12.2943 +▁Palmer -12.2944 +▁Lac -12.2944 +▁Lie -12.2944 +vita -12.2945 +▁Hawk -12.2945 +▁naprotiv -12.2945 +▁Adi -12.2946 +▁Potpis -12.2947 +block -12.2948 +▁instruktor -12.2948 +▁replacing -12.2948 +َا -12.2949 +▁sorti -12.2949 +rala -12.295 +ORA -12.295 +▁ameri -12.295 +▁gradić -12.2951 +▁okupa -12.2951 +šavanje -12.2951 +▁outdoors -12.2952 +▁Džu -12.2953 +▁negotiations -12.2953 +▁branches -12.2953 +▁STRA -12.2954 +▁sigurnošću -12.2954 +▁motiva -12.2954 +▁Maksimović -12.2955 +▁Kupi -12.2956 +plate -12.2956 +▁Evans -12.2956 +▁kopira -12.2957 +▁čujem -12.2957 +▁bankama -12.2957 +▁borave -12.2958 +▁Martina -12.2959 +▁Owner -12.2959 +▁ograde -12.2959 +miss -12.2959 +▁enjoys -12.2959 +▁manufactured -12.2959 +▁Stein -12.2959 +▁careers -12.2959 +▁teaches -12.296 +▁posetio -12.296 +▁koštati -12.296 +▁potražite -12.2961 +▁autonomn -12.2961 +▁vlasnicima -12.2961 +▁tire -12.2962 +▁izjavama -12.2963 +posto -12.2963 +▁Prethodno -12.2964 +▁SAMO -12.2966 +▁podneo -12.2967 +▁Metohije -12.2967 +▁Technologies -12.2967 +▁šetnju -12.2967 +▁molitve -12.2967 +▁stomatolog -12.2967 +▁Terzić -12.2967 +▁državljanstvo -12.2968 +▁dlaka -12.2968 +▁Bugarskoj -12.2968 +▁preokret -12.2968 +pari -12.2968 +▁admire -12.2968 +▁šator -12.2968 +▁Sci -12.2969 +▁blogging -12.2969 +▁Odnos -12.2969 +▁Users -12.297 +▁Poker -12.297 +▁Rating -12.297 +▁žuto -12.2971 +▁zidu -12.2971 +čnosti -12.2972 +▁1966 -12.2972 +▁Poče -12.2973 +▁$9 -12.2973 +▁Carlos -12.2973 +solid -12.2974 +▁amino -12.2974 +▁nadležnog -12.2974 +▁smatrali -12.2975 +▁binding -12.2975 +▁Mau -12.2975 +▁PUT -12.2975 +▁Rab -12.2975 +▁ти -12.2975 +▁čitavom -12.2976 +▁genital -12.2976 +▁fabrici -12.2976 +▁Peti -12.2977 +▁telefoni -12.2978 +▁genes -12.2978 +▁Vlasti -12.2978 +▁potrošačk -12.2979 +▁pšenice -12.298 +▁kablovsk -12.2982 +▁skinuti -12.2982 +UG -12.2983 +▁parade -12.2983 +▁incorporated -12.2984 +▁latinsk -12.2984 +▁sukobi -12.2984 +arh -12.2984 +▁penala -12.2984 +ijskih -12.2985 +▁elementarn -12.2985 +▁vlasništva -12.2986 +▁Dejvid -12.2986 +▁nacional -12.2986 +▁KOJI -12.2986 +▁Ulcinj -12.2987 +▁Display -12.2987 +▁šip -12.2987 +▁srbija -12.2988 +mete -12.2988 +▁Choice -12.2988 +▁finansijskim -12.2989 +▁nacionalno -12.2989 +▁Vučićev -12.299 +CIJE -12.2991 +▁protocol -12.2992 +▁Javno -12.2993 +plemen -12.2993 +heat -12.2994 +bala -12.2995 +▁frizer -12.2998 +▁Agro -12.2999 +▁permits -12.3001 +▁glup -12.3001 +▁doveden -12.3002 +▁kvalitetnog -12.3002 +▁NYC -12.3002 +▁populations -12.3002 +▁saznaju -12.3002 +Ke -12.3003 +▁Norman -12.3003 +▁prilaz -12.3004 +▁Bis -12.3004 +metnu -12.3004 +▁tehnologiji -12.3005 +▁vatrogasci -12.3005 +▁nationwide -12.3005 +▁zauzeo -12.3006 +▁Pobed -12.3006 +▁proširiti -12.3006 +▁attendance -12.3006 +▁offshore -12.3006 +▁Franc -12.3007 +radio -12.3007 +▁taxi -12.3008 +▁Nokia -12.3008 +▁popul -12.3008 +▁veterans -12.3008 +▁Thai -12.3008 +▁gosp -12.3009 +▁zalaže -12.3009 +▁vrti -12.3009 +▁Njujork -12.301 +▁kripto -12.301 +▁profesional -12.3011 +By -12.3011 +▁Cart -12.3011 +▁obilježi -12.3013 +▁proverava -12.3013 +▁reflected -12.3013 +▁odgaja -12.3013 +ovne -12.3013 +▁Velikog -12.3013 +▁uglu -12.3016 +dak -12.3016 +▁prodao -12.3017 +▁bilateral -12.3017 +▁epic -12.3018 +▁razvijanje -12.302 +▁okupljeni -12.302 +▁izmena -12.3021 +USA -12.3022 +▁preglede -12.3023 +OCK -12.3023 +▁Sali -12.3023 +▁Mississippi -12.3024 +▁delegacija -12.3024 +┼ -12.3024 +▁vaspitanja -12.3024 +▁buried -12.3024 +▁Poljska -12.3024 +▁Marshall -12.3024 +▁košarkaša -12.3024 +▁Imagine -12.3024 +▁135 -12.3024 +uza -12.3025 +▁namjeru -12.3025 +▁Zahval -12.3025 +▁vređa -12.3025 +▁vredan -12.3025 +▁studijski -12.3025 +▁Lost -12.3026 +▁burger -12.3026 +▁predloge -12.3027 +▁како -12.3027 +èa -12.3027 +▁examined -12.3027 +▁zadovoljstvom -12.3028 +▁bojom -12.3028 +▁Gab -12.3029 +UC -12.3029 +▁earning -12.3029 +▁executives -12.303 +▁Nekadašnj -12.303 +▁Est -12.303 +minded -12.303 +▁oduševljenje -12.3031 +▁assumed -12.3031 +▁prijavljeno -12.3031 +▁guided -12.3031 +▁preduzeti -12.3033 +text -12.3034 +▁closest -12.3034 +▁$15 -12.3035 +▁stolica -12.3035 +▁punk -12.3036 +▁bite -12.3036 +▁dobu -12.3037 +▁Ilija -12.3037 +▁soda -12.3039 +▁complain -12.3039 +▁ponedeljka -12.3043 +▁Gabriel -12.3043 +▁Građansk -12.3043 +▁sposoban -12.3043 +▁kameru -12.3043 +▁ovakvo -12.3043 +▁hrabri -12.3043 +▁Britanski -12.3043 +▁obuhvati -12.3043 +▁loyalty -12.3043 +▁implementaciju -12.3043 +▁valuta -12.3044 +▁Cisco -12.3044 +▁109 -12.3044 +▁â -12.3044 +štine -12.3044 +▁razmatranje -12.3044 +▁kamata -12.3044 +▁q -12.3044 +▁rije -12.3044 +▁prst -12.3045 +▁kontakte -12.3045 +▁Međunarodnom -12.3045 +DT -12.3045 +▁OVK -12.3046 +▁moderan -12.3046 +▁majstora -12.3046 +photo -12.3046 +▁triple -12.3047 +▁190 -12.3048 +▁zavise -12.3052 +▁štedn -12.3053 +dobojskog -12.3053 +▁Wedding -12.3054 +▁canvas -12.3054 +▁izdvojeno -12.3054 +▁attacked -12.3054 +▁odgovorne -12.3056 +▁smanje -12.3056 +▁disagree -12.3056 +▁Velež -12.3056 +▁novinarstvo -12.3057 +▁praktični -12.3059 +▁OV -12.3061 +▁nastupio -12.3062 +▁glavobolje -12.3062 +▁inspekcija -12.3062 +▁statistika -12.3062 +▁Oracle -12.3062 +▁prosvjed -12.3062 +▁uspešan -12.3062 +2013 -12.3062 +▁donijeli -12.3062 +▁praznike -12.3063 +▁Subotica -12.3063 +canja -12.3064 +▁sastao -12.3064 +▁Bugarska -12.3064 +▁tsp -12.3066 +chel -12.3066 +▁statue -12.3066 +gie -12.3067 +▁Srpskog -12.3067 +▁kratki -12.3067 +▁Command -12.3068 +▁genom -12.3069 +▁krupni -12.3069 +▁izabere -12.307 +▁Bh -12.3071 +▁Native -12.3072 +lend -12.3072 +▁nečega -12.3073 +▁scent -12.3073 +▁Laz -12.3073 +▁Dil -12.3074 +▁maksimalnu -12.3074 +▁1,3 -12.3075 +▁KR -12.3075 +▁Danijela -12.3076 +dded -12.3076 +▁Dnevnik -12.3078 +▁impuls -12.3078 +▁uvjet -12.3078 +LAZ -12.3078 +▁Articles -12.3079 +▁baka -12.308 +▁domenu -12.308 +▁Međunarodna -12.308 +▁Dig -12.3081 +▁Ražnatović -12.3081 +▁ponuđač -12.3081 +▁supervisor -12.3081 +▁Rijeke -12.3081 +▁kombinuje -12.3081 +▁cveće -12.3081 +▁muke -12.3081 +▁TM -12.3081 +▁izdaju -12.3082 +▁luci -12.3082 +▁Miletić -12.3082 +▁interesantni -12.3082 +▁sledeća -12.3082 +▁hvale -12.3083 +▁krađe -12.3083 +▁porastu -12.3083 +▁presa -12.3083 +▁sastanaka -12.3083 +▁ubedljivo -12.3084 +▁Warren -12.3085 +žnji -12.3085 +▁uživajte -12.3085 +▁Slobodna -12.3085 +▁unre -12.3086 +▁Biljana -12.3086 +▁nail -12.3087 +▁stala -12.3087 +hil -12.3087 +▁inclusive -12.3087 +▁leda -12.3087 +▁× -12.3088 +▁usvojio -12.3088 +▁Flight -12.3089 +Sub -12.3089 +tama -12.309 +-01 -12.309 +▁povući -12.309 +▁ви -12.3091 +▁unto -12.3091 +▁EURO -12.3091 +▁svinja -12.3092 +▁uspostavlja -12.3092 +▁condo -12.3092 +▁MORE -12.3093 +▁ispravi -12.3093 +▁građevinskih -12.3093 +▁2% -12.3096 +▁izneo -12.3096 +▁Nine -12.3097 +▁pomiri -12.3098 +▁pjesnik -12.3099 +▁dentist -12.3099 +▁mandatu -12.31 +▁Donalda -12.31 +▁cvijeće -12.31 +▁nesvakidašnj -12.31 +▁izaslanik -12.31 +▁Biznis -12.31 +▁uvršten -12.31 +▁obima -12.3101 +▁Eat -12.3101 +▁pojavile -12.3102 +▁strijelac -12.3102 +fti -12.3102 +▁Gradskom -12.3102 +▁odgovarajuću -12.3102 +▁instaliran -12.3105 +▁podseti -12.3107 +▁opor -12.3107 +▁kreativno -12.3109 +▁atraktivni -12.3109 +▁uložiti -12.311 +lyn -12.311 +▁Kulturno -12.311 +rađuje -12.311 +▁prekršaja -12.3112 +tičke -12.3112 +▁kritičar -12.3112 +▁Sjeverne -12.3113 +▁185 -12.3114 +▁funkcionera -12.3115 +▁nezvanično -12.3116 +▁Crni -12.3117 +▁stem -12.3117 +▁pregovaračk -12.3118 +▁utvrdio -12.3118 +▁Haiti -12.3119 +▁eventual -12.3119 +▁besplatnu -12.3119 +rki -12.3119 +▁odustati -12.3119 +▁ministrom -12.312 +▁sudbine -12.312 +▁Priština -12.312 +▁pješ -12.312 +▁zauvijek -12.3121 +▁ESPN -12.3121 +zzo -12.3121 +kloni -12.3121 +▁podjela -12.3122 +zali -12.3123 +▁potencijalnim -12.3123 +▁okean -12.3123 +▁Ostaje -12.3123 +▁obred -12.3124 +ksu -12.3124 +▁stiff -12.3124 +standing -12.3125 +ronic -12.3126 +▁sklop -12.3126 +▁sledećim -12.3127 +▁ubili -12.3127 +▁sinu -12.3127 +▁ovlašćenja -12.3128 +▁Servis -12.3128 +▁najčešći -12.3128 +▁preference -12.3129 +▁neočekivano -12.313 +▁Kata -12.313 +▁poljoprivredn -12.313 +▁dodijeljen -12.3131 +vnom -12.3132 +▁dopusti -12.3132 +▁institutional -12.3133 +▁suited -12.3133 +▁incorrect -12.3134 +▁teatra -12.3135 +▁Prijavite -12.3135 +jućeg -12.3135 +▁INTER -12.3135 +▁obrane -12.3136 +▁suše -12.3136 +▁prikazati -12.3136 +hawk -12.3136 +▁stekla -12.3136 +▁40- -12.3137 +▁momčadi -12.3137 +▁Milanu -12.3138 +▁pir -12.3138 +▁subvencije -12.3138 +▁Afganistan -12.3138 +▁Schedule -12.3138 +▁mališana -12.3138 +▁reliability -12.3138 +▁izolacije -12.3138 +▁iscrpljen -12.3138 +▁izraelski -12.3139 +▁1/3 -12.314 +▁čaše -12.314 +▁toplom -12.3141 +▁scenarij -12.3141 +▁postelji -12.3141 +▁Allow -12.3144 +▁nadležnost -12.3144 +▁bonds -12.3144 +▁popusti -12.3144 +▁članstva -12.3144 +▁RSE -12.3145 +▁skladištenje -12.3146 +▁treats -12.3146 +▁makro -12.3146 +▁jakim -12.3146 +▁željezničk -12.3147 +▁Bajram -12.3148 +▁paralelno -12.3148 +▁horn -12.3148 +tacije -12.3148 +▁transfera -12.3148 +▁nestalih -12.3149 +▁dobrovoljno -12.3149 +▁Sek -12.3151 +▁neat -12.3152 +▁dealt -12.3153 +ulator -12.3153 +AH -12.3154 +▁statusu -12.3154 +▁cease -12.3154 +▁mraz -12.3155 +▁Pazara -12.3155 +▁Zrenjaninu -12.3156 +▁Domaći -12.3157 +▁dolazili -12.3157 +▁koeficijent -12.3158 +▁mještani -12.3158 +▁ocenjuje -12.3158 +▁WhatsApp -12.3158 +▁estetski -12.3158 +▁orkestar -12.3158 +▁dugoročni -12.3158 +▁naprosto -12.3158 +▁shvate -12.3158 +▁Essay -12.3158 +rbe -12.3158 +▁asocijacija -12.3158 +▁Yahoo -12.3158 +▁hungry -12.3158 +▁ocenu -12.3159 +▁dubine -12.3159 +▁profita -12.3159 +▁dropping -12.3159 +▁prirodnu -12.316 +dnik -12.316 +▁inclusion -12.3161 +▁sopstvenog -12.3162 +▁mayor -12.3163 +▁већ -12.3163 +▁Virus -12.3163 +▁Regija -12.3164 +▁Move -12.3165 +▁ogromno -12.3165 +▁poznaju -12.3165 +▁Jedi -12.3165 +▁licenciran -12.3167 +▁Mono -12.3167 +▁podijeli -12.3168 +njivanje -12.3168 +▁romanu -12.3168 +ozo -12.3169 +▁ratnim -12.3169 +▁Mesi -12.317 +▁navijač -12.3171 +▁vanrednog -12.3171 +frame -12.3172 +lišta -12.3172 +▁Miljan -12.3173 +▁Tak -12.3173 +▁muške -12.3174 +▁farba -12.3175 +▁tumačenje -12.3175 +▁vocal -12.3175 +▁Environment -12.3176 +▁legally -12.3177 +▁konkurencija -12.3177 +▁hesitate -12.3177 +▁^ -12.3177 +▁Neil -12.3177 +▁zaustavljen -12.3177 +▁Heaven -12.3177 +▁Mold -12.3177 +▁razlikovati -12.3177 +▁Samuel -12.3177 +▁Jugoslavija -12.3178 +▁mikrofon -12.3178 +▁ovlasti -12.3178 +▁reporters -12.3178 +▁warming -12.3178 +▁google -12.3178 +▁upućeni -12.3178 +▁webinar -12.318 +▁har -12.318 +▁1962 -12.3181 +▁Rapid -12.3182 +igent -12.3182 +▁opterećen -12.3182 +▁formats -12.3182 +▁prijavili -12.3183 +ičnih -12.3183 +▁sporazumu -12.3184 +▁odlučeno -12.3184 +kića -12.3184 +▁Left -12.3185 +begov -12.3186 +zana -12.3187 +[/ -12.3189 +▁Aero -12.3189 +▁nemoguć -12.3189 +▁immigrants -12.319 +▁predstavljanja -12.319 +pool -12.319 +▁sportska -12.319 +▁naseljeno -12.3191 +▁ispali -12.3191 +▁glasom -12.3192 +▁listings -12.3192 +▁spasio -12.3192 +▁uračunat -12.3192 +▁vezama -12.3193 +▁aktera -12.3194 +▁Gradski -12.3195 +raf -12.3195 +script -12.3195 +čene -12.3195 +▁misliti -12.3196 +▁Kantonu -12.3196 +▁trošak -12.3197 +▁Murray -12.3197 +EO -12.3197 +▁divno -12.3197 +auer -12.3198 +▁rape -12.3198 +▁trunk -12.3198 +▁Spartak -12.3198 +INI -12.3199 +▁Ponos -12.3199 +▁primila -12.3199 +▁dopušta -12.3199 +▁thankful -12.32 +зе -12.32 +▁marry -12.3201 +NL -12.3201 +▁sukladno -12.3202 +▁Hin -12.3202 +▁izražen -12.3202 +moto -12.3203 +▁prone -12.3203 +▁zamjeni -12.3203 +buk -12.3203 +▁desila -12.3204 +▁Perry -12.3204 +▁odeće -12.3205 +▁Laser -12.3205 +▁najteži -12.3205 +▁cv -12.3206 +▁članicama -12.3206 +▁proteins -12.3207 +Euro -12.3208 +▁potpuna -12.3208 +▁fenomenaln -12.3209 +▁izvini -12.3211 +diplom -12.3212 +Bel -12.3212 +▁Kill -12.3212 +.2011. -12.3213 +ovane -12.3214 +▁izmeni -12.3214 +▁Stvarno -12.3214 +▁tray -12.3214 +▁adrenalin -12.3214 +▁adolescent -12.3216 +▁cosmetic -12.3216 +▁gospođa -12.3216 +▁obogaćen -12.3216 +▁građevine -12.3216 +▁Nevada -12.3216 +▁središtu -12.3216 +▁značajni -12.3216 +▁adventures -12.3217 +▁Makar -12.3217 +▁(5) -12.3218 +▁Storm -12.3218 +▁bolestima -12.3222 +▁mijenjaju -12.3222 +▁torn -12.3222 +▁prošlom -12.3222 +ektor -12.3223 +dila -12.3223 +▁vozače -12.3224 +▁sledećih -12.3224 +ility -12.3225 +▁executed -12.3225 +▁sačuvati -12.3225 +▁DŽ -12.3225 +▁bendova -12.3225 +▁Daj -12.3226 +▁snack -12.3226 +▁eventualne -12.3226 +▁predloži -12.3226 +:47 -12.3227 +3|| -12.3228 +▁Seks -12.3228 +▁opravdan -12.3229 +TION -12.3229 +▁Vista -12.3229 +???? -12.3229 +▁accepting -12.323 +▁izuzetne -12.323 +Auto -12.323 +▁tin -12.323 +▁Ny -12.3233 +▁revolucionar -12.3234 +/11 -12.3234 +▁kase -12.3235 +▁Bachelor -12.3235 +▁Netherlands -12.3235 +▁epidemiološke -12.3235 +▁Usually -12.3235 +▁Faith -12.3235 +▁hidrira -12.3235 +▁zoo -12.3235 +▁vođstvo -12.3235 +▁spokesman -12.3235 +▁zvanične -12.3235 +▁manifestaciju -12.3235 +▁Belgija -12.3235 +▁zaštitnik -12.3235 +▁lopov -12.3236 +▁Liberty -12.3236 +▁završeni -12.3236 +вање -12.3236 +STVO -12.3237 +▁attracted -12.3237 +▁(24 -12.3237 +▁poštansk -12.3237 +М -12.3238 +▁Ispred -12.3238 +Work -12.3238 +▁Budvi -12.3239 +rivanje -12.3239 +▁godišnjicu -12.3239 +▁spavati -12.3239 +lara -12.3239 +▁bother -12.3242 +гу -12.3243 +▁gosta -12.3244 +▁navedena -12.3244 +▁lately -12.3244 +▁praćenja -12.3244 +▁materijalno -12.3244 +▁našom -12.3245 +osi -12.3245 +▁ostav -12.3246 +▁sadašnji -12.3247 +ART -12.3248 +ceg -12.3248 +▁preseli -12.3249 +▁trenutaka -12.3249 +moran -12.3249 +▁Spark -12.325 +ženja -12.325 +▁toplote -12.3251 +elj -12.3252 +šena -12.3253 +▁ubedljiv -12.3253 +vnim -12.3253 +▁NT -12.3253 +▁employ -12.3253 +▁smijeh -12.3254 +▁maximize -12.3254 +▁jogurt -12.3254 +▁contributing -12.3254 +▁dedication -12.3254 +▁nedozvoljen -12.3254 +▁trbuh -12.3254 +▁koncerata -12.3254 +▁dijamant -12.3255 +▁Storage -12.3255 +▁razmislja -12.3255 +▁Twitteru -12.3255 +▁kidney -12.3255 +▁Depending -12.3255 +▁Ivanić -12.3255 +▁Stručn -12.3256 +▁panela -12.3256 +▁disciplinsk -12.3257 +osim -12.3258 +▁Gla -12.3259 +▁razboj -12.3259 +▁mogućem -12.3259 +:46 -12.326 +▁lord -12.326 +▁proteklog -12.326 +▁prosti -12.3261 +▁Potter -12.3261 +Col -12.3262 +▁nastupe -12.3263 +▁declare -12.3264 +▁automatsko -12.3265 +▁beogradskom -12.3265 +▁pustiti -12.3266 +:56 -12.3267 +▁kuda -12.3267 +▁službama -12.3267 +▁povjeren -12.3268 +▁scream -12.3269 +té -12.3269 +▁šampionata -12.327 +▁Dušana -12.3271 +▁zapisnik -12.3271 +kontrol -12.3272 +▁thesis -12.3273 +▁Caribbean -12.3274 +▁easiest -12.3274 +▁iTunes -12.3274 +▁refleks -12.3274 +bica -12.3274 +▁deciding -12.3275 +▁1,6 -12.3277 +▁rukovodilac -12.3277 +▁Naprotiv -12.3277 +▁fate -12.3277 +▁stays -12.3279 +▁Warner -12.3279 +▁pogorša -12.3279 +▁čuvenog -12.328 +▁univerzitetu -12.328 +▁sultan -12.328 +▁Borca -12.3282 +kupljanje -12.3283 +▁Expert -12.3283 +▁unutrašnji -12.3284 +▁japanski -12.3284 +▁prska -12.3284 +▁siromašni -12.3284 +▁otkriveno -12.3286 +▁statute -12.3286 +▁filters -12.3287 +▁mjesečn -12.3289 +▁masakr -12.329 +Tako -12.329 +▁radiation -12.329 +▁Edi -12.3291 +▁teče -12.3291 +▁subjekti -12.3292 +▁propada -12.3292 +:51 -12.3293 +▁zaboravili -12.3293 +▁delayed -12.3293 +▁ključnim -12.3293 +ifikacije -12.3293 +pokroviteljstvom -12.3293 +▁Holandije -12.3293 +▁Schmidt -12.3293 +▁djevojčice -12.3293 +▁tobacco -12.3293 +▁turizmu -12.3294 +▁ekonomskim -12.3294 +▁imuni -12.3294 +▁slani -12.3294 +▁pobednika -12.3295 +▁Krk -12.3295 +nstitut -12.3295 +▁Gill -12.3296 +▁Dubrovnik -12.3296 +▁creatures -12.3296 +▁HT -12.3297 +љу -12.3297 +▁Cab -12.3298 +▁pojedincima -12.3298 +▁Pastor -12.3299 +▁domaću -12.3299 +bbing -12.3301 +▁obilje -12.3302 +vaće -12.3304 +▁elektronski -12.3304 +▁divide -12.3305 +▁Smatram -12.3305 +▁štand -12.3305 +▁holy -12.3305 +▁Boys -12.3306 +▁iznenadi -12.3306 +▁Doug -12.3306 +▁Stri -12.3307 +▁beating -12.3308 +▁Mand -12.3309 +šna -12.331 +▁osnaži -12.331 +▁dekan -12.3311 +▁raznolik -12.3311 +NY -12.3312 +▁shield -12.3313 +▁jednostavne -12.3313 +▁Slobode -12.3313 +▁keywords -12.3313 +▁Campbell -12.3313 +▁potpiše -12.3313 +▁fleksibilnost -12.3313 +▁osu -12.3314 +▁UAE -12.3314 +▁susreće -12.3314 +▁Linda -12.3314 +▁Škola -12.3314 +▁priced -12.3315 +▁severno -12.3316 +ŠTE -12.3316 +:52 -12.3316 +▁viziju -12.3316 +▁Vlasnik -12.3316 +▁classical -12.3317 +▁hills -12.3317 +▁Organic -12.3318 +▁kadrova -12.3318 +▁zadr -12.3318 +▁fel -12.3318 +▁bjel -12.3319 +:54 -12.3319 +▁accidents -12.3319 +▁nomination -12.3319 +cijski -12.3319 +▁Indije -12.332 +▁polaznici -12.332 +▁occupation -12.3321 +▁informira -12.3321 +rij -12.3322 +▁beside -12.3322 +▁Rent -12.3322 +▁skine -12.3323 +▁prisutnih -12.3323 +▁ogledalo -12.3323 +▁snimi -12.3325 +author -12.3325 +VP -12.3326 +▁Pisa -12.3326 +▁tar -12.3326 +žljiv -12.3326 +▁zdravu -12.3327 +▁colored -12.3327 +saw -12.3327 +▁opere -12.3328 +▁obavezan -12.3328 +▁zdravih -12.3328 +▁0.5 -12.3329 +▁Crno -12.333 +ljom -12.3331 +super -12.3332 +▁collaborate -12.3332 +▁introducing -12.3332 +▁projekcije -12.3332 +▁БиХ -12.3332 +▁proc -12.3333 +▁dostignuća -12.3333 +Val -12.3333 +▁gubitke -12.3333 +▁bounce -12.3333 +▁karakteriše -12.3333 +▁hiking -12.3334 +cak -12.3334 +▁vulgarnog -12.3335 +▁Economics -12.3335 +▁Mental -12.3336 +ICI -12.3336 +▁pristupu -12.3336 +▁predati -12.3337 +++ -12.3337 +▁pobje -12.3337 +▁konzul -12.3337 +▁95% -12.3338 +pole -12.3338 +▁pogodi -12.3338 +sava -12.3339 +▁glasali -12.334 +▁variant -12.334 +▁krugova -12.334 +▁fails -12.3341 +parent -12.3341 +LR -12.3342 +▁Stand -12.3343 +▁besides -12.3343 +rance -12.3343 +▁repa -12.3344 +▁sledećeg -12.3344 +▁računu -12.3344 +▁Kenya -12.3344 +▁jedinicama -12.3345 +▁dokumenti -12.3345 +olit -12.3345 +▁honored -12.3345 +▁globalno -12.3346 +▁smjesti -12.3346 +▁muslimanima -12.3346 +▁trijumfa -12.3346 +▁wings -12.3347 +kart -12.3347 +▁Doc -12.3347 +▁postave -12.3347 +▁agro -12.3348 +Sl -12.3349 +▁AIDS -12.3349 +▁građanski -12.3349 +▁Profile -12.335 +▁zaustavio -12.335 +▁Kn -12.335 +▁SVET -12.335 +vukao -12.335 +More -12.3352 +▁Sveučilišta -12.3352 +▁Hronika -12.3352 +▁varijanti -12.3352 +▁peškir -12.3352 +▁hljeb -12.3352 +▁Baptist -12.3352 +▁nasleđe -12.3353 +▁kadrovsk -12.3353 +▁respected -12.3353 +▁prazan -12.3353 +су -12.3354 +▁udalji -12.3354 +konsult -12.3354 +▁legendary -12.3354 +▁reasonably -12.3354 +▁kontaktirajte -12.3355 +▁Lut -12.3355 +▁Bijelo -12.3355 +▁Sedam -12.3355 +▁koreograf -12.3356 +▁Pristup -12.3357 +▁Yoga -12.3357 +gone -12.3358 +▁Honda -12.3359 +CB -12.3361 +▁ograničenje -12.3361 +▁policijskog -12.3363 +oil -12.3363 +▁uvjeti -12.3364 +▁umanji -12.3364 +▁ranog -12.3367 +▁dealer -12.3367 +NJ -12.3367 +▁Domaćin -12.3367 +▁ključnu -12.3368 +MF -12.3369 +▁prihvate -12.3369 +▁mnogobrojne -12.3369 +▁320 -12.3369 +▁Nauka -12.337 +▁konver -12.337 +▁borac -12.337 +▁seniors -12.337 +kap -12.337 +▁uzimanja -12.3371 +▁ekskluzivno -12.3371 +▁celebrating -12.3372 +▁konsenzus -12.3372 +▁ozbiljnu -12.3372 +▁avantura -12.3372 +▁warehouse -12.3372 +▁PROGRAM -12.3372 +▁bob -12.3372 +vlačenje -12.3372 +▁sudovima -12.3372 +▁spore -12.3372 +▁zima -12.3373 +▁WW -12.3374 +▁zamišlja -12.3374 +▁nameštaj -12.3375 +▁cater -12.3375 +▁Kinu -12.3375 +nesi -12.3375 +▁prstiju -12.3376 +▁premijerka -12.3377 +Službeni -12.3378 +▁pogledao -12.3378 +story -12.3379 +▁kreiran -12.3379 +este -12.338 +Just -12.338 +▁Sportski -12.338 +▁školski -12.3382 +▁poredak -12.3382 +▁Vranju -12.3382 +▁bran -12.3383 +▁iznenađen -12.3383 +▁uveća -12.3383 +cenja -12.3383 +▁bijes -12.3384 +▁Londona -12.3384 +▁propose -12.3384 +▁belonging -12.3384 +▁doživio -12.3384 +▁Zeleni -12.3385 +▁gaining -12.3386 +▁sliv -12.3386 +▁tradicionalnih -12.3387 +ilu -12.3387 +▁favorites -12.3387 +▁pso -12.3387 +▁dolaskom -12.3388 +0.0 -12.3389 +▁investor -12.3389 +Some -12.3389 +▁Solid -12.339 +▁nastavljen -12.339 +▁Njegovi -12.3391 +vršava -12.3391 +▁Located -12.3391 +▁holivudsk -12.3391 +▁obezbeđuju -12.3391 +▁odabrali -12.3391 +▁Jusuf -12.3391 +▁šetnje -12.3391 +▁žrtvu -12.3391 +▁zadobio -12.3391 +▁unlimited -12.3392 +▁Federation -12.3392 +det -12.3392 +▁solidarnost -12.3395 +▁attractions -12.3396 +▁suggesting -12.3396 +▁srednji -12.3396 +▁Pavla -12.3397 +▁Knez -12.3397 +▁konačni -12.3397 +▁Zaklju -12.3398 +ničkih -12.3398 +▁1986 -12.3399 +▁postojećeg -12.3399 +cini -12.34 +▁migration -12.34 +bek -12.34 +▁malina -12.34 +ATION -12.3401 +▁obalu -12.3402 +▁Poljoprivredn -12.3402 +▁osnovnoj -12.3403 +▁Eks -12.3403 +menata -12.3404 +anić -12.3404 +▁dugog -12.3405 +▁Carr -12.3405 +SAD -12.3406 +wash -12.3406 +kida -12.3406 +▁oversee -12.3407 +▁ruža -12.3407 +Više -12.3407 +▁Dizajn -12.3409 +baj -12.3409 +▁squeeze -12.3411 +▁PayPal -12.3411 +ljavanje -12.3412 +▁Dennis -12.3412 +▁sisa -12.3412 +▁gospodarstva -12.3413 +▁milosti -12.3413 +ČA -12.3414 +lični -12.3414 +▁komitet -12.3414 +▁prijavljeni -12.3415 +▁ovogodišnjem -12.3415 +/15 -12.3416 +▁promotivn -12.3416 +▁RC -12.3417 +▁regionalnih -12.3417 +▁njemačkog -12.3417 +rim -12.3417 +▁Jah -12.3418 +▁sestara -12.3418 +Put -12.3418 +▁emotion -12.3418 +▁sledećem -12.342 +▁lava -12.342 +radjen -12.342 +lež -12.3421 +▁masovni -12.3421 +▁šumi -12.3421 +▁Europa -12.3421 +▁RM -12.3421 +▁krova -12.3422 +▁WHO -12.3422 +▁kolica -12.3422 +▁candy -12.3422 +▁Olimp -12.3423 +▁instructor -12.3423 +izovano -12.3424 +quet -12.3425 +▁odabira -12.3425 +▁Arabia -12.3425 +▁newspapers -12.3427 +▁stavljanje -12.3427 +ckog -12.3427 +▁druže -12.3428 +▁svježe -12.3428 +▁Dubrav -12.3429 +▁steril -12.343 +▁dijalogu -12.343 +▁Dunava -12.343 +▁bolovi -12.343 +▁konkurenciju -12.3431 +▁podstiču -12.3431 +▁Ukratko -12.3431 +▁unnecessary -12.3431 +▁governance -12.3431 +▁ukrašen -12.3431 +▁albanski -12.3431 +▁4.000 -12.3431 +▁demokratski -12.3432 +▁200.000 -12.3432 +▁Kanadi -12.3432 +▁uzmu -12.3433 +▁boats -12.3434 +ifier -12.3434 +▁zahvalni -12.3434 +▁bašte -12.3435 +▁plato -12.3435 +▁rje -12.3435 +▁Komp -12.3436 +▁obučen -12.3436 +backs -12.3437 +▁obavještajn -12.3437 +▁Physical -12.3437 +trud -12.3437 +▁ubijeni -12.3439 +▁dodavanje -12.3441 +erima -12.3443 +▁kupanje -12.3443 +▁predstav -12.3443 +▁directory -12.3444 +mmers -12.3445 +13. -12.3445 +WE -12.3446 +▁treningu -12.3446 +njavanje -12.3446 +soban -12.3448 +▁Brothers -12.3448 +▁seventh -12.3449 +▁mate -12.3449 +▁prikazana -12.345 +▁učiti -12.345 +▁distribuira -12.3451 +▁kašičice -12.3451 +▁architectural -12.3451 +▁dvostruki -12.3451 +▁spremne -12.3451 +▁Đu -12.3451 +▁Preporuke -12.3451 +▁specijalnih -12.3451 +▁uravnotežen -12.3451 +▁Beogradski -12.3451 +▁uznemirava -12.3452 +tarian -12.3452 +▁punishment -12.3452 +▁upriličen -12.3452 +▁pravilnik -12.3452 +▁počevši -12.3453 +:04 -12.3453 +▁zbirke -12.3453 +▁secrets -12.3454 +▁izravno -12.3454 +▁elderly -12.3454 +▁Ground -12.3454 +▁KL -12.3454 +▁Terry -12.3455 +▁zagovara -12.3455 +▁medicina -12.3455 +▁Porodica -12.3456 +▁Spar -12.3456 +▁pitanjem -12.3456 +nox -12.3457 +▁Nobelov -12.3457 +▁debljine -12.3458 +▁braniti -12.3458 +▁allegedly -12.3459 +▁informisanje -12.346 +LP -12.346 +▁industrijski -12.346 +▁zahval -12.346 +▁colorful -12.3461 +▁Detaljnije -12.3461 +▁airline -12.3463 +još -12.3463 +:42 -12.3464 +▁osiguran -12.3464 +▁Amin -12.3464 +▁Chen -12.3464 +čet -12.3465 +▁scenarist -12.3466 +▁slušati -12.3466 +▁razine -12.3467 +▁Foot -12.3467 +▁Loss -12.3467 +▁Svjetsko -12.3467 +▁Fisher -12.3467 +pored -12.3468 +▁pročitao -12.3469 +etta -12.3469 +▁globalnog -12.347 +▁prost -12.347 +▁najefikasniji -12.347 +▁evropsku -12.347 +▁Yellow -12.347 +▁Ris -12.347 +▁suradnje -12.3471 +▁Tokiju -12.3471 +▁Murphy -12.3471 +▁premda -12.3471 +▁independently -12.3472 +▁Žao -12.3472 +▁koraku -12.3473 +▁dub -12.3474 +▁zabrinuti -12.3474 +▁Install -12.3475 +▁Ronald -12.3475 +▁landed -12.3477 +▁legislative -12.3477 +ска -12.3477 +▁svjedoci -12.3478 +▁sprečiti -12.3478 +▁planirani -12.3479 +▁notification -12.3479 +▁četvrt -12.3479 +iser -12.348 +▁Omar -12.348 +▁cigar -12.3481 +seče -12.3482 +▁najvišim -12.3482 +▁barrier -12.3483 +▁mišićima -12.3483 +▁pomi -12.3483 +▁istočno -12.3483 +▁različito -12.3485 +štit -12.3485 +▁Alpha -12.3486 +▁CAN -12.3486 +▁EA -12.3487 +▁Lind -12.3487 +▁relevantnim -12.3487 +▁Links -12.3488 +▁predavač -12.3488 +▁lyrics -12.3489 +▁ekonomiji -12.349 +▁komponenta -12.349 +▁zvezdu -12.349 +MT -12.349 +▁generaciju -12.349 +▁korisna -12.3491 +▁ogorčen -12.3491 +▁Wireless -12.3491 +▁prijatelju -12.3491 +▁zalihe -12.3492 +▁dodavši -12.3492 +▁snimka -12.3492 +▁izuzev -12.3492 +▁Strategy -12.3493 +▁jagoda -12.3493 +▁partial -12.3494 +▁rings -12.3494 +▁satelit -12.3494 +ografski -12.3494 +▁stradanja -12.3495 +▁pillow -12.3496 +▁nežno -12.3497 +▁struggled -12.3497 +▁korisnički -12.3498 +cic -12.3498 +▁išlo -12.3498 +roy -12.3498 +▁Worth -12.3499 +▁variables -12.3499 +▁prilogu -12.35 +▁nasilno -12.35 +▁vjernici -12.35 +paid -12.35 +TB -12.3501 +▁terrorist -12.3501 +▁srušio -12.3503 +gora -12.3503 +biz -12.3503 +though -12.3504 +▁razmene -12.3504 +▁pisani -12.3504 +▁Tih -12.3505 +▁Vrš -12.3505 +▁Lev -12.3505 +▁djelovati -12.3507 +▁izgraditi -12.3507 +▁tactics -12.3508 +ševi -12.3509 +▁prevenciji -12.351 +▁tehniku -12.351 +▁povredu -12.351 +pustite -12.351 +▁dvorišta -12.3511 +▁izdržljivost -12.3511 +Part -12.3511 +▁stipendija -12.3511 +▁gostovanje -12.3511 +▁rope -12.3512 +▁masiv -12.3512 +▁uzrokovati -12.3512 +etić -12.3512 +pisivanje -12.3512 +▁trep -12.3513 +▁podešavanja -12.3513 +▁Р -12.3513 +bela -12.3514 +▁lifting -12.3514 +white -12.3514 +raslo -12.3514 +▁radionici -12.3516 +▁Ко -12.3516 +▁Draga -12.3517 +▁Povr -12.3517 +▁značenja -12.3518 +▁iskusi -12.3521 +živi -12.3521 +▁Bijeljine -12.3521 +tral -12.3522 +▁svojstvu -12.3522 +▁čoveku -12.3523 +▁tourists -12.3525 +▁prsta -12.3525 +gib -12.3525 +▁mami -12.3525 +▁sačinjen -12.3527 +▁Sche -12.3527 +▁Baru -12.3528 +▁odbije -12.3528 +Posle -12.353 +vlak -12.353 +▁pogotka -12.353 +▁provokacij -12.353 +▁tegobe -12.353 +▁Ful -12.353 +▁suradnju -12.353 +▁promenljiv -12.353 +▁surf -12.353 +▁izvanredno -12.3531 +▁ostataka -12.3531 +▁popraviti -12.3531 +▁otkrića -12.3531 +AI -12.3532 +▁float -12.3532 +▁тако -12.3533 +▁centralni -12.3533 +▁regarded -12.3533 +▁okrugu -12.3533 +▁grades -12.3533 +▁fool -12.3533 +▁Rah -12.3533 +▁ulasku -12.3533 +▁therapeutic -12.3534 +trlja -12.3535 +▁odgovorili -12.3537 +▁poveo -12.3537 +▁buzz -12.3538 +rili -12.3538 +▁upravljaju -12.3538 +▁opušten -12.3538 +:41 -12.354 +▁educate -12.354 +▁kapa -12.354 +▁eksperimentaln -12.354 +STI -12.3541 +▁Crown -12.3541 +▁Build -12.3542 +cost -12.3543 +▁pouzdano -12.3543 +▁jeftinije -12.3543 +▁Iva -12.3545 +▁Spot -12.3545 +▁Memo -12.3545 +▁promenila -12.3546 +▁niži -12.3547 +▁conditioning -12.3547 +▁stall -12.3547 +tner -12.3548 +▁supportive -12.3549 +▁Around -12.355 +▁željama -12.355 +▁Knowledge -12.355 +▁tragedija -12.355 +▁bargain -12.355 +▁računaru -12.355 +▁poništi -12.355 +čići -12.355 +▁diplomata -12.3551 +▁svetog -12.3551 +▁mice -12.3552 +▁držali -12.3552 +▁Lot -12.3552 +▁attributes -12.3552 +food -12.3552 +gul -12.3553 +▁Džonson -12.3553 +ити -12.3554 +▁posvetio -12.3555 +▁Mlad -12.3555 +▁Opć -12.3555 +▁Aleks -12.3556 +▁appealing -12.3557 +▁dairy -12.3557 +gine -12.3557 +Mal -12.3558 +▁preostalih -12.3558 +▁Sie -12.356 +▁Muz -12.356 +▁sprej -12.3561 +▁blocked -12.3561 +brow -12.3562 +6,000 -12.3562 +▁Intera -12.3562 +▁nekima -12.3564 +▁chin -12.3564 +▁inspektora -12.3564 +▁interesi -12.3566 +▁kćerka -12.3567 +▁dolazimo -12.3568 +▁ljubitelj -12.3568 +▁spine -12.357 +▁cognitive -12.357 +▁haljine -12.357 +▁konvencionaln -12.357 +▁naplaćuje -12.357 +▁sofisticiran -12.357 +▁Prodaja -12.357 +▁Susret -12.357 +▁prehrani -12.357 +▁svestan -12.3571 +▁apsolutni -12.3571 +▁relatives -12.3571 +▁dvorane -12.3571 +▁dostojanstvo -12.3571 +▁prenosa -12.3571 +▁prince -12.3572 +▁2.2 -12.3573 +▁prelazu -12.3574 +▁doneli -12.3574 +▁tajnu -12.3574 +poznat -12.3574 +▁scared -12.3575 +▁Julie -12.3575 +tani -12.3575 +▁islands -12.3575 +▁adjusted -12.3575 +▁Minimal -12.3576 +▁brzu -12.3577 +▁doživi -12.3578 +▁oslobođenja -12.3578 +Mr -12.358 +▁prizes -12.358 +▁osigurali -12.3581 +▁admin -12.3581 +▁electronics -12.3582 +▁Alma -12.3583 +▁welcomed -12.3583 +▁upravljač -12.3583 +▁tends -12.3583 +▁gornjem -12.3584 +▁kandidatima -12.3584 +▁tadašnjeg -12.3585 +▁variation -12.3585 +▁Meli -12.3585 +Plan -12.3587 +▁Ista -12.3587 +▁Barry -12.3587 +▁berzi -12.3588 +▁Ambasade -12.359 +▁Barselone -12.359 +▁doprinese -12.359 +▁phenomenon -12.359 +▁transparency -12.359 +▁cvijet -12.359 +▁uvrede -12.359 +▁čuven -12.3591 +▁svrab -12.3591 +▁iskorak -12.3591 +▁crnom -12.3591 +▁Kolašin -12.3591 +▁kancelariji -12.3592 +▁gurnu -12.3592 +▁školskog -12.3592 +▁utječe -12.3592 +▁služiti -12.3593 +dder -12.3593 +▁plač -12.3594 +depth -12.3595 +▁prepis -12.3595 +▁Regulation -12.3596 +STR -12.3596 +vremena -12.3597 +▁postupci -12.3598 +▁moderno -12.3598 +▁zlatno -12.3599 +▁sensors -12.36 +▁marina -12.36 +▁građanskog -12.36 +▁Podrška -12.36 +▁kulturnim -12.3601 +▁odrasta -12.3601 +piju -12.3602 +hibi -12.3602 +▁Republičk -12.3603 +▁sproveden -12.3603 +▁Banje -12.3604 +▁XL -12.3605 +▁dimension -12.3605 +▁zaposlenika -12.3605 +laženje -12.3605 +his -12.3606 +▁stambeni -12.3606 +▁Opel -12.3606 +▁najpo -12.3607 +▁izbeglica -12.3607 +▁Marco -12.3607 +▁urednika -12.3607 +▁sluz -12.3607 +nap -12.3608 +2006 -12.3609 +▁чи -12.3609 +acionog -12.3609 +šite -12.3609 +▁MT -12.3609 +▁agresivni -12.361 +▁poslednjoj -12.361 +▁muzikom -12.361 +▁Leskovca -12.361 +▁kolima -12.3611 +▁aplauz -12.3611 +▁posade -12.3611 +▁semena -12.3612 +▁bitcoin -12.3612 +▁aplikacijama -12.3614 +▁visitor -12.3615 +▁Johnny -12.3615 +vači -12.3615 +ovito -12.3616 +▁likovnih -12.3616 +▁predviđene -12.3616 +▁thrilled -12.3616 +▁mršav -12.3616 +▁zakonskim -12.3617 +▁brinuti -12.3617 +▁Hram -12.3617 +auto -12.3617 +▁Б -12.3618 +▁potrudi -12.3618 +obu -12.3619 +▁hobi -12.3619 +▁Uspe -12.3619 +▁disciplina -12.362 +▁Fig -12.362 +▁zaliha -12.362 +▁juri -12.3622 +▁snažni -12.3622 +▁plum -12.3622 +▁AMD -12.3623 +▁mladu -12.3623 +▁sportom -12.3623 +▁homework -12.3623 +9.99 -12.3623 +fom -12.3623 +▁izdvoji -12.3624 +▁okruž -12.3624 +▁kule -12.3624 +zove -12.3626 +▁shi -12.3626 +▁dosadašnji -12.3626 +▁kvalitetni -12.3628 +▁pomoci -12.3628 +▁650 -12.363 +▁Krizno -12.363 +▁Privacy -12.3631 +▁raznovrsni -12.3631 +▁Climate -12.3631 +▁Uhapšen -12.3631 +▁zlatnu -12.3631 +▁consistency -12.3631 +▁Outdoor -12.3631 +▁Montreal -12.3631 +▁Registration -12.3631 +▁obišao -12.3631 +▁višim -12.3631 +▁priorities -12.3632 +▁Pariza -12.3632 +▁pretvoriti -12.3632 +▁Merc -12.3634 +▁repertoar -12.3634 +▁osvrt -12.3635 +▁bazenu -12.3635 +▁crnu -12.3635 +▁Wave -12.3635 +▁Buk -12.3635 +▁Prijedoru -12.3635 +▁Svjetski -12.3635 +▁smrtno -12.3636 +▁vije -12.3636 +▁koliki -12.3636 +▁vili -12.3637 +▁Bright -12.3637 +▁1987 -12.3637 +prija -12.3638 +anga -12.3638 +▁magazines -12.3639 +▁mlado -12.3639 +▁Package -12.3639 +radite -12.364 +▁Refer -12.364 +▁nowhere -12.364 +▁dobićete -12.3641 +▁Svake -12.3642 +▁waited -12.3642 +▁raspon -12.3643 +▁Peking -12.3643 +▁krvne -12.3645 +▁usvaja -12.3647 +ĉ -12.3647 +▁Lit -12.3647 +▁sjeverno -12.3647 +▁notable -12.3647 +▁toliki -12.3648 +▁TS -12.3648 +▁catalog -12.3649 +▁pridružio -12.3649 +▁Ej -12.3649 +zd -12.3649 +▁uspješan -12.365 +▁Birmingham -12.3651 +▁Najnoviji -12.3651 +▁suprotstavi -12.3651 +▁njemačke -12.3651 +▁blag -12.3651 +▁zaostal -12.3651 +▁štetne -12.3651 +▁konce -12.3651 +▁preporuku -12.3652 +▁consciousness -12.3652 +▁unosa -12.3652 +▁Teen -12.3653 +▁Jelene -12.3654 +▁okrenuo -12.3655 +▁Са -12.3655 +▁15.000 -12.3655 +▁aktuelnog -12.3655 +▁modernim -12.3655 +▁posjetioce -12.3656 +▁Rest -12.3656 +▁gameplay -12.3656 +▁vatri -12.3656 +▁challenged -12.3658 +▁ĉ -12.3659 +▁Grub -12.3659 +▁odlaganja -12.3659 +izirati -12.366 +▁Kraljevine -12.3661 +▁он -12.3661 +▁uši -12.3662 +▁Boj -12.3662 +▁izaberete -12.3662 +▁vijeku -12.3663 +phe -12.3663 +▁ponašaju -12.3664 +▁planinar -12.3664 +▁physicians -12.3665 +▁Šam -12.3665 +▁accurately -12.3665 +cijske -12.3665 +▁Klas -12.3666 +llie -12.3666 +▁hid -12.3667 +SKOG -12.3667 +▁Clinic -12.3668 +▁venča -12.3669 +▁lad -12.3669 +▁dečko -12.367 +▁sake -12.367 +▁Abraham -12.3671 +▁Obzirom -12.3671 +▁navigation -12.3671 +▁Uskrs -12.3671 +lično -12.3671 +▁mobility -12.3671 +▁Snežana -12.3671 +▁Socijaldemokrat -12.3672 +▁puši -12.3672 +▁utrke -12.3672 +▁Studios -12.3672 +▁jedinstveno -12.3672 +▁Blues -12.3672 +▁generacijama -12.3673 +▁pobjednika -12.3674 +licom -12.3674 +ject -12.3674 +▁Voditelj -12.3675 +▁internationally -12.3675 +icije -12.3675 +▁quoted -12.3675 +▁rektor -12.3676 +rasla -12.3676 +▁proračuna -12.3676 +▁closet -12.3676 +guš -12.368 +:49 -12.368 +▁eur -12.368 +▁rukav -12.3681 +▁weigh -12.3681 +▁convince -12.3681 +kript -12.3681 +▁constitutional -12.3682 +▁socijal -12.3682 +▁Srem -12.3684 +ljni -12.3686 +▁uzrokuju -12.3686 +chet -12.3686 +▁napustila -12.3688 +▁klubove -12.3688 +▁Meg -12.3689 +▁Moli -12.3689 +▁hitnu -12.3689 +▁nurses -12.369 +▁selecting -12.369 +nco -12.3691 +▁highlighted -12.3691 +anima -12.3691 +ANCE -12.3691 +▁Usluge -12.3691 +▁italijanske -12.3691 +▁Gradiška -12.3691 +▁Junajted -12.3691 +▁naseljima -12.3691 +▁Louisiana -12.3691 +▁Nastavak -12.3691 +▁srećom -12.3692 +zg -12.3692 +▁5) -12.3692 +▁dramatically -12.3692 +▁bočn -12.3692 +LES -12.3692 +▁Novaković -12.3692 +▁promovisan -12.3692 +▁pameti -12.3692 +von -12.3693 +▁mrtva -12.3693 +ZU -12.3693 +▁Бо -12.3693 +▁vodeće -12.3693 +▁biciklističk -12.3694 +▁Visokog -12.3695 +▁valued -12.3695 +▁Category -12.3695 +▁templates -12.3696 +▁thy -12.3696 +ogen -12.3696 +▁Islands -12.3696 +loš -12.3697 +science -12.3697 +▁putovanju -12.3698 +▁uniju -12.3698 +▁4.5 -12.3699 +▁uzroci -12.3699 +▁umanjen -12.37 +▁svakome -12.3701 +miri -12.3701 +æa -12.3702 +▁roze -12.3702 +rnih -12.3703 +rstvu -12.3703 +▁Nutrition -12.3706 +▁povećao -12.3706 +▁Lepo -12.3707 +▁divlja -12.3708 +▁tags -12.3708 +▁povratne -12.3708 +▁Termin -12.371 +▁pročitate -12.3711 +▁križa -12.3711 +▁hranjiv -12.3712 +ه -12.3712 +▁thermal -12.3712 +▁Boot -12.3712 +▁nepokretnosti -12.3713 +▁Misli -12.3713 +▁Vuj -12.3713 +HC -12.3715 +▁STAR -12.3716 +▁Pruža -12.3716 +lozima -12.3716 +▁Ističe -12.3717 +▁bucket -12.3717 +110 -12.3718 +▁Stavit -12.3718 +▁sadnica -12.3719 +▁Parlamentarne -12.3719 +▁touched -12.372 +▁Sina -12.3721 +▁slušaju -12.3722 +▁nižim -12.3722 +▁Navi -12.3723 +prva -12.3723 +▁snijega -12.3725 +cky -12.3725 +ifikovan -12.3726 +▁divlji -12.3726 +▁izvući -12.3726 +▁courage -12.3727 +▁namjere -12.3727 +▁Tanja -12.3728 +AKA -12.3728 +▁linka -12.3729 +rail -12.373 +▁flot -12.373 +dvor -12.3731 +▁točka -12.3731 +▁pojede -12.3731 +▁Dolazi -12.3732 +▁Lazarević -12.3732 +▁anonymous -12.3732 +▁Amendment -12.3732 +▁nezavisne -12.3732 +TIN -12.3732 +▁sinonim -12.3732 +▁Sit -12.3732 +girl -12.3733 +nijem -12.3733 +▁berza -12.3734 +▁Široki -12.3734 +▁separately -12.3734 +▁reel -12.3735 +▁imaging -12.3736 +▁cheek -12.3738 +▁complexity -12.3738 +▁materice -12.3738 +▁dimensions -12.3739 +▁tutor -12.3739 +▁subsequently -12.374 +▁klimatske -12.374 +▁gledanja -12.3741 +ljenih -12.3741 +▁ста -12.3742 +▁kosovski -12.3742 +▁1.8 -12.3742 +▁UKC -12.3743 +▁Milovanović -12.3743 +kha -12.3744 +▁knees -12.3747 +▁slabost -12.3747 +▁pružili -12.3747 +▁vegetable -12.3748 +▁Maha -12.3748 +▁hung -12.3749 +dobro -12.3749 +▁ال -12.375 +šne -12.375 +▁jedinicu -12.375 +▁skuplje -12.3751 +▁Communication -12.3751 +▁predicted -12.3752 +▁Kraljevsk -12.3752 +▁proizvođačima -12.3752 +ë -12.3752 +▁asistencije -12.3752 +▁amenities -12.3752 +▁odustane -12.3753 +▁optužnicu -12.3753 +čast -12.3753 +▁grejanja -12.3753 +▁Svetlana -12.3753 +▁bloger -12.3753 +▁uncertainty -12.3753 +▁Fotografije -12.3753 +▁proklet -12.3754 +BAN -12.3754 +▁zadržavanja -12.3754 +▁Camera -12.3755 +▁pobijedi -12.3755 +▁VIJESTI -12.3755 +LAR -12.3755 +nker -12.3756 +▁Tviter -12.3756 +▁širem -12.3756 +▁Jet -12.3756 +▁Leonard -12.3757 +▁uzrastu -12.3758 +▁letnji -12.3758 +▁isplata -12.3758 +▁četvrta -12.3758 +▁Bomb -12.3758 +stad -12.3758 +▁grows -12.3759 +brand -12.3759 +▁nacionalnoj -12.3759 +▁blender -12.3759 +▁retkih -12.376 +▁vizual -12.3761 +▁Šal -12.3762 +▁Million -12.3762 +install -12.3762 +▁padu -12.3762 +▁collapse -12.3763 +isalo -12.3763 +činu -12.3763 +▁vratim -12.3763 +▁Korisnik -12.3763 +ELA -12.3764 +▁Starting -12.3764 +▁omjer -12.3764 +▁primjeni -12.3764 +▁bulb -12.3765 +▁picks -12.3765 +▁dočekao -12.3765 +▁predstojeće -12.3765 +▁signala -12.3766 +ANS -12.3766 +1.1 -12.3766 +▁sensation -12.3766 +▁Matija -12.3767 +▁prints -12.3767 +▁zabrinjava -12.3768 +▁smiled -12.3768 +▁drone -12.3769 +▁vojnik -12.3769 +▁stu -12.3769 +▁napetosti -12.3769 +▁potpisala -12.3769 +▁Šarić -12.377 +▁basement -12.377 +▁gledala -12.3771 +▁installing -12.3771 +NICE -12.3771 +▁zaljubi -12.3771 +▁vuče -12.3773 +▁preliminarn -12.3773 +▁6:3 -12.3773 +▁proslava -12.3773 +▁tribute -12.3773 +▁bikes -12.3773 +▁DV -12.3773 +▁manifestaciji -12.3773 +▁editorial -12.3773 +Energ -12.3774 +▁fitnes -12.3774 +▁tvog -12.3774 +▁Ridge -12.3775 +▁Jamie -12.3775 +▁CPU -12.3775 +▁Nezavisn -12.3775 +▁afterwards -12.3775 +▁partnerstvu -12.3777 +▁zapadni -12.3777 +▁parazit -12.3777 +▁1963 -12.3777 +▁kliničk -12.3778 +▁Lion -12.378 +Day -12.378 +▁glance -12.3781 +▁priprav -12.3781 +▁Less -12.3781 +▁napisali -12.3781 +▁specijalista -12.3781 +alter -12.3782 +▁zahvat -12.3782 +jeća -12.3783 +▁firmly -12.3783 +▁farming -12.3784 +▁zajedničkoj -12.3784 +▁inhibitor -12.3784 +▁namera -12.3785 +▁Luc -12.3785 +▁Deo -12.3785 +nix -12.3785 +tier -12.3785 +▁koraci -12.3786 +▁winds -12.3786 +▁Ф -12.3786 +▁medu -12.3787 +▁održanom -12.3788 +▁Bass -12.3789 +▁organizovane -12.3789 +▁natjera -12.3789 +▁CU -12.379 +▁rješava -12.379 +▁potvrđena -12.379 +▁costume -12.3792 +EVA -12.3792 +▁Apartman -12.3792 +▁shocked -12.3792 +xx -12.3793 +▁Citizen -12.3793 +▁inflacije -12.3793 +▁neuspeh -12.3793 +▁orientation -12.3793 +▁policajca -12.3793 +▁privatizacije -12.3793 +▁vinyl -12.3793 +▁oznake -12.3793 +▁pursuit -12.3794 +▁funkcionišu -12.3794 +▁platno -12.3794 +▁pravnu -12.3794 +▁Cruise -12.3794 +▁mirni -12.3794 +▁Tyler -12.3795 +▁sednice -12.3795 +▁Rai -12.3795 +▁Ian -12.3795 +traži -12.3796 +▁planinama -12.3796 +▁explaining -12.3796 +prez -12.3796 +▁copper -12.3796 +exp -12.3797 +▁cesta -12.3797 +▁globally -12.3798 +▁boljih -12.3798 +▁Navodno -12.3799 +▁Comm -12.3799 +▁Strah -12.3799 +Vis -12.3799 +toliko -12.38 +▁utvrdila -12.3801 +▁deploy -12.3801 +▁chunk -12.3801 +▁Severn -12.3802 +▁snove -12.3803 +▁Pav -12.3804 +▁sportisti -12.3804 +▁odlu -12.3808 +▁vera -12.3808 +▁Nave -12.3809 +▁savjete -12.3809 +▁transformed -12.3809 +▁corporation -12.3809 +▁Muslims -12.3809 +▁nepoznat -12.381 +▁vještač -12.381 +▁fakt -12.3812 +▁loyal -12.3813 +▁Glad -12.3813 +▁imovinsk -12.3814 +▁Bratislav -12.3814 +▁adekvatan -12.3814 +▁gvožđa -12.3814 +▁četvrtfinalu -12.3814 +▁Different -12.3814 +▁dječje -12.3814 +▁ohrabri -12.3814 +▁kulturna -12.3814 +▁aplikaciji -12.3814 +▁lover -12.3814 +▁pokvari -12.3814 +▁kompletna -12.3814 +vukla -12.3815 +▁omiljenih -12.3815 +▁prihvaća -12.3815 +▁sculpture -12.3815 +▁Ghost -12.3816 +▁glasati -12.3816 +▁funkcioner -12.3816 +zanje -12.3817 +▁slanja -12.3817 +:48 -12.3818 +▁izvršila -12.3818 +ји -12.3819 +▁Todd -12.3819 +▁komunikacijsk -12.3819 +▁dragon -12.382 +▁živeo -12.3822 +▁Loan -12.3822 +▁lična -12.3823 +▁renoviran -12.3825 +▁resursima -12.3826 +▁hood -12.3826 +kica -12.3827 +▁prirodnom -12.383 +đene -12.383 +▁bundle -12.3831 +▁Baz -12.3831 +▁amid -12.3831 +▁vagi -12.3832 +▁attraction -12.3832 +▁Mobil -12.3833 +▁scam -12.3833 +▁reads -12.3833 +▁uklonjen -12.3833 +▁dobijanja -12.3834 +▁Therapy -12.3835 +▁koordinira -12.3835 +▁contrary -12.3835 +▁zemljištu -12.3837 +▁steroid -12.3837 +▁shelf -12.3838 +▁obole -12.3838 +▁protesti -12.384 +▁lani -12.384 +▁Kijev -12.3841 +▁favorita -12.3841 +▁oku -12.3842 +▁prazničn -12.3842 +▁Vozi -12.3844 +▁voćn -12.3844 +▁piling -12.3844 +▁počev -12.3844 +▁svježi -12.3844 +▁hassle -12.3845 +▁donated -12.3846 +▁controlling -12.3846 +▁Jama -12.3846 +▁macro -12.3846 +▁ukrasi -12.3847 +▁strikes -12.3847 +▁raspoložen -12.3847 +▁ugrožena -12.3847 +тер -12.3847 +lištu -12.3848 +▁dodataka -12.3848 +▁Picture -12.3849 +▁redovnih -12.385 +▁Pak -12.385 +▁Options -12.385 +▁Prava -12.3852 +fro -12.3852 +гра -12.3853 +▁Coin -12.3853 +stupaju -12.3854 +▁modest -12.3855 +▁elektronskim -12.3855 +▁density -12.3855 +▁cveća -12.3855 +▁proslavljen -12.3855 +▁šešir -12.3855 +▁istorijske -12.3856 +▁patience -12.3856 +▁Housing -12.3856 +▁seme -12.3856 +▁Subotice -12.3856 +▁križ -12.3856 +▁Throughout -12.3857 +Glas -12.3857 +među -12.3857 +▁Atlanti -12.3858 +▁izglasa -12.3859 +▁Former -12.3859 +▁idejom -12.386 +▁yell -12.386 +▁misiju -12.386 +▁jeans -12.386 +▁Collect -12.3861 +▁stabilizacij -12.3861 +▁skromno -12.3861 +čnik -12.3861 +▁umrlih -12.3862 +▁prisutnima -12.3862 +▁Ljiljana -12.3862 +▁rasponu -12.3862 +▁rode -12.3862 +▁Ade -12.3865 +мје -12.3865 +▁Bath -12.3865 +▁rust -12.3866 +▁masi -12.3867 +Treba -12.3867 +▁poljoprivredno -12.3867 +▁fraction -12.3868 +▁eksploziv -12.3868 +▁Banji -12.387 +▁izabrana -12.3871 +▁recepti -12.3871 +camp -12.3872 +▁educated -12.3873 +▁innings -12.3874 +delj -12.3874 +▁specifications -12.3875 +Nova -12.3875 +▁dvojicu -12.3876 +▁inflammation -12.3876 +▁samoubistvo -12.3876 +▁Superlige -12.3876 +▁Counsel -12.3876 +▁Pentagon -12.3876 +▁vizuelni -12.3876 +▁asocijacije -12.3876 +▁Fokus -12.3876 +▁Hab -12.3876 +▁downloaded -12.3877 +▁Arc -12.3877 +▁resistant -12.3877 +▁razg -12.3877 +-35 -12.3878 +0|| -12.3878 +▁Bali -12.3878 +▁CIK -12.3878 +▁petom -12.3879 +▁MY -12.3879 +▁lid -12.3879 +rnal -12.388 +▁1981. -12.388 +tract -12.3881 +▁Kosta -12.3881 +tap -12.3882 +▁strahu -12.3882 +▁radionicu -12.3885 +▁PLA -12.3885 +▁crvenog -12.3885 +▁colon -12.3886 +▁Zoom -12.3886 +бу -12.389 +▁rodnom -12.389 +▁Mirza -12.3891 +▁kreiranju -12.3891 +gator -12.3891 +▁disrupt -12.3891 +▁Kraljeva -12.3891 +▁HU -12.3891 +▁bogatu -12.3891 +的 -12.3892 +▁defeated -12.3894 +▁pomoćni -12.3894 +▁activists -12.3896 +ulated -12.3896 +▁funkcionisanja -12.3896 +▁procenjuje -12.3896 +▁kosovske -12.3896 +▁Tokyo -12.3897 +▁Radu -12.3897 +▁galerija -12.3897 +▁Madison -12.3897 +▁Superdomaćin -12.3897 +▁intenzivira -12.3897 +▁Vranja -12.3897 +▁Stanford -12.3897 +▁kuce -12.3898 +▁košarke -12.3898 +▁Brun -12.3898 +▁dont -12.3898 +▁sigurnosne -12.3899 +▁Odličan -12.3899 +▁Ada -12.3899 +▁skija -12.3899 +3/ -12.39 +▁prikaže -12.39 +▁istrazi -12.3901 +ologist -12.3901 +▁↑ -12.3901 +▁serial -12.3902 +model -12.3902 +▁paketu -12.3902 +natural -12.3902 +▁donesena -12.3904 +▁listened -12.3904 +▁dodatnim -12.3904 +▁pobedila -12.3905 +▁oglašava -12.3906 +▁Tools -12.3906 +lisa -12.3906 +Web -12.3906 +risa -12.3907 +▁grape -12.3907 +▁Vučiću -12.3907 +▁emo -12.3907 +▁Pritom -12.3908 +▁interne -12.3908 +▁functioning -12.3908 +▁Flat -12.3909 +▁Eng -12.3909 +▁konkretni -12.391 +▁improves -12.3911 +▁Fabric -12.3912 +▁Svjetskom -12.3912 +▁uvjerenje -12.3913 +▁Zoo -12.3913 +▁tačan -12.3913 +， -12.3913 +▁Viz -12.3913 +teći -12.3915 +▁Valentine -12.3916 +▁aktuelnim -12.3916 +▁Bloom -12.3916 +▁Dynamic -12.3917 +▁italijanskog -12.3917 +▁licno -12.3917 +▁welcoming -12.3917 +▁prizemlju -12.3917 +▁direktne -12.3917 +▁disadvantage -12.3917 +▁pozornost -12.3917 +▁mandatory -12.3918 +▁spacious -12.3918 +▁continually -12.3918 +opt -12.3919 +▁zainteresiran -12.3919 +▁grasp -12.392 +▁banner -12.3921 +kazano -12.3921 +▁Nikol -12.3921 +▁oscil -12.3921 +ности -12.3921 +▁launching -12.3922 +▁površinama -12.3923 +▁diskusije -12.3923 +▁plovi -12.3923 +▁vidno -12.3924 +public -12.3924 +cross -12.3925 +▁Vujović -12.3925 +▁containers -12.3925 +▁2.4 -12.3926 +▁punog -12.3926 +▁Cass -12.3927 +▁teški -12.3928 +▁Nico -12.3928 +▁cab -12.3928 +iramo -12.3928 +▁luku -12.3928 +▁jaku -12.3929 +▁Ljub -12.393 +▁optic -12.393 +▁autoputa -12.3931 +▁Kuk -12.3932 +▁deny -12.3934 +▁nestalo -12.3934 +▁volumen -12.3935 +▁antibiotic -12.3935 +▁participant -12.3935 +1.5 -12.3935 +▁savjetuje -12.3935 +▁detected -12.3936 +▁hazard -12.3936 +think -12.3936 +▁Boško -12.3936 +▁Sister -12.3937 +▁Simptomi -12.3938 +▁enthusiasm -12.3938 +▁undergraduate -12.3938 +▁diagram -12.3938 +▁versatile -12.3938 +▁anxious -12.3938 +▁demographic -12.3938 +▁reprezentaciji -12.3938 +stati -12.3938 +▁Thunder -12.3938 +▁Assessment -12.3939 +▁parlamentarne -12.3939 +▁Transportation -12.3939 +▁kvalitetna -12.394 +kazivanja -12.3941 +▁Cinema -12.3941 +▁crossed -12.3941 +▁šećerom -12.3942 +▁nakita -12.3942 +▁POLI -12.3943 +▁hoćete -12.3943 +▁matične -12.3943 +▁kompozitor -12.3943 +▁novels -12.3944 +program -12.3945 +▁bilans -12.3945 +dov -12.3946 +▁stave -12.3946 +fix -12.3946 +▁123 -12.3947 +▁domet -12.3947 +▁leže -12.3948 +:43 -12.3948 +ijev -12.3952 +▁stvorila -12.3952 +▁pripremio -12.3953 +није -12.3953 +▁konzumiranje -12.3953 +▁posluju -12.3953 +goda -12.3955 +ELE -12.3955 +▁ljubitelja -12.3957 +▁BOR -12.3957 +▁Đukanovića -12.3957 +2007 -12.3958 +GLA -12.3958 +▁Rice -12.3958 +▁disku -12.3958 +:07 -12.3959 +▁Anadolu -12.3959 +▁frustration -12.3959 +▁merchant -12.3959 +▁šumarstva -12.3959 +▁opasna -12.3959 +▁precision -12.3959 +ови -12.3959 +▁Bishop -12.396 +▁undergo -12.396 +▁obične -12.396 +ićev -12.3961 +▁Dublin -12.3961 +▁optužnica -12.3961 +▁Vladan -12.3962 +▁1986. -12.3963 +▁opterećenja -12.3964 +Thank -12.3965 +▁naoružanja -12.3965 +▁nikakvo -12.3965 +▁zvali -12.3965 +▁godišnja -12.3966 +▁RK -12.3966 +▁violin -12.3967 +edge -12.3967 +▁razmisli -12.3967 +▁arrow -12.3967 +▁komšija -12.3967 +▁reign -12.3969 +▁Tijana -12.3969 +bna -12.397 +▁poraženi -12.3971 +brook -12.3972 +▁kakao -12.3972 +▁talentovan -12.3972 +rita -12.3973 +▁shy -12.3974 +isane -12.3975 +▁privremeni -12.3975 +ivali -12.3976 +LOV -12.3977 +▁fazama -12.3977 +▁čitaju -12.3977 +▁dugim -12.3977 +▁izjašnjava -12.3978 +▁drawings -12.3978 +▁pork -12.3978 +▁raid -12.3979 +▁Increase -12.398 +▁haljinu -12.398 +▁poduzeća -12.398 +▁emocionalno -12.398 +▁Selektor -12.398 +▁Weather -12.398 +▁cartoon -12.398 +▁djelima -12.398 +▁nokte -12.398 +▁defence -12.398 +▁usmerava -12.3981 +▁pouzdanost -12.3981 +▁odatle -12.3981 +▁Đokić -12.3981 +▁Varoš -12.3982 +▁decreased -12.3982 +▁1985 -12.3983 +▁asleep -12.3983 +▁fibro -12.3984 +▁temeljno -12.3984 +▁kiseonika -12.3984 +▁nevjerovatno -12.3984 +▁curl -12.3984 +▁juga -12.3984 +tab -12.3984 +▁Pešić -12.3985 +▁kombinira -12.3985 +▁zidove -12.3985 +▁odjek -12.3986 +▁vjernika -12.3986 +▁Kana -12.3986 +▁vezuje -12.3987 +▁Pari -12.3987 +▁Chip -12.3987 +▁tailored -12.3987 +HT -12.3988 +▁fade -12.3988 +▁procen -12.3989 +▁Srećom -12.3989 +▁Rib -12.3989 +▁ublažavanje -12.3991 +▁večera -12.3992 +▁knowledgeable -12.3993 +▁uveli -12.3993 +▁topla -12.3995 +▁donesu -12.3995 +или -12.3995 +▁crisp -12.3997 +▁encourages -12.3999 +▁agregat -12.3999 +▁vessel -12.3999 +▁sudskog -12.3999 +▁propustio -12.4 +▁Tank -12.4 +▁avanturu -12.4001 +▁complications -12.4001 +▁iskorišćen -12.4001 +▁embedded -12.4001 +▁konačan -12.4001 +▁visokokvalitetn -12.4001 +▁Pakovanje -12.4001 +▁Češke -12.4002 +▁bogatstva -12.4002 +▁Vor -12.4003 +▁masaže -12.4003 +izovati -12.4004 +▁suvenir -12.4004 +▁čitava -12.4004 +▁Blok -12.4004 +▁dodate -12.4004 +▁Makron -12.4004 +▁Princess -12.4005 +▁oraha -12.4005 +vanjima -12.4006 +▁Očigledno -12.4006 +trčao -12.4006 +▁Javi -12.4006 +▁Cetinju -12.4006 +▁GU -12.4007 +▁districts -12.4008 +▁Indonesia -12.4008 +▁razvili -12.401 +▁Australijan -12.401 +▁destinations -12.401 +▁branitelja -12.4011 +wave -12.4011 +▁stalnom -12.4011 +▁Paint -12.4011 +▁srušen -12.4011 +▁rig -12.4012 +▁Srebrenik -12.4013 +▁dionici -12.4013 +▁Banke -12.4013 +▁lijekovi -12.4014 +postavlja -12.4016 +▁1900 -12.4016 +▁izbornoj -12.4016 +▁jumped -12.4016 +▁smiješ -12.4017 +▁biološki -12.4017 +▁razgovaraju -12.4017 +▁Poslednjih -12.4018 +sluša -12.4018 +▁udarca -12.4019 +▁izraza -12.402 +▁nacističk -12.402 +▁direktori -12.4021 +ق -12.4022 +▁Fortunately -12.4022 +▁clarity -12.4022 +▁mlađa -12.4022 +▁ukratko -12.4022 +▁visibility -12.4022 +▁kreativne -12.4022 +▁stereotip -12.4022 +▁referral -12.4022 +▁scroll -12.4022 +▁allegations -12.4022 +▁nejasno -12.4022 +▁otopi -12.4022 +▁povredama -12.4022 +▁Milenković -12.4022 +▁primjenjuje -12.4023 +▁ostvarivanja -12.4023 +▁Musa -12.4024 +▁minority -12.4024 +▁napredni -12.4025 +▁sitne -12.4026 +own -12.4026 +▁cleaned -12.4026 +▁kurac -12.4027 +▁pojedinačnih -12.4027 +▁putnik -12.4028 +minu -12.4028 +▁healthier -12.4029 +▁Kovid -12.4029 +plati -12.4029 +▁HTC -12.4029 +▁Holland -12.4032 +▁desnom -12.4032 +▁Thu -12.4033 +▁ferment -12.4034 +▁bicycle -12.4034 +▁izbornih -12.4035 +▁nastavimo -12.4035 +:53 -12.4035 +▁nered -12.4035 +▁udobno -12.4036 +▁Pragu -12.4037 +▁combines -12.4037 +čniji -12.4038 +▁uputiti -12.4039 +Dž -12.404 +NZ -12.4042 +▁sitni -12.4042 +▁lightly -12.4042 +▁Francusku -12.4043 +▁Pittsburgh -12.4043 +▁Sputnik -12.4043 +▁energetsku -12.4043 +▁suncokret -12.4043 +▁fosfor -12.4043 +▁upečatljiv -12.4043 +▁uspomene -12.4043 +▁knjižar -12.4043 +▁sacred -12.4043 +▁occasional -12.4044 +▁mostarsk -12.4044 +▁tramvaj -12.4044 +▁odmoru -12.4045 +▁zglobova -12.4045 +▁odlučno -12.4045 +▁novinarka -12.4046 +▁majkom -12.4047 +▁DB -12.4047 +▁Vanja -12.4048 +▁TD -12.4048 +▁smrtnih -12.4048 +▁dvoboj -12.4049 +▁liječnik -12.4049 +▁Gear -12.4049 +forum -12.4049 +▁grubo -12.4049 +▁Zeland -12.405 +▁WR -12.405 +▁кр -12.405 +vare -12.4051 +▁povodu -12.4051 +vator -12.4051 +▁1800 -12.4051 +▁volontera -12.4051 +itisa -12.4052 +Sp -12.4052 +▁Conditions -12.4052 +▁kuk -12.4052 +▁Nicole -12.4052 +▁Svojim -12.4054 +▁današnjih -12.4054 +▁tabli -12.4055 +▁align -12.4055 +▁zarobljen -12.4056 +▁Jasmina -12.4057 +cycle -12.4058 +▁blues -12.4059 +▁plaćati -12.4059 +▁finišu -12.406 +▁elect -12.406 +▁Singh -12.4061 +▁životnim -12.4061 +▁hemijsko -12.4061 +▁napiše -12.4062 +▁pisaca -12.4062 +▁vitamins -12.4063 +▁custody -12.4064 +▁Folk -12.4064 +▁Održan -12.4064 +▁infected -12.4064 +▁sednica -12.4064 +▁Thanksgiving -12.4064 +▁Radončić -12.4064 +▁podrže -12.4064 +▁novčana -12.4064 +▁aktual -12.4065 +▁Teo -12.4065 +▁streak -12.4065 +▁Grup -12.4066 +▁helmet -12.4066 +▁poreklo -12.4068 +▁Publication -12.4069 +▁stepenice -12.4069 +FORM -12.407 +▁outlets -12.407 +▁jedinstvenog -12.407 +vig -12.407 +ljina -12.4071 +▁NOVO -12.4071 +▁0,0 -12.4071 +▁iskopa -12.4072 +▁njezina -12.4072 +metri -12.4072 +Kom -12.4073 +gno -12.4073 +bah -12.4074 +▁prisustvuje -12.4074 +▁1.7 -12.4074 +▁execute -12.4075 +▁contacted -12.4075 +▁Plu -12.4075 +▁venues -12.4076 +▁emit -12.4076 +▁tvom -12.4077 +▁kontinenta -12.4077 +image -12.4077 +▁Fact -12.4078 +▁neguje -12.4078 +▁zmaj -12.4078 +▁opasni -12.4079 +lessness -12.4079 +▁krivice -12.4079 +▁najstarijih -12.4079 +▁opravdano -12.408 +RAZ -12.408 +▁nailazi -12.408 +▁saobraćajnih -12.408 +▁moralo -12.4081 +▁budeš -12.4081 +▁!!! -12.4082 +▁puder -12.4082 +▁ćerke -12.4084 +▁Moscow -12.4085 +▁surround -12.4085 +▁generating -12.4085 +bone -12.4085 +▁osnovama -12.4085 +▁Medicare -12.4085 +▁Mitrovica -12.4085 +▁Novalić -12.4086 +▁otklanja -12.4086 +▁Naglasi -12.4086 +▁stručnom -12.4086 +beat -12.4087 +▁Stanje -12.4087 +▁Count -12.4087 +▁dolje -12.4087 +▁covid -12.4089 +▁maslac -12.4089 +▁Elizabet -12.4089 +▁Publisher -12.409 +▁Ruska -12.4091 +▁fitted -12.4091 +▁mp -12.4091 +▁Samir -12.4092 +▁wines -12.4093 +▁poteškoća -12.4093 +▁paths -12.4094 +STAN -12.4094 +▁conserv -12.4094 +▁maneken -12.4094 +lix -12.4096 +▁šminka -12.4096 +▁regionalnom -12.4096 +▁pogodila -12.4097 +▁зна -12.4098 +▁junk -12.4098 +▁javite -12.4099 +▁Spas -12.4099 +acijski -12.4099 +ŠTA -12.41 +▁popije -12.41 +▁postupi -12.4101 +▁analitičari -12.4102 +▁Seb -12.4102 +mur -12.4103 +bing -12.4103 +▁Vuko -12.4104 +▁rs -12.4104 +▁izvršeno -12.4105 +▁fizičkim -12.4105 +-26 -12.4105 +▁sudove -12.4106 +▁nesreću -12.4106 +▁čujemo -12.4106 +▁grijanje -12.4106 +▁TikTok -12.4106 +▁orchestra -12.4106 +▁nabavlja -12.4106 +▁oslabi -12.4106 +▁salu -12.4106 +▁која -12.4106 +▁reserves -12.4106 +▁žute -12.4107 +▁afirmacij -12.4107 +▁poništen -12.4108 +▁posvećeni -12.4108 +▁tradicionalna -12.4108 +▁savladala -12.4108 +▁fotografiji -12.4108 +▁forming -12.4108 +▁pickup -12.4109 +▁70- -12.4109 +▁sadržaju -12.4109 +-03 -12.411 +vljuje -12.411 +▁Hana -12.411 +▁svjetskim -12.411 +8,000 -12.4111 +▁tečaj -12.4112 +▁Karić -12.4113 +▁slaba -12.4114 +▁proizvođače -12.4114 +▁Šte -12.4114 +rbo -12.4114 +lične -12.4115 +bice -12.4115 +▁awful -12.4115 +▁3:2 -12.4116 +▁Proizvodi -12.4116 +▁niche -12.4116 +▁građa -12.4116 +▁SQL -12.4117 +▁zlatni -12.4118 +▁ludi -12.4118 +▁obrazloženje -12.4118 +▁rekoh -12.4118 +zina -12.4118 +▁opuštanje -12.4119 +▁predstavljao -12.4119 +▁DP -12.412 +▁širine -12.412 +izovana -12.412 +▁6:4 -12.412 +▁dramatično -12.412 +▁oduvijek -12.412 +▁Mut -12.4121 +▁Albanci -12.4122 +▁pays -12.4122 +rud -12.4123 +▁mothers -12.4124 +▁pomenutih -12.4124 +▁genetski -12.4124 +▁graditelj -12.4124 +▁Hence -12.4125 +four -12.4125 +▁vlastitih -12.4125 +▁Ministr -12.4127 +▁Military -12.4127 +▁Relations -12.4127 +▁nadbiskup -12.4127 +▁pixel -12.4127 +▁prašine -12.4127 +▁bloom -12.4127 +▁čijoj -12.4127 +▁Tho -12.4127 +▁60- -12.4128 +▁antivirus -12.4128 +▁napolje -12.4128 +▁Hut -12.4129 +▁Actually -12.4129 +▁Miroslava -12.4129 +▁Oseća -12.4129 +graphy -12.413 +▁podjele -12.4131 +prati -12.4132 +▁obavezuje -12.4132 +▁assign -12.4132 +▁sušenje -12.4133 +▁biljnih -12.4133 +▁zaposleno -12.4133 +▁optical -12.4134 +▁Truth -12.4134 +scope -12.4134 +▁probati -12.4135 +▁uredu -12.4135 +Port -12.4136 +▁Medvedev -12.4136 +▁željezn -12.4136 +▁electro -12.4137 +▁scholars -12.4138 +▁Xi -12.4138 +▁1984 -12.4138 +▁physics -12.4139 +Moja -12.4139 +▁akadem -12.4139 +▁snabdeva -12.4139 +▁Slob -12.4139 +▁Niti -12.4139 +▁Eh -12.4139 +▁radnjama -12.414 +▁alergija -12.414 +GM -12.414 +▁animacij -12.4141 +▁sustained -12.4141 +он -12.4142 +▁propustite -12.4142 +sistem -12.4142 +▁slim -12.4143 +▁Indija -12.4143 +:09 -12.4143 +tezanje -12.4144 +▁prisutno -12.4145 +Poli -12.4145 +▁Bert -12.4146 +▁idejama -12.4147 +▁razvojne -12.4147 +▁2024 -12.4147 +IJU -12.4148 +▁sheep -12.4148 +▁Izveštaj -12.4148 +▁Portparol -12.4148 +▁oslabljen -12.4148 +▁poteškoće -12.4148 +▁headquarters -12.4148 +▁takozvane -12.4148 +bici -12.4148 +▁2.1 -12.415 +▁Stories -12.415 +▁akademske -12.415 +▁Riz -12.4151 +▁liječi -12.4151 +▁posetioce -12.4153 +gari -12.4154 +▁Obviously -12.4154 +▁sized -12.4155 +▁trupe -12.4156 +enter -12.4156 +▁collector -12.4157 +:08 -12.4157 +▁kasa -12.4159 +▁znajući -12.416 +▁primetio -12.416 +▁coordinate -12.416 +▁đ -12.416 +▁južni -12.416 +ivity -12.4163 +▁210 -12.4164 +PDF -12.4165 +▁sopstvenom -12.4165 +▁zamijeniti -12.4165 +hon -12.4166 +▁Isusa -12.4166 +▁tenisk -12.4166 +▁Skr -12.4168 +▁podešavanje -12.4168 +▁groom -12.417 +▁Purchase -12.417 +▁laundry -12.417 +▁zabranjuje -12.417 +▁društvima -12.417 +▁renovation -12.417 +▁pokrovitelj -12.417 +▁Udruge -12.417 +▁uništavanje -12.417 +▁Večeras -12.417 +▁char -12.417 +▁proslavio -12.4171 +tler -12.4171 +▁krađa -12.4172 +▁antigen -12.4172 +▁KB -12.4173 +▁Kanade -12.4173 +gorje -12.4174 +▁rocket -12.4175 +▁vremenskim -12.4175 +▁načinima -12.4175 +▁Gon -12.4175 +▁bail -12.4176 +▁strictly -12.4177 +čiće -12.4177 +▁propisi -12.4178 +▁Peći -12.4178 +▁umjetni -12.4178 +▁bb -12.4179 +▁ublaži -12.418 +▁Ekonom -12.4181 +▁magnetic -12.4182 +▁Photos -12.4182 +▁Dell -12.4182 +▁Opšti -12.4182 +▁Going -12.4182 +▁partnere -12.4183 +▁defanziv -12.4183 +▁upward -12.4183 +▁Nancy -12.4184 +turb -12.4184 +▁svemir -12.4184 +▁silom -12.4187 +▁Centralna -12.4188 +two -12.4188 +isanja -12.4188 +▁đak -12.4189 +▁bronze -12.419 +sana -12.419 +▁Pool -12.419 +999 -12.4191 +▁higijene -12.4191 +▁nerijetko -12.4191 +▁uvredljiv -12.4191 +▁proguta -12.4191 +▁citrus -12.4191 +▁trgovci -12.4191 +▁NCAA -12.4191 +▁snažnu -12.4191 +koliko -12.4191 +▁Usp -12.4192 +▁rumunsk -12.4192 +▁fireplace -12.4192 +rzi -12.4192 +pac -12.4193 +▁kvalitetnu -12.4193 +▁suggestion -12.4194 +▁Štaviše -12.4195 +ovskog -12.4195 +▁obrađuje -12.4196 +▁metodom -12.4196 +▁Proizvođač -12.4196 +nuta -12.4197 +-50 -12.4197 +▁fever -12.4197 +▁Drink -12.4197 +keeping -12.4198 +▁premijerom -12.4198 +▁Dry -12.4199 +▁ikona -12.4199 +▁posebni -12.4199 +▁Meč -12.4199 +▁vrhunskog -12.4199 +▁moraće -12.42 +▁PLAN -12.4201 +break -12.4201 +▁britanskog -12.4201 +mućen -12.4201 +▁Opšt -12.4201 +▁košarkašk -12.4201 +vež -12.4201 +jede -12.4201 +▁Isa -12.4202 +▁spoljašnje -12.4202 +▁obezbedili -12.4202 +▁izgradnjom -12.4203 +bašić -12.4203 +▁Gig -12.4203 +taka -12.4203 +▁zatvorene -12.4203 +▁Napad -12.4204 +▁stanove -12.4204 +▁presto -12.4204 +▁trofeja -12.4204 +OUR -12.4206 +▁renomiran -12.4206 +▁smisli -12.4207 +▁liable -12.4207 +▁pčela -12.4207 +▁Kind -12.4207 +▁dokle -12.4208 +▁neophodnih -12.4208 +▁wondered -12.4208 +▁donate -12.4209 +▁loading -12.4209 +▁Šir -12.421 +xon -12.4211 +▁jumping -12.4211 +▁Švajcarske -12.4212 +▁kockice -12.4212 +▁eternal -12.4212 +▁kofein -12.4212 +▁zamjenu -12.4213 +▁živjeli -12.4213 +▁Osjeća -12.4213 +▁recycling -12.4213 +valja -12.4214 +▁Manuel -12.4214 +▁potrošači -12.4214 +onda -12.4214 +▁sooner -12.4215 +▁moralno -12.4215 +ovod -12.4215 +▁Owen -12.4216 +▁struggles -12.4216 +▁narodi -12.4218 +▁Bala -12.4218 +LAS -12.4218 +▁Takodje -12.4218 +▁surprisingly -12.422 +▁Pain -12.422 +▁hetero -12.422 +door -12.4221 +▁emituje -12.4221 +AVE -12.4222 +central -12.4223 +▁vratite -12.4223 +▁Vesel -12.4223 +▁nervira -12.4224 +DŽ -12.4224 +▁materijalne -12.4224 +▁zakazana -12.4224 +ijeg -12.4224 +▁prelom -12.4226 +▁Vide -12.4226 +▁Prosečna -12.4227 +▁metar -12.4227 +▁Slaven -12.4229 +▁pomno -12.4229 +▁šlag -12.423 +▁pozicionira -12.4231 +▁Musk -12.4232 +▁pripadnike -12.4232 +▁plea -12.4232 +▁protestima -12.4232 +roza -12.4233 +▁Matej -12.4233 +▁Certificate -12.4234 +▁Izdvojeno -12.4234 +▁Switzerland -12.4234 +▁disposal -12.4234 +▁epidemiolog -12.4234 +▁practicing -12.4234 +▁threshold -12.4234 +▁tropical -12.4234 +▁Jeremy -12.4234 +▁fizičku -12.4234 +▁VW -12.4234 +▁najjače -12.4235 +▁peršun -12.4235 +▁glavno -12.4235 +365 -12.4236 +▁conducting -12.4236 +best -12.4236 +call -12.4237 +▁manjka -12.4237 +Pan -12.4238 +zet -12.4239 +▁osnovano -12.4239 +▁chase -12.4239 +▁Povratak -12.424 +tance -12.424 +written -12.4241 +▁namerno -12.4241 +cord -12.4242 +owner -12.4242 +▁zele -12.4243 +▁(21 -12.4243 +][ -12.4243 +▁charts -12.4245 +▁istočnoj -12.4245 +scape -12.4246 +▁Maks -12.4247 +▁novije -12.4247 +▁pockets -12.4248 +▁rasproda -12.425 +▁radnja -12.425 +▁elitn -12.425 +▁Ready -12.425 +▁obilazi -12.4251 +▁draž -12.4251 +help -12.4251 +▁razbija -12.4252 +▁dobiće -12.4252 +▁rasu -12.4253 +▁službenog -12.4254 +▁withdraw -12.4254 +RAM -12.4255 +▁Publishing -12.4255 +▁društvenu -12.4255 +▁explosion -12.4255 +▁korupciju -12.4255 +▁trajalo -12.4255 +▁Aleksandru -12.4255 +▁ekosistem -12.4255 +▁procjene -12.4255 +▁stipendije -12.4256 +▁Labour -12.4256 +▁neviđen -12.4256 +propusn -12.4256 +▁Interview -12.4256 +▁rigid -12.4256 +ðe -12.4256 +▁gala -12.4257 +▁ostave -12.4258 +▁krugovima -12.4259 +ран -12.4259 +▁individually -12.426 +▁cafe -12.4261 +trust -12.4262 +▁uplaćen -12.4263 +keeper -12.4264 +▁kupus -12.4266 +▁Zimsk -12.4267 +▁pojasni -12.4267 +produ -12.4267 +▁drva -12.4268 +emija -12.4268 +▁Kva -12.4268 +▁Svetsko -12.4268 +▁rolls -12.4268 +▁obara -12.4269 +ност -12.4269 +-29 -12.4269 +▁trenu -12.427 +God -12.427 +▁sporno -12.427 +bih -12.4271 +▁preliv -12.4271 +change -12.4271 +čiji -12.4271 +▁bush -12.4271 +▁LOVE -12.4272 +▁prekograničn -12.4272 +▁zbir -12.4272 +chem -12.4273 +▁equation -12.4277 +▁široj -12.4277 +▁obaveštajn -12.4277 +▁Keith -12.4277 +▁medicinu -12.4277 +▁bezbjednosn -12.4277 +▁monetary -12.4277 +▁kazu -12.4277 +▁Message -12.4277 +▁coins -12.4277 +ŠI -12.4277 +▁akademiji -12.4278 +▁DL -12.4278 +▁distribute -12.4279 +▁replica -12.4279 +▁viza -12.4279 +▁Pravilnika -12.428 +▁Delić -12.428 +▁Veći -12.428 +▁zadovoljavaju -12.428 +▁brojevi -12.4281 +▁uključeno -12.4282 +▁Theater -12.4282 +▁bolnicama -12.4282 +▁outbreak -12.4283 +▁restoranima -12.4283 +▁Rusa -12.4283 +▁tropsk -12.4284 +▁poštovan -12.4284 +Л -12.4284 +ат -12.4284 +▁sprečavanju -12.4284 +▁improv -12.4285 +▁Nacionalna -12.4285 +GF -12.4285 +▁otpadnih -12.4286 +▁sumnju -12.4287 +▁Treće -12.4287 +▁Joint -12.4288 +▁posti -12.4288 +motiv -12.4288 +▁referenduma -12.4288 +▁crypto -12.4288 +▁distinguish -12.4288 +▁rag -12.4288 +▁prekinut -12.4289 +▁povećala -12.429 +▁Hrana -12.4291 +▁vanjski -12.4291 +:06 -12.4292 +▁petog -12.4292 +▁homeless -12.4293 +▁norme -12.4293 +▁Klik -12.4294 +Hz -12.4295 +ZZ -12.4295 +▁obratili -12.4295 +ivot -12.4295 +▁symbols -12.4295 +zara -12.4296 +▁Scan -12.4298 +▁kolika -12.4298 +▁cirkulaciju -12.4298 +▁Njemu -12.4298 +▁selekciju -12.4298 +▁cigarete -12.4298 +▁Regardless -12.4299 +rskim -12.4299 +▁napolju -12.4299 +▁strankama -12.4299 +▁smrću -12.4299 +▁VPN -12.43 +ćo -12.4301 +▁svećenik -12.4301 +polit -12.4301 +▁snimaka -12.4302 +Maj -12.4302 +▁HB -12.4303 +▁servisu -12.4303 +▁Beer -12.4303 +▁Campus -12.4303 +▁prijevod -12.4303 +▁mozemo -12.4305 +▁hrvatskoj -12.4305 +▁Krup -12.4305 +ffin -12.4306 +▁Vlas -12.4307 +▁analysts -12.4307 +▁occupied -12.4308 +▁scary -12.4308 +▁veže -12.4308 +▁terenima -12.4309 +▁nemogu -12.4309 +Comp -12.4309 +▁pus -12.431 +▁Unsko -12.431 +▁RB -12.4311 +▁kadrovi -12.4311 +▁suspended -12.4311 +motor -12.4312 +▁Prvom -12.4312 +▁dostavu -12.4312 +▁princa -12.4312 +▁Đe -12.4313 +▁pause -12.4313 +▁enterijera -12.4313 +▁Nemci -12.4314 +▁besplatnih -12.4314 +▁Ship -12.4315 +▁Narodno -12.4315 +lnu -12.4316 +▁premiere -12.4316 +▁plakat -12.4317 +IVA -12.4317 +▁otvor -12.4317 +▁slavni -12.4317 +igre -12.4319 +▁Campaign -12.432 +▁celebrity -12.432 +▁merchandise -12.432 +▁potražnja -12.432 +▁Sheriff -12.432 +▁coronavirus -12.432 +▁izražaja -12.432 +▁Dakota -12.432 +▁Profesionaln -12.432 +▁Italiju -12.432 +▁commence -12.432 +▁ubrzano -12.432 +▁gostovanja -12.432 +▁targeting -12.4321 +▁Plate -12.4321 +▁promoted -12.4322 +▁Kyle -12.4322 +▁beogradskog -12.4324 +▁uspori -12.4324 +▁Electronic -12.4325 +▁razgovaramo -12.4325 +▁određenoj -12.4325 +▁grlo -12.4326 +▁Koreje -12.4326 +▁Bravo -12.4327 +▁balet -12.4327 +▁rešio -12.4327 +▁Fudbalski -12.4327 +World -12.4327 +▁punjač -12.4328 +▁Opširnije -12.4328 +▁univerzitetsk -12.4328 +▁Devil -12.4329 +▁conferences -12.4331 +▁glasovi -12.4331 +rskoj -12.4331 +▁fizičkom -12.4331 +▁kuvar -12.4331 +▁lošim -12.4332 +▁pojavljiva -12.4332 +▁počasti -12.4334 +▁artikala -12.4335 +/17 -12.4336 +▁lije -12.4336 +isana -12.4336 +▁critic -12.4337 +▁Deli -12.4338 +▁podele -12.4338 +▁hladnom -12.4339 +123 -12.4339 +▁raspoređen -12.434 +▁borders -12.434 +▁peć -12.434 +▁Chocolate -12.4341 +▁Tribunal -12.4341 +▁garderobe -12.4341 +▁Ukupan -12.4341 +▁onemogućava -12.4342 +▁porukom -12.4342 +▁praktične -12.4342 +▁salmon -12.4342 +▁izbegne -12.4342 +XT -12.4342 +▁stavu -12.4342 +▁lounge -12.4342 +rza -12.4343 +▁Chicken -12.4343 +▁Primary -12.4343 +▁Srednj -12.4343 +▁laughed -12.4343 +▁Rules -12.4343 +▁breakdown -12.4343 +▁Dalibor -12.4343 +▁izvede -12.4344 +Who -12.4344 +▁1,4 -12.4344 +▁činjenicama -12.4345 +EVI -12.4345 +▁pharmaceutical -12.4345 +▁longest -12.4345 +▁prodavac -12.4345 +▁ministarstvu -12.4346 +▁čestice -12.4346 +▁Fak -12.4346 +▁partially -12.4347 +▁priručnik -12.4347 +▁likewise -12.4347 +▁udaru -12.4347 +▁backyard -12.4347 +▁zlostavljanja -12.4348 +oviću -12.4348 +▁odem -12.4348 +▁igram -12.4348 +лог -12.4348 +▁redovnog -12.4348 +▁VIII -12.435 +rastao -12.435 +▁pine -12.435 +▁Stick -12.4351 +▁tik -12.4353 +▁ugrožen -12.4353 +▁kukuruza -12.4353 +▁meter -12.4353 +▁razumeju -12.4354 +▁promijenio -12.4355 +▁indicators -12.4355 +nića -12.4355 +dens -12.4356 +▁outlet -12.4356 +▁desires -12.4357 +▁hak -12.4358 +ву -12.4359 +maćete -12.436 +▁tipove -12.436 +▁kaput -12.436 +dara -12.436 +▁Borov -12.4361 +iii -12.4362 +▁Gordana -12.4363 +▁tadašnj -12.4363 +▁proslavlja -12.4363 +▁Aleksandrom -12.4363 +▁pozabavi -12.4363 +▁sekretarijat -12.4363 +ђа -12.4364 +▁Workshop -12.4364 +▁ukazala -12.4364 +▁plafon -12.4364 +▁tenzije -12.4364 +▁staža -12.4365 +▁Slavko -12.4365 +miruje -12.4366 +▁Abdul -12.4367 +▁scenarija -12.4367 +zmu -12.4367 +▁Elvis -12.4368 +RL -12.4368 +▁Regular -12.437 +▁vojnim -12.4371 +sjed -12.4371 +angel -12.4371 +▁gesture -12.4371 +▁završnici -12.4371 +▁izuzetak -12.4373 +▁ispiti -12.4373 +▁Gua -12.4373 +ос -12.4374 +▁lace -12.4375 +▁prijavila -12.4375 +čas -12.4375 +▁Svetski -12.4376 +▁arhivsk -12.4377 +▁TC -12.4377 +▁hoteli -12.4377 +▁Eight -12.4377 +your -12.4377 +▁Mori -12.4378 +▁osiguranju -12.4379 +šica -12.4379 +RN -12.4379 +▁desnoj -12.4379 +▁ormar -12.4379 +▁donator -12.438 +▁Vrhovni -12.438 +dora -12.4381 +▁pozna -12.4381 +▁Joy -12.4381 +ndon -12.4382 +▁književno -12.4383 +▁Postavi -12.4383 +▁Hid -12.4384 +▁145 -12.4384 +▁crap -12.4384 +▁autoput -12.4385 +▁diagnostic -12.4385 +▁ocjene -12.4385 +▁warrior -12.4385 +▁simpatičn -12.4385 +▁energetic -12.4385 +ITY -12.4386 +▁prestao -12.4386 +▁pretera -12.4386 +▁legende -12.4386 +▁ingredient -12.4386 +ulin -12.4387 +▁voza -12.4387 +▁vjerujemo -12.4387 +▁Istorija -12.4387 +▁pravljen -12.4387 +▁clips -12.4387 +▁dvorana -12.4388 +▁nasljednik -12.4388 +zdu -12.4389 +▁Autori -12.4389 +▁Zagor -12.4389 +▁bodove -12.439 +▁pressing -12.4391 +▁sporting -12.4391 +▁rundi -12.4392 +▁queen -12.4392 +▁deserves -12.4392 +▁silly -12.4392 +▁potrošen -12.4392 +▁Nurse -12.4393 +▁nege -12.4393 +▁Tata -12.4394 +▁herbs -12.4394 +▁ramazan -12.4394 +šav -12.4394 +▁bored -12.4395 +▁incidents -12.4395 +▁ilegalno -12.4395 +▁pokoj -12.4396 +▁izdvojen -12.4396 +preko -12.4397 +▁klana -12.4397 +▁skrenu -12.4398 +▁nagrađivan -12.4398 +▁shortage -12.4398 +▁paru -12.4398 +▁UFC -12.4399 +▁luda -12.4399 +▁rođendana -12.4401 +▁applicants -12.4401 +▁isplativ -12.4402 +▁sinovi -12.4402 +▁Uber -12.4402 +▁Mata -12.4402 +▁stranog -12.4402 +▁continent -12.4403 +▁uvela -12.4404 +▁odličnim -12.4405 +ffy -12.4405 +▁democratic -12.4406 +▁Evrolige -12.4407 +▁instrumenata -12.4407 +▁otišlo -12.4407 +▁privreda -12.4407 +▁може -12.4407 +▁Događaj -12.4407 +▁blockchain -12.4407 +▁posvećuje -12.4407 +reb -12.4407 +▁Commons -12.4408 +▁Đukić -12.4408 +▁Material -12.4408 +▁bavim -12.4408 +▁privući -12.4409 +▁tomatoes -12.441 +▁ponižava -12.441 +▁Thor -12.441 +▁glume -12.4411 +▁Truck -12.4411 +▁Lamb -12.4411 +▁Značaj -12.4411 +▁1946 -12.4412 +▁promotional -12.4412 +borg -12.4412 +▁tragove -12.4413 +▁hy -12.4414 +▁Train -12.4414 +▁smjera -12.4414 +▁nuklearnog -12.4415 +▁graduation -12.4416 +▁partnerships -12.4416 +▁Đi -12.4417 +▁Ibrahimović -12.4417 +▁podignuta -12.4417 +▁djed -12.4418 +▁Prav -12.4418 +click -12.4419 +▁individualno -12.4419 +▁beogradske -12.4419 +vira -12.442 +▁hiding -12.4421 +▁suština -12.4421 +▁Ustavom -12.4422 +dalje -12.4423 +sir -12.4424 +▁Similar -12.4424 +▁normalna -12.4425 +▁resolved -12.4425 +▁fiziološk -12.4425 +▁Socijal -12.4426 +▁recovered -12.4426 +▁skoka -12.4426 +--- -12.4426 +▁woods -12.4427 +▁kulturnom -12.4427 +▁mezar -12.4427 +posta -12.4428 +▁Alfred -12.4429 +▁napretku -12.4429 +▁Either -12.4429 +▁produkciji -12.4429 +▁uvreda -12.4429 +▁excel -12.4429 +čnoj -12.4429 +▁Српске -12.4429 +▁uočen -12.4429 +▁Preuzimanje -12.4429 +▁distant -12.4429 +▁montira -12.443 +▁وَ -12.443 +pisano -12.443 +▁zavidn -12.4432 +ških -12.4432 +laganju -12.4432 +▁staž -12.4433 +▁Resource -12.4434 +▁adapted -12.4434 +▁uspostavljanja -12.4434 +▁muzičkog -12.4434 +:57 -12.4434 +ativno -12.4435 +▁restart -12.4435 +▁Predstav -12.4435 +▁graduates -12.4435 +▁elimin -12.4436 +▁nastupu -12.4436 +▁nadalje -12.4436 +▁marš -12.4437 +mph -12.4437 +exe -12.4438 +▁Imala -12.4438 +▁та -12.4439 +▁$30 -12.444 +▁čelnici -12.444 +▁1955 -12.444 +tička -12.444 +▁postojećim -12.4441 +▁Radnici -12.4441 +-06 -12.4442 +▁standardni -12.4443 +▁Adrian -12.4443 +▁tački -12.4444 +▁pomenutog -12.4445 +▁practically -12.4445 +▁counseling -12.4446 +▁narušen -12.4447 +▁80- -12.4447 +▁arapski -12.4447 +These -12.4447 +▁vinograd -12.4448 +▁jačine -12.4448 +▁izvrsno -12.4449 +▁planiranih -12.445 +▁univerzum -12.445 +▁comparable -12.445 +▁kratkotrajn -12.445 +▁upotpuni -12.445 +▁fotoaparat -12.445 +▁Richmond -12.4451 +▁registraciju -12.4451 +▁wrist -12.4451 +▁uređuje -12.4451 +▁korisničko -12.4451 +▁MW -12.4451 +▁znakovi -12.4452 +▁srebro -12.4452 +▁traveled -12.4452 +▁STI -12.4453 +▁Izrada -12.4453 +zbog -12.4454 +▁forgive -12.4454 +▁Manual -12.4455 +▁planirane -12.4455 +▁sluha -12.4455 +£ -12.4458 +▁halt -12.4458 +▁Miro -12.4459 +▁pokojni -12.4459 +▁Splita -12.4459 +▁ovakvi -12.446 +▁Sporazuma -12.446 +▁vjenča -12.4461 +▁pairs -12.4461 +znači -12.4463 +arac -12.4464 +…“ -12.4464 +▁raš -12.4465 +operative -12.4466 +▁cije -12.4466 +▁stručnjacima -12.4466 +▁Njegove -12.4467 +▁sjedištem -12.4467 +▁nutrients -12.4467 +dler -12.4467 +▁konf -12.4468 +1/ -12.4469 +▁Kongres -12.4469 +▁mentalitet -12.4469 +▁achievements -12.447 +▁Archives -12.4471 +▁zbr -12.4471 +▁dubinsk -12.4471 +куп -12.4472 +▁Comic -12.4472 +LF -12.4472 +▁neighbour -12.4472 +▁Kopaonik -12.4472 +▁cushion -12.4472 +▁boljem -12.4472 +▁pojedinačne -12.4472 +▁stigle -12.4472 +▁Užice -12.4472 +rekt -12.4473 +▁prelaska -12.4473 +▁rifle -12.4473 +▁kolača -12.4473 +▁theoretical -12.4473 +▁grabbed -12.4473 +▁središte -12.4473 +▁oblak -12.4473 +▁inficira -12.4474 +▁alumni -12.4474 +▁semafor -12.4474 +▁Stojan -12.4474 +▁običan -12.4475 +▁freely -12.4475 +▁Džeko -12.4476 +▁kontrolni -12.4477 +▁logistics -12.4477 +▁porodičnog -12.4477 +▁draws -12.4478 +▁tires -12.4478 +▁heater -12.4478 +▁začini -12.4479 +▁sjedište -12.4479 +lect -12.448 +▁ponašanjem -12.4483 +▁progresiv -12.4483 +▁bolt -12.4484 +▁sjeme -12.4484 +▁imposed -12.4484 +▁homeowners -12.4485 +lok -12.4485 +▁chemistry -12.4486 +▁Bihaća -12.4487 +▁primjena -12.4488 +▁ovamo -12.4488 +▁njezino -12.4488 +▁japan -12.4489 +▁srcem -12.4489 +▁manjeg -12.4489 +▁briefly -12.4489 +▁željela -12.4489 +▁corners -12.449 +▁domen -12.4492 +GOD -12.4492 +▁dopuni -12.4492 +lažemo -12.4492 +▁marker -12.4493 +/7 -12.4494 +▁Krstić -12.4494 +▁Zero -12.4494 +▁Hop -12.4494 +▁najugroženij -12.4494 +▁nevladinih -12.4494 +▁potragu -12.4494 +▁preostalo -12.4494 +▁Otvori -12.4494 +▁pencil -12.4494 +▁završilo -12.4494 +▁upravljao -12.4495 +▁curtain -12.4495 +▁domaćoj -12.4495 +▁procenu -12.4495 +▁Graduate -12.4495 +▁Kosa -12.4495 +▁razgovorima -12.4496 +▁prisustvovati -12.4496 +▁šesti -12.4496 +▁sferi -12.4497 +▁0.1 -12.4498 +Žen -12.4499 +▁modernih -12.4499 +▁pumpkin -12.4499 +▁twitter -12.4499 +▁individualne -12.4499 +▁većinski -12.4499 +▁obveznica -12.45 +▁šumski -12.4501 +▁Corps -12.4501 +▁primeti -12.4502 +▁Županijsk -12.4502 +▁Guest -12.4502 +▁relevantne -12.4502 +▁Radomir -12.4502 +▁savršena -12.4503 +▁mnogobrojnih -12.4504 +▁speeds -12.4504 +▁evolved -12.4504 +sexual -12.4504 +▁Federalno -12.4504 +▁Tome -12.4504 +pk -12.4505 +▁stabilni -12.4506 +▁jack -12.4506 +▁Logo -12.4506 +BM -12.4507 +▁Brazila -12.4507 +▁zoom -12.4508 +▁omiljeno -12.4508 +▁niža -12.4508 +Her -12.4509 +▁zapadnih -12.4509 +pidem -12.451 +bosan -12.451 +иза -12.451 +▁Higher -12.4511 +▁moga -12.4511 +▁Velikom -12.4512 +▁Ureda -12.4515 +▁Magazin -12.4515 +izz -12.4515 +▁critics -12.4515 +▁Especially -12.4516 +▁pursuing -12.4516 +▁litigation -12.4516 +▁ponudom -12.4516 +▁povezivanja -12.4517 +▁kupon -12.4517 +▁proglašava -12.4517 +▁Cvet -12.4517 +▁austrijski -12.4517 +▁dečje -12.4518 +▁popularnosti -12.4519 +▁ponosom -12.4519 +▁aspekte -12.4519 +▁osnivanju -12.452 +▁defi -12.452 +direct -12.4521 +▁tržni -12.4521 +▁miracle -12.4521 +▁raspoloženja -12.4521 +▁nazvali -12.4522 +tec -12.4523 +▁razina -12.4523 +drag -12.4523 +audi -12.4524 +▁riders -12.4525 +▁organski -12.4527 +▁collar -12.4527 +▁BK -12.4528 +▁pobijediti -12.4529 +Reg -12.4529 +five -12.4529 +▁ugledni -12.4529 +▁podnose -12.453 +▁motori -12.4531 +TEN -12.4531 +▁hrama -12.4532 +▁slava -12.4532 +▁editors -12.4533 +invest -12.4534 +▁pošteno -12.4534 +phon -12.4535 +Drag -12.4535 +▁acknowledged -12.4536 +▁rus -12.4536 +▁očisti -12.4537 +▁Butter -12.4537 +▁očev -12.4538 +▁cjelovit -12.4538 +▁oporavlja -12.4538 +▁Višeg -12.4538 +▁burned -12.4538 +▁razmjene -12.4538 +▁Zaštita -12.4539 +▁mliječ -12.4539 +▁agenciju -12.4539 +▁Almost -12.4541 +▁Boži -12.4541 +▁pravovremeno -12.4542 +▁kW -12.4543 +▁deadly -12.4543 +▁Seed -12.4544 +▁obstacles -12.4544 +▁Štr -12.4545 +▁gusti -12.4545 +▁genetsk -12.4545 +ако -12.4546 +▁povređeno -12.4546 +▁iznajm -12.4547 +▁breathe -12.4547 +▁županiji -12.4547 +▁drzava -12.4548 +onske -12.4548 +▁Liverpul -12.4549 +▁razmislite -12.455 +▁obezbedio -12.455 +▁Posav -12.455 +▁hospitalizovan -12.455 +▁Titov -12.4551 +▁maslinovo -12.4551 +▁Aleksi -12.4551 +став -12.4551 +▁potok -12.4551 +▁materijalima -12.4552 +oxy -12.4553 +▁sprečavanja -12.4553 +▁Adem -12.4553 +▁187 -12.4553 +▁Predstava -12.4554 +▁komadić -12.4554 +▁srčani -12.4555 +▁Weekly -12.4556 +▁searches -12.4557 +▁loši -12.4558 +ngo -12.4558 +▁dajemo -12.4559 +▁affirm -12.456 +▁proizvede -12.4561 +▁Joksimović -12.4561 +▁cjelini -12.4561 +▁glimpse -12.4561 +▁strpljenje -12.4561 +▁oboljenje -12.4561 +▁Exit -12.4561 +▁militant -12.4561 +▁ponovljen -12.4561 +▁pretjerano -12.4561 +▁Adapt -12.4562 +▁svjetlu -12.4562 +▁retention -12.4562 +▁Photography -12.4563 +▁poveže -12.4563 +▁čest -12.4563 +▁gena -12.4564 +▁sugestije -12.4564 +elja -12.4565 +▁Vatr -12.4565 +šice -12.4565 +▁coupon -12.4566 +▁pametnih -12.4566 +▁polish -12.4567 +▁brew -12.4568 +coin -12.4568 +dres -12.4569 +fel -12.4569 +GOVOR -12.4569 +-28 -12.457 +▁pristalica -12.457 +▁menjač -12.4571 +▁Reci -12.4571 +▁Historical -12.4571 +▁Svetskom -12.4572 +▁akcijsk -12.4572 +▁povećane -12.4572 +▁njezine -12.4572 +Novosti -12.4572 +▁више -12.4572 +▁humanitarno -12.4572 +▁brendovi -12.4572 +vezan -12.4573 +▁Odluč -12.4574 +▁Kraljevi -12.4575 +▁najznačajniji -12.4575 +▁primenom -12.4575 +ntu -12.4575 +▁Nikoli -12.4575 +▁cim -12.4576 +▁Stopa -12.4576 +▁usvojili -12.4576 +▁MIT -12.4576 +alnu -12.4577 +holder -12.4578 +▁vjeri -12.4578 +▁inbox -12.4578 +▁EST -12.4579 +▁zgr -12.458 +▁ве -12.458 +▁119 -12.458 +▁zemljotresa -12.458 +▁nasljed -12.458 +article -12.458 +ženo -12.458 +▁render -12.4581 +vaz -12.4581 +▁programmes -12.4581 +▁Aziji -12.4582 +ljeva -12.4582 +▁revenues -12.4583 +▁Doduše -12.4583 +▁Kazahstan -12.4583 +▁Luksemburg -12.4583 +▁Vehicle -12.4583 +▁ambasada -12.4583 +▁bivšoj -12.4583 +▁calcium -12.4583 +▁misterioz -12.4583 +▁Watson -12.4583 +▁tragedije -12.4583 +▁psychology -12.4583 +▁donijelo -12.4583 +▁svrstava -12.4583 +▁distress -12.4583 +▁drift -12.4583 +▁sprovođenja -12.4583 +LAN -12.4584 +▁ministru -12.4585 +му -12.4585 +▁objavljenom -12.4585 +▁NHL -12.4586 +зна -12.4586 +▁vodiča -12.4586 +▁creator -12.4587 +▁Similarly -12.4587 +▁poreske -12.4588 +▁opremanje -12.4588 +▁debi -12.4589 +▁partly -12.4589 +▁stavka -12.4589 +JP -12.4589 +▁reklo -12.459 +▁zelim -12.4591 +▁iznositi -12.4593 +▁VM -12.4594 +kuca -12.4594 +▁Ćir -12.4594 +▁1956 -12.4594 +▁Jovanovića -12.4595 +▁tvrdeći -12.4595 +rhe -12.4595 +▁centralnom -12.4595 +▁uvažava -12.4597 +▁trendova -12.4597 +▁Socijalističk -12.4597 +lessly -12.4598 +▁prayers -12.4598 +moć -12.4598 +▁coastal -12.4599 +▁ribu -12.4599 +▁putnički -12.46 +▁bojim -12.46 +▁izveli -12.4601 +▁pucao -12.4603 +Men -12.4604 +▁Recovery -12.4605 +▁dimenziju -12.4605 +▁sudjelovanje -12.4605 +▁још -12.4605 +▁browsing -12.4605 +▁datoteke -12.4605 +▁najlepše -12.4605 +▁posebice -12.4605 +▁Miljković -12.4605 +▁Mart -12.4605 +▁identificira -12.4605 +▁populaciji -12.4605 +▁optužnici -12.4605 +бра -12.4605 +godišnjoj -12.4606 +▁rudarstva -12.4606 +▁stanovišta -12.4606 +▁бити -12.4606 +▁Četvrt -12.4606 +▁najne -12.4607 +▁mrk -12.4607 +▁': -12.4608 +▁vezanim -12.4609 +▁affair -12.4609 +▁nigde -12.461 +▁terasa -12.461 +▁adjustment -12.4611 +▁dizajnera -12.4611 +▁Klima -12.4611 +▁bitni -12.4612 +▁profitable -12.4612 +▁odaberete -12.4613 +▁ćerku -12.4615 +▁karticama -12.4615 +▁vruć -12.4616 +▁ornament -12.4619 +▁Koreja -12.4619 +rib -12.462 +▁pravih -12.462 +▁wipe -12.462 +meh -12.4622 +▁naslednik -12.4623 +▁retin -12.4623 +▁preporukama -12.4623 +cna -12.4623 +▁Milovan -12.4624 +▁wages -12.4624 +▁Aktuelno -12.4624 +▁rebel -12.4625 +▁sljedećih -12.4625 +▁Kolumbij -12.4625 +▁osuši -12.4626 +▁koru -12.4626 +▁raspad -12.4626 +▁Federalne -12.4627 +▁Mikro -12.4627 +▁Služba -12.4627 +▁distributor -12.4627 +▁efikasna -12.4627 +▁awkward -12.4627 +▁enzyme -12.4627 +▁tehničku -12.4627 +▁Arkansas -12.4627 +▁Mumbai -12.4627 +▁najmoćnij -12.4627 +URE -12.4627 +ozni -12.4627 +▁priključak -12.4627 +▁Taiwan -12.4627 +▁propaganda -12.4627 +▁leve -12.4628 +▁činio -12.4628 +JAN -12.4629 +▁realizuju -12.4629 +▁državnosti -12.463 +▁Brez -12.463 +▁scensk -12.463 +▁zapošljavanju -12.4631 +▁1983 -12.4632 +jeta -12.4632 +▁(+ -12.4633 +▁laughing -12.4633 +▁proučavanje -12.4634 +▁Republičkog -12.4634 +▁osumnjičenih -12.4635 +▁Novac -12.4636 +▁udaljena -12.4636 +quarter -12.4636 +svoje -12.4636 +▁BN -12.4636 +▁listovi -12.4636 +▁klinički -12.4637 +▁Stup -12.4637 +▁tehničko -12.4637 +▁1988. -12.4638 +▁watches -12.4638 +[1] -12.4639 +▁centralna -12.4639 +▁napravljene -12.4639 +▁vodite -12.464 +▁ocem -12.464 +▁aktivnog -12.464 +▁osvojenih -12.464 +▁adaptation -12.464 +▁pratimo -12.4641 +zaba -12.4641 +▁paketić -12.4644 +▁Gates -12.4645 +dict -12.4646 +▁пут -12.4647 +▁delegata -12.4647 +▁Tai -12.4647 +▁Tačno -12.4647 +ovska -12.4648 +▁Equipment -12.465 +▁Swedish -12.465 +▁pozorišni -12.465 +▁Wikipedia -12.465 +▁predškol -12.465 +cij -12.465 +▁otkazivanja -12.465 +▁raspust -12.465 +▁socijalista -12.465 +▁Pearl -12.465 +▁spirits -12.465 +▁deer -12.4651 +▁pakovanja -12.4651 +▁patrijarha -12.4651 +▁Operation -12.4651 +▁sch -12.4651 +▁describing -12.4651 +štaj -12.4651 +ERT -12.4651 +▁edu -12.4651 +▁mrtvo -12.4652 +▁commentary -12.4653 +▁ukinu -12.4653 +▁slicno -12.4653 +▁bavimo -12.4653 +▁prescribed -12.4654 +NOJ -12.4654 +▁Beau -12.4654 +▁1982 -12.4654 +cient -12.4655 +▁kadra -12.4656 +▁ideji -12.4656 +▁Mai -12.4657 +ttered -12.4657 +▁nj -12.4658 +▁UC -12.4658 +▁pond -12.4658 +▁preskoči -12.4658 +ници -12.4658 +▁Mirković -12.4659 +▁plava -12.4661 +▁različitosti -12.4662 +▁Ov -12.4664 +▁peers -12.4664 +▁uzorak -12.4664 +▁napravljeni -12.4664 +▁Tunis -12.4665 +pravljen -12.4665 +иш -12.4667 +▁Pogleda -12.4667 +▁brodu -12.4667 +▁caution -12.4669 +▁Ami -12.4669 +▁ди -12.467 +▁Dortmund -12.4672 +▁libraries -12.4672 +▁podigla -12.4672 +▁teoriju -12.4672 +▁nadomak -12.4672 +▁Fol -12.4672 +▁wheat -12.4672 +rgy -12.4672 +▁koledž -12.4673 +▁Ilidža -12.4673 +▁popunjava -12.4674 +vul -12.4674 +▁humble -12.4674 +▁нов -12.4674 +▁Sastanak -12.4675 +▁skate -12.4675 +rill -12.4675 +lman -12.4677 +▁Plaćanje -12.4678 +▁cete -12.4679 +ћу -12.4679 +▁safer -12.4679 +▁miting -12.4681 +▁1,1 -12.4681 +qi -12.4681 +▁ispravlja -12.4682 +▁conform -12.4682 +▁autobusom -12.4682 +▁dock -12.4683 +▁Arhiva -12.4683 +▁javili -12.4683 +▁batter -12.4684 +▁sagledava -12.4684 +▁vizija -12.4685 +▁portray -12.4685 +▁smeh -12.4685 +▁Yan -12.4686 +▁Virgin -12.4687 +▁kreativnosti -12.4687 +▁jasnije -12.4687 +▁funkcionalnost -12.4688 +sveta -12.4689 +▁Saj -12.4689 +▁Moze -12.4689 +▁zaboravio -12.4689 +▁nit -12.4689 +▁hind -12.469 +metar -12.469 +▁Prija -12.4692 +ČKI -12.4692 +▁inhibit -12.4692 +▁oak -12.4693 +▁sprint -12.4693 +▁Silv -12.4694 +Ź -12.4694 +▁Hampshire -12.4694 +▁Initiative -12.4694 +▁Najbolja -12.4694 +▁Postupak -12.4694 +▁Rodžer -12.4694 +▁molecular -12.4695 +▁šansi -12.4695 +▁#3 -12.4695 +▁razumijevanja -12.4695 +▁Programme -12.4696 +udar -12.4696 +▁Cvetković -12.4696 +▁1979 -12.4697 +uška -12.4697 +▁revision -12.4697 +▁razli -12.4698 +luzija -12.4698 +▁manjak -12.4698 +▁freak -12.4699 +▁Mladenović -12.4699 +▁SVI -12.47 +▁Nj -12.47 +Ċ -12.47 +▁Understanding -12.47 +▁550 -12.47 +luta -12.47 +tvrđ -12.4701 +▁stručnost -12.4701 +▁SPO -12.4702 +▁Mornar -12.4702 +padljiv -12.4703 +▁volumes -12.4703 +oriented -12.4703 +▁Izraelu -12.4704 +▁fluor -12.4704 +▁Tiger -12.4705 +▁spase -12.4705 +▁nepoznato -12.4706 +▁hemijski -12.4707 +▁duz -12.4707 +▁122 -12.4708 +▁nedelji -12.4708 +VID -12.4709 +0000 -12.4709 +▁pokušavajući -12.4709 +▁ANY -12.471 +▁zatražila -12.471 +▁prisustvuju -12.4711 +brinu -12.4711 +Link -12.4712 +▁Majami -12.4712 +vce -12.4712 +▁Hrvatima -12.4713 +▁consisting -12.4714 +ско -12.4715 +SV -12.4717 +▁prostornog -12.4717 +▁Introduction -12.4717 +▁neadekvatn -12.4717 +▁odavde -12.4717 +▁iznajmljivanje -12.4717 +▁pojavom -12.4717 +▁specifičan -12.4717 +▁Rezerv -12.4717 +▁balloon -12.4718 +▁snažna -12.4718 +▁odigrana -12.4718 +▁novitet -12.4719 +▁okvirima -12.4719 +▁upija -12.4719 +▁Čačka -12.4719 +▁egzotič -12.472 +▁funnel -12.472 +▁geni -12.472 +▁Kolar -12.4721 +ERI -12.4721 +▁kraljice -12.4721 +▁1954 -12.4723 +▁KAR -12.4723 +▁svedok -12.4724 +▁trik -12.4724 +▁Takve -12.4725 +▁PAR -12.4725 +▁lecture -12.4725 +▁Ribe -12.4726 +Ј -12.4726 +third -12.4726 +▁Dress -12.4726 +▁Prednosti -12.4727 +▁equality -12.4728 +▁preduzetnik -12.4729 +logic -12.4729 +▁zaliv -12.4729 +▁Fejsbuku -12.473 +rone -12.473 +▁Danny -12.4731 +▁existed -12.4732 +▁provjeriti -12.4732 +▁naftni -12.4732 +ifies -12.4733 +▁široke -12.4733 +valent -12.4734 +▁Que -12.4734 +▁− -12.4735 +čuje -12.4735 +▁kvalitetniji -12.4735 +▁Citat -12.4735 +Get -12.4736 +▁časti -12.4736 +▁assure -12.4739 +▁cuisine -12.4739 +▁underneath -12.4739 +▁Ćosić -12.4739 +▁annoying -12.4739 +▁jagode -12.4739 +▁Resident -12.4739 +▁nastupaju -12.474 +▁šehid -12.474 +▁zadnjem -12.474 +▁optimization -12.474 +▁utvrđivanja -12.474 +▁nositelj -12.474 +hua -12.474 +▁Managing -12.474 +▁kućnu -12.4741 +▁appearing -12.4741 +▁Povezan -12.4741 +▁kik -12.4741 +▁avoiding -12.4742 +▁zamene -12.4742 +▁stupio -12.4742 +▁majmun -12.4743 +▁rehab -12.4743 +▁vođenja -12.4744 +▁shvaća -12.4744 +pakovan -12.4745 +▁Issue -12.4745 +credit -12.4746 +kcijom -12.4747 +quo -12.4747 +oodle -12.4748 +▁Uradi -12.4748 +▁Shan -12.4749 +▁от -12.475 +▁Oskara -12.475 +▁poveren -12.475 +▁influences -12.4751 +ује -12.4751 +▁noon -12.4751 +▁Ratko -12.4751 +▁organske -12.4751 +Good -12.4752 +▁polymer -12.4753 +▁borio -12.4754 +▁None -12.4754 +lang -12.4754 +▁crvenom -12.4755 +▁redovnom -12.4755 +101 -12.4755 +▁usmeri -12.4755 +▁oglašavanje -12.4755 +▁voziti -12.4755 +▁kofer -12.4756 +▁davala -12.4756 +▁pešačk -12.4756 +▁zene -12.4756 +▁naučnik -12.4757 +▁zainteresirani -12.4757 +▁Filter -12.4757 +▁nastoje -12.4757 +▁stomaka -12.4757 +▁principe -12.4757 +▁tribinama -12.4757 +▁Operations -12.4758 +cita -12.4758 +▁poboljšan -12.4759 +pisani -12.476 +mice -12.4761 +▁izazovi -12.4761 +zdr -12.4761 +▁horrible -12.4762 +▁šoping -12.4762 +▁preuzmu -12.4762 +▁sprinkle -12.4762 +▁swallow -12.4762 +▁posredstvom -12.4762 +▁zagrljaj -12.4762 +▁separation -12.4762 +▁usmjerava -12.4762 +▁uklopi -12.4762 +▁življenja -12.4762 +GRAD -12.4763 +Chi -12.4763 +lce -12.4763 +▁Prevention -12.4763 +▁freeze -12.4763 +▁uređenju -12.4764 +▁Izvršnog -12.4764 +ама -12.4765 +ride -12.4765 +▁odeću -12.4765 +▁NR -12.4767 +▁Subject -12.4767 +▁Vrijednost -12.4767 +▁rudnika -12.4767 +▁homemade -12.4768 +▁virtue -12.4768 +▁Kindle -12.4768 +▁motorom -12.4768 +▁avioni -12.4768 +ligaš -12.4769 +▁spašava -12.477 +▁Starom -12.477 +ISTI -12.477 +▁transit -12.4771 +▁maslinovog -12.4772 +ског -12.4772 +▁narodnih -12.4772 +▁obeležavanja -12.4773 +▁Expo -12.4773 +▁abandon -12.4774 +▁merenje -12.4774 +Mari -12.4776 +▁repres -12.4777 +▁gnoj -12.4778 +▁expects -12.4779 +▁tres -12.478 +▁sjećam -12.478 +▁Rej -12.4781 +▁Mauri -12.4781 +▁Radovanović -12.4782 +▁provoditi -12.4783 +▁advokati -12.4783 +▁evaluated -12.4783 +▁flooring -12.4784 +tling -12.4784 +▁gledaoci -12.4784 +▁slabe -12.4784 +▁Newsletter -12.4784 +▁Vimbldon -12.4784 +▁Zapamti -12.4784 +▁automotive -12.4784 +▁fatigue -12.4784 +▁izbjeći -12.4785 +▁krvarenje -12.4785 +▁infrastruktura -12.4785 +▁Šibenik -12.4785 +▁absent -12.4785 +▁nevladine -12.4785 +▁Earlier -12.4785 +▁helikoptera -12.4785 +▁digit -12.4785 +▁occurring -12.4786 +▁pokrajine -12.4786 +žbe -12.4786 +▁Odlična -12.4786 +▁pozitivnim -12.4786 +▁wholesale -12.4787 +▁pojačanja -12.4787 +▁0,2 -12.4787 +▁audi -12.4788 +▁počnete -12.4788 +▁Porezn -12.4788 +▁modules -12.4789 +▁Blanc -12.4789 +šila -12.4789 +▁učinjeno -12.479 +▁Severnoj -12.479 +plaćen -12.479 +▁životima -12.479 +▁prenosimo -12.4791 +zitet -12.4791 +▁sportskom -12.4792 +▁datume -12.4792 +cnu -12.4793 +▁characteristic -12.4793 +▁dugom -12.4793 +▁odbacio -12.4793 +▁Associates -12.4793 +▁Lucy -12.4793 +▁forests -12.4793 +▁učitelja -12.4794 +à -12.4794 +▁Kona -12.4794 +▁dizajnom -12.4794 +пу -12.4795 +▁jednostavnije -12.4795 +Sam -12.4796 +▁organizing -12.4796 +▁Normal -12.4797 +▁najjači -12.4798 +▁З -12.4798 +▁Sead -12.4799 +DD -12.4799 +▁talents -12.4799 +sara -12.4799 +vedite -12.4799 +▁pokušavao -12.4801 +sigurno -12.4801 +▁Via -12.4802 +▁dosadašnjih -12.4802 +▁mural -12.4802 +▁blur -12.4804 +vijanje -12.4804 +▁prekriva -12.4804 +▁zelenih -12.4805 +▁Bistr -12.4806 +hang -12.4806 +▁Academic -12.4807 +▁podrškom -12.4807 +▁Božje -12.4807 +▁connectivity -12.4807 +▁limfn -12.4807 +▁najvjerovatnije -12.4808 +▁Dimitrijević -12.4808 +▁dob -12.4808 +▁krivične -12.4808 +▁kanalima -12.4809 +▁korisnih -12.481 +▁ankle -12.481 +znica -12.4811 +▁approaching -12.4813 +▁Shadow -12.4813 +aktivni -12.4813 +4|| -12.4813 +▁Tenis -12.4814 +▁zahtijevaju -12.4814 +▁Rudnik -12.4814 +▁Svima -12.4814 +▁tekstovima -12.4814 +▁realm -12.4815 +▁appliances -12.4815 +▁puš -12.4815 +▁chains -12.4816 +▁Matter -12.4816 +▁potpunog -12.4817 +General -12.4817 +▁razumjeti -12.4817 +ides -12.4818 +▁strengths -12.4818 +▁krompira -12.4818 +▁duck -12.4818 +▁udio -12.4818 +govaraju -12.4818 +▁jaki -12.4819 +▁svjetlosti -12.4819 +▁maksimaln -12.482 +▁imenovanja -12.482 +▁calculate -12.482 +▁vežbanje -12.482 +▁Multiple -12.4822 +kvu -12.4822 +▁bačen -12.4822 +▁Državn -12.4823 +▁Dear -12.4823 +▁predložila -12.4824 +▁poremećaji -12.4824 +▁Advokat -12.4824 +▁4000 -12.4824 +▁Cul -12.4826 +▁Kant -12.4827 +▁stating -12.4827 +CTION -12.4827 +▁sastavlja -12.4827 +šanje -12.4828 +▁suppress -12.4828 +psy -12.4829 +▁corrupt -12.4829 +▁igraće -12.4829 +▁darova -12.4829 +▁ranjiv -12.483 +▁Radojičić -12.483 +▁tvrtki -12.483 +▁uostalom -12.483 +▁Bosanski -12.483 +▁meštani -12.4831 +mrgreen -12.4831 +▁raspravi -12.4831 +▁kutiju -12.4831 +▁Growth -12.4832 +▁zanimljivi -12.4832 +▁kolačića -12.4832 +▁volonter -12.4832 +▁Polu -12.4833 +▁Honey -12.4833 +▁stud -12.4834 +▁OFF -12.4834 +▁novogodišnje -12.4835 +▁višestruk -12.4835 +об -12.4836 +▁zbirka -12.4836 +▁kopnen -12.4836 +KING -12.4836 +▁grupacije -12.4836 +Play -12.4837 +▁dumb -12.4837 +▁zapadnoj -12.4838 +▁Vele -12.4838 +▁dođete -12.4838 +▁Philippines -12.4838 +▁ivici -12.4838 +▁smeća -12.4839 +while -12.4839 +shore -12.484 +▁Bruno -12.484 +▁parket -12.484 +▁uspostaviti -12.4841 +▁shipment -12.4841 +▁propast -12.4841 +▁posljednjim -12.4842 +▁Ek -12.4843 +▁brzom -12.4843 +▁odigrala -12.4843 +▁113 -12.4845 +▁čekam -12.4845 +▁heated -12.4845 +▁Vašim -12.4846 +=” -12.4846 +▁Fear -12.4847 +▁knez -12.4847 +▁relieve -12.4848 +Taj -12.4848 +▁cow -12.4849 +▁klon -12.485 +▁Javnog -12.4851 +▁ponovnog -12.4851 +▁stressed -12.4851 +▁sveden -12.4851 +scribe -12.4852 +▁predvide -12.4852 +▁uobičajeni -12.4853 +▁garanciju -12.4853 +▁happily -12.4853 +▁poginula -12.4853 +▁resemble -12.4853 +▁ZDRAVLJE -12.4853 +▁Radonjić -12.4853 +▁kišom -12.4853 +▁sobama -12.4853 +▁Quarter -12.4853 +▁pozira -12.4854 +portal -12.4855 +bori -12.4855 +▁obveza -12.4855 +▁desava -12.4856 +▁advancement -12.4856 +▁GIF -12.4856 +▁masnoće -12.4856 +elek -12.4858 +▁predat -12.4859 +džu -12.4859 +▁Crow -12.4859 +ĉn -12.486 +▁Someone -12.486 +esteem -12.4861 +▁uzbuđen -12.4861 +oljub -12.4861 +tvoren -12.4861 +▁prođu -12.4862 +turi -12.4862 +security -12.4862 +▁varying -12.4863 +▁surveys -12.4863 +glavi -12.4864 +▁ZE -12.4864 +▁си -12.4864 +▁Ostavi -12.4864 +▁kreiraju -12.4865 +▁Orban -12.4865 +▁Scho -12.4865 +▁udružen -12.4865 +▁operatera -12.4865 +▁usudi -12.4865 +product -12.4867 +sight -12.4867 +▁Kej -12.4869 +▁75% -12.4871 +▁ubod -12.4871 +▁ugostitelj -12.4872 +▁spajanje -12.4872 +▁haul -12.4872 +▁hammer -12.4872 +luci -12.4873 +▁služio -12.4873 +▁Svoju -12.4874 +ssen -12.4875 +RR -12.4875 +▁lokalitet -12.4875 +ο -12.4876 +▁džamiji -12.4876 +▁helicopter -12.4876 +▁lesbian -12.4876 +▁novčanu -12.4876 +▁tolerancije -12.4876 +▁Sredstva -12.4876 +▁pozitivnu -12.4876 +▁crawl -12.4876 +▁počinili -12.4876 +▁stignu -12.4876 +▁travelers -12.4876 +▁Odsjek -12.4876 +▁vežbi -12.4876 +elect -12.4876 +▁Belgrade -12.4876 +▁kontrolišu -12.4876 +▁iPod -12.4876 +▁teškoj -12.4876 +▁inča -12.4877 +▁vrhunskih -12.4877 +▁novozaraženih -12.4877 +▁mock -12.4877 +▁Stanley -12.4878 +▁mane -12.4878 +▁napuste -12.4879 +dani -12.488 +▁fini -12.488 +▁vez -12.4881 +▁organizational -12.4882 +2005 -12.4882 +▁dense -12.4883 +ijeva -12.4883 +smith -12.4884 +▁korisniku -12.4884 +▁Broad -12.4884 +▁toast -12.4884 +▁ličnom -12.4884 +hav -12.4885 +▁HBO -12.4885 +▁slažem -12.4885 +▁1957 -12.4885 +▁privrednika -12.4886 +án -12.4886 +▁restrict -12.4886 +▁diže -12.4887 +▁zahtevi -12.4887 +▁Associated -12.4888 +▁limb -12.4889 +▁karikatur -12.4889 +▁osvajanja -12.4889 +▁dugogodišnje -12.4889 +▁zidovima -12.4891 +▁grin -12.4892 +pova -12.4892 +▁tragovi -12.4893 +▁commander -12.4893 +witch -12.4894 +2/ -12.4894 +▁izgovara -12.4895 +▁dvodnevn -12.4896 +▁probi -12.4896 +▁Lei -12.4898 +▁leisure -12.4898 +▁nasuprot -12.4898 +▁necessity -12.4898 +▁varieties -12.4898 +▁HRVATSK -12.4898 +▁remedy -12.4898 +▁Predsjedništvo -12.4898 +▁neretko -12.4898 +▁slijedeće -12.4898 +▁lined -12.4899 +fund -12.4899 +▁Launch -12.4899 +radu -12.49 +▁masaža -12.49 +▁odbačen -12.4901 +▁Grb -12.4901 +▁smeštena -12.4902 +▁Napravit -12.4903 +▁prodajno -12.4903 +▁zlostavlja -12.4903 +▁izvrše -12.4903 +▁socijalisti -12.4903 +▁Crnom -12.4903 +▁ˇ -12.4904 +▁Tajland -12.4905 +▁1,8 -12.4905 +▁1959 -12.4905 +▁Cable -12.4905 +dobrovolj -12.4905 +▁ugostiteljsk -12.4906 +LJU -12.4907 +▁handles -12.4907 +▁osuđuje -12.4908 +▁Teacher -12.4908 +▁unutrašnjost -12.4909 +▁direktorom -12.4909 +BT -12.491 +▁redovi -12.4911 +▁opisuju -12.4911 +▁prihvataju -12.4912 +сте -12.4914 +tjeriva -12.4915 +▁ignored -12.4916 +ardi -12.4916 +▁komandanta -12.4918 +Home -12.4918 +▁rewarding -12.4918 +▁composer -12.4919 +▁united -12.492 +zila -12.492 +▁svetska -12.4921 +▁Pub -12.4921 +ż -12.4921 +▁Written -12.4921 +▁amateur -12.4921 +▁Tešanj -12.4921 +▁kladionica -12.4921 +▁uspešne -12.4921 +▁magacin -12.4922 +▁racionalno -12.4922 +▁Outlook -12.4922 +▁raskinu -12.4922 +▁ljepota -12.4922 +▁prevail -12.4922 +▁stabilan -12.4922 +▁došle -12.4922 +▁prosta -12.4923 +▁shaft -12.4923 +▁oslikava -12.4923 +▁bitka -12.4924 +▁bacon -12.4924 +▁Па -12.4925 +▁apartments -12.4926 +▁Near -12.4926 +▁kafića -12.4928 +▁Proizvodnja -12.4928 +▁svađe -12.4929 +▁mlaz -12.4929 +▁hiljadama -12.493 +▁Added -12.493 +▁medicinskog -12.4931 +▁Specialist -12.4931 +vački -12.4931 +▁objašnjavaju -12.4932 +▁packing -12.4932 +▁Corn -12.4934 +▁ulažu -12.4937 +▁mirovni -12.4937 +▁skoči -12.4938 +▁poklona -12.4938 +▁meru -12.4939 +▁kicked -12.4939 +▁nizom -12.4939 +▁plodovi -12.494 +žina -12.4941 +▁Jez -12.4941 +▁pričali -12.4941 +bira -12.4942 +▁Rene -12.4944 +▁270 -12.4944 +▁fasci -12.4944 +▁Athletic -12.4944 +▁Egiptu -12.4944 +▁Emanuel -12.4944 +▁combining -12.4944 +▁razdoblja -12.4944 +▁surveillance -12.4944 +▁teoriji -12.4944 +▁Amanda -12.4945 +▁screenshot -12.4945 +▁SSSR -12.4945 +▁fridge -12.4945 +▁izbačen -12.4945 +▁razumevanja -12.4946 +▁stavovima -12.4946 +oružanih -12.4946 +▁violations -12.4947 +▁compounds -12.4947 +▁Sig -12.4947 +▁dešavanjima -12.4947 +▁iskreni -12.4947 +quin -12.4948 +zemlja -12.4948 +ина -12.4948 +▁različit -12.4948 +▁Kerry -12.4949 +▁evropskoj -12.4949 +▁vibe -12.4949 +▁Wear -12.495 +▁slovima -12.495 +▁rukometn -12.495 +rench -12.4951 +▁Svetozar -12.4951 +▁razara -12.4952 +▁meantime -12.4953 +▁racun -12.4953 +▁prouči -12.4954 +▁građansko -12.4954 +▁nečije -12.4955 +▁svedoka -12.4955 +▁Vanjski -12.4957 +▁Proc -12.4958 +▁NU -12.4959 +▁manually -12.4959 +▁GMO -12.4959 +▁Primjer -12.496 +▁kćeri -12.496 +▁cult -12.496 +▁izjednačen -12.4961 +▁najstarije -12.4961 +klon -12.4962 +ع -12.4962 +▁postavljeno -12.4962 +▁desperate -12.4963 +▁uzet -12.4963 +▁institute -12.4963 +▁1980. -12.4964 +▁Rig -12.4964 +▁memori -12.4964 +▁tastes -12.4965 +punk -12.4965 +▁Greater -12.4965 +▁Iranu -12.4965 +▁diše -12.4965 +▁SSD -12.4965 +▁crafts -12.4965 +šći -12.4965 +▁Chef -12.4966 +▁zvaničnim -12.4966 +trof -12.4966 +olin -12.4967 +-40 -12.4967 +▁Holivud -12.4967 +▁proljeća -12.4967 +▁naglasak -12.4967 +▁arrives -12.4967 +▁suho -12.4968 +▁Šuma -12.4968 +▁snažne -12.4968 +▁pružajući -12.4968 +kole -12.4969 +▁cents -12.497 +indi -12.497 +1:30 -12.497 +▁farms -12.497 +▁prezent -12.497 +▁populacija -12.497 +edit -12.497 +▁Katie -12.4971 +▁Informer -12.4971 +▁usporen -12.4972 +▁slušalice -12.4972 +▁Treća -12.4972 +▁patike -12.4972 +▁zatvoriti -12.4973 +▁specijalist -12.4973 +▁Discovery -12.4974 +▁witnesses -12.4975 +▁sestru -12.4975 +▁vodopad -12.4975 +▁ubrzan -12.4977 +▁Dvadeset -12.4977 +▁Iranian -12.4977 +▁tehnologijama -12.4978 +▁Nathan -12.4978 +2.1 -12.4979 +njski -12.498 +▁VAT -12.498 +shoot -12.498 +▁pobijedili -12.498 +▁strateg -12.498 +▁mrtvi -12.4981 +▁Hitne -12.4981 +▁Kulturnog -12.4981 +ložio -12.4982 +▁banku -12.4982 +▁Budžet -12.4982 +▁1984. -12.4983 +▁naslaga -12.4984 +▁finansijskom -12.4984 +gregat -12.4984 +vropsk -12.4985 +uzimajući -12.4986 +▁modeling -12.4987 +čicu -12.4988 +loze -12.4988 +bou -12.4989 +▁suspected -12.4989 +▁idete -12.499 +▁Osoba -12.499 +▁đubriva -12.499 +▁prestanka -12.499 +▁invasion -12.4991 +▁slatke -12.4991 +▁POSAO -12.4991 +▁Claim -12.4991 +▁alliance -12.4991 +▁otkuca -12.4991 +▁safeguard -12.4991 +▁implementacije -12.4992 +▁ostvarivanju -12.4992 +▁volji -12.4992 +match -12.4992 +▁refreshing -12.4992 +▁pogođeni -12.4992 +▁Općinsk -12.4992 +OF -12.4993 +▁Recent -12.4993 +▁obojica -12.4994 +▁dosadašnje -12.4994 +oksid -12.4994 +▁bavili -12.4994 +▁zakonit -12.4994 +▁Perić -12.4996 +▁ponasa -12.4997 +Che -12.4997 +ester -12.4997 +▁Tampa -12.4997 +▁Predmet -12.4998 +▁1-1 -12.4998 +▁saznala -12.4999 +▁popularno -12.5 +▁Zim -12.5 +▁inspect -12.5 +▁prilazi -12.5001 +▁poznatiji -12.5001 +▁afera -12.5001 +▁večerašnj -12.5002 +▁kursu -12.5003 +ETI -12.5004 +▁STR -12.5007 +▁Tang -12.5007 +▁znakove -12.5007 +▁Feed -12.5007 +▁zidovi -12.5008 +▁savršeni -12.5009 +▁studijama -12.5009 +▁poreklom -12.501 +▁islamski -12.501 +ravna -12.5011 +▁enterprises -12.5012 +GEN -12.5012 +▁JavaScript -12.5014 +▁putovati -12.5014 +▁omogućuju -12.5014 +▁suočiti -12.5014 +▁zastavu -12.5015 +▁naučna -12.5015 +▁pip -12.5016 +sbury -12.5016 +▁Hang -12.5016 +STER -12.5016 +vski -12.5017 +▁Motiv -12.5017 +▁nastupima -12.5017 +▁glasačk -12.5018 +кс -12.5019 +▁tenzija -12.502 +▁bankarsk -12.502 +▁uhapsili -12.502 +▁odlikovan -12.5021 +▁stresom -12.5021 +šili -12.5021 +▁4,5 -12.5022 +▁nedavni -12.5022 +▁Lower -12.5023 +krenu -12.5024 +▁zahvati -12.5024 +▁pripal -12.5024 +▁Operativn -12.5024 +▁neprihvatljiv -12.5024 +▁pleh -12.5025 +▁pravimo -12.5025 +nciju -12.5025 +▁Scar -12.5026 +▁masters -12.5027 +▁specially -12.5027 +▁KRI -12.5027 +oops -12.5027 +▁demokratsko -12.5027 +▁lokalitetu -12.5028 +control -12.5028 +▁owe -12.5028 +zaposlen -12.5029 +▁centralnoj -12.5029 +▁stupanja -12.5031 +▁stanovanja -12.5031 +▁odbornici -12.5032 +čane -12.5032 +stajali -12.5032 +▁athlete -12.5032 +▁cycling -12.5032 +▁sadašnje -12.5033 +▁specijalnim -12.5033 +▁Dayton -12.5033 +▁učitelji -12.5034 +▁Til -12.5034 +▁holder -12.5035 +▁preduzetni -12.5035 +logist -12.5036 +▁šesnaest -12.5036 +▁histori -12.5036 +▁eksplodira -12.5037 +▁Faculty -12.5037 +▁kupovinom -12.5037 +▁marihuane -12.5037 +▁reproduktivn -12.5037 +▁Intervju -12.5037 +▁Izvršni -12.5037 +▁zadatka -12.5037 +▁identifikovan -12.5037 +▁IZVOR -12.5037 +▁Kalesija -12.5037 +▁nasilju -12.5037 +▁gazi -12.5037 +▁Lib -12.504 +▁Albanija -12.504 +▁smanjila -12.5041 +▁Pej -12.5041 +šče -12.5041 +▁hoću -12.5041 +▁Ма -12.5042 +▁tehnološkog -12.5042 +▁obavili -12.5043 +tisak -12.5043 +▁ženom -12.5043 +▁punkt -12.5043 +▁izvjesno -12.5043 +▁moda -12.5043 +▁plasirao -12.5043 +▁propaga -12.5044 +▁skromni -12.5044 +lasci -12.5045 +Dec -12.5045 +▁б -12.5045 +оп -12.5046 +▁indicator -12.5046 +▁prohibited -12.5046 +▁Idemo -12.5046 +▁jeftiniji -12.5046 +▁hardver -12.5046 +▁ograniči -12.5047 +▁Usled -12.5048 +▁sastati -12.5048 +▁Zapadnom -12.5048 +fact -12.5048 +▁Klad -12.5048 +▁delays -12.5049 +shaped -12.5049 +Out -12.5049 +▁podari -12.505 +▁Ark -12.505 +▁donošenju -12.505 +▁plaše -12.5051 +▁1914 -12.5051 +▁wealthy -12.5051 +▁suverenitet -12.5052 +▁shades -12.5052 +▁forums -12.5053 +▁Demi -12.5053 +▁Sličn -12.5053 +▁STE -12.5053 +▁sopstvenih -12.5054 +▁Instrument -12.5054 +-60 -12.5055 +▁charming -12.5056 +▁borimo -12.5056 +▁pripremite -12.5057 +▁reket -12.5057 +▁vlastitom -12.5057 +jsku -12.5058 +▁bonuses -12.5059 +▁ograničena -12.5059 +▁Uvod -12.5059 +▁Nedostatak -12.506 +▁akcenat -12.506 +▁convicted -12.506 +▁Prisutn -12.506 +▁structured -12.506 +▁Southeast -12.5061 +▁Tir -12.5061 +▁prestonice -12.5061 +▁sprovođenju -12.5061 +▁suvišn -12.5061 +▁medjunarodn -12.5061 +▁socijaldemokrat -12.5062 +▁Montana -12.5062 +▁Hrvat -12.5063 +▁srbi -12.5063 +▁privukao -12.5063 +▁во -12.5064 +▁majice -12.5064 +▁Zamislite -12.5065 +▁rastom -12.5065 +▁Ukra -12.5065 +▁česta -12.5066 +▁Sanjati -12.5067 +▁villages -12.5068 +ologa -12.5068 +▁nearest -12.5069 +▁Specijalno -12.5069 +▁radnju -12.5069 +ometri -12.5069 +▁dostava -12.5069 +▁hunger -12.507 +▁pakete -12.507 +course -12.507 +▁čestit -12.5072 +▁Traditional -12.5072 +▁assignments -12.5072 +▁Koš -12.5072 +▁mačka -12.5072 +▁svesno -12.5073 +kvo -12.5074 +▁raskošn -12.5075 +▁sellers -12.5075 +▁Ispit -12.5076 +стра -12.5076 +▁Cafe -12.5076 +▁četvrto -12.5077 +▁OC -12.5077 +▁Diploma -12.5078 +▁био -12.5078 +▁lacking -12.5078 +▁Essential -12.5079 +▁pripala -12.5079 +▁kits -12.5079 +▁izazvane -12.508 +▁Šti -12.508 +▁dužna -12.5081 +founder -12.5081 +▁doživljavaju -12.5081 +▁timski -12.5082 +WC -12.5082 +dev -12.5082 +▁centralnog -12.5082 +ú -12.5083 +▁preliminary -12.5083 +▁Hudson -12.5083 +▁tržišni -12.5083 +▁mašinu -12.5083 +▁Receive -12.5083 +▁Vatikan -12.5084 +▁steknu -12.5084 +▁norvešk -12.5084 +luči -12.5084 +▁poznavao -12.5084 +▁koncentraciju -12.5084 +▁benchmark -12.5084 +gated -12.5084 +▁utorka -12.5084 +▁slikom -12.5084 +▁pokrajinsk -12.5085 +▁realizovati -12.5085 +▁poresk -12.5085 +▁recruitment -12.5085 +ološke -12.5086 +▁ujedini -12.5086 +▁nikog -12.5087 +▁badem -12.5087 +Poseban -12.5087 +iding -12.5088 +▁vratu -12.5088 +▁prelaza -12.509 +▁castle -12.509 +▁Apart -12.5092 +▁zarazi -12.5092 +▁kamenje -12.5092 +▁Blake -12.5092 +▁kostima -12.5094 +▁recite -12.5095 +activ -12.5095 +▁pogodni -12.5095 +▁saveznika -12.5095 +▁Ш -12.5096 +▁Mati -12.5096 +▁domove -12.5097 +:7 -12.5097 +▁ONE -12.5097 +▁korišćenju -12.5097 +▁expose -12.5097 +gren -12.5098 +▁Graphic -12.5099 +vedeni -12.51 +▁zaštićen -12.5101 +▁Hold -12.5101 +▁Harper -12.5101 +▁MON -12.5101 +▁advances -12.5101 +▁dodeljen -12.5102 +▁kamatn -12.5103 +▁Trag -12.5103 +▁HM -12.5104 +▁Aviv -12.5104 +▁1987. -12.5104 +▁arapsk -12.5104 +▁economics -12.5106 +▁Komitet -12.5107 +▁Holandiji -12.5107 +▁adjacent -12.5107 +▁džamiju -12.5107 +▁manuscript -12.5107 +▁odabrao -12.5107 +▁suptiln -12.5107 +▁Ljubljani -12.5107 +▁bankruptcy -12.5107 +▁namještaja -12.5107 +▁cholesterol -12.5107 +▁Njemačku -12.5107 +▁siren -12.5107 +▁Bristol -12.5107 +▁debris -12.5107 +▁Mitrovice -12.5107 +bps -12.5107 +▁Hamburg -12.5107 +▁preventivno -12.5107 +▁ritmu -12.5108 +▁narko -12.5108 +▁Healthcare -12.5108 +pošte -12.5108 +eptic -12.5109 +▁crvenim -12.511 +▁uređaju -12.5111 +▁turnover -12.5111 +0| -12.5111 +▁Brazilu -12.5111 +▁Designer -12.5112 +▁nosioci -12.5113 +▁Players -12.5113 +▁chew -12.5113 +▁momka -12.5114 +▁chapters -12.5115 +inca -12.5115 +▁nečim -12.5115 +▁spy -12.5115 +▁carstvo -12.5115 +▁česti -12.5116 +linger -12.5116 +▁pill -12.5116 +TING -12.5116 +▁ostalima -12.5117 +▁napadaju -12.5118 +.2010. -12.5119 +▁današnjim -12.5119 +▁approve -12.512 +▁Brus -12.512 +▁clay -12.512 +▁prestala -12.512 +▁pulse -12.5121 +▁EF -12.5122 +BOR -12.5122 +▁otkazan -12.5122 +▁tlak -12.5122 +▁Customers -12.5123 +▁pridružiti -12.5123 +▁slope -12.5123 +east -12.5123 +bacivanje -12.5123 +jel -12.5124 +▁aspektima -12.5125 +▁Loš -12.5125 +▁Found -12.5125 +▁Ultimate -12.5125 +▁Granda -12.5125 +кр -12.5126 +▁troškovima -12.5126 +▁6:2 -12.5126 +▁ruže -12.5128 +▁Costa -12.5128 +▁bugs -12.5129 +zid -12.513 +Pol -12.513 +Hvala -12.513 +▁Mijatović -12.513 +▁mržnju -12.513 +▁securities -12.513 +▁dohodak -12.513 +▁Restoran -12.513 +▁ambition -12.513 +▁odustao -12.513 +▁Pančevo -12.513 +▁uputstvo -12.513 +▁zastupnici -12.5131 +▁posmatrati -12.5131 +časovn -12.5131 +III -12.5132 +▁Yorku -12.5132 +▁vibr -12.5133 +▁Pages -12.5133 +ORI -12.5133 +▁substances -12.5134 +▁Arh -12.5134 +▁južno -12.5135 +▁privuče -12.5135 +▁Political -12.5136 +▁sankcijama -12.5136 +▁obnovljivih -12.5136 +▁armije -12.5138 +▁odlični -12.5139 +▁bedrooms -12.5139 +OX -12.514 +▁Policijski -12.5141 +▁positioned -12.5141 +▁seating -12.5141 +ILL -12.5142 +▁tumače -12.5142 +▁booked -12.5142 +▁modula -12.5143 +▁weekends -12.5143 +▁nastavnik -12.5144 +▁floating -12.5144 +▁Reports -12.5145 +▁tuned -12.5145 +▁Lop -12.5145 +▁odobrenja -12.5146 +▁temelja -12.5148 +▁pools -12.5148 +▁Lynn -12.5148 +still -12.5148 +▁metrics -12.5148 +zuje -12.5149 +▁saobraćajna -12.515 +▁motocikl -12.515 +▁Biz -12.5151 +▁polet -12.5151 +▁dodali -12.5152 +▁solving -12.5152 +ила -12.5152 +▁nemaš -12.5153 +▁Cultural -12.5154 +▁grožđa -12.5154 +▁prestigious -12.5154 +▁prognoze -12.5154 +▁Chemical -12.5154 +▁poremeti -12.5154 +▁naspram -12.5154 +▁jedinstva -12.5154 +▁pogodna -12.5154 +▁coordinator -12.5154 +▁stilom -12.5154 +▁Sinoć -12.5154 +▁pristao -12.5154 +▁invoice -12.5154 +▁adhere -12.5154 +▁određuju -12.5156 +IKE -12.5156 +▁bronz -12.5156 +▁demokratiju -12.5157 +gaz -12.5157 +▁Cheap -12.5157 +▁preminulih -12.5157 +CF -12.5158 +▁cooler -12.5159 +pina -12.516 +goš -12.516 +▁integriteta -12.516 +▁Effective -12.516 +▁stvarni -12.5162 +▁stradali -12.5163 +▁izložen -12.5164 +▁Diana -12.5164 +▁honorar -12.5165 +▁Borisa -12.5165 +▁deployed -12.5165 +▁Solution -12.5165 +kacija -12.5166 +▁particles -12.5166 +▁Trial -12.5166 +▁Baja -12.5167 +▁dostupnim -12.5169 +▁decides -12.5169 +▁minerals -12.5169 +▁satisfying -12.5169 +▁vulkan -12.517 +zed -12.517 +zzy -12.517 +thon -12.5173 +▁Tatjana -12.5174 +▁nastupila -12.5175 +rec -12.5176 +▁counting -12.5176 +▁zadužena -12.5177 +▁conjunction -12.5177 +▁inspekcije -12.5177 +▁četvrtfinale -12.5177 +▁sugrađana -12.5177 +▁prosvjete -12.5177 +▁neminovno -12.5177 +▁Crkvi -12.5177 +▁poplave -12.5177 +▁Broadway -12.5178 +klas -12.5178 +▁gallon -12.5178 +▁demografsk -12.5178 +▁Stejt -12.5178 +▁Božidar -12.5179 +▁Hyper -12.5179 +▁južne -12.5179 +▁Moving -12.5179 +▁reviewing -12.518 +▁kiselo -12.518 +▁Nord -12.5181 +vljen -12.5181 +▁sore -12.5181 +▁zahvalan -12.5182 +seks -12.5182 +▁pohvalio -12.5183 +▁europskih -12.5183 +vcima -12.5184 +▁Mesto -12.5184 +▁vatra -12.5184 +▁brzog -12.5184 +▁sarađuju -12.5185 +▁izložena -12.5185 +▁parametri -12.5185 +7,000 -12.5185 +▁heroja -12.5185 +ggling -12.5186 +▁Danske -12.5187 +▁Zapadne -12.5187 +stalo -12.5188 +Vidi -12.5188 +▁žlezde -12.5188 +▁eh -12.5188 +▁Tommy -12.5188 +▁SPORT -12.5189 +▁iritira -12.519 +MINA -12.519 +Tak -12.519 +▁Osob -12.519 +▁vrijedni -12.5191 +▁morale -12.5191 +▁zahvalim -12.5191 +▁gal -12.5192 +▁Svjetsk -12.5192 +▁Romi -12.5193 +▁TN -12.5193 +▁savezu -12.5193 +▁poljubi -12.5193 +RF -12.5194 +▁bosanskih -12.5194 +-27 -12.5194 +▁Pec -12.5195 +▁stambenog -12.5195 +▁pravilan -12.5196 +▁predator -12.5197 +▁nega -12.5197 +▁kućnih -12.5197 +▁Woods -12.5199 +▁Generally -12.52 +▁Javn -12.52 +▁Odlukom -12.5201 +▁preduzetništva -12.5201 +▁fundraising -12.5201 +▁lifted -12.5201 +▁pravili -12.5201 +▁korektno -12.5201 +▁Paraćin -12.5201 +▁prophet -12.5202 +▁evolve -12.5202 +risto -12.5202 +▁Stare -12.5203 +▁Evan -12.5203 +▁Wang -12.5203 +▁skuplji -12.5203 +▁GOP -12.5203 +▁povlačenja -12.5203 +▁uspostavljanju -12.5204 +▁noktiju -12.5205 +▁skrati -12.5205 +▁prisiljen -12.5205 +▁encountered -12.5205 +-05 -12.5205 +▁arc -12.5206 +▁povećanjem -12.5206 +▁iznio -12.5206 +▁outlook -12.5206 +train -12.5208 +▁setovima -12.5208 +▁prijemu -12.5208 +▁Rag -12.521 +▁jesmo -12.521 +▁Format -12.521 +zzi -12.5212 +Б -12.5212 +▁odvesti -12.5213 +▁precizni -12.5213 +▁ocene -12.5214 +▁strastven -12.5214 +▁sinteti -12.5214 +WD -12.5215 +▁dopustiti -12.5215 +▁živeli -12.5215 +▁Generalno -12.5215 +licama -12.5216 +▁thoughtful -12.5216 +▁gospod -12.5217 +▁Kula -12.5218 +▁crops -12.5218 +▁kupova -12.5218 +▁nanese -12.5219 +janju -12.5219 +▁Vita -12.5219 +▁zahvalnosti -12.5219 +▁golu -12.5219 +belež -12.522 +▁čitam -12.5223 +▁trči -12.5223 +▁traženje -12.5224 +▁witnessed -12.5224 +▁Agenciji -12.5224 +▁confusing -12.5224 +▁proceduri -12.5224 +▁stvaralaštva -12.5224 +▁dodeljuje -12.5224 +▁spektra -12.5224 +▁pomagala -12.5224 +▁Leskovac -12.5225 +▁američku -12.5225 +▁predstojeć -12.5225 +▁grud -12.5225 +▁Belgije -12.5225 +▁nadmaši -12.5225 +▁zdravstvu -12.5225 +▁stabala -12.5225 +▁rebalans -12.5226 +▁responding -12.5226 +▁Ashley -12.5226 +▁Trading -12.5226 +▁skidanje -12.5226 +▁Success -12.5226 +crypt -12.5227 +▁dobitak -12.5227 +▁Scha -12.5228 +Dani -12.5229 +▁Chuck -12.5229 +USE -12.5229 +▁nelegalno -12.5229 +▁pristojno -12.523 +▁kolektivno -12.523 +▁sedamdesetih -12.523 +▁uhvaćen -12.523 +▁1958 -12.523 +▁sretno -12.5231 +Nikola -12.5231 +▁borbama -12.5232 +||8 -12.5232 +▁Bryan -12.5233 +▁Wire -12.5234 +▁zapada -12.5234 +▁građevinskog -12.5234 +▁Applications -12.5234 +▁pomeri -12.5235 +▁Fiat -12.5235 +▁dostigao -12.5235 +▁IX -12.5237 +▁školskih -12.5237 +▁zaslon -12.5237 +▁poželi -12.5237 +▁britansko -12.5237 +▁bokser -12.5238 +▁centralno -12.5238 +▁translated -12.5239 +▁opravdava -12.5239 +Može -12.524 +▁povoljni -12.5241 +first -12.5241 +▁trgova -12.5242 +▁plače -12.5242 +▁col -12.5242 +▁zvanje -12.5242 +▁zasnovana -12.5247 +▁Plaza -12.5247 +▁formata -12.5248 +kovski -12.5248 +▁Zrinjski -12.5248 +▁frustrating -12.5248 +▁astronaut -12.5248 +▁inevitable -12.5248 +▁kašalj -12.5248 +▁prirodom -12.5248 +▁proslavu -12.5248 +▁ambicija -12.5248 +▁rodno -12.5249 +mediteran -12.5249 +▁deceniju -12.5249 +wen -12.525 +▁Albaniji -12.525 +▁skijaš -12.525 +▁considerably -12.525 +▁counties -12.525 +▁Request -12.525 +▁relaxation -12.5251 +▁kafica -12.5251 +▁Nudimo -12.5252 +▁novorođen -12.5252 +▁protivnici -12.5253 +▁štednje -12.5254 +▁Carbon -12.5255 +▁menjati -12.5256 +▁porasta -12.5256 +ijskom -12.5257 +lagač -12.5257 +mping -12.5259 +▁Ugovora -12.5259 +health -12.526 +▁dozvoljavaju -12.5261 +▁uzorka -12.5261 +▁Lap -12.5262 +▁Staljin -12.5262 +▁nervni -12.5264 +national -12.5264 +divi -12.5264 +▁mito -12.5264 +▁reforma -12.5265 +▁hleba -12.5267 +▁potpisati -12.5269 +▁Lay -12.5269 +▁odboru -12.5269 +▁timeline -12.527 +version -12.5271 +▁relevantnih -12.5271 +▁Puš -12.5271 +▁okolo -12.5271 +▁Borba -12.5272 +▁inquiry -12.5272 +▁komentator -12.5272 +▁Degree -12.5272 +▁civilnih -12.5272 +▁moderator -12.5272 +▁izdala -12.5273 +▁AZ -12.5273 +▁turistima -12.5273 +▁Čačku -12.5274 +▁ljepoti -12.5274 +▁ponosa -12.5274 +▁nezvaničnim -12.5274 +▁Adria -12.5274 +▁kolona -12.5275 +▁Photoshop -12.5275 +▁koloni -12.5275 +▁Sofija -12.5275 +▁gin -12.5275 +Mad -12.5275 +▁torbe -12.5276 +▁DOS -12.5276 +▁sends -12.5276 +▁žuri -12.5276 +▁Olympics -12.5276 +▁litre -12.5276 +▁ucini -12.5277 +▁stranaca -12.5278 +Prije -12.5278 +▁Članak -12.5279 +demokrat -12.528 +▁razmenu -12.528 +▁lekarsk -12.528 +æeš -12.528 +▁Contract -12.5281 +▁izmišljen -12.5281 +▁rusku -12.5281 +▁progres -12.5282 +share -12.5282 +▁Julia -12.5283 +▁izmenjen -12.5283 +▁Dame -12.5283 +▁jezicima -12.5283 +▁Coming -12.5283 +Naravno -12.5284 +▁produkt -12.5286 +▁posjet -12.5286 +▁vein -12.5287 +▁normalne -12.5288 +▁preciznost -12.5289 +▁Baba -12.5291 +migrant -12.5291 +▁Nut -12.5291 +▁Grove -12.5292 +▁funkcionalno -12.5292 +▁nekadašnj -12.5292 +▁pretnja -12.5293 +▁radeći -12.5294 +▁Statement -12.5294 +▁outlined -12.5294 +ђ -12.5295 +ključivanje -12.5295 +▁osjetiti -12.5295 +▁descend -12.5295 +▁pozivom -12.5295 +▁Gul -12.5295 +‚ -12.5296 +▁grandmother -12.5296 +▁eBay -12.5296 +▁prehlade -12.5296 +▁nuklearne -12.5296 +▁margarin -12.5296 +▁kontakata -12.5296 +▁građevinarstva -12.5296 +medic -12.5296 +▁stručnu -12.5296 +▁Hali -12.5296 +▁deposits -12.5296 +▁pledge -12.5296 +▁Vijeću -12.5296 +▁ispune -12.5297 +War -12.5297 +Bilo -12.5297 +▁prekinuti -12.5297 +▁FAQ -12.5297 +▁Izgradnja -12.5298 +▁sastojcima -12.5298 +vrt -12.5299 +▁dijagnostičk -12.5299 +▁svinje -12.5299 +▁cargo -12.5299 +▁cage -12.5299 +▁demokratija -12.5299 +▁1979. -12.5299 +▁pruga -12.53 +ekonomi -12.53 +▁sedištem -12.5301 +▁prerano -12.5301 +▁VS -12.5301 +▁slučajem -12.5301 +vodno -12.5301 +▁ispravan -12.5301 +▁očevi -12.5302 +▁1939 -12.5302 +▁Ceca -12.5302 +▁lovi -12.5302 +▁emotivni -12.5302 +▁trains -12.5302 +ruži -12.5303 +▁ljekari -12.5303 +▁bosanskog -12.5304 +nulo -12.5304 +▁dominated -12.5304 +▁Halilović -12.5304 +▁Šaban -12.5304 +▁Border -12.5304 +Gre -12.5305 +▁beaten -12.5305 +▁static -12.5306 +▁licem -12.5306 +▁Devet -12.5306 +▁Marti -12.5306 +▁temper -12.5307 +▁æu -12.5307 +▁$12 -12.5307 +▁header -12.5307 +▁konkretnih -12.5307 +standard -12.5308 +▁recipient -12.5308 +watt -12.5308 +▁obezbedila -12.5309 +▁ruše -12.5309 +when -12.5309 +▁notebook -12.5309 +▁laminat -12.5309 +▁trademark -12.5309 +▁eksplozivn -12.531 +▁Boat -12.531 +▁Lazarev -12.531 +▁Jin -12.531 +▁ozbiljniji -12.5311 +▁dostupnost -12.5312 +▁cellular -12.5313 +▁rangiran -12.5314 +lev -12.5315 +ćan -12.5316 +▁smijemo -12.5319 +▁endeavor -12.532 +▁evidenciju -12.532 +▁nezgode -12.532 +fi -12.532 +▁zvanična -12.532 +▁svestran -12.532 +▁Jugoslovensk -12.5321 +encing -12.5321 +▁Route -12.5321 +▁pričama -12.5321 +▁centrom -12.5321 +▁sledeću -12.5321 +▁kamerama -12.5322 +▁Severin -12.5322 +▁smještaja -12.5323 +▁ostatka -12.5323 +▁zbivanja -12.5323 +▁majstori -12.5323 +▁kapaciteti -12.5324 +▁upalu -12.5324 +▁modular -12.5326 +▁prisoners -12.5327 +▁Drine -12.5328 +▁smesti -12.5329 +▁nalazili -12.5329 +nette -12.5329 +||7 -12.533 +▁odgovarao -12.5331 +Sarajevo -12.5332 +▁Venera -12.5332 +content -12.5332 +▁hrvatsko -12.5333 +mada -12.5333 +škoj -12.5333 +▁Njima -12.5333 +▁9:00 -12.5334 +▁dresses -12.5334 +▁prešli -12.5335 +▁uradim -12.5335 +▁upoznaje -12.5335 +▁Safet -12.5335 +▁Ace -12.5335 +▁regulate -12.5336 +▁propustiti -12.5336 +vide -12.5336 +▁porukama -12.5336 +▁gostuje -12.5336 +▁ponosna -12.5337 +bavi -12.5337 +▁porođaj -12.5337 +▁insekt -12.5338 +▁Perović -12.5338 +▁propasti -12.5338 +▁hug -12.5338 +▁prikazano -12.5338 +▁borci -12.5338 +▁namijenjena -12.5339 +▁kalcijuma -12.534 +▁prognozira -12.534 +▁otežano -12.5341 +Naša -12.5341 +▁cir -12.5341 +ologists -12.5342 +▁router -12.5342 +▁POV -12.5342 +▁gradskoj -12.5342 +▁Egg -12.5343 +▁Bulatović -12.5343 +▁detinjstva -12.5343 +▁Agriculture -12.5343 +▁prisjeti -12.5344 +▁htela -12.5344 +▁Mitchell -12.5344 +▁Jugoslaviju -12.5344 +▁spremaju -12.5344 +▁Demon -12.5344 +▁obišli -12.5344 +▁pakovanju -12.5344 +▁ILI -12.5345 +taš -12.5345 +▁practitioners -12.5345 +▁Points -12.5345 +▁Zanima -12.5345 +▁budala -12.5345 +▁chaos -12.5345 +▁čaša -12.5345 +▁ishoda -12.5347 +▁revizor -12.5347 +tječe -12.5347 +▁široku -12.5347 +▁projection -12.5347 +▁receptu -12.5348 +▁statut -12.5349 +▁podlogu -12.5349 +▁Napredak -12.5349 +▁heroes -12.535 +▁rit -12.535 +stanku -12.535 +▁flows -12.5351 +▁Slim -12.5352 +▁stavke -12.5352 +▁sigurnosni -12.5353 +▁suplement -12.5353 +њи -12.5353 +▁mentally -12.5354 +ACE -12.5354 +▁sjajnim -12.5354 +▁novcu -12.5355 +People -12.5356 +century -12.5356 +▁coupled -12.5356 +▁consequence -12.5356 +lda -12.5356 +▁consumed -12.5357 +▁Origin -12.5357 +▁najniž -12.5357 +sound -12.5358 +▁produžava -12.5358 +рије -12.5358 +▁razmišljam -12.5359 +▁DOO -12.5359 +▁floral -12.536 +IPA -12.536 +▁Advisor -12.5362 +▁blogger -12.5363 +▁Kijevu -12.5363 +▁rides -12.5364 +▁fax -12.5364 +▁Filipa -12.5364 +50.000 -12.5364 +▁lining -12.5365 +▁nacionalisti -12.5365 +▁RAT -12.5365 +▁potpune -12.5367 +▁odgovarajućim -12.5367 +▁adekvatne -12.5367 +▁fifty -12.5367 +▁posljednjoj -12.5367 +▁Švajcarskoj -12.5367 +▁konsultacija -12.5367 +▁terrain -12.5367 +▁synthetic -12.5368 +▁Interior -12.5368 +▁penalties -12.5368 +▁znamenitosti -12.5368 +▁produkcija -12.5368 +▁Duncan -12.5368 +▁knji -12.5369 +▁donesen -12.5369 +▁Prizna -12.5369 +▁poligon -12.537 +▁poduzetnik -12.5372 +▁endure -12.5372 +▁SARS -12.5373 +▁Dražen -12.5373 +▁privrednim -12.5374 +▁Vaših -12.5375 +lovac -12.5375 +▁treneri -12.5375 +▁sprečavaju -12.5375 +▁Developer -12.5376 +▁predlozi -12.5377 +dl -12.5377 +▁plasmana -12.5377 +stroj -12.5378 +▁skenira -12.538 +AZ -12.538 +▁osigurala -12.538 +▁emphasize -12.5381 +zoni -12.5381 +izes -12.5383 +▁istok -12.5384 +bilan -12.5384 +▁acids -12.5385 +▁depozita -12.5386 +▁pogoršava -12.5387 +▁osip -12.5387 +▁zaključili -12.5387 +▁stanovnike -12.5388 +Vuk -12.5389 +VL -12.5389 +▁majica -12.539 +▁satu -12.5391 +▁Vidimo -12.5391 +▁Rip -12.5391 +▁Beijing -12.5391 +▁arriving -12.5391 +▁neuspjeh -12.5391 +▁visokoškolsk -12.5391 +▁lišće -12.5392 +▁Hopefully -12.5392 +▁sačinjava -12.5392 +▁Udruga -12.5392 +▁skrene -12.5392 +▁volonteri -12.5392 +▁-> -12.5392 +▁coup -12.5393 +▁£2 -12.5393 +▁optimalno -12.5393 +▁ankete -12.5393 +▁landmark -12.5393 +▁plažu -12.5394 +▁Foster -12.5394 +▁tasty -12.5395 +▁Parents -12.5395 +ravnotež -12.5396 +▁viable -12.5396 +▁začina -12.5396 +yr -12.5396 +▁Cow -12.5397 +▁rješavanja -12.5397 +▁sq -12.5397 +GC -12.5398 +/21 -12.5398 +▁planirate -12.5398 +▁narodom -12.5398 +▁Ministarstvom -12.54 +▁stranom -12.5401 +ROV -12.5401 +▁predsjedava -12.5401 +▁HK -12.5401 +▁energičn -12.5403 +poče -12.5403 +▁126 -12.5403 +▁pics -12.5403 +▁124 -12.5403 +▁registrovani -12.5404 +proizvod -12.5404 +▁snacks -12.5404 +▁reservation -12.5405 +▁Condition -12.5405 +rici -12.5407 +engl -12.5407 +▁Klubu -12.5407 +▁defender -12.5407 +laganja -12.5407 +▁BIO -12.541 +ða -12.541 +▁Popis -12.541 +▁ugljenih -12.541 +scription -12.5411 +▁optimize -12.5413 +▁Wor -12.5413 +▁atletsk -12.5413 +lka -12.5413 +blin -12.5414 +risk -12.5414 +▁flee -12.5414 +▁compliment -12.5415 +▁perspektivu -12.5416 +▁predrasuda -12.5416 +▁Републике -12.5416 +▁diminish -12.5416 +▁tandem -12.5416 +▁izlasku -12.5416 +▁Venture -12.5416 +▁stadium -12.5417 +▁Fotografija -12.5417 +▁učinkovitost -12.5417 +▁fanovi -12.5417 +дан -12.5418 +lta -12.5418 +1] -12.5418 +▁Hillary -12.5418 +▁provjerava -12.5418 +▁novinarstva -12.5419 +▁niska -12.5419 +▁groblja -12.5419 +stvar -12.542 +▁300.000 -12.542 +▁Unless -12.542 +▁napali -12.5421 +▁pepel -12.5421 +▁sensitivity -12.5422 +▁Problemi -12.5422 +▁Arsen -12.5422 +▁uhvatio -12.5423 +đivanju -12.5423 +▁izdržava -12.5423 +▁tvrdnjama -12.5424 +▁homogen -12.5424 +▁sedmično -12.5425 +▁females -12.5426 +▁Volvo -12.5426 +▁obrazovan -12.5426 +▁Zelenski -12.5426 +▁Fame -12.5427 +▁meteor -12.5427 +▁finansiranju -12.5427 +current -12.5428 +pouzdan -12.5429 +UST -12.5429 +▁okolnih -12.5429 +safe -12.543 +ografije -12.543 +▁Colin -12.543 +▁smer -12.5431 +▁formular -12.5432 +▁Promen -12.5433 +▁ponosno -12.5434 +▁alate -12.5434 +▁važniji -12.5434 +▁reformu -12.5435 +Bez -12.5436 +Sada -12.5436 +▁konkretnim -12.5436 +▁Comb -12.5437 +lter -12.5437 +▁1981 -12.5439 +lysis -12.5439 +▁uništiti -12.5439 +▁Modul -12.5439 +▁Episode -12.544 +▁doctrine -12.544 +▁muzičku -12.544 +▁Napoleon -12.544 +▁neosnovan -12.544 +▁pobedničk -12.544 +davno -12.544 +▁Cardinal -12.544 +▁pussy -12.544 +▁Publika -12.544 +▁Vrb -12.544 +▁zaključke -12.544 +▁odeljenje -12.5441 +Super -12.5441 +svijet -12.5441 +▁missile -12.5442 +▁čistu -12.5443 +▁Bengal -12.5443 +▁threatening -12.5443 +▁konop -12.5443 +▁pripadnosti -12.5444 +▁pulp -12.5444 +▁slobodnom -12.5444 +▁correlation -12.5445 +▁Pilot -12.5445 +▁moderna -12.5446 +▁streams -12.5446 +▁pokažemo -12.5447 +▁saznate -12.5447 +▁najpoznatije -12.5448 +bacivanja -12.5448 +▁Trud -12.5448 +ULT -12.5448 +▁južnoj -12.5448 +ŠK -12.5449 +▁spreading -12.545 +FOR -12.545 +▁protek -12.545 +pela -12.545 +▁postojan -12.5451 +▁crnim -12.5451 +▁apartmani -12.5452 +vršnoj -12.5452 +Pročitaj -12.5452 +▁kratkih -12.5453 +▁Siti -12.5453 +▁golub -12.5454 +From -12.5455 +▁kopija -12.5456 +▁POP -12.5457 +▁otkrivena -12.5457 +▁unese -12.5457 +▁magn -12.5458 +▁sjećanje -12.5459 +▁Protekl -12.546 +▁diplomatski -12.5461 +▁brass -12.5461 +▁Lijep -12.5463 +▁frižideru -12.5463 +▁behaviors -12.5464 +▁Administrator -12.5464 +▁influential -12.5464 +▁tradicijom -12.5464 +▁cenzur -12.5464 +▁Manastir -12.5464 +▁jutarnje -12.5464 +▁usaglašen -12.5464 +▁dovoljne -12.5464 +▁bošnjačke -12.5464 +▁medicinsko -12.5464 +▁terasu -12.5465 +▁segments -12.5465 +▁investitore -12.5465 +▁divan -12.5466 +▁Gaming -12.5466 +▁clouds -12.5467 +▁posetiti -12.5467 +▁najbrži -12.5467 +▁kineskog -12.5468 +giving -12.5468 +▁Used -12.5469 +▁zagreva -12.547 +▁belly -12.547 +logical -12.547 +▁Score -12.547 +Cap -12.5471 +▁Zanimljiv -12.5472 +▁krilo -12.5472 +▁trakta -12.5472 +▁Skype -12.5472 +▁modes -12.5472 +▁pijete -12.5473 +▁dobijamo -12.5474 +▁Factor -12.5474 +INT -12.5475 +▁sinom -12.5476 +flo -12.5476 +▁analyst -12.5478 +▁Avi -12.5479 +▁Petru -12.548 +▁savremenim -12.548 +▁saobraća -12.548 +▁primijeti -12.5481 +▁spekul -12.5481 +▁Kinezi -12.5482 +▁kiseonik -12.5483 +▁PIO -12.5484 +▁Era -12.5484 +▁spike -12.5485 +▁manages -12.5485 +▁čl -12.5486 +▁projektovan -12.5486 +▁lepota -12.5488 +▁finishes -12.5488 +▁Pančevu -12.5488 +▁dissertation -12.5488 +▁tvrđave -12.5488 +▁surrender -12.5488 +▁bleeding -12.5488 +▁Košarka -12.5488 +▁tragedy -12.5488 +▁Mirror -12.5488 +▁prototype -12.5488 +▁odjeljenja -12.5488 +▁kapsula -12.5488 +▁Budget -12.5489 +▁zglobovima -12.5489 +/9 -12.549 +ABLE -12.549 +▁povraćaj -12.549 +▁SAP -12.549 +▁testiran -12.549 +Kralj -12.549 +jsko -12.5491 +▁Dual -12.5492 +▁osloboditi -12.5492 +▁rashod -12.5492 +▁kalendaru -12.5492 +▁Rub -12.5492 +▁elementary -12.5492 +GER -12.5493 +▁vitaminima -12.5493 +ира -12.5495 +▁kilo -12.5495 +▁3/4 -12.5496 +.2009. -12.5497 +▁tablespoons -12.5497 +april -12.5497 +▁akni -12.5497 +▁acted -12.5498 +▁Sei -12.5498 +▁Interes -12.5498 +▁zločinima -12.5499 +▁rudnik -12.5501 +▁novčanik -12.5501 +▁limiting -12.5501 +▁starost -12.5502 +▁pratila -12.5502 +spot -12.5503 +▁ograničeno -12.5503 +▁salate -12.5504 +kretni -12.5505 +bbed -12.5506 +▁Sajt -12.5507 +▁scenarios -12.5507 +▁finances -12.5507 +▁zones -12.5507 +▁igrice -12.5508 +▁zdravstvenoj -12.5508 +%20 -12.551 +▁smoothly -12.551 +▁assessments -12.5511 +proces -12.5511 +▁prekinuo -12.5512 +▁realni -12.5512 +▁zaliva -12.5512 +▁Competition -12.5513 +▁assurance -12.5513 +▁controversy -12.5513 +▁evidencije -12.5513 +▁investigating -12.5513 +▁kruna -12.5513 +▁Stanojević -12.5513 +▁umanjuje -12.5513 +▁Adresa -12.5513 +▁sudovi -12.5513 +▁whisk -12.5513 +▁stanjem -12.5513 +▁rodne -12.5514 +▁Lynch -12.5515 +▁Recipe -12.5516 +Sal -12.5516 +▁pokušajte -12.5517 +boro -12.5518 +▁žale -12.5519 +▁prikazivanje -12.5519 +▁maz -12.5519 +▁rečenice -12.552 +▁Ling -12.552 +ĉa -12.552 +▁uočava -12.552 +Drug -12.552 +▁Bike -12.552 +▁povrijedi -12.5521 +▁Yi -12.5521 +▁biology -12.5523 +▁unutrašnjeg -12.5523 +▁izvršenja -12.5524 +ANI -12.5525 +▁moderni -12.5525 +▁zapadnom -12.5525 +▁obezbeđenje -12.5526 +▁consuming -12.5527 +▁kriva -12.5528 +vješta -12.5528 +▁ubijenih -12.5528 +pend -12.5528 +▁trogodišnj -12.5528 +▁oduševljeni -12.5529 +▁rud -12.553 +▁Znaš -12.5531 +▁switching -12.5532 +▁emitovan -12.5532 +▁konzerva -12.5532 +▁upitnik -12.5533 +wr -12.5535 +▁slice -12.5535 +▁jednak -12.5535 +▁Exp -12.5537 +▁Mum -12.5537 +▁kompletne -12.5537 +▁Mrkonjić -12.5537 +▁ambitious -12.5537 +▁dijagnoza -12.5537 +▁državom -12.5537 +▁expenditure -12.5537 +▁nedostatke -12.5537 +▁očekivalo -12.5537 +▁profesije -12.5537 +▁projekcija -12.5537 +▁tržišno -12.5537 +▁artritis -12.5537 +▁Leskovcu -12.5537 +▁terapijsk -12.5537 +▁VESTI -12.5537 +▁Bloomberg -12.5537 +▁isolation -12.5537 +▁Generation -12.5537 +▁Radničkog -12.5538 +▁odlasku -12.5538 +▁phrases -12.5538 +fekci -12.5538 +▁schemes -12.5539 +▁Kum -12.5539 +▁posude -12.554 +▁Movement -12.554 +▁duboke -12.5541 +▁rebuild -12.5541 +▁ле -12.5542 +▁2,000 -12.5542 +▁tumačenja -12.5542 +metal -12.5542 +▁tacno -12.5544 +▁književnik -12.5544 +▁Martinović -12.5544 +▁sive -12.5545 +Radi -12.5545 +▁forcing -12.5546 +▁Svete -12.5547 +▁Boz -12.5548 +▁1944. -12.5548 +▁camps -12.5549 +Black -12.555 +▁Avaz -12.5552 +▁cliff -12.5552 +tax -12.5553 +▁presre -12.5553 +▁KUP -12.5553 +▁tvoju -12.5554 +▁DW -12.5554 +▁registruje -12.5554 +▁Lep -12.5554 +▁Lanka -12.5554 +vodeći -12.5555 +▁parovi -12.5555 +▁recordings -12.5555 +▁reforms -12.5556 +oglu -12.5556 +▁Otvaranje -12.5556 +▁opštinski -12.5556 +▁Maca -12.5557 +▁istraživača -12.5557 +▁Springer -12.5558 +▁pamtiti -12.5558 +▁enzim -12.5559 +▁zgradama -12.5559 +▁prepoznao -12.5559 +teria -12.5559 +▁priključen -12.556 +▁veri -12.5561 +šar -12.5561 +ô -12.5561 +▁ocjenjuje -12.5561 +▁styling -12.5561 +▁cinjenic -12.5562 +▁okupira -12.5562 +▁Average -12.5562 +▁attendees -12.5562 +▁novčano -12.5562 +MIN -12.5562 +▁Rhode -12.5562 +▁vakcinaciju -12.5563 +▁zamolio -12.5563 +▁Umro -12.5563 +▁ND -12.5563 +▁elita -12.5564 +▁kompletira -12.5565 +▁celosti -12.5565 +▁udeo -12.5565 +▁očišćen -12.5566 +▁blokada -12.5566 +▁kožom -12.5566 +▁Method -12.5566 +▁Gardens -12.5567 +▁bajke -12.5567 +čišće -12.5569 +▁izvod -12.557 +▁Buš -12.5571 +пис -12.5571 +istima -12.5572 +Pot -12.5572 +nedeljn -12.5573 +▁nazoč -12.5573 +YS -12.5573 +▁federacije -12.5573 +▁Stil -12.5573 +▁gauge -12.5574 +▁previse -12.5574 +▁Jak -12.5575 +▁glasove -12.5575 +OH -12.5576 +▁comprises -12.5577 +▁izjednači -12.5578 +▁umora -12.5578 +▁koracima -12.5578 +▁sekcija -12.5578 +▁puter -12.5579 +▁appearances -12.5579 +jućih -12.5579 +▁pomislio -12.558 +▁Osje -12.5581 +▁posetiocima -12.5582 +▁peg -12.5583 +▁dnevnih -12.5583 +▁Knin -12.5584 +▁Dogovor -12.5585 +▁sticks -12.5585 +▁filmskog -12.5585 +▁odobrila -12.5586 +▁Scientific -12.5586 +▁eksplozija -12.5586 +▁incidenata -12.5586 +▁Deputy -12.5586 +▁mehanizmi -12.5586 +▁Skoplju -12.5586 +▁Plastic -12.5586 +▁prenijeti -12.5586 +▁obezbijediti -12.5586 +▁dubini -12.5586 +issa -12.5587 +▁udala -12.5587 +▁milestone -12.5587 +▁flick -12.5587 +▁istakne -12.5587 +▁odbili -12.5588 +▁thickness -12.5589 +▁cijelosti -12.5589 +▁AUTO -12.5589 +▁crust -12.5589 +▁Lucas -12.5589 +▁Wiki -12.559 +ACK -12.559 +▁zadrugar -12.559 +▁smesu -12.5591 +CN -12.5592 +▁predivno -12.5592 +ičnim -12.5592 +▁Rein -12.5593 +▁inace -12.5593 +zik -12.5594 +▁basics -12.5594 +▁lepotu -12.5595 +centri -12.5595 +▁Ped -12.5596 +tivnu -12.5596 +▁šampionatu -12.5596 +matemati -12.5597 +▁accessed -12.5598 +350 -12.5601 +▁spectr -12.5601 +▁zarađuje -12.5601 +▁takmičari -12.5601 +▁oglasila -12.5601 +▁Firma -12.5602 +▁organiz -12.5602 +ван -12.5602 +▁čelnika -12.5603 +SDA -12.5603 +▁1,7 -12.5603 +▁pitcher -12.5604 +▁уз -12.5605 +▁founding -12.5606 +▁investigated -12.5606 +▁crying -12.5606 +ljica -12.5607 +▁gram -12.5607 +unit -12.5608 +▁SAT -12.5609 +ف -12.5609 +▁Zlatni -12.561 +trom -12.561 +▁klan -12.561 +▁Stanivuković -12.561 +▁Zemlju -12.561 +▁lymph -12.561 +▁pijace -12.5611 +▁Bliskom -12.5611 +▁pharmacy -12.5611 +▁omladinski -12.5611 +▁Harvey -12.5611 +▁scandal -12.5611 +▁organizer -12.5611 +▁Peš -12.5611 +▁Partnership -12.5611 +▁Circle -12.5611 +▁supervision -12.5611 +▁Pogled -12.5612 +▁podela -12.5612 +▁logged -12.5612 +▁Norway -12.5612 +▁klubom -12.5612 +▁nekakvo -12.5612 +вер -12.5613 +▁klimu -12.5614 +▁analyses -12.5614 +▁spomenici -12.5614 +ucci -12.5615 +▁pričam -12.5615 +▁sells -12.5615 +▁Ispod -12.5616 +▁ostvarenju -12.5616 +▁decorated -12.5617 +plavi -12.5617 +▁compiled -12.5617 +▁stekne -12.5618 +▁bark -12.5618 +▁dismissed -12.5619 +▁Fourth -12.5619 +wich -12.5619 +▁tomato -12.5619 +IGHT -12.5621 +▁NHS -12.5621 +▁muka -12.5621 +▁registrovana -12.5622 +▁curse -12.5623 +▁inovativni -12.5623 +▁fanove -12.5623 +▁avionom -12.5624 +▁nadležnom -12.5624 +clock -12.5625 +oteka -12.5625 +▁bolno -12.5625 +▁Sektora -12.5626 +▁sustavu -12.5626 +▁LJ -12.5626 +▁boasts -12.5626 +large -12.5626 +▁Flex -12.5627 +▁matched -12.5627 +shock -12.5628 +3:00 -12.5628 +▁argues -12.5628 +▁fanova -12.5628 +▁surge -12.5629 +▁Reserved -12.5629 +▁normalnim -12.5629 +▁ranih -12.5629 +▁mornar -12.563 +▁Nadalje -12.563 +▁sunny -12.563 +▁simptomima -12.5632 +▁slomljen -12.5633 +▁vitaminom -12.5633 +▁slusa -12.5634 +▁zadruga -12.5635 +▁ponedjeljka -12.5635 +▁releasing -12.5635 +▁Puerto -12.5635 +▁intuitive -12.5635 +▁bolešću -12.5635 +▁muftija -12.5635 +▁1918. -12.5635 +▁Kliknite -12.5635 +▁raspolaganje -12.5635 +▁zauzela -12.5635 +▁Đorđa -12.5635 +▁Mot -12.5636 +▁clause -12.5636 +▁prošlogodišnji -12.5636 +▁pretvoren -12.5637 +ejdž -12.5637 +▁ostatke -12.5637 +▁Jevreji -12.5638 +PLA -12.5638 +puni -12.5639 +▁rešili -12.5639 +▁elementa -12.564 +hvata -12.564 +▁diplomirani -12.564 +▁Christianity -12.5641 +▁vodeća -12.5642 +odavac -12.5642 +ovjek -12.5642 +▁uvažen -12.5642 +▁Parlamentu -12.5642 +▁marking -12.5643 +▁obeća -12.5643 +ljno -12.5645 +▁rangu -12.5645 +▁pointing -12.5646 +Sveti -12.5646 +▁značajnije -12.5646 +▁dokazao -12.5647 +JI -12.5648 +people -12.5649 +▁započne -12.5649 +▁sanira -12.5649 +▁HRT -12.5649 +▁sarajevski -12.5649 +▁Sveta -12.565 +▁dugovanja -12.565 +▁Medžlisa -12.565 +▁2:2 -12.565 +▁stanicama -12.565 +GH -12.5651 +▁tolerance -12.5651 +▁bases -12.5651 +drive -12.5652 +▁prijedloge -12.5654 +▁adviser -12.5655 +▁OH -12.5655 +▁professionally -12.5657 +▁zaposlenje -12.5657 +слов -12.5657 +▁pisala -12.5657 +▁commands -12.5658 +▁Disc -12.5658 +▁najbrže -12.5658 +▁rankings -12.5658 +dimensional -12.5658 +▁komercijalni -12.5659 +▁refine -12.5659 +▁metres -12.5659 +▁Summary -12.566 +▁luxurious -12.566 +▁konačnu -12.566 +▁Škorpij -12.566 +▁pričom -12.566 +▁cancellation -12.566 +▁najljepše -12.566 +▁suđenju -12.566 +▁spomenuo -12.566 +▁rodni -12.566 +▁deponije -12.5661 +▁Dužina -12.5661 +▁Directors -12.5661 +▁svemira -12.5662 +▁musician -12.5662 +▁upravljati -12.5663 +def -12.5663 +▁kupujete -12.5664 +▁theories -12.5664 +▁Tivat -12.5664 +AKO -12.5664 +▁elevated -12.5665 +▁planted -12.5665 +▁extending -12.5665 +▁komande -12.5665 +▁akata -12.5666 +▁ACC -12.5666 +▁imperativ -12.5667 +Par -12.5667 +▁intensive -12.5668 +▁prostorno -12.5668 +oloških -12.5669 +▁privid -12.5669 +▁Karolin -12.567 +▁sudara -12.5671 +▁prozva -12.5671 +ĐE -12.5672 +· -12.5673 +▁Nemoj -12.5673 +rmi -12.5673 +▁offset -12.5674 +▁vidljive -12.5675 +stepen -12.5675 +▁Ljubo -12.5675 +▁recruiting -12.5675 +▁Čel -12.5676 +▁ugly -12.5676 +▁scientist -12.5676 +▁individualni -12.5677 +▁obični -12.5677 +▁quietly -12.5677 +▁stvarajući -12.5677 +▁pružila -12.5678 +▁tradicionalnim -12.5679 +učeni -12.568 +▁propisan -12.568 +▁holders -12.568 +▁ograničeni -12.568 +▁sheer -12.5682 +dinamičk -12.5682 +▁eighth -12.5683 +▁agresivno -12.5683 +▁lend -12.5683 +▁stvarne -12.5683 +▁odvijati -12.5684 +▁goat -12.5684 +▁Prop -12.5684 +VM -12.5685 +▁Apparently -12.5685 +▁cvijeća -12.5685 +▁fragrance -12.5685 +▁nezaobilazn -12.5685 +▁polufinala -12.5685 +▁eminent -12.5685 +▁ljubimca -12.5685 +▁remarks -12.5685 +▁Excellent -12.5685 +▁koordinaciju -12.5685 +▁turneje -12.5685 +▁komplikacije -12.5685 +▁Vedran -12.5685 +▁intervenciju -12.5685 +▁dovedu -12.5685 +▁steći -12.5685 +▁Vajms -12.5686 +▁Turner -12.5686 +▁Rumuniji -12.5686 +Bit -12.5686 +▁Rima -12.5686 +onija -12.5686 +▁odlučivanja -12.5686 +▁prijatan -12.5686 +▁uplatu -12.5687 +▁Finish -12.5687 +▁dietary -12.5688 +▁probija -12.5688 +▁smanjili -12.5689 +▁srčanog -12.5689 +▁nezdrav -12.5689 +▁gljiva -12.569 +▁govorilo -12.569 +▁neighbor -12.569 +▁rip -12.5691 +▁rijalitija -12.5691 +▁lenses -12.5692 +▁trendovi -12.5692 +FM -12.5692 +▁165 -12.5692 +▁motivima -12.5693 +▁autorski -12.5693 +▁upgrades -12.5694 +▁džem -12.5694 +▁promotions -12.5695 +▁skladište -12.5696 +Ë -12.5696 +▁че -12.5696 +▁nationally -12.5697 +▁vjernik -12.5698 +▁Šer -12.5698 +▁funkcijama -12.5699 +▁Marijana -12.5699 +▁activate -12.5699 +▁Arapi -12.5699 +▁Vukovar -12.5699 +Zbog -12.5699 +▁povezanosti -12.57 +▁lovac -12.57 +Kurir -12.5701 +▁krivičnom -12.5701 +mouth -12.5702 +▁Posljednji -12.5703 +▁pukovnik -12.5704 +▁catching -12.5705 +▁Maz -12.5705 +HU -12.5705 +▁Lots -12.5707 +▁sentences -12.5707 +▁unutrašnjim -12.5709 +filled -12.5709 +▁masovne -12.5709 +▁stabilna -12.5709 +stavljanje -12.571 +▁firearm -12.571 +▁počinila -12.571 +▁soldier -12.5711 +▁potent -12.5712 +▁Odlično -12.5712 +▁haha -12.5712 +▁gaps -12.5712 +▁terase -12.5712 +▁izraženi -12.5713 +▁igrališta -12.5713 +▁billing -12.5713 +padaju -12.5713 +▁brisanje -12.5713 +▁posjeduju -12.5713 +▁Prag -12.5714 +▁spašavanja -12.5714 +kakav -12.5715 +▁uncle -12.5715 +▁lenders -12.5715 +▁OHR -12.5715 +▁upiše -12.5716 +▁Marcus -12.5717 +▁lož -12.5717 +▁ABS -12.5717 +▁simbolično -12.5718 +▁projected -12.5718 +▁Glavne -12.572 +▁stradalo -12.572 +▁historian -12.572 +▁neobični -12.5721 +▁štapić -12.5721 +▁završavaju -12.5721 +▁spust -12.5721 +▁1975 -12.5721 +▁zaključaka -12.5722 +▁Defin -12.5722 +struc -12.5723 +▁presek -12.5723 +▁Except -12.5723 +▁Australija -12.5724 +held -12.5724 +▁planirali -12.5725 +▁packet -12.5725 +cz -12.5725 +▁materijalna -12.5726 +▁15:00 -12.5726 +▁heels -12.5727 +▁preduzetnika -12.5727 +▁dežurni -12.5728 +qe -12.5729 +▁bakterijsk -12.5729 +▁Jesse -12.573 +▁zadnjeg -12.5731 +▁runners -12.5732 +▁učestalost -12.5732 +▁Bašić -12.5733 +▁nastavljena -12.5733 +NV -12.5734 +▁envelope -12.5734 +▁epidemija -12.5734 +▁rekonstrukciji -12.5734 +▁revolucija -12.5734 +▁kanalizacion -12.5734 +▁kašiku -12.5734 +▁syrup -12.5734 +▁Bjelorus -12.5734 +lph -12.5734 +▁mokraćn -12.5734 +▁Columbus -12.5734 +▁Limit -12.5735 +▁kretati -12.5735 +▁Quote -12.5735 +▁drogu -12.5735 +▁nestati -12.5735 +▁naznačen -12.5735 +▁inicijaln -12.5736 +▁Pont -12.5737 +▁zreli -12.5737 +▁trudna -12.5737 +▁svjetska -12.5737 +▁svakodnevnog -12.5738 +Lab -12.5738 +▁Silva -12.5738 +motion -12.5738 +▁šutirao -12.5739 +Tvrd -12.5739 +▁backpack -12.574 +▁Glav -12.574 +▁komedija -12.574 +▁terrorism -12.5742 +▁utiske -12.5743 +voja -12.5744 +▁kolaps -12.5744 +▁automobilima -12.5745 +▁bijelo -12.5746 +▁spur -12.5746 +Trans -12.5747 +▁stazu -12.5747 +▁obrazovni -12.5748 +▁disappeared -12.5748 +▁ulicom -12.575 +▁operativno -12.575 +natal -12.575 +▁prekomjern -12.5751 +Ukoliko -12.5751 +▁mot -12.5752 +▁dozvolio -12.5753 +▁Zajednice -12.5753 +▁odstoji -12.5753 +▁Jok -12.5753 +▁ček -12.5754 +▁Turski -12.5755 +▁kvalifikovan -12.5756 +▁dominiraju -12.5757 +▁parcela -12.5757 +▁Radni -12.5757 +▁Valeri -12.5758 +▁dosadašnj -12.5759 +▁regulira -12.5759 +sputniknews -12.5759 +▁Besplatan -12.5759 +▁Potrebna -12.5759 +▁advocacy -12.5759 +▁magnificent -12.5759 +▁razmjenu -12.5759 +▁grief -12.5759 +▁nabavki -12.5759 +▁Brexit -12.5759 +▁avanture -12.5759 +▁cialis -12.5759 +▁užitak -12.5759 +▁Obavezno -12.5759 +▁hydrogen -12.576 +▁Kancelarija -12.576 +▁kratka -12.576 +▁Frame -12.5761 +320 -12.5761 +▁provali -12.5761 +▁UO -12.5761 +▁preneli -12.5761 +▁razumiju -12.5762 +▁učenju -12.5762 +▁empower -12.5762 +▁sekcije -12.5764 +▁Juče -12.5765 +grin -12.5765 +њ -12.5766 +ENS -12.5766 +▁urina -12.5767 +ruju -12.5767 +3.5 -12.5767 +jskih -12.5767 +Još -12.5768 +▁Rec -12.5768 +ively -12.5768 +▁Healthy -12.5768 +▁Batman -12.5768 +▁documented -12.5769 +▁geopolitičk -12.5769 +▁Kemal -12.5769 +▁standardi -12.5769 +2008. -12.5769 +▁soften -12.577 +▁Gaza -12.577 +▁Franco -12.5771 +cava -12.5772 +moguće -12.5772 +160 -12.5772 +▁illustrated -12.5773 +mix -12.5773 +▁radnoj -12.5774 +▁invalida -12.5774 +▁lupa -12.5775 +▁đaka -12.5776 +▁Bajić -12.5776 +▁mađarski -12.5777 +▁traku -12.5777 +▁zatečen -12.5777 +alnim -12.5778 +▁Znaci -12.5779 +▁sciences -12.5779 +rijska -12.578 +вања -12.578 +▁spe -12.578 +▁elektroničk -12.578 +NCI -12.5782 +▁transmit -12.5782 +▁izleta -12.5782 +▁Prove -12.5783 +▁protoka -12.5783 +▁Razgovor -12.5783 +▁bavite -12.5783 +▁preživi -12.5783 +▁specifičnim -12.5783 +▁ranjeno -12.5784 +▁SN -12.5784 +▁Medjutim -12.5784 +▁Simpson -12.5784 +▁Trifunović -12.5784 +▁earliest -12.5784 +▁interfejs -12.5784 +ş -12.5784 +▁redovnu -12.5784 +▁novonastal -12.5784 +vey -12.5784 +▁Inicijativa -12.5784 +▁pomirenja -12.5784 +▁graničnim -12.5785 +▁sutrašnj -12.5786 +▁40.000 -12.5787 +▁stroll -12.5787 +niče -12.5787 +▁intelektualno -12.5788 +▁ministarstava -12.5788 +▁youtube -12.5788 +▁rusko -12.5788 +▁utrka -12.5789 +▁covek -12.579 +▁francuskom -12.579 +▁Kejt -12.5791 +▁napetost -12.5791 +▁attitudes -12.5791 +▁sklopljen -12.5791 +▁poorly -12.5792 +▁hlor -12.5792 +▁pokusa -12.5792 +▁Širok -12.5793 +▁Monster -12.5794 +ničko -12.5795 +▁tanks -12.5795 +▁jednostavnim -12.5795 +▁uvjerenja -12.5795 +▁otoku -12.5796 +▁osjećate -12.5796 +ČIĆ -12.5796 +▁banane -12.5796 +▁šumama -12.5796 +▁sporazumom -12.5797 +flam -12.5798 +▁runner -12.5798 +▁kak -12.5798 +▁elektronskih -12.5798 +preci -12.5799 +▁Posts -12.5799 +▁vetra -12.5799 +dvo -12.5799 +▁odvijaju -12.5799 +▁razumijem -12.58 +FK -12.58 +▁0,1 -12.58 +kuća -12.5801 +▁putnicima -12.5801 +▁prevodu -12.5801 +▁extends -12.5802 +▁backing -12.5803 +▁afere -12.5804 +▁packs -12.5804 +▁istorijskih -12.5805 +▁emotionally -12.5805 +▁Ruth -12.5806 +▁nekakav -12.5806 +▁ART -12.5808 +י -12.5809 +▁Ljajić -12.5809 +▁Mediterranean -12.5809 +▁hepatitis -12.5809 +▁triumph -12.5809 +▁pjesmi -12.5809 +▁selidbe -12.5809 +▁električnu -12.5809 +▁Mišljenja -12.5809 +▁ribbon -12.581 +▁idealni -12.581 +▁instinct -12.581 +▁Istraživači -12.5811 +▁Running -12.5811 +▁Bradley -12.5811 +▁zamjena -12.5811 +▁kutiji -12.5811 +▁otežan -12.5812 +smrt -12.5812 +vedeno -12.5813 +▁bavila -12.5813 +▁memorial -12.5814 +▁280 -12.5815 +▁demonstracija -12.5815 +▁prigovora -12.5815 +▁primeniti -12.5815 +▁Škot -12.5816 +▁zvati -12.5816 +svoji -12.5817 +▁eventualni -12.5817 +▁predstavnica -12.5818 +▁porijeklom -12.5818 +▁specijalnog -12.5818 +▁historijski -12.5818 +▁kontinuitetu -12.5818 +ičnog -12.5819 +▁opremljeni -12.5819 +▁osovin -12.5819 +▁svetli -12.5819 +▁avionu -12.582 +▁Neum -12.582 +▁Bale -12.582 +▁lekaru -12.582 +▁1985. -12.582 +▁Budućnosti -12.5821 +▁1910 -12.5822 +▁1978 -12.5823 +fore -12.5823 +▁IRS -12.5824 +▁Kart -12.5824 +▁prosi -12.5824 +▁circles -12.5825 +▁keto -12.5826 +▁Klu -12.5827 +▁obnovljiv -12.5828 +▁observations -12.5828 +▁Weekend -12.5829 +Već -12.5829 +▁Pančeva -12.5829 +▁karate -12.583 +▁gloves -12.583 +▁prihvat -12.583 +▁Minor -12.5832 +▁Kapi -12.5833 +▁multimedijaln -12.5833 +▁baked -12.5833 +▁Hyundai -12.5834 +▁Response -12.5834 +▁katastrofe -12.5834 +▁nezavisna -12.5834 +▁subvencija -12.5834 +▁TEKST -12.5834 +▁ŽIVOT -12.5834 +▁sticanja -12.5834 +▁teleskop -12.5835 +▁primećuje -12.5835 +▁atletičar -12.5835 +▁👍 -12.5835 +▁Razlika -12.5835 +▁Gojković -12.5836 +▁socks -12.5836 +▁Draft -12.5836 +▁stepenu -12.5837 +▁bears -12.5837 +▁adjustable -12.5837 +▁Rover -12.5838 +▁pojedince -12.5838 +▁persistent -12.584 +▁Vranje -12.584 +▁Tube -12.5841 +▁goru -12.5841 +▁Raven -12.5841 +▁ivice -12.5842 +▁glow -12.5842 +▁subscribers -12.5842 +▁BRA -12.5842 +▁postizanja -12.5843 +▁uobičajene -12.5843 +▁izbegli -12.5843 +plasi -12.5844 +▁advocates -12.5844 +▁demonstrates -12.5845 +▁RED -12.5845 +▁substantially -12.5845 +▁Isusov -12.5845 +▁checkout -12.5845 +▁Testing -12.5846 +▁ministrica -12.5846 +▁znalo -12.5846 +▁Hod -12.5846 +▁notified -12.5847 +▁Adel -12.5847 +predsjedavajućeg -12.5847 +▁mamu -12.5847 +▁3.1 -12.5847 +economic -12.5849 +ifer -12.5849 +▁poremećaje -12.585 +▁Mariju -12.585 +▁nesposobn -12.585 +▁liderima -12.585 +▁nalaže -12.585 +▁protests -12.5851 +▁problematic -12.5851 +▁вр -12.5852 +Mark -12.5852 +▁trudnica -12.5852 +▁develops -12.5852 +▁atoms -12.5853 +▁zivotu -12.5853 +▁Ameri -12.5854 +▁Grabar -12.5854 +pending -12.5856 +▁fried -12.5858 +▁quad -12.5859 +▁Architecture -12.586 +▁Eventually -12.586 +▁ekvivalent -12.586 +▁inteligencija -12.586 +▁acoustic -12.586 +▁stomatološk -12.586 +▁diktira -12.586 +▁grandchildren -12.586 +▁uspješne -12.586 +▁Pokušava -12.586 +▁istražuju -12.586 +▁superhero -12.586 +▁policijom -12.586 +▁fetus -12.586 +▁sendvič -12.586 +▁pipes -12.586 +▁unfair -12.5861 +▁vaspitač -12.5861 +▁pravnom -12.5861 +▁uredjaj -12.5861 +Max -12.5861 +▁Andreja -12.5861 +kovo -12.5861 +▁izrazila -12.5862 +▁vjetra -12.5862 +▁fon -12.5863 +▁tridesetak -12.5863 +▁fondacije -12.5863 +▁Apatin -12.5863 +▁Gospel -12.5863 +▁Privredne -12.5864 +▁stručnjake -12.5864 +vajte -12.5864 +▁Belt -12.5864 +lude -12.5866 +▁Istočnom -12.5869 +▁imuno -12.5872 +▁sažet -12.5872 +▁testove -12.5873 +2003 -12.5874 +▁tile -12.5875 +▁perfection -12.5875 +▁911 -12.5876 +▁ulogama -12.5877 +▁pogodaka -12.5878 +▁objavilo -12.5878 +▁mobilnim -12.5878 +▁dosadašnjem -12.5878 +▁MTV -12.5879 +▁Chic -12.5879 +poželjni -12.588 +▁Perform -12.588 +▁Syrian -12.588 +▁restored -12.5881 +chemical -12.5881 +▁radionicama -12.5881 +▁Gy -12.5882 +▁kreiranja -12.5882 +▁ranch -12.5882 +▁otet -12.5883 +▁kakvoj -12.5883 +▁Hau -12.5883 +▁dostignu -12.5884 +zlo -12.5884 +▁Dinama -12.5884 +acionih -12.5884 +▁prethodnoj -12.5884 +▁Fantasy -12.5885 +▁desirable -12.5885 +▁mehanizme -12.5885 +▁samopouzdanja -12.5885 +iako -12.5885 +▁deputy -12.5885 +▁Teheran -12.5885 +▁intenzivne -12.5885 +▁Ostojić -12.5885 +▁Breakfast -12.5885 +▁confidential -12.5885 +▁izolaciju -12.5885 +▁Podijeli -12.5885 +▁crnogorskih -12.5885 +▁ravnoteže -12.5885 +▁Aleksinca -12.5885 +▁tendency -12.5885 +▁stimuliše -12.5885 +▁banned -12.5886 +▁cattle -12.5886 +▁Manje -12.5886 +▁Trampov -12.5888 +▁regulated -12.5888 +▁GDP -12.5888 +▁proceeds -12.5888 +habi -12.5889 +▁šuplj -12.5889 +▁Neću -12.589 +▁Да -12.589 +▁usledio -12.5891 +▁recommends -12.5892 +▁spotted -12.5893 +▁spoon -12.5893 +▁Dodat -12.5893 +▁Dylan -12.5894 +▁brigada -12.5894 +▁lesser -12.5895 +▁debelog -12.5895 +▁Neven -12.5895 +vijen -12.5896 +▁1952 -12.5896 +▁restorani -12.5896 +▁shifting -12.5897 +▁Rd -12.5897 +▁pressed -12.5898 +▁Т -12.5898 +hrana -12.5898 +▁accordingly -12.5898 +▁Kongresa -12.5899 +▁Kataru -12.5899 +▁izdržljiv -12.5899 +▁kriterijuma -12.5899 +▁assisted -12.5899 +▁ekološko -12.59 +Last -12.59 +pravnih -12.59 +▁maintains -12.5901 +▁ispitu -12.5902 +▁razmotriti -12.5903 +EKS -12.5903 +▁nedostaja -12.5904 +losti -12.5904 +▁avoided -12.5904 +▁tajnosti -12.5904 +▁Peak -12.5905 +▁preselio -12.5905 +▁pegla -12.5905 +▁Prep -12.5907 +▁prozore -12.5907 +▁Celtic -12.5907 +▁potato -12.5907 +▁namene -12.5908 +▁Pokazal -12.5908 +RAT -12.5908 +▁ženskih -12.5908 +▁bubreg -12.5909 +▁intenziteta -12.5909 +▁commented -12.591 +▁Sebastian -12.591 +▁distribuciju -12.591 +▁preživjeli -12.591 +▁raznorazn -12.591 +▁reagovati -12.591 +▁Karakteristike -12.591 +▁bachelor -12.591 +▁fasade -12.591 +▁osvanu -12.591 +▁touching -12.591 +▁dispatch -12.591 +▁Turaka -12.5911 +▁dogadjaj -12.5911 +▁Memory -12.5911 +▁verification -12.5911 +▁zanimljivim -12.5912 +▁sportsko -12.5912 +▁otvorite -12.5912 +▁nestane -12.5913 +▁cum -12.5914 +▁Juventusa -12.5915 +▁vješti -12.5916 +▁karavan -12.5916 +fast -12.5917 +▁Sela -12.5917 +▁рас -12.5918 +▁zalogaj -12.5918 +stare -12.5919 +▁depict -12.592 +▁Alt -12.592 +▁konkretnom -12.592 +▁activated -12.5921 +▁sunset -12.5921 +▁cleared -12.5922 +▁sugrađanima -12.5922 +▁Viking -12.5923 +lomi -12.5923 +▁upisali -12.5925 +▁Herb -12.5925 +ovno -12.5925 +▁Sec -12.5925 +▁Karađorđević -12.5926 +pustio -12.5927 +Ona -12.5927 +▁Crveno -12.5928 +odgovor -12.5928 +▁bana -12.5928 +▁zatražiti -12.5928 +▁nijednu -12.5928 +čavanje -12.5929 +**** -12.5929 +lich -12.5931 +▁kažeš -12.5931 +▁odgovornim -12.5932 +znim -12.5933 +šeta -12.5933 +OŠ -12.5934 +vazi -12.5934 +▁Jerusalim -12.5935 +▁biblioteci -12.5935 +▁inspiraciju -12.5935 +▁stanovništvu -12.5936 +▁prototip -12.5936 +▁produkciju -12.5936 +▁građanske -12.5936 +▁inviting -12.5936 +▁poretka -12.5936 +▁garment -12.5936 +▁HDMI -12.5936 +▁displej -12.5936 +▁diesel -12.5937 +▁Izetbegovića -12.5937 +▁kišn -12.5937 +▁presedan -12.5938 +▁odbijaju -12.5938 +▁Disk -12.5938 +▁vakcinacija -12.5938 +▁milost -12.5938 +▁ispunjeni -12.5939 +▁zapadno -12.594 +||15 -12.594 +▁bliske -12.594 +▁kratkim -12.594 +▁Bake -12.5941 +▁zaraditi -12.5941 +▁turističkog -12.5942 +ndal -12.5943 +▁detaljne -12.5944 +▁narodima -12.5944 +▁insane -12.5944 +▁azila -12.5945 +▁researcher -12.5945 +pisao -12.5946 +▁vrednostima -12.5946 +▁finansiraju -12.5947 +▁omiljena -12.5947 +▁Seat -12.5947 +▁garantovan -12.5948 +mitted -12.5948 +▁prepoznavanje -12.5948 +▁fights -12.5948 +▁Viš -12.5948 +morf -12.5949 +griješ -12.595 +▁konj -12.595 +▁MBA -12.595 +wheel -12.595 +shaw -12.595 +▁urged -12.5952 +▁izmenama -12.5953 +▁defendants -12.5954 +▁Kraljevu -12.5954 +LAND -12.5954 +▁ugroženo -12.5956 +▁$500 -12.5956 +▁Roberta -12.5958 +ovaca -12.596 +fford -12.596 +pokret -12.596 +▁consensus -12.5961 +▁vaccination -12.5961 +▁Vjerovatno -12.5961 +▁lockdown -12.5961 +▁turističku -12.5962 +▁trinaest -12.5963 +▁Sankt -12.5963 +▁imenuje -12.5964 +▁Nemačku -12.5965 +▁blaže -12.5965 +▁dread -12.5965 +▁razmišljao -12.5965 +▁legendarnog -12.5966 +▁workflow -12.5966 +▁Prepare -12.5967 +▁saslušan -12.5968 +▁sistematski -12.5968 +▁washed -12.5969 +kvalitet -12.5969 +▁uklanjanja -12.5969 +▁morske -12.597 +▁descriptions -12.597 +▁Wide -12.5971 +▁osvetljenje -12.5972 +▁nevino -12.5972 +poro -12.5972 +ија -12.5973 +dell -12.5973 +▁treninge -12.5973 +▁šalter -12.5973 +Dok -12.5974 +▁tugu -12.5974 +▁gašenje -12.5975 +▁negativni -12.5975 +▁pretresa -12.5975 +▁Lok -12.5976 +second -12.5976 +▁contend -12.5976 +▁zamjenika -12.5977 +▁demanded -12.5977 +▁IQ -12.5977 +▁Fadil -12.5977 +▁Lepa -12.5978 +nard -12.5978 +▁juli -12.5978 +VS -12.5979 +▁stajali -12.5979 +▁sticker -12.5979 +▁Bour -12.598 +▁Radić -12.598 +▁najbližih -12.5981 +▁lošem -12.5981 +šija -12.5981 +▁apeluje -12.5983 +▁računarsk -12.5983 +▁mirovn -12.5983 +▁nutritional -12.5984 +▁predsedava -12.5985 +▁ostavljajući -12.5985 +▁Materials -12.5985 +▁dočara -12.5985 +▁abundance -12.5986 +▁circulation -12.5986 +▁devojaka -12.5986 +▁hlađenje -12.5986 +▁stoljeću -12.5986 +▁Alzheimer -12.5986 +▁indicating -12.5986 +▁insekata -12.5986 +▁peanut -12.5986 +▁pretragu -12.5986 +▁kvalifikacion -12.5987 +▁altogether -12.5987 +▁Stir -12.5987 +▁Kapetan -12.5987 +▁odziv -12.5987 +▁skonta -12.5987 +▁eteričn -12.5987 +▁soundtrack -12.5987 +▁Hak -12.5987 +▁Motors -12.5987 +Open -12.5988 +▁Haz -12.5988 +▁disco -12.5989 +▁Hindu -12.5989 +▁classification -12.5989 +▁Miles -12.5989 +▁otkrivanja -12.5989 +▁explores -12.5989 +▁sastaju -12.599 +rough -12.599 +▁carrot -12.599 +▁kolone -12.599 +▁cough -12.599 +▁textbook -12.599 +▁USAID -12.599 +▁obuhvataju -12.5991 +▁Šan -12.5992 +▁salatu -12.5992 +▁plodove -12.5992 +▁oglašavanja -12.5992 +▁Trek -12.5992 +▁profesionalnu -12.5993 +▁tragic -12.5993 +▁carriers -12.5993 +-04 -12.5993 +izme -12.5994 +▁vitez -12.5994 +▁REC -12.5994 +▁historiju -12.5995 +▁prostire -12.5996 +▁rešavanja -12.5996 +▁bivšem -12.5996 +▁porno -12.5997 +▁pamuk -12.5998 +▁missions -12.5999 +▁manastiru -12.6001 +▁Admir -12.6001 +▁рат -12.6002 +▁pokretima -12.6003 +▁Muzeju -12.6003 +▁kodeks -12.6003 +▁logističk -12.6003 +▁kolektivni -12.6004 +▁korner -12.6004 +▁brzini -12.6004 +▁ljetni -12.6004 +niranje -12.6005 +▁tuče -12.6005 +šeno -12.6005 +torial -12.6006 +▁emitira -12.6007 +▁headline -12.6007 +▁pridržavaju -12.6008 +▁ICT -12.6008 +▁interfere -12.6008 +▁novogodišnj -12.6008 +(2) -12.6009 +▁pupils -12.601 +▁Besplatn -12.601 +▁poznajem -12.601 +▁Este -12.6011 +▁Standards -12.6011 +▁adekvatnu -12.6012 +▁societies -12.6012 +▁upućuju -12.6012 +▁retrieve -12.6012 +▁junajted -12.6012 +▁Konferencija -12.6012 +▁tražim -12.6012 +▁odustaje -12.6013 +▁radiju -12.6013 +▁Internal -12.6013 +▁računati -12.6013 +▁odredbi -12.6014 +trip -12.6014 +▁Visina -12.6014 +▁chic -12.6014 +▁narodna -12.6015 +▁vjerski -12.6015 +jec -12.6016 +▁perspectives -12.6016 +▁REM -12.6016 +▁stanovnicima -12.6017 +tegra -12.6017 +▁Teaching -12.6017 +kule -12.6017 +▁Bug -12.6017 +▁pristaje -12.6018 +▁1947 -12.6018 +.......... -12.6018 +▁depo -12.6018 +▁Он -12.6018 +▁pronađete -12.6018 +рт -12.6019 +▁pc -12.6019 +Tele -12.602 +▁Apartment -12.602 +▁zdravim -12.602 +*** -12.6021 +▁offline -12.6021 +▁uzvišen -12.6021 +▁vize -12.6022 +▁Lana -12.6022 +▁justify -12.6022 +▁vojnom -12.6023 +▁kritičari -12.6023 +▁omogu -12.6023 +▁Petrovića -12.6023 +jstvo -12.6023 +▁živite -12.6023 +▁pogledamo -12.6024 +▁glumice -12.6025 +▁7:30 -12.6026 +▁Hour -12.6027 +▁Palestine -12.6027 +▁instagram -12.6028 +▁HC -12.6028 +Are -12.6028 +▁Than -12.6028 +mud -12.603 +▁Kori -12.603 +▁konst -12.6031 +simil -12.6032 +ljanje -12.6032 +▁Savo -12.6033 +▁digitalnog -12.6033 +livanje -12.6033 +▁likove -12.6033 +▁riž -12.6033 +▁Grill -12.6035 +mie -12.6036 +▁+1 -12.6036 +brati -12.6036 +kacije -12.6036 +▁traders -12.6037 +erie -12.6037 +▁općinski -12.6037 +ozan -12.6037 +▁Egipta -12.6038 +▁Nashville -12.6038 +▁Revenue -12.6038 +▁economist -12.6038 +▁frustrated -12.6038 +▁pretpostavke -12.6038 +▁sudjelovati -12.6038 +▁unwanted -12.6038 +▁iskustvima -12.6038 +▁Osnivač -12.6038 +▁Skender -12.6038 +▁Northwest -12.6038 +▁Otherwise -12.6038 +▁midnight -12.6038 +▁Galerija -12.6038 +▁ukazati -12.6038 +lining -12.6039 +▁rukavice -12.6039 +igrao -12.6039 +▁testu -12.604 +▁smještena -12.604 +▁empatij -12.604 +▁Velimir -12.6041 +▁švedski -12.6041 +▁Dodatno -12.6042 +▁dovoljni -12.6042 +▁Lemon -12.6042 +▁najvise -12.6043 +▁Niki -12.6043 +fertil -12.6043 +▁strije -12.6043 +▁ravna -12.6044 +pie -12.6044 +▁salonu -12.6044 +▁zauzimaju -12.6044 +▁1949 -12.6045 +▁Čolić -12.6046 +▁tens -12.6047 +stavljen -12.6047 +▁Aleksej -12.6047 +ducing -12.6047 +▁Posebna -12.6048 +report -12.6048 +ај -12.6049 +▁Obrad -12.6051 +▁poreski -12.6052 +▁šareni -12.6052 +▁zaborav -12.6052 +lepi -12.6053 +▁otkad -12.6054 +▁rođak -12.6055 +▁Trent -12.6055 +▁udruži -12.6055 +▁dužinu -12.6055 +▁bogatim -12.6055 +▁zahtjevi -12.6056 +▁Perez -12.6056 +▁elaborate -12.6056 +▁važeće -12.6056 +▁ţ -12.6057 +Cor -12.6058 +▁poreskih -12.6058 +▁tehnoloških -12.6058 +▁hormon -12.6058 +▁connector -12.6058 +▁seamless -12.6059 +▁svjetlost -12.6059 +here -12.6059 +▁pločica -12.6061 +▁Bliz -12.6061 +▁probu -12.6063 +▁Hurricane -12.6063 +▁kašičica -12.6063 +▁nadoknade -12.6063 +▁parametara -12.6063 +▁saopštava -12.6063 +▁activation -12.6063 +▁Redakcija -12.6063 +▁embark -12.6063 +▁Muškarci -12.6063 +▁držala -12.6063 +▁temperament -12.6063 +▁estrogen -12.6063 +▁Redžep -12.6063 +▁Dragoljub -12.6064 +▁Reason -12.6064 +▁Joshua -12.6064 +▁sretna -12.6064 +▁klinike -12.6064 +▁Kraljevo -12.6065 +▁Kineski -12.6065 +vlast -12.6065 +RET -12.6065 +▁svatko -12.6066 +▁Čitav -12.6066 +▁bombardovanja -12.6066 +▁BPK -12.6066 +▁0.2 -12.6066 +▁Notes -12.6067 +vući -12.6068 +FER -12.6068 +▁Srni -12.6068 +▁nastupili -12.6068 +▁autorsko -12.6069 +▁preradu -12.6069 +▁posmatrač -12.607 +▁donor -12.607 +▁festivalima -12.6071 +Gor -12.6072 +▁klasičnih -12.6072 +▁tematski -12.6073 +YC -12.6074 +piru -12.6075 +▁prohibit -12.6075 +▁najpopularniji -12.6075 +▁razvila -12.6076 +▁VAR -12.6076 +▁staratelj -12.6076 +hram -12.6076 +▁obavešten -12.6077 +▁kriterijume -12.6077 +▁Fruit -12.6078 +▁aditiv -12.6078 +▁Serve -12.6079 +▁učenica -12.6079 +▁ponavljanja -12.6079 +▁obrazloži -12.608 +▁olakšanje -12.608 +▁Dogs -12.608 +TRI -12.608 +▁neodoljiv -12.608 +▁česte -12.6082 +Jedan -12.6083 +▁retailer -12.6083 +▁Melan -12.6085 +▁snake -12.6087 +▁Žal -12.6087 +▁Chad -12.6087 +▁Buffalo -12.6089 +▁Norveške -12.6089 +▁OEBS -12.6089 +▁tweak -12.6089 +▁planetu -12.6089 +▁migracija -12.6089 +▁Muškarac -12.6089 +▁Pjanić -12.6089 +▁prehrane -12.6089 +▁neugodno -12.6089 +▁skladišta -12.6089 +▁Čarls -12.6089 +▁Shaw -12.609 +▁revised -12.609 +▁nightmare -12.609 +▁naplatu -12.609 +GRO -12.609 +▁raises -12.6091 +▁unfold -12.6091 +▁transformacije -12.6091 +▁penzionisan -12.6091 +▁Own -12.6092 +…… -12.6092 +▁Shak -12.6092 +VB -12.6093 +▁Mozda -12.6093 +▁NBS -12.6094 +▁260 -12.6094 +BH -12.6096 +race -12.6096 +▁ljetno -12.6097 +▁elastičnost -12.6098 +▁Kralja -12.6098 +▁računi -12.6098 +plast -12.6098 +▁Sue -12.6098 +▁Dveri -12.6098 +▁144 -12.6099 +▁Šip -12.6099 +▁vrtu -12.61 +feed -12.61 +▁varies -12.6101 +▁Nek -12.6101 +vud -12.6101 +▁obavljao -12.6101 +▁NOTE -12.6102 +▁priklju -12.6102 +▁divljih -12.6102 +▁vjerskim -12.6102 +▁linijama -12.6103 +▁Ч -12.6103 +▁dopuna -12.6103 +:9 -12.6103 +gubi -12.6104 +▁odbojkaši -12.6104 +▁građevinsko -12.6104 +▁tricky -12.6105 +▁Iraqi -12.6105 +▁interrupt -12.6105 +▁nuklearno -12.6105 +▁roast -12.6107 +▁nagon -12.6108 +▁Concept -12.611 +▁zanimaju -12.6111 +▁Slow -12.6111 +▁creature -12.6111 +▁steak -12.6112 +▁orah -12.6112 +arrow -12.6113 +▁bezbednosne -12.6113 +dance -12.6113 +▁dobitnika -12.6113 +▁informal -12.6113 +▁solicit -12.6114 +search -12.6115 +ø -12.6115 +▁Tužilaštvu -12.6115 +▁unprecedented -12.6115 +▁drugoplasiran -12.6115 +▁plumbing -12.6115 +▁fierce -12.6115 +▁isključuje -12.6115 +▁tribini -12.6115 +▁traded -12.6115 +Kitarović -12.6116 +▁journalism -12.6116 +▁Vukašin -12.6116 +▁delima -12.6117 +▁Lodge -12.6117 +Your -12.6118 +▁vodimo -12.6118 +▁ugašen -12.6118 +▁Combine -12.6119 +▁Odlazak -12.6119 +▁lancu -12.6119 +▁THAT -12.612 +polo -12.6121 +▁uplata -12.6121 +▁fizike -12.6121 +▁Irinej -12.6121 +▁informativni -12.6122 +▁zauzeti -12.6122 +▁lengthy -12.6123 +▁mindset -12.6123 +▁Agu -12.6124 +▁završene -12.6124 +▁Versa -12.6125 +mplicit -12.6129 +▁Lamp -12.613 +▁Wish -12.613 +▁Parent -12.613 +▁procesom -12.613 +▁Važn -12.613 +Cal -12.613 +drop -12.613 +urić -12.613 +ljivanja -12.6131 +▁св -12.6132 +Mir -12.6133 +▁standardne -12.6133 +▁Očekujemo -12.6133 +urban -12.6133 +▁alergi -12.6133 +▁3% -12.6133 +▁zainteresovanih -12.6134 +▁policijskim -12.6134 +▁umetničko -12.6134 +▁Task -12.6135 +▁кон -12.6135 +▁nadležno -12.6136 +▁planinarsk -12.6136 +▁guilt -12.6136 +lé -12.6137 +▁ter -12.6138 +vlače -12.6138 +▁sandwich -12.6138 +ejt -12.6138 +▁razvi -12.6138 +▁elektri -12.6138 +žavanje -12.614 +▁Singapur -12.6141 +▁Energetsk -12.6141 +▁angažuje -12.6141 +▁inicijativi -12.6141 +▁comparing -12.6141 +▁Urgent -12.6141 +▁prevaziđe -12.6141 +▁Position -12.6141 +▁najmodernij -12.6141 +▁Vlahović -12.6141 +▁coordination -12.6141 +▁Neither -12.6142 +▁mjeru -12.6142 +▁Čelsi -12.6142 +▁veselo -12.6142 +▁било -12.6142 +▁Škole -12.6142 +▁prestonici -12.6143 +rodnu -12.6143 +▁imunizacij -12.6143 +čiju -12.6143 +▁osobni -12.6143 +ха -12.6144 +jevac -12.6144 +close -12.6144 +▁obimu -12.6144 +▁Memić -12.6144 +▁|1|| -12.6145 +TAL -12.6145 +▁tissues -12.6145 +▁naučila -12.6145 +▁Pepper -12.6145 +▁VP -12.6145 +▁ekonomista -12.6145 +▁characterized -12.6146 +▁Alberta -12.6146 +▁entrepreneur -12.6147 +▁lender -12.6147 +▁hospitality -12.6147 +▁disruption -12.6147 +▁Beča -12.6148 +▁razvojni -12.6148 +▁surroundings -12.6148 +▁treninzima -12.6148 +▁okupilo -12.6149 +ovske -12.6149 +Park -12.615 +▁sija -12.6151 +▁operativnog -12.6151 +▁Elite -12.6152 +▁tehničkog -12.6152 +▁sodium -12.6152 +▁vrijednostima -12.6152 +▁maksimalna -12.6153 +▁upisan -12.6154 +▁goodness -12.6155 +▁Boom -12.6155 +▁Charter -12.6155 +▁brate -12.6156 +▁dubina -12.6156 +▁Patri -12.6156 +works -12.6157 +lađi -12.6157 +lance -12.6157 +▁interviewed -12.6158 +▁pasulj -12.6158 +fair -12.6159 +▁Veselin -12.6159 +million -12.6159 +▁Boost -12.6159 +tivne -12.6159 +▁Forex -12.6159 +▁obavio -12.6159 +ferencija -12.6159 +▁djelom -12.6159 +▁tajkun -12.616 +▁dečij -12.616 +cić -12.6161 +social -12.6161 +Jan -12.6162 +▁tester -12.6162 +▁adjustments -12.6163 +▁čo -12.6163 +▁algorithm -12.6164 +▁vulgar -12.6164 +▁4-5 -12.6164 +▁obračunava -12.6166 +ō -12.6167 +▁devojku -12.6167 +▁aggregate -12.6167 +▁promovišu -12.6167 +▁ispao -12.6167 +▁exotic -12.6167 +▁obrazovne -12.6167 +▁Zahtev -12.6167 +▁ploču -12.6168 +-08 -12.6168 +▁izračuna -12.6168 +▁bluz -12.6168 +▁ginger -12.6168 +▁geograf -12.6169 +▁izdat -12.6169 +▁islamu -12.6169 +▁zelenog -12.6169 +▁slojeva -12.6169 +leading -12.617 +▁Mraz -12.6171 +gation -12.6171 +▁MED -12.6172 +rub -12.6172 +▁odrastao -12.6172 +▁1912 -12.6175 +▁forgot -12.6176 +▁hladnjak -12.6176 +▁proslo -12.6176 +▁zakazano -12.6177 +▁geografski -12.6177 +▁svojstven -12.6178 +▁formirati -12.6178 +▁SAS -12.6179 +▁stvarnom -12.618 +▁osigurao -12.6181 +▁KAO -12.6181 +▁očistiti -12.6181 +▁prešla -12.6181 +DRA -12.6182 +▁beast -12.6184 +▁inspektori -12.6184 +▁needing -12.6184 +▁imagined -12.6184 +▁nestaje -12.6184 +TN -12.6185 +▁ispunio -12.6186 +▁okupljaju -12.6186 +▁osjetio -12.6187 +||19 -12.6187 +▁osnovnom -12.6188 +▁defending -12.619 +▁jedinstvenom -12.619 +▁konstatuje -12.6191 +▁lošije -12.6191 +▁mudro -12.6191 +▁županij -12.6193 +▁narudžbi -12.6193 +▁Catherine -12.6193 +▁Sponsor -12.6193 +▁undoubtedly -12.6193 +▁migracije -12.6193 +▁psihičko -12.6193 +▁hockey -12.6193 +▁conquer -12.6193 +▁animated -12.6193 +▁djevojku -12.6194 +▁župan -12.6194 +▁padavine -12.6194 +▁susreti -12.6194 +▁mechanics -12.6194 +▁revolutionary -12.6194 +veta -12.6195 +▁dolazio -12.6195 +▁genius -12.6196 +▁LINK -12.6196 +▁stalne -12.6196 +▁Raw -12.6197 +enburg -12.6197 +▁belongs -12.6197 +▁donors -12.6197 +also -12.6198 +sser -12.6198 +▁Horvat -12.6199 +▁umjetnici -12.6199 +▁strancima -12.62 +▁grčke -12.62 +▁È -12.62 +▁Cox -12.62 +wei -12.6201 +▁BAR -12.6201 +▁Foods -12.6201 +▁nanošenje -12.6201 +▁maksimalni -12.6201 +▁Shah -12.6201 +▁žice -12.6202 +▁Upper -12.6202 +▁hotelima -12.6202 +▁rijetkih -12.6202 +▁odličnom -12.6202 +▁cylinder -12.6203 +▁litter -12.6203 +▁sliced -12.6204 +rekao -12.6204 +▁Sudan -12.6206 +▁Upitan -12.6207 +▁akademski -12.6207 +▁službenih -12.6207 +▁void -12.6207 +▁Schi -12.6207 +▁dosadašnjim -12.6208 +▁okoln -12.6208 +▁hatch -12.6208 +▁Rakić -12.6208 +▁Dawn -12.6208 +▁medicinskim -12.6209 +▁značajnog -12.6209 +▁barn -12.621 +▁slijedeći -12.621 +▁crnoj -12.621 +▁hrom -12.6211 +▁drugari -12.6211 +▁polaznik -12.6212 +▁vladara -12.6214 +plovi -12.6215 +▁kolektivnog -12.6215 +▁oklop -12.6215 +trol -12.6218 +▁sloganom -12.6218 +dil -12.6219 +▁inexpensive -12.6219 +▁refrigerator -12.6219 +▁sjeverozapad -12.6219 +▁coalition -12.6219 +▁Asocijacije -12.6219 +▁ozbiljnim -12.6219 +▁Dobrodošli -12.6219 +▁investitorima -12.6219 +▁znatiželj -12.6219 +▁kanjon -12.622 +▁vijeću -12.622 +▁kustos -12.622 +ovićev -12.622 +▁sunlight -12.6221 +▁Vincent -12.6221 +▁Shell -12.6221 +▁Klin -12.6222 +▁narandž -12.6222 +▁ljubiteljima -12.6222 +▁laz -12.6223 +▁društvenom -12.6223 +▁Nezavisne -12.6223 +peli -12.6224 +▁babe -12.6224 +▁historije -12.6225 +▁Uživa -12.6225 +▁nepotrebno -12.6225 +▁Dokaz -12.6225 +▁Walt -12.6225 +▁jakih -12.6226 +zav -12.6228 +▁glupost -12.6228 +▁tromb -12.6228 +▁ports -12.6229 +вој -12.623 +▁KAP -12.6231 +job -12.6232 +▁ponavljaju -12.6232 +▁Internacionaln -12.6232 +▁organizovanja -12.6235 +▁155 -12.6236 +▁Korać -12.6236 +▁cink -12.6237 +▁coil -12.6237 +▁Sonja -12.6237 +šaj -12.6237 +▁Eagle -12.6239 +▁laying -12.6239 +▁prostorom -12.6239 +▁Kuhinja -12.6239 +▁Blaž -12.624 +▁ugroziti -12.624 +GL -12.6241 +▁Mik -12.6242 +▁JEDN -12.6242 +▁MAC -12.6242 +▁1975. -12.6243 +ivno -12.6243 +▁plac -12.6244 +▁Argentine -12.6245 +▁Newcastle -12.6245 +▁iščekiva -12.6245 +▁odaberite -12.6245 +▁pažnjom -12.6245 +▁zauzvrat -12.6245 +▁isporučuje -12.6245 +▁Taliban -12.6245 +▁vrijedne -12.6245 +▁preispita -12.6245 +▁flew -12.6245 +▁valute -12.6245 +▁haljini -12.6245 +▁zaslužio -12.6245 +▁proizvodni -12.6246 +▁pijaci -12.6246 +oteke -12.6246 +▁karcinom -12.6246 +▁Moment -12.6246 +▁Hebrew -12.6247 +▁provedbu -12.6247 +▁tempom -12.6248 +▁Includes -12.6248 +▁Shore -12.6248 +rđe -12.6249 +▁Fellow -12.6249 +▁Institution -12.6249 +▁mečeve -12.6249 +▁Bobby -12.6249 +▁100,000 -12.6249 +▁upravnik -12.6249 +▁kućnog -12.625 +osjeća -12.625 +disciplin -12.625 +▁Advisory -12.6251 +▁cheat -12.6252 +turing -12.6253 +▁machinery -12.6253 +▁pisane -12.6253 +▁Danska -12.6254 +ttering -12.6254 +▁zamah -12.6254 +UKA -12.6255 +▁promptly -12.6255 +▁osjećaja -12.6255 +▁roditeljsk -12.6256 +▁regul -12.6256 +▁slušali -12.6257 +▁sudac -12.6257 +▁ventilator -12.6258 +▁proto -12.6258 +▁Nekad -12.6259 +▁potezu -12.6259 +sided -12.6259 +▁kupovati -12.6259 +▁merenja -12.626 +▁allies -12.626 +basa -12.626 +▁usavršava -12.6261 +▁mlak -12.6261 +Ljudi -12.6262 +▁brake -12.6263 +▁veterana -12.6263 +bha -12.6263 +▁prodavati -12.6263 +▁regat -12.6264 +islam -12.6264 +▁wherein -12.6265 +▁Duk -12.6265 +crib -12.6265 +▁blocking -12.6266 +▁survivors -12.6266 +▁sugrađani -12.6267 +▁1:2 -12.6268 +▁migrantsk -12.6268 +▁desničar -12.6269 +evim -12.627 +▁pravite -12.627 +▁stairs -12.627 +▁uncertain -12.6271 +▁compassion -12.6271 +TAK -12.6271 +▁Conservation -12.6271 +▁Predsedništva -12.6271 +▁britanska -12.6271 +▁kupoprodaj -12.6271 +▁piramida -12.6271 +▁portugalsk -12.6271 +▁presudom -12.6271 +▁trotoar -12.6271 +▁cherry -12.6272 +▁potencijale -12.6272 +▁fasada -12.6272 +▁uključene -12.6272 +▁Cheese -12.6272 +▁ubraja -12.6273 +▁Lokalni -12.6273 +▁Zadnji -12.6273 +▁warn -12.6273 +▁podizanju -12.6274 +▁sour -12.6274 +▁sirot -12.6275 +tencija -12.6275 +▁Detaljn -12.6275 +▁insurer -12.6277 +look -12.6277 +▁5-6 -12.6277 +▁preduzetnici -12.6277 +team -12.6278 +▁motivi -12.6278 +▁doseg -12.6279 +▁zaštitno -12.628 +▁smrša -12.6281 +▁kategori -12.6281 +▁households -12.6281 +▁golem -12.6281 +▁6.000 -12.6282 +▁pružanju -12.6283 +borne -12.6283 +GRE -12.6283 +▁Serije -12.6284 +▁hormonsk -12.6284 +▁upaljen -12.6285 +▁nabavka -12.6285 +bode -12.6286 +▁Amerikanaca -12.6286 +zakon -12.6287 +▁radikala -12.6287 +▁proljetn -12.6288 +▁kolegij -12.6289 +Fr -12.6289 +▁Moguć -12.629 +▁traits -12.6291 +evac -12.6291 +▁SEE -12.6291 +CIJU -12.6291 +čuva -12.6292 +▁nastavljamo -12.6293 +▁upada -12.6293 +▁altered -12.6293 +▁složili -12.6294 +▁ethics -12.6294 +▁ratom -12.6295 +▁preduzme -12.6295 +▁karti -12.6296 +▁technicians -12.6296 +zović -12.6297 +‑ -12.6298 +▁INTERVJU -12.6298 +▁Shakespeare -12.6298 +▁Sutjesk -12.6298 +▁discomfort -12.6298 +▁happier -12.6298 +▁higijenu -12.6298 +▁nezgodn -12.6298 +▁kulinarsk -12.6298 +▁pretraga -12.6298 +▁fabriku -12.6298 +▁Import -12.6298 +▁zvaničnog -12.6298 +▁stajala -12.6299 +▁Građevin -12.6299 +▁Drum -12.6299 +▁CRM -12.6299 +▁Funk -12.6299 +▁dejstvom -12.63 +TAR -12.6301 +так -12.6301 +▁dođemo -12.6301 +▁segmentima -12.6302 +▁zahvali -12.6302 +▁čudni -12.6302 +▁Medal -12.6303 +▁alergije -12.6303 +stajao -12.6304 +▁staple -12.6304 +zine -12.6304 +▁Lift -12.6305 +▁educators -12.6305 +▁pozva -12.6305 +▁jedinstvenim -12.6306 +▁Svakog -12.6306 +▁najznačajnije -12.6306 +▁Brandon -12.6307 +▁Doboju -12.6307 +▁Wow -12.6307 +▁apostol -12.6307 +▁Izdavač -12.6308 +▁Dale -12.631 +▁kruži -12.6311 +▁panoram -12.6311 +▁nemogućnosti -12.6311 +▁namely -12.6311 +cikl -12.6312 +▁smene -12.6313 +▁Krem -12.6314 +hrom -12.6315 +▁hunter -12.6315 +▁izbacio -12.6316 +▁freshman -12.6316 +▁Polish -12.6317 +▁Upravi -12.6317 +▁ukine -12.6318 +▁1080 -12.6318 +▁Designed -12.6319 +▁vetro -12.632 +▁plazm -12.6321 +▁promenilo -12.6321 +▁Smrt -12.6323 +▁sekular -12.6323 +▁zabeležio -12.6324 +▁razve -12.6324 +▁declaration -12.6324 +▁dijagnozu -12.6324 +▁gimnazija -12.6324 +▁obilaska -12.6324 +▁Expect -12.6324 +▁ultrazvuk -12.6324 +▁Emin -12.6324 +▁empire -12.6324 +▁tasting -12.6325 +▁dz -12.6325 +▁modnih -12.6326 +▁Zach -12.6326 +▁persist -12.6327 +▁manir -12.6328 +▁limunov -12.6328 +▁odjela -12.6328 +▁trostruk -12.6329 +▁bolesnik -12.6329 +▁sanctions -12.6329 +natom -12.6329 +Tru -12.6329 +▁pretpostavljam -12.633 +▁stadijum -12.633 +▁maca -12.633 +▁wool -12.633 +▁Saudijsk -12.6331 +lol -12.6332 +▁naučnim -12.6332 +▁rotacij -12.6333 +▁namještaj -12.6333 +▁stalnim -12.6334 +▁struci -12.6334 +▁Item -12.6334 +▁Jump -12.6334 +▁Demokratska -12.6335 +▁penisa -12.6335 +▁otkriju -12.6335 +jivanje -12.6335 +▁WP -12.6336 +-07 -12.6336 +▁očekivani -12.6337 +▁armor -12.6337 +▁šteti -12.6338 +пи -12.6338 +▁dostupnih -12.6338 +▁najčešćih -12.6338 +▁poems -12.6338 +▁Sev -12.6339 +▁crvenilo -12.6339 +▁DOB -12.6339 +▁punoj -12.6339 +▁Sloveni -12.634 +▁preostali -12.634 +▁anticipate -12.634 +▁vena -12.6341 +ryl -12.6341 +▁stats -12.6341 +especially -12.6341 +cica -12.6341 +▁stanovnik -12.6342 +▁olimpijski -12.6342 +▁Današnj -12.6342 +▁qualifying -12.6343 +▁warmth -12.6343 +▁Kaf -12.6343 +▁Narodni -12.6343 +▁osvrnu -12.6345 +Master -12.6345 +▁besmislen -12.6346 +▁121 -12.6346 +èno -12.6347 +▁pila -12.6348 +▁neizvesn -12.6348 +▁Gaga -12.6349 +▁Đurović -12.6349 +▁kud -12.635 +▁proširio -12.635 +▁ceramic -12.6351 +▁fantastičan -12.6351 +▁sveobuhvatno -12.6351 +▁pobjedničk -12.6351 +▁adorable -12.6351 +▁infinite -12.6351 +▁izvršne -12.6351 +▁Glumica -12.6351 +▁ukinut -12.6351 +▁creamy -12.6351 +▁postižu -12.6351 +▁Sremskoj -12.6352 +iraj -12.6352 +▁verified -12.6352 +▁kolonija -12.6352 +▁tužbi -12.6353 +RAD -12.6353 +▁RBI -12.6353 +etti -12.6354 +▁muška -12.6354 +poznavanje -12.6355 +▁formerly -12.6355 +▁Plain -12.6356 +▁stolicu -12.6357 +Koridor -12.6359 +▁steering -12.6359 +▁obojen -12.6359 +▁Medic -12.6359 +▁rezon -12.6359 +▁intimno -12.6359 +▁specijaliziran -12.636 +▁sirće -12.6361 +ente -12.6362 +▁mraku -12.6362 +▁hoćemo -12.6363 +▁threaten -12.6364 +▁prostoriju -12.6365 +.4. -12.6365 +bož -12.6365 +▁subota -12.6365 +▁osjećati -12.6366 +▁kontakti -12.6367 +arily -12.6367 +▁smjene -12.6367 +▁1.9 -12.6367 +▁Nikšiću -12.6369 +▁spoljni -12.6369 +▁Markovića -12.6369 +ničku -12.6369 +boat -12.637 +▁urađena -12.6371 +▁Explore -12.6371 +▁SAN -12.6371 +▁izleti -12.6372 +▁proziva -12.6372 +▁zaduženi -12.6372 +▁Victorian -12.6372 +▁značajnim -12.6373 +▁rude -12.6373 +▁pregledi -12.6373 +tsch -12.6373 +▁nećeš -12.6373 +▁Boru -12.6374 +perform -12.6374 +▁positively -12.6374 +▁tran -12.6374 +▁veru -12.6375 +zzle -12.6375 +▁oštećeni -12.6376 +htm -12.6377 +▁Doručak -12.6377 +▁vojvođansk -12.6377 +▁fossil -12.6377 +▁licensing -12.6377 +▁aluminijumsk -12.6377 +▁drzave -12.6377 +▁trillion -12.6377 +▁Branimir -12.6377 +▁podigli -12.6377 +▁diplomu -12.6377 +▁tehničkim -12.6378 +▁Pizza -12.6378 +▁Aston -12.6378 +▁dvogodišnj -12.6378 +▁košarku -12.6379 +▁civilizacija -12.6379 +▁Effects -12.638 +ARI -12.638 +▁šumu -12.638 +▁svedoci -12.638 +▁sadr -12.6381 +▁Talent -12.6381 +▁Malta -12.6381 +▁savremenom -12.6382 +LOW -12.6382 +▁životna -12.6383 +▁vizije -12.6383 +750 -12.6383 +▁pravio -12.6383 +▁sugerira -12.6383 +dvoje -12.6384 +▁Zajednic -12.6385 +▁noćas -12.6385 +▁dopunsk -12.6385 +▁patnje -12.6385 +▁lol -12.6386 +▁rekorda -12.6386 +▁Vojska -12.6386 +▁bolničko -12.6386 +▁tvrdo -12.6386 +▁dysfunction -12.6386 +▁prečnik -12.6387 +▁uznemiren -12.6387 +fild -12.6388 +▁dugova -12.6388 +▁hafiz -12.6388 +drzava -12.6389 +zza -12.6389 +▁sigurnosnih -12.6389 +zora -12.6389 +Bosna -12.639 +▁sigh -12.639 +▁staroj -12.639 +▁cy -12.639 +▁dynamics -12.639 +▁Done -12.6391 +rević -12.6391 +solution -12.6392 +▁stroj -12.6392 +▁backgrounds -12.6393 +▁Brooks -12.6394 +▁passive -12.6394 +▁8:30 -12.6394 +▁odevn -12.6394 +▁minimalna -12.6395 +▁Upozna -12.6395 +▁ojačati -12.6395 +▁prekrši -12.6396 +▁6) -12.6398 +▁obratila -12.6399 +▁najvišem -12.64 +▁Negotin -12.64 +▁uveden -12.6401 +▁običnog -12.6402 +▁raja -12.6402 +▁Bang -12.6403 +▁’’ -12.6403 +▁Memorandum -12.6404 +▁demonstranata -12.6404 +▁elektrane -12.6404 +▁komisiji -12.6404 +▁konkretan -12.6404 +▁nevertheless -12.6404 +▁procjenjuje -12.6404 +▁dnevnu -12.6404 +▁tehnička -12.6404 +▁šolja -12.6404 +▁načelima -12.6404 +▁podižu -12.6404 +▁Discount -12.6404 +▁turkey -12.6404 +▁klupa -12.6404 +▁umetničke -12.6404 +▁granične -12.6404 +▁uspomena -12.6405 +▁woke -12.6405 +▁Mana -12.6405 +▁listić -12.6405 +▁toddler -12.6406 +▁Krajine -12.6406 +▁Martinez -12.6407 +▁Hilton -12.6407 +▁paired -12.6407 +▁accountability -12.6408 +▁kritički -12.6408 +▁igralište -12.6409 +▁učili -12.6409 +▁disanja -12.6409 +9,00 -12.6409 +▁rubu -12.641 +▁rutinski -12.641 +▁Bojović -12.641 +▁poveca -12.6411 +▁pustite -12.6412 +▁NOW -12.6412 +▁Kah -12.6413 +▁sudijsk -12.6413 +▁conclusions -12.6415 +udin -12.6415 +▁dobijem -12.6416 +▁ubijena -12.6419 +▁Advance -12.6419 +▁bijelog -12.6419 +▁disclose -12.6421 +▁Američkim -12.6421 +▁intentions -12.6421 +business -12.6422 +▁Grci -12.6422 +▁gripe -12.6423 +▁tehničkom -12.6423 +▁potrošačima -12.6423 +▁Crew -12.6424 +▁midst -12.6425 +▁бр -12.6426 +▁casting -12.6427 +▁Theory -12.6427 +ште -12.6427 +▁1.200 -12.6428 +FENA -12.6429 +▁zakuca -12.6429 +▁Zlo -12.643 +▁unity -12.643 +▁Firefox -12.643 +▁Rodriguez -12.643 +▁ambalaže -12.643 +▁earthquake -12.643 +▁worries -12.643 +▁Tournament -12.643 +▁terrific -12.643 +▁Meksika -12.643 +▁ofanzivn -12.643 +▁Hopkins -12.643 +▁kazino -12.6431 +▁obuhvaća -12.6431 +▁feather -12.6431 +▁hobby -12.6431 +▁smernice -12.6431 +▁dogovara -12.6431 +čevo -12.6431 +▁scenograf -12.6432 +▁ostatku -12.6432 +▁akta -12.6432 +ifikacija -12.6432 +▁autocest -12.6432 +▁prilagođavanje -12.6432 +▁unclear -12.6432 +▁sjedišta -12.6433 +▁odvrati -12.6433 +▁mudrosti -12.6433 +▁republic -12.6433 +▁Nastup -12.6433 +▁Sandžak -12.6434 +▁insult -12.6434 +▁starenje -12.6435 +▁Biti -12.6435 +▁modifications -12.6436 +▁DH -12.6438 +▁poku -12.6439 +modern -12.6441 +▁domovine -12.6441 +▁Pere -12.6441 +▁čitavo -12.6443 +▁dull -12.6444 +▁napajanje -12.6444 +▁sealed -12.6444 +▁tačnost -12.6445 +▁braon -12.6446 +▁Južna -12.6446 +▁reisu -12.6447 +spora -12.6447 +▁lamb -12.6449 +CON -12.6449 +▁izraze -12.645 +toxic -12.645 +ificira -12.645 +▁povrijeđeno -12.645 +▁pokrete -12.645 +▁Settings -12.645 +▁Tad -12.6451 +▁stole -12.6452 +▁tolerant -12.6452 +▁Robot -12.6452 +▁Bai -12.6452 +letio -12.6456 +▁pokreću -12.6457 +▁moguću -12.6457 +▁Kruševcu -12.6457 +▁muzička -12.6457 +▁porudžbine -12.6457 +▁Supply -12.6457 +▁statistike -12.6457 +▁Amazing -12.6457 +▁kapsule -12.6457 +▁primjenjuju -12.6457 +▁sajber -12.6457 +▁elastic -12.6457 +žene -12.6458 +▁optimizam -12.6458 +▁keyword -12.6458 +lib -12.6459 +▁tamne -12.6459 +ljivosti -12.6461 +▁impacted -12.6461 +▁džemata -12.6461 +zite -12.6461 +▁entertain -12.6462 +▁profesionalnim -12.6462 +▁sadašnj -12.6463 +bh -12.6464 +Imamo -12.6464 +pare -12.6465 +▁epilog -12.6466 +||9 -12.6467 +▁obraćanje -12.6467 +▁DIN -12.6468 +▁naglašavaju -12.6468 +▁Develop -12.6468 +▁posjetioci -12.6468 +لَ -12.6468 +▁Planina -12.6469 +partisan -12.6469 +znog -12.6469 +▁dies -12.6469 +▁knot -12.6469 +▁obrađiva -12.6469 +▁127 -12.6472 +▁oluj -12.6472 +▁sumpor -12.6472 +▁izdvojila -12.6472 +ćeš -12.6472 +▁angažovani -12.6473 +▁financijski -12.6474 +▁inaugur -12.6474 +▁povukla -12.6474 +▁neighborhoods -12.6475 +▁bizarn -12.6477 +▁specifičnosti -12.6477 +▁alati -12.6477 +▁Kristin -12.6477 +▁Suzana -12.6477 +▁Dow -12.6477 +▁optuženih -12.6478 +nara -12.6478 +▁Poznat -12.6478 +▁2.500 -12.6479 +▁Pekingu -12.648 +▁predstavljala -12.6481 +▁Prices -12.6481 +▁mladom -12.6481 +▁čestitam -12.6481 +▁obrate -12.6482 +▁pisci -12.6482 +▁Stanić -12.6483 +▁Acid -12.6483 +▁Budimpešti -12.6484 +▁Gibson -12.6484 +▁Stanovništvo -12.6484 +▁plućn -12.6484 +▁čokoladu -12.6484 +▁Stuart -12.6484 +▁galerije -12.6484 +▁crkava -12.6484 +▁terrace -12.6484 +▁број -12.6484 +▁messaging -12.6484 +▁dostići -12.6484 +▁comm -12.6485 +▁zapadnim -12.6485 +kliz -12.6485 +▁promenjen -12.6485 +▁Phase -12.6485 +▁izdvajaju -12.6485 +▁anonimno -12.6486 +▁ogromnim -12.6486 +▁Tvrdi -12.6486 +▁bakar -12.6486 +▁Redovno -12.6486 +▁zlostavljanje -12.6486 +▁obnova -12.6486 +▁Pusti -12.6487 +▁crvenih -12.6487 +▁publishers -12.6488 +▁kiselinu -12.6488 +▁Same -12.6488 +▁192 -12.6489 +▁PLAY -12.6489 +▁cabinets -12.6489 +gible -12.649 +▁Gordan -12.649 +inated -12.649 +▁shelves -12.6491 +▁zanimljivu -12.6491 +▁stanari -12.6491 +▁hedge -12.6492 +▁izvođenju -12.6493 +▁8:00 -12.6493 +▁touches -12.6493 +▁taksa -12.6494 +▁američko -12.6495 +▁biljku -12.6495 +▁puč -12.6496 +▁Golubović -12.6497 +ološko -12.6498 +▁chu -12.6499 +▁Visokom -12.65 +▁Viši -12.65 +▁spoljašnji -12.65 +xin -12.65 +▁1982. -12.6501 +▁Vig -12.6502 +▁debelo -12.6503 +plaka -12.6503 +cock -12.6503 +▁premises -12.6504 +▁Bach -12.6504 +bug -12.6505 +▁registriran -12.6506 +▁Možeš -12.6506 +▁kart -12.6506 +▁Founder -12.6508 +▁pristupačni -12.6509 +▁pripremila -12.6509 +▁Dej -12.6509 +▁odabiru -12.651 +▁ploda -12.6511 +нд -12.6511 +▁garbage -12.6511 +▁marathon -12.6511 +▁perspektiva -12.6511 +▁proprietary -12.6511 +▁Capitol -12.6511 +▁sprovesti -12.6511 +▁Laboratory -12.6511 +▁stražar -12.6511 +▁decorative -12.6511 +▁Valjevo -12.6511 +▁yarn -12.6511 +▁gitara -12.6511 +▁Udaljenost -12.6512 +▁informiše -12.6512 +▁sistemski -12.6513 +▁Vračar -12.6513 +▁Sample -12.6514 +▁lepše -12.6514 +▁Shodno -12.6515 +skače -12.6515 +▁vitamine -12.6515 +▁sipa -12.6516 +▁Turbo -12.6516 +▁Consulting -12.6517 +▁salona -12.6517 +▁Friend -12.6517 +▁crafted -12.6518 +▁Poll -12.6518 +▁bošnjačkog -12.6519 +▁obveznika -12.6519 +litar -12.652 +▁popularnog -12.652 +овић -12.6521 +vačkog -12.6521 +▁jesenje -12.6522 +▁trezor -12.6522 +▁clash -12.6524 +▁lending -12.6524 +▁najkvalitetnij -12.6524 +▁joints -12.6524 +SKU -12.6525 +3:30 -12.6525 +▁likovno -12.6525 +▁SME -12.6525 +▁novčanih -12.6526 +▁Kud -12.6526 +acione -12.6526 +▁Ahmet -12.6527 +▁eaten -12.6527 +▁okupila -12.6527 +▁dobiven -12.6528 +▁okupiti -12.6528 +▁omot -12.653 +putu -12.653 +▁električnom -12.6531 +THER -12.6532 +▁trendovima -12.6532 +▁carina -12.6532 +▁Mitić -12.6532 +▁Sasvi -12.6532 +▁jednaka -12.6532 +▁proglasila -12.6532 +invazivn -12.6532 +▁pogledaju -12.6533 +▁belim -12.6534 +▁flowing -12.6534 +▁GC -12.6534 +▁komentarišu -12.6535 +Zadruga -12.6535 +tung -12.6535 +▁Historic -12.6536 +▁canal -12.6536 +▁Lokal -12.6536 +▁1942. -12.6537 +ح -12.6538 +▁Holandija -12.6538 +▁demokratska -12.6538 +▁televizijsko -12.6538 +▁Sierra -12.6538 +▁Statistics -12.6538 +▁oznaku -12.6538 +▁sigurne -12.6538 +▁grupne -12.6538 +ln -12.6538 +▁SRBIJE -12.6538 +▁ostvareni -12.6538 +▁remek -12.6538 +▁pritisnu -12.6538 +▁Hrvate -12.6538 +▁tuition -12.6538 +▁natrijum -12.6538 +▁udobnosti -12.6538 +▁incentive -12.6538 +▁rođene -12.6539 +▁knit -12.6539 +▁Grčku -12.6539 +▁pohađaju -12.654 +▁vecina -12.654 +gif -12.654 +▁Požar -12.654 +▁majki -12.6541 +▁Konzum -12.6542 +▁povredi -12.6542 +▁tajno -12.6542 +▁slap -12.6543 +▁složi -12.6543 +▁ćelijama -12.6544 +Care -12.6545 +▁princeza -12.6546 +Video -12.6546 +▁Zavodu -12.6546 +▁muškog -12.6548 +Air -12.6548 +▁kara -12.6549 +mura -12.655 +▁prepoznatljivi -12.655 +DAY -12.6551 +▁strogi -12.6552 +▁136 -12.6552 +▁Igrači -12.6552 +▁prosle -12.6552 +▁svečani -12.6552 +BF -12.6552 +▁provedu -12.6553 +▁snimila -12.6553 +▁tablica -12.6554 +▁islamskih -12.6554 +znih -12.6554 +flower -12.6555 +▁pel -12.6555 +▁Minhen -12.6555 +▁Roth -12.6556 +▁nivoe -12.6557 +▁Ä -12.6558 +▁Fej -12.6558 +▁traditionally -12.6559 +▁upućena -12.656 +hani -12.656 +▁stradao -12.656 +issue -12.6561 +▁muzičari -12.6562 +▁063 -12.6563 +▁Colombia -12.6565 +▁asistenciju -12.6565 +▁Bosanska -12.6565 +▁Nebraska -12.6565 +▁UNICEF -12.6565 +▁grijanja -12.6565 +▁pošalju -12.6565 +▁Predstavničkog -12.6565 +▁Naruto -12.6565 +▁пе -12.6565 +▁Jefferson -12.6565 +▁Razmišlja -12.6565 +▁Elena -12.6566 +▁Doboja -12.6566 +▁poklopi -12.6566 +▁Spider -12.6566 +▁gospel -12.6567 +▁spoil -12.6567 +▁masks -12.6567 +▁položi -12.6567 +▁udaraca -12.6567 +▁vector -12.6567 +vučen -12.6568 +▁Govor -12.6568 +▁deficita -12.6568 +▁elder -12.6568 +▁spavaju -12.6568 +▁прав -12.657 +▁uzbuđenja -12.657 +▁najam -12.6571 +▁Pole -12.6571 +▁shvataju -12.6571 +▁laže -12.6571 +▁kolačići -12.6571 +▁inženjera -12.6572 +▁ubila -12.6572 +▁četvrtini -12.6572 +▁slavila -12.6573 +Jer -12.6573 +▁Festivalu -12.6573 +▁appointments -12.6573 +▁domains -12.6573 +▁evidentira -12.6573 +▁bezbedni -12.6574 +veza -12.6574 +▁obrazovnih -12.6576 +▁оста -12.6576 +vedi -12.6577 +ACT -12.6577 +▁gornje -12.6578 +▁Joel -12.6578 +▁svakodnevnim -12.6579 +▁nadje -12.658 +▁leptir -12.6581 +▁odveo -12.6581 +▁financially -12.6582 +nium -12.6582 +▁ponese -12.6582 +▁razna -12.6583 +▁wander -12.6584 +▁lizing -12.6584 +▁kritično -12.6585 +▁sličnosti -12.6585 +nošenja -12.6585 +▁sprata -12.6585 +▁najzad -12.6586 +▁kreditnih -12.6586 +▁impose -12.6586 +▁prethodnika -12.6587 +▁obavešteni -12.6587 +▁oblaka -12.6588 +▁ozbiljnost -12.6588 +▁grim -12.6588 +▁Sami -12.6588 +▁Nosi -12.6588 +▁Casa -12.6589 +▁socijalnim -12.6589 +▁moćan -12.659 +▁1983. -12.6592 +▁apstrakt -12.6592 +▁epizodi -12.6592 +▁voluntary -12.6592 +▁trajaće -12.6592 +▁čude -12.6592 +▁Superior -12.6592 +▁kontrolisati -12.6592 +▁podloge -12.6592 +▁enrich -12.6592 +▁Dragojević -12.6592 +▁cancelled -12.6593 +▁monarh -12.6593 +ktivno -12.6593 +▁Outside -12.6594 +▁Cijel -12.6595 +▁plavu -12.6595 +▁Winner -12.6595 +▁kalcijum -12.6596 +talk -12.6597 +▁exams -12.6597 +CY -12.6598 +▁Sensor -12.6598 +▁opušteno -12.6598 +▁investigations -12.6598 +▁upravljačk -12.6599 +stanci -12.6599 +▁strahovi -12.6599 +▁Srna -12.66 +▁žila -12.66 +▁teatar -12.66 +▁kutak -12.6601 +▁namjene -12.6602 +▁organised -12.6602 +▁Kantonalnog -12.6603 +▁ogradu -12.6603 +▁breasts -12.6604 +▁nijednog -12.6604 +▁(23 -12.6604 +▁provedeno -12.6605 +▁Uoči -12.6605 +▁tack -12.6605 +▁monument -12.6606 +save -12.6606 +▁neželjenih -12.6607 +▁Rand -12.6608 +▁jersey -12.6608 +▁razmišljamo -12.6609 +▁Extract -12.6609 +▁Petak -12.661 +Republika -12.661 +After -12.661 +support -12.661 +bow -12.6611 +ometer -12.6612 +▁Sharp -12.6613 +đivali -12.6613 +▁migrant -12.6613 +▁Jesen -12.6614 +▁normativ -12.6614 +▁veget -12.6615 +▁teritorijalne -12.6616 +▁sufinansira -12.6616 +selili -12.6616 +ophil -12.6616 +racy -12.6617 +▁Poznata -12.6617 +▁zakonska -12.6618 +lago -12.6619 +▁Salvador -12.6619 +▁collision -12.6619 +▁durability -12.6619 +▁fifteen -12.6619 +▁najlakše -12.6619 +▁najnovija -12.6619 +▁optužuju -12.6619 +▁temporarily -12.6619 +▁tendenciju -12.6619 +▁Katoličk -12.6619 +▁procjenu -12.6619 +▁mrtve -12.6619 +▁Smeštaj -12.6619 +▁Nursing -12.6619 +dari -12.6619 +▁duhovne -12.6619 +▁Milićević -12.6619 +▁footprint -12.662 +▁njome -12.662 +пе -12.662 +▁complimentary -12.662 +▁ljudsku -12.662 +▁Genesis -12.662 +▁postavka -12.662 +▁terorista -12.662 +▁Creating -12.662 +STVA -12.662 +▁disappointment -12.6621 +olic -12.6621 +▁bogu -12.6621 +▁pretvorio -12.6621 +▁sportiste -12.6621 +▁razlikov -12.6621 +▁notify -12.6621 +▁učvrsti -12.6622 +▁Klinton -12.6622 +▁Nacional -12.6622 +▁Komunaln -12.6622 +▁Miki -12.6623 +▁vece -12.6623 +▁jedine -12.6623 +trča -12.6624 +▁probate -12.6624 +▁laboratorijsk -12.6625 +▁objection -12.6625 +▁Eagles -12.6626 +▁guards -12.6626 +▁letove -12.6627 +bog -12.6627 +▁četvrte -12.6628 +▁Pictures -12.6628 +heart -12.6629 +▁poštom -12.663 +pozitiv -12.663 +▁potrebnim -12.663 +▁kneza -12.663 +▁gotova -12.6631 +▁Seća -12.6631 +▁FIN -12.6632 +▁Sombora -12.6632 +▁konju -12.6633 +počnite -12.6633 +▁Alba -12.6633 +▁kolagena -12.6634 +▁izdvojili -12.6634 +▁drawer -12.6637 +ljenog -12.6637 +▁Subota -12.6638 +▁metalni -12.6638 +▁proveriti -12.6639 +▁izvještaje -12.6639 +▁Kus -12.6639 +▁portions -12.6639 +▁ponudili -12.6639 +▁dangers -12.6641 +ČKA -12.6641 +▁rushed -12.6641 +▁čitaoci -12.6641 +farmaceut -12.6641 +▁onions -12.6641 +▁provi -12.6643 +▁izdati -12.6643 +▁PSG -12.6645 +lick -12.6646 +ו -12.6646 +▁Barselona -12.6646 +▁enhancing -12.6646 +▁čokolada -12.6646 +▁racism -12.6646 +▁preokrenu -12.6646 +▁Jevreja -12.6646 +▁capsule -12.6646 +▁antioxidant -12.6646 +▁trgovački -12.6647 +▁Zaposleni -12.6647 +▁deponija -12.6647 +▁oproba -12.6647 +▁sretne -12.6647 +▁3.2 -12.6647 +▁pčele -12.6647 +▁utrošen -12.6647 +▁UNDP -12.6647 +▁svadbe -12.6647 +▁spominju -12.6648 +▁masnoća -12.6648 +▁Lawyer -12.6648 +▁respondents -12.6648 +▁sudionici -12.6648 +▁competent -12.6648 +▁Narodnom -12.6648 +▁obična -12.6648 +▁času -12.6648 +▁imovinsko -12.6648 +▁Kakve -12.6648 +▁funkcionalni -12.6649 +▁shallow -12.6649 +▁spotlight -12.6649 +geni -12.665 +▁prihvatanje -12.665 +▁zahtjevu -12.665 +▁zamislite -12.6651 +▁Nogometn -12.6651 +▁kapije -12.6651 +360 -12.6652 +▁predvidi -12.6652 +▁globalna -12.6652 +▁HNS -12.6653 +▁Harrison -12.6653 +▁novogodišnji -12.6654 +▁Aba -12.6654 +▁Nil -12.6654 +▁kula -12.6654 +▁baraž -12.6655 +▁koncerte -12.6655 +▁arhitekta -12.6656 +▁pokušavali -12.6656 +▁cope -12.6657 +pišu -12.6658 +▁napu -12.6658 +▁Brz -12.6659 +▁slower -12.6659 +▁smartphones -12.6659 +▁ALI -12.666 +▁conflicts -12.6661 +▁4:1 -12.6662 +▁vocals -12.6662 +pick -12.6662 +▁sjedini -12.6663 +▁hardest -12.6663 +▁publikacija -12.6663 +▁zatražili -12.6665 +▁reproduce -12.6666 +▁netaknut -12.6666 +ovanih -12.6667 +▁suburb -12.6669 +▁obdukci -12.667 +▁izvozi -12.667 +▁Sandžaka -12.6671 +▁službenim -12.6671 +ís -12.6671 +▁Examples -12.6672 +▁balansira -12.6672 +▁prosek -12.6672 +▁Cit -12.6672 +▁Muse -12.6672 +lips -12.6673 +▁Cetin -12.6673 +Plus -12.6673 +▁hilarious -12.6674 +▁nedostatku -12.6674 +▁plastične -12.6674 +▁Crvenu -12.6674 +▁australijsk -12.6674 +▁zaokruži -12.6674 +▁vinegar -12.6674 +▁magnitude -12.6674 +▁trudimo -12.6674 +▁sličnu -12.6674 +▁probability -12.6674 +▁Overview -12.6675 +▁imported -12.6675 +▁Discussion -12.6675 +▁query -12.6675 +▁Berlina -12.6676 +▁prikriva -12.6676 +▁BUD -12.6678 +▁Rangers -12.6678 +▁domovi -12.6678 +ogene -12.6679 +▁Zid -12.6679 +▁teniserka -12.6679 +vljenje -12.6679 +▁Fudbalskog -12.6682 +▁Nikšića -12.6682 +▁DD -12.6682 +фе -12.6682 +▁fudbalska -12.6683 +▁neprijatelji -12.6684 +▁MEDI -12.6684 +▁užasno -12.6685 +▁filmmaker -12.6685 +▁udžbenika -12.6686 +▁zameniti -12.6686 +▁dosadno -12.6687 +▁Ranch -12.6688 +▁pametan -12.6688 +▁utopi -12.6688 +▁pobijedila -12.6689 +▁progression -12.669 +▁dupli -12.669 +child -12.669 +▁retire -12.669 +▁trgovinski -12.6691 +▁Gut -12.6691 +▁Gang -12.6693 +▁Strel -12.6693 +▁sukobe -12.6694 +Click -12.6695 +culture -12.6695 +▁1978. -12.6695 +plain -12.6695 +▁carb -12.6696 +▁diving -12.6697 +▁izvlače -12.6697 +▁naredi -12.6698 +▁Selo -12.6698 +▁tailor -12.6699 +wife -12.6699 +stice -12.67 +▁Arhiv -12.67 +aciona -12.6701 +▁flex -12.6701 +▁congregation -12.6701 +▁efikasne -12.6701 +▁glasnogovornik -12.6701 +▁klupu -12.6701 +▁koaliciju -12.6701 +▁Nećemo -12.6701 +▁Built -12.6701 +▁pavlake -12.6701 +▁podsticanje -12.6701 +▁pronalaženje -12.6701 +▁Milosavljević -12.6701 +▁Lajčak -12.6701 +▁krizom -12.6701 +▁Database -12.6701 +nav -12.6701 +▁citation -12.6702 +▁kokaina -12.6702 +▁znanstveno -12.6702 +▁stalk -12.6703 +▁realna -12.6703 +▁Cent -12.6704 +▁realise -12.6704 +▁0.3 -12.6705 +▁vaterpol -12.6705 +▁usledila -12.6705 +▁primoran -12.6705 +▁connects -12.6706 +▁Sledeće -12.6706 +▁predhodn -12.6707 +▁krenemo -12.6707 +trade -12.6707 +▁sjeda -12.6708 +▁SIPA -12.6708 +▁До -12.6708 +▁trećina -12.6709 +▁Everton -12.6709 +laciju -12.6709 +Del -12.671 +▁strongest -12.6711 +qual -12.6711 +▁okupator -12.6712 +▁zauzet -12.6712 +▁Diplomira -12.6712 +▁0,3 -12.6713 +▁sljedećeg -12.6713 +▁enorm -12.6714 +▁10-15 -12.6715 +▁polazn -12.6716 +▁zločinac -12.6716 +2|| -12.6717 +▁nagrađeni -12.6718 +▁Bros -12.6718 +▁recognise -12.6718 +▁protocols -12.6719 +▁Sazna -12.672 +connect -12.672 +▁iznenadio -12.672 +▁phases -12.6722 +▁Tajvan -12.6722 +▁plen -12.6723 +▁računajući -12.6723 +▁bled -12.6723 +▁organizirati -12.6724 +ICK -12.6724 +▁souls -12.6724 +▁Edu -12.6724 +▁coupons -12.6724 +▁Lima -12.6725 +▁pomoćnika -12.6725 +▁Vije -12.6725 +▁izazovu -12.6725 +▁NAŠ -12.6727 +▁PK -12.6727 +▁razumje -12.6727 +▁weakness -12.6728 +▁Volunteer -12.6728 +▁abundant -12.6728 +▁podvrgnut -12.6728 +▁revelation -12.6728 +▁školsku -12.6728 +▁kardinal -12.6729 +▁conceal -12.6729 +▁kineska -12.6729 +osnov -12.6729 +▁usluzi -12.6729 +▁uspešna -12.6729 +▁Poland -12.6729 +▁datoteka -12.6729 +▁Pjesm -12.6729 +condition -12.6729 +▁otpušten -12.6729 +▁optere -12.6729 +▁moţe -12.673 +▁osećam -12.673 +▁Lukavac -12.673 +▁Imperial -12.6731 +▁Ellis -12.6732 +▁topped -12.6732 +▁columns -12.6732 +▁Against -12.6735 +▁Sanders -12.6735 +▁posljedicama -12.6735 +▁pobije -12.6736 +▁Anđ -12.6737 +▁initiated -12.6737 +▁milja -12.6737 +▁očuvan -12.6738 +▁Jesu -12.6738 +corp -12.6739 +handed -12.674 +▁Fuji -12.6741 +▁optimistic -12.6741 +▁morph -12.6742 +▁igrate -12.6742 +6|| -12.6743 +▁Boss -12.6744 +▁Connection -12.6745 +▁željene -12.6745 +▁LAN -12.6746 +▁boluje -12.6746 +▁partneru -12.6746 +▁sljedećim -12.6747 +hack -12.6747 +važi -12.6748 +▁ispostavi -12.6748 +▁Wake -12.6749 +▁customs -12.6749 +▁Alternative -12.6751 +▁Duck -12.6752 +▁igračka -12.6753 +▁svojine -12.6753 +▁Rimsk -12.6754 +▁regres -12.6754 +▁branding -12.6756 +kira -12.6756 +▁prodavač -12.6756 +▁Pharma -12.6756 +▁OVDJE -12.6756 +▁konvencije -12.6756 +▁uspostave -12.6756 +ricanje -12.6756 +▁boutique -12.6756 +▁dostigne -12.6756 +▁snovi -12.6756 +▁breeze -12.6756 +▁obavezne -12.6756 +▁interesantan -12.6756 +▁zauzeli -12.6756 +▁Mišić -12.6756 +▁Instant -12.6756 +▁stožer -12.6757 +▁numera -12.6758 +▁Kik -12.6758 +▁korpusa -12.676 +▁živih -12.676 +▁customize -12.6761 +pound -12.6761 +▁usvojena -12.6761 +▁uplaši -12.6762 +▁Factory -12.6762 +▁sestri -12.6762 +▁MN -12.6763 +▁anketa -12.6763 +▁kiseli -12.6763 +▁zvezdica -12.6763 +SET -12.6764 +▁Osijeku -12.6765 +▁pšenic -12.6765 +▁Austria -12.6766 +▁Reporter -12.6767 +▁genuinely -12.6767 +strada -12.6767 +▁Huan -12.6767 +▁1974. -12.6768 +▁Rental -12.6768 +▁_____________ -12.6769 +▁podučava -12.6769 +▁kvalitetnim -12.677 +▁Savršen -12.677 +▁biljkama -12.677 +▁Areni -12.677 +▁unose -12.6771 +phor -12.6772 +▁trga -12.6772 +▁dostojn -12.6772 +cari -12.6773 +review -12.6773 +▁plina -12.6774 +▁dokazali -12.6774 +lution -12.6774 +▁zaštićeno -12.6774 +▁agencijama -12.6775 +tologija -12.6776 +▁skupe -12.6776 +▁Electrical -12.6777 +ño -12.6777 +▁discusses -12.6777 +raw -12.6779 +▁skelet -12.6779 +▁Highland -12.6781 +nkama -12.6781 +javljivan -12.6781 +ер -12.6781 +▁Puli -12.6781 +bari -12.6782 +▁Roga -12.6782 +▁preokreta -12.6782 +▁Priboj -12.6783 +▁Berkeley -12.6784 +▁sophomore -12.6784 +▁likelihood -12.6784 +▁dragocjen -12.6784 +▁nokaut -12.6784 +▁klađenje -12.6784 +▁Čestitam -12.6784 +▁opsežn -12.6784 +▁queries -12.6784 +▁vlasnike -12.6785 +▁turskih -12.6785 +▁insured -12.6785 +▁cube -12.6786 +▁Cohen -12.6786 +▁cd -12.6786 +▁zbun -12.6786 +▁Ahmad -12.6786 +▁Armin -12.6787 +▁Chester -12.6787 +▁technically -12.6788 +▁učinite -12.6788 +▁XI -12.6788 +▁ugrožene -12.6788 +half -12.6789 +▁Heather -12.6789 +▁arsenal -12.6789 +PN -12.679 +▁vampire -12.679 +▁ubrzati -12.6791 +peak -12.6791 +▁Forbes -12.6792 +▁vidjet -12.6792 +▁Posto -12.6792 +▁Godinu -12.6793 +▁razredu -12.6793 +ONG -12.6793 +▁relay -12.6794 +▁Želja -12.6794 +▁polite -12.6794 +lty -12.6794 +davi -12.6795 +▁uzoru -12.6795 +tač -12.6795 +▁pumps -12.6796 +▁USP -12.6797 +▁pokrivač -12.6797 +▁grčkog -12.6798 +▁concentrated -12.6799 +▁DON -12.68 +povest -12.68 +▁jezici -12.6801 +▁Božića -12.6802 +Prim -12.6803 +▁Sap -12.6803 +bear -12.6805 +POL -12.6806 +postavljen -12.6807 +1|| -12.6807 +▁Previous -12.6807 +▁Nagrade -12.6807 +▁Henri -12.6809 +▁retki -12.681 +▁nameri -12.681 +▁štrajka -12.6811 +jevog -12.6811 +▁Kaliforniji -12.6811 +▁Spencer -12.6811 +▁reagovala -12.6811 +▁Terez -12.6811 +▁specimen -12.6811 +▁dviju -12.6811 +▁završnog -12.6811 +▁gomilu -12.6811 +▁uspješna -12.6811 +▁Meksiko -12.6811 +▁celer -12.6812 +▁wallpaper -12.6812 +▁landlord -12.6812 +▁kontejnera -12.6812 +▁navede -12.6812 +▁hrvatsku -12.6812 +▁internship -12.6812 +▁zubima -12.6812 +▁Holmes -12.6813 +▁Ferguson -12.6813 +▁poveli -12.6813 +▁journals -12.6813 +▁ideologije -12.6813 +▁okrenu -12.6814 +▁majicu -12.6814 +▁Abe -12.6814 +Znam -12.6814 +▁Cleaning -12.6815 +mislim -12.6815 +▁Vlado -12.6815 +▁2025. -12.6816 +▁bent -12.6816 +mack -12.6819 +igh -12.6819 +bodi -12.6821 +▁planinski -12.6821 +▁doživela -12.6822 +▁momaka -12.6822 +▁izvlači -12.6822 +▁MG -12.6822 +▁dye -12.6823 +▁5.5 -12.6824 +▁Jednog -12.6824 +▁Bolonj -12.6825 +▁zraku -12.6825 +▁realne -12.6826 +▁Atini -12.6828 +▁premijere -12.6829 +▁nošenja -12.683 +▁najavama -12.6831 +▁ugodni -12.6832 +▁poklonio -12.6833 +▁planting -12.6833 +workers -12.6833 +▁analyzed -12.6834 +BN -12.6835 +▁sudionika -12.6836 +OVO -12.6836 +▁nadmeta -12.6837 +▁poduzeti -12.6838 +Drive -12.6838 +▁rivers -12.6838 +▁principi -12.6838 +▁Zvezdu -12.6839 +▁cottage -12.6839 +▁cricket -12.6839 +▁dugotrajni -12.6839 +▁impresionira -12.6839 +à -12.6839 +▁Traffic -12.6839 +▁zdravom -12.6839 +▁Pomaže -12.6839 +▁municije -12.6839 +▁Različit -12.6839 +rađivati -12.684 +▁predsjednici -12.684 +▁sjajnih -12.684 +▁Ostatak -12.684 +▁kratku -12.684 +▁kauč -12.684 +пре -12.684 +▁konsultant -12.684 +▁damaging -12.6841 +▁Vermont -12.6841 +▁masažu -12.6841 +▁snega -12.6841 +▁uverenje -12.6841 +▁iznenađujuće -12.6842 +▁Konaković -12.6842 +▁Pozva -12.6842 +▁Election -12.6843 +▁algorithms -12.6843 +▁DSS -12.6843 +▁privukla -12.6843 +▁isprave -12.6844 +▁nasledi -12.6844 +▁punjenja -12.6844 +▁forex -12.6844 +▁Brazilian -12.6845 +Fri -12.6845 +▁GL -12.6846 +▁krivim -12.6846 +▁comprised -12.6846 +▁Održavanje -12.6846 +▁curi -12.6847 +▁zaraženo -12.6847 +▁Svečano -12.6847 +▁fosil -12.6847 +graphic -12.6847 +▁liter -12.6848 +▁krivicu -12.6849 +▁forty -12.6849 +▁Wellness -12.685 +▁podsetimo -12.6851 +▁promotes -12.6851 +▁Mihailo -12.6851 +▁košarkaški -12.6852 +▁Gat -12.6853 +dub -12.6854 +▁zanos -12.6854 +▁glue -12.6855 +▁dvaput -12.6855 +▁direkcij -12.6855 +▁2-1 -12.6856 +▁zadesi -12.6856 +Nov -12.6856 +▁Pep -12.6857 +▁pozdravi -12.6857 +▁parketu -12.6857 +▁ukupnih -12.6857 +▁CDC -12.6857 +▁politi -12.6857 +▁srčanih -12.6858 +▁Reed -12.6858 +url -12.6858 +▁podsećaju -12.6859 +musliman -12.6859 +▁štetni -12.6859 +lateral -12.686 +▁ponudila -12.686 +▁personalizovan -12.6861 +▁posu -12.6862 +Pat -12.6862 +▁buffer -12.6863 +▁icons -12.6863 +▁Centro -12.6863 +▁212 -12.6864 +▁Lazović -12.6865 +lander -12.6865 +▁odgovornog -12.6865 +▁august -12.6865 +▁tipu -12.6865 +ANOVIĆ -12.6865 +▁migranti -12.6867 +▁žensko -12.6867 +rise -12.6867 +▁Gračanica -12.6867 +▁Samouslužn -12.6867 +▁doživjela -12.6867 +▁glavobolja -12.6867 +▁koaliciji -12.6867 +▁pravoslavna -12.6867 +▁trudnoću -12.6867 +▁Valjda -12.6867 +▁voucher -12.6867 +▁izašlo -12.6867 +▁Heavy -12.6867 +▁biljne -12.6867 +▁wanna -12.6867 +▁Blagojević -12.6867 +▁prosečna -12.6867 +▁odvjetnik -12.6868 +▁puppy -12.6868 +▁kanalizacije -12.6868 +▁svijeć -12.6868 +▁dobavljač -12.6868 +▁arising -12.6868 +||12 -12.6868 +▁activist -12.6868 +▁REAL -12.6869 +▁intersection -12.687 +izovane -12.6871 +▁multipli -12.6871 +▁akter -12.6872 +▁članstvu -12.6872 +▁330 -12.6872 +▁sutradan -12.6873 +▁deco -12.6873 +▁leče -12.6873 +▁odgovornih -12.6874 +then -12.6875 +▁Opatij -12.6875 +▁enthusiastic -12.6876 +▁uverenja -12.6877 +▁Vodo -12.6877 +▁Vidim -12.6877 +▁umjetnički -12.6877 +▁Razum -12.6878 +zvuč -12.6879 +natoč -12.688 +▁Crnog -12.688 +▁Bolest -12.688 +selling -12.6881 +▁plov -12.6881 +▁poteze -12.6881 +▁čitaocima -12.6881 +▁napori -12.6882 +▁ćuti -12.6883 +▁wit -12.6883 +▁MMA -12.6884 +▁ukida -12.6884 +mpton -12.6884 +▁televizijski -12.6885 +zaborav -12.6885 +▁nastalih -12.6886 +▁ubedi -12.6887 +▁potjer -12.6888 +▁lišća -12.6888 +root -12.6888 +▁2.3 -12.6888 +tičkih -12.6889 +KB -12.6889 +▁sluzi -12.689 +▁pregledu -12.6891 +▁razgleda -12.6891 +▁nemačkom -12.6891 +▁relates -12.6893 +▁zlu -12.6893 +▁Postavlja -12.6893 +▁Democrat -12.6893 +▁ostaće -12.6895 +▁Character -12.6895 +▁Edinburgh -12.6895 +▁lozinke -12.6895 +▁magistralnom -12.6895 +▁Extreme -12.6895 +▁nesporazum -12.6895 +▁izolaciji -12.6895 +taž -12.6895 +▁Užicu -12.6895 +▁splav -12.6895 +▁čineći -12.6895 +▁populaciju -12.6895 +▁Lisabon -12.6895 +▁RTRS -12.6895 +▁hayat -12.6896 +▁specify -12.6897 +▁napredovanje -12.6897 +▁Lux -12.6897 +▁trapped -12.6897 +stress -12.6898 +▁mati -12.6898 +▁Čeh -12.6899 +▁Vremensk -12.6899 +▁nominal -12.6899 +▁muslimane -12.69 +▁izbjegli -12.69 +▁raskid -12.6901 +▁parlamentarnih -12.6901 +▁Interpol -12.6901 +▁antibiotik -12.6901 +▁zvala -12.6901 +čje -12.6902 +▁protokola -12.6902 +▁Moral -12.6902 +▁Gate -12.6903 +▁shout -12.6903 +▁explored -12.6904 +▁Root -12.6904 +4,000 -12.6904 +▁assembled -12.6904 +▁krušk -12.6904 +▁Marsh -12.6904 +▁civilian -12.6904 +▁luksuzni -12.6905 +▁otpusti -12.6905 +▁Čile -12.6905 +▁Maksim -12.6906 +▁gemu -12.6906 +▁rimski -12.6906 +▁baseline -12.6907 +event -12.6907 +▁poljski -12.6907 +▁riz -12.6908 +▁efikasniji -12.6909 +▁federalni -12.6909 +▁skuva -12.6909 +layer -12.691 +▁Blend -12.691 +count -12.6911 +▁playoff -12.6911 +▁PHP -12.6911 +▁confront -12.6911 +AJU -12.6912 +▁iznenaditi -12.6912 +▁failures -12.6912 +dilo -12.6912 +evski -12.6913 +ragon -12.6913 +▁alfa -12.6913 +▁standardnih -12.6914 +▁tenure -12.6914 +ćeno -12.6915 +iziraju -12.6916 +▁crn -12.6916 +protein -12.6917 +easy -12.6917 +inf -12.6918 +▁glasine -12.6919 +▁naporno -12.6919 +▁podrazumevaju -12.692 +▁25.000 -12.692 +▁dijagnostiku -12.692 +▁affection -12.692 +nansij -12.6921 +▁undertake -12.6921 +▁Valjeva -12.6923 +▁vazduhoplov -12.6923 +▁Candidate -12.6923 +▁Uzvišeni -12.6923 +▁bosanske -12.6923 +▁Prirodno -12.6923 +▁Igora -12.6923 +▁shrink -12.6923 +▁ponešto -12.6923 +▁Sarajevsko -12.6923 +▁Jajce -12.6923 +▁psihološko -12.6923 +▁izlagača -12.6923 +▁prištinsk -12.6923 +▁mehanički -12.6923 +▁microphone -12.6924 +▁Dragičević -12.6924 +▁innovations -12.6925 +▁hoćeš -12.6925 +▁Gajić -12.6925 +▁methodology -12.6926 +прав -12.6926 +▁benzinski -12.6927 +▁nerv -12.6927 +▁DEC -12.6927 +▁fakultetima -12.6927 +▁wonders -12.6928 +▁Alternatively -12.6928 +Char -12.6929 +▁utvrđene -12.6929 +▁pismen -12.6929 +▁Siguran -12.6931 +▁razviju -12.6931 +▁Mountains -12.6931 +▁Ovogodišnji -12.6931 +drom -12.6931 +▁mapping -12.6931 +▁beats -12.6931 +▁administered -12.6932 +Best -12.6932 +vskog -12.6933 +▁direktni -12.6933 +▁informative -12.6933 +▁*|| -12.6934 +▁PRA -12.6934 +▁tamošnji -12.6935 +▁similarly -12.6937 +▁Najpre -12.6937 +▁interventions -12.6937 +godisnj -12.6937 +▁Drew -12.6938 +pjeva -12.6938 +▁preseljen -12.6938 +▁Harbor -12.6939 +▁unions -12.694 +▁poteškoćama -12.694 +▁permanently -12.6941 +▁bijela -12.6941 +ullah -12.6943 +▁Organizacije -12.6943 +______________ -12.6943 +▁irre -12.6943 +▁Olimpija -12.6944 +▁niskog -12.6944 +▁Champions -12.6945 +▁vlažnost -12.6946 +▁parish -12.6946 +▁tales -12.6946 +▁nula -12.6947 +▁gazda -12.6948 +▁namirnicama -12.6949 +▁arheolog -12.6949 +▁Earn -12.6949 +▁ubice -12.695 +gazi -12.695 +ю -12.6951 +▁Advertising -12.6951 +▁Ukrainian -12.6951 +▁dijaspori -12.6951 +▁hipertenzije -12.6951 +▁mehanizma -12.6951 +▁neobičan -12.6951 +▁scheduling -12.6951 +▁želuca -12.6951 +▁aspekata -12.6951 +▁diskusiju -12.6951 +▁uskraćen -12.6951 +▁Czech -12.6951 +▁Silicon -12.6951 +▁doručkom -12.6951 +▁orkestra -12.6951 +▁KVIZ -12.6951 +▁crvenu -12.6951 +▁bavljenje -12.6951 +vitamin -12.6951 +▁Elementary -12.6952 +▁Boeing -12.6952 +▁uticaju -12.6952 +▁voljom -12.6952 +▁misljenje -12.6953 +▁smiling -12.6953 +▁životnoj -12.6953 +▁mašini -12.6953 +▁sanaciju -12.6953 +TIC -12.6954 +roman -12.6954 +▁Rush -12.6954 +▁lekcije -12.6955 +▁dragulj -12.6958 +štajn -12.6958 +▁stove -12.6958 +▁ispunili -12.6959 +▁viših -12.6959 +▁133 -12.6959 +▁otkloni -12.6959 +player -12.6959 +▁crushing -12.696 +▁razlogom -12.696 +▁stvorena -12.696 +▁Francuzi -12.6961 +▁databases -12.6961 +llas -12.6961 +▁behave -12.6961 +išući -12.6961 +▁Sharon -12.6962 +konstant -12.6962 +▁negativna -12.6962 +▁WILL -12.6963 +▁BT -12.6963 +▁Mich -12.6963 +▁promijenilo -12.6963 +цу -12.6964 +▁recreation -12.6964 +▁badge -12.6964 +▁negativ -12.6964 +.5% -12.6965 +OLO -12.6965 +ovnog -12.6965 +▁competitions -12.6966 +▁prateće -12.6966 +▁NAD -12.6967 +▁answering -12.6967 +▁turističkim -12.6967 +ergen -12.6968 +▁laboratorije -12.6968 +morph -12.6968 +istini -12.6968 +Big -12.6969 +▁stoke -12.697 +▁slikara -12.6971 +▁otuđen -12.6971 +▁Olive -12.6972 +▁dnevnoj -12.6972 +REM -12.6973 +▁mišići -12.6973 +rand -12.6973 +▁oštećene -12.6974 +▁Walking -12.6975 +▁ponižen -12.6975 +▁namenjene -12.6975 +▁Domain -12.6975 +▁qualifications -12.6976 +▁torte -12.6976 +▁zločini -12.6976 +▁sindikati -12.6976 +▁platili -12.6977 +▁arbitr -12.6977 +▁18:00 -12.6978 +▁oblikovanje -12.6978 +▁plural -12.6978 +▁assessed -12.6979 +▁rider -12.6979 +▁Employment -12.6979 +▁Totenhem -12.6979 +▁administrativne -12.6979 +▁apparatus -12.6979 +▁fantastični -12.6979 +▁Tretman -12.6979 +▁Jugoistočn -12.6979 +▁gužva -12.6979 +▁najdublj -12.6979 +▁Omega -12.6979 +▁wheelchair -12.6979 +▁Glumac -12.6979 +▁precizan -12.698 +▁subotom -12.698 +▁učesnica -12.698 +▁eliminating -12.698 +▁Fortune -12.698 +hrab -12.698 +vidljiv -12.698 +▁Preporuka -12.698 +▁zubn -12.698 +▁Eddie -12.698 +▁јер -12.698 +▁Lub -12.6981 +▁Proba -12.6981 +▁tretiraju -12.6982 +▁stressful -12.6983 +▁predan -12.6983 +▁Pavić -12.6983 +▁Kliničkog -12.6983 +oruža -12.6984 +TAN -12.6984 +▁stretching -12.6984 +▁kriminalac -12.6985 +▁RBiH -12.6986 +▁kladi -12.6986 +▁upisati -12.6987 +▁seksu -12.6987 +▁Jana -12.6987 +tičkog -12.6988 +▁Lista -12.6988 +LK -12.6988 +▁zaustavila -12.6988 +▁navođenje -12.6988 +▁performs -12.699 +▁obroke -12.699 +▁Karleuša -12.699 +▁Builder -12.6991 +dijeljen -12.6991 +▁youngest -12.6991 +▁osvetljen -12.6991 +berger -12.6991 +▁linkova -12.6993 +▁misleći -12.6993 +Nikad -12.6993 +▁južnom -12.6994 +▁nestanak -12.6996 +glad -12.6996 +▁064 -12.6996 +▁morski -12.6996 +▁pending -12.6997 +▁Đurđević -12.6997 +▁refugees -12.6997 +Mac -12.6997 +jevic -12.6997 +▁switched -12.6997 +Stan -12.6998 +▁Eden -12.6998 +▁omekša -12.6998 +▁parenting -12.6998 +▁Avganistan -12.6999 +▁visokoj -12.6999 +▁Objavljen -12.6999 +▁voleli -12.6999 +talija -12.7 +▁kreditne -12.7 +ك -12.7 +▁Klein -12.7 +ör -12.7 +dependent -12.7001 +▁dodatnog -12.7002 +▁drugovi -12.7004 +▁свој -12.7004 +▁djelimično -12.7005 +▁Psi -12.7006 +▁jajn -12.7006 +▁Krit -12.7006 +▁političarima -12.7007 +▁ero -12.7007 +▁150.000 -12.7007 +▁Barseloni -12.7007 +▁Naročito -12.7007 +▁Slovačke -12.7007 +▁neizostavn -12.7007 +▁potražnje -12.7007 +▁rezoluciju -12.7007 +▁suspicious -12.7007 +▁Luckily -12.7007 +▁naočare -12.7007 +▁clarify -12.7007 +▁prebivalište -12.7007 +▁Psychology -12.7008 +▁autumn -12.7008 +▁vrednu -12.7008 +▁Reid -12.7008 +▁nadimak -12.7008 +▁razumevanju -12.7009 +▁prvima -12.701 +▁ranijim -12.701 +▁picnic -12.701 +▁Chain -12.701 +piše -12.701 +▁rijeku -12.7011 +▁Boo -12.7011 +▁podnošenja -12.7011 +mjerno -12.7011 +▁zimski -12.7011 +▁podneti -12.7012 +terra -12.7012 +▁tehno -12.7012 +▁klimatskim -12.7012 +▁Secure -12.7013 +▁10:30 -12.7013 +▁Champion -12.7014 +▁weaken -12.7015 +▁Pokušajte -12.7015 +▁upravnog -12.7015 +▁jednake -12.7015 +▁čitalac -12.7016 +▁budućem -12.7016 +▁Smit -12.7017 +▁polit -12.7018 +▁guardian -12.7018 +▁Vaši -12.7018 +▁ugrožavaju -12.7019 +▁diktator -12.7019 +▁prosu -12.702 +predsjedni -12.702 +▁defini -12.702 +▁pek -12.7021 +▁obaveštenje -12.7021 +▁Said -12.7021 +trag -12.7022 +▁STEM -12.7022 +jači -12.7023 +▁Dik -12.7024 +▁confess -12.7024 +nami -12.7025 +talo -12.7026 +▁rsd -12.7026 +▁Ljubiša -12.7026 +▁nestabilnost -12.7026 +▁nosim -12.7026 +enstein -12.7027 +▁Teachers -12.7028 +▁Phillips -12.7028 +▁slad -12.7029 +▁Branch -12.7029 +▁svojevrsni -12.7029 +▁buses -12.703 +▁Golub -12.703 +vljeni -12.7031 +▁FR -12.7031 +Chris -12.7031 +▁Istoka -12.7032 +▁shareholders -12.7033 +▁pragu -12.7033 +▁Kras -12.7033 +▁stavom -12.7033 +▁sync -12.7034 +▁Korisn -12.7034 +STRA -12.7034 +▁Lions -12.7035 +▁Europsko -12.7035 +ethanol -12.7036 +▁dogovoriti -12.7036 +▁Preporučen -12.7036 +▁Skupštinu -12.7036 +▁Swift -12.7036 +▁gvožđe -12.7036 +▁iskorištava -12.7036 +▁terapiji -12.7036 +▁Criminal -12.7036 +▁staklene -12.7036 +▁upamćen -12.7036 +▁Indonezij -12.7036 +▁nedjelja -12.7036 +▁bracket -12.7036 +▁Claire -12.7036 +▁Television -12.7036 +▁potraga -12.7036 +▁poslastica -12.7036 +▁autentično -12.7036 +▁pogreši -12.7036 +▁vrstom -12.7036 +▁kvote -12.7036 +▁regiju -12.7037 +mogu -12.7037 +▁Liban -12.7038 +▁legalno -12.7039 +▁ukrašava -12.7039 +▁alternativni -12.7039 +▁Balance -12.704 +▁sanacije -12.704 +NIJE -12.704 +▁takmi -12.704 +▁Bone -12.7041 +▁loze -12.7041 +▁cega -12.7041 +▁behavioral -12.7041 +▁nepotpun -12.7042 +dition -12.7043 +▁urušava -12.7043 +▁izuzetnog -12.7045 +▁upozorila -12.7045 +▁Carrie -12.7046 +▁cura -12.7046 +▁appropriately -12.7046 +▁Upravljanje -12.7046 +▁2030. -12.7046 +▁Oglas -12.7047 +▁obezbeđenja -12.7048 +▁ugostiteljski -12.7049 +▁sponsors -12.7049 +▁tužilaca -12.7049 +▁centres -12.7049 +▁košarkaške -12.7049 +▁caps -12.7049 +▁Faktor -12.705 +▁oskud -12.7051 +▁ustroj -12.7051 +▁oprati -12.7052 +▁svakodnev -12.7052 +▁đaci -12.7052 +▁Wan -12.7052 +rabi -12.7052 +▁Neophodno -12.7052 +1/2 -12.7054 +▁Irak -12.7054 +▁Gorica -12.7054 +assi -12.7055 +▁istekao -12.7055 +past -12.7056 +▁blown -12.7056 +▁1972. -12.7057 +čanima -12.7057 +▁Iste -12.7057 +▁Vec -12.7058 +▁izdata -12.7058 +▁prompted -12.7059 +▁dobijali -12.7059 +▁Janet -12.706 +▁etnički -12.706 +▁prozori -12.7061 +▁crowded -12.7061 +▁vjerni -12.7062 +▁Janko -12.7062 +tav -12.7063 +▁incentives -12.7064 +▁Ideas -12.7064 +▁curiosity -12.7064 +▁opoziciji -12.7064 +▁augment -12.7064 +▁TUZLA -12.7064 +▁slatka -12.7064 +▁živopisn -12.7064 +▁izolacija -12.7064 +▁trenutna -12.7064 +▁borov -12.7065 +▁commute -12.7065 +▁Bata -12.7065 +▁kancelariju -12.7065 +▁Samostaln -12.7066 +▁Lifestyle -12.7066 +▁rage -12.7066 +▁Aktivnosti -12.7066 +▁Jermen -12.7066 +▁Češka -12.7066 +▁Hašim -12.7066 +buy -12.7067 +▁Lyon -12.7067 +▁firing -12.7068 +▁CK -12.7068 +▁Ovakva -12.7068 +▁jeftino -12.7069 +▁diler -12.7069 +▁Zabranjeno -12.7069 +▁Herman -12.707 +▁prinudn -12.707 +onjić -12.707 +▁kraljevske -12.707 +▁Browse -12.7071 +▁uslovljen -12.7071 +pomoć -12.7072 +Bog -12.7073 +▁epsk -12.7073 +▁videlo -12.7074 +BIL -12.7074 +▁recognised -12.7075 +▁Interesantno -12.7076 +▁Bivš -12.7076 +Real -12.7077 +▁dodjeli -12.7077 +▁BIG -12.7078 +XL -12.7078 +▁predstojećim -12.7078 +▁anksioznost -12.7078 +cles -12.7079 +▁vodstvom -12.7079 +▁originalne -12.708 +▁trgovanje -12.7081 +▁Travniku -12.7081 +▁razvoda -12.7081 +▁dokazima -12.7081 +▁20:00 -12.7081 +patogen -12.7081 +▁inkluzivn -12.7081 +"| -12.7082 +▁obrazovno -12.7082 +▁Sudija -12.7082 +▁dječije -12.7082 +holders -12.7082 +powered -12.7083 +▁umetnici -12.7083 +▁pogodno -12.7083 +▁moist -12.7084 +▁dozvoljena -12.7084 +9.00 -12.7084 +tada -12.7085 +politički -12.7085 +tree -12.7085 +▁OTP -12.7086 +▁bašta -12.7086 +▁Policijsk -12.7089 +▁ekoloških -12.7089 +ističkim -12.7089 +▁strangers -12.709 +▁posjetitelji -12.709 +▁betona -12.7091 +roc -12.7092 +jednom -12.7092 +ет -12.7092 +τ -12.7093 +▁falsifikovan -12.7093 +▁razmnožava -12.7093 +▁oproštaj -12.7093 +▁simplicity -12.7093 +▁žlijezd -12.7093 +▁assuming -12.7093 +▁Hercegovačko -12.7093 +▁terminima -12.7093 +▁mapa -12.7093 +▁svijetom -12.7093 +▁okupacije -12.7093 +▁Pravni -12.7094 +▁vague -12.7094 +▁harness -12.7094 +▁emb -12.7094 +▁POR -12.7095 +▁Hap -12.7095 +lagala -12.7096 +▁polls -12.7097 +▁emocijama -12.7097 +▁strings -12.7097 +▁domovinu -12.7097 +▁organizujemo -12.7097 +▁willingness -12.7098 +▁Lori -12.7098 +▁Veterans -12.7098 +том -12.7098 +▁amortiz -12.7098 +▁sine -12.7099 +dex -12.7099 +Activ -12.7099 +▁Moses -12.71 +▁vrelo -12.7101 +▁Stalno -12.7101 +▁mapi -12.7101 +▁fašisti -12.7102 +▁komunalnog -12.7102 +||20 -12.7102 +▁ustanovljen -12.7102 +▁uvođenju -12.7102 +▁Jeb -12.7102 +▁zimskih -12.7103 +▁prestonica -12.7104 +▁Ekip -12.7105 +wor -12.7105 +▁Imamović -12.7105 +▁dolini -12.7105 +▁vojnoj -12.7105 +▁najniže -12.7106 +▁runde -12.7106 +▁mesh -12.7107 +popular -12.7108 +▁Vilijams -12.7108 +▁raspravljati -12.7109 +▁Samar -12.7109 +▁132 -12.7111 +zavi -12.7111 +▁bujn -12.7111 +бор -12.7111 +▁protestu -12.7111 +▁namere -12.7111 +▁purely -12.7111 +▁ubeđen -12.7112 +▁Nemački -12.7113 +TIM -12.7114 +▁1600 -12.7115 +pisuju -12.7115 +▁rash -12.7115 +income -12.7116 +▁mogucnosti -12.7116 +šine -12.7117 +nasi -12.7117 +▁flush -12.7119 +▁Serv -12.7119 +▁razumljivo -12.7119 +▁municipal -12.712 +† -12.7121 +▁Funeral -12.7121 +▁Glasgow -12.7121 +▁desetljeća -12.7121 +▁inferior -12.7121 +▁neovlašćen -12.7121 +▁sudjelovali -12.7121 +▁prašinu -12.7121 +▁nominated -12.7121 +▁vakuf -12.7121 +▁ljubimce -12.7121 +▁orgazam -12.7121 +▁Probably -12.7121 +▁evolving -12.7121 +▁Školsk -12.7122 +▁sporije -12.7122 +▁Bund -12.7123 +▁nestale -12.7123 +▁Jakšić -12.7123 +vodnih -12.7123 +▁uplašen -12.7123 +▁Historija -12.7123 +▁investigators -12.7124 +▁submitting -12.7125 +5.00 -12.7125 +▁čuvene -12.7126 +▁neod -12.7126 +▁bolesno -12.7128 +▁Whenever -12.7129 +▁Giants -12.7129 +▁Christine -12.713 +▁proiz -12.713 +▁discovering -12.713 +▁nanesite -12.713 +rastu -12.713 +1.2 -12.713 +▁Dominik -12.713 +▁dizajneri -12.7131 +fill -12.7131 +pustila -12.7131 +dili -12.7132 +▁acne -12.7132 +▁gamers -12.7133 +▁odlučnost -12.7133 +Win -12.7133 +▁Equi -12.7134 +pair -12.7134 +▁privatnoj -12.7134 +▁slices -12.7134 +odor -12.7135 +▁viruses -12.7135 +▁tipovi -12.7135 +▁Hina -12.7136 +ativne -12.7136 +▁kreirati -12.7137 +▁zabilježeno -12.7138 +▁Kuz -12.7138 +▁Dejton -12.7138 +▁profesionalnom -12.7138 +mund -12.7138 +▁iftar -12.7138 +▁disciples -12.7138 +▁rijetki -12.714 +▁16:00 -12.714 +▁uzmemo -12.7141 +▁Patriots -12.7142 +▁otk -12.7142 +▁potražiti -12.7142 +▁Tik -12.7143 +evih -12.7144 +▁svežeg -12.7144 +▁propisanih -12.7145 +▁širokom -12.7146 +▁samita -12.7146 +▁teenage -12.7146 +▁mushrooms -12.7146 +▁naučite -12.7146 +▁Mihajlo -12.7148 +▁Brig -12.7148 +RUS -12.7149 +▁Parlament -12.7149 +ν -12.715 +▁GODINA -12.715 +▁preostale -12.715 +▁vodoprivrede -12.715 +▁jedinjenja -12.715 +▁trenutnu -12.715 +▁Anđela -12.715 +▁veštačke -12.715 +▁arhitektonski -12.715 +▁vredne -12.7151 +bc -12.7151 +▁Typically -12.7152 +▁spite -12.7152 +▁petnaestak -12.7152 +▁reorganiz -12.7152 +▁sportsku -12.7153 +▁oduševi -12.7153 +Mag -12.7153 +▁advertise -12.7153 +tjerati -12.7154 +▁remainder -12.7154 +▁neodgovorno -12.7155 +▁muslimanske -12.7155 +▁starijeg -12.7156 +▁snabdevanje -12.7156 +▁otprem -12.7156 +▁quicker -12.7157 +▁99% -12.7157 +▁krajeve -12.7157 +▁Whole -12.7158 +▁Vili -12.7158 +▁sudskih -12.7158 +▁sveštenik -12.7158 +▁ženskoj -12.7159 +▁magnezijum -12.7159 +join -12.7159 +▁zagađenje -12.7161 +▁Amer -12.7161 +▁Kaš -12.7162 +▁podiza -12.7162 +▁brokers -12.7163 +atlantsk -12.7163 +▁klasičnog -12.7163 +▁Corner -12.7164 +▁(6) -12.7165 +▁Rail -12.7166 +▁premise -12.7167 +▁BROJ -12.7167 +klub -12.7169 +▁greben -12.7169 +▁porijeklo -12.7169 +▁viewer -12.7169 +▁Powell -12.717 +šnica -12.717 +▁Napadač -12.7171 +▁podelila -12.7172 +▁Chile -12.7172 +▁2,4 -12.7172 +▁Zaječar -12.7173 +▁osetiti -12.7173 +▁pumpi -12.7174 +▁lovu -12.7174 +▁dobrodošli -12.7174 +▁saveznici -12.7174 +rrier -12.7175 +▁beogradskih -12.7176 +▁Dubrovniku -12.7176 +▁dec -12.7176 +mig -12.7177 +▁Evil -12.7178 +▁zabranjena -12.7178 +IGN -12.7179 +▁Milwaukee -12.7179 +▁dijagnoze -12.7179 +▁elephant -12.7179 +▁strpljenja -12.7179 +▁Meridian -12.7179 +▁šetnja -12.7179 +▁kulturnu -12.7179 +▁drvene -12.7179 +▁Grujić -12.7179 +▁Filozofskog -12.7179 +▁Akademiji -12.7179 +▁disconnect -12.7179 +▁Vučević -12.718 +▁Besplatna -12.718 +▁notably -12.718 +▁alternativu -12.718 +▁školskoj -12.718 +▁Bandić -12.7181 +▁torbu -12.7181 +▁thigh -12.7181 +▁playground -12.7181 +▁Suzan -12.7181 +▁jelovnik -12.7182 +▁Lite -12.7183 +▁mercy -12.7183 +▁stupanj -12.7183 +▁Zlatiboru -12.7183 +▁Kanada -12.7183 +▁apples -12.7184 +▁regionalnim -12.7184 +▁applicant -12.7184 +▁Gren -12.7185 +▁Barr -12.7186 +▁organism -12.7186 +kvar -12.7186 +▁attributed -12.7187 +▁renewed -12.7188 +▁dobrobiti -12.7188 +▁mason -12.7188 +▁rerni -12.7189 +Shi -12.7189 +▁ludo -12.719 +▁brzim -12.719 +acijama -12.7191 +▁ranoj -12.7191 +redila -12.7192 +▁Rolan -12.7193 +▁honors -12.7193 +▁considerations -12.7193 +▁usmerena -12.7193 +▁kafi -12.7194 +▁downloading -12.7194 +▁Rico -12.7195 +▁expressing -12.7195 +pelled -12.7196 +▁Rated -12.7196 +KOL -12.7196 +▁tradicionalnog -12.7197 +family -12.72 +▁razgovarala -12.7201 +▁odreda -12.7201 +▁krediti -12.7202 +▁kost -12.7202 +▁bliskih -12.7203 +▁ugostiti -12.7204 +▁Satan -12.7204 +▁dođem -12.7204 +CoV -12.7205 +▁učinilo -12.7205 +▁sadnice -12.7207 +▁naručiti -12.7207 +9.5 -12.7207 +▁Lozinka -12.7207 +▁fountain -12.7207 +▁judicial -12.7207 +▁promašaj -12.7207 +▁provinciji -12.7207 +▁believing -12.7207 +▁Deda -12.7208 +▁yeast -12.7208 +Niko -12.7208 +▁Universe -12.7208 +▁oporezivanje -12.7208 +▁Constant -12.7208 +▁Wildlife -12.7208 +VAR -12.7208 +▁rešenjima -12.7209 +▁Ilijaš -12.7209 +▁Ekonomski -12.7209 +▁stvaralačk -12.721 +▁repro -12.721 +▁izvođači -12.721 +Allah -12.721 +▁Duran -12.7211 +▁3-5 -12.7212 +▁Chart -12.7212 +▁banja -12.7212 +▁Ка -12.7213 +▁kosovsko -12.7214 +▁Tehni -12.7214 +▁godišnjih -12.7215 +▁pamte -12.7218 +▁popuniti -12.7219 +jack -12.722 +▁angažira -12.722 +▁URA -12.722 +▁grams -12.722 +coat -12.722 +▁običnih -12.722 +▁pratilaca -12.722 +Jedi -12.7221 +phod -12.7221 +▁odgoja -12.7222 +▁Oslo -12.7222 +7|| -12.7223 +arstvo -12.7223 +▁lively -12.7223 +▁kip -12.7223 +▁poštovanju -12.7224 +▁Daleko -12.7225 +▁Motion -12.7225 +▁sweep -12.7225 +▁Bryant -12.7226 +▁Juri -12.7226 +▁opravdanje -12.7227 +▁remotely -12.7227 +VAT -12.7228 +▁Hajd -12.7228 +ističko -12.7228 +▁dobavljača -12.723 +šnice -12.723 +▁(50 -12.7231 +▁McCa -12.7231 +▁REG -12.7232 +▁administrativni -12.7232 +▁poljoprivrednog -12.7232 +▁vakcini -12.7232 +▁oseca -12.7233 +▁Opening -12.7234 +black -12.7234 +EAR -12.7234 +▁1972 -12.7235 +▁Dubrovnika -12.7236 +▁renesans -12.7236 +▁Surgery -12.7236 +▁Uređaj -12.7236 +▁najprodavanij -12.7236 +▁odbrambeni -12.7236 +▁ponajviše -12.7236 +▁prilagodljiv -12.7236 +▁severozapad -12.7236 +▁Pljevlja -12.7236 +▁povoljan -12.7236 +▁Soccer -12.7236 +▁nasleđa -12.7236 +▁cbd -12.7236 +▁Extension -12.7236 +▁Bailey -12.7237 +▁BBQ -12.7237 +▁tržn -12.7237 +▁tvrdnji -12.7237 +▁transmitted -12.7237 +▁vidljiva -12.7238 +▁licencu -12.7238 +▁Milenko -12.7238 +▁Canal -12.7238 +▁endorsement -12.7239 +▁recession -12.7239 +▁Irske -12.724 +BRI -12.724 +▁renewal -12.724 +▁foul -12.724 +▁jedinog -12.7241 +▁Medium -12.7241 +▁izrađena -12.7243 +▁legitimitet -12.7243 +▁cikl -12.7243 +▁recepta -12.7243 +2017 -12.7243 +▁nastupiće -12.7245 +▁mišić -12.7245 +▁sleeve -12.7245 +▁Nastavni -12.7246 +▁bogatom -12.7246 +▁izdavača -12.7247 +▁rizike -12.7247 +▁OUT -12.7248 +▁razumeti -12.725 +Spa -12.7251 +Bri -12.7251 +fudbalskog -12.7252 +izator -12.7253 +mela -12.7255 +pliva -12.7255 +▁izlečen -12.7255 +1.0 -12.7255 +▁guta -12.7255 +▁associations -12.7256 +▁Edwards -12.7256 +▁procena -12.7256 +zvođač -12.7257 +▁prihvatljivo -12.7259 +zivi -12.7259 +▁stranger -12.726 +▁razumljiv -12.7261 +▁inherent -12.7261 +High -12.7261 +3,000 -12.7263 +▁photographers -12.7264 +▁Gimnazije -12.7265 +▁devastating -12.7265 +▁pedestrian -12.7265 +▁uzročnik -12.7265 +▁Arnold -12.7265 +▁Vijetnam -12.7265 +▁omladinu -12.7265 +▁quantities -12.7265 +▁Olimpijakos -12.7266 +▁amazed -12.7266 +▁shook -12.7266 +▁integraciju -12.7266 +▁mortality -12.7266 +▁MOŽE -12.7266 +▁Medicinsk -12.7266 +/22 -12.7267 +▁Dejtonskog -12.7267 +▁potpore -12.7268 +▁Emina -12.7268 +cchi -12.7269 +▁nabave -12.7269 +▁pritužbe -12.7269 +▁Ljubomir -12.7269 +phil -12.727 +▁tjedana -12.7271 +▁Sandy -12.7271 +▁znanju -12.7271 +▁Tul -12.7272 +▁psu -12.7272 +▁osmog -12.7272 +cionar -12.7272 +▁obećavaju -12.7273 +▁headlines -12.7273 +▁glazbeni -12.7275 +▁Cigan -12.7275 +▁Brajan -12.7275 +▁uposlenika -12.7276 +▁dl -12.7276 +▁počeće -12.7277 +▁refined -12.7277 +5%) -12.728 +▁Rez -12.7281 +▁transcript -12.7281 +▁Label -12.7281 +rion -12.7281 +▁kompjutera -12.7281 +▁limitation -12.7281 +▁strateškog -12.7282 +▁ploči -12.7282 +▁5,000 -12.7282 +▁sadašnjeg -12.7282 +shell -12.7282 +▁oboji -12.7283 +▁ostvarite -12.7283 +Iako -12.7284 +▁Dir -12.7284 +▁toplije -12.7284 +izbor -12.7287 +▁čistom -12.7287 +know -12.7287 +▁bratu -12.7287 +because -12.7288 +▁bošnjački -12.7288 +▁testirano -12.7288 +▁zastoja -12.7288 +▁regionalnu -12.7289 +▁accountable -12.7289 +▁breeding -12.729 +▁prevented -12.729 +▁kuvanje -12.729 +2.0 -12.7291 +▁političare -12.7291 +▁platou -12.7291 +▁proizvodnih -12.7292 +▁Avion -12.7292 +▁Pojedini -12.7294 +▁abdomen -12.7294 +▁demonstranti -12.7294 +▁izdržati -12.7294 +▁kašnjenja -12.7294 +▁nonetheless -12.7294 +▁occurrence -12.7294 +▁trudnoća -12.7294 +▁Vintage -12.7294 +▁commemorat -12.7294 +▁metaboličk -12.7294 +▁zajednicom -12.7294 +▁slavlja -12.7295 +▁pobjegao -12.7295 +▁Krista -12.7295 +▁plivač -12.7295 +▁Tomašević -12.7295 +▁ujednačen -12.7295 +▁Accept -12.7295 +▁shiny -12.7295 +▁agresor -12.7295 +▁modifikacij -12.7295 +▁dodelu -12.7295 +▁prvoligaš -12.7295 +▁boračka -12.7296 +▁insulation -12.7296 +▁flourish -12.7296 +▁Posmatra -12.7297 +▁lepoti -12.7297 +▁oštre -12.7297 +▁Hughes -12.7297 +ustra -12.7298 +▁Lucky -12.7298 +▁popodnevnim -12.7298 +▁Janjić -12.7298 +▁kanali -12.7298 +▁objavljenih -12.7298 +▁motivacija -12.7299 +▁čvrste -12.7299 +ruše -12.7299 +▁medijska -12.73 +▁streamline -12.73 +ničkom -12.7301 +▁Pošaljite -12.7301 +▁važećim -12.7301 +▁clearance -12.7302 +▁Dmitrij -12.7302 +▁Georg -12.7302 +▁papire -12.7302 +▁planiranju -12.7303 +▁najduž -12.7304 +glass -12.7305 +▁remont -12.7306 +▁Cuba -12.7306 +▁izdrži -12.7307 +▁sačuvali -12.7307 +empt -12.7308 +▁Palestin -12.7308 +▁1951 -12.7308 +icki -12.7309 +▁Manage -12.731 +▁SNP -12.731 +▁wished -12.731 +▁pevača -12.731 +šnjak -12.731 +interest -12.731 +KP -12.7311 +▁fran -12.7311 +▁Х -12.7312 +▁bijeg -12.7313 +▁dealers -12.7313 +▁izdvojio -12.7313 +▁dečiji -12.7313 +/09 -12.7313 +990 -12.7314 +▁expectation -12.7315 +▁inappropriate -12.7315 +▁Skills -12.7315 +▁milioni -12.7316 +▁Earl -12.7316 +||16 -12.7316 +9|| -12.7317 +▁šutira -12.7318 +2002 -12.7318 +▁overhead -12.7319 +▁Latino -12.7319 +▁ponosi -12.7319 +▁stepping -12.7319 +▁nogom -12.7319 +▁Sloga -12.7321 +stojeći -12.7321 +▁esencij -12.7321 +▁uzgoja -12.7321 +▁Novoj -12.7322 +▁skandala -12.7322 +▁zasićen -12.7323 +▁dostavio -12.7323 +▁izložene -12.7323 +▁analizom -12.7324 +▁cinnamon -12.7324 +▁poginule -12.7324 +▁wardrobe -12.7324 +▁zakonodavstvo -12.7324 +▁Crnogorac -12.7324 +▁Navijači -12.7324 +▁Python -12.7324 +▁sausage -12.7324 +▁Blizanci -12.7324 +▁vlaknima -12.7324 +▁električna -12.7324 +▁securing -12.7324 +▁ugalj -12.7324 +▁žalbi -12.7325 +▁programiranje -12.7325 +▁univerzalni -12.7326 +▁prenela -12.7326 +▁kazati -12.7327 +value -12.7327 +▁romske -12.7328 +▁Yang -12.7329 +▁predelu -12.7329 +▁Arabije -12.7329 +▁Graničn -12.733 +▁štampač -12.733 +▁doline -12.7331 +LAC -12.7331 +▁XVI -12.7332 +xtrem -12.7332 +llus -12.7332 +određen -12.7333 +▁Stella -12.7333 +▁auditor -12.7333 +▁grind -12.7333 +▁čuvanja -12.7334 +▁Scale -12.7334 +IND -12.7336 +▁Crusher -12.7336 +▁constitution -12.7336 +2| -12.7337 +▁društvom -12.7337 +▁župnik -12.7337 +češlja -12.7337 +▁Ovoga -12.7338 +▁Nastavlja -12.7338 +▁koštaju -12.7338 +▁Palić -12.7339 +lize -12.7339 +▁anksioznosti -12.734 +▁nazove -12.734 +ство -12.734 +▁Flori -12.734 +▁Popovića -12.734 +▁lijeve -12.734 +▁referendumu -12.7341 +▁prijatni -12.7342 +▁Decor -12.7342 +▁accelerate -12.7343 +ства -12.7343 +ntno -12.7343 +▁Glenn -12.7344 +▁timber -12.7344 +cken -12.7344 +▁Vital -12.7345 +▁yu -12.7345 +▁3,000 -12.7345 +▁kindness -12.7346 +чу -12.7346 +hić -12.7347 +▁bets -12.7347 +▁Subot -12.7348 +fulness -12.7348 +▁šezdeset -12.7349 +▁thereof -12.7349 +▁jednostavni -12.7349 +уд -12.735 +▁500.000 -12.735 +▁vešta -12.7351 +▁uglj -12.7351 +▁prečnika -12.7351 +odont -12.7353 +▁Calendar -12.7353 +▁Cincinnati -12.7353 +▁Ethiopia -12.7353 +▁UŽIVO -12.7353 +▁credibility -12.7353 +▁elektrana -12.7353 +▁fertilizer -12.7353 +▁količinom -12.7353 +▁objavljivati -12.7353 +▁predrasude -12.7353 +▁prodavnicu -12.7353 +▁PROČITAJTE -12.7353 +▁widget -12.7353 +▁zasluge -12.7353 +▁prehrambenih -12.7353 +▁spoljnu -12.7353 +▁infekciju -12.7353 +▁drveće -12.7353 +▁Comfort -12.7353 +▁WHAT -12.7353 +▁Delaware -12.7353 +▁trbušn -12.7353 +▁Dollar -12.7353 +▁čulo -12.7354 +▁šljive -12.7354 +▁ideološki -12.7354 +▁klasu -12.7354 +▁Mess -12.7354 +▁NDH -12.7354 +▁lodge -12.7355 +▁gradjana -12.7355 +▁prazna -12.7356 +▁katedr -12.7356 +▁TUR -12.7356 +Date -12.7358 +▁Voz -12.7358 +laps -12.7358 +heim -12.7359 +Live -12.7359 +▁pješačk -12.7359 +RUŽ -12.736 +▁startap -12.7361 +brod -12.7361 +▁Mogl -12.7361 +▁aviokompanij -12.7362 +▁Cause -12.7362 +▁obala -12.7362 +111 -12.7362 +▁najduže -12.7363 +▁imanju -12.7363 +▁Gem -12.7363 +▁direktnim -12.7364 +▁konteksta -12.7364 +ILE -12.7366 +▁potvrdilo -12.7366 +▁extensions -12.7366 +▁Finske -12.7367 +ZOR -12.7367 +uključujući -12.7367 +▁Elvir -12.7367 +▁obezb -12.7367 +PLE -12.7367 +▁Font -12.7367 +▁primetili -12.7368 +▁Krupa -12.7369 +▁PIN -12.7369 +▁wounded -12.737 +▁17:00 -12.737 +wy -12.737 +▁upisuje -12.737 +▁Brkić -12.737 +kazivali -12.7371 +▁našlo -12.7371 +▁defines -12.7372 +▁Naslovna -12.7372 +▁Kane -12.7372 +▁masl -12.7372 +acre -12.7373 +▁worrying -12.7374 +▁Sheet -12.7375 +▁prelazima -12.7375 +▁svemiru -12.7375 +Please -12.7376 +▁službenicima -12.7377 +▁uvećava -12.7377 +▁iskazan -12.7377 +▁predlažemo -12.7377 +▁Sort -12.7377 +▁Nedić -12.7378 +▁sequel -12.7379 +▁hladnog -12.738 +▁digest -12.738 +▁RES -12.738 +ligi -12.738 +▁otkriveni -12.7382 +▁napravim -12.7382 +▁hrskav -12.7382 +kill -12.7382 +▁Henderson -12.7382 +▁akumulator -12.7382 +▁korupcija -12.7382 +▁rehabilitaciju -12.7382 +▁Sekulić -12.7382 +▁ultrazvučn -12.7382 +PF -12.7382 +▁dashboard -12.7382 +▁kašlja -12.7382 +▁platnu -12.7382 +▁cartridge -12.7382 +▁rehabilitation -12.7382 +▁microwave -12.7382 +▁Bosanac -12.7382 +▁zaslužni -12.7382 +▁Complex -12.7382 +EAN -12.7383 +▁kompozicija -12.7383 +▁plastično -12.7383 +▁Trajanje -12.7383 +▁undertaking -12.7383 +▁shoppers -12.7384 +▁stratešk -12.7384 +▁Republički -12.7384 +▁fibre -12.7384 +cilindr -12.7384 +▁birate -12.7385 +▁snalazi -12.7385 +▁molecules -12.7385 +▁uzbuđenje -12.7386 +▁pesmi -12.7386 +▁Menu -12.7386 +▁sho -12.7386 +uzeće -12.7386 +Zato -12.7386 +▁Damjanović -12.7386 +▁pribavi -12.7386 +▁svakodnevnu -12.7387 +▁CRO -12.7387 +1-2 -12.7387 +▁Tina -12.7388 +▁Jasna -12.7388 +▁Chanel -12.7389 +▁jakog -12.7389 +▁enzima -12.739 +▁chop -12.739 +▁posadi -12.7391 +▁Internetu -12.7391 +▁Karla -12.7391 +▁enrolled -12.7391 +▁nails -12.7392 +▁linijom -12.7392 +▁advisory -12.7393 +▁parcele -12.7395 +▁Slavi -12.7396 +▁Cran -12.7396 +▁vatrogasaca -12.7397 +▁bind -12.7398 +ŽIV -12.7398 +▁Lukač -12.7398 +▁citav -12.7399 +▁Komplet -12.7399 +▁godišnjica -12.7399 +▁prijetnja -12.7399 +▁dira -12.74 +vljeno -12.7401 +▁Copy -12.7401 +▁Graf -12.7401 +▁Samim -12.7401 +▁umetničkih -12.7402 +▁kineskom -12.7402 +▁ekskluzivni -12.7403 +▁Cities -12.7403 +▁Sunčev -12.7403 +▁teenager -12.7403 +▁velikana -12.7404 +▁Anđeles -12.7404 +▁Brisela -12.7404 +▁kartona -12.7405 +ür -12.7406 +▁bund -12.7407 +▁pripadnost -12.7407 +▁Vilijam -12.7408 +▁odobrio -12.7408 +▁plodnost -12.7409 +(3) -12.741 +▁Electronics -12.741 +ِي -12.741 +▁komunalni -12.7411 +▁predstojećem -12.7411 +Ê -12.7412 +▁Nicholas -12.7412 +▁optužuje -12.7412 +▁prosecution -12.7412 +▁provajder -12.7412 +▁Belgiji -12.7412 +▁apologize -12.7412 +▁dječji -12.7412 +▁izabrala -12.7412 +▁iskorišten -12.7412 +▁outreach -12.7412 +▁hashtag -12.7412 +▁neriješen -12.7412 +▁ostanemo -12.7412 +▁prodavca -12.7412 +▁konkurentnosti -12.7412 +▁shuttle -12.7412 +▁prijedlozi -12.7412 +▁Maker -12.7413 +▁14:00 -12.7413 +▁Ulaznice -12.7414 +▁delightful -12.7414 +▁šljiva -12.7414 +▁sometime -12.7415 +▁registracija -12.7415 +▁kazneno -12.7415 +▁Jeep -12.7415 +▁poduzima -12.7415 +▁dir -12.7416 +▁ker -12.7416 +▁prezimena -12.7416 +▁Talijan -12.7417 +▁usavršavanja -12.7417 +▁railway -12.7417 +▁shirts -12.7417 +▁Porodičn -12.7417 +▁Melo -12.7417 +▁fairy -12.7418 +▁Mašina -12.7419 +▁ključan -12.7419 +▁Improve -12.7419 +▁Ole -12.742 +▁Anto -12.742 +▁Patients -12.7421 +▁izuzetnu -12.7421 +▁MAJ -12.7422 +▁foil -12.7422 +▁prerade -12.7422 +▁pretpostaviti -12.7423 +▁bankrot -12.7423 +ulous -12.7423 +▁zadržan -12.7423 +▁računaju -12.7423 +▁boast -12.7424 +▁commun -12.7425 +▁trpeza -12.7425 +▁značajniji -12.7426 +▁Indijan -12.7426 +▁konačnog -12.7427 +▁preciznije -12.7428 +▁zatvorenim -12.7428 +▁Ivanov -12.7429 +▁višegodišnje -12.743 +▁spins -12.743 +▁gown -12.743 +▁obnavljanje -12.7431 +▁pravoslavni -12.7431 +▁Ministarka -12.7432 +▁uključite -12.7432 +▁simpler -12.7433 +▁nastati -12.7433 +▁malt -12.7434 +▁кад -12.7434 +▁Župan -12.7434 +Г -12.7435 +▁Maps -12.7435 +Mer -12.7436 +▁MAT -12.7436 +▁Iraka -12.7436 +cult -12.7437 +▁Manufacturer -12.7437 +▁consultants -12.7437 +▁narušava -12.7438 +▁odaje -12.7438 +▁aplik -12.7438 +▁lokala -12.7438 +▁pilota -12.7438 +Nadam -12.7439 +▁Enes -12.744 +▁šiša -12.744 +▁predugo -12.744 +ovici -12.7441 +▁Direkcije -12.7441 +▁Memphis -12.7441 +▁unutrašnju -12.7441 +▁učestvovale -12.7441 +▁distancira -12.7441 +▁pozornici -12.7441 +▁Pretraga -12.7441 +▁teoretsk -12.7441 +▁ramenima -12.7441 +▁Šangaj -12.7441 +▁uvozi -12.7442 +▁airplane -12.7442 +▁upotrebljen -12.7442 +▁pijaca -12.7443 +▁Ladies -12.7443 +▁alergen -12.7443 +▁CSS -12.7443 +▁Registra -12.7444 +▁clearing -12.7444 +▁uzdrma -12.7445 +▁tužioci -12.7445 +▁ostavke -12.7446 +LIM -12.7446 +▁Đor -12.7446 +▁Radija -12.7446 +▁Woo -12.7446 +▁recycled -12.7447 +protect -12.7448 +▁1938 -12.7448 +▁dismiss -12.7448 +▁Somboru -12.7449 +-100 -12.7449 +▁jezike -12.745 +▁RSS -12.745 +▁otvora -12.7451 +rušen -12.7452 +▁Mineral -12.7453 +vke -12.7455 +▁tvrdili -12.7455 +design -12.7455 +voy -12.7455 +▁Težina -12.7456 +▁256 -12.7456 +▁Slike -12.7456 +▁izvještaji -12.7456 +▁snimanju -12.7456 +▁contra -12.7457 +▁požaru -12.7457 +▁daljinski -12.7457 +▁Specijalni -12.7458 +ETE -12.7458 +▁Počela -12.7459 +▁logoru -12.7459 +tehn -12.746 +▁inning -12.746 +▁predviđeni -12.7461 +▁naoružanje -12.7462 +▁filmska -12.7462 +▁kvaliteti -12.7464 +inspired -12.7464 +▁podeliti -12.7464 +▁veštačko -12.7465 +▁Ustavu -12.7465 +left -12.7465 +▁petogodišnj -12.7466 +▁WIN -12.7466 +mind -12.7467 +▁vlažno -12.7467 +▁isplatiti -12.7468 +▁Clare -12.7468 +▁Milivoj -12.7468 +▁suočen -12.7469 +▁promoter -12.7469 +▁tilt -12.7469 +▁rebounds -12.747 +▁Maintenance -12.7471 +▁ZAGREB -12.7471 +▁evidenciji -12.7471 +▁neverovatan -12.7471 +▁prevashodno -12.7471 +▁financija -12.7471 +▁liberty -12.7471 +▁sočiva -12.7471 +▁Dragutin -12.7471 +▁invazije -12.7471 +▁povraćanje -12.7471 +▁Koštunic -12.7471 +▁utvrđena -12.7471 +▁namjerom -12.7471 +▁pušenja -12.7471 +▁gravity -12.7472 +▁špic -12.7472 +▁predsednic -12.7473 +▁popuni -12.7473 +▁Attend -12.7473 +▁psihologije -12.7473 +▁Legion -12.7473 +▁Brewer -12.7474 +▁Koreji -12.7474 +▁passport -12.7474 +▁dokumentarnog -12.7475 +▁Apartmani -12.7475 +▁Duž -12.7475 +▁др -12.7475 +žnih -12.7476 +▁Calif -12.7477 +lasting -12.7478 +▁Insight -12.7478 +▁$40 -12.7478 +▁sediment -12.7479 +▁nepoznate -12.7479 +▁CNC -12.748 +▁jučerašnjeg -12.748 +▁sukobima -12.7482 +▁diplomira -12.7482 +▁meteorološk -12.7483 +▁djelovanjem -12.7483 +▁prišao -12.7484 +Nor -12.7485 +▁Korak -12.7486 +▁Crvenom -12.7486 +▁primetiti -12.7487 +▁pametne -12.7487 +ieving -12.7487 +▁strucn -12.7488 +▁mogućeg -12.7488 +kazuju -12.7488 +▁suspendovan -12.7489 +▁izraziti -12.7489 +▁slojevi -12.749 +▁umereno -12.7491 +▁tamošnje -12.7491 +▁psima -12.7491 +nstalirajte -12.7491 +▁obećan -12.7492 +▁ekonomsko -12.7492 +▁odabrane -12.7493 +▁lijepi -12.7493 +▁Šah -12.7493 +▁srednjovjekov -12.7495 +▁Antun -12.7495 +▁unfortunate -12.7496 +▁wager -12.7496 +▁dečka -12.7497 +▁noble -12.7497 +▁legendi -12.7498 +▁produktivn -12.7498 +tribution -12.7498 +▁counselor -12.7499 +▁indie -12.7499 +kažite -12.7499 +▁beogradsk -12.7499 +▁donjeg -12.75 +▁registrovanih -12.75 +É -12.75 +▁Kalemegdan -12.75 +▁Metropolitan -12.75 +▁adekvatni -12.75 +▁gratitude -12.75 +▁harassment -12.75 +▁kriptovaluta -12.75 +▁shrimp -12.75 +▁compensate -12.75 +▁obilježja -12.75 +▁Testament -12.75 +▁definisati -12.75 +▁primjedbe -12.75 +▁mogućnošću -12.7501 +▁odbranio -12.7501 +▁španskog -12.7501 +rish -12.7501 +▁uticalo -12.7501 +▁Membership -12.7501 +▁mirrors -12.7502 +▁Dostupn -12.7502 +▁redovnim -12.7502 +LINE -12.7502 +▁pristalice -12.7503 +▁domaćinstvu -12.7503 +▁STAN -12.7503 +▁obrazloženju -12.7503 +▁Tourism -12.7503 +▁definicija -12.7504 +▁locks -12.7505 +▁procenta -12.7505 +▁proactive -12.7505 +▁obavljeno -12.7505 +neck -12.7505 +▁utvrde -12.7506 +▁modernom -12.7507 +▁throws -12.7507 +▁Selimović -12.7507 +▁venčanja -12.7507 +▁1933 -12.7508 +▁spinal -12.7508 +šije -12.7508 +DEN -12.7508 +▁Željez -12.7508 +ljaju -12.7509 +father -12.7509 +▁obrađuju -12.7509 +kovcu -12.751 +▁VAS -12.751 +▁rođaka -12.7511 +▁bolesnici -12.7511 +▁Vašingtona -12.7512 +structure -12.7512 +▁nameta -12.7512 +▁širenju -12.7514 +▁Cord -12.7514 +▁saopšti -12.7515 +▁zatvorenika -12.7515 +▁istražni -12.7516 +▁Butler -12.7517 +▁poznanstv -12.7517 +▁Delegacije -12.7517 +▁snimili -12.7518 +▁MLS -12.7519 +▁nuklearni -12.752 +sprat -12.752 +listed -12.752 +▁odrasla -12.752 +▁procesuira -12.752 +00) -12.7523 +▁ambijenta -12.7523 +▁Sektor -12.7524 +▁poginuli -12.7525 +▁propusta -12.7525 +▁indeksa -12.7526 +▁odvede -12.7526 +▁mint -12.7526 +▁zatočeni -12.7527 +Cola -12.7528 +▁Sik -12.7528 +▁pustio -12.7529 +▁Džaferović -12.753 +▁džihad -12.753 +▁krvarenja -12.753 +▁osposobljen -12.753 +▁prokomentarisao -12.753 +▁ljepotu -12.753 +▁atribut -12.753 +▁poslednju -12.753 +▁racist -12.753 +▁dignity -12.753 +▁kisik -12.753 +▁turneju -12.7531 +▁Important -12.7531 +▁monkey -12.7531 +▁otplate -12.7531 +▁uslijedila -12.7531 +▁fotografijom -12.7532 +▁ladder -12.7532 +▁fondovi -12.7532 +▁stablo -12.7533 +▁posuda -12.7534 +▁širu -12.7534 +▁Autobus -12.7535 +▁Duga -12.7535 +▁Vučićem -12.7536 +▁Almir -12.7536 +klanjanje -12.7536 +▁Retro -12.7537 +▁Mlada -12.7538 +▁shifts -12.7538 +▁Derek -12.7539 +▁pogledaj -12.7539 +▁najskuplj -12.754 +▁misiji -12.754 +▁Džer -12.754 +▁sounded -12.754 +▁časove -12.754 +▁triler -12.7541 +▁imagery -12.7541 +▁Grin -12.7542 +▁tretmani -12.7542 +▁RAS -12.7543 +▁demokratskog -12.7544 +▁stuffed -12.7545 +▁Serbian -12.7546 +Save -12.7546 +▁kupim -12.7546 +▁osvoje -12.7548 +▁povoljnim -12.7549 +▁nježno -12.7549 +▁modna -12.7549 +▁GMT -12.7549 +▁zaboravimo -12.755 +▁tiles -12.755 +▁životnom -12.755 +▁ćerki -12.7551 +▁rezultiralo -12.7551 +▁aktivist -12.7553 +▁donositi -12.7553 +▁udaljeni -12.7553 +redno -12.7553 +▁sećam -12.7553 +▁bitnih -12.7554 +▁kremast -12.7554 +Figure -12.7555 +Bank -12.7556 +▁četvrtu -12.7556 +▁normi -12.7556 +▁LOT -12.7556 +▁Rogers -12.7557 +говор -12.7557 +▁namenjeni -12.7557 +▁Željezničara -12.7557 +▁Specijal -12.7557 +degree -12.7558 +ATOR -12.7559 +▁očekujete -12.7559 +▁nalaza -12.7559 +lična -12.756 +▁lb -12.756 +ī -12.756 +▁celebrities -12.756 +▁civilizacijsk -12.756 +▁compartment -12.756 +▁francuska -12.756 +▁могу -12.756 +▁Najvažnije -12.756 +▁vrijedna -12.756 +▁harmony -12.756 +▁svakodnevnih -12.7561 +▁toksina -12.7561 +▁izmijeni -12.7561 +▁obložen -12.7561 +▁Čačak -12.7561 +▁rukometaši -12.7561 +▁marble -12.7561 +▁dirigent -12.7561 +▁posetili -12.7562 +boja -12.7562 +▁presudno -12.7562 +▁ugradnje -12.7563 +▁Stanišić -12.7563 +▁proclaim -12.7563 +▁podno -12.7563 +▁giveaway -12.7564 +▁Income -12.7564 +▁ukusno -12.7564 +toksi -12.7564 +miš -12.7565 +220 -12.7565 +▁queue -12.7565 +▁primeraka -12.7565 +▁napisa -12.7565 +▁mogucnost -12.7565 +▁Šarović -12.7566 +▁Shoot -12.7566 +▁zelenu -12.7566 +▁kvara -12.7567 +▁uobičajena -12.7567 +▁proizvodne -12.7567 +▁coding -12.7567 +merick -12.7567 +▁vraca -12.7569 +▁HG -12.757 +▁trakom -12.7571 +▁smash -12.7571 +▁saopćil -12.7572 +▁platformama -12.7572 +▁Gotov -12.7572 +REN -12.7572 +▁shutter -12.7573 +▁obožavatelj -12.7573 +▁čistog -12.7573 +▁1929 -12.7573 +▁priredi -12.7574 +court -12.7574 +▁telefonima -12.7575 +escent -12.7575 +▁normalnom -12.7576 +▁ugroženi -12.7576 +▁guarantees -12.7576 +MAT -12.7577 +▁reflecting -12.7577 +▁reku -12.7577 +▁vojnike -12.7578 +▁Promotion -12.7578 +▁zatekli -12.7578 +▁građen -12.7579 +▁labeled -12.758 +▁izjavili -12.7582 +▁pouzdani -12.7582 +▁autorskih -12.7583 +▁remija -12.7583 +chester -12.7583 +quit -12.7584 +▁Marx -12.7584 +▁Pitt -12.7585 +▁Flow -12.7585 +▁napuštaju -12.7585 +▁BAS -12.7585 +▁fixing -12.7587 +▁žal -12.7587 +▁awaken -12.7587 +▁>>> -12.7587 +flor -12.7587 +KL -12.7588 +ČAN -12.7588 +ijsko -12.7588 +▁Distribu -12.7589 +lazu -12.7589 +▁utočište -12.759 +▁треба -12.759 +▁Coalition -12.759 +▁Fahrudin -12.759 +▁Securities -12.759 +▁ceremoniji -12.759 +▁Kolumne -12.759 +▁Kruševac -12.759 +▁vaspitanje -12.759 +▁Nedžad -12.759 +▁regain -12.759 +▁polufinaln -12.759 +▁naredbe -12.759 +▁Birthday -12.759 +▁malware -12.759 +▁aviation -12.759 +▁podstrek -12.759 +▁+387 -12.759 +▁saglasni -12.759 +▁izveštaje -12.7591 +▁Baha -12.7592 +▁alignment -12.7592 +▁potpredsjednika -12.7592 +termin -12.7593 +▁Uzrok -12.7593 +▁overwhelmed -12.7593 +▁revealing -12.7593 +▁Prošlo -12.7593 +▁karticom -12.7594 +taknut -12.7594 +▁Žen -12.7595 +▁vune -12.7595 +▁Bavi -12.7596 +▁nervnog -12.7596 +informa -12.7596 +▁пу -12.7597 +pečen -12.7597 +▁witch -12.7597 +▁obrtni -12.7598 +▁poslanicima -12.7598 +▁plesač -12.7599 +▁pokrenulo -12.76 +vlj -12.76 +▁Visoka -12.76 +▁hadisa -12.76 +Neka -12.76 +▁fry -12.7601 +мен -12.7601 +Cena -12.7601 +▁tkan -12.7601 +▁Završen -12.7602 +▁lokaliteta -12.7603 +▁opštinu -12.7603 +ASS -12.7603 +▁rizikom -12.7604 +▁tubes -12.7604 +▁odlika -12.7605 +▁štoper -12.7606 +GOR -12.7607 +injo -12.7608 +▁svetsku -12.7608 +▁obavezuju -12.7608 +▁Semi -12.7609 +▁bikini -12.761 +dinović -12.7611 +▁bogatih -12.7611 +▁Džin -12.7611 +Edit -12.7611 +▁probao -12.7611 +▁masses -12.7612 +▁dominate -12.7613 +▁udaljava -12.7613 +▁toplu -12.7614 +aciono -12.7614 +duh -12.7614 +▁zelje -12.7614 +opter -12.7614 +▁Kava -12.7615 +180 -12.7616 +▁hemp -12.7616 +▁Hood -12.7616 +Islam -12.7618 +▁affiliated -12.7619 +GT -12.7619 +▁Reynolds -12.762 +▁administrativno -12.762 +▁humanitarnu -12.762 +▁pošaljite -12.762 +▁pravosuđu -12.762 +▁Yesterday -12.762 +▁frizura -12.762 +▁interakcije -12.762 +▁postupkom -12.762 +▁Poverenik -12.762 +▁uočljiv -12.762 +▁spicy -12.762 +▁potisnu -12.7621 +▁implementaciji -12.7621 +▁deblji -12.7621 +▁VIS -12.7624 +▁dostojanstven -12.7624 +▁primjeren -12.7625 +ložili -12.7625 +rdan -12.7625 +▁vojnicima -12.7626 +▁suditi -12.7626 +▁klasični -12.7627 +▁likovima -12.7627 +▁1936 -12.7628 +▁Vidović -12.7628 +▁komunalno -12.7628 +▁mita -12.763 +lke -12.763 +DOM -12.763 +▁Parad -12.763 +▁autu -12.7631 +▁mečevima -12.7631 +▁sastancima -12.7631 +zbu -12.7632 +▁Porter -12.7633 +▁brdu -12.7633 +▁nečeg -12.7633 +▁Brojni -12.7633 +▁Schw -12.7634 +0.5 -12.7634 +▁polished -12.7634 +temelj -12.7635 +▁cin -12.7635 +▁bolid -12.7635 +▁djelatnici -12.7635 +▁sedamdeset -12.7636 +▁manekenka -12.7637 +▁odabrani -12.7637 +▁hitova -12.7637 +▁porch -12.7637 +▁borcima -12.7637 +▁precede -12.7638 +чки -12.7639 +▁conc -12.7639 +▁ogledala -12.7639 +▁sprečilo -12.764 +▁Moji -12.764 +ćka -12.764 +▁Studij -12.7641 +bike -12.7641 +▁Principal -12.7641 +▁NEMA -12.7642 +▁historically -12.7643 +▁wires -12.7644 +▁veliča -12.7645 +kard -12.7646 +▁Tošić -12.7646 +▁mapu -12.7646 +▁Čer -12.7647 +vizija -12.7647 +▁đavol -12.7647 +▁hroni -12.7648 +lva -12.7648 +nberg -12.7648 +▁Večer -12.7649 +▁cite -12.7649 +▁smanjene -12.7649 +Every -12.7649 +▁ClickFunnels -12.765 +▁Commonwealth -12.765 +▁Orchestra -12.765 +▁Shield -12.765 +▁cautious -12.765 +▁convincing -12.765 +▁economies -12.765 +▁glucose -12.765 +▁putovanjima -12.765 +▁raširen -12.765 +▁kamerom -12.765 +▁7:00 -12.765 +▁vježbi -12.765 +▁ту -12.765 +▁tijeku -12.765 +▁provincija -12.765 +▁talijanski -12.765 +▁prijetnju -12.765 +▁rookie -12.765 +▁Nigerij -12.765 +▁kondicij -12.765 +iety -12.7651 +▁crude -12.7651 +▁sakrije -12.7651 +▁Cherry -12.7651 +▁senzora -12.7651 +▁Remote -12.7651 +▁virgin -12.7652 +▁Kazao -12.7652 +fej -12.7652 +▁odgovarajućih -12.7653 +▁funkcioneri -12.7653 +▁dnevnim -12.7653 +▁shadows -12.7653 +▁handmade -12.7653 +▁pločice -12.7654 +▁Kola -12.7654 +▁specializes -12.7654 +▁nogometni -12.7654 +▁Isaac -12.7655 +▁internacionalni -12.7655 +▁Marsa -12.7655 +▁grafit -12.7655 +▁undertaken -12.7656 +▁Items -12.7657 +▁pružimo -12.7657 +▁proseka -12.7657 +▁čelnik -12.7658 +treated -12.7658 +▁Napravljen -12.7658 +▁erekcij -12.7659 +▁domovini -12.7659 +pravu -12.7659 +pile -12.766 +▁vivid -12.766 +▁Prikaz -12.7661 +▁puka -12.7661 +▁direktnih -12.7661 +▁plitk -12.7661 +▁SZO -12.7662 +тим -12.7662 +▁Vladom -12.7663 +▁overlap -12.7663 +▁Newton -12.7664 +▁distinguished -12.7664 +▁Povećanje -12.7665 +▁osumnjičenog -12.7665 +▁Globe -12.7665 +▁Lesson -12.7666 +Crna -12.7666 +▁Noah -12.7668 +▁dobitnici -12.7669 +rekla -12.767 +▁najlepši -12.767 +▁profesionalaca -12.7671 +▁razmišljate -12.7671 +▁provocira -12.7671 +▁odete -12.7672 +▁eventualnom -12.7673 +▁holesterol -12.7673 +Photo -12.7674 +First -12.7675 +▁raskida -12.7675 +▁komadi -12.7675 +zona -12.7677 +▁posledicama -12.7678 +centar -12.7678 +▁Istok -12.7679 +▁informisani -12.7679 +▁oficira -12.7679 +lberg -12.7679 +▁obrani -12.7679 +▁administrators -12.768 +▁Biser -12.768 +▁smetnjama -12.768 +▁stupnjeva -12.768 +▁Length -12.768 +▁imovinom -12.768 +▁tisuće -12.768 +▁povijesni -12.768 +▁novosadsko -12.768 +▁procenjen -12.7681 +▁foremost -12.7681 +▁feast -12.7681 +rried -12.7682 +▁225 -12.7682 +▁Državne -12.7682 +▁frost -12.7682 +▁Convert -12.7683 +▁cirkus -12.7683 +▁diskurs -12.7683 +▁RPG -12.7683 +▁Selen -12.7683 +▁vekovima -12.7684 +stand -12.7684 +▁devedeset -12.7684 +▁ACT -12.7684 +MIR -12.7684 +▁Književn -12.7685 +čković -12.7685 +▁Dženan -12.7686 +▁džepa -12.7687 +▁groblje -12.7688 +▁vibration -12.7688 +▁vječno -12.7689 +▁Obje -12.7689 +▁lažni -12.7689 +DY -12.769 +▁SVOJ -12.7691 +▁2500 -12.7691 +breaking -12.7692 +▁Medijsk -12.7693 +▁odigrava -12.7693 +▁gramatičk -12.7693 +▁mjerenje -12.7694 +▁mrlja -12.7694 +▁učio -12.7694 +▁današnja -12.7696 +▁oduzeti -12.7697 +▁našle -12.7697 +▁ublažiti -12.7697 +▁Saints -12.7697 +▁2,3 -12.7697 +▁usnama -12.7697 +▁zaraženi -12.7697 +Svet -12.7697 +▁vlasi -12.7698 +тро -12.7698 +▁ciklusu -12.7698 +stih -12.7698 +▁Odgovori -12.7699 +vršenih -12.7699 +▁pogledala -12.7699 +chair -12.7699 +▁lasersk -12.7699 +▁odradili -12.7699 +ljku -12.7701 +▁predložiti -12.7702 +▁differentiate -12.7702 +▁Strange -12.7703 +▁Kuli -12.7704 +/2018 -12.7704 +ljice -12.7704 +▁metodu -12.7705 +changing -12.7705 +Prvi -12.7705 +▁Prakti -12.7705 +oterapija -12.7705 +▁kir -12.7706 +bacila -12.7706 +▁položili -12.7706 +▁chick -12.7707 +▁Merlin -12.7707 +Of -12.7707 +▁teškoće -12.7708 +▁Role -12.7708 +NOV -12.7708 +▁Transform -12.7708 +||11 -12.7709 +ница -12.7709 +▁median -12.7709 +▁Potreban -12.7711 +▁composite -12.7711 +▁djetinjstva -12.7711 +▁obezbijeđen -12.7711 +▁pediatric -12.7711 +▁zakonodavstva -12.7711 +▁члан -12.7711 +▁pribavlja -12.7711 +▁Iskustvo -12.7711 +▁updating -12.7711 +▁grandfather -12.7711 +▁zastraši -12.7711 +▁Hook -12.7711 +"... -12.7711 +▁mph -12.7711 +▁holistic -12.7711 +alnoj -12.7711 +▁ukazali -12.7712 +▁međusobni -12.7712 +▁Živinice -12.7712 +▁enrollment -12.7712 +▁samostalnost -12.7712 +▁krivičnim -12.7713 +fol -12.7713 +▁klaster -12.7713 +▁Rumunija -12.7713 +▁Sledeći -12.7713 +▁backdrop -12.7714 +▁#4 -12.7714 +▁radikalne -12.7714 +ĐA -12.7714 +▁Selma -12.7715 +▁uzvik -12.7715 +▁poznajemo -12.7716 +rape -12.7716 +▁ograni -12.7716 +▁Swan -12.7716 +▁pobačaj -12.7717 +▁širokog -12.7717 +▁dugove -12.7717 +▁дана -12.7717 +▁reopen -12.7717 +▁ekonomskoj -12.7718 +▁nestaju -12.7718 +▁centered -12.7719 +▁lazy -12.7719 +▁uposlen -12.772 +JTE -12.772 +▁ovlada -12.7721 +storm -12.7721 +2.2 -12.7722 +▁Enver -12.7722 +▁oštećena -12.7722 +▁certificates -12.7723 +▁crte -12.7723 +▁unaprijediti -12.7724 +▁pokrivaju -12.7724 +▁privredno -12.7724 +tizacija -12.7725 +▁Amerikanac -12.7725 +▁ponašati -12.7726 +▁svrati -12.7726 +▁optimisti -12.7726 +▁konačnih -12.7726 +lari -12.7727 +▁Rocket -12.7727 +▁etničko -12.7728 +▁crnogorskom -12.773 +▁spali -12.773 +▁zahtijevati -12.773 +▁Ambasada -12.773 +▁resursi -12.7731 +▁searched -12.7731 +pustili -12.7731 +130 -12.7732 +▁proslavila -12.7732 +▁deleted -12.7732 +▁pružamo -12.7732 +▁turbine -12.7733 +▁uncover -12.7733 +▁При -12.7733 +Box -12.7734 +▁Jev -12.7734 +▁1974 -12.7734 +▁crv -12.7734 +▁šaka -12.7735 +▁kriterijum -12.7737 +fly -12.7737 +▁pazite -12.7737 +crp -12.7737 +▁predstavljamo -12.7737 +▁Hits -12.7737 +▁dozvolite -12.7738 +▁Tags -12.7738 +▁podešava -12.7738 +▁šolji -12.7739 +▁prisutnost -12.7739 +▁enthusiasts -12.7739 +▁Srce -12.7741 +▁franšize -12.7741 +▁kuhinjom -12.7741 +▁povoljne -12.7741 +▁reputaciju -12.7741 +▁zloupotrebljava -12.7741 +▁aminokiselina -12.7741 +▁Scientist -12.7741 +▁Vakcin -12.7741 +▁Evroligi -12.7741 +▁fabričk -12.7741 +▁napomene -12.7741 +▁jezgra -12.7741 +peptid -12.7741 +▁142 -12.7741 +▁Politics -12.7741 +▁znatn -12.7742 +▁citizenship -12.7742 +▁glukoze -12.7742 +▁Denmark -12.7742 +▁Breast -12.7742 +▁ispiranje -12.7742 +▁prazne -12.7742 +▁jezgro -12.7742 +▁Azerbejdžan -12.7742 +▁Ovakvi -12.7743 +▁Kick -12.7743 +▁Antoni -12.7743 +▁boce -12.7744 +▁zavisni -12.7744 +mobile -12.7744 +▁nađete -12.7744 +▁trećim -12.7744 +TOM -12.7744 +▁posjetilaca -12.7745 +▁kabine -12.7745 +▁Kantonalno -12.7745 +▁Zorica -12.7745 +▁udobni -12.7746 +▁oduševio -12.7746 +▁Reduce -12.7747 +▁posmatrača -12.7747 +▁skorije -12.7748 +▁sponzora -12.7748 +▁partizansk -12.7748 +▁shvatite -12.7748 +▁hail -12.7748 +▁ispliva -12.7749 +▁sailing -12.7749 +kw -12.7749 +▁zagrebački -12.775 +LON -12.775 +▁menstrual -12.7753 +▁1941 -12.7753 +▁dokazuju -12.7753 +▁TEST -12.7754 +▁sauna -12.7754 +/24 -12.7754 +▁Braj -12.7754 +▁Terri -12.7755 +▁invites -12.7755 +▁Jučer -12.7755 +▁Workers -12.7755 +▁obilježavanje -12.7756 +▁prihvatate -12.7756 +/07 -12.7757 +▁disputes -12.7757 +▁vraćanja -12.7757 +▁etničke -12.7759 +▁sphere -12.7759 +▁Nutri -12.7759 +▁Bean -12.7761 +▁aneks -12.7761 +▁Prikaži -12.7762 +▁srede -12.7762 +▁questioned -12.7763 +▁stotinama -12.7763 +▁racuna -12.7764 +▁NOV -12.7764 +▁Plug -12.7766 +。 -12.7768 +▁cycles -12.7769 +▁prepušta -12.777 +Back -12.777 +▁Structure -12.7771 +▁ilustracija -12.7771 +▁opozicione -12.7771 +▁rhetoric -12.7771 +▁Mohamed -12.7771 +▁Instruction -12.7771 +▁Coupon -12.7771 +▁razmi -12.7771 +▁infektivn -12.7771 +▁Concert -12.7772 +▁nominovan -12.7772 +▁Baseball -12.7772 +▁običaja -12.7772 +▁Ralph -12.7772 +▁učestali -12.7772 +▁održe -12.7772 +–19 -12.7772 +▁priopć -12.7773 +▁ljepše -12.7773 +▁okeana -12.7773 +▁Arctic -12.7773 +▁Mogao -12.7774 +▁Sjevernoj -12.7774 +▁lakoćom -12.7775 +title -12.7775 +▁ugradnju -12.7775 +pik -12.7776 +▁Kosovske -12.7776 +▁Gaj -12.7777 +ingham -12.7777 +▁Prednost -12.7777 +▁individu -12.7778 +▁Iznos -12.7778 +▁selektivn -12.7778 +▁balzam -12.7778 +▁oprost -12.7779 +▁Olga -12.7779 +▁disappointing -12.778 +▁countryside -12.778 +▁rernu -12.778 +▁Besplatno -12.778 +▁zabio -12.7781 +▁pokreti -12.7781 +▁recalled -12.7782 +▁herein -12.7782 +▁Sacramento -12.7782 +▁5,5 -12.7784 +▁Ramazan -12.7785 +▁zabeleženo -12.7785 +▁obraćanja -12.7785 +▁kompletni -12.7786 +▁kalijum -12.7786 +▁bloggers -12.7786 +▁urednica -12.7786 +isanih -12.7787 +▁Liam -12.7787 +▁Jurić -12.7787 +▁cimet -12.7788 +▁književnika -12.7788 +▁višegodišnji -12.7788 +▁uskladi -12.7789 +▁Elder -12.7789 +▁stvarnim -12.7789 +▁sitnih -12.7789 +evic -12.779 +▁bogatiji -12.779 +▁resin -12.779 +▁Uloga -12.779 +▁svjež -12.7791 +▁pokretanju -12.7791 +▁violate -12.7792 +▁Layer -12.7792 +▁neglect -12.7792 +▁iznena -12.7792 +▁origins -12.7793 +▁kineskih -12.7793 +Mogu -12.7795 +▁dezen -12.7795 +▁navodni -12.7801 +▁saveti -12.7801 +▁preserved -12.7801 +▁Triple -12.7801 +▁Grow -12.7802 +▁volontira -12.7802 +▁memorandum -12.7802 +▁supstanca -12.7802 +▁Attack -12.7802 +▁obezbjedi -12.7802 +▁Melissa -12.7802 +▁popuste -12.7802 +▁poglavar -12.7802 +▁Premda -12.7802 +▁Valjevu -12.7802 +▁dubinu -12.7802 +▁kandidaturu -12.7803 +▁Cijene -12.7803 +▁distill -12.7803 +▁Strategije -12.7803 +▁Oakland -12.7804 +▁Sultan -12.7804 +▁tide -12.7804 +▁READ -12.7804 +lski -12.7805 +▁Jamaica -12.7805 +▁strat -12.7805 +▁plasirali -12.7806 +▁širina -12.7806 +▁Pojedin -12.7806 +▁losion -12.7807 +▁Igman -12.7808 +▁klinici -12.7808 +▁EXP -12.7808 +TURE -12.7808 +▁fro -12.7809 +▁podelio -12.7809 +▁paljenje -12.7811 +▁blades -12.7811 +▁trodnevn -12.7812 +▁avaz -12.7812 +▁mešanje -12.7813 +▁Ghana -12.7814 +▁središnje -12.7815 +aceae -12.7815 +▁odličnih -12.7816 +▁Admin -12.7816 +▁pominju -12.7817 +rip -12.7819 +Radio -12.7819 +▁Upit -12.7819 +▁ljubazno -12.782 +▁Mišel -12.782 +▁DEL -12.7821 +▁tretirati -12.7823 +▁$200 -12.7823 +▁Američko -12.7823 +▁blonde -12.7824 +Uz -12.7825 +▁Dodal -12.7826 +▁adut -12.7826 +▁identifi -12.7826 +▁Porn -12.7827 +▁odrađen -12.7828 +▁prstom -12.7829 +▁Gross -12.783 +▁GHz -12.7831 +▁okupiran -12.7831 +▁hose -12.7831 +raciju -12.7832 +▁Lily -12.7833 +▁explosive -12.7833 +▁galleries -12.7833 +▁pretpostavka -12.7833 +▁krvotok -12.7833 +▁Nedelja -12.7833 +▁poplavljen -12.7833 +▁freelance -12.7834 +▁Pašić -12.7834 +▁Spajić -12.7834 +▁glagol -12.7834 +▁performers -12.7835 +ACIJE -12.7835 +▁objasnili -12.7835 +▁PART -12.7835 +▁Sremska -12.7836 +▁prigradsk -12.7836 +▁dožive -12.7837 +cijskog -12.7837 +▁nabraja -12.7839 +▁sampling -12.7839 +▁Fet -12.7839 +▁sipajte -12.784 +▁korporacija -12.7841 +▁odvojene -12.7842 +▁najljepših -12.7842 +▁opustite -12.7842 +▁sirovine -12.7842 +▁dvojn -12.7843 +▁stalnog -12.7843 +▁kontinentaln -12.7844 +IMO -12.7845 +▁Regul -12.7846 +račkih -12.7846 +-31 -12.7847 +icide -12.7847 +rijski -12.7847 +▁preparati -12.7847 +▁Lava -12.7848 +▁pozitivnom -12.7849 +ISTA -12.7849 +▁recreational -12.785 +▁Flip -12.785 +▁Ske -12.785 +/06 -12.785 +▁istorijskog -12.7851 +▁Sten -12.7852 +▁odbijanje -12.7853 +▁workouts -12.7854 +▁aparati -12.7854 +biotic -12.7854 +▁zaposlenici -12.7854 +▁nastupom -12.7855 +▁Foča -12.7856 +▁Gugl -12.7856 +SER -12.7856 +▁Saudijske -12.7856 +UDI -12.7857 +▁Kand -12.7857 +▁takozvano -12.7857 +▁drilling -12.7857 +▁fenomena -12.7857 +▁SUD -12.7858 +▁Cry -12.7859 +RING -12.7859 +▁kardio -12.7859 +тор -12.786 +▁izvukao -12.786 +▁Supplement -12.7863 +▁850 -12.7863 +▁4:0 -12.7863 +▁Battery -12.7863 +▁Zahtjev -12.7863 +▁dermatitis -12.7863 +▁natjecanje -12.7863 +▁prevazilazi -12.7863 +▁storytelling -12.7863 +▁Obrenović -12.7863 +▁Zatvori -12.7863 +▁crunch -12.7863 +▁lottery -12.7864 +▁slavnog -12.7864 +▁naredbi -12.7864 +▁fiksira -12.7864 +▁dodjeljuje -12.7864 +▁Logan -12.7864 +▁invented -12.7864 +▁akreditovan -12.7864 +▁investicijsk -12.7864 +▁kanalizacija -12.7864 +▁oboren -12.7865 +▁Basically -12.7865 +▁Turizam -12.7865 +▁KRA -12.7866 +▁advent -12.7866 +▁uložili -12.7866 +▁Zgrada -12.7866 +pošto -12.7867 +sele -12.7867 +▁dezinfekciju -12.7867 +▁SOS -12.7867 +▁Marijan -12.7869 +▁ubijaju -12.787 +▁životinjsk -12.787 +▁Gaz -12.787 +▁extraction -12.7871 +wp -12.7872 +▁Into -12.7872 +▁cache -12.7873 +▁trećinu -12.7874 +▁bojler -12.7874 +▁Muhammeda -12.7874 +▁SRBIJA -12.7874 +BY -12.7874 +▁defining -12.7875 +▁poštovanjem -12.7875 +▁shooter -12.7875 +bler -12.7876 +▁SER -12.7878 +▁hemijskih -12.7878 +▁ком -12.7878 +▁osetljivost -12.7878 +▁Čuven -12.7878 +▁Listing -12.7878 +▁svojstava -12.7878 +▁vagon -12.7878 +▁opasnih -12.7879 +▁Žit -12.788 +▁Reality -12.788 +▁gradjani -12.788 +▁CMS -12.788 +▁špijun -12.7881 +njić -12.7881 +write -12.7881 +▁korita -12.7881 +narodni -12.7882 +▁Mob -12.7882 +▁digitalnom -12.7882 +2,5 -12.7883 +▁uspešnog -12.7883 +▁insisted -12.7883 +▁Roh -12.7884 +▁odabere -12.7884 +▁Educational -12.7884 +▁odvojiti -12.7886 +▁rezan -12.7886 +▁raketn -12.7887 +vuci -12.7887 +▁Poor -12.7888 +0%) -12.7888 +grand -12.7889 +▁techno -12.7889 +tuk -12.7889 +▁KOD -12.7889 +length -12.7889 +▁4:3 -12.7889 +projekt -12.789 +▁razmeni -12.789 +▁oksid -12.789 +▁pleten -12.7891 +▁njemačkom -12.7891 +TEL -12.7893 +▁sculpt -12.7893 +Power -12.7893 +depresiv -12.7893 +▁planner -12.7894 +▁Psycho -12.7894 +▁Afghan -12.7894 +▁Montgomery -12.7894 +▁europske -12.7894 +▁glazbu -12.7894 +▁razdvoji -12.7894 +▁simpatizer -12.7894 +▁Medicaid -12.7894 +▁poklopac -12.7894 +▁enlighten -12.7894 +hercegovačke -12.7894 +▁Properties -12.7894 +▁comprising -12.7894 +▁valuation -12.7894 +▁procjeni -12.7895 +▁redeem -12.7895 +▁zamenika -12.7895 +ničkim -12.7895 +240 -12.7895 +šča -12.7895 +▁smjernice -12.7896 +▁uticala -12.7896 +▁scoop -12.7897 +▁Roland -12.7897 +▁pesnic -12.7897 +▁voljela -12.7897 +▁Darwin -12.7897 +▁upornost -12.7899 +▁Automatic -12.79 +▁razlozima -12.79 +▁ample -12.79 +▁nijedno -12.79 +▁Brent -12.7901 +▁posjetite -12.7901 +Broj -12.7901 +▁večere -12.7901 +▁pružen -12.7902 +liter -12.7902 +▁ispunila -12.7903 +▁nedvosmisleno -12.7903 +▁učinimo -12.7903 +grass -12.7906 +▁disclosed -12.7906 +▁sugesti -12.7906 +▁mape -12.7906 +▁toplim -12.7907 +▁sklonost -12.7908 +▁isključeni -12.791 +▁stanovni -12.791 +▁illustration -12.7911 +▁linking -12.7912 +lined -12.7912 +▁Otto -12.7912 +▁apoteka -12.7913 +▁Imajte -12.7913 +▁sljedećem -12.7914 +▁pathway -12.7914 +▁zadaci -12.7914 +▁splash -12.7915 +▁prijavilo -12.7915 +▁Progress -12.7916 +▁Šteta -12.7916 +▁oživljava -12.7917 +▁energetskih -12.7919 +▁popularnih -12.792 +▁Oružani -12.7921 +▁uvođenjem -12.7921 +▁Muh -12.7921 +▁donelo -12.7922 +▁primjeraka -12.7923 +▁ODGOVOR -12.7925 +▁izlazu -12.7925 +▁Ambassador -12.7925 +▁Lebanon -12.7925 +▁rezolucija -12.7925 +▁rješenjima -12.7925 +▁poštivanje -12.7925 +▁kaznom -12.7925 +▁Marathon -12.7925 +▁rezervaciju -12.7925 +▁kompozicije -12.7926 +▁dilema -12.7926 +▁utvrđivanju -12.7926 +▁Abdulah -12.7926 +▁denial -12.7926 +▁fondacija -12.7926 +▁triggered -12.7927 +▁spider -12.7927 +▁Šapcu -12.7927 +▁bathrooms -12.7927 +▁Jugo -12.7927 +▁ljubavne -12.7927 +▁Travis -12.7928 +▁najvišeg -12.7929 +Hey -12.7929 +▁poverljiv -12.7929 +▁Agrokor -12.793 +▁stalna -12.793 +▁puške -12.793 +▁Majstor -12.793 +▁Investor -12.793 +cola -12.7931 +▁eri -12.7931 +▁Privredno -12.7932 +▁sliding -12.7933 +▁simptom -12.7933 +▁Poboljša -12.7933 +▁ebook -12.7934 +gradili -12.7934 +▁žalosti -12.7934 +▁Devi -12.7934 +▁vakcinisani -12.7934 +▁patches -12.7934 +▁jokes -12.7935 +▁priložen -12.7935 +▁prilagođavanja -12.7935 +▁curb -12.7938 +▁tract -12.7938 +▁definiran -12.7939 +▁drying -12.7939 +▁partijski -12.7939 +▁hats -12.7939 +▁720 -12.7939 +▁Ivanovića -12.794 +▁otr -12.794 +▁Izložb -12.794 +▁sprovedena -12.794 +▁detaljni -12.7941 +▁zimskim -12.7941 +ISE -12.7942 +ndez -12.7942 +▁polaganja -12.7942 +▁strpljivo -12.7942 +▁await -12.7943 +▁learners -12.7944 +▁prikazane -12.7944 +▁kosta -12.7945 +▁Troy -12.7945 +▁PAN -12.7947 +▁Malog -12.7948 +!!!!!! -12.7948 +medical -12.7949 +▁stance -12.7949 +▁sequences -12.795 +▁sećanje -12.795 +▁Osnovnog -12.795 +ocyte -12.795 +▁ukinuti -12.7951 +cultural -12.7951 +▁obrta -12.7951 +▁playoffs -12.7951 +riš -12.7951 +▁Leonardo -12.7951 +Možda -12.7952 +ložite -12.7952 +▁promijenila -12.7953 +kazujući -12.7953 +▁defects -12.7953 +▁laboratoriji -12.7953 +▁predstavljalo -12.7954 +Love -12.7954 +▁Sabi -12.7955 +▁obicno -12.7955 +▁Dodatni -12.7955 +▁turskom -12.7956 +▁originalno -12.7956 +▁upgraded -12.7956 +▁Odaberite -12.7956 +▁Treasury -12.7956 +▁ZBOG -12.7956 +▁hemikalija -12.7956 +▁poskupljenja -12.7956 +▁privatizaciju -12.7956 +▁proximity -12.7956 +▁elevation -12.7956 +▁substrate -12.7956 +▁stajling -12.7956 +▁šablon -12.7956 +▁potaknuti -12.7956 +▁nedjeljn -12.7956 +▁Šampion -12.7956 +▁DODIK -12.7957 +▁Češkoj -12.7957 +▁freight -12.7957 +▁Downtown -12.7957 +▁rumors -12.7957 +▁scanning -12.7957 +▁bežični -12.7957 +▁Canyon -12.7957 +▁oslobodio -12.7957 +Prema -12.7958 +Page -12.7958 +▁utrci -12.7958 +▁strateško -12.7958 +▁neodređeno -12.7958 +▁shark -12.7958 +▁motivate -12.7958 +▁Predsjednica -12.7959 +▁Forces -12.7959 +▁krvlju -12.796 +▁proves -12.7961 +▁pretnji -12.7961 +▁napreduju -12.7962 +ги -12.7963 +▁Brother -12.7963 +▁snabdevanja -12.7963 +▁zastupljenost -12.7964 +▁pozitivnog -12.7964 +▁ponoć -12.7965 +▁Edina -12.7965 +baz -12.7966 +lope -12.7967 +▁Krug -12.7967 +▁predstojeći -12.7968 +▁lectures -12.7969 +▁kamenja -12.797 +▁Slab -12.797 +▁Maur -12.797 +▁koj -12.7971 +▁dostigla -12.7971 +▁scout -12.7971 +Jun -12.7972 +blast -12.7973 +▁Severna -12.7973 +▁bliskoj -12.7973 +▁8.000 -12.7974 +▁concentrations -12.7975 +▁zeničk -12.7975 +▁dima -12.7976 +▁pretpostavi -12.7976 +70.000 -12.7977 +▁administer -12.7977 +▁Riba -12.7978 +▁pojedin -12.7979 +▁produžiti -12.798 +▁statistic -12.7981 +▁Znao -12.7981 +▁jaz -12.7981 +▁Vote -12.7982 +В -12.7983 +▁nezaposlenost -12.7983 +Blue -12.7983 +▁odbornik -12.7984 +magazin -12.7984 +tresao -12.7984 +LB -12.7985 +vodni -12.7985 +▁bezbjedn -12.7985 +▁Libya -12.7986 +ĉk -12.7986 +▁punjen -12.7987 +▁dulji -12.7987 +▁oslobodila -12.7987 +ngling -12.7987 +▁Barcelone -12.7987 +▁Furniture -12.7987 +▁Literatura -12.7987 +▁ambassador -12.7987 +▁intriguing -12.7987 +▁montažu -12.7987 +▁piramide -12.7987 +▁instalaciju -12.7987 +▁rigorous -12.7987 +▁provincije -12.7988 +▁praktična -12.7988 +▁ruševina -12.7988 +▁Vučković -12.7988 +▁metaphor -12.7988 +▁Legendarni -12.7988 +▁udruženjima -12.7988 +▁eliminiše -12.7988 +▁Assistance -12.7988 +▁Spahić -12.7988 +▁rukovanje -12.7988 +▁cooperative -12.7989 +▁Ohrid -12.7989 +▁predizborno -12.7989 +▁glupa -12.7989 +▁whale -12.7989 +▁Zhang -12.7989 +▁najavu -12.7989 +▁laughter -12.799 +▁Prevod -12.799 +▁cheapest -12.7991 +▁razvijena -12.7992 +/2014 -12.7993 +▁Šmit -12.7993 +▁nepraviln -12.7993 +4.5 -12.7994 +▁Diane -12.7994 +▁allowance -12.7994 +▁složiti -12.7994 +▁utjec -12.7995 +▁čaši -12.7995 +▁Seal -12.7996 +▁MIN -12.7996 +▁ocenjen -12.7996 +врш -12.7996 +daš -12.7996 +▁korijena -12.7997 +▁payday -12.7997 +▁solved -12.7998 +▁upozorili -12.7998 +▁popiti -12.7998 +▁shifted -12.7998 +▁lošu -12.7999 +▁ugroženim -12.7999 +rden -12.7999 +▁koalicioni -12.7999 +▁cev -12.8 +▁Cad -12.8001 +▁Lionel -12.8001 +▁milje -12.8001 +klin -12.8001 +noć -12.8002 +▁posture -12.8004 +▁Quad -12.8004 +▁plivanje -12.8005 +▁Representative -12.8005 +▁colleague -12.8005 +▁sportskoj -12.8007 +▁Treat -12.8007 +▁impress -12.8007 +▁whip -12.8007 +▁Sox -12.8008 +▁Alexandr -12.8008 +Note -12.8008 +▁indulge -12.801 +▁litra -12.8012 +/2011 -12.8012 +▁spasila -12.8013 +▁Monitoring -12.8014 +▁ravan -12.8015 +ној -12.8015 +▁odabranih -12.8015 +▁važeći -12.8015 +gnuo -12.8016 +▁splet -12.8016 +▁unutarnje -12.8017 +▁pomognem -12.8017 +▁Gle -12.8018 +otvoren -12.8018 +▁daljnji -12.8018 +▁Championships -12.8019 +▁poslodavce -12.8019 +¬ -12.8019 +▁DRUŠTVO -12.8019 +▁Potrebni -12.8019 +▁frizure -12.8019 +▁nepovoljni -12.8019 +▁poluvrijeme -12.8019 +▁vjerodostojn -12.8019 +▁elevator -12.8019 +▁Austrijsk -12.8019 +▁Kusturic -12.8019 +▁Minimum -12.8019 +▁inflacija -12.8019 +▁Error -12.8019 +▁pasivno -12.8019 +▁Tihomir -12.8019 +▁konk -12.8019 +▁hooked -12.8019 +▁unutrašnja -12.8019 +▁voditelja -12.8019 +▁unuk -12.8019 +▁Pek -12.8019 +▁Florence -12.8019 +▁demokrata -12.8019 +▁terorističke -12.802 +▁Dritan -12.802 +▁podnela -12.802 +▁smanjite -12.8021 +▁brazilsk -12.8021 +▁Flag -12.8021 +▁skijašk -12.8022 +▁snažnim -12.8022 +▁rezervacija -12.8022 +▁nametnut -12.8023 +▁Emira -12.8023 +kcionog -12.8023 +Gen -12.8023 +▁stuba -12.8023 +▁folije -12.8024 +▁postupno -12.8024 +▁openly -12.8024 +▁poštu -12.8024 +▁Nobody -12.8024 +▁zaključno -12.8025 +0-0 -12.8025 +▁Mufti -12.8025 +▁concerts -12.8025 +▁zagrijava -12.8026 +station -12.8027 +marin -12.8027 +▁129 -12.8028 +lette -12.8029 +▁sufinansiranje -12.8029 +▁Mentor -12.803 +▁vidjelo -12.803 +▁typ -12.8031 +▁naknadn -12.8031 +beograd -12.8031 +▁markers -12.8031 +▁usmeno -12.8031 +▁unesite -12.8032 +▁glasalo -12.8033 +▁inženjering -12.8034 +▁zive -12.8034 +▁rabbit -12.8034 +▁mitropolit -12.8035 +▁nazvana -12.8037 +▁pili -12.8037 +večer -12.8038 +defined -12.8038 +▁ture -12.8039 +▁spiralna -12.8039 +▁tužio -12.804 +▁ugostiteljskih -12.8041 +▁teenagers -12.8041 +▁konzumiraju -12.8041 +▁hala -12.8041 +▁usvojiti -12.8041 +▁Cake -12.8041 +▁poznanik -12.8044 +ološkom -12.8045 +▁bakra -12.8045 +▁pođe -12.8046 +▁izvornom -12.8047 +ац -12.8047 +▁podnijela -12.8047 +▁subjektima -12.8048 +cool -12.8048 +▁Letonij -12.8048 +▁uplatiti -12.8048 +▁demi -12.8048 +▁исп -12.8048 +▁Von -12.8049 +fine -12.805 +▁accredited -12.805 +▁evaluating -12.805 +▁gledišta -12.805 +▁huligan -12.805 +▁tranzicije -12.805 +▁abortus -12.805 +▁najjednostavnij -12.805 +▁čvršć -12.805 +▁Cedevit -12.805 +▁Platinum -12.805 +▁paradoks -12.805 +▁Banjalučan -12.805 +▁generaciji -12.805 +▁glorious -12.805 +▁zavičaj -12.805 +▁sjutra -12.805 +▁interference -12.805 +▁Framework -12.805 +▁Guidelines -12.805 +▁pasiv -12.8051 +berries -12.8051 +▁dostigl -12.8051 +factor -12.8051 +▁Tomislava -12.8051 +▁onemogućen -12.8051 +▁смо -12.8052 +▁stric -12.8052 +ogodišnjeg -12.8052 +▁bum -12.8053 +▁978- -12.8054 +▁Valentina -12.8054 +▁Grass -12.8055 +▁fatty -12.8055 +igen -12.8056 +▁RAK -12.8056 +▁predaka -12.8057 +▁Shvati -12.8057 +djelom -12.8057 +▁sulfat -12.8057 +▁град -12.8058 +▁Kolin -12.8058 +▁Ð -12.8058 +▁raspoloženi -12.8058 +▁stazama -12.8058 +▁korpi -12.8058 +▁utjecajem -12.8058 +▁logičk -12.8058 +▁deceniji -12.806 +▁hladan -12.806 +▁1943. -12.806 +▁pokušavamo -12.8061 +▁prosjek -12.8061 +▁sezonski -12.8062 +▁Berry -12.8062 +▁Pig -12.8062 +▁Jag -12.8064 +лик -12.8064 +▁lump -12.8064 +▁Subotić -12.8065 +▁anime -12.8065 +▁vežbanja -12.8066 +▁Gamb -12.8066 +▁ruskoj -12.8066 +▁comics -12.8067 +▁distrikt -12.8067 +▁sights -12.8067 +zori -12.8067 +▁Istočne -12.8067 +▁korporacije -12.8067 +▁laps -12.8067 +TUR -12.8068 +▁slides -12.807 +из -12.8071 +rf -12.8071 +encije -12.8071 +▁Provider -12.8071 +▁plastični -12.8071 +▁Mika -12.8072 +▁filmskom -12.8072 +▁prošlogodišnje -12.8072 +▁umjereno -12.8073 +▁tuge -12.8073 +▁Podsjeti -12.8073 +▁nogometa -12.8074 +▁TP -12.8074 +▁podignu -12.8074 +▁Tigers -12.8076 +▁yields -12.8076 +worthy -12.8077 +Vodovod -12.8077 +technology -12.8077 +▁attacking -12.8077 +▁odrzava -12.8078 +▁odseli -12.8078 +ČKO -12.8078 +▁WB -12.8079 +▁lociran -12.8079 +(1 -12.8079 +▁muzičkom -12.8079 +ologijom -12.808 +▁prozi -12.808 +▁Prix -12.808 +▁kontaktirate -12.8081 +▁ponder -12.8081 +▁Beograđani -12.8082 +▁Lloyd -12.8082 +▁eligibility -12.8082 +▁molitvu -12.8082 +▁sturdy -12.8082 +▁stvaralaštvo -12.8082 +▁Venecuel -12.8082 +▁barijere -12.8082 +▁varijantu -12.8082 +▁čarape -12.8082 +▁circular -12.8082 +▁infringe -12.8082 +▁Užica -12.8082 +▁Vrnjačk -12.8082 +▁Unija -12.8082 +▁zvaničnu -12.8082 +▁raširi -12.8082 +▁Grammy -12.8082 +▁humidity -12.8082 +▁pokrajini -12.8082 +▁trenerom -12.8082 +▁bolestan -12.8082 +▁SSL -12.8083 +▁hardcore -12.8084 +▁Višković -12.8084 +-70 -12.8085 +▁museums -12.8085 +▁drage -12.8085 +▁Računa -12.8086 +▁Imaš -12.8086 +▁rupu -12.8086 +▁protekloj -12.8087 +▁lion -12.8087 +▁kabinet -12.8087 +▁predictions -12.8088 +▁šezdesetih -12.8089 +▁metabolizma -12.8089 +▁filozofija -12.8089 +▁Gard -12.8089 +▁jealous -12.809 +estimate -12.809 +▁distribucije -12.809 +▁TRANS -12.809 +Share -12.8091 +jivanja -12.8091 +▁PV -12.8091 +▁Ticket -12.8091 +▁wasted -12.8091 +▁rodio -12.8092 +access -12.8092 +▁Mladića -12.8092 +▁critically -12.8092 +▁LC -12.8092 +▁Axel -12.8092 +сна -12.8092 +▁ponovn -12.8092 +▁predviđaju -12.8093 +▁Isle -12.8093 +▁Pretpostavlja -12.8093 +▁тр -12.8094 +▁respiratory -12.8095 +▁normalni -12.8096 +▁muslimanski -12.8096 +▁programski -12.8097 +vast -12.8099 +pub -12.8099 +▁enjoyment -12.8099 +▁blato -12.8099 +▁cried -12.81 +▁Ox -12.81 +korisni -12.8101 +▁daljnjeg -12.8101 +▁obučava -12.8102 +▁korisničkog -12.8102 +▁pridružili -12.8102 +▁Nenada -12.8103 +▁juni -12.8103 +▁Ride -12.8103 +xxx -12.8103 +▁Oskar -12.8104 +▁melted -12.8104 +▁grom -12.8104 +▁Pik -12.8105 +▁mlin -12.8107 +▁računala -12.8107 +pregn -12.8108 +▁Danskoj -12.8109 +▁obavljena -12.8109 +2.000 -12.8109 +▁azot -12.8109 +▁retained -12.811 +▁ISIS -12.811 +ут -12.811 +▁Ulje -12.811 +▁boca -12.8111 +▁četrnaest -12.8112 +▁Dijana -12.8112 +▁Delegacija -12.8112 +▁synth -12.8113 +▁corridor -12.8113 +▁srećna -12.8113 +▁comparative -12.8113 +▁persuade -12.8113 +▁cryptocurrency -12.8113 +▁sudbini -12.8113 +▁Očekivan -12.8113 +▁konačna -12.8113 +▁silovanja -12.8113 +▁Protokol -12.8113 +▁Engleski -12.8113 +▁Prirodni -12.8113 +▁Proverite -12.8113 +▁Participants -12.8113 +▁specifična -12.8113 +▁proizvesti -12.8113 +▁Journey -12.8113 +▁Teksas -12.8113 +▁moskovsk -12.8113 +▁ušteda -12.8114 +▁compression -12.8114 +▁Faj -12.8114 +▁prijavljuju -12.8114 +▁tabu -12.8114 +▁klasičan -12.8115 +▁Incident -12.8115 +▁odnosom -12.8115 +▁Podcast -12.8115 +▁trafficking -12.8115 +▁Consultant -12.8116 +▁hoc -12.8116 +▁Amp -12.8117 +,000,000 -12.8117 +▁upside -12.8117 +▁provođenja -12.8117 +▁tvrdnju -12.8117 +▁razvijenim -12.8118 +▁usmjerena -12.8118 +▁redakcija -12.8119 +▁predstavljene -12.8119 +▁mrlje -12.812 +▁hopeful -12.8121 +▁Roof -12.8121 +▁umiri -12.8121 +▁handsome -12.8121 +▁Ear -12.8122 +stajalo -12.8122 +▁manjoj -12.8122 +▁maslina -12.8122 +▁placebo -12.8123 +▁EDT -12.8123 +▁namjeri -12.8123 +▁gates -12.8123 +▁Putinov -12.8124 +▁scenery -12.8125 +▁konceptu -12.8125 +▁coated -12.8126 +▁Bečić -12.8127 +▁htje -12.8127 +▁zahvaliti -12.8128 +▁Shane -12.8128 +▁evidentno -12.813 +build -12.813 +nky -12.8131 +▁Spomenik -12.8131 +▁iznenadila -12.8131 +GG -12.8132 +▁tighten -12.8132 +▁bacanja -12.8132 +▁procjena -12.8132 +▁Drža -12.8133 +zzar -12.8134 +▁negotiate -12.8135 +▁birači -12.8135 +clear -12.8136 +pisuje -12.8136 +▁postupanja -12.8136 +▁autorka -12.8136 +tizam -12.8137 +▁shove -12.8137 +▁Julija -12.8138 +▁Prvoj -12.8138 +▁zimskom -12.8139 +▁146 -12.8139 +šest -12.8139 +▁oct -12.8139 +cek -12.8139 +▁probio -12.814 +▁wishing -12.814 +▁Signal -12.814 +Health -12.8141 +izirano -12.8141 +▁obučeni -12.8141 +▁Štaba -12.8141 +▁Jung -12.8142 +▁nosimo -12.8143 +▁Luku -12.8143 +Tro -12.8143 +▁kapu -12.8144 +▁149 -12.8144 +▁Sokol -12.8144 +ι -12.8145 +▁Dženifer -12.8145 +▁Kapacitet -12.8145 +▁Venezuela -12.8145 +▁constraints -12.8145 +▁najsavremeniji -12.8145 +▁prehrambene -12.8145 +▁reprezentativca -12.8145 +▁Gradiške -12.8145 +▁Mjesto -12.8145 +▁šporet -12.8145 +▁zaštitnu -12.8145 +▁Floyd -12.8145 +▁cifra -12.8145 +▁Kenan -12.8145 +▁žitarice -12.8145 +▁nourish -12.8145 +▁relies -12.8145 +▁sponsorship -12.8145 +vrh -12.8145 +▁flagship -12.8146 +▁plažama -12.8146 +▁kemijsk -12.8146 +▁ustaljen -12.8146 +▁prijavljivanje -12.8146 +▁izražena -12.8147 +▁istorijskim -12.8147 +▁dućan -12.8147 +problem -12.8148 +▁intelektualni -12.8148 +▁zbiva -12.8149 +▁despot -12.8149 +▁blista -12.815 +2001 -12.815 +▁dese -12.815 +▁HPV -12.815 +▁lepi -12.815 +▁zbrinjavanje -12.8151 +▁naklonjen -12.8151 +▁profesorica -12.8151 +▁razmena -12.8151 +▁dobrovoljni -12.8152 +6.5 -12.8152 +▁costumes -12.8152 +▁poražena -12.8152 +▁Naxi -12.8152 +Start -12.8153 +▁povrćem -12.8154 +mrznu -12.8154 +▁Patent -12.8154 +▁mehanizama -12.8155 +▁Pije -12.8155 +▁Jadranu -12.8156 +▁djelatn -12.8156 +vocation -12.8156 +▁doživeli -12.8156 +▁Reno -12.8157 +▁Dust -12.8158 +kse -12.8158 +▁zahvalila -12.8159 +▁školovan -12.816 +phal -12.8161 +▁spomenuto -12.8161 +▁Istra -12.8161 +▁thou -12.8163 +▁catering -12.8163 +▁screaming -12.8163 +▁Watt -12.8164 +▁konzulat -12.8165 +▁zvezdi -12.8165 +▁chant -12.8166 +▁fiskalni -12.8166 +▁koncertima -12.8167 +OBRA -12.8168 +▁prinuđen -12.8168 +▁izravn -12.8168 +▁submissions -12.8168 +srpski -12.8169 +▁mjerenja -12.8169 +NES -12.817 +▁Zemunu -12.8171 +▁Skip -12.8172 +▁5.1 -12.8172 +Original -12.8172 +▁Kora -12.8173 +Isto -12.8174 +tvrdi -12.8175 +▁Tija -12.8175 +▁puštanje -12.8175 +▁ažuriranje -12.8175 +▁BOL -12.8176 +▁Keeping -12.8176 +▁Conservative -12.8176 +▁Manufacturing -12.8176 +▁Strength -12.8176 +▁arguing -12.8176 +▁derivata -12.8176 +▁implies -12.8176 +▁redosled -12.8176 +▁detoksikacij -12.8176 +▁sugeriše -12.8176 +▁neprimjeren -12.8177 +osov -12.8177 +▁elbow -12.8177 +▁Objekat -12.8177 +▁prezentaciji -12.8177 +▁likovne -12.8177 +▁salvation -12.8177 +▁333 -12.8178 +▁lawmakers -12.8178 +▁sleek -12.8178 +▁informaciono -12.8178 +▁Ми -12.8178 +▁detective -12.8179 +▁koordina -12.8179 +▁Glaz -12.8179 +▁almond -12.8179 +▁´ -12.818 +▁fotografa -12.818 +▁commissioned -12.8181 +▁alerts -12.8182 +▁vlasniku -12.8183 +▁lopat -12.8184 +▁rijec -12.8185 +▁ustavni -12.8186 +▁dolaziti -12.8187 +▁Lučić -12.8187 +▁buni -12.8187 +▁dys -12.8187 +ensis -12.8187 +▁iskoristila -12.8187 +haba -12.8188 +insko -12.8188 +▁garaža -12.8189 +▁manipulate -12.8189 +teljima -12.819 +▁skočio -12.8191 +▁riješe -12.8191 +▁trek -12.8191 +▁Valja -12.8191 +▁7,5 -12.8191 +kontroverz -12.8192 +▁ligament -12.8193 +▁mnogobrojnim -12.8193 +▁sastali -12.8194 +▁pelet -12.8194 +sthetic -12.8195 +▁свак -12.8195 +▁1921 -12.8196 +▁Oper -12.8196 +▁TIME -12.8197 +▁gostuju -12.8198 +▁enroll -12.8198 +LIJE -12.8199 +▁oppose -12.8199 +▁situ -12.82 +▁debeli -12.82 +▁rows -12.82 +TOP -12.82 +▁oduzimanje -12.82 +▁svečanoj -12.82 +▁Push -12.8201 +▁saudijsk -12.8201 +▁Romeo -12.8202 +▁FX -12.8203 +priča -12.8203 +efficient -12.8204 +▁čekala -12.8204 +Sloboda -12.8204 +pristoj -12.8205 +▁Audit -12.8205 +▁Rin -12.8205 +klopljen -12.8205 +Cloud -12.8206 +▁Helena -12.8206 +▁Izabel -12.8206 +▁stihovi -12.8207 +▁fighters -12.8207 +▁posters -12.8207 +▁trustee -12.8208 +▁simp -12.8208 +▁Kopenhagen -12.8208 +▁Mortgage -12.8208 +▁Pixabay -12.8208 +▁destinaciju -12.8208 +▁fracture -12.8208 +▁kretanju -12.8208 +▁kritikovao -12.8208 +▁metabolism -12.8208 +▁okriljem -12.8208 +▁predecessor -12.8208 +▁discourage -12.8208 +▁prevencija -12.8208 +▁mališane -12.8208 +▁summarize -12.8208 +▁Pazova -12.8208 +▁izbacuje -12.8208 +▁fašizma -12.8208 +▁Aljbin -12.8208 +▁operativne -12.8208 +▁kancer -12.8208 +▁Foruma -12.8209 +▁ninth -12.8209 +▁dužnosnik -12.8209 +▁sudjeluju -12.8209 +▁mržnja -12.8209 +▁Momčilo -12.8209 +▁(22 -12.8209 +▁Jedva -12.8209 +▁akcionara -12.821 +▁19:00 -12.821 +▁puding -12.821 +▁assumptions -12.821 +▁pirate -12.8211 +▁pretvaraju -12.8212 +▁klizi -12.8212 +▁paperwork -12.8212 +▁zavisiti -12.8213 +publik -12.8214 +▁6:30 -12.8214 +▁primijeniti -12.8215 +glyc -12.8215 +▁hir -12.8216 +▁privately -12.8216 +▁antique -12.8216 +▁liku -12.8216 +▁Mean -12.8217 +▁subjekta -12.8217 +▁accessing -12.8218 +▁elektronskog -12.8218 +▁Guil -12.8218 +▁sled -12.8219 +▁fighter -12.8219 +▁Duty -12.8219 +▁Alcohol -12.8219 +▁arheološki -12.8219 +▁zarazne -12.822 +▁nutritivn -12.8222 +lust -12.8222 +izirana -12.8222 +tjeran -12.8222 +▁Konkretno -12.8225 +▁Singer -12.8226 +▁trenutnim -12.8226 +▁nađemo -12.8226 +▁Ekonomsko -12.8227 +Sep -12.8228 +▁tokove -12.8228 +▁zategnut -12.8229 +▁izlaže -12.823 +▁zapisi -12.8231 +▁Počeo -12.8232 +▁Julian -12.8232 +▁okolnost -12.8233 +▁Aplikacija -12.8234 +▁neprihvatljivo -12.8234 +Fun -12.8234 +▁recepte -12.8235 +▁Clay -12.8235 +▁feat -12.8235 +▁duet -12.8236 +▁Ulica -12.8236 +▁germ -12.8237 +▁smeni -12.8238 +▁useless -12.8239 +Vreme -12.8239 +▁Državno -12.8239 +▁Arhitekt -12.824 +▁Jazeera -12.824 +▁arthritis -12.824 +▁dugoročne -12.824 +▁indigenous -12.824 +▁vegetarian -12.824 +▁oslonac -12.824 +▁mekteb -12.824 +▁zadržali -12.824 +▁pokvaren -12.824 +▁eksponat -12.824 +▁globalnih -12.824 +▁mljeven -12.824 +▁posebnoj -12.8241 +▁mešavina -12.8241 +▁podstakl -12.8241 +▁Sanader -12.8241 +▁Intesa -12.8241 +▁Evaluation -12.8241 +▁Fikret -12.8241 +LEX -12.8242 +▁djelomično -12.8242 +tically -12.8243 +0.1 -12.8243 +▁mutation -12.8244 +▁hidrati -12.8244 +▁DANA -12.8246 +▁rezerva -12.8246 +▁herbal -12.8246 +▁zabranio -12.8247 +▁Bogom -12.8247 +▁trendu -12.8247 +▁rušenja -12.8247 +▁cirku -12.8248 +▁Vodovod -12.8248 +▁preuzimanju -12.8248 +▁poslje -12.8249 +▁Blank -12.825 +▁studen -12.825 +▁Khal -12.8251 +▁kurirsk -12.8252 +▁kun -12.8252 +▁tačna -12.8252 +laženja -12.8253 +▁Vrsta -12.8253 +▁nasty -12.8253 +▁odbojkašk -12.8254 +strana -12.8255 +▁svirao -12.8255 +▁studiranja -12.8255 +▁disturbing -12.8256 +▁opener -12.8256 +▁NV -12.8256 +▁pečenja -12.8257 +▁Marcel -12.8257 +▁exhausted -12.8258 +▁isklju -12.8259 +▁Registered -12.826 +▁Bac -12.826 +▁Pump -12.8261 +▁mounting -12.8261 +▁dodjele -12.8261 +▁tablespoon -12.8261 +▁prezentovan -12.8261 +▁Provid -12.8262 +▁Sjeverna -12.8263 +▁migrante -12.8263 +▁Kruš -12.8263 +▁Nigerian -12.8264 +▁sabora -12.8264 +▁sticking -12.8264 +▁igračem -12.8265 +▁haunt -12.8265 +▁zvona -12.8265 +▁informisan -12.8266 +▁bosanskom -12.8266 +▁farmi -12.8267 +paper -12.8267 +SAN -12.8267 +▁Gir -12.8268 +▁podsjećaju -12.8269 +▁precaution -12.8269 +▁obuče -12.8269 +▁osećanje -12.8269 +▁širokim -12.8271 +▁zavisnost -12.8271 +▁poslata -12.8272 +▁Muš -12.8272 +ê -12.8272 +▁Excellence -12.8272 +▁kozmetike -12.8272 +▁medieval -12.8272 +▁izazvali -12.8272 +▁Sterling -12.8272 +▁izvedbi -12.8272 +▁obiluje -12.8272 +▁počinitelj -12.8272 +▁Unutar -12.8272 +▁Bulgaria -12.8272 +▁Scripture -12.8272 +▁ljiljan -12.8273 +кт -12.8273 +▁Federalni -12.8273 +▁Arabic -12.8273 +▁primamljiv -12.8273 +▁Cibon -12.8274 +▁EKO -12.8275 +▁darker -12.8275 +▁1-3 -12.8276 +▁civilization -12.8276 +▁vatromet -12.8276 +▁izbacivanje -12.8277 +▁kontinent -12.8277 +▁poreze -12.8278 +▁načeln -12.8278 +▁spiska -12.8278 +▁fakat -12.8278 +pravna -12.8278 +▁proveru -12.8278 +▁starring -12.8278 +▁Seme -12.8278 +▁gard -12.8278 +DENT -12.8279 +▁Italijanski -12.8279 +▁Dimitrije -12.8279 +volt -12.8281 +▁ETF -12.8281 +▁uživao -12.8283 +bility -12.8284 +▁Opštinskog -12.8284 +nošenju -12.8284 +▁vrag -12.8284 +▁Zvezdi -12.8284 +▁prestanak -12.8285 +▁stanovanje -12.8286 +▁newborn -12.8286 +▁Sense -12.8286 +▁izgradio -12.8286 +▁želeći -12.8287 +▁ispisan -12.8287 +▁kosovskih -12.8289 +ISH -12.8289 +▁Igre -12.8289 +Green -12.8289 +▁zanimljivosti -12.8289 +prikladn -12.8289 +▁Lance -12.829 +▁Guild -12.829 +▁prijateljske -12.829 +▁knocked -12.829 +▁miša -12.829 +/05 -12.829 +kluziv -12.829 +ppet -12.8291 +▁komercijalne -12.8291 +IDA -12.8292 +▁prijevoza -12.8292 +▁Vlast -12.8292 +▁kućnim -12.8294 +▁Donbas -12.8294 +▁Zin -12.8294 +kovca -12.8295 +▁promenite -12.8295 +▁opusti -12.8295 +▁Hristov -12.8295 +▁Godinama -12.8297 +▁zvaničnih -12.8298 +▁korištenjem -12.8298 +▁Grim -12.8298 +▁cijenjen -12.8299 +▁creators -12.8299 +original -12.8301 +▁pomislili -12.8302 +▁freshly -12.8302 +▁LEGO -12.8302 +▁Lars -12.8302 +▁Assist -12.8302 +▁pomjera -12.8303 +▁izbornu -12.8303 +▁cables -12.8303 +fran -12.8304 +▁equi -12.8304 +▁ZDRAV -12.8304 +▁Congratulations -12.8304 +▁Literature -12.8304 +▁Lokomotiv -12.8304 +▁Zvizdić -12.8304 +▁akumulira -12.8304 +▁šminku -12.8304 +▁Legacy -12.8304 +▁rigoroz -12.8304 +▁prisjeća -12.8304 +▁pratnju -12.8304 +▁Armstrong -12.8305 +▁surpass -12.8305 +▁filtrira -12.8305 +▁statutory -12.8305 +▁ubistvu -12.8305 +▁Galeriji -12.8305 +▁Formule -12.8305 +▁Raspored -12.8305 +▁praktičan -12.8305 +▁maltene -12.8305 +▁jajnika -12.8305 +ENJA -12.8305 +▁dictate -12.8305 +▁pinch -12.8305 +▁Desert -12.8305 +▁teorijski -12.8305 +▁Lejla -12.8305 +▁sentenced -12.8305 +▁ved -12.8306 +▁Promocija -12.8306 +▁Pero -12.8306 +▁operaciji -12.8306 +▁Dinner -12.8307 +▁Donja -12.8307 +▁Udruženju -12.8307 +▁Carigrad -12.8307 +pf -12.8307 +▁Statuta -12.8308 +▁greenhouse -12.8308 +▁Drini -12.8308 +▁accidentally -12.8309 +▁Pretty -12.8309 +▁mladost -12.831 +▁iskrena -12.831 +▁ukidanja -12.831 +▁preporučujem -12.831 +▁Primi -12.831 +▁Podsećamo -12.8311 +▁HAR -12.8311 +▁pristupačno -12.8311 +▁renew -12.8312 +▁Pierre -12.8312 +▁dovele -12.8312 +▁izričito -12.8312 +▁marketinški -12.8313 +▁1934 -12.8313 +▁Franje -12.8313 +▁krivac -12.8313 +▁propust -12.8314 +▁ripe -12.8314 +▁Aside -12.8315 +monoksid -12.8315 +russia -12.8315 +▁komunalnih -12.8316 +▁zatvorenih -12.8317 +▁ukusom -12.8318 +▁krišk -12.8319 +▁zeza -12.8319 +▁Faz -12.832 +▁asthma -12.832 +▁budžetskih -12.832 +▁overtime -12.8321 +ум -12.8321 +▁najtežih -12.8322 +▁Counter -12.8322 +▁realan -12.8322 +NOS -12.8322 +▁jon -12.8322 +▁strateške -12.8323 +▁uspona -12.8324 +▁stanovništvom -12.8324 +▁formuli -12.8324 +▁planinsko -12.8325 +▁rounded -12.8325 +ге -12.8325 +▁najnovijih -12.8325 +▁researching -12.8325 +jače -12.8326 +мет -12.8326 +▁voditeljka -12.8326 +▁underway -12.8326 +▁lojalnost -12.8326 +▁SIN -12.8327 +▁dužeg -12.8327 +/2013 -12.8328 +▁likom -12.8328 +▁uvedena -12.8329 +▁antibiotika -12.833 +čivo -12.833 +Narod -12.8331 +dioksida -12.8332 +▁zelenim -12.8332 +▁srbijanski -12.8333 +temp -12.8334 +▁POK -12.8334 +▁usmjeri -12.8334 +▁genocidu -12.8334 +scent -12.8335 +▁usvojeni -12.8335 +▁Lidija -12.8336 +▁lekarom -12.8336 +▁YU -12.8336 +▁parliament -12.8336 +▁cruel -12.8337 +▁Bangladesh -12.8337 +▁Ujedinjene -12.8337 +▁absurd -12.8337 +▁literaturi -12.8337 +▁skupštinu -12.8337 +▁privremene -12.8337 +▁uspešnu -12.8337 +▁ustanovu -12.8337 +▁prijetnji -12.8337 +▁hronični -12.8337 +▁Multimedija -12.8337 +▁Abdullah -12.8337 +spahić -12.8337 +▁Favorite -12.8337 +▁dramu -12.8337 +▁padobran -12.8337 +▁Muzika -12.8337 +▁stranački -12.8337 +▁posredovanje -12.8337 +▁imply -12.8338 +▁Akademija -12.8338 +▁preferably -12.8338 +▁vjerovali -12.8338 +▁imunog -12.8339 +▁pjesnika -12.8339 +▁painter -12.8339 +▁žensku -12.8339 +▁podređen -12.8339 +▁FROM -12.834 +▁avanturi -12.834 +▁Lounge -12.834 +sajt -12.8341 +▁Fold -12.8341 +▁izbeglice -12.8341 +▁politically -12.8341 +Soft -12.8342 +▁oversight -12.8342 +▁pismeno -12.8342 +around -12.8342 +nego -12.8343 +▁Shot -12.8343 +▁venac -12.8344 +▁produženje -12.8344 +▁isključiti -12.8344 +▁cenjen -12.8344 +▁dick -12.8345 +ть -12.8345 +▁sjajnom -12.8346 +▁Zdravka -12.8347 +zapad -12.8348 +▁Paket -12.8349 +▁francuskim -12.8349 +Putevi -12.8349 +▁kocke -12.8349 +▁Đurđev -12.8349 +LICA -12.8349 +▁assisting -12.8349 +▁timovima -12.8349 +▁cle -12.835 +▁Partizanu -12.835 +▁zapremine -12.835 +▁zgloba -12.835 +▁šake -12.8351 +▁garantuju -12.8351 +YO -12.8351 +▁Ulice -12.8351 +nčani -12.8351 +cijska -12.8352 +▁Pejović -12.8352 +▁Sulj -12.8352 +INU -12.8353 +▁prosječna -12.8353 +▁Bošnjake -12.8354 +▁stvarati -12.8354 +ljivih -12.8354 +poznavanju -12.8355 +▁desnog -12.8355 +▁materijalom -12.8355 +▁mixer -12.8357 +▁Lumi -12.8357 +▁severely -12.8357 +▁osnovali -12.8358 +xel -12.8358 +▁rečnik -12.8358 +cijepljen -12.8359 +ZNA -12.8359 +promet -12.8359 +▁Njihovi -12.8359 +▁Patient -12.8359 +▁Cali -12.8361 +USD -12.8361 +▁Rosen -12.8361 +krajinskih -12.8362 +▁živeti -12.8362 +▁najbogatij -12.8362 +ILO -12.8362 +▁6:1 -12.8363 +▁zli -12.8363 +built -12.8363 +▁Mills -12.8364 +▁izražavaju -12.8364 +▁villa -12.8364 +кла -12.8364 +▁visually -12.8365 +▁opušta -12.8365 +▁povučen -12.8365 +▁spojiti -12.8365 +▁шта -12.8366 +Fig -12.8366 +▁koncu -12.8366 +▁mash -12.8367 +▁benzina -12.8367 +▁Nekako -12.8367 +lko -12.8368 +taciju -12.8369 +▁Bugojno -12.8369 +▁preuzmite -12.8369 +▁reagovali -12.8369 +▁widow -12.8369 +▁polovinom -12.8369 +▁završnom -12.8369 +▁eskalacij -12.8369 +▁izjavom -12.8369 +▁ušima -12.8369 +▁Raymond -12.8369 +▁šokantn -12.837 +▁Idaho -12.837 +▁regulacije -12.837 +▁proširila -12.837 +▁Anything -12.837 +▁KCUS -12.837 +▁okružuje -12.837 +▁skener -12.837 +▁dvojac -12.837 +▁zakonitosti -12.837 +▁zlatnim -12.8371 +▁boiler -12.8371 +▁pošlo -12.8371 +▁Operating -12.8371 +▁žalba -12.8372 +▁cozy -12.8372 +▁stali -12.8372 +▁željni -12.8373 +▁insects -12.8374 +▁razumem -12.8374 +bull -12.8374 +MAR -12.8374 +▁kćerke -12.8375 +veliki -12.8375 +▁unapređen -12.8376 +▁zamenjen -12.8376 +▁Posebn -12.8377 +▁izbjegl -12.8377 +vaspita -12.8377 +▁+3 -12.8377 +▁kupol -12.8377 +release -12.8377 +Pozivam -12.8378 +▁crushed -12.8378 +▁Rocky -12.8378 +▁istraživačko -12.8378 +▁mrze -12.8378 +▁dočekuju -12.8379 +▁doživjeti -12.8379 +▁QR -12.8381 +▁Lili -12.8381 +▁glupo -12.8381 +Zar -12.8381 +▁zaposlena -12.8381 +▁Hrist -12.8381 +▁Minhenu -12.8381 +▁funkcioni -12.8382 +iah -12.8383 +▁Blair -12.8383 +▁notifications -12.8384 +ér -12.8384 +▁parazita -12.8384 +▁zabraniti -12.8385 +sanskog -12.8385 +ovaće -12.8385 +▁penzioneri -12.8386 +▁parfema -12.8386 +▁nasmeja -12.8387 +▁punish -12.8388 +▁vijećnika -12.8388 +▁normalnog -12.8389 +▁procijeni -12.839 +Imam -12.839 +▁zračenje -12.839 +June -12.8391 +▁pismenosti -12.8391 +▁izvršitelj -12.8391 +▁reformama -12.8391 +Evo -12.8392 +▁radijator -12.8393 +▁donatora -12.8393 +▁3,2 -12.8394 +▁polaže -12.8394 +▁smješteni -12.8394 +▁(195 -12.8394 +Even -12.8396 +hear -12.8397 +njacima -12.8397 +▁Cave -12.8398 +▁izvoditi -12.8398 +▁kaiš -12.8399 +controlled -12.8399 +уз -12.8399 +▁Josipović -12.8401 +▁puff -12.8401 +▁GODINE -12.8402 +▁Predsjedavajući -12.8402 +▁eksperata -12.8402 +▁tržišne -12.8402 +▁detektiv -12.8402 +▁furnace -12.8402 +▁izvedbe -12.8402 +▁preostaje -12.8402 +▁kvota -12.8402 +▁Relationship -12.8402 +▁direktna -12.8402 +▁fizikaln -12.8402 +▁zagrejan -12.8402 +▁Solomon -12.8402 +▁normalnu -12.8402 +▁NAKON -12.8402 +▁duplicate -12.8402 +▁Marta -12.8402 +▁preuzimaju -12.8402 +▁skupini -12.8402 +▁Admission -12.8402 +▁drugačiju -12.8402 +▁propisana -12.8402 +▁arhitektonsko -12.8402 +▁akcijom -12.8402 +▁Violet -12.8402 +Srbi -12.8403 +▁žreb -12.8403 +kler -12.8403 +▁suzbijanja -12.8404 +▁Presud -12.8404 +▁HVO -12.8407 +▁Dječj -12.8407 +▁klinika -12.8407 +ndža -12.8407 +amba -12.8408 +▁Charge -12.8408 +▁MAS -12.8408 +▁Sudu -12.8408 +▁Kotoru -12.8408 +West -12.8409 +▁ranom -12.8409 +fid -12.8409 +▁contacting -12.841 +ćivanje -12.841 +▁domaćinstvo -12.841 +▁uspehom -12.8411 +▁сви -12.8411 +▁Bećirović -12.8412 +▁Hran -12.8412 +▁pojačati -12.8413 +▁Smoke -12.8413 +▁lifelong -12.8413 +▁poslovnoj -12.8414 +▁dire -12.8416 +▁folija -12.8416 +▁unesete -12.8417 +govaranje -12.8417 +▁prvaci -12.8417 +▁monumental -12.8417 +▁Strateg -12.8417 +▁programiranja -12.8418 +▁zvaničnicima -12.8418 +▁Veličina -12.8419 +▁težini -12.8419 +5,00 -12.842 +▁Snaga -12.842 +▁ostvarena -12.842 +izrael -12.842 +▁čuvena -12.8421 +▁digitalna -12.8421 +▁softversk -12.8424 +▁komunikacion -12.8424 +▁investicioni -12.8424 +▁143 -12.8424 +west -12.8425 +▁stvoreni -12.8426 +▁Piv -12.8427 +▁smešteni -12.8427 +▁mirnom -12.8427 +▁Karan -12.8428 +▁planes -12.8428 +▁Fix -12.8428 +ističkom -12.8428 +▁kreativnih -12.8428 +▁Ujedno -12.8429 +▁idealne -12.8429 +▁drugačijim -12.8429 +▁Žar -12.8429 +▁Siniš -12.8429 +▁detaljan -12.843 +▁civilians -12.843 +▁obuci -12.843 +▁preferira -12.843 +▁Brčkom -12.8431 +April -12.8431 +both -12.8431 +▁površinsk -12.8431 +▁tajnik -12.8431 +▁nepoznatih -12.8432 +▁coll -12.8432 +▁svojstvo -12.8433 +vođe -12.8434 +▁unaprijedi -12.8434 +▁pokušaji -12.8434 +▁Belgium -12.8434 +▁Industries -12.8434 +▁Norveška -12.8434 +▁autentični -12.8434 +▁djelotvorn -12.8434 +▁energetska -12.8434 +▁hygiene -12.8434 +▁narudžbe -12.8434 +▁recepata -12.8434 +▁umnogome -12.8434 +▁usklađivanje -12.8434 +▁Kompanije -12.8434 +▁inquiries -12.8434 +▁reputable -12.8434 +▁Saradnja -12.8434 +▁izgube -12.8434 +▁Odjeljenja -12.8434 +▁odbacuje -12.8434 +▁nominee -12.8434 +▁Preduzeće -12.8434 +▁zbilja -12.8435 +▁ravnopravno -12.8435 +▁Maintain -12.8435 +▁Guitar -12.8435 +▁zadruge -12.8435 +woman -12.8435 +▁vapor -12.8436 +▁namješten -12.8436 +▁Keto -12.8437 +▁najvi -12.8437 +▁mudrost -12.8437 +▁boljoj -12.8437 +▁poljsko -12.8437 +▁Nadzornog -12.8437 +▁Perišić -12.8438 +▁thru -12.8438 +▁dovrši -12.8438 +▁odrede -12.8438 +▁prikladno -12.8439 +▁Mirka -12.8439 +▁Haški -12.8439 +▁Knowing -12.8439 +▁Pipe -12.844 +▁krio -12.844 +▁spremnosti -12.844 +stoji -12.844 +dnevno -12.844 +▁angažmana -12.8441 +▁Witch -12.8441 +▁preneti -12.8441 +▁specifičnih -12.8442 +▁šala -12.8442 +▁smrtnosti -12.8444 +▁3.7 -12.8444 +ање -12.8445 +▁materijalnih -12.8445 +▁Danica -12.8446 +▁marketers -12.8446 +▁vodećim -12.8446 +▁Alter -12.8447 +▁Sreten -12.8448 +▁odvoz -12.8448 +▁reservations -12.8449 +CHE -12.845 +▁Obuka -12.845 +Kup -12.8451 +▁sedme -12.8451 +▁demokratskih -12.8451 +▁Zvornika -12.8453 +▁Xiaomi -12.8454 +▁radioaktivn -12.8454 +али -12.8455 +ица -12.8455 +▁realised -12.8456 +▁jednostavnost -12.8458 +50,00 -12.8458 +ističku -12.8458 +▁vedri -12.8459 +▁uključili -12.8459 +▁eliminisan -12.8459 +▁Strahinj -12.846 +pravnim -12.846 +▁kafana -12.846 +▁uzmete -12.8461 +▁plasmanu -12.8461 +▁Cijeli -12.8462 +▁tradicionalnom -12.8462 +▁verb -12.8463 +▁1935 -12.8463 +otpor -12.8464 +▁lekcija -12.8465 +▁partiji -12.8465 +▁plijen -12.8466 +ã -12.8467 +▁Jutjub -12.8467 +▁balcony -12.8467 +▁maksimalan -12.8467 +▁nestrpljenjem -12.8467 +▁opoziciju -12.8467 +▁saopćio -12.8467 +▁sposobna -12.8467 +▁opposing -12.8467 +▁privatnu -12.8467 +▁Predviđen -12.8467 +▁Fon -12.8467 +▁privlačni -12.8467 +▁Hannah -12.8467 +▁Ilustracija -12.8467 +/01/202 -12.8467 +▁čizme -12.8467 +▁wreck -12.8467 +▁Tehnološk -12.8467 +▁mačaka -12.8467 +odrom -12.8467 +▁Dragoslav -12.8468 +▁bracelet -12.8469 +▁detention -12.8469 +▁filozofiju -12.8469 +▁XIX -12.8469 +▁payroll -12.847 +реди -12.847 +▁Šapca -12.847 +▁pojačanog -12.8471 +▁benign -12.8471 +▁Chance -12.8471 +▁Oružan -12.8472 +▁kanon -12.8472 +▁globalnu -12.8472 +▁Biology -12.8472 +▁uklonjeni -12.8473 +▁obostrano -12.8473 +▁encouragement -12.8473 +▁Above -12.8473 +▁posjetila -12.8473 +▁scrub -12.8473 +Most -12.8474 +▁žit -12.8474 +▁saobraćajnica -12.8474 +▁nižu -12.8474 +▁trovanja -12.8474 +▁Pip -12.8475 +▁pojmovi -12.8475 +▁Kremlja -12.8476 +▁najbliž -12.8476 +▁ovoliko -12.8477 +▁zapovjednik -12.8477 +čenih -12.8478 +▁apotekama -12.848 +▁grinding -12.8481 +▁combo -12.8481 +▁instructors -12.8481 +▁nemačkih -12.8482 +:00|| -12.8482 +▁kompleksu -12.8482 +▁Vrata -12.8483 +lijte -12.8484 +▁tolerate -12.8484 +▁utječu -12.8484 +songwriter -12.8484 +▁ranjeni -12.8485 +▁Zajednički -12.8485 +žak -12.8485 +▁Vinko -12.8485 +▁gubici -12.8486 +▁Electro -12.8486 +▁vlak -12.8486 +▁Optimiz -12.8488 +▁Measure -12.8488 +▁Opa -12.8489 +▁obavljanju -12.8489 +▁supposedly -12.8491 +▁neprijatelje -12.8492 +tekst -12.8492 +mill -12.8492 +▁ležal -12.8493 +▁torti -12.8493 +▁Sovjetsk -12.8493 +▁Asset -12.8493 +▁warmer -12.8494 +▁profesionalci -12.8494 +▁bilateralni -12.8494 +.2007. -12.8495 +stavljajući -12.8496 +▁autorska -12.8496 +▁APP -12.8496 +▁frank -12.8497 +▁buduća -12.8498 +▁Krv -12.8498 +find -12.8498 +▁nogometne -12.8499 +▁resurs -12.8499 +▁trlja -12.8499 +▁Economy -12.85 +▁Rješenje -12.85 +▁Shanghai -12.85 +▁communicating -12.85 +▁culinary -12.85 +▁diskriminacija -12.85 +▁legislature -12.85 +▁mathematics -12.85 +▁occupy -12.85 +▁prouzrokovan -12.85 +▁sugrađane -12.85 +▁interesantna -12.85 +▁drought -12.85 +▁kladionice -12.85 +▁graničnom -12.85 +▁nestanka -12.85 +▁ову -12.85 +▁izvanredni -12.85 +▁meksičk -12.8501 +▁poplavama -12.8501 +€™ -12.8501 +▁vlasničk -12.8501 +▁Ksenij -12.8501 +▁voćni -12.8501 +▁😉 -12.8501 +▁wounds -12.8502 +▁Fau -12.8502 +▁severity -12.8502 +▁KFOR -12.8502 +▁Pride -12.8502 +▁ideologija -12.8503 +▁žvak -12.8503 +▁dokumentovan -12.8504 +▁epidemioloških -12.8505 +▁kopiju -12.8506 +give -12.8506 +▁voliš -12.8507 +▁pritiscima -12.8507 +▁1931 -12.8508 +▁thrust -12.8508 +▁upućene -12.8509 +▁NAM -12.8509 +ošević -12.8509 +▁Strategic -12.8509 +▁medijskog -12.851 +▁nutri -12.8511 +▁invade -12.8511 +▁klasično -12.8511 +udeći -12.8511 +▁Duška -12.8511 +▁amended -12.8511 +▁Postal -12.8512 +▁ostanak -12.8513 +▁Frušk -12.8513 +▁preporuci -12.8513 +▁6,5 -12.8513 +▁precizirao -12.8514 +▁grijeha -12.8514 +▁immuno -12.8514 +▁listovima -12.8515 +▁airlines -12.8517 +▁Budve -12.8517 +čenju -12.8517 +▁ranu -12.8518 +Rock -12.8518 +▁Europska -12.8518 +▁moci -12.8518 +uzima -12.8518 +▁činila -12.8519 +▁bombard -12.8519 +▁povećali -12.852 +▁pojedina -12.852 +▁peek -12.852 +▁ugroženih -12.8521 +▁samitu -12.8523 +▁devote -12.8523 +▁koza -12.8523 +▁Compare -12.8523 +▁ratovima -12.8525 +▁CAP -12.8526 +▁transported -12.8526 +▁nepoznata -12.8526 +▁reasoning -12.8527 +▁crteža -12.8528 +▁favoriti -12.8529 +▁Istog -12.8531 +▁beard -12.8531 +Where -12.8531 +▁prepoznala -12.8532 +▁swear -12.8532 +LET -12.8532 +▁Gvozden -12.8532 +▁reluctant -12.8532 +▁Exercise -12.8532 +▁Tottenham -12.8532 +▁sljedeća -12.8532 +▁tijesto -12.8533 +▁urinarn -12.8533 +▁speculation -12.8533 +▁naglaskom -12.8533 +▁Meteor -12.8533 +▁ljetne -12.8533 +▁čamac -12.8533 +▁Become -12.8533 +▁staranja -12.8533 +▁najniži -12.8534 +▁trećih -12.8534 +▁nezaboravno -12.8534 +MH -12.8534 +▁0:0 -12.8534 +▁Caroline -12.8534 +▁pitching -12.8534 +▁učešću -12.8534 +6.000 -12.8534 +▁skreće -12.8535 +▁Finland -12.8535 +▁Stranka -12.8535 +drum -12.8536 +▁oluja -12.8536 +Look -12.8536 +▁merger -12.8537 +▁Giving -12.8537 +▁kadrove -12.8538 +▁Javne -12.8538 +▁Mouse -12.8539 +▁rastući -12.8539 +▁komandn -12.8539 +▁lance -12.854 +▁esp -12.854 +▁spušten -12.854 +▁Conduct -12.8541 +▁najveci -12.8541 +▁Sadly -12.8542 +▁informacijsk -12.8542 +▁terorističkih -12.8543 +▁Mamić -12.8544 +▁Srebren -12.8544 +▁Veb -12.8545 +etvoro -12.8546 +▁zadacima -12.8546 +▁domaci -12.8548 +▁420 -12.8548 +▁undermine -12.8548 +▁COR -12.8548 +▁1919 -12.8548 +bral -12.8549 +▁Brac -12.8549 +▁odvojena -12.8549 +namaz -12.855 +▁Kandidati -12.8551 +▁svetlosn -12.8551 +▁profesionalna -12.8551 +▁Casey -12.8552 +▁izgubljeno -12.8552 +▁jučerašnje -12.8552 +▁exhibits -12.8553 +▁Amber -12.8554 +▁Lično -12.8554 +▁protesters -12.8554 +▁napravljeno -12.8555 +▁liječnika -12.8555 +▁daljnj -12.8556 +ručuje -12.8556 +▁zapremin -12.8557 +▁tehnikama -12.8557 +▁Lego -12.8557 +ña -12.8558 +▁sirijski -12.8559 +▁Grej -12.856 +▁osude -12.856 +▁inžinjer -12.856 +▁Gornja -12.856 +▁repertoaru -12.856 +▁iračk -12.856 +гла -12.8561 +▁porodičnom -12.8561 +zivaju -12.8562 +▁pomislila -12.8563 +▁pripremljeni -12.8563 +1,000 -12.8563 +▁grobnica -12.8564 +▁sastoje -12.8564 +▁regionalna -12.8565 +▁MRI -12.8565 +▁autentičnost -12.8565 +▁papu -12.8565 +▁Guarantee -12.8565 +▁Rebecca -12.8565 +▁constituent -12.8565 +▁humanitarian -12.8565 +▁Mozzart -12.8565 +▁Nizozemsk -12.8565 +▁španjolsk -12.8565 +▁Neptun -12.8565 +▁konačne -12.8566 +▁Walmart -12.8566 +▁suštinu -12.8566 +▁odeljenju -12.8566 +▁porod -12.8566 +▁čarolij -12.8566 +▁španske -12.8566 +▁matrix -12.8566 +▁stih -12.8567 +▁eleven -12.8567 +▁Rise -12.8567 +▁Odeljenja -12.8567 +-2020 -12.8568 +VIEW -12.8569 +▁univerzalno -12.8569 +LJIV -12.8569 +ени -12.857 +Tek -12.8571 +▁IoT -12.8571 +▁uslovljava -12.8571 +▁robotic -12.8572 +▁Johann -12.8572 +▁tuga -12.8572 +▁Rusko -12.8572 +▁scattered -12.8574 +▁1937 -12.8574 +ntegrating -12.8576 +cijskih -12.8577 +▁VRS -12.8577 +▁15-20 -12.8577 +▁GPU -12.8578 +▁Svetom -12.8578 +▁faktore -12.8579 +▁Staroj -12.8579 +▁Oraš -12.8579 +▁izmijenjen -12.858 +▁planiramo -12.8582 +saving -12.8582 +▁prepušten -12.8582 +▁primenjiv -12.8582 +▁motornih -12.8583 +▁potrošač -12.8583 +▁kršten -12.8583 +▁Brady -12.8584 +▁vatrenog -12.8584 +▁proizvoditi -12.8584 +▁uspjelo -12.8586 +▁clinics -12.8587 +▁priušti -12.8587 +▁sljed -12.8587 +▁condemn -12.8588 +▁razmatran -12.8589 +▁exceptions -12.859 +▁inovativno -12.859 +▁competitor -12.8591 +/11/ -12.8591 +▁udvostruči -12.8592 +▁najviših -12.8592 +▁komandir -12.8592 +▁Hz -12.8592 +▁učešćem -12.8592 +▁Gregor -12.8592 +▁džin -12.8592 +▁otporni -12.8593 +▁Vick -12.8593 +▁gradili -12.8593 +▁Mislio -12.8594 +▁dinastije -12.8595 +7.0 -12.8595 +▁sektorima -12.8597 +▁kriminalci -12.8597 +▁ledeno -12.8597 +▁correlat -12.8597 +served -12.8598 +Gar -12.8598 +iranom -12.8598 +▁režirao -12.8598 +▁Pripremite -12.8599 +▁euforij -12.8599 +▁ohrabruju -12.8599 +▁pjesmom -12.8599 +▁sunshine -12.8599 +▁ugljikohidrat -12.8599 +▁karakteristično -12.8599 +▁prejudice -12.8599 +▁akciza -12.8599 +▁financijsko -12.8599 +▁PROTIV -12.8599 +▁inovativne -12.8599 +▁oprašta -12.8599 +▁Pocket -12.8599 +▁artikle -12.8599 +▁homosexual -12.8599 +▁izbijanja -12.8599 +▁ubistava -12.8599 +▁Milivojević -12.8599 +▁cvjeta -12.8599 +▁RTCG -12.8599 +▁dečji -12.8599 +▁grammar -12.8599 +▁Ivković -12.8599 +MOR -12.8599 +▁reap -12.8599 +▁envision -12.8599 +▁ML -12.86 +▁traume -12.86 +▁posjetitelja -12.86 +▁Teslić -12.86 +▁accessibility -12.86 +▁primarne -12.86 +▁Fiction -12.86 +▁stale -12.86 +▁rute -12.8601 +▁dodavanja -12.8601 +▁periodima -12.8602 +▁taxpayers -12.8602 +▁izmedu -12.8602 +▁dojenja -12.8602 +▁hostel -12.8603 +▁mobilnosti -12.8603 +▁uključio -12.8604 +▁sinova -12.8604 +▁mafija -12.8607 +▁dermatolog -12.8608 +▁namjensk -12.8608 +seat -12.8608 +▁Siri -12.8609 +▁Škr -12.861 +▁SUP -12.861 +▁jednostavnih -12.861 +▁pravaca -12.861 +▁molekula -12.8611 +▁accomplishments -12.8612 +▁izgradili -12.8612 +▁zabeleži -12.8612 +▁Putem -12.8613 +jevoj -12.8613 +▁znakom -12.8613 +▁Finska -12.8614 +▁nule -12.8614 +▁pakao -12.8615 +▁groove -12.8616 +▁nasledn -12.8616 +▁odraditi -12.8617 +▁samostalnih -12.8617 +Sho -12.8618 +▁poboljšavaju -12.862 +thesis -12.862 +▁sastanci -12.862 +▁139 -12.8621 +▁NN -12.8621 +▁Fabri -12.8621 +▁diagnose -12.8622 +▁matičnih -12.8623 +▁staring -12.8623 +rack -12.8624 +▁counted -12.8625 +▁modification -12.8625 +▁tenk -12.8626 +▁golove -12.8626 +▁umrli -12.8626 +ENO -12.8627 +▁immense -12.8627 +džo -12.8627 +4.000 -12.8628 +▁dezinfekcij -12.8628 +▁uploaded -12.8628 +▁bajram -12.8628 +▁dominantno -12.8629 +▁Miša -12.8629 +▁verni -12.8629 +▁parče -12.863 +Koliko -12.863 +▁osjetila -12.863 +▁rodjen -12.863 +▁takmičarski -12.8631 +▁Procedure -12.8632 +▁Protocol -12.8632 +▁Wizard -12.8632 +▁conspiracy -12.8632 +▁fakultativn -12.8632 +▁immunity -12.8632 +▁kikiriki -12.8632 +▁navodnjavanje -12.8632 +▁nevjerojatno -12.8632 +▁pogrešan -12.8632 +▁whatsoever -12.8632 +▁želudac -12.8632 +▁Treasure -12.8632 +▁Pioneer -12.8632 +▁pregršt -12.8632 +▁Jaguar -12.8632 +▁pobjednici -12.8632 +▁samostalne -12.8632 +▁necklace -12.8632 +▁povijesno -12.8632 +▁Poput -12.8632 +▁okrutn -12.8632 +▁railroad -12.8632 +▁prekrasno -12.8632 +continue -12.8632 +▁opremljene -12.8632 +▁vezuju -12.8632 +▁pomisao -12.8632 +▁pobune -12.8632 +▁seafood -12.8633 +▁shaking -12.8633 +▁Sajmu -12.8633 +egan -12.8633 +▁freezer -12.8633 +▁mlečni -12.8633 +▁Božije -12.8634 +ručivanje -12.8634 +went -12.8635 +▁saopštenja -12.8635 +▁zbirku -12.8635 +▁maštu -12.8636 +▁druženju -12.8636 +▁izvršnog -12.8636 +▁slušanje -12.8637 +▁NZ -12.8638 +▁približiti -12.8638 +▁Alert -12.8638 +▁tart -12.8638 +▁Lime -12.8638 +▁Ultimately -12.8638 +▁rakije -12.8639 +▁distraction -12.8639 +▁Snap -12.864 +▁Tamil -12.864 +▁Rakovi -12.864 +Step -12.864 +▁deonice -12.8641 +▁Zenit -12.8642 +▁CSKA -12.8642 +▁sang -12.8642 +▁snežn -12.8643 +▁uložio -12.8643 +▁138 -12.8643 +▁mostova -12.8644 +AKE -12.8644 +▁bankovn -12.8644 +▁Ruby -12.8644 +fiction -12.8645 +▁naglašeno -12.8645 +▁practiced -12.8646 +propri -12.8646 +▁zavere -12.8646 +▁šestog -12.8647 +▁zaustavljanje -12.8648 +▁5.0 -12.8649 +▁Bosch -12.8649 +▁masovnih -12.8649 +Bur -12.8649 +450 -12.865 +▁kosom -12.865 +VENT -12.8651 +▁potruditi -12.8651 +KAZ -12.8651 +RH -12.8652 +score -12.8652 +▁Srbina -12.8652 +▁krenete -12.8654 +▁direktnog -12.8654 +▁utvrdilo -12.8654 +9.000 -12.8654 +Sad -12.8656 +▁smjenu -12.8657 +prising -12.8657 +▁otud -12.8658 +тар -12.8659 +ава -12.866 +▁Đura -12.8661 +▁posmatraju -12.8662 +▁Muslimani -12.8662 +žnost -12.8663 +sorb -12.8664 +▁egz -12.8664 +▁preživeli -12.8664 +▁eliminated -12.8664 +liner -12.8664 +Hrvatska -12.8665 +▁Ellen -12.8665 +▁Behind -12.8665 +▁Takmičenje -12.8665 +▁Temperature -12.8665 +▁Twenty -12.8665 +▁ensemble -12.8665 +▁sertifikovan -12.8665 +▁Švajcarska -12.8665 +▁Meksiku -12.8665 +▁pozovite -12.8665 +▁therapies -12.8665 +▁antenna -12.8665 +▁akcioni -12.8665 +▁mozaik -12.8665 +▁Federacija -12.8666 +▁obuzda -12.8666 +▁dealership -12.8666 +▁fiksni -12.8666 +▁nedostaci -12.8666 +▁grč -12.8666 +▁održivosti -12.8666 +▁ugodan -12.8666 +▁krč -12.8666 +▁logotip -12.8666 +tivnog -12.8667 +▁mokra -12.8667 +▁ekcem -12.8667 +location -12.8667 +▁motel -12.8667 +▁buddy -12.8667 +▁oltar -12.8668 +MENA -12.8668 +/23 -12.8668 +▁košarci -12.8669 +▁granatira -12.8669 +▁Chapel -12.867 +▁rekreacij -12.867 +▁zainteresovana -12.867 +ŠIĆ -12.8671 +▁keramičk -12.8671 +▁oprezno -12.8672 +tention -12.8673 +▁WWE -12.8673 +▁zaposlenja -12.8674 +▁Konj -12.8674 +▁jeftini -12.8675 +▁tenisa -12.8675 +▁Leaf -12.8676 +▁Pier -12.8677 +▁svlada -12.8677 +▁Stip -12.8677 +DEM -12.8677 +Kod -12.8677 +▁predoči -12.8678 +▁NH -12.8678 +▁detekcij -12.8678 +▁Methods -12.8678 +▁obrazovnog -12.8678 +▁okrenula -12.8679 +▁Oral -12.8679 +▁Stručni -12.8679 +▁šireg -12.8679 +ене -12.868 +▁upoznate -12.8681 +▁odlučni -12.8682 +▁nesposobnost -12.8682 +▁osjeca -12.8682 +▁Gud -12.8682 +▁tabla -12.8682 +▁čujete -12.8682 +▁1,0 -12.8683 +▁ČE -12.8683 +Oct -12.8684 +▁postizanj -12.8684 +▁Zip -12.8684 +▁£3 -12.8685 +▁ispunjena -12.8685 +▁mališani -12.8686 +▁vjetro -12.8686 +▁vjersko -12.8686 +▁porodičnih -12.8688 +▁perceive -12.8688 +▁minimalnu -12.8688 +▁beskrajn -12.8689 +▁objavljivan -12.8689 +▁hemije -12.8689 +DOR -12.8689 +▁imperative -12.8689 +▁Issues -12.869 +▁kabel -12.8691 +Rat -12.8691 +▁čuvara -12.8691 +▁mobitela -12.8692 +▁clone -12.8693 +▁mentalnog -12.8693 +BG -12.8693 +▁berbe -12.8694 +▁prediction -12.8694 +▁његов -12.8694 +▁licemjer -12.8696 +▁provjera -12.8696 +▁propuste -12.8697 +▁lateral -12.8698 +▁uništenje -12.8698 +▁Austriju -12.8699 +▁Kardashian -12.8699 +▁Najčešći -12.8699 +▁Smederevo -12.8699 +▁nijansu -12.8699 +▁sarajevskom -12.8699 +▁unaprijeđen -12.8699 +▁Pronađite -12.8699 +▁Učešće -12.8699 +▁edukativno -12.8699 +▁evidencija -12.8699 +▁konvencija -12.8699 +▁nastojanju -12.8699 +▁pobegao -12.8699 +▁Fernando -12.8699 +▁consolidate -12.8699 +▁kolegom -12.8699 +▁naredbu -12.8699 +▁specifikacije -12.8699 +▁LORD -12.8699 +▁Pravoslavn -12.8699 +▁Vrednost -12.8699 +▁stiču -12.8699 +▁redakciji -12.8699 +▁zaprijeti -12.87 +▁prkos -12.8701 +▁prošlošću -12.8701 +▁pokusava -12.8701 +▁uslijedio -12.8701 +▁Zasto -12.8701 +▁prisustvovala -12.8701 +▁Pixel -12.8701 +▁ovce -12.8701 +▁conceptual -12.8702 +.2017. -12.8702 +▁zdravije -12.8702 +▁prijateljice -12.8702 +▁webpage -12.8703 +▁neprijateljski -12.8703 +Bud -12.8703 +▁Harold -12.8703 +kviz -12.8703 +▁longtime -12.8703 +▁hrast -12.8704 +▁hitove -12.8705 +▁147 -12.8705 +Han -12.8706 +▁personalities -12.8706 +sajta -12.8706 +▁dočekala -12.8707 +▁induce -12.8708 +▁Dedić -12.8708 +▁pogubljen -12.8708 +▁Zaječaru -12.8708 +▁excluded -12.8709 +▁Zapadnoj -12.8709 +▁Visok -12.8709 +▁Peterson -12.8709 +▁plastičnih -12.871 +▁violated -12.871 +▁postojanju -12.871 +▁priuštiti -12.871 +chain -12.8711 +▁Povelj -12.8713 +▁namerom -12.8713 +ographer -12.8713 +▁Rita -12.8713 +VEL -12.8715 +▁Frans -12.8715 +▁Koža -12.8715 +▁opoziv -12.8716 +AVI -12.8716 +▁kolače -12.8718 +▁pogoditi -12.8719 +▁klimatsk -12.8719 +▁Špi -12.8719 +▁2,2 -12.8719 +▁2/3 -12.872 +▁137 -12.872 +▁MINI -12.872 +▁potpisom -12.872 +▁optičk -12.8721 +▁Panama -12.8721 +▁dude -12.8721 +▁OO -12.8721 +▁pravosudni -12.8722 +▁Takvo -12.8722 +▁žig -12.8722 +▁Burns -12.8723 +▁krajnjem -12.8724 +▁prsa -12.8726 +▁Horizon -12.8726 +▁zanemariti -12.8726 +▁bombi -12.8727 +VAC -12.8727 +▁kavez -12.8727 +▁zver -12.8727 +▁rođenje -12.8727 +▁Razvojn -12.8728 +▁preliti -12.8728 +HB -12.8728 +▁nervoza -12.8728 +autor -12.8728 +▁Ljuba -12.8728 +▁vesla -12.8729 +▁Southwest -12.8731 +▁Tablet -12.8732 +▁Evidence -12.8732 +▁antibakterijsk -12.8732 +▁excerpt -12.8732 +▁nowadays -12.8732 +▁suspicion -12.8732 +▁tbsp -12.8732 +▁stavku -12.8732 +▁zvižd -12.8732 +▁odsustva -12.8732 +▁headphones -12.8732 +▁smetnje -12.8732 +▁prenijeli -12.8732 +▁pomenuta -12.8732 +▁revidira -12.8733 +▁desnu -12.8733 +▁Recreation -12.8733 +▁porodična -12.8733 +▁Mastercard -12.8733 +▁Domovinskog -12.8733 +▁stirring -12.8733 +▁torba -12.8733 +▁uzmite -12.8733 +▁asocira -12.8734 +carbon -12.8734 +▁Homo -12.8734 +▁srebra -12.8734 +▁režira -12.8734 +▁suspects -12.8734 +▁Safari -12.8735 +▁mjenjač -12.8735 +State -12.8736 +Make -12.8736 +▁medijsku -12.8736 +▁kugla -12.8736 +▁definisano -12.8736 +▁textile -12.8737 +▁telefonsk -12.8737 +▁sopstvenoj -12.8737 +hong -12.8737 +▁celina -12.8737 +▁Zaboravil -12.8738 +▁impulse -12.8738 +▁primanje -12.8738 +▁environmentally -12.8738 +▁Saba -12.8739 +▁modi -12.8739 +▁gluko -12.8739 +▁garde -12.874 +▁dionicama -12.8741 +▁nazvala -12.8741 +▁successor -12.8741 +▁upisano -12.8742 +Grand -12.8743 +▁verovatnoća -12.8743 +▁grupni -12.8744 +▁specijalističk -12.8745 +dole -12.8745 +▁Siriju -12.8746 +pusta -12.8747 +▁Kandidat -12.8747 +▁shocking -12.8748 +▁Barnes -12.8748 +▁NAP -12.8749 +▁trademarks -12.8749 +▁MF -12.8749 +▁migrants -12.875 +▁pijem -12.875 +▁VOL -12.8751 +▁sreli -12.8751 +▁povede -12.8751 +farm -12.8752 +▁saopćila -12.8752 +▁Lakers -12.8753 +UX -12.8753 +▁migrantima -12.8754 +ručila -12.8754 +▁odradio -12.8754 +DAN -12.8755 +▁Murat -12.8755 +▁Državnog -12.8756 +▁hladna -12.8756 +▁Trnov -12.8757 +▁Gag -12.8758 +▁invisible -12.8759 +▁baba -12.8759 +▁nikakvi -12.8759 +▁177 -12.8759 +▁bataljona -12.8759 +▁poluvreme -12.876 +▁badema -12.876 +solve -12.8761 +▁definisani -12.8762 +▁kič -12.8762 +▁Brew -12.8762 +▁prosječne -12.8763 +▁dosao -12.8763 +Zvezda -12.8764 +▁Halo -12.8764 +▁uživanja -12.8764 +smatra -12.8765 +profile -12.8765 +▁Chevrolet -12.8766 +▁Exclusive -12.8766 +▁acquiring -12.8766 +▁inozemstvu -12.8766 +▁mrežom -12.8766 +▁sljedeću -12.8766 +▁Certification -12.8766 +▁FOKUS -12.8766 +▁odabrala -12.8766 +▁pojmova -12.8766 +▁invaluable -12.8766 +▁naglasili -12.8766 +▁analytical -12.8766 +▁Bliskog -12.8766 +▁tvorac -12.8766 +▁silovanje -12.8766 +▁clerk -12.8766 +▁definišu -12.8766 +▁thunder -12.8766 +▁notorious -12.8766 +▁Smooth -12.8766 +▁stajati -12.8767 +▁štr -12.8767 +primjer -12.8767 +▁pastel -12.8767 +▁delotvorn -12.8767 +▁naišao -12.8768 +▁highlighting -12.8768 +▁smjesu -12.8768 +▁nečiji -12.8768 +▁Trening -12.8768 +▁kritičara -12.8768 +▁Rug -12.8768 +▁kesten -12.8768 +▁plasma -12.8768 +▁lager -12.8769 +▁Meyer -12.8769 +▁bacanje -12.8769 +▁SRJ -12.877 +▁čep -12.877 +▁otrova -12.877 +taking -12.8771 +▁pevačice -12.8771 +▁Pills -12.8771 +▁medom -12.8772 +▁šampionsk -12.8772 +▁Fax -12.8772 +▁Pablo -12.8772 +▁coloring -12.8772 +▁vršite -12.8773 +▁sedmici -12.8773 +▁nodded -12.8774 +ksija -12.8775 +▁EBRD -12.8775 +▁fokusom -12.8775 +▁Pionir -12.8776 +▁uništavaju -12.8777 +▁jedinu -12.8777 +▁junaci -12.8778 +▁implantat -12.8778 +▁konzumiranja -12.8778 +vijest -12.8778 +terija -12.8779 +▁voditeljica -12.8779 +▁slast -12.878 +▁smrtni -12.8781 +▁MONDO -12.8781 +▁rendered -12.8781 +▁kreirali -12.8782 +▁correspond -12.8782 +▁Budimir -12.8783 +▁Tran -12.8783 +▁Ја -12.8784 +▁Barak -12.8785 +VOR -12.8785 +▁dijeliti -12.8785 +LIT -12.8785 +OMA -12.8785 +oštri -12.8787 +▁kotač -12.8788 +Ban -12.8788 +▁Konačn -12.8788 +▁Turnir -12.8788 +▁ponavljam -12.8788 +▁potrošače -12.8789 +▁propustili -12.879 +▁tightly -12.879 +▁profesorima -12.879 +▁expire -12.8791 +UAL -12.8791 +▁negativnim -12.8792 +spiration -12.8793 +▁zaposlenog -12.8793 +▁Mihal -12.8793 +▁Zvanični -12.8793 +▁Jela -12.8795 +▁stvarnog -12.8795 +▁KBC -12.8795 +▁hype -12.8795 +▁novost -12.8797 +▁objavljenog -12.8797 +▁commissioner -12.8797 +▁lekovima -12.8798 +▁èu -12.8799 +▁ш -12.8799 +▁luksuzno -12.88 +▁Stoltenberg -12.88 +▁demonstrating -12.88 +▁posljednju -12.88 +▁intricate -12.88 +▁sproveo -12.88 +▁tehnikom -12.88 +▁djevojaka -12.88 +▁bubrezi -12.88 +▁Coordinator -12.88 +▁goodbye -12.88 +▁zbrinut -12.88 +▁ukupnu -12.88 +▁vrtiću -12.88 +▁svugdje -12.88 +▁broadband -12.88 +▁Ernest -12.88 +▁Bingo -12.88 +▁franc -12.8801 +▁Prodajem -12.8801 +LER -12.8801 +dhi -12.8802 +▁prikupljaju -12.8802 +although -12.8802 +novac -12.8802 +▁naučnog -12.8803 +ао -12.8803 +▁identifies -12.8803 +▁Nevena -12.8803 +▁Aleksandrov -12.8803 +▁Holly -12.8803 +lijepi -12.8804 +▁Lester -12.8805 +▁proposition -12.8805 +▁spavaća -12.8805 +▁prelijte -12.8805 +▁Bearing -12.8805 +▁Cetinje -12.8806 +Rano -12.8806 +▁tribunala -12.8807 +▁žučn -12.8807 +▁Previše -12.8808 +▁Širokog -12.8808 +▁Deck -12.8808 +▁konta -12.8809 +▁podru -12.8809 +▁Naval -12.8809 +▁Wool -12.8809 +▁Mjesn -12.8809 +▁beskrajno -12.881 +▁zonama -12.881 +▁То -12.8812 +▁ruta -12.8812 +▁korisničk -12.8812 +▁tužno -12.8814 +ološku -12.8815 +centric -12.8815 +▁Stiven -12.8816 +Dub -12.8816 +▁počasn -12.8816 +ookie -12.8817 +▁INFO -12.8817 +▁industrijskih -12.8817 +▁Branković -12.8818 +▁reinforce -12.8819 +▁Srednja -12.882 +▁BHT -12.8822 +▁Đinđić -12.8824 +square -12.8824 +▁Jets -12.8824 +▁bloody -12.8825 +▁drevni -12.8825 +▁termaln -12.8825 +▁Crack -12.8825 +ступ -12.8825 +ь -12.8826 +▁Kami -12.8826 +▁peach -12.8826 +▁strahova -12.8826 +▁televizora -12.8827 +▁nepoznatog -12.8827 +▁sposobnostima -12.8828 +▁savršene -12.8828 +▁Moh -12.8828 +▁izlete -12.8828 +▁analyse -12.8829 +▁Meša -12.883 +purpose -12.8831 +▁razvijene -12.8832 +▁izdvajamo -12.8832 +found -12.8833 +▁Sullivan -12.8833 +▁analyzing -12.8833 +▁grandparents -12.8833 +▁siromaštvo -12.8833 +▁umbrella -12.8833 +▁Engleska -12.8833 +▁abdominal -12.8833 +▁osmišljava -12.8834 +vršnu -12.8834 +▁propagandn -12.8834 +▁ONLY -12.8834 +▁Određen -12.8834 +četa -12.8834 +▁privlačnost -12.8835 +▁Niz -12.8835 +▁blagajni -12.8835 +▁Srpskainfo -12.8835 +▁elektroenerget -12.8835 +▁Ancient -12.8835 +▁upozori -12.8835 +KLJUČ -12.8835 +▁dobrodošlicu -12.8836 +▁134 -12.8836 +▁zagrli -12.8836 +▁lagana -12.8836 +▁fusion -12.8837 +▁regulišu -12.8837 +▁opaža -12.8838 +▁kalibra -12.8838 +▁sudskim -12.8838 +NYSE -12.8839 +pressed -12.8839 +▁caj -12.8839 +▁spreče -12.884 +▁patološk -12.8841 +▁halfway -12.8842 +▁Reach -12.8843 +žar -12.8843 +▁crnogorska -12.8843 +▁Đinđića -12.8843 +▁neravn -12.8844 +▁Urednik -12.8844 +▁redak -12.8845 +▁inject -12.8845 +َّ -12.8845 +electric -12.8847 +▁griz -12.8847 +▁ozljede -12.8848 +▁jugo -12.8848 +▁francusko -12.8849 +▁otvaranjem -12.8849 +▁pathways -12.885 +▁vikendom -12.8851 +||+ -12.8851 +▁opted -12.8852 +▁prenošenje -12.8852 +▁prodavao -12.8853 +▁inspector -12.8854 +bijeli -12.8855 +▁emitovanje -12.8855 +▁provera -12.8856 +▁zombie -12.8856 +▁proizvo -12.8856 +▁Kontaktiraj -12.8857 +▁razmatranja -12.8858 +EVIĆ -12.8859 +▁belom -12.886 +▁Klop -12.886 +▁FAR -12.8862 +▁otklanjanje -12.8862 +personal -12.8862 +▁Direction -12.8863 +▁Ismet -12.8865 +▁konzumirati -12.8865 +▁svečanost -12.8865 +8,5 -12.8866 +Živ -12.8866 +▁profitira -12.8866 +бр -12.8867 +▁Ethics -12.8868 +▁accusation -12.8868 +▁depresija -12.8868 +▁efficacy -12.8868 +▁njujoršk -12.8868 +▁predizborne -12.8868 +▁Donosimo -12.8868 +▁Pogotovo -12.8868 +▁nastojanja -12.8868 +▁intelektualne -12.8868 +▁izrečena -12.8868 +▁Moskvu -12.8868 +▁nestrpljiv -12.8868 +▁inhabitants -12.8868 +▁izostanak -12.8868 +▁Edvard -12.8868 +▁osuđuju -12.8868 +▁sledećoj -12.8868 +▁Qatar -12.8868 +▁završne -12.8868 +▁|01 -12.8868 +▁Gilbert -12.8868 +▁poveri -12.8868 +▁Leather -12.8868 +▁dwell -12.8868 +▁slovenački -12.8868 +▁prekidač -12.8868 +▁username -12.8869 +▁produžetak -12.8869 +▁dokumentarac -12.8869 +▁epitet -12.887 +▁Heights -12.887 +▁rivi -12.887 +▁verovati -12.887 +▁payout -12.887 +▁Maksimal -12.887 +▁Martha -12.887 +▁raspoređeni -12.887 +▁stretched -12.887 +▁rastvara -12.8871 +▁manifestuje -12.8871 +▁skinuo -12.8872 +▁securely -12.8872 +▁listama -12.8873 +▁Hlad -12.8874 +▁lightning -12.8874 +▁palette -12.8875 +▁Warriors -12.8876 +▁prezir -12.8877 +▁6000 -12.8877 +▁alternativne -12.8878 +▁SRS -12.8878 +▁Asked -12.8878 +▁obići -12.8878 +▁20190 -12.8879 +clav -12.8879 +traktiv -12.8879 +Cat -12.8881 +▁Evolution -12.8881 +▁zatvaraju -12.8881 +▁dancers -12.8882 +▁Haven -12.8882 +▁civilno -12.8883 +▁Moss -12.8883 +5.0 -12.8884 +▁MIS -12.8884 +▁aligned -12.8884 +▁Nobel -12.8884 +▁suprotstavlja -12.8885 +▁Draško -12.8886 +▁novinarske -12.8886 +љив -12.8886 +▁dokazala -12.8887 +▁Movies -12.8888 +▁Pretpostavljam -12.8889 +▁Vej -12.8889 +▁drvn -12.889 +▁vraćamo -12.889 +▁lipid -12.8891 +▁Window -12.8892 +▁volela -12.8892 +ARE -12.8892 +▁tiket -12.8892 +.2014. -12.8893 +▁mare -12.8893 +▁smallest -12.8893 +▁Arsenala -12.8894 +▁Tarik -12.8895 +▁duva -12.8895 +▁champions -12.8897 +▁stems -12.8897 +volja -12.8897 +▁duvana -12.8897 +poljoprivrednici -12.8898 +▁osećati -12.8898 +▁komanda -12.8898 +▁vala -12.8899 +▁izrađeni -12.8899 +▁Profit -12.8901 +▁insect -12.8901 +ografiju -12.8901 +▁Knjige -12.8902 +▁Olympia -12.8902 +▁Procitaj -12.8902 +▁Thousand -12.8902 +▁doživjeli -12.8902 +▁prevalence -12.8902 +▁usaglašava -12.8902 +▁Liquid -12.8902 +▁likvidira -12.8902 +▁positioning -12.8902 +▁Queensland -12.8902 +▁seizure -12.8902 +▁illusion -12.8902 +▁breathtaking -12.8902 +▁swelling -12.8902 +▁Female -12.8902 +▁bubnjar -12.8902 +▁Desktop -12.8902 +dizajn -12.8902 +▁correspondence -12.8902 +▁DES -12.8902 +▁Indeks -12.8902 +▁praktički -12.8902 +▁naložio -12.8902 +▁Miralem -12.8902 +▁omladina -12.8902 +▁Borislav -12.8903 +▁Petersburg -12.8903 +▁ljulja -12.8903 +▁otkupi -12.8903 +full -12.8903 +▁odlučivati -12.8903 +▁žuta -12.8904 +▁sačekati -12.8904 +▁zadrže -12.8904 +▁villain -12.8905 +▁Njujorka -12.8905 +▁lonely -12.8905 +▁nemačka -12.8906 +▁exemption -12.8906 +David -12.8906 +▁induced -12.8907 +▁spram -12.8907 +▁Haw -12.8907 +▁Rešenje -12.8907 +▁2.7 -12.8908 +▁11:30 -12.8908 +▁pillar -12.8908 +▁kišu -12.8909 +▁sačuvao -12.8909 +▁Donna -12.8909 +▁vaginaln -12.891 +▁colonial -12.891 +Roman -12.8911 +▁Yankees -12.8911 +▁osmansk -12.8911 +▁deduction -12.8911 +▁Zahvaljujem -12.8912 +▁sprečili -12.8913 +▁viđenje -12.8913 +▁prihodima -12.8914 +▁Emili -12.8914 +▁Yale -12.8915 +▁sajtovima -12.8916 +▁magle -12.8916 +▁Thread -12.8916 +rgin -12.8917 +▁mitropolita -12.8918 +▁dugogodišnjeg -12.8919 +▁faks -12.8919 +▁geek -12.892 +▁nanošenja -12.892 +▁pričala -12.892 +sworth -12.8921 +▁OEM -12.8921 +▁2.6 -12.8921 +▁Dubaiju -12.8923 +patija -12.8923 +▁installment -12.8924 +▁ponudimo -12.8924 +▁startups -12.8924 +▁efektima -12.8924 +▁Promena -12.8925 +▁osloni -12.8925 +▁uporni -12.8925 +▁štede -12.8925 +nstvu -12.8925 +▁Gain -12.8926 +▁izgubilo -12.8927 +▁1945 -12.8927 +▁Lara -12.8927 +▁replicate -12.8927 +▁Ц -12.8927 +puštajući -12.8928 +▁niskom -12.8928 +▁fanovima -12.8929 +▁brojevima -12.893 +▁muških -12.8931 +▁parlamentarnim -12.8931 +pump -12.8931 +▁Četvrti -12.8933 +7.5 -12.8933 +▁upriličena -12.8933 +▁predavača -12.8933 +hhh -12.8934 +▁predlažu -12.8934 +▁isprobati -12.8934 +▁materijalni -12.8934 +▁axis -12.8935 +▁crnih -12.8935 +▁sexually -12.8935 +▁Turković -12.8935 +▁|04:30|| -12.8936 +▁Ottawa -12.8936 +▁Sljedeći -12.8936 +▁podstakne -12.8936 +▁potrajati -12.8936 +▁privredna -12.8936 +▁montaže -12.8936 +▁Bangkok -12.8936 +▁Crnogorci -12.8936 +▁Communist -12.8936 +▁Vizantij -12.8936 +▁barijera -12.8936 +▁mešovit -12.8936 +▁Nadležn -12.8936 +▁potvrđiva -12.8936 +▁Herald -12.8936 +▁Austro -12.8936 +▁kritizira -12.8936 +▁reorganizacije -12.8936 +▁famozn -12.8936 +▁Šifra -12.8936 +▁noviji -12.8936 +▁turtle -12.8937 +▁Bate -12.8937 +▁stajališta -12.8937 +▁Template -12.8937 +▁voter -12.8937 +▁Interactive -12.8937 +▁ounces -12.8937 +▁Rescue -12.8937 +▁panike -12.8938 +▁upoznavanja -12.8938 +▁procentu -12.8938 +▁vrhunska -12.8938 +▁pier -12.8938 +ODI -12.8939 +▁pravnik -12.894 +▁pištolja -12.894 +▁najšir -12.894 +▁izvela -12.894 +pamet -12.8941 +▁TW -12.8941 +▁rešila -12.8942 +▁freezing -12.8942 +TRE -12.8942 +▁McCain -12.8942 +▁trgovačko -12.8942 +▁pravcima -12.8942 +▁dozom -12.8943 +▁Frederick -12.8943 +▁boravili -12.8943 +▁primjenom -12.8943 +▁parkiran -12.8944 +▁Surf -12.8944 +▁Garage -12.8944 +▁opozicionih -12.8945 +гледа -12.8945 +▁izvodljiv -12.8945 +▁plut -12.8945 +▁governing -12.8946 +▁realizing -12.8946 +▁deonici -12.8946 +▁rizicima -12.8946 +▁PRIJE -12.8947 +▁Divine -12.8948 +▁torta -12.8949 +▁LIVE -12.8949 +▁oduševila -12.8949 +▁sprovedeno -12.895 +▁opštim -12.895 +▁izbornim -12.895 +reži -12.895 +Age -12.895 +▁otvorenost -12.8951 +▁troll -12.8951 +▁socially -12.8951 +▁straw -12.8951 +▁thermo -12.8953 +▁recipients -12.8953 +▁individualnih -12.8953 +ennial -12.8953 +▁Liverpula -12.8954 +DNA -12.8954 +Jovan -12.8954 +▁Begić -12.8954 +Kur -12.8955 +▁Moć -12.8957 +▁ubacite -12.8958 +▁povrijeđenih -12.8958 +SKOJ -12.8958 +▁gardening -12.8959 +▁Saše -12.8959 +▁operacijama -12.896 +▁niskih -12.896 +▁exclude -12.896 +▁povređenih -12.8961 +tekli -12.8961 +▁gradimo -12.8961 +▁178 -12.8961 +▁teroristički -12.8962 +▁automatizovan -12.8963 +▁centralnim -12.8963 +BAR -12.8963 +▁klasifikaci -12.8964 +▁ruler -12.8964 +ivne -12.8964 +▁puste -12.8965 +fuel -12.8965 +miks -12.8965 +nicki -12.8966 +tivity -12.8967 +tivnih -12.8968 +Cilj -12.8968 +пита -12.8969 +▁Frenk -12.8969 +▁zarazn -12.897 +▁Mihaila -12.897 +▁Affiliate -12.897 +▁Diabetes -12.897 +▁Ferdinand -12.897 +▁Metohiju -12.897 +▁Muhammad -12.897 +▁incorporating -12.897 +▁intermediate -12.897 +▁jugoslovenske -12.897 +▁književne -12.897 +▁neophodnu -12.897 +▁pamćenja -12.897 +▁Abstract -12.897 +▁Decision -12.897 +stankom -12.897 +▁Crnogorski -12.897 +▁Struktur -12.897 +▁odsustvu -12.897 +▁Cotton -12.897 +▁Svrha -12.897 +▁poduzetništva -12.897 +▁Dvojica -12.897 +▁jogurta -12.897 +▁sudjeluje -12.897 +▁Dejvis -12.8971 +▁obrisati -12.8971 +▁worthwhile -12.8971 +▁Geographic -12.8971 +▁Predsednica -12.8971 +▁vodostaj -12.8971 +▁dugačak -12.8971 +▁prisustvovalo -12.8971 +▁Koristeći -12.8971 +▁drustva -12.8972 +▁kućom -12.8972 +▁učinka -12.8972 +▁staništa -12.8972 +▁malobrojn -12.8972 +▁demonstracije -12.8972 +▁Obeća -12.8973 +▁strengthening -12.8973 +▁revizija -12.8973 +▁Mladosti -12.8973 +▁moz -12.8973 +▁prekinu -12.8974 +▁1923 -12.8974 +▁devil -12.8974 +▁Otvoreno -12.8974 +▁talentovani -12.8975 +▁Betty -12.8976 +▁cisto -12.8976 +▁tweets -12.8977 +▁ŠTO -12.8977 +▁CAD -12.8977 +▁regionalnoj -12.8977 +▁BIA -12.8978 +▁tablice -12.8978 +▁faint -12.8978 +▁ward -12.8978 +Bal -12.8978 +lord -12.8979 +hondr -12.8981 +▁prikazivanja -12.8981 +▁čvrsta -12.8981 +▁Simović -12.8981 +▁Slavica -12.8981 +-2017 -12.8981 +▁Sumnja -12.8982 +▁Kremlj -12.8983 +▁monitored -12.8984 +▁efektom -12.8984 +▁građanina -12.8985 +▁Fight -12.8985 +▁planinu -12.8986 +POR -12.8987 +▁Believe -12.8988 +▁snabdijeva -12.8989 +▁obveznik -12.8989 +▁asortimana -12.8989 +▁VREME -12.899 +▁Studije -12.899 +▁011/ -12.899 +▁Spor -12.8991 +planira -12.8991 +▁doubled -12.8991 +▁predali -12.8991 +vešće -12.8992 +crno -12.8993 +▁Pour -12.8993 +▁stečaju -12.8993 +▁ubijene -12.8994 +▁sleeves -12.8995 +▁mnogobrojni -12.8996 +▁Mitt -12.8996 +▁cows -12.8997 +▁mrav -12.8997 +▁vrhunskim -12.8997 +▁aktuelnih -12.8997 +▁questioning -12.8998 +▁Lug -12.8999 +▁specialize -12.8999 +▁zastoj -12.8999 +▁480 -12.9 +▁trkačk -12.9 +▁odigranih -12.9002 +▁pozadi -12.9003 +▁proudly -12.9003 +hopper -12.9003 +Zdrav -12.9004 +nasta -12.9004 +strel -12.9004 +country -12.9004 +▁ambulanti -12.9005 +▁pošiljke -12.9005 +▁restriktivn -12.9005 +▁uspješnu -12.9005 +▁рекао -12.9005 +▁Hispanic -12.9005 +▁clutch -12.9005 +▁examining -12.9005 +▁interakciju -12.9005 +▁razjasni -12.9005 +▁Quebec -12.9005 +▁bizarre -12.9005 +▁provjeru -12.9005 +▁pronađite -12.9005 +▁odozgo -12.9005 +▁Medojević -12.9005 +▁Sezona -12.9005 +▁discern -12.9005 +▁Predavač -12.9005 +▁slom -12.9005 +▁<< -12.9005 +▁trojke -12.9005 +▁drvena -12.9006 +▁sjajnog -12.9006 +105 -12.9006 +▁napredna -12.9007 +▁depressed -12.9007 +▁PRAVO -12.9007 +▁kafiću -12.9007 +▁naklonost -12.9007 +▁suvereno -12.9008 +illian -12.9009 +▁živu -12.9009 +▁aktivnim -12.9009 +▁skandalozn -12.9009 +▁Salem -12.9009 +▁komori -12.901 +▁Pompe -12.901 +▁plaću -12.9011 +▁Sadik -12.9012 +▁SUPER -12.9013 +1-5 -12.9013 +▁Drašković -12.9013 +▁alloy -12.9013 +▁nestvarn -12.9013 +▁srčan -12.9016 +▁pristupanja -12.9018 +▁Myth -12.9018 +▁hladnim -12.9019 +ICS -12.9019 +▁bogatog -12.902 +▁illustrations -12.9021 +▁razmera -12.9022 +▁со -12.9022 +▁analizirati -12.9022 +ĆU -12.9022 +ckoj -12.9022 +▁drveni -12.9022 +▁Saf -12.9022 +fb -12.9023 +▁emp -12.9024 +▁spajaju -12.9025 +▁zadržavaju -12.9025 +▁attribute -12.9026 +▁rastuće -12.9027 +▁štabu -12.9027 +▁podjeli -12.9028 +▁4% -12.9028 +▁downside -12.9028 +.2006. -12.9028 +▁Univerz -12.9029 +Log -12.9029 +▁scare -12.9029 +desno -12.9029 +▁zaključeno -12.903 +▁Miladin -12.903 +enza -12.903 +▁Мо -12.903 +▁Krunić -12.9032 +102 -12.9032 +▁najavljena -12.9033 +Igra -12.9033 +▁Effect -12.9035 +▁suživot -12.9035 +▁odličnoj -12.9036 +▁taxpayer -12.9036 +▁Claus -12.9036 +kljuc -12.9036 +▁Apsolutno -12.9037 +▁Uran -12.9037 +▁dvoru -12.9037 +▁ribolova -12.9037 +aaaa -12.9039 +▁Luther -12.9039 +▁Vatrogasn -12.9039 +▁pubertet -12.9039 +▁emocionalni -12.9039 +▁dijagonal -12.9039 +▁slikovit -12.9039 +▁Njezin -12.9039 +▁без -12.9039 +▁Stadion -12.9039 +▁nastavnog -12.904 +цен -12.904 +▁sagovornici -12.904 +▁Milija -12.904 +▁Počinje -12.904 +▁156 -12.904 +▁pograničn -12.904 +▁biblio -12.904 +▁Donjeck -12.904 +▁hurry -12.904 +▁tinejdžera -12.9041 +▁imunološki -12.9041 +▁tradicionalnu -12.9041 +▁Tennis -12.9041 +▁Predavanje -12.9041 +▁Haškog -12.9041 +▁postojali -12.9042 +▁bliskost -12.9042 +▁jednakosti -12.9042 +▁Maka -12.9042 +▁summon -12.9042 +▁cinka -12.9042 +▁razmjena -12.9043 +pier -12.9044 +▁utovar -12.9044 +▁oslanjaju -12.9044 +▁Spavać -12.9044 +▁Arabija -12.9045 +▁Knežev -12.9045 +▁rečenicu -12.9045 +saturated -12.9045 +▁Lečenje -12.9045 +▁Večernje -12.9045 +▁Rust -12.9046 +create -12.9047 +45) -12.9048 +▁saziva -12.9048 +1.4 -12.9048 +▁poene -12.9048 +▁Yard -12.9049 +▁predškolskog -12.9049 +▁funk -12.9049 +▁pasoša -12.905 +▁graduating -12.905 +▁Ekološk -12.905 +▁celine -12.905 +▁uvjerava -12.905 +▁vaccines -12.9052 +▁Slični -12.9052 +▁infrastrukturni -12.9053 +▁terrorists -12.9053 +▁Floridi -12.9053 +▁idejno -12.9053 +Moramo -12.9053 +▁9/11 -12.9054 +▁iranski -12.9055 +Over -12.9055 +▁NW -12.9055 +▁diskretn -12.9056 +▁koštao -12.9058 +veliko -12.9058 +▁Aida -12.9058 +▁kese -12.906 +Dže -12.906 +▁unošenje -12.906 +▁Povećan -12.9061 +▁pojavljivanje -12.9062 +▁rumen -12.9062 +▁formule -12.9063 +▁spoznaje -12.9063 +▁stalnih -12.9063 +▁medijskim -12.9064 +▁magnezijuma -12.9064 +▁TRU -12.9064 +luck -12.9065 +facing -12.9065 +STUP -12.9066 +▁greh -12.9066 +▁Sell -12.9066 +vidjeti -12.9067 +▁Integra -12.9069 +▁seckan -12.9071 +▁Waste -12.9071 +novog -12.9071 +▁Mach -12.9072 +▁scenariju -12.9072 +▁lepu -12.9072 +▁Privremen -12.9073 +▁adore -12.9073 +▁kupusa -12.9074 +/2012 -12.9074 +▁Srbijo -12.9074 +▁algoritam -12.9074 +▁kragujevačk -12.9074 +▁nezadovoljstva -12.9074 +▁osobne -12.9074 +▁ugođaj -12.9074 +▁Analyst -12.9074 +▁tjelesno -12.9074 +▁sigurnu -12.9074 +▁maksim -12.9074 +▁Vienna -12.9074 +▁profesija -12.9074 +▁Gabrijel -12.9074 +▁biljnog -12.9074 +▁balancing -12.9074 +▁flirt -12.9074 +▁Scholarship -12.9075 +▁podmornic -12.9075 +▁tkanine -12.9075 +▁Trinity -12.9075 +Mali -12.9076 +▁Četvrtak -12.9076 +▁manjinskih -12.9076 +▁Istraga -12.9076 +magnet -12.9076 +Any -12.9077 +▁Meso -12.9077 +-400 -12.9078 +▁Installation -12.9078 +▁Parlamentarn -12.9078 +NDER -12.9079 +▁archives -12.908 +▁Korona -12.908 +▁antibiotics -12.908 +bber -12.9081 +▁ostvarimo -12.9081 +▁Učini -12.9081 +▁podvig -12.9081 +▁obišl -12.9081 +rty -12.9081 +▁131 -12.9081 +▁dostavljaju -12.9082 +▁Koh -12.9082 +▁glasača -12.9083 +▁petoro -12.9083 +▁islamskog -12.9083 +▁surovo -12.9083 +▁poništava -12.9083 +▁Halid -12.9085 +888 -12.9085 +plikacije -12.9085 +▁dwelling -12.9085 +▁preporučljivo -12.9085 +▁uručena -12.9086 +||14 -12.9086 +▁pearl -12.9087 +activity -12.9087 +▁Birth -12.9087 +▁Bred -12.9088 +▁grupacija -12.9088 +▁herpes -12.9088 +▁brava -12.9089 +▁credentials -12.9089 +▁ispušta -12.9089 +▁Founded -12.9089 +▁HRK -12.9089 +▁stroja -12.9089 +▁oborio -12.909 +▁Pedro -12.909 +▁entitetu -12.909 +▁zatreba -12.909 +▁incoming -12.909 +Hy -12.9091 +▁Pull -12.9091 +Game -12.9091 +▁Directory -12.9091 +WAY -12.9093 +▁nemogućnost -12.9094 +▁dugih -12.9094 +▁MHz -12.9095 +▁slovenski -12.9096 +▁Monica -12.9097 +▁kancelarijsk -12.9098 +▁terasi -12.9098 +▁Taka -12.9098 +▁initiate -12.9099 +▁extensively -12.9099 +▁uposlenici -12.9099 +vezu -12.9099 +▁najljepši -12.9099 +▁primjenjiv -12.91 +▁ljeti -12.9101 +▁Nisi -12.9103 +▁proglašenja -12.9103 +▁Patrol -12.9104 +tolog -12.9105 +▁kućn -12.9105 +LIĆ -12.9106 +tičnog -12.9106 +▁Šej -12.9106 +▁Crn -12.9106 +▁developmental -12.9107 +▁Bijeli -12.9107 +▁pješak -12.9107 +stade -12.9107 +▁Nacionalnom -12.9108 +ль -12.9108 +Yeah -12.9108 +З -12.9108 +▁bombing -12.9109 +▁Timothy -12.9109 +▁calculator -12.9109 +▁tvrđava -12.9109 +▁Ramirez -12.9109 +▁kolekciji -12.9109 +▁zadržala -12.9109 +▁predsjednice -12.9109 +▁sagovornica -12.9109 +▁utilities -12.9109 +▁Samardžić -12.9109 +▁Mreža -12.9109 +▁najgledanij -12.9109 +▁suradnja -12.9109 +▁Spotify -12.9109 +▁Afrika -12.9109 +▁Identify -12.9109 +▁Jevtić -12.9109 +▁gastronomsk -12.9109 +▁Židov -12.9109 +▁vrhuncu -12.911 +▁Alžir -12.911 +▁Motorola -12.911 +▁PLUS -12.911 +▁skrb -12.911 +PAC -12.911 +▁Bottom -12.911 +ljetni -12.9111 +sarajevo -12.9111 +▁sipati -12.9111 +▁mjenja -12.9111 +▁advertisers -12.9111 +wink -12.9111 +▁mesom -12.9111 +▁Jackie -12.9113 +▁Lazara -12.9113 +DIO -12.9113 +▁Nitko -12.9113 +▁Reis -12.9113 +▁pokojnog -12.9114 +▁snažnije -12.9114 +▁olakšavaju -12.9115 +OVANJE -12.9115 +▁specijalna -12.9117 +▁Šap -12.9117 +▁Putnik -12.9118 +▁tenants -12.9118 +кри -12.9118 +iranu -12.9118 +Show -12.9119 +▁bradu -12.9119 +▁podnesu -12.9119 +▁kritikuje -12.912 +▁spon -12.912 +▁poistov -12.9121 +▁Chronicle -12.9121 +▁Pravnog -12.9121 +▁bolan -12.9122 +▁noticeable -12.9122 +▁Из -12.9123 +vrati -12.9123 +▁Španac -12.9124 +▁sindroma -12.9124 +▁12.000 -12.9124 +▁nišan -12.9124 +▁opisi -12.9124 +▁okolnim -12.9125 +▁puštena -12.9125 +▁oružane -12.9125 +▁Trst -12.9125 +▁osiguravaju -12.9126 +▁cenovnik -12.9126 +▁Hrista -12.9126 +▁NM -12.9126 +▁pozicioniran -12.9126 +▁FRA -12.9126 +ddling -12.9126 +▁IDE -12.9127 +▁skrenuo -12.9127 +▁Pitanja -12.9127 +▁službena -12.9127 +▁omiljenog -12.9128 +▁Apelaciono -12.9128 +▁memorijsk -12.9129 +Gal -12.9129 +▁korištenju -12.9129 +▁psihologa -12.9131 +▁kalcij -12.9132 +earth -12.9132 +pisati -12.9133 +▁organskih -12.9133 +▁edukativni -12.9134 +▁prodajnim -12.9134 +▁listove -12.9134 +▁Policijska -12.9135 +сла -12.9135 +▁turističkom -12.9136 +▁Fuel -12.9136 +SDP -12.9136 +▁pokušaje -12.9136 +▁klinci -12.9136 +▁Polako -12.9137 +▁napadne -12.9137 +EĆA -12.9137 +▁letovanje -12.9139 +▁novorođenče -12.9139 +▁destruktiv -12.914 +hotel -12.9141 +▁uzimate -12.9141 +▁komunicirate -12.9141 +▁GRE -12.9141 +▁assumption -12.9142 +▁practitioner -12.9142 +bec -12.9142 +Download -12.9143 +▁kraćem -12.9143 +▁ocenila -12.9143 +Pad -12.9143 +zeta -12.9143 +neur -12.9144 +▁Lagumdžij -12.9144 +▁bateriju -12.9144 +▁humanitarna -12.9144 +▁kilometre -12.9144 +▁koncipiran -12.9144 +▁sankcionisan -12.9144 +▁Sanchez -12.9144 +▁Cabinet -12.9144 +▁caregiver -12.9144 +▁kršćani -12.9144 +▁siblings -12.9144 +▁psychologist -12.9144 +▁naslijeđe -12.9144 +▁srebrni -12.9144 +▁kulturom -12.9144 +▁metabolic -12.9144 +▁Likewise -12.9144 +▁krilima -12.9144 +▁Defence -12.9144 +▁zvuci -12.9145 +▁pamučn -12.9145 +▁sumnjiči -12.9145 +▁devizno -12.9145 +▁verovali -12.9146 +▁vlagu -12.9146 +praši -12.9147 +lough -12.9147 +▁voljeli -12.9147 +▁gotta -12.9147 +▁spelling -12.9147 +▁zelenilo -12.9147 +▁medijskom -12.9148 +▁utrku -12.9148 +▁ospori -12.9148 +▁ustanka -12.9148 +▁strateških -12.9148 +▁mračni -12.9148 +▁lakta -12.9148 +▁alternativ -12.9149 +▁hranljivih -12.9149 +▁rublja -12.915 +▁digestivn -12.915 +▁esencijalni -12.915 +▁informacionih -12.9151 +▁400.000 -12.9151 +▁međusobne -12.9152 +▁BG -12.9152 +▁troubled -12.9152 +▁redovan -12.9153 +▁dežurn -12.9153 +▁GOL -12.9153 +▁Coco -12.9154 +▁displaying -12.9154 +▁blage -12.9154 +disc -12.9155 +scribing -12.9156 +▁Ramić -12.9159 +▁intact -12.916 +Ivan -12.916 +▁torrent -12.9161 +▁Epic -12.9162 +▁switches -12.9162 +▁dodiru -12.9163 +▁venčanje -12.9164 +▁srp -12.9164 +▁litar -12.9164 +▁strahuju -12.9165 +▁sivi -12.9165 +NIC -12.9166 +▁Scal -12.9166 +▁Object -12.9167 +▁pridružila -12.9167 +▁bolni -12.9167 +▁psihijatri -12.9167 +ERE -12.9169 +kakvi -12.9169 +▁prikupljeni -12.9169 +▁potpisani -12.917 +▁4.2 -12.917 +▁izuzetna -12.917 +▁kozmetički -12.917 +▁ус -12.9171 +Sur -12.9171 +proc -12.9172 +Press -12.9172 +/2009 -12.9172 +▁skriveni -12.9173 +▁kune -12.9173 +▁PON -12.9173 +▁linen -12.9174 +▁proziv -12.9174 +▁odlučujući -12.9175 +▁ubrzanje -12.9175 +▁climbed -12.9175 +Äi -12.9176 +▁scholarships -12.9176 +▁resting -12.9176 +▁maslaca -12.9177 +▁dostavljanje -12.9178 +▁pročitali -12.9179 +▁adekvatna -12.9179 +▁eksploatacije -12.9179 +▁inteligenciju -12.9179 +▁provincial -12.9179 +▁quantitative -12.9179 +▁wilderness -12.9179 +▁instrukcije -12.9179 +▁rođaci -12.9179 +▁squash -12.9179 +▁sadrzaj -12.9179 +▁oženio -12.9179 +▁fixtures -12.918 +▁Beatles -12.918 +▁sidewalk -12.9181 +▁stolarija -12.9181 +▁Determin -12.9181 +▁branilac -12.9181 +▁udarcem -12.9182 +▁spokoj -12.9182 +▁prestaju -12.9183 +Preporod -12.9183 +▁explicitly -12.9184 +▁Petrovac -12.9184 +▁Fiber -12.9185 +▁hated -12.9185 +▁vaga -12.9186 +▁zmija -12.9186 +gotov -12.9186 +▁desperately -12.9186 +▁Niste -12.9187 +▁travu -12.9187 +▁navelo -12.9187 +plaćeni -12.9188 +▁Vođ -12.9188 +žbi -12.9189 +▁hroničnih -12.919 +▁HIT -12.9191 +▁staje -12.9192 +▁roasted -12.9193 +▁ocijenjen -12.9193 +▁UPS -12.9193 +▁Selection -12.9194 +▁korova -12.9194 +▁kongresa -12.9194 +▁savršenu -12.9195 +▁Experts -12.9197 +▁elegantno -12.9197 +▁ANA -12.9198 +trick -12.9198 +▁smemo -12.9198 +SION -12.9198 +▁frajer -12.92 +▁sedmog -12.92 +▁206 -12.92 +▁izboriti -12.9201 +▁krovn -12.9201 +klapa -12.9201 +želi -12.9202 +!« -12.9202 +▁Pravn -12.9203 +▁raspr -12.9203 +▁Brett -12.9203 +▁komercijalno -12.9203 +-1) -12.9204 +▁preduzetničk -12.9205 +▁halal -12.9205 +▁upitan -12.9205 +▁izborili -12.9206 +▁zdraviji -12.9206 +▁odstupanja -12.9206 +▁Kafa -12.9207 +▁KAD -12.9208 +▁arhitekte -12.9208 +▁explicit -12.9209 +▁Katal -12.921 +▁Izlaz -12.9211 +▁keš -12.9212 +▁zapalio -12.9212 +▁Nikolu -12.9212 +▁Quest -12.9212 +▁interpreted -12.9212 +▁posrednika -12.9213 +resistant -12.9214 +▁Whilst -12.9214 +▁energenata -12.9214 +▁Kiseljak -12.9214 +▁argentinsk -12.9214 +▁Palilul -12.9214 +▁pretrpel -12.9214 +▁pesticide -12.9214 +▁svjesna -12.9214 +▁Shannon -12.9214 +▁bureau -12.9215 +▁Vietnamese -12.9215 +▁Paradise -12.9215 +▁tura -12.9215 +=0 -12.9215 +▁Gavrilović -12.9215 +▁zlatna -12.9215 +▁unconscious -12.9215 +▁fotke -12.9215 +▁skull -12.9215 +▁sfere -12.9215 +▁Colour -12.9216 +▁kilometraža -12.9216 +▁MJ -12.9216 +▁Karadžića -12.9216 +Vlada -12.9216 +▁dodijeljena -12.9216 +▁gonjen -12.9216 +▁nabavljen -12.9217 +▁dokumentaciji -12.9218 +▁svojstvima -12.9218 +▁elektronskom -12.9218 +hodžić -12.9219 +Info -12.9219 +▁uhićen -12.9219 +lung -12.922 +▁hapšen -12.9221 +▁projektovanje -12.9221 +▁odmak -12.9222 +▁Adis -12.9222 +▁$0. -12.9223 +▁Atletiko -12.9223 +agent -12.9224 +▁Rebel -12.9224 +▁odsjek -12.9224 +▁accompanying -12.9225 +▁investicijama -12.9225 +▁sakriven -12.9225 +▁Avganistanu -12.9225 +▁protjera -12.9226 +▁zaustavili -12.9226 +▁APR -12.9226 +▁bošnjačkih -12.9227 +▁7.000 -12.9228 +▁drukčije -12.9229 +▁sadly -12.9229 +▁kavu -12.923 +OSTI -12.923 +▁grlu -12.9231 +▁dometa -12.9231 +GN -12.9232 +▁vladika -12.9232 +▁randomly -12.9233 +▁dogovorio -12.9235 +▁nevolje -12.9235 +▁|11 -12.9236 +▁autorima -12.9236 +▁celokup -12.9236 +▁prekršio -12.9237 +▁polaznicima -12.9237 +▁istinsko -12.9237 +▁Andrije -12.9238 +▁Staln -12.9239 +▁Grk -12.9239 +Hol -12.9241 +▁legitimno -12.9241 +▁Saveti -12.9241 +▁kolovoz -12.9242 +▁oduzme -12.9242 +▁Reb -12.9242 +▁pustili -12.9242 +static -12.9243 +▁garantujemo -12.9243 +▁obrazovani -12.9243 +▁fled -12.9244 +▁NOR -12.9244 +ometar -12.9245 +▁tribal -12.9246 +▁Francusko -12.9246 +blue -12.9247 +▁она -12.9247 +▁procesuiran -12.9249 +▁Fiorentin -12.9249 +▁Municipal -12.9249 +▁carbohydrate -12.9249 +▁edukaciji -12.9249 +▁familije -12.9249 +▁opstanka -12.9249 +▁privilegija -12.9249 +▁raskrsnice -12.9249 +▁stimulus -12.9249 +▁vijećnici -12.9249 +▁zloupotrebu -12.9249 +▁pojašnjen -12.925 +▁trojice -12.925 +▁zaslužan -12.925 +▁tjelesni -12.925 +▁popravke -12.925 +▁trčanja -12.925 +▁maturant -12.925 +▁Buenos -12.925 +▁transfuzi -12.925 +▁Prosječn -12.925 +▁preostala -12.925 +▁dostiže -12.925 +▁srećno -12.925 +▁udoban -12.925 +▁kulturološk -12.925 +▁selective -12.925 +▁partition -12.925 +▁silama -12.925 +▁devotion -12.9251 +▁terorizam -12.9251 +cry -12.9251 +▁Vraća -12.9251 +▁Driving -12.9252 +Learn -12.9252 +▁neformalno -12.9252 +▁Pula -12.9252 +▁optimum -12.9253 +▁japanske -12.9253 +▁Popularni -12.9253 +▁waterfall -12.9253 +▁susretima -12.9254 +▁chili -12.9254 +▁Massage -12.9254 +▁nastanjen -12.9255 +rište -12.9255 +▁poneki -12.9256 +▁Noćn -12.9257 +▁favorable -12.9257 +▁dodatke -12.9258 +▁osjećaje -12.9258 +▁Pike -12.9258 +▁biljni -12.9259 +▁Dešava -12.9259 +▁faul -12.926 +▁opšta -12.9261 +▁Kliničkom -12.9261 +▁rešavaju -12.9262 +▁requesting -12.9262 +▁ispunjenje -12.9263 +▁merc -12.9263 +▁termination -12.9263 +▁raskoš -12.9263 +▁Semir -12.9264 +▁Prijatelj -12.9264 +▁manipulacija -12.9264 +▁kupovn -12.9265 +distri -12.9266 +▁Njihovo -12.9266 +▁inovativnih -12.9267 +▁razmatrati -12.9267 +▁Fighter -12.9267 +jednik -12.9268 +etnici -12.9268 +▁Height -12.9268 +▁Javor -12.9268 +▁gornjeg -12.9269 +▁hijaluronsk -12.9269 +▁primećen -12.927 +▁dostupnosti -12.9272 +▁sadnje -12.9272 +▁gradnji -12.9273 +▁Regionalni -12.9273 +▁lest -12.9274 +▁Researchers -12.9275 +▁uočiti -12.9275 +▁sakriti -12.9275 +▁policijska -12.9276 +▁molekul -12.9277 +VJET -12.9277 +▁Timber -12.9277 +▁položio -12.9278 +▁sitnica -12.9279 +▁nametnul -12.928 +▁skulptura -12.928 +▁flooding -12.928 +▁izbornik -12.928 +▁posuđe -12.9282 +▁ancestors -12.9282 +▁braćo -12.9283 +▁Piter -12.9283 +/2017 -12.9284 +▁Midwest -12.9284 +▁opštih -12.9284 +▁Dobil -12.9285 +ה -12.9285 +▁Minneapolis -12.9285 +▁komšiluk -12.9285 +▁preservation -12.9285 +▁relevance -12.9285 +▁srednjoškolci -12.9285 +▁vocabulary -12.9285 +▁istodobno -12.9285 +▁tišini -12.9285 +▁9:30 -12.9285 +▁dvocifren -12.9285 +▁aluminijuma -12.9285 +▁najbitniji -12.9285 +▁prepričava -12.9285 +▁uštedu -12.9285 +▁nabavci -12.9285 +▁napamet -12.9285 +▁5:30 -12.9285 +▁Vasiljević -12.9285 +▁berze -12.9286 +▁gubitkom -12.9286 +▁nemilosrdn -12.9286 +▁Northeast -12.9286 +▁Submit -12.9286 +▁opštinskog -12.9286 +▁један -12.9286 +intelektual -12.9286 +▁prikupljeno -12.9286 +Year -12.9287 +▁Kodeks -12.9287 +▁accountant -12.9287 +general -12.9288 +▁snižava -12.9288 +▁kolicima -12.9288 +▁pobjeći -12.9288 +▁discard -12.9288 +▁Insider -12.9288 +▁Posebnu -12.929 +▁kokoš -12.9291 +ати -12.9291 +▁putera -12.9291 +▁antifašističk -12.9292 +▁odlučivanje -12.9293 +▁Medicinskog -12.9293 ++2 -12.9293 +▁držeći -12.9293 +▁1-0 -12.9294 +Gene -12.9294 +▁djelovanju -12.9294 +▁memorija -12.9294 +▁Sloveniju -12.9295 +▁grčevi -12.9295 +▁Rajko -12.9295 +Avaz -12.9296 +▁donijet -12.9296 +▁Contest -12.9296 +▁kopije -12.9296 +nfused -12.9297 +▁152 -12.9297 +▁muzičkim -12.9297 +▁crate -12.9297 +▁1917 -12.9297 +stepeni -12.9297 +▁kružni -12.9298 +▁candid -12.9298 +▁umetničkog -12.9298 +▁povećanog -12.9299 +▁evropsko -12.93 +▁ugovorima -12.93 +prak -12.93 +ćelijsk -12.9301 +▁sumira -12.9301 +▁1915 -12.9302 +▁Misija -12.9302 +budi -12.9305 +▁vinogradar -12.9305 +▁Keri -12.9306 +three -12.9306 +rži -12.9308 +▁roofing -12.9309 +▁poslodavcima -12.9309 +TIĆ -12.9309 +▁sveštenika -12.931 +▁Mića -12.9312 +▁recap -12.9312 +finansira -12.9312 +▁dublji -12.9313 +▁voćem -12.9314 +▁Lik -12.9314 +ometric -12.9314 +▁uobičajen -12.9315 +▁Savezn -12.9315 +▁Guests -12.9316 +metra -12.9316 +▁postova -12.9316 +▁transforming -12.9318 +▁Milutinović -12.9318 +140 -12.9318 +▁promišlja -12.932 +▁Požarevcu -12.9321 +▁critique -12.9321 +▁orijentacije -12.9321 +▁resilience -12.9321 +▁zajedništva -12.9321 +▁Abbey -12.9321 +▁Activities -12.9321 +▁Behavior -12.9321 +▁Identitet -12.9321 +▁Tomorrow -12.9321 +▁arguably -12.9321 +▁cocaine -12.9321 +▁hlađenja -12.9321 +▁infectious -12.9321 +▁Usluga -12.9321 +▁gitaru -12.9321 +▁multitude -12.9321 +▁pirinča -12.9321 +▁maneuver -12.9321 +▁3.6 -12.9321 +▁direktnu -12.9321 +▁ukrajinskog -12.9321 +▁cherish -12.9321 +▁predelima -12.9321 +▁arhitekturu -12.9321 +▁najvećom -12.9321 +▁lezi -12.9321 +▁početne -12.9321 +▁očekivanjima -12.9321 +▁succeeded -12.9321 +▁rukometaš -12.9321 +▁relied -12.9322 +▁pojedinosti -12.9322 +▁požuri -12.9322 +▁Infant -12.9322 +ljubi -12.9322 +▁molekularn -12.9323 +SIS -12.9323 +▁Resolution -12.9323 +▁krave -12.9323 +ости -12.9323 +▁cig -12.9323 +▁priključe -12.9324 +▁ulogom -12.9324 +▁ukrao -12.9324 +▁željenu -12.9325 +▁Politički -12.9325 +▁studentski -12.9325 +▁tačni -12.9325 +shift -12.9325 +▁slavery -12.9326 +▁upotrebljiv -12.9327 +▁kosmičk -12.9327 +muni -12.9328 +▁Ĉ -12.9328 +▁Mug -12.9328 +▁litijum -12.9328 +▁Nezavisno -12.9329 +▁avionsk -12.9329 +▁vreli -12.9329 +▁grend -12.933 +▁Recep -12.933 +▁takmiče -12.933 +kroz -12.9331 +▁OSTA -12.9331 +▁gospodarski -12.9331 +Pay -12.9331 +▁Employees -12.9331 +▁proveden -12.9332 +▁cigarette -12.9333 +109 -12.9333 +▁lošiji -12.9334 +▁invasive -12.9334 +▁2.9 -12.9334 +▁Saobraćaj -12.9334 +OGA -12.9336 +▁Kipar -12.9336 +▁francuskih -12.9336 +▁izabranici -12.9337 +цију -12.9337 +▁zahvatio -12.9337 +▁lakse -12.9338 +▁Wade -12.9338 +▁downward -12.9339 +▁specijalnu -12.9339 +104 -12.9339 +▁advertisements -12.9339 +1-4 -12.934 +▁idući -12.934 +kamp -12.934 +▁Lastly -12.9341 +▁izgrađeni -12.9341 +sourcing -12.9341 +▁headset -12.9341 +mikro -12.9342 +▁kub -12.9343 +▁Dodge -12.9344 +▁Fern -12.9344 +weed -12.9346 +▁Anđeli -12.9346 +▁vodovoda -12.9346 +▁zbornik -12.9346 +ских -12.9347 +▁veto -12.9347 +▁socijalnoj -12.9349 +ordinate -12.935 +▁kilometar -12.935 +▁rushing -12.9351 +▁ekonomist -12.9351 +minutn -12.9352 +▁slobodnim -12.9352 +▁zagrevanje -12.9353 +▁ATV -12.9353 +▁kucn -12.9354 +▁ради -12.9355 +▁Pravda -12.9355 +▁najavljeni -12.9355 +litarski -12.9355 +▁CZ -12.9355 +▁stilova -12.9356 +▁Norveškoj -12.9356 +▁Portuguese -12.9356 +▁Sustainable -12.9356 +▁depresiju -12.9356 +▁kompliment -12.9356 +▁mještana -12.9356 +▁nadoknadu -12.9356 +▁nedostatkom -12.9356 +▁revoluciju -12.9356 +▁wrestling -12.9356 +▁Calgary -12.9356 +▁najdraži -12.9356 +▁praksom -12.9356 +▁Prizren -12.9356 +▁produkcijsk -12.9356 +▁tijelima -12.9356 +▁švicarsk -12.9356 +▁bivšu -12.9356 +▁Električn -12.9356 +South -12.9356 +▁obsession -12.9357 +▁ekologije -12.9357 +▁prestanu -12.9357 +najčitanije -12.9357 +▁aukciji -12.9357 +▁probije -12.9357 +▁spinning -12.9358 +▁flies -12.9358 +▁decay -12.9358 +▁fellowship -12.9358 +▁crank -12.9358 +▁događalo -12.9358 +▁kazališta -12.9358 +▁ležaja -12.9358 +▁Few -12.9359 +▁Obratit -12.9359 +▁sahrani -12.936 +lecommunications -12.936 +▁zainteresovanim -12.936 +sistent -12.9361 +▁Marian -12.9361 +▁Ženevi -12.9361 +▁Ви -12.9362 +▁respekt -12.9362 +▁Poklon -12.9363 +▁životinjskog -12.9364 +▁Thinking -12.9364 +iralo -12.9365 +▁purse -12.9365 +▁medved -12.9365 +shirts -12.9366 +▁proving -12.9366 +▁uzvrat -12.9366 +▁rokovi -12.9366 +touch -12.9367 +▁dodeljena -12.9368 +▁sedmom -12.9369 +▁Gender -12.9369 +▁Hank -12.937 +▁obrve -12.9371 +▁60.000 -12.9371 +▁mašte -12.9373 +▁Hadž -12.9374 +▁ROM -12.9374 +▁oblaci -12.9374 +▁izvršenju -12.9375 +▁Suz -12.9376 +▁mašinama -12.9376 +▁razmisliti -12.9376 +▁sluzb -12.9378 +▁obrisan -12.9379 +▁кор -12.9379 +▁rotate -12.938 +stočna -12.9381 +▁providn -12.9382 +▁podijelio -12.9382 +▁Deposit -12.9383 +▁počasni -12.9383 +▁commerce -12.9383 +▁izbegavati -12.9384 +▁ustane -12.9385 +▁zaključan -12.9385 +▁vitamini -12.9385 +▁zastupljeni -12.9386 +▁Sabora -12.9386 +▁Santos -12.9387 +▁selfie -12.9389 +▁zabilježio -12.9389 +Name -12.9389 +▁uhapšeno -12.9389 +▁spriječili -12.9389 +▁pravilnika -12.9389 +▁iznenađeni -12.939 +▁vozačima -12.939 +gold -12.939 +сам -12.9391 +▁Monitora -12.9391 +▁Fotograf -12.9392 +▁Tv -12.9392 +▁Contemporary -12.9392 +▁assortment -12.9392 +▁maštovit -12.9392 +▁omladinske -12.9392 +▁očekivala -12.9392 +▁pirinač -12.9392 +▁recognizing -12.9392 +▁Britanska -12.9392 +▁Province -12.9392 +▁craving -12.9392 +▁nephew -12.9392 +▁komaraca -12.9392 +▁nastojati -12.9392 +▁galeriju -12.9392 +▁oznakom -12.9392 +▁gitare -12.9392 +.03.2023 -12.9392 +▁Celzijusa -12.9392 +▁NPR -12.9392 +▁pomirenje -12.9392 +▁trgovinama -12.9392 +▁poređenje -12.9392 +▁singular -12.9392 +▁katalonsk -12.9393 +▁(2008) -12.9393 +▁Filozofskom -12.9393 +▁okidač -12.9393 +▁Rac -12.9393 +▁odgođen -12.9393 +▁vrhunsku -12.9394 +▁GDPR -12.9394 +▁boundary -12.9394 +▁endometri -12.9394 +▁gondol -12.9394 +discover -12.9394 +▁assessing -12.9395 +▁blokadu -12.9395 +▁1/1 -12.9395 +▁uspostavljena -12.9396 +▁kreč -12.9397 +نَ -12.9397 +▁validity -12.9397 +▁Castro -12.9398 +isse -12.9399 +▁Poslanici -12.94 +lage -12.9401 +terorističk -12.9401 +▁gospodarstvo -12.9401 +▁krovu -12.9401 +▁istorijsko -12.9401 +▁skeptic -12.9401 +▁plasiraju -12.9401 +▁konstatovan -12.9401 +▁Vojno -12.9401 +▁nult -12.9401 +▁код -12.9402 +▁Buyer -12.9402 +▁saznanje -12.9402 +▁Radnja -12.9403 +krov -12.9403 +▁deda -12.9403 +▁Profil -12.9403 +cyclo -12.9403 +▁elektronsko -12.9404 +▁suvereniteta -12.9404 +▁THC -12.9406 +▁sirovi -12.9406 +laznih -12.9408 +▁uživala -12.9408 +▁bankarski -12.9409 +▁Nemamo -12.941 +▁stamben -12.9411 +▁conveniently -12.9411 +godišnjakinj -12.9411 +▁ogromnog -12.9411 +125 -12.9412 +▁propali -12.9412 +▁Known -12.9412 +ði -12.9413 +▁parisk -12.9414 +▁provjerite -12.9414 +▁živela -12.9414 +▁Perth -12.9415 +▁metallic -12.9415 +▁prilagođeni -12.9415 +▁Begović -12.9416 +▁levoj -12.9416 +▁Nivo -12.9417 +trix -12.9419 +▁oluje -12.9419 +metanje -12.942 +▁brakes -12.942 +▁automatizacij -12.9421 +▁jednakost -12.9422 +▁reprezent -12.9422 +▁KRAJ -12.9423 +▁mesne -12.9424 +▁zagrebačkom -12.9425 +▁Cancel -12.9425 +▁udovic -12.9425 +njska -12.9426 +▁suvremeni -12.9427 +▁weave -12.9427 +▁Buddhist -12.9428 +▁Hybrid -12.9428 +▁Makedoniju -12.9428 +▁Peninsula -12.9428 +▁Slovačkoj -12.9428 +▁ceremonija -12.9428 +▁financijske -12.9428 +▁grmljavinom -12.9428 +▁luggage -12.9428 +▁obustave -12.9428 +▁ozlijeđen -12.9428 +▁cultivate -12.9428 +▁snajper -12.9428 +▁tendencija -12.9428 +▁articulate -12.9428 +▁Rainbow -12.9428 +кључ -12.9428 +▁postojale -12.9428 +▁proizlazi -12.9428 +dynamic -12.9428 +▁Speech -12.9428 +▁glumce -12.9428 +▁jezički -12.9428 +▁dostojanstva -12.9429 +▁Viagra -12.9429 +▁Desi -12.9429 +▁manipulacije -12.9429 +▁serijom -12.9429 +▁trajne -12.9429 +▁diaper -12.9429 +▁temeljem -12.9429 +▁Strategija -12.943 +▁razumemo -12.943 +racun -12.943 +▁opštu -12.943 +▁quiz -12.9431 +▁strašni -12.9432 +▁kantonalni -12.9432 +▁popeo -12.9432 +▁Miljana -12.9433 +▁ljetnj -12.9433 +▁Caval -12.9433 +▁kontinentu -12.9434 +8.5 -12.9434 +▁natječaja -12.9435 +stveno -12.9435 +pominjući -12.9436 +▁Glavno -12.9437 +▁socijalnom -12.9437 +▁bratom -12.9438 +▁pažljivi -12.9438 +▁Qual -12.9439 +▁cert -12.944 +▁maloletni -12.9441 +▁izjednačio -12.9441 +▁typing -12.9441 +▁Najavljen -12.9441 +▁liječe -12.9441 +▁Gospodara -12.9442 +odnosno -12.9442 +▁215 -12.9442 +зу -12.9443 +▁Žil -12.9444 +▁Gorom -12.9444 +ISS -12.9447 +▁Dubo -12.9447 +▁dotle -12.9448 +▁Troškovi -12.9448 +▁167 -12.9448 +▁rođenih -12.9448 +▁Bileć -12.9448 +▁omoguće -12.9449 +▁otkrivanju -12.9449 +▁osjećanja -12.9451 +▁spreme -12.9452 +▁SPF -12.9452 +▁stvorenja -12.9452 +▁pogledam -12.9452 +2-3 -12.9453 +▁prekinuta -12.9453 +yang -12.9453 +▁proslavili -12.9454 +▁1928 -12.9455 +▁Benz -12.9455 +▁registrira -12.9455 +▁Uspešn -12.9455 +▁abused -12.9458 +▁okolina -12.9459 +EAT -12.946 +▁prijateljem -12.946 +▁lajkova -12.946 +▁Shark -12.9461 +gledali -12.9461 +NjE -12.9461 +▁dozvolili -12.9462 +cognition -12.9462 +▁neovisno -12.9462 +▁knjižn -12.9462 +▁paznj -12.9462 +▁Strat -12.9463 +▁upravnika -12.9463 +except -12.9463 +▁Današnji -12.9463 +menski -12.9464 +▁zaljubljenik -12.9464 +ς -12.9464 +џ -12.9464 +▁Fenerbahče -12.9464 +▁VUČIĆ -12.9464 +▁oglašivač -12.9464 +▁pantalone -12.9464 +▁pozorišne -12.9464 +▁subsidiary -12.9464 +▁čovečanstva -12.9464 +▁prolonged -12.9464 +▁penzijsko -12.9464 +▁znanstvenici -12.9464 +▁Televizija -12.9464 +▁trgovinsko -12.9464 +▁zasebno -12.9464 +▁sazreva -12.9464 +▁Broadcast -12.9464 +▁zadnjoj -12.9464 +▁žaljenje -12.9464 +▁Kolektiv -12.9464 +▁3.3 -12.9464 +▁Vrhunsk -12.9464 +▁bahato -12.9465 +▁Cristian -12.9465 +Tuzla -12.9465 +▁integriran -12.9465 +▁pravce -12.9465 +▁Koncept -12.9466 +▁Quinn -12.9466 +▁Mektić -12.9466 +▁povećaju -12.9466 +▁Derby -12.9466 +▁arhitektura -12.9466 +▁traženja -12.9467 +ðu -12.9467 +švedsk -12.9467 +род -12.9468 +ambur -12.9468 +filtration -12.9468 +▁lanaca -12.9469 +▁Detail -12.9469 +▁ponovni -12.947 +▁otpornosti -12.947 +phag -12.9471 +▁Tehnički -12.9472 +▁OUR -12.9472 +▁vanil -12.9473 +▁hd -12.9473 +▁rebound -12.9473 +▁rog -12.9474 +▁jame -12.9474 +▁Odnosno -12.9475 +▁Christie -12.9476 +▁energent -12.9476 +hercegovačkog -12.9476 +▁žica -12.9476 +▁navikama -12.9476 +▁tiganj -12.9477 +▁Macron -12.9477 +.09|| -12.9478 +▁Mogli -12.9479 +▁Nagradu -12.9481 +▁trgovac -12.9481 +1.8 -12.9481 +▁pretnju -12.9481 +112 -12.9482 +▁pušač -12.9482 +3.000 -12.9483 +▁2,7 -12.9483 +▁postupiti -12.9484 +▁cardio -12.9484 +▁Forward -12.9486 +▁Cerić -12.9486 +▁Radionica -12.9486 +јући -12.9486 +▁Posjet -12.9487 +▁Istre -12.9487 +▁trese -12.9487 +Stop -12.9487 +▁zanimalo -12.9488 +▁1300 -12.9488 +▁spavao -12.9488 +▁Alta -12.9489 +▁accompany -12.9489 +▁zabilježi -12.949 +▁2.8 -12.9492 +▁osvojile -12.9492 +▁dupe -12.9493 +▁driveway -12.9493 +Here -12.9493 +SCO -12.9494 +▁Lean -12.9494 +▁izrez -12.9495 +▁Kulturni -12.9496 +ništvu -12.9496 +▁napunjen -12.9497 +▁Playing -12.9499 +▁Križ -12.9499 +▁odbiti -12.95 +▁gospodinu -12.95 +▁renting -12.95 +▁komadu -12.95 +▁dojm -12.95 +▁Upozorenje -12.95 +▁improper -12.95 +▁isplaćuje -12.95 +▁ljubazni -12.95 +▁velocity -12.95 +▁година -12.95 +▁Approach -12.95 +▁gljivica -12.95 +▁hurdle -12.95 +▁Kabinet -12.95 +▁pursuan -12.95 +▁Sofiji -12.95 +▁Uzmite -12.9501 +▁(2011) -12.9501 +something -12.9501 +▁Gym -12.9501 +turist -12.9502 +▁Comedy -12.9502 +insomnia -12.9502 +čiš -12.9502 +▁motivaciju -12.9502 +▁Sexual -12.9502 +▁organizacijsk -12.9503 +▁energetskog -12.9503 +▁gland -12.9504 +▁decoration -12.9504 +▁uticao -12.9505 +▁rudarsk -12.9505 +▁sreo -12.9505 +▁Noćenje -12.9505 +▁odgovarajuća -12.9506 +Market -12.9507 +▁intimni -12.9508 +▁Morrison -12.9508 +▁Halil -12.9508 +▁loft -12.9508 +▁Blade -12.951 +▁operativnim -12.951 +▁Ljubitelji -12.951 +▁branili -12.951 +▁svojevrsn -12.9511 +▁Jelić -12.9511 +▁MLB -12.9512 +ienne -12.9512 +▁predah -12.9513 +тре -12.9513 +▁Biro -12.9513 +▁procjenama -12.9515 +▁Patriot -12.9516 +▁stanara -12.9519 +ICU -12.9519 +▁Spend -12.9519 +▁uvedene -12.9519 +▁duct -12.952 +▁Buying -12.9521 +▁HOW -12.9521 +▁noseći -12.9523 +▁Idea -12.9523 +▁Feng -12.9523 +▁milijarder -12.9523 +▁rokovima -12.9524 +trap -12.9524 +2:30 -12.9524 +▁KV -12.9526 +▁Vojni -12.9526 +▁podesiv -12.9527 +▁crevn -12.9527 +▁vodovodne -12.9529 +ovačke -12.9529 +▁najranije -12.953 +▁7.5 -12.953 +▁igrajući -12.953 +▁nezaposleni -12.953 +▁stealing -12.9531 +▁osmin -12.9531 +▁Slide -12.9531 +▁wholly -12.9532 +▁bankomat -12.9533 +ulema -12.9534 +▁preporučio -12.9534 +▁haub -12.9534 +▁enlarge -12.9536 +▁systematic -12.9537 +Ж -12.9537 +▁Nebojše -12.9537 +▁Zrinjskog -12.9537 +▁antibodies -12.9537 +▁english -12.9537 +▁pritisnite -12.9537 +▁sarajevske -12.9537 +▁spokesperson -12.9537 +▁Physics -12.9537 +▁nurture -12.9537 +▁pečurk -12.9537 +▁temptation -12.9537 +▁Ponovno -12.9537 +▁austrijske -12.9537 +▁stereotype -12.9537 +▁Britanac -12.9537 +▁backwards -12.9537 +▁orphan -12.9537 +▁jugoslavensk -12.9537 +▁čoveč -12.9537 +▁bankarstvo -12.9538 +▁zaokret -12.9538 +▁Anastas -12.9538 +▁hottest -12.9539 +▁likvidnost -12.9539 +▁technician -12.9539 +▁ključeve -12.9539 +▁garner -12.9539 +▁predstoji -12.9539 +▁Flame -12.954 +▁izgubljeni -12.9541 +▁nadmoć -12.9542 +▁Tesle -12.9542 +▁spustio -12.9542 +boks -12.9542 +▁negirao -12.9543 +▁PJ -12.9543 +▁MOD -12.9544 +▁najpopularnije -12.9544 +▁asteroid -12.9544 +▁ljekarsk -12.9544 +▁čaršij -12.9544 +▁Pojas -12.9545 +▁jod -12.9545 +▁izneti -12.9546 +▁metodi -12.9547 +▁kontrolno -12.9547 +▁Ranko -12.9548 +▁KRE -12.9549 +▁Brush -12.9549 +▁Ability -12.9549 +▁Anita -12.955 +▁posmrtni -12.955 +▁FSS -12.9552 +godinu -12.9552 +▁radikalno -12.9552 +▁forsira -12.9553 +▁sklone -12.9553 +▁ženskom -12.9554 +▁pripisa -12.9555 +▁Naomi -12.9556 +▁obrazovnim -12.9557 +▁cimeta -12.9557 +▁ovdašnji -12.9558 +prvi -12.9558 +▁Zvezdin -12.9559 +POS -12.956 +JEN -12.956 +▁odborničk -12.956 +▁komuniciraju -12.9561 +▁Smatramo -12.9561 +ERN -12.9561 +▁lobi -12.9561 +▁postavljanju -12.9562 +▁župn -12.9562 +July -12.9563 +▁Equal -12.9564 +▁absorbed -12.9564 +▁lijepu -12.9564 +▁čuvenom -12.9565 +ском -12.9566 +▁besmisleno -12.9567 +tool -12.9567 +SLA -12.9568 +quer -12.9569 +▁Očekujem -12.9569 +▁osteo -12.9569 +Jul -12.957 +▁osetljivi -12.9571 +▁istaknula -12.9571 +▁Rolling -12.9571 +˝ -12.9573 +▁hurricane -12.9573 +▁hydraulic -12.9573 +▁neverovatne -12.9573 +▁paviljon -12.9573 +▁simpatije -12.9573 +▁Mercury -12.9573 +▁Tužitelj -12.9573 +▁ignorira -12.9573 +▁obscure -12.9573 +▁Tribune -12.9573 +▁pogotovu -12.9573 +▁masovnog -12.9573 +▁liquor -12.9573 +▁zaslužili -12.9573 +▁Reagan -12.9573 +▁Dosadašnj -12.9573 +▁izvršna -12.9573 +▁retrogradn -12.9574 +▁kernel -12.9574 +▁Brak -12.9574 +▁Općini -12.9574 +▁znojenje -12.9574 +▁buffet -12.9575 +▁oštar -12.9575 +▁Colonel -12.9575 +▁Brief -12.9575 +▁postignuća -12.9575 +▁reconstruction -12.9575 +▁wow -12.9576 +▁Mačv -12.9576 +▁Mint -12.9577 +▁Ratka -12.9577 +▁Rasim -12.9579 +▁Bjelica -12.9579 +▁Dario -12.958 +izovao -12.958 +▁Polazak -12.9581 +plin -12.9581 +žine -12.9581 +▁Predstavnik -12.9581 +▁saobraćajnice -12.9581 +▁heel -12.9582 +▁packaged -12.9582 +▁011 -12.9582 +▁configured -12.9582 +▁Randy -12.9582 +▁thrill -12.9582 +▁daleke -12.9583 +▁Mišković -12.9584 +▁cuff -12.9584 +▁illnesses -12.9585 +MED -12.9585 +▁Koko -12.9586 +▁primijetio -12.9587 +▁Inace -12.9587 +▁kron -12.9587 +▁Leotar -12.9587 +▁grejn -12.9588 +▁Tonight -12.9589 +thank -12.9589 +▁Cookies -12.959 +▁optimized -12.959 +rezati -12.959 +▁Srednji -12.9591 +▁autobusu -12.9591 +▁tragova -12.9591 +▁osjećao -12.9591 +▁Hole -12.9591 +▁Maxim -12.9591 +kivan -12.9591 +stajala -12.9592 +▁snimaju -12.9592 +▁employs -12.9592 +dovoljnu -12.9593 +▁donaciju -12.9594 +▁ekspres -12.9594 +▁štampanom -12.9595 +Sara -12.9595 +▁kineskim -12.9596 +▁turska -12.9597 +▁višnj -12.9597 +mony -12.96 +Pink -12.96 +▁letovi -12.9601 +PAR -12.9602 +▁običnim -12.9602 +▁konvert -12.9602 +▁Rut -12.9602 +▁sticky -12.9602 +▁kontam -12.9602 +▁različitog -12.9603 +tively -12.9603 +vizantijsk -12.9604 +▁pomenutim -12.9604 +▁Mining -12.9605 +▁Archive -12.9605 +▁nastanku -12.9605 +▁VAL -12.9605 +▁kompjutersk -12.9606 +/04 -12.9606 +▁smera -12.9606 +▁Tegeltija -12.9606 +digital -12.9608 +▁zauzme -12.9609 +▁predstavljanju -12.9609 +Hrvat -12.9609 +▁kamatne -12.961 +▁Advantage -12.961 +▁Families -12.961 +▁Helsinki -12.961 +▁Izdvajamo -12.961 +▁Komunikacija -12.961 +▁Lecture -12.961 +▁Temperatura -12.961 +▁Ujedinjenim -12.961 +▁fleksibilni -12.961 +▁peripheral -12.961 +▁perspektivn -12.961 +▁rezoluciji -12.961 +▁живот -12.961 +▁eskalira -12.961 +▁izraelske -12.961 +▁literacy -12.961 +▁pripoveda -12.961 +▁uznemiri -12.961 +▁Inspektor -12.961 +▁bezbedan -12.961 +▁investiciono -12.961 +▁pobegne -12.961 +▁ukaz -12.961 +▁limuzin -12.961 +▁Indianapolis -12.961 +▁raspisuje -12.961 +▁sjedištu -12.9611 +English -12.9611 +▁razumijevanju -12.9611 +▁allocation -12.9611 +px -12.9611 +▁suradnik -12.9611 +opšti -12.9611 +▁Independence -12.9611 +▁Extend -12.9611 +▁potpora -12.9611 +escence -12.9612 +▁uključivati -12.9612 +▁šoku -12.9612 +▁Broker -12.9612 +▁višedecenijsk -12.9613 +▁ATM -12.9613 +▁očara -12.9613 +▁Export -12.9613 +▁Example -12.9613 +▁smanjivanje -12.9613 +▁Various -12.9613 +▁Entoni -12.9614 +▁factories -12.9614 +iziranje -12.9614 +▁SBK -12.9614 +▁pitamo -12.9614 +Među -12.9615 +▁pleme -12.9615 +deb -12.9616 +4.9 -12.9616 +vsi -12.9616 +▁izvesni -12.9616 +▁drustvo -12.9616 +▁Zvorniku -12.9617 +▁RNA -12.9619 +▁bendovi -12.9619 +FBiH -12.962 +▁Iskoristit -12.962 +▁teritorijalni -12.962 +▁redovnoj -12.9621 +▁školskom -12.9622 +▁Plod -12.9622 +ASH -12.9622 +▁Hawaiian -12.9624 +▁računima -12.9625 +▁cracked -12.9625 +▁Might -12.9626 +nosni -12.9626 +Kap -12.9626 +▁Vasilije -12.9627 +IES -12.9628 +▁odobravanje -12.9628 +pržen -12.9628 +▁paziti -12.9629 +▁njezinu -12.9629 +▁complained -12.9629 +▁dosadašnjeg -12.963 +plug -12.9631 +▁poslijepodne -12.9631 +election -12.9632 +▁predložili -12.9634 +▁avione -12.9634 +уче -12.9634 +▁pokrajina -12.9634 +▁Bile -12.9636 +▁krivični -12.9636 +▁serijski -12.9637 +▁nastavnicima -12.9637 +▁oboleli -12.9637 +bies -12.9637 +▁WEB -12.9638 +▁Leading -12.9638 +▁Sul -12.9639 +▁pojesti -12.9639 +vojčic -12.9639 +ČU -12.9641 +▁obavješten -12.9642 +music -12.9643 +▁specijalizovani -12.9644 +▁jedanput -12.9644 +▁tvojim -12.9644 +wald -12.9645 +▁Saudijska -12.9645 +▁isključeno -12.9646 +▁oduševljava -12.9647 +▁sarajevskog -12.9647 +▁zapanjujuć -12.9647 +▁Milinković -12.9647 +▁cooperate -12.9647 +▁povuku -12.9647 +▁nadahnut -12.9647 +▁obnaša -12.9647 +▁narkotika -12.9647 +▁forefront -12.9647 +Global -12.9648 +August -12.9648 +▁Nedjelj -12.9648 +▁Pojačan -12.9648 +▁Simeon -12.9648 +▁zablista -12.9648 +▁Teodora -12.9649 +blokira -12.9649 +▁Objavio -12.9649 +▁elimination -12.9649 +▁ukinuta -12.9649 +▁pistol -12.9649 +▁ogromnom -12.9649 +▁Njemački -12.965 +▁acclaimed -12.965 +▁beogradskoj -12.9651 +▁šale -12.9651 +▁uneti -12.9652 +▁Leeds -12.9652 +gledala -12.9653 +▁obveznici -12.9653 +align -12.9653 +вет -12.9653 +published -12.9653 +▁Barton -12.9654 +LEN -12.9654 +▁Nišk -12.9654 +▁Poslovnik -12.9654 +▁stimuli -12.9655 +ел -12.9656 +▁teškoćama -12.9656 +histori -12.9656 +▁čir -12.9658 +▁moralne -12.9659 +▁exceeding -12.9659 +▁bilježe -12.966 +smart -12.966 +▁posvećenosti -12.966 +▁Dimensions -12.9661 +▁preživljavanje -12.9661 +▁Bild -12.9661 +▁Forever -12.9661 +skaču -12.9662 +▁interim -12.9663 +▁svetskoj -12.9663 +▁Nijedan -12.9664 +▁saslušanja -12.9664 +▁šokiran -12.9665 +▁Medicinski -12.9665 +▁PCI -12.9666 +▁neural -12.9666 +VALA -12.9667 +▁Tutin -12.9667 +▁Distrikta -12.9669 +▁engineered -12.9669 +▁pridobi -12.967 +▁uništio -12.967 +▁Telo -12.967 +clean -12.967 +▁uživamo -12.9671 +▁pregledom -12.9671 +▁cistern -12.9671 +videti -12.9672 +▁Izet -12.9672 +чно -12.9673 +Milan -12.9674 +▁Lend -12.9674 +▁Espreso -12.9675 +UKE -12.9675 +▁sudskom -12.9675 +Mak -12.9676 +▁sadašnjih -12.9676 +loške -12.9676 +▁izbaciti -12.9676 +▁inserted -12.9676 +▁gline -12.9677 +▁xxx -12.9678 +▁imenovanju -12.9678 +▁đumbira -12.9678 +▁Dodikov -12.9679 +▁Osigura -12.9679 +desk -12.968 +▁kobn -12.968 +▁vrući -12.9681 +▁izbjegavati -12.9681 +▁školskim -12.9682 +▁ukupnoj -12.9682 +▁broth -12.9682 +▁umorni -12.9683 +▁Nasuprot -12.9684 +▁brochure -12.9684 +▁šargarepe -12.9684 +▁Industrijsk -12.9684 +▁simplify -12.9684 +▁SERVICE -12.9684 +▁futsal -12.9684 +▁blagostanje -12.9684 +▁evapora -12.9684 +▁pronounced -12.9684 +▁postojalo -12.9684 +▁Humanitarn -12.9684 +▁harbor -12.9684 +LIC -12.9684 +▁torque -12.9684 +▁Crisis -12.9684 +▁obveze -12.9684 +▁akademiju -12.9685 +White -12.9685 +▁ZAKON -12.9685 +▁plunge -12.9685 +▁timove -12.9685 +channel -12.9685 +▁pokazujući -12.9686 +respect -12.9686 +▁PRVI -12.9686 +▁Lunch -12.9686 +▁anketi -12.9687 +▁pećina -12.9688 +▁obroci -12.9688 +▁Falcon -12.9688 +▁kćerku -12.9688 +▁laboratorijski -12.9688 +▁britanskih -12.9689 +▁lyric -12.9689 +▁postignutih -12.9689 +210 -12.969 +▁jungle -12.969 +▁neradn -12.969 +raniju -12.969 +▁Đakov -12.969 +▁BIOS -12.969 +AZA -12.9691 +▁povećani -12.9691 +▁povredio -12.9692 +▁Function -12.9692 +▁Vukov -12.9693 +▁objasnim -12.9694 +▁Maribor -12.9695 +▁blowing -12.9695 +nstveno -12.9695 +▁digitalno -12.9695 +▁digitalnu -12.9696 +▁Stub -12.9696 +▁playlist -12.9696 +▁raspoloženju -12.9697 +▁katastrofalno -12.9697 +▁dodaci -12.9699 +▁Briga -12.9701 +ELJ -12.9703 +▁poroda -12.9703 +▁Miler -12.9703 +▁angažovanja -12.9703 +ddled -12.9704 +▁Siv -12.9704 +▁skinut -12.9704 +protiv -12.9704 +▁povratnika -12.9704 +▁plovila -12.9705 +▁muškoj -12.9705 +seća -12.9705 +▁infamous -12.9705 +▁privremenog -12.9705 +▁mistaken -12.9705 +▁skijanje -12.9705 +▁Reply -12.9706 +▁Edgar -12.9706 +▁lobira -12.9706 +љен -12.9707 +▁korišćeni -12.971 +/2015 -12.971 +▁stavki -12.971 +▁kaznenog -12.971 +▁Laden -12.9711 +▁upisala -12.9712 +▁inovacijama -12.9712 +zioni -12.9713 +▁hemato -12.9713 +đer -12.9715 +▁Oluj -12.9715 +Phil -12.9716 +▁Pepe -12.9716 +▁najstarija -12.9717 +▁Zaječara -12.9718 +▁Stamp -12.9718 +▁Thorn -12.9718 +▁psihijatrijsk -12.9718 +▁1890 -12.9719 +▁compile -12.9719 +▁obod -12.9719 +▁Implement -12.9719 +▁kicking -12.9719 +▁Želi -12.9719 +▁Hmm -12.972 +▁turnirima -12.972 +ín -12.972 +▁Osumnjičeni -12.9721 +Ö -12.9721 +▁Menadžer -12.9721 +▁exquisite -12.9721 +▁implied -12.9721 +▁incidence -12.9721 +▁kolekcionar -12.9721 +▁kombinacijom -12.9721 +▁prilagode -12.9721 +▁sproveli -12.9721 +▁prebivališta -12.9721 +▁dvokrevetn -12.9721 +▁perfume -12.9721 +▁reaktor -12.9721 +▁pravnika -12.9721 +▁capturing -12.9721 +▁charities -12.9721 +▁divizije -12.9721 +▁(2007) -12.9721 +▁Purple -12.9721 +▁zastavom -12.9721 +▁chlor -12.9722 +▁wiring -12.9722 +▁bunker -12.9722 +▁Worldwide -12.9722 +▁komentarisao -12.9723 +▁counterparts -12.9723 +▁kapitalizma -12.9723 +▁vertikalno -12.9723 +▁stanovima -12.9724 +▁reakcijama -12.9724 +▁otkud -12.9725 +▁najmlađ -12.9725 +lijeta -12.9725 +▁chuck -12.9725 +▁cardboard -12.9725 +▁kvadratu -12.9726 +▁izveštaji -12.9726 +ljoj -12.9726 +▁baciti -12.9727 +▁wellbeing -12.9729 +spring -12.9729 +▁kosmos -12.9729 +▁Vrt -12.9729 +▁bookmark -12.973 +▁definite -12.973 +▁podnesen -12.973 +▁ostavljanje -12.973 +▁princess -12.9731 +▁razmotren -12.9731 +▁odgovarajućeg -12.9732 +▁defect -12.9733 +▁zagrebačkog -12.9733 +▁ograničene -12.9734 +istraživa -12.9735 +▁0,4 -12.9735 +▁osećao -12.9735 +▁Sef -12.9735 +▁ljubimaca -12.9736 +▁dodatka -12.9736 +▁4.1 -12.9738 +▁organise -12.9738 +▁balkanski -12.9738 +▁Critical -12.9738 +▁slavnih -12.9739 +ljavaju -12.9739 +▁Europskog -12.974 +▁ničega -12.974 +▁osjecaj -12.974 +arity -12.9741 +puh -12.9741 +▁13:00 -12.9742 +▁odličnog -12.9742 +▁brace -12.9743 +chat -12.9744 +▁Catch -12.9744 +▁namjenjen -12.9745 +▁20.00 -12.9745 +▁Kuvajt -12.9747 +▁albansko -12.9748 +▁kompozitora -12.9748 +▁honesty -12.9748 +▁lažnim -12.9749 +▁141 -12.9749 +Ann -12.9749 +local -12.975 +ažur -12.975 +▁trendy -12.975 +colored -12.975 +▁Vaga -12.9751 +▁predviđenih -12.9751 +▁2-0 -12.9753 +▁otisak -12.9753 +▁isprava -12.9753 +▁ispituje -12.9754 +socij -12.9755 +▁popunjavanje -12.9755 +▁pojednostavljen -12.9755 +▁teammates -12.9756 +punjen -12.9756 +руж -12.9756 +▁Drži -12.9756 +▁strukturama -12.9758 +ة -12.9758 +▁Dozvoljen -12.9758 +▁UPDATE -12.9758 +▁allergies -12.9758 +kult -12.9758 +▁doručka -12.9758 +▁parametre -12.9758 +▁Noble -12.9758 +▁Krema -12.9758 +▁modifikovan -12.9758 +▁Garcia -12.9758 +▁gamble -12.9758 +▁guiding -12.9758 +▁Spurs -12.9758 +▁Background -12.9758 +▁digestive -12.9758 +▁Otuda -12.9759 +▁nadređen -12.9759 +▁Matrix -12.9759 +▁Ст -12.9759 +▁potrage -12.9759 +▁transformaciju -12.9759 +▁culminat -12.9759 +▁KOJE -12.976 +ređivati -12.976 +▁kursevi -12.976 +▁naviku -12.976 +▁carine -12.9761 +▁sedmicu -12.9762 +▁komedije -12.9762 +▁adaptira -12.9762 +▁štampanje -12.9762 +▁rejection -12.9762 +▁dobrodošlice -12.9762 +▁astme -12.9762 +▁informativnog -12.9764 +▁provedbe -12.9764 +TVOR -12.9764 +▁vlastitoj -12.9765 +▁zaraznih -12.9765 +▁vjenčanja -12.9766 +▁susjedne -12.9766 +▁mighty -12.9766 +▁unutarnjih -12.9766 +piši -12.9767 +▁pravedni -12.9767 +▁kompletnog -12.9768 +002 -12.9768 +▁Klinički -12.9768 +▁Prozor -12.9769 +▁rukava -12.9769 +▁Mesić -12.9769 +▁trošiti -12.977 +▁Nešić -12.977 +▁odlaskom -12.977 +▁SUN -12.977 +sort -12.977 +civil -12.9772 +▁Sally -12.9772 +▁Actor -12.9773 +▁osobnih -12.9773 +▁sanacija -12.9773 +▁saslušanje -12.9774 +▁Ružić -12.9774 +▁njege -12.9774 +▁blink -12.9775 +▁cista -12.9775 +▁sirove -12.9775 +▁četvrtoj -12.9775 +▁0.7 -12.9776 +▁ozljeda -12.9777 +prehensi -12.9777 +▁molio -12.9777 +||18 -12.9778 +▁distract -12.9778 +мент -12.9778 +vođa -12.9778 +▁monoton -12.978 +▁uzajamno -12.978 +▁digitalnim -12.9781 +▁nadoknaditi -12.9782 +▁zvučnik -12.9782 +▁tužen -12.9783 +▁Spir -12.9783 +▁porazgovara -12.9783 +▁rezervat -12.9784 +▁rekorder -12.9785 +▁Recommend -12.9785 +▁autoputu -12.9785 +loza -12.9786 +▁Italijani -12.9789 +▁nereda -12.9791 +▁Upoznajte -12.9791 +▁sjetiti -12.9791 +▁Predstavlja -12.9791 +MIT -12.9792 +▁sirovo -12.9792 +▁Crypto -12.9793 +EMENT -12.9794 +▁dvorac -12.9794 +▁boarding -12.9794 +‐ -12.9795 +▁Luxury -12.9795 +▁Religion -12.9795 +▁anticipation -12.9795 +▁electoral -12.9795 +▁frekvencija -12.9795 +▁italijanskom -12.9795 +▁kilometers -12.9795 +▁poljoprivreda -12.9795 +▁poremećen -12.9795 +▁agresiju -12.9795 +▁nekretninu -12.9795 +▁identičan -12.9795 +▁hemijske -12.9795 +▁katolički -12.9795 +▁identifikuje -12.9795 +▁infarkt -12.9795 +1995 -12.9795 +▁jackpot -12.9795 +▁coincide -12.9795 +▁pobednici -12.9795 +▁данас -12.9796 +▁koordinacije -12.9796 +▁Terapij -12.9796 +ол -12.9796 +▁Vukotić -12.9796 +▁Jezero -12.9796 +▁мора -12.9796 +▁boginja -12.9796 +▁hidrataciju -12.9796 +▁FIBA -12.9796 +▁suzbijanju -12.9796 +▁comfortably -12.9797 +▁Aviation -12.9797 +druzenje -12.9797 +▁grafičko -12.9797 +▁choir -12.9797 +▁festive -12.9797 +▁Krizni -12.9797 +WT -12.9797 +▁realiziran -12.9798 +▁putovao -12.9798 +▁logging -12.9798 +▁molbu -12.9798 +Prvo -12.9798 +▁kiosk -12.9798 +▁plague -12.9798 +▁Ljetn -12.9798 +▁Bijela -12.9798 +▁authentication -12.9798 +▁izvještajima -12.9799 +▁običaje -12.9799 +▁premature -12.98 +▁qualification -12.98 +▁stolovi -12.9801 +▁HER -12.9801 +KIĆ -12.9801 +▁poceo -12.9801 +▁Hercegov -12.9802 +▁uklanjanju -12.9802 +▁saobraćajnu -12.9802 +▁Primena -12.9802 +▁relying -12.9802 +▁kugli -12.9803 +▁oblači -12.9803 +▁Pogodn -12.9805 +▁podesi -12.9805 +▁riot -12.9805 +▁fraze -12.9805 +▁predanost -12.9806 +▁wc -12.9806 +раз -12.9806 +▁osetio -12.9807 +2024 -12.9807 +spostavilo -12.9807 +▁mečevi -12.9808 +▁Heath -12.9809 +▁Arapsk -12.9809 +▁Budžeta -12.9809 +▁Strike -12.981 +▁Growing -12.981 +ент -12.981 +▁ravnomerno -12.9811 +FW -12.9811 +▁kriterijumima -12.9812 +▁izraditi -12.9813 +што -12.9813 +▁zlatnih -12.9813 +▁redirect -12.9814 +▁IRA -12.9815 +▁Kombinacija -12.9815 +▁nedugo -12.9816 +▁Vlasnici -12.9816 +▁diktat -12.9817 +▁BEST -12.9818 +lbert -12.9818 +▁obeležila -12.9819 +▁Grave -12.9819 +▁trakt -12.9819 +rius -12.982 +ине -12.982 +ны -12.9821 +▁figuri -12.9821 +▁pucanja -12.9821 +▁nesigurnosti -12.9822 +vlaci -12.9822 +▁praised -12.9822 +▁književnih -12.9823 +▁udarce -12.9823 +▁procedurama -12.9823 +GRA -12.9823 +▁lowered -12.9824 +quote -12.9824 +ðen -12.9825 +▁pocne -12.9825 +▁slagali -12.9825 +▁Romania -12.9825 +▁višestruki -12.9825 +▁obožavaju -12.9826 +▁obeležio -12.9828 +▁insider -12.9828 +▁odlučile -12.9829 +▁najmlađih -12.983 +vrijedi -12.983 +▁pravosnažno -12.983 +▁recovering -12.9831 +▁Beba -12.9831 +▁differential -12.9831 +▁držimo -12.9831 +1-3 -12.9832 +▁autorskog -12.9832 +▁Starbucks -12.9833 +▁hendikep -12.9833 +▁neprikosnoven -12.9833 +▁Žepče -12.9833 +▁želucu -12.9833 +▁karakteristični -12.9833 +▁cupcake -12.9833 +▁Duraković -12.9833 +▁zamrzivač -12.9833 +▁Lindsay -12.9833 +▁Jedinstvo -12.9833 +▁tangible -12.9833 +▁tipično -12.9833 +▁Griffin -12.9833 +▁Beginning -12.9833 +▁Stephanie -12.9833 +▁indijski -12.9833 +▁concession -12.9833 +▁retard -12.9833 +▁Disorder -12.9833 +▁Fudbaler -12.9833 +▁utterly -12.9833 +▁topline -12.9833 +▁Aluminij -12.9833 +▁klasična -12.9833 +▁vrhunskom -12.9834 +▁malicious -12.9834 +▁HVAC -12.9834 +▁smrznut -12.9834 +▁kancerogen -12.9834 +▁znamenit -12.9835 +▁minimalni -12.9835 +▁derivative -12.9835 +▁makedonski -12.9836 +▁formulisan -12.9837 +▁istočnom -12.9837 +▁svečanom -12.9837 +▁korača -12.9837 +▁juriš -12.9839 +▁videćemo -12.9839 +▁Arkan -12.9839 +▁escaped -12.9839 +▁formally -12.9841 +▁zimskog -12.9841 +▁vlasnica -12.9842 +ljudi -12.9842 +▁inquire -12.9842 +▁mirovnog -12.9842 +▁firmom -12.9843 +▁subjected -12.9846 +▁duboku -12.9846 +▁TAS -12.9847 +▁palace -12.9848 +▁zvučnika -12.9848 +sjeći -12.9849 +▁riješio -12.9849 +vucite -12.985 +▁timeless -12.985 +▁Savjetu -12.985 +▁prikazao -12.985 +▁prećut -12.9851 +▁savjetnika -12.9851 +▁Kijeva -12.9851 +Mc -12.9851 +▁Venice -12.9852 +▁tekstura -12.9852 +▁listića -12.9853 +▁fulfilled -12.9853 +▁Kombi -12.9853 +▁duhovnog -12.9853 +▁listeners -12.9854 +▁životinjski -12.9855 +▁QU -12.9858 +▁pire -12.9859 +▁razvojnih -12.9864 +▁clamp -12.9865 +▁objavljujemo -12.9865 +про -12.9866 +▁satelita -12.9867 +▁tvrdnja -12.9867 +▁poštujemo -12.9867 +▁završite -12.9868 +▁brinete -12.9868 +▁justified -12.9869 +perdomaćin -12.987 +▁Defendant -12.987 +▁Nonetheless -12.987 +▁Vogošća -12.987 +▁comprehend -12.987 +▁diskriminaciju -12.987 +▁emancip -12.987 +▁emocionalne -12.987 +▁rokenrol -12.987 +▁četvrtfinala -12.987 +▁štetočina -12.987 +▁људи -12.987 +▁izvanredne -12.987 +▁masovna -12.987 +▁identifikaciju -12.987 +▁pobrinuti -12.987 +▁gasoline -12.987 +▁Poslednja -12.987 +▁waiver -12.987 +▁triangle -12.987 +▁Pavićević -12.987 +▁Jenkins -12.987 +▁Britanci -12.987 +▁izmjeni -12.9871 +▁pomenuo -12.9871 +▁držač -12.9871 +▁Jill -12.9871 +hercegovačko -12.9871 +▁uskrati -12.9871 +▁Klinike -12.9871 +▁večernje -12.9871 +▁vladavinu -12.9871 +▁spatial -12.9872 +▁ustavno -12.9872 +broji -12.9872 +▁disajni -12.9872 +▁shaping -12.9872 +ozbiljni -12.9872 +posebno -12.9872 +▁paravojn -12.9872 +▁scanner -12.9872 +▁Kanton -12.9873 +fruit -12.9873 +▁proteže -12.9873 +▁vršimo -12.9874 +▁SHOP -12.9874 +funk -12.9874 +▁priredio -12.9874 +▁Kalinić -12.9874 +▁judgement -12.9874 +▁gradsku -12.9875 +ljkom -12.9876 +▁povela -12.9876 +▁kruže -12.9876 +▁milenijum -12.9876 +▁310 -12.9877 +8|| -12.9877 +▁zarađuju -12.9877 +▁chatting -12.9878 +VIJE -12.9878 +abilni -12.988 +▁superstar -12.988 +▁ugljeni -12.9881 +raditi -12.9882 +▁pokušavala -12.9883 +▁154 -12.9883 +стави -12.9883 +▁beginner -12.9883 +▁pobožn -12.9885 +▁neznam -12.9886 +▁šahovsk -12.9886 +▁Representatives -12.9887 +učio -12.9887 +▁151 -12.9887 +▁poslušn -12.9887 +▁Matice -12.9888 +▁messy -12.9888 +▁crush -12.9889 +▁osigurana -12.9889 +▁Srpsko -12.989 +▁ograda -12.9891 +IRANJE -12.9892 +porn -12.9892 +▁angažiran -12.9892 +▁Peć -12.9892 +politik -12.9892 +▁storing -12.9893 +▁odbijanja -12.9893 +▁metalne -12.9893 +TIVE -12.9894 +▁odjeća -12.9895 +▁bout -12.9896 +▁citing -12.9896 +▁četvrtinu -12.9896 +▁Markov -12.9896 +rank -12.9898 +▁predavači -12.9898 +▁pridržavati -12.9898 +▁Zidan -12.9899 +▁stradala -12.9899 +▁uklonili -12.99 +▁klupski -12.99 +ђен -12.99 +▁specification -12.99 +▁poginulim -12.9902 +▁Nikolaj -12.9902 +stajati -12.9903 +ische -12.9904 +▁FILM -12.9904 +ERO -12.9905 +▁glut -12.9905 +▁incomplete -12.9906 +3-2 -12.9906 +▁creep -12.9907 +▁završenog -12.9907 +ε -12.9908 +▁Blvd -12.9908 +▁gospođi -12.9908 +▁inadequate -12.9908 +▁nuspojave -12.9908 +▁temperaturom -12.9908 +▁Penguin -12.9908 +▁ocjenjivan -12.9908 +▁vakuum -12.9908 +▁Najveće -12.9908 +▁Bennett -12.9908 +▁obesity -12.9908 +▁isprazni -12.9908 +kopča -12.9908 +▁katastarsk -12.9908 +▁mourn -12.9908 +▁preventivne -12.9908 +▁bullying -12.9908 +▁caramel -12.9908 +▁Pattern -12.9908 +▁gostujuće -12.9908 +▁nacionalizma -12.9909 +ljavanja -12.9909 +▁borovnice -12.9909 +▁grlića -12.9909 +▁trenutačno -12.991 +▁blizine -12.991 +International -12.991 +▁fenomenalno -12.991 +▁adjusting -12.991 +wish -12.991 +▁obuća -12.991 +▁guru -12.9911 +▁ŠKOL -12.9911 +▁termičk -12.9911 +▁deonica -12.9911 +▁thriller -12.9911 +▁6:00 -12.9911 +▁Glava -12.9911 +vremenu -12.9912 +THE -12.9913 +▁proxy -12.9913 +▁detailing -12.9914 +▁176 -12.9914 +▁tišina -12.9914 +▁Booking -12.9914 +▁Richardson -12.9914 +▁ridge -12.9915 +▁Spy -12.9915 +▁electron -12.9915 +,00| -12.9915 +▁usponu -12.9915 +3.0 -12.9916 +▁monet -12.9917 +▁iznajmi -12.9917 +▁bivaju -12.9917 +1.3 -12.9918 +▁overlooked -12.9918 +▁šaljemo -12.9919 +▁kreirao -12.992 +▁pairing -12.992 +▁pokušajima -12.9921 +▁Bač -12.9921 +▁Hladno -12.9921 +▁Saw -12.9922 +volje -12.9922 +▁DAY -12.9923 +▁izrekao -12.9924 +$1 -12.9925 +▁Shri -12.9925 +ONS -12.9925 +minira -12.9926 +struki -12.9926 +▁Embr -12.9927 +▁Kristal -12.9927 +▁upitala -12.9928 +▁rimskog -12.9929 +▁Anadolija -12.9929 +▁Maid -12.993 +▁Slatk -12.9932 +▁BUT -12.9933 +▁Ujedinjeno -12.9933 +▁vrede -12.9934 +▁jasnim -12.9934 +▁snimcima -12.9934 +▁aiming -12.9934 +▁Izvan -12.9934 +▁5-10 -12.9935 +▁Buzz -12.9935 +▁Njegoš -12.9937 +▁Processing -12.9937 +▁Podsjeća -12.9938 +1.6 -12.9938 +▁Hvar -12.9938 +▁osamdeset -12.9938 +▁proglašenje -12.9938 +▁340 -12.9939 +zuri -12.9939 +▁divna -12.9941 +▁šamar -12.9942 +▁književnog -12.9943 +▁aluminij -12.9943 +pravnog -12.9943 +▁respiratorn -12.9944 +▁sokovi -12.9944 +▁α -12.9945 +▁unuka -12.9945 +▁humanost -12.9945 +▁Bruxelles -12.9946 +▁Chemistry -12.9946 +▁Difference -12.9946 +▁Norwegian -12.9946 +▁Opportunity -12.9946 +▁akumulacij -12.9946 +▁atmosfersk -12.9946 +▁doprinesu -12.9946 +▁evakuisan -12.9946 +▁frizuru -12.9946 +▁najrazličitiji -12.9946 +▁neobične -12.9946 +▁reprezentativci -12.9946 +▁vulnerability -12.9946 +▁Stainless -12.9946 +▁Čedomir -12.9946 +▁MINISTAR -12.9946 +▁sensible -12.9946 +▁Božji -12.9946 +▁dijetu -12.9946 +▁нису -12.9946 +▁residency -12.9946 +▁7:6 -12.9946 +▁Hungary -12.9946 +▁nepogoda -12.9946 +▁Crnogorsko -12.9946 +▁Borjan -12.9946 +▁osvjetljen -12.9946 +▁21:00 -12.9946 +▁blackjack -12.9946 +▁konektor -12.9947 +▁poljubac -12.9947 +ош -12.9947 +▁praška -12.9947 +▁dopamin -12.9947 +▁naprimjer -12.9947 +▁Deutsche -12.9948 +▁Sastoji -12.9948 +google -12.9948 +▁stabilize -12.9948 +▁locker -12.9948 +▁promotivni -12.9948 +growing -12.9949 +▁tactical -12.9949 +▁Sherman -12.9949 +▁uređivačk -12.9951 +▁konkurentnost -12.9952 +▁ferry -12.9952 +▁procure -12.9952 +▁erect -12.9952 +▁napisana -12.9952 +▁calculation -12.9952 +▁poštar -12.9952 +▁dB -12.9953 +▁Kristen -12.9953 +▁Accounting -12.9953 +▁oslobođenje -12.9953 +▁učimo -12.9953 +▁sadašnjim -12.9953 +▁ubrizgava -12.9953 +beck -12.9954 +▁dostojan -12.9954 +▁žanra -12.9955 +▁dobivaju -12.9955 +▁ukusna -12.9956 +▁Roche -12.9956 +▁Marjan -12.9956 +▁proliv -12.9956 +▁ESP -12.9957 +KOV -12.9957 +▁prekinula -12.9958 +▁savremena -12.9959 +apple -12.9959 +▁Osnovan -12.9959 +▁krovom -12.9959 +▁akcentom -12.996 +▁revija -12.9961 +▁gospodo -12.9961 +▁inhabit -12.9961 +▁izvukli -12.9961 +▁erase -12.9963 +лан -12.9963 +▁Jared -12.9964 +▁pijanist -12.9965 +год -12.9966 +▁biografije -12.9966 +▁када -12.9968 +▁overlook -12.9968 +flex -12.9968 +▁Ober -12.9968 +EVER -12.9969 +▁Seth -12.9969 +▁playful -12.997 +▁izleči -12.9971 +▁uvjerljiv -12.9972 +▁divne -12.9972 +▁vlastito -12.9972 +funded -12.9972 +▁ubaciti -12.9972 +▁patika -12.9972 +▁Isak -12.9973 +▁pokolj -12.9973 +Univer -12.9973 +▁Fishing -12.9973 +▁offence -12.9973 +▁Hypo -12.9974 +▁mirna -12.9974 +ите -12.9974 +▁|18 -12.9975 +▁Rhe -12.9977 +▁borilačk -12.9978 +▁pokušamo -12.9979 +▁Pitam -12.998 +▁zahvaljujem -12.998 +▁predstavljeno -12.998 +............. -12.9981 +▁igračaka -12.9982 +▁Britaniju -12.9984 +▁Investigation -12.9984 +▁Peugeot -12.9984 +▁Tehnologija -12.9984 +▁blossom -12.9984 +▁compatibility -12.9984 +▁deklaracije -12.9984 +▁nepredvidiv -12.9984 +▁poglavlju -12.9984 +▁proizilazi -12.9984 +▁reflektor -12.9984 +▁rehabilitacije -12.9984 +▁slaughter -12.9984 +▁surviving -12.9984 +▁Komunističk -12.9984 +▁dekolte -12.9984 +▁ustvrdio -12.9984 +▁Producer -12.9984 +▁Sophie -12.9984 +▁Paunović -12.9984 +▁Gornjem -12.9984 +▁Basketball -12.9984 +▁Rukometaši -12.9984 +▁imenovao -12.9984 +▁Došlo -12.9984 +▁prosečne -12.9984 +▁Munich -12.9984 +rven -12.9984 +▁multiplayer -12.9984 +▁konstatovao -12.9984 +▁Fudbalsk -12.9985 +▁breakthrough -12.9985 +▁paušal -12.9985 +▁trošku -12.9985 +▁jugoistoku -12.9985 +▁komunista -12.9985 +▁Istaknut -12.9985 +▁vlašću -12.9985 +▁Pomenut -12.9985 +вод -12.9986 +▁fotka -12.9986 +▁realizacijom -12.9986 +osnivač -12.9986 +▁Naglašava -12.9988 +▁GW -12.9989 +▁džemper -12.9989 +GLEDAJ -12.9989 +▁Muk -12.999 +▁službenom -12.999 +nisu -12.999 +▁voćk -12.9991 +▁testified -12.9991 +▁Vukovara -12.9992 +8.0 -12.9992 +▁Appeals -12.9993 +focused -12.9993 +▁košar -12.9993 +▁discounted -12.9993 +▁pathogen -12.9993 +▁Desk -12.9994 +▁duhom -12.9994 +▁nadopun -12.9994 +▁Wendy -12.9994 +▁Novinari -12.9994 +▁stopama -12.9994 +društv -12.9995 +▁dislike -12.9995 +▁Odeljenj -12.9995 +▁kupcu -12.9995 +▁grit -12.9995 +▁VK -12.9995 +▁ovakvoj -12.9998 +▁Lepe -12.9998 +▁Milton -12.9998 +bok -12.9998 +▁hale -12.9998 +RADA -12.9999 +▁Grigor -12.9999 +quel -12.9999 +▁Miloševićev -12.9999 +▁kurir -13 +▁klinac -13.0001 +▁exceptionally -13.0002 +▁ušiju -13.0002 +▁ruralnog -13.0002 +▁primijetiti -13.0002 +▁širiti -13.0002 +▁obraćaju -13.0003 +▁ERP -13.0003 +rijev -13.0003 +▁dobijeni -13.0003 +▁weighing -13.0005 +▁Karte -13.0005 +▁udovolji -13.0006 +▁kalendarsk -13.0007 +▁obavestite -13.0007 +▁preživljava -13.0008 +▁flock -13.0008 +▁Clip -13.0008 +▁assemble -13.0009 +▁promašio -13.001 +RIK -13.0011 +▁Funding -13.0011 +▁rezervni -13.0012 +▁Stigl -13.0012 +▁izvlačenje -13.0012 +string -13.0012 +▁æemo -13.0013 +▁Akta -13.0013 +▁Fro -13.0014 +▁Istočnog -13.0014 +▁Popularno -13.0014 +▁sjeni -13.0015 +VOZ -13.0015 +▁uvezen -13.0015 +▁ondje -13.0015 +▁linkove -13.0016 +▁subjective -13.0016 +koše -13.0016 +▁mineralima -13.0016 +▁dorm -13.0017 +▁razgovaralo -13.0017 +▁obavestio -13.0018 +▁potrošiti -13.0019 +▁Ronalda -13.0019 +Franc -13.002 +▁malter -13.0021 +▁Lob -13.0021 +▁celulita -13.0021 +▁Džumhur -13.0022 +▁Featuring -13.0022 +▁Mohammed -13.0022 +▁administraciji -13.0022 +▁deterdžent -13.0022 +▁hidroelektrana -13.0022 +▁maturity -13.0022 +▁questionnaire -13.0022 +▁Sredinom -13.0022 +▁umrijeti -13.0022 +▁neprijatni -13.0022 +▁vršnjačk -13.0022 +▁kompetencija -13.0022 +▁civic -13.0022 +▁PowerPoint -13.0022 +▁državljanstva -13.0022 +▁Evangel -13.0022 +▁delikatn -13.0022 +▁Bedroom -13.0022 +▁antitela -13.0022 +▁osrednj -13.0022 +▁Lovćen -13.0023 +спе -13.0023 +▁opštinske -13.0023 +▁embryo -13.0023 +▁zahvaljujemo -13.0023 +▁Prayer -13.0023 +▁nastrojen -13.0024 +▁reproduction -13.0024 +▁dinam -13.0024 +▁Blind -13.0025 +▁hostile -13.0025 +▁diplomirao -13.0026 +Shirt -13.0026 +▁Sjedi -13.0026 +▁preserving -13.0027 +▁zrno -13.0027 +▁furnished -13.0027 +tagon -13.0028 +▁porodičnoj -13.0028 +▁registru -13.0028 +▁naručen -13.0028 +noseći -13.0029 +▁posada -13.0029 +govaranja -13.0031 +▁Repeat -13.0031 +▁jučerašnji -13.0032 +▁geographical -13.0033 +▁kliničke -13.0033 +Para -13.0034 +▁Trainer -13.0034 +▁Danish -13.0034 +▁kritici -13.0034 +▁salv -13.0034 +▁bacaju -13.0035 +▁Konz -13.0036 +▁obranu -13.0036 +profesional -13.0036 +rađa -13.0036 +ове -13.0037 +AMP -13.0037 +▁najznačajnij -13.0037 +▁tezu -13.0037 +mišlj -13.0037 +▁Prevent -13.0038 +▁Danila -13.0038 +▁spasava -13.0038 +▁izražene -13.0038 +▁Venus -13.0039 +▁pronalaze -13.0039 +▁Vodič -13.0039 +▁prolazak -13.004 +▁podobn -13.004 +▁Notre -13.004 +allow -13.004 +lving -13.0041 +▁izrađuje -13.0041 +▁Mere -13.0041 +▁razmatraju -13.0042 +▁upozoren -13.0042 +▁Riv -13.0042 +▁podlozi -13.0042 +▁hover -13.0043 +▁osvežavajuć -13.0044 +▁lepim -13.0044 +▁međusobn -13.0045 +▁fulfilling -13.0045 +▁ljudskoj -13.0045 +▁routinely -13.0046 +▁sedeo -13.0046 +▁preselila -13.0047 +▁osamnaest -13.0047 +▁launches -13.0047 +▁Salih -13.0048 +▁Odjela -13.0048 +jevič -13.0049 +▁accord -13.0049 +▁CIN -13.0051 +KUP -13.0051 +▁sigurnije -13.0051 +▁rokova -13.0051 +▁zastrašuju -13.0051 +▁vježbanje -13.0051 +▁Poruči -13.0052 +▁mimic -13.0053 +▁framed -13.0053 +▁zalažu -13.0054 +etvrt -13.0055 +▁noćnog -13.0056 +▁Jadransko -13.0056 +▁stavim -13.0056 +▁Erd -13.0056 +▁exempt -13.0056 +▁romantično -13.0057 +▁Burger -13.0057 +▁maskiran -13.0058 +▁Treb -13.006 +Najpovoljnij -13.006 +▁Patrijarh -13.006 +▁ginekološk -13.006 +▁inevitably -13.006 +▁kredibilitet -13.006 +▁ozbiljnog -13.006 +▁mješovit -13.006 +▁Dobitnik -13.006 +▁dilemma -13.006 +▁močvar -13.006 +▁ožiljak -13.006 +▁interakcija -13.006 +▁Beranama -13.006 +▁krumpir -13.006 +▁dinamiku -13.006 +▁specifikacija -13.006 +▁Gomez -13.006 +▁wives -13.0061 +.10.2019 -13.0061 +▁Spread -13.0061 +▁(2014) -13.0061 +▁kokain -13.0062 +▁goveda -13.0062 +▁solidno -13.0063 +▁revolt -13.0063 +▁pesmama -13.0064 +ljenost -13.0064 +▁Zbir -13.0065 +▁moćno -13.0065 +▁autorica -13.0065 +▁Jablan -13.0065 +▁respectful -13.0065 +Zadruge -13.0065 +▁avail -13.0066 +časti -13.0067 +▁Lenovo -13.0067 +▁tepsij -13.0067 +Dakle -13.0068 +▁Džam -13.0068 +▁други -13.0068 +▁accumulated -13.0069 +▁Košar -13.007 +ljki -13.007 +▁Recommended -13.0071 +▁istražiti -13.0071 +cf -13.0072 +▁propel -13.0072 +▁postanete -13.0072 +▁Adding -13.0073 +▁Ovan -13.0073 +▁Gašić -13.0074 +▁compost -13.0074 +▁Chang -13.0075 +▁žlezda -13.0077 +▁uhapsi -13.0077 +▁polova -13.0077 +▁1924 -13.0077 +▁porazom -13.0078 +ROD -13.0079 +▁ograničiti -13.008 +▁35% -13.008 +▁teniski -13.0081 +▁skriveno -13.0081 +▁bocu -13.0081 +▁oblikuje -13.0081 +▁koštala -13.0082 +▁Ukus -13.0083 +OVAC -13.0083 +▁murdered -13.0083 +▁250.000 -13.0083 +▁skupova -13.0084 +▁Kongresu -13.0087 +▁kažnjeni -13.0087 +▁Kang -13.0088 +▁Plati -13.0088 +▁servisima -13.0088 +▁egzistencijaln -13.0089 +▁upućivan -13.009 +▁govern -13.009 +▁promenili -13.009 +▁205 -13.009 +▁Solan -13.0091 +▁Trailer -13.0091 +▁Jude -13.0091 +▁bespovratn -13.0092 +▁calculations -13.0092 +Tor -13.0092 +▁austrijsko -13.0093 +▁BEL -13.0093 +▁kraljevi -13.0093 +pilot -13.0093 +▁roar -13.0094 +džije -13.0094 +▁Galić -13.0095 +▁Certain -13.0095 +▁moralnim -13.0095 +zemlje -13.0096 +▁izmire -13.0096 +▁Općinski -13.0097 +▁Zahvaljujemo -13.0097 +rijske -13.0098 +▁italijanskih -13.0098 +▁6.5 -13.0098 +||13 -13.0099 +ρ -13.0099 +▁Definitivno -13.0099 +▁commodity -13.0099 +▁residue -13.0099 +▁yogurt -13.0099 +▁prvoplasiran -13.0099 +▁sprovela -13.0099 +▁zaokružen -13.0099 +▁šolju -13.0099 +▁pohvalu -13.0099 +▁započelo -13.0099 +▁artikli -13.0099 +▁negotiating -13.0099 +▁Psalm -13.0099 +▁deceased -13.0099 +▁iskušenja -13.0099 +▁samostalna -13.0099 +▁Applied -13.0099 +▁socket -13.0099 +▁northeast -13.0099 +▁skladišti -13.0099 +▁Specifically -13.0099 +▁primjenjivati -13.0099 +▁arhitekturi -13.0099 +▁erozij -13.0099 +▁priređen -13.0099 +▁Sukob -13.0099 +▁božanstv -13.01 +▁discourse -13.01 +▁utmost -13.01 +▁toplotne -13.01 +▁ostatkom -13.01 +води -13.01 +ijada -13.01 +▁procijenjen -13.01 +▁Curtis -13.01 +▁scripture -13.01 +▁stalnu -13.0101 +▁tyre -13.0101 +▁lučenje -13.0101 +▁hairstyle -13.0101 +sobni -13.0102 +Balkan -13.0102 +physical -13.0102 +▁awake -13.0103 +▁uhvatila -13.0103 +▁novčić -13.0104 +▁authorization -13.0104 +NIS -13.0104 +▁Regard -13.0105 +▁indirect -13.0105 +▁Breath -13.0106 +▁kapacitetima -13.0106 +▁Georgij -13.0106 +▁olako -13.0106 +▁nedostajalo -13.0107 +▁protivnike -13.0108 +▁moralni -13.0108 +▁headache -13.0109 +MY -13.0109 +▁Hajr -13.0109 +▁Slađana -13.011 +▁rodnog -13.0111 +▁skali -13.0112 +▁najkvalitetnije -13.0112 +▁Feder -13.0113 +▁puck -13.0114 +▁Twi -13.0115 +▁Tehno -13.0115 +▁10.1 -13.0115 +City -13.0115 +▁belgij -13.0116 +crtava -13.0118 +▁sudiju -13.0118 +▁spašavanje -13.0118 +▁Chor -13.0118 +ŠTI -13.0119 +▁testament -13.0119 +▁kuhar -13.0119 +▁notifikacije -13.0119 +▁ramazana -13.0121 +▁Izraelsk -13.0121 +▁à -13.0121 +▁podijelili -13.0122 +лим -13.0122 +▁Brdo -13.0123 +etiri -13.0123 +▁lansiran -13.0124 +▁nevolja -13.0124 +▁programmer -13.0124 +▁Banking -13.0125 +▁sviraju -13.0125 +▁beogradskim -13.0125 +8.000 -13.0126 +uzimanje -13.0126 +▁oslobođeni -13.0126 +▁Božo -13.0127 +▁159 -13.0128 +cream -13.0128 +energi -13.0128 +stupila -13.0128 +▁8.1 -13.0128 +▁performer -13.0129 +▁acre -13.0129 +▁kafane -13.0129 +▁Terminal -13.013 +▁Till -13.013 +DJ -13.0131 +▁svirati -13.0132 +▁crore -13.0132 +griza -13.0133 +▁Hear -13.0133 +▁Kojić -13.0133 +rring -13.0134 +Takođe -13.0135 +▁decorations -13.0136 +▁Obnov -13.0136 +▁Tatar -13.0137 +▁provedena -13.0137 +ý -13.0137 +▁Cemetery -13.0137 +▁Messenger -13.0137 +▁advancing -13.0137 +▁ceremonije -13.0137 +▁isporuci -13.0137 +▁jednostavnu -13.0137 +▁nickname -13.0137 +▁ohrabruje -13.0137 +▁osteoporoz -13.0137 +▁televizijske -13.0137 +▁nadležan -13.0137 +▁uzastopno -13.0137 +▁čitate -13.0137 +▁srijede -13.0137 +▁Elegant -13.0137 +▁instituciju -13.0137 +▁medvjed -13.0137 +▁zaustave -13.0137 +▁označio -13.0137 +▁izmjenu -13.0137 +▁XII -13.0137 +▁Auction -13.0138 +▁exclusion -13.0138 +▁fascinira -13.0138 +▁izdali -13.0138 +▁Muamer -13.0138 +▁istragom -13.0138 +▁porodičnu -13.0138 +▁susreo -13.0138 +▁cigarettes -13.0138 +▁dvoranu -13.0138 +▁smena -13.0138 +▁desetogodišnj -13.0138 +▁medjutim -13.0138 +▁Beogradska -13.0138 +▁Srpskom -13.0138 +▁mermer -13.0139 +▁Entry -13.0139 +▁stolarije -13.0139 +4.6 -13.0139 +▁vjerovanja -13.0139 +▁ţivot -13.014 +▁rukovodstvom -13.014 +Aleksandar -13.014 +▁svijetlo -13.0141 +▁(7) -13.0141 +▁Potvrdi -13.0141 +▁ovdašnje -13.0141 +Paul -13.0141 +File -13.0142 +▁defekt -13.0142 +▁medic -13.0143 +▁grease -13.0143 +▁vajar -13.0143 +▁Lyn -13.0143 +▁Jorge -13.0143 +▁nametnuti -13.0144 +▁ECO -13.0144 +▁asistira -13.0144 +▁zadovoljavajuće -13.0145 +▁drhta -13.0145 +▁Predstavljamo -13.0146 +▁enduring -13.0146 +▁Å -13.0146 +▁saopštile -13.0146 +▁održivost -13.0146 +▁Otkriven -13.0146 +▁nutrient -13.0147 +▁DANAS -13.0147 +▁ničim -13.0147 +▁Jang -13.0147 +▁verbalno -13.0148 +▁assertion -13.0148 +▁spoljašn -13.0149 +▁trgovaca -13.0149 +christ -13.0151 +▁american -13.0151 +▁Polar -13.0151 +▁golfer -13.0152 +▁biografiju -13.0152 +▁biologije -13.0152 +cratic -13.0153 +▁ispunjavanje -13.0153 +▁Suad -13.0154 +▁nahrani -13.0155 +buršk -13.0155 +▁prosjeka -13.0156 +bilnost -13.0156 +Služben -13.0157 +▁20,000 -13.0158 +dugo -13.0158 +▁Pavlov -13.0159 +▁formacija -13.016 +poziv -13.016 +▁Wick -13.0161 +življava -13.0162 +▁krunu -13.0162 +▁Random -13.0162 +▁zadržana -13.0162 +runner -13.0162 +▁nepravilno -13.0162 +▁digne -13.0162 +▁yr -13.0163 +▁halu -13.0163 +patch -13.0164 +▁Hire -13.0165 +▁moćne -13.0165 +hub -13.0165 +▁contributors -13.0165 +Mor -13.0167 +▁Coat -13.0167 +▁jačaju -13.0169 +/08 -13.0169 +▁remodel -13.0169 +▁umetni -13.0169 +▁GLAV -13.017 +mentar -13.017 +▁german -13.017 +▁Ре -13.0171 +▁zidina -13.0171 +▁animiran -13.0171 +zione -13.0171 +obično -13.0173 +ugaon -13.0173 +▁ERA -13.0173 +2+ -13.0174 +▁zaboravila -13.0174 +zbornog -13.0175 +▁vraćati -13.0175 +▁Tačnije -13.0176 +▁remedies -13.0176 +▁uncommon -13.0176 +▁čovječanstva -13.0176 +▁shampoo -13.0176 +▁tehnološke -13.0176 +▁vjeronauk -13.0176 +▁iritacije -13.0176 +▁preduzetništvo -13.0176 +▁injustice -13.0176 +▁izvinjava -13.0176 +▁throne -13.0176 +▁Fellowship -13.0176 +▁misleading -13.0177 +▁iseckan -13.0177 +▁tajanstven -13.0177 +▁klizišta -13.0177 +▁resonate -13.0177 +▁slipped -13.0177 +▁Španiju -13.0178 +▁cleansing -13.0178 +▁antibody -13.0178 +▁OSCE -13.0179 +▁suglasnost -13.0179 +▁motiviše -13.0179 +uređaj -13.0179 +▁stepenica -13.0179 +▁izraženo -13.0179 +postavi -13.018 +Mobile -13.018 +▁kurseva -13.018 +VED -13.018 +▁converting -13.018 +▁zlocin -13.018 +▁diplomatic -13.0181 +▁teksture -13.0181 +▁Kingston -13.0181 +▁2,6 -13.0181 +▁Gregory -13.0182 +▁prevodilac -13.0182 +▁Advertisement -13.0182 +▁besprekorno -13.0183 +▁Žiri -13.0183 +special -13.0183 +▁Gian -13.0183 +▁Creator -13.0184 +▁Benefit -13.0185 +▁skrbi -13.0186 +▁riblje -13.0186 +▁greeted -13.0186 +▁Zil -13.0186 +umba -13.0187 +demand -13.0187 +▁uruči -13.0187 +nakon -13.0188 +▁Clearly -13.0189 +▁rukavica -13.0191 +▁Piper -13.0193 +▁zločinci -13.0195 +▁toplog -13.0195 +▁liner -13.0195 +abilities -13.0196 +▁tavan -13.0196 +▁redukcij -13.0196 +▁krenule -13.0197 +▁Hamza -13.0197 +▁disturb -13.0197 +4.8 -13.0198 +▁Dobre -13.0199 +▁prigovore -13.02 +▁ludilo -13.0201 +▁izvadite -13.0202 +▁zagađiva -13.0202 +▁велик -13.0203 +flat -13.0204 +115 -13.0204 +March -13.0204 +▁aspekti -13.0205 +▁0.8 -13.0205 +▁optužila -13.0205 +NOVA -13.0205 +▁prilagođene -13.0206 +▁bogatoj -13.0208 +▁Rik -13.0208 +▁uzrokovane -13.0209 +▁palata -13.021 +povrat -13.021 +▁omogućavajući -13.021 +▁Sold -13.021 +▁pošaljete -13.0211 +▁Uslov -13.0212 +▁objašnjen -13.0213 +▁naivno -13.0215 +▁Frid -13.0215 +▁Ethereum -13.0215 +▁homoseksualn -13.0215 +▁montaža -13.0215 +▁patlidžan -13.0215 +▁pogrešne -13.0215 +▁restauracij -13.0215 +▁temperaturn -13.0215 +▁Brussels -13.0215 +▁antioksidant -13.0215 +▁neposredni -13.0215 +▁steadily -13.0215 +▁Trouble -13.0215 +▁cohort -13.0215 +▁supruzi -13.0215 +▁pesmom -13.0215 +▁circum -13.0215 +▁predispozicij -13.0215 +▁dilemu -13.0215 +▁nepravde -13.0215 +▁Očito -13.0215 +▁zadatku -13.0215 +▁Snimak -13.0215 +▁garaže -13.0215 +▁matematički -13.0215 +▁Goražda -13.0215 +▁poeziju -13.0215 +▁suprotni -13.0215 +▁Nicolas -13.0215 +▁djelatnika -13.0215 +ONI -13.0216 +▁Mihail -13.0216 +fosfat -13.0216 +▁judging -13.0216 +▁hokej -13.0217 +▁gratis -13.0217 +▁risky -13.0217 +▁Uganda -13.0217 +▁vanile -13.0217 +▁Yorkshire -13.0217 +▁committing -13.0218 +▁dojenje -13.0218 +performance -13.0219 +▁temeljni -13.0219 +▁alpha -13.0219 +▁McKe -13.0219 +▁implementacija -13.0219 +▁Princeton -13.0219 +▁Sporting -13.022 +▁checklist -13.022 +▁1,9 -13.022 +▁osveti -13.022 +▁Opatija -13.0221 +▁berries -13.0221 +▁lepši -13.0221 +▁Igrao -13.0222 +▁čitanjem -13.0222 +▁klasičnom -13.0222 +▁rafting -13.0222 +▁odemo -13.0223 +▁Riley -13.0223 +▁Tire -13.0223 +Great -13.0223 +▁FCC -13.0225 +▁okrivljeni -13.0225 +▁Finn -13.0226 +▁traci -13.0226 +▁leftover -13.0227 +▁Serena -13.0227 +▁0.00 -13.0227 +▁metric -13.0227 +▁Hitna -13.0228 +▁gadgets -13.0228 +▁noćenje -13.0228 +guide -13.0228 +▁vanilin -13.0228 +▁priznanju -13.0229 +▁testovima -13.0229 +▁Isabel -13.023 +▁tjedno -13.023 +evil -13.023 +sadašnjoj -13.0231 +▁Lijepo -13.0231 +▁bacila -13.0231 +▁Ekonomskog -13.0231 +Svaka -13.0232 +▁Friendly -13.0232 +▁09:00 -13.0232 +▁odabranim -13.0232 +▁servants -13.0234 +▁Scene -13.0234 +▁očistite -13.0234 +▁rendering -13.0234 +▁Setting -13.0235 +▁uklopiti -13.0235 +▁shvatanje -13.0235 +▁Španski -13.0237 +▁rješavati -13.0237 +rrh -13.0238 +Add -13.0238 +UCK -13.0238 +▁postotak -13.0238 +▁obilježili -13.0238 +▁čelnicima -13.0238 +esque -13.0239 +▁م -13.0239 +4.1 -13.024 +▁Snež -13.0241 +▁kupaći -13.0241 +▁izbrisan -13.0242 +▁Techno -13.0242 +▁helm -13.0242 +▁finansijama -13.0243 +povjerljiv -13.0244 +▁Cuban -13.0244 +▁Mole -13.0244 +▁pojedinačni -13.0245 +▁kritičko -13.0245 +▁gasovoda -13.0246 +▁sweater -13.0247 +▁Zol -13.0247 +▁relocate -13.0249 +▁vrhunsko -13.0249 +▁4.3 -13.0249 +▁credited -13.0249 +▁outrage -13.025 +▁cleanse -13.025 +▁navoda -13.0252 +▁zaborava -13.0252 +▁Drake -13.0253 +▁Manifest -13.0253 +σ -13.0254 +▁Holocaust -13.0254 +▁McCarthy -13.0254 +▁albanske -13.0254 +▁inkubator -13.0254 +▁plućima -13.0254 +▁podnožju -13.0254 +▁rekonstruisan -13.0254 +▁supružnik -13.0254 +▁Evropljani -13.0254 +▁investiciju -13.0254 +▁cardiovascular -13.0254 +▁loptom -13.0254 +▁nagomilan -13.0254 +▁prebacuje -13.0254 +▁gljivičn -13.0254 +▁zasluga -13.0254 +▁češći -13.0254 +▁obrasce -13.0254 +▁rasterećen -13.0254 +IRO -13.0254 +▁privrednici -13.0254 +▁građanska -13.0255 +▁intelektualaca -13.0255 +▁MOGU -13.0255 +▁Veneciji -13.0255 +▁Emirates -13.0255 +▁konzola -13.0255 +▁ispravnosti -13.0255 +setting -13.0255 +▁devizni -13.0255 +▁stihove -13.0256 +ENCE -13.0256 +bezazlen -13.0256 +▁obloga -13.0257 +đenih -13.0257 +▁settling -13.0257 +▁noćne -13.0257 +▁hatred -13.0257 +▁tužilačk -13.0257 +/02 -13.0257 +▁kubnih -13.0257 +▁ukidanju -13.0258 +zasićen -13.0258 +▁odaziv -13.0258 +▁izrađene -13.0259 +▁instruct -13.0259 +▁naftu -13.026 +▁nebitno -13.026 +crveni -13.026 +▁nesebično -13.026 +▁produžio -13.026 +▁muzičkoj -13.0261 +▁Fabrika -13.0261 +▁Charleston -13.0261 +▁četvrtina -13.0262 +▁montiran -13.0262 +▁axe -13.0263 +▁Idealan -13.0263 +5.5 -13.0263 +▁colony -13.0264 +▁frakcij -13.0264 +▁kanabisa -13.0264 +▁briše -13.0264 +▁brinite -13.0265 +▁klasičnim -13.0265 +▁Antonija -13.0266 +▁bankom -13.0267 +▁propao -13.0267 +Efikasn -13.0267 +▁napominju -13.0268 +▁Nerv -13.0268 +▁Option -13.0269 +LING -13.027 +pratite -13.0271 +/2010 -13.0272 +▁specifi -13.0272 +▁sufficiently -13.0273 +▁smjernica -13.0274 +zri -13.0274 +▁serijama -13.0274 +STAR -13.0276 +▁overlooking -13.0276 +▁marketinšk -13.0277 +▁MER -13.0277 +▁pramen -13.0277 +▁Novel -13.028 +▁Trećeg -13.028 +▁kljuc -13.028 +▁uvjeriti -13.028 +▁narodnom -13.0281 +▁celokupnog -13.0281 +▁utisci -13.0281 +▁inflammatory -13.0281 +▁najskuplji -13.0282 +▁Clara -13.0282 +108 -13.0283 +▁Arapski -13.0284 +▁zabavan -13.0284 +▁headaches -13.0285 +▁rewarded -13.0285 +▁Frost -13.0286 +▁reversed -13.0286 +▁Brave -13.0286 +▁krut -13.0286 +▁likovni -13.0286 +▁oprostiti -13.0287 +MON -13.0287 +▁Uncle -13.0287 +▁ustraj -13.0288 +▁obavijest -13.0288 +krup -13.0288 +▁obavijestiti -13.0288 +▁pastoral -13.0289 +▁vešto -13.0289 +▁globalnoj -13.0289 +List -13.0289 +▁razumijemo -13.029 +dušni -13.0291 +▁Malezij -13.0292 +▁dosli -13.0293 +global -13.0293 +λ -13.0293 +▁POGLEDAJTE -13.0293 +▁Sebastijan -13.0293 +▁djetetom -13.0293 +▁epizodu -13.0293 +▁holokaust -13.0293 +▁termoelektran -13.0293 +▁McLaren -13.0293 +▁antisemit -13.0293 +▁endurance -13.0293 +▁saradnjom -13.0293 +▁đubre -13.0293 +▁žurke -13.0293 +▁Bosanske -13.0293 +▁Verizon -13.0293 +▁intuitivn -13.0293 +▁Beverly -13.0293 +▁disgust -13.0293 +▁Požarevac -13.0293 +▁Poetry -13.0293 +▁izaberu -13.0293 +▁Deliver -13.0293 +▁šejh -13.0293 +▁Klijent -13.0294 +▁Mickey -13.0294 +▁predizborni -13.0294 +▁Bagdad -13.0294 +▁bježi -13.0294 +▁Trajković -13.0294 +▁trub -13.0294 +▁penziji -13.0294 +▁živjela -13.0294 +▁finely -13.0294 +▁ugledao -13.0295 +▁nadutost -13.0295 +▁romantični -13.0295 +▁Žoze -13.0295 +▁Reddit -13.0296 +▁Fusion -13.0296 +▁brodom -13.0296 +▁okončanja -13.0296 +▁logika -13.0296 +▁Savetu -13.0296 +▁сто -13.0297 +▁instalirati -13.0297 +▁bookstore -13.0297 +▁celulit -13.0298 +▁sakupljanje -13.0298 +▁sandwiches -13.0298 +▁designation -13.0298 +Organ -13.0298 +▁ŠOK -13.0299 +pirati -13.0299 +▁Fool -13.03 +▁učionica -13.0301 +▁mjesečni -13.0301 +▁kapacitetom -13.0301 +▁doktorat -13.0301 +▁sprovoditi -13.0302 +-2013 -13.0303 +▁Wise -13.0304 +▁duplj -13.0305 +▁zatvorio -13.0305 +▁vežu -13.0305 +▁simmer -13.0305 +DES -13.0306 +▁zabrinutosti -13.0308 +istorijski -13.0308 +▁doslo -13.0308 +▁doživeti -13.0308 +▁Creation -13.0309 +▁Kovačić -13.0309 +▁istinom -13.0309 +▁shvatanja -13.031 +▁toplinu -13.031 +▁spajanja -13.0311 +▁tense -13.0311 +▁rasplet -13.0312 +▁Otok -13.0312 +▁kućnom -13.0312 +▁kći -13.0312 +▁coordinated -13.0312 +▁Kino -13.0314 +▁Jaw -13.0314 +▁charger -13.0314 +▁Nikolina -13.0316 +▁fondovima -13.0317 +SNS -13.0318 +▁MIR -13.0318 +сно -13.0318 +▁sportistima -13.0318 +▁OSI -13.032 +007 -13.0321 +▁lush -13.0322 +vard -13.0322 +▁odgodi -13.0324 +▁scatter -13.0325 +0.000,00 -13.0325 +ок -13.0326 +▁buku -13.0326 +▁dalmatin -13.033 +▁promovisanje -13.0331 +▁Faruk -13.0331 +▁Hugo -13.0331 +▁Rijaset -13.0333 +▁encryption -13.0333 +▁ignorance -13.0333 +▁prognozu -13.0333 +▁synthesis -13.0333 +▁Husrev -13.0333 +▁izvinjenje -13.0333 +▁pertaining -13.0333 +▁teoretičar -13.0333 +▁tužba -13.0333 +▁Ćorić -13.0333 +▁jewellery -13.0333 +▁Monroe -13.0333 +▁komandom -13.0333 +▁Jutros -13.0333 +▁Apollo -13.0333 +▁Leslie -13.0333 +intel -13.0333 +▁prijavljuje -13.0333 +▁kliknuti -13.0333 +▁najnovijem -13.0334 +▁istupi -13.0334 +▁kindly -13.0334 +▁provođenju -13.0334 +▁entail -13.0334 +▁scalp -13.0334 +▁Kakvi -13.0335 +▁Lightning -13.0335 +▁demencij -13.0335 +▁energiji -13.0335 +psych -13.0335 +▁Jenny -13.0336 +▁stunt -13.0336 +▁Echo -13.0336 +▁prevremen -13.0336 +sensitive -13.0336 +regular -13.0336 +Source -13.0336 +▁kongresu -13.0337 +▁Certainly -13.0337 +▁Hul -13.0338 +mpion -13.0338 +▁geološk -13.0338 +Elektro -13.0338 +▁smeđe -13.034 +новић -13.034 +zdržan -13.034 +▁analiziraju -13.034 +▁neverovatnih -13.034 +▁(8) -13.0341 +▁kabinetu -13.0342 +▁putopis -13.0342 +grabi -13.0342 +Želim -13.0343 +▁contributor -13.0344 +roelektra -13.0344 +▁validation -13.0345 +▁Sportske -13.0345 +▁hometown -13.0346 +▁professionalism -13.0346 +Cam -13.0346 +▁Silk -13.0347 +pathy -13.0347 +▁ušlo -13.0347 +▁NSA -13.0348 +NIN -13.0348 +ljača -13.0348 +▁Asad -13.0349 +▁rijalitiju -13.035 +7.000 -13.0351 +režite -13.0351 +ljubiv -13.0351 +OPS -13.0353 +▁najpoznatija -13.0353 +▁Naturally -13.0354 +▁uklanjaju -13.0355 +▁vitalnost -13.0356 +▁temeljima -13.0357 +▁solvent -13.0357 +▁partijama -13.0359 +▁pokriti -13.0359 +fesional -13.0359 +▁matični -13.036 +▁generalnom -13.036 +▁umjetničko -13.0361 +▁Artur -13.0362 +▁MORA -13.0362 +▁Istoku -13.0363 +▁zet -13.0365 +▁uspješnog -13.0365 +▁menija -13.0365 +777 -13.0365 +▁ukusni -13.0366 +config -13.0366 +▁penzioner -13.0366 +▁beginners -13.0366 +▁Ravno -13.0367 +▁STRE -13.0367 +▁uništili -13.0368 +vezli -13.0369 +103 -13.0371 +▁pismeni -13.0372 +▁stvaramo -13.0372 +▁crumb -13.0372 +▁BlackBerry -13.0372 +▁Dalmacije -13.0372 +▁Employer -13.0372 +▁Objasni -13.0372 +▁komisiju -13.0372 +▁mathematical -13.0372 +▁Wagner -13.0372 +▁njemačka -13.0372 +▁piksela -13.0372 +▁unleash -13.0372 +▁dotadašnj -13.0372 +▁quotation -13.0372 +▁Elle -13.0372 +▁inicijator -13.0372 +▁Wallace -13.0372 +▁telekomunikaci -13.0372 +▁Surface -13.0373 +▁motorima -13.0373 +▁Vikend -13.0373 +▁brighter -13.0373 +▁IZBOR -13.0373 +▁Activity -13.0373 +▁Poljak -13.0373 +▁zakorači -13.0373 +▁chasing -13.0373 +▁Concord -13.0373 +▁dispense -13.0373 +▁Wealth -13.0373 +▁peska -13.0373 +▁Distribution -13.0373 +▁čelični -13.0373 +▁Uticaj -13.0374 +▁Airways -13.0374 +▁forgiveness -13.0374 +▁vegetation -13.0374 +▁hladni -13.0374 +вали -13.0374 +▁nedužn -13.0374 +▁Unique -13.0375 +▁KZ -13.0375 +▁novinarstvu -13.0375 +▁nekakve -13.0376 +Veliki -13.0376 +▁papirom -13.0376 +▁Kaštel -13.0376 +▁sunnet -13.0377 +▁ispravna -13.0377 +▁štandu -13.0378 +▁održanog -13.0378 +Rusija -13.0378 +▁frankly -13.0378 +▁nastavnike -13.0378 +▁Zvaničnici -13.0379 +namje -13.038 +▁dimnjak -13.038 +9,000 -13.0381 +▁ideology -13.0381 +▁svesna -13.0382 +▁pravosudnih -13.0384 +▁vrućine -13.0385 +▁collectively -13.0385 +▁vazno -13.0388 +▁pista -13.0388 +▁smijenjen -13.0389 +▁jakne -13.0389 +▁stipendira -13.0389 +▁platila -13.039 +00:00 -13.039 +▁snovima -13.0391 +▁Hidro -13.0391 +нице -13.0392 +▁teritorijalno -13.0392 +▁područn -13.0393 +▁lukom -13.0393 +▁Login -13.0394 +ijalni -13.0395 +▁Opće -13.0396 +▁kristalno -13.0397 +▁uspešnih -13.0398 +▁boiling -13.0398 +▁Hash -13.0399 +▁290 -13.04 +▁Mitch -13.04 +▁appoint -13.0401 +ROW -13.0401 +▁duple -13.0402 +▁gitarista -13.0402 +▁efektivno -13.0403 +▁scenic -13.0405 +▁fudbalskih -13.0405 +▁udžbenike -13.0407 +▁ukusan -13.0407 +europe -13.0407 +dijskog -13.0408 +inning -13.0408 +▁Alvar -13.0409 +▁Džan -13.041 +▁Parkinson -13.041 +▁Žive -13.041 +▁nadmorsk -13.0411 +dakle -13.0411 +▁Vic -13.0412 +▁sufinancira -13.0412 +▁Boulevard -13.0412 +▁Bukurešt -13.0412 +▁Depression -13.0412 +▁Gračanici -13.0412 +▁Konvencije -13.0412 +▁Leicester -13.0412 +▁Zukorlić -13.0412 +▁confined -13.0412 +▁disregard -13.0412 +▁unforgettable -13.0412 +▁Nekretnine -13.0412 +▁Jeffrey -13.0412 +▁pocetku -13.0412 +▁usaglasi -13.0412 +▁cardiac -13.0412 +▁režiju -13.0412 +▁Kladuša -13.0412 +▁Prophet -13.0412 +▁Nichols -13.0412 +▁Adjust -13.0412 +▁izbegnu -13.0412 +▁nesvjesn -13.0412 +▁Kolegij -13.0412 +▁Izbegavajte -13.0412 +▁Srebrenicu -13.0412 +▁naredba -13.0412 +▁masterpiece -13.0413 +polovi -13.0413 +▁(2012) -13.0413 +Tip -13.0413 +▁Oboje -13.0413 +Feb -13.0414 +▁karamel -13.0414 +▁princeze -13.0414 +▁slatkiša -13.0414 +▁Putovanje -13.0414 +▁waterproof -13.0415 +While -13.0416 +▁kontur -13.0416 +Watch -13.0416 +igran -13.0416 +shadow -13.0416 +▁Vareš -13.0416 +▁catalogue -13.0416 +▁1100 -13.0418 +▁Copper -13.0418 +grown -13.0418 +▁Berane -13.0418 +▁?? -13.0419 +▁označil -13.0419 +▁koleginica -13.0419 +▁sveukupn -13.042 +▁tabela -13.042 +▁muffin -13.042 +▁Candy -13.042 +▁mleč -13.042 +▁pravljenja -13.0421 +▁sresti -13.0421 +▁fuse -13.0421 +▁brade -13.0422 +▁pomeša -13.0422 +▁homepage -13.0422 +▁čistoće -13.0423 +▁obnoviti -13.0423 +▁naglašavajući -13.0424 +▁SMO -13.0424 +možda -13.0424 +▁3.4 -13.0426 +▁HOME -13.0426 +▁nekretninama -13.0426 +▁lažna -13.0427 +▁navodnog -13.0427 +▁Nijemci -13.0428 +▁općinama -13.0428 +▁proteinima -13.0429 +▁CPA -13.0429 +▁bezbednosnih -13.0429 +▁smete -13.0429 +minator -13.0431 +▁raznolikosti -13.0431 +▁Lack -13.0431 +▁parkiranje -13.0432 +▁Civic -13.0433 +▁kalijuma -13.0434 +▁osnovane -13.0434 +▁wolf -13.0435 +▁Improv -13.0435 +KIN -13.0436 +▁željeza -13.0436 +▁raznolikost -13.0437 +▁izmiri -13.0437 +▁ikone -13.0437 +▁obeležili -13.0437 +▁Contractor -13.0437 +stay -13.0437 +▁amend -13.0438 +▁Recite -13.0439 +janin -13.044 +▁stabilizaciji -13.0441 +▁hladi -13.0442 +vertikal -13.0442 +▁teritorij -13.0443 +▁konji -13.0443 +▁plesn -13.0444 +▁Podseća -13.0444 +▁zaposliti -13.0444 +Line -13.0446 +▁savremeno -13.0446 +▁GRU -13.0446 +▁Voć -13.0446 +▁Novogodišnj -13.0446 +▁imitira -13.0447 +UTA -13.0447 +▁okreću -13.0448 +▁Kancelar -13.0449 +▁završnih -13.0451 +▁Romance -13.0451 +holding -13.0451 +▁Netanyahu -13.0452 +▁Uobičajen -13.0452 +▁absorption -13.0452 +▁ambulante -13.0452 +▁izbalansiran -13.0452 +▁thirst -13.0452 +▁Immigration -13.0452 +▁irregular -13.0452 +▁samoupravi -13.0452 +▁bodily -13.0452 +▁neighbourhood -13.0452 +▁OFK -13.0452 +▁precizne -13.0452 +▁osveži -13.0452 +▁chalk -13.0452 +▁Australiju -13.0452 +▁freelancer -13.0452 +▁compassionate -13.0452 +▁decorating -13.0453 +▁vjerovao -13.0453 +▁Milun -13.0453 +▁Kantonalne -13.0453 +▁logike -13.0453 +▁focal -13.0453 +▁Vogue -13.0453 +▁gubitku -13.0453 +▁kombinuju -13.0453 +▁mitigate -13.0453 +▁XML -13.0454 +▁obuću -13.0454 +▁Bride -13.0454 +▁accessory -13.0455 +▁naviknu -13.0455 +▁naznaka -13.0455 +▁Naslovnica -13.0455 +▁Momir -13.0455 +▁optužbama -13.0455 +žda -13.0456 +▁redesign -13.0456 +▁NFT -13.0456 +▁spanać -13.0457 +▁seljaka -13.0457 +▁Hugh -13.0458 +▁trait -13.0459 +▁bočni -13.0459 +▁Natalija -13.0461 +▁Zvon -13.0461 +▁robne -13.0461 +▁Izbori -13.0461 +▁Centralno -13.0461 +PAN -13.0462 +▁predala -13.0462 +▁Planirano -13.0462 +kozmetičk -13.0462 +▁urediti -13.0462 +▁ovisnosti -13.0462 +▁blokova -13.0462 +pozori -13.0464 +▁uvoznik -13.0464 +▁biračkog -13.0465 +▁lepih -13.0465 +valjen -13.0465 +Total -13.0466 +▁Emil -13.0466 +▁etničkih -13.0467 +▁Homer -13.0469 +counter -13.0469 +▁insufficient -13.0473 +▁PVO -13.0473 +▁materijalnu -13.0473 +▁Pismo -13.0473 +▁Šefik -13.0473 +▁folded -13.0474 +▁duvan -13.0474 +▁unište -13.0474 +▁Irska -13.0475 +▁negativnog -13.0475 +ologie -13.0476 +▁povlače -13.0477 +▁postaja -13.0477 +▁Wrap -13.0477 +▁ogromni -13.0479 +▁zaključci -13.0479 +▁nagradni -13.0479 +▁izvaditi -13.048 +▁prodala -13.048 +▁Šid -13.0481 +cijsko -13.0481 +Check -13.0481 +▁embraced -13.0482 +▁dryer -13.0482 +▁vojničk -13.0484 +▁prevladava -13.0484 +▁Button -13.0484 +▁hramu -13.0486 +▁izbegavaju -13.0486 +▁profesorka -13.0486 +▁grah -13.0487 +▁Rex -13.0487 +▁potezom -13.0488 +▁ovisni -13.0488 +TEM -13.0489 +Drago -13.0489 +▁Ramos -13.049 +▁posetila -13.049 +sječe -13.0491 +▁OTKRI -13.0491 +▁bypass -13.0491 +▁plasiran -13.0492 +▁žita -13.0492 +excluding -13.0492 +▁Ethernet -13.0492 +▁Philosophy -13.0492 +▁Posljednje -13.0492 +▁Rakočević -13.0492 +▁contamination -13.0492 +▁hipertenzija -13.0492 +▁netrpeljivost -13.0492 +▁ogradi -13.0492 +▁pridružuje -13.0492 +▁upstairs -13.0492 +▁Vjetar -13.0492 +▁swept -13.0492 +▁Kenneth -13.0492 +▁mafije -13.0492 +▁vineyard -13.0492 +▁inclined -13.0492 +▁pomagati -13.0492 +▁Concern -13.0492 +▁Suzuki -13.0492 +.11.2019 -13.0492 +▁institucionalni -13.0492 +again -13.0492 +.12.2019 -13.0492 +▁zabavne -13.0492 +▁kliknete -13.0492 +OUT -13.0492 +▁Manifestacija -13.0492 +▁izmišlja -13.0492 +▁zajednick -13.0492 +▁koronu -13.0492 +▁uopce -13.0493 +▁inozemn -13.0493 +▁Učitelj -13.0493 +▁ibadet -13.0493 +▁gostovao -13.0494 +▁Dijete -13.0494 +▁corps -13.0495 +▁probuditi -13.0495 +▁verovao -13.0495 +▁Svjet -13.0495 +simetričn -13.0495 +▁dodatkom -13.0495 +▁нас -13.0496 +DING -13.0496 +▁Stark -13.0496 +▁revive -13.0496 +▁Ženska -13.0496 +▁pušku -13.0496 +▁CAS -13.0496 +▁multinacionaln -13.0496 +▁Povezani -13.0496 +▁ventilation -13.0497 +▁zaposlenosti -13.0497 +THING -13.0497 +▁stubova -13.0497 +▁Austral -13.0497 +▁menstruacije -13.0498 +▁arome -13.0498 +▁Improvement -13.0498 +▁Pridružite -13.0499 +▁bubrežn -13.0499 +▁Absolutely -13.0499 +ylene -13.0499 +▁ostat -13.0499 +▁pristanak -13.05 +▁informatike -13.05 +▁krupno -13.05 +gadja -13.0501 +▁prebaciti -13.0502 +▁memorijaln -13.0502 +▁obavila -13.0503 +▁žiro -13.0503 +šljiv -13.0503 +▁expired -13.0504 +▁Cher -13.0504 +мир -13.0505 +▁povoljnije -13.0505 +Molim -13.0505 +/2016 -13.0506 +▁slept -13.0506 +▁televizijskih -13.0507 +▁mališanima -13.0507 +уби -13.0508 +▁Geneva -13.0508 +pomaga -13.0509 +▁budžetom -13.0509 +▁immigrant -13.0509 +▁electrode -13.051 +▁nesretni -13.051 +▁Mick -13.0511 +azijski -13.0511 +▁mandatar -13.0511 +▁nabavkama -13.0511 +▁Centralni -13.0511 +▁prekidu -13.0512 +▁zakonskom -13.0512 +▁saglasi -13.0512 +seljavanje -13.0513 +▁grof -13.0513 +▁surfing -13.0514 +▁korumpira -13.0515 +▁letnjih -13.0515 +▁humanitarnih -13.0515 +||0|| -13.0516 +entry -13.0516 +▁nastavnih -13.0516 +▁Lid -13.0516 +▁krvnim -13.0516 +▁NES -13.0516 +▁RR -13.0517 +▁grilled -13.0517 +▁skiing -13.0518 +▁fist -13.0518 +▁meteorolog -13.0518 +Ter -13.0519 +rrington -13.0519 +▁Personally -13.052 +▁uklonite -13.0522 +▁canceled -13.0522 +▁igračica -13.0523 +▁pacijentu -13.0523 +▁Prison -13.0523 +▁najpopularnij -13.0523 +▁vilu -13.0526 +▁Njema -13.0527 +▁napaja -13.0527 +▁Та -13.0527 +▁TSC -13.0528 +▁ratnom -13.0529 +/03 -13.0529 +▁trž -13.053 +▁glitter -13.053 +▁brodovi -13.0532 +ł -13.0532 +▁Najpopularnij -13.0532 +▁algoritm -13.0532 +▁expedition -13.0532 +▁fragile -13.0532 +▁garderobu -13.0532 +▁korupciji -13.0532 +▁pljačke -13.0532 +▁rahmetli -13.0532 +▁raznovrsne -13.0532 +▁enciklopedi -13.0532 +▁intenzivnu -13.0532 +▁sudjelovao -13.0532 +▁Gradačac -13.0532 +▁Zainteresovan -13.0532 +▁proslijedi -13.0532 +▁Središnj -13.0532 +▁penetrate -13.0532 +▁aggression -13.0532 +▁primjećuje -13.0532 +▁kvasac -13.0532 +▁bishop -13.0532 +▁neometan -13.0532 +▁šarmantn -13.0532 +▁primenjivati -13.0532 +▁konzole -13.0532 +▁Congressional -13.0532 +▁compute -13.0532 +▁podzakonsk -13.0532 +▁Šabac -13.0532 +▁sekundarni -13.0533 +▁unaware -13.0533 +ently -13.0533 +▁Federalna -13.0533 +▁burial -13.0534 +▁sednicu -13.0534 +ASTI -13.0534 +850 -13.0534 +▁zelja -13.0534 +▁farmaceutski -13.0534 +▁Iceland -13.0535 +▁mehanik -13.0535 +▁Vik -13.0535 +▁publikacije -13.0535 +▁crossover -13.0535 +▁praying -13.0536 +▁mračno -13.0536 +▁digitalizacije -13.0536 +▁Drvar -13.0536 +▁akvarijum -13.0537 +OTE -13.0538 +▁naslijed -13.0538 +▁zraci -13.0538 +550 -13.0538 +▁Pošte -13.0538 +Class -13.0538 +▁Joyce -13.0538 +▁opušteni -13.0539 +▁Banata -13.0539 +▁Ensure -13.054 +▁Turskom -13.054 +▁Otpor -13.0542 +▁selfish -13.0542 +▁kesa -13.0543 +▁Presentation -13.0543 +▁WTA -13.0543 +▁nesigurnost -13.0544 +▁srži -13.0544 +niversit -13.0544 +▁narkoman -13.0544 +▁Farmers -13.0545 +▁devetnaest -13.0546 +▁gladni -13.0546 +▁Moz -13.0546 +__________ -13.0547 +2-2 -13.0548 +▁okleva -13.0548 +owitz -13.0548 +▁poželio -13.0548 +▁161 -13.0548 +▁polen -13.0548 +ено -13.0548 +▁Penny -13.0549 +▁kvazi -13.0549 +▁lonac -13.0549 +▁Vremenom -13.055 +▁Jadranka -13.0551 +▁skola -13.0551 +▁#5 -13.0551 +engine -13.0552 +▁bless -13.0553 +381 -13.0556 +▁Marinko -13.0556 +gastrointestinal -13.0558 +▁umeša -13.056 +сле -13.0562 +▁Taste -13.0563 +▁preporu -13.0564 +▁prodavci -13.0564 +шта -13.0565 +AVANJE -13.0566 +FX -13.0567 +▁problematično -13.0567 +▁biografija -13.0567 +▁upotrebljavaju -13.0567 +▁obilno -13.0568 +▁budžetski -13.0568 +express -13.0568 +▁destroying -13.0568 +boš -13.0568 +▁mobilnost -13.0569 +▁periodic -13.057 +▁pojavilo -13.057 +▁džepu -13.0571 +▁CHA -13.0571 +▁proceeding -13.0571 +▁probali -13.0572 +▁pročišćava -13.0572 +▁Hundred -13.0572 +▁Leposavić -13.0572 +▁Smederevu -13.0572 +▁Vojvodinu -13.0572 +▁café -13.0572 +▁feminine -13.0572 +▁thriving -13.0572 +▁školska -13.0572 +▁posvađa -13.0572 +▁Powder -13.0572 +▁Zvonimir -13.0572 +▁Slobodni -13.0572 +ymmetric -13.0572 +.03.2020 -13.0572 +▁Belivuk -13.0572 +▁vigorous -13.0572 +▁Poseduje -13.0572 +clamation -13.0572 +▁primati -13.0573 +НА -13.0573 +▁Distance -13.0573 +▁vakcinišu -13.0573 +▁Bosanci -13.0573 +▁vredna -13.0573 +▁Mondo -13.0573 +▁bait -13.0573 +▁Thankfully -13.0573 +▁dezinformacija -13.0573 +OOO -13.0574 +▁naišli -13.0574 +Plav -13.0574 +Brien -13.0575 +▁ružno -13.0575 +▁Topics -13.0575 +▁slatkiši -13.0576 +▁Arabiji -13.0576 +▁Walsh -13.0576 +▁svod -13.0576 +▁dioničar -13.0576 +Windows -13.0577 +▁Radna -13.0577 +▁usvajanju -13.0577 +▁povjerenik -13.0578 +▁Joj -13.0579 +▁greet -13.0579 +▁godište -13.0579 +Život -13.0579 +▁Baron -13.058 +▁Vibr -13.058 +▁Pele -13.058 +▁federalnog -13.058 +▁Cliff -13.0581 +▁veznjak -13.0581 +▁GET -13.0581 +▁reflective -13.0582 +production -13.0582 +▁Traže -13.0582 +▁PAL -13.0583 +▁tracked -13.0585 +▁memoriju -13.0585 +▁1911 -13.0586 +▁Stipe -13.0587 +▁definitive -13.0587 +▁tavern -13.0587 +▁uverava -13.0588 +▁znanost -13.0589 +ску -13.0589 +▁rutinu -13.0589 +▁obavijestio -13.059 +▁umešan -13.0591 +▁aktima -13.0592 +▁magla -13.0593 +▁Kredit -13.0593 +▁Spice -13.0594 +EVO -13.0595 +▁Piece -13.0595 +▁dobrotvorn -13.0596 +▁Kinom -13.0596 +▁počnemo -13.0596 +▁šira -13.0597 +▁slao -13.0598 +Pop -13.0599 +▁Bukov -13.0601 +333 -13.0602 +▁prodali -13.0602 +▁geographic -13.0602 +▁SCO -13.0602 +▁PES -13.0603 +▁kamin -13.0603 +▁kompres -13.0604 +▁mladež -13.0605 +▁složio -13.0605 +▁Conf -13.0605 +▁demant -13.0605 +metric -13.0606 +▁menstruacij -13.0607 +▁faktorima -13.0607 +▁revizorsk -13.0607 +▁raspita -13.0607 +▁hugely -13.0608 +▁Azerbejdžana -13.0611 +urgeon -13.0611 +▁Belorus -13.0611 +▁sličnog -13.0612 +server -13.0612 +▁065 -13.0613 +▁Consequently -13.0613 +▁Required -13.0613 +▁charitable -13.0613 +▁obradovati -13.0613 +▁nepravedno -13.0613 +▁unlawful -13.0613 +▁paradise -13.0613 +▁porasle -13.0613 +▁Welsh -13.0613 +▁holandski -13.0613 +▁pomagao -13.0613 +▁outdated -13.0613 +▁obloge -13.0613 +▁izbeći -13.0613 +▁(2005) -13.0613 +▁(2009) -13.0613 +▁(2013) -13.0613 +▁parove -13.0613 +▁Osmi -13.0614 +▁istorijska -13.0614 +▁folikul -13.0614 +▁promijenjen -13.0614 +štenje -13.0614 +▁chord -13.0615 +3-3 -13.0615 +▁uticali -13.0615 +▁Trevor -13.0615 +▁kulturama -13.0616 +▁tvrdoglav -13.0616 +▁avatar -13.0616 +▁DRŽAV -13.0616 +▁Uvjeren -13.0616 +▁Ме -13.0617 +½ -13.0617 +▁weaknesses -13.0618 +CAP -13.0618 +слав -13.0618 +▁rešite -13.0618 +▁čitajte -13.0618 +▁Peskov -13.0619 +HAN -13.0619 +▁л -13.0619 +▁quarterly -13.0619 +▁upisana -13.0619 +▁uhvatiti -13.0619 +PubMed -13.062 +▁formulu -13.062 +▁Banana -13.062 +▁marketinške -13.062 +▁pređu -13.0621 +▁Afro -13.0621 +▁krećemo -13.0621 +▁natpisom -13.0622 +▁naravi -13.0622 +TINA -13.0622 +▁pogonom -13.0622 +▁privrednom -13.0624 +▁Katalog -13.0624 +▁kućište -13.0624 +▁odstrani -13.0624 +▁znacaj -13.0625 +▁rublje -13.0625 +liberal -13.0625 +▁ispravnost -13.0626 +▁sensory -13.0627 +är -13.0627 +▁časopisima -13.0627 +ZIV -13.0628 +▁proboj -13.0629 +▁potpisuju -13.063 +▁Kumar -13.063 +▁stradalih -13.0631 +▁Viki -13.0631 +▁glasovn -13.0632 +▁posrednik -13.0632 +▁nosioca -13.0632 +▁morskih -13.0633 +▁Haus -13.0634 +▁poslovnica -13.0634 +ntin -13.0634 +Pen -13.0635 +▁praktičnih -13.0635 +▁Sibir -13.0636 +birth -13.0637 +▁smiruje -13.0637 +▁sarađivao -13.0637 +bacio -13.0638 +▁Poreč -13.0638 +konstr -13.0638 +▁vjernicima -13.064 +▁MAG -13.064 +▁Dion -13.0641 +seljavanja -13.0641 +great -13.0642 +SKOM -13.0642 +▁1880 -13.0643 +▁Elektronsk -13.0643 +▁Ра -13.0643 +▁stupiti -13.0644 +▁delovati -13.0646 +▁derive -13.0647 +▁nasip -13.0648 +▁članke -13.0649 +▁izveštajima -13.0649 +▁exhibited -13.0649 +▁adopting -13.065 +▁politician -13.065 +▁168 -13.0651 +Vjeruj -13.0651 +▁Trudi -13.0652 +▁pojedinačnim -13.0653 +▁Chancellor -13.0653 +▁Replacement -13.0653 +▁barbecue -13.0653 +▁entuzijazam -13.0653 +▁Pašalić -13.0653 +▁Ukrajinci -13.0653 +▁Vidovdan -13.0653 +▁kupatilu -13.0653 +▁najslabij -13.0653 +▁Ponavlja -13.0653 +▁Zemaljsk -13.0653 +▁wrestle -13.0653 +▁nakratko -13.0653 +▁posledicu -13.0653 +▁stečajni -13.0653 +▁cocoa -13.0654 +▁stipendiju -13.0654 +iPad -13.0654 +▁alleviate -13.0654 +▁Honour -13.0654 +▁komandu -13.0654 +▁Integrated -13.0654 +▁Prospect -13.0654 +▁činjeničn -13.0654 +▁pridruživanju -13.0654 +▁Rochester -13.0654 +sluškuj -13.0654 +▁Kolekcij -13.0654 +▁arbitraž -13.0654 +▁Najave -13.0655 +▁salaries -13.0655 +▁naišla -13.0655 +каза -13.0655 +▁bedem -13.0655 +▁vakcinaciji -13.0655 +▁odraziti -13.0655 +▁arbitration -13.0656 +čenko -13.0656 +▁Sjednic -13.0656 +▁ispalo -13.0656 +▁vladavina -13.0656 +▁Carroll -13.0656 +▁Kabul -13.0657 +▁Shift -13.0657 +istočni -13.0657 +▁Judy -13.0657 +▁Sremske -13.0658 +▁vladajuća -13.0658 +▁plakati -13.0658 +▁assay -13.0658 +▁predictable -13.0658 +▁comprise -13.0658 +sweet -13.0659 +▁pozadinu -13.0659 +branjen -13.0659 +značaj -13.066 +▁Previously -13.066 +▁dosage -13.0661 +▁rinse -13.0662 +▁voćnjak -13.0662 +▁Šak -13.0662 +▁slušamo -13.0662 +▁Norton -13.0663 +▁Odjel -13.0663 +Kat -13.0663 +OLE -13.0663 +▁vrb -13.0663 +▁Jutarnji -13.0664 +▁commenting -13.0664 +▁Promet -13.0664 +▁elaborat -13.0664 +▁oslobađanja -13.0665 +▁sjedne -13.0665 +▁parole -13.0666 +▁Brač -13.0666 +Benz -13.0667 +▁napuštanja -13.0668 +krade -13.0668 +▁neophodnost -13.0668 +▁Gha -13.0669 +▁uzajamn -13.067 +andar -13.067 +▁izabranih -13.067 +▁Nedim -13.0671 +ال -13.0671 +bijaju -13.0672 +▁kafani -13.0673 +agic -13.0673 +▁sanduk -13.0675 +▁Zlatna -13.0676 +▁Omiš -13.0676 +▁Putnici -13.0677 +▁solarnih -13.0677 +roud -13.0677 +▁pronađene -13.0678 +▁Arrow -13.0678 +▁kompost -13.0679 +▁ustanovljeno -13.0681 +▁uniquely -13.0682 +▁jednostran -13.0683 +ukoliko -13.0683 +▁vlažni -13.0683 +Mod -13.0684 +licne -13.0684 +▁novinarke -13.0684 +▁večno -13.0685 +NIJA -13.0685 +▁Irena -13.0685 +▁Mujo -13.0686 +▁neurolog -13.0686 +▁sadašnjosti -13.0687 +▁opiše -13.0687 +▁Beloj -13.0687 +▁objavile -13.0688 +▁aktuelnom -13.0688 +▁pastry -13.0688 +Slav -13.0689 +▁dohvat -13.0689 +Kraj -13.0689 +▁shvatimo -13.0691 +▁konac -13.0691 +▁FMP -13.0694 +▁adhesive -13.0694 +▁dishwasher -13.0694 +▁doprineli -13.0694 +▁energetiku -13.0694 +▁epidemic -13.0694 +▁estetske -13.0694 +▁izvanredan -13.0694 +▁nedoumice -13.0694 +▁novoizabran -13.0694 +▁territories -13.0694 +▁victories -13.0694 +▁blagonaklon -13.0694 +▁udžbenici -13.0694 +▁užurban -13.0694 +▁embrion -13.0694 +▁gašenju -13.0694 +Dnevn -13.0694 +▁novosadski -13.0694 +▁obrasca -13.0694 +▁Asocijacija -13.0694 +▁protumači -13.0694 +▁Avg -13.0694 +▁Poslednje -13.0695 +▁korekcije -13.0695 +▁(2006) -13.0695 +▁imovini -13.0695 +▁uvjek -13.0695 +▁uragan -13.0695 +▁Equity -13.0695 +▁komunizma -13.0695 +XX -13.0695 +▁Gardner -13.0695 +▁Already -13.0695 +▁economical -13.0695 +▁Kakvo -13.0695 +▁cubic -13.0695 +▁odsvira -13.0696 +ARY -13.0696 +▁drainage -13.0697 +▁shortcut -13.0697 +▁plaque -13.0697 +▁suočavanje -13.0698 +▁upravitelj -13.0698 +▁naslage -13.0698 +eeee -13.0698 +▁traction -13.0698 +▁sirćeta -13.0698 +Space -13.0699 +▁glyco -13.0699 +▁hinge -13.0699 +▁odgovorima -13.0699 +Nezavisne -13.0699 +▁Highly -13.0699 +▁Tagovi -13.0699 +▁ро -13.0699 +▁metru -13.07 +▁NFC -13.07 +▁sjetv -13.07 +▁Remi -13.0701 +▁dovođenje -13.0701 +▁asfaltiran -13.0701 +anovic -13.0702 +▁manipulation -13.0702 +▁Naser -13.0703 +▁originated -13.0703 +▁čuvamo -13.0704 +▁toplotu -13.0704 +▁trenirao -13.0704 +▁fictional -13.0705 +▁drustven -13.0705 +lingual -13.0706 +▁čitaoce -13.0706 +▁postavljati -13.0707 +▁supplying -13.0707 +▁Sonic -13.0707 +▁blagodati -13.0707 +▁Medija -13.0707 +RIGHT -13.0709 +Nemoj -13.0709 +makne -13.071 +▁osmini -13.071 +▁chrome -13.071 +▁exert -13.0711 +▁sentimental -13.0712 +/100 -13.0712 +stvena -13.0712 +▁derbija -13.0712 +▁realization -13.0713 +▁preklop -13.0713 +▁Vukovaru -13.0715 +▁animira -13.0715 +▁spašen -13.0716 +▁shatter -13.0717 +▁prošlih -13.0717 +▁Potok -13.0718 +specijal -13.0719 +▁komšijama -13.0719 +▁koalicion -13.0719 +▁dirljiv -13.072 +Mart -13.072 +▁Komand -13.0721 +/01 -13.0721 +buck -13.0723 +▁ostanete -13.0723 +▁flore -13.0723 +▁ciste -13.0724 +▁trajekt -13.0724 +▁kazališn -13.0724 +||2|| -13.0724 +▁zelite -13.0725 +▁Commander -13.0725 +▁posvetila -13.0725 +▁osetite -13.0725 +▁borila -13.0725 +▁Studen -13.0727 +▁Koalicija -13.0727 +▁zaduženja -13.0727 +▁moćna -13.0727 +IZACIJ -13.0727 +▁pokretljivost -13.0727 +▁egzo -13.0727 +▁briefing -13.0727 +▁lijepih -13.0728 +▁Aktivni -13.0729 +▁pećine -13.0729 +mjesto -13.0729 +▁zaborave -13.073 +▁striktno -13.073 +▁slijediti -13.073 +▁inventor -13.0731 +EPA -13.0732 +▁stavljati -13.0732 +▁Januar -13.0732 +▁opozicioni -13.0732 +▁Quite -13.0733 +лази -13.0735 +record -13.0735 +▁approx -13.0735 +א -13.0735 +▁Profimedia -13.0735 +▁Requirements -13.0735 +▁acrylic -13.0735 +▁exercising -13.0735 +▁konstrukciju -13.0735 +▁scrutiny -13.0735 +▁Infrastructure -13.0735 +▁Poželjno -13.0735 +▁Residence -13.0735 +▁Snapdragon -13.0735 +▁austrougarsk -13.0735 +▁dominaciju -13.0735 +▁fertility -13.0735 +▁vatrogasne -13.0735 +▁Signature -13.0735 +▁endokrin -13.0735 +▁objedinjen -13.0735 +▁rashladn -13.0735 +▁simulator -13.0735 +▁Vujošević -13.0735 +▁cifre -13.0735 +▁ordinacija -13.0735 +▁propagande -13.0735 +▁alphabet -13.0735 +▁educira -13.0735 +▁skrivene -13.0735 +▁molitva -13.0736 +▁figuring -13.0736 +▁ustavne -13.0736 +▁sklapanje -13.0736 +▁reljef -13.0737 +Jedno -13.0737 +▁pjesmama -13.0737 +▁kvantn -13.0737 +▁Plum -13.0738 +▁neformalni -13.0738 +▁istorijskom -13.0738 +abolic -13.0739 +▁jednostrano -13.0739 +▁pobud -13.0739 +▁gateway -13.074 +▁čuč -13.074 +Centar -13.074 +▁gentleman -13.0741 +▁procedi -13.0741 +▁aktuelnoj -13.0741 +▁podvukao -13.0742 +▁Boje -13.0742 +pome -13.0742 +▁oženjen -13.0742 +||17 -13.0742 +▁poboljšaju -13.0743 +▁polažu -13.0743 +▁uvedu -13.0743 +Media -13.0743 +▁čekanje -13.0744 +▁Preview -13.0745 +1.7 -13.0745 +▁obrasci -13.0745 +▁graničnih -13.0745 +▁ogromnih -13.0746 +▁Vrh -13.0746 +▁bombu -13.0747 +▁realities -13.0747 +▁aktivnu -13.0747 +▁Avdić -13.0748 +steroid -13.0748 +5.6 -13.0748 +▁počinj -13.0749 +▁believers -13.0749 +▁srčane -13.075 +▁Gustav -13.075 +▁parovima -13.0751 +▁inaugural -13.0751 +▁halo -13.0752 +▁podnijeli -13.0752 +kip -13.0753 +partner -13.0753 +ready -13.0753 +▁NIN -13.0755 +▁fazon -13.0755 +▁MSP -13.0755 +▁trophy -13.0756 +▁око -13.0757 +▁zaljubljenih -13.0758 +brain -13.0758 +▁masira -13.0758 +жу -13.076 +▁osmehom -13.0761 +▁iskrenost -13.0762 +▁petrol -13.0763 +4.0 -13.0763 +▁zest -13.0763 +▁$10,000 -13.0764 +▁tragovima -13.0764 +▁motorist -13.0764 +▁poured -13.0765 +Autor -13.0767 +▁Fir -13.0767 +▁iskazali -13.0768 +▁angio -13.0768 +mijenjen -13.0769 +▁гр -13.077 +▁Pupin -13.077 +North -13.0772 +▁Successful -13.0773 +▁smoothie -13.0774 +▁whoever -13.0774 +▁pomisliti -13.0774 +▁izbornom -13.0774 +▁ponavljanje -13.0775 +▁Rodić -13.0775 +0-1 -13.0775 +▁pobunjeni -13.0776 +▁zemljo -13.0776 +▁BESPLATN -13.0776 +▁Dolphin -13.0776 +▁Manojlović -13.0776 +▁Marriage -13.0776 +▁Posetioci -13.0776 +▁Prisustvo -13.0776 +▁Suffolk -13.0776 +▁Worcester -13.0776 +▁frekvencije -13.0776 +▁gimnaziju -13.0776 +▁nezadovoljan -13.0776 +▁oslobode -13.0776 +▁osmjeh -13.0776 +▁proširuje -13.0776 +▁reproductive -13.0776 +▁Emperor -13.0776 +▁autonomiju -13.0776 +▁ordinance -13.0776 +▁veggies -13.0776 +▁srednjoškolaca -13.0776 +▁pravdi -13.0776 +▁Đogani -13.0776 +▁segmenata -13.0776 +▁impresivni -13.0776 +▁rainbow -13.0776 +▁Athens -13.0777 +▁Nuclear -13.0777 +▁proganja -13.0777 +▁prosperity -13.0777 +▁Creed -13.0777 +▁inventar -13.0777 +▁vojskom -13.0777 +▁Durham -13.0777 +▁ministarstvima -13.0778 +▁Beogradske -13.0778 +▁supreme -13.0778 +▁platne -13.0778 +▁krađu -13.0778 +▁mjesne -13.0778 +▁artisan -13.0778 +▁dodele -13.0779 +tehnički -13.0779 +▁silicone -13.0779 +▁Ankara -13.078 +▁gljive -13.078 +▁hazardous -13.078 +▁poslo -13.078 +▁Zapadno -13.078 +▁odvajanje -13.0781 +▁Šaren -13.0781 +Public -13.0782 +▁Tahir -13.0782 +▁snježn -13.0782 +▁ministre -13.0782 +▁Webex -13.0782 +▁criticized -13.0782 +▁svjetskoj -13.0782 +▁preporučeno -13.0782 +▁Sestr -13.0783 +155 -13.0783 +▁Sunny -13.0783 +▁Mandel -13.0784 +▁prikaziva -13.0784 +socijacij -13.0784 +▁Lekari -13.0786 +7.1 -13.0786 +▁weld -13.0787 +▁Smanjenje -13.0787 +stigao -13.0787 +▁Monthly -13.0787 +▁hadži -13.0787 +balance -13.0787 +▁dopisnik -13.0788 +GHz -13.0789 +▁susjednih -13.0791 +▁slash -13.0792 +zvuk -13.0792 +▁malignih -13.0793 +opathy -13.0793 +▁била -13.0793 +▁Sprint -13.0795 +▁humanitarnog -13.0796 +▁smiješno -13.0796 +▁opuštaju -13.0798 +▁kucu -13.0798 +▁fokusirati -13.0799 +▁zahvalna -13.0799 +тно -13.0799 +▁Ukrajinsk -13.0799 +▁comb -13.08 +▁medicinskom -13.08 +▁Otvoreni -13.0801 +▁cvjetn -13.0801 +▁LET -13.0801 +▁sportove -13.0803 +▁157 -13.0803 +▁zadovoljavajući -13.0804 +▁srž -13.0804 +▁regeneraciju -13.0804 +▁izručen -13.0805 +▁pamtim -13.0805 +▁zaplet -13.0805 +won -13.0806 +bilja -13.0806 +▁Specific -13.0806 +----- -13.0806 +▁impres -13.0807 +▁hranjen -13.0807 +▁momentima -13.0809 +▁nastavljeno -13.081 +▁prepustiti -13.081 +▁ubijenog -13.081 +▁Dmitr -13.081 +ост -13.081 +▁conception -13.081 +▁reklamu -13.0811 +▁Istorijsk -13.0811 +▁Mitrov -13.0811 +▁manifestation -13.0811 +▁Dosad -13.0814 +▁bumper -13.0816 +▁ostvarile -13.0817 +▁turskim -13.0817 +▁cia -13.0817 +▁sovereign -13.0817 +▁lovci -13.0817 +▁Tejlor -13.0818 +▁odbrambeno -13.0818 +▁zajedništvo -13.0818 +▁Continental -13.0818 +▁Generalštaba -13.0818 +▁glazba -13.0818 +▁obezbjeđuje -13.0818 +▁robbery -13.0818 +▁Orthodox -13.0818 +▁Fifth -13.0818 +▁kompetencije -13.0818 +▁pavlaku -13.0818 +▁Utorak -13.0818 +.02.2023 -13.0818 +.04.2019 -13.0818 +▁prakticira -13.0818 +▁Uživo -13.0818 +▁southeast -13.0818 +▁yacht -13.0818 +▁odustali -13.0818 +▁kayak -13.0818 +▁Međunarodno -13.0818 +▁sarađivati -13.0818 +▁shining -13.0818 +▁perfektn -13.0818 +▁uporedo -13.0818 +▁Pronađen -13.0819 +▁zatekao -13.0819 +▁martial -13.0819 +▁Bijele -13.0819 +▁woven -13.0819 +▁Etno -13.0819 +▁Straight -13.0819 +▁rođenju -13.0819 +BIT -13.082 +▁mentoring -13.082 +ificiran -13.082 +▁Pretraži -13.082 +▁decisive -13.082 +▁operite -13.082 +▁provedene -13.0821 +▁Malik -13.0821 +▁obiđe -13.0821 +Direct -13.0822 +▁parameter -13.0823 +▁vršnjacima -13.0823 +Očekuje -13.0823 +chief -13.0824 +▁glaze -13.0824 +biznis -13.0825 +▁nijansama -13.0825 +▁NGO -13.0826 +▁gips -13.0826 +▁philosophical -13.0826 +▁najbogatijih -13.0826 +▁gloss -13.0827 +▁zastrašujuće -13.0827 +▁Vidite -13.0829 +▁vratilo -13.083 +▁parkova -13.083 +▁prestali -13.0831 +▁prošlogodišnjeg -13.0831 +▁Foči -13.0831 +▁Rekli -13.0831 +▁kancelarka -13.0831 +▁rangira -13.0831 +▁adequately -13.0831 +▁jednakim -13.0833 +▁presjek -13.0833 +▁zaputi -13.0834 +▁aktivirati -13.0834 +▁Reprezentacija -13.0834 +▁uslovno -13.0834 +▁pursued -13.0834 +▁NL -13.0834 +▁Posljednjih -13.0835 +founded -13.0836 +▁obey -13.0836 +AČA -13.0838 +RCA -13.0838 +▁osećamo -13.0839 +▁Simonović -13.0839 +▁FAA -13.0839 +xton -13.0839 +▁silikon -13.0841 +Jačanje -13.0842 +▁tvojoj -13.0842 +1-0 -13.0842 +Serv -13.0843 +ppen -13.0843 +▁3.8 -13.0844 +earn -13.0844 +giba -13.0844 +▁muzičko -13.0845 +▁feared -13.0846 +▁dijagnostici -13.0846 +▁Chin -13.0847 +▁sklonosti -13.0848 +▁nebom -13.0848 +▁opak -13.0848 +Safe -13.0848 +▁detox -13.0849 +▁Kvin -13.0849 +▁vazdušno -13.0849 +▁sunčanje -13.085 +▁Igrač -13.0854 +kvalifikovan -13.0854 +▁pritužb -13.0854 +▁glasovima -13.0854 +▁lijepim -13.0855 +▁AAA -13.0855 +▁veæ -13.0856 +▁obiteljski -13.0856 +▁Janjuš -13.0857 +▁osmislio -13.0857 +▁pitched -13.0858 +▁GmbH -13.0859 +▁Goljatkin -13.0859 +▁Jasenovac -13.0859 +▁administraciju -13.0859 +▁boravku -13.0859 +▁detinjstvo -13.0859 +▁funkcionisanju -13.0859 +▁magnesium -13.0859 +▁učestvovanje -13.0859 +▁mirovinu -13.0859 +▁preduzmu -13.0859 +▁Aurora -13.0859 +▁istorijom -13.0859 +▁instituciji -13.0859 +▁Vaskrs -13.0859 +▁prioritize -13.0859 +▁unanimous -13.0859 +▁disertacij -13.0859 +▁faktički -13.0859 +▁spomenute -13.0859 +▁poliester -13.0859 +▁Kraljevstva -13.0859 +▁bilten -13.0859 +▁bundeve -13.086 +▁stijena -13.086 +▁vedro -13.086 +▁nespremn -13.086 +▁ulagati -13.086 +▁tehnici -13.086 +▁Hiljad -13.086 +▁raspisao -13.086 +▁procurement -13.0861 +▁Radoslav -13.0861 +▁probudio -13.0861 +▁alternativno -13.0862 +▁izloženo -13.0862 +مَ -13.0863 +struko -13.0863 +▁plasirala -13.0864 +▁Tex -13.0864 +▁sudionik -13.0865 +▁inicijali -13.0866 +▁capitalism -13.0866 +▁izvršene -13.0866 +▁bliska -13.0867 +▁preventivnih -13.0867 +▁Passion -13.0868 +▁unveiled -13.0869 +▁dramskih -13.0869 +▁vuč -13.0869 +▁lust -13.0869 +▁kesica -13.087 +maknu -13.087 +▁boraviti -13.087 +▁|16 -13.087 +▁prikupljenih -13.0871 +hurst -13.0872 +▁whereby -13.0873 +learning -13.0873 +▁kari -13.0874 +стран -13.0876 +▁kupnju -13.0876 +▁Brena -13.0877 +eater -13.0877 +лица -13.0878 +▁Abuse -13.0878 +LEY -13.088 +IAN -13.088 +trained -13.0881 +▁1/8 -13.0882 +▁dinosaur -13.0883 +▁proceeded -13.0883 +▁disable -13.0884 +▁blended -13.0884 +▁Paolo -13.0884 +▁Transit -13.0885 +▁osnovala -13.0885 +▁preduzimaju -13.0887 +▁Sušić -13.0887 +▁lament -13.0888 +▁Veselinović -13.0889 +▁kolor -13.089 +▁registering -13.089 +▁horoskopski -13.089 +▁whisper -13.0891 +▁tehnološko -13.0891 +▁VER -13.0892 +▁babi -13.0892 +▁Willis -13.0893 +▁Cetinja -13.0894 +▁njemačkih -13.0895 +▁hašk -13.0895 +▁Alien -13.0896 +▁bijelim -13.0896 +▁nomad -13.0896 +▁organizaciono -13.0896 +skoro -13.0898 +▁Bebe -13.0898 +▁cestovn -13.0898 +бав -13.0898 +▁gifted -13.0899 +▁demokratskim -13.0899 +energy -13.0899 +233 -13.0899 +▁Veroni -13.09 +▁Svakodnevno -13.09 +▁opasnog -13.09 +▁dječij -13.09 +prehrambeni -13.0901 +▁CAPITAL -13.0901 +▁inspiracije -13.0901 +▁simfonij -13.0901 +▁tvrđavi -13.0901 +▁Švicarskoj -13.0901 +▁Engagement -13.0901 +▁Schneider -13.0901 +▁distributivn -13.0901 +▁nepodnošljiv -13.0901 +▁obsessed -13.0901 +▁unfamiliar -13.0901 +merge -13.0901 +▁zabluda -13.0901 +▁због -13.0901 +▁veselje -13.0901 +▁posumnja -13.0901 +▁pomagali -13.0901 +▁dijaspora -13.0901 +▁ultrasound -13.0901 +▁Hrvoje -13.0901 +▁komplement -13.0901 +▁borbom -13.0901 +▁verdict -13.0901 +▁učiteljica -13.0901 +▁wicked -13.0901 +▁(2010) -13.0902 +▁svidja -13.0902 +▁mirovine -13.0902 +▁solarne -13.0902 +▁Integration -13.0902 +▁erupt -13.0902 +▁Springfield -13.0902 +▁dužnika -13.0902 +▁kugle -13.0902 +▁Albaniju -13.0902 +▁podneli -13.0903 +▁Kathy -13.0903 +▁Njeni -13.0904 +▁Radne -13.0904 +▁koševa -13.0904 +▁Banovići -13.0905 +▁Warning -13.0905 +▁forumima -13.0906 +▁sistematiz -13.0906 +▁Shape -13.0906 +September -13.0907 +▁cereal -13.0907 +▁klimatizacij -13.0907 +jednu -13.0908 +▁tumač -13.0908 +▁Pressure -13.0908 +▁seamlessly -13.0908 +▁monah -13.0908 +▁ukusne -13.0909 +▁trn -13.0909 +▁adorn -13.091 +▁oličen -13.091 +▁950 -13.0911 +▁testirati -13.0911 +▁refugee -13.0911 +CHA -13.0911 +Online -13.0912 +Pošto -13.0912 +kockica -13.0913 +▁Drawing -13.0913 +▁interpretira -13.0913 +▁rashodi -13.0915 +▁pitk -13.0915 +▁opcijama -13.0917 +▁Opštini -13.0918 +▁Vince -13.0918 +▁Serving -13.0918 +▁Dobio -13.0919 +▁gledaoce -13.092 +▁LIST -13.092 +▁solidan -13.092 +▁restriction -13.092 +▁пра -13.092 +▁izbegavanje -13.0922 +▁Priče -13.0922 +▁vozac -13.0922 +▁Dejtonski -13.0922 +▁osjećala -13.0923 +▁Limun -13.0923 +▁kultni -13.0923 +▁obezbeđivanje -13.0923 +▁junakinj -13.0925 +▁Predict -13.0925 +ñ -13.0925 +▁studentske -13.0925 +▁Cirih -13.0926 +▁referee -13.0927 +▁zatražen -13.0927 +paced -13.0927 +▁Пре -13.0928 +▁Osmo -13.0928 +321 -13.0928 +▁4.4 -13.0929 +▁optuženog -13.093 +▁desna -13.093 +▁jadni -13.0931 +▁kritični -13.0931 +▁ljud -13.0932 +▁brini -13.0932 +▁financiranje -13.0932 +▁parental -13.0932 +▁Cove -13.0934 +▁fog -13.0937 +▁Wilk -13.0937 +▁travnjak -13.0937 +realističn -13.0938 +▁Kolik -13.0938 +▁Bijelom -13.0938 +▁philosopher -13.0939 +▁XV -13.0939 +▁slobodnoj -13.0941 +▁federacija -13.0941 +▁Ribar -13.0941 +▁otporan -13.0941 +▁poklapa -13.0941 +▁mokri -13.0942 +ensor -13.0942 +▁Fidel -13.0942 +ß -13.0943 +vjeroispovijesti -13.0943 +▁Cricket -13.0943 +▁Najnovija -13.0943 +▁Pradesh -13.0943 +▁allergic -13.0943 +▁capacities -13.0943 +▁carriage -13.0943 +▁uzgajivač -13.0943 +▁zadužbin -13.0943 +▁cjelina -13.0943 +▁whistle -13.0943 +▁replies -13.0943 +▁restrukturiranj -13.0943 +▁Kavazović -13.0943 +▁kulminira -13.0943 +▁Adidas -13.0943 +▁ukršta -13.0943 +▁ecological -13.0943 +▁Dizdarević -13.0943 +▁stylist -13.0943 +▁eighteen -13.0943 +▁presently -13.0943 +▁lahko -13.0943 +▁Mirjan -13.0943 +▁detector -13.0943 +▁duze -13.0943 +▁pohlep -13.0943 +▁racionaliz -13.0944 +druže -13.0944 +▁perifern -13.0944 +▁Razlozi -13.0944 +▁žab -13.0944 +▁kurseve -13.0945 +▁platna -13.0945 +▁savjetovanje -13.0945 +▁Slovačka -13.0946 +▁Bilja -13.0946 +▁Europu -13.0946 +▁pobuni -13.0947 +▁digging -13.0947 +opšte -13.0947 +▁postulat -13.0947 +▁suzdržan -13.0947 +naravno -13.0947 +▁pažljiv -13.0948 +▁svojevrsna -13.0948 +▁pisama -13.0948 +▁đumbir -13.0949 +▁katolik -13.0949 +Cho -13.095 +▁2,8 -13.095 +genesis -13.095 +▁wiki -13.095 +▁guzi -13.095 +▁Hok -13.0951 +▁Jezik -13.0952 +▁Serge -13.0953 +woo -13.0953 +▁Winston -13.0954 +Full -13.0954 +▁opasnim -13.0954 +▁snizi -13.0954 +(4) -13.0955 +▁Zec -13.0956 +▁Burton -13.0956 +▁Won -13.0957 +▁awaiting -13.0958 +▁hronika -13.0958 +zeleni -13.0959 +▁Šok -13.0959 +▁pult -13.0959 +▁Južni -13.096 +▁tajms -13.096 +▁pokrije -13.096 +▁Nauči -13.096 +▁85% -13.0961 +▁nijednom -13.0962 +▁Berk -13.0962 +▁illuminate -13.0963 +▁Realizacij -13.0964 +▁oslobađajuć -13.0964 +▁collapsed -13.0964 +▁148 -13.0964 +▁Bread -13.0964 +▁burner -13.0964 +stituciona -13.0964 +▁Robertson -13.0965 +▁mineralnih -13.0965 +▁Insajder -13.0967 +▁ovjeren -13.0967 +▁čovjekov -13.0969 +▁Parade -13.0969 +▁divljači -13.0969 +▁gravel -13.097 +▁cutter -13.097 +▁obavestiti -13.0971 +ljanin -13.0971 +Like -13.0972 +nzija -13.0972 +▁prakti -13.0972 +▁endorse -13.0973 +wiki -13.0973 +▁podelite -13.0973 +▁tuning -13.0974 +▁Tall -13.0975 +▁Sharing -13.0975 +▁jajima -13.0975 +▁canada -13.0975 +▁Značajn -13.0977 +▁rented -13.0977 +▁dizajnirani -13.0977 +▁Muž -13.0977 +▁bombon -13.0978 +▁vaterpolo -13.0978 +▁1932 -13.098 +▁Borusij -13.098 +▁četnici -13.0981 +serving -13.0982 +▁sačuvaju -13.0982 +од -13.0983 +Џ -13.0985 +ל -13.0985 +▁Dictionary -13.0985 +▁Pediatric -13.0985 +▁deklaracija -13.0985 +▁devojčicu -13.0985 +▁peculiar -13.0985 +▁testimonial -13.0985 +▁Definition -13.0985 +▁apparel -13.0985 +▁liječnici -13.0985 +▁Cambodia -13.0985 +▁NASTAVLJA -13.0985 +▁Cestovn -13.0985 +▁podiglo -13.0985 +▁Jakovljević -13.0985 +▁zvučal -13.0985 +▁Slijedi -13.0985 +▁ohrabren -13.0985 +kick -13.0985 +▁sadness -13.0985 +▁dioxide -13.0985 +▁fireworks -13.0985 +ovljev -13.0985 +▁uvećanje -13.0986 +▁promicanj -13.0986 +▁Anastasija -13.0986 +▁storyline -13.0987 +vredi -13.0987 +▁usporedbi -13.0987 +SEC -13.0988 +pozicija -13.0989 +▁predstaviće -13.0989 +▁finansijskoj -13.099 +▁celovit -13.099 +▁osnaživanje -13.0991 +© -13.0991 +▁riješili -13.0992 +▁nadmorske -13.0992 +▁sexuality -13.0992 +student -13.0992 +▁Featured -13.0993 +▁telekom -13.0993 +▁195 -13.0993 +▁diplomatske -13.0993 +▁NIŠ -13.0994 +▁Armed -13.0995 +▁Shawn -13.0997 +▁Critic -13.0997 +▁globalnim -13.0997 +prica -13.0997 +▁sedenje -13.0998 +▁ugrožavanja -13.0998 +▁oprostio -13.0999 +▁trudili -13.0999 +▁Tvrtka -13.0999 +▁konzervat -13.1 +▁kriterijima -13.1 +▁Talking -13.1 +▁sweeping -13.1001 +▁pokloniti -13.1002 +kazalo -13.1003 +▁mantra -13.1003 +▁smrad -13.1004 +▁μ -13.1004 +▁Minsk -13.1004 +ур -13.1005 +▁blokiraju -13.1005 +▁produže -13.1006 +▁constructive -13.1007 +▁NOVE -13.1007 +▁Load -13.1007 +Lok -13.1008 +▁Miris -13.1008 +broje -13.1009 +▁Živinica -13.1009 +▁complaining -13.1009 +AKT -13.101 +▁belih -13.101 +▁oriented -13.101 +▁utvrđenih -13.101 +▁ŽEN -13.1011 +▁breg -13.1011 +Budi -13.1012 +бри -13.1012 +▁uobičajenih -13.1012 +▁guitarist -13.1012 +▁podsjetiti -13.1012 +▁njeguje -13.1013 +▁888 -13.1014 +▁obrva -13.1015 +▁maple -13.1016 +▁4-6 -13.1017 +▁pedijatri -13.1017 +▁Colon -13.1017 +▁proširenju -13.1017 +▁ravnopravn -13.1018 +▁wedge -13.1019 +▁Patrik -13.1019 +Naselja -13.102 +▁slušala -13.102 +▁smenu -13.102 +▁Clari -13.1022 +▁STAT -13.1022 +▁0,6 -13.1023 +Pass -13.1024 +▁oštećenih -13.1024 +▁integracijama -13.1025 +▁Darija -13.1026 +Type -13.1026 +▁0,7 -13.1026 +▁Santo -13.1027 +▁Sheffield -13.1027 +▁doprineo -13.1027 +▁novoosnovan -13.1027 +▁pandemiju -13.1027 +▁potencira -13.1027 +▁pronalaženju -13.1027 +▁saučešće -13.1027 +▁altitude -13.1027 +▁sjeveroistočn -13.1027 +▁podložni -13.1027 +▁Najbliž -13.1027 +▁surplus -13.1027 +▁bespilotn -13.1027 +▁koncentrisan -13.1027 +▁bandwidth -13.1027 +▁Mreže -13.1027 +▁iracional -13.1027 +▁izbjegne -13.1027 +▁fingerprint -13.1027 +session -13.1027 +▁Atalant -13.1027 +▁poretku -13.1027 +▁slavne -13.1027 +▁censor -13.1027 +▁kretao -13.1028 +▁prašak -13.1028 +▁Felix -13.1028 +▁Prijatno -13.1028 +▁Monkey -13.1028 +▁primorani -13.1028 +▁fiksno -13.1028 +▁programskih -13.1028 +hvatanje -13.1028 +▁Modrić -13.1028 +▁lagane -13.1029 +bomb -13.1029 +▁svježeg -13.1029 +▁multimedia -13.1029 +▁pretvorila -13.1029 +▁odreći -13.1029 +▁Wheat -13.1029 +▁Vrste -13.1029 +▁razrešen -13.1029 +▁priseća -13.103 +▁recount -13.103 +▁Kenny -13.1031 +▁treniraju -13.1031 +▁balkanske -13.1032 +▁similarities -13.1032 +▁embarrassing -13.1032 +▁Pantić -13.1032 +▁Ramon -13.1032 +champ -13.1032 +ђу -13.1033 +Upoznajte -13.1033 +Fudbal -13.1033 +▁narušavanja -13.1033 +▁zmije -13.1034 +▁rays -13.1034 +▁Viktorija -13.1034 +Vaš -13.1035 +▁šank -13.1035 +▁mentalne -13.1036 +▁Žik -13.1036 +▁kasne -13.1037 +project -13.1037 +▁mesnih -13.1038 +information -13.1038 +▁Dunja -13.1038 +▁krak -13.1038 +▁greeting -13.1038 +why -13.1039 +▁slikarstvo -13.104 +▁crtanje -13.104 +▁vlažnosti -13.104 +▁ovlaštenja -13.1041 +▁systemic -13.1041 +▁obustavlja -13.1041 +1,5 -13.1041 +▁1400 -13.1041 +▁neodoljivo -13.1041 +▁$300 -13.1042 +▁kućišta -13.1042 +PRI -13.1043 +▁makedonsko -13.1043 +▁wonderfully -13.1043 +▁vrućina -13.1043 +▁512 -13.1044 +tube -13.1044 +▁MLA -13.1044 +▁Stress -13.1044 +пр -13.1045 +▁поп -13.1047 +▁simplest -13.1047 +▁1926 -13.1047 +▁privremenih -13.1048 +maknuti -13.1049 +▁homeowner -13.1049 +▁desnice -13.1049 +ün -13.105 +▁Erin -13.105 +▁denying -13.105 +нг -13.105 +▁compromised -13.1051 +▁podsetila -13.1052 +SCG -13.1052 +▁glupi -13.1053 +▁poručiti -13.1055 +▁YA -13.1055 +▁Jovanov -13.1056 +ODA -13.1056 +▁omiljenu -13.1056 +▁Predstavljen -13.1057 +▁stimulira -13.1057 +▁upotrijebi -13.1057 +▁tekućine -13.1058 +▁modnim -13.1058 +▁Jedni -13.1059 +▁Warrior -13.1059 +▁Psiho -13.1059 +▁šer -13.106 +▁sadnju -13.106 +▁provedete -13.1061 +▁basil -13.1061 +benz -13.1061 +▁lone -13.1062 +▁šik -13.1063 +▁potezima -13.1063 +▁dostojanstveno -13.1066 +▁време -13.1066 +2.4 -13.1066 +▁dječiji -13.1067 +▁granični -13.1068 +▁testiraju -13.1068 +▁džematu -13.1068 +ج -13.1069 +▁Zavidovići -13.1069 +▁credible -13.1069 +▁dementia -13.1069 +▁detinjstvu -13.1069 +▁disfunkcij -13.1069 +▁pankreas -13.1069 +▁qualitative -13.1069 +▁unapređuje -13.1069 +▁Stockholm -13.1069 +▁Tivtu -13.1069 +▁raskrsnici -13.1069 +▁Registar -13.1069 +▁degustaci -13.1069 +▁Vatican -13.1069 +▁nonsense -13.1069 +▁upriliči -13.1069 +▁Inicijative -13.1069 +▁Srpkinj -13.1069 +▁hemoglobin -13.1069 +▁Potpredsjednik -13.1069 +▁refusing -13.1069 +▁bradavice -13.1069 +!!!!! -13.1069 +▁potrošnji -13.1069 +▁forthcoming -13.107 +▁davnina -13.107 +▁prohlad -13.107 +▁Milatović -13.107 +▁izdajnik -13.107 +▁skraćiva -13.107 +▁neustavn -13.107 +▁friction -13.107 +▁drogom -13.107 +▁uvjerenjima -13.107 +▁Slovenci -13.107 +▁terminate -13.107 +▁otpjeva -13.1071 +▁točnije -13.1071 +▁Township -13.1071 +▁zgrabi -13.1071 +▁remeti -13.1071 +lytic -13.1071 +▁arterija -13.1071 +▁prepoznavanja -13.1071 +▁reboot -13.1071 +▁kolovozu -13.1071 +▁Advent -13.1072 +▁Presidential -13.1073 +▁sjeverni -13.1074 +▁drugarica -13.1074 +▁smetaju -13.1074 +▁ROI -13.1075 +Digital -13.1076 +▁manifestacijama -13.1076 +▁Mensur -13.1077 +▁normalnoj -13.1077 +▁skladištenja -13.1077 +▁dosegnu -13.1078 +▁međusobnog -13.1078 +▁travelled -13.1079 +▁poštujući -13.108 +▁hardship -13.108 +Key -13.108 +6%) -13.1081 +▁pristala -13.1081 +▁optički -13.1082 +▁hallway -13.1082 +▁Bačke -13.1082 +▁stolici -13.1082 +||31 -13.1083 +street -13.1083 +▁Lighting -13.1084 +▁povoljniji -13.1085 +▁чу -13.1085 +▁prestiž -13.1085 +[2] -13.1085 +▁privrednicima -13.1086 +▁depicted -13.1086 +▁Barber -13.1086 +▁svačij -13.1087 +▁Elect -13.1088 +▁obećala -13.1089 +▁nafta -13.1089 +▁Levin -13.1089 +izvor -13.1089 +▁caption -13.109 +▁nazivamo -13.1091 +▁advertisement -13.1091 +zivajući -13.1092 +▁inventiv -13.1092 +▁organskog -13.1093 +▁judged -13.1093 +▁Mister -13.1093 +▁umanjiti -13.1094 +▁borce -13.1094 +čep -13.1095 +њем -13.1095 +▁Loop -13.1095 +tronic -13.1096 +▁anketiran -13.1096 +▁Clan -13.1098 +▁delovanjem -13.1098 +▁сте -13.1098 +▁exceeded -13.1099 +▁metaka -13.1099 +EEE -13.11 +▁Pokušaj -13.1101 +▁Prepozna -13.1101 +▁podelili -13.1102 +▁Davidović -13.1102 +▁skies -13.1103 +▁bacterial -13.1104 +▁Reporting -13.1106 +▁Alto -13.1106 +▁Fru -13.1107 +šek -13.1107 +▁deepen -13.1109 +▁3,4 -13.111 +▁vođstvom -13.1111 +ى -13.1112 +▁Arlington -13.1112 +▁Krešimir -13.1112 +▁catheter -13.1112 +▁naslijeđa -13.1112 +▁repository -13.1112 +▁švajcarski -13.1112 +▁preminule -13.1112 +▁Buddha -13.1112 +▁tranquil -13.1112 +▁soothing -13.1112 +▁muškarcu -13.1112 +▁Površina -13.1112 +▁atraktivna -13.1112 +▁kolegu -13.1112 +▁Natalie -13.1112 +▁epiderm -13.1112 +▁izvijestio -13.1112 +▁Relax -13.1112 +▁raspisala -13.1112 +▁zaostaje -13.1112 +▁početna -13.1113 +▁pomislim -13.1113 +▁konoplje -13.1113 +▁rugged -13.1113 +▁prisluškivan -13.1113 +▁Preostal -13.1114 +▁jugozapadno -13.1114 +▁inequality -13.1114 +▁kreacije -13.1114 +▁Ginger -13.1115 +▁Initially -13.1116 +veoma -13.1116 +▁3,6 -13.1116 +▁Ovakve -13.1116 +▁punopravn -13.1116 +▁odgovornošću -13.1116 +▁Stuff -13.1116 +▁podvodn -13.1116 +▁Atine -13.1116 +▁comedian -13.1116 +▁lavande -13.1117 +Qua -13.1117 +▁skuha -13.1118 +▁odvraća -13.1118 +▁hrišćanski -13.1118 +▁telefonske -13.1118 +Connect -13.112 +▁Heroes -13.112 +▁kvari -13.1121 +▁konzervans -13.1121 +▁gomile -13.1121 +▁EVO -13.1121 +conf -13.1121 +▁istinske -13.1122 +▁naljuti -13.1122 +▁Gastro -13.1122 +▁Telegraph -13.1122 +▁Jong -13.1122 +▁mlečne -13.1123 +▁celinu -13.1124 +أ -13.1124 +▁produblj -13.1124 +▁............ -13.1125 +▁jajeta -13.1126 +▁scholar -13.1128 +▁roditeljskog -13.1128 +650 -13.1129 +▁ruralnim -13.1129 +▁Karađorđev -13.1129 +inari -13.113 +▁lansiranja -13.113 +očigled -13.113 +▁drugacije -13.1131 +▁obećali -13.1131 +▁pobediti -13.1131 +▁Reich -13.1132 +▁Stvari -13.1132 +▁KUĆ -13.1132 +0-3 -13.1133 +▁pomognete -13.1133 +▁Zaštitn -13.1134 +▁Večernji -13.1134 +▁particle -13.1135 +107 -13.1136 +▁Pacijenti -13.1136 +▁ormarić -13.1136 +▁skupinu -13.1137 +▁zrelosti -13.114 +LJI -13.1141 +▁verifikaci -13.1141 +▁0.4 -13.1141 +GLE -13.1141 +▁dubokim -13.1142 +▁priznali -13.1142 +▁sedamnaest -13.1142 +▁podržavamo -13.1144 +▁gojaznosti -13.1145 +stočnu -13.1147 +▁obostran -13.1147 +chol -13.1147 +▁zelenila -13.1148 +▁Ekstr -13.1148 +srećni -13.1149 +▁Kuš -13.1149 +▁brada -13.115 +▁ECB -13.1151 +▁Getty -13.1151 +▁Prob -13.1151 +▁klap -13.1152 +▁Kuč -13.1153 +▁Nedeljko -13.1154 +▁pljusk -13.1154 +▁senzacional -13.1154 +Fajzer -13.1154 +▁Affordable -13.1154 +▁Najefikasniji -13.1154 +▁Pokémon -13.1154 +▁enclosure -13.1154 +▁fiskalne -13.1154 +▁gazdinstva -13.1154 +▁pogotkom -13.1154 +▁rehearsal -13.1154 +▁testosterona -13.1154 +▁fraudulent -13.1154 +▁ogranak -13.1154 +▁reunion -13.1154 +▁vodootporn -13.1154 +▁congressional -13.1154 +▁myriad -13.1155 +.01.2020 -13.1155 +▁empathy -13.1155 +▁hemikalije -13.1155 +▁isperite -13.1155 +▁prevaru -13.1155 +▁židov -13.1155 +▁prednjači -13.1155 +Komercijaln -13.1155 +WH -13.1155 +▁dubbed -13.1156 +▁raspolažu -13.1156 +▁contour -13.1156 +▁Railway -13.1157 +▁■ -13.1158 +▁Reditelj -13.1158 +▁platite -13.1158 +topic -13.1158 +▁NLB -13.1158 +▁PSŽ -13.1159 +▁kiselinom -13.1159 +▁pocinje -13.1159 +▁Delegat -13.116 +▁pronoun -13.116 +▁stazom -13.116 +▁intentionally -13.116 +draw -13.116 +političko -13.1161 +▁benzinske -13.1161 +▁organizacionih -13.1161 +▁Skot -13.1161 +▁SANU -13.1161 +▁specializing -13.1162 +▁Podelite -13.1162 +▁Oblast -13.1162 +rwin -13.1163 +▁Kupac -13.1163 +Program -13.1163 +▁stečajnog -13.1164 +Ovi -13.1165 +▁pogoršanja -13.1165 +▁hardwood -13.1165 +▁turf -13.1166 +▁Tail -13.1167 +▁raketni -13.1168 +RAS -13.117 +▁popularnom -13.1172 +Point -13.1173 +▁istoimenog -13.1173 +▁Azra -13.1173 +▁Dior -13.1174 +▁Sahar -13.1174 +▁načelo -13.1174 +ŠKA -13.1175 +▁Bolton -13.1176 +▁kila -13.1177 +▁rezanje -13.1177 +▁LOL -13.1178 +platnih -13.1178 +▁snažnog -13.1178 +▁letenja -13.1178 +▁rokove -13.1178 +ČIN -13.1179 +▁Preston -13.1179 +▁snimiti -13.118 +▁nokti -13.118 +▁$1,000 -13.118 +NIJI -13.1183 +▁vibracija -13.1184 +istkinja -13.1185 +▁globalizacij -13.1186 +▁equip -13.1188 +▁sadašnjem -13.1188 +▁rukovodio -13.1189 +▁COMP -13.1189 +▁glumcima -13.119 +medija -13.119 +▁Draw -13.1191 +▁eliminira -13.1191 +▁dulje -13.1191 +▁recess -13.1192 +▁DUI -13.1193 +▁odredba -13.1193 +▁Prosto -13.1195 +▁prebacivanje -13.1195 +AIDS -13.1195 +▁Gmail -13.1195 +▁napuniti -13.1196 +▁tvore -13.1197 +▁affiliation -13.1197 +ś -13.1197 +▁Erasmus -13.1197 +▁Kruševca -13.1197 +▁Radivojević -13.1197 +▁covenant -13.1197 +▁eksploziji -13.1197 +▁feasible -13.1197 +▁kompenzacij -13.1197 +▁pesticida -13.1197 +▁poskupljenje -13.1197 +▁stimulation -13.1197 +▁trepavica -13.1197 +▁српск -13.1197 +▁Količina -13.1197 +▁Yamaha -13.1197 +▁ignoring -13.1197 +▁Relief -13.1197 +▁Zadatak -13.1197 +▁suncobran -13.1197 +▁Practical -13.1197 +▁nedavne -13.1197 +▁psihološke -13.1197 +▁ocenjuju -13.1198 +▁skandira -13.1198 +▁današnju -13.1198 +▁Utvrđen -13.1198 +▁memoir -13.1198 +phobia -13.1198 +▁definiciji -13.1198 +▁Precizn -13.1198 +▁quantum -13.1198 +▁Kampanja -13.1198 +▁umutiti -13.1198 +▁cetiri -13.1198 +▁sahrane -13.1198 +▁slažete -13.1198 +▁(2016) -13.1198 +▁Najniž -13.1199 +▁oduzeo -13.1199 +▁Azure -13.1199 +▁Belorusije -13.1199 +▁karijes -13.1199 +▁waking -13.1199 +▁napredovati -13.12 +▁stool -13.12 +▁lansiranje -13.12 +▁Dinar -13.12 +▁nursery -13.12 +palila -13.12 +▁nužd -13.12 +▁Arsić -13.1201 +▁Vip -13.1201 +▁Sector -13.1202 +▁deliberately -13.1202 +▁Izjava -13.1202 +▁locira -13.1203 +▁nepovratn -13.1203 +▁otpeva -13.1204 +induced -13.1204 +▁bataljon -13.1206 +▁attracting -13.1206 +Def -13.1207 +▁mlađeg -13.1207 +▁Finger -13.1208 +▁pominjan -13.1208 +▁Beast -13.1209 +▁Devon -13.1209 +▁hladnoće -13.1209 +▁prinuđeni -13.121 +džet -13.121 +▁opadanja -13.121 +▁LGBTI -13.121 +.2005. -13.121 +▁Fixed -13.1211 +pling -13.1211 +▁Oprema -13.1211 +▁balkanskih -13.1211 +▁trajnog -13.1212 +▁uncovered -13.1212 +▁Topić -13.1212 +raciji -13.1212 +▁cestu -13.1212 +▁Partije -13.1213 +▁Cvjet -13.1213 +URL -13.1214 +стан -13.1214 +▁zovemo -13.1214 +▁Sigma -13.1214 +▁Businesses -13.1214 +▁planinskim -13.1214 +hearted -13.1215 +▁contender -13.1216 +▁POZ -13.1216 +▁glavama -13.1216 +▁neighboring -13.1217 +▁COP -13.1217 +▁krimi -13.1218 +▁mango -13.1219 +▁sudaru -13.122 +▁zamku -13.122 +trend -13.122 +Misli -13.1221 +▁spaljen -13.1221 +▁fixes -13.1222 +▁komercijalnih -13.1223 +▁omalovažava -13.1225 +▁Thing -13.1226 +▁sagledati -13.1227 +▁izricanj -13.1227 +▁lijekovima -13.1227 +▁traze -13.1228 +▁Parish -13.1228 +▁COO -13.1229 +▁Alison -13.1229 +▁CHF -13.123 +▁configure -13.123 +gmail -13.123 +▁publicist -13.1231 +▁organizatorima -13.1231 +▁transparentno -13.1231 +▁dramski -13.1231 +▁tipovima -13.1231 +3-4 -13.1232 +nvolv -13.1232 +▁Stoke -13.1233 +clusion -13.1234 +▁пот -13.1234 +▁kuvanja -13.1235 +▁Noel -13.1235 +▁0.6 -13.1235 +▁originalan -13.1237 +▁Grbić -13.1237 +ješten -13.1239 +BAC -13.1239 +▁sveukupno -13.124 +▁priđe -13.124 +▁Teodor -13.124 +▁Autumn -13.124 +▁Pfizer -13.124 +▁Sažetak -13.124 +▁announcing -13.124 +▁compilation -13.124 +▁deficiency -13.124 +▁naglasivši -13.124 +▁naplaćuju -13.124 +▁neobična -13.124 +▁Awareness -13.124 +▁blagostanja -13.124 +▁iznervira -13.124 +▁neponovljiv -13.124 +▁hodočas -13.124 +▁utilization -13.1241 +▁zvezdom -13.1241 +▁uporište -13.1241 +▁Laboratorij -13.1241 +▁upgrading -13.1241 +▁Domestic -13.1241 +▁maloljetnik -13.1241 +▁raseljenih -13.1241 +▁deformacij -13.1241 +olini -13.1241 +▁clutter -13.1241 +▁gummies -13.1241 +▁odrekne -13.1241 +▁ekologiju -13.1241 +▁Conclusion -13.1241 +▁Organisation -13.1241 +▁natalitet -13.1241 +▁Eduard -13.1241 +▁него -13.1241 +▁Hampton -13.1241 +▁Radmila -13.1241 +▁europskim -13.1242 +▁elektronsku -13.1242 +▁Puljić -13.1242 +▁Suština -13.1242 +▁razvijamo -13.1242 +▁zvaničan -13.1242 +вати -13.1243 +▁Jesam -13.1244 +▁Usvojen -13.1244 +▁Pair -13.1245 +▁80.000 -13.1245 +▁rekreaciju -13.1245 +▁Primjen -13.1245 +▁Princ -13.1245 +▁Napulj -13.1245 +▁urbanizam -13.1246 +▁spasavanja -13.1246 +▁vozili -13.1246 +▁fraza -13.1247 +▁Osvoji -13.1247 +▁plesni -13.1248 +▁osvetljenja -13.1248 +European -13.1248 +▁hirurški -13.1248 +▁probajte -13.1249 +▁kondom -13.125 +UJU -13.125 +Kviz -13.125 +▁Drain -13.1251 +▁Trop -13.1251 +▁preskup -13.1252 +▁Crvenoj -13.1252 +▁Trk -13.1253 +▁Meal -13.1253 +ČKE -13.1255 +tzv -13.1255 +▁harem -13.1255 +▁Samit -13.1255 +▁birali -13.1256 +▁oduševiti -13.1258 +▁čudan -13.1258 +▁dice -13.1259 +▁litij -13.1259 +▁1927 -13.1261 +▁Brass -13.1261 +▁Pix -13.1261 +▁sitnice -13.1261 +▁ukinuo -13.1261 +▁primetite -13.1263 +▁servant -13.1263 +▁QB -13.1264 +▁ritma -13.1264 +▁skrenuti -13.1264 +▁izdvajanja -13.1264 +▁bogovi -13.1265 +▁pritvoren -13.1265 +▁employing -13.1265 +▁mobilnom -13.1265 +▁Pošta -13.1265 +▁puška -13.1267 +spirator -13.1268 +▁takozvanih -13.1268 +▁Gacko -13.1269 +▁Meat -13.1271 +▁treninzi -13.1271 +▁titl -13.1271 +▁europski -13.1272 +цима -13.1276 +▁brac -13.1276 +▁subotnj -13.1276 +▁Podseti -13.1276 +Old -13.1278 +▁marvel -13.1278 +▁prevarant -13.1278 +▁pucnja -13.1278 +▁kriterijumi -13.1279 +▁Analiz -13.1279 +▁nedopustivo -13.128 +▁Kisić -13.1281 +▁Pevač -13.1281 +▁alley -13.1281 +India -13.1281 +▁izvršilac -13.1283 +▁symptom -13.1283 +▁dobijenih -13.1283 +▁Ukrajinski -13.1283 +▁slijed -13.1283 +▁Срби -13.1283 +▁Anniversary -13.1284 +▁External -13.1284 +▁Holokaust -13.1284 +▁hrišćani -13.1284 +▁konkretna -13.1284 +▁nepredviđen -13.1284 +▁penetration -13.1284 +▁samoizolaciji -13.1284 +▁Computing -13.1284 +▁Supervisor -13.1284 +▁rekvizit -13.1284 +▁varijacija -13.1284 +▁stellar -13.1284 +▁intezivn -13.1284 +▁Idealno -13.1284 +▁bronzanu -13.1284 +▁mould -13.1284 +▁rubrici -13.1284 +▁Alumni -13.1284 +▁zapovijed -13.1284 +▁VSTV -13.1284 +▁Explain -13.1284 +▁trustworthy -13.1284 +▁Recruitment -13.1284 +▁gejming -13.1284 +▁interconnect -13.1284 +▁kisele -13.1285 +▁holandsko -13.1285 +▁Ringier -13.1285 +▁ţeli -13.1285 +▁leasing -13.1285 +др -13.1285 +▁Vukčević -13.1285 +▁grafika -13.1285 +Qaeda -13.1286 +▁tužiocu -13.1286 +▁upright -13.1287 +▁TIP -13.1288 +▁motivacije -13.1288 +▁Phen -13.1288 +▁uzorku -13.1288 +▁previsok -13.1289 +▁Cedar -13.1289 +▁ствар -13.1289 +▁bezobrazn -13.1289 +▁Tracy -13.1289 +▁tracker -13.129 +▁otpušta -13.129 +▁prorusk -13.1291 +▁zatvorila -13.1291 +London -13.1291 +▁restrain -13.1292 +league -13.1292 +Velika -13.1293 +▁Kip -13.1293 +▁Marty -13.1293 +▁Koalicij -13.1293 +▁nesvesno -13.1294 +ektomij -13.1294 +▁sweetness -13.1295 +▁underwater -13.1295 +▁tkanina -13.1295 +▁bezboln -13.1295 +▁distracted -13.1296 +▁GIS -13.1297 +▁osposobljavanje -13.1297 +Snažn -13.1297 +▁fondove -13.1298 +▁fashionable -13.1298 +▁zamijenjen -13.1298 +▁Ujedinjenog -13.1298 +▁istraživačkog -13.1299 +▁NAT -13.1299 +▁Gornje -13.13 +▁crafting -13.13 +2-5 -13.1301 +▁jednaki -13.1301 +▁3.500 -13.1302 +▁kuhanje -13.1302 +▁uspevaju -13.1304 +▁starlet -13.1305 +predsjednik -13.1306 +▁Across -13.1306 +Nearly -13.1306 +▁softverski -13.1306 +▁50,000 -13.1307 +Obraz -13.1307 +automat -13.1308 +▁ROS -13.1308 +▁pucanje -13.1308 +▁rakija -13.1308 +▁nesmetan -13.1309 +▁Sajma -13.1309 +▁coral -13.1309 +▁skole -13.131 +▁Standing -13.1311 +tisne -13.1312 +▁Breaking -13.1313 +RAL -13.1313 +▁aktom -13.1314 +▁osiguraju -13.1316 +▁fotografisan -13.1316 +▁Seller -13.1317 +▁Kule -13.1318 +▁Powered -13.1318 +▁postavljenih -13.1318 +▁8.5 -13.1319 +▁konstitu -13.1319 +▁predviđanja -13.1319 +▁Rising -13.132 +▁vanrednim -13.1321 +▁Begin -13.1321 +▁Fay -13.1322 +▁jednostavniji -13.1322 +▁cine -13.1323 +▁Povrat -13.1324 +▁Piksi -13.1325 +▁Burke -13.1325 +zhe -13.1326 +▁paddle -13.1326 +▁Knjažev -13.1326 +number -13.1326 +▁nastaviće -13.1327 +▁Awesome -13.1327 +▁Gonzalez -13.1327 +▁Hockey -13.1327 +▁Suggest -13.1327 +▁Technique -13.1327 +▁biblioteku -13.1327 +▁destructive -13.1327 +▁efikasnu -13.1327 +▁espresso -13.1327 +▁neuporedivo -13.1327 +▁prijavljivanja -13.1327 +▁rendgen -13.1327 +▁susceptible -13.1327 +▁sveobuhvatni -13.1327 +▁usprkos -13.1327 +▁zadivljujuć -13.1327 +▁katoličke -13.1327 +▁nadležna -13.1327 +▁Laktaši -13.1327 +▁Positive -13.1327 +▁funkcionalne -13.1327 +▁katolici -13.1327 +▁Miguel -13.1327 +▁ZAŠTIT -13.1327 +▁bolesne -13.1327 +▁emotivne -13.1327 +▁priopćenju -13.1327 +▁SLAV -13.1327 +▁ISPOD -13.1327 +▁mešavinu -13.1327 +▁HTTP -13.1327 +▁Failure -13.1327 +▁Moderator -13.1328 +▁reminiscent -13.1328 +▁obvezu -13.1328 +▁telegraf -13.1328 +▁interaktivni -13.1328 +▁Nedeljković -13.1328 +▁komunističke -13.1328 +▁nejednak -13.1329 +tension -13.1329 +▁naročit -13.1329 +▁Diver -13.133 +▁Beogradskom -13.133 +▁srcima -13.133 +naut -13.1331 +▁Mađarsku -13.1331 +▁Hemp -13.1332 +▁Spiritual -13.1332 +▁¼ -13.1332 +sedam -13.1332 +▁osvježava -13.1333 +▁Calvin -13.1333 +135 -13.1334 +▁obruč -13.1334 +▁crane -13.1334 +▁starac -13.1334 +▁registarskih -13.1334 +▁otuđ -13.1334 +▁zavjet -13.1335 +Muslim -13.1335 +▁sigurnosno -13.1335 +▁luč -13.1335 +▁Sanel -13.1335 +cession -13.1336 +▁savremenu -13.1336 +▁tint -13.1336 +▁Sovjetskog -13.1336 +▁kraljevstvo -13.1336 +Jedna -13.1337 +▁gasovod -13.1338 +▁ređe -13.1339 +▁traumatic -13.1339 +▁Marion -13.1339 +▁distribucija -13.134 +▁hollow -13.1341 +▁prevođenje -13.1342 +▁Najgor -13.1342 +▁Lijek -13.1342 +▁Meaning -13.1343 +▁0:1 -13.1343 +▁USDA -13.1343 +▁withstand -13.1344 +▁opadanje -13.1344 +Model -13.1344 +▁Visoke -13.1345 +▁Vezani -13.1345 +▁hrastov -13.1345 +▁mutant -13.1345 +▁FY -13.1345 +▁prinud -13.1346 +▁Molly -13.1346 +▁minimalnim -13.1347 +||24 -13.1347 +▁Burg -13.1348 +coded -13.1348 +▁procenama -13.1348 +▁opredijel -13.135 +▁millennia -13.135 +▁PAS -13.1352 +▁emituju -13.1353 +lupa -13.1354 +▁Sirijsk -13.1354 +▁ispraviti -13.1354 +▁њихов -13.1355 +▁Dimitri -13.1355 +▁Quar -13.1356 +KTOR -13.1356 +Želje -13.1357 +▁Saul -13.1357 +▁Kulić -13.1357 +▁biološke -13.1358 +Mladi -13.1358 +форм -13.1359 +MBER -13.1359 +▁380 -13.136 +▁aktiviraju -13.1361 +▁Vage -13.1361 +▁Dining -13.1361 +▁stilizovan -13.1362 +▁vegetacije -13.1363 +▁dosledno -13.1364 +128 -13.1364 +▁stamped -13.1365 +▁računalo -13.1365 +ljiviji -13.1367 +▁scarce -13.1367 +▁CLI -13.1369 +▁pregovarač -13.137 +▁Aneks -13.137 +▁iskorišćava -13.1371 +▁Adelaide -13.1371 +▁Argentini -13.1371 +▁Diversity -13.1371 +▁Facility -13.1371 +▁REPUBLI -13.1371 +▁Renaissance -13.1371 +▁ignoriše -13.1371 +▁nuspojava -13.1371 +▁reservoir -13.1371 +▁Organizacion -13.1371 +▁Pozovite -13.1371 +▁kolokvij -13.1371 +▁dijeljenje -13.1371 +▁bešike -13.1371 +▁Cbd -13.1371 +▁orijentaln -13.1371 +▁enigma -13.1371 +▁Potential -13.1371 +▁prosledi -13.1371 +▁Srebrn -13.1371 +▁zaštićene -13.1371 +▁emergence -13.1372 +▁isuviše -13.1372 +▁mleveno -13.1372 +ekonomski -13.1372 +▁opstati -13.1372 +▁Upload -13.1372 +▁greed -13.1373 +▁strategiji -13.1373 +▁rasipa -13.1373 +▁`` -13.1373 +▁ispadne -13.1374 +▁specifični -13.1374 +▁hirurgije -13.1375 +▁lever -13.1375 +▁Coleman -13.1376 +мисли -13.1376 +▁Ramiz -13.1376 +▁početnike -13.1377 +▁recharge -13.1377 +▁bajka -13.1377 +▁doživotno -13.1377 +rky -13.1378 +Rod -13.1378 +▁ratovi -13.1378 +development -13.1379 +punih -13.138 +▁0.9 -13.1381 +▁rooted -13.1381 +▁formirali -13.1381 +▁Quin -13.1381 +▁svjetlosn -13.1381 +▁endorsed -13.1382 +▁Izborni -13.1382 +witt -13.1382 +▁Anđelesu -13.1383 +▁compliant -13.1384 +▁tipični -13.1385 +▁pitches -13.1385 +▁sagoreva -13.1385 +domaći -13.1386 +▁snimatelj -13.1386 +grain -13.1389 +▁158 -13.1389 +kaciju -13.139 +▁običajima -13.139 +series -13.139 +▁nogometnog -13.1391 +designed -13.1391 +Meni -13.1391 +▁shvatam -13.1392 +VALI -13.1392 +▁PKS -13.1392 +▁attacker -13.1392 +grafija -13.1393 +nnis -13.1393 +▁građanskih -13.1394 +Ëe -13.1394 +▁fizičar -13.1394 +▁arheolo -13.1395 +baum -13.1396 +hodno -13.1397 +▁pratioce -13.1397 +▁čekić -13.1398 +travel -13.1398 +7-5 -13.1398 +▁Uglj -13.1398 +▁osiguravajuć -13.1399 +▁Hosting -13.14 +▁radoznal -13.14 +plaćenih -13.14 +▁kovanic -13.1401 +▁pridržavate -13.1401 +9,5 -13.1401 +▁drafted -13.1402 +▁NIKO -13.1402 +▁rizici -13.1403 +▁betonski -13.1404 +▁2,1 -13.1404 +▁Lekić -13.1405 +▁Desire -13.1405 +▁izgubile -13.1408 +ređivač -13.1409 +▁smetalo -13.1409 +▁središnj -13.141 +▁strop -13.141 +▁Logic -13.1411 +▁proteklo -13.1411 +gubljen -13.1411 +bread -13.1412 +▁delta -13.1412 +građivan -13.1412 +ljoprivrednicima -13.1413 +هُ -13.1413 +▁silno -13.1413 +Opera -13.1413 +▁tradicionalnoj -13.1414 +▁nameću -13.1415 +▁Amfilohije -13.1415 +▁Anonymous -13.1415 +▁Brisbane -13.1415 +▁Capacity -13.1415 +▁Crawford -13.1415 +▁Danilovgrad -13.1415 +▁Disclaimer -13.1415 +▁Psychiatr -13.1415 +▁familija -13.1415 +▁literatura -13.1415 +▁pretplatu -13.1415 +▁sanctuary -13.1415 +▁trgovinske -13.1415 +▁unhappy -13.1415 +▁vršnjaka -13.1415 +▁Muharem -13.1415 +▁Preminuo -13.1415 +▁heavier -13.1415 +▁ocjeni -13.1415 +▁psihoterapeut -13.1415 +▁portfelj -13.1415 +▁palačinke -13.1415 +▁pozovu -13.1415 +▁Iskusni -13.1415 +▁Pirates -13.1415 +▁Couple -13.1415 +▁zataška -13.1415 +▁poznavali -13.1416 +▁manueln -13.1416 +▁Hardware -13.1416 +▁Valid -13.1417 +▁grčkom -13.1417 +▁Roj -13.1417 +▁odgaji -13.1417 +▁interijer -13.1417 +▁kraljevski -13.1417 +▁Lenjin -13.1418 +▁SDT -13.1418 +▁ulepša -13.1418 +vukli -13.1418 +▁filler -13.1419 +▁dokumentacijom -13.1419 +▁sanaciji -13.1419 +▁Rimljani -13.142 +▁napajanja -13.142 +▁Postavljen -13.142 +▁20-30 -13.1421 +▁učenice -13.1421 +▁opuštanja -13.1421 +▁živog -13.1421 +▁SAL -13.1422 +▁volunteering -13.1422 +▁aferu -13.1422 +▁primerak -13.1422 +▁Pluton -13.1422 +▁penzionere -13.1423 +System -13.1423 +▁ekonomičn -13.1423 +▁Biblio -13.1425 +RANA -13.1425 +▁konkretnog -13.1426 +▁£5 -13.1426 +▁bogova -13.1427 +vrnut -13.1428 +▁drvenih -13.1428 +▁verzijama -13.1428 +▁univerzitetima -13.1428 +ATCH -13.1429 +zainteresovanost -13.1429 +political -13.1429 +▁ušle -13.143 +polar -13.143 +▁zabeležila -13.143 +▁opsti -13.143 +follow -13.143 +▁NSW -13.143 +▁stretches -13.143 +▁defanzivac -13.1431 +▁zatvorske -13.1431 +▁bože -13.1431 +▁nazva -13.1432 +▁interesuju -13.1432 +▁tiger -13.1432 +▁muslimanskih -13.1433 +▁Irskoj -13.1433 +▁zasluz -13.1434 +▁izvrsni -13.1434 +▁brow -13.1434 +▁krase -13.1434 +▁ograničenom -13.1436 +▁Newport -13.1436 +▁Wol -13.1437 +▁sjemena -13.1437 +▁Prodava -13.1438 +▁izliva -13.1439 +▁bitnije -13.144 +▁Kosor -13.144 +llows -13.1441 +▁Clu -13.1441 +raising -13.1441 +▁osme -13.1441 +▁$35 -13.1441 +▁Univerzitetsk -13.1442 +▁cestama -13.1442 +▁palicom -13.1443 +▁Marej -13.1444 +▁armija -13.1445 +▁propisanim -13.1445 +▁snimati -13.1445 +▁novinarski -13.1446 +flight -13.1447 +▁Oleg -13.1447 +▁raznovrsno -13.1448 +▁EQ -13.1448 +▁izdato -13.1449 +▁pitajte -13.1449 +▁boosting -13.1449 +▁aspirin -13.145 +▁Veteran -13.1451 +▁FIA -13.1452 +ntima -13.1454 +▁geografsko -13.1455 +▁ratove -13.1456 +mjenjen -13.1457 +▁paniku -13.1457 +||30 -13.1458 +▁Stariji -13.1459 +▁Census -13.1459 +▁Cowboys -13.1459 +▁Pyanfar -13.1459 +▁Svrljig -13.1459 +▁Symphony -13.1459 +▁excursion -13.1459 +▁konzumacija -13.1459 +▁natjecanju -13.1459 +▁removable -13.1459 +▁unpleasant -13.1459 +▁zaostatka -13.1459 +▁Garancija -13.1459 +▁Obojica -13.1459 +▁incurred -13.1459 +▁Democracy -13.1459 +▁grafikon -13.1459 +▁feudal -13.1459 +▁prefinjen -13.1459 +▁hypothesis -13.1459 +▁Interestingly -13.1459 +▁Unlimited -13.1459 +▁neoliberal -13.1459 +▁radikalni -13.1459 +▁katoličko -13.1459 +▁bijelu -13.1459 +▁Bužim -13.1459 +▁figuru -13.1459 +▁intelektualci -13.1459 +▁definicije -13.1459 +▁Prijavljivanje -13.146 +▁MILO -13.146 +▁Soldier -13.146 +▁daunting -13.146 +▁dostavila -13.146 +▁pridoda -13.146 +▁complementary -13.146 +▁Orahov -13.146 +▁Mustang -13.146 +cionom -13.1461 +▁mornarice -13.1461 +▁Mack -13.1461 +▁adaptacije -13.1461 +▁toxins -13.1461 +▁aktiviran -13.1461 +▁visualization -13.1462 +▁conditioner -13.1462 +▁drugdje -13.1462 +▁banaln -13.1462 +▁muslimansko -13.1464 +cycling -13.1465 +▁knob -13.1465 +▁Escape -13.1465 +▁Englezi -13.1466 +▁postignete -13.1466 +Reilly -13.1466 +znoj -13.1467 +double -13.1467 +Međutim -13.1468 +Film -13.1468 +▁squat -13.1468 +RTS -13.1468 +▁prevalent -13.1469 +▁Skill -13.1469 +▁HAVE -13.147 +▁KAN -13.147 +▁detetom -13.1471 +▁odstupa -13.1471 +▁particip -13.1471 +▁Komore -13.1471 +▁certainty -13.1473 +▁nepostojeć -13.1473 +▁udruženju -13.1473 +▁oprezan -13.1474 +▁teretanu -13.1475 +▁plantaž -13.1475 +▁vršenje -13.1476 +▁cling -13.1476 +▁resornog -13.1477 +vascular -13.1477 +▁Sanski -13.1477 +▁Buj -13.1477 +stajale -13.1478 +▁zabranila -13.1478 +▁audition -13.1479 +▁Štampa -13.1479 +▁primijetili -13.1479 +▁Debel -13.148 +▁odlicno -13.148 +▁Gej -13.1482 +agna -13.1482 +▁truditi -13.1482 +▁dataset -13.1482 +▁Ни -13.1483 +▁Chal -13.1483 +▁Zaštitnik -13.1483 +▁Duda -13.1483 +laznog -13.1483 +▁Klaus -13.1485 +▁biography -13.1485 +▁ekstremne -13.1487 +▁bothered -13.1488 +▁studentkinj -13.1489 +▁kombinovati -13.149 +▁Nemanje -13.1491 +▁BBI -13.1492 +istok -13.1492 +▁sparked -13.1493 +▁odlučilo -13.1493 +▁Compact -13.1494 +▁Stack -13.1494 +▁Omni -13.1495 +odgovorni -13.1495 +▁tražilo -13.1495 +▁istražitelji -13.1496 +▁Kući -13.1497 +▁sranje -13.1497 +▁Speak -13.1497 +▁Efes -13.1497 +▁Uključi -13.1498 +▁Weber -13.1498 +▁garantira -13.1498 +▁converter -13.1499 +▁fab -13.1499 +▁dozvolila -13.15 +▁stripes -13.1501 +▁Viva -13.1501 +▁Kazal -13.1502 +▁Damask -13.1502 +▁Comprehensive -13.1503 +▁Goraždu -13.1503 +▁Voždovac -13.1503 +▁ambulanta -13.1503 +▁hidroelektrane -13.1503 +▁oporavku -13.1503 +▁spontaneous -13.1503 +▁zakonodavno -13.1503 +▁atmospheric -13.1503 +▁nepristrasn -13.1503 +▁zvjezdica -13.1503 +▁Nexus -13.1503 +▁Predstavničkom -13.1503 +▁Ingredients -13.1503 +▁opterećuje -13.1503 +▁Patricia -13.1503 +▁copied -13.1503 +▁Zastupničko -13.1503 +▁knjigom -13.1503 +▁Announce -13.1503 +▁koncesije -13.1503 +▁hartija -13.1503 +▁umetnička -13.1504 +▁monarch -13.1504 +▁podudara -13.1504 +▁prvobitni -13.1504 +▁debitovao -13.1504 +▁odbojka -13.1504 +▁Translation -13.1504 +▁coefficient -13.1504 +▁Uvoz -13.1504 +▁LGBTQ -13.1504 +▁sharpen -13.1505 +▁postmodern -13.1505 +▁tempted -13.1505 +▁snowboard -13.1505 +▁autism -13.1506 +▁aerial -13.1506 +▁mankind -13.1506 +▁kazina -13.1507 +▁hormoni -13.1507 +▁Herbert -13.1508 +3.1 -13.1508 +▁MUST -13.1509 +▁prevlada -13.1509 +▁ležern -13.1509 +▁prièa -13.151 +▁odeća -13.151 +conscious -13.151 +▁izuzetnim -13.1511 +▁pomozi -13.1512 +Count -13.1512 +secure -13.1513 +тур -13.1513 +▁tagged -13.1513 +štampa -13.1514 +▁governed -13.1515 +▁stilski -13.1515 +▁rezervnih -13.1515 +▁Charger -13.1515 +▁PBS -13.1515 +▁koštalo -13.1516 +▁povukli -13.1516 +▁Akcije -13.1517 +▁4,000 -13.1518 +Hor -13.1518 +▁kapija -13.1518 +grožen -13.1518 +▁ažuriran -13.1519 +▁originalnom -13.1519 +▁Perković -13.1519 +▁niški -13.152 +▁blokirali -13.1521 +▁drzi -13.1522 +▁osvežava -13.1522 +▁šefica -13.1522 +▁Čav -13.1523 +▁čovekov -13.1525 +▁Taco -13.1526 +▁risen -13.1527 +▁maze -13.1527 +▁geared -13.1528 +▁pogodili -13.1529 +Aug -13.1529 +please -13.1529 +▁vozite -13.153 +▁undergoing -13.153 +▁zaraza -13.1531 +▁BRO -13.1531 +ministra -13.1531 +▁erotsk -13.1533 +▁zlatnog -13.1533 +▁uništenja -13.1534 +▁višu -13.1535 +▁nebesko -13.1535 +vođeni -13.1535 +▁shvaćen -13.1537 +▁Understand -13.1537 +▁modifi -13.1537 +▁uporedn -13.1537 +▁4:2 -13.1537 +▁jugoslovenski -13.1537 +▁jesenji -13.1538 +▁pruzi -13.1538 +▁Rubin -13.1539 +▁pripadnic -13.1539 +▁mrez -13.1539 +▁Naučno -13.154 +▁Panda -13.154 +▁porodično -13.1541 +▁deserved -13.1541 +▁SAJ -13.1543 +▁alteration -13.1543 +▁HDR -13.1543 +▁dodamo -13.1545 +IVANJE -13.1545 +▁najkrać -13.1546 +ectomy -13.1546 +дија -13.1547 +▁Dealer -13.1547 +ě -13.1548 +Њ -13.1548 +▁Choosing -13.1548 +▁SLOBOD -13.1548 +▁Seriously -13.1548 +▁angažuju -13.1548 +▁evolucije -13.1548 +▁inteligentni -13.1548 +▁najsnažnij -13.1548 +▁pharmacist -13.1548 +▁postrojenje -13.1548 +▁gužvi -13.1548 +▁Džozef -13.1548 +▁centrifug -13.1548 +▁definisanje -13.1548 +▁ulaganjima -13.1548 +▁Biblioteka -13.1548 +▁ocekuje -13.1548 +.01.2019 -13.1548 +▁Hoffman -13.1548 +▁selekciji -13.1548 +▁Bjelovar -13.1548 +▁disguise -13.1548 +▁Omladinsko -13.1548 +▁Gadafi -13.1548 +▁simulira -13.1548 +▁zabavna -13.1548 +▁bezbedna -13.1548 +▁Kupovina -13.1548 +▁regulative -13.1548 +▁stubborn -13.1548 +▁Gerald -13.1548 +▁spreadsheet -13.1548 +▁isplaćena -13.1548 +▁pleasing -13.1548 +▁izradom -13.1548 +▁Telenor -13.1548 +▁ravnoteža -13.1548 +▁sedištu -13.1548 +▁mandarin -13.1548 +▁kamilice -13.1548 +▁anonimni -13.1549 +евић -13.1549 +▁semenke -13.1549 +▁Redovna -13.1549 +▁krade -13.1549 +▁wagon -13.1549 +▁Grid -13.1549 +methyl -13.1549 +▁performansama -13.155 +▁pravosnažn -13.155 +▁predavanju -13.155 +▁19.00 -13.1552 +▁čestitku -13.1552 +▁Idol -13.1553 +▁Kompletan -13.1553 +▁prtljažnik -13.1554 +дин -13.1554 +▁ballet -13.1556 +▁Cock -13.1556 +▁Included -13.1557 +▁vrhovni -13.1557 +▁savremenoj -13.1557 +▁aisle -13.1557 +▁prikazali -13.1558 +▁Čolak -13.1559 +▁cyto -13.1559 +oxide -13.1559 +▁Од -13.1559 +6.6 -13.156 +▁Gornjeg -13.156 +ŠĆE -13.156 +elektro -13.156 +▁Fried -13.1561 +povijest -13.1562 +Gardijan -13.1562 +▁isključenja -13.1562 +▁preživio -13.1562 +▁najpovoljnije -13.1563 +▁uništavanja -13.1563 +▁štrajku -13.1563 +▁transformacija -13.1563 +▁Bosnom -13.1564 +▁migrate -13.1564 +marketing -13.1564 +▁zgodno -13.1566 +▁hackers -13.1566 +▁završimo -13.1567 +▁slušalica -13.1567 +▁Davidson -13.1568 +▁naseg -13.1568 +▁transcription -13.1569 +xBet -13.1569 +▁obalama -13.1569 +▁oboli -13.1569 +▁suočeni -13.1572 +▁pogoršati -13.1574 +▁egzistenciju -13.1574 +▁birokrat -13.1574 +▁zvanica -13.1575 +▁pushes -13.1577 +▁fiktivn -13.1577 +▁smanjeni -13.1577 +▁Sjećam -13.1578 +▁toranj -13.1578 +▁realizirati -13.1578 +▁Dostava -13.1579 +▁državljane -13.1579 +▁urednici -13.158 +cirkulacij -13.158 +▁Krenul -13.158 +resident -13.1581 +▁egzistencije -13.1581 +▁željenog -13.1581 +▁pacijentkinj -13.1581 +▁unveil -13.1583 +▁razbijen -13.1584 +▁Stoji -13.1584 +▁twisted -13.1585 +▁spektakularn -13.1585 +387 -13.1588 +▁rainy -13.1588 +▁bunt -13.1588 +▁gitarist -13.1589 +▁reef -13.159 +▁zahvaljuju -13.159 +▁specialise -13.1591 +▁Sekretar -13.1592 +▁Cathedral -13.1592 +▁Holanđan -13.1592 +▁blagotvorno -13.1592 +▁nerazvijen -13.1592 +▁unbelievable -13.1592 +▁Plaintiff -13.1592 +▁Smederevsk -13.1592 +▁overhaul -13.1592 +▁tariff -13.1592 +▁vanredna -13.1592 +▁preceding -13.1592 +▁reakciji -13.1592 +▁Uputstvo -13.1592 +▁Zamenik -13.1592 +▁anđela -13.1592 +▁oživi -13.1593 +▁Basket -13.1593 +▁trojku -13.1593 +▁folijom -13.1593 +▁elektronike -13.1593 +jedne -13.1594 +▁ISIL -13.1594 +▁reckon -13.1594 +▁uklone -13.1594 +▁Methodist -13.1594 +▁crashed -13.1595 +▁humid -13.1595 +▁Bordo -13.1595 +▁Avgust -13.1596 +▁uključivanja -13.1596 +▁lekciju -13.1596 +▁Odakle -13.1597 +▁prizemlje -13.1597 +▁obezbedimo -13.1597 +▁naiđe -13.1597 +▁Demand -13.1597 +prekid -13.1598 +▁krilu -13.1598 +▁Prenosi -13.1598 +▁allocated -13.1598 +▁privremena -13.1598 +▁repeating -13.1598 +▁Osmanović -13.1599 +▁prozorima -13.16 +tinski -13.16 +▁Jasper -13.16 +▁169 -13.16 +▁inovator -13.1601 +▁Lošinj -13.1601 +▁hinder -13.1603 +▁krivica -13.1603 +▁Dubravka -13.1604 +▁zadovoljno -13.1604 +▁ADA -13.1605 +▁VUK -13.1606 +porez -13.1606 +▁VEĆ -13.1607 +▁vijenac -13.1607 +90,00 -13.1608 +▁Kemp -13.1608 +▁vibracije -13.1609 +▁prirodnoj -13.1609 +▁kompresor -13.1609 +▁stradale -13.1609 +▁thrilling -13.161 +▁aktualni -13.161 +▁pakt -13.161 +▁vođenju -13.1611 +▁emisijama -13.1611 +NAP -13.1611 +▁Trace -13.1612 +bezbedn -13.1612 +▁Carson -13.1613 +▁flare -13.1613 +▁Arian -13.1613 +▁dimenzijama -13.1614 +▁вид -13.1614 +▁ustanovili -13.1615 +▁Startup -13.1615 +▁Torino -13.1615 +▁Cav -13.1616 +▁Ismail -13.1617 +▁okupljenih -13.1617 +hiruršk -13.1617 +▁rekordno -13.1618 +▁testiranju -13.1618 +▁napišem -13.1618 +▁Obaveza -13.1618 +mišljeni -13.162 +▁ljubavnu -13.162 +▁BLA -13.162 +▁Smile -13.1621 +▁broadly -13.1621 +Qui -13.1622 +▁1925 -13.1623 +pipe -13.1625 +▁uspješnih -13.1625 +▁urbanističko -13.1625 +▁potencijalnog -13.1626 +INO -13.1627 +▁Establish -13.1627 +▁popularniji -13.1627 +▁filmsku -13.1628 +visok -13.1629 +мије -13.163 +▁$60 -13.163 +▁zaposlenik -13.1631 +▁intentional -13.1631 +▁Willie -13.1631 +▁uklapaju -13.1632 +strong -13.1632 +▁STATE -13.1633 +▁someday -13.1633 +mplified -13.1635 +▁bogataš -13.1635 +▁strahuje -13.1635 +▁zekat -13.1636 +▁svečana -13.1637 +▁Elektroprivrede -13.1637 +▁Smedereva -13.1637 +▁aforementioned -13.1637 +▁avocado -13.1637 +▁continuity -13.1637 +▁fantastične -13.1637 +▁foreclosure -13.1637 +▁kašičicu -13.1637 +▁unhealthy -13.1637 +▁vojvoda -13.1637 +▁Švicarske -13.1637 +▁albeit -13.1637 +▁relaksira -13.1637 +▁glađu -13.1637 +▁usisivač -13.1637 +▁identities -13.1637 +▁podzemne -13.1637 +▁stotinjak -13.1637 +▁postavku -13.1637 +.09.2020 -13.1637 +▁Veličković -13.1637 +▁učinkom -13.1637 +▁nitrogen -13.1637 +▁hartije -13.1637 +▁nepismen -13.1637 +▁Skoplja -13.1637 +▁objedini -13.1637 +▁SMART -13.1637 +.10.2020 -13.1637 +▁razdvojen -13.1637 +▁doplatu -13.1637 +▁unavailable -13.1638 +▁rainfall -13.1638 +▁Tehničke -13.1638 +▁Meghan -13.1638 +▁Kapiten -13.1638 +▁Gateway -13.1638 +▁repaired -13.1638 +▁Terror -13.1638 +▁Healing -13.1638 +▁Emisij -13.1639 +▁competence -13.1639 +▁CENTR -13.1639 +▁primarna -13.1639 +▁Zasad -13.1639 +▁своје -13.164 +▁Konjević -13.164 +▁Sokolac -13.164 +▁Otkrijte -13.164 +▁odredište -13.164 +▁publicity -13.164 +▁petkom -13.164 +▁pedesetak -13.164 +▁predlagač -13.1641 +▁exploitation -13.1641 +▁resent -13.1641 +▁Salah -13.1641 +▁Amra -13.1641 +▁projektnih -13.1641 +topiti -13.1641 +OTA -13.1642 +▁Jess -13.1642 +▁Odbrana -13.1643 +▁unaprjeđenj -13.1645 +▁Про -13.1645 +▁pomoæ -13.1645 +▁Čelsija -13.1646 +GAR -13.1646 +− -13.1646 +kandidat -13.1646 +typical -13.1647 +▁Reklama -13.1647 +▁dečki -13.1648 +▁okači -13.1648 +▁baštini -13.1649 +▁poenta -13.1649 +▁lonc -13.165 +▁Engel -13.165 +▁drvenim -13.165 +▁Sjeti -13.165 +▁Emmy -13.165 +▁pisanoj -13.165 +▁Magnet -13.165 +▁grudnjak -13.1651 +▁takozvanog -13.1651 +▁smarter -13.1652 +ní -13.1652 +▁lojaln -13.1652 +▁crashes -13.1652 +▁Stranica -13.1652 +▁ikonu -13.1653 +modul -13.1653 +▁pardon -13.1653 +▁Kultur -13.1654 +▁zapaljiv -13.1654 +▁Lund -13.1654 +▁kolonije -13.1654 +▁Karijer -13.1654 +▁konzervativni -13.1655 +▁precizniji -13.1655 +▁izreka -13.1655 +Data -13.1657 +▁relieved -13.1657 +▁projektant -13.1657 +▁okružuju -13.1658 +▁Daddy -13.1658 +▁diplomatskih -13.166 +▁CHI -13.166 +▁uveliča -13.166 +▁dizajnerski -13.1661 +▁Rusima -13.1662 +при -13.1663 +▁Flying -13.1665 +perfect -13.1665 +▁inspirational -13.1666 +إِ -13.1666 +▁liking -13.1667 +▁Ortho -13.1668 +▁ekranima -13.1668 +▁accomplishment -13.1668 +Glav -13.1668 +▁SAR -13.1669 +▁Tomaš -13.1669 +zivanja -13.167 +▁RASP -13.1671 +2.3 -13.1671 +4.2 -13.1672 +buš -13.1672 +▁Poslovno -13.1674 +opathic -13.1675 +▁otporna -13.1675 +▁granite -13.1675 +▁Savršeno -13.1676 +▁Tracking -13.1677 +finity -13.1677 +▁ubjedljiv -13.1677 +▁deliberate -13.1677 +▁staračk -13.1678 +YL -13.1678 +▁distort -13.1679 +zvao -13.1679 +▁Persi -13.168 +▁0,8 -13.1681 +▁propuštene -13.1682 +▁Compliance -13.1682 +▁Cannabis -13.1682 +▁Demokrata -13.1682 +▁Memorijalno -13.1682 +▁USLUGE -13.1682 +▁Zamjenik -13.1682 +▁glavobolju -13.1682 +▁izvješće -13.1682 +▁landscaping -13.1682 +▁milimetara -13.1682 +▁preovladava -13.1682 +▁rješenju -13.1682 +▁srebrne -13.1682 +▁terrifying -13.1682 +▁testosterone -13.1682 +▁nepoštovanje -13.1682 +▁usavrši -13.1682 +▁Removal -13.1682 +ajkomentarisanij -13.1682 +▁identifikacije -13.1682 +▁impresivno -13.1682 +▁additive -13.1682 +▁želatin -13.1682 +▁bolesna -13.1682 +▁zrelo -13.1682 +▁fundraiser -13.1682 +▁izjednačava -13.1682 +▁dijagnostikovan -13.1682 +▁Caesar -13.1682 +2.6 -13.1682 +MIS -13.1682 +▁gnezd -13.1683 +▁Unity -13.1683 +▁plemić -13.1683 +▁wrapping -13.1683 +▁feminiz -13.1683 +▁funkcijom -13.1684 +▁sugerišu -13.1684 +▁advokatsk -13.1684 +▁spawn -13.1684 +▁drzavi -13.1684 +▁slojeve -13.1684 +▁negatively -13.1684 +▁prijedorsk -13.1685 +▁extracted -13.1685 +▁Fleet -13.1685 +▁Nedugo -13.1686 +▁slez -13.1686 +▁preživjeti -13.1686 +▁pecite -13.1686 +▁pucnjave -13.1687 +▁podešen -13.1687 +▁Bold -13.1687 +▁grobnice -13.1688 +▁Finskoj -13.1688 +▁AIR -13.1688 +▁eBook -13.1689 +▁Odgovornost -13.1689 +▁masnu -13.169 +▁wifi -13.169 +▁Ellie -13.169 +October -13.1691 +cloud -13.1691 +▁Normally -13.1691 +▁boravila -13.1692 +▁bingo -13.1692 +▁Baci -13.1692 +▁Patch -13.1692 +Svaki -13.1692 +Poz -13.1692 +عَ -13.1692 +▁Mazda -13.1693 +▁lomi -13.1693 +▁skijanja -13.1693 +▁brzih -13.1693 +▁hay -13.1693 +▁Indoor -13.1694 +▁061 -13.1694 +▁sporne -13.1694 +▁welding -13.1694 +▁ajvar -13.1696 +▁zapreti -13.1697 +▁očekivanje -13.1697 +▁capitalist -13.1697 +▁stray -13.1697 +Detalj -13.1699 +▁Forget -13.17 +ADI -13.1701 +moving -13.1701 +ктор -13.1702 +▁zensk -13.1704 +▁RADIO -13.1704 +▁umiješan -13.1705 +▁zapuš -13.1705 +▁Ljubić -13.1706 +▁belonged -13.1708 +▁resorno -13.1709 +▁pametna -13.1709 +▁akcent -13.1711 +▁cuva -13.1711 +▁RTL -13.1712 +мер -13.1712 +▁Yar -13.1713 +▁Bojim -13.1713 +▁drip -13.1714 +▁čitali -13.1714 +▁Salman -13.1716 +▁spasili -13.1717 +▁Spasić -13.1718 +▁tendon -13.1718 +▁zvanja -13.1719 +▁oxide -13.1719 +▁kliničkom -13.1719 +▁kućica -13.1719 +▁predstavom -13.172 +▁bošnjačko -13.1721 +▁molekule -13.1721 +RIC -13.1722 +▁1908 -13.1722 +▁mističn -13.1723 +▁MOR -13.1723 +▁veil -13.1723 +KER -13.1724 +▁zaštićenih -13.1724 +▁racunar -13.1726 +▁Caffe -13.1726 +ū -13.1727 +▁PREDSEDNIK -13.1727 +▁Pandemija -13.1727 +▁Vojvođansk -13.1727 +▁Zvijezda -13.1727 +▁argumenata -13.1727 +▁contemplate -13.1727 +▁prolećni -13.1727 +▁Specifičn -13.1727 +▁Shepherd -13.1727 +▁revenge -13.1727 +▁registroval -13.1727 +▁artikla -13.1727 +▁hlače -13.1727 +▁izvedba -13.1727 +11:55|| -13.1727 +.09.2019 -13.1727 +▁Spasojević -13.1727 +▁praktičnu -13.1727 +▁interacting -13.1727 +▁bulevar -13.1727 +▁vrijede -13.1727 +▁dlaku -13.1728 +▁cirkulacije -13.1728 +▁reprezentacijom -13.1728 +▁Marilyn -13.1728 +▁neslaganja -13.1728 +▁dijagram -13.1728 +▁Srb -13.1728 +▁prebrodi -13.1728 +▁volcano -13.1728 +▁meanwhile -13.1728 +▁praznici -13.1728 +▁zamjene -13.1729 +▁zatekla -13.1729 +▁Jacksonville -13.1729 +▁apsorbuje -13.173 +▁Dubrovačk -13.173 +▁Vukanović -13.173 +▁Everest -13.173 +▁Gerard -13.1731 +▁bronc -13.1731 +▁razumno -13.1731 +▁istinitosti -13.1731 +▁poprimi -13.1731 +▁videćete -13.1731 +▁blew -13.1731 +▁tumačenju -13.1732 +▁omni -13.1733 +▁12:30 -13.1734 +▁zapošljavaju -13.1735 +▁brightness -13.1735 +▁paraben -13.1735 +▁modernoj -13.1735 +▁značenju -13.1735 +▁resigned -13.1736 +▁eliti -13.1736 +Water -13.1737 +patriot -13.1737 +reference -13.1738 +Veoma -13.1738 +▁Otvara -13.1738 +▁Manning -13.1739 +▁наш -13.1739 +▁golovima -13.1739 +oslovensk -13.174 +▁pametnog -13.1741 +▁ljubavnik -13.1741 +▁reinforced -13.1741 +▁conceived -13.1742 +▁obolele -13.1742 +House -13.1743 +▁Damn -13.1744 +▁Gap -13.1745 +▁1700 -13.1745 +▁Napredn -13.1745 +VET -13.1745 +▁Taman -13.1746 +▁pčel -13.1746 +UMA -13.1747 +▁portrayed -13.1748 +▁centralnu -13.1748 +▁aktuelno -13.1749 +▁Olimpijskog -13.1749 +etc -13.175 +▁posmatranje -13.175 +▁MX -13.1751 +▁Bačka -13.1751 +kršten -13.1751 +▁Harmon -13.1753 +▁Gledao -13.1753 +▁embed -13.1754 +▁illumin -13.1754 +▁Zagrebačko -13.1755 +dunav -13.1755 +▁Accordingly -13.1756 +▁235 -13.1757 +zdržavanje -13.1757 +▁skupljaju -13.1757 +▁stolova -13.1757 +▁Connor -13.1758 +▁momentalno -13.1758 +▁colourful -13.1759 +▁catches -13.1759 +▁praćenju -13.176 +▁comeback -13.1761 +IME -13.1762 +▁zaradili -13.1762 +▁osiguralo -13.1762 +▁proglasili -13.1763 +5.8 -13.1764 +▁svojevrsno -13.1765 +▁Hamid -13.1766 +▁BIT -13.1766 +▁krah -13.1768 +▁booster -13.1769 +▁vanredni -13.1769 +▁težih -13.177 +▁prsti -13.1772 +ŠKO -13.1772 +▁Barceloni -13.1773 +▁Kasumović -13.1773 +▁Tayyip -13.1773 +▁accumulation -13.1773 +▁delegaciju -13.1773 +▁najuticajnij -13.1773 +▁neprijatan -13.1773 +▁propagira -13.1773 +▁Stanovnici -13.1773 +▁mikserom -13.1773 +▁početnog -13.1773 +▁predjelima -13.1773 +▁eksplicitno -13.1773 +▁unauthorized -13.1773 +▁žurka -13.1773 +▁kreativna -13.1773 +▁Brzi -13.1773 +▁Accident -13.1773 +▁autoimun -13.1773 +▁chorus -13.1773 +▁mangan -13.1773 +▁tornado -13.1773 +▁poezija -13.1773 +▁Cindy -13.1774 +▁kubika -13.1774 +▁;-) -13.1774 +2.8 -13.1774 +▁nadolazeće -13.1774 +▁Isidor -13.1774 +▁sačuvamo -13.1774 +▁prelomi -13.1774 +▁Interface -13.1774 +▁bitkoin -13.1774 +▁ideally -13.1774 +▁према -13.1774 +▁keynote -13.1775 +▁lutrij -13.1775 +▁uspelo -13.1775 +▁senzibilitet -13.1775 +▁savetovanje -13.1775 +▁izađemo -13.1775 +▁standpoint -13.1776 +▁5:00 -13.1776 +▁antropolog -13.1776 +▁Tian -13.1778 +▁Hrvatsko -13.1778 +▁uvažavanje -13.1779 +ručnik -13.1779 +▁opisali -13.1781 +▁bespovratnih -13.1781 +▁formulated -13.1781 +▁upitno -13.1781 +▁prodajnih -13.1782 +▁Breg -13.1782 +Vid -13.1783 +▁OLED -13.1783 +▁trče -13.1783 +▁otpis -13.1783 +Cijena -13.1783 +cloth -13.1785 +▁sadašnjost -13.1785 +▁Regina -13.1785 +▁Dunn -13.1785 +▁Studentski -13.1786 +▁djevojci -13.1786 +▁Teren -13.1787 +▁standardized -13.1788 +▁preneta -13.1788 +▁četvorogodišnj -13.1788 +▁mušku -13.1789 +▁češnjak -13.1789 +▁ledeni -13.1789 +▁Drvo -13.1789 +▁claw -13.179 +▁momcima -13.179 +▁carved -13.1791 +omics -13.1791 +▁wandering -13.1791 +▁reuse -13.1792 +▁cheating -13.1793 +Japan -13.1793 +љи -13.1795 +▁proizvodnog -13.1796 +▁Tsu -13.1796 +PUT -13.1796 +▁2,0 -13.1797 +▁nestabilno -13.1797 +▁izazvanih -13.1798 +Act -13.1799 +blogspot -13.1799 +▁Interested -13.18 +ambul -13.18 +joy -13.18 +▁planiranog -13.1801 +▁Platon -13.1802 +▁mokrenje -13.1803 +Light -13.1804 +vedete -13.1805 +▁strpljivi -13.1805 +China -13.1805 +▁štitne -13.1806 +▁Cookie -13.1807 +▁bijelom -13.1808 +▁izbacili -13.1808 +▁klasn -13.1808 +▁temeljito -13.181 +▁losos -13.1811 +Tokom -13.1811 +▁Lup -13.1811 +▁njemačko -13.1812 +▁šlja -13.1812 +▁radnica -13.1813 +▁probavni -13.1813 +▁sumnjaju -13.1813 +▁Diaz -13.1814 +▁Englez -13.1814 +▁karbon -13.1815 +▁debitantsk -13.1815 +▁understandable -13.1816 +▁401 -13.1817 +Under -13.1818 +▁komunicirati -13.1818 +▁bash -13.1818 +▁pročitala -13.1818 +γ -13.1818 +▁Gračanice -13.1818 +▁Kuršumlij -13.1818 +▁policajce -13.1818 +▁Katherine -13.1818 +▁Pearson -13.1818 +▁najboljoj -13.1818 +▁prouzrokoval -13.1818 +▁scramble -13.1818 +▁zrenjaninsk -13.1818 +▁glatka -13.1818 +▁Blinken -13.1818 +▁Godišnji -13.1818 +▁decentralizacij -13.1818 +▁dictator -13.1818 +▁SERVIS -13.1818 +▁Jovičić -13.1818 +▁flawless -13.1818 +▁miniature -13.1818 +▁Pažljivo -13.1818 +▁fluorescent -13.1818 +▁opioid -13.1818 +▁funkcionisati -13.1819 +▁naznakom -13.1819 +▁organizovalo -13.1819 +▁IKEA -13.1819 +▁slikovn -13.1819 +▁kamatu -13.1819 +▁podgoričko -13.1819 +▁čovječnosti -13.1819 +▁Maple -13.1819 +▁ADHD -13.1819 +▁urging -13.1819 +▁estetsko -13.1819 +▁nacionalizam -13.182 +▁уреди -13.182 +▁Jagodini -13.182 +▁Ovakvo -13.182 +▁normalizaciji -13.182 +▁heap -13.182 +▁defile -13.1821 +▁Compos -13.1821 +▁zaobljen -13.1821 +▁pritisne -13.1821 +▁Mercator -13.1822 +wordpress -13.1823 +▁Maroka -13.1823 +▁afrički -13.1824 +▁liquidity -13.1824 +▁($1 -13.1824 +▁spit -13.1824 +▁ukopan -13.1826 +▁razvijanja -13.1826 +kowski -13.1826 +▁pravovremen -13.1827 +▁podržalo -13.1827 +▁Bust -13.1828 +▁kulturnoj -13.1829 +▁lure -13.183 +National -13.183 +▁farther -13.1831 +▁puniti -13.1832 +▁izjednačenje -13.1832 +▁artikal -13.1832 +▁kondenz -13.1832 +thus -13.1833 +▁prekinuli -13.1833 +brisa -13.1834 +godina -13.1835 +▁Uopšte -13.1835 +▁opustiti -13.1836 +▁striker -13.1837 +▁overload -13.1838 +nucle -13.184 +▁Veza -13.1841 +▁opredijeljen -13.1841 +▁Brick -13.1841 +function -13.1842 +▁siromašnih -13.1843 +▁usporiti -13.1843 +▁recon -13.1845 +▁Premijerka -13.1845 +▁subjektivno -13.1847 +▁SLA -13.1847 +riše -13.1848 +Call -13.1848 +▁Kazan -13.1849 +▁Ljut -13.1849 +radnik -13.1849 +▁Shock -13.1849 +▁flori -13.185 +▁Recording -13.185 +▁modnu -13.185 +▁IEEE -13.1851 +rađivač -13.1851 +▁pojednostav -13.1852 +Račun -13.1853 +ITELJ -13.1853 +▁leaning -13.1854 +▁Rang -13.1854 +▁obeležavanje -13.1855 +▁faction -13.1856 +▁Orden -13.1856 +Phone -13.1857 +▁decorate -13.1857 +▁snažniji -13.1858 +TEC -13.1858 +▁060 -13.1859 +▁mindful -13.1859 +260 -13.1859 +▁trenuci -13.186 +3,5 -13.1862 +BIH -13.1862 +▁Chill -13.1863 +pjes -13.1863 +▁Vojin -13.1864 +▁congress -13.1864 +▁impairment -13.1864 +▁vodosnabdijeva -13.1864 +ă -13.1864 +šanin -13.1864 +▁Administrative -13.1864 +▁Availability -13.1864 +▁Bogorodice -13.1864 +▁Café -13.1864 +▁Physician -13.1864 +▁Raiffeisen -13.1864 +▁diligence -13.1864 +▁filharmonij -13.1864 +▁investicione -13.1864 +▁kinematografije -13.1864 +▁pomorandže -13.1864 +▁Ubuntu -13.1864 +▁nepravdu -13.1864 +▁prostitutk -13.1864 +▁Bijedić -13.1864 +▁Uzroci -13.1864 +▁cjeline -13.1864 +▁bajkovit -13.1864 +▁Adolf -13.1864 +▁biblical -13.1864 +▁prožima -13.1864 +▁despair -13.1865 +▁školom -13.1865 +▁hronične -13.1865 +▁Crazy -13.1865 +▁grafike -13.1865 +▁gradilištu -13.1865 +▁Irving -13.1865 +▁ове -13.1865 +▁Feedback -13.1865 +▁istražno -13.1865 +▁colonies -13.1865 +▁aspirations -13.1866 +▁Jevrejsk -13.1866 +▁nasumičn -13.1866 +▁Cornell -13.1866 +▁buducnost -13.1866 +▁Libiji -13.1866 +▁neznatno -13.1867 +▁psihopat -13.1867 +▁svjetsku -13.1867 +▁trup -13.1867 +▁pocela -13.1867 +▁kidding -13.1868 +▁Gucci -13.1868 +dubljen -13.1869 +380 -13.1869 +▁viewpoint -13.1869 +▁zabrinjavajuće -13.187 +▁pokusaj -13.187 +▁descent -13.187 +▁Klinici -13.1872 +▁predivan -13.1872 +kiseli -13.1872 +▁Harley -13.1872 +▁klju -13.1872 +▁Jacket -13.1872 +▁bowel -13.1873 +▁merge -13.1875 +▁duplira -13.1875 +Ogromn -13.1876 +▁1942 -13.1876 +▁prisutnosti -13.1876 +▁kreten -13.1876 +Jack -13.1876 +Help -13.1876 +▁STUD -13.1877 +▁momke -13.1877 +▁borca -13.1878 +▁cvetanja -13.1878 +▁SOL -13.1879 +▁patnja -13.188 +▁док -13.188 +▁rukovode -13.188 +alone -13.188 +▁nastane -13.1881 +▁TERM -13.1882 +ставља -13.1882 +▁financijskih -13.1882 +ром -13.1884 +▁SSP -13.1884 +▁razumeli -13.1885 +▁osjetili -13.1886 +▁svirali -13.1887 +▁cjenovn -13.1887 +▁Tamar -13.1887 +▁prateć -13.1887 +▁bolster -13.1887 +▁prosečni -13.1888 +▁četka -13.1889 +▁ispitivan -13.1889 +PET -13.1889 +ranium -13.1891 +Andre -13.1892 +▁Europski -13.1893 +9,99 -13.1893 +▁karneval -13.1894 +lažete -13.1895 +▁plodovima -13.1895 +CHI -13.1895 +▁appliance -13.1895 +▁Banca -13.1895 +▁Churchill -13.1896 +▁umeće -13.1896 +▁rekordnih -13.1896 +▁gadget -13.1896 +vention -13.1897 +▁psovke -13.1898 +RKA -13.1898 +▁organizirali -13.1899 +▁Iskoristi -13.1899 +▁zatvorenog -13.1899 +▁vladine -13.19 +East -13.19 +▁lukav -13.1901 +univerzal -13.1902 +▁oformi -13.1902 +▁Kranj -13.1902 +▁divorced -13.1903 +rađivao -13.1904 +▁ciljano -13.1906 +▁rustic -13.1906 +▁Jugoslav -13.1906 +regional -13.1907 +▁čelik -13.1907 +ovsku -13.1907 +▁astronomsk -13.1908 +▁dohvati -13.1908 +▁čelni -13.1909 +♥ -13.191 +▁Austrougarsk -13.191 +▁Dumpster -13.191 +▁Nottingham -13.191 +▁Novosađani -13.191 +▁Poljoprivreda -13.191 +▁Smajlović -13.191 +▁Westminster -13.191 +▁acceleration -13.191 +▁charcoal -13.191 +▁hektaru -13.191 +▁influenser -13.191 +▁nepoznanica -13.191 +▁petroleum -13.191 +▁presumably -13.191 +▁pretrpjel -13.191 +▁renovated -13.191 +▁sveučilišn -13.191 +¢ -13.191 +▁funkcionalan -13.191 +▁italijanska -13.191 +▁preduvjet -13.191 +▁SRBIJI -13.191 +▁sorrow -13.191 +▁gubljenje -13.191 +▁cjepiva -13.191 +.08.2020 -13.191 +.02.2019 -13.191 +▁kolektor -13.1911 +▁zaštitna -13.1911 +▁snapshot -13.1911 +▁drastically -13.1911 +▁Đuričić -13.1911 +▁Investitor -13.1911 +▁Preminul -13.1911 +▁stroge -13.1911 +▁jagnje -13.1911 +▁crevima -13.1911 +▁rukovođen -13.1911 +▁19:30 -13.1911 +▁knjižnice -13.1912 +▁simbolizuje -13.1912 +▁šećerne -13.1912 +zhi -13.1912 +▁iskusnih -13.1912 +▁1916 -13.1912 +▁Probajte -13.1912 +▁dodavati -13.1912 +▁kazalište -13.1912 +▁voljni -13.1913 +Želimo -13.1913 +▁Slad -13.1913 +▁fourteen -13.1914 +▁Bottle -13.1914 +▁modernizaciju -13.1914 +▁vazduhoplovn -13.1914 +Sign -13.1915 +▁HOL -13.1915 +▁kablova -13.1916 +▁olimpijske -13.1916 +▁plavuša -13.1916 +▁najtraženijih -13.1917 +▁najpovoljniji -13.1917 +▁Uredbe -13.1918 +▁newcomer -13.1918 +▁rotor -13.1918 +▁seljaci -13.1919 +▁vrhovima -13.1919 +▁Prijatelji -13.1919 +▁Expand -13.1919 +▁paletu -13.192 +▁$150 -13.1921 +▁niece -13.1921 +Central -13.1921 +professional -13.1921 +Business -13.1921 +▁OVER -13.1921 +▁fuss -13.1921 +▁stranac -13.1921 +Nismo -13.1922 +▁overflow -13.1922 +▁brodove -13.1922 +koristi -13.1923 +▁Christina -13.1923 +▁Rup -13.1923 +▁Roast -13.1924 +▁Šeh -13.1924 +Bila -13.1925 +▁Civilne -13.1925 +breaker -13.1925 +▁Adopt -13.1927 +▁Uviđaj -13.1927 +▁sluti -13.1928 +boot -13.1929 +▁geometrijsk -13.1929 +▁Korisničk -13.193 +▁kitten -13.193 +▁bager -13.193 +▁emphasized -13.193 +▁sportovi -13.1931 +▁psiholozi -13.1931 +▁handicap -13.1931 +▁370 -13.1932 +480 -13.1933 +▁Čilić -13.1934 +građenih -13.1935 +▁rukovodioci -13.1936 +▁humus -13.1937 +▁kapitalnih -13.1937 +▁podijelila -13.1937 +▁elegantan -13.1938 +▁seksualnih -13.1938 +▁frontmen -13.1938 +▁dobrovoljnog -13.1938 +▁vjerskog -13.1939 +WR -13.1941 +▁ruined -13.1943 +▁biračkom -13.1943 +▁Pavel -13.1944 +▁utvrđenim -13.1944 +▁nezavisnog -13.1945 +▁Milice -13.1946 +▁zaviri -13.1946 +▁feeder -13.1946 +▁Fuck -13.1949 +▁progovorio -13.1949 +▁prodato -13.195 +▁commend -13.1951 +Mail -13.1953 +▁Nolan -13.1955 +▁Coaching -13.1955 +▁Pend -13.1956 +▁vodonik -13.1956 +▁Fantastic -13.1957 +▁Flickr -13.1957 +▁Najviša -13.1957 +▁ambalaži -13.1957 +▁ambalažu -13.1957 +▁appraisal -13.1957 +▁decreasing -13.1957 +▁Čikagu -13.1957 +▁oponaša -13.1957 +▁razmjeni -13.1957 +▁šejtan -13.1957 +▁Slušajte -13.1957 +▁linebacker -13.1957 +▁trebinjsk -13.1957 +▁organizacione -13.1957 +▁zadobila -13.1957 +.09.2023 -13.1957 +▁Isaiah -13.1957 +▁prehranu -13.1957 +▁pocetak -13.1957 +▁abusive -13.1957 +▁erupcij -13.1957 +▁Mihael -13.1957 +▁župe -13.1957 +▁Anchor -13.1957 +▁podjelu -13.1957 +▁крај -13.1957 +▁humour -13.1957 +▁swipe -13.1958 +▁umjetničke -13.1958 +▁Priroda -13.1958 +▁intenzivnog -13.1958 +▁skew -13.1958 +▁precedent -13.1958 +▁trošenje -13.1958 +▁phospho -13.1959 +▁anđeli -13.1959 +▁preporuča -13.1959 +▁Veljka -13.1959 +▁Zul -13.1959 +▁bežično -13.1959 +▁imperfect -13.1959 +▁Ankari -13.196 +▁osudu -13.196 +▁trilogij -13.196 +▁Odlučil -13.1961 +▁Tyson -13.1961 +[3] -13.1962 +▁Peg -13.1962 +▁Tribe -13.1963 +▁kompliciran -13.1963 +▁osjetljivost -13.1963 +▁savladati -13.1963 +▁alcoholic -13.1964 +▁Sodium -13.1964 +▁PIC -13.1964 +▁zipper -13.1964 +▁Obli -13.1965 +▁godinom -13.1965 +▁katu -13.1966 +▁Testiranje -13.1966 +pukovnik -13.1967 +Continue -13.1967 +registrovan -13.1967 +▁gojaznost -13.1967 +▁Vegan -13.1968 +▁Damage -13.1968 +▁Mormon -13.1968 +▁economically -13.1968 +▁raznovrsnost -13.1968 +▁vitro -13.197 +grove -13.1971 +formal -13.1971 +▁srdačno -13.1972 +▁testirani -13.1972 +Term -13.1973 +▁exchanged -13.1973 +▁korica -13.1974 +▁plivanja -13.1974 +▁doktorka -13.1976 +koren -13.1977 +▁hodanje -13.1977 +▁analizirali -13.1977 +▁cvetovi -13.1978 +▁bioskopima -13.1978 +vijaju -13.1978 +CAR -13.1979 +106 -13.198 +▁formulation -13.198 +godišnjom -13.1981 +▁pojasnila -13.1981 +1.000 -13.1983 +▁težinom -13.1983 +▁Pule -13.1984 +▁MOJ -13.1984 +▁krajnjeg -13.1984 +▁Musical -13.1985 +▁upotrebiti -13.1986 +inho -13.1986 +▁pristali -13.1986 +▁Brčkog -13.1987 +▁robovi -13.1987 +▁dignu -13.1989 +▁Employee -13.1989 +▁rizikuje -13.199 +▁napornog -13.199 +||25 -13.1991 +▁razmišljali -13.1992 +▁Eugene -13.1993 +5.7 -13.1994 +spheric -13.1994 +▁priznavanje -13.1997 +▁HSP -13.1998 +▁Rijad -13.1998 +▁otključa -13.2 +▁HEP -13.2 +▁upoznamo -13.2 +klapanje -13.2001 +▁Reprezentativ -13.2003 +́ -13.2003 +▁Dalmaciji -13.2003 +▁Hernandez -13.2003 +▁Međimur -13.2003 +▁Religious -13.2003 +▁Roosevelt -13.2003 +▁Syndrome -13.2003 +▁Teodosić -13.2003 +▁Wimbledon -13.2003 +▁educating -13.2003 +▁gljivice -13.2003 +▁registry -13.2003 +▁službom -13.2003 +▁swirl -13.2003 +▁cenzus -13.2003 +▁koprodukcij -13.2003 +▁sintezu -13.2003 +▁Pokušao -13.2003 +▁kreativan -13.2003 +▁irrelevant -13.2003 +▁laureat -13.2003 +▁Norfolk -13.2003 +▁oporezivanja -13.2003 +▁kvasca -13.2003 +▁Residential -13.2004 +▁definiciju -13.2004 +▁VAŽN -13.2004 +▁valuti -13.2004 +▁žalosn -13.2004 +▁okupljene -13.2004 +▁Strategies -13.2004 +▁odustala -13.2004 +▁temporal -13.2004 +žnjen -13.2004 +▁mašinsko -13.2004 +▁gradilišta -13.2004 +▁rotating -13.2004 +▁Šerif -13.2004 +▁forehead -13.2005 +▁obveznice -13.2005 +▁Jakub -13.2005 +▁vodstva -13.2005 +сан -13.2006 +sloven -13.2006 +▁Sastanku -13.2007 +▁ARM -13.2007 +▁biljnim -13.2008 +▁crvenoj -13.2009 +▁intenzivnije -13.2009 +▁GOOD -13.2009 +▁vicious -13.201 +▁Derviš -13.201 +▁zadnju -13.201 +▁Turisti -13.2011 +▁Curry -13.2011 +▁istraživačke -13.2011 +▁Katnić -13.2013 +Pogledaj -13.2014 +interpret -13.2015 +▁dependence -13.2016 +Student -13.2017 +▁animator -13.2017 +▁Hearing -13.2017 +Gro -13.2017 +plicate -13.2019 +▁tečno -13.2019 +▁Opasn -13.202 +čitaj -13.202 +▁bordo -13.2021 +▁Nedimović -13.2021 +▁Fully -13.2021 +▁retke -13.2022 +savjet -13.2022 +▁paklen -13.2022 +▁eventualnog -13.2023 +▁rerne -13.2024 +ун -13.2024 +tropic -13.2025 +▁predstavimo -13.2025 +▁440 -13.2026 +▁Paw -13.2026 +▁okiti -13.2027 +▁vagine -13.2028 +▁sporova -13.2028 +170 -13.2029 +▁Čuvaj -13.2029 +XY -13.2031 +▁Chop -13.2032 +▁priziva -13.2032 +▁Ahmetović -13.2033 +ети -13.2033 +▁Slavka -13.2033 +▁iznimn -13.2033 +▁testify -13.2034 +___ -13.2034 +▁sniman -13.2034 +▁Klan -13.2035 +▁preporučiti -13.2035 +▁otoč -13.2035 +▁sudsku -13.2036 +fashioned -13.2036 +▁phenomenal -13.2037 +▁flak -13.2037 +▁ascend -13.2037 +▁Akadem -13.2038 +▁obicn -13.2038 +▁accumulate -13.204 +▁osobinama -13.204 +predsjedavajuć -13.204 +▁runway -13.2041 +▁otklon -13.2041 +▁posuti -13.2041 +▁Aktuelni -13.2041 +▁izgradila -13.2042 +▁IGRA -13.2043 +Table -13.2043 +▁Esc -13.2043 +▁trader -13.2044 +▁dvadesetog -13.2044 +▁Očekuj -13.2045 +▁uštedi -13.2045 +▁košarka -13.2046 +▁krune -13.2047 +▁penzioni -13.2047 +▁Kiril -13.2047 +▁DEMO -13.2047 +▁umeju -13.2048 +▁regulisanje -13.2048 +▁Uvođenje -13.2048 +▁1907 -13.2048 +▁strano -13.2049 +▁užičk -13.2049 +Oslobođenje -13.2049 +ش -13.205 +▁Automotive -13.205 +▁Ombudsman -13.205 +▁Scenario -13.205 +▁Takmičar -13.205 +▁bubuljica -13.205 +▁egipatski -13.205 +▁fizioterapeut -13.205 +▁kantautor -13.205 +▁negligence -13.205 +▁potražnju -13.205 +▁refusal -13.205 +▁serotonin -13.205 +▁Sarajevski -13.205 +▁aktuelnu -13.205 +▁žurnal -13.205 +▁Vuksanović -13.205 +▁revival -13.205 +▁animirani -13.205 +▁Wyoming -13.205 +.11.2020 -13.205 +▁medrese -13.205 +▁Ljubljana -13.205 +▁montažn -13.205 +▁centimetr -13.205 +▁stabilne -13.205 +▁Džordan -13.205 +▁tribinu -13.205 +▁battling -13.205 +▁šerpu -13.205 +▁regulaciju -13.205 +▁Whisk -13.205 +▁motif -13.2051 +▁rodbine -13.2051 +hidrat -13.2051 +▁Inženjer -13.2051 +▁Spray -13.2051 +▁Miranda -13.2051 +▁Hidden -13.2051 +▁pravosudno -13.2051 +▁Duboko -13.2051 +▁pripravnosti -13.2051 +▁Fraser -13.2052 +▁4.7 -13.2052 +Image -13.2052 +▁Postovani -13.2052 +▁izliječi -13.2052 +▁Flood -13.2053 +▁stavimo -13.2053 +▁validate -13.2053 +▁Šib -13.2053 +▁primijenjen -13.2053 +▁authenticity -13.2053 +▁priseti -13.2053 +▁Tepić -13.2054 +▁Nihad -13.2054 +nfracrven -13.2054 +▁ređa -13.2054 +▁sickness -13.2055 +▁ubjedljivo -13.2055 +▁vještak -13.2055 +kosovskog -13.2057 +▁inherited -13.2057 +▁tonovima -13.2057 +▁Elektroprivreda -13.2058 +▁EXIT -13.2058 +▁cvetova -13.2058 +▁propušten -13.2058 +▁atoma -13.2059 +▁Trivić -13.2059 +▁Packers -13.2059 +▁adaptacija -13.2059 +▁komičar -13.2059 +▁3-0 -13.2059 +▁granama -13.2059 +nešen -13.206 +▁ravnopravni -13.206 +▁politicar -13.206 +FTA -13.206 +▁Adžić -13.2061 +▁Duš -13.2061 +▁uštedite -13.2061 +ковић -13.2061 +▁Ljep -13.2061 +▁pasture -13.2061 +▁dušek -13.2061 +culus -13.2062 +▁instructed -13.2062 +▁borbenih -13.2062 +▁boob -13.2063 +▁logičn -13.2063 +▁Coral -13.2063 +▁kreacija -13.2064 +▁String -13.2065 +Svako -13.2065 +Find -13.2065 +blood -13.2066 +▁korov -13.2066 +▁raniji -13.2066 +▁Bacon -13.2066 +▁finiš -13.2067 +▁pločama -13.2067 +▁razbije -13.2067 +efendij -13.2068 +▁12% -13.2069 +▁posmatramo -13.2069 +Smart -13.207 +▁mansion -13.207 +RIĆ -13.2071 +▁alternativnih -13.2071 +▁popularizacij -13.2071 +▁opisala -13.2072 +▁broaden -13.2072 +▁zakonsku -13.2073 +▁ćevap -13.2073 +▁predstojećeg -13.2073 +▁weighed -13.2073 +▁10.00 -13.2073 +▁± -13.2074 +сјед -13.2074 +▁sređen -13.2074 +▁pozdravili -13.2076 +▁potrudili -13.2076 +▁golim -13.2078 +uuuu -13.2079 +COUNT -13.2079 +▁pridružite -13.2079 +▁disciplinama -13.208 +▁vidova -13.208 +Print -13.208 +▁Mash -13.2082 +▁investiranje -13.2082 +▁grčkih -13.2083 +▁educator -13.2083 +▁učeničk -13.2084 +▁Crowd -13.2086 +▁defended -13.2088 +▁fulfil -13.209 +▁GUI -13.209 +▁evoke -13.209 +▁pacifi -13.2091 +▁hibridni -13.2093 +▁posredno -13.2094 +▁symbolic -13.2095 +cijenjen -13.2095 +▁Kantonalni -13.2095 +▁učiniće -13.2096 +Ď -13.2097 +▁Pharmaceutical -13.2097 +▁juvenile -13.2097 +▁slobodnu -13.2097 +▁Malcolm -13.2097 +▁nečistoće -13.2097 +▁Identity -13.2097 +▁Pokemon -13.2097 +▁fotelje -13.2097 +▁obeležja -13.2097 +▁потреб -13.2097 +▁seksualnu -13.2097 +▁netačne -13.2097 +.06.2019 -13.2097 +▁usprotivi -13.2097 +▁ilegalnih -13.2097 +▁promenom -13.2097 +▁informacione -13.2097 +▁одговор -13.2097 +▁Šećer -13.2097 +▁Barrett -13.2097 +▁Aleksander -13.2097 +▁numere -13.2098 +▁opsade -13.2098 +▁Nemanjić -13.2098 +▁realizovali -13.2098 +▁zakasni -13.2098 +▁Prvobitn -13.2098 +▁optimizma -13.2098 +▁seldom -13.2098 +▁Slaviša -13.2099 +▁disciplinu -13.2099 +▁Bosanskog -13.2099 +▁ripped -13.2099 +▁revisit -13.2099 +▁učinile -13.2099 +▁Apostol -13.21 +▁recreate -13.21 +▁Tabela -13.21 +Slušaj -13.2101 +▁proradi -13.2102 +▁pogoršanje -13.2102 +▁Zvonko -13.2102 +▁treaty -13.2103 +NTO -13.2103 +▁pištoljem -13.2103 +jezič -13.2103 +▁curry -13.2104 +▁grčko -13.2104 +▁Rural -13.2104 +▁reprodukci -13.2105 +▁patnju -13.2105 +▁oklopn -13.2105 +▁ključnog -13.2106 +BIS -13.2106 +▁kabina -13.2106 +istike -13.2107 +▁pregazi -13.2107 +▁seoskih -13.2107 +Espreso -13.2108 +Hayat -13.2108 +▁braću -13.2108 +▁Kaba -13.2109 +▁XIII -13.2109 +▁unified -13.2109 +003 -13.211 +prostor -13.211 +Design -13.211 +6.7 -13.211 +HAR -13.211 +▁Studentskog -13.211 +▁Falk -13.2111 +▁Compared -13.2112 +▁Trideset -13.2112 +znaci -13.2112 +Jugo -13.2113 +270 -13.2114 +▁sprout -13.2114 +▁dominantan -13.2115 +End -13.2115 +Report -13.2115 +▁inovativnost -13.2116 +▁tossed -13.2118 +▁parkovima -13.2118 +▁respiratornih -13.2119 +▁pozivanje -13.212 +▁pedesetih -13.212 +Novo -13.2121 +▁beleže -13.2122 +▁Livno -13.2123 +▁telecom -13.2123 +▁Hilari -13.2123 +▁izmenu -13.2124 +▁antifašist -13.2124 +ww -13.2124 +▁SOC -13.2124 +Ċen -13.2127 +▁Dul -13.2127 +▁Krav -13.2128 +▁vekova -13.2128 +▁izrađuju -13.2128 +▁Niče -13.2129 +970 -13.213 +ð -13.2131 +▁konkurentni -13.2132 +▁Doša -13.2133 +▁Kohl -13.2133 +▁riznic -13.2135 +▁vaginal -13.2135 +▁batina -13.2136 +▁neuobičajeno -13.2136 +vital -13.2137 +ег -13.2138 +▁10-12 -13.2139 +plastic -13.2142 +▁zivim -13.2144 +▁Auckland -13.2144 +▁Categories -13.2144 +▁Infografika -13.2144 +▁Ljubljane -13.2144 +▁Pljevljima -13.2144 +▁Vjerojatno -13.2144 +▁Warranty -13.2144 +▁beneficiaries -13.2144 +▁generosity -13.2144 +▁gospođo -13.2144 +▁katastrofu -13.2144 +▁kvalitativn -13.2144 +▁mjuzikl -13.2144 +▁nadogradnju -13.2144 +▁roulette -13.2144 +▁sympathy -13.2144 +▁komponentu -13.2144 +▁destiny -13.2144 +▁sheriff -13.2144 +▁Agricultural -13.2144 +▁majonez -13.2144 +▁Apelacioni -13.2144 +▁pancake -13.2144 +▁bespomoćn -13.2144 +.01.2021 -13.2144 +▁felony -13.2144 +▁autonomous -13.2144 +▁lavender -13.2144 +▁prisilno -13.2144 +▁Tradicionalno -13.2144 +▁dužnosnici -13.2144 +▁zadaća -13.2145 +▁JEDAN -13.2145 +▁napredovanja -13.2145 +▁iznijeti -13.2146 +▁interpretacije -13.2146 +▁štikl -13.2146 +▁Katedra -13.2146 +▁mindfulness -13.2146 +▁inzulin -13.2146 +▁nagradom -13.2146 +▁krajolik -13.2146 +▁večito -13.2146 +▁Prodaje -13.2146 +▁iznenadno -13.2147 +▁Danilović -13.2147 +▁Radanović -13.2147 +▁Objective -13.2148 +▁kampova -13.2148 +▁opravdati -13.2148 +▁elektrolit -13.2148 +prodaja -13.2149 +mjenom -13.2149 +▁Pill -13.215 +▁kineskoj -13.215 +▁žbun -13.215 +▁Tijelo -13.215 +▁penny -13.2151 +▁turističkoj -13.2151 +▁korejsk -13.2151 +▁Iznad -13.2151 +▁komunistički -13.2151 +▁zemljišn -13.2152 +suđuje -13.2152 +▁gloda -13.2152 +▁Ambasad -13.2153 +▁džip -13.2153 +▁samohran -13.2153 +▁suburban -13.2153 +▁Madonna -13.2154 +▁komandi -13.2154 +▁prodje -13.2154 +▁zaboravljaju -13.2154 +▁mađar -13.2155 +solving -13.2155 +▁Zdravković -13.2155 +▁iznenadilo -13.2158 +▁Čistoća -13.2158 +▁Npr -13.2158 +▁kantonalnih -13.2159 +▁energetskom -13.2159 +▁DDR -13.216 +▁Hansen -13.216 +шко -13.2161 +▁getaway -13.2161 +▁Compet -13.2162 +▁profesionalac -13.2162 +mesto -13.2163 +▁blaze -13.2163 +▁VAM -13.2163 +▁češki -13.2164 +▁onkolog -13.2165 +▁empowering -13.2165 +▁coloured -13.2167 +▁frog -13.2169 +▁operisan -13.2169 +gnostic -13.217 +▁recruited -13.2171 +Sever -13.2172 +▁temeljnih -13.2172 +▁boravišn -13.2172 +▁spektakularno -13.2173 +▁paleta -13.2174 +▁smenjen -13.2174 +▁Kuće -13.2176 +▁Secondly -13.2176 +▁Istražite -13.2178 +▁Barbari -13.2178 +▁obstacle -13.2179 +▁Žab -13.218 +▁hodaju -13.218 +твор -13.2181 +komerc -13.2181 +▁hrvat -13.2182 +▁osvrtom -13.2183 +▁curved -13.2183 +▁čekajući -13.2183 +▁Napominje -13.2183 +▁Eating -13.2184 +JENA -13.2184 +8.1 -13.2184 +▁Milošev -13.2185 +▁osuđivan -13.2186 +▁Fuad -13.2187 +▁paljenja -13.2188 +ّ -13.219 +▁spasilačk -13.219 +▁saznamo -13.2191 +▁studentskih -13.2191 +odbrambene -13.2191 +▁Concrete -13.2191 +▁Economist -13.2191 +▁Suddenly -13.2191 +▁cjelosti -13.2191 +▁embracing -13.2191 +▁enclosed -13.2191 +▁frequencies -13.2191 +▁najistaknutij -13.2191 +▁resilient -13.2191 +▁showcasing -13.2191 +▁versatility -13.2191 +▁Čišćenje -13.2191 +▁apsolutnu -13.2191 +▁census -13.2191 +▁midfielder -13.2191 +▁добро -13.2191 +▁nevolji -13.2192 +▁Gospić -13.2192 +▁ONLINE -13.2192 +▁kontrolor -13.2192 +▁Odabir -13.2192 +▁Prvenstvo -13.2192 +▁(2004) -13.2192 +▁тога -13.2192 +▁nastradali -13.2192 +▁obradom -13.2193 +▁два -13.2193 +▁Biljke -13.2193 +▁polozaj -13.2193 +▁učionice -13.2193 +▁sluznice -13.2193 +▁Proper -13.2194 +▁Airbus -13.2194 +▁ljepši -13.2194 +▁18.00 -13.2195 +▁Created -13.2195 +▁Terazij -13.2195 +▁Basta -13.2196 +▁držanja -13.2196 +▁Ajaks -13.2196 +▁Runner -13.2197 +▁curated -13.2197 +▁deliveries -13.2198 +▁transferring -13.2198 +▁allege -13.2198 +▁MAX -13.2198 +▁Prevoz -13.2199 +▁Teslin -13.22 +CER -13.22 +pljačka -13.2201 +▁svilen -13.2201 +▁poduzetničk -13.2201 +gression -13.2201 +▁preporod -13.2201 +▁fairness -13.2202 +storijskog -13.2202 +▁Cosmo -13.2202 +Ц -13.2203 +▁ostavimo -13.2203 +ozbiljno -13.2203 +▁proroč -13.2204 +▁Smol -13.2204 +Postoji -13.2204 +▁ispadanja -13.2204 +▁Muratović -13.2205 +▁Vlatko -13.2205 +motava -13.2205 +▁studijskog -13.2205 +пад -13.2207 +▁obraduje -13.2208 +balans -13.2208 +▁sporedni -13.2208 +Based -13.2209 +▁Rabbi -13.2209 +تَ -13.2209 +▁vježbanja -13.2209 +▁resorni -13.2209 +▁ažuriranja -13.221 +▁Jedinice -13.221 +▁preschool -13.221 +Abd -13.2211 +▁potpisalo -13.2211 +▁predsednici -13.2211 +5-4 -13.2211 +▁monk -13.2211 +▁komičn -13.2212 +▁usisava -13.2213 +▁najjačih -13.2213 +▁------------- -13.2213 +▁Parove -13.2215 +▁trudnicama -13.2216 +ništava -13.2218 +▁osvje -13.2219 +▁Holder -13.222 +▁sumnji -13.222 +157 -13.222 +▁Kanal -13.2224 +▁Bojić -13.2224 +pržite -13.2224 +▁Stanko -13.2225 +JEDIN -13.2226 +otvori -13.2227 +978 -13.2227 +▁negotiation -13.2227 +poruka -13.2228 +tvora -13.2229 +▁potpun -13.2231 +▁Dip -13.2231 +ена -13.2234 +▁Tražite -13.2237 +▁poetsk -13.2238 +▁Karikatura -13.2239 +▁collaborator -13.2239 +▁ilustracije -13.2239 +▁imprisonment -13.2239 +▁mikroorganizama -13.2239 +▁registrovati -13.2239 +▁religiju -13.2239 +▁čovječanstvo -13.2239 +▁iziskuje -13.2239 +▁pilule -13.2239 +▁čišćenju -13.2239 +▁podstaći -13.2239 +▁švedskog -13.2239 +▁Urugvaj -13.2239 +▁declining -13.2239 +▁Zvečan -13.2239 +▁prekasno -13.2239 +▁ABOUT -13.2239 +▁kontrolne -13.2239 +.07.2019 -13.2239 +research -13.2239 +▁odštetu -13.2239 +▁promišljen -13.2239 +▁tendencije -13.2239 +dignu -13.2239 +▁prenijela -13.2239 +▁producira -13.2239 +▁Posetite -13.2239 +▁dekorativni -13.2239 +▁entrepreneurial -13.2239 +▁pretplate -13.2239 +▁DRAG -13.224 +▁prodajne -13.224 +▁uskrsn -13.224 +▁caffeine -13.224 +▁oficijeln -13.224 +▁starosne -13.224 +▁prašina -13.224 +▁Isporuka -13.224 +▁biblijsk -13.224 +▁доби -13.224 +▁sazivu -13.224 +▁buđenje -13.224 +▁forensic -13.224 +▁optimista -13.224 +▁cvekl -13.2241 +▁dečaci -13.2241 +analitičk -13.2241 +▁aukcije -13.2241 +▁Compass -13.2241 +▁proživljava -13.2241 +▁intuicij -13.2241 +▁Vršac -13.2242 +▁$75 -13.2242 +▁(21) -13.2242 +▁agresivnost -13.2242 +▁libijsk -13.2243 +▁otvorilo -13.2243 +▁osveženje -13.2243 +▁Starčević -13.2243 +▁površinski -13.2244 +selam -13.2244 +▁discoveries -13.2244 +▁kesu -13.2244 +▁Sledi -13.2244 +▁mudri -13.2245 +▁Rovinj -13.2245 +▁kurdsk -13.2246 +▁najlon -13.2246 +▁↑1 -13.2247 +▁Throw -13.2248 +▁ananas -13.2248 +▁MOL -13.2248 +▁duhana -13.2249 +▁vanrednih -13.225 +američki -13.2251 +▁arapskog -13.2252 +▁rapper -13.2252 +JEDNI -13.2252 +Service -13.2252 +▁teksturu -13.2252 +▁tužil -13.2253 +▁Wesley -13.2253 +▁zarobljenika -13.2254 +▁zabilježila -13.2254 +▁saopšten -13.2254 +▁tečni -13.2254 +▁Maksimalna -13.2255 +▁Spremni -13.2255 +▁Aires -13.2256 +▁ispunjavanju -13.2257 +▁pucaju -13.2257 +▁regimen -13.2257 +▁ramenu -13.2259 +||€ -13.2259 +▁gašenja -13.2259 +sharing -13.226 +▁akademskih -13.226 +OBI -13.2261 +▁smjena -13.2264 +▁zimsko -13.2264 +877 -13.2264 +▁Basil -13.2264 +▁Ženski -13.2265 +▁idejni -13.2265 +лов -13.2265 +conc -13.2266 +▁weaker -13.2267 +▁obasja -13.2267 +▁informišu -13.2267 +▁skulpture -13.2269 +▁PAT -13.227 +▁Capri -13.227 +▁baštu -13.227 +▁Jarac -13.2273 +sretni -13.2274 +▁dragog -13.2274 +▁Pošalji -13.2276 +▁SVAK -13.2276 +▁Proof -13.2278 +▁сада -13.2278 +▁Stud -13.2279 +▁Predsjedni -13.2279 +▁McCl -13.2281 +▁velikosrpsk -13.2281 +RAP -13.2281 +training -13.2285 +KON -13.2285 +▁snižavanj -13.2285 +Herzegovina -13.2287 +ר -13.2287 +▁Cherokee -13.2287 +▁Jasenovcu -13.2287 +▁Norvežan -13.2287 +▁PROBLEM -13.2287 +▁Tvrđav -13.2287 +▁accustomed -13.2287 +▁fascinated -13.2287 +▁gvozden -13.2287 +▁hamburger -13.2287 +▁hranljive -13.2287 +▁pyramid -13.2287 +▁ravnodušnim -13.2287 +▁unacceptable -13.2287 +▁wizard -13.2287 +▁Santiago -13.2287 +▁Permanent -13.2287 +▁earrings -13.2287 +▁košulju -13.2287 +trigantn -13.2287 +▁juicy -13.2287 +▁krastavac -13.2287 +▁mučnina -13.2287 +▁bespoke -13.2287 +▁osiromašen -13.2287 +▁evoluira -13.2287 +▁afinitet -13.2287 +▁predavanjima -13.2287 +▁observing -13.2287 +▁racionalni -13.2287 +▁Password -13.2287 +▁dijalekt -13.2287 +▁gradsko -13.2287 +▁Newspaper -13.2287 +▁sermon -13.2287 +Potrošač -13.2288 +Telemaster -13.2288 +▁Stanislav -13.2288 +▁odlikuju -13.2288 +▁odgojno -13.2289 +▁STVAR -13.2289 +osphere -13.2289 +pržiti -13.2289 +▁nadasve -13.2289 +▁nerešen -13.2289 +▁Saopštenje -13.2289 +▁isticao -13.2289 +▁uhvate -13.2289 +▁Pazite -13.2289 +▁predvidjeti -13.229 +▁šefovi -13.229 +▁Selaković -13.229 +▁profitability -13.229 +▁eagle -13.229 +▁biciklista -13.229 +▁Piano -13.2291 +▁McM -13.2291 +▁smoked -13.2291 +▁Biskup -13.2291 +ICAL -13.2292 +jerarhij -13.2293 +▁probaju -13.2293 +▁prestup -13.2294 +▁renovira -13.2294 +▁reprodukciju -13.2294 +▁autorke -13.2295 +▁LDP -13.2295 +▁zatvaranju -13.2295 +owski -13.2296 +▁parcijaln -13.2297 +▁Thy -13.2297 +▁pljuskovima -13.2297 +▁problematični -13.2298 +▁akutni -13.2299 +Because -13.2299 +developed -13.2299 +▁Vjeruje -13.2299 +▁Žak -13.23 +▁funkcioniranje -13.23 +▁stride -13.23 +▁Crist -13.23 +▁štene -13.2301 +▁Quant -13.2301 +kazivala -13.2303 +▁rebra -13.2304 +▁entertained -13.2305 +▁Thur -13.2306 +▁Regionalnog -13.2307 +▁deaf -13.2308 +▁letelica -13.2308 +▁deljenje -13.2309 +▁pozdravila -13.231 +javni -13.2311 +▁Operator -13.2314 +▁successes -13.2315 +▁Lajović -13.2316 +▁sportovima -13.2316 +▁razvijanju -13.2316 +▁Franz -13.2317 +▁Popust -13.2317 +▁zakonskog -13.2318 +▁živce -13.2318 +▁Muslimansk -13.2319 +▁savetuju -13.2319 +▁vilice -13.2319 +▁rešenju -13.2319 +folk -13.232 +▁Sinan -13.232 +living -13.2321 +▁arapskom -13.2321 +▁bodri -13.2322 +▁Gloss -13.2323 +▁državljanima -13.2323 +▁Appeal -13.2324 +rađivala -13.2324 +▁institucionalno -13.2326 +BIO -13.2326 +pašin -13.2327 +▁crevo -13.2328 +▁пла -13.2329 +▁sokove -13.2329 +▁Česti -13.233 +▁promijenili -13.233 +▁logistic -13.233 +▁buntovn -13.233 +▁šaran -13.233 +▁čitač -13.233 +VES -13.2332 +▁iskoristimo -13.2333 +▁spominj -13.2334 +117 -13.2334 +▁lopovi -13.2334 +▁retaining -13.2334 +▁Avramović -13.2335 +▁Gubitak -13.2335 +▁Preuzmite -13.2335 +▁doprinela -13.2335 +▁gazdinstava -13.2335 +▁kriptovalute -13.2335 +▁mjehur -13.2335 +▁olakšice -13.2335 +▁opekotina -13.2335 +▁opoziciono -13.2335 +▁Ivanišević -13.2335 +▁estetike -13.2335 +▁Belgian -13.2335 +▁kalorije -13.2335 +▁popravku -13.2335 +▁najtoplij -13.2335 +▁nepromenjen -13.2335 +▁Senegal -13.2335 +.11.2018 -13.2335 +▁saoseća -13.2335 +▁Regulatorn -13.2335 +▁nezaposlene -13.2335 +▁pleaded -13.2335 +▁Radosavljević -13.2335 +▁Arheološk -13.2335 +▁kajsije -13.2335 +▁peciva -13.2336 +▁korekcija -13.2336 +▁peptide -13.2336 +▁correspondent -13.2336 +▁izvuku -13.2336 +▁Debbie -13.2336 +▁prisiljava -13.2336 +▁rodbina -13.2336 +▁trajna -13.2336 +▁vatreni -13.2336 +▁Izrazi -13.2336 +▁NSRS -13.2336 +▁neospor -13.2336 +wikipedia -13.2336 +▁▪ -13.2337 +▁matchup -13.2337 +▁Primjerice -13.2337 +▁Handbook -13.2337 +▁Softić -13.2338 +▁нема -13.2339 +▁Bazen -13.2339 +▁✔ -13.2339 +▁skoli -13.234 +▁Kraljica -13.234 +▁640 -13.2341 +▁XIV -13.2341 +▁creepy -13.2341 +▁pear -13.2341 +STAL -13.2342 +▁kremom -13.2342 +▁apsorpciju -13.2342 +▁uzastopnih -13.2342 +▁GLU -13.2342 +▁Aidan -13.2344 +▁Ø -13.2344 +▁Whereas -13.2344 +▁wired -13.2345 +▁Pierce -13.2346 +▁(23) -13.2346 +▁Portable -13.2347 +▁Veruje -13.2347 +▁thereafter -13.2347 +December -13.2347 +firstname -13.2348 +▁deeds -13.2348 +▁Šev -13.2348 +avour -13.2348 +▁povork -13.235 +▁Novosadsko -13.235 +▁Beef -13.235 +▁građenje -13.235 +▁disagreement -13.2351 +▁sudnici -13.2352 +▁Kompletna -13.2353 +▁hotelski -13.2353 +▁Distrikt -13.2354 +▁Medžlis -13.2354 +▁bombarder -13.2354 +▁strasno -13.2355 +▁uvjerljivo -13.2355 +||21 -13.2356 +balkan -13.2356 +▁DLC -13.2356 +▁uneven -13.2356 +▁goodies -13.2357 +laznim -13.2359 +▁vladinih -13.2359 +▁novce -13.236 +▁objašnjeno -13.2361 +▁laboratoriju -13.2361 +ENG -13.2362 +tječu -13.2363 +▁speculate -13.2364 +▁imitacij -13.2365 +▁ponuđenih -13.2366 +▁rajčic -13.2366 +▁ravne -13.2368 +topite -13.2372 +▁postojeća -13.2372 +2-4 -13.2373 +▁gutter -13.2373 +OZA -13.2374 +▁255 -13.2374 +radnici -13.2376 +▁$17 -13.2376 +▁Goldman -13.2376 +▁potvrdite -13.2377 +▁Pravilnikom -13.2378 +▁cooker -13.2378 +▁Adil -13.2379 +▁brazilski -13.238 +▁bombardovan -13.238 +▁три -13.2382 +▁prenesen -13.2382 +▁kupanja -13.2383 +▁Cineplexx -13.2383 +▁Lancaster -13.2383 +▁MasterCard -13.2383 +▁corrosion -13.2383 +▁dictionary -13.2383 +▁elegance -13.2383 +▁posljedicu -13.2383 +▁potpredsednic -13.2383 +▁promovisati -13.2383 +▁regulativa -13.2383 +▁srebrnu -13.2383 +▁unpredictable -13.2383 +▁vatrogasni -13.2383 +▁chimney -13.2383 +▁comfy -13.2383 +▁pobeđuje -13.2383 +▁Deluxe -13.2383 +▁matematičar -13.2383 +▁tenant -13.2383 +▁upropasti -13.2383 +▁Službi -13.2383 +▁percipira -13.2383 +▁sadržavati -13.2383 +▁mašinski -13.2383 +▁inheritance -13.2384 +▁Rask -13.2384 +▁Poljsku -13.2384 +▁provoke -13.2384 +▁utvrđuju -13.2384 +▁Laptop -13.2384 +5-2 -13.2384 +▁Catalog -13.2384 +▁akustičn -13.2384 +▁zinc -13.2384 +▁izvrstan -13.2384 +▁nejednakosti -13.2384 +▁strujom -13.2384 +▁referenci -13.2384 +▁mirovina -13.2385 +▁velvet -13.2385 +▁prikaži -13.2385 +▁Informacija -13.2385 +▁Palanci -13.2386 +▁stripped -13.2386 +▁sirijske -13.2387 +▁suparnik -13.2387 +▁TREBA -13.2387 +▁Banatsk -13.2388 +▁punomoć -13.2389 +▁konzorcijum -13.2389 +▁daleki -13.2389 +гор -13.2389 +▁pristati -13.239 +▁Odžak -13.239 +▁Nacionalno -13.2391 +▁donirala -13.2391 +▁negativnu -13.2391 +▁završile -13.2392 +▁karakterizira -13.2392 +▁moc -13.2393 +▁podzemnih -13.2393 +▁blister -13.2393 +▁tvojih -13.2394 +▁prenošenja -13.2395 +gnijezd -13.2395 +bourne -13.2395 +▁Juliet -13.2395 +▁magija -13.2398 +▁vernici -13.2398 +▁Kipra -13.2399 +Mill -13.2399 +▁Kovin -13.2399 +▁nuklearnih -13.24 +▁tractor -13.24 +▁Normalno -13.2401 +▁brendiran -13.2402 +▁smesa -13.2404 +▁dužinom -13.2405 +▁neizmjern -13.2405 +▁Pacijent -13.2406 +▁konceptualn -13.2406 +novinarnica -13.2407 +▁tapping -13.2407 +▁Blaz -13.2408 +▁dopunjen -13.2408 +▁Lalić -13.2408 +▁brewing -13.2408 +▁Ustavno -13.241 +▁Ermin -13.241 +▁kreativnog -13.241 +▁Painting -13.2411 +▁Podržava -13.2411 +axis -13.2412 +▁Бр -13.2413 +▁daylight -13.2413 +▁Entrepreneur -13.2413 +▁obuhvatiti -13.2414 +franc -13.2414 +▁idealnu -13.2414 +▁determin -13.2416 +▁lijevoj -13.2417 +▁kreditima -13.2417 +▁šunk -13.2418 +▁nasilnik -13.2419 +▁pomišlja -13.2419 +Pack -13.2419 +ило -13.242 +010 -13.2421 +▁Savin -13.2423 +▁šerijatsk -13.2423 +ppel -13.2425 +▁prerasta -13.2425 +ñe -13.2426 +▁ostacima -13.2427 +božan -13.2427 +▁počinioci -13.2427 +▁Izgled -13.2428 +▁OPEN -13.2428 +▁silicon -13.2429 +deep -13.2429 +▁unositi -13.2429 +▁čvorova -13.2429 +▁karika -13.243 +vlašć -13.243 +▁Kočić -13.2431 +nvestigative -13.2432 +▁Bujanovac -13.2432 +▁EVERY -13.2432 +▁Mathematics -13.2432 +▁OGLASA -13.2432 +▁Savannah -13.2432 +▁amplifier -13.2432 +▁catalyst -13.2432 +▁currencies -13.2432 +▁gospođe -13.2432 +▁inaccurate -13.2432 +▁longevity -13.2432 +▁nelagodnost -13.2432 +▁povoljna -13.2432 +▁presidency -13.2432 +▁sarajevskoj -13.2432 +▁ustanovljavanj -13.2432 +▁Čubrilović -13.2432 +▁breskve -13.2432 +▁saobracaj -13.2432 +frekventn -13.2432 +▁Mystery -13.2432 +▁muskarac -13.2432 +▁papriku -13.2432 +nunciation -13.2432 +▁savetodavn -13.2432 +▁valutu -13.2432 +▁smetnji -13.2432 +▁odnedavno -13.2432 +▁pomogle -13.2432 +.05.2019 -13.2432 +.04.2021 -13.2432 +▁atraktivne -13.2432 +▁evroatlantsk -13.2432 +▁meštana -13.2432 +▁Magdalen -13.2432 +▁proteklim -13.2432 +▁multifunkcional -13.2432 +▁ishranom -13.2432 +▁disturbance -13.2432 +ongenital -13.2432 +▁remake -13.2433 +▁istrajava -13.2433 +▁cetvrt -13.2433 +▁FER -13.2433 +▁ponijeti -13.2433 +▁putokaz -13.2433 +▁EPCG -13.2433 +RTV -13.2433 +▁realizovao -13.2433 +▁bleach -13.2434 +▁Simboli -13.2434 +▁sixteen -13.2434 +▁veštački -13.2434 +▁protekao -13.2434 +▁Kraljevstvo -13.2434 +▁implicira -13.2434 +▁fulfillment -13.2434 +▁sparkling -13.2434 +▁Tuzlanskom -13.2434 +▁slatkiše -13.2434 +▁Bitef -13.2435 +▁Progressive -13.2435 +▁akademskog -13.2435 +▁Završil -13.2435 +rogan -13.2435 +▁livestock -13.2436 +vjetni -13.2436 +▁aktivnošću -13.2436 +▁Džekson -13.2436 +▁kapitalizam -13.2436 +▁Hydra -13.2436 +▁problematiku -13.2437 +▁Zlatar -13.2437 +▁prožet -13.2438 +▁polovnih -13.2439 +▁naseljava -13.2439 +▁očigledni -13.2439 +113 -13.244 +▁Odrasl -13.244 +RNK -13.2441 +▁karakterišu -13.2441 +▁skupovima -13.2442 +▁Mango -13.2442 +▁strance -13.2443 +▁lecturer -13.2443 +▁locking -13.2443 +▁Brazilac -13.2444 +▁lotion -13.2445 +▁upotrijebiti -13.2445 +menjen -13.2445 +РА -13.2446 +gonal -13.2446 +▁Kazna -13.2446 +▁Džejmi -13.2447 +zagađen -13.2447 +western -13.2447 +▁brendove -13.2447 +▁haunted -13.2447 +▁preventive -13.2447 +▁Strazburu -13.2448 +▁кућ -13.2448 +▁renoviranje -13.2448 +▁subscriber -13.2448 +▁workload -13.2448 +▁osloniti -13.2448 +▁ograničavaju -13.2449 +▁Leigh -13.2449 +▁prenesu -13.245 +▁promaši -13.2451 +▁ismijava -13.2451 +▁vijećnik -13.2451 +▁installer -13.2452 +▁premešta -13.2452 +▁Savsk -13.2453 +▁slojevima -13.2453 +▁mekš -13.2454 +▁brakova -13.2455 +▁minimalističk -13.2455 +▁službenu -13.2455 +▁Nanesite -13.2455 +▁poverio -13.2456 +▁glowing -13.2457 +krijte -13.2458 +nitary -13.2459 +▁porušen -13.2459 +▁oklijeva -13.2459 +▁duvansk -13.2462 +Godina -13.2463 +▁jointly -13.2465 +▁justification -13.2467 +AČI -13.2467 +▁postojeću -13.2467 +||28 -13.2468 +selio -13.2468 +▁Elliott -13.2468 +▁queer -13.2468 +▁nastojimo -13.2469 +▁Offering -13.247 +▁brez -13.247 +▁smeštajnih -13.2471 +▁pravedno -13.2471 +▁ocenama -13.2471 +вао -13.2471 +▁Ocjen -13.2471 +jevim -13.2472 +▁kostur -13.2472 +▁Dimitrov -13.2473 +smiley -13.2474 +▁pravedn -13.2475 +▁greši -13.2475 +жив -13.2476 +▁Agri -13.2476 +▁uphold -13.2477 +▁Discuss -13.2478 +385 -13.2479 +▁Bratunac -13.2481 +▁Chrysler -13.2481 +▁Krajišnik -13.2481 +▁PLEASE -13.2481 +▁Skandinav -13.2481 +▁Syracuse -13.2481 +▁UNHCR -13.2481 +▁ZAŠTO -13.2481 +▁consolidation -13.2481 +▁grožđe -13.2481 +▁karanfil -13.2481 +▁neovlašten -13.2481 +▁neuspešn -13.2481 +▁pandemiji -13.2481 +▁suprotstavljen -13.2481 +▁uznemiruju -13.2481 +▁walnut -13.2481 +▁Čukarički -13.2481 +▁Eparhij -13.2481 +▁Napokon -13.2481 +▁dunjaluk -13.2481 +▁ekstenzij -13.2481 +▁physiological -13.2481 +▁žrijeb -13.2481 +.02.2020 -13.2481 +▁основ -13.2481 +▁savrsen -13.2481 +▁Detective -13.2481 +.12.2018 -13.2481 +▁pohvala -13.2481 +▁Pharmacy -13.2481 +▁Trstenik -13.2481 +▁koordinaciji -13.2481 +▁Horoskop -13.2481 +▁(2003) -13.2481 +▁učitava -13.2481 +▁dragged -13.2481 +▁Nedeljni -13.2481 +ČAK -13.2481 +▁obratno -13.2481 +▁ćerkom -13.2482 +▁greškom -13.2482 +▁DRI -13.2482 +▁otkazivanje -13.2482 +▁posjetitelje -13.2482 +▁Harvest -13.2482 +▁energies -13.2482 +▁glamurozn -13.2482 +▁sintetički -13.2482 +▁donedavno -13.2483 +▁Pumpkin -13.2483 +▁disposition -13.2483 +leigh -13.2483 +▁Šimun -13.2484 +▁flea -13.2484 +ANTA -13.2485 +▁Aroma -13.2486 +▁scholarly -13.2486 +▁sugerisa -13.2486 +EVE -13.2487 +▁kockar -13.2487 +▁NEWS -13.2487 +▁cijenom -13.2488 +▁svinjsko -13.2488 +▁Tajip -13.2488 +▁Nijedna -13.2488 +▁zubar -13.2489 +▁Brighton -13.2489 +▁dobavljačima -13.2489 +▁Nude -13.249 +▁ponovila -13.2491 +▁NLP -13.2492 +▁informisanju -13.2492 +▁Rektor -13.2492 +▁Agile -13.2493 +▁remix -13.2494 +Instagram -13.2494 +▁reæi -13.2494 +Miss -13.2494 +letanje -13.2495 +graničnog -13.2495 +▁belešk -13.2495 +▁Maradon -13.2495 +▁projektovanja -13.2496 +▁Znanje -13.2496 +▁crab -13.2497 +without -13.2498 +▁Acad -13.2498 +▁prekršen -13.2499 +▁Phys -13.25 +▁ekstremitet -13.25 +▁Sadašnj -13.2501 +▁respiratorima -13.2501 +▁crep -13.2502 +▁izručenje -13.2502 +▁neprekidn -13.2502 +▁vrijednih -13.2502 +▁violinist -13.2502 +▁nekadašnjih -13.2503 +▁Shortly -13.2503 +▁remen -13.2503 +Poveća -13.2503 +Pun -13.2505 +▁speeches -13.2507 +▁liječiti -13.2508 +▁prihvatite -13.2509 +▁partnerskih -13.251 +▁fotografisanje -13.251 +мена -13.2511 +▁Najavi -13.2513 +▁osudila -13.2515 +▁anđeo -13.2516 +▁fucked -13.2517 +▁posvetili -13.2518 +forest -13.2518 +0-4 -13.2519 +мин -13.2519 +▁1944 -13.252 +▁calorie -13.2521 +▁čoko -13.2521 +CIMA -13.2521 +▁testiranih -13.2521 +▁apsorpci -13.2522 +▁над -13.2523 +▁Salmon -13.2524 +▁pretvaranje -13.2526 +▁strpljiv -13.2526 +▁1906 -13.2526 +дне -13.2527 +▁payable -13.2528 +▁finsk -13.2529 +▁uperen -13.2529 +מ -13.253 +▁Communities -13.253 +▁Inspector -13.253 +▁Panatinaikos -13.253 +▁breastfeeding -13.253 +▁engleske -13.253 +▁kovčeg -13.253 +▁primopredaj -13.253 +▁redemption -13.253 +▁unwilling -13.253 +▁Authentic -13.253 +▁empirical -13.253 +▁pilgrim -13.253 +▁sadržati -13.253 +▁uslugom -13.253 +▁miserable -13.253 +▁Argentinac -13.253 +▁reliance -13.253 +▁Proceedings -13.253 +▁dramaturg -13.253 +▁atraktivan -13.253 +▁jugozapadu -13.253 +▁određivanja -13.253 +▁Ekspert -13.253 +▁zabranjiva -13.253 +▁(2002) -13.253 +element -13.253 +▁Trophy -13.253 +▁arbitrary -13.2531 +▁puppet -13.2531 +▁conscience -13.2531 +▁iskrca -13.2531 +▁Gejts -13.2531 +▁Ljeto -13.2531 +7:30|| -13.2531 +▁škotsk -13.2531 +▁krpom -13.2531 +▁igračku -13.2532 +▁Fazlić -13.2532 +▁preopterećen -13.2532 +▁Maggie -13.2532 +▁logoraša -13.2532 +▁razmjera -13.2532 +▁kesice -13.2533 +▁proistek -13.2533 +▁KPJ -13.2534 +IVO -13.2534 +▁pripisuje -13.2534 +▁najjača -13.2534 +▁Bačkoj -13.2534 +▁OPIS -13.2534 +▁customization -13.2534 +▁$100,000 -13.2535 +▁fanatic -13.2535 +▁Klasičn -13.2535 +▁أَ -13.2536 +▁šaljiv -13.2537 +▁Vlašić -13.2537 +▁Slovensk -13.2538 +▁kardiolog -13.2538 +▁namjenu -13.2538 +▁Procena -13.2538 +▁izduvn -13.2538 +▁valjalo -13.2539 +▁kolektivne -13.2539 +▁prehrana -13.254 +▁električnog -13.2541 +▁sliči -13.2542 +▁trgovalo -13.2542 +▁pokazivao -13.2542 +▁žeđ -13.2542 +▁ditch -13.2543 +▁izazivanje -13.2544 +Dečj -13.2544 +▁čitanju -13.2544 +collect -13.2545 +▁bezveze -13.2545 +▁zabilježili -13.2545 +četiri -13.2545 +▁Hammer -13.2546 +EACH -13.2546 +▁formacije -13.2547 +▁takodjer -13.2547 +▁Fry -13.2547 +▁confronted -13.2547 +▁advertised -13.2547 +▁Kubi -13.2547 +▁popunite -13.2548 +▁Rider -13.2549 +▁Aleksandri -13.2549 +▁prikriven -13.255 +▁banjalučkog -13.255 +▁krik -13.2551 +phen -13.2551 +▁postaće -13.2551 +▁toplotni -13.2552 +javljivanje -13.2552 +▁izračunava -13.2554 +▁doktorske -13.2555 +▁oštećenog -13.2555 +▁izražavanje -13.2556 +▁proaktivn -13.2556 +▁Ве -13.2556 +▁agiln -13.2557 +hercegovačkih -13.2558 +▁tragični -13.2558 +▁lingvisti -13.2558 +▁tweeted -13.2559 +▁debljina -13.256 +ATIONS -13.2561 +▁flora -13.2562 +▁Giant -13.2562 +▁odvojite -13.2562 +▁ADD -13.2563 +▁organiziraju -13.2563 +▁Surčin -13.2563 +1-6 -13.2563 +DIS -13.2564 +stajanju -13.2565 +▁Luković -13.2565 +▁addict -13.2567 +▁mučenja -13.2567 +▁minimiz -13.2569 +▁Lovačk -13.2569 +feel -13.2569 +▁Umag -13.257 +▁maloletnik -13.2571 +▁secesij -13.2571 +▁blamed -13.2573 +Stratešk -13.2573 +▁sanction -13.2573 +▁variraju -13.2574 +▁Najpoznatiji -13.2574 +▁approximate -13.2574 +▁Rival -13.2575 +бли -13.2577 +▁privlačno -13.2577 +▁1:00 -13.2577 +▁nerešeno -13.2578 +chev -13.2579 +▁Posušje -13.2579 +▁percepcije -13.2579 +▁pogrešna -13.2579 +▁tjestenin -13.2579 +▁trepavice -13.2579 +▁Gimnazija -13.2579 +▁Resistance -13.2579 +▁Spectrum -13.2579 +▁Ugljevik -13.2579 +▁contaminated -13.2579 +▁dugotrajne -13.2579 +▁istakavši -13.2579 +▁najvjerojatnije -13.2579 +▁najčešća -13.2579 +▁nezaboravan -13.2579 +▁polumaraton -13.2579 +▁stimulating -13.2579 +▁maestral -13.2579 +▁noodles -13.2579 +▁pristojan -13.2579 +▁Obožava -13.2579 +▁fleke -13.2579 +▁Purpose -13.2579 +▁bespotrebn -13.2579 +▁Bathroom -13.2579 +▁Midnight -13.2579 +▁dopunjava -13.2579 +▁Palestinaca -13.2579 +▁aftermath -13.2579 +▁duhovna -13.2579 +▁concise -13.258 +▁Litvan -13.258 +▁osvete -13.258 +▁pucnjavi -13.258 +▁😀 -13.258 +▁poređa -13.2581 +▁outright -13.2581 +▁krzno -13.2582 +mmies -13.2582 +▁embarrassed -13.2582 +▁Kratak -13.2583 +▁dominantna -13.2583 +▁Controller -13.2584 +šavši -13.2585 +▁svrstan -13.2586 +▁podkast -13.2587 +▁Vetar -13.2587 +▁Privredna -13.2587 +▁Parties -13.2587 +▁zatvorsku -13.2588 +▁eruption -13.2588 +▁navedenu -13.2588 +▁crumble -13.2589 +najljepš -13.259 +▁Križev -13.259 +▁smislen -13.259 +▁žanrovsk -13.2592 +▁pokazan -13.2593 +children -13.2593 +▁održalo -13.2593 +▁Phillip -13.2593 +▁ustaša -13.2593 +▁tužna -13.2594 +▁diary -13.2595 +▁Vag -13.2596 +▁1918 -13.2597 +▁aggressively -13.2597 +▁časovi -13.2598 +▁vjerovanje -13.26 +spirit -13.26 +▁umjetničkog -13.26 +▁impart -13.26 +▁imperija -13.2601 +▁Makabi -13.2602 +▁spriječilo -13.2602 +▁Jednu -13.2602 +▁litru -13.2603 +▁cijev -13.2604 +▁1,500 -13.2604 +Off -13.2604 +▁одржа -13.2605 +▁izveštavanje -13.2607 +▁bakteri -13.2608 +▁rješavaju -13.2608 +▁Shade -13.2609 +crni -13.261 +▁predškolsko -13.2611 +▁Feeling -13.2611 +▁Prošlog -13.2612 +▁Zijad -13.2612 +▁poslanica -13.2613 +нији -13.2613 +▁kissed -13.2613 +▁uliva -13.2614 +▁luksuznih -13.2615 +▁suvereni -13.2616 +▁Privredni -13.2617 +prevoznik -13.2617 +▁Španci -13.2619 +▁RIA -13.2619 +▁sopstveno -13.2622 +▁rundu -13.2623 +▁nedeljnik -13.2623 +▁1943 -13.2623 +▁Transition -13.2623 +▁razigra -13.2623 +▁delić -13.2624 +▁Zabranjen -13.2625 +▁sigurniji -13.2625 +▁internally -13.2626 +▁šefova -13.2627 +вар -13.2627 +▁Avon -13.2628 +руч -13.2628 +▁meticulous -13.2628 +▁antioksidativn -13.2628 +▁diarrhea -13.2628 +▁reconciliation -13.2628 +▁scooter -13.2628 +▁wrinkles -13.2628 +▁Conversation -13.2628 +▁Nogometaši -13.2628 +▁extinguish -13.2628 +▁intenzivan -13.2628 +▁osoblju -13.2628 +▁trojicu -13.2628 +▁bezuslovn -13.2628 +▁relentless -13.2628 +▁hrabar -13.2628 +▁ležao -13.2628 +▁nickel -13.2628 +.05.2023 -13.2628 +▁impresivan -13.2628 +.06.2020 -13.2628 +▁iznenađuje -13.2629 +ију -13.2629 +▁ashamed -13.2629 +▁каже -13.2629 +▁avanturističk -13.2629 +▁prsluk -13.2629 +▁NAJBOLJIH -13.2629 +▁flert -13.2629 +▁čudne -13.2629 +▁Attach -13.2629 +▁Šabić -13.2629 +▁Vendor -13.2629 +▁libido -13.263 +▁firewall -13.263 +▁reklamacije -13.263 +▁Latvij -13.263 +▁kandidatkinja -13.263 +▁turneja -13.2631 +▁isteku -13.2631 +▁Održava -13.2631 +▁1903 -13.2632 +▁kilaž -13.2632 +▁mokro -13.2632 +▁Centri -13.2633 +▁vinarije -13.2633 +▁REZULTATA -13.2634 +▁Teddy -13.2634 +staff -13.2634 +▁neizvesnosti -13.2634 +▁confrontation -13.2634 +▁rađaju -13.2635 +▁7-8 -13.2636 +▁završnicu -13.2637 +sinhron -13.2637 +▁Napominjemo -13.2637 +▁Zatvoren -13.2637 +▁zaključuju -13.2637 +▁omotač -13.2637 +▁Admiral -13.2637 +▁Clement -13.2637 +OPE -13.2638 +▁pokušate -13.2638 +▁tegle -13.2638 +▁sponge -13.2639 +▁Seriji -13.264 +▁uklju -13.264 +▁8000 -13.264 +▁BITI -13.264 +▁Keller -13.2641 +▁probation -13.2641 +▁CENA -13.2641 +▁provjeren -13.2642 +▁prikazivati -13.2643 +▁pojačala -13.2643 +RAŽ -13.2643 +▁sixty -13.2643 +▁uzorke -13.2644 +▁hranitelj -13.2644 +>< -13.2644 +▁izloženosti -13.2645 +crveno -13.2645 +▁napise -13.2645 +drzati -13.2645 +▁pljuva -13.2647 +TIKA -13.2647 +▁Trap -13.2649 +pečat -13.2649 +▁9001 -13.265 +▁diplomatsko -13.265 +▁olimpijskih -13.265 +▁pripao -13.2651 +▁brodovima -13.2651 +▁DOBRO -13.2651 +▁Eph -13.2653 +▁Rear -13.2655 +▁1909 -13.2656 +ROVIĆ -13.2656 +linear -13.2658 +▁plantation -13.2658 +▁sakriva -13.2659 +▁GLAS -13.266 +▁moan -13.266 +▁zore -13.2661 +▁prikupiti -13.2663 +tested -13.2663 +▁zamrz -13.2664 +пер -13.2665 +▁Pitch -13.2668 +▁Moraš -13.2668 +▁izlaganju -13.2668 +▁vezom -13.2669 +▁Nikon -13.2669 +пор -13.267 +▁severne -13.267 +▁radujemo -13.267 +office -13.2671 +▁potrošili -13.2673 +▁Sirija -13.2673 +▁kratkoroč -13.2673 +▁naglog -13.2673 +▁CAM -13.2673 +▁granata -13.2677 +▁dosljedno -13.2678 +ğ -13.2678 +▁Frequently -13.2678 +▁Zimbabwe -13.2678 +▁astonishing -13.2678 +▁ceremonies -13.2678 +▁cjelinu -13.2678 +▁najzaslužnij -13.2678 +▁nedjeljom -13.2678 +▁čovečanstvo -13.2678 +▁Kompleks -13.2678 +▁fiksne -13.2678 +▁Emmanuel -13.2678 +▁industrijska -13.2678 +▁pšeničn -13.2678 +.05.2020 -13.2678 +▁olovke -13.2678 +▁sobnoj -13.2678 +.07.2022 -13.2678 +▁Crkvu -13.2678 +▁agresija -13.2678 +▁turneji -13.2678 +▁Balašević -13.2678 +▁WORK -13.2678 +▁zvjezda -13.2678 +▁sjemenke -13.2679 +▁(2017) -13.2679 +▁Omaha -13.2679 +▁Omiljen -13.2679 +▁Diesel -13.2679 +▁odjeljenje -13.2679 +▁fotelja -13.2679 +▁Živanović -13.2679 +▁informisati -13.2679 +▁Postavljanje -13.2679 +▁vakciniše -13.268 +▁decree -13.268 +mycin -13.268 +▁Centralnog -13.268 +▁rooftop -13.268 +▁Zagrebačke -13.2681 +▁hronično -13.2681 +dahnuo -13.2681 +▁Kolinda -13.2681 +▁Abbas -13.2682 +▁sarađujemo -13.2682 +▁Vegeta -13.2682 +▁manikir -13.2682 +▁Nurkić -13.2683 +▁razigran -13.2683 +▁Courtney -13.2683 +▁Izvini -13.2684 +▁vreća -13.2685 +▁Persian -13.2685 +▁Džemal -13.2685 +▁Је -13.2685 +▁očekivanog -13.2685 +▁Brock -13.2686 +▁repayment -13.2686 +▁Shre -13.2686 +▁choke -13.2687 +▁bald -13.2688 +▁concede -13.2689 +jevih -13.2689 +▁tread -13.2692 +▁Obilić -13.2692 +рет -13.2693 +▁TEH -13.2694 +▁igračice -13.2696 +▁slojem -13.2697 +▁uskladiti -13.2697 +▁Mićo -13.2697 +▁vrtićima -13.2698 +▁confession -13.2698 +▁empowered -13.2699 +▁rječnik -13.2699 +▁emiter -13.2699 +trčali -13.27 +▁Kliničk -13.27 +▁prošire -13.2701 +▁1905 -13.2701 +▁Centralnoj -13.2702 +▁Jew -13.2702 +▁Classes -13.2702 +voice -13.2703 +▁najatraktivnij -13.2703 +она -13.2704 +▁interpretacija -13.2704 +uvijek -13.2705 +▁Corona -13.2706 +▁zelenoj -13.2708 +▁Byron -13.2708 +▁koštac -13.2708 +▁raspoloživih -13.2709 +IČAR -13.2711 +obran -13.2711 +зор -13.2715 +▁snose -13.2715 +▁zaradila -13.2715 +tempora -13.2715 +godini -13.2715 +▁raspoređiva -13.2716 +▁skeptical -13.2716 +▁sjeverne -13.2717 +davala -13.2719 +potent -13.2719 +▁umirovljen -13.2719 +▁attendant -13.272 +▁ostvarilo -13.272 +▁Februar -13.2723 +▁Mudr -13.2724 +▁vaskularn -13.2725 +▁Kuva -13.2725 +▁quart -13.2727 +▁leaked -13.2727 +▁Freeman -13.2727 +▁razotkriva -13.2728 +▁Baldwin -13.2728 +▁Grbavici -13.2728 +▁Obrazovanje -13.2728 +▁Požarevca -13.2728 +▁Violence -13.2728 +▁accreditation -13.2728 +▁arhitekata -13.2728 +▁detergent -13.2728 +▁djetinjstvo -13.2728 +▁dugometražn -13.2728 +▁edukativne -13.2728 +▁knjigovodstven -13.2728 +▁literaturu -13.2728 +▁najzanimljivije -13.2728 +▁neposredne -13.2728 +▁posjećen -13.2728 +▁spokeswoman -13.2728 +▁terapijom -13.2728 +▁obramben -13.2728 +▁буде -13.2728 +▁Hjuston -13.2728 +▁Bentley -13.2728 +▁neprimeren -13.2728 +.07.2021 -13.2728 +▁pritisku -13.2728 +▁SISTEM -13.2728 +▁kozmetičke -13.2728 +▁ZEMLJ -13.2728 +▁butterfly -13.2728 +▁magistralnog -13.2728 +▁svrsi -13.2728 +▁psychic -13.2728 +▁Unutra -13.2729 +▁јавн -13.2729 +▁čudna -13.2729 +▁Pjevačica -13.2729 +▁Šapić -13.2729 +▁klasičnu -13.2729 +▁semenki -13.2729 +▁Rotary -13.273 +▁astrološk -13.273 +▁Advice -13.2732 +▁normama -13.2732 +▁hp -13.2732 +▁nazire -13.2733 +▁Murder -13.2733 +▁‒ -13.2733 +▁purity -13.2733 +▁misuse -13.2734 +▁ekstremnim -13.2736 +▁Javnost -13.2736 +▁Nepoznat -13.2736 +▁obući -13.2737 +ranked -13.2737 +ман -13.2738 +▁drugarice -13.2739 +▁handset -13.274 +▁složenih -13.274 +▁Рад -13.274 +▁ovogodišnja -13.2741 +▁пар -13.2741 +Standard -13.2742 +▁Navedeni -13.2742 +subscribe -13.2743 +▁advert -13.2743 +▁condemned -13.2743 +▁Ciljevi -13.2744 +▁otkrilo -13.2744 +▁dižu -13.2744 +▁negotiated -13.2744 +▁slatkog -13.2745 +▁flank -13.2745 +živanje -13.2746 +▁grudn -13.2746 +▁Ljubiš -13.2746 +▁Univerzitetsko -13.2747 +▁važnija -13.2747 +▁Hemijsk -13.2749 +▁renal -13.275 +▁Selling -13.2752 +▁/> -13.2753 +Gasprom -13.2753 +ifikaciju -13.2757 +▁Austrian -13.2759 +▁Manji -13.276 +▁McL -13.276 +▁saznaj -13.276 +▁ogranicen -13.276 +▁Oblik -13.276 +▁Albancima -13.2761 +▁expressly -13.2761 +▁poslušati -13.2761 +▁obuhvat -13.2762 +▁opravdanja -13.2762 +▁razrađen -13.2763 +▁Ба -13.2764 +▁Rally -13.2764 +▁fundamentally -13.2764 +▁unutrasnj -13.2765 +▁kolagen -13.2767 +▁uloženi -13.2768 +▁Macro -13.2769 +▁podzemni -13.2769 +oscopic -13.277 +▁buff -13.277 +America -13.277 +▁Scheme -13.2772 +▁petlja -13.2772 +▁opravdanost -13.2772 +▁organizovanju -13.2775 +▁3500 -13.2775 +nheim -13.2775 +▁torch -13.2776 +▁dostavili -13.2778 +▁očajnički -13.2778 +▁Bangalore -13.2778 +▁Kickstarter -13.2778 +▁Mitropolit -13.2778 +▁SADRŽAJ -13.2778 +▁continuation -13.2778 +▁cucumber -13.2778 +▁dugotrajan -13.2778 +▁inspiriše -13.2778 +▁izvješća -13.2778 +▁keramike -13.2778 +▁mehanizacije -13.2778 +▁poluostrva -13.2778 +▁trgovinom -13.2778 +▁unsuccessful -13.2778 +▁uzastopna -13.2778 +▁đubrivo -13.2778 +▁Zvanično -13.2778 +▁svojevrstan -13.2778 +▁орган -13.2778 +▁bamboo -13.2778 +▁fiskaliz -13.2778 +▁početnoj -13.2778 +▁devastiran -13.2778 +▁kašnjenje -13.2778 +▁neodrživ -13.2778 +▁ruzmarin -13.2778 +▁|12:5 -13.2778 +▁Opinion -13.2778 +▁Elmedin -13.2778 +▁Град -13.2778 +▁Krishna -13.2779 +▁Zeljković -13.2779 +▁Camil -13.2779 +▁pjesničk -13.2779 +▁makadam -13.2779 +▁indijske -13.2779 +▁coarse -13.2779 +▁kasarne -13.2779 +▁sutrašnjeg -13.2779 +▁NAROD -13.2779 +▁vjerska -13.2779 +▁adaptaciju -13.278 +▁Marketplace -13.278 +▁spinach -13.278 +▁Ishrana -13.278 +▁detektor -13.278 +▁unsafe -13.2781 +▁Odjednom -13.2782 +▁zahvaljuje -13.2782 +▁toplih -13.2783 +▁4:00 -13.2783 +▁indirectly -13.2785 +▁pobunjenika -13.2785 +▁Plaža -13.2785 +▁nalepnic -13.2785 +▁odustaju -13.2786 +physiology -13.2786 +vodjenje -13.2786 +▁probable -13.2786 +prosvje -13.2787 +▁Swing -13.2788 +visan -13.2788 +▁northwest -13.2789 +▁poneti -13.2789 +▁Zanimljivosti -13.279 +▁Archived -13.2792 +▁CES -13.2793 +▁Dončić -13.2793 +provocira -13.2793 +▁neprijatnosti -13.2793 +TERA -13.2793 +▁užitk -13.2793 +▁dvd -13.2794 +▁3,3 -13.2795 +▁altar -13.2795 +appear -13.2795 +▁Božiji -13.2795 +▁magije -13.2795 +▁punished -13.2795 +▁Serum -13.2795 +irajuće -13.2797 +▁procijeniti -13.2797 +Petar -13.2797 +▁primjerak -13.2797 +▁umjetničkih -13.2797 +▁popriča -13.2799 +▁Drina -13.2799 +▁Koch -13.2799 +▁republičkog -13.2799 +▁Twist -13.28 +▁podsjetimo -13.2801 +▁CIO -13.2802 +▁Ljubica -13.2802 +▁kamil -13.2802 +▁β -13.2803 +▁MAP -13.2804 +obični -13.2804 +▁nižih -13.2805 +▁cjelokupnog -13.2805 +▁Mislite -13.2806 +▁lessen -13.2806 +▁teškoća -13.2807 +▁Komentarišu -13.2808 +▁hoop -13.2809 +▁zalihama -13.281 +horse -13.2811 +Hop -13.2811 +▁projektor -13.2812 +▁pozadina -13.2812 +▁Tomislavgrad -13.2812 +▁kiši -13.2812 +Other -13.2813 +▁autobusima -13.2815 +▁Punk -13.2816 +▁Korn -13.2816 +▁Tibet -13.2816 +uleme -13.2817 +konferen -13.2818 +▁mafijašk -13.2818 +NSA -13.2819 +▁occupational -13.2819 +▁poticanje -13.282 +---------- -13.2822 +KOJA -13.2822 +▁koncern -13.2822 +▁Dermato -13.2822 +▁izloženost -13.2822 +▁sacuva -13.2822 +▁naporan -13.2822 +▁insistiranje -13.2823 +▁BAL -13.2824 +▁Petrić -13.2824 +▁err -13.2826 +POZNAT -13.2826 +TEK -13.2827 +DIĆ -13.2827 +▁središnji -13.2827 +▁Pjer -13.2828 +κ -13.2829 +і -13.2829 +▁Dalmacija -13.2829 +▁disposable -13.2829 +▁enacted -13.2829 +▁messenger -13.2829 +▁mosquito -13.2829 +▁opservatorij -13.2829 +▁potpomognut -13.2829 +▁prehrambeno -13.2829 +▁ultimatum -13.2829 +▁volatility -13.2829 +▁Cosmetic -13.2829 +▁instrukcija -13.2829 +▁trejler -13.2829 +▁diskusiji -13.2829 +▁kazavši -13.2829 +▁Snapchat -13.2829 +▁Zbornik -13.2829 +▁theatrical -13.2829 +▁cjepivo -13.2829 +▁Sofije -13.2829 +▁kolumnist -13.2829 +▁Zverev -13.2829 +▁Kaknja -13.2829 +▁iskušenje -13.2829 +▁najstrož -13.2829 +▁invaziju -13.2829 +▁takozvana -13.2829 +▁numerical -13.2829 +▁HOTEL -13.2829 +▁Stožer -13.2829 +▁fluffy -13.2829 +▁repeal -13.2829 +▁groznica -13.2829 +▁Himself -13.2829 +▁suficit -13.2829 +▁solidarity -13.2829 +▁burglar -13.2829 +▁četkica -13.2829 +▁propratn -13.2829 +▁whiskey -13.2829 +▁dopunu -13.283 +▁Proleter -13.283 +▁garantovati -13.283 +▁Potrudi -13.283 +▁interchange -13.283 +▁bridal -13.283 +▁Dixon -13.283 +▁umjetnička -13.283 +▁Povod -13.283 +▁vatreno -13.283 +mercedes -13.283 +▁pivotal -13.283 +▁prenoći -13.2831 +▁tumačiti -13.2832 +▁skincare -13.2832 +▁PARK -13.2832 +ethylene -13.2833 +▁makroekonomsk -13.2833 +▁Jenner -13.2833 +▁pretraživanja -13.2833 +▁neslužben -13.2834 +▁adeno -13.2834 +▁chess -13.2835 +▁srebreničk -13.2835 +▁udvara -13.2835 +▁najuspešnijih -13.2837 +▁tuširanje -13.2837 +▁dissolved -13.2837 +▁zapoved -13.2837 +950 -13.2838 +▁izvoznik -13.2838 +RUŠ -13.2838 +▁neuobičajen -13.2838 +▁manevar -13.2838 +▁revolve -13.2838 +▁Nadzorni -13.284 +иста -13.284 +▁miriše -13.2841 +▁tiraž -13.2841 +▁Novakov -13.2841 +▁fox -13.2842 +▁bomber -13.2842 +lascima -13.2842 +▁adaptive -13.2843 +▁Changing -13.2844 +cellular -13.2844 +Search -13.2845 +▁artiljerijsk -13.2845 +▁renomiranih -13.2845 +▁neglected -13.2846 +▁против -13.2847 +▁Završni -13.2847 +Noć -13.2848 +▁udesa -13.2848 +▁exile -13.2848 +▁BAT -13.2848 +respond -13.2849 +▁okrenuli -13.285 +▁Deluje -13.285 +▁Monaco -13.285 +▁Script -13.2851 +Angel -13.2851 +oscopy -13.2852 +▁vjenčanje -13.2853 +▁skočila -13.2854 +Temp -13.2854 +▁slider -13.2854 +ице -13.2855 +Today -13.2856 +▁afterward -13.2857 +▁stained -13.2858 +▁vitalnog -13.286 +▁spoznaja -13.2861 +▁njezinih -13.2861 +114 -13.2862 +вр -13.2862 +▁5-7 -13.2862 +▁organsko -13.2864 +▁Include -13.2864 +short -13.2865 +Run -13.2866 +▁08:00 -13.2867 +▁pozadinsk -13.2867 +▁travi -13.2867 +▁sagorevanje -13.2874 +▁molecule -13.2874 +duty -13.2874 +▁ово -13.2877 +мјер -13.2877 +▁razvijenih -13.2878 +sluškiva -13.2878 +99,00 -13.2878 +▁Selim -13.2878 +▁parlamentarni -13.2879 +▁pank -13.2879 +▁Artificial -13.288 +▁Direkcija -13.288 +▁OBAVEZ -13.288 +▁ODMAH -13.288 +▁Survivor -13.288 +▁briljantn -13.288 +▁destinaciji -13.288 +▁diabetic -13.288 +▁gimnaziji -13.288 +▁građevinska -13.288 +▁intrinsic -13.288 +▁kvantitativn -13.288 +▁neobjašnjiv -13.288 +▁recurring -13.288 +▁Scroll -13.288 +▁Thrones -13.288 +▁Disaster -13.288 +▁predomisli -13.288 +▁Rewards -13.288 +▁Voyage -13.288 +▁Component -13.288 +▁peder -13.288 +▁Alonso -13.288 +▁(2001) -13.288 +▁scarf -13.288 +▁osetila -13.288 +▁NAČIN -13.288 +▁pokrivenost -13.2881 +▁Dževad -13.2881 +▁generisan -13.2881 +▁poznavanja -13.2881 +▁kasnijim -13.2881 +▁Authorities -13.2881 +▁nekakvu -13.2881 +▁anemije -13.2882 +▁ploc -13.2882 +pisala -13.2882 +▁olakšan -13.2882 +▁žurb -13.2883 +▁TCP -13.2883 +▁snapped -13.2883 +▁bojazan -13.2884 +▁parničn -13.2885 +▁Charity -13.2885 +▁Pricing -13.2885 +▁Ostrvo -13.2885 +▁gustoć -13.2886 +▁nausea -13.2886 +▁privlačenje -13.2886 +▁svetinja -13.2887 +▁safari -13.2887 +phobic -13.2888 +viral -13.2888 +▁Postani -13.2888 +▁fudbalsku -13.2889 +▁reprint -13.2889 +▁BRU -13.289 +▁Gust -13.289 +▁DOT -13.289 +should -13.2895 +▁Rack -13.2895 +▁podesiti -13.2896 +NjA -13.2896 +▁imejl -13.2897 +▁naneti -13.2897 +Talk -13.2898 +▁miješanje -13.2898 +▁radoznalost -13.2898 +▁hranjenje -13.2899 +▁svakodnevna -13.2899 +цион -13.2899 +▁interrupted -13.29 +▁poreskog -13.2901 +▁Trudim -13.2901 +▁dodacima -13.2902 +▁Prikazan -13.2902 +▁succession -13.2902 +▁ničeg -13.2904 +▁Kurtija -13.2904 +▁kupovali -13.2906 +▁kožnih -13.2907 +▁nacionalistički -13.2908 +▁kokosovo -13.2909 +▁popodnevn -13.2909 +▁bombardovanje -13.291 +▁drukčij -13.291 +▁prilagođavaju -13.291 +4.4 -13.2913 +▁barbar -13.2913 +running -13.2914 +čićev -13.2914 +▁privileged -13.2914 +ČAJ -13.2916 +▁proslaviti -13.2917 +▁dodirnu -13.2919 +▁Bajin -13.2919 +RUČ -13.2921 +▁praznih -13.2921 +mjenjuje -13.2921 +lazne -13.2922 +▁LAV -13.2922 +▁legendarno -13.2923 +▁Alkohol -13.2924 +▁senf -13.2924 +▁noćnom -13.2924 +kazivanju -13.2925 +▁investigator -13.2926 +▁unosite -13.2926 +▁igrački -13.2926 +▁posusta -13.293 +η -13.2931 +ذ -13.2931 +▁Društvene -13.2931 +▁Kategorije -13.2931 +▁Legislature -13.2931 +▁ambasadi -13.2931 +▁eparhij -13.2931 +▁fantastike -13.2931 +▁karakterističan -13.2931 +▁leopard -13.2931 +▁nadogradnje -13.2931 +▁najoštrije -13.2931 +▁orijentacija -13.2931 +▁pričvršćen -13.2931 +▁rukovodstvu -13.2931 +▁ujedinjenja -13.2931 +▁volatile -13.2931 +▁exposing -13.2931 +▁kašikom -13.2931 +▁ordinacije -13.2931 +▁prolećno -13.2931 +▁tragediju -13.2931 +▁Alternativn -13.2931 +▁Režija -13.2931 +▁Umjetničk -13.2931 +▁reviziji -13.2931 +▁neodlučn -13.2931 +▁uskršnj -13.2931 +▁biskvit -13.2931 +▁sastojka -13.2931 +▁Prognoz -13.2931 +▁biscuit -13.2931 +▁prigušen -13.2931 +▁kompilacij -13.2931 +▁polyester -13.2931 +▁zanemaren -13.2931 +▁Anđelković -13.2931 +▁maternal -13.2931 +▁unemployed -13.2931 +meštanje -13.2932 +braćajući -13.2932 +▁komandova -13.2932 +▁foolish -13.2932 +▁insekticid -13.2932 +▁Šarčević -13.2932 +▁Katrina -13.2932 +▁peticiju -13.2932 +▁deduct -13.2932 +▁knitting -13.2932 +▁Spartan -13.2932 +▁poslijeratn -13.2932 +▁harmless -13.2933 +▁izdanjima -13.2933 +▁mađarske -13.2933 +▁PRAVI -13.2933 +▁Despotov -13.2933 +▁pojedincu -13.2934 +▁japanskog -13.2934 +▁čestitki -13.2934 +▁griješi -13.2935 +▁zglobove -13.2935 +▁Handle -13.2935 +▁barokn -13.2936 +prvo -13.2936 +▁Odabran -13.2937 +▁temeljne -13.2937 +▁magično -13.2937 +▁registruju -13.2938 +▁45% -13.2938 +gađanje -13.2938 +▁Džulij -13.2938 +plastik -13.2938 +▁Tucker -13.2939 +▁outsourcing -13.2939 +▁boluju -13.294 +▁penje -13.294 +▁popustima -13.294 +▁survivor -13.294 +basic -13.294 +▁motto -13.294 +▁showroom -13.2941 +▁Tomović -13.2941 +▁punoljetn -13.2941 +▁BANK -13.2941 +сту -13.2943 +▁Hulk -13.2944 +novic -13.2945 +▁kamatnih -13.2945 +▁skrivenih -13.2946 +Mladost -13.2946 +▁Те -13.2947 +▁saborsk -13.2947 +stupanja -13.2948 +▁printable -13.2948 +▁Roller -13.2949 +Čarobn -13.2949 +Frank -13.2949 +▁Tibetan -13.2949 +mrzavanje -13.295 +Onda -13.295 +▁besmrtn -13.295 +▁Vladislav -13.2951 +▁tanker -13.2953 +▁odelo -13.2954 +▁erotic -13.2954 +0-6 -13.2955 +floor -13.2955 +hydro -13.2955 +080 -13.2956 +▁panoramsk -13.2958 +▁potrudite -13.2958 +▁tumble -13.2958 +▁7000 -13.2959 +Istraži -13.2961 +▁Popularna -13.2961 +small -13.2962 +▁7:5 -13.2965 +▁orijentiran -13.2966 +▁Sremski -13.2967 +▁unaprediti -13.2968 +▁smišlja -13.2968 +▁Esad -13.2969 +▁tekućeg -13.2969 +Ћ -13.2969 +LOVI -13.2969 +▁Tender -13.297 +▁Kraljev -13.2971 +▁večernji -13.2972 +▁raskr -13.2972 +▁utvr -13.2973 +encia -13.2974 +milion -13.2974 +▁Džef -13.2974 +▁srebren -13.2977 +▁circumstance -13.2977 +▁mortal -13.2979 +▁план -13.298 +▁Exhibit -13.298 +▁(22) -13.298 +▁udarila -13.2981 +▁puž -13.2981 +ѕ -13.2982 +▁Antarctic -13.2982 +▁Instructor -13.2982 +▁LONDON -13.2982 +▁Mitropolij -13.2982 +▁extremist -13.2982 +▁hierarchy -13.2982 +▁kozmetika -13.2982 +▁najdraže -13.2982 +▁prouzrokovati -13.2982 +▁sposobne -13.2982 +▁usklađivanja -13.2982 +▁Džennet -13.2982 +▁Englesku -13.2982 +▁Vineyard -13.2982 +▁aluminium -13.2982 +▁reagovanje -13.2982 +▁Smanjuje -13.2982 +▁moisturize -13.2982 +▁Qualcomm -13.2982 +▁strawberries -13.2982 +▁certificiran -13.2982 +▁Predsjedništvu -13.2982 +▁grupnu -13.2982 +▁zimska -13.2982 +▁puppies -13.2982 +▁predjelu -13.2982 +▁pronalazak -13.2982 +▁obrascu -13.2982 +▁poslastičar -13.2982 +▁scaling -13.2982 +▁Landscape -13.2982 +▁misionar -13.2982 +▁Printscreen -13.2982 +▁nametnuo -13.2983 +▁Muška -13.2983 +▁Separate -13.2983 +▁uslijedilo -13.2983 +▁Apel -13.2983 +ARCH -13.2983 +▁defective -13.2983 +▁popcorn -13.2983 +▁Perkins -13.2983 +▁royalty -13.2984 +▁dissent -13.2984 +▁skolu -13.2984 +▁Louisville -13.2984 +▁Operacija -13.2984 +Only -13.2984 +▁vault -13.2985 +▁Bakić -13.2985 +▁Pojam -13.2985 +▁EUFOR -13.2985 +copy -13.2985 +▁Opozicija -13.2987 +▁effortlessly -13.2987 +▁predškolske -13.2987 +▁Stvaranje -13.2987 +▁promešajte -13.2987 +▁quant -13.2987 +▁masnim -13.2987 +▁unused -13.2987 +▁provedbi -13.2988 +▁izostavi -13.2988 +▁duhovnosti -13.2988 +▁drami -13.2989 +▁izoliran -13.2989 +▁sjećanju -13.2989 +▁batting -13.2989 +▁prioritetima -13.299 +▁etapa -13.299 +▁dogledno -13.299 +960 -13.299 +▁nozzle -13.2991 +▁kartici -13.2992 +▁XXX -13.2993 +▁pojavljivanja -13.2993 +▁odrastanja -13.2994 +▁FIL -13.2995 +▁Promise -13.2995 +▁possesses -13.2995 +▁uručili -13.2997 +▁hladnu -13.2997 +inflammatory -13.2998 +November -13.2998 +Ljubav -13.2998 +Pacific -13.2998 +different -13.2998 +▁kliničkog -13.2998 +▁Obitelj -13.2999 +▁radošću -13.2999 +▁Killer -13.2999 +▁manevr -13.3 +▁volonterski -13.3 +▁priredili -13.3001 +Nacional -13.3001 +▁pristupili -13.3002 +Music -13.3002 +▁protestuju -13.3004 +▁otkloniti -13.3004 +▁hath -13.3005 +▁Homeland -13.3005 +1.9 -13.3005 +trčala -13.3005 +Alfons -13.3005 +vjekovn -13.3005 +komunikativn -13.3005 +Two -13.3006 +▁potpisale -13.3006 +▁verskih -13.3007 +▁рук -13.3009 +dizel -13.3009 +▁obrazuju -13.301 +doctoral -13.3011 +▁skeniranje -13.3011 +▁Medicinskom -13.3011 +▁istrajn -13.3011 +▁obilježila -13.3013 +▁glazbenik -13.3013 +▁prikupili -13.3016 +680 -13.3018 +▁thicker -13.3018 +critical -13.3019 +▁2-4 -13.302 +▁Ćirić -13.3021 +▁Dalas -13.3021 +▁Carry -13.3022 +▁Grob -13.3023 +▁accuse -13.3024 +▁Fail -13.3025 +7.8 -13.3025 +▁isolate -13.3025 +▁pripravnik -13.3027 +▁istaknutih -13.3028 +ALNO -13.3029 +▁оно -13.3032 +▁Karlovac -13.3032 +Osim -13.3032 +▁Celebration -13.3033 +▁Facilities -13.3033 +▁Izabranici -13.3033 +▁Mještani -13.3033 +▁Opportunities -13.3033 +▁Sigurna -13.3033 +▁Symptoms -13.3033 +▁Vjekoslav -13.3033 +▁distancu -13.3033 +▁ejakulacij -13.3033 +▁incumbent -13.3033 +▁longitudinal -13.3033 +▁pneumatik -13.3033 +▁posjećuju -13.3033 +▁stimulativn -13.3033 +nterdisciplinary -13.3034 +▁Rihanna -13.3034 +▁impaired -13.3034 +▁milijarda -13.3034 +▁najnoviju -13.3034 +▁šifru -13.3034 +▁konstruisan -13.3034 +▁Jutarnje -13.3034 +▁industrijskog -13.3034 +▁allergy -13.3034 +.08.2022 -13.3034 +▁Irfan -13.3034 +▁الْ -13.3034 +▁čačansk -13.3034 +▁Blažević -13.3034 +▁whipped -13.3034 +▁reckless -13.3034 +▁für -13.3034 +▁primedbe -13.3034 +▁interventn -13.3034 +▁sertifikacij -13.3034 +▁naopako -13.3034 +▁Monument -13.3034 +▁pudding -13.3035 +PHOTO -13.3035 +hercegovačka -13.3035 +▁Premiership -13.3035 +▁nebesa -13.3035 +▁Predložen -13.3035 +Color -13.3036 +▁okruz -13.3036 +▁caravan -13.3036 +▁delegira -13.3036 +▁Exhibition -13.3036 +▁bronhitis -13.3036 +▁regression -13.3037 +▁Preheat -13.3037 +▁slick -13.3037 +▁zavjere -13.3037 +▁GTX -13.3037 +dovoljno -13.3038 +▁Riverside -13.3038 +▁Proglašen -13.3038 +▁Meadow -13.3039 +▁periodically -13.304 +град -13.304 +▁agenata -13.3041 +▁ublažavanju -13.3041 +▁★ -13.3041 +▁slid -13.3041 +▁Nikako -13.3041 +▁Hunger -13.3042 +▁Štab -13.3042 +▁nezamislivo -13.3043 +University -13.3043 +▁premazati -13.3043 +▁SKUP -13.3043 +▁emitovanja -13.3044 +▁Arbor -13.3045 +killer -13.3046 +VIS -13.3046 +▁obilježavanju -13.3046 +▁glumicu -13.3046 +▁Jol -13.3047 +▁sreći -13.3047 +naestogodišnja -13.3047 +▁Protestant -13.3048 +relevant -13.3049 +Smatram -13.3049 +▁daruje -13.305 +najbolje -13.305 +contract -13.3051 +▁JSO -13.3052 +▁Photograph -13.3053 +▁delve -13.3053 +▁Birch -13.3053 +▁izbacila -13.3053 +throp -13.3054 +▁Backup -13.3054 +▁slali -13.3054 +лас -13.3055 +▁blaži -13.3055 +▁razgledanje -13.3055 +▁Developing -13.3055 +▁poželite -13.3057 +▁vrhova -13.3057 +▁Xiao -13.3058 +4,5 -13.3059 +▁marž -13.3059 +▁taxation -13.306 +▁knjižnica -13.306 +▁tretiranje -13.3062 +▁politicki -13.3062 +▁smernica -13.3064 +▁poetic -13.3064 +▁revije -13.3064 +▁ostvarenih -13.3065 +▁Dizajner -13.3065 +▁ustavnog -13.3065 +aspx -13.3066 +▁Collective -13.3067 +▁računarima -13.3068 +▁cleanup -13.307 +▁brighten -13.3072 +▁Alep -13.3073 +▁sklanja -13.3073 +▁povratničk -13.3074 +▁slučajnost -13.3074 +▁flooded -13.3075 +▁Cannes -13.3075 +▁neverovatni -13.3075 +▁restraint -13.3075 +▁bribe -13.3077 +▁vinove -13.3077 +ummy -13.308 +▁пи -13.308 +860 -13.3081 +▁obrnut -13.3082 +▁Quint -13.3082 +▁loosen -13.3083 +▁Monk -13.3084 +▁Dominic -13.3084 +▁gradivo -13.3084 +▁Epidemiolog -13.3085 +▁Guatemala -13.3085 +▁Veterinarsk -13.3085 +▁cifru -13.3085 +▁eksploataciju -13.3085 +▁entuzijasti -13.3085 +▁objavom -13.3085 +▁otputovao -13.3085 +▁ponajprije -13.3085 +▁prečišćavanje -13.3085 +▁rafinerij -13.3085 +▁vatrogasno -13.3085 +▁Phantom -13.3085 +▁duhovnu -13.3085 +▁novoizgrađen -13.3085 +▁senzualn -13.3085 +▁ujedinjenje -13.3085 +Budimpešta -13.3085 +▁applaud -13.3085 +▁ambient -13.3085 +▁pustolov -13.3085 +▁uporabu -13.3085 +▁oružju -13.3085 +▁Witness -13.3085 +▁tisuću -13.3085 +.07.2020 -13.3085 +▁krupne -13.3085 +ordinarily -13.3085 +.01.2018 -13.3085 +▁Žabljak -13.3085 +▁Oštećen -13.3086 +ева -13.3086 +▁Subscription -13.3086 +▁špijunsk -13.3086 +▁franaka -13.3086 +▁športsk -13.3086 +▁Essex -13.3086 +▁Vodeći -13.3086 +▁kanti -13.3086 +▁spavaćoj -13.3086 +▁gracious -13.3086 +▁osnuje -13.3086 +▁telegram -13.3086 +▁Maximum -13.3086 +▁flawed -13.3086 +▁Classification -13.3086 +▁shutdown -13.3087 +▁Svetislav -13.3087 +▁veleprodaj -13.3087 +▁zamisao -13.3087 +▁ispravljeni -13.3087 +▁napredovala -13.3087 +▁identično -13.3088 +▁Prescription -13.3088 +▁respondent -13.3088 +▁firmware -13.3088 +▁даље -13.3088 +▁Usput -13.3089 +▁teorijsko -13.3089 +▁koplja -13.3089 +▁distortion -13.309 +▁counterpart -13.309 +▁skillet -13.3091 +▁Emirata -13.3091 +▁dijeti -13.3091 +▁ometaju -13.3091 +0–1 -13.3092 +▁Digest -13.3092 +▁Prihod -13.3092 +lepljen -13.3093 +▁drummer -13.3093 +▁transmitter -13.3093 +▁30-40 -13.3093 +▁držan -13.3093 +▁представ -13.3095 +▁FEST -13.3098 +▁zrnaca -13.3098 +LIJA -13.3098 +▁Nordic -13.3098 +▁inflict -13.3098 +▁prevag -13.3099 +▁uredbe -13.31 +threatening -13.3101 +Х -13.3101 +▁općeg -13.3102 +krevet -13.3102 +▁Došli -13.3102 +▁Matičn -13.3104 +▁historičar -13.3104 +▁strahove -13.3104 +▁trgovinskih -13.3105 +▁niškog -13.3105 +▁ljetnih -13.3106 +▁trovanje -13.3106 +▁Živojinović -13.3106 +▁Trojan -13.3107 +▁Europsk -13.3108 +▁continental -13.3109 +governmental -13.3109 +▁Misije -13.3109 +needed -13.3109 +▁istražitelj -13.311 +▁OBJAV -13.3111 +▁elitno -13.3112 +▁saniran -13.3113 +▁Topic -13.3114 +▁Dirk -13.3114 +▁izbjegavanje -13.3114 +▁građenja -13.3115 +▁eventualnih -13.3115 +KEY -13.3115 +klik -13.3115 +▁MOST -13.3115 +▁Geek -13.3116 +▁Stern -13.3116 +▁dužno -13.3117 +▁Consult -13.3117 +0-5 -13.3118 +▁prisoner -13.3118 +▁repay -13.312 +▁AWS -13.312 +HER -13.3122 +▁uspele -13.3122 +▁aktiviranje -13.3123 +▁mainland -13.3124 +▁Nušić -13.3125 +▁digitalnoj -13.3126 +▁possessed -13.3127 +▁verski -13.3127 +▁elevate -13.3127 +▁informacioni -13.3128 +kazivao -13.3128 +▁instinkt -13.3129 +jmovi -13.313 +▁Duel -13.3131 +▁Damjan -13.3132 +▁kroje -13.3132 +▁električno -13.3132 +EUR -13.3133 +▁nužnost -13.3133 +▁vezista -13.3133 +▁recycle -13.3133 +vaspitn -13.3133 +▁prosječn -13.3134 +KUL -13.3134 +▁Damon -13.3134 +5.4 -13.3135 +▁Dijel -13.3135 +Forum -13.3136 +▁dosledni -13.3136 +▁donating -13.3137 +▁leukemij -13.3137 +ksproprijacij -13.3137 +¶ -13.3137 +▁Advocate -13.3137 +▁Dorothy -13.3137 +▁Exactly -13.3137 +▁Mourinho -13.3137 +▁Obaveštenja -13.3137 +▁Obrenovac -13.3137 +▁Pozorišta -13.3137 +▁Slobodne -13.3137 +▁aminokiseline -13.3137 +▁executing -13.3137 +▁očekujte -13.3137 +▁povezivanju -13.3137 +▁sveučilišta -13.3137 +▁vazdušne -13.3137 +▁vizuelne -13.3137 +▁систем -13.3137 +▁Zvuči -13.3137 +▁abrupt -13.3137 +▁bježe -13.3137 +▁detained -13.3137 +▁oplodnje -13.3137 +▁reakcijom -13.3137 +▁Telemach -13.3137 +▁shrub -13.3137 +.04.2020 -13.3137 +▁Bieber -13.3137 +▁hypertension -13.3137 +▁vrijednu -13.3137 +▁nervozni -13.3138 +.03.2019 -13.3138 +▁Caritas -13.3138 +▁polovice -13.3138 +▁deviation -13.3138 +▁pogodne -13.3138 +▁nepovoljno -13.3138 +▁Neymar -13.3138 +▁Weapon -13.3138 +▁briselsk -13.3138 +▁opuste -13.3138 +▁prvostepeno -13.3138 +▁Šantić -13.3138 +▁vanjsku -13.3139 +▁Unknown -13.3139 +▁amazon -13.3139 +▁управ -13.3139 +▁Clayton -13.3139 +▁revijaln -13.3139 +▁Kanadsk -13.314 +▁SSS -13.314 +▁neprocenjiv -13.314 +▁povežu -13.314 +▁najjeftiniji -13.314 +0.4 -13.314 +▁Stereo -13.3141 +▁LLP -13.3141 +▁Secondary -13.3141 +▁odredišta -13.3142 +▁digao -13.3142 +▁BIRN -13.3143 +▁kontroverzni -13.3144 +▁Angelina -13.3144 +karoten -13.3144 +▁pristupanje -13.3145 +▁nekakva -13.3145 +▁crave -13.3145 +▁свет -13.3146 +▁boljitak -13.3147 +▁Okrenu -13.3147 +▁isečen -13.3148 +▁promila -13.3148 +▁skinny -13.3148 +anthrop -13.3149 +▁Članstvo -13.315 +▁invoke -13.315 +▁crtu -13.315 +▁neumorno -13.3151 +▁Harden -13.3152 +▁tužni -13.3154 +United -13.3154 +▁zaustavljanja -13.3154 +145 -13.3154 +▁playback -13.3155 +▁Slavija -13.3157 +▁1.300 -13.3158 +▁Cezar -13.3158 +▁pretraživanje -13.3159 +▁gumb -13.3159 +▁prijetnjama -13.316 +trakt -13.3162 +▁konstatira -13.3162 +▁bodovi -13.3162 +▁sletio -13.3163 +▁Tirani -13.3164 +▁Milović -13.3165 +vođenju -13.3165 +AIR -13.3166 +▁kontroler -13.3166 +▁polimer -13.3166 +bivši -13.3167 +▁mediation -13.3168 +▁Maksimir -13.317 +▁folding -13.317 +Long -13.317 +▁uzrocima -13.317 +▁poklapaju -13.317 +tražilo -13.317 +elected -13.3171 +▁6-8 -13.3171 +▁Raul -13.3172 +total -13.3173 +LICE -13.3173 +▁oslobađaju -13.3173 +▁Aziz -13.3173 +▁$13 -13.3174 +▁Medved -13.3175 +▁mechanic -13.3175 +▁bobica -13.3175 +ZDA -13.3178 +▁spomenutih -13.3178 +▁Glamoč -13.3178 +Elektr -13.318 +▁Novčan -13.3182 +▁Vujić -13.3182 +BUL -13.3182 +▁Grip -13.3183 +3-7 -13.3186 +▁neznanje -13.3187 +evropski -13.3187 +▁konsultantsk -13.3188 +▁obezbijedila -13.3189 +▁transcend -13.3189 +▁Panić -13.3189 +▁Demokrate -13.319 +▁FIRST -13.319 +▁librarian -13.319 +▁poslodavcu -13.319 +▁prevazići -13.319 +▁pukotine -13.319 +▁spoljnopolitičk -13.319 +▁thirteen -13.319 +▁zakletvu -13.319 +▁Samantha -13.319 +▁privatizacija -13.319 +▁Čaušević -13.319 +▁Himalaya -13.319 +▁inzistira -13.319 +▁konferencijsk -13.319 +▁zimsku -13.319 +▁najmiliji -13.319 +▁asylum -13.319 +▁obilježje -13.319 +▁deductible -13.319 +▁naređenje -13.319 +▁nespretn -13.319 +▁proliferation -13.319 +▁ćošk -13.319 +▁Dijamant -13.319 +▁štampi -13.319 +▁četkice -13.319 +▁Transaction -13.319 +▁najmanja -13.319 +▁Vodolija -13.319 +▁Rijetk -13.319 +▁Guess -13.3191 +drometeorološkog -13.3191 +▁načelu -13.3191 +▁pomagač -13.3191 +▁confidentiality -13.3192 +▁preuzel -13.3192 +▁framing -13.3192 +▁Knjiž -13.3192 +▁append -13.3192 +▁generira -13.3192 +▁Madon -13.3192 +Will -13.3192 +▁haircut -13.3192 +▁дода -13.3192 +▁razlikom -13.3192 +▁napredovao -13.3193 +▁teatru -13.3193 +faz -13.3193 +▁povlačenju -13.3193 +▁ratifikacij -13.3193 +▁parsley -13.3193 +▁relocation -13.3193 +▁pansion -13.3194 +▁statewide -13.3195 +▁volontersk -13.3195 +▁glasači -13.3196 +▁pristaju -13.3197 +▁bliss -13.3198 +kompanija -13.3199 +▁stomačn -13.3199 +▁početnik -13.32 +▁prikupljanju -13.32 +▁NAPAD -13.32 +effect -13.3201 +ukupno -13.3201 +zice -13.3202 +▁Sauce -13.3202 +▁Skel -13.3202 +glob -13.3202 +▁funky -13.3203 +▁Ethan -13.3203 +konstrukcija -13.3204 +▁Brzina -13.3204 +0€| -13.3205 +▁ugrožavanje -13.3207 +▁5:0 -13.3207 +Politika -13.3207 +▁Hayes -13.3207 +slučaj -13.3207 +▁usvojilo -13.3208 +▁Vrel -13.3208 +▁spustila -13.3209 +▁Adv -13.321 +women -13.3211 +▁stepenicama -13.3211 +▁Umrl -13.3211 +▁Congo -13.3211 +▁umetnicima -13.3214 +payment -13.3215 +▁Pavao -13.3215 +▁Chess -13.3216 +Niš -13.3216 +▁Čvrst -13.3217 +▁Grac -13.3218 +||23 -13.3219 +▁gotovih -13.3221 +▁pozicioniranje -13.3223 +▁Dinkić -13.3223 +▁Sviđa -13.3225 +▁isparava -13.3225 +▁Thermo -13.3226 +▁znatan -13.3226 +▁oštetiti -13.3227 +▁obilaze -13.3227 +▁kosm -13.3228 +▁successive -13.3228 +otvorni -13.3228 +▁wil -13.3229 +▁greb -13.323 +▁tramp -13.3231 +▁Donat -13.3231 +▁finalnoj -13.3233 +▁voljenom -13.3233 +▁rescued -13.3233 +▁dosje -13.3235 +▁Troop -13.3238 +kočen -13.3239 +5-0 -13.3239 +▁Djelo -13.324 +▁Yemen -13.324 +▁12.00 -13.324 +▁Puk -13.3241 +BOL -13.3242 +¾ -13.3242 +▁Boutique -13.3242 +▁Dijagnoza -13.3242 +▁Honduras -13.3242 +▁Sarajlija -13.3242 +▁Stamenković -13.3242 +▁cabbage -13.3242 +▁epidemiološka -13.3242 +▁europskog -13.3242 +▁kontraindikacij -13.3242 +▁objasne -13.3242 +▁raspodjele -13.3242 +▁remarkably -13.3242 +▁repetition -13.3242 +▁Vežba -13.3242 +▁academy -13.3242 +▁egzistira -13.3242 +▁knežev -13.3242 +▁Siemens -13.3242 +club -13.3242 +▁Bregzit -13.3242 +▁Otišao -13.3242 +▁nepravda -13.3242 +▁mosque -13.3242 +▁Medenica -13.3242 +▁Kanađan -13.3242 +.09.2016 -13.3242 +▁dinamike -13.3243 +▁epoha -13.3243 +Luc -13.3243 +▁demantovao -13.3243 +▁Žurnal -13.3243 +▁Lebron -13.3243 +▁plastika -13.3243 +▁španskom -13.3243 +▁whirl -13.3243 +▁zloglasn -13.3243 +▁(2018) -13.3243 +▁Makedonsk -13.3243 +▁intervencijom -13.3243 +▁issuing -13.3243 +▁Beckham -13.3243 +▁Everybody -13.3244 +▁mladalačk -13.3244 +▁tackling -13.3244 +▁praznu -13.3244 +▁svakodnevice -13.3244 +pelovao -13.3244 +▁Kipru -13.3244 +▁dijagnostike -13.3245 +▁Miomir -13.3245 +▁usledilo -13.3245 +▁koleginice -13.3246 +▁NEVER -13.3246 +▁XVIII -13.3246 +вор -13.3246 +▁dezert -13.3247 +▁olimpijskog -13.3247 +▁prosveti -13.3248 +▁unload -13.3249 +/2007 -13.3249 +▁krzna -13.3249 +▁Carpet -13.3249 +▁♦ -13.325 +tačnih -13.3251 +▁zvučno -13.3251 +3.6 -13.3251 +uzimanja -13.3251 +▁mesečnih -13.3252 +dužuje -13.3252 +444 -13.3254 +▁kvarova -13.3254 +▁Pavkov -13.3254 +KOVI -13.3255 +▁Napisao -13.3256 +▁zaključenja -13.3256 +▁Grčki -13.3257 +▁cjen -13.3257 +▁tanak -13.3257 +▁tenkova -13.3257 +▁sajtovi -13.3257 +▁phenomena -13.3258 +▁noktima -13.3258 +▁alatima -13.3258 +вез -13.3259 +najbolji -13.3259 +▁kandidira -13.326 +register -13.326 +▁trgovačkih -13.3263 +▁obezbeđivanj -13.3263 +▁Zvezdara -13.3263 +▁Nijemac -13.3264 +▁stopalo -13.3264 +▁Jagodine -13.3265 +▁Šarl -13.3265 +▁nenormaln -13.3265 +▁proteza -13.3265 +▁Zamisli -13.3265 +▁sprječavanje -13.3266 +▁kWh -13.3267 +▁bolnički -13.3267 +▁spoiler -13.3267 +▁Elen -13.3267 +▁stipendist -13.3267 +▁harp -13.3268 +▁sharply -13.3272 +▁Clock -13.3272 +>> -13.3272 +▁policama -13.3275 +▁Najava -13.3275 +▁ustavnih -13.3276 +▁izvesnog -13.3276 +▁Hose -13.3278 +▁Rahman -13.3278 +▁Elf -13.3278 +▁Šuš -13.3278 +▁vodećeg -13.3279 +▁paroh -13.3279 +▁verske -13.3279 +▁preminulog -13.328 +▁sučelja -13.3283 +▁kliničkih -13.3285 +▁BOG -13.3285 +▁posmatranja -13.3285 +▁preventivni -13.3287 +Čuva -13.3287 +▁Astronomsk -13.3287 +▁fotografsk -13.3287 +Price -13.3289 +tjecatelj -13.3289 +▁swift -13.3291 +▁McNa -13.3291 +▁sjevernoj -13.3292 +▁refill -13.3293 +sklađenost -13.3294 +▁Carnegie -13.3295 +▁Carpenter -13.3295 +▁Disclosure -13.3295 +▁Lieutenant -13.3295 +▁Potočarima -13.3295 +▁Razmislite -13.3295 +▁Zvijezde -13.3295 +▁champagne -13.3295 +▁irritation -13.3295 +▁livelihood -13.3295 +▁prouzrokuje -13.3295 +▁svjedočanstv -13.3295 +▁tvornice -13.3295 +▁unchanged -13.3295 +▁vomiting -13.3295 +▁Accessories -13.3295 +▁Biblical -13.3295 +▁frightening -13.3295 +▁psihofizičk -13.3295 +▁POMOĆ -13.3295 +▁prehlada -13.3295 +▁Olivia -13.3295 +▁prevazišl -13.3295 +▁agencijom -13.3295 +▁averaging -13.3295 +▁Threat -13.3295 +▁dječaci -13.3295 +▁Mechanical -13.3295 +▁sferama -13.3295 +▁pouzećem -13.3295 +▁plovidbe -13.3295 +▁mnjenja -13.3295 +.05.2021 -13.3295 +▁Gandhi -13.3295 +▁Windsor -13.3295 +▁OPŠTI -13.3295 +▁zdanja -13.3295 +▁ekološka -13.3296 +▁начин -13.3296 +▁Belfast -13.3296 +▁mešavine -13.3296 +▁Telephone -13.3296 +▁domaćinstvima -13.3296 +▁Migrant -13.3296 +▁pelene -13.3296 +▁pristane -13.3296 +▁videoteci -13.3296 +▁lodging -13.3296 +▁prouzr -13.3296 +▁Vožnja -13.3296 +▁omikron -13.3296 +▁metropolitan -13.3296 +▁orgasm -13.3297 +▁fixture -13.3297 +▁savjesti -13.3297 +▁neopravdano -13.3297 +▁Palanka -13.3297 +▁taktika -13.3297 +▁Ostvari -13.3298 +▁Jurišić -13.3298 +▁Efekti -13.3298 +▁Pamela -13.3298 +▁elektronska -13.3298 +▁Katarine -13.3299 +CTOR -13.3299 +▁zbrinjavanja -13.3299 +USB -13.33 +▁reducira -13.33 +podob -13.33 +▁Sunset -13.33 +▁однос -13.3301 +▁dinastij -13.3302 +ključujući -13.3302 +1980 -13.3303 +▁Bosilj -13.3304 +▁krsn -13.3304 +▁urbanistički -13.3304 +▁Horizont -13.3305 +▁Silent -13.3305 +Crno -13.3305 +▁£10 -13.3307 +▁RGB -13.331 +▁µ -13.331 +Christian -13.3313 +Michael -13.3313 +enthal -13.3313 +▁zabeležili -13.3313 +3.4 -13.3314 +▁očitava -13.3315 +▁uguši -13.3317 +complete -13.3317 +izovali -13.3317 +▁muslimanskog -13.3318 +tolerant -13.3318 +▁započnete -13.3319 +▁sunčanih -13.3319 +▁silikonsk -13.3319 +▁veterinary -13.332 +visit -13.3322 +▁WAR -13.3323 +▁zahvatila -13.3323 +članjen -13.3323 +europa -13.3323 +Zakon -13.3324 +▁ingest -13.3324 +šljun -13.3325 +▁illegally -13.3326 +▁knocking -13.3327 +▁obilježiti -13.3328 +▁Ferari -13.3329 +▁kolonijaln -13.333 +▁KOS -13.333 +▁teretani -13.333 +▁licenci -13.333 +▁udžbenik -13.3331 +▁vanity -13.3332 +▁vječni -13.3334 +▁Marović -13.3334 +▁Anglo -13.3335 +Karabah -13.3337 +▁Feature -13.334 +poput -13.3341 +▁Pest -13.3342 +▁lajk -13.3343 +▁Rukometn -13.3343 +▁Initial -13.3344 +▁ROB -13.3345 +preporučen -13.3348 +cyclist -13.3348 +▁Basel -13.3348 +¤ -13.3348 +¨ -13.3348 +▁Barselonu -13.3348 +▁Benedikt -13.3348 +▁Definitely -13.3348 +▁adventurous -13.3348 +▁ammunition -13.3348 +▁descriptive -13.3348 +▁građevinsku -13.3348 +▁površinom -13.3348 +▁ročište -13.3348 +▁sprovedu -13.3348 +▁Fantastič -13.3348 +▁šetnji -13.3348 +▁Rosemary -13.3349 +▁ponegdje -13.3349 +▁pocetka -13.3349 +▁saigračima -13.3349 +▁nasljeđe -13.3349 +▁stacioniran -13.3349 +▁drevne -13.3349 +.05.2022 -13.3349 +▁galaxy -13.3349 +neposlušn -13.3349 +▁Valencia -13.3349 +▁krunisan -13.3349 +▁stent -13.3349 +▁perimeter -13.3349 +▁istreblj -13.3349 +▁народ -13.3349 +▁sveštenici -13.3349 +▁nastavne -13.3349 +▁cider -13.335 +▁Mićić -13.335 +▁Zadnja -13.335 +▁(2015) -13.335 +▁Preparat -13.3351 +▁FINAL -13.3351 +▁Funkcija -13.3351 +▁bojazni -13.3351 +▁countertop -13.3351 +▁(26) -13.3352 +▁troop -13.3353 +▁picturesque -13.3353 +▁katastrofalni -13.3353 +▁primanjima -13.3353 +▁unutarnji -13.3354 +▁oligo -13.3354 +▁FOX -13.3355 +▁potomaka -13.3355 +▁школ -13.3356 +zhou -13.3356 +▁kanadski -13.3356 +▁Lutheran -13.3356 +pisivao -13.3357 +▁Dođite -13.3358 +▁satelitski -13.3358 +▁pokrivanje -13.3359 +▁retract -13.336 +▁aspiring -13.336 +▁umetnica -13.336 +▁21.00 -13.336 +▁Established -13.3361 +▁Arapa -13.3361 +▁dramskog -13.3361 +▁najzanimljiviji -13.3361 +brzi -13.3364 +▁bipolar -13.3365 +/2008 -13.3365 +▁Fighting -13.3366 +determined -13.3366 +Queen -13.3366 +regulated -13.3366 +▁breadth -13.3367 +download -13.3367 +platform -13.3368 +▁Armani -13.3368 +Internet -13.3368 +▁antagonist -13.3368 +glašava -13.3369 +||22 -13.3369 +рен -13.337 +established -13.337 +▁rijesi -13.3371 +▁Performing -13.3372 +German -13.3372 +пут -13.3372 +▁PCB -13.3372 +▁srece -13.3373 +▁mnogobrojn -13.3373 +▁topical -13.3374 +▁simbolički -13.3375 +▁rotira -13.3375 +6-0 -13.3375 +▁65% -13.3376 +wyn -13.3377 +▁Vruć -13.3378 +▁Brahm -13.3378 +▁mustard -13.3378 +100% -13.3379 +EEP -13.3381 +▁Đenov -13.3381 +approved -13.3381 +▁telesno -13.3382 +▁youthful -13.3383 +BIJA -13.3383 +▁глас -13.3384 +crement -13.3385 +ndžer -13.3385 +▁kompjuterski -13.3391 +▁pretek -13.3393 +▁Frog -13.3394 +▁uspavan -13.3394 +kularni -13.3395 +donald -13.3396 +▁odrednica -13.34 +▁flatter -13.3401 +▁mop -13.3401 +▁Kelso -13.3401 +▁rimsko -13.3402 +▁Poslovi -13.3402 +▁Enforcement -13.3402 +▁GENERAL -13.3402 +▁JYSK -13.3402 +▁Maverick -13.3402 +▁Reproductive -13.3402 +▁angažovao -13.3402 +▁artifacts -13.3402 +▁degradation -13.3402 +▁distancing -13.3402 +▁epidemiološko -13.3402 +▁higijena -13.3402 +▁kindergarten -13.3402 +▁societal -13.3402 +▁unutrašnjoj -13.3402 +▁vođstva -13.3402 +▁ascertain -13.3402 +▁intestinal -13.3402 +▁pantalona -13.3402 +▁sljedbenik -13.3402 +▁vojvode -13.3402 +▁Assassin -13.3402 +▁Raiders -13.3402 +▁uplaćuje -13.3402 +▁apoteke -13.3402 +▁blunt -13.3402 +▁falsifikat -13.3402 +▁Lombard -13.3402 +▁plejmejker -13.3402 +▁uputstvu -13.3402 +▁Evidentirano -13.3402 +▁shredded -13.3402 +▁Jajcu -13.3402 +.06.2022 -13.3402 +▁metodologije -13.3402 +▁demokrate -13.3402 +/03/202 -13.3402 +▁Superligi -13.3403 +▁Priručnik -13.3403 +▁privela -13.3403 +▁začepljen -13.3403 +▁dostizanj -13.3403 +pominjati -13.3403 +▁supernatural -13.3404 +▁komentarisali -13.3404 +▁Beaver -13.3404 +▁shred -13.3404 +.04.2017 -13.3404 +inčni -13.3405 +▁predavao -13.3405 +▁gostovati -13.3405 +▁evolutionary -13.3405 +▁(27) -13.3405 +▁Strelac -13.3405 +▁puškom -13.3406 +▁Blogger -13.3406 +▁Kozarsk -13.3406 +▁permitting -13.3406 +planin -13.3406 +▁NIKAD -13.3407 +▁očaravajuć -13.3407 +▁YES -13.3407 +▁duse -13.3407 +▁protiče -13.3407 +▁reprodukcije -13.3408 +▁poprečn -13.3408 +▁Estrada -13.3408 +▁dependable -13.3408 +▁nevažn -13.3409 +▁reclaim -13.3409 +format -13.3409 +dabl -13.341 +7.7 -13.3411 +▁balad -13.3413 +prise -13.3414 +▁flaša -13.3414 +▁ustaše -13.3415 +60.000 -13.3415 +▁Jonas -13.3416 +▁kafićima -13.3416 +OČI -13.3417 +frac -13.3417 +▁anatomsk -13.3417 +▁lumen -13.3417 +▁Navedeno -13.3418 +▁kozmetičkih -13.3418 +▁Golman -13.3418 +▁sudstva -13.3419 +▁izadje -13.3419 +▁Mercy -13.3419 +▁Adriatic -13.342 +Hajde -13.3421 +▁rejon -13.3421 +▁Mongol -13.3422 +▁Obame -13.3422 +unknown -13.3422 +▁etničkog -13.3422 +▁$18 -13.3424 +▁0:2 -13.3424 +▁intervalima -13.3426 +▁buši -13.3427 +▁zlob -13.3428 +▁foreigners -13.3429 +▁primetila -13.343 +▁primeren -13.3431 +▁Levant -13.3431 +▁Kuc -13.3432 +▁orašasti -13.3434 +▁ludila -13.3434 +▁Obavijest -13.3437 +▁mogućoj -13.3437 +witz -13.3438 +▁sječ -13.3439 +BEG -13.3439 +▁Marsel -13.344 +ALJ -13.3442 +▁Keen -13.3442 +▁KUR -13.3442 +▁entre -13.3442 +▁metaboliz -13.3443 +▁tenor -13.3443 +▁Šiš -13.3444 +▁nezamisliv -13.3446 +▁Vanredn -13.345 +▁iznenađuju -13.3451 +▁VELIK -13.3453 +▁finansijsko -13.3454 +▁Momci -13.3454 +▁Poštuj -13.3454 +ćirilica -13.3456 +▁Investigator -13.3456 +▁Satellite -13.3456 +▁Sustainability -13.3456 +▁bouquet -13.3456 +▁eksterijer -13.3456 +▁likvidacije -13.3456 +▁percepciju -13.3456 +▁stabljike -13.3456 +▁transgender -13.3456 +▁tranziciju -13.3456 +▁varijacije -13.3456 +▁Inspection -13.3456 +▁Ubisoft -13.3456 +▁istorijsku -13.3456 +▁supstrat -13.3456 +▁tražnje -13.3456 +▁košulje -13.3456 +▁Tivta -13.3456 +▁Napomenu -13.3456 +▁vacant -13.3456 +▁voyage -13.3456 +▁NASCAR -13.3456 +▁Potpredsednik -13.3456 +▁emergencies -13.3456 +▁lipstick -13.3456 +▁rijetke -13.3456 +▁trgovca -13.3456 +▁initiation -13.3456 +▁piletinu -13.3456 +▁Lakić -13.3457 +▁Whitney -13.3457 +▁Doyle -13.3457 +▁uputama -13.3457 +▁tehnick -13.3457 +▁Rekord -13.3457 +▁hustle -13.3457 +▁Nixon -13.3458 +▁vaskrs -13.3458 +▁Jablanica -13.3458 +▁Frontier -13.3458 +▁prekorači -13.3458 +▁били -13.3458 +▁Automation -13.3458 +▁Blagaj -13.3458 +▁sumrak -13.3459 +▁Worf -13.3459 +▁Bliski -13.3459 +▁Optimal -13.3459 +▁Valter -13.3459 +▁severni -13.3459 +▁okrivi -13.346 +ита -13.346 +▁prodajni -13.3461 +pyr -13.3461 +▁ovogodišnjoj -13.3461 +▁čudu -13.3461 +4.3 -13.3462 +▁reprogram -13.3462 +ween -13.3462 +▁naljepnic -13.3463 +▁DNR -13.3463 +▁snatch -13.3464 +▁Dimitrovgrad -13.3464 +▁stumbled -13.3465 +▁Cecil -13.3465 +▁flaše -13.3466 +▁arsen -13.3467 +▁cheerful -13.3467 +▁avionima -13.3467 +▁zdravoj -13.3467 +▁historija -13.3468 +▁Oseti -13.3471 +▁Dragomir -13.3471 +▁mužem -13.3471 +▁DVA -13.3471 +▁remodeling -13.3471 +▁podelu -13.3471 +▁omogućiće -13.3472 +▁industri -13.3472 +▁delegation -13.3472 +hopping -13.3472 +Zagreb -13.3474 +significant -13.3474 +Srpska -13.3474 +▁upozoriti -13.3474 +fluence -13.3475 +komunist -13.3476 +▁monetarnog -13.3476 +▁Brendan -13.3476 +▁Orbit -13.3477 +▁Predlažem -13.3477 +▁shouting -13.3477 +▁zadesila -13.3478 +▁Torinu -13.3478 +▁dialog -13.3479 +▁profesionalcima -13.3479 +▁Hoću -13.3479 +▁modnog -13.348 +▁1896 -13.348 +▁abide -13.348 +phenol -13.348 +▁odjeven -13.3482 +▁weekday -13.3483 +stroke -13.3484 +▁Odgovara -13.3485 +▁budni -13.3488 +▁ranjivost -13.349 +▁odanost -13.3491 +▁roommate -13.3492 +Var -13.3493 +▁pristupanju -13.3493 +▁maksimalnih -13.3493 +▁narušavanje -13.3494 +▁skrob -13.3494 +▁zombi -13.3496 +▁optuz -13.3496 +▁čestih -13.3496 +▁obolelo -13.3497 +Rob -13.3498 +▁omiljen -13.3498 +Right -13.3498 +▁borrowed -13.3498 +▁negiranje -13.3501 +▁Advertise -13.3501 +▁cimer -13.3501 +▁curator -13.3502 +1992 -13.3502 +3.3 -13.3503 +▁FON -13.3503 +▁Najzad -13.3504 +▁romantik -13.3504 +一 -13.3504 +▁turističko -13.3506 +illard -13.3506 +▁Tehničko -13.3508 +▁Omerović -13.3509 +menopauz -13.351 +ּ -13.351 +▁patrijaršij -13.351 +œ -13.351 +▁Encyclopedia -13.351 +▁Jahorini -13.351 +▁Schwartz -13.351 +▁Supplier -13.351 +▁atmosferom -13.351 +▁blockbuster -13.351 +▁fejsbuk -13.351 +▁irrigation -13.351 +▁iskljucivo -13.351 +▁kačkavalj -13.351 +▁nepogrešiv -13.351 +▁oligarh -13.351 +▁resurrection -13.351 +▁sudjelovalo -13.351 +▁volleyball -13.351 +▁voluntarily -13.351 +▁zloupotrebi -13.351 +▁mysteries -13.351 +▁HERCEG -13.351 +▁liječničk -13.351 +▁Horror -13.351 +▁plastenik -13.351 +▁pojmove -13.351 +▁LJUDI -13.351 +▁irritate -13.351 +▁najbrojnij -13.351 +▁Ninković -13.351 +▁suprotan -13.351 +.11.2016 -13.351 +▁grafičke -13.351 +▁posećuju -13.351 +▁Flynn -13.351 +▁dinamika -13.351 +ČEVIĆ -13.351 +▁spekulacije -13.3511 +expl -13.3511 +learn -13.3511 +▁(2000) -13.3511 +TEX -13.3511 +▁Šerifović -13.3512 +▁populated -13.3512 +▁trokut -13.3513 +▁Krajnji -13.3513 +▁прије -13.3513 +▁komadima -13.3514 +▁fetch -13.3514 +▁Vršcu -13.3514 +pametni -13.3515 +▁nezaboravni -13.3515 +▁subotičk -13.3515 +▁knight -13.3515 +▁erection -13.3515 +760 -13.3516 +radjuje -13.3518 +▁osušen -13.3519 +▁sličnost -13.3519 +▁seksualnosti -13.352 +▁glede -13.3521 +▁kvadratnom -13.3521 +▁trgovanja -13.3521 +▁Budim -13.3521 +▁deepest -13.3522 +alkohol -13.3522 +▁hroničnog -13.3522 +▁dijetetski -13.3522 +▁polomljen -13.3524 +▁privodi -13.3524 +▁dizanje -13.3524 +▁trasa -13.3524 +1-8 -13.3524 +▁iteration -13.3525 +▁Albany -13.3526 +▁Bronze -13.3527 +▁EDIT -13.3527 +ijalne -13.3528 +School -13.3528 +journal -13.3528 +ALNA -13.3529 +premijer -13.3529 +servis -13.3529 +Datum -13.3531 +▁Lokalna -13.3531 +▁čudesno -13.3531 +▁minijaturn -13.3532 +januar -13.3534 +▁beskonačno -13.3534 +▁đacima -13.3534 +zbjeg -13.3534 +лом -13.3534 +entrepreneurship -13.3535 +▁Stiv -13.3535 +▁Ва -13.3536 +▁disappoint -13.3536 +▁pristupilo -13.3536 +▁crpi -13.3537 +▁saveznicima -13.3537 +▁međusobnih -13.3538 +kanadsk -13.3538 +Farm -13.3539 +▁ubijanja -13.3539 +▁razveden -13.354 +▁nosivost -13.354 +utical -13.354 +▁demokrati -13.3541 +▁kažnjavanje -13.3541 +▁krošnj -13.3542 +▁Pepsi -13.3542 +RICA -13.3542 +▁Penal -13.3543 +Hotel -13.3545 +▁prosječni -13.3545 +▁treb -13.3546 +▁Sjeća -13.3546 +amino -13.3547 +functional -13.3548 +▁dužnik -13.3552 +50% -13.3553 +▁slano -13.3555 +Politiku -13.3555 +ponira -13.3556 +▁6-7 -13.3557 +▁|2|| -13.3557 +▁XXI -13.3558 +▁vatrom -13.3558 +▁leva -13.356 +BUSINESS -13.3564 +▁Obavještavam -13.3564 +▁Sljedeće -13.3564 +▁Stokholm -13.3564 +▁ambulance -13.3564 +▁dobrodošla -13.3564 +▁elektrotehnike -13.3564 +▁etablira -13.3564 +▁eternity -13.3564 +▁fantastična -13.3564 +▁klavijatur -13.3564 +▁laboratories -13.3564 +▁neprocjenjiv -13.3564 +▁oppression -13.3564 +▁pedagoški -13.3564 +▁privilegije -13.3564 +▁subsidies -13.3564 +▁sympathetic -13.3564 +▁trećeplasiran -13.3564 +▁Doživite -13.3564 +▁Intenzivn -13.3564 +▁flavonoid -13.3564 +▁gradonačelnica -13.3564 +▁konzerviran -13.3564 +▁nepristupačn -13.3564 +▁podrazumjeva -13.3564 +▁žurku -13.3564 +грађан -13.3564 +▁sprawl -13.3564 +▁Fojnica -13.3564 +▁Rožaja -13.3564 +▁adidas -13.3564 +▁ujedinjeni -13.3564 +▁početnu -13.3564 +▁diffuse -13.3564 +▁Chandler -13.3564 +▁umrežavanje -13.3564 +▁CLICK -13.3564 +▁Fiskaln -13.3564 +▁Privatni -13.3564 +▁prognani -13.3564 +▁Kylie -13.3564 +▁Auburn -13.3564 +▁Teresa -13.3564 +▁nevjerovatni -13.3565 +▁optimizaciju -13.3565 +▁popravka -13.3565 +▁osvetljava -13.3565 +▁Anketa -13.3565 +▁globus -13.3565 +▁procvat -13.3565 +▁šumom -13.3565 +▁Population -13.3565 +▁blic -13.3565 +MIJE -13.3565 +▁resign -13.3565 +▁Gloria -13.3565 +▁BHRT -13.3565 +▁guši -13.3565 +▁Yacht -13.3565 +▁slabljenje -13.3566 +▁Jensen -13.3566 +▁popune -13.3566 +▁Correction -13.3566 +▁Ilidži -13.3566 +▁Snake -13.3567 +▁strategically -13.3567 +▁Katić -13.3567 +▁paljb -13.3567 +▁Edison -13.3568 +▁swiftly -13.3569 +▁Sidnej -13.3569 +▁posleratn -13.3569 +▁Dhabi -13.357 +▁Atletsk -13.357 +2-0 -13.357 +▁ZSO -13.3571 +▁=> -13.3572 +▁maternji -13.3572 +▁Ignor -13.3572 +▁photographic -13.3573 +▁они -13.3573 +▁poštovao -13.3574 +▁fajlova -13.3574 +opasni -13.3574 +wild -13.3574 +▁razaranja -13.3575 +866 -13.3576 +▁cik -13.3576 +▁RADI -13.3576 +▁Condo -13.3576 +▁toksični -13.3577 +▁овог -13.3578 +▁immortal -13.3579 +▁kabur -13.358 +▁regeneracij -13.3581 +Ф -13.3583 +January -13.3583 +ANG -13.3583 +Kosovo -13.3583 +schedule -13.3583 +Getty -13.3584 +LOM -13.3584 +▁treci -13.3584 +▁štićen -13.3585 +بِ -13.3586 +▁uputilo -13.3586 +▁setback -13.3587 +▁Explo -13.3588 +▁instructional -13.3589 +▁tukli -13.3589 +780 -13.359 +Law -13.3591 +▁wiped -13.3591 +▁campuses -13.3591 +▁oneself -13.3592 +transfer -13.3592 +▁postepen -13.3592 +▁načelnici -13.3592 +▁sanjali -13.3594 +relli -13.3595 +▁jucer -13.3596 +illon -13.3596 +Neill -13.3599 +▁povratnik -13.3601 +▁minimalist -13.3602 +IZE -13.3604 +ljubav -13.3604 +▁jedinstvenoj -13.3604 +▁limenk -13.3605 +citation -13.3605 +▁Turističko -13.3607 +▁stubovi -13.3609 +▁Foam -13.3609 +▁Domovin -13.361 +▁20.30 -13.361 +▁17.00 -13.3611 +hidro -13.3612 +abilno -13.3612 +3000 -13.3612 +▁Dučić -13.3613 +▁nadimk -13.3614 +▁teritorijaln -13.3615 +Švajcar -13.3616 +▁Booth -13.3616 +▁Pavli -13.3618 +▁SRPSKI -13.3619 +▁biodiverzitet -13.3619 +▁reimbursement -13.3619 +щ -13.3619 +▁aksesoar -13.3619 +▁potassium -13.3619 +▁naočale -13.3619 +▁djevojčicu -13.3619 +▁siromašne -13.3619 +▁destabilizacij -13.3619 +▁prepreku -13.3619 +▁Bursać -13.3619 +▁Kamerun -13.3619 +▁Najkrać -13.3619 +▁dinamikom -13.3619 +▁određivanju -13.3619 +▁Snimanje -13.3619 +▁opomena -13.3619 +▁dioptrij -13.3619 +▁predvodnik -13.3619 +▁neopisiv -13.3619 +▁Respondent -13.3619 +▁consultancy -13.3619 +▁srebrno -13.3619 +▁napitka -13.3619 +▁podatka -13.3619 +▁Enis -13.3619 +▁prešlo -13.3619 +▁otkaže -13.3619 +▁slalom -13.362 +▁raspisivanje -13.362 +▁redistribut -13.362 +▁umutite -13.362 +▁addictive -13.362 +▁geography -13.362 +▁Kupci -13.362 +pandemijsk -13.362 +▁Vacation -13.362 +▁drustvu -13.362 +▁piletina -13.362 +▁VERY -13.362 +▁klimnu -13.362 +▁savvy -13.362 +▁rugby -13.362 +▁Tokio -13.362 +▁kajmak -13.3621 +▁iznenadni -13.3621 +▁Arrange -13.3621 +▁identifiable -13.3621 +▁perennial -13.3621 +▁visualize -13.3621 +▁Veljković -13.3622 +▁foliju -13.3622 +▁Rend -13.3622 +▁imbalance -13.3622 +▁vazda -13.3623 +▁APK -13.3623 +▁sluga -13.3623 +▁Programming -13.3624 +▁collagen -13.3625 +provedenih -13.3625 +▁Vilson -13.3625 +sync -13.3626 +▁osvježenje -13.3626 +▁Divide -13.3629 +▁glamur -13.3629 +▁blokovi -13.3629 +▁Measurement -13.363 +▁automatske -13.363 +▁limitiran -13.3631 +▁LIFE -13.3632 +▁Ariel -13.3633 +▁izostank -13.3633 +▁mentality -13.3633 +▁Donjeg -13.3634 +▁Specification -13.3634 +▁validated -13.3634 +▁novčanica -13.3635 +▁diced -13.3636 +▁£4 -13.3636 +official -13.3637 +вла -13.3637 +▁birajte -13.3637 +vježba -13.3638 +Građani -13.3638 +gressive -13.3638 +▁stupnja -13.3639 +▁Kruger -13.3639 +▁jaran -13.3639 +▁Šehović -13.3639 +ehoslova -13.3639 +▁trguje -13.364 +▁odrazil -13.364 +▁trikove -13.364 +▁lepotica -13.3641 +before -13.3641 +▁kurban -13.3641 +VICE -13.3642 +▁Мил -13.3642 +▁Handke -13.3643 +▁fries -13.3643 +▁optimalan -13.3643 +▁utilise -13.3644 +▁tamošnj -13.3645 +▁booklet -13.3645 +▁manjom -13.3646 +▁Midland -13.3648 +▁raspoloživi -13.3648 +цији -13.3648 +▁Negro -13.3648 +▁bijelih -13.365 +ložilo -13.3651 +▁Mesija -13.3652 +▁pregledač -13.3652 +custom -13.3653 +▁retka -13.3653 +▁Idealna -13.3653 +▁vršenja -13.3655 +▁slušanja -13.3657 +▁aferi -13.3658 +▁Palestinci -13.3658 +КА -13.3666 +▁Priest -13.3666 +JEDNO -13.3667 +▁pobunjenici -13.3667 +▁kopiranje -13.3668 +Alba -13.367 +▁vrsni -13.3671 +▁Svečanost -13.3671 +▁compose -13.3672 +▁grmlja -13.3674 +ת -13.3674 +ص -13.3674 +▁Abbott -13.3674 +▁Copenhagen -13.3674 +▁Fundamental -13.3674 +▁Indigenous -13.3674 +▁Nadrljanski -13.3674 +▁SLUČAJ -13.3674 +▁bilbord -13.3674 +▁misconduct -13.3674 +▁nepostojanje -13.3674 +▁pogibije -13.3674 +▁reciklažu -13.3674 +▁terribly -13.3674 +▁tržišna -13.3674 +▁Hussein -13.3674 +▁uputstvima -13.3674 +▁Kendall -13.3674 +▁kočnice -13.3674 +▁tekućoj -13.3674 +▁apsolutna -13.3674 +▁diferencijal -13.3674 +▁pohvaln -13.3674 +▁Bundestag -13.3674 +▁Sophia -13.3674 +▁vanbračn -13.3674 +▁genijalno -13.3674 +▁travellers -13.3674 +▁urgency -13.3674 +▁poreklu -13.3674 +▁prosecute -13.3674 +▁ummet -13.3674 +▁zagrijan -13.3674 +▁kočnica -13.3674 +▁platnim -13.3674 +▁pobunu -13.3674 +▁valjevsk -13.3674 +▁završna -13.3674 +▁erosion -13.3674 +▁posuđa -13.3675 +▁regiment -13.3675 +▁striving -13.3675 +▁rubbing -13.3675 +▁GTA -13.3675 +▁mađarskog -13.3675 +▁rasističke -13.3675 +▁diskutova -13.3675 +▁gradilište -13.3676 +▁okruglog -13.3676 +▁Enough -13.3676 +▁naftne -13.3676 +razred -13.3676 +▁PRET -13.3676 +▁Yourself -13.3676 +▁pazuh -13.3677 +▁trojka -13.3677 +▁madness -13.3677 +▁budale -13.3677 +▁stern -13.3678 +▁trač -13.3678 +▁JAVNO -13.3678 +▁Influence -13.3679 +▁Želiš -13.3679 +▁pesak -13.3679 +▁dirig -13.3679 +▁beloj -13.3679 +▁Dudić -13.368 +izvod -13.368 +▁konstantni -13.368 +▁underwear -13.368 +▁homeschool -13.3682 +▁originate -13.3682 +▁Rouge -13.3682 +▁compressed -13.3682 +▁BANJA -13.3683 +▁Wife -13.3683 +▁Duration -13.3683 +▁Istakl -13.3684 +▁Rabbit -13.3684 +▁dugački -13.3684 +▁ograničavanje -13.3684 +▁Ozren -13.3684 +▁addicted -13.3685 +▁lipnju -13.3686 +▁obiteljsko -13.3687 +5.1 -13.3689 +▁susjednim -13.369 +▁opredjeljenje -13.369 +▁drevnih -13.3691 +▁tenisač -13.3691 +▁začaran -13.3691 +▁nagrađuje -13.3691 +ČNA -13.3691 +▁hladnije -13.3692 +▁puštanja -13.3692 +language -13.3693 +Friday -13.3694 +▁Bernie -13.3695 +▁Stavovi -13.3695 +▁baštinu -13.3696 +▁svečane -13.3697 +Vel -13.3698 +▁monolog -13.3698 +▁snabdijevanje -13.3699 +▁Fasci -13.3701 +▁loot -13.3701 +▁nužni -13.3702 +▁ubačen -13.3702 +▁STOP -13.3702 +▁PIS -13.3703 +hrišćansk -13.3703 +▁Rajković -13.3705 +▁enthusiast -13.3705 +▁optimalnu -13.3705 +▁outrageous -13.3705 +▁istovar -13.3705 +▁ljubimac -13.3707 +▁otpuštanje -13.3707 +▁izračunati -13.3708 +▁Ramuš -13.3708 +vidjeli -13.3708 +▁Livingston -13.3709 +▁eksperimentisa -13.3709 +▁pedofil -13.371 +три -13.3711 +▁pretraživa -13.3711 +▁cenovn -13.3712 +▁bučn -13.3712 +▁putovali -13.3712 +▁podneta -13.3713 +▁nautičk -13.3714 +▁Portugalac -13.3716 +7-6 -13.3716 +▁versa -13.3718 +▁Potpun -13.3718 +rađujemo -13.3718 +▁preparatima -13.372 +▁vezni -13.372 +▁ignoris -13.3721 +nvict -13.3721 +▁partijsko -13.3723 +▁Komad -13.3724 +▁coping -13.3725 +▁advisable -13.3729 +▁broccoli -13.3729 +▁craftsmanship -13.3729 +▁customizable -13.3729 +▁décor -13.3729 +▁endangered -13.3729 +▁frustracije -13.3729 +▁mušterija -13.3729 +▁najrazvijenij -13.3729 +▁perpetual -13.3729 +▁predominantly -13.3729 +▁silhouette -13.3729 +▁sljedećoj -13.3729 +▁čokoladom -13.3729 +▁Dorćol -13.3729 +▁Euleks -13.3729 +▁Rudolf -13.3729 +▁kvalificira -13.3729 +▁statističke -13.3729 +▁Mustafe -13.3729 +▁dejstava -13.3729 +▁refrain -13.3729 +▁suštinske -13.3729 +▁violating -13.3729 +▁briljira -13.3729 +▁predvidjen -13.3729 +▁ispoštovan -13.3729 +▁collateral -13.3729 +▁rubalja -13.3729 +▁bezbrižno -13.3729 +▁Kuzmanović -13.3729 +▁Seoul -13.3729 +▁nedeljom -13.3729 +▁ekološku -13.3729 +▁opomenu -13.3729 +▁letjelica -13.3729 +▁veselja -13.3729 +.03.2021 -13.3729 +▁Packaging -13.3729 +▁bladder -13.3729 +▁Koordinator -13.373 +▁Northwestern -13.373 +▁blush -13.373 +▁goddess -13.373 +▁Blackjack -13.373 +▁premijerligaš -13.373 +▁footwear -13.373 +▁potpišu -13.373 +▁Poštovana -13.373 +▁Nudi -13.373 +▁vađenje -13.3731 +▁kruzer -13.3732 +▁Rajan -13.3732 +▁trumpet -13.3732 +▁Disability -13.3732 +▁neurons -13.3733 +▁Rajić -13.3733 +▁Humskoj -13.3733 +▁dijagnostika -13.3734 +▁rekonst -13.3734 +▁kuglice -13.3734 +▁Camel -13.3735 +▁melodija -13.3737 +▁prikažu -13.3737 +▁dekoracija -13.3738 +▁stranačke -13.3738 +▁spear -13.3738 +▁izmjeren -13.374 +ALNI -13.374 +▁communist -13.374 +▁veštačkih -13.3741 +volv -13.3741 +Truba -13.3742 +▁nekontrolisano -13.3742 +▁odvela -13.3743 +▁veterinarian -13.3743 +▁Radujem -13.3744 +▁bankarskog -13.3745 +▁Potoč -13.3746 +2-6 -13.3746 +Speed -13.3747 +▁unexpectedly -13.3747 +▁predsedničkim -13.3748 +oire -13.3748 +▁pravoslavnih -13.3748 +▁propala -13.3749 +February -13.3749 +weather -13.3749 +▁primjetn -13.3749 +▁Surely -13.3749 +▁stanjima -13.375 +▁pupil -13.375 +▁LTE -13.375 +8.8 -13.375 +▁subway -13.3751 +atapult -13.3751 +▁Sedmi -13.3753 +▁Printer -13.3754 +▁Abdel -13.3757 +▁spriječen -13.3759 +вен -13.3761 +▁slabija -13.3761 +▁Karleuš -13.3763 +NUT -13.3763 +▁Zmajevi -13.3767 +mineral -13.3768 +▁izvještavanje -13.3769 +▁boz -13.377 +▁mužjak -13.3771 +▁Jednako -13.3772 +▁istražen -13.3777 +▁đon -13.3777 +▁Vaz -13.3778 +Jesi -13.3779 +▁Labin -13.378 +▁homeopat -13.3783 +▁izdvajanje -13.3784 +▁Mijailović -13.3785 +▁Recenzije -13.3785 +▁entuzijazma -13.3785 +▁facilitating -13.3785 +▁kružnog -13.3785 +▁ofanzivu -13.3785 +▁zakonodavne -13.3785 +▁Citroen -13.3785 +▁Einstein -13.3785 +▁Panasonic -13.3785 +▁itinerary -13.3785 +▁repetitive -13.3785 +▁samoproglašen -13.3785 +▁stagnacij -13.3785 +▁Alijanse -13.3785 +▁Obrazac -13.3785 +▁kladionici -13.3785 +▁jastučić -13.3785 +▁nastojao -13.3785 +▁matematika -13.3785 +▁leveraging -13.3785 +▁skroman -13.3785 +▁furnishings -13.3785 +▁ognjišta -13.3785 +▁samostalan -13.3785 +▁Vanessa -13.3785 +▁nipple -13.3785 +▁Žermen -13.3785 +▁MAKE -13.3785 +▁grickalice -13.3785 +▁Salesforce -13.3785 +▁Twilight -13.3785 +▁blizanci -13.3785 +▁coincidence -13.3785 +▁jezičke -13.3785 +▁strašne -13.3785 +▁košulja -13.3785 +▁tikvice -13.3785 +▁fenomenalan -13.3785 +▁vazduhoplovstva -13.3785 +▁edible -13.3786 +▁logiku -13.3786 +5-8 -13.3786 +▁Jacques -13.3786 +▁неће -13.3786 +▁Josif -13.3786 +▁pobuna -13.3787 +▁zagovornik -13.3787 +▁smartfon -13.3787 +▁Uloge -13.3787 +▁transformiše -13.3787 +▁Upgrade -13.3787 +▁brokerage -13.3787 +▁Najprije -13.3788 +▁Maršal -13.3788 +▁bobice -13.3788 +▁najgora -13.3788 +▁ukućani -13.3788 +▁Bugarsku -13.3788 +▁uzduž -13.3789 +▁imunološkog -13.3789 +▁ognj -13.3789 +▁reconnect -13.3789 +▁kifl -13.3789 +▁Izrađen -13.3789 +▁vjerujte -13.379 +▁Inzko -13.3791 +▁FUN -13.3791 +▁modernizacije -13.3791 +▁probavu -13.3791 +▁Kritik -13.3792 +дар -13.3792 +▁Učestvova -13.3793 +▁agile -13.3793 +NOVI -13.3794 +▁Seren -13.3794 +▁zimnic -13.3794 +▁MESS -13.3795 +▁Berlinskog -13.3795 +▁ambijentaln -13.3796 +▁nerealno -13.3796 +5-6 -13.3799 +▁Quiz -13.3799 +ITET -13.38 +▁Mašić -13.3802 +▁preispitivanje -13.3803 +▁kantonima -13.3803 +▁GSM -13.3804 +▁gospodarske -13.3804 +▁accelerated -13.3804 +▁shouted -13.3805 +parlament -13.3806 +▁brushes -13.3806 +▁heavenly -13.3807 +▁Vidjet -13.3808 +▁hitter -13.3808 +▁Šehić -13.3809 +▁replay -13.381 +▁Razumije -13.3811 +вре -13.3811 +znač -13.3813 +30.000 -13.3815 +▁streljan -13.3816 +▁stihij -13.3816 +▁konkurentsk -13.3817 +▁POZIV -13.3818 +▁gustina -13.3819 +ppies -13.382 +▁Torah -13.3821 +7-8 -13.3821 +▁Izgubi -13.3823 +▁neuredn -13.3823 +▁Trader -13.3824 +▁prihran -13.3826 +▁Engl -13.3826 +▁kolektivnih -13.3827 +▁мало -13.3828 +▁njezinim -13.3828 +768 -13.3828 +▁Impe -13.3829 +▁motivira -13.3829 +▁Kamil -13.3829 +▁Serb -13.3831 +MAX -13.3831 +▁isprobava -13.3832 +athlon -13.3835 +▁zapaža -13.3836 +5000 -13.3837 +▁Djur -13.3838 +▁dramsko -13.3838 +▁površno -13.3838 +▁700.000 -13.3839 +ē -13.384 +▁Bundeslige -13.384 +▁POLITIKE -13.384 +▁Scratch -13.384 +▁Superintendent -13.384 +▁encrypted -13.384 +▁expansive -13.384 +▁exponential -13.384 +▁righteousness -13.384 +▁saksofon -13.384 +▁tehnološka -13.384 +▁Guinness -13.384 +▁cilindar -13.384 +▁nepogode -13.384 +▁ordinaciji -13.384 +▁производ -13.384 +KOLIKO -13.384 +▁bambus -13.384 +▁dwarf -13.384 +▁najsiromašnij -13.384 +▁Devojka -13.384 +▁Felipe -13.384 +▁Godišnje -13.384 +▁Ugljanin -13.384 +▁prigodom -13.384 +▁režija -13.3841 +▁pratnja -13.3841 +▁Molecular -13.3841 +▁Invitation -13.3841 +▁identifikuju -13.3841 +.10.2018 -13.3841 +▁limestone -13.3841 +▁spremljen -13.3841 +▁Praćenje -13.3841 +letjeti -13.3841 +▁Punjab -13.3841 +▁koncesija -13.3841 +▁mleveni -13.3841 +▁forfeit -13.3842 +▁Kanye -13.3842 +▁Odgovarajući -13.3842 +▁nelogičn -13.3842 +▁ovisnost -13.3842 +▁novajlij -13.3842 +▁Providence -13.3842 +▁oyster -13.3842 +▁vladom -13.3842 +▁identični -13.3842 +▁Voleo -13.3843 +riya -13.3844 +▁braid -13.3844 +▁fetal -13.3845 +▁budućoj -13.3845 +▁Biological -13.3845 +▁poprima -13.3846 +▁Htjel -13.3846 +▁otpuštanja -13.3846 +▁Lekar -13.3846 +▁Dragiša -13.3847 +▁Transformation -13.3847 +▁Pohval -13.3847 +▁LNG -13.3848 +▁teaser -13.3848 +▁OTHER -13.3848 +▁utroši -13.3849 +▁1904 -13.3849 +cifren -13.385 +▁Legija -13.385 +▁cerebral -13.385 +▁fudbalskom -13.3851 +▁encompass -13.3851 +Sync -13.3851 +▁creek -13.3852 +▁DOMA -13.3853 +▁Braća -13.3853 +▁jugoslovenskih -13.3853 +▁austrijskog -13.3854 +▁Salihović -13.3854 +▁pijeska -13.3854 +▁sumorn -13.3855 +▁Suvo -13.3855 +phase -13.3855 +▁živahn -13.3856 +▁jeftinija -13.3856 +konekt -13.3856 +▁hookup -13.3856 +▁Merry -13.3858 +▁investicionih -13.3858 +000000 -13.3859 +▁praznicima -13.386 +▁sajtove -13.386 +▁učinci -13.386 +▁usmjeriti -13.3861 +▁apeluju -13.3861 +President -13.3863 +▁Neophodn -13.3864 +▁aluminijsk -13.3864 +▁nadaren -13.3864 +James -13.3865 +Shop -13.3866 +▁oslikan -13.3867 +▁Citation -13.3868 +građani -13.3868 +▁penzionerima -13.3869 +▁frend -13.3871 +sibirsk -13.3872 +▁Ју -13.3872 +▁laud -13.3874 +▁Trick -13.3875 +▁Varga -13.3875 +▁obezbjeđivanj -13.3877 +▁civilizovan -13.3877 +Peter -13.3877 +▁BRAN -13.3877 +▁Champ -13.3879 +▁trece -13.388 +▁SRBI -13.3881 +▁studiranje -13.3884 +▁Kif -13.3886 +▁explode -13.3886 +rrence -13.3887 +▁gricka -13.3888 +▁Result -13.389 +▁Mihajlov -13.3892 +дер -13.3892 +▁rođendansk -13.3892 +▁numb -13.3892 +▁pjevanje -13.3892 +мп -13.3892 +Pored -13.3894 +Wall -13.3894 +▁oaza -13.3894 +▁pileće -13.3894 +▁Declaration -13.3897 +▁Komisiji -13.3897 +▁Mitsubishi -13.3897 +▁Pavilion -13.3897 +▁Područje -13.3897 +▁collaborating -13.3897 +▁inconsistent -13.3897 +▁predostrožnosti -13.3897 +▁sudjelovanja -13.3897 +▁tranziciji -13.3897 +▁Mevlud -13.3897 +▁endeavour -13.3897 +▁footsteps -13.3897 +▁najboljom -13.3897 +▁interesantne -13.3897 +▁nezgodi -13.3897 +▁skretanje -13.3897 +▁1-800- -13.3897 +▁Omladinski -13.3897 +▁imposing -13.3897 +▁clergy -13.3897 +▁strawberry -13.3897 +.09.2022 -13.3897 +▁BLACK -13.3897 +▁bestseler -13.3897 +▁PTSD -13.3897 +▁Defender -13.3897 +▁massacre -13.3897 +▁disciplinovan -13.3897 +▁Huntington -13.3897 +▁Sergio -13.3897 +▁sovereignty -13.3897 +▁opsesij -13.3898 +▁Britney -13.3898 +▁aktivizma -13.3898 +▁vješto -13.3898 +čarski -13.3898 +▁slazem -13.3898 +▁bračnog -13.3898 +▁uglova -13.3898 +▁minorities -13.3898 +▁okupu -13.3898 +▁krenite -13.3899 +▁brisanja -13.3899 +▁Agenda -13.3899 +▁Vampire -13.3899 +▁kraljevstva -13.3899 +▁Poznavanje -13.3899 +▁isplaćeno -13.39 +▁konacno -13.39 +▁ozdravi -13.39 +▁Morsko -13.39 +▁pratiocima -13.39 +dioksid -13.39 +▁Giuli -13.3901 +▁sklonište -13.3901 +▁špek -13.3901 +▁Provision -13.3901 +▁contraction -13.3901 +▁ustavnosti -13.3903 +▁ideological -13.3903 +8,00 -13.3904 +▁liabilities -13.3904 +▁Minić -13.3904 +▁hamper -13.3904 +▁analitički -13.3905 +crack -13.3906 +▁Regent -13.3907 +▁presudan -13.3908 +▁Napravil -13.3909 +▁burzi -13.3909 +▁3,7 -13.3909 +▁Jovo -13.391 +Store -13.391 +▁prelaznom -13.391 +▁financiranja -13.3911 +▁kokosovog -13.3912 +▁0,9 -13.3913 +▁Počelo -13.3913 +▁zaključcima -13.3915 +▁pauzi -13.3915 +error -13.3915 +▁Informativn -13.3915 +ćanin -13.3915 +ика -13.3916 +▁bosses -13.3917 +chemistry -13.3917 +dokument -13.3918 +Next -13.3918 +▁visinom -13.3918 +▁celija -13.3919 +bedroom -13.3919 +▁seekers -13.3919 +▁sarajevskih -13.392 +▁koleno -13.3921 +▁graniči -13.3921 +▁Kontra -13.3921 +▁spinova -13.3922 +▁hladnih -13.3923 +▁Dyn -13.3923 +target -13.3923 +▁1869 -13.3924 +▁temeljac -13.3925 +▁Aut -13.3926 +▁koncentracion -13.3926 +usually -13.3928 +ndrić -13.3929 +kućnoj -13.393 +žder -13.3932 +huan -13.3933 +Ništa -13.3934 +ndž -13.3935 +▁preferiraju -13.3937 +▁demantoval -13.394 +▁START -13.3941 +▁Marvin -13.3942 +▁etiketa -13.3943 +▁provedenog -13.3944 +▁separatist -13.3945 +▁magistarsk -13.3949 +▁površn -13.395 +fabrik -13.395 +▁Approximately -13.3953 +▁Odbojkaši -13.3953 +▁Salzburg -13.3953 +▁Usvajanje -13.3953 +▁plastičnu -13.3953 +▁pulmonary -13.3953 +▁strukovnih -13.3953 +▁DNEVN -13.3953 +▁Griffith -13.3953 +▁Septembar -13.3953 +▁forbidden -13.3953 +▁iscrpljuju -13.3953 +▁kontracepcij -13.3953 +▁CENTAR -13.3953 +▁zanemaruju -13.3953 +▁Lukašenko -13.3953 +▁izvedbu -13.3953 +▁solitary -13.3953 +▁destined -13.3953 +▁devojci -13.3953 +▁lettuce -13.3953 +▁Sjajan -13.3953 +▁Završio -13.3953 +▁zadatkom -13.3953 +▁nepromijenjen -13.3953 +▁quirky -13.3953 +▁rujnu -13.3953 +▁nutrijent -13.3953 +▁Ekstrakt -13.3953 +▁stabilnu -13.3953 +▁Chloe -13.3953 +▁restoring -13.3953 +▁reconstruct -13.3953 +▁Domagoj -13.3953 +▁razmijeni -13.3953 +▁FULL -13.3953 +▁pojmom -13.3953 +▁pritiske -13.3953 +▁linux -13.3954 +▁postigle -13.3954 +▁онда -13.3954 +▁korekciju -13.3954 +▁konstataciju -13.3954 +▁jadransk -13.3954 +▁Vojvode -13.3954 +▁metadata -13.3954 +▁hermetičk -13.3954 +▁arcade -13.3954 +▁Ćatić -13.3954 +▁ZLAT -13.3954 +▁Prolaz -13.3954 +▁logičan -13.3954 +▁Vahid -13.3955 +5-5 -13.3955 +▁inverter -13.3955 +▁simplified -13.3955 +▁revolucionarni -13.3956 +▁Ranković -13.3956 +▁prescribe -13.3956 +▁Ističu -13.3956 +▁privukli -13.3957 +hlorid -13.3958 +▁Zečević -13.3958 +▁odredaba -13.3958 +▁čistač -13.396 +▁offseason -13.396 +▁creditors -13.3961 +▁dvojc -13.3962 +▁šestoro -13.3962 +▁tactic -13.3963 +krb -13.3964 +ACION -13.3964 +▁CARE -13.3964 +▁Autonomn -13.3966 +▁zatvarač -13.3966 +▁ponizi -13.3966 +▁vape -13.3966 +▁sheath -13.3966 +▁crispy -13.3967 +hrvatski -13.3967 +▁grupno -13.3967 +▁Vrhov -13.3969 +кар -13.3969 +▁Pomisli -13.3969 +logies -13.397 +▁vreće -13.3971 +▁košarkaškog -13.3971 +▁prezimenom -13.3971 +▁prikladni -13.3971 +▁columnist -13.3973 +Contact -13.3974 +▁20180 -13.3974 +▁Promote -13.3976 +srbija -13.3976 +splash -13.3976 +▁Jukić -13.3976 +zelene -13.3977 +▁poslijepodnevni -13.3978 +▁skidanja -13.3978 +Veliko -13.3978 +▁Osteo -13.3979 +Klix -13.3979 +▁rezerviran -13.3979 +▁Formal -13.398 +ridž -13.3982 +▁PIK -13.3982 +▁hormonaln -13.3982 +▁spomenutog -13.3984 +▁semantic -13.3985 +▁participacij -13.3986 +▁Posjetite -13.3989 +Uredi -13.3989 +razvoj -13.399 +▁1857 -13.399 +▁zagreb -13.3993 +▁Crush -13.3995 +▁pritisci -13.3997 +▁palači -13.3998 +▁MIZ -13.3998 +▁harmoničn -13.3998 +▁Vidić -13.3999 +▁Komar -13.4001 +▁osnivačk -13.4002 +komponovan -13.4002 +▁smešno -13.4004 +▁robusn -13.4007 +srpskog -13.4008 +ï -13.401 +▁Patterson -13.401 +▁Portfolio -13.401 +▁Stojiljković -13.401 +▁Tužilac -13.401 +▁Vjerovjesnik -13.401 +▁cavity -13.401 +▁combustion -13.401 +▁doprinijeli -13.401 +▁konzumacije -13.401 +▁linguistic -13.401 +▁nastojanjima -13.401 +▁ogrtač -13.401 +▁stunned -13.401 +▁suspenzije -13.401 +▁zaslađivač -13.401 +▁Armenian -13.401 +▁Bezbednosn -13.401 +▁Southampton -13.401 +▁insajder -13.401 +▁komparativn -13.401 +▁sazrijeva -13.401 +▁warfare -13.401 +▁Wrong -13.401 +▁Simmons -13.401 +▁savjetodavn -13.401 +▁dohotka -13.401 +▁melody -13.401 +▁označiti -13.401 +▁čarapa -13.401 +▁migraine -13.401 +▁čarobni -13.401 +▁građevinarstvu -13.401 +▁Episkop -13.401 +▁kabini -13.401 +▁Eurosong -13.401 +▁Nadežd -13.401 +▁garnish -13.401 +▁pravovaljani -13.401 +▁neugodni -13.401 +▁obaveznu -13.401 +▁Federaciju -13.401 +▁demokratizacij -13.401 +▁Mozart -13.401 +▁coronary -13.4011 +▁Dairy -13.4011 +▁optimizacija -13.4011 +▁taktiku -13.4011 +▁komentarisanja -13.4011 +▁Pandora -13.4011 +▁Emerson -13.4011 +▁Burk -13.4011 +▁Broken -13.4011 +▁kičmu -13.4011 +▁fencing -13.4011 +▁doorstep -13.4011 +▁Litvanije -13.4011 +▁pronadje -13.4011 +▁aktivizam -13.4012 +▁hirurgiju -13.4012 +▁građu -13.4012 +▁Chun -13.4013 +▁Pilates -13.4013 +▁unpaid -13.4013 +▁zavese -13.4013 +▁kablovi -13.4013 +▁biodiversity -13.4013 +oagula -13.4013 +▁Muscle -13.4013 +▁diplomski -13.4014 +▁savršenstva -13.4014 +▁Pregovori -13.4014 +▁Glory -13.4014 +▁Billboard -13.4014 +▁Škotske -13.4015 +▁Superkup -13.4015 +▁landfill -13.4015 +▁uljima -13.4016 +▁artery -13.4016 +▁refuge -13.4017 +▁Needless -13.4017 +▁takmičarskog -13.4018 +▁Somalij -13.4018 +mislja -13.4018 +▁pobrinul -13.4018 +▁skinula -13.4019 +▁jutarnjih -13.402 +▁pijać -13.4021 +▁nebeski -13.4023 +▁pretučen -13.4024 +▁Loading -13.4025 +LOVA -13.4025 +▁trout -13.4026 +▁podnosilac -13.4026 +▁Zelenović -13.4026 +▁injected -13.4027 +▁logorima -13.4028 +▁Skloni -13.4029 +mjesta -13.403 +▁POJ -13.4031 +▁Alexandria -13.4031 +management -13.4031 +religijsk -13.4031 +Herceg -13.4031 +speaking -13.4031 +▁terminated -13.4032 +▁zrelost -13.4034 +▁tanjur -13.4034 +▁išle -13.4035 +▁factual -13.4037 +shelf -13.4037 +▁Gojko -13.4037 +▁Fury -13.4038 +▁literal -13.4038 +▁stotinak -13.4038 +▁VAŠ -13.4038 +▁CFO -13.4039 +▁Brankic -13.4039 +▁1901 -13.4039 +кло -13.404 +▁dobitnica -13.4041 +širine -13.4041 +▁ekspresij -13.4042 +▁lažnu -13.4043 +čvrst -13.4045 +▁probiotik -13.4045 +▁поче -13.4047 +▁donatorsk -13.4049 +▁opredjeljen -13.405 +slugu -13.4055 +Stud -13.4056 +▁fešt -13.4057 +ији -13.4058 +▁Krf -13.406 +colour -13.406 +▁južnog -13.4061 +▁obstruct -13.4064 +▁Weiss -13.4064 +apsolut -13.4065 +▁frk -13.4065 +▁Johnston -13.4065 +Prosvjet -13.4065 +paren -13.4065 +7,8 -13.4066 +▁Derbi -13.4066 +▁lovački -13.4066 +▁|12:05|| -13.4067 +▁Governance -13.4067 +▁Registry -13.4067 +▁Zadovoljstvo -13.4067 +▁consequently -13.4067 +▁contempt -13.4067 +▁discriminate -13.4067 +▁egipatsko -13.4067 +▁geometry -13.4067 +▁insuficijencij -13.4067 +▁karakteristične -13.4067 +▁mnoštva -13.4067 +▁najlakši -13.4067 +▁najzastupljenij -13.4067 +▁nezavisnu -13.4067 +▁obradovao -13.4067 +▁ovosezonsk -13.4067 +▁religiji -13.4067 +▁servicing -13.4067 +▁LeBron -13.4067 +▁Ljubuški -13.4067 +▁Sprinkle -13.4067 +▁antitijela -13.4067 +▁požrtvovan -13.4067 +▁Tuzlu -13.4067 +▁nekolicina -13.4067 +▁ljevičar -13.4067 +▁funkcionalna -13.4067 +▁mlađu -13.4067 +▁Ćetković -13.4067 +▁Šekspir -13.4067 +▁Carnival -13.4067 +▁australsk -13.4067 +▁nasmiješi -13.4067 +▁žetve -13.4067 +▁fungicid -13.4067 +▁kobasica -13.4067 +nterdisciplinarn -13.4067 +▁Buffet -13.4067 +▁ukazivati -13.4067 +▁predstavništva -13.4067 +▁Šengen -13.4067 +.12.2020 -13.4067 +▁Бања -13.4067 +▁Guinea -13.4067 +▁asphalt -13.4067 +▁nezrel -13.4067 +▁Slavoljub -13.4067 +▁pretrpi -13.4067 +▁Suarez -13.4067 +▁mesečne -13.4068 +▁MacBook -13.4068 +▁haotičn -13.4068 +▁rjeđe -13.4068 +▁Područn -13.4068 +8:30 -13.4068 +▁kvartet -13.4068 +▁stopalima -13.4068 +▁warranties -13.4069 +▁uslijediti -13.407 +▁afirmisa -13.407 +▁encompasses -13.407 +▁Pokušal -13.4071 +▁Shelter -13.4071 +▁Umutit -13.4071 +▁mileage -13.4071 +▁Nišlija -13.4071 +▁suknje -13.4071 +▁Radičević -13.4073 +▁uglovni -13.4073 +▁dismissal -13.4073 +.12.2017 -13.4073 +▁Allison -13.4075 +▁20:30 -13.4075 +▁Salkić -13.4075 +▁histories -13.4075 +bubnjevi -13.4076 +▁parasite -13.4076 +▁Zamoli -13.4076 +▁iznimk -13.4076 +▁disposed -13.4077 +Dalmatin -13.4078 +▁udvostru -13.4079 +▁imprint -13.4079 +▁bedtime -13.4079 +▁overweight -13.408 +▁skeleton -13.408 +3.8 -13.408 +▁merged -13.408 +▁narušavaju -13.4082 +▁pruza -13.4082 +communication -13.4083 +▁Stiga -13.4084 +▁fiskalnih -13.4086 +▁premažite -13.4086 +▁zvukove -13.4086 +▁ethic -13.4087 +Microsoft -13.4089 +▁wisely -13.4089 +▁čipova -13.4092 +▁Produkcij -13.4092 +▁turbulent -13.4093 +cliff -13.4093 +▁rasprodat -13.4094 +Donnell -13.4096 +TECH -13.4097 +osigura -13.4097 +Girl -13.4097 +wyer -13.4098 +▁licemer -13.4098 +▁raspolo -13.4099 +▁5:1 -13.4099 +focus -13.4099 +▁stair -13.41 +Hoće -13.41 +▁palub -13.4104 +▁Pobednik -13.4104 +▁topliji -13.4104 +▁servisiranje -13.4104 +▁Tvrtk -13.4105 +▁Pomor -13.4106 +▁ANTI -13.4106 +▁друго -13.4107 +stvene -13.4108 +▁stadij -13.4108 +▁Pagan -13.4109 +hidroksi -13.4109 +▁bazičn -13.4109 +▁thicken -13.4111 +▁Luck -13.4112 +vjerava -13.4114 +▁registarsk -13.4114 +▁southwest -13.4115 +▁isključenje -13.4115 +▁Schm -13.4117 +▁Barbie -13.412 +сов -13.4121 +▁kiselost -13.4121 +▁humorous -13.4124 +ò -13.4124 +▁(1:0) -13.4124 +▁Kragujevčan -13.4124 +▁Najznačajnij -13.4124 +▁Nowadays -13.4124 +▁Prosecutor -13.4124 +▁Ukrajinom -13.4124 +▁butterflies -13.4124 +▁cemetery -13.4124 +▁crowdfunding -13.4124 +▁ispočetka -13.4124 +▁nevakcinisan -13.4124 +▁neverovatna -13.4124 +▁ombudsman -13.4124 +▁povijesne -13.4124 +▁prerequisite -13.4124 +▁terrified -13.4124 +▁ultimativn -13.4124 +▁Brennan -13.4124 +▁Keywords -13.4124 +▁baggage -13.4124 +▁bogoslov -13.4124 +▁cjelodnevn -13.4124 +▁mješavina -13.4124 +▁obezbijede -13.4124 +▁Benedict -13.4125 +▁farmaceutske -13.4125 +▁ispraćaj -13.4125 +▁izrečene -13.4125 +▁univerzalne -13.4125 +▁apoteci -13.4125 +▁jabukovo -13.4125 +.06.2016 -13.4125 +▁menopauze -13.4125 +▁čorba -13.4125 +▁dinamičan -13.4125 +▁produžetka -13.4125 +▁geometric -13.4125 +▁municipalities -13.4125 +▁Cvetanović -13.4125 +▁pavement -13.4125 +▁neispravno -13.4125 +▁emociju -13.4125 +▁Quantum -13.4125 +▁webcam -13.4125 +Camp -13.4125 +▁UCLA -13.4126 +▁persecution -13.4126 +▁uzburka -13.4126 +▁gubitnik -13.4126 +▁adaptiran -13.4126 +▁Jagodina -13.4126 +▁Babylon -13.4126 +▁Negativn -13.4127 +wait -13.4128 +▁obstruction -13.4128 +▁igralištu -13.4128 +▁cupboard -13.4129 +▁Нов -13.4129 +▁thinner -13.4129 +▁dugačka -13.4129 +▁učestalo -13.4129 +▁usavršavanju -13.413 +▁fringe -13.413 +▁žanrova -13.413 +▁ugroženosti -13.413 +▁Willow -13.4131 +▁Nigel -13.4131 +▁šoljice -13.4132 +▁Friedman -13.4132 +▁rasizma -13.4132 +▁Osiguranje -13.4132 +▁mushroom -13.4132 +▁sećanju -13.4134 +▁vegetacij -13.4134 +▁shareholder -13.4134 +▁Galerije -13.4135 +▁Uplat -13.4135 +▁daljinskog -13.4136 +Umjetn -13.4136 +▁Ćur -13.4136 +▁Kurban -13.4137 +ISTE -13.4137 +▁tursko -13.4138 +▁neaktivn -13.4139 +▁Witt -13.414 +▁teammate -13.414 +▁withdrawn -13.414 +▁multimedij -13.4141 +▁profesionalce -13.4141 +▁okretanje -13.4141 +▁signage -13.4143 +▁Brajović -13.4144 +▁uposlenik -13.4145 +▁Croatian -13.4145 +▁stranačkih -13.4146 +Trenutno -13.4146 +▁Odsek -13.4147 +▁Owl -13.4147 +EDA -13.4148 +broken -13.4148 +tolerance -13.4148 +▁Kolon -13.4149 +Zajedno -13.4149 +▁podijum -13.4149 +▁severnoj -13.415 +▁Organizovan -13.415 +lomljen -13.4151 +Vojvod -13.4152 +jeæa -13.4153 +srpske -13.4154 +brejk -13.4154 +дно -13.4154 +▁Basin -13.4156 +▁vizualno -13.4158 +▁dugmeta -13.4158 +▁Nikakv -13.4161 +▁uznemirenost -13.4161 +▁sprovod -13.4163 +▁Garant -13.4165 +0.7 -13.4165 +▁propisuju -13.4166 +▁zec -13.4167 +2.7 -13.4169 +▁CSR -13.417 +▁odlučujuće -13.4174 +govarali -13.4175 +▁Mehmedović -13.4175 +▁0800 -13.4177 +▁doorway -13.4179 +ANSKI -13.4179 +▁ekspertsk -13.418 +▁magnezij -13.4181 +phosph -13.4182 +▁Baghdad -13.4182 +▁Kikinda -13.4182 +▁Perspective -13.4182 +▁Prijepolje -13.4182 +▁Unaprijed -13.4182 +▁Zavičajn -13.4182 +▁beskompromisn -13.4182 +▁catastrophic -13.4182 +▁commodities -13.4182 +▁kišobran -13.4182 +▁neverovatnu -13.4182 +▁retrovizor -13.4182 +▁sunglasses -13.4182 +▁tjelesna -13.4182 +▁unparalleled -13.4182 +▁vodoinstalater -13.4182 +▁Knjigu -13.4182 +▁Mihajla -13.4182 +▁hydration -13.4182 +▁profesiji -13.4182 +▁Atletico -13.4182 +▁Inspekcij -13.4182 +▁Inđija -13.4182 +▁Luksuz -13.4182 +▁započnu -13.4182 +▁koruptivn -13.4182 +▁čimbenik -13.4182 +▁Iskustva -13.4182 +▁nylon -13.4182 +▁emotivnu -13.4182 +▁opterećuju -13.4182 +▁Mozilla -13.4182 +▁ravnomjerno -13.4182 +▁Skoplje -13.4183 +▁Statistika -13.4183 +▁sjemenki -13.4183 +▁nervoze -13.4183 +▁prolaska -13.4183 +▁Mahmud -13.4183 +▁Murinjo -13.4183 +▁ekipno -13.4183 +▁građansku -13.4183 +▁sagradio -13.4183 +▁transkript -13.4183 +▁lobanje -13.4183 +1999 -13.4183 +▁parliamentary -13.4183 +▁Hazard -13.4183 +▁cruelty -13.4183 +▁trešnje -13.4183 +▁Jovović -13.4183 +▁kinesko -13.4184 +▁lenj -13.4184 +▁popratn -13.4185 +▁Maxwell -13.4185 +▁središta -13.4185 +▁predictive -13.4185 +▁Funny -13.4185 +▁Immediately -13.4185 +▁Šćepanović -13.4186 +▁vanjskog -13.4186 +▁Softver -13.4186 +klonjen -13.4186 +▁digestion -13.4186 +▁predsedavajući -13.4187 +▁Stvoritelj -13.4187 +socijalističke -13.4187 +▁medicinal -13.4187 +ordination -13.4188 +▁debela -13.4189 +▁aromu -13.4189 +▁beznačajn -13.4189 +▁masna -13.4189 +▁Šarlot -13.4191 +▁staging -13.4191 +▁osvježi -13.4192 +▁klimi -13.4192 +▁izbjegličk -13.4192 +LIGHT -13.4193 +▁pridaje -13.4193 +▁exploded -13.4193 +državni -13.4194 +▁personalised -13.4195 +▁Dečak -13.4195 +▁puz -13.4196 +▁vazdušnog -13.4196 +▁pametniji -13.4196 +▁obezbjeđenje -13.4196 +▁Banner -13.4196 +▁Žig -13.4196 +▁BMI -13.4197 +▁Hafiz -13.4198 +▁Zadržavam -13.4198 +▁Mahmutović -13.42 +▁Dink -13.42 +▁Aktueln -13.4201 +▁šaku -13.4201 +dahnula -13.4202 +▁Likovn -13.4202 +▁beforehand -13.4202 +oplazm -13.4203 +▁glare -13.4204 +invalid -13.4205 +▁silazi -13.4205 +رَ -13.4206 +▁sporiji -13.4206 +▁najranij -13.4207 +picture -13.4208 +▁14.00 -13.4208 +▁kopnu -13.4209 +▁TELE -13.4209 +▁Zlatnu -13.4211 +▁Dizajniran -13.4212 +▁Franjevačk -13.4213 +▁Bilić -13.4214 +▁Djed -13.4214 +▁tiskan -13.4215 +▁Tudor -13.4216 +Sjaj -13.4217 +▁namešten -13.4218 +▁Šek -13.4218 +▁uzviknu -13.422 +▁исто -13.4221 +Branko -13.4221 +▁Wax -13.4221 +golf -13.4222 +njegov -13.4223 +▁Mahmut -13.4224 +Wire -13.4224 +▁zatvorenici -13.4225 +▁sanjaju -13.4226 +▁Špansk -13.4227 +▁REST -13.4228 +▁diverge -13.4228 +▁Završn -13.4231 +JAVA -13.4232 +▁Hung -13.4232 +▁Plot -13.4232 +▁$250 -13.4233 +zavisno -13.4233 +▁4,7 -13.4233 +produkt -13.4234 +existent -13.4236 +2,00 -13.4237 +brew -13.4237 +▁mantil -13.4238 +njol -13.4239 +živjeti -13.424 +▁mesečni -13.424 +▁Rezolucija -13.424 +▁Silajdžić -13.424 +▁cumulative -13.424 +▁galaksije -13.424 +▁najsavremenije -13.424 +▁nutritious -13.424 +▁povjesničar -13.424 +▁prstohvat -13.424 +▁psychiatric -13.424 +▁vojvotkinj -13.424 +▁četvorica -13.424 +▁Avengers -13.424 +▁ignorant -13.424 +▁izraelskog -13.424 +▁prekretnica -13.424 +▁pronalaska -13.424 +▁Kashmir -13.424 +▁neformalne -13.424 +▁promijene -13.424 +▁suprotne -13.424 +▁infrastrukturi -13.424 +▁Pouzdan -13.424 +▁nevladinog -13.424 +▁OTVOREN -13.4241 +▁Sacred -13.4241 +▁Rodgers -13.4241 +▁silovao -13.4241 +.11.2021 -13.4241 +▁(1997) -13.4241 +▁Ustvari -13.4241 +▁prodire -13.4241 +▁Bruklin -13.4241 +▁najsitnij -13.4241 +▁овај -13.4241 +▁pretpostavljen -13.4241 +▁Chennai -13.4241 +▁Edmund -13.4241 +▁cyclists -13.4241 +▁uspomenu -13.4241 +▁buddies -13.4241 +▁prolongira -13.4241 +▁chloride -13.4241 +▁oduzela -13.4241 +▁polovici -13.4241 +▁Victim -13.4241 +▁interpersonal -13.4241 +▁najvišu -13.4241 +▁garaži -13.4241 +▁intercourse -13.4241 +▁tjednu -13.4241 +▁procenjuju -13.4241 +▁shimmer -13.4242 +▁Bavarsk -13.4242 +▁Achievement -13.4242 +▁pozajmicu -13.4242 +▁Chapman -13.4242 +▁osamostal -13.4242 +▁sputava -13.4243 +▁Graph -13.4243 +▁mirovanja -13.4244 +▁opljačkan -13.4244 +▁Paypal -13.4244 +рана -13.4245 +▁POSLA -13.4245 +▁fermentation -13.4246 +▁marginama -13.4246 +▁lamel -13.4246 +▁loaf -13.4246 +▁Kuha -13.4246 +▁poigrava -13.4246 +▁BILO -13.4247 +▁BACK -13.4248 +▁signalizira -13.4249 +▁provlači -13.4249 +▁jugoslovenskog -13.4249 +▁premješta -13.425 +HAM -13.425 +▁sopran -13.4251 +▁rezult -13.4252 +▁vaze -13.4252 +▁compell -13.4252 +▁improvizovan -13.4253 +▁Sretan -13.4253 +duže -13.4253 +croft -13.4253 +порт -13.4253 +кон -13.4254 +▁PARA -13.4254 +▁whispered -13.4255 +▁10000 -13.4255 +880 -13.4255 +▁Proven -13.4255 +▁Gong -13.4255 +▁brušen -13.4255 +▁svirke -13.4255 +▁Richter -13.4255 +▁Realty -13.4256 +▁hirurško -13.4256 +Down -13.4256 +▁pogodilo -13.4257 +▁edukativnih -13.4258 +▁pozadine -13.4258 +▁predsjeda -13.4258 +▁osvajanju -13.4258 +▁Službenici -13.4259 +▁grčka -13.4259 +▁PIB -13.4259 +▁lokalizovan -13.4261 +▁pravičn -13.4262 +▁povjerenju -13.4263 +Ovdje -13.4263 +traditional -13.4263 +7,5 -13.4263 +Ostale -13.4264 +Connor -13.4264 +dollar -13.4264 +Zlatni -13.4264 +Mnogo -13.4264 +▁potkopa -13.4265 +instagram -13.4266 +▁Krajini -13.4267 +▁800.000 -13.4268 +4.7 -13.4268 +▁servisira -13.4269 +▁asfaltiranje -13.427 +▁Andrićev -13.427 +▁zlostavljan -13.4271 +▁razradi -13.4271 +▁slack -13.4272 +▁Snag -13.4273 +▁Naučite -13.4273 +▁kompleksnost -13.4274 +kapsul -13.4275 +▁Trak -13.4275 +nadzor -13.4276 +oteci -13.4277 +▁šasij -13.4278 +▁joyful -13.4278 +▁Istraživačk -13.4279 +▁kuge -13.4279 +▁aktualno -13.4281 +bbie -13.4283 +▁utrob -13.4285 +▁dekade -13.4286 +▁razvrsta -13.4287 +funkcional -13.4288 +▁hospitalizacij -13.4289 +▁primijeni -13.4289 +▁bravo -13.4289 +▁ligašk -13.4291 +Novosadsk -13.4291 +▁Izazov -13.4292 +▁Faust -13.4292 +Medic -13.4296 +▁synchro -13.4297 +▁prometovan -13.4297 +▁luster -13.4298 +Najvažnij -13.4299 +▁pneumo -13.4299 +▁grievance -13.4299 +î -13.4299 +▁Najstariji -13.4299 +▁Ponedeljak -13.4299 +▁SKANDAL -13.4299 +▁Trenutna -13.4299 +▁krijumčarenja -13.4299 +▁navigaciju -13.4299 +▁obljetnice -13.4299 +▁prevazilaženje -13.4299 +▁rectangular -13.4299 +▁sluzokože -13.4299 +▁toleranciju -13.4299 +▁verodostojn -13.4299 +▁Švedsku -13.4299 +▁Aussie -13.4299 +▁Ekskluzivn -13.4299 +▁barijeru -13.4299 +▁matematiku -13.4299 +▁podružnica -13.4299 +▁staggering -13.4299 +▁Požega -13.4299 +▁Xperia -13.4299 +▁YORK -13.4299 +▁strankom -13.4299 +▁točkovima -13.4299 +▁Bošnjačko -13.4299 +▁Korištenje -13.4299 +▁drvetu -13.4299 +▁imaginarn -13.4299 +▁pepeo -13.4299 +▁Davies -13.4299 +▁kompatibilnost -13.4299 +▁locksmith -13.4299 +▁susreli -13.4299 +▁bradavica -13.4299 +▁konverzije -13.4299 +▁clinicians -13.4299 +▁избор -13.4299 +▁Finnish -13.43 +▁stimulišu -13.43 +▁potopljen -13.43 +▁bronzane -13.43 +▁Virdži -13.43 +EEN -13.43 +▁multilateral -13.43 +▁groundbreaking -13.43 +▁aloud -13.43 +▁Adrijan -13.43 +▁Akcioni -13.43 +▁fotku -13.43 +▁boračkih -13.43 +▁plumber -13.4301 +▁stakleno -13.4301 +▁vosak -13.4301 +▁13% -13.4301 +▁zdanje -13.4302 +▁Suđenje -13.4302 +▁otiska -13.4302 +▁electronically -13.4302 +▁privremenu -13.4303 +▁Koriste -13.4303 +▁neovisnost -13.4304 +▁oblikovati -13.4304 +вају -13.4304 +▁2,9 -13.4305 +▁Dimitrija -13.4306 +▁epitel -13.4306 +▁campsite -13.4307 +▁ispolji -13.4307 +administrativnih -13.4308 +▁PPC -13.4308 +▁Chaos -13.4309 +▁korpe -13.4309 +▁Musić -13.4309 +▁namjesti -13.431 +0.2 -13.431 +▁kotorsk -13.4311 +▁Tužn -13.4311 +cevic -13.4312 +4-7 -13.4312 +▁spekulacija -13.4315 +▁organizmi -13.4317 +▁DANI -13.4318 +▁omekšava -13.4319 +рија -13.4319 +▁konzervativno -13.432 +employment -13.4321 +▁neboder -13.4321 +▁Reese -13.4322 +▁psihijatr -13.4322 +▁diplomatskog -13.4323 +▁gluv -13.4324 +▁tašn -13.4326 +▁Peach -13.4326 +▁RAF -13.4327 +▁RTB -13.4327 +IZAM -13.4328 +forward -13.4328 +▁vetrovi -13.433 +▁Sokolović -13.433 +Obavezn -13.4332 +▁napeto -13.4333 +▁sumnjiče -13.4334 +▁Ljiljan -13.4339 +themed -13.4339 +▁nektar -13.434 +▁chatter -13.4341 +NESS -13.4341 +▁Analog -13.4341 +▁JUN -13.4342 +▁melem -13.4345 +▁accidental -13.4346 +▁čežnj -13.4346 +▁glove -13.4347 +▁netačno -13.4348 +▁azijsko -13.4351 +▁Experiment -13.4353 +▁PROIZVODI -13.4355 +▁grejač -13.4355 +predjelj -13.4355 +▁incest -13.4355 +▁Collaborat -13.4356 +▁uspravno -13.4358 +▁Aristotel -13.4358 +▁Blizzard -13.4358 +▁Scandinavia -13.4358 +▁Stuttgart -13.4358 +▁Tiffany -13.4358 +▁faucet -13.4358 +▁magnituda -13.4358 +▁najnaprednij -13.4358 +▁pospešuje -13.4358 +▁stoljećima -13.4358 +▁učestvovaće -13.4358 +】 -13.4358 +ב -13.4358 +▁Republikom -13.4358 +▁nedoumica -13.4358 +▁Surrey -13.4358 +▁dvojici -13.4358 +▁tkivu -13.4358 +▁autonomije -13.4358 +▁distanca -13.4358 +▁infrared -13.4358 +▁rastojanje -13.4358 +▁ponegde -13.4358 +▁predgrađu -13.4358 +▁mučnine -13.4358 +▁svibnju -13.4358 +▁Đedović -13.4358 +▁стр -13.4358 +▁Aleksandre -13.4358 +▁Daughter -13.4358 +▁sretnu -13.4358 +.09.2021 -13.4358 +▁Bahrein -13.4358 +.06.2021 -13.4358 +▁Wholesale -13.4358 +▁pomaganje -13.4358 +▁thyroid -13.4358 +schaft -13.4358 +▁Wolves -13.4358 +▁zatrpan -13.4358 +▁nesretno -13.4358 +▁chapel -13.4358 +▁marital -13.4358 +▁dekoraciju -13.4359 +▁točkove -13.4359 +▁heightened -13.4359 +▁casualties -13.4359 +▁degradira -13.4359 +▁spomenuta -13.4359 +▁strojeva -13.4359 +▁overdose -13.4359 +▁kantonalnog -13.4359 +▁pinpoint -13.4359 +▁gutljaj -13.436 +▁Osoblje -13.436 +▁ukrali -13.436 +▁resignation -13.4361 +▁fontane -13.4361 +.01.2017 -13.4361 +▁tempting -13.4362 +▁Allied -13.4362 +▁вам -13.4363 +▁koautor -13.4363 +▁lancima -13.4363 +▁tenkovi -13.4364 +▁ogledalu -13.4364 +▁intrigued -13.4365 +▁Alpine -13.4365 +▁Atanas -13.4366 +▁spavaću -13.4367 +▁inherently -13.4367 +▁Jakob -13.437 +▁час -13.4371 +▁zahvalnice -13.4371 +above -13.4371 +▁ublaže -13.4372 +politic -13.4372 +▁zasađen -13.4372 +▁sjeo -13.4372 +▁Lawson -13.4373 +▁oversized -13.4374 +▁smišljen -13.4375 +▁Teatr -13.4378 +▁podneva -13.4379 +▁wearable -13.438 +▁Tinto -13.438 +Method -13.4381 +document -13.4381 +▁Plac -13.4383 +пада -13.4383 +▁zaleđen -13.4383 +▁Margo -13.4383 +▁Vijest -13.4389 +(5) -13.4389 +▁nikotin -13.4389 +▁spektakularni -13.439 +/12/201 -13.439 +▁Doček -13.4391 +▁Panter -13.4392 +Zaista -13.4392 +▁geometrij -13.4393 +пред -13.4393 +obzir -13.4395 +izovala -13.4396 +▁PAP -13.4397 +▁trul -13.4398 +0,5 -13.4398 +▁Би -13.4401 +.08|| -13.4402 +▁Grenel -13.4404 +▁Cvijet -13.4404 +▁vršioc -13.4407 +▁opasniji -13.4408 +▁вели -13.4409 +▁breakout -13.4409 +tegnuti -13.4412 +▁agens -13.4413 +▁populističk -13.4414 +▁repel -13.4415 +▁Olimpik -13.4415 +▁obrazuje -13.4415 +Martin -13.4416 +▁sterilizacij -13.4416 +▁epilepsij -13.4417 +▁vulnerabilities -13.4417 +▁Administrativn -13.4417 +▁Beyonce -13.4417 +▁Bešiktaš -13.4417 +▁Cyprus -13.4417 +▁Nielsen -13.4417 +▁Shutterstock -13.4417 +▁Wolfgang -13.4417 +▁facilitator -13.4417 +▁inspirisal -13.4417 +▁intimidating -13.4417 +▁lucrative -13.4417 +▁occupant -13.4417 +▁pedijatar -13.4417 +▁percepcija -13.4417 +▁redoslijed -13.4417 +▁remnant -13.4417 +▁residual -13.4417 +▁satisfactory -13.4417 +▁vicinity -13.4417 +▁započinju -13.4417 +▁amusement -13.4417 +▁stopostotn -13.4417 +▁Čengić -13.4417 +▁emigracij -13.4417 +▁sudbinom -13.4417 +▁modalitet -13.4417 +▁tematikom -13.4417 +▁žrtvovan -13.4417 +▁immersive -13.4417 +▁Maestro -13.4417 +▁atrakcije -13.4417 +▁akreditacije -13.4417 +▁preplavljen -13.4417 +▁praktikuje -13.4417 +▁nepotrebne -13.4417 +▁katarakt -13.4417 +▁Sjajno -13.4417 +▁napomena -13.4417 +▁yummy -13.4417 +▁pršut -13.4417 +▁štivo -13.4417 +▁izvrsna -13.4417 +▁obliged -13.4417 +▁posećuje -13.4417 +▁Crvenk -13.4417 +▁budvansk -13.4418 +▁harizm -13.4418 +▁recesije -13.4418 +▁Lotus -13.4418 +▁socijalizma -13.4418 +▁variability -13.4418 +▁ugraditi -13.4418 +Merhamet -13.4418 +▁izbris -13.4418 +▁interception -13.4419 +▁Vinyl -13.4419 +▁masline -13.4419 +▁Fleming -13.4419 +▁Bowie -13.4419 +▁Webinar -13.442 +▁Cairo -13.442 +▁zvuče -13.442 +▁vođu -13.442 +▁siromašno -13.442 +▁pomeranje -13.4421 +▁reflex -13.4421 +▁obezbjeđenja -13.4421 +▁drastic -13.4421 +▁ushićen -13.4421 +▁3,8 -13.4421 +▁manjinska -13.4422 +▁salsa -13.4422 +▁Hasanović -13.4422 +▁odrastanje -13.4423 +▁Francesco -13.4423 +▁rethink -13.4424 +▁nasleđu -13.4424 +9.95 -13.4424 +▁izbace -13.4425 +▁Conflict -13.4426 +▁krucijal -13.4426 +▁agende -13.4427 +▁mound -13.4427 +▁Teška -13.4428 +▁Tripoli -13.4428 +▁Jolie -13.4429 +▁Dancing -13.4429 +▁Chap -13.443 +▁kontroverzno -13.4431 +▁Cody -13.4432 +▁IVF -13.4432 +▁albanskog -13.4434 +border -13.4436 +▁Viola -13.4437 +▁distal -13.4437 +▁KADA -13.4438 +Commerce -13.4438 +aktivan -13.4438 +broad -13.4439 +▁Vinkovci -13.4439 +▁diplomirala -13.4439 +▁Prilog -13.4439 +▁COLL -13.444 +▁Teach -13.444 +Facebook -13.444 +▁Grgur -13.4441 +▁HTV -13.4441 +▁Predstavljanje -13.4443 +▁spriječe -13.4444 +priced -13.4444 +▁Де -13.4445 +▁Glavaš -13.4446 +▁pomažući -13.4446 +▁pretplatnik -13.4447 +▁mikroskop -13.4449 +▁nastavnica -13.4451 +▁RUSK -13.4452 +▁samovolj -13.4453 +infrastrukturnih -13.4453 +▁Candle -13.4454 +▁Indonesian -13.4455 +1/4 -13.4455 +▁Spell -13.4456 +Oluja -13.4456 +▁artiljerij -13.4458 +dream -13.4458 +▁izvršavanje -13.4459 +▁Bolji -13.4459 +▁кре -13.446 +▁pravednost -13.446 +▁zagrijavanje -13.4463 +▁epidemiološki -13.4466 +▁ekspresno -13.4467 +друг -13.4469 +▁Grape -13.447 +▁istraziva -13.447 +▁rož -13.447 +▁eject -13.4471 +6-5 -13.4474 +▁Berik -13.4474 +1994 -13.4474 +خ -13.4476 +▁Fernandez -13.4476 +▁GROUP -13.4476 +▁Jahorina -13.4476 +▁Kembridž -13.4476 +▁advising -13.4476 +▁ambalaža -13.4476 +▁bubuljice -13.4476 +▁cjevovod -13.4476 +▁gourmet -13.4476 +▁međuljudski -13.4476 +▁psihijatar -13.4476 +▁reprezentativk -13.4476 +▁svedočanstv -13.4476 +▁tjeskob -13.4476 +▁tvrtku -13.4476 +▁vakcinom -13.4476 +▁vanzemaljc -13.4476 +▁wreath -13.4476 +▁zanemaruje -13.4476 +【 -13.4476 +▁jubilarni -13.4476 +▁imminent -13.4476 +▁pristižu -13.4476 +▁empirijsk -13.4476 +▁nedostižn -13.4476 +▁retiring -13.4476 +▁Omogućava -13.4476 +▁iskusnog -13.4477 +▁Evident -13.4477 +▁Zombie -13.4477 +▁sinhronizacij -13.4477 +▁stagnira -13.4477 +▁kabinu -13.4477 +▁Elijah -13.4477 +▁prilicno -13.4477 +▁dvomeč -13.4477 +▁Ograničen -13.4477 +▁odricanja -13.4477 +▁Kuwait -13.4477 +▁Potato -13.4477 +▁livade -13.4477 +▁uncertainties -13.4477 +▁takoreći -13.4477 +▁umnožava -13.4477 +/05/202 -13.4477 +▁Henrik -13.4477 +▁brokoli -13.4477 +▁reiterate -13.4477 +▁skrivena -13.4477 +▁valutn -13.4478 +▁Vujanović -13.4478 +▁isecite -13.4478 +▁blueprint -13.4478 +▁osiguravajući -13.4478 +▁letelice -13.4478 +▁закон -13.4478 +▁prijatna -13.4478 +▁Gluten -13.4478 +▁Privatno -13.4478 +▁Binary -13.4479 +▁prijepodne -13.4479 +▁akademsku -13.4479 +▁mediteranski -13.4479 +▁mailbox -13.448 +▁Wellington -13.448 +▁energetskoj -13.448 +▁millionaire -13.448 +▁ASUS -13.448 +▁marljivo -13.448 +▁preleža -13.448 +▁učionici -13.448 +▁Bunny -13.4481 +▁courtroom -13.4481 +▁battlefield -13.4481 +▁pelena -13.4481 +▁Buddy -13.4481 +▁japanska -13.4482 +▁cunami -13.4482 +▁rakiju -13.4483 +▁leash -13.4483 +summer -13.4483 +▁specialties -13.4484 +▁Ovogodišnja -13.4485 +▁scour -13.4485 +▁obrtaja -13.4486 +▁veslač -13.4487 +▁zanimljiviji -13.4487 +▁vitality -13.4487 +▁Jurij -13.4488 +▁Pojava -13.4489 +▁Povremeno -13.449 +▁gnev -13.449 +▁Krevet -13.449 +▁Crash -13.4491 +▁čitaoca -13.4491 +▁faraon -13.4491 +▁takeaway -13.4492 +▁sniženja -13.4494 +▁outgoing -13.4496 +▁Eliot -13.4496 +▁putarine -13.4497 +▁Redovni -13.4497 +▁kanadsko -13.4497 +▁Šumar -13.4498 +Kultur -13.45 +▁strujn -13.4502 +▁propalo -13.4502 +privatno -13.4503 +Since -13.4504 +▁Eugen -13.4504 +daily -13.4505 +▁otklonjen -13.4508 +▁lepez -13.4511 +▁pametnije -13.4513 +▁Grind -13.4515 +▁preispitiva -13.4517 +Center -13.4519 +fašisti -13.452 +▁Chick -13.452 +▁enforc -13.4522 +▁једин -13.4522 +▁jednakih -13.4522 +▁600.000 -13.4523 +▁reinvent -13.4526 +▁confuse -13.4526 +▁Kristov -13.4527 +0:30 -13.4527 +▁Bakar -13.4528 +intenziv -13.4529 +▁assassin -13.4533 +врат -13.4536 +Disciplin -13.4536 +Ĺ -13.4536 +̋ -13.4536 +▁Bekvalac -13.4536 +▁Inventory -13.4536 +▁Mešihat -13.4536 +▁Pedagošk -13.4536 +▁Supplies -13.4536 +▁Veterinary -13.4536 +▁annoyed -13.4536 +▁beskućnik -13.4536 +▁izazvale -13.4536 +▁perspektivi -13.4536 +▁podsjetnik -13.4536 +▁recepciji -13.4536 +▁territorial -13.4536 +▁буду -13.4536 +▁Mogucnost -13.4536 +▁Reservation -13.4536 +▁Tanzania -13.4536 +▁intimacy -13.4536 +▁sagorijeva -13.4536 +▁Đurišić -13.4536 +▁Oksford -13.4536 +▁liberation -13.4536 +▁Fischer -13.4536 +▁drizzle -13.4536 +▁multiply -13.4536 +▁primorju -13.4536 +▁Pogodan -13.4536 +▁čokoladi -13.4536 +نَّ -13.4536 +▁bathtub -13.4537 +▁zrele -13.4537 +▁interaktivno -13.4537 +▁Okvirn -13.4537 +▁erectile -13.4537 +▁komšinic -13.4537 +▁građanke -13.4537 +▁subconscious -13.4537 +▁zrači -13.4537 +▁tikvica -13.4537 +▁вас -13.4537 +▁MySQL -13.4537 +▁faktura -13.4537 +NEW -13.4537 +▁junction -13.4537 +▁prsima -13.4537 +▁noticing -13.4538 +▁classmates -13.4538 +▁ugroze -13.4539 +▁njemack -13.4539 +▁optimism -13.4539 +▁courtyard -13.4539 +▁neistina -13.4539 +▁poriv -13.4539 +▁shto -13.4539 +▁Njemack -13.4539 +▁webshop -13.454 +Format -13.4541 +▁osvojivši -13.4541 +▁Laurie -13.4541 +Jugosloven -13.4542 +▁Cutting -13.4543 +▁nasmijan -13.4544 +▁nipošto -13.4544 +▁spratova -13.4544 +▁ovogodišnju -13.4545 +▁simulated -13.4545 +ČAR -13.4545 +▁ispitivanju -13.4547 +▁cigle -13.4548 +▁plaster -13.4548 +▁pallet -13.4549 +▁staničn -13.4549 +▁morskog -13.455 +▁hostage -13.455 +▁Photographer -13.455 +brush -13.4551 +▁Kriza -13.4551 +▁Javlja -13.4551 +▁postupanju -13.4551 +▁entirety -13.4552 +CENT -13.4554 +▁iznela -13.4554 +▁Jungle -13.4554 +službe -13.4556 +▁Carmen -13.4557 +▁smjesa -13.456 +together -13.456 +director -13.4561 +William -13.4561 +Partizan -13.4561 +Number -13.4561 +▁putničkog -13.4562 +▁standout -13.4562 +općen -13.4566 +▁višednevn -13.4568 +▁PST -13.4568 +▁Penis -13.4569 +DVD -13.4574 +▁operacion -13.4576 +▁spavaći -13.4578 +▁Splitsko -13.4579 +▁Slađan -13.4579 +odnos -13.4581 +▁Arnaut -13.4582 +▁Atletik -13.4582 +Pacifik -13.4584 +lijevanje -13.4589 +Miloš -13.4589 +hydroxy -13.459 +Dark -13.459 +▁Bećir -13.4592 +▁Wong -13.4595 +txt -13.4595 +zvezd -13.4596 +neretvanskog -13.4597 +▁Kathleen -13.4597 +▁Paralelno -13.4597 +▁advocating -13.4597 +▁distributing -13.4597 +▁embellish -13.4597 +▁gramofon -13.4597 +▁introductory -13.4597 +▁nagoveštava -13.4597 +▁neprijatne -13.4597 +▁plethora -13.4597 +▁poluostrvu -13.4597 +▁samoubistva -13.4597 +▁započinjanj -13.4597 +▁Štutgart -13.4597 +▁DRUGI -13.4597 +▁Ekvador -13.4597 +▁Peterburgu -13.4597 +▁rhyme -13.4597 +▁zbližava -13.4597 +▁kobasice -13.4597 +▁muskarci -13.4597 +▁klitoris -13.4597 +▁suprotna -13.4597 +▁opsednut -13.4597 +▁ubojstva -13.4597 +▁glatki -13.4597 +▁Stamben -13.4597 +▁kognitivni -13.4597 +▁Vuletić -13.4597 +▁Boulder -13.4597 +▁swamp -13.4597 +▁sterling -13.4597 +▁narrator -13.4597 +▁ustručava -13.4597 +▁ofanziva -13.4597 +▁нешто -13.4597 +▁attentive -13.4597 +▁potraje -13.4597 +▁potekla -13.4597 +▁opstane -13.4597 +▁Surround -13.4597 +▁neprestan -13.4597 +▁metodologija -13.4597 +▁Injury -13.4597 +▁kefir -13.4597 +▁regulating -13.4597 +▁Nejmar -13.4598 +▁rastereti -13.4598 +▁Litvaniji -13.4598 +▁Bedford -13.4598 +▁Mueller -13.4598 +filter -13.4598 +Hrabr -13.4598 +▁Dolby -13.4598 +▁odeljak -13.4599 +▁Filipino -13.4599 +▁skakač -13.46 +stitucija -13.46 +volume -13.46 +▁okupe -13.4601 +▁LUKA -13.4601 +▁bestselling -13.4601 +▁Energija -13.4601 +▁pustinji -13.4602 +▁korpa -13.4602 +▁Kitty -13.4602 +▁Elektrotehničk -13.4604 +▁grupnoj -13.4604 +▁opciji -13.4605 +▁Libije -13.4605 +▁kilovat -13.4605 +televizije -13.4605 +▁cjelokup -13.4605 +beležen -13.4605 +▁grandson -13.4606 +времен -13.4606 +▁balističk -13.4607 +▁Tinder -13.4607 +▁Podeli -13.4608 +▁jutarnji -13.4608 +▁Lifetime -13.4609 +▁dimljen -13.4609 +▁Reception -13.4609 +▁sijalica -13.4609 +▁Putting -13.4609 +1:45 -13.461 +▁aromatic -13.461 +7-0 -13.461 +▁divljač -13.461 +▁tačnu -13.4611 +▁Pajić -13.4613 +▁Ervin -13.4613 +كَ -13.4613 +▁RAW -13.4613 +▁FTP -13.4614 +0.8 -13.4616 +▁inovacion -13.4618 +▁prosleđen -13.4619 +▁robova -13.4619 +▁ofarba -13.4619 +▁frizerski -13.4619 +Clean -13.462 +Pravda -13.4621 +whether -13.4621 +apartman -13.4622 +▁besmisl -13.4622 +Express -13.4624 +▁Sunčan -13.4624 +▁reactive -13.4624 +▁tornja -13.4625 +grejati -13.4626 +šiven -13.4627 +zanimljiv -13.4628 +▁reptil -13.4628 +▁Samobor -13.4629 +believe -13.463 +talent -13.4632 +▁kozm -13.4634 +kršćansk -13.4636 +▁umanjenje -13.4637 +▁prethodnik -13.4638 +{} -13.4638 +plicira -13.4646 +▁Пред -13.4647 +▁besprekorn -13.4647 +▁Strašn -13.4648 +predstav -13.4648 +čnjaci -13.4649 +▁alpsk -13.465 +▁gorko -13.4651 +IJSKI -13.4653 +racial -13.4654 +▁derivati -13.4656 +Sejdić -13.4656 +▁suprotnost -13.4656 +▁Dizdar -13.4657 +▁ženstvenost -13.4657 +Ü -13.4657 +▁Budimpešte -13.4657 +▁Cynthia -13.4657 +▁Increasing -13.4657 +▁Preuzeto -13.4657 +▁Recogniz -13.4657 +▁catastrophe -13.4657 +▁doprinelo -13.4657 +▁gostoprimstvo -13.4657 +▁nuklearnu -13.4657 +▁podsticanja -13.4657 +▁posvuda -13.4657 +▁predsjedništva -13.4657 +▁virtuoz -13.4657 +▁Švicarska -13.4657 +▁žumance -13.4657 +▁Garrett -13.4657 +▁aquarium -13.4657 +▁christian -13.4657 +▁elusive -13.4657 +▁najopasniji -13.4657 +▁troubling -13.4657 +▁zaslužna -13.4657 +▁Nestorović -13.4657 +▁mitigation -13.4657 +▁prostitute -13.4657 +▁circulate -13.4657 +▁edukator -13.4657 +▁identifikacion -13.4657 +▁poražavajuć -13.4657 +▁Čitluk -13.4657 +▁intenzivna -13.4657 +▁deklasira -13.4657 +▁inovativna -13.4657 +▁reconcile -13.4657 +▁међу -13.4657 +▁Forecast -13.4657 +▁odustanu -13.4657 +▁utroška -13.4657 +▁Smešten -13.4657 +▁Vukadinović -13.4657 +▁pobrinuo -13.4657 +▁proizašl -13.4657 +▁Smajić -13.4657 +▁onakav -13.4657 +▁emotivna -13.4657 +▁imenovati -13.4657 +pedia -13.4657 +▁Variety -13.4657 +колико -13.4658 +▁množi -13.4658 +▁potrebom -13.4658 +▁YEAR -13.4658 +▁TODAY -13.4658 +▁brainstorm -13.4658 +▁ekumen -13.4658 +▁legendarne -13.4658 +▁trubač -13.4658 +▁hemoterapij -13.4658 +▁billionaire -13.4659 +▁Bradford -13.4659 +▁telesna -13.4659 +▁Sew -13.4659 +▁iskopavanja -13.4659 +▁savjetovanja -13.4659 +▁drugoligaš -13.4659 +▁solemn -13.4659 +▁tematske -13.4659 +▁vizn -13.4659 +هِ -13.4659 +▁promjenom -13.466 +▁maritime -13.466 +▁глав -13.466 +▁ručne -13.4661 +▁PRVA -13.4661 +▁tipičan -13.4661 +gradonačel -13.4661 +▁Pecite -13.4661 +▁Kapital -13.4661 +▁sistematsko -13.4662 +▁Output -13.4662 +▁Pazovi -13.4663 +▁Magnus -13.4663 +▁rukovodioca -13.4663 +▁pretoči -13.4663 +▁Fiona -13.4663 +▁Stanari -13.4664 +▁Vjerova -13.4665 +▁Svejedno -13.4666 +8-9 -13.4666 +next -13.4666 +ВА -13.4667 +▁carving -13.4667 +▁Uzimajuć -13.4668 +▁zbirci -13.4668 +▁Essentially -13.4669 +▁Dobijen -13.467 +▁špric -13.4671 +▁drugostepen -13.4671 +▁propadanja -13.4672 +▁optimizovan -13.4672 +▁Histori -13.4672 +▁CAT -13.4673 +▁tablu -13.4675 +9.7 -13.4675 +▁RAID -13.4676 +▁нека -13.4676 +▁Nenadić -13.4676 +▁Sitija -13.4676 +▁sensational -13.4677 +▁starred -13.4679 +▁STEP -13.4679 +▁dalekovod -13.4681 +ekonomsko -13.4682 +▁Preserve -13.4682 +Objavljeno -13.4682 +between -13.4682 +Zeleni -13.4684 +Update -13.4684 +campus -13.4687 +ın -13.4688 +pročitaj -13.469 +80.000 -13.4691 +actual -13.4692 +8.6 -13.4697 +▁MAY -13.4697 +▁raft -13.4698 +Matt -13.4698 +4.99 -13.4699 +truck -13.47 +ipajte -13.47 +▁gitari -13.4701 +▁sebičn -13.4702 +hvaća -13.4703 +овима -13.4703 +▁computational -13.4707 +▁Ди -13.4707 +▁harmonic -13.4708 +▁agrar -13.4709 +brizga -13.471 +license -13.4711 +▁Vranješ -13.4711 +EET -13.4712 +detect -13.4713 +▁arheološko -13.4714 +DRŽAVA -13.4714 +▁senzibil -13.4716 +▁Correct -13.4717 +▁Schr -13.4718 +▁|02:30|| -13.4718 +​ -13.4718 +▁Cottage -13.4718 +▁Konferencije -13.4718 +▁Preduzeća -13.4718 +▁Retirement -13.4718 +▁Sveučilište -13.4718 +▁Universities -13.4718 +▁Volodimir -13.4718 +▁calculating -13.4718 +▁demokracije -13.4718 +▁devojkom -13.4718 +▁downstairs -13.4718 +▁odličja -13.4718 +▁pertinent -13.4718 +▁raspodjelu -13.4718 +▁simultan -13.4718 +▁Banjaluku -13.4718 +▁estimation -13.4718 +▁pogoduje -13.4718 +▁retorika -13.4718 +▁železnice -13.4718 +▁Shelby -13.4718 +▁cigaretu -13.4718 +▁parmezan -13.4718 +▁Escort -13.4718 +▁leskovačk -13.4718 +▁očigledna -13.4718 +▁popraćen -13.4718 +▁senzacija -13.4718 +▁trombocit -13.4718 +▁Prijović -13.4718 +▁SharePoint -13.4718 +▁depilacij -13.4718 +.08.2019 -13.4718 +▁specifičnu -13.4718 +▁seksualna -13.4718 +▁rezervno -13.4718 +▁Evropom -13.4719 +▁Horgoš -13.4719 +▁stabilizira -13.4719 +▁Tradicionalni -13.4719 +▁Apache -13.4719 +▁Flint -13.4719 +▁gornjoj -13.4719 +▁katkad -13.4719 +▁Prezent -13.4719 +▁Etsy -13.4719 +▁translator -13.4719 +▁odlučan -13.4719 +▁škrip -13.4719 +▁USLOVI -13.472 +▁french -13.472 +▁gramatike -13.472 +stočne -13.472 +▁vladajućih -13.472 +▁žitelji -13.472 +▁otopljen -13.472 +▁sensing -13.472 +▁šuška -13.472 +▁empowerment -13.4721 +▁16:30 -13.4721 +alarmantn -13.4721 +▁softball -13.4721 +▁Županije -13.4721 +▁snašao -13.4721 +▁Komentira -13.4722 +▁medijskoj -13.4722 +▁slikarstva -13.4722 +▁sebuma -13.4723 +▁Hanover -13.4723 +▁Disneyland -13.4723 +▁obuze -13.4724 +▁surfer -13.4724 +▁trgovanju -13.4725 +▁džepove -13.4725 +▁toughest -13.4726 +▁vitešk -13.4726 +▁1902 -13.4726 +▁nježni -13.4726 +▁postcard -13.4727 +▁Coupe -13.4727 +▁razbio -13.4728 +▁trump -13.4728 +▁Postao -13.4728 +▁prizmu -13.4728 +▁recidiv -13.4728 +▁prohibition -13.4728 +▁Misliš -13.4731 +▁izdašn -13.4731 +▁prestanku -13.4731 +▁Tulsa -13.4732 +▁VELIKI -13.4732 +▁kradu -13.4733 +▁tucked -13.4735 +▁Užas -13.4736 +▁Biber -13.4737 +▁vječit -13.4741 +consuming -13.4744 +compatible -13.4744 +commercial -13.4744 +oktobra -13.4744 +Njegov -13.4744 +qualified -13.4744 +▁ljubaznost -13.4744 +Smith -13.4744 +material -13.4745 +maybe -13.4747 +▁Venecijansk -13.4748 +▁predočen -13.4749 +▁Combat -13.4749 +Prva -13.4751 +▁pismenost -13.4751 +▁Praktično -13.4752 +▁Michelin -13.4754 +▁dobrotvor -13.4759 +▁Graz -13.476 +▁vektor -13.4761 +ZET -13.4761 +▁pothvat -13.4761 +▁Služi -13.4763 +0.9 -13.4765 +▁Serie -13.4766 +▁prezentuje -13.4767 +▁voc -13.4769 +▁stumble -13.477 +▁bujic -13.477 +CLE -13.4772 +Ђ -13.4775 +▁pripisuju -13.4775 +istraživački -13.4776 +▁09:4 -13.4776 +▁humanist -13.4777 +υ -13.4779 +ř -13.4779 +▁Gibraltar -13.4779 +▁congestion -13.4779 +▁dehidrira -13.4779 +▁jubilarno -13.4779 +▁spectacle -13.4779 +▁zanemarljiv -13.4779 +▁Sunshine -13.4779 +▁Vuitton -13.4779 +▁chassis -13.4779 +▁ergonomsk -13.4779 +▁vežbu -13.4779 +▁visokoocenjen -13.4779 +▁švajcarsko -13.4779 +▁KOMENTAR -13.478 +▁Policies -13.478 +▁Prištinu -13.478 +▁Zimmerman -13.478 +▁primijećen -13.478 +▁samouveren -13.478 +▁supervised -13.478 +▁suspense -13.478 +▁Najlepš -13.478 +▁obazriv -13.478 +▁postponed -13.478 +▁roaming -13.478 +▁dominacije -13.478 +▁usmrtio -13.478 +▁indictment -13.478 +▁Neighborhood -13.478 +▁nevladinim -13.478 +▁pogrebn -13.478 +▁nazalost -13.478 +▁Sigurni -13.478 +▁Konsult -13.478 +▁Slovenačk -13.478 +▁rešetaka -13.478 +▁Ernst -13.478 +▁zaslužila -13.478 +▁(1992) -13.478 +▁admiral -13.478 +▁tarifa -13.478 +▁imućn -13.478 +▁rasadnik -13.478 +▁apology -13.478 +▁naznake -13.478 +▁imigracij -13.478 +▁Novembar -13.478 +▁ECTS -13.478 +▁praktikova -13.478 +▁Underground -13.478 +▁šraf -13.4781 +▁šifra -13.4781 +▁odlagališt -13.4781 +▁navikne -13.4781 +▁općinskog -13.4781 +▁prestonicu -13.4781 +▁Litvanija -13.4781 +▁predznak -13.4781 +▁otisao -13.4782 +▁jučerašnjoj -13.4782 +▁slightest -13.4782 +▁Kordić -13.4782 +▁porcije -13.4782 +▁NEĆE -13.4782 +▁odriče -13.4782 +▁miševa -13.4782 +pisivanja -13.4782 +▁Kanadu -13.4782 +▁Dodatak -13.4782 +.07.2017 -13.4783 +▁embol -13.4783 +▁Grčkom -13.4783 +▁Vernon -13.4783 +▁Trgovačk -13.4783 +▁Zagrebačka -13.4784 +▁Insert -13.4784 +▁Apsolutn -13.4784 +▁suštinskog -13.4785 +▁amidst -13.4786 +▁Infinity -13.4787 +▁slump -13.4787 +▁Darren -13.4787 +▁svećenici -13.4787 +▁fudbalskoj -13.4787 +NATO -13.4787 +▁skating -13.4787 +▁Pomozite -13.4788 +▁Medres -13.4789 +▁lepotom -13.4789 +▁Ramadan -13.4789 +▁Kecmanović -13.479 +40.000 -13.4791 +▁Jovica -13.4791 +Nogomet -13.4792 +▁lutalica -13.4792 +▁mutacije -13.4792 +▁informativno -13.4793 +▁biciklisti -13.4793 +▁DIV -13.4794 +▁jedrenja -13.4794 +▁paralelni -13.4795 +▁svjedočenja -13.4795 +▁produbljivanj -13.4796 +demon -13.4796 +▁PLAT -13.4797 +▁filozofski -13.4797 +▁slane -13.4798 +▁morality -13.4798 +▁4.500 -13.4798 +▁izlaznost -13.4801 +▁ekstremističk -13.4804 +činović -13.4804 +▁Lidl -13.4805 +uglavnom -13.4805 +Control -13.4806 +▁Poslanikov -13.4806 +Okay -13.4806 +▁porcija -13.4808 +тражи -13.4809 +▁fotografira -13.481 +▁rađanje -13.4811 +▁izgovoren -13.4811 +▁trosi -13.4813 +▁VSS -13.4813 +▁Karakter -13.4815 +▁effortless -13.4818 +▁Devin -13.4818 +▁formulacija -13.4818 +▁spominjan -13.482 +iskren -13.482 +▁жен -13.4821 +strajnost -13.4822 +▁kanabis -13.4825 +▁romski -13.4825 +rinary -13.4825 +▁Tourist -13.4826 +▁Blažen -13.4826 +▁avlij -13.4827 +prilike -13.4829 +▁jugoslovensko -13.4832 +▁kalem -13.4832 +RATION -13.4833 +▁različitost -13.4833 +ској -13.4837 +unless -13.4838 +▁Ivanković -13.4839 +▁fresk -13.4839 +▁anksiozn -13.4839 +▁Wonderful -13.484 +▁Glasnogovorni -13.4841 +▁Grujičić -13.4841 +▁LEKSIKON -13.4841 +▁Pozorište -13.4841 +▁Procenjuje -13.4841 +▁Schumacher -13.4841 +▁boravkom -13.4841 +▁embroidery -13.4841 +▁influencing -13.4841 +▁izbjegao -13.4841 +▁najpotrebnije -13.4841 +▁ocjenjuju -13.4841 +▁protivpožarn -13.4841 +▁repertoire -13.4841 +▁spermatozoid -13.4841 +▁Deborah -13.4841 +▁Derventa -13.4841 +▁PROJEKT -13.4841 +▁naslutiti -13.4841 +▁rubbish -13.4841 +▁Afriku -13.4841 +▁Logistics -13.4841 +▁Toshiba -13.4841 +▁drzavu -13.4841 +▁foliage -13.4841 +▁opsjednut -13.4841 +▁afričke -13.4841 +▁nadogradnja -13.4841 +▁shepherd -13.4841 +▁svadbi -13.4841 +▁Prairie -13.4841 +.09.2018 -13.4841 +▁humility -13.4841 +▁izbegla -13.4841 +▁Odatle -13.4841 +▁pričinjena -13.4841 +▁cowboy -13.4841 +▁propagandu -13.4841 +▁premijum -13.4841 +▁Antonijević -13.4841 +▁nekropol -13.4841 +▁džaba -13.4842 +▁Coconut -13.4842 +▁klađenja -13.4842 +▁prelasku -13.4842 +▁berlinsk -13.4842 +▁spomenuli -13.4842 +▁injekcije -13.4842 +▁suzavac -13.4842 +▁Hammond -13.4842 +▁pimp -13.4842 +▁strategijom -13.4842 +▁planinarenje -13.4842 +▁dekoracije -13.4843 +▁Lambert -13.4843 +▁uplatom -13.4844 +▁eCommerce -13.4844 +▁mortar -13.4844 +▁deflect -13.4844 +▁ljubljen -13.4845 +▁MARKET -13.4845 +▁verujte -13.4846 +▁Kupon -13.4846 +▁sunđer -13.4847 +▁Koncentr -13.4848 +▁željno -13.4848 +▁poentira -13.4848 +▁gangster -13.4848 +srpsko -13.4848 +▁preživljavanja -13.4849 +▁obavještenja -13.4849 +▁popodneva -13.485 +▁Rizik -13.485 +▁Bonn -13.485 +▁demise -13.4851 +▁circa -13.4851 +▁directive -13.4853 +▁contractual -13.4853 +▁Namenjen -13.4854 +▁takmičarske -13.4854 +▁stroga -13.4854 +▁pridruživanje -13.4855 +▁parlamentarno -13.4855 +redjuje -13.4855 +▁Slažem -13.4857 +▁dekret -13.4858 +▁izneli -13.4859 +▁rasprši -13.4859 +▁Ganić -13.4861 +▁udruživanje -13.4861 +▁Kuban -13.4863 +▁minimizira -13.4864 +▁infrastruk -13.4865 +opravdan -13.4866 +▁grated -13.4867 +Social -13.4867 +▁slicni -13.4867 +Spec -13.487 +launch -13.487 +mediated -13.4871 +▁amaterski -13.4871 +▁Kraljević -13.4874 +▁kolko -13.4875 +Italija -13.4876 +Wiki -13.4878 +▁razoren -13.4878 +▁Biograd -13.4879 +▁improvizacij -13.488 +▁$5,000 -13.4882 +▁inspiriran -13.4882 +▁ugriz -13.4882 +▁nepošten -13.4883 +WHO -13.4884 +▁crnogorsk -13.4885 +▁zbrinjava -13.4887 +дуж -13.4888 +▁Đaković -13.4889 +▁Milojko -13.4889 +cijent -13.4891 +3-5 -13.4892 +▁dedicate -13.4893 +▁trun -13.4894 +▁Bejl -13.4896 +došli -13.4897 +▁egzistencij -13.4898 +sphere -13.4899 +▁konstituisan -13.4899 +8.4 -13.49 +rodnooslobodilač -13.4901 +▁Ruben -13.4902 +Ţ -13.4903 +▁Continuing -13.4903 +▁Edmonton -13.4903 +▁Enhancement -13.4903 +▁Gloucester -13.4903 +▁Mićunović -13.4903 +▁Neposredno -13.4903 +▁Uzbekistan -13.4903 +▁amfiteatr -13.4903 +▁detrimental -13.4903 +▁disinfect -13.4903 +▁dugoročnu -13.4903 +▁dvostruke -13.4903 +▁izložbom -13.4903 +▁katalizator -13.4903 +▁književna -13.4903 +▁obedience -13.4903 +▁objedinjuje -13.4903 +▁opekotine -13.4903 +▁refrigerate -13.4903 +▁smrtonosni -13.4903 +▁supružnici -13.4903 +▁svlačionici -13.4903 +▁upotpunjen -13.4903 +▁velikodušno -13.4903 +▁vicešampion -13.4903 +▁Šveđani -13.4903 +▁displaced -13.4903 +▁tetovaža -13.4903 +▁Šćekić -13.4903 +▁Merchant -13.4903 +▁dlačica -13.4903 +▁zlonamjern -13.4903 +▁medžlis -13.4903 +▁odaberu -13.4903 +▁prigodan -13.4903 +▁svadbu -13.4903 +▁Pantelić -13.4903 +▁agresiji -13.4903 +▁nepotrebnih -13.4903 +▁Veljović -13.4903 +▁Borenović -13.4903 +▁separating -13.4903 +▁naređenja -13.4904 +▁odbojci -13.4904 +▁suvremene -13.4904 +▁izostati -13.4904 +▁Frozen -13.4904 +▁postdiplomsk -13.4904 +▁Pelosi -13.4904 +▁centaršut -13.4904 +▁krivotvoren -13.4904 +▁pobjegli -13.4904 +▁ljestvici -13.4904 +▁surgeries -13.4904 +▁ODNOS -13.4904 +▁Genius -13.4904 +▁razreši -13.4904 +▁Submission -13.4904 +▁Dojče -13.4904 +/12/202 -13.4904 +▁odlican -13.4905 +▁rodoljub -13.4905 +▁Judah -13.4905 +▁Holandsk -13.4906 +mještanje -13.4906 +▁grčeva -13.4906 +▁Dostupnost -13.4906 +▁vrlina -13.4907 +▁TAJN -13.4907 +▁stiska -13.4908 +▁18:30 -13.4908 +▁biskupij -13.4908 +▁баш -13.4908 +▁(32) -13.4908 +▁aukcija -13.4909 +▁lobster -13.4909 +▁kompaktni -13.4909 +▁Nedović -13.4909 +▁Mjere -13.4909 +▁sunarodnik -13.4909 +▁emigrant -13.491 +▁earnest -13.491 +▁ćutanje -13.4911 +▁djelić -13.4911 +▁Dubica -13.4911 +njihov -13.4911 +▁boljom -13.4912 +▁stradanje -13.4912 +▁propolis -13.4912 +▁vrline -13.4912 +▁poverenik -13.4912 +▁prolaznika -13.4912 +▁Hogan -13.4914 +▁antene -13.4914 +▁invalidsko -13.4915 +▁umirujuće -13.4916 +▁PDT -13.4916 +▁pratilac -13.4917 +▁lakša -13.4918 +▁Lipov -13.492 +hammer -13.4922 +▁pionirsk -13.4922 +▁posegnu -13.4923 +0.3 -13.4924 +▁daljinsko -13.4927 +oktobar -13.493 +Thomas -13.493 +▁CIR -13.4931 +meaning -13.4931 +▁Alexis -13.4931 +okratija -13.4934 +sponsored -13.4935 +▁ovčar -13.4937 +▁pasivni -13.4939 +▁insightful -13.494 +šećer -13.494 +▁zamrzava -13.4943 +▁стар -13.4943 +▁Keln -13.4944 +Human -13.4944 +organic -13.4947 +spomen -13.4948 +ров -13.4948 +▁burek -13.4949 +▁Dunavsk -13.4951 +▁Pridruži -13.4955 +▁Kruz -13.4957 +▁Islamist -13.4958 +▁breme -13.4959 +▁Armor -13.4959 +▁овом -13.496 +rađenih -13.496 +▁talentiran -13.4962 +▁Jevrejin -13.4962 +▁podstaknut -13.4963 +operation -13.4964 +▁matira -13.4964 +▁Squad -13.4966 +▁FUDBAL -13.4966 +▁pripovijeda -13.4966 +▁Crnogorska -13.4966 +▁Embassy -13.4966 +▁Lajpcig -13.4966 +▁Poremećaj -13.4966 +▁Transparency -13.4966 +▁avokado -13.4966 +▁gimnastik -13.4966 +▁mukotrpn -13.4966 +▁osposobi -13.4966 +▁privilegiju -13.4966 +▁privilegovan -13.4966 +▁recenziju -13.4966 +▁tastatura -13.4966 +▁ubiquitous -13.4966 +▁Plenty -13.4966 +▁demokratsku -13.4966 +▁dvojicom -13.4966 +▁horrific -13.4966 +▁opipljiv -13.4966 +▁pronalasku -13.4966 +▁JOHN -13.4966 +▁paradox -13.4966 +▁sarađivali -13.4966 +▁|06:4 -13.4966 +▁djetetov -13.4966 +▁emperor -13.4966 +▁scalable -13.4966 +▁novoformiran -13.4966 +▁industrijsku -13.4966 +▁hidžab -13.4966 +▁Modriča -13.4966 +▁UniCredit -13.4966 +▁destrukcij -13.4966 +▁Column -13.4966 +▁Tržišt -13.4966 +▁Opremljen -13.4966 +▁opkoljen -13.4966 +▁ruthless -13.4966 +▁platinum -13.4966 +▁stijene -13.4966 +▁nesanice -13.4966 +▁chaotic -13.4966 +▁descendants -13.4966 +▁emulator -13.4966 +▁Minecraft -13.4966 +▁kazaljk -13.4966 +▁metropola -13.4966 +▁dosljedn -13.4966 +▁fasadn -13.4967 +▁pogodnost -13.4967 +▁:))) -13.4967 +Priča -13.4967 +▁korektor -13.4967 +▁piletine -13.4967 +▁scanned -13.4967 +▁slammed -13.4967 +▁Sretno -13.4968 +▁unikatni -13.4968 +Metal -13.4968 +▁Polaznici -13.4968 +▁prebrojava -13.4968 +▁spanning -13.4968 +▁vladavini -13.4969 +▁Kirby -13.4969 +▁izabranik -13.4969 +▁rebuilt -13.497 +▁lisnato -13.4971 +▁sportaši -13.4971 +▁Slavonije -13.4971 +▁jig -13.4971 +▁nezvaničn -13.4972 +▁Gledajte -13.4972 +▁peticije -13.4974 +▁rimske -13.4974 +808 -13.4976 +▁brizi -13.4976 +▁budzet -13.4976 +▁represivn -13.4977 +▁pretvore -13.4977 +▁fiziku -13.4977 +▁pouke -13.4977 +▁tušem -13.4977 +▁prašta -13.4978 +ollywood -13.4978 +2-7 -13.4979 +▁trilogy -13.4979 +▁Impress -13.498 +▁lethal -13.498 +▁Inspiration -13.4983 +▁nastupajuć -13.4985 +Postoje -13.4986 +smijeh -13.4987 +▁sjajem -13.4987 +▁studijsko -13.4988 +▁farmacij -13.4991 +Insajder -13.4993 +individual -13.4993 +▁dospij -13.4993 +▁cries -13.4995 +▁IDEA -13.4996 +▁mačku -13.4996 +▁džinovsk -13.4997 +▁cellar -13.4997 +▁izlažu -13.4999 +▁simbolizira -13.5 +▁stink -13.5001 +idrometeorološki -13.5002 +8.7 -13.5008 +▁Trumpov -13.5009 +▁dijagnosti -13.5009 +▁kesi -13.5011 +▁Grafičk -13.5012 +EVEN -13.5013 +▁nekontrolisan -13.5014 +▁bibliotekar -13.5015 +▁dopust -13.5015 +▁Burić -13.5016 +▁revolver -13.5018 +▁zikr -13.502 +▁Immuno -13.5022 +▁vrhovn -13.5025 +1996 -13.5026 +▁Српск -13.5027 +▁brižn -13.5027 +▁fleksibilno -13.5027 +▁pokušaće -13.5029 +▁|21:00|| -13.5029 +▁Žalgiris -13.5029 +▁Alessandr -13.5029 +▁Atmosfera -13.5029 +▁Cenovnik -13.5029 +▁Koordinaciono -13.5029 +▁Lithuania -13.5029 +▁Petroleum -13.5029 +▁Podgoricu -13.5029 +▁Vatrogasci -13.5029 +▁alejkum -13.5029 +▁angažovati -13.5029 +▁appetizer -13.5029 +▁cervical -13.5029 +▁harbour -13.5029 +▁isporučuju -13.5029 +▁južnokorejsk -13.5029 +▁konkretnu -13.5029 +▁medikament -13.5029 +▁nepoštovanja -13.5029 +▁obradovala -13.5029 +▁precursor -13.5029 +▁privuklo -13.5029 +▁subsidiaries -13.5029 +▁tromjesečju -13.5029 +▁avenues -13.5029 +▁odazvali -13.5029 +▁upražnjen -13.5029 +▁Šojgu -13.5029 +▁Etihad -13.5029 +▁Medjunarodn -13.5029 +▁Neutral -13.5029 +▁samoupravu -13.5029 +▁srodnih -13.5029 +▁Navigation -13.5029 +▁anatomy -13.5029 +▁higijeni -13.5029 +▁Bešlić -13.5029 +▁izašle -13.5029 +▁lesions -13.5029 +▁Poruke -13.5029 +▁slatku -13.5029 +▁Broncos -13.5029 +▁circus -13.5029 +▁Fenomen -13.5029 +▁tekuću -13.5029 +▁Neretvi -13.5029 +▁najluđ -13.5029 +▁izvrsne -13.5029 +▁Animation -13.5029 +▁promašen -13.5029 +▁umrle -13.5029 +▁Cheryl -13.5029 +▁grašak -13.5029 +▁Countries -13.5029 +▁revolucionarno -13.5029 +▁priključka -13.503 +▁kritične -13.503 +▁pustoš -13.503 +▁buđenja -13.503 +▁umijeće -13.503 +▁Classroom -13.503 +▁после -13.503 +▁nacionalista -13.503 +▁Ispriča -13.503 +▁latino -13.503 +▁pravilnu -13.5031 +▁nestanu -13.5032 +▁bračne -13.5032 +▁Stotine -13.5032 +▁osposobljavanja -13.5033 +gallery -13.5033 +▁onwards -13.5033 +▁prijateljstvu -13.5033 +▁geografske -13.5034 +blic -13.5034 +▁tying -13.5034 +▁Sachs -13.5034 +▁contradiction -13.5035 +▁Cannon -13.5035 +▁filozofiji -13.5035 +▁Najpoznatij -13.5035 +▁žlice -13.5035 +▁patentiran -13.5035 +▁fortress -13.5035 +▁vrhovnog -13.5036 +▁oksidativn -13.5036 +▁nanijeti -13.5036 +▁calf -13.5036 +▁glossy -13.5036 +▁privrženost -13.5037 +▁svetinje -13.5037 +▁kliše -13.5037 +▁deposition -13.5037 +▁razbijanje -13.5038 +▁Kratko -13.5038 +▁pomeren -13.5038 +▁omladinskog -13.5038 +USTAV -13.5039 +▁božj -13.5039 +▁Čelnici -13.5039 +▁naoružava -13.5041 +▁nadolazeći -13.5042 +▁heroic -13.5043 +▁coolest -13.5043 +▁paničn -13.5046 +▁Setup -13.5047 +▁Petrol -13.5047 +▁hrišćansko -13.5048 +▁cyst -13.5049 +▁GORI -13.505 +▁Nedavn -13.5051 +OVER -13.5051 +VRAT -13.5054 +Nezavisnost -13.5056 +гре -13.5056 +conference -13.5056 +▁biračko -13.5056 +wolf -13.5057 +Little -13.5057 +either -13.5057 +▁magični -13.5061 +HDZ -13.5062 +▁PLC -13.5064 +mpakt -13.5064 +▁bespravno -13.5064 +▁kratkoročno -13.5065 +▁svjedo -13.5065 +fraction -13.5066 +ographies -13.5066 +▁tudj -13.5067 +MCG -13.5067 +▁Saobraćajn -13.5067 +▁обра -13.507 +▁savladava -13.5071 +▁Preventiv -13.5077 +▁trainee -13.5081 +▁pljuskovi -13.5082 +▁VELIKA -13.5082 +kralj -13.5083 +▁unuci -13.5085 +▁LJUB -13.5087 +čunovodstv -13.5087 +▁DETALJ -13.5088 +▁kidnap -13.5089 +▁Actual -13.5092 +▁apprentice -13.5092 +▁jamči -13.5092 +― -13.5092 +▁(0:0) -13.5092 +▁Cicipas -13.5092 +▁Gradišci -13.5092 +▁Kardašijan -13.5092 +▁Poglavlje -13.5092 +▁Televizije -13.5092 +▁cathedral -13.5092 +▁cultivation -13.5092 +▁frustriran -13.5092 +▁groznice -13.5092 +▁hesitant -13.5092 +▁ispoštuje -13.5092 +▁konkuriše -13.5092 +▁konkurišu -13.5092 +▁maslinovim -13.5092 +▁periferiji -13.5092 +▁porudžbina -13.5092 +▁poultry -13.5092 +▁quarantine -13.5092 +▁ružičaste -13.5092 +▁siječnju -13.5092 +▁sopstvena -13.5092 +▁subvencionira -13.5092 +▁Kalifornije -13.5092 +▁Vučinić -13.5092 +▁direktiva -13.5092 +▁Tucson -13.5092 +▁Uputstva -13.5092 +▁razdaljin -13.5092 +▁Proposal -13.5092 +▁deteriorate -13.5092 +▁practise -13.5092 +▁redizajniran -13.5092 +▁pekmez -13.5092 +▁PORUKA -13.5092 +▁knives -13.5092 +▁autonomy -13.5092 +▁zablude -13.5092 +.05.2018 -13.5092 +▁Estonija -13.5092 +▁najobičnij -13.5092 +▁mobilna -13.5092 +.01.2022 -13.5092 +▁Cialis -13.5092 +▁dramske -13.5092 +▁btw -13.5092 +▁cybersecurity -13.5092 +▁čarobno -13.5092 +▁Idlib -13.5092 +▁Todorić -13.5092 +▁slideshow -13.5092 +▁Krajinović -13.5092 +▁telescope -13.5092 +▁sekundarno -13.5093 +▁Србије -13.5093 +▁Famous -13.5093 +▁Ericsson -13.5093 +▁Raičević -13.5093 +▁sentencing -13.5093 +▁precizna -13.5093 +▁okruglom -13.5093 +▁коју -13.5093 +▁kombinovani -13.5093 +▁iznijeli -13.5093 +▁Canvas -13.5094 +▁kliniku -13.5094 +▁Dirty -13.5094 +navigating -13.5094 +▁divizija -13.5094 +▁genetically -13.5095 +▁najfinij -13.5095 +gotten -13.5095 +▁revoke -13.5095 +▁Gambling -13.5095 +▁(36) -13.5095 +▁prepucava -13.5095 +▁penjanje -13.5095 +▁nastalu -13.5096 +▁izumrl -13.5096 +▁Priority -13.5096 +▁Bajramović -13.5096 +тврд -13.5097 +▁ovsen -13.5097 +▁kandidature -13.5097 +▁prozračn -13.5097 +▁Armenij -13.5097 +▁Grahov -13.5097 +▁bakery -13.5097 +staknuo -13.5098 +▁blokadi -13.51 +▁testisa -13.51 +▁Stavlja -13.5101 +▁Statis -13.5101 +▁Kamera -13.5101 +▁immensely -13.5101 +▁Kuala -13.5101 +▁ignorisan -13.5102 +▁garažn -13.5102 +▁predratn -13.5102 +leader -13.5103 +bačaj -13.5103 +▁ekstremnih -13.5104 +tehničko -13.5104 +▁Pravilno -13.5104 +▁putničko -13.5104 +▁sluge -13.5104 +▁capitalize -13.5104 +▁nezainteresovan -13.5105 +kciona -13.5106 +▁Reverse -13.5106 +▁Priznanje -13.5106 +▁prestalo -13.5106 +pisivati -13.5107 +▁međudržavn -13.5107 +▁Dvostruk -13.5108 +▁courageous -13.5108 +pozicije -13.5111 +▁Foče -13.5112 +porodi -13.5112 +▁PROMO -13.5113 +TIONAL -13.5115 +▁spasavanje -13.5115 +▁plomb -13.5116 +prosvjetn -13.5118 +Nažalost -13.512 +▁Gavin -13.5121 +Parliamentary -13.5126 +▁kratkoročni -13.5126 +чар -13.5127 +▁Klark -13.5127 +чан -13.5127 +▁Holden -13.5127 +▁trajnost -13.5129 +▁štićenik -13.5132 +▁Chronic -13.5134 +▁srdačn -13.5135 +dzic -13.5135 +▁Usledil -13.5136 +KLE -13.5139 +▁kopč -13.5139 +▁$45 -13.5139 +▁nečist -13.5146 +karakter -13.5154 +▁Gavrilo -13.5155 +🍀 -13.5156 +ز -13.5156 +▁Mohammad -13.5156 +▁Retreat -13.5156 +▁SLUŽBI -13.5156 +▁disastrous -13.5156 +▁inconvenience -13.5156 +▁kozmetiku -13.5156 +▁najstrašnij -13.5156 +▁nervozu -13.5156 +▁persuasive -13.5156 +▁preživjela -13.5156 +▁skretanja -13.5156 +▁trpezarijom -13.5156 +▁mosaic -13.5156 +▁prolific -13.5156 +▁dehidracij -13.5156 +▁nepristojan -13.5156 +▁ortopedsk -13.5156 +▁izbegao -13.5156 +▁kontranapad -13.5156 +▁penetracij -13.5156 +▁Ferhadij -13.5156 +▁Sjajna -13.5156 +▁nastojali -13.5156 +▁reassure -13.5156 +▁unconditional -13.5156 +.02.2018 -13.5156 +▁22:00 -13.5156 +▁Osvrnu -13.5156 +▁umirovljenike -13.5156 +▁cijepljenje -13.5156 +▁deponiju -13.5156 +▁JAVNI -13.5156 +▁glečer -13.5156 +.12.2021 -13.5156 +▁katedrale -13.5156 +▁zadovoljne -13.5156 +▁Špirić -13.5156 +▁brewery -13.5156 +▁katastrofalne -13.5156 +▁oduzeli -13.5156 +▁kampanjom -13.5156 +▁koordinacija -13.5157 +▁Pojedinačn -13.5157 +▁concurrent -13.5157 +▁trgovačke -13.5157 +▁naočara -13.5157 +▁totalitarn -13.5157 +▁Dječak -13.5157 +▁taktike -13.5157 +▁strašan -13.5157 +▁brunch -13.5157 +>>302 -13.5158 +▁babu -13.5158 +▁bogatstvu -13.5158 +▁domaćom -13.5158 +▁abolish -13.5159 +▁Garosa -13.5159 +▁preplavil -13.5159 +▁sposobno -13.5159 +▁handbag -13.5159 +▁glitch -13.5159 +▁saints -13.516 +▁nadogradi -13.516 +▁Kaiser -13.516 +▁fauna -13.516 +▁sakraln -13.5161 +▁fajlove -13.5161 +▁armatur -13.5161 +▁pleše -13.5162 +▁sigurnosna -13.5162 +▁Notification -13.5162 +▁Harmony -13.5163 +▁Micić -13.5164 +▁raskol -13.5165 +▁Krajina -13.5166 +▁Marijin -13.5167 +finger -13.5167 +▁Rough -13.5168 +potpuno -13.517 +▁ROK -13.5171 +▁Orašje -13.5171 +Mostar -13.5172 +▁iskusniji -13.5173 +▁oksidacij -13.5178 +▁Outlet -13.5178 +▁činov -13.5179 +▁starinsk -13.5179 +▁KOSOV -13.518 +▁Zločin -13.518 +018 -13.5181 +naselje -13.5182 +crvene -13.5183 +avgust -13.5184 +kriminal -13.5184 +▁Kenedi -13.5184 +▁Linija -13.5184 +čistač -13.5185 +▁šareno -13.5185 +▁Rasel -13.5186 +Pozdrav -13.5186 +▁dijagnosticiran -13.5189 +▁Gledajuć -13.5193 +▁cigan -13.5195 +naestogodišnji -13.5195 +▁dotaknu -13.5198 +▁communal -13.5199 +▁metropoli -13.5199 +▁Energi -13.5199 +вај -13.5201 +▁šup -13.5201 +▁Browser -13.5206 +TIP -13.5206 +▁SHOW -13.5207 +▁preminuli -13.521 +▁hranljivi -13.521 +~~ -13.5212 +чка -13.5215 +▁rover -13.5217 +visible -13.5219 +▁squirrel -13.522 +❤ -13.522 +▁Biblioteke -13.522 +▁GODINU -13.522 +▁INFORMATION -13.522 +▁Including -13.522 +▁comprehension -13.522 +▁detached -13.522 +▁nepokolebljiv -13.522 +▁nezapamćen -13.522 +▁nicotine -13.522 +▁opštoj -13.522 +▁restrikcije -13.522 +▁splendid -13.522 +▁Myanmar -13.522 +▁Neretve -13.522 +▁coveted -13.522 +▁dominance -13.522 +▁evrima -13.522 +▁univerzalna -13.522 +▁avijacije -13.522 +▁pljeska -13.522 +▁susresti -13.522 +▁očituje -13.522 +▁povremene -13.522 +▁млад -13.522 +▁Oznaka -13.522 +▁Tabaković -13.522 +▁takozvanu -13.522 +▁Politikom -13.522 +▁escalate -13.522 +generative -13.522 +▁odraslog -13.522 +▁zaobići -13.522 +▁pčelinji -13.522 +▁pratnje -13.522 +▁pohranjen -13.522 +▁Odjeljenje -13.522 +▁jezgru -13.522 +▁sporadičn -13.522 +▁crochet -13.522 +▁crises -13.522 +▁preporučene -13.522 +▁Barišić -13.522 +▁Bulletin -13.522 +▁poboljsa -13.522 +▁algae -13.522 +▁štedljiv -13.522 +▁sunrise -13.522 +▁Outstanding -13.5221 +▁pirotsk -13.5221 +▁rijetka -13.5221 +▁udobne -13.5221 +▁informativne -13.5221 +▁sumnjičav -13.5221 +▁nacionalističke -13.5221 +▁Scotia -13.5221 +▁Amerikanca -13.5221 +▁policymakers -13.5221 +▁novogradnj -13.5222 +▁lavish -13.5222 +▁poljske -13.5222 +▁captive -13.5222 +▁šupljine -13.5222 +pisivali -13.5222 +▁Intuit -13.5222 +▁deponovan -13.5222 +▁Husić -13.5222 +▁drank -13.5223 +▁ćutanja -13.5223 +▁categorized -13.5224 +dalmatinsk -13.5224 +▁blizina -13.5224 +▁Venue -13.5224 +▁Belarus -13.5224 +▁izbegavajte -13.5224 +▁latch -13.5225 +Član -13.5226 +▁tamna -13.5226 +▁retrospective -13.5226 +▁township -13.5227 +▁bratstva -13.5227 +▁otklanjanju -13.5227 +▁EKG -13.5227 +▁XVII -13.5228 +▁Empower -13.5228 +▁termostat -13.5228 +▁partijske -13.5229 +▁Boška -13.523 +▁sniff -13.523 +▁Treaty -13.523 +▁nadmetanja -13.523 +▁Domaća -13.5233 +▁istinska -13.5235 +▁Iskra -13.5235 +konvertibilnih -13.5235 +▁Ajdin -13.5236 +0.6 -13.5236 +▁Sustav -13.5242 +WARD -13.5243 +▁Hodž -13.5243 +▁psovk -13.5244 +▁boračko -13.5248 +Sigurno -13.5248 +Journal -13.5248 +Ministarstvo -13.5248 +Francuska -13.5248 +▁nitrat -13.5249 +growth -13.5249 +Serbia -13.5249 +Build -13.525 +Robert -13.525 +Tool -13.525 +▁sugrađanin -13.5251 +▁steriliz -13.5253 +▁urezan -13.5254 +Lord -13.5254 +ludirajući -13.5256 +▁Hercegovci -13.5256 +Tenis -13.5257 +Upravo -13.5258 +▁poznanici -13.526 +VREME -13.526 +▁Cuc -13.5268 +BOJ -13.5269 +istorijsko -13.5272 +▁Bojanić -13.5276 +▁pretplatn -13.5276 +▁graphical -13.5277 +▁socijalizacij -13.5278 +▁contradict -13.5278 +▁Metallic -13.5279 +▁uznemiravanje -13.5281 +▁kantu -13.5282 +✓ -13.5284 +ą -13.5284 +▁Curriculum -13.5284 +▁Eksperiment -13.5284 +▁Gvardiol -13.5284 +▁Kaspersky -13.5284 +▁Logitech -13.5284 +▁Symposium -13.5284 +▁WASHINGTON -13.5284 +▁Zaharova -13.5284 +▁activism -13.5284 +▁autentičan -13.5284 +▁coherent -13.5284 +▁coordinating -13.5284 +▁eksperimenata -13.5284 +▁epohe -13.5284 +▁evacuation -13.5284 +▁garnitura -13.5284 +▁gossip -13.5284 +▁imaginary -13.5284 +▁innocence -13.5284 +▁maramice -13.5284 +▁misconception -13.5284 +▁narocito -13.5284 +▁neutemeljen -13.5284 +▁ostrvima -13.5284 +▁posjećuje -13.5284 +▁reagovanja -13.5284 +▁Čikago -13.5284 +Љ -13.5284 +▁Estoniji -13.5284 +▁Snyder -13.5284 +▁dostignućima -13.5284 +▁golgeter -13.5284 +▁nevažeć -13.5284 +▁sudjelovala -13.5284 +▁australia -13.5284 +▁prekrasan -13.5284 +▁Torontu -13.5284 +▁gubljenja -13.5284 +▁POLITIKA -13.5284 +▁molitvi -13.5284 +▁dolphin -13.5284 +▁tarife -13.5284 +▁Edukacija -13.5284 +▁Friedrich -13.5284 +▁tišinu -13.5284 +▁videozapis -13.5284 +▁svjetiljk -13.5284 +▁požalio -13.5285 +▁Sačuvaj -13.5285 +▁nastojanje -13.5285 +▁Ljudski -13.5285 +▁građanki -13.5285 +▁tampon -13.5285 +▁ugradn -13.5285 +▁Norwich -13.5285 +▁guild -13.5285 +▁Ujutro -13.5285 +▁Avatar -13.5285 +▁aplikacijom -13.5285 +▁Generator -13.5285 +▁differentiation -13.5285 +▁Radiosarajevo -13.5285 +▁subordinate -13.5285 +▁Illumina -13.5285 +.10.2016 -13.5285 +▁integraciji -13.5285 +▁Hartford -13.5286 +▁Kratki -13.5286 +▁paralize -13.5286 +ELEKTR -13.5286 +▁SAVET -13.5286 +▁naslijedio -13.5286 +▁rekreativni -13.5286 +▁touchscreen -13.5286 +▁Ajax -13.5286 +▁dojki -13.5286 +▁Attention -13.5286 +.03.2017 -13.5286 +▁Revolutionary -13.5287 +▁pogresno -13.5287 +▁Cooperative -13.5288 +▁komentarisati -13.5288 +▁Habib -13.5288 +▁poceli -13.5288 +▁Sloge -13.5289 +▁pravilne -13.529 +▁zapažanja -13.529 +▁Savremena -13.529 +▁readiness -13.529 +▁Jewel -13.5291 +▁tišine -13.5291 +▁tekovina -13.5291 +▁Wizz -13.5291 +▁psihologija -13.5291 +▁večiti -13.5292 +▁promišljanja -13.5293 +▁susjednoj -13.5293 +▁settlers -13.5293 +▁Izvršen -13.5293 +▁začudi -13.5294 +▁ekstremisti -13.5294 +▁downhill -13.5294 +▁gradient -13.5295 +▁Gluco -13.5296 +▁pesničk -13.5297 +▁CHAR -13.5298 +▁klikova -13.5299 +▁pocetn -13.5299 +▁Njegošev -13.53 +▁klasifikacija -13.53 +▁secera -13.5301 +characterization -13.5301 +tehnološki -13.5302 +▁Metalac -13.5302 +▁vocalist -13.5302 +opatije -13.5303 +▁Biković -13.5305 +▁Filozofski -13.5306 +ANKOVI -13.5306 +▁Crest -13.5306 +▁omaž -13.5307 +▁toksično -13.5308 +▁stranoj -13.5308 +▁fearful -13.531 +▁Julij -13.5311 +▁prezentiran -13.5312 +informativn -13.5312 +666 -13.5313 +Ш -13.5313 +Current -13.5313 +▁vršilac -13.5314 +▁đačk -13.5314 +poslovni -13.5315 +▁rastopi -13.5315 +бил -13.5315 +Level -13.5315 +▁skupocen -13.5318 +Brend -13.5319 +Pravo -13.5321 +▁toplotno -13.5322 +BET -13.5327 +ispit -13.5329 +▁Emilija -13.533 +▁attire -13.5333 +▁koncentrat -13.5335 +▁Functional -13.5335 +▁frantic -13.5338 +▁hospitaliziran -13.5339 +▁мој -13.534 +vladavanje -13.534 +▁Monako -13.534 +digit -13.5341 +▁državljan -13.5341 +VII -13.5341 +nformaciju -13.5342 +▁nominalno -13.5343 +urney -13.5344 +▁atheist -13.5345 +▁razdor -13.5346 +▁Stevo -13.5346 +▁bronh -13.5347 +кова -13.5349 +▁replika -13.5349 +ש -13.5349 +▁Efendić -13.5349 +▁Elephant -13.5349 +▁admiration -13.5349 +▁dijasporu -13.5349 +▁exaggerate -13.5349 +▁progesteron -13.5349 +▁ročištu -13.5349 +▁souvenir -13.5349 +ymmetry -13.5349 +▁Aluminum -13.5349 +▁Finansijski -13.5349 +▁Morocco -13.5349 +▁Salvation -13.5349 +▁acquaintance -13.5349 +▁deklaraciju -13.5349 +▁denomination -13.5349 +▁drzavljan -13.5349 +▁eclectic -13.5349 +▁eksploziju -13.5349 +▁infrastrukturne -13.5349 +▁konfiguracija -13.5349 +▁krijumčarenje -13.5349 +▁masovnu -13.5349 +▁najradije -13.5349 +▁neshvatljiv -13.5349 +▁superintendent -13.5349 +▁yourselves -13.5349 +▁Kalendar -13.5349 +▁Shirley -13.5349 +▁Thomson -13.5349 +▁bibliografsk -13.5349 +▁izvješću -13.5349 +▁najzahtevnij -13.5349 +▁Suprotno -13.5349 +▁mučninu -13.5349 +▁Tompson -13.5349 +▁Meditation -13.5349 +▁detektova -13.5349 +▁discrete -13.5349 +▁olovku -13.5349 +▁izbliza -13.5349 +▁Kaknju -13.5349 +▁tradicijsk -13.5349 +▁tuđih -13.5349 +▁zasjedanja -13.5349 +▁stroži -13.5349 +▁Kameron -13.5349 +▁Regulatory -13.5349 +▁enamel -13.5349 +▁surreal -13.5349 +▁građevinarstvo -13.535 +▁žutu -13.535 +▁intestine -13.535 +▁keratin -13.535 +▁diktature -13.535 +▁elektromotor -13.535 +▁uredništva -13.535 +▁uzdignut -13.535 +▁Jeftin -13.535 +▁након -13.535 +▁рече -13.535 +▁populacijom -13.535 +▁tabelu -13.535 +▁romantične -13.535 +▁Radmanović -13.535 +▁okolinom -13.535 +▁kretala -13.535 +▁odštete -13.535 +▁ČLAN -13.5351 +▁Radivoja -13.5351 +▁disappearance -13.5351 +▁Turtle -13.5351 +▁paramount -13.5351 +▁Pritisak -13.5351 +▁paycheck -13.5352 +▁Vujadin -13.5352 +▁Bollywood -13.5352 +▁Whale -13.5352 +▁Vagner -13.5352 +▁Stitch -13.5352 +▁Powerful -13.5352 +десет -13.5352 +▁GOT -13.5352 +▁Razmatranje -13.5353 +Puls -13.5353 +▁contextual -13.5353 +OKRET -13.5353 +▁Lagos -13.5355 +▁žičan -13.5355 +▁unpack -13.5355 +▁sprečen -13.5355 +▁говори -13.5356 +▁zebra -13.5356 +▁poduzeće -13.5356 +▁stint -13.5357 +▁Praznik -13.5357 +▁majici -13.5357 +▁subset -13.5359 +▁smeđi -13.5359 +▁napici -13.536 +▁krajišk -13.536 +▁Izvoz -13.536 +▁razveseli -13.5361 +▁convene -13.5361 +▁graceful -13.5362 +▁Ministric -13.5363 +▁snop -13.5363 +dnevna -13.5364 +▁Raise -13.5364 +kanal -13.5365 +Jeste -13.5365 +▁Arnautović -13.5366 +kompanije -13.5367 +publish -13.5369 +2-8 -13.5372 +▁đakon -13.5373 +▁nedovršen -13.5376 +GAO -13.5376 +▁pošteđen -13.5378 +Budućnost -13.5379 +Israel -13.5379 +također -13.5379 +▁Ballet -13.5379 +▁vjetrovi -13.5383 +▁Fulam -13.5384 +▁Venecija -13.5384 +▁Grude -13.5385 +tvork -13.5391 +▁Pejić -13.5393 +▁zapovjedn -13.5395 +▁Marinović -13.5395 +▁numeri -13.5395 +treatment -13.5395 +▁compress -13.5395 +▁Albansk -13.5396 +▁ukljuci -13.5396 +▁Transcript -13.5397 +▁Pazin -13.5398 +▁sukobljava -13.5399 +ANKA -13.5405 +perzijsk -13.5407 +ским -13.5408 +oštren -13.5411 +▁primalac -13.5412 +▁Fitzgerald -13.5415 +▁Guidance -13.5415 +▁Leipzig -13.5415 +▁Natječaj -13.5415 +▁Pleasant -13.5415 +▁Sakrament -13.5415 +▁nadgrobn -13.5415 +▁pneumatic -13.5415 +▁porcelain -13.5415 +▁prevaziđu -13.5415 +▁pridonosi -13.5415 +▁proizilaze -13.5415 +▁prokomentariše -13.5415 +▁prvenstvima -13.5415 +▁skeptičn -13.5415 +▁superficial -13.5415 +▁troubleshooting -13.5415 +▁Čukaričkog -13.5415 +▁aktuelan -13.5415 +▁nestašice -13.5415 +▁Kvarner -13.5415 +▁eliptičn -13.5415 +▁osvrne -13.5415 +▁sljedbenici -13.5415 +▁introvert -13.5415 +▁Lumpur -13.5415 +▁Pripreme -13.5415 +▁Ursula -13.5415 +▁naočala -13.5415 +▁kontrolisali -13.5415 +▁srodnim -13.5415 +▁Emotional -13.5415 +▁podsetnik -13.5415 +▁varijabiln -13.5415 +▁fascination -13.5415 +▁Cougar -13.5415 +▁konstantan -13.5415 +▁простор -13.5415 +▁cokolad -13.5415 +▁Exposure -13.5415 +▁Jozef -13.5415 +▁dodeljuju -13.5415 +▁neupitn -13.5415 +▁Respect -13.5415 +▁poeziji -13.5415 +▁muscular -13.5415 +▁skorašnj -13.5415 +▁umirovljenika -13.5415 +▁isplaćene -13.5415 +▁Havijer -13.5415 +▁strašna -13.5415 +▁grčeve -13.5415 +▁literarni -13.5415 +▁Puzzle -13.5415 +▁GREAT -13.5415 +▁Subaru -13.5415 +▁veštačka -13.5415 +▁Predstavnički -13.5416 +▁Showcase -13.5416 +▁djevojkom -13.5416 +▁(2019) -13.5416 +▁obilne -13.5416 +▁mythology -13.5416 +▁vesele -13.5416 +▁kanalizaciju -13.5416 +▁Teorija -13.5416 +▁Silence -13.5416 +▁iranske -13.5417 +▁Afričk -13.5417 +▁furious -13.5417 +▁naučnu -13.5417 +▁Chlor -13.5417 +▁Preparation -13.5418 +Gospođ -13.5418 +▁17:30 -13.5418 +▁obrazloženja -13.5419 +MUP -13.5419 +▁zoning -13.5419 +▁Accent -13.542 +▁računaln -13.542 +kljuè -13.542 +▁ljestv -13.542 +vaskularn -13.542 +▁Bundes -13.542 +▁uzdiza -13.542 +▁Winning -13.5421 +▁Dominican -13.5421 +▁workstation -13.5422 +▁reinforcement -13.5423 +▁amusing -13.5423 +▁stationary -13.5423 +▁nepokretno -13.5423 +▁Hospitality -13.5424 +▁intelekt -13.5425 +▁Hassan -13.5425 +▁Lovren -13.5426 +▁NASTAV -13.5428 +▁slabovid -13.5431 +tehničke -13.5431 +▁cookbook -13.5431 +▁fluent -13.5433 +▁Vulić -13.5433 +▁servo -13.5435 +▁Borelj -13.5436 +▁otečen -13.5437 +1-7 -13.5438 +▁lecenj -13.544 +rpljenje -13.544 +▁rastura -13.5444 +Dunav -13.5444 +devel -13.5444 +About -13.5445 +▁POSLE -13.5445 +Office -13.5446 +optional -13.5447 +▁Carrier -13.5451 +▁beskonačn -13.5451 +analysis -13.5452 +Vučić -13.5452 +▁Krvav -13.5453 +TAIN -13.5454 +ŠEN -13.5458 +▁otpust -13.5459 +▁Prelep -13.5463 +gnostik -13.5463 +▁Petrovaradin -13.5463 +▁oživljavanje -13.5464 +▁MARK -13.5465 +▁priključn -13.5467 +▁optužn -13.547 +Daniel -13.547 +▁dissolve -13.5471 +▁Тр -13.5472 +▁konvoj -13.5473 +Zapad -13.5476 +▁neprirodn -13.5477 +▁Jugović -13.5478 +pharm -13.5478 +dramsk -13.548 +▁Honestly -13.548 +▁Laktaša -13.548 +▁WORLD -13.548 +▁groceries -13.548 +▁hobbies -13.548 +▁proficiency -13.548 +говара -13.548 +▁Distinguish -13.548 +▁Hungarian -13.548 +▁Memfis -13.548 +▁Restoration -13.548 +▁Vacuum -13.548 +▁ZVEZDA -13.548 +▁captivating -13.548 +▁ilustruje -13.548 +▁lepršav -13.548 +▁obogatiti -13.548 +▁ožujku -13.548 +▁pozornice -13.548 +▁proficient -13.548 +▁talijanske -13.548 +NASDAQ -13.548 +▁Revelation -13.548 +▁aterosklero -13.548 +▁preosetljiv -13.548 +▁tolerancija -13.548 +▁07:00 -13.548 +▁bicikala -13.548 +▁postavki -13.548 +▁inflaciju -13.548 +▁presudna -13.548 +fidelity -13.548 +▁kategorizacij -13.548 +brojani -13.548 +▁zagađuju -13.5481 +▁Thirty -13.5481 +▁belorusk -13.5481 +5-9 -13.5481 +▁selekcijom -13.5481 +▁prosincu -13.5481 +▁Rwanda -13.5481 +▁sekundarne -13.5481 +▁drvenom -13.5481 +▁logistike -13.5481 +▁Jedinstva -13.5481 +▁sincerely -13.5481 +▁Otkud -13.5481 +▁Spears -13.5481 +▁synthesize -13.5481 +▁dermatološk -13.5481 +▁OVAJ -13.5481 +▁Robbie -13.5481 +▁noisy -13.5481 +▁Rihter -13.5481 +▁Circus -13.5481 +▁Jewelry -13.5481 +▁podnosioca -13.5481 +▁eliminacije -13.5482 +▁realizovala -13.5482 +▁sanitetsk -13.5482 +▁Restrict -13.5482 +▁Venecije -13.5482 +▁Chrono -13.5482 +▁cellphone -13.5482 +▁gabarit -13.5483 +▁posjedovanje -13.5483 +▁ukazana -13.5483 +▁slucajeva -13.5483 +▁udomi -13.5483 +kularna -13.5484 +▁čijom -13.5484 +ovjeren -13.5484 +▁Limundo -13.5485 +▁vaspitno -13.5485 +▁karmin -13.5485 +▁groundwater -13.5485 +▁RUSIJ -13.5485 +▁Sirius -13.5485 +▁rasvjetljavanj -13.5487 +▁torment -13.5488 +▁načelnica -13.5488 +▁Gogh -13.5489 +▁vranjsk -13.5489 +▁simpozijum -13.5491 +▁sekvenci -13.5491 +▁JUST -13.5491 +▁kubansk -13.5491 +Zmaj -13.5491 +▁dipping -13.5491 +▁pauzira -13.5491 +aaaaaaa -13.5493 +▁Hadid -13.5494 +▁župa -13.5496 +▁čitajući -13.5496 +▁Plasma -13.5496 +▁flatten -13.5497 +▁Advokatsk -13.5498 +▁turskoj -13.5502 +▁Kukić -13.5505 +▁Vojinović -13.5505 +▁preporučeni -13.5507 +dominant -13.5507 +Group -13.5508 +▁krater -13.5508 +▁ispitanici -13.5509 +▁foln -13.551 +Evropa -13.5511 +billion -13.5511 +Problem -13.5511 +Srpski -13.5511 +▁Kaplan -13.5511 +limited -13.5512 +▁Predsedn -13.5513 +▁WEEK -13.5514 +СТ -13.5514 +etničke -13.5515 +▁Naučni -13.5516 +134 -13.5517 +▁belgijski -13.5518 +desetogodišnji -13.5519 +▁taktički -13.5523 +Dnevnik -13.5526 +coast -13.5529 +Cross -13.5531 +▁Pavelić -13.5532 +▁Privred -13.5543 +▁neizvesnost -13.5544 +▁čajevi -13.5545 +efikasni -13.5546 +▁Eucerin -13.5547 +ی -13.5547 +▁CNBC -13.5547 +▁Harbour -13.5547 +▁Intellectual -13.5547 +▁Majdanpek -13.5547 +▁Omogućite -13.5547 +▁Technician -13.5547 +▁Termoelektran -13.5547 +▁carcinoma -13.5547 +▁catholic -13.5547 +▁clarification -13.5547 +▁karakteristična -13.5547 +▁neobjavljen -13.5547 +▁obeštećenje -13.5547 +▁proslijeđen -13.5547 +▁rezervne -13.5547 +▁ružičasti -13.5547 +▁utakmicom -13.5547 +▁zaintrigira -13.5547 +▁човек -13.5547 +aktuel -13.5547 +▁Napomene -13.5547 +▁demobilisani -13.5547 +▁honeymoon -13.5547 +▁pravopisnih -13.5547 +▁prikladan -13.5547 +▁pukotina -13.5547 +▁rezervišete -13.5547 +▁Cardiff -13.5547 +▁nebrojeno -13.5547 +▁vanrednu -13.5547 +▁OECD -13.5547 +▁stoljeće -13.5547 +▁zasedanja -13.5547 +▁razriješi -13.5547 +▁sjeckan -13.5547 +▁sluèaj -13.5547 +▁tvornica -13.5547 +▁Hajrudin -13.5547 +▁izvijestila -13.5547 +.07.2018 -13.5547 +.01.2023 -13.5547 +▁ustoličen -13.5547 +▁caffe -13.5547 +▁pakistansk -13.5547 +▁zvijer -13.5547 +▁izvestan -13.5547 +▁generiše -13.5547 +▁wavelength -13.5547 +▁wield -13.5547 +▁rinitis -13.5547 +▁Winchester -13.5547 +▁15:30 -13.5547 +▁Agenciju -13.5547 +/02/202 -13.5547 +▁semifinal -13.5547 +▁Rodoljub -13.5547 +▁VMware -13.5547 +▁izostala -13.5547 +▁rudnicima -13.5547 +▁debakl -13.5547 +▁Assess -13.5547 +▁žarišta -13.5547 +▁blatant -13.5547 +▁grabbing -13.5548 +▁kreatin -13.5548 +▁dragging -13.5548 +▁Scorpio -13.5548 +▁mehaničko -13.5548 +▁poslastice -13.5548 +▁enlargement -13.5548 +▁katastra -13.5549 +▁ASAP -13.5549 +▁Psiholog -13.5549 +▁disciplinary -13.5549 +▁Miracle -13.555 +▁Gazette -13.555 +▁lumber -13.555 +▁minced -13.555 +▁randomized -13.555 +▁VoIP -13.555 +▁Lugansk -13.5551 +▁(33) -13.5551 +▁Saddam -13.5551 +▁motiviran -13.5551 +▁goveđ -13.5551 +▁statua -13.5552 +▁vertikalni -13.5553 +▁skalp -13.5554 +▁Plamen -13.5555 +▁licenca -13.5555 +1990 -13.5556 +▁izvorišta -13.5556 +▁povika -13.5556 +▁oprečn -13.5557 +RATE -13.5557 +▁apsorbira -13.5558 +дјел -13.5559 +ocracy -13.5562 +▁željezo -13.5563 +▁njušk -13.5564 +ethyl -13.5566 +▁zrače -13.5566 +RIES -13.5567 +▁Pomoćnik -13.5569 +чке -13.5571 +▁delfin -13.5572 +▁dospeva -13.5577 +physics -13.5578 +Project -13.5578 +▁prolaznici -13.5579 +▁Tradition -13.558 +Royce -13.5581 +Product -13.5581 +▁linč -13.5582 +▁Čavić -13.5584 +▁Blast -13.5585 +harmoni -13.5586 +▁banjsk -13.5587 +7:30 -13.5591 +▁komunik -13.5592 +▁obezbjeđen -13.5593 +▁izbegličk -13.5594 +▁čarobnjak -13.5595 +▁Stoun -13.5595 +correct -13.5596 +ради -13.5599 +▁lidersk -13.5599 +yclopedia -13.56 +konzularn -13.5602 +▁120.000 -13.5606 +▁Gospe -13.5609 +▁Zagrebački -13.561 +▁populist -13.561 +▁konjsk -13.561 +▁Biljn -13.5611 +▁Lični -13.5611 +▁|13:05|| -13.5613 +▁Egipćani -13.5613 +▁Evrovizije -13.5613 +▁INFORMACIJE -13.5613 +▁Podršku -13.5613 +▁Sanctuary -13.5613 +▁Uzvišenog -13.5613 +▁Zemljotres -13.5613 +▁acknowledging -13.5613 +▁agresivan -13.5613 +▁chemotherapy -13.5613 +▁deklarisan -13.5613 +▁discreet -13.5613 +▁eccentric -13.5613 +▁glamorous -13.5613 +▁karoserije -13.5613 +▁konzistentn -13.5613 +▁listopadu -13.5613 +▁nineteenth -13.5613 +▁perpetrator -13.5613 +▁pljačku -13.5613 +▁podrijetla -13.5613 +▁poljoprivredom -13.5613 +▁proprietor -13.5613 +▁regenerator -13.5613 +▁veroispovesti -13.5613 +▁zapamćen -13.5613 +▁školstvo -13.5613 +▁Loznice -13.5613 +▁Privatna -13.5613 +▁ljepotom -13.5613 +▁proizvela -13.5613 +▁sudbonosn -13.5613 +▁vrećice -13.5613 +▁Časopis -13.5613 +▁nekolicine -13.5613 +▁zabludu -13.5613 +▁Rooney -13.5613 +▁pogubno -13.5613 +▁napretkom -13.5613 +▁staircase -13.5613 +▁MOBILN -13.5613 +▁Kikindi -13.5613 +▁hrabre -13.5613 +▁skijališta -13.5613 +▁hemijska -13.5613 +▁Najvažniji -13.5613 +▁општ -13.5613 +▁nedovoljna -13.5614 +▁Šaulić -13.5614 +▁tinktur -13.5614 +▁pobjeđuje -13.5614 +▁Raspberry -13.5614 +▁Politička -13.5614 +▁prerađivačk -13.5614 +▁Vegetable -13.5614 +▁Clothing -13.5614 +▁izbrisati -13.5614 +▁mršavljenja -13.5614 +▁lifespan -13.5614 +▁Carolyn -13.5614 +▁Atlantsk -13.5614 +▁imaginacij -13.5614 +▁boycott -13.5614 +▁Vodolije -13.5614 +▁Sweat -13.5614 +▁otplati -13.5614 +▁dzamij -13.5614 +▁maternity -13.5615 +▁Clerk -13.5615 +phonic -13.5615 +▁MIDI -13.5615 +▁Melanie -13.5615 +▁Stabil -13.5616 +▁transformaciji -13.5616 +▁Parkinsonov -13.5616 +▁obitava -13.5616 +▁Dodgers -13.5617 +▁potporn -13.5617 +▁prokuva -13.5617 +.11.2017 -13.5618 +▁glumu -13.5618 +▁dugogodišnja -13.5618 +▁dugačke -13.5618 +▁izuzetkom -13.5618 +▁alkaln -13.5619 +▁nepregledn -13.5619 +▁skuter -13.562 +▁pravilna -13.5621 +▁CITY -13.5621 +▁Brigade -13.5622 +▁Gaul -13.5622 +▁duks -13.5623 +▁whitening -13.5623 +▁prosvjetni -13.5625 +▁PRODAJ -13.5625 +нски -13.5626 +PIN -13.5629 +▁demantuje -13.5631 +▁afričko -13.5632 +▁kompas -13.5634 +жно -13.5635 +▁pošast -13.5636 +▁PRAVN -13.5641 +▁Nazva -13.5641 +kopavanje -13.5642 +SQL -13.5644 +▁ubijedi -13.5644 +Sputnjik -13.5644 +Ovde -13.5645 +Zemlja -13.5645 +neutral -13.5645 +tweet -13.5645 +▁krilni -13.5645 +However -13.5646 +Studio -13.5646 +spontan -13.5647 +hemičar -13.5648 +▁linijsk -13.5649 +Walk -13.565 +Cast -13.5652 +▁authorize -13.5652 +1998 -13.5654 +▁darovit -13.5655 +▁Worst -13.5655 +držalo -13.5658 +▁cerebraln -13.5668 +мисиј -13.5669 +▁pomešan -13.567 +▁uzastopni -13.567 +▁suzbija -13.5672 +▁privržen -13.5672 +▁anthem -13.5673 +▁настав -13.5674 +▁fantaz -13.5675 +▁plašt -13.5678 +▁Barcelonu -13.568 +▁Barclay -13.568 +▁Burlington -13.568 +▁Južnoafričk -13.568 +▁Literary -13.568 +▁Winnipeg -13.568 +▁degenerativn -13.568 +▁expiration -13.568 +▁frightened -13.568 +▁guerrilla -13.568 +▁intuition -13.568 +▁najmasovnij -13.568 +▁neugodan -13.568 +▁poklopcem -13.568 +▁stimulans -13.568 +▁sveobuhvatan -13.568 +▁tvrđavu -13.568 +▁(1:1) -13.568 +▁biografiji -13.568 +▁hesitation -13.568 +▁resonance -13.568 +▁Indikator -13.568 +▁prevazilaze -13.568 +▁proizveo -13.568 +▁skrining -13.568 +▁apsolutne -13.568 +▁proposing -13.568 +▁fotokopij -13.568 +▁prisvaja -13.568 +▁talibani -13.568 +▁Argument -13.568 +▁izvesne -13.568 +▁nižoj -13.568 +▁KNOW -13.5681 +.04.2018 -13.5681 +▁homage -13.5681 +▁asbestos -13.5681 +▁biometrijsk -13.5681 +▁stravično -13.5681 +▁BIVŠ -13.5681 +▁orkestri -13.5681 +▁šumarstvo -13.5681 +▁odjeknula -13.5681 +▁Štefan -13.5681 +grijte -13.5681 +▁Sledeća -13.5681 +▁Mutual -13.5681 +▁militia -13.5681 +▁optimizacije -13.5681 +▁ljestvice -13.5681 +▁nightclub -13.5682 +▁životinju -13.5682 +▁stajalište -13.5682 +▁CCTV -13.5682 +▁parlamentarnu -13.5682 +▁arterijsk -13.5682 +▁hallmark -13.5682 +▁Symbol -13.5682 +▁Formuli -13.5682 +▁respektabiln -13.5682 +▁slipping -13.5683 +▁telesnu -13.5683 +▁enrichment -13.5683 +▁Species -13.5683 +▁resolving -13.5684 +▁dinarskoj -13.5684 +▁porodilja -13.5684 +▁predivne -13.5684 +▁churn -13.5685 +▁akontacij -13.5685 +▁mokrenja -13.5685 +Zaboravi -13.5685 +▁kraljicu -13.5686 +▁magiju -13.5687 +▁zvezdice -13.5688 +▁zoološk -13.5688 +сед -13.5689 +[4] -13.5689 +▁compressor -13.5689 +▁izuzeci -13.569 +▁Odjava -13.5691 +▁rodent -13.5691 +▁stringent -13.5693 +▁marvelous -13.5695 +тка -13.5696 +ONDA -13.5698 +▁ćuprij -13.5698 +nacionalni -13.5699 +raiser -13.5702 +итет -13.5706 +▁ruča -13.5709 +▁Karanović -13.571 +▁pivsk -13.571 +▁frown -13.5711 +bacterial -13.5712 +Ч -13.5712 +positive -13.5712 +▁Slijede -13.5712 +▁mobilno -13.5713 +Happy -13.5714 +▁marginalizovan -13.5714 +▁nukle -13.5715 +Keep -13.5717 +▁Živojin -13.572 +▁vibrator -13.5722 +Author -13.5724 +▁Kreiranje -13.5727 +▁Mandat -13.5728 +RVI -13.5731 +▁županijski -13.5734 +▁Pečen -13.5735 +▁najuspešniji -13.5738 +2:45 -13.5738 +▁poučava -13.5742 +▁prevede -13.5743 +ُو -13.5745 +▁babo -13.5747 +ِّ -13.5747 +čvršćiva -13.5748 +▁Covenant -13.5748 +▁Djevojka -13.5748 +▁Eleanor -13.5748 +▁Guverner -13.5748 +▁KoSSev -13.5748 +▁Ludwig -13.5748 +▁Millennium -13.5748 +▁Mustafić -13.5748 +▁NVIDIA -13.5748 +▁Porfirije -13.5748 +▁Požege -13.5748 +▁Rezolucije -13.5748 +▁Vanderbilt -13.5748 +▁Vježba -13.5748 +▁bijeljinsk -13.5748 +▁contingent -13.5748 +▁declaring -13.5748 +▁distribuciji -13.5748 +▁epidemijom -13.5748 +▁identifikovati -13.5748 +▁intermittent -13.5748 +▁konsalting -13.5748 +▁kortizol -13.5748 +▁lavirint -13.5748 +▁nedodirljiv -13.5748 +▁neustrašiv -13.5748 +▁prekrasne -13.5748 +▁raznovrsna -13.5748 +▁sazviježđu -13.5748 +▁svjetonazor -13.5748 +▁travnju -13.5748 +▁unapređivanje -13.5748 +▁volcanic -13.5748 +▁Picasso -13.5748 +▁doputovao -13.5748 +▁mubarek -13.5748 +▁nasljeđa -13.5748 +▁opsesivn -13.5748 +▁rebellion -13.5748 +▁Čokolad -13.5748 +▁Prirodna -13.5748 +▁Niagara -13.5748 +▁devizne -13.5748 +▁indicative -13.5748 +▁žrtvi -13.5748 +▁nominacija -13.5748 +misunderstanding -13.5748 +▁Obrazovn -13.5748 +▁Procedura -13.5748 +▁skromna -13.5748 +▁neporažen -13.5748 +▁preporucuje -13.5748 +.11.2022 -13.5748 +▁Unutrašnji -13.5748 +▁McConnell -13.5748 +▁iluzije -13.5748 +▁ohlađen -13.5748 +▁membrana -13.5748 +▁cevovod -13.5748 +.02.2021 -13.5748 +▁vesela -13.5748 +▁Čestitke -13.5748 +▁14:30 -13.5748 +▁strukturom -13.5748 +▁(1991) -13.5748 +.08.2021 -13.5748 +▁Hercegovinom -13.5748 +▁(1999) -13.5748 +▁eksponira -13.5748 +▁hronična -13.5748 +▁Organizacij -13.5748 +▁Childhood -13.5749 +▁štetna -13.5749 +▁iskusan -13.5749 +▁affirmative -13.5749 +▁Ukupni -13.5749 +▁darivanja -13.5749 +▁neizmern -13.5749 +▁Costume -13.5749 +▁Conversion -13.5749 +▁Velebit -13.5749 +▁тај -13.575 +▁seventeen -13.575 +▁općinske -13.575 +▁brijanje -13.575 +▁Optimization -13.575 +▁provri -13.5751 +▁suppression -13.5751 +▁informaciji -13.5751 +▁pokorava -13.5752 +▁srpnju -13.5753 +▁odijelo -13.5753 +▁madrac -13.5753 +▁otključava -13.5753 +▁Milanovac -13.5754 +▁savjetuju -13.5755 +▁Rolex -13.5755 +▁verovatn -13.5755 +▁Velvet -13.5756 +▁cudno -13.5757 +▁kršćanski -13.5757 +Rafinerij -13.576 +▁lisica -13.576 +▁praktičar -13.5761 +▁jedrilic -13.5761 +▁Hamdij -13.5766 +▁pozajmljen -13.5769 +ВИ -13.5769 +шао -13.577 +||7|| -13.5771 +▁Milačić -13.5771 +▁smrdi -13.5773 +pušač -13.5776 +pregled -13.5778 +Title -13.5779 +▁šibic -13.5779 +employed -13.5779 +▁fascikl -13.5779 +▁Ratković -13.5779 +februar -13.578 +COVID -13.5781 +▁slušn -13.5782 +automobil -13.5782 +SHIP -13.579 +▁rukovodeći -13.5793 +▁bošnja -13.5793 +▁zatvorenik -13.5796 +▁ruz -13.5799 +▁kombinat -13.58 +▁Kolač -13.58 +▁lančan -13.5802 +▁uspešniji -13.5805 +Lakše -13.5808 +▁činovnik -13.581 +Maybe -13.5811 +▁vegansk -13.5813 +adsenseyu -13.5816 +δ -13.5816 +▁Aberdeen -13.5816 +▁Innovative -13.5816 +▁Jeremiah -13.5816 +▁Libraries -13.5816 +▁Policajci -13.5816 +▁Smještaj -13.5816 +▁infrastrukturom -13.5816 +▁nezaustavljiv -13.5816 +▁phosphate -13.5816 +▁recognizable -13.5816 +▁siromaštvu -13.5816 +▁snorkel -13.5816 +▁substitution -13.5816 +▁Čapljina -13.5816 +▁čokoladni -13.5816 +▁Kikinde -13.5816 +▁datoteku -13.5816 +▁drajver -13.5816 +▁intimidate -13.5816 +▁otišle -13.5816 +▁peasant -13.5816 +▁projekciju -13.5816 +▁propraćen -13.5816 +▁retoriku -13.5816 +ldehyde -13.5816 +▁Migration -13.5816 +▁NAJVEĆ -13.5816 +▁izraelska -13.5816 +▁prebrzo -13.5816 +▁zabranjuju -13.5816 +▁pomenutu -13.5816 +▁doživotnu -13.5816 +▁rhino -13.5816 +Interpretation -13.5816 +▁courier -13.5816 +▁nuklearna -13.5816 +▁climatic -13.5816 +▁Courtesy -13.5816 +▁PLAŽI -13.5816 +▁garažu -13.5816 +▁orchard -13.5816 +▁aquatic -13.5816 +▁Observer -13.5816 +▁Gospođa -13.5816 +▁šetališta -13.5816 +▁residing -13.5816 +▁hymn -13.5816 +▁komunalna -13.5817 +▁standalone -13.5817 +▁tedious -13.5817 +▁Nagorno -13.5817 +▁cirkulacija -13.5817 +▁Julius -13.5817 +▁Raleigh -13.5817 +▁systematically -13.5817 +▁šifrom -13.5817 +▁plugged -13.5817 +▁anketu -13.5817 +▁terasom -13.5817 +▁navikla -13.5817 +▁iritacija -13.5817 +▁turnaround -13.5817 +▁RHMZ -13.5817 +▁pomolu -13.5817 +▁ekstremizma -13.5817 +▁Karamarko -13.5817 +▁Estonia -13.5818 +▁pantry -13.5818 +▁medjusobn -13.5818 +▁Jemenu -13.5818 +▁česme -13.5818 +▁Tražilica -13.5818 +▁Avdi -13.5818 +▁Neverovatno -13.5819 +▁psihologiju -13.5819 +.05.2017 -13.5819 +▁lavinu -13.582 +▁satiričn -13.582 +▁inhale -13.582 +▁Pension -13.5821 +▁atomic -13.5821 +▁zbirki -13.5821 +▁Slovak -13.5821 +▁proteze -13.5822 +▁cvat -13.5822 +▁Zavisno -13.5823 +▁spojeva -13.5823 +▁2026. -13.5823 +▁NEED -13.5823 +▁Dokazano -13.5824 +▁Feast -13.5824 +▁epicentr -13.5826 +POT -13.5826 +OGRAF -13.5827 +▁Liječ -13.5827 +више -13.5828 +бог -13.5828 +▁coastline -13.5829 +▁Najduž -13.5832 +▁kočij -13.5832 +▁žile -13.5835 +foliat -13.5836 +▁Celzij -13.5836 +▁Ljubičić -13.5837 +▁otrovan -13.5838 +▁↑2 -13.5839 +▁1,200 -13.5841 +axial -13.5841 +▁Formiranje -13.5842 +načelnik -13.5845 +prepared -13.5849 +Special -13.5849 +surface -13.585 +▁čajeva -13.5853 +crest -13.5853 +sumnjiv -13.5858 +▁hladniji -13.5859 +8.9 -13.5859 +▁autograph -13.5865 +▁debitant -13.5865 +воз -13.5872 +▁Raket -13.5875 +▁stranačko -13.5876 +▁profesionalnost -13.5876 +▁collage -13.5883 +▁802.11 -13.5884 +▁Peščanik -13.5884 +▁Brunswick -13.5885 +▁GeForce -13.5885 +▁Katalonije -13.5885 +▁Mundobasket -13.5885 +▁Plymouth -13.5885 +▁accommodating -13.5885 +▁akcize -13.5885 +▁autentične -13.5885 +▁baterijom -13.5885 +▁consortium -13.5885 +▁loneliness -13.5885 +▁neupotrebljiv -13.5885 +▁ponaosob -13.5885 +▁promjenjiv -13.5885 +▁trgovce -13.5885 +▁vatrogasna -13.5885 +▁veličinom -13.5885 +▁Precision -13.5885 +▁letjelice -13.5885 +▁prekjuče -13.5885 +▁Somerset -13.5885 +▁Bermuda -13.5885 +▁WOW -13.5885 +▁raffle -13.5885 +▁Lexus -13.5885 +▁Mubarak -13.5885 +▁mehaničar -13.5885 +▁suicidal -13.5885 +▁vrećica -13.5885 +▁hrabra -13.5885 +▁Casual -13.5885 +▁franjevačk -13.5885 +▁Genocid -13.5885 +▁kreativnu -13.5885 +▁sensual -13.5885 +▁podnošljiv -13.5885 +▁pottery -13.5885 +▁корист -13.5885 +▁apprenticeship -13.5885 +▁(1994) -13.5885 +▁svadba -13.5885 +▁izmislio -13.5885 +▁parastos -13.5885 +▁pojedinačna -13.5885 +▁reversal -13.5885 +▁podupire -13.5885 +▁kontrakcije -13.5885 +▁rubrika -13.5885 +▁Prateći -13.5885 +▁disbalans -13.5885 +▁Zvuk -13.5885 +▁Prioritet -13.5885 +▁sijalice -13.5885 +▁pharma -13.5886 +▁slavna -13.5886 +▁pravomoćn -13.5886 +▁bankarstva -13.5886 +▁ronjenje -13.5886 +▁intimne -13.5886 +▁trivial -13.5886 +▁fantazije -13.5886 +▁ugostiteljstva -13.5886 +▁mađarskom -13.5886 +▁Ribbon -13.5886 +▁Palanke -13.5886 +▁ponizno -13.5886 +▁heartbeat -13.5886 +▁Uniform -13.5887 +▁posedovanje -13.5887 +▁Audience -13.5887 +▁stvaralaca -13.5887 +▁Obamacare -13.5887 +▁Prilično -13.5887 +▁sladak -13.5887 +▁odjeći -13.5887 +▁Pušenje -13.5887 +.02.2017 -13.5888 +pelling -13.5888 +▁regulacija -13.5888 +▁Capture -13.5888 +Preduzetni -13.5889 +▁normalizaciju -13.5889 +▁(37) -13.5889 +▁terijer -13.589 +▁izvrsnosti -13.589 +▁ideologiju -13.589 +▁etiketira -13.589 +thumb -13.589 +▁Komandant -13.589 +▁Cooperation -13.5891 +▁Stolac -13.5891 +▁predstoje -13.5891 +▁Norris -13.5892 +▁Hermes -13.5892 +▁Ashton -13.5892 +obilnih -13.5893 +▁Optional -13.5893 +▁Analizira -13.5894 +▁prosper -13.5894 +▁Rumunjsk -13.5894 +▁Notebook -13.5895 +▁mozgov -13.5896 +▁Drill -13.5897 +▁šilj -13.5898 +▁depiction -13.59 +▁razoruža -13.5904 +Corp -13.5904 +дом -13.5904 +education -13.5909 +▁nedeljni -13.591 +▁Pulse -13.5915 +Zadruzi -13.5916 +Veličina -13.5917 +confidence -13.5918 +Prijatelj -13.5918 +▁čeln -13.5921 +ANIMA -13.5921 +▁agrarn -13.5924 +▁latent -13.5927 +▁postajal -13.5936 +▁Poboljšava -13.5936 +тета -13.5941 +▁nijansa -13.5941 +▁Sigurnosn -13.5944 +▁hangar -13.5946 +▁могл -13.5946 +▁lepljiv -13.5947 +▁glide -13.5949 +▁6:0 -13.595 +▁Deutsch -13.595 +▁Nevjerovatn -13.595 +faktor -13.5952 +▁bankrupt -13.5953 +▁Respond -13.5953 +र -13.5953 +ً -13.5953 +▁Audrey -13.5953 +▁Bjelogrlić -13.5953 +▁Olympus -13.5953 +▁Sposobnost -13.5953 +▁culprit -13.5953 +▁demonstrator -13.5953 +▁djetinjstvu -13.5953 +▁ofanzive -13.5953 +▁pražnjenje -13.5953 +▁radijallahu -13.5953 +▁unreasonable -13.5953 +▁vizionar -13.5953 +▁znanstvene -13.5953 +▁кроз -13.5953 +▁једна -13.5953 +▁ambalažn -13.5953 +▁dijareje -13.5953 +▁zakonodavni -13.5953 +▁muftije -13.5953 +▁poklopca -13.5953 +▁submarine -13.5954 +▁povlašćen -13.5954 +▁pineapple -13.5954 +▁registre -13.5954 +▁usredsredi -13.5954 +▁Ćuruvij -13.5954 +▁Gazprom -13.5954 +▁Otprilike -13.5954 +▁Buckingham -13.5954 +▁koprive -13.5954 +▁Delicious -13.5954 +▁Goethe -13.5954 +▁Kulenović -13.5954 +provoking -13.5954 +▁eurozone -13.5954 +▁otmice -13.5954 +▁regulaciji -13.5954 +▁primirje -13.5954 +▁Tehnička -13.5954 +▁Editorial -13.5955 +▁extinction -13.5955 +▁shaving -13.5955 +▁živjelo -13.5955 +▁prijatne -13.5955 +▁Ćurčić -13.5955 +▁Miličević -13.5955 +▁elicit -13.5956 +▁SMRT -13.5956 +▁transient -13.5956 +▁Rubber -13.5956 +▁Yoshi -13.5956 +▁natopljen -13.5956 +▁dentistry -13.5957 +▁Zadnje -13.5957 +▁Climb -13.5957 +▁Stepanović -13.5957 +▁Olsen -13.5957 +▁naftom -13.5958 +▁stakala -13.5958 +▁Važan -13.5958 +▁Somehow -13.5958 +▁pesimist -13.5959 +▁SaaS -13.5959 +▁automatsku -13.5961 +▁sandale -13.5961 +▁Colts -13.5961 +▁relish -13.5964 +▁Gudelj -13.5965 +▁zatezn -13.5966 +vršetak -13.5968 +▁cijepi -13.5968 +▁rječ -13.5968 +▁uzelo -13.5971 +OVANJA -13.5971 +▁izvezen -13.5973 +▁kroči -13.5974 +aternity -13.5977 +▁mokre -13.5977 +▁Vardar -13.5979 +5–1 -13.5982 +▁quartz -13.5982 +ход -13.5983 +▁jasmin -13.5985 +government -13.5985 +▁Bicikl -13.5985 +Street -13.5987 +ISBN -13.5987 +catching -13.5988 +▁marljiv -13.5988 +▁Koren -13.5988 +služuje -13.599 +▁minijatur -13.5996 +7-9 -13.5997 +phrase -13.5998 +9000 -13.5998 +▁Maslin -13.6001 +▁plemensk -13.6002 +šminka -13.6002 +▁osposobljava -13.6004 +▁Naredb -13.6008 +▁pljuvačk -13.601 +▁PRIME -13.6012 +▁Boračk -13.6012 +region -13.6013 +▁inherit -13.6013 +meteorološk -13.6015 +▁право -13.6018 +cryptocurrencies -13.6023 +▁AdWords -13.6023 +▁AutoCAD -13.6023 +▁Bratunca -13.6023 +▁JUDGE -13.6023 +▁Jednostavan -13.6023 +▁Luxembourg -13.6023 +▁Marseille -13.6023 +▁Occupy -13.6023 +▁Olivier -13.6023 +▁Outreach -13.6023 +▁Pjongjang -13.6023 +▁Survival -13.6023 +▁exemplary -13.6023 +▁festivities -13.6023 +▁nesuglasice -13.6023 +▁nizozemsk -13.6023 +▁podržale -13.6023 +▁stabljika -13.6023 +▁trajectory -13.6023 +▁|19:00|| -13.6023 +▁Херцеговин -13.6023 +¹ -13.6023 +⁄ -13.6023 +▁Bulldogs -13.6023 +▁Prevencija -13.6023 +▁avangardn -13.6023 +▁objavljival -13.6023 +▁saučesnik -13.6023 +▁Destiny -13.6023 +▁pomirenju -13.6023 +▁poznavalac -13.6023 +▁revizion -13.6023 +▁meadow -13.6023 +▁zlonamer -13.6023 +▁Njukasl -13.6023 +▁routing -13.6023 +▁Coronavirus -13.6023 +▁pastrmk -13.6023 +▁Nasilje -13.6023 +▁madridsk -13.6023 +▁reanimacij -13.6023 +▁Irvine -13.6023 +▁Poslodavac -13.6023 +.06.2018 -13.6023 +▁bezbrižn -13.6023 +▁Cornwall -13.6023 +▁zaključavanje -13.6023 +▁unstable -13.6023 +▁kondicion -13.6023 +▁POBED -13.6023 +▁arbitar -13.6023 +▁hirurške -13.6023 +▁causal -13.6023 +▁ruševine -13.6023 +▁Motorcycle -13.6023 +▁proključa -13.6023 +▁razonod -13.6023 +▁koronom -13.6023 +▁žudnj -13.6023 +▁Vettel -13.6023 +▁ozvaničen -13.6023 +▁skladištu -13.6023 +▁adresom -13.6023 +▁Goddess -13.6023 +/06/202 -13.6023 +▁zauzele -13.6024 +▁višemilionsk -13.6024 +▁kapuljač -13.6024 +komplikuje -13.6024 +▁ćaska -13.6024 +▁primorava -13.6024 +▁tartuf -13.6024 +▁blizinu -13.6024 +▁ideološke -13.6025 +zeleno -13.6025 +▁hrskavice -13.6025 +/10/202 -13.6026 +▁pristupačne -13.6026 +▁Ručak -13.6026 +▁dojave -13.6027 +▁mokraće -13.6027 +▁Mobility -13.6027 +▁bogami -13.6028 +▁Hristos -13.6028 +svako -13.6028 +▁proporcionalno -13.6028 +▁postseason -13.6029 +▁Percent -13.6029 +вјер -13.6029 +▁životopis -13.603 +▁vinarija -13.603 +Javn -13.6032 +kopali -13.6033 +▁lišil -13.6033 +▁TWO -13.6033 +▁Whip -13.6034 +▁osuda -13.6035 +▁kukova -13.6037 +▁rupic -13.6038 +▁Zorić -13.6038 +▁Smiljanić -13.6041 +▁Carmel -13.6046 +zdravlje -13.6046 +▁vlasnic -13.6047 +▁↑0 -13.6047 +▁kandiduje -13.6048 +transparent -13.6052 +▁Kreira -13.6053 +obrazovni -13.6054 +▁pešač -13.6056 +→ -13.6057 +▁prsn -13.6058 +▁alkoholičar -13.6058 +Spring -13.6058 +вољ -13.606 +Trg -13.6062 +lažući -13.6062 +▁symbolize -13.6062 +Filip -13.6063 +▁demantira -13.6063 +Aleks -13.6063 +▁favorizovan -13.6064 +▁slikarsk -13.6065 +▁nervn -13.6068 +▁Marsej -13.607 +awaited -13.6071 +▁papirologij -13.6071 +▁prezentoval -13.6072 +▁Bazel -13.6072 +američko -13.6072 +▁поста -13.6078 +▁Customize -13.6079 +▁vječnost -13.608 +▁newbie -13.608 +▁Leonid -13.6081 +▁organizacioni -13.6083 +▁Izvršn -13.6083 +▁odsutno -13.6084 +Zenicablog -13.6084 +▁MLADI -13.6085 +▁djevoj -13.6087 +Komunal -13.6091 +▁Evaluat -13.6092 +ָ -13.6093 +▁Confederate -13.6093 +▁FNRJ -13.6093 +▁Predškolsk -13.6093 +▁SPECIAL -13.6093 +▁Varšavi -13.6093 +▁ZANIMLJIVOSTI -13.6093 +▁anonymity -13.6093 +▁authoritative -13.6093 +▁besprijekorn -13.6093 +▁diskriminira -13.6093 +▁enquiries -13.6093 +▁filantrop -13.6093 +▁komisijom -13.6093 +▁nagoveštaj -13.6093 +▁najnovijoj -13.6093 +▁najtalentovanij -13.6093 +▁psihičke -13.6093 +▁ransomware -13.6093 +▁titanium -13.6093 +▁vaccinated -13.6093 +▁Žandarmerije -13.6093 +▁Decembar -13.6093 +▁Drobnjak -13.6093 +▁Leopard -13.6093 +▁Tobacco -13.6093 +▁rejoice -13.6093 +▁climax -13.6093 +▁fotelju -13.6093 +▁misrepresent -13.6093 +▁vojskovo -13.6093 +▁trousers -13.6093 +▁glumcu -13.6093 +▁Džafić -13.6093 +▁Kristofer -13.6093 +▁kirurg -13.6093 +▁Poreklo -13.6093 +▁influx -13.6093 +▁mobilnu -13.6093 +▁Psychological -13.6093 +▁jedanaesterac -13.6093 +▁objedinjava -13.6093 +▁renamed -13.6093 +▁šovinističke -13.6093 +▁profitabilnost -13.6093 +.05.2016 -13.6093 +▁žitelja -13.6093 +▁Abrams -13.6093 +▁nagađanja -13.6093 +▁nedovoljne -13.6093 +▁obligated -13.6093 +▁župi -13.6093 +▁Liječenje -13.6093 +▁piercing -13.6093 +▁majestic -13.6093 +▁canopy -13.6093 +▁Implant -13.6093 +▁CBCG -13.6094 +▁odzvanja -13.6094 +▁equate -13.6094 +▁Prezentacija -13.6094 +▁zauzmu -13.6094 +▁weaving -13.6094 +▁strepnj -13.6094 +▁Žurke -13.6094 +▁ilegalne -13.6094 +▁hvaljen -13.6094 +▁ventilaciju -13.6094 +▁Kreativno -13.6095 +▁sunscreen -13.6095 +▁ograničenjima -13.6095 +▁chores -13.6095 +▁municipality -13.6095 +▁zaglavljen -13.6095 +▁čipset -13.6095 +▁tradicionalan -13.6095 +▁Amerikance -13.6095 +▁patrijarhaln -13.6095 +▁saucepan -13.6095 +▁bočica -13.6096 +▁predstavnice -13.6096 +▁Gemini -13.6096 +▁Okupljeni -13.6096 +▁prudent -13.6096 +▁silovit -13.6096 +▁ethnicity -13.6097 +▁Stiže -13.6097 +▁mudrac -13.6097 +▁hakersk -13.6098 +▁Experimental -13.6098 +▁odstranjiva -13.6099 +nfuzija -13.6099 +grijati -13.6099 +▁stihova -13.61 +▁Brk -13.61 +▁blesav -13.6101 +▁Tasić -13.6102 +▁heljd -13.6102 +katolič -13.6103 +▁zoru -13.6104 +demokratski -13.6104 +▁Tihić -13.6105 +▁Belize -13.6106 +0,0 -13.6107 +onzo -13.6107 +▁KRV -13.6109 +▁Bregović -13.6109 +▁korumpirani -13.611 +▁neurological -13.611 +Low -13.6114 +▁aktuelnosti -13.6116 +▁Papua -13.6117 +▁nevjernik -13.612 +▁nemoraln -13.6121 +▁thermostat -13.6122 +▁Ovisno -13.6122 +▁Jahić -13.6125 +5,5 -13.6125 +would -13.6127 +regulation -13.6127 +▁turbulentn -13.6131 +Ekonom -13.6133 +ля -13.6137 +▁PISA -13.6139 +calc -13.6142 +1997 -13.6144 +appropriate -13.6148 +▁Turčin -13.6149 +▁Bosnjak -13.6156 +RAĐA -13.6157 +▁automaker -13.616 +Äk -13.616 +▁urođeni -13.6161 +是 -13.6161 +▁hardversk -13.6161 +▁vinil -13.6162 +Traži -13.6163 +nconstitutional -13.6163 +▁Compensation -13.6163 +▁Huffington -13.6163 +▁Illustrated -13.6163 +▁Jazeere -13.6163 +▁Konferenciji -13.6163 +▁Mushroom -13.6163 +▁Objašnjava -13.6163 +▁SEDMICE -13.6163 +▁Sabbath -13.6163 +▁Sarajevske -13.6163 +▁arranging -13.6163 +▁delegaciji -13.6163 +▁entitlement -13.6163 +▁evakuaciju -13.6163 +▁konzumaciju -13.6163 +▁kritikovali -13.6163 +▁melatonin -13.6163 +▁miraculous -13.6163 +▁najavljival -13.6163 +▁nostalgic -13.6163 +▁pedagoško -13.6163 +▁promjenljiv -13.6163 +▁religiozno -13.6163 +▁srednjoškolce -13.6163 +▁stimulacije -13.6163 +▁заштит -13.6163 +▁случај -13.6163 +▁Destination -13.6163 +▁Posvećen -13.6163 +▁engleska -13.6163 +▁slovenačkog -13.6163 +▁nezapažen -13.6163 +▁sworn -13.6163 +▁brodogradnj -13.6163 +▁konekcija -13.6163 +▁protivzakonit -13.6163 +▁nezaboravne -13.6163 +▁orgazma -13.6163 +▁posthumno -13.6163 +▁Sutton -13.6163 +▁WHERE -13.6163 +▁identifikacija -13.6163 +▁Osumnjičen -13.6163 +▁klimatizovan -13.6163 +▁odbojku -13.6163 +▁Railroad -13.6163 +▁Hilandar -13.6163 +▁cosmic -13.6163 +▁Bilbao -13.6164 +Mechanic -13.6164 +▁unatrag -13.6164 +▁odustajanje -13.6164 +▁karijern -13.6164 +▁Thermal -13.6164 +▁usreći -13.6164 +▁natjecatelja -13.6164 +▁preuređen -13.6164 +▁embody -13.6164 +▁grafiku -13.6164 +▁RFID -13.6164 +▁ORDER -13.6164 +▁Thames -13.6164 +▁transplantaciju -13.6164 +▁Uredbom -13.6164 +▁Delphi -13.6164 +▁Videćemo -13.6165 +▁Režim -13.6165 +▁nužna -13.6165 +VILLE -13.6165 +▁prosečan -13.6165 +▁swarm -13.6165 +▁variance -13.6165 +▁elitu -13.6165 +svaki -13.6165 +▁svežinu -13.6166 +▁tentative -13.6166 +▁primaoca -13.6166 +HEA -13.6166 +▁subtract -13.6166 +▁odlučivanju -13.6167 +▁logoped -13.6167 +▁assassination -13.6167 +▁prevenira -13.6168 +▁Ха -13.6168 +▁ručku -13.6169 +▁Tasos -13.617 +kularno -13.6176 +▁svjetsko -13.6179 +▁spojevi -13.6179 +▁Odbornici -13.6182 +▁LIKE -13.6182 +▁Potencijaln -13.6182 +MMF -13.6183 +icrobial -13.6186 +▁odupre -13.6187 +▁snalaze -13.6189 +▁gliste -13.6197 +▁brišu -13.6198 +▁Ву -13.6198 +informed -13.6198 +Multi -13.6199 +najmanje -13.6199 +▁прв -13.6199 +distance -13.6199 +festival -13.6199 +▁Gwen -13.6203 +▁Бе -13.6203 +javljuju -13.6204 +▁Erste -13.6205 +▁vizit -13.6207 +▁Filozof -13.6208 +▁labav -13.6209 +▁vidikovc -13.6211 +saurus -13.6211 +▁NAJAV -13.6213 +▁isključuju -13.6214 +▁nedvosmislen -13.6215 +understand -13.6217 +▁Bratić -13.6218 +▁Dubrov -13.6221 +▁dodjeljiva -13.6222 +▁Bekam -13.6222 +▁Smanjen -13.6223 +oplasm -13.6225 +trljajte -13.6232 +▁vjernost -13.6233 +▁Recruit -13.6233 +Á -13.6234 +▁Tiodorović -13.6234 +▁Albuquerque -13.6234 +▁Netanjahu -13.6234 +▁Rehabilitation -13.6234 +▁Settlement -13.6234 +▁Strawberry -13.6234 +▁Temišvar -13.6234 +▁cannabinoid -13.6234 +▁dugotrajnu -13.6234 +▁ekspanzije -13.6234 +▁ergonomic -13.6234 +▁financijska -13.6234 +▁ignorišu -13.6234 +▁kalkulator -13.6234 +▁konfiguracije -13.6234 +▁peninsula -13.6234 +▁reciprocitet -13.6234 +▁tendencies -13.6234 +▁rendition -13.6234 +▁simulacija -13.6234 +▁Udovičić -13.6234 +▁hemoroida -13.6234 +▁slobodom -13.6234 +▁konekcije -13.6234 +▁ljupk -13.6234 +▁najiskrenij -13.6234 +▁olovkom -13.6234 +▁bosanska -13.6234 +▁trougla -13.6234 +▁arteries -13.6234 +▁filijala -13.6234 +ُوا -13.6234 +▁Blockchain -13.6234 +▁Knicks -13.6234 +▁zastupnica -13.6234 +▁monstrum -13.6234 +▁samoodbran -13.6234 +▁deceptive -13.6234 +▁Prvenstveno -13.6234 +▁(1996) -13.6234 +▁instability -13.6234 +▁podstanar -13.6235 +▁začeća -13.6235 +▁aktivistkinja -13.6235 +▁embarrassment -13.6235 +▁Kfora -13.6235 +▁konsultuje -13.6235 +▁premašio -13.6235 +▁Beacon -13.6235 +▁adherence -13.6235 +▁izviđačk -13.6235 +▁španska -13.6235 +▁Stretch -13.6235 +▁kinetic -13.6236 +▁kettle -13.6236 +▁shotgun -13.6236 +▁Čanak -13.6236 +▁Albanijom -13.6236 +▁Obavlja -13.6236 +▁pijesak -13.6236 +▁Jiang -13.6236 +▁NOVINE -13.6236 +▁Baylor -13.6237 +.06.2017 -13.6237 +▁collide -13.6237 +▁dugogodišnju -13.6237 +▁Nastojim -13.6237 +▁tročlan -13.6237 +▁baštensk -13.6238 +▁Keyboard -13.6238 +▁deserving -13.6238 +▁devour -13.6238 +▁Describe -13.6238 +▁(35) -13.6239 +▁provizija -13.6239 +▁ruksak -13.624 +▁povrću -13.624 +letjela -13.624 +▁preveo -13.6241 +▁raspala -13.6242 +▁opcijom -13.6242 +▁postavu -13.6243 +▁Halep -13.6244 +▁zasmeta -13.6247 +▁vrednovanje -13.6247 +▁isplaniran -13.6248 +▁Stephan -13.625 +karbonat -13.625 +Trade -13.6251 +▁Romero -13.6252 +▁Olaf -13.6255 +кле -13.6256 +▁nezahvaln -13.6256 +AAAA -13.6257 +▁inspirira -13.6258 +писан -13.626 +▁unjust -13.6263 +▁трен -13.6264 +Germain -13.6268 +± -13.627 +knowledge -13.627 +company -13.627 +Daily -13.627 +Guard -13.627 +Prince -13.6274 +▁expressive -13.6279 +▁Oklahom -13.628 +MHz -13.628 +medicine -13.6284 +▁delimičn -13.6284 +Stock -13.6285 +dućih -13.6286 +ان -13.6288 +ČEL -13.6288 +vredno -13.6291 +corporate -13.6292 +▁ideološko -13.6294 +▁nesebičn -13.6294 +▁simulate -13.6295 +▁infiltrat -13.6298 +▁dispose -13.6299 +▁naglašeni -13.6302 +▁вест -13.6304 +Ozbiljn -13.6305 +JELA -13.6305 +ì -13.6306 +▁preusmjerava -13.6306 +Unapređenje -13.6306 +collegiate -13.6306 +rrespective -13.6306 +▁Corinthians -13.6306 +▁Enhanced -13.6306 +▁Kathryn -13.6306 +▁Najčitaniji -13.6306 +▁SrpskaCafe -13.6306 +▁Svetosavsk -13.6306 +▁Vukićević -13.6306 +▁archaeological -13.6306 +▁belančevina -13.6306 +▁bikarbone -13.6306 +▁ekspanziju -13.6306 +▁epidemiju -13.6306 +▁grassroots -13.6306 +▁ispoštovati -13.6306 +▁naizmjenično -13.6306 +▁nespojiv -13.6306 +▁oboljenjima -13.6306 +▁olakšica -13.6306 +▁orijentaciju -13.6306 +▁pravoslavnoj -13.6306 +▁rehabilitaciji -13.6306 +▁scissor -13.6306 +▁tastature -13.6306 +▁unravel -13.6306 +▁vježbu -13.6306 +▁много -13.6306 +▁особ -13.6306 +▁Leopold -13.6306 +▁meditacije -13.6306 +▁zemaljski -13.6306 +▁deformitet -13.6306 +▁disparate -13.6306 +▁sinhronizovan -13.6306 +▁Estonije -13.6306 +▁Jennings -13.6306 +▁abdest -13.6306 +▁Učestvuj -13.6306 +▁zamenjuje -13.6306 +▁mljekar -13.6306 +▁NOVINAR -13.6306 +▁zvučne -13.6306 +▁NEDELJ -13.6306 +▁ostrvsk -13.6306 +▁podlaktic -13.6306 +▁osvijetljen -13.6306 +▁Uporedo -13.6306 +▁knjižica -13.6306 +▁(1998) -13.6306 +▁Elvedin -13.6306 +▁agility -13.6306 +▁dotakao -13.6306 +▁Daisy -13.6306 +▁NUNS -13.6306 +▁iskusne -13.6306 +▁dripping -13.6306 +▁Crusade -13.6306 +▁Closing -13.6306 +▁ispoštoval -13.6306 +▁šetalište -13.6306 +▁tutorijal -13.6306 +▁crijevn -13.6307 +▁Beginner -13.6307 +▁Sketch -13.6307 +▁iznijela -13.6307 +▁Toledo -13.6307 +▁Pametni -13.6308 +▁akademskoj -13.6308 +▁Dijeta -13.6308 +▁tamnu -13.6308 +▁faux -13.6308 +▁kantonalne -13.6308 +▁Cluster -13.6309 +▁odnijela -13.6309 +▁WHY -13.6309 +▁restrictive -13.6309 +▁Quiet -13.6309 +▁Jastreb -13.6309 +▁ostecen -13.631 +▁šerif -13.631 +▁(31) -13.631 +▁gnjev -13.6311 +▁magistar -13.6311 +▁lisice -13.6311 +▁Nemanjin -13.6311 +▁LSV -13.6311 +▁envy -13.6311 +▁savetovali -13.6312 +▁Sitting -13.6312 +selila -13.6313 +▁Rubio -13.6314 +▁kolorit -13.6314 +▁izlagači -13.6314 +▁Bubble -13.6316 +▁motociklist -13.6316 +▁odsjaj -13.6317 +▁posećenost -13.6319 +истичк -13.6319 +▁fašist -13.632 +▁Mahal -13.6322 +▁zaptiv -13.6323 +▁Elliot -13.6324 +OULD -13.6324 +▁Postojal -13.6324 +Inicijativ -13.6326 +▁pješčan -13.6326 +▁poučn -13.6327 +▁Compress -13.6328 +▁rovov -13.6328 +▁svirep -13.6329 +▁PRVO -13.6334 +▁nogometno -13.6337 +▁pektin -13.6341 +▁praistorij -13.6341 +Podrška -13.6342 +Gospodin -13.6342 +odavci -13.6342 +crowd -13.6342 +Those -13.6343 +▁neredovn -13.6346 +▁sedativ -13.6347 +▁labud -13.6351 +▁Trauma -13.6354 +album -13.6358 +▁iznedr -13.6362 +▁Čisto -13.6365 +▁fosilni -13.6366 +▁pravci -13.6367 +▁Italia -13.6368 +veštač -13.6369 +▁Mongolia -13.6369 +senzitivn -13.637 +▁tobogan -13.6372 +▁Federik -13.6374 +Karađorđe -13.6376 +▁benefic -13.6376 +▁narezan -13.6377 +bacterium -13.6378 +▁Demonstranti -13.6378 +▁Emerald -13.6378 +▁Judaism -13.6378 +▁Memorijalni -13.6378 +▁Possible -13.6378 +▁Potrebne -13.6378 +▁antiinflamatorn -13.6378 +▁embroidered -13.6378 +▁emphasizing -13.6378 +▁encapsula -13.6378 +▁fantastičnu -13.6378 +▁garderoba -13.6378 +▁injunction -13.6378 +▁malaksalost -13.6378 +▁nurturing -13.6378 +▁podvrgava -13.6378 +▁posvjedoč -13.6378 +▁pražnjenja -13.6378 +▁pretpostavku -13.6378 +▁provocative -13.6378 +▁ružičasto -13.6378 +▁twentieth -13.6378 +▁šargarepa -13.6378 +▁Bejrut -13.6378 +▁Companion -13.6378 +▁Evrokupa -13.6378 +▁cassette -13.6378 +▁karfiol -13.6378 +▁kumulativn -13.6378 +▁pravoslavnog -13.6378 +▁stigmatiz -13.6378 +▁izvanredna -13.6378 +▁nadahnuć -13.6378 +▁reusable -13.6378 +▁програм -13.6378 +▁očigledan -13.6378 +▁pretukao -13.6378 +mplifies -13.6378 +▁izjasne -13.6378 +▁iznajmljivanja -13.6378 +▁Territory -13.6378 +▁granddaughter -13.6378 +▁Delibašić -13.6378 +▁Aniston -13.6378 +▁dolikuje -13.6378 +публик -13.6378 +▁megdan -13.6378 +▁provizije -13.6378 +▁raspisivanja -13.6378 +▁kalorijsk -13.6378 +▁rukovanja -13.6378 +▁zamrznuti -13.6378 +▁kritikovan -13.6378 +▁persistence -13.6378 +▁Contribution -13.6379 +▁Povećava -13.6379 +▁Psihološk -13.6379 +▁Anaheim -13.6379 +▁Predviđa -13.6379 +▁Opposition -13.6379 +▁DRAMA -13.6379 +▁vowed -13.6379 +▁Rifle -13.6379 +▁sakrio -13.6379 +▁kolosek -13.638 +▁HAOS -13.638 +▁Ahmić -13.638 +▁Osmanlija -13.638 +▁tematiku -13.638 +▁Implementation -13.6381 +▁običnu -13.6381 +▁skinuli -13.6381 +▁misljenja -13.6381 +▁Cathy -13.6381 +▁counselling -13.6381 +▁tracing -13.6382 +▁terminology -13.6382 +▁zapanjen -13.6382 +▁izliječen -13.6382 +▁BUY -13.6382 +▁spacecraft -13.6382 +▁reviji -13.6382 +▁stomatologije -13.6383 +posledičn -13.6383 +▁razbiti -13.6383 +▁marrow -13.6383 +†-13.6383 +▁đavo -13.6385 +▁PRAVA -13.6386 +▁њим -13.6387 +▁дуг -13.6389 +▁Ekran -13.6389 +▁korjen -13.639 +▁drogira -13.6391 +▁upleten -13.6393 +▁reaktivn -13.6393 +▁salvage -13.6396 +▁koncesionar -13.6397 +▁Vrhovno -13.6398 +▁Freud -13.6401 +pitajte -13.6401 +▁Kastel -13.6402 +▁Organizuj -13.6411 +encijalni -13.6413 +Style -13.6414 +▁Donovan -13.6416 +average -13.6417 +Mnogi -13.642 +Teško -13.642 +oderm -13.6422 +nepoželjn -13.6424 +▁corona -13.6427 +▁Miroljub -13.6427 +▁Skok -13.6427 +4:00 -13.6432 +Ljubi -13.6432 +▁višemjesečn -13.6439 +▁dvojk -13.6439 +▁sveopšt -13.644 +▁furnish -13.644 +▁trench -13.644 +▁PETA -13.6443 +▁Prihvati -13.6446 +reuranjen -13.6447 +▁znacajn -13.6447 +нија -13.6448 +RAĆ -13.6448 +hvacen -13.645 +▁revakcin -13.645 +▁Abigail -13.645 +▁Comparison -13.645 +▁Ecuador -13.645 +▁Fletcher -13.645 +▁Gonzales -13.645 +▁Honolulu -13.645 +▁MAGAZIN -13.645 +▁Maharashtra -13.645 +▁ODLUKA -13.645 +▁Oriental -13.645 +▁PREMIUM -13.645 +▁Sinclair -13.645 +▁Usprkos -13.645 +▁deklaraciji -13.645 +▁dvostruku -13.645 +▁ilustrovan -13.645 +▁kompoziciju -13.645 +▁moratorijum -13.645 +▁ogrebotine -13.645 +▁playwright -13.645 +▁privlačan -13.645 +▁procjenjuju -13.645 +▁protivvrednosti -13.645 +▁tsunami -13.645 +▁Judith -13.645 +▁fingertips -13.645 +▁reciklažn -13.645 +▁Devojčica -13.645 +▁numeru -13.645 +▁šleper -13.645 +▁Nvidia -13.645 +▁izbriše -13.645 +▁iritaciju -13.645 +▁trajnu -13.645 +▁Kavkaz -13.645 +▁organizovaće -13.645 +.03.2018 -13.645 +▁trzistu -13.645 +▁PRODUCT -13.645 +▁municiju -13.645 +▁zaobilazi -13.645 +▁prljavštine -13.645 +▁završetkom -13.645 +▁monografije -13.6451 +▁papagaj -13.6451 +▁Bežanij -13.6451 +▁DOBOJ -13.6451 +▁potaknul -13.6451 +▁razlicitih -13.6451 +▁Rogatica -13.6451 +▁neuspel -13.6451 +▁Пер -13.6451 +▁kajsija -13.6451 +▁Krišto -13.6451 +▁Korčul -13.6451 +▁svečanu -13.6451 +▁interpretaciju -13.6451 +▁nepromišljen -13.6452 +▁POWER -13.6452 +▁Submitted -13.6452 +▁birališta -13.6452 +▁naloženo -13.6452 +opoulos -13.6452 +▁reconsider -13.6452 +▁demokratiji -13.6452 +▁neslaganje -13.6452 +▁Galway -13.6452 +▁неки -13.6452 +▁Junction -13.6452 +▁Šolc -13.6452 +▁sumnjom -13.6453 +▁Hubert -13.6453 +▁Али -13.6453 +▁hapsi -13.6453 +▁Camden -13.6454 +▁umanjuju -13.6455 +▁fleš -13.6455 +▁brothel -13.6456 +▁skloništa -13.6456 +▁naranč -13.6457 +existing -13.6459 +▁conspir -13.646 +▁Pinot -13.646 +▁Pratt -13.6461 +▁tračevi -13.6462 +▁visinsk -13.6466 +▁Identifik -13.6466 +▁Zabavn -13.6467 +XXX -13.6467 +TSA -13.6467 +6-9 -13.6468 +▁pogač -13.6468 +▁sabere -13.6471 +▁Osmansk -13.6472 +▁Univerzum -13.6473 +служ -13.6477 +▁Magnetic -13.6477 +▁______ -13.6484 +construction -13.6486 +Uvijek -13.6487 +Everything -13.6487 +Women -13.6488 +secret -13.6491 +visual -13.6492 +▁buđ -13.6493 +ituated -13.6497 +▁ulagači -13.6499 +▁Razvija -13.65 +bacivali -13.65 +curricular -13.6501 +destruct -13.6501 +Proces -13.6502 +▁Dizni -13.6507 +▁lučk -13.6507 +blanc -13.6507 +ticket -13.6508 +▁Vezan -13.6515 +▁PREDSTAV -13.6517 +▁excavat -13.6518 +uzmemo -13.652 +▁obelodani -13.6523 +Ç -13.6523 +▁Amfilohija -13.6523 +▁Budapest -13.6523 +▁Competitive -13.6523 +▁Intelligent -13.6523 +▁Jašarević -13.6523 +▁Klivlend -13.6523 +▁Koprivica -13.6523 +▁Lamborghini -13.6523 +▁Prištinom -13.6523 +▁Tepavčević -13.6523 +▁embargo -13.6523 +▁embassy -13.6523 +▁homicide -13.6523 +▁karijerom -13.6523 +▁nutrijenata -13.6523 +▁obsolete -13.6523 +▁opširnije -13.6523 +▁precipitation -13.6523 +▁ročišta -13.6523 +▁tjelesnu -13.6523 +▁čudovište -13.6523 +▁žumanca -13.6523 +▁Pozorišn -13.6523 +▁bližnje -13.6523 +▁mercury -13.6523 +▁Tolstoj -13.6523 +▁anomalija -13.6523 +▁interakciji -13.6523 +▁Etiopij -13.6523 +▁treadmill -13.6523 +▁Mbape -13.6523 +▁Počnite -13.6523 +▁potenciju -13.6523 +▁kontaminiran -13.6523 +▁opomene -13.6523 +▁principijeln -13.6523 +▁kosovska -13.6523 +▁metafora -13.6523 +▁industrijskoj -13.6523 +▁poluotok -13.6523 +▁trčati -13.6523 +▁Tradicionalna -13.6523 +▁karaoke -13.6523 +▁pribavljen -13.6523 +▁ogrlica -13.6523 +▁Ponude -13.6523 +▁odmarališta -13.6523 +▁неколико -13.6523 +▁Texans -13.6523 +▁etape -13.6523 +▁Sandwich -13.6523 +▁korektni -13.6523 +▁Matijević -13.6523 +▁Randall -13.6524 +▁Elaine -13.6524 +▁probavnog -13.6524 +▁Miljack -13.6524 +▁Diagram -13.6524 +▁noteworthy -13.6524 +▁Stambol -13.6524 +▁multicultural -13.6524 +▁Gvinej -13.6524 +▁fakture -13.6524 +▁sirijskog -13.6524 +▁jastuci -13.6524 +▁Loznica -13.6525 +▁tragične -13.6525 +▁katedrali -13.6525 +▁presudni -13.6525 +▁fleka -13.6525 +▁Fritz -13.6526 +▁standardizovan -13.6526 +▁(39) -13.6526 +▁exhaustion -13.6526 +▁moderation -13.6526 +▁Stojić -13.6527 +▁Biljka -13.6527 +▁Hwy -13.6527 +▁pomaze -13.6527 +▁usklađenosti -13.6528 +Execut -13.6528 +▁Dušica -13.6528 +upplementary -13.653 +▁zavesa -13.653 +▁naškodi -13.653 +▁čamci -13.6533 +▁Britansko -13.6533 +▁stump -13.6533 +▁jahač -13.6534 +držaće -13.6535 +Pokreni -13.6537 +▁mystical -13.6538 +▁fašistički -13.6538 +▁nabava -13.6539 +▁izvjesni -13.654 +مَا -13.654 +▁samuraj -13.6542 +7,9 -13.6543 +▁Hahn -13.6544 +нови -13.6549 +▁pupčan -13.6551 +▁Đul -13.6553 +rpanj -13.6554 +LIG -13.6554 +▁Ćurić -13.6555 +▁etarsk -13.6555 +▁њен -13.6557 +engage -13.6558 +▁Pilat -13.6559 +▁skulptur -13.656 +▁opozicionar -13.656 +Vladimir -13.6561 +George -13.6561 +vokativ -13.6561 +client -13.6562 +attack -13.6562 +Zoran -13.6563 +▁mašn -13.6564 +▁Barrel -13.6567 +Zaustavi -13.657 +analytic -13.657 +pressure -13.6572 +AĐEN -13.6576 +▁Australijsk -13.6576 +▁izričit -13.658 +▁Historijsk -13.6582 +▁kostimograf -13.6583 +▁najtraženiji -13.6586 +1991 -13.6587 +▁Krun -13.6593 +▁KONTAKT -13.6597 +▁Complaint -13.6597 +▁Hezbollah -13.6597 +▁Koordinacij -13.6597 +▁Kosjerić -13.6597 +▁Legislative -13.6597 +▁Poslušajte -13.6597 +▁Procjenjuje -13.6597 +▁Producent -13.6597 +▁Stjuart -13.6597 +▁agresivne -13.6597 +▁bejzbol -13.6597 +▁deficiencies -13.6597 +▁ignition -13.6597 +▁indispensable -13.6597 +▁konstruktor -13.6597 +▁kontinenata -13.6597 +▁neizbježno -13.6597 +▁poleđini -13.6597 +▁religiozni -13.6597 +▁slippery -13.6597 +▁suplemenata -13.6597 +▁Examination -13.6597 +▁plastična -13.6597 +▁pogreške -13.6597 +▁pozornicu -13.6597 +▁Okružni -13.6597 +▁Dawson -13.6597 +▁Eskobar -13.6597 +▁pošumljavanj -13.6597 +▁šljunka -13.6597 +▁Plumbing -13.6597 +▁pneumonia -13.6597 +▁Ceramic -13.6597 +▁uporabe -13.6597 +▁učesnice -13.6597 +▁elektromagnetn -13.6597 +▁pendant -13.6597 +WOOD -13.6597 +▁hefty -13.6597 +▁polagati -13.6597 +▁pospeši -13.6597 +▁nedaća -13.6597 +▁tumour -13.6597 +▁negodovanje -13.6597 +▁Latvia -13.6597 +▁poređenja -13.6597 +▁HELP -13.6597 +▁fuzzy -13.6597 +▁Dječije -13.6597 +▁zakazati -13.6597 +▁prosperous -13.6597 +▁Oslobođen -13.6597 +▁drzavni -13.6597 +▁farmaceuta -13.6597 +▁klasifikova -13.6597 +▁inicijala -13.6597 +▁pornography -13.6597 +▁trivijal -13.6597 +▁neistine -13.6598 +▁optimizing -13.6598 +▁Akiko -13.6598 +▁nevinih -13.6598 +▁šnicl -13.6598 +▁pretprodaj -13.6598 +▁opasnu -13.6598 +▁ekstaz -13.6598 +▁godisnje -13.6598 +▁interveniše -13.6598 +▁raskine -13.6598 +▁oruđe -13.6598 +▁soaring -13.6598 +▁Hicks -13.6598 +▁Edwin -13.6599 +▁Married -13.6599 +▁lupus -13.6599 +▁dialect -13.6599 +▁Učenik -13.6599 +▁Vanilla -13.6599 +▁graška -13.6599 +▁opstaje -13.6599 +▁čačka -13.6599 +▁Georgetown -13.66 +▁starijoj -13.66 +▁consign -13.6601 +▁vaspitava -13.6601 +▁Dillon -13.6601 +▁Toyot -13.6601 +▁nastradalo -13.6601 +▁ARHI -13.6602 +▁povelje -13.6602 +▁Mortal -13.6603 +KLI -13.6603 +▁pellet -13.6604 +▁Deadline -13.6604 +▁Vector -13.6604 +▁$50,000 -13.6604 +▁ogrev -13.6605 +▁suppressant -13.6606 +▁trodimenzionaln -13.6606 +▁Larson -13.6608 +▁neplaniran -13.6609 +glađen -13.6609 +▁poneko -13.661 +▁miljenik -13.6615 +▁Lijev -13.6618 +▁bioskopsk -13.6618 +blend -13.662 +▁ovdašnj -13.6621 +▁Bartol -13.6623 +9,9 -13.6624 +▁dinosaurus -13.6628 +saglediv -13.6628 +▁Voljel -13.6629 +▁једно -13.663 +Gospodar -13.6634 +β -13.6635 +obavezno -13.6635 +Science -13.6635 +Louis -13.6635 +polymer -13.6635 +▁istovremen -13.6639 +▁konjičk -13.6641 +▁kandž -13.6642 +psiho -13.6642 +institucij -13.6643 +Query -13.6643 +producing -13.6644 +▁matrice -13.665 +033 -13.6658 +SPIR -13.6659 +▁EVROP -13.6664 +▁tramvajsk -13.6665 +▁polovni -13.6666 +▁dužničk -13.6667 +stupanjsk -13.6668 +1993 -13.6669 +▁kompetentno -13.6671 +э -13.6671 +▁Currency -13.6671 +▁DIREKTOR -13.6671 +▁Menadžment -13.6671 +▁Moroccan -13.6671 +▁Potrošnja -13.6671 +▁RNIDS -13.6671 +▁Rockefeller -13.6671 +▁Voždovca -13.6671 +▁bosiljka -13.6671 +▁chromosome -13.6671 +▁compromising -13.6671 +▁devastated -13.6671 +▁dobrodošao -13.6671 +▁exacerbate -13.6671 +▁mestimično -13.6671 +▁najperspektivni -13.6671 +▁najvredniji -13.6671 +▁nenametljiv -13.6671 +▁neraskidiv -13.6671 +▁nominaciju -13.6671 +▁obradovali -13.6671 +▁percussion -13.6671 +▁pervasive -13.6671 +▁raspodjeli -13.6671 +▁simulacije -13.6671 +▁stimulaciju -13.6671 +▁tkivima -13.6671 +▁uspostavu -13.6671 +▁usredsređen -13.6671 +▁školjke -13.6671 +▁Easily -13.6671 +▁Gradačcu -13.6671 +▁Krsmanović -13.6671 +▁Moldavije -13.6671 +▁cruising -13.6671 +▁polemike -13.6671 +▁rezistencij -13.6671 +▁Vlasenica -13.6671 +▁dijareja -13.6671 +▁inflatable -13.6671 +▁otputuje -13.6671 +▁rubrike -13.6671 +▁sledbenik -13.6671 +▁Stamford -13.6671 +▁Suitable -13.6671 +▁mračne -13.6671 +▁Železničk -13.6671 +▁Nusret -13.6671 +▁reumatsk -13.6671 +▁sajmovima -13.6671 +▁rastopljen -13.6671 +▁neuspjel -13.6671 +▁srijeda -13.6671 +▁velelepn -13.6671 +▁premjesti -13.6671 +▁cougar -13.6671 +▁kazinu -13.6671 +▁Jabuka -13.6671 +▁džudo -13.6671 +▁tvorevina -13.6671 +▁vocational -13.6671 +▁Vidaković -13.6671 +▁Aboriginal -13.6671 +▁Poslovna -13.6671 +▁nerazumljiv -13.6671 +▁Meridianbet -13.6671 +▁Obilazak -13.6671 +▁amonijak -13.6671 +▁ravnoteži -13.6671 +▁AKCIJA -13.6671 +▁gradjane -13.6671 +▁Kupovni -13.6671 +▁skladišn -13.6671 +▁classify -13.6671 +▁medresa -13.6671 +▁tmurn -13.6671 +▁Cyrus -13.6671 +▁patogena -13.6671 +▁Objektiv -13.6671 +▁Zurich -13.6671 +▁Transmission -13.6672 +▁adulthood -13.6672 +▁koncentraciji -13.6672 +▁surname -13.6672 +été -13.6672 +▁Svatko -13.6672 +▁obećanjima -13.6672 +▁trajali -13.6672 +▁Dickens -13.6672 +▁transplantacije -13.6672 +▁izreći -13.6673 +▁Subašić -13.6673 +▁domoljub -13.6673 +▁handheld -13.6673 +.09.2017 -13.6673 +▁neprimetn -13.6674 +▁patriotizam -13.6674 +▁BTW -13.6674 +▁stručan -13.6674 +▁istovetn -13.6674 +▁geografije -13.6675 +▁uknjižen -13.6675 +▁unajmi -13.6676 +Replies -13.6676 +▁denies -13.6676 +▁swimmer -13.6676 +▁Alicia -13.6676 +▁savjetovali -13.6676 +▁capped -13.6677 +َيْ -13.6677 +▁Consultation -13.6677 +▁matursk -13.6677 +▁Busovač -13.6679 +▁hutb -13.6679 +▁sastane -13.668 +svjetlj -13.6681 +▁наше -13.6682 +▁memoar -13.6683 +▁Najtež -13.6684 +▁يَ -13.6685 +Rajko -13.6686 +nvigorat -13.6687 +▁$1.5 -13.6687 +▁Cesar -13.6687 +▁kršćansko -13.6688 +▁uvjetovan -13.6688 +▁Vanjsk -13.6689 +▁soothe -13.669 +▁razvrstava -13.6691 +8,7 -13.6693 +▁duhansk -13.6694 +▁MOSTAR -13.6696 +talijanskoj -13.6698 +▁suludo -13.67 +Dejli -13.67 +trophy -13.6702 +▁Prekid -13.6703 +operator -13.6704 +construct -13.6706 +▁naslednici -13.6706 +▁jugoisto -13.6708 +sometimes -13.6709 +▁naručioc -13.671 +Break -13.671 +▁magijsk -13.6711 +▁brzinsk -13.6712 +spread -13.6716 +Brajan -13.6716 +▁Objekt -13.6718 +▁homofob -13.672 +▁Tigr -13.6726 +чић -13.6728 +bakter -13.6731 +▁ekonomičnost -13.6731 +рес -13.6732 +▁simpozij -13.6734 +▁Zmajeva -13.6735 +▁Pomozi -13.6735 +▁Bonnie -13.6738 +▁Reflect -13.6739 +▁mapira -13.6739 +ROOM -13.674 +▁eliminišu -13.6743 +▁kombinovano -13.6745 +вању -13.6745 +▁Benchmark -13.6745 +▁Dynasty -13.6745 +▁Mehanizam -13.6745 +▁PARTIZAN -13.6745 +▁Presbyterian -13.6745 +▁Preservation -13.6745 +▁Pritisnite -13.6745 +▁Saskatchewan -13.6745 +▁deklarativn -13.6745 +▁dugotrajna -13.6745 +▁identifikovali -13.6745 +▁najprestižniji -13.6745 +▁obezbjeđuju -13.6745 +▁privlačna -13.6745 +▁rasplamsa -13.6745 +▁šargarepu -13.6745 +▁Continuous -13.6745 +▁kontingent -13.6745 +▁parchment -13.6745 +▁profesiju -13.6745 +▁replenish -13.6745 +▁Tattoo -13.6745 +▁glacier -13.6745 +▁caliber -13.6745 +▁kombinezon -13.6745 +▁rodbinu -13.6745 +▁alijanse -13.6745 +▁tirkizn -13.6745 +▁stiropor -13.6745 +▁Zdenko -13.6745 +▁pilula -13.6745 +▁LTD -13.6745 +▁veljači -13.6745 +▁akušer -13.6745 +.06.2023 -13.6745 +▁oporeziv -13.6745 +▁Matematičk -13.6745 +.12.2022 -13.6746 +▁HIGH -13.6746 +▁Ketrin -13.6746 +▁PORTAL -13.6746 +▁ubojstvo -13.6746 +▁saksije -13.6746 +▁rezidb -13.6746 +▁trekking -13.6746 +▁Husband -13.6746 +▁microscope -13.6746 +▁odlučna -13.6746 +▁Otkazivanje -13.6746 +▁logikom -13.6746 +▁Spotlight -13.6746 +▁subtitle -13.6746 +▁Akademiju -13.6746 +▁simbio -13.6746 +▁prinčev -13.6746 +▁Smartphone -13.6746 +▁vakum -13.6746 +▁verzijom -13.6747 +▁seljačk -13.6747 +▁slabljenja -13.6747 +▁elastin -13.6747 +▁savory -13.6747 +▁toksine -13.6747 +▁rogue -13.6748 +▁njive -13.6748 +▁sandals -13.6748 +▁Respirator -13.6748 +▁detoks -13.6748 +▁normalizuje -13.6749 +▁patnji -13.6749 +▁Davos -13.6749 +▁priznavanju -13.6749 +▁vanjskom -13.6749 +▁skipped -13.6749 +▁misery -13.675 +▁Policije -13.675 +▁clientele -13.675 +▁banning -13.6751 +▁planetarno -13.6752 +▁Kupres -13.6752 +▁kelj -13.6752 +▁računarstva -13.6752 +TITU -13.6753 +▁Strogo -13.6754 +bacivao -13.6754 +▁odštampan -13.6755 +▁Otkup -13.6756 +▁fantazija -13.6757 +▁Zukić -13.6758 +▁Moskovsk -13.6758 +▁Smash -13.6761 +▁Đurković -13.6761 +▁nekvalitetn -13.6765 +▁beacon -13.6767 +krajnjoj -13.6767 +trpljiv -13.6769 +▁vulkansk -13.6769 +ствен -13.6771 +▁venčani -13.6771 +▁razlaz -13.6771 +▁parišk -13.6773 +Neverovatn -13.6774 +▁Ovčar -13.6774 +dolazeć -13.6777 +▁republikanci -13.6778 +vladajućoj -13.6779 +▁emblem -13.6781 +Screen -13.6784 +Detaljnije -13.6786 +▁credential -13.6788 +Food -13.6789 +لِ -13.6791 +▁borovnica -13.6795 +▁5:2 -13.6795 +posavsk -13.6796 +▁razmotre -13.6799 +▁Đen -13.6801 +▁Đukanovićev -13.6802 +▁Nadzor -13.6804 +▁Thick -13.6804 +account -13.6805 +▁ţiv -13.6808 +▁omladinsko -13.681 +ehennem -13.6813 +Æ -13.682 +ा -13.682 +ע -13.682 +▁Amateur -13.682 +▁Approved -13.682 +▁Bogićević -13.682 +▁Bordeaux -13.682 +▁Happiness -13.682 +▁Introducing -13.682 +▁Jasenovca -13.682 +▁Marriott -13.682 +▁Numerous -13.682 +▁Sarajlije -13.682 +▁UNMIK -13.682 +▁Wichita -13.682 +▁ekspanzija -13.682 +▁entuzijasta -13.682 +▁heartfelt -13.682 +▁institucionalne -13.682 +▁konstrukciji -13.682 +▁neizbežno -13.682 +▁nerđajućeg -13.682 +▁novoobolelih -13.682 +▁physique -13.682 +▁podrhtava -13.682 +▁pogrešnih -13.682 +▁polupansion -13.682 +▁prostitution -13.682 +▁upholstery -13.682 +▁štetočine -13.682 +▁предсједник -13.682 +▁сарадњ -13.682 +▁methodologies -13.682 +▁overthrow -13.682 +▁pravosudne -13.682 +▁tetovaže -13.682 +▁turmoil -13.682 +▁Čajetina -13.682 +▁Trenutni -13.682 +▁izlučivanje -13.682 +▁kruševačk -13.682 +▁kvorum -13.682 +▁podložna -13.682 +▁potpisivanju -13.682 +▁Božja -13.682 +▁kvalifikacijsk -13.682 +▁zgradom -13.682 +▁Dugoročn -13.682 +▁podforumu -13.682 +▁Poslodavci -13.682 +▁Prihvatam -13.6821 +▁pijacu -13.6821 +▁režije -13.6821 +▁arterije -13.6821 +▁dostižu -13.6821 +▁grandiozn -13.6821 +▁kidnapped -13.6821 +▁brdima -13.6821 +▁Qualification -13.6821 +▁potiskiva -13.6821 +▁Screenshot -13.6821 +▁abeced -13.6821 +▁saglasan -13.6821 +▁metodologiju -13.6821 +▁pianist -13.6821 +▁(1995) -13.6821 +▁Arhitektura -13.6821 +▁učestova -13.6821 +▁Paramount -13.6821 +/09/202 -13.6821 +▁IKT -13.6821 +▁MALO -13.6821 +▁veceras -13.6821 +▁Fransoa -13.6821 +▁akutne -13.6821 +▁izbjegnu -13.6821 +▁katedrala -13.6821 +▁Primenjuju -13.6821 +▁razvitak -13.6822 +▁томе -13.6822 +▁integriše -13.6822 +▁novootvoren -13.6822 +oplasti -13.6822 +▁hotspot -13.6822 +▁neurološki -13.6823 +▁Warwick -13.6823 +између -13.6823 +▁plurality -13.6823 +▁duševno -13.6823 +▁uporan -13.6823 +▁pećnici -13.6824 +▁GOŠK -13.6824 +▁nominiran -13.6824 +▁prugu -13.6824 +▁Ozbiljno -13.6825 +▁Cheney -13.6825 +Invest -13.6825 +▁Snack -13.6826 +▁zaobilaze -13.6826 +▁maršira -13.6832 +▁spontani -13.6833 +▁kućanstv -13.6834 +▁мај -13.6837 +▁pornografsk -13.6839 +▁kirij -13.6839 +▁obrazložen -13.6841 +6-6 -13.6845 +▁sumanut -13.6847 +▁celodnevn -13.6847 +učnoistraživačk -13.6849 +▁Trajn -13.685 +RDA -13.6856 +▁Quilt -13.6857 +micro -13.6858 +gospodar -13.686 +Agencije -13.686 +defense -13.6861 +secondary -13.6862 +monitor -13.6864 +▁poslušnost -13.6864 +▁Jelačić -13.6868 +gnječen -13.6869 +▁uredničk -13.6871 +essential -13.6875 +oslobodilačkog -13.6882 +▁physio -13.6885 +▁subjektivni -13.689 +≥ -13.6896 +▁Appliance -13.6896 +▁KONKURS -13.6896 +▁McCartney -13.6896 +▁Monetary -13.6896 +▁Rajasthan -13.6896 +▁Sberbank -13.6896 +▁Strijelac -13.6896 +▁auxiliary -13.6896 +▁epoxy -13.6896 +▁fotoreporter -13.6896 +▁headquartered -13.6896 +▁illustrator -13.6896 +▁impeccable -13.6896 +▁kalifornijsk -13.6896 +▁leksikon -13.6896 +▁mješavinu -13.6896 +▁najbitnija -13.6896 +▁najtrofejnij -13.6896 +▁nepostojanja -13.6896 +▁nezaštićen -13.6896 +▁obeshrabri -13.6896 +▁osobnu -13.6896 +▁prokomentarisal -13.6896 +▁supstancu -13.6896 +▁unmatched -13.6896 +podrinjskog -13.6896 +▁PREMIJER -13.6896 +▁Prijepolju -13.6896 +▁narukvica -13.6896 +▁ortopedij -13.6896 +▁подручј -13.6896 +▁Grammar -13.6896 +▁najsigurniji -13.6896 +▁podložne -13.6896 +▁Napretka -13.6896 +▁okućnic -13.6896 +▁privatan -13.6896 +▁Divorce -13.6896 +▁samostalnu -13.6896 +▁svrsishod -13.6896 +▁akreditaciju -13.6896 +▁obeležje -13.6896 +▁malfunction -13.6896 +▁Osuđen -13.6896 +▁Svedoci -13.6896 +▁Negative -13.6896 +▁doslovce -13.6896 +▁nasmijao -13.6896 +▁odbojke -13.6896 +▁stipulate -13.6896 +▁zaduživanje -13.6896 +▁Emiratima -13.6896 +▁Ogulin -13.6897 +▁lantern -13.6897 +▁trimmed -13.6897 +▁aerospace -13.6897 +▁bazni -13.6897 +▁odazvao -13.6897 +▁Exploring -13.6897 +▁poticati -13.6897 +▁Ankare -13.6897 +▁infographic -13.6897 +▁Regency -13.6897 +seckajte -13.6897 +▁podneblja -13.6897 +▁suffice -13.6897 +▁kretali -13.6898 +▁Context -13.6898 +▁naslanja -13.6898 +▁iranskog -13.6898 +▁potajno -13.6898 +▁savetovanja -13.6898 +▁šmek -13.6898 +▁Siberia -13.6898 +▁Praksa -13.6899 +▁obruši -13.6899 +▁hmelj -13.6899 +▁Tutorial -13.6899 +▁nabavu -13.6899 +▁Scrap -13.6899 +▁WWII -13.6899 +▁verovanja -13.6899 +▁Richie -13.6899 +▁lashes -13.69 +▁robbed -13.69 +▁gentlemen -13.69 +▁Nijaz -13.69 +▁bunny -13.69 +▁(34) -13.6901 +ynchronous -13.6901 +▁knjaz -13.6901 +▁kompozitn -13.6903 +▁demografij -13.6904 +▁leaflet -13.6907 +▁plenarn -13.6907 +▁nasmejan -13.6908 +▁didakti -13.6911 +▁Lydia -13.6913 +▁држав -13.6914 +▁vezb -13.6923 +1972 -13.6924 +▁obradiv -13.6925 +najmljuje -13.6927 +▁ugrađuje -13.6927 +fobije -13.6928 +crvena -13.6936 +terapeut -13.6937 +could -13.6937 +computer -13.6937 +hrvatsko -13.6937 +▁centralizovan -13.6937 +Canada -13.6938 +oratorij -13.6939 +▁desničarski -13.6939 +▁Stupar -13.6942 +▁Hitlerov -13.6945 +eezy -13.6946 +▁Cvij -13.6953 +▁Uspjel -13.6955 +▁posećiva -13.6956 +ант -13.6958 +▁Schl -13.696 +▁krasn -13.6964 +nedelja -13.6964 +▁Baziran -13.6967 +kortikosteroid -13.6973 +▁Auschwitz -13.6973 +▁Higgins -13.6973 +▁Judgment -13.6973 +▁POLITIČK -13.6973 +▁Prokuplju -13.6973 +▁Tradicija -13.6973 +▁TripAdvisor -13.6973 +▁concentrating -13.6973 +▁displacement -13.6973 +▁eclipse -13.6973 +▁estetiku -13.6973 +▁imprisoned -13.6973 +▁indefinitely -13.6973 +▁inspekciju -13.6973 +▁kolesterol -13.6973 +▁mediocre -13.6973 +▁pahuljica -13.6973 +▁prominence -13.6973 +▁rectangle -13.6973 +▁samouvjeren -13.6973 +▁stabilizuje -13.6973 +▁thumbnail -13.6973 +▁veleposlanik -13.6973 +▁visoravni -13.6973 +▁Canterbury -13.6973 +▁Iznenadi -13.6973 +▁Mlađan -13.6973 +▁Portrait -13.6973 +▁adjective -13.6973 +▁avganistansk -13.6973 +▁fishermen -13.6973 +▁izvanrednu -13.6973 +▁nerazdvoj -13.6973 +▁oštećuju -13.6973 +▁pomiješajte -13.6973 +▁substantive -13.6973 +fruktoz -13.6973 +▁Učesnik -13.6973 +▁filijale -13.6973 +▁glatke -13.6973 +▁zloćudn -13.6973 +▁upražnjava -13.6973 +▁obznani -13.6973 +▁Voltage -13.6973 +▁zasjedanju -13.6973 +▁POSLEDNJ -13.6973 +▁Applicants -13.6973 +▁izvijestili -13.6973 +▁Rikardo -13.6973 +▁mezoterapij -13.6973 +▁SUBOT -13.6973 +▁saopćenje -13.6973 +▁hrišćanske -13.6973 +▁serpent -13.6973 +▁napitke -13.6973 +▁poduzetništvo -13.6973 +▁shrine -13.6973 +▁naređeno -13.6973 +▁prigrli -13.6973 +▁Feliks -13.6973 +▁Upravnom -13.6973 +▁pozornica -13.6973 +▁pobjegne -13.6973 +▁odeljku -13.6973 +▁Andersen -13.6973 +▁kasarni -13.6973 +▁nastradao -13.6973 +▁razvitka -13.6973 +▁raseljena -13.6973 +▁Božinović -13.6973 +▁Detection -13.6973 +▁vlažne -13.6973 +▁Stevandić -13.6974 +▁pretplata -13.6974 +▁multinational -13.6974 +▁klimom -13.6974 +▁fertile -13.6974 +▁udobna -13.6974 +▁CHRIS -13.6974 +▁wildfire -13.6974 +▁krhko -13.6974 +▁Kombank -13.6974 +▁Težak -13.6974 +▁osunčan -13.6974 +Komunalac -13.6974 +▁Workplace -13.6975 +▁Putovanja -13.6975 +▁Adjustable -13.6975 +▁prijavom -13.6975 +▁cornerstone -13.6975 +▁kartonsk -13.6976 +▁izvađen -13.6976 +▁Lehman -13.6976 +▁Rogue -13.6976 +Oduševljen -13.6976 +▁magarc -13.6976 +▁slew -13.6976 +▁najuže -13.6976 +▁zastitu -13.6977 +▁GORE -13.6977 +▁Gabby -13.6977 +▁rafal -13.6978 +LLER -13.6978 +▁scammer -13.6978 +▁klizav -13.6979 +▁reformski -13.698 +[5] -13.698 +OOT -13.698 +▁obicaj -13.6984 +▁namješta -13.6985 +▁naprednjaci -13.6986 +▁Džastin -13.699 +prihvatljiv -13.6992 +▁Divjak -13.6993 +▁radosni -13.6996 +ČENJE -13.6997 +▁proceduraln -13.7 +▁naèin -13.7 +▁proizvodjac -13.7002 +stručni -13.7002 +death -13.7003 +Važno -13.7004 +▁Alojz -13.7005 +▁Goldberg -13.7006 +▁sadasnj -13.7006 +▁Nagradn -13.7007 +▁najpovoljnij -13.7012 +μ -13.7013 +majstor -13.7019 +▁Džimi -13.7022 +▁neplodn -13.7026 +▁Seltik -13.7029 +produced -13.7034 +▁Slede -13.7036 +▁Organsk -13.7036 +▁slavsk -13.7044 +▁ulepšava -13.7046 +yahoo -13.7046 +▁Oslobodi -13.7049 +▁ravnodušno -13.7049 +³ -13.7049 +▁ARANŽMAN -13.7049 +▁Archbishop -13.7049 +▁Bratuncu -13.7049 +▁Buddhism -13.7049 +▁Compatible -13.7049 +▁Configuration -13.7049 +▁Encourage -13.7049 +▁Farmaceutsk -13.7049 +▁Occupational -13.7049 +▁Odyssey -13.7049 +▁Oktobarsk -13.7049 +▁accelerating -13.7049 +▁anecdote -13.7049 +▁betrayal -13.7049 +▁desetljećima -13.7049 +▁efficiencies -13.7049 +▁financijsku -13.7049 +▁foreseeable -13.7049 +▁hrišćanstvo -13.7049 +▁neobičnu -13.7049 +▁pljusak -13.7049 +▁snalažljiv -13.7049 +▁televizijska -13.7049 +▁tuberculosis -13.7049 +▁unapređuju -13.7049 +▁zucchini -13.7049 +▁проблем -13.7049 +ط -13.7049 +▁Gradačca -13.7049 +▁Grbavica -13.7049 +▁Loznici -13.7049 +▁Subsequent -13.7049 +▁baršunast -13.7049 +▁malverzacija -13.7049 +▁mehaničke -13.7049 +▁žandarmerij -13.7049 +▁Monsanto -13.7049 +▁Ogroman -13.7049 +▁glatku -13.7049 +▁pravoslavnu -13.7049 +▁visceral -13.7049 +▁šljoki -13.7049 +▁murmur -13.705 +▁unakrsn -13.705 +▁Konstantn -13.705 +▁Peanut -13.705 +▁kontaminacij -13.705 +▁inovativan -13.705 +▁generacijsk -13.705 +▁Utility -13.705 +▁Blessed -13.705 +▁Ubistvo -13.705 +▁pronalaženja -13.705 +▁Tbilisi -13.705 +▁gradonačelnici -13.705 +▁Occasionally -13.705 +▁glamour -13.705 +▁produžetku -13.705 +▁SVIJET -13.705 +▁Actress -13.705 +▁CRVEN -13.705 +▁dosuđen -13.705 +▁travnat -13.705 +▁Flexible -13.705 +▁Freddie -13.705 +▁šifre -13.705 +▁feninga -13.705 +▁Mattress -13.705 +▁Leaving -13.705 +▁presvučen -13.705 +▁znojenja -13.7051 +▁impartial -13.7051 +▁injekcija -13.7051 +▁clown -13.7051 +▁dinamici -13.7051 +▁facade -13.7051 +▁ukočenost -13.7051 +▁zagađivača -13.7051 +▁srodnik -13.7051 +▁Beočin -13.7051 +▁functionalities -13.7051 +▁semestra -13.7051 +▁Posledice -13.7051 +▁policing -13.7051 +▁Seagate -13.7051 +▁izvedu -13.7052 +▁semestar -13.7052 +▁Bolivij -13.7052 +▁prevodioci -13.7052 +▁Potražit -13.7052 +▁Gareth -13.7052 +▁Biografija -13.7052 +▁isprepleten -13.7052 +▁Favs -13.7052 +▁resenje -13.7053 +▁panties -13.7053 +▁Disciplinsk -13.7053 +▁Nabavk -13.7053 +▁parlamentarna -13.7053 +▁Amerikanka -13.7053 +▁Godišnja -13.7053 +▁posađen -13.7053 +▁dugmad -13.7054 +poređen -13.7054 +▁pokazaće -13.7054 +▁fiery -13.7054 +▁dugačko -13.7055 +▁Biološk -13.7055 +▁innovate -13.7055 +▁mulch -13.7056 +▁Kerala -13.7056 +▁Vocal -13.7057 +▁plivačk -13.7057 +▁nesigurni -13.7057 +[6] -13.7057 +Uskoplj -13.7059 +▁Željo -13.7061 +jugozapad -13.7064 +lithic -13.7064 +najlepš -13.7065 +▁војн -13.7068 +▁Spens -13.7068 +ZER -13.7074 +▁Кад -13.7078 +▁њих -13.7078 +▁visokotehnološk -13.7079 +▁onkološk -13.7081 +^^ -13.7083 +▁Valpov -13.7086 +▁Povoljn -13.7086 +sleep -13.709 +Saturday -13.7091 +probably -13.7091 +dobijenih -13.7091 +enabled -13.7091 +Audio -13.7092 +▁Panonsk -13.7093 +socijalno -13.7095 +budžet -13.7095 +▁konjski -13.7095 +solvent -13.7096 +Way -13.7096 +HMZ -13.7097 +▁Madž -13.7098 +located -13.7102 +eridijan -13.7102 +▁Studira -13.7103 +▁prigovara -13.7109 +▁nailaze -13.711 +▁votk -13.7112 +▁ORGANIZ -13.7112 +Connell -13.7113 +▁zbilj -13.7114 +▁glam -13.7121 +▁дец -13.7124 +ְ -13.7127 +▁München -13.7127 +▁Bugojnu -13.7127 +▁Cadillac -13.7127 +▁Celzijusovih -13.7127 +▁Eclipse -13.7127 +▁Izdvoji -13.7127 +▁Responsible -13.7127 +▁Sauvignon -13.7127 +▁Zuckerberg -13.7127 +▁enquiry -13.7127 +▁gužvu -13.7127 +▁jurisdikcij -13.7127 +▁konkurencijom -13.7127 +▁korupcijom -13.7127 +▁naoblačenje -13.7127 +▁neizbrisiv -13.7127 +▁pogriješio -13.7127 +▁pretrpeo -13.7127 +▁priželjkuje -13.7127 +▁psychiatrist -13.7127 +▁soybean -13.7127 +▁tržišnu -13.7127 +▁urnebesn -13.7127 +▁Španjolske -13.7127 +▁захтјев -13.7127 +…………… -13.7127 +▁elastični -13.7127 +▁financije -13.7127 +▁povjerovati -13.7127 +▁ropstva -13.7127 +▁spektru -13.7127 +▁Bahrain -13.7127 +▁Whistle -13.7127 +▁stočarstvo -13.7127 +▁protuupaln -13.7127 +▁Warehouse -13.7127 +▁zvorničk -13.7127 +▁VLADA -13.7127 +▁Widget -13.7127 +▁Moody -13.7127 +▁poželjna -13.7127 +▁squeak -13.7127 +▁aperture -13.7127 +▁Potvrda -13.7127 +▁pobegli -13.7127 +▁oftalmolog -13.7127 +▁neumoljiv -13.7127 +▁èovjek -13.7127 +▁Okružen -13.7127 +▁izostavljen -13.7127 +▁narandžasti -13.7127 +▁latitude -13.7127 +▁Sjajni -13.7127 +▁Tunnel -13.7127 +▁Habitat -13.7127 +▁postiglo -13.7127 +▁Političari -13.7128 +▁Raonić -13.7128 +▁priobaln -13.7128 +▁odbranom -13.7128 +▁pragmatic -13.7128 +▁jugozapadni -13.7128 +▁Jevrem -13.7128 +leksij -13.7128 +▁ENTER -13.7128 +▁konstatovati -13.7128 +▁učinku -13.7128 +▁imitation -13.7128 +▁sastaće -13.7128 +▁futrol -13.7128 +▁beneficije -13.7128 +▁Grahovac -13.7129 +▁Belorusiji -13.7129 +▁Lukavca -13.7129 +▁osječk -13.7129 +▁despise -13.7129 +▁čitalačk -13.7129 +▁primarnu -13.7129 +▁Lennon -13.7129 +▁forenzičk -13.713 +▁PSBiH -13.713 +▁Baterija -13.713 +▁rečenicom -13.713 +▁ljube -13.7131 +▁pissed -13.7131 +▁ispade -13.7132 +▁veličanstv -13.7132 +▁izmaku -13.7132 +▁svrši -13.7133 +▁ćilim -13.7133 +Uzrast -13.7133 +▁Ugarsk -13.7135 +▁izdužen -13.7135 +▁Slovakia -13.7138 +▁pazari -13.714 +▁latinic -13.714 +▁blond -13.7149 +тврђ -13.7149 +▁hurl -13.7152 +▁kamern -13.7153 +▁фо -13.7157 +▁Banjsk -13.7165 +▁hrono -13.7168 +Informer -13.7169 +Komentari -13.7169 +derived -13.7169 +Težina -13.717 +Word -13.717 +radjiva -13.7171 +Trump -13.7172 +princip -13.7172 +▁izvršno -13.7174 +▁Ostal -13.7175 +▁NOĆ -13.7183 +▁Cvijić -13.7183 +▁kongresmen -13.7184 +▁vjerno -13.7184 +dukcija -13.7184 +▁homolog -13.7187 +▁пет -13.7188 +▁преко -13.7191 +▁Svakodnevn -13.7198 +refundable -13.7199 +▁recital -13.7201 +▁oblikoval -13.7202 +20.000 -13.7202 +・ -13.7205 +▁|14:00|| -13.7205 +İ -13.7205 +ő -13.7205 +▁Bangladeš -13.7205 +▁Fairfax -13.7205 +▁Fountain -13.7205 +▁Giovanni -13.7205 +▁Halkidiki -13.7205 +▁Jednostavna -13.7205 +▁Obrenovcu -13.7205 +▁Općenito -13.7205 +▁Sinđelić -13.7205 +▁Stojadinović -13.7205 +▁Sunderland -13.7205 +▁Vaterpolo -13.7205 +▁Xavier -13.7205 +▁compulsory -13.7205 +▁criterion -13.7205 +▁evanđel -13.7205 +▁garancijom -13.7205 +▁gostoljubiv -13.7205 +▁hipertenziju -13.7205 +▁kompatibilni -13.7205 +▁likvidaciju -13.7205 +▁misdemeanor -13.7205 +▁najzahtjevnij -13.7205 +▁obsessive -13.7205 +▁pahuljice -13.7205 +▁podružnice -13.7205 +▁pogrešnu -13.7205 +▁pozlilo -13.7205 +▁promiješajte -13.7205 +▁promrmlja -13.7205 +▁psihološka -13.7205 +▁razočarenje -13.7205 +▁sjeveroistoku -13.7205 +▁spektakularan -13.7205 +▁talijanskog -13.7205 +ABILITY -13.7205 +▁archival -13.7205 +▁neispunjen -13.7205 +▁nelagodu -13.7205 +▁господин -13.7205 +▁PORODIC -13.7205 +▁titulom -13.7205 +▁uzurpira -13.7205 +▁raskrinka -13.7205 +▁džoker -13.7205 +▁poželjan -13.7205 +▁PUTOVANJA -13.7205 +▁pripremom -13.7205 +▁Crosby -13.7205 +▁dominacija -13.7205 +▁svrhom -13.7205 +▁bastard -13.7205 +▁kinesku -13.7205 +▁brusnice -13.7205 +▁predivnim -13.7205 +▁mundane -13.7205 +▁Štrajk -13.7205 +▁Wisdom -13.7205 +▁nastavkom -13.7205 +▁zajebava -13.7205 +▁zamršen -13.7205 +▁inflated -13.7205 +▁meningitis -13.7205 +▁zbunjujuć -13.7205 +▁Poslovne -13.7205 +▁rashladi -13.7205 +▁emitenta -13.7205 +▁sintagm -13.7205 +▁Apostle -13.7205 +▁Lindsey -13.7205 +▁pohranu -13.7206 +▁nutricionisti -13.7206 +▁banquet -13.7206 +▁točkova -13.7206 +▁Trafford -13.7206 +ZJZ -13.7206 +▁podmukl -13.7206 +▁Žugić -13.7206 +▁Dijego -13.7206 +▁poznavati -13.7206 +▁Facial -13.7206 +▁Messiah -13.7207 +▁ronioc -13.7207 +▁Nearby -13.7207 +▁gojazni -13.7207 +▁synonymous -13.7207 +▁proizvodjač -13.7207 +▁Fortnite -13.7207 +▁Sutradan -13.7207 +▁škodi -13.7208 +▁Radojević -13.7208 +▁José -13.7208 +▁Tavern -13.7208 +▁aritmij -13.7208 +▁plutajuć -13.7209 +▁Chavez -13.7209 +▁štitast -13.7209 +▁Užičan -13.721 +▁rodjendan -13.7211 +▁Ponudi -13.7211 +▁natjecateljsk -13.7215 +▁Blonde -13.7219 +▁kokosov -13.7219 +▁determinant -13.722 +ницима -13.7225 +▁Lažn -13.7225 +▁rekreativno -13.7227 +oštećen -13.7236 +.12|| -13.7237 +▁uredjen -13.7237 +▁strijelja -13.724 +finitiv -13.7242 +▁Intervention -13.7245 +▁cvrst -13.7246 +▁holističk -13.7247 +Najbolji -13.7248 +impact -13.7248 +▁informatički -13.7249 +Before -13.7249 +Index -13.7249 +history -13.725 +▁optimizira -13.7251 +archive -13.7251 +▁Philippine -13.7256 +▁grozno -13.7261 +▁Tržn -13.7277 +vjerovatnije -13.7282 +▁persecut -13.7282 +▁здрав -13.7284 +годишњ -13.7284 +▁AMERIČK -13.7284 +▁Antarktik -13.7284 +▁Apprentice -13.7284 +▁BLIZANCI -13.7284 +▁Crnogorske -13.7284 +▁Gimnaziji -13.7284 +▁Lihtenštajn -13.7284 +▁Shenzhen -13.7284 +▁Trinidad -13.7284 +▁Vučetić -13.7284 +▁Wolverine -13.7284 +▁dezodorans -13.7284 +▁establišment -13.7284 +▁irresistible -13.7284 +▁obroncima -13.7284 +▁potrepštine -13.7284 +▁prognosis -13.7284 +▁samoizolacije -13.7284 +▁stimulacija -13.7284 +▁suprotnu -13.7284 +▁synagogue -13.7284 +▁tuberkuloze -13.7284 +▁Upozorava -13.7284 +▁nagomilava -13.7284 +▁najozbiljniji -13.7284 +▁pretražuje -13.7284 +▁skyrocket -13.7284 +▁Bevanda -13.7284 +▁Kontinuiran -13.7284 +▁Krstajić -13.7284 +▁demolition -13.7284 +▁oplodnju -13.7284 +▁sastojala -13.7284 +▁supervizor -13.7284 +▁vlč -13.7284 +▁Podgoričan -13.7284 +▁Sussex -13.7284 +▁Vaughn -13.7284 +▁brižljivo -13.7284 +▁vantelesn -13.7284 +▁Phillies -13.7284 +▁najplaćeniji -13.7284 +▁pristanka -13.7284 +▁Đerdap -13.7284 +▁akcizn -13.7284 +▁mevlud -13.7284 +.02.2024 -13.7284 +▁izvesna -13.7284 +▁Prodanović -13.7284 +▁Smoking -13.7284 +▁ailments -13.7284 +▁immersion -13.7284 +▁Assault -13.7284 +▁ljubičasto -13.7284 +▁ArticlePubMed -13.7284 +▁Šeranić -13.7284 +▁organizovale -13.7284 +▁Specifikacija -13.7284 +▁metabolit -13.7284 +▁usitnjen -13.7284 +▁ауто -13.7284 +▁ecology -13.7284 +▁karanten -13.7284 +▁(1990) -13.7284 +▁Diplom -13.7284 +▁otisla -13.7284 +▁Boravak -13.7284 +▁rezervisati -13.7284 +▁Hancock -13.7284 +▁senzacionalizma -13.7284 +▁bahati -13.7285 +▁vjersku -13.7285 +▁konstatovali -13.7285 +▁Nosilac -13.7285 +▁KLUB -13.7285 +▁čamce -13.7285 +▁strojeve -13.7285 +▁fotki -13.7285 +▁flipped -13.7285 +▁doziranje -13.7285 +▁Hawkins -13.7285 +▁Resume -13.7285 +▁starešina -13.7285 +▁unofficial -13.7285 +▁goalkeeper -13.7285 +▁Brđan -13.7285 +▁Ryanair -13.7286 +▁Counties -13.7286 +▁Knjaževac -13.7286 +▁bušenje -13.7286 +▁ekstremista -13.7286 +▁obukla -13.7286 +▁Chevy -13.7286 +▁pridruživanja -13.7286 +▁milicije -13.7287 +▁Đurđi -13.7287 +▁ogoljen -13.7288 +▁Serial -13.7289 +▁hidrogen -13.7289 +▁uzorkovan -13.7289 +▁plišan -13.7289 +▁viskoz -13.7289 +▁potonul -13.7292 +▁cheque -13.7292 +▁Glišić -13.7293 +similar -13.7294 +novinar -13.7296 +bjeđen -13.7296 +baranjsk -13.7297 +▁parodij -13.7298 +▁milimetr -13.7299 +▁Zadrža -13.73 +▁otkupljiva -13.7302 +cjenjivač -13.7302 +GRAPH -13.7304 +▁šejk -13.7305 +▁decimal -13.7305 +▁Vranjsk -13.7314 +مُ -13.7319 +▁odlažu -13.7325 +Twitter -13.7327 +septembra -13.7327 +Crvena -13.7327 +important -13.7327 +feature -13.7328 +Front -13.7329 +▁apsorb -13.733 +▁bankrotira -13.7336 +▁види -13.7347 +seksualc -13.7348 +▁Iskren -13.7353 +▁osvežen -13.7357 +ARNI -13.7361 +▁akvarij -13.7362 +▁baletsk -13.7362 +▁tematsko -13.7363 +бан -13.7363 +▁Gasol -13.7363 +▁Ajntraht -13.7363 +▁Dickinson -13.7363 +▁Effort -13.7363 +▁Intermediate -13.7363 +▁Nevesinju -13.7363 +▁PREUZMITE -13.7363 +▁Welfare -13.7363 +▁Wilmington -13.7363 +▁astounding -13.7363 +▁autoimmune -13.7363 +▁circulating -13.7363 +▁escaping -13.7363 +▁miligrama -13.7363 +▁neugodne -13.7363 +▁outweigh -13.7363 +▁prophecy -13.7363 +▁protivvazdušn -13.7363 +▁retaliation -13.7363 +▁syndicate -13.7363 +▁апликациј -13.7363 +► -13.7363 +▁Nevesinje -13.7363 +▁QUESTION -13.7363 +▁franšizn -13.7363 +▁ćirilič -13.7363 +▁породиц -13.7363 +▁Educator -13.7363 +▁Najveću -13.7363 +▁mesdžid -13.7363 +▁Addiction -13.7363 +▁Druženje -13.7363 +▁Purdue -13.7363 +▁Schwarz -13.7363 +▁depressing -13.7363 +▁kredibiln -13.7363 +▁Eternal -13.7363 +▁dazzling -13.7363 +▁DESIGN -13.7363 +▁Utakmice -13.7363 +▁Српској -13.7363 +▁Smanjit -13.7363 +▁sevdah -13.7363 +▁pigeon -13.7363 +▁višoj -13.7363 +▁prvotimac -13.7363 +▁prekvalifikacij -13.7363 +▁Brotherhood -13.7363 +▁porodilišta -13.7363 +▁koalicijsk -13.7363 +▁interkulturaln -13.7363 +▁historijske -13.7364 +▁Troicki -13.7364 +▁Tropical -13.7364 +▁dubious -13.7364 +▁mleku -13.7364 +▁prairie -13.7364 +▁četnički -13.7364 +▁telesnih -13.7364 +▁incremental -13.7364 +▁jednosmjern -13.7364 +▁preteč -13.7364 +▁Jessie -13.7364 +▁gepek -13.7364 +▁Egejsko -13.7364 +▁spoljna -13.7364 +▁ribizl -13.7365 +▁manipuliše -13.7365 +▁obustava -13.7365 +▁rešetka -13.7365 +▁ISTORIJ -13.7365 +▁tobože -13.7365 +▁Grenland -13.7365 +▁vandaliz -13.7365 +▁Svuda -13.7365 +▁collectible -13.7365 +▁Fresno -13.7366 +▁nepomičn -13.7366 +▁doživotni -13.7366 +▁napredovali -13.7366 +▁Odžaci -13.7366 +▁cinematic -13.7366 +▁prebace -13.7367 +▁ivory -13.7367 +▁beetle -13.7367 +▁Plastičn -13.7367 +▁tortilla -13.7367 +▁varenja -13.7367 +▁okej -13.7368 +▁brijeg -13.7368 +▁john -13.7369 +▁manijak -13.737 +▁antropo -13.7372 +BURG -13.7373 +▁ugostiteljstvo -13.7374 +▁Measur -13.7375 +▁grickalica -13.7375 +▁naslovljen -13.7376 +▁traumatiz -13.7376 +▁Skal -13.7381 +▁udahnu -13.7385 +▁изјав -13.7385 +▁gležnj -13.7391 +opasno -13.7391 +▁womb -13.74 +kmičenj -13.7402 +▁podstaknu -13.7402 +▁rabbi -13.7405 +certified -13.7407 +MONDO -13.7408 +Vojvodina -13.7408 +pocket -13.7408 +▁synerg -13.7409 +▁concur -13.741 +▁zahvaćeni -13.7418 +لَّ -13.742 +▁uverljiv -13.7421 +3,00 -13.7427 +everzibiln -13.7427 +▁ugovara -13.7427 +▁Antoine -13.7439 +▁dokumentarno -13.744 +▁Čorb -13.744 +▁Communicat -13.7442 +▁pooštrava -13.7443 +▁Acrobat -13.7443 +▁Govedarica -13.7443 +▁Igokee -13.7443 +▁ORIGINAL -13.7443 +▁Osvajač -13.7443 +▁Significant -13.7443 +▁Sveučilištu -13.7443 +▁Swimming -13.7443 +▁Sylvia -13.7443 +▁Tumblr -13.7443 +▁adolescenata -13.7443 +▁dissemination -13.7443 +▁franšiza -13.7443 +▁kompatibilan -13.7443 +▁marihuanu -13.7443 +▁masculine -13.7443 +▁mitochondria -13.7443 +▁necessities -13.7443 +▁nekonvencionaln -13.7443 +▁nostalgia -13.7443 +▁plagiarism -13.7443 +▁pretpostavki -13.7443 +▁priraštaj -13.7443 +▁privatizaciji -13.7443 +▁procrastinat -13.7443 +▁stvaralaštvu -13.7443 +▁vigilant -13.7443 +▁Bećković -13.7443 +▁Ljudska -13.7443 +▁accusing -13.7443 +▁construed -13.7443 +▁džennet -13.7443 +▁hypothetical -13.7443 +▁kontraproduktiv -13.7443 +▁kulinarstv -13.7443 +▁obespravljen -13.7443 +▁pretposlednj -13.7443 +▁prosvetnih -13.7443 +▁restrikcija -13.7443 +▁ronilačk -13.7443 +▁glazbi -13.7443 +▁legitimacy -13.7443 +▁NAJNOVIJ -13.7443 +▁Bundesligi -13.7443 +▁intelektualnu -13.7443 +▁Haskell -13.7443 +▁Triangle -13.7443 +▁objasnjava -13.7443 +▁streljaštv -13.7443 +▁Osnivanje -13.7443 +▁očigledne -13.7443 +▁Izvješć -13.7443 +▁odličje -13.7443 +▁CIJENA -13.7443 +▁CLASS -13.7443 +.04.2016 -13.7443 +▁Splićan -13.7443 +▁Exploration -13.7443 +▁Glumci -13.7443 +▁komunikacijom -13.7443 +▁unilateral -13.7443 +▁regulisati -13.7444 +▁Šumadije -13.7444 +▁računovođ -13.7444 +▁marame -13.7444 +▁utorkom -13.7444 +▁Albion -13.7444 +▁melodram -13.7444 +▁operativna -13.7444 +▁bijaše -13.7444 +▁ignorisati -13.7444 +▁suitcase -13.7444 +▁posećen -13.7444 +▁свих -13.7444 +▁bočicu -13.7444 +▁hyperlink -13.7444 +▁likovna -13.7444 +▁Projekcij -13.7444 +▁trenažn -13.7444 +▁predozira -13.7445 +▁Domovinskom -13.7445 +▁deponiji -13.7445 +▁naprednjaka -13.7445 +▁conquest -13.7445 +▁Ekrem -13.7446 +▁pinned -13.7446 +▁Eriksen -13.7446 +▁ŽELJ -13.7447 +▁promatrač -13.7447 +▁disruptive -13.7447 +▁Bukvić -13.7448 +▁minimise -13.7448 +▁excavation -13.7449 +▁knockout -13.7449 +komplicira -13.745 +▁Plavšić -13.7451 +▁2027. -13.7452 +▁atrofij -13.7452 +▁Gusinj -13.7453 +▁hladovin -13.7454 +▁psyche -13.7455 +▁brdsko -13.7456 +▁computation -13.7458 +▁pomiješan -13.7458 +▁dvostran -13.7459 +multidisciplinar -13.7462 +▁Jesmo -13.7467 +▁blagoslovljen -13.7469 +▁iscrpn -13.7469 +▁smiraj -13.747 +▁Statističk -13.7471 +▁Bashar -13.7471 +▁špijunira -13.7475 +▁Austrijanac -13.7476 +▁doceka -13.7478 +▁expend -13.7479 +definisan -13.7483 +▁imperial -13.7484 +▁podnijet -13.7485 +occupied -13.7488 +perhaps -13.7488 +organizator -13.7488 +liquid -13.7489 +Think -13.7489 +Everyone -13.7489 +Follow -13.7489 +machine -13.7494 +žnjev -13.7498 +▁Dramsk -13.7498 +▁disapprov -13.7501 +Steve -13.7502 +modnoj -13.7502 +▁blagodat -13.7503 +▁Rađ -13.7506 +▁Lokalno -13.7507 +▁Čajnič -13.7508 +▁philosoph -13.7509 +▁Pedeset -13.7511 +govorenih -13.7511 +▁Vrbanj -13.7515 +▁čuln -13.7516 +▁Typical -13.7519 +▁Razmatra -13.752 +▁imunološk -13.7521 +froamerikan -13.7524 +▁Cognitive -13.7524 +▁Evroligu -13.7524 +▁Jelisavet -13.7524 +▁Mujezinović -13.7524 +▁Sampdorij -13.7524 +▁asparagus -13.7524 +▁badminton -13.7524 +▁crvenkast -13.7524 +▁dvostruka -13.7524 +▁engraved -13.7524 +▁isplaćuju -13.7524 +▁marshmallow -13.7524 +▁megapiksela -13.7524 +▁mržnjom -13.7524 +▁najsjajnij -13.7524 +▁naposljetku -13.7524 +▁novosadske -13.7524 +▁oxidation -13.7524 +▁potpredsjednica -13.7524 +▁shuffle -13.7524 +▁subcontractor -13.7524 +▁Београд -13.7524 +ض -13.7524 +▁Baxter -13.7524 +▁Botanical -13.7524 +▁Celsius -13.7524 +▁FESTIVAL -13.7524 +▁RAČUN -13.7524 +▁Relevant -13.7524 +▁krokodil -13.7524 +▁munjevito -13.7524 +▁sequential -13.7524 +▁tranzicion -13.7524 +▁Dostupan -13.7524 +▁Jirgen -13.7524 +▁avokada -13.7524 +▁drevnog -13.7524 +▁mikrobiološk -13.7524 +▁podnaslov -13.7524 +▁Amadeus -13.7524 +▁pominjao -13.7524 +▁Rijeku -13.7524 +▁osvrće -13.7524 +▁Snažan -13.7524 +▁Ginisov -13.7524 +▁grijesi -13.7524 +▁habanje -13.7524 +.07.2016 -13.7524 +▁thrash -13.7524 +▁popijte -13.7524 +▁Rogatici -13.7524 +▁Prvenstvu -13.7524 +▁meditate -13.7524 +▁švedske -13.7524 +▁kidnapping -13.7524 +▁pizze -13.7524 +▁doubling -13.7524 +▁literarno -13.7524 +▁povremenim -13.7524 +▁Kraljevstvu -13.7524 +▁SHARE -13.7524 +▁wolves -13.7524 +▁Bambl -13.7524 +▁Playstation -13.7524 +▁eyelid -13.7525 +▁raspberry -13.7525 +▁osvetu -13.7525 +▁slastičar -13.7525 +▁Aurelij -13.7525 +▁Damian -13.7525 +▁fekaln -13.7525 +▁lokacijom -13.7525 +▁tituli -13.7525 +▁izolator -13.7525 +▁Lukavcu -13.7525 +▁Laurel -13.7526 +▁fumble -13.7526 +▁Steering -13.7526 +3-0 -13.7526 +▁Održiv -13.7526 +▁maximiz -13.7527 +▁Šimić -13.7527 +▁božansko -13.7529 +▁nadzemn -13.7529 +▁sramotno -13.7529 +▁Slavic -13.753 +▁iznalaženj -13.7533 +▁Početni -13.7534 +▁Mlađe -13.7535 +▁Specijalizovan -13.754 +▁višesatn -13.7542 +važavajući -13.7542 +▁Vučj -13.7543 +▁Crisp -13.7544 +Favorit -13.7544 +aparat -13.7548 +▁kvartov -13.7549 +▁Međunarodn -13.7554 +lovačka -13.7555 +▁Bologn -13.7561 +▁Bubanj -13.7564 +▁aludira -13.7565 +astronomija -13.7569 +predsednik -13.7569 +character -13.7569 +Australia -13.7569 +currency -13.7569 +Three -13.7569 +▁zagušen -13.757 +Država -13.757 +▁pvc -13.7574 +▁Republikansk -13.7576 +▁prašk -13.7586 +▁twee -13.7587 +simbol -13.7591 +fotograf -13.7594 +▁hegemon -13.7604 +▁turbin -13.7604 +▁Appointment -13.7605 +▁Attraction -13.7605 +▁Hathaway -13.7605 +▁Lafayette -13.7605 +▁Nicaragua -13.7605 +▁Odbojkašk -13.7605 +▁Prokuplje -13.7605 +▁Surgical -13.7605 +▁counterfeit -13.7605 +▁diskriminisan -13.7605 +▁korektan -13.7605 +▁obogaćuje -13.7605 +▁ozloglašen -13.7605 +▁oštećuje -13.7605 +▁razjašnjen -13.7605 +▁regenerativn -13.7605 +▁skraćuje -13.7605 +▁unconventional -13.7605 +▁upbringing -13.7605 +▁vanzemaljsk -13.7605 +▁Подели -13.7605 +▁Canberra -13.7605 +▁McGregor -13.7605 +▁Svjedok -13.7605 +▁delikates -13.7605 +▁frustracija -13.7605 +▁locating -13.7605 +▁preispituje -13.7605 +▁spužv -13.7605 +▁zaplijeni -13.7605 +▁чак -13.7605 +▁Manitoba -13.7605 +▁Passenger -13.7605 +▁Ravnatelj -13.7605 +▁graffiti -13.7605 +▁Bulajić -13.7605 +▁Pajtić -13.7605 +▁Marquez -13.7605 +▁botanical -13.7605 +▁skupocjen -13.7605 +▁reggae -13.7605 +▁približe -13.7605 +▁zabludi -13.7605 +▁svilenkast -13.7605 +SIMBAD -13.7605 +▁Surprise -13.7605 +▁gradjevinsk -13.7605 +▁Tasmania -13.7605 +▁CEFTA -13.7605 +▁omogucava -13.7605 +▁Skandal -13.7605 +▁roadmap -13.7605 +▁spriječava -13.7605 +▁naughty -13.7606 +▁EXTRA -13.7606 +▁dependency -13.7606 +▁Midlton -13.7606 +▁vještačenja -13.7606 +▁posredovanja -13.7606 +▁jahanje -13.7606 +▁Autism -13.7606 +.10.2014. -13.7606 +▁manipulaciju -13.7606 +▁Kolega -13.7606 +▁oformljen -13.7606 +▁romantična -13.7607 +▁kritična -13.7607 +▁fizicki -13.7607 +▁Console -13.7607 +▁Freelance -13.7607 +▁Ramsey -13.7607 +▁Bicycle -13.7607 +▁Battlefield -13.7607 +▁cirkularn -13.7608 +▁pročišćen -13.7608 +▁zahvaćeno -13.761 +▁Octavi -13.7611 +Kaliforni -13.7612 +▁ekspozicij -13.7621 +▁podjednak -13.7628 +▁knedl -13.763 +којима -13.763 +političke -13.7631 +▁progovara -13.7633 +▁bombardira -13.7633 +▁izruči -13.764 +ŠEVIĆ -13.7648 +ymptomatic -13.765 +▁Mihailov -13.7651 +Script -13.7651 +▁povezival -13.7651 +▁једном -13.7651 +frequency -13.7651 +Posebno -13.7651 +environment -13.7651 +naročito -13.7651 +Klub -13.7652 +Amazon -13.7652 +▁Šumsk -13.7658 +Izgleda -13.7658 +▁graditeljsk -13.7661 +▁onesposob -13.7665 +Create -13.7671 +▁strojevi -13.7671 +▁skaut -13.7676 +▁metodološk -13.7676 +▁valjk -13.7677 +我 -13.7678 +▁prozrač -13.7681 +Change -13.7682 +siromaš -13.7685 +Ова -13.7685 +quisition -13.7687 +À -13.7687 +▁Emerging -13.7687 +▁HOROSKOP -13.7687 +▁Jeruzalem -13.7687 +▁Omladinske -13.7687 +▁Salcburg -13.7687 +▁Sarajevska -13.7687 +▁britansku -13.7687 +▁chiropractic -13.7687 +▁equilibrium -13.7687 +▁evangelical -13.7687 +▁inclination -13.7687 +▁inkluzije -13.7687 +▁occupancy -13.7687 +▁purported -13.7687 +▁ravnopravan -13.7687 +▁računovodstva -13.7687 +▁reciklaže -13.7687 +▁restructuring -13.7687 +▁succumb -13.7687 +▁vrtoglavica -13.7687 +▁zaoštrava -13.7687 +▁zgusne -13.7687 +▁želudačn -13.7687 +▁локалн -13.7687 +▁Biblija -13.7687 +▁Dashboard -13.7687 +▁žičare -13.7687 +▁Majesty -13.7687 +▁Pupovac -13.7687 +▁deprived -13.7687 +▁zaduživanja -13.7687 +▁Entries -13.7687 +▁Lalatović -13.7687 +▁Container -13.7687 +▁konekciju -13.7687 +▁nepropisno -13.7687 +▁podložan -13.7687 +▁malpractice -13.7687 +▁Gavrić -13.7687 +▁primirja -13.7687 +▁referenca -13.7687 +▁Kirjos -13.7687 +▁jabuku -13.7687 +▁odjeljenju -13.7687 +▁Istinomer -13.7687 +▁Schalke -13.7687 +▁svidjelo -13.7687 +▁trokrevetn -13.7687 +▁Najbitnij -13.7687 +▁Reakcija -13.7687 +▁zapeva -13.7687 +▁oporavljen -13.7687 +▁Trgovinsk -13.7687 +▁proizlaze -13.7687 +▁letovališta -13.7687 +▁auditorijum -13.7687 +▁Colonial -13.7687 +▁šarolik -13.7687 +▁equitable -13.7688 +▁eliminisati -13.7688 +▁nadražaj -13.7688 +▁peckanje -13.7688 +▁Mandarin -13.7688 +▁bošnjačka -13.7688 +▁Pozicija -13.7688 +zbunjivač -13.7688 +▁nepažnj -13.7688 +▁stajnjak -13.7688 +▁Ortiz -13.7688 +▁cortex -13.7688 +▁kauboj -13.7688 +▁patologije -13.7688 +▁šabačk -13.7688 +▁sakriju -13.7688 +.05.2013 -13.7688 +▁perpera -13.7688 +▁Finiks -13.7688 +▁raspodeli -13.7688 +▁konzervatorsk -13.7688 +▁dežura -13.7688 +▁separator -13.7688 +▁Lightweight -13.7688 +▁juror -13.7688 +▁zabranom -13.7688 +▁stipend -13.7688 +▁Ventura -13.7688 +▁košulji -13.7689 +▁modrice -13.7689 +▁Lovrić -13.7689 +▁Rezervacija -13.7689 +▁microSD -13.7689 +▁udruživanja -13.7689 +▁primenljiv -13.7689 +▁azbest -13.7689 +▁Prazn -13.7689 +▁Kladovo -13.7689 +▁dividing -13.769 +▁naizmenično -13.769 +▁Harlem -13.769 +▁šerpi -13.769 +▁Composite -13.769 +▁страниц -13.769 +▁poveruje -13.769 +▁Lučk -13.7691 +▁attenuat -13.7692 +▁Banovo -13.7693 +▁1880-19 -13.7694 +▁Zrinsk -13.7694 +▁pogodova -13.7695 +▁demontira -13.7696 +▁Falun -13.7696 +▁arheolozi -13.7696 +▁0:3 -13.77 +▁pristojni -13.7703 +▁quantify -13.7706 +OVIMA -13.7706 +nacionalno -13.7707 +▁Zovem -13.771 +▁Ро -13.7715 +▁zavarava -13.7716 +▁Brestov -13.7717 +▁tvrdoć -13.7718 +▁uzrasn -13.7723 +▁fistul -13.7731 +▁savremen -13.7732 +najčešće -13.7734 +heavy -13.7734 +konferenciji -13.7734 +novembra -13.7734 +▁perilic -13.7735 +▁rastvorljiv -13.7735 +▁obaveste -13.7738 +▁instanc -13.774 +вјешт -13.774 +▁Bosnjaci -13.7751 +▁skorij -13.7754 +Network -13.7759 +▁Accord -13.7759 +▁intrigue -13.776 +▁šestoric -13.776 +JUĆI -13.776 +▁Akcijsk -13.7761 +▁manifestira -13.7765 +krasnih -13.7766 +▁Citira -13.7768 +▁информ -13.777 +▁Bethlehem -13.777 +▁Cabernet -13.777 +▁Cameroon -13.777 +▁Dentistry -13.777 +▁Difficult -13.777 +▁Expedition -13.777 +▁NAPOMENE -13.777 +▁PRIPREMA -13.777 +▁Participation -13.777 +▁Randolph -13.777 +▁SYSTEM -13.777 +▁Unutrašnjost -13.777 +▁acquainted -13.777 +▁acupuncture -13.777 +▁anesteziolog -13.777 +▁bezuspješno -13.777 +▁eczema -13.777 +▁hidrauličn -13.777 +▁identifikaciji -13.777 +▁ilustrator -13.777 +▁interaktivne -13.777 +▁keramika -13.777 +▁kognitivne -13.777 +▁mišljenjima -13.777 +▁najrazličitije -13.777 +▁phishing -13.777 +▁pozorišna -13.777 +▁qualifies -13.777 +▁spisateljica -13.777 +▁srebrna -13.777 +▁thieves -13.777 +▁tranzicija -13.777 +▁ukorijenjen -13.777 +▁unrealistic -13.777 +▁Kurdistan -13.777 +▁Portsmouth -13.777 +▁jutarnja -13.777 +▁Medutim -13.777 +▁kapitulacij -13.777 +▁kulminacij -13.777 +▁podrucju -13.777 +▁Wikipedij -13.777 +▁disgrace -13.777 +▁penguin -13.777 +▁Twain -13.777 +▁Konsuel -13.777 +▁Sarajlić -13.777 +▁dejstvu -13.777 +▁incapable -13.777 +▁reliably -13.777 +▁trojki -13.777 +▁Podgoričk -13.777 +▁pragmatičn -13.777 +▁potonuo -13.777 +▁Sleeve -13.777 +▁Frederik -13.777 +▁Depozit -13.777 +▁nelegalne -13.777 +▁Napravio -13.777 +PRIVRED -13.777 +▁nedavna -13.777 +▁nekakvim -13.777 +▁Fejzić -13.777 +▁tipkovnic -13.777 +▁развој -13.777 +▁sićušn -13.777 +▁uložak -13.777 +▁Bolivia -13.777 +▁obezbedjen -13.777 +▁osjeæa -13.777 +▁REALLY -13.777 +▁funkcionisao -13.777 +▁INTERNET -13.777 +7,00 -13.777 +▁Wallpaper -13.777 +▁nastavnom -13.777 +▁DSLR -13.777 +▁Dodavanje -13.777 +▁Kanjiž -13.777 +▁autizmom -13.777 +вођењ -13.7771 +▁flaširan -13.7771 +▁neplodnosti -13.7771 +▁Monarch -13.7771 +▁exchanging -13.7771 +▁leđn -13.7771 +▁hipoteka -13.7771 +▁etničku -13.7771 +▁ingerencij -13.7771 +▁vlasište -13.7771 +▁ČEKA -13.7771 +▁sunovrat -13.7771 +▁inhibira -13.7771 +▁ošiša -13.7772 +▁medaljom -13.7772 +▁kulisa -13.7772 +▁izbjeljiva -13.7772 +▁presuđen -13.7772 +▁ocenom -13.7772 +▁Mojsij -13.7772 +▁evocira -13.7772 +▁METAL -13.7772 +▁remand -13.7773 +▁smiruju -13.7774 +▁Fraud -13.7774 +▁odstranjen -13.7774 +▁dobojsk -13.7775 +▁(38) -13.7775 +▁zemunsk -13.7775 +▁mobilisa -13.7779 +▁Reflection -13.778 +▁prognozi -13.778 +▁Haljin -13.7783 +▁Kotorsk -13.7784 +▁Veroval -13.7788 +▁својим -13.7789 +▁Juraj -13.779 +▁zakupnin -13.7792 +▁zumira -13.7793 +▁osmogodišnj -13.7806 +▁Apelujem -13.7807 +dokaz -13.7807 +▁Delegacij -13.7808 +Rezultat -13.7817 +Second -13.7817 +Zvezde -13.7817 +decembra -13.7817 +▁kalij -13.7817 +measure -13.7818 +Olimp -13.7818 +Visoko -13.7818 +▁snob -13.7821 +Thread -13.7821 +▁duševni -13.7823 +▁Uveren -13.7824 +▁Christoph -13.7827 +▁milenij -13.7827 +▁statičk -13.7833 +athlete -13.7836 +▁urolog -13.7843 +▁REZULTAT -13.7844 +▁jednoglasn -13.7845 +▁criticize -13.7845 +serbia -13.7848 +misljen -13.785 +regulacij -13.785 +▁Construct -13.7851 +▁Izbegava -13.7852 +nucleotide -13.7853 +▁Fowler -13.7853 +▁KJKP -13.7853 +▁Pregnancy -13.7853 +▁Sagovornici -13.7853 +▁Stijepović -13.7853 +▁Tolkien -13.7853 +▁calibration -13.7853 +▁delegacijom -13.7853 +▁dezinfekcion -13.7853 +▁evoluciju -13.7853 +▁neizostavan -13.7853 +▁nizbrdo -13.7853 +▁prosječan -13.7853 +▁raspisivanju -13.7853 +▁raznovrstan -13.7853 +▁regeneriše -13.7853 +▁spambotova -13.7853 +▁tendencijom -13.7853 +▁vegetarijansk -13.7853 +▁Lottery -13.7853 +▁Sramota -13.7853 +▁Twelve -13.7853 +▁kalkulacija -13.7853 +▁malonogometn -13.7853 +▁srećne -13.7853 +▁thief -13.7853 +ُونَ -13.7853 +▁Stomatološk -13.7853 +▁cheesecake -13.7853 +▁iščekuje -13.7853 +▁pavilion -13.7853 +▁plentiful -13.7853 +▁Božju -13.7853 +▁dejtonsk -13.7853 +▁upošljava -13.7853 +▁maximise -13.7853 +▁BALKAN -13.7853 +▁Milvoki -13.7853 +▁knesinic -13.7853 +▁Potvrđen -13.7853 +▁Vizueln -13.7853 +▁OPĆIN -13.7853 +▁kaldrm -13.7853 +▁razgranat -13.7853 +▁toothbrush -13.7853 +▁Corbyn -13.7853 +▁cynical -13.7853 +▁Italijom -13.7853 +▁Višnjić -13.7853 +▁posterior -13.7853 +▁Enemy -13.7853 +▁odraslu -13.7853 +▁bartender -13.7853 +▁žurno -13.7853 +▁pjesnici -13.7853 +▁износ -13.7853 +▁potkožn -13.7853 +▁odmiče -13.7853 +▁zapadnjačk -13.7853 +▁ispašta -13.7853 +▁ohlade -13.7853 +▁Bahamas -13.7854 +▁deluxe -13.7854 +▁oblačenja -13.7854 +▁maloljetnic -13.7854 +▁umetničku -13.7854 +▁Alphabet -13.7854 +▁izmeren -13.7854 +▁buoy -13.7854 +▁priliči -13.7854 +▁sunflower -13.7854 +▁eliminaciju -13.7854 +▁odlicna -13.7854 +▁aortic -13.7854 +▁Mikser -13.7854 +▁Štrpc -13.7854 +▁heavyweight -13.7854 +▁Lagano -13.7854 +▁signifies -13.7854 +▁narančast -13.7855 +▁Rhino -13.7855 +▁ljevice -13.7855 +▁reklamaciju -13.7855 +▁zaključku -13.7855 +▁srodstv -13.7856 +▁Iznesen -13.7856 +▁biceps -13.7856 +karlovačk -13.7857 +▁Sergeant -13.7857 +▁opširno -13.7859 +▁Kostarik -13.7861 +▁Povišen -13.7861 +▁izigrava -13.7861 +▁čopor -13.7863 +▁svetiljk -13.7864 +IČNI -13.7864 +▁zaprimil -13.7867 +▁numeričk -13.787 +nternacionalnom -13.7871 +▁slušatelj -13.7874 +▁pustinjsk -13.7875 +▁saglasno -13.7875 +DRŽA -13.7876 +▁flaut -13.7883 +▁manipulira -13.7885 +▁imitate -13.7886 +▁disciple -13.7887 +SportSport -13.7891 +▁ratifikova -13.7893 +КО -13.7895 +▁arhijerejsk -13.7895 +tjecao -13.7895 +okvir -13.7898 +pogotovo -13.7901 +Although -13.7902 +charging -13.7902 +(6) -13.7902 +subota -13.7902 +painted -13.7902 +▁čudesni -13.7903 +▁Pažnj -13.7911 +▁Ник -13.7914 +▁skočn -13.7922 +▁oročen -13.7924 +decenijsk -13.7929 +▁POPUST -13.7931 +▁Pascal -13.7936 +GRAM -13.7937 +▁sankcionira -13.7937 +Ā -13.7937 +▁(2:0) -13.7937 +▁Bilješke -13.7937 +▁Bošnjačke -13.7937 +▁Corvette -13.7937 +▁Deklaracija -13.7937 +▁Energoinvest -13.7937 +▁Gallagher -13.7937 +▁Gavrila -13.7937 +▁GitHub -13.7937 +▁Strasbourg -13.7937 +▁Therapeutic -13.7937 +▁Vaccine -13.7937 +▁angažovala -13.7937 +▁aplaudira -13.7937 +▁arhipelag -13.7937 +▁artillery -13.7937 +▁elegancije -13.7937 +▁emocionalnu -13.7937 +▁epilepsy -13.7937 +▁fiskulturn -13.7937 +▁inteligenciji -13.7937 +▁interesovanjima -13.7937 +▁irritating -13.7937 +▁konkurenata -13.7937 +▁lubenice -13.7937 +▁nezaobilazan -13.7937 +▁nečistoća -13.7937 +▁orjentisan -13.7937 +▁porijeklu -13.7937 +▁sveobuhvatnu -13.7937 +▁undesirable -13.7937 +▁zaplijenjen -13.7937 +▁|18:10|| -13.7937 +▁Škorpion -13.7937 +▁Sherlock -13.7937 +▁Stamatović -13.7937 +▁jutarnju -13.7937 +▁poštivati -13.7937 +▁Ćopić -13.7937 +▁Coyote -13.7937 +▁podlegao -13.7937 +▁waffle -13.7937 +▁wrath -13.7937 +▁koncesiju -13.7937 +▁polemika -13.7937 +▁carnival -13.7937 +▁eldest -13.7937 +▁priredbe -13.7937 +▁Infinite -13.7937 +ционалн -13.7937 +▁Tešnju -13.7937 +▁poslasticu -13.7937 +▁ubistvima -13.7937 +▁Gujarat -13.7937 +▁najaktivniji -13.7937 +▁uputstava -13.7937 +▁najvaznij -13.7937 +▁valorizacij -13.7937 +▁Unutrašnje -13.7937 +▁sabotage -13.7937 +▁Roulette -13.7937 +▁buffalo -13.7937 +▁plastiku -13.7937 +▁rainforest -13.7937 +▁esencijalne -13.7937 +▁Rupert -13.7937 +▁Amidžić -13.7938 +▁Trebević -13.7938 +▁susrela -13.7938 +▁Ricci -13.7938 +▁Skadarsko -13.7938 +▁kontroverze -13.7938 +▁ptičj -13.7938 +▁opstrukcija -13.7938 +▁Trgovina -13.7938 +▁somborsk -13.7938 +▁lebde -13.7938 +▁alveol -13.7938 +▁quarry -13.7938 +▁čuđenje -13.7938 +▁Worship -13.7938 +▁prodajna -13.7938 +▁ugostiteljstvu -13.7938 +▁Vinograd -13.7938 +▁aktivaciju -13.7938 +▁campground -13.7938 +▁botaničk -13.7939 +▁Newark -13.7939 +▁zamjensk -13.7939 +▁udahne -13.7939 +▁sandžak -13.7941 +▁scrapbook -13.7942 +▁Vulkan -13.7943 +▁lutkarsk -13.7943 +▁korektivn -13.7943 +bacivati -13.7944 +▁skrnav -13.7944 +▁uterus -13.7944 +▁Rukomet -13.7945 +▁odašilj -13.7946 +▁Atomic -13.7947 +▁farmaceutsko -13.7947 +▁izdanak -13.7949 +opulos -13.7949 +▁Akademik -13.7951 +▁emulate -13.7952 +01:00 -13.7956 +▁spoljnj -13.7956 +▁pedijatrijsk -13.7957 +▁Palestinsk -13.7959 +▁Suppose -13.796 +▁бол -13.7966 +srpska -13.7968 +▁biohemijsk -13.7971 +Aktiv -13.7976 +▁giggle -13.7977 +rabljen -13.7977 +ibbon -13.7977 +▁GREEN -13.7982 +experience -13.7986 +purchase -13.7986 +Reuters -13.7986 +▁Bijeljin -13.7988 +instalira -13.7988 +Summer -13.799 +▁trasira -13.7995 +▁Savamal -13.7996 +▁demonstraci -13.7998 +▁svjetovn -13.7998 +▁koncesion -13.8 +▁dilat -13.8002 +▁LIČN -13.8004 +▁pripadn -13.8004 +▁laboratorij -13.8006 +▁conceive -13.8012 +▁bikarbona -13.8014 +Bratstvo -13.8018 +sedmičn -13.8018 +▁енергиј -13.8022 +▁Ajnštajn -13.8022 +▁Champagne -13.8022 +▁Exterior -13.8022 +▁Laundry -13.8022 +▁Lebanese -13.8022 +▁Lexington -13.8022 +▁Najmlađi -13.8022 +▁Rukovodstvo -13.8022 +▁acronym -13.8022 +▁anestezije -13.8022 +▁apstrakcij -13.8022 +▁bluetooth -13.8022 +▁bouncing -13.8022 +▁brethren -13.8022 +▁capacitor -13.8022 +▁cilantro -13.8022 +▁contagious -13.8022 +▁deterioration -13.8022 +▁eritrocit -13.8022 +▁inspekciji -13.8022 +▁mlađoj -13.8022 +▁najefikasnije -13.8022 +▁nepovjerenje -13.8022 +▁ocjenom -13.8022 +▁prevazilaženju -13.8022 +▁prokomentira -13.8022 +▁promovisao -13.8022 +▁psychedelic -13.8022 +▁raznobojn -13.8022 +▁rehabilitacija -13.8022 +▁rukotvorina -13.8022 +▁unfinished -13.8022 +▁uzastopne -13.8022 +▁uznapredoval -13.8022 +▁Identification -13.8022 +▁Podešavanje -13.8022 +▁estetika -13.8022 +▁francusku -13.8022 +▁mušterije -13.8022 +▁predizborna -13.8022 +▁prowess -13.8022 +▁prvostepenu -13.8022 +▁retorike -13.8022 +▁severoistočn -13.8022 +▁lithium -13.8022 +▁porumeni -13.8022 +▁rafiniran -13.8022 +▁rallies -13.8022 +▁vlasnistv -13.8022 +▁Kamagra -13.8022 +▁Kvota -13.8022 +▁hipoteza -13.8022 +▁Švajcarac -13.8022 +▁fašizmom -13.8022 +limfocit -13.8022 +▁Exeter -13.8022 +▁opstrukcije -13.8022 +▁suradnicima -13.8022 +▁praktikuju -13.8022 +▁čorbe -13.8022 +▁trougao -13.8022 +▁provokativni -13.8022 +▁neodgovarajuć -13.8022 +် -13.8022 +▁Leisure -13.8022 +▁skliznu -13.8022 +▁menopauzi -13.8022 +▁blagodeti -13.8022 +▁kohezij -13.8022 +▁bezbedne -13.8022 +▁fetish -13.8022 +▁PRIZNA -13.8022 +НО -13.8022 +▁zalagati -13.8023 +▁kotlinama -13.8023 +▁rodbinsk -13.8023 +▁Proširen -13.8023 +▁prvoklasn -13.8023 +▁quaint -13.8023 +▁Reveal -13.8023 +▁Oasis -13.8023 +▁Multimedia -13.8023 +▁Švarc -13.8023 +▁courteous -13.8023 +▁sutkinja -13.8023 +▁Glazben -13.8024 +▁TOTAL -13.8024 +olksvagen -13.8024 +▁MASTER -13.8024 +▁Motorsport -13.8024 +▁Mujanović -13.8025 +▁Trogir -13.8025 +▁obmanu -13.8025 +▁Skrill -13.8026 +▁Azijsk -13.8026 +STAT -13.8026 +▁sâm -13.8027 +▁clasp -13.8027 +▁Knjaz -13.8028 +industrijsko -13.8031 +▁Četrdeset -13.8031 +▁Ištvan -13.8032 +▁conjure -13.8032 +▁Uslijedil -13.8033 +▁dugovečnost -13.8037 +▁podnijel -13.8045 +▁sterilitet -13.8047 +▁PROIZVOD -13.8052 +▁DUŠ -13.8056 +познат -13.8056 +worthiness -13.8066 +▁kletv -13.8067 +▁Spomenut -13.8068 +migration -13.807 +▁vazal -13.8071 +Kategorija -13.8071 +Registracija -13.8071 +SJED -13.8071 +Credit -13.8072 +Proizvod -13.8072 +arizmatičn -13.8072 +10.000 -13.8072 +violent -13.8072 +▁Baranj -13.8075 +▁detonat -13.8078 +▁Riblj -13.8081 +▁Yankee -13.8084 +SPECT -13.8084 +▁ležajevi -13.8086 +MJER -13.8088 +▁krivnj -13.8089 +▁ĆIR -13.809 +STAJE -13.8091 +▁podmetanj -13.8092 +▁Mediteransk -13.8099 +Δ -13.8107 +▁Aristotle -13.8107 +▁Calculator -13.8107 +▁Efficiency -13.8107 +▁Izuzetak -13.8107 +▁Makedonijom -13.8107 +▁Najčešća -13.8107 +▁PODGORICA -13.8107 +▁Prosinečki -13.8107 +▁Rijaliti -13.8107 +▁academia -13.8107 +▁eliksir -13.8107 +▁gazdinstvo -13.8107 +▁influenza -13.8107 +▁inteligencijom -13.8107 +▁mejnstrim -13.8107 +▁mjerodavn -13.8107 +▁naelektrisan -13.8107 +▁neiskorišćen -13.8107 +▁ocigledno -13.8107 +▁perseverance -13.8107 +▁plausible -13.8107 +▁pogrešnim -13.8107 +▁porudžbinu -13.8107 +▁potražuje -13.8107 +▁preokrene -13.8107 +▁psorijaze -13.8107 +▁remizirali -13.8107 +▁rezidencije -13.8107 +▁sophistication -13.8107 +▁subdivision -13.8107 +▁trafostanic -13.8107 +▁učestvovanja -13.8107 +▁zvijezdu -13.8107 +▁ČETVRT -13.8107 +ə -13.8107 +▁Forensic -13.8107 +▁Substance -13.8107 +▁mikroorganizmi -13.8107 +▁miroljubiv -13.8107 +▁oslonjen -13.8107 +▁sanitation -13.8107 +▁spaghetti -13.8107 +▁stjecanje -13.8107 +▁Kalifornija -13.8107 +▁gastritis -13.8107 +▁zasedanju -13.8107 +▁اللَّه -13.8107 +▁rukohvat -13.8107 +▁dvjema -13.8107 +▁ozdravljenje -13.8107 +▁sramotu -13.8107 +▁anoniman -13.8107 +▁Ivanjice -13.8107 +▁impresivne -13.8107 +▁precarious -13.8107 +famous -13.8107 +▁Acquisition -13.8107 +▁najjasnij -13.8107 +▁Gothic -13.8107 +▁tijesta -13.8107 +▁Navaljni -13.8107 +▁slagati -13.8107 +▁preplanul -13.8108 +▁komediju -13.8108 +▁makedonske -13.8108 +▁bihaćk -13.8108 +▁zdjelic -13.8108 +▁Afterwards -13.8108 +poljopriv -13.8108 +▁maglovit -13.8108 +krećući -13.8108 +▁džabe -13.8108 +▁emotivan -13.8108 +▁Navedene -13.8108 +▁Tipsarević -13.8108 +▁produkcijom -13.8108 +▁Izvrsn -13.8108 +▁hapse -13.8108 +▁epicentar -13.8108 +.11.2015 -13.8108 +▁državljanstvu -13.8108 +▁modificiran -13.8108 +▁saradnica -13.8108 +Kolubara -13.8108 +▁odustalo -13.8108 +▁Clyde -13.8108 +▁Njime -13.8108 +▁Manifestacije -13.8108 +/07/202 -13.8108 +▁Gornjoj -13.8108 +▁provoza -13.8108 +▁relapse -13.8109 +▁IPARD -13.8109 +▁registraciji -13.8109 +▁Sunrise -13.8109 +▁pokopan -13.8109 +▁jedinke -13.8109 +▁izdajnici -13.8109 +▁šiitsk -13.8109 +▁uzgred -13.8109 +▁polovica -13.811 +▁Učitava -13.811 +OTT -13.8112 +▁siromah -13.8112 +cyclic -13.8112 +РИ -13.8115 +▁Uljanik -13.8115 +▁Tegeltij -13.8115 +▁sučelje -13.8117 +▁berth -13.8118 +fjord -13.8118 +▁iskonsk -13.8119 +sramotn -13.8119 +▁kolenima -13.812 +poruke -13.812 +▁Aparat -13.8124 +▁korporacij -13.8125 +▁vitrin -13.8128 +▁žustr -13.8131 +▁klasicn -13.8131 +▁Zasluž -13.8133 +▁Perzij -13.8137 +▁veterin -13.8144 +▁restitucij -13.8146 +▁Troškov -13.8146 +consider -13.8156 +cookies -13.8158 +Personal -13.8158 +nastavak -13.8158 +FREE -13.8159 +Svijet -13.816 +▁najstarij -13.8161 +▁obvezni -13.8166 +▁predstavničk -13.817 +▁Tadašnj -13.8172 +calcul -13.8181 +▁Uslijed -13.8183 +▁primitivni -13.8191 +▁profess -13.8191 +ִ -13.8194 +ù -13.8194 +▁2019/2020 -13.8194 +▁Beograđana -13.8194 +▁Consortium -13.8194 +▁Hepatitis -13.8194 +▁Izbjegavajte -13.8194 +▁Kljajić -13.8194 +▁MOSKVA -13.8194 +▁Magnezijum -13.8194 +▁Practitioner -13.8194 +▁RADULOVIĆ -13.8194 +▁ambasadu -13.8194 +▁ambulantn -13.8194 +▁cohesive -13.8194 +▁congratulations -13.8194 +▁danonoćno -13.8194 +▁dungeon -13.8194 +▁ekspedicije -13.8194 +▁ilustrira -13.8194 +▁konflikata -13.8194 +▁neprijatna -13.8194 +▁nugget -13.8194 +▁poželjeti -13.8194 +▁prvenstveni -13.8194 +▁rezolucijom -13.8194 +▁sacrificing -13.8194 +▁sveobuhvatne -13.8194 +▁školstva -13.8194 +▁АГАТОН -13.8194 +▁политичк -13.8194 +▁cheddar -13.8194 +▁composing -13.8194 +▁dubrovačko -13.8194 +▁handcrafted -13.8194 +▁havoc -13.8194 +▁nestašica -13.8194 +▁posolite -13.8194 +!!!!!!!!!!!!!!!! -13.8194 +ºª -13.8194 +▁amalgam -13.8194 +▁rubriku -13.8194 +▁јој -13.8194 +▁staklena -13.8194 +▁hobotnic -13.8194 +▁paranoid -13.8194 +▁Izmjene -13.8194 +▁Sheldon -13.8194 +▁neravnopravn -13.8194 +▁affinity -13.8194 +▁Meštani -13.8194 +▁nadzire -13.8194 +▁medjuvremenu -13.8194 +▁Koronavirus -13.8194 +▁Poverty -13.8194 +▁povredom -13.8194 +▁otpremnine -13.8194 +▁PARTNER -13.8194 +▁ritmičk -13.8194 +▁Štimac -13.8194 +▁porodilištu -13.8194 +▁prikupe -13.8194 +▁Clippers -13.8194 +▁одлук -13.8194 +▁spearhead -13.8194 +▁Ispitivanje -13.8194 +▁Žorž -13.8194 +▁gaćice -13.8194 +▁marionet -13.8194 +▁indikacija -13.8194 +▁kapljica -13.8194 +▁Funkcional -13.8194 +▁podijele -13.8194 +▁velicine -13.8194 +▁združen -13.8194 +▁raskrsnica -13.8194 +▁Čukaric -13.8194 +▁generičk -13.8194 +▁Političke -13.8194 +▁Segedin -13.8194 +▁Prijestonic -13.8194 +▁Odbijam -13.8194 +matematičkog -13.8195 +▁kolicina -13.8195 +▁drzavno -13.8195 +▁Kolačići -13.8195 +▁malč -13.8195 +▁Crnadak -13.8195 +▁berbu -13.8195 +▁waitress -13.8195 +▁Novosadski -13.8195 +▁Olakša -13.8195 +▁pojedu -13.8195 +▁djelovima -13.8195 +▁Avantur -13.8195 +▁pokornost -13.8195 +▁otarasi -13.8195 +▁špijunaž -13.8197 +▁dzep -13.8198 +▁cursor -13.8199 +metarsk -13.82 +▁pocetko -13.8201 +▁nedopustiv -13.8202 +▁kidnapovan -13.8202 +▁predvorj -13.8205 +▁Garsij -13.8205 +▁anulira -13.8206 +▁први -13.8206 +▁kiparsk -13.8208 +cionističk -13.8208 +▁milansk -13.8211 +▁Komnen -13.8218 +▁vijug -13.822 +Aleksandr -13.822 +▁dijetaln -13.822 +▁Anđelić -13.8222 +▁floskul -13.8226 +▁birokratij -13.8229 +▁englesko -13.823 +▁Gorsk -13.8237 +Text -13.8237 +▁Jedn -13.8239 +održan -13.8241 +AVANJA -13.8241 +possibly -13.8245 +contact -13.8245 +ultidisciplinary -13.8247 +everything -13.8251 +stojaće -13.8252 +samoinicijativno -13.8255 +ksplicit -13.8257 +▁Učestvoval -13.8267 +▁opersk -13.8268 +▁lanjsk -13.8274 +▁Stvori -13.8275 +▁continual -13.8276 +6:45 -13.8278 +cipient -13.8279 +： -13.828 +▁Krapinsko -13.828 +₹ -13.828 +▁accelerator -13.828 +▁antidepressant -13.828 +▁snabdeven -13.828 +Tašmajdan -13.8281 +hiperpigmentacij -13.8281 +▁Accommodation -13.8281 +▁Barbados -13.8281 +▁Bugojna -13.8281 +▁Djindji -13.8281 +▁ISTRAŽIVA -13.8281 +▁Incredible -13.8281 +▁Integrity -13.8281 +▁Metohija -13.8281 +▁Najviši -13.8281 +▁Particularly -13.8281 +▁Policajac -13.8281 +▁Srdačan -13.8281 +▁akupunktur -13.8281 +▁bezrezervn -13.8281 +▁bosiljak -13.8281 +▁condensed -13.8281 +▁convergence -13.8281 +▁deputies -13.8281 +▁egzekucij -13.8281 +▁inteligentno -13.8281 +▁koncepata -13.8281 +▁maloprodaji -13.8281 +▁maturanata -13.8281 +▁natjecanjima -13.8281 +▁nesuglasica -13.8281 +▁premešten -13.8281 +▁prepolovljen -13.8281 +▁psihološku -13.8281 +▁redundant -13.8281 +▁sequencing -13.8281 +▁Bezbednost -13.8281 +▁Heineken -13.8281 +▁Infektivn -13.8281 +▁irrational -13.8281 +▁meditacija -13.8281 +▁najcesce -13.8281 +▁pomfrit -13.8281 +▁Министар -13.8281 +▁значај -13.8281 +▁Reunion -13.8281 +▁dishonest -13.8281 +▁herbicide -13.8281 +▁najzdraviji -13.8281 +▁orkestrom -13.8281 +▁ambiance -13.8281 +▁rosemary -13.8281 +▁edukacijsk -13.8281 +▁moždin -13.8281 +▁Fojnici -13.8281 +▁Registrovan -13.8281 +▁formidable -13.8281 +▁issuance -13.8281 +▁prijetnjom -13.8281 +▁anthology -13.8281 +▁Vujačić -13.8281 +▁zaplenjen -13.8281 +▁Pogrešn -13.8281 +▁zvučna -13.8281 +▁Osborne -13.8281 +▁Mikulić -13.8281 +▁hydrocarbon -13.8281 +.11.2023 -13.8281 +▁SRBIJU -13.8281 +▁jbg -13.8281 +▁tirelessly -13.8281 +▁porodiljsko -13.8281 +▁infestation -13.8281 +▁striming -13.8281 +▁glomazn -13.8281 +▁liaison -13.8281 +▁koriguje -13.8281 +▁Evelyn -13.8281 +▁terrestrial -13.8281 +▁OSTALE -13.8281 +▁Citrus -13.8281 +.12.2012 -13.8281 +▁Regiment -13.8281 +▁hladnokrvn -13.8281 +▁OTKRIVA -13.8281 +▁КМ -13.8281 +▁ispijanje -13.8281 +▁Shelley -13.8281 +▁ripple -13.8281 +▁Ovnovi -13.8282 +▁transcendent -13.8282 +▁Aztec -13.8282 +▁domicil -13.8282 +▁trulež -13.8282 +▁asshole -13.8282 +▁Ohrabr -13.8282 +▁SEZON -13.8282 +▁PRIČA -13.8282 +▁publikovan -13.8282 +▁cockpit -13.8282 +▁martyr -13.8283 +▁Thrill -13.8283 +▁Religij -13.8283 +▁Collaboration -13.8283 +▁èeka -13.8284 +▁tolerira -13.8285 +▁neisplaćen -13.8285 +▁فَ -13.8286 +▁brončan -13.8286 +држава -13.8287 +procentn -13.8291 +REĐEN -13.8292 +▁bubanj -13.8294 +▁traumatičn -13.8294 +▁idiličn -13.8295 +▁gazirani -13.8295 +▁lokacijsk -13.8295 +6,9 -13.8296 +▁инте -13.8297 +▁vizantijski -13.8297 +▁nećak -13.8299 +▁Familia -13.8299 +ETRO -13.8301 +▁tajnovit -13.8302 +▁Ту -13.8304 +▁patetičn -13.8305 +AŽA -13.8308 +▁odrzan -13.8313 +▁Timočk -13.8318 +cijalna -13.8319 +stavivši -13.8319 +▁Dvanaest -13.8328 +kompleks -13.8332 +Academy -13.8332 +Linux -13.8332 +أَ -13.8332 +virtual -13.8333 +fašizm -13.8334 +Sistem -13.8335 +Travel -13.8336 +Crveni -13.8336 +▁Radojk -13.8338 +▁arhiepiskop -13.8346 +VISION -13.8361 +▁Absolute -13.8364 +▁blagdansk -13.8365 +▁Imotsk -13.8365 +▁Anxiety -13.8368 +▁Arduino -13.8368 +▁Biblije -13.8368 +▁Deloitte -13.8368 +▁Durmitor -13.8368 +▁Elsevier -13.8368 +▁HNŽ -13.8368 +▁Hospice -13.8368 +▁Omladinska -13.8368 +▁PEOPLE -13.8368 +▁Sapphire -13.8368 +▁arrogant -13.8368 +▁autsajder -13.8368 +▁entrusted -13.8368 +▁exclaimed -13.8368 +▁galaxies -13.8368 +▁imigranata -13.8368 +▁miscarriage -13.8368 +▁mobilijar -13.8368 +▁nedvojbeno -13.8368 +▁poluostrvo -13.8368 +▁relaksaciju -13.8368 +▁speculative -13.8368 +▁windshield -13.8368 +▁људск -13.8368 +▁diagonal -13.8368 +▁Černobil -13.8368 +▁žurki -13.8368 +▁hypnoti -13.8368 +▁iščupa -13.8368 +▁lezbijsk -13.8368 +▁sastojao -13.8368 +▁segregacij -13.8368 +▁storyteller -13.8368 +▁zadovoljstvu -13.8368 +▁INVEST -13.8368 +▁Tucaković -13.8368 +▁Ibišević -13.8368 +▁Smješten -13.8368 +▁Tarantino -13.8368 +▁spoticanja -13.8368 +▁fisheries -13.8368 +▁unseen -13.8368 +▁Srbobran -13.8368 +▁glicerin -13.8368 +▁tolerisati -13.8368 +▁nervozno -13.8368 +▁ropstvo -13.8368 +▁PONOVO -13.8368 +▁recesiju -13.8368 +▁Adviser -13.8368 +▁nasrnuo -13.8368 +▁Tribute -13.8368 +▁Cocktail -13.8368 +▁Zadovoljni -13.8368 +▁Citadel -13.8368 +▁Drecun -13.8368 +▁MacDonald -13.8368 +▁Bosnalijek -13.8368 +▁Bombay -13.8368 +▁Nataše -13.8368 +▁premašuje -13.8368 +▁ispovijed -13.8369 +▁najlepša -13.8369 +▁Expedia -13.8369 +▁presretn -13.8369 +▁invazija -13.8369 +▁nenasiln -13.8369 +▁Rimljana -13.8369 +▁šibensk -13.8369 +▁spominjao -13.8369 +/08/202 -13.8369 +▁nesanica -13.8369 +▁čašom -13.8369 +▁belanca -13.8369 +▁uklesan -13.8369 +▁Squadron -13.8369 +▁zagonetn -13.8369 +▁najslavnij -13.8369 +▁retrofit -13.8369 +▁narandžasto -13.8369 +▁čelične -13.8369 +▁pogrdn -13.8369 +▁Urošević -13.8369 +▁sajmova -13.8369 +▁(2020) -13.8369 +▁komarci -13.837 +▁nectar -13.837 +▁doktrina -13.837 +▁poskupi -13.8371 +▁balerin -13.8371 +▁Širenje -13.8371 +▁Svjetlost -13.8371 +▁prozirno -13.8373 +▁nemilost -13.8373 +▁utisnut -13.8373 +▁odleža -13.8373 +[7] -13.8374 +▁Emotivn -13.8374 +ređivao -13.8377 +▁jailbreak -13.8377 +▁Idriz -13.8378 +▁naplaćeno -13.8379 +▁depresivni -13.838 +SPEKT -13.8382 +▁pomorstv -13.8382 +Verujem -13.8385 +▁autohtoni -13.8389 +▁diskografsk -13.839 +▁Burnett -13.8392 +▁nerazumn -13.8397 +▁okupacion -13.84 +▁ekstrakcij -13.84 +20,00 -13.8406 +▁прво -13.8408 +Festival -13.8421 +technical -13.8421 +Čovek -13.8421 +objektiv -13.8421 +Najbolje -13.8421 +nosiocima -13.8425 +prljav -13.8427 +▁domovinsk -13.8428 +▁umrežen -13.8429 +8,9 -13.8432 +▁PREGLED -13.8441 +▁allocate -13.8447 +Narodnos -13.8447 +ORGAN -13.8447 +▁obrij -13.8451 +▁poklek -13.8452 +▁simultaneous -13.8452 +kazivalo -13.8457 +▁Pensilvanij -13.8457 +megapixel -13.8457 +▁AstraZeneca -13.8457 +▁BIHAMK -13.8457 +▁Bjelašnici -13.8457 +▁Chevron -13.8457 +▁Galatasaraj -13.8457 +▁Hadžibajrić -13.8457 +▁KVALITET -13.8457 +▁Kujundžić -13.8457 +▁Litigation -13.8457 +▁anticipating -13.8457 +▁apstinencij -13.8457 +▁bodljikav -13.8457 +▁bounty -13.8457 +▁clarified -13.8457 +▁confinement -13.8457 +▁dvotrećinsk -13.8457 +▁hrišćanstva -13.8457 +▁inozemstva -13.8457 +▁inteligentan -13.8457 +▁ljubičaste -13.8457 +▁mahunarke -13.8457 +▁mehanizmu -13.8457 +▁moţda -13.8457 +▁najosetljivij -13.8457 +▁najuspešnije -13.8457 +▁necessitate -13.8457 +▁potrepština -13.8457 +▁prepodnevnim -13.8457 +▁samoubilačk -13.8457 +▁skleroze -13.8457 +▁vožnjom -13.8457 +▁Šerbedžij -13.8457 +▁истакао -13.8457 +▁којој -13.8457 +▁пројект -13.8457 +▁Alternativa -13.8457 +▁bezobrazluk -13.8457 +▁praziluk -13.8457 +▁Čikaga -13.8457 +▁Hyatt -13.8457 +▁Tbsp -13.8457 +▁Slobodu -13.8457 +▁konzument -13.8457 +▁општине -13.8457 +▁Vrijedi -13.8457 +▁assorted -13.8457 +▁стране -13.8457 +▁(1984) -13.8457 +▁Hongkong -13.8457 +▁simpatija -13.8457 +▁sinteze -13.8457 +▁Čerkez -13.8457 +kvizicije -13.8457 +▁Drupal -13.8457 +▁Reakcije -13.8457 +▁expedite -13.8457 +▁galvaniz -13.8457 +▁Therapist -13.8457 +▁Topalović -13.8457 +▁MotoGP -13.8457 +▁Jednostavni -13.8457 +▁RAZVOJ -13.8457 +▁Gould -13.8457 +▁iritantn -13.8457 +▁srodne -13.8457 +.07.2015 -13.8457 +▁aerobic -13.8457 +▁ljuske -13.8457 +▁intervenisala -13.8457 +▁ligamenata -13.8457 +▁zrela -13.8457 +▁primećuju -13.8457 +▁sacrament -13.8457 +▁sirijskom -13.8458 +▁Spasitelj -13.8458 +▁nepovezan -13.8458 +▁jedinki -13.8458 +▁tvrdnjom -13.8458 +▁hebrejsk -13.8458 +▁pobjegla -13.8458 +▁Sprečava -13.8458 +▁mramor -13.8458 +▁zrcal -13.8458 +▁teroriste -13.8458 +▁Friendship -13.8458 +▁jezgre -13.8458 +▁nakaradn -13.8458 +▁zaprimljen -13.8458 +▁pelvic -13.8458 +▁mikrobiolog -13.8458 +▁zaječarsk -13.8459 +▁dobrovoljci -13.8459 +▁rogov -13.8459 +▁Everett -13.8459 +▁višenamensk -13.8459 +▁Zračn -13.846 +hranjuju -13.8462 +-01-0 -13.8462 +▁izostavlja -13.8463 +▁primorski -13.8464 +,000.00 -13.8467 +▁striktn -13.8468 +varijant -13.8468 +▁Tatjan -13.8469 +▁Trnav -13.8469 +desetpetogodišnj -13.8469 +lijepljen -13.8473 +▁Željel -13.8476 +kopaju -13.8484 +▁nalogodavc -13.849 +▁Kenij -13.8492 +▁orašast -13.8493 +nalizirajući -13.8499 +▁žedn -13.8499 +▁rezidencijaln -13.85 +Clear -13.8509 +Published -13.851 +detaljnije -13.851 +› -13.851 +military -13.851 +include -13.851 +▁bodovn -13.8513 +▁otežavajuć -13.8515 +opširn -13.8516 +▁optimistični -13.8526 +▁tinejdžersk -13.8535 +proporcionaln -13.8539 +▁NAJBOLJI -13.8545 +▁teatarsk -13.8545 +▁reminisce -13.8545 +▁Architectural -13.8546 +▁Evrokupu -13.8546 +▁Obaveštenje -13.8546 +▁PREDSJEDNIK -13.8546 +▁Povjerenstvo -13.8546 +▁Responsibility -13.8546 +▁angažovali -13.8546 +▁charismatic -13.8546 +▁concussion -13.8546 +▁crkvom -13.8546 +▁diskriminaciji -13.8546 +▁fascinantno -13.8546 +▁fiskalnog -13.8546 +▁fotonaponsk -13.8546 +▁frekvenciju -13.8546 +▁measurable -13.8546 +▁psoriasis -13.8546 +▁razdražljivost -13.8546 +▁spooky -13.8546 +▁syntax -13.8546 +▁Industrija -13.8546 +▁Kimberly -13.8546 +▁SRPSKE -13.8546 +▁Znanstvenici -13.8546 +▁depresijom -13.8546 +▁dismantle -13.8546 +▁illicit -13.8546 +▁invariably -13.8546 +▁konstruktivan -13.8546 +▁python -13.8546 +▁tranzicijsk -13.8546 +▁Kalderon -13.8546 +▁Rožaje -13.8546 +▁Trijumf -13.8546 +▁Wilhelm -13.8546 +▁futurističk -13.8546 +▁pošiljka -13.8546 +▁Assuming -13.8546 +▁Orešković -13.8546 +▁iznemogl -13.8546 +▁opservacij -13.8546 +▁snippet -13.8546 +▁Kaufman -13.8546 +▁fasadu -13.8546 +▁otplatu -13.8546 +▁Bamboo -13.8546 +▁špinat -13.8546 +▁nastojala -13.8546 +▁vanvremensk -13.8546 +▁Ricardo -13.8546 +▁cheerleader -13.8546 +tributable -13.8546 +▁uglovima -13.8546 +▁Potraga -13.8546 +▁grmljavina -13.8546 +▁ležaljke -13.8546 +▁luckily -13.8546 +▁austrijska -13.8546 +▁dezinformacije -13.8546 +.08.2016 -13.8546 +▁kažnjiv -13.8546 +▁Sheikh -13.8546 +▁popločan -13.8546 +▁raspolaganja -13.8546 +▁metodologiji -13.8546 +▁pomenuli -13.8546 +▁PROCES -13.8546 +▁Povređen -13.8546 +▁Vujičić -13.8546 +▁unequal -13.8546 +▁sposobnošću -13.8546 +▁HUGE -13.8547 +einstalacija -13.8547 +▁dekorativno -13.8547 +▁obrazovna -13.8547 +▁prodiru -13.8547 +▁Agencies -13.8547 +▁naručju -13.8547 +▁priopćeno -13.8547 +▁dodjeljuju -13.8547 +▁Frojd -13.8547 +▁iznenadjen -13.8547 +▁diversify -13.8547 +▁olovka -13.8547 +▁podmetnut -13.8548 +▁Meksičk -13.8548 +▁posalje -13.8548 +▁Toxic -13.8549 +▁rebate -13.8549 +▁Staklen -13.855 +▁Jusić -13.8552 +.500.000 -13.8555 +▁solucij -13.8557 +najkvalitetnijih -13.8562 +▁opijat -13.8568 +▁sestrinsk -13.8568 +TIVNO -13.8571 +▁Kovilj -13.8576 +Suppl -13.8582 +▁neprofitni -13.8584 +▁bajramsk -13.8586 +▁bronzani -13.8594 +default -13.8598 +▁tiranij -13.86 +§ -13.86 +Amerika -13.86 +Engine -13.8601 +church -13.8601 +▁ćelijski -13.8601 +insurance -13.8601 +Ugarske -13.8604 +▁Srđ -13.8605 +▁mizern -13.8606 +▁podupira -13.8607 +expert -13.8608 +llowed -13.8609 +Craft -13.8611 +лично -13.8616 +-02-2 -13.8617 +▁Dimension -13.8618 +▁nesrec -13.8623 +▁Naselje -13.8624 +▁proevropsk -13.8625 +▁preprodaj -13.8628 +OWER -13.863 +najjeftinij -13.8631 +Poljoprivrednici -13.8631 +▁Immediate -13.8631 +▁rotirajuć -13.8632 +▁ispreple -13.8633 +θ -13.8636 +▁Battalion -13.8636 +▁Caldwell -13.8636 +▁Epizoda -13.8636 +▁Gourmet -13.8636 +▁Introduce -13.8636 +▁Johannesburg -13.8636 +▁Mješovit -13.8636 +▁Obezbeđen -13.8636 +▁POVEZANE -13.8636 +▁ZLOČIN -13.8636 +▁carpenter -13.8636 +▁ceremoniju -13.8636 +▁contaminants -13.8636 +▁enchanting -13.8636 +▁hronološki -13.8636 +▁investiciona -13.8636 +▁konvenciji -13.8636 +▁najvrednije -13.8636 +▁nepoverenje -13.8636 +▁physicist -13.8636 +▁pozorišnu -13.8636 +▁propovijeda -13.8636 +▁recollection -13.8636 +▁telohranitelj -13.8636 +▁tinnitus -13.8636 +▁unesrećen -13.8636 +▁коментар -13.8636 +▁резултат -13.8636 +▁primjedbi -13.8636 +▁Aušvic -13.8636 +▁bogomolj -13.8636 +▁diversified -13.8636 +▁lingerie -13.8636 +▁okarakterisan -13.8636 +▁Helsinšk -13.8636 +▁arterial -13.8636 +▁vrpce -13.8636 +▁Redskins -13.8636 +▁intrusion -13.8636 +▁najmilije -13.8636 +▁pešaka -13.8636 +▁Preparing -13.8636 +▁devastacij -13.8636 +▁slavlju -13.8636 +▁Edukativn -13.8636 +▁jutjub -13.8636 +▁okrivljenog -13.8636 +▁(1988) -13.8636 +▁četvrtfinaln -13.8636 +▁Najlakš -13.8636 +▁počinak -13.8636 +▁pretrpan -13.8636 +▁vertikalne -13.8636 +▁uvertira -13.8636 +▁OSNOVN -13.8636 +▁nezavisan -13.8636 +▁otmičar -13.8636 +▁iluziju -13.8636 +▁Berkshire -13.8636 +▁ZOI -13.8636 +▁komediji -13.8636 +▁zaseban -13.8636 +▁strukturne -13.8636 +ynaptic -13.8636 +▁Magnolia -13.8636 +▁indikativn -13.8636 +▁etaže -13.8636 +▁yolk -13.8636 +▁amplitude -13.8637 +▁Kockar -13.8637 +▁Sudjelova -13.8637 +▁ukorenjen -13.8637 +▁preferencije -13.8637 +▁maternjeg -13.8637 +▁Joomla -13.8637 +prizrensk -13.8637 +▁Lisbon -13.8637 +▁navigacion -13.8637 +▁posvećuju -13.8637 +▁HUMAN -13.8637 +▁dotakne -13.8637 +▁zamagljen -13.8638 +▁orginaln -13.8638 +▁stogodišnjic -13.8638 +▁sugovornik -13.8639 +▁tamjan -13.864 +▁gnusn -13.8641 +▁EVROPSK -13.8644 +ВО -13.8645 +▁Sovjet -13.8648 +OUGH -13.8649 +▁Teritorijaln -13.8654 +▁pigmentacij -13.8657 +hranjuje -13.8658 +▁prvomajsk -13.8663 +▁profilisan -13.8664 +▁zakrp -13.8665 +▁Tekuć -13.8666 +▁Kamern -13.8666 +9,6 -13.8671 +▁posloži -13.8674 +▁sremsk -13.8682 +▁diplomacij -13.8684 +9-0 -13.8685 +ČUVA -13.8686 +▁Srednjobosansk -13.869 +Washington -13.8691 +Kontakt -13.8691 +Stefan -13.8691 +Stevan -13.8692 +Chief -13.8692 +Place -13.8694 +▁porodicn -13.8695 +▁мр -13.8701 +▁konvertibiln -13.8705 +equipped -13.8707 +chrome -13.8707 +▁devoi -13.871 +▁konzorcij -13.8717 +▁kalibr -13.8719 +OLOŠKI -13.8724 +▁GRAĐEVIN -13.8727 +ę -13.8727 +▁Amnesty -13.8727 +▁Konvencija -13.8727 +▁Mogerini -13.8727 +▁Pljevalja -13.8727 +▁SPECIJAL -13.8727 +▁Sarkozy -13.8727 +▁Trudnoća -13.8727 +▁beneficiary -13.8727 +▁constellation -13.8727 +▁detektuje -13.8727 +▁dozvolom -13.8727 +▁dynasty -13.8727 +▁erektiln -13.8727 +▁evangeliz -13.8727 +▁feasibility -13.8727 +▁lubrikant -13.8727 +▁mitraljez -13.8727 +▁najjačoj -13.8727 +▁narukvice -13.8727 +▁neiskorišten -13.8727 +▁nepovoljne -13.8727 +▁neprilagođen -13.8727 +▁nerazjašnjen -13.8727 +▁nevjerovatne -13.8727 +▁pesticidi -13.8727 +▁reintegracij -13.8727 +▁sarajevska -13.8727 +▁sveštenstvo -13.8727 +▁translucent -13.8727 +▁undocumented -13.8727 +▁čizmama -13.8727 +▁Ažuriran -13.8727 +▁albanska -13.8727 +▁antihistamin -13.8727 +▁cheesy -13.8727 +▁iznevjeri -13.8727 +▁metafizičk -13.8727 +▁ožiljci -13.8727 +▁sledbenici -13.8727 +▁vacancy -13.8727 +▁čudotvorn -13.8727 +▁Škrijelj -13.8727 +▁Švajcarsku -13.8727 +▁Milosevic -13.8727 +▁afirmiše -13.8727 +▁anamnez -13.8727 +▁innovators -13.8727 +▁mlevene -13.8727 +▁kibernet -13.8727 +▁Rodrigo -13.8727 +▁ambience -13.8727 +▁Robotics -13.8727 +▁(1986) -13.8727 +▁islamofobij -13.8727 +▁nelegalnih -13.8727 +▁shortcomings -13.8727 +▁ušuškan -13.8727 +▁plakete -13.8727 +▁ucestvova -13.8727 +▁Butterfly -13.8727 +▁dekorativne -13.8727 +▁naprasno -13.8727 +▁thermometer -13.8727 +▁Christchurch -13.8727 +▁atletici -13.8727 +ynapse -13.8727 +▁Koševu -13.8727 +▁suverena -13.8727 +▁ilegalnim -13.8727 +▁šetalištu -13.8727 +▁politicke -13.8727 +▁definisao -13.8727 +▁iznenadne -13.8727 +▁ZABRAN -13.8728 +▁Zinedin -13.8728 +▁Mathew -13.8728 +▁poternica -13.8728 +phenyl -13.8728 +▁Ekspres -13.8728 +▁clinch -13.8728 +▁priključci -13.8728 +▁nasilne -13.8728 +▁poriče -13.8728 +▁odlomak -13.8729 +▁siege -13.8729 +▁odgurnu -13.8729 +▁južnoameričk -13.8731 +▁nadigral -13.8731 +microsoft -13.8735 +▁krofn -13.8736 +▁antisrpsk -13.8739 +▁separatističk -13.874 +hahha -13.8744 +▁apsorbuju -13.8745 +▁protivgradn -13.8758 +▁krojač -13.876 +▁mikroskopsk -13.8771 +available -13.8782 +appointed -13.8782 +efficiency -13.8783 +Richard -13.8783 +associated -13.8783 +Target -13.8783 +uspješni -13.8783 +Access -13.8784 +RAIN -13.8793 +▁neumorn -13.8795 +▁posmrtn -13.8798 +konstruktiv -13.881 +▁jednomjesečn -13.8811 +▁MODEL -13.8813 +▁Mystic -13.8816 +▁STUDIJ -13.8816 +Participant -13.8818 +▁kvantitet -13.8819 +▁злочин -13.8819 +amozapošljavanje -13.8819 +▁Anđelka -13.8819 +▁Approval -13.8819 +▁Dialogue -13.8819 +▁Efekat -13.8819 +▁Expansion -13.8819 +▁Fakultativn -13.8819 +▁Frequency -13.8819 +▁Hendrix -13.8819 +▁Menhetn -13.8819 +▁Structural -13.8819 +▁Vrhunac -13.8819 +▁ambulantu -13.8819 +▁bogosluženj -13.8819 +▁bureaucracy -13.8819 +▁condominium -13.8819 +▁desperation -13.8819 +▁ekscentričn -13.8819 +▁eksploatacija -13.8819 +▁eloquent -13.8819 +▁erroneous -13.8819 +▁exhilarating -13.8819 +▁familiju -13.8819 +▁nepopravljiv -13.8819 +▁očevidaca -13.8819 +▁phenotype -13.8819 +▁psorijazu -13.8819 +▁responsibly -13.8819 +▁Španjolskoj -13.8819 +▁Fifty -13.8819 +▁domašaja -13.8819 +▁pamphlet -13.8819 +▁utjehu -13.8819 +▁četkicom -13.8819 +▁kooperativn -13.8819 +▁posoliti -13.8819 +▁rekonstruira -13.8819 +▁Oncology -13.8819 +▁Monterey -13.8819 +▁Preševo -13.8819 +▁indikacije -13.8819 +▁autonomija -13.8819 +▁matematici -13.8819 +▁pokoleba -13.8819 +▁inference -13.8819 +▁teorijske -13.8819 +▁understated -13.8819 +▁Shepard -13.8819 +▁дјец -13.8819 +▁Lahore -13.8819 +▁complied -13.8819 +▁najvažniju -13.8819 +▁Attempt -13.8819 +▁brucoš -13.8819 +▁Santorini -13.8819 +▁dečju -13.8819 +▁Hastings -13.8819 +▁Mehanizm -13.8819 +.08.2018 -13.8819 +▁Vukosavljević -13.8819 +▁Polyester -13.8819 +▁lizard -13.8819 +▁drvenog -13.8819 +▁Željku -13.8819 +▁Parsons -13.8819 +▁raspitiva -13.8819 +▁Aktualn -13.8819 +▁Prilagod -13.8819 +▁penziono -13.8819 +▁SWOT -13.8819 +▁eliminisao -13.8819 +▁baterijsk -13.8819 +▁dvojezičn -13.8819 +▁Тако -13.8819 +▁skladatelj -13.8819 +▁istražne -13.8819 +▁gelatin -13.8819 +▁Splash -13.882 +▁Borussij -13.882 +▁komšijsk -13.882 +▁olupin -13.882 +▁Šaćir -13.882 +▁biomase -13.8821 +▁zainteresira -13.8822 +▁Pojavil -13.8822 +▁Hirsch -13.8823 +▁žalfij -13.8824 +▁melanin -13.8824 +▁zagreje -13.8826 +струк -13.8826 +▁obezbeđiva -13.8826 +▁Zambia -13.8826 +▁uskladišten -13.8826 +▁sekrecij -13.8828 +▁lactat -13.8831 +▁depresivno -13.8835 +▁šetnic -13.8849 +▁POŠT -13.8853 +▁Inspirisan -13.8856 +mejker -13.8858 +▁Пет -13.8859 +rasprostranjenij -13.886 +izvođen -13.8863 +▁bronzano -13.887 +width -13.8875 +Opširnije -13.8875 +League -13.8875 +assisted -13.8876 +umetnički -13.8878 +sebnim -13.8883 +▁ludnic -13.8884 +تُ -13.8888 +▁jučerašnj -13.8891 +pomenimo -13.8907 +▁istocn -13.8908 +▁čovječ -13.8911 +् -13.8911 +▁Košutnjak -13.8911 +▁ekskurzije -13.8911 +▁recyclable -13.8911 +▁semiconductor -13.8911 +▁vacancies -13.8911 +pocalyptic -13.8911 +ω -13.8911 +ם -13.8911 +▁Anglican -13.8911 +▁Crnjanski -13.8911 +▁Cunningham -13.8911 +▁Facilitat -13.8911 +▁Gvatemal -13.8911 +▁Pemberton -13.8911 +▁Radmilović -13.8911 +▁Revolucionarn -13.8911 +▁Ruzvelt -13.8911 +▁Smithsonian -13.8911 +▁disseminate -13.8911 +▁dokapitalizacij -13.8911 +▁dugoročna -13.8911 +▁euklidsk -13.8911 +▁evolucija -13.8911 +▁izdržao -13.8911 +▁konsolidacije -13.8911 +▁kršćana -13.8911 +▁otputovali -13.8911 +▁perpetuate -13.8911 +▁pretražuju -13.8911 +▁preusmjeren -13.8911 +▁prevrnuo -13.8911 +▁prouzrokuju -13.8911 +▁razrješenje -13.8911 +▁retrieval -13.8911 +▁swollen -13.8911 +▁throttle -13.8911 +▁uštedjeti -13.8911 +▁опет -13.8911 +😊 -13.8911 +▁Heinrich -13.8911 +▁Ribnikar -13.8911 +▁matematičke -13.8911 +▁tragediji -13.8911 +▁vannastavn -13.8911 +▁Додик -13.8911 +▁Infection -13.8911 +▁Pueblo -13.8911 +▁odoljeti -13.8911 +▁smislom -13.8911 +▁pešadijsk -13.8911 +▁prvobitne -13.8911 +▁ambiciju -13.8911 +▁electrolyte -13.8911 +▁bjelorusk -13.8911 +▁premješten -13.8911 +▁fasadi -13.8911 +▁dominating -13.8911 +▁presudne -13.8911 +▁Nedostaje -13.8911 +▁gruzijsk -13.8911 +▁cafeteria -13.8911 +▁Šetnja -13.8912 +▁constrained -13.8912 +▁raščisti -13.8912 +▁Izdavanje -13.8912 +.03.2016 -13.8912 +▁ljubičasti -13.8912 +▁Aquarium -13.8912 +▁kapljice -13.8912 +▁predstavništvo -13.8912 +▁Definicija -13.8912 +▁proviziju -13.8912 +▁Zvicer -13.8912 +▁Strauss -13.8912 +▁Igrice -13.8912 +▁pokazivati -13.8912 +▁Ustanove -13.8912 +▁texas -13.8912 +▁McGill -13.8912 +▁KANTONA -13.8913 +▁zaobišl -13.8913 +▁Božansk -13.8913 +▁premesti -13.8913 +▁Pjevač -13.8914 +▁Nišvil -13.8915 +▁gajb -13.8915 +▁Aladin -13.8915 +▁alarmantno -13.8916 +▁svjetlij -13.8916 +▁upaljač -13.8916 +▁Asanž -13.8917 +▁prepirk -13.8917 +▁Ilustr -13.8924 +▁Poštansk -13.8927 +▁odbrojava -13.8931 +▁Heinz -13.8931 +▁redefine -13.8933 +▁важ -13.8934 +▁požud -13.8935 +▁septičk -13.8943 +.500,00 -13.8949 +▁orijentir -13.8957 +Jevrej -13.8964 +daughter -13.8969 +cylinder -13.8969 +Državn -13.8969 +Earth -13.8969 +▁Dobrovolj -13.8976 +▁Lidij -13.8978 +▁neprepoznatljiv -13.8981 +▁Kriminal -13.8984 +Krušik -13.8993 +▁Об -13.8996 +░ -13.9005 +conducive -13.9005 +▁Conversely -13.9005 +▁Episcopal -13.9005 +▁Giuseppe -13.9005 +▁HEALTH -13.9005 +▁Integrisan -13.9005 +▁Poginuo -13.9005 +▁Rukovodilac -13.9005 +▁Trinkijeri -13.9005 +▁Zadužbin -13.9005 +▁Zvjezdan -13.9005 +▁afganistansk -13.9005 +▁eleganciju -13.9005 +▁experiential -13.9005 +▁familiji -13.9005 +▁inadvertently -13.9005 +▁leukocit -13.9005 +▁najomiljeniji -13.9005 +▁negligent -13.9005 +▁nutricionista -13.9005 +▁otputovala -13.9005 +▁ovozemaljsk -13.9005 +▁patriarch -13.9005 +▁preživjele -13.9005 +▁saučešća -13.9005 +▁svlačionicu -13.9005 +▁tromesečju -13.9005 +▁Čapljine -13.9005 +Karakteristika -13.9005 +þ -13.9005 +▁EKONOMSK -13.9005 +▁NJEGOV -13.9005 +▁Yield -13.9005 +▁arhitekturom -13.9005 +▁Naknada -13.9005 +▁bullshit -13.9005 +▁naširoko -13.9005 +▁Wyatt -13.9005 +▁recenzira -13.9005 +▁trojkom -13.9005 +▁Financijsk -13.9005 +▁duplu -13.9005 +▁thrift -13.9005 +▁egzodus -13.9005 +▁cleanliness -13.9005 +▁(1989) -13.9005 +▁Spokane -13.9005 +▁pridava -13.9005 +▁Literacy -13.9005 +▁plagijat -13.9005 +▁konstantna -13.9005 +▁jedinstvu -13.9005 +▁Jaycie -13.9005 +▁manjkavosti -13.9005 +▁pidžam -13.9005 +▁komunalnu -13.9005 +▁izlagati -13.9005 +▁opstruira -13.9005 +▁(1993) -13.9005 +▁genijalni -13.9005 +▁sjekir -13.9005 +▁Proceed -13.9005 +▁lagoon -13.9005 +▁Scarlett -13.9005 +▁nezaposlena -13.9005 +▁Hurgad -13.9006 +▁usklade -13.9006 +▁Avalon -13.9006 +▁proširivanj -13.9006 +▁alleging -13.9006 +▁doručku -13.9006 +▁Ešton -13.9006 +▁Kasandr -13.9006 +▁Zevs -13.9007 +▁čitljiv -13.9007 +▁javorov -13.9007 +▁nestašn -13.9007 +.08.2017 -13.9008 +▁unikatno -13.9009 +▁beležnic -13.901 +▁mortalitet -13.9017 +.11.2014 -13.9017 +▁endemsk -13.9026 +▁cringe -13.9033 +▁izglasavanj -13.9035 +▁Physiol -13.9039 +Entrepreneurship -13.9041 +▁certify -13.9043 +▁Korejsk -13.9048 +▁Eisen -13.9053 +ntelektualac -13.9054 +▁pisać -13.9055 +▁Pomorsk -13.9062 +Iskreno -13.9063 +Wood -13.9064 +▁deportovan -13.907 +▁martovsk -13.9073 +1–1 -13.9079 +▁ksenofobij -13.9081 +▁lokalizacij -13.9083 +▁baltičk -13.9088 +在 -13.9095 +▁Društveno -13.9099 +▁ambiguous -13.9099 +▁chronological -13.9099 +▁nerazumijevanj -13.9099 +▁remembrance -13.9099 +▁secrecy -13.9099 +נ -13.9099 +▁Dozvolite -13.9099 +▁GRATIS -13.9099 +▁JARAC -13.9099 +▁LOKALNE -13.9099 +▁MATERIJAL -13.9099 +▁MEDICINSK -13.9099 +▁OBRAZOVANJU -13.9099 +▁PONUDA -13.9099 +▁Paradajz -13.9099 +▁Posljedice -13.9099 +▁Possibly -13.9099 +▁SCIENCE -13.9099 +▁Schultz -13.9099 +▁Sindikaln -13.9099 +▁Synthetic -13.9099 +▁Valensija -13.9099 +▁Wrestling -13.9099 +▁antikorupcijsk -13.9099 +▁autokefaln -13.9099 +▁cervikaln -13.9099 +▁diffusion -13.9099 +▁dijagnozom -13.9099 +▁državotvorn -13.9099 +▁electorate -13.9099 +▁electromagnetic -13.9099 +▁hazreti -13.9099 +▁konfiguraciju -13.9099 +▁mnoštvu -13.9099 +▁naređenju -13.9099 +▁neujednačen -13.9099 +▁nucleus -13.9099 +▁poduzećima -13.9099 +▁reaffirm -13.9099 +▁shrugged -13.9099 +▁sveučilištu -13.9099 +▁ugnjetavan -13.9099 +▁zbliži -13.9099 +▁објаву -13.9099 +▁Beverage -13.9099 +▁Piazza -13.9099 +▁drowning -13.9099 +▁europska -13.9099 +▁infekcijom -13.9099 +▁instantaneous -13.9099 +▁istanbulsk -13.9099 +▁друге -13.9099 +▁Eccles -13.9099 +▁bivšom -13.9099 +▁pozicijom -13.9099 +▁Podizanje -13.9099 +▁Reebok -13.9099 +▁Scottsdale -13.9099 +▁ensuing -13.9099 +▁kvotu -13.9099 +▁prepliću -13.9099 +▁srednjoročn -13.9099 +▁Zheng -13.9099 +▁Simpozij -13.9099 +▁razmenjuju -13.9099 +▁odreknu -13.9099 +▁stećaka -13.9099 +▁hamstring -13.9099 +▁sletanja -13.9099 +▁zajamčen -13.9099 +▁Presvete -13.9099 +▁sljedece -13.9099 +▁upoređuju -13.9099 +▁prikrije -13.9099 +▁Locksmith -13.9099 +▁REGION -13.9099 +▁prestige -13.9099 +▁Žestok -13.9099 +▁Izjave -13.91 +▁Ecology -13.91 +▁otisli -13.91 +▁pospanost -13.91 +▁larve -13.91 +▁napaćen -13.91 +▁adept -13.91 +▁pobornik -13.91 +▁Produžen -13.91 +▁uzročno -13.9101 +▁gitarsk -13.9101 +▁demolira -13.9102 +▁Knife -13.9102 +▁nogavic -13.9102 +▁savitljiv -13.9102 +▁korigovan -13.9103 +▁Počasn -13.9103 +▁istopoln -13.9104 +▁moderira -13.9105 +▁07:4 -13.9108 +▁vebsajt -13.9112 +▁prijeratn -13.9115 +▁subjekat -13.9116 +▁nejasni -13.9121 +▁uradak -13.9128 +▁proterivanj -13.9129 +▁Diznijev -13.913 +▁karnevalsk -13.9133 +▁oronul -13.9133 +▁bjesn -13.914 +5:00 -13.9148 +▁slabašn -13.9149 +плат -13.9153 +Chicago -13.9158 +Guide -13.9159 +▁najupečatljivij -13.9162 +umetničko -13.9164 +▁Jedanaest -13.9167 +▁Četk -13.9169 +Glamur -13.9173 +▁kragn -13.9177 +ijatrijsk -13.9178 +他 -13.9194 +ַ -13.9194 +▁Aranžman -13.9194 +▁Beograđank -13.9194 +▁Damascus -13.9194 +▁Helikopter -13.9194 +▁Holandiju -13.9194 +▁Hrišćan -13.9194 +▁Joanikije -13.9194 +▁MEĐUNARODN -13.9194 +▁Najbrži -13.9194 +▁Rodrigez -13.9194 +▁Roterdam -13.9194 +▁aggravated -13.9194 +▁aleksinačk -13.9194 +▁algebra -13.9194 +▁anegdota -13.9194 +▁apoptosis -13.9194 +▁bjelančevina -13.9194 +▁brošure -13.9194 +▁cataract -13.9194 +▁contemplating -13.9194 +▁dječja -13.9194 +▁isušivanja -13.9194 +▁judiciary -13.9194 +▁konsultovati -13.9194 +▁logistiku -13.9194 +▁mililitara -13.9194 +▁nepovoljan -13.9194 +▁scaffold -13.9194 +▁sluggish -13.9194 +▁stabilizator -13.9194 +▁sveobuhvatna -13.9194 +▁trolejbus -13.9194 +▁turquoise -13.9194 +▁unheard -13.9194 +▁zakonodavstvu -13.9194 +▁zvučati -13.9194 +▁Macedonia -13.9194 +▁Navaljnog -13.9194 +▁Ninoslav -13.9194 +▁Tragedija -13.9194 +▁Utilities -13.9194 +▁alternating -13.9194 +▁drastični -13.9194 +▁laundering -13.9194 +▁povlastice -13.9194 +▁Sentinel -13.9194 +▁iščekuju -13.9194 +▁ozlijedi -13.9194 +▁polifenol -13.9194 +▁senzacije -13.9194 +▁Glacier -13.9194 +▁sekvence -13.9194 +▁Zaboravite -13.9194 +▁Švedski -13.9194 +▁Postepeno -13.9194 +▁nekažnjeno -13.9194 +▁opruga -13.9194 +▁rashlađen -13.9194 +▁glaring -13.9194 +▁Zovko -13.9195 +▁rijedak -13.9195 +▁RFZO -13.9195 +.06.2012 -13.9195 +▁najčistij -13.9195 +▁Belgijsk -13.9195 +▁japanese -13.9195 +▁dendrit -13.9195 +▁Saunders -13.9195 +▁Lantern -13.9195 +▁svibanj -13.9195 +▁smenjuju -13.9196 +▁rezimira -13.9196 +▁tunjevin -13.9196 +▁Zabrinut -13.9197 +▁Narcis -13.9198 +▁Švajcarc -13.92 +pplicant -13.92 +▁kahv -13.9202 +▁definitivn -13.9204 +▁gradjansk -13.9205 +▁nadrealn -13.9206 +▁MULTI -13.9209 +срећ -13.921 +▁prekraja -13.921 +kljuĉ -13.9213 +▁izrečeni -13.9213 +▁Saglasn -13.9217 +▁Vertical -13.9223 +▁analitičko -13.9224 +▁suvoć -13.9237 +▁suprotstavljanj -13.9241 +▁rezidencija -13.9243 +▁boksersk -13.9244 +educated -13.9255 +Evropska -13.9255 +Quest -13.9255 +processing -13.9255 +Brown -13.9255 +▁arhiviran -13.9261 +ršilac -13.9261 +▁Smiljan -13.9266 +Automat -13.927 +uobičaj -13.9282 +▁extinct -13.9289 +▁rehabilitat -13.929 +▁Objašnjen -13.9291 +▁Abramović -13.9291 +▁Advocacy -13.9291 +▁Davenport -13.9291 +▁Dedicated -13.9291 +▁Eurobasket -13.9291 +▁Institucije -13.9291 +▁Komisiju -13.9291 +▁Obrenovca -13.9291 +▁Pozitivna -13.9291 +▁casserole -13.9291 +▁detachment -13.9291 +▁dubrovački -13.9291 +▁hectares -13.9291 +▁iskušenju -13.9291 +▁misunderstood -13.9291 +▁nedostupan -13.9291 +▁odeljenjima -13.9291 +▁oxidative -13.9291 +▁podsticati -13.9291 +▁pospješuj -13.9291 +▁pretpostavkom -13.9291 +▁preusmerava -13.9291 +▁resemblance -13.9291 +▁vanzemaljac -13.9291 +▁култур -13.9291 +▁Hilfy -13.9291 +▁Internship -13.9291 +▁Meredith -13.9291 +▁Voriors -13.9291 +▁appellant -13.9291 +▁najudaljenij -13.9291 +▁pozlaćen -13.9291 +▁upotrijebljen -13.9291 +▁vokabular -13.9291 +▁њега -13.9291 +Epidemiološk -13.9291 +ד -13.9291 +▁assembling -13.9291 +▁crayon -13.9291 +▁degeneracij -13.9291 +▁izviđača -13.9291 +▁najugledniji -13.9291 +▁pogreška -13.9291 +▁uplaćuju -13.9291 +▁watermelon -13.9291 +▁Krompir -13.9291 +▁hrapav -13.9291 +▁mediteranske -13.9291 +▁heteroseksual -13.9291 +▁Swansea -13.9291 +▁piletinom -13.9291 +▁Aćimović -13.9291 +▁enticing -13.9291 +▁testenine -13.9291 +rezistentn -13.9291 +▁Utakmicu -13.9291 +▁biatlon -13.9291 +▁Šavnik -13.9291 +▁proporcija -13.9291 +▁izvesnu -13.9291 +▁izričaj -13.9291 +▁odugovlače -13.9291 +▁provokativno -13.9291 +▁odmazde -13.9291 +▁procveta -13.9291 +▁industrijskom -13.9291 +▁fiberglass -13.9291 +▁Georgiev -13.9291 +▁ugradnjom -13.9291 +▁прошл -13.9291 +▁izostaje -13.9291 +▁Crescent -13.9291 +▁jihad -13.9291 +▁ukućana -13.9291 +▁lebdi -13.9291 +▁Zhao -13.9291 +▁prokliza -13.9292 +Autonomija -13.9292 +column -13.9292 +▁koketira -13.9292 +▁Ostvaren -13.9292 +▁nemerljiv -13.9293 +▁Handicap -13.9293 +▁okićen -13.9294 +▁knjižničar -13.9294 +▁uzruja -13.9295 +▁skučen -13.9295 +▁podložno -13.9295 +hehehe -13.9296 +▁koverti -13.9296 +▁ukrsti -13.9296 +▁appellat -13.9297 +▁nepristojno -13.93 +7,4 -13.93 +STYLE -13.9301 +sufficient -13.9301 +▁raspuštanj -13.9302 +▁tajlandsk -13.9303 +▁surutk -13.9304 +▁ORGANIZACIJ -13.9309 +▁PROČITA -13.9312 +Спир -13.9314 +▁manipulativn -13.9317 +IJSKA -13.9318 +bosansko -13.9321 +▁krivicn -13.9331 +▁odvratno -13.9332 +▁osvježen -13.9334 +▁mitsk -13.9335 +▁Tipičn -13.9338 +▁Predivn -13.934 +fashion -13.9343 +▁federacij -13.9346 +▁strategijsk -13.935 +Izdavač -13.9352 +Develop -13.9352 +invasive -13.9352 +Family -13.9352 +Mercedes -13.9352 +Zlatna -13.9352 +Premijer -13.9352 +Western -13.9352 +pisujući -13.9358 +равно -13.9364 +▁Aplikacij -13.9368 +▁uspinj -13.937 +PRODAJA -13.9371 +√ -13.9388 +כ -13.9486 +█ -13.9486 +ъ -13.9585 +ء -13.9685 +ٰ -13.9786 +غ -13.9786 +⭐ -14.0095 +क -14.02 +了 -14.0303 +✅ -14.0307 +中 -14.0521 +🌹 -14.0523 +ό -14.0523 +、 -14.0625 +Ş -14.0633 +有 -14.0738 +不 -14.0851 +آ -14.0856 +ि -14.0856 +≤ -14.097 +ί -14.1085 +人 -14.1198 +ֶ -14.1201 +ˮ -14.1201 +😂 -14.1402 +ά -14.1438 +ث -14.1438 +‟ -14.1558 +ť -14.168 +ئ -14.168 +ٌ -14.168 +├ -14.1804 +È -14.1893 +µ -14.2019 +ľ -14.2055 +ș -14.2055 +े -14.2055 +╬ -14.2055 +û -14.2055 +إ -14.2099 +ー -14.2183 +χ -14.2183 +¦ -14.2313 +ٍ -14.2313 +ҽ -14.2313 +न -14.2445 +˚ -14.2578 +φ -14.2578 +和 -14.2706 +文 -14.2712 +स -14.2713 +ק -14.285 +🇺 -14.285 +Ω -14.285 +（ -14.2851 +ס -14.2989 +🇸 -14.2989 +פ -14.313 +） -14.3131 +Ð -14.3237 +の -14.327 +🔥 -14.3418 +ी -14.3418 +大 -14.3562 +έ -14.3565 +ń -14.3714 +ů -14.3714 +‹ -14.3714 +ˇ -14.383 +上 -14.3862 +Α -14.3866 +ｅ -14.3866 +ֹ -14.402 +℃ -14.402 +ח -14.4176 +✨ -14.4176 +¿ -14.4176 +ظ -14.4334 +÷ -14.4335 +🇷 -14.4335 +ン -14.4491 +ۚ -14.4496 +õ -14.4496 +ϵ -14.466 +त -14.466 +到 -14.4821 +Ó -14.4826 +Œ -14.4826 +↩ -14.4826 +们 -14.4994 +〉 -14.4995 +ֵ -14.4996 +، -14.4996 +▶ -14.4996 +¥ -14.4996 +国 -14.4997 +ـ -14.5168 +合 -14.5169 +个 -14.5336 +ʼ -14.5344 +ן -14.5344 +Ĉ -14.5486 +为 -14.5515 +〈 -14.5522 +🌺 -14.5704 +⇒ -14.5704 +் -14.5704 +Ø -14.5853 +🇦 -14.5889 +ė -14.5889 +┤ -14.5889 +地 -14.6073 +这 -14.6076 +来 -14.6078 +ׁ -14.6078 +Ò -14.6078 +ύ -14.6078 +म -14.6078 +य -14.6078 +👉 -14.6078 +用 -14.6265 +व -14.627 +ή -14.627 +צ -14.627 +Î -14.627 +交 -14.6466 +⎯ -14.6466 +း -14.6667 +年 -14.6864 +🙏 -14.687 +다 -14.687 +Ś -14.687 +⠀ -14.7079 +द -14.7079 +∙ -14.7079 +fl -14.7079 +ｏ -14.7079 +日 -14.7287 +生 -14.729 +І -14.7292 +प -14.7292 +이 -14.7292 +ď -14.7292 +← -14.7292 +Ú -14.7292 +下 -14.7508 +ؤ -14.7509 +ं -14.7509 +ff -14.7509 +̌ -14.7509 +🤣 -14.7509 +☆ -14.7509 +🇪 -14.7509 +อ -14.7509 +ト -14.7725 +ṇ -14.7731 +📜 -14.7731 +😛 -14.7731 +🏻 -14.7731 +得 -14.7957 +ț -14.7958 +↓ -14.7958 +😭 -14.7958 +会 -14.818 +以 -14.8188 +约 -14.8188 +Σ -14.8191 +Ñ -14.8191 +🚀 -14.8191 +һ -14.8191 +ک -14.8191 +ह -14.8191 +ˈ -14.8191 +ज -14.8191 +า -14.8191 +易 -14.8192 +字 -14.8428 +Ι -14.8429 +♂ -14.8429 +ʻ -14.8429 +♦ -14.8887 +★ -14.9672 +ª -15.1186 +● -15.1473 +¼ -15.1806 +‒ -15.2878 +✔ -15.408 +↑ -15.5444 +■ -15.5445 +😉 -15.8907 +▪ -16.3133 +👍 -16.3133 +😀 -16.4244 +🙂 -17.0589 diff --git a/trainer_state.json b/trainer_state.json new file mode 100644 index 0000000..8f89081 --- /dev/null +++ b/trainer_state.json @@ -0,0 +1,158045 @@ +{ + "best_global_step": null, + "best_metric": null, + "best_model_checkpoint": null, + "epoch": 0.37733333333333335, + "eval_steps": 500, + "global_step": 150000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 1e-05, + "grad_norm": 4.676956653594971, + "learning_rate": 0.0, + "loss": 11.414031982421875, + "step": 1 + }, + { + "epoch": 5e-05, + "grad_norm": 10.332587242126465, + "learning_rate": 2e-08, + "loss": 11.403215408325195, + "step": 5 + }, + { + "epoch": 0.0001, + "grad_norm": 7.231582164764404, + "learning_rate": 4.5e-08, + "loss": 11.417165374755859, + "step": 10 + }, + { + "epoch": 0.00015, + "grad_norm": 4.355790138244629, + "learning_rate": 7e-08, + "loss": 11.399943542480468, + "step": 15 + }, + { + "epoch": 0.0002, + "grad_norm": 4.519984245300293, + "learning_rate": 9.5e-08, + "loss": 11.40735321044922, + "step": 20 + }, + { + "epoch": 0.00025, + "grad_norm": 4.442804336547852, + "learning_rate": 1.2000000000000002e-07, + "loss": 11.400213623046875, + "step": 25 + }, + { + "epoch": 0.0003, + "grad_norm": 8.635957717895508, + "learning_rate": 1.4500000000000001e-07, + "loss": 11.401361083984375, + "step": 30 + }, + { + "epoch": 0.00035, + "grad_norm": 4.658578395843506, + "learning_rate": 1.7000000000000001e-07, + "loss": 11.403047943115235, + "step": 35 + }, + { + "epoch": 0.0004, + "grad_norm": 4.7170820236206055, + "learning_rate": 1.95e-07, + "loss": 11.405581665039062, + "step": 40 + }, + { + "epoch": 0.00045, + "grad_norm": 4.315395355224609, + "learning_rate": 2.2e-07, + "loss": 11.401987457275391, + "step": 45 + }, + { + "epoch": 0.0005, + "grad_norm": 4.307101726531982, + "learning_rate": 2.4500000000000004e-07, + "loss": 11.401129150390625, + "step": 50 + }, + { + "epoch": 0.00055, + "grad_norm": 4.62723445892334, + "learning_rate": 2.7e-07, + "loss": 11.401227569580078, + "step": 55 + }, + { + "epoch": 0.0006, + "grad_norm": 4.4634857177734375, + "learning_rate": 2.9500000000000003e-07, + "loss": 11.399066162109374, + "step": 60 + }, + { + "epoch": 0.00065, + "grad_norm": 5.220989227294922, + "learning_rate": 3.2e-07, + "loss": 11.39878158569336, + "step": 65 + }, + { + "epoch": 0.0007, + "grad_norm": 4.540184020996094, + "learning_rate": 3.4500000000000003e-07, + "loss": 11.40390625, + "step": 70 + }, + { + "epoch": 0.00075, + "grad_norm": 4.261510848999023, + "learning_rate": 3.7e-07, + "loss": 11.390472412109375, + "step": 75 + }, + { + "epoch": 0.0008, + "grad_norm": 4.405035972595215, + "learning_rate": 3.9500000000000003e-07, + "loss": 11.383260345458984, + "step": 80 + }, + { + "epoch": 0.00085, + "grad_norm": 4.522156238555908, + "learning_rate": 4.2000000000000006e-07, + "loss": 11.392791748046875, + "step": 85 + }, + { + "epoch": 0.0009, + "grad_norm": 4.81120491027832, + "learning_rate": 4.4500000000000003e-07, + "loss": 11.392074584960938, + "step": 90 + }, + { + "epoch": 0.00095, + "grad_norm": 4.380856990814209, + "learning_rate": 4.7000000000000005e-07, + "loss": 11.390422821044922, + "step": 95 + }, + { + "epoch": 0.001, + "grad_norm": 4.641089916229248, + "learning_rate": 4.95e-07, + "loss": 11.393937683105468, + "step": 100 + }, + { + "epoch": 0.00105, + "grad_norm": 4.656015396118164, + "learning_rate": 5.2e-07, + "loss": 11.375308990478516, + "step": 105 + }, + { + "epoch": 0.0011, + "grad_norm": 4.197414398193359, + "learning_rate": 5.450000000000001e-07, + "loss": 11.383442687988282, + "step": 110 + }, + { + "epoch": 0.00115, + "grad_norm": 4.3266706466674805, + "learning_rate": 5.7e-07, + "loss": 11.371492004394531, + "step": 115 + }, + { + "epoch": 0.0012, + "grad_norm": 4.769295692443848, + "learning_rate": 5.95e-07, + "loss": 11.372700500488282, + "step": 120 + }, + { + "epoch": 0.00125, + "grad_norm": 4.18520975112915, + "learning_rate": 6.200000000000001e-07, + "loss": 11.3720947265625, + "step": 125 + }, + { + "epoch": 0.0013, + "grad_norm": 4.398457050323486, + "learning_rate": 6.450000000000001e-07, + "loss": 11.370771789550782, + "step": 130 + }, + { + "epoch": 0.00135, + "grad_norm": 4.747100353240967, + "learning_rate": 6.7e-07, + "loss": 11.357752990722656, + "step": 135 + }, + { + "epoch": 0.0014, + "grad_norm": 4.509190559387207, + "learning_rate": 6.950000000000001e-07, + "loss": 11.364111328125, + "step": 140 + }, + { + "epoch": 0.00145, + "grad_norm": 4.6881585121154785, + "learning_rate": 7.2e-07, + "loss": 11.366980743408202, + "step": 145 + }, + { + "epoch": 0.0015, + "grad_norm": 4.881180763244629, + "learning_rate": 7.450000000000001e-07, + "loss": 11.363412475585937, + "step": 150 + }, + { + "epoch": 0.00155, + "grad_norm": 4.727649688720703, + "learning_rate": 7.7e-07, + "loss": 11.352542114257812, + "step": 155 + }, + { + "epoch": 0.0016, + "grad_norm": 12.317937850952148, + "learning_rate": 7.950000000000001e-07, + "loss": 11.34375228881836, + "step": 160 + }, + { + "epoch": 0.00165, + "grad_norm": 4.48068380355835, + "learning_rate": 8.200000000000001e-07, + "loss": 11.34930877685547, + "step": 165 + }, + { + "epoch": 0.0017, + "grad_norm": 5.245968341827393, + "learning_rate": 8.450000000000002e-07, + "loss": 11.34669189453125, + "step": 170 + }, + { + "epoch": 0.00175, + "grad_norm": 4.364780902862549, + "learning_rate": 8.7e-07, + "loss": 11.34139404296875, + "step": 175 + }, + { + "epoch": 0.0018, + "grad_norm": 4.651112079620361, + "learning_rate": 8.95e-07, + "loss": 11.33032684326172, + "step": 180 + }, + { + "epoch": 0.00185, + "grad_norm": 4.255319595336914, + "learning_rate": 9.200000000000001e-07, + "loss": 11.325601196289062, + "step": 185 + }, + { + "epoch": 0.0019, + "grad_norm": 4.345580101013184, + "learning_rate": 9.450000000000001e-07, + "loss": 11.318833160400391, + "step": 190 + }, + { + "epoch": 0.00195, + "grad_norm": 8.251481056213379, + "learning_rate": 9.7e-07, + "loss": 11.305097198486328, + "step": 195 + }, + { + "epoch": 0.002, + "grad_norm": 5.441329479217529, + "learning_rate": 9.950000000000002e-07, + "loss": 11.3010498046875, + "step": 200 + }, + { + "epoch": 0.00205, + "grad_norm": 4.740893363952637, + "learning_rate": 1.02e-06, + "loss": 11.303424072265624, + "step": 205 + }, + { + "epoch": 0.0021, + "grad_norm": 4.759396553039551, + "learning_rate": 1.045e-06, + "loss": 11.29638900756836, + "step": 210 + }, + { + "epoch": 0.00215, + "grad_norm": 4.8090291023254395, + "learning_rate": 1.0700000000000001e-06, + "loss": 11.297976684570312, + "step": 215 + }, + { + "epoch": 0.0022, + "grad_norm": 4.619208812713623, + "learning_rate": 1.095e-06, + "loss": 11.30591278076172, + "step": 220 + }, + { + "epoch": 0.00225, + "grad_norm": 7.215763092041016, + "learning_rate": 1.12e-06, + "loss": 11.271207427978515, + "step": 225 + }, + { + "epoch": 0.0023, + "grad_norm": 4.4626688957214355, + "learning_rate": 1.145e-06, + "loss": 11.283354187011719, + "step": 230 + }, + { + "epoch": 0.00235, + "grad_norm": 5.522148609161377, + "learning_rate": 1.1700000000000002e-06, + "loss": 11.276052093505859, + "step": 235 + }, + { + "epoch": 0.0024, + "grad_norm": 5.718818187713623, + "learning_rate": 1.195e-06, + "loss": 11.265927124023438, + "step": 240 + }, + { + "epoch": 0.00245, + "grad_norm": 4.384155750274658, + "learning_rate": 1.2200000000000002e-06, + "loss": 11.270028686523437, + "step": 245 + }, + { + "epoch": 0.0025, + "grad_norm": 4.693068027496338, + "learning_rate": 1.2450000000000002e-06, + "loss": 11.256238555908203, + "step": 250 + }, + { + "epoch": 0.00255, + "grad_norm": 4.629441261291504, + "learning_rate": 1.2700000000000001e-06, + "loss": 11.241466522216797, + "step": 255 + }, + { + "epoch": 0.0026, + "grad_norm": 4.69270133972168, + "learning_rate": 1.295e-06, + "loss": 11.24886245727539, + "step": 260 + }, + { + "epoch": 0.00265, + "grad_norm": 4.940598964691162, + "learning_rate": 1.32e-06, + "loss": 11.239512634277343, + "step": 265 + }, + { + "epoch": 0.0027, + "grad_norm": 4.755590915679932, + "learning_rate": 1.3450000000000003e-06, + "loss": 11.232038879394532, + "step": 270 + }, + { + "epoch": 0.00275, + "grad_norm": 4.594224452972412, + "learning_rate": 1.3700000000000002e-06, + "loss": 11.22227783203125, + "step": 275 + }, + { + "epoch": 0.0028, + "grad_norm": 4.521237373352051, + "learning_rate": 1.3950000000000002e-06, + "loss": 11.230762481689453, + "step": 280 + }, + { + "epoch": 0.00285, + "grad_norm": 4.605922698974609, + "learning_rate": 1.42e-06, + "loss": 11.216458129882813, + "step": 285 + }, + { + "epoch": 0.0029, + "grad_norm": 4.5475873947143555, + "learning_rate": 1.445e-06, + "loss": 11.196221923828125, + "step": 290 + }, + { + "epoch": 0.00295, + "grad_norm": 4.879011631011963, + "learning_rate": 1.4700000000000001e-06, + "loss": 11.179991912841796, + "step": 295 + }, + { + "epoch": 0.003, + "grad_norm": 4.8475661277771, + "learning_rate": 1.495e-06, + "loss": 11.187455749511718, + "step": 300 + }, + { + "epoch": 0.00305, + "grad_norm": 4.775590419769287, + "learning_rate": 1.52e-06, + "loss": 11.185417175292969, + "step": 305 + }, + { + "epoch": 0.0031, + "grad_norm": 5.093811511993408, + "learning_rate": 1.545e-06, + "loss": 11.17120590209961, + "step": 310 + }, + { + "epoch": 0.00315, + "grad_norm": 5.057686805725098, + "learning_rate": 1.5700000000000002e-06, + "loss": 11.157087707519532, + "step": 315 + }, + { + "epoch": 0.0032, + "grad_norm": 7.531545162200928, + "learning_rate": 1.5950000000000002e-06, + "loss": 11.172886657714844, + "step": 320 + }, + { + "epoch": 0.00325, + "grad_norm": 4.64385461807251, + "learning_rate": 1.6200000000000002e-06, + "loss": 11.122666931152343, + "step": 325 + }, + { + "epoch": 0.0033, + "grad_norm": 4.897433280944824, + "learning_rate": 1.6450000000000001e-06, + "loss": 11.130364990234375, + "step": 330 + }, + { + "epoch": 0.00335, + "grad_norm": 4.999792098999023, + "learning_rate": 1.6700000000000003e-06, + "loss": 11.133758544921875, + "step": 335 + }, + { + "epoch": 0.0034, + "grad_norm": 4.8241190910339355, + "learning_rate": 1.6950000000000003e-06, + "loss": 11.120867919921874, + "step": 340 + }, + { + "epoch": 0.00345, + "grad_norm": 5.0612311363220215, + "learning_rate": 1.72e-06, + "loss": 11.110643768310547, + "step": 345 + }, + { + "epoch": 0.0035, + "grad_norm": 4.9558916091918945, + "learning_rate": 1.745e-06, + "loss": 11.094322204589844, + "step": 350 + }, + { + "epoch": 0.00355, + "grad_norm": 5.024559497833252, + "learning_rate": 1.77e-06, + "loss": 11.085276794433593, + "step": 355 + }, + { + "epoch": 0.0036, + "grad_norm": 4.878489017486572, + "learning_rate": 1.7950000000000002e-06, + "loss": 11.085975646972656, + "step": 360 + }, + { + "epoch": 0.00365, + "grad_norm": 4.913398742675781, + "learning_rate": 1.8200000000000002e-06, + "loss": 11.061337280273438, + "step": 365 + }, + { + "epoch": 0.0037, + "grad_norm": 4.793575286865234, + "learning_rate": 1.8450000000000001e-06, + "loss": 11.044109344482422, + "step": 370 + }, + { + "epoch": 0.00375, + "grad_norm": 5.193029880523682, + "learning_rate": 1.87e-06, + "loss": 11.037064361572266, + "step": 375 + }, + { + "epoch": 0.0038, + "grad_norm": 5.144454479217529, + "learning_rate": 1.895e-06, + "loss": 11.01653823852539, + "step": 380 + }, + { + "epoch": 0.00385, + "grad_norm": 5.089953422546387, + "learning_rate": 1.9200000000000003e-06, + "loss": 11.017008209228516, + "step": 385 + }, + { + "epoch": 0.0039, + "grad_norm": 5.064090251922607, + "learning_rate": 1.945e-06, + "loss": 11.004759979248046, + "step": 390 + }, + { + "epoch": 0.00395, + "grad_norm": 5.31633186340332, + "learning_rate": 1.97e-06, + "loss": 10.998065185546874, + "step": 395 + }, + { + "epoch": 0.004, + "grad_norm": 5.426773548126221, + "learning_rate": 1.9950000000000004e-06, + "loss": 10.97863311767578, + "step": 400 + }, + { + "epoch": 0.00405, + "grad_norm": 5.769895076751709, + "learning_rate": 2.02e-06, + "loss": 11.002171325683594, + "step": 405 + }, + { + "epoch": 0.0041, + "grad_norm": 5.271365642547607, + "learning_rate": 2.045e-06, + "loss": 10.941307067871094, + "step": 410 + }, + { + "epoch": 0.00415, + "grad_norm": 5.61900520324707, + "learning_rate": 2.07e-06, + "loss": 10.91864471435547, + "step": 415 + }, + { + "epoch": 0.0042, + "grad_norm": 5.293263912200928, + "learning_rate": 2.0950000000000003e-06, + "loss": 10.908339691162109, + "step": 420 + }, + { + "epoch": 0.00425, + "grad_norm": 5.301192760467529, + "learning_rate": 2.12e-06, + "loss": 10.903659057617187, + "step": 425 + }, + { + "epoch": 0.0043, + "grad_norm": 5.45012092590332, + "learning_rate": 2.1450000000000002e-06, + "loss": 10.882176971435547, + "step": 430 + }, + { + "epoch": 0.00435, + "grad_norm": 5.297408103942871, + "learning_rate": 2.17e-06, + "loss": 10.886808776855469, + "step": 435 + }, + { + "epoch": 0.0044, + "grad_norm": 5.473090648651123, + "learning_rate": 2.195e-06, + "loss": 10.851908874511718, + "step": 440 + }, + { + "epoch": 0.00445, + "grad_norm": 5.314564228057861, + "learning_rate": 2.2200000000000003e-06, + "loss": 10.840705871582031, + "step": 445 + }, + { + "epoch": 0.0045, + "grad_norm": 5.945340156555176, + "learning_rate": 2.245e-06, + "loss": 10.824274444580078, + "step": 450 + }, + { + "epoch": 0.00455, + "grad_norm": 5.417142391204834, + "learning_rate": 2.2700000000000003e-06, + "loss": 10.797765350341797, + "step": 455 + }, + { + "epoch": 0.0046, + "grad_norm": 5.716139316558838, + "learning_rate": 2.2950000000000005e-06, + "loss": 10.765834045410156, + "step": 460 + }, + { + "epoch": 0.00465, + "grad_norm": 6.437534809112549, + "learning_rate": 2.3200000000000002e-06, + "loss": 10.756231689453125, + "step": 465 + }, + { + "epoch": 0.0047, + "grad_norm": 5.495182514190674, + "learning_rate": 2.345e-06, + "loss": 10.733113098144532, + "step": 470 + }, + { + "epoch": 0.00475, + "grad_norm": 5.419945240020752, + "learning_rate": 2.37e-06, + "loss": 10.732737731933593, + "step": 475 + }, + { + "epoch": 0.0048, + "grad_norm": 5.564905643463135, + "learning_rate": 2.395e-06, + "loss": 10.691459655761719, + "step": 480 + }, + { + "epoch": 0.00485, + "grad_norm": 6.678794860839844, + "learning_rate": 2.42e-06, + "loss": 10.691938018798828, + "step": 485 + }, + { + "epoch": 0.0049, + "grad_norm": 6.339458465576172, + "learning_rate": 2.4450000000000003e-06, + "loss": 10.660790252685548, + "step": 490 + }, + { + "epoch": 0.00495, + "grad_norm": 5.781903266906738, + "learning_rate": 2.47e-06, + "loss": 10.624126434326172, + "step": 495 + }, + { + "epoch": 0.005, + "grad_norm": 5.440398216247559, + "learning_rate": 2.4950000000000003e-06, + "loss": 10.589701843261718, + "step": 500 + }, + { + "epoch": 0.00505, + "grad_norm": 5.540033340454102, + "learning_rate": 2.52e-06, + "loss": 10.57830352783203, + "step": 505 + }, + { + "epoch": 0.0051, + "grad_norm": 5.747284412384033, + "learning_rate": 2.545e-06, + "loss": 10.555665588378906, + "step": 510 + }, + { + "epoch": 0.00515, + "grad_norm": 6.939126491546631, + "learning_rate": 2.5700000000000004e-06, + "loss": 10.73156967163086, + "step": 515 + }, + { + "epoch": 0.0052, + "grad_norm": 5.709467887878418, + "learning_rate": 2.595e-06, + "loss": 10.511280822753907, + "step": 520 + }, + { + "epoch": 0.00525, + "grad_norm": 5.473364353179932, + "learning_rate": 2.6200000000000003e-06, + "loss": 10.478748321533203, + "step": 525 + }, + { + "epoch": 0.0053, + "grad_norm": 5.8979668617248535, + "learning_rate": 2.6450000000000005e-06, + "loss": 10.464718627929688, + "step": 530 + }, + { + "epoch": 0.00535, + "grad_norm": 5.645345687866211, + "learning_rate": 2.6700000000000003e-06, + "loss": 10.445115661621093, + "step": 535 + }, + { + "epoch": 0.0054, + "grad_norm": 5.631922721862793, + "learning_rate": 2.6950000000000005e-06, + "loss": 10.427560424804687, + "step": 540 + }, + { + "epoch": 0.00545, + "grad_norm": 5.477216720581055, + "learning_rate": 2.7200000000000002e-06, + "loss": 10.402005004882813, + "step": 545 + }, + { + "epoch": 0.0055, + "grad_norm": 6.0502142906188965, + "learning_rate": 2.7450000000000004e-06, + "loss": 10.38473129272461, + "step": 550 + }, + { + "epoch": 0.00555, + "grad_norm": 5.447207450866699, + "learning_rate": 2.7700000000000006e-06, + "loss": 10.337748718261718, + "step": 555 + }, + { + "epoch": 0.0056, + "grad_norm": 5.643229007720947, + "learning_rate": 2.7950000000000003e-06, + "loss": 10.345030975341796, + "step": 560 + }, + { + "epoch": 0.00565, + "grad_norm": 5.683911323547363, + "learning_rate": 2.82e-06, + "loss": 10.273091888427734, + "step": 565 + }, + { + "epoch": 0.0057, + "grad_norm": 5.915828704833984, + "learning_rate": 2.845e-06, + "loss": 10.261133575439453, + "step": 570 + }, + { + "epoch": 0.00575, + "grad_norm": 5.684077739715576, + "learning_rate": 2.87e-06, + "loss": 10.23939208984375, + "step": 575 + }, + { + "epoch": 0.0058, + "grad_norm": 5.337005138397217, + "learning_rate": 2.8950000000000002e-06, + "loss": 10.22220687866211, + "step": 580 + }, + { + "epoch": 0.00585, + "grad_norm": 5.290330410003662, + "learning_rate": 2.92e-06, + "loss": 10.167778015136719, + "step": 585 + }, + { + "epoch": 0.0059, + "grad_norm": 5.386977195739746, + "learning_rate": 2.945e-06, + "loss": 10.156690979003907, + "step": 590 + }, + { + "epoch": 0.00595, + "grad_norm": 5.265517234802246, + "learning_rate": 2.97e-06, + "loss": 10.104603576660157, + "step": 595 + }, + { + "epoch": 0.006, + "grad_norm": 5.228604793548584, + "learning_rate": 2.995e-06, + "loss": 10.105325317382812, + "step": 600 + }, + { + "epoch": 0.00605, + "grad_norm": 5.296448707580566, + "learning_rate": 3.0200000000000003e-06, + "loss": 10.060831451416016, + "step": 605 + }, + { + "epoch": 0.0061, + "grad_norm": 4.951342582702637, + "learning_rate": 3.045e-06, + "loss": 10.031975555419923, + "step": 610 + }, + { + "epoch": 0.00615, + "grad_norm": 5.207087993621826, + "learning_rate": 3.0700000000000003e-06, + "loss": 9.999942779541016, + "step": 615 + }, + { + "epoch": 0.0062, + "grad_norm": 5.053549289703369, + "learning_rate": 3.0950000000000004e-06, + "loss": 9.995388793945313, + "step": 620 + }, + { + "epoch": 0.00625, + "grad_norm": 5.550538539886475, + "learning_rate": 3.12e-06, + "loss": 9.951909637451172, + "step": 625 + }, + { + "epoch": 0.0063, + "grad_norm": 4.984603404998779, + "learning_rate": 3.1450000000000004e-06, + "loss": 9.862808990478516, + "step": 630 + }, + { + "epoch": 0.00635, + "grad_norm": 7.60646915435791, + "learning_rate": 3.17e-06, + "loss": 9.843303680419922, + "step": 635 + }, + { + "epoch": 0.0064, + "grad_norm": 4.427210330963135, + "learning_rate": 3.1950000000000003e-06, + "loss": 9.847752380371094, + "step": 640 + }, + { + "epoch": 0.00645, + "grad_norm": 4.919750690460205, + "learning_rate": 3.2200000000000005e-06, + "loss": 9.77484130859375, + "step": 645 + }, + { + "epoch": 0.0065, + "grad_norm": 4.5155839920043945, + "learning_rate": 3.2450000000000003e-06, + "loss": 9.778485107421876, + "step": 650 + }, + { + "epoch": 0.00655, + "grad_norm": 4.460862636566162, + "learning_rate": 3.2700000000000005e-06, + "loss": 9.770641326904297, + "step": 655 + }, + { + "epoch": 0.0066, + "grad_norm": 10.43223762512207, + "learning_rate": 3.2950000000000002e-06, + "loss": 9.763922119140625, + "step": 660 + }, + { + "epoch": 0.00665, + "grad_norm": 4.754331588745117, + "learning_rate": 3.3200000000000004e-06, + "loss": 9.727837371826173, + "step": 665 + }, + { + "epoch": 0.0067, + "grad_norm": 4.076197624206543, + "learning_rate": 3.3450000000000006e-06, + "loss": 9.735386657714844, + "step": 670 + }, + { + "epoch": 0.00675, + "grad_norm": 4.477645397186279, + "learning_rate": 3.3700000000000003e-06, + "loss": 9.641921997070312, + "step": 675 + }, + { + "epoch": 0.0068, + "grad_norm": 4.307309627532959, + "learning_rate": 3.3950000000000005e-06, + "loss": 9.635581970214844, + "step": 680 + }, + { + "epoch": 0.00685, + "grad_norm": 6.096124172210693, + "learning_rate": 3.4200000000000007e-06, + "loss": 9.605391693115234, + "step": 685 + }, + { + "epoch": 0.0069, + "grad_norm": 3.967247724533081, + "learning_rate": 3.445e-06, + "loss": 9.544625854492187, + "step": 690 + }, + { + "epoch": 0.00695, + "grad_norm": 3.9932079315185547, + "learning_rate": 3.4700000000000002e-06, + "loss": 9.510562133789062, + "step": 695 + }, + { + "epoch": 0.007, + "grad_norm": 4.364710807800293, + "learning_rate": 3.495e-06, + "loss": 9.504785919189453, + "step": 700 + }, + { + "epoch": 0.00705, + "grad_norm": 3.816746473312378, + "learning_rate": 3.52e-06, + "loss": 9.480088043212891, + "step": 705 + }, + { + "epoch": 0.0071, + "grad_norm": 3.6354165077209473, + "learning_rate": 3.545e-06, + "loss": 9.415628814697266, + "step": 710 + }, + { + "epoch": 0.00715, + "grad_norm": 3.682079553604126, + "learning_rate": 3.57e-06, + "loss": 9.418021392822265, + "step": 715 + }, + { + "epoch": 0.0072, + "grad_norm": 3.706894874572754, + "learning_rate": 3.5950000000000003e-06, + "loss": 9.412801361083984, + "step": 720 + }, + { + "epoch": 0.00725, + "grad_norm": 3.8119115829467773, + "learning_rate": 3.62e-06, + "loss": 9.358140563964843, + "step": 725 + }, + { + "epoch": 0.0073, + "grad_norm": 3.4215471744537354, + "learning_rate": 3.6450000000000003e-06, + "loss": 9.317784881591797, + "step": 730 + }, + { + "epoch": 0.00735, + "grad_norm": 3.706967353820801, + "learning_rate": 3.6700000000000004e-06, + "loss": 9.306209564208984, + "step": 735 + }, + { + "epoch": 0.0074, + "grad_norm": 3.479414939880371, + "learning_rate": 3.695e-06, + "loss": 9.294970703125, + "step": 740 + }, + { + "epoch": 0.00745, + "grad_norm": 3.5228655338287354, + "learning_rate": 3.7200000000000004e-06, + "loss": 9.236659240722656, + "step": 745 + }, + { + "epoch": 0.0075, + "grad_norm": 3.159956216812134, + "learning_rate": 3.745e-06, + "loss": 9.229638671875, + "step": 750 + }, + { + "epoch": 0.00755, + "grad_norm": 3.3315820693969727, + "learning_rate": 3.7700000000000003e-06, + "loss": 9.265616607666015, + "step": 755 + }, + { + "epoch": 0.0076, + "grad_norm": 3.3987746238708496, + "learning_rate": 3.7950000000000005e-06, + "loss": 9.200483703613282, + "step": 760 + }, + { + "epoch": 0.00765, + "grad_norm": 3.2334847450256348, + "learning_rate": 3.820000000000001e-06, + "loss": 9.15868682861328, + "step": 765 + }, + { + "epoch": 0.0077, + "grad_norm": 3.0223312377929688, + "learning_rate": 3.8450000000000005e-06, + "loss": 9.138261413574218, + "step": 770 + }, + { + "epoch": 0.00775, + "grad_norm": 3.094388246536255, + "learning_rate": 3.87e-06, + "loss": 9.107332611083985, + "step": 775 + }, + { + "epoch": 0.0078, + "grad_norm": 2.978381395339966, + "learning_rate": 3.895000000000001e-06, + "loss": 9.111074829101563, + "step": 780 + }, + { + "epoch": 0.00785, + "grad_norm": 3.2139904499053955, + "learning_rate": 3.920000000000001e-06, + "loss": 9.064675903320312, + "step": 785 + }, + { + "epoch": 0.0079, + "grad_norm": 3.1312804222106934, + "learning_rate": 3.945e-06, + "loss": 9.033372497558593, + "step": 790 + }, + { + "epoch": 0.00795, + "grad_norm": 2.888423204421997, + "learning_rate": 3.97e-06, + "loss": 9.024428558349609, + "step": 795 + }, + { + "epoch": 0.008, + "grad_norm": 3.2791998386383057, + "learning_rate": 3.995000000000001e-06, + "loss": 9.001249694824219, + "step": 800 + }, + { + "epoch": 0.00805, + "grad_norm": 6.945764541625977, + "learning_rate": 4.0200000000000005e-06, + "loss": 9.062470245361329, + "step": 805 + }, + { + "epoch": 0.0081, + "grad_norm": 2.9852473735809326, + "learning_rate": 4.045e-06, + "loss": 8.994219207763672, + "step": 810 + }, + { + "epoch": 0.00815, + "grad_norm": 3.3515257835388184, + "learning_rate": 4.07e-06, + "loss": 8.921066284179688, + "step": 815 + }, + { + "epoch": 0.0082, + "grad_norm": 3.1530566215515137, + "learning_rate": 4.095e-06, + "loss": 9.04370346069336, + "step": 820 + }, + { + "epoch": 0.00825, + "grad_norm": 2.6221582889556885, + "learning_rate": 4.12e-06, + "loss": 8.895455932617187, + "step": 825 + }, + { + "epoch": 0.0083, + "grad_norm": 2.511815071105957, + "learning_rate": 4.145e-06, + "loss": 8.86104507446289, + "step": 830 + }, + { + "epoch": 0.00835, + "grad_norm": 2.502098560333252, + "learning_rate": 4.17e-06, + "loss": 8.794476318359376, + "step": 835 + }, + { + "epoch": 0.0084, + "grad_norm": 2.589139461517334, + "learning_rate": 4.1950000000000005e-06, + "loss": 8.840362548828125, + "step": 840 + }, + { + "epoch": 0.00845, + "grad_norm": 2.3018338680267334, + "learning_rate": 4.22e-06, + "loss": 8.811112976074218, + "step": 845 + }, + { + "epoch": 0.0085, + "grad_norm": 2.4454731941223145, + "learning_rate": 4.245e-06, + "loss": 8.858855438232421, + "step": 850 + }, + { + "epoch": 0.00855, + "grad_norm": 2.5547730922698975, + "learning_rate": 4.270000000000001e-06, + "loss": 8.768284606933594, + "step": 855 + }, + { + "epoch": 0.0086, + "grad_norm": 2.480674982070923, + "learning_rate": 4.295e-06, + "loss": 8.701139831542969, + "step": 860 + }, + { + "epoch": 0.00865, + "grad_norm": 2.4156012535095215, + "learning_rate": 4.32e-06, + "loss": 8.764662933349609, + "step": 865 + }, + { + "epoch": 0.0087, + "grad_norm": 2.280367851257324, + "learning_rate": 4.345000000000001e-06, + "loss": 8.722775268554688, + "step": 870 + }, + { + "epoch": 0.00875, + "grad_norm": 2.808201313018799, + "learning_rate": 4.3700000000000005e-06, + "loss": 8.717276763916015, + "step": 875 + }, + { + "epoch": 0.0088, + "grad_norm": 2.246891736984253, + "learning_rate": 4.395e-06, + "loss": 8.67289047241211, + "step": 880 + }, + { + "epoch": 0.00885, + "grad_norm": 2.4555671215057373, + "learning_rate": 4.42e-06, + "loss": 8.661814117431641, + "step": 885 + }, + { + "epoch": 0.0089, + "grad_norm": 1.9921596050262451, + "learning_rate": 4.445000000000001e-06, + "loss": 8.645142364501954, + "step": 890 + }, + { + "epoch": 0.00895, + "grad_norm": 1.919730305671692, + "learning_rate": 4.47e-06, + "loss": 8.640831756591798, + "step": 895 + }, + { + "epoch": 0.009, + "grad_norm": 1.8581984043121338, + "learning_rate": 4.495e-06, + "loss": 8.641734313964843, + "step": 900 + }, + { + "epoch": 0.00905, + "grad_norm": 1.8872401714324951, + "learning_rate": 4.520000000000001e-06, + "loss": 8.6050048828125, + "step": 905 + }, + { + "epoch": 0.0091, + "grad_norm": 2.2412946224212646, + "learning_rate": 4.5450000000000005e-06, + "loss": 8.586141204833984, + "step": 910 + }, + { + "epoch": 0.00915, + "grad_norm": 1.865574836730957, + "learning_rate": 4.57e-06, + "loss": 8.594630432128906, + "step": 915 + }, + { + "epoch": 0.0092, + "grad_norm": 1.8206228017807007, + "learning_rate": 4.595000000000001e-06, + "loss": 8.573612213134766, + "step": 920 + }, + { + "epoch": 0.00925, + "grad_norm": 1.799764633178711, + "learning_rate": 4.620000000000001e-06, + "loss": 8.560906982421875, + "step": 925 + }, + { + "epoch": 0.0093, + "grad_norm": 1.602264642715454, + "learning_rate": 4.645e-06, + "loss": 8.535279083251954, + "step": 930 + }, + { + "epoch": 0.00935, + "grad_norm": 2.0852370262145996, + "learning_rate": 4.670000000000001e-06, + "loss": 8.463192749023438, + "step": 935 + }, + { + "epoch": 0.0094, + "grad_norm": 1.6677930355072021, + "learning_rate": 4.695e-06, + "loss": 8.598103332519532, + "step": 940 + }, + { + "epoch": 0.00945, + "grad_norm": 1.5061208009719849, + "learning_rate": 4.7200000000000005e-06, + "loss": 8.520038604736328, + "step": 945 + }, + { + "epoch": 0.0095, + "grad_norm": 1.5706422328948975, + "learning_rate": 4.745e-06, + "loss": 8.51326904296875, + "step": 950 + }, + { + "epoch": 0.00955, + "grad_norm": 1.6344046592712402, + "learning_rate": 4.77e-06, + "loss": 8.496923828125, + "step": 955 + }, + { + "epoch": 0.0096, + "grad_norm": 1.7965465784072876, + "learning_rate": 4.795e-06, + "loss": 8.496626281738282, + "step": 960 + }, + { + "epoch": 0.00965, + "grad_norm": 1.3700742721557617, + "learning_rate": 4.8200000000000004e-06, + "loss": 8.495254516601562, + "step": 965 + }, + { + "epoch": 0.0097, + "grad_norm": 1.9607622623443604, + "learning_rate": 4.845e-06, + "loss": 8.435150909423829, + "step": 970 + }, + { + "epoch": 0.00975, + "grad_norm": 1.677876591682434, + "learning_rate": 4.87e-06, + "loss": 8.460844421386719, + "step": 975 + }, + { + "epoch": 0.0098, + "grad_norm": 1.5053876638412476, + "learning_rate": 4.8950000000000006e-06, + "loss": 8.346241760253907, + "step": 980 + }, + { + "epoch": 0.00985, + "grad_norm": 1.5707275867462158, + "learning_rate": 4.92e-06, + "loss": 8.436741638183594, + "step": 985 + }, + { + "epoch": 0.0099, + "grad_norm": 2.479970693588257, + "learning_rate": 4.945e-06, + "loss": 8.436065673828125, + "step": 990 + }, + { + "epoch": 0.00995, + "grad_norm": 1.4045437574386597, + "learning_rate": 4.970000000000001e-06, + "loss": 8.4346923828125, + "step": 995 + }, + { + "epoch": 0.01, + "grad_norm": 1.0770483016967773, + "learning_rate": 4.9950000000000005e-06, + "loss": 8.442188262939453, + "step": 1000 + }, + { + "epoch": 0.01005, + "grad_norm": 1.4825741052627563, + "learning_rate": 4.99979797979798e-06, + "loss": 8.436553955078125, + "step": 1005 + }, + { + "epoch": 0.0101, + "grad_norm": 1.169847846031189, + "learning_rate": 4.9995454545454546e-06, + "loss": 8.397321319580078, + "step": 1010 + }, + { + "epoch": 0.01015, + "grad_norm": 1.318166971206665, + "learning_rate": 4.99929292929293e-06, + "loss": 8.369618988037109, + "step": 1015 + }, + { + "epoch": 0.0102, + "grad_norm": 1.6131330728530884, + "learning_rate": 4.999040404040405e-06, + "loss": 8.368437957763671, + "step": 1020 + }, + { + "epoch": 0.01025, + "grad_norm": 1.4233115911483765, + "learning_rate": 4.998787878787879e-06, + "loss": 8.343531036376953, + "step": 1025 + }, + { + "epoch": 0.0103, + "grad_norm": 1.1530827283859253, + "learning_rate": 4.998535353535354e-06, + "loss": 8.427300262451173, + "step": 1030 + }, + { + "epoch": 0.01035, + "grad_norm": 2.184964656829834, + "learning_rate": 4.9982828282828286e-06, + "loss": 8.355789184570312, + "step": 1035 + }, + { + "epoch": 0.0104, + "grad_norm": 1.1493545770645142, + "learning_rate": 4.998030303030303e-06, + "loss": 8.739952850341798, + "step": 1040 + }, + { + "epoch": 0.01045, + "grad_norm": 3.762376308441162, + "learning_rate": 4.997777777777778e-06, + "loss": 8.376821136474609, + "step": 1045 + }, + { + "epoch": 0.0105, + "grad_norm": 1.2931392192840576, + "learning_rate": 4.9975252525252525e-06, + "loss": 8.38915786743164, + "step": 1050 + }, + { + "epoch": 0.01055, + "grad_norm": 1.0293680429458618, + "learning_rate": 4.997272727272728e-06, + "loss": 8.409986114501953, + "step": 1055 + }, + { + "epoch": 0.0106, + "grad_norm": 1.488648772239685, + "learning_rate": 4.9970202020202026e-06, + "loss": 8.383646392822266, + "step": 1060 + }, + { + "epoch": 0.01065, + "grad_norm": 1.538806438446045, + "learning_rate": 4.996767676767677e-06, + "loss": 8.384919738769531, + "step": 1065 + }, + { + "epoch": 0.0107, + "grad_norm": 1.0452971458435059, + "learning_rate": 4.996515151515152e-06, + "loss": 8.335368347167968, + "step": 1070 + }, + { + "epoch": 0.01075, + "grad_norm": 1.1162161827087402, + "learning_rate": 4.9962626262626265e-06, + "loss": 8.351953125, + "step": 1075 + }, + { + "epoch": 0.0108, + "grad_norm": 1.0097211599349976, + "learning_rate": 4.996010101010101e-06, + "loss": 8.36413803100586, + "step": 1080 + }, + { + "epoch": 0.01085, + "grad_norm": 1.7642394304275513, + "learning_rate": 4.995757575757576e-06, + "loss": 8.332969665527344, + "step": 1085 + }, + { + "epoch": 0.0109, + "grad_norm": 1.237863540649414, + "learning_rate": 4.995505050505051e-06, + "loss": 8.341726684570313, + "step": 1090 + }, + { + "epoch": 0.01095, + "grad_norm": 1.0263097286224365, + "learning_rate": 4.995252525252526e-06, + "loss": 8.328056335449219, + "step": 1095 + }, + { + "epoch": 0.011, + "grad_norm": 1.1123780012130737, + "learning_rate": 4.9950000000000005e-06, + "loss": 8.23682098388672, + "step": 1100 + }, + { + "epoch": 0.01105, + "grad_norm": 1.0373117923736572, + "learning_rate": 4.994747474747475e-06, + "loss": 8.368669128417968, + "step": 1105 + }, + { + "epoch": 0.0111, + "grad_norm": 0.9184291958808899, + "learning_rate": 4.9944949494949506e-06, + "loss": 8.34291763305664, + "step": 1110 + }, + { + "epoch": 0.01115, + "grad_norm": 0.9140387177467346, + "learning_rate": 4.994242424242425e-06, + "loss": 8.37460708618164, + "step": 1115 + }, + { + "epoch": 0.0112, + "grad_norm": 1.2094776630401611, + "learning_rate": 4.993989898989899e-06, + "loss": 8.383152770996094, + "step": 1120 + }, + { + "epoch": 0.01125, + "grad_norm": 4.631429672241211, + "learning_rate": 4.993737373737374e-06, + "loss": 8.334056091308593, + "step": 1125 + }, + { + "epoch": 0.0113, + "grad_norm": 1.4649916887283325, + "learning_rate": 4.993484848484849e-06, + "loss": 8.296734619140626, + "step": 1130 + }, + { + "epoch": 0.01135, + "grad_norm": 0.9813880324363708, + "learning_rate": 4.993232323232324e-06, + "loss": 8.341432189941406, + "step": 1135 + }, + { + "epoch": 0.0114, + "grad_norm": 1.2152888774871826, + "learning_rate": 4.992979797979798e-06, + "loss": 8.343881225585937, + "step": 1140 + }, + { + "epoch": 0.01145, + "grad_norm": 1.2691558599472046, + "learning_rate": 4.992727272727273e-06, + "loss": 8.350188446044921, + "step": 1145 + }, + { + "epoch": 0.0115, + "grad_norm": 1.2595213651657104, + "learning_rate": 4.9924747474747485e-06, + "loss": 8.384588623046875, + "step": 1150 + }, + { + "epoch": 0.01155, + "grad_norm": 1.326491355895996, + "learning_rate": 4.992222222222223e-06, + "loss": 8.233026123046875, + "step": 1155 + }, + { + "epoch": 0.0116, + "grad_norm": 1.1023447513580322, + "learning_rate": 4.991969696969698e-06, + "loss": 8.323655700683593, + "step": 1160 + }, + { + "epoch": 0.01165, + "grad_norm": 1.0880986452102661, + "learning_rate": 4.991717171717172e-06, + "loss": 8.350698852539063, + "step": 1165 + }, + { + "epoch": 0.0117, + "grad_norm": 0.9525489807128906, + "learning_rate": 4.991464646464647e-06, + "loss": 8.385467529296875, + "step": 1170 + }, + { + "epoch": 0.01175, + "grad_norm": 1.2980769872665405, + "learning_rate": 4.991212121212122e-06, + "loss": 8.30013198852539, + "step": 1175 + }, + { + "epoch": 0.0118, + "grad_norm": 0.8786501288414001, + "learning_rate": 4.990959595959596e-06, + "loss": 8.295884704589843, + "step": 1180 + }, + { + "epoch": 0.01185, + "grad_norm": 2.9689643383026123, + "learning_rate": 4.990707070707071e-06, + "loss": 8.389551544189453, + "step": 1185 + }, + { + "epoch": 0.0119, + "grad_norm": 1.0820271968841553, + "learning_rate": 4.990454545454546e-06, + "loss": 8.233956909179687, + "step": 1190 + }, + { + "epoch": 0.01195, + "grad_norm": 1.6440669298171997, + "learning_rate": 4.990202020202021e-06, + "loss": 8.34623031616211, + "step": 1195 + }, + { + "epoch": 0.012, + "grad_norm": 1.1372045278549194, + "learning_rate": 4.989949494949496e-06, + "loss": 8.282433319091798, + "step": 1200 + }, + { + "epoch": 0.01205, + "grad_norm": 1.4206640720367432, + "learning_rate": 4.98969696969697e-06, + "loss": 8.280522918701172, + "step": 1205 + }, + { + "epoch": 0.0121, + "grad_norm": 1.087672472000122, + "learning_rate": 4.989444444444445e-06, + "loss": 8.324800109863281, + "step": 1210 + }, + { + "epoch": 0.01215, + "grad_norm": 1.224624514579773, + "learning_rate": 4.9891919191919195e-06, + "loss": 8.31344223022461, + "step": 1215 + }, + { + "epoch": 0.0122, + "grad_norm": 1.49359130859375, + "learning_rate": 4.988939393939394e-06, + "loss": 8.351203918457031, + "step": 1220 + }, + { + "epoch": 0.01225, + "grad_norm": 1.5071840286254883, + "learning_rate": 4.988686868686869e-06, + "loss": 8.358255767822266, + "step": 1225 + }, + { + "epoch": 0.0123, + "grad_norm": 0.9653416275978088, + "learning_rate": 4.988434343434344e-06, + "loss": 8.356095123291016, + "step": 1230 + }, + { + "epoch": 0.01235, + "grad_norm": 3.9678640365600586, + "learning_rate": 4.988181818181819e-06, + "loss": 8.356867218017578, + "step": 1235 + }, + { + "epoch": 0.0124, + "grad_norm": 1.0885186195373535, + "learning_rate": 4.9879292929292935e-06, + "loss": 8.315809631347657, + "step": 1240 + }, + { + "epoch": 0.01245, + "grad_norm": 1.2559725046157837, + "learning_rate": 4.987676767676768e-06, + "loss": 8.334637451171876, + "step": 1245 + }, + { + "epoch": 0.0125, + "grad_norm": 1.6730226278305054, + "learning_rate": 4.987424242424243e-06, + "loss": 8.255744934082031, + "step": 1250 + }, + { + "epoch": 0.01255, + "grad_norm": 0.9193032383918762, + "learning_rate": 4.987171717171717e-06, + "loss": 8.322821807861327, + "step": 1255 + }, + { + "epoch": 0.0126, + "grad_norm": 1.4625719785690308, + "learning_rate": 4.986919191919192e-06, + "loss": 8.404915618896485, + "step": 1260 + }, + { + "epoch": 0.01265, + "grad_norm": 1.6066993474960327, + "learning_rate": 4.986666666666667e-06, + "loss": 8.289643096923829, + "step": 1265 + }, + { + "epoch": 0.0127, + "grad_norm": 1.2661678791046143, + "learning_rate": 4.986414141414142e-06, + "loss": 8.324212646484375, + "step": 1270 + }, + { + "epoch": 0.01275, + "grad_norm": 1.1655652523040771, + "learning_rate": 4.986161616161617e-06, + "loss": 8.273467254638671, + "step": 1275 + }, + { + "epoch": 0.0128, + "grad_norm": 1.2104438543319702, + "learning_rate": 4.985909090909091e-06, + "loss": 8.323265838623048, + "step": 1280 + }, + { + "epoch": 0.01285, + "grad_norm": 2.3040058612823486, + "learning_rate": 4.985656565656566e-06, + "loss": 8.300347137451173, + "step": 1285 + }, + { + "epoch": 0.0129, + "grad_norm": 1.1858747005462646, + "learning_rate": 4.985404040404041e-06, + "loss": 8.232485961914062, + "step": 1290 + }, + { + "epoch": 0.01295, + "grad_norm": 1.0296400785446167, + "learning_rate": 4.985151515151515e-06, + "loss": 8.266015625, + "step": 1295 + }, + { + "epoch": 0.013, + "grad_norm": 1.1126850843429565, + "learning_rate": 4.98489898989899e-06, + "loss": 8.301464080810547, + "step": 1300 + }, + { + "epoch": 0.01305, + "grad_norm": 11.48436450958252, + "learning_rate": 4.9846464646464645e-06, + "loss": 8.282581329345703, + "step": 1305 + }, + { + "epoch": 0.0131, + "grad_norm": 2.132294178009033, + "learning_rate": 4.98439393939394e-06, + "loss": 8.259134674072266, + "step": 1310 + }, + { + "epoch": 0.01315, + "grad_norm": 1.302921175956726, + "learning_rate": 4.984141414141415e-06, + "loss": 8.292393493652344, + "step": 1315 + }, + { + "epoch": 0.0132, + "grad_norm": 1.0039948225021362, + "learning_rate": 4.983888888888889e-06, + "loss": 8.319845581054688, + "step": 1320 + }, + { + "epoch": 0.01325, + "grad_norm": 1.3267877101898193, + "learning_rate": 4.983636363636364e-06, + "loss": 8.22216339111328, + "step": 1325 + }, + { + "epoch": 0.0133, + "grad_norm": 1.763733148574829, + "learning_rate": 4.983383838383839e-06, + "loss": 8.319412994384766, + "step": 1330 + }, + { + "epoch": 0.01335, + "grad_norm": 1.1584218740463257, + "learning_rate": 4.983131313131314e-06, + "loss": 8.271452331542969, + "step": 1335 + }, + { + "epoch": 0.0134, + "grad_norm": 3.1952457427978516, + "learning_rate": 4.982878787878788e-06, + "loss": 8.158982849121093, + "step": 1340 + }, + { + "epoch": 0.01345, + "grad_norm": 1.6762995719909668, + "learning_rate": 4.982626262626262e-06, + "loss": 8.305218505859376, + "step": 1345 + }, + { + "epoch": 0.0135, + "grad_norm": 1.278686761856079, + "learning_rate": 4.982373737373738e-06, + "loss": 8.268582153320313, + "step": 1350 + }, + { + "epoch": 0.01355, + "grad_norm": 1.3549070358276367, + "learning_rate": 4.9821212121212125e-06, + "loss": 8.244148254394531, + "step": 1355 + }, + { + "epoch": 0.0136, + "grad_norm": 1.3042219877243042, + "learning_rate": 4.981868686868687e-06, + "loss": 8.29886245727539, + "step": 1360 + }, + { + "epoch": 0.01365, + "grad_norm": 1.8016526699066162, + "learning_rate": 4.981616161616162e-06, + "loss": 8.295376586914063, + "step": 1365 + }, + { + "epoch": 0.0137, + "grad_norm": 1.8723101615905762, + "learning_rate": 4.981363636363637e-06, + "loss": 8.270258331298828, + "step": 1370 + }, + { + "epoch": 0.01375, + "grad_norm": 1.7364376783370972, + "learning_rate": 4.981111111111112e-06, + "loss": 8.238687133789062, + "step": 1375 + }, + { + "epoch": 0.0138, + "grad_norm": 1.3971294164657593, + "learning_rate": 4.9808585858585865e-06, + "loss": 8.189012145996093, + "step": 1380 + }, + { + "epoch": 0.01385, + "grad_norm": 1.3947763442993164, + "learning_rate": 4.980606060606061e-06, + "loss": 8.272319793701172, + "step": 1385 + }, + { + "epoch": 0.0139, + "grad_norm": 1.2999768257141113, + "learning_rate": 4.980353535353536e-06, + "loss": 8.312237548828126, + "step": 1390 + }, + { + "epoch": 0.01395, + "grad_norm": 1.1922824382781982, + "learning_rate": 4.98010101010101e-06, + "loss": 8.265843200683594, + "step": 1395 + }, + { + "epoch": 0.014, + "grad_norm": 1.6726585626602173, + "learning_rate": 4.979848484848485e-06, + "loss": 8.325080871582031, + "step": 1400 + }, + { + "epoch": 0.01405, + "grad_norm": 1.3737518787384033, + "learning_rate": 4.97959595959596e-06, + "loss": 8.261061859130859, + "step": 1405 + }, + { + "epoch": 0.0141, + "grad_norm": 1.5159094333648682, + "learning_rate": 4.979343434343435e-06, + "loss": 8.244552612304688, + "step": 1410 + }, + { + "epoch": 0.01415, + "grad_norm": 1.6030014753341675, + "learning_rate": 4.97909090909091e-06, + "loss": 8.31212158203125, + "step": 1415 + }, + { + "epoch": 0.0142, + "grad_norm": 1.867902159690857, + "learning_rate": 4.978838383838384e-06, + "loss": 8.281008911132812, + "step": 1420 + }, + { + "epoch": 0.01425, + "grad_norm": 1.9161847829818726, + "learning_rate": 4.978585858585859e-06, + "loss": 8.23026351928711, + "step": 1425 + }, + { + "epoch": 0.0143, + "grad_norm": 1.7140098810195923, + "learning_rate": 4.978333333333334e-06, + "loss": 8.162289428710938, + "step": 1430 + }, + { + "epoch": 0.01435, + "grad_norm": 1.3801689147949219, + "learning_rate": 4.978080808080808e-06, + "loss": 8.208426666259765, + "step": 1435 + }, + { + "epoch": 0.0144, + "grad_norm": 2.036461591720581, + "learning_rate": 4.977828282828283e-06, + "loss": 8.216313934326172, + "step": 1440 + }, + { + "epoch": 0.01445, + "grad_norm": 1.6685024499893188, + "learning_rate": 4.9775757575757576e-06, + "loss": 8.277519226074219, + "step": 1445 + }, + { + "epoch": 0.0145, + "grad_norm": 1.6854643821716309, + "learning_rate": 4.977323232323233e-06, + "loss": 8.279377746582032, + "step": 1450 + }, + { + "epoch": 0.01455, + "grad_norm": 1.5399439334869385, + "learning_rate": 4.977070707070708e-06, + "loss": 8.23476791381836, + "step": 1455 + }, + { + "epoch": 0.0146, + "grad_norm": 1.4562209844589233, + "learning_rate": 4.976818181818182e-06, + "loss": 8.242851257324219, + "step": 1460 + }, + { + "epoch": 0.01465, + "grad_norm": 1.4651610851287842, + "learning_rate": 4.976565656565657e-06, + "loss": 8.255519104003906, + "step": 1465 + }, + { + "epoch": 0.0147, + "grad_norm": 2.307976484298706, + "learning_rate": 4.9763131313131316e-06, + "loss": 8.249298095703125, + "step": 1470 + }, + { + "epoch": 0.01475, + "grad_norm": 1.7262852191925049, + "learning_rate": 4.976060606060606e-06, + "loss": 8.182123565673828, + "step": 1475 + }, + { + "epoch": 0.0148, + "grad_norm": 1.709336757659912, + "learning_rate": 4.975808080808081e-06, + "loss": 8.241169738769532, + "step": 1480 + }, + { + "epoch": 0.01485, + "grad_norm": 1.8760100603103638, + "learning_rate": 4.9755555555555554e-06, + "loss": 8.270980834960938, + "step": 1485 + }, + { + "epoch": 0.0149, + "grad_norm": 2.741426944732666, + "learning_rate": 4.975303030303031e-06, + "loss": 8.22678451538086, + "step": 1490 + }, + { + "epoch": 0.01495, + "grad_norm": 2.2993693351745605, + "learning_rate": 4.9750505050505056e-06, + "loss": 8.23228759765625, + "step": 1495 + }, + { + "epoch": 0.015, + "grad_norm": 1.5586732625961304, + "learning_rate": 4.97479797979798e-06, + "loss": 8.23129653930664, + "step": 1500 + }, + { + "epoch": 0.01505, + "grad_norm": 1.794472336769104, + "learning_rate": 4.974545454545455e-06, + "loss": 8.245462036132812, + "step": 1505 + }, + { + "epoch": 0.0151, + "grad_norm": 1.5695534944534302, + "learning_rate": 4.9742929292929294e-06, + "loss": 8.248947143554688, + "step": 1510 + }, + { + "epoch": 0.01515, + "grad_norm": 4.60466194152832, + "learning_rate": 4.974040404040404e-06, + "loss": 8.123861694335938, + "step": 1515 + }, + { + "epoch": 0.0152, + "grad_norm": 2.188272476196289, + "learning_rate": 4.973787878787879e-06, + "loss": 8.14218978881836, + "step": 1520 + }, + { + "epoch": 0.01525, + "grad_norm": 1.847472071647644, + "learning_rate": 4.973535353535354e-06, + "loss": 8.244377899169923, + "step": 1525 + }, + { + "epoch": 0.0153, + "grad_norm": 2.6713147163391113, + "learning_rate": 4.973282828282829e-06, + "loss": 8.238223266601562, + "step": 1530 + }, + { + "epoch": 0.01535, + "grad_norm": 1.853307843208313, + "learning_rate": 4.9730303030303034e-06, + "loss": 8.246791076660156, + "step": 1535 + }, + { + "epoch": 0.0154, + "grad_norm": 4.513730525970459, + "learning_rate": 4.972777777777778e-06, + "loss": 8.196895599365234, + "step": 1540 + }, + { + "epoch": 0.01545, + "grad_norm": 2.098773241043091, + "learning_rate": 4.9725252525252535e-06, + "loss": 8.245899963378907, + "step": 1545 + }, + { + "epoch": 0.0155, + "grad_norm": 2.297443151473999, + "learning_rate": 4.972272727272728e-06, + "loss": 8.204507446289062, + "step": 1550 + }, + { + "epoch": 0.01555, + "grad_norm": 2.2420904636383057, + "learning_rate": 4.972020202020203e-06, + "loss": 8.204434204101563, + "step": 1555 + }, + { + "epoch": 0.0156, + "grad_norm": 2.2537333965301514, + "learning_rate": 4.9717676767676774e-06, + "loss": 8.087725830078124, + "step": 1560 + }, + { + "epoch": 0.01565, + "grad_norm": 2.0685620307922363, + "learning_rate": 4.971515151515152e-06, + "loss": 8.217706298828125, + "step": 1565 + }, + { + "epoch": 0.0157, + "grad_norm": 2.1148107051849365, + "learning_rate": 4.971262626262627e-06, + "loss": 8.211723327636719, + "step": 1570 + }, + { + "epoch": 0.01575, + "grad_norm": 2.5793955326080322, + "learning_rate": 4.971010101010101e-06, + "loss": 8.20735855102539, + "step": 1575 + }, + { + "epoch": 0.0158, + "grad_norm": 2.0584473609924316, + "learning_rate": 4.970757575757576e-06, + "loss": 8.058718872070312, + "step": 1580 + }, + { + "epoch": 0.01585, + "grad_norm": 3.901336431503296, + "learning_rate": 4.9705050505050514e-06, + "loss": 8.289500427246093, + "step": 1585 + }, + { + "epoch": 0.0159, + "grad_norm": 2.5759079456329346, + "learning_rate": 4.970252525252526e-06, + "loss": 8.212875366210938, + "step": 1590 + }, + { + "epoch": 0.01595, + "grad_norm": 1.9839305877685547, + "learning_rate": 4.970000000000001e-06, + "loss": 8.300537872314454, + "step": 1595 + }, + { + "epoch": 0.016, + "grad_norm": 1.9357192516326904, + "learning_rate": 4.969747474747475e-06, + "loss": 8.246839904785157, + "step": 1600 + }, + { + "epoch": 0.01605, + "grad_norm": 3.190471649169922, + "learning_rate": 4.96949494949495e-06, + "loss": 8.204385375976562, + "step": 1605 + }, + { + "epoch": 0.0161, + "grad_norm": 2.9330544471740723, + "learning_rate": 4.969242424242425e-06, + "loss": 8.233213806152344, + "step": 1610 + }, + { + "epoch": 0.01615, + "grad_norm": 2.462989568710327, + "learning_rate": 4.968989898989899e-06, + "loss": 8.218523406982422, + "step": 1615 + }, + { + "epoch": 0.0162, + "grad_norm": 3.291127920150757, + "learning_rate": 4.968737373737374e-06, + "loss": 8.209732055664062, + "step": 1620 + }, + { + "epoch": 0.01625, + "grad_norm": 2.2086427211761475, + "learning_rate": 4.968484848484849e-06, + "loss": 8.242097473144531, + "step": 1625 + }, + { + "epoch": 0.0163, + "grad_norm": 2.1802282333374023, + "learning_rate": 4.968232323232324e-06, + "loss": 8.20031280517578, + "step": 1630 + }, + { + "epoch": 0.01635, + "grad_norm": 5.150691032409668, + "learning_rate": 4.967979797979799e-06, + "loss": 8.0207763671875, + "step": 1635 + }, + { + "epoch": 0.0164, + "grad_norm": 2.3476431369781494, + "learning_rate": 4.967727272727273e-06, + "loss": 8.181890869140625, + "step": 1640 + }, + { + "epoch": 0.01645, + "grad_norm": 3.2155909538269043, + "learning_rate": 4.967474747474748e-06, + "loss": 8.183082580566406, + "step": 1645 + }, + { + "epoch": 0.0165, + "grad_norm": 2.1364448070526123, + "learning_rate": 4.9672222222222225e-06, + "loss": 8.185452270507813, + "step": 1650 + }, + { + "epoch": 0.01655, + "grad_norm": 5.2213134765625, + "learning_rate": 4.966969696969697e-06, + "loss": 8.198963165283203, + "step": 1655 + }, + { + "epoch": 0.0166, + "grad_norm": 2.034255266189575, + "learning_rate": 4.966717171717172e-06, + "loss": 8.136032104492188, + "step": 1660 + }, + { + "epoch": 0.01665, + "grad_norm": 2.1195871829986572, + "learning_rate": 4.966464646464647e-06, + "loss": 8.166607666015626, + "step": 1665 + }, + { + "epoch": 0.0167, + "grad_norm": 1.8533639907836914, + "learning_rate": 4.966212121212122e-06, + "loss": 8.183841705322266, + "step": 1670 + }, + { + "epoch": 0.01675, + "grad_norm": 2.154772996902466, + "learning_rate": 4.9659595959595965e-06, + "loss": 8.168988037109376, + "step": 1675 + }, + { + "epoch": 0.0168, + "grad_norm": 2.774803400039673, + "learning_rate": 4.965707070707071e-06, + "loss": 8.151445770263672, + "step": 1680 + }, + { + "epoch": 0.01685, + "grad_norm": 2.98892879486084, + "learning_rate": 4.965454545454546e-06, + "loss": 8.142127227783202, + "step": 1685 + }, + { + "epoch": 0.0169, + "grad_norm": 2.1599631309509277, + "learning_rate": 4.96520202020202e-06, + "loss": 8.061070251464844, + "step": 1690 + }, + { + "epoch": 0.01695, + "grad_norm": 3.964365243911743, + "learning_rate": 4.964949494949495e-06, + "loss": 8.14443359375, + "step": 1695 + }, + { + "epoch": 0.017, + "grad_norm": 3.2876358032226562, + "learning_rate": 4.96469696969697e-06, + "loss": 8.151109313964843, + "step": 1700 + }, + { + "epoch": 0.01705, + "grad_norm": 2.347782850265503, + "learning_rate": 4.964444444444445e-06, + "loss": 8.152350616455077, + "step": 1705 + }, + { + "epoch": 0.0171, + "grad_norm": 3.300475597381592, + "learning_rate": 4.96419191919192e-06, + "loss": 8.193429565429687, + "step": 1710 + }, + { + "epoch": 0.01715, + "grad_norm": 3.056680679321289, + "learning_rate": 4.963939393939394e-06, + "loss": 8.149285888671875, + "step": 1715 + }, + { + "epoch": 0.0172, + "grad_norm": 3.2774817943573, + "learning_rate": 4.963686868686869e-06, + "loss": 8.1973876953125, + "step": 1720 + }, + { + "epoch": 0.01725, + "grad_norm": 2.7714900970458984, + "learning_rate": 4.9634343434343445e-06, + "loss": 8.127362060546876, + "step": 1725 + }, + { + "epoch": 0.0173, + "grad_norm": 2.7771408557891846, + "learning_rate": 4.963181818181818e-06, + "loss": 8.206829833984376, + "step": 1730 + }, + { + "epoch": 0.01735, + "grad_norm": 3.5485599040985107, + "learning_rate": 4.962929292929293e-06, + "loss": 8.19534912109375, + "step": 1735 + }, + { + "epoch": 0.0174, + "grad_norm": 1.8435674905776978, + "learning_rate": 4.9626767676767675e-06, + "loss": 8.124722290039063, + "step": 1740 + }, + { + "epoch": 0.01745, + "grad_norm": 4.529754161834717, + "learning_rate": 4.962424242424243e-06, + "loss": 8.174091339111328, + "step": 1745 + }, + { + "epoch": 0.0175, + "grad_norm": 2.947138786315918, + "learning_rate": 4.962171717171718e-06, + "loss": 8.167623138427734, + "step": 1750 + }, + { + "epoch": 0.01755, + "grad_norm": 2.6368660926818848, + "learning_rate": 4.961919191919192e-06, + "loss": 8.04675064086914, + "step": 1755 + }, + { + "epoch": 0.0176, + "grad_norm": 3.2398524284362793, + "learning_rate": 4.961666666666667e-06, + "loss": 8.208754730224609, + "step": 1760 + }, + { + "epoch": 0.01765, + "grad_norm": 3.359651803970337, + "learning_rate": 4.961414141414142e-06, + "loss": 8.151076507568359, + "step": 1765 + }, + { + "epoch": 0.0177, + "grad_norm": 2.2264723777770996, + "learning_rate": 4.961161616161617e-06, + "loss": 8.173772430419922, + "step": 1770 + }, + { + "epoch": 0.01775, + "grad_norm": 2.2416670322418213, + "learning_rate": 4.960909090909092e-06, + "loss": 8.156338500976563, + "step": 1775 + }, + { + "epoch": 0.0178, + "grad_norm": 4.545805931091309, + "learning_rate": 4.960656565656566e-06, + "loss": 8.006956481933594, + "step": 1780 + }, + { + "epoch": 0.01785, + "grad_norm": 3.801161289215088, + "learning_rate": 4.960404040404041e-06, + "loss": 8.150926208496093, + "step": 1785 + }, + { + "epoch": 0.0179, + "grad_norm": 3.7516281604766846, + "learning_rate": 4.9601515151515155e-06, + "loss": 8.203780364990234, + "step": 1790 + }, + { + "epoch": 0.01795, + "grad_norm": 2.7432525157928467, + "learning_rate": 4.95989898989899e-06, + "loss": 8.10575180053711, + "step": 1795 + }, + { + "epoch": 0.018, + "grad_norm": 3.5147500038146973, + "learning_rate": 4.959646464646465e-06, + "loss": 8.136005401611328, + "step": 1800 + }, + { + "epoch": 0.01805, + "grad_norm": 2.278280258178711, + "learning_rate": 4.95939393939394e-06, + "loss": 8.149613189697266, + "step": 1805 + }, + { + "epoch": 0.0181, + "grad_norm": 2.4351775646209717, + "learning_rate": 4.959141414141415e-06, + "loss": 8.175203704833985, + "step": 1810 + }, + { + "epoch": 0.01815, + "grad_norm": 3.244508743286133, + "learning_rate": 4.9588888888888895e-06, + "loss": 8.155046081542968, + "step": 1815 + }, + { + "epoch": 0.0182, + "grad_norm": 3.4676265716552734, + "learning_rate": 4.958636363636364e-06, + "loss": 8.126185607910156, + "step": 1820 + }, + { + "epoch": 0.01825, + "grad_norm": 2.132542848587036, + "learning_rate": 4.958383838383839e-06, + "loss": 8.163625335693359, + "step": 1825 + }, + { + "epoch": 0.0183, + "grad_norm": 2.23634672164917, + "learning_rate": 4.958131313131313e-06, + "loss": 8.157920837402344, + "step": 1830 + }, + { + "epoch": 0.01835, + "grad_norm": 3.5908403396606445, + "learning_rate": 4.957878787878788e-06, + "loss": 8.149976348876953, + "step": 1835 + }, + { + "epoch": 0.0184, + "grad_norm": 4.151937484741211, + "learning_rate": 4.957626262626263e-06, + "loss": 8.092743682861329, + "step": 1840 + }, + { + "epoch": 0.01845, + "grad_norm": 3.0511488914489746, + "learning_rate": 4.957373737373738e-06, + "loss": 7.971682739257813, + "step": 1845 + }, + { + "epoch": 0.0185, + "grad_norm": 3.2392444610595703, + "learning_rate": 4.957121212121213e-06, + "loss": 8.141278839111328, + "step": 1850 + }, + { + "epoch": 0.01855, + "grad_norm": 3.98538875579834, + "learning_rate": 4.956868686868687e-06, + "loss": 8.137117004394531, + "step": 1855 + }, + { + "epoch": 0.0186, + "grad_norm": 3.7867796421051025, + "learning_rate": 4.956616161616162e-06, + "loss": 8.163440704345703, + "step": 1860 + }, + { + "epoch": 0.01865, + "grad_norm": 3.0009243488311768, + "learning_rate": 4.956363636363637e-06, + "loss": 8.146736907958985, + "step": 1865 + }, + { + "epoch": 0.0187, + "grad_norm": 3.323636293411255, + "learning_rate": 4.956111111111111e-06, + "loss": 8.136614990234374, + "step": 1870 + }, + { + "epoch": 0.01875, + "grad_norm": 3.658799886703491, + "learning_rate": 4.955858585858586e-06, + "loss": 8.1032470703125, + "step": 1875 + }, + { + "epoch": 0.0188, + "grad_norm": 3.793306350708008, + "learning_rate": 4.9556060606060605e-06, + "loss": 8.142462921142577, + "step": 1880 + }, + { + "epoch": 0.01885, + "grad_norm": 4.059318542480469, + "learning_rate": 4.955353535353536e-06, + "loss": 8.102430725097657, + "step": 1885 + }, + { + "epoch": 0.0189, + "grad_norm": 3.8674840927124023, + "learning_rate": 4.955101010101011e-06, + "loss": 8.140837097167969, + "step": 1890 + }, + { + "epoch": 0.01895, + "grad_norm": 3.5070888996124268, + "learning_rate": 4.954848484848485e-06, + "loss": 8.174871826171875, + "step": 1895 + }, + { + "epoch": 0.019, + "grad_norm": 4.296961784362793, + "learning_rate": 4.95459595959596e-06, + "loss": 8.14097900390625, + "step": 1900 + }, + { + "epoch": 0.01905, + "grad_norm": 2.8373847007751465, + "learning_rate": 4.9543434343434345e-06, + "loss": 7.948394775390625, + "step": 1905 + }, + { + "epoch": 0.0191, + "grad_norm": 3.476529121398926, + "learning_rate": 4.954090909090909e-06, + "loss": 8.136420440673827, + "step": 1910 + }, + { + "epoch": 0.01915, + "grad_norm": 3.5385100841522217, + "learning_rate": 4.953838383838384e-06, + "loss": 7.72955322265625, + "step": 1915 + }, + { + "epoch": 0.0192, + "grad_norm": 3.5107741355895996, + "learning_rate": 4.9535858585858584e-06, + "loss": 7.953826141357422, + "step": 1920 + }, + { + "epoch": 0.01925, + "grad_norm": 4.546454906463623, + "learning_rate": 4.953333333333334e-06, + "loss": 8.236188507080078, + "step": 1925 + }, + { + "epoch": 0.0193, + "grad_norm": 4.274033069610596, + "learning_rate": 4.9530808080808085e-06, + "loss": 8.139183044433594, + "step": 1930 + }, + { + "epoch": 0.01935, + "grad_norm": 4.179872035980225, + "learning_rate": 4.952828282828283e-06, + "loss": 8.03671875, + "step": 1935 + }, + { + "epoch": 0.0194, + "grad_norm": 2.947314739227295, + "learning_rate": 4.952575757575759e-06, + "loss": 8.058915710449218, + "step": 1940 + }, + { + "epoch": 0.01945, + "grad_norm": 4.584015369415283, + "learning_rate": 4.952323232323233e-06, + "loss": 8.143842315673828, + "step": 1945 + }, + { + "epoch": 0.0195, + "grad_norm": 4.209578514099121, + "learning_rate": 4.952070707070707e-06, + "loss": 8.122565460205077, + "step": 1950 + }, + { + "epoch": 0.01955, + "grad_norm": 3.676715612411499, + "learning_rate": 4.951818181818182e-06, + "loss": 8.11377410888672, + "step": 1955 + }, + { + "epoch": 0.0196, + "grad_norm": 3.392622232437134, + "learning_rate": 4.951565656565657e-06, + "loss": 8.147087097167969, + "step": 1960 + }, + { + "epoch": 0.01965, + "grad_norm": 4.783401012420654, + "learning_rate": 4.951313131313132e-06, + "loss": 8.171436309814453, + "step": 1965 + }, + { + "epoch": 0.0197, + "grad_norm": 7.393720626831055, + "learning_rate": 4.9510606060606064e-06, + "loss": 8.0789306640625, + "step": 1970 + }, + { + "epoch": 0.01975, + "grad_norm": 3.860348701477051, + "learning_rate": 4.950808080808081e-06, + "loss": 8.099192047119141, + "step": 1975 + }, + { + "epoch": 0.0198, + "grad_norm": 4.815975189208984, + "learning_rate": 4.9505555555555565e-06, + "loss": 8.116313171386718, + "step": 1980 + }, + { + "epoch": 0.01985, + "grad_norm": 5.488703727722168, + "learning_rate": 4.950303030303031e-06, + "loss": 8.131668853759766, + "step": 1985 + }, + { + "epoch": 0.0199, + "grad_norm": 3.7611827850341797, + "learning_rate": 4.950050505050506e-06, + "loss": 8.047259521484374, + "step": 1990 + }, + { + "epoch": 0.01995, + "grad_norm": 4.414346218109131, + "learning_rate": 4.94979797979798e-06, + "loss": 8.146755981445313, + "step": 1995 + }, + { + "epoch": 0.02, + "grad_norm": 3.402703285217285, + "learning_rate": 4.949545454545455e-06, + "loss": 8.124602508544921, + "step": 2000 + }, + { + "epoch": 0.02005, + "grad_norm": 4.558883190155029, + "learning_rate": 4.94929292929293e-06, + "loss": 8.436622619628906, + "step": 2005 + }, + { + "epoch": 0.0201, + "grad_norm": 4.240245819091797, + "learning_rate": 4.949040404040404e-06, + "loss": 8.050159454345703, + "step": 2010 + }, + { + "epoch": 0.02015, + "grad_norm": 4.767601013183594, + "learning_rate": 4.948787878787879e-06, + "loss": 8.230625915527344, + "step": 2015 + }, + { + "epoch": 0.0202, + "grad_norm": 4.285569190979004, + "learning_rate": 4.948535353535354e-06, + "loss": 8.195152282714844, + "step": 2020 + }, + { + "epoch": 0.02025, + "grad_norm": 3.8273346424102783, + "learning_rate": 4.948282828282829e-06, + "loss": 8.145726013183594, + "step": 2025 + }, + { + "epoch": 0.0203, + "grad_norm": 4.112914562225342, + "learning_rate": 4.948030303030304e-06, + "loss": 8.114585876464844, + "step": 2030 + }, + { + "epoch": 0.02035, + "grad_norm": 4.19883394241333, + "learning_rate": 4.947777777777778e-06, + "loss": 8.107263946533203, + "step": 2035 + }, + { + "epoch": 0.0204, + "grad_norm": 4.548821449279785, + "learning_rate": 4.947525252525253e-06, + "loss": 8.17945556640625, + "step": 2040 + }, + { + "epoch": 0.02045, + "grad_norm": 6.7020463943481445, + "learning_rate": 4.9472727272727276e-06, + "loss": 7.99320068359375, + "step": 2045 + }, + { + "epoch": 0.0205, + "grad_norm": 3.062143325805664, + "learning_rate": 4.947020202020202e-06, + "loss": 8.131001281738282, + "step": 2050 + }, + { + "epoch": 0.02055, + "grad_norm": 4.944661617279053, + "learning_rate": 4.946767676767677e-06, + "loss": 8.119766235351562, + "step": 2055 + }, + { + "epoch": 0.0206, + "grad_norm": 5.674378871917725, + "learning_rate": 4.946515151515152e-06, + "loss": 8.064532470703124, + "step": 2060 + }, + { + "epoch": 0.02065, + "grad_norm": 4.104469299316406, + "learning_rate": 4.946262626262627e-06, + "loss": 8.15120620727539, + "step": 2065 + }, + { + "epoch": 0.0207, + "grad_norm": 4.435698986053467, + "learning_rate": 4.9460101010101016e-06, + "loss": 8.12084732055664, + "step": 2070 + }, + { + "epoch": 0.02075, + "grad_norm": 3.825582265853882, + "learning_rate": 4.945757575757576e-06, + "loss": 8.003488922119141, + "step": 2075 + }, + { + "epoch": 0.0208, + "grad_norm": 4.849913597106934, + "learning_rate": 4.945505050505051e-06, + "loss": 8.076895141601563, + "step": 2080 + }, + { + "epoch": 0.02085, + "grad_norm": 10.164915084838867, + "learning_rate": 4.9452525252525255e-06, + "loss": 8.01006851196289, + "step": 2085 + }, + { + "epoch": 0.0209, + "grad_norm": 4.137729644775391, + "learning_rate": 4.945e-06, + "loss": 7.7697021484375, + "step": 2090 + }, + { + "epoch": 0.02095, + "grad_norm": 6.361881256103516, + "learning_rate": 4.944747474747475e-06, + "loss": 8.000723266601563, + "step": 2095 + }, + { + "epoch": 0.021, + "grad_norm": 3.5998408794403076, + "learning_rate": 4.94449494949495e-06, + "loss": 8.129924774169922, + "step": 2100 + }, + { + "epoch": 0.02105, + "grad_norm": 5.961328029632568, + "learning_rate": 4.944242424242425e-06, + "loss": 8.079069519042969, + "step": 2105 + }, + { + "epoch": 0.0211, + "grad_norm": 5.388092517852783, + "learning_rate": 4.9439898989898995e-06, + "loss": 8.065097045898437, + "step": 2110 + }, + { + "epoch": 0.02115, + "grad_norm": 3.7849602699279785, + "learning_rate": 4.943737373737374e-06, + "loss": 8.195255279541016, + "step": 2115 + }, + { + "epoch": 0.0212, + "grad_norm": 4.172582149505615, + "learning_rate": 4.943484848484849e-06, + "loss": 8.083509063720703, + "step": 2120 + }, + { + "epoch": 0.02125, + "grad_norm": 3.7657487392425537, + "learning_rate": 4.943232323232323e-06, + "loss": 8.090748596191407, + "step": 2125 + }, + { + "epoch": 0.0213, + "grad_norm": 3.168128490447998, + "learning_rate": 4.942979797979798e-06, + "loss": 8.040937805175782, + "step": 2130 + }, + { + "epoch": 0.02135, + "grad_norm": 5.141269683837891, + "learning_rate": 4.942727272727273e-06, + "loss": 8.065060424804688, + "step": 2135 + }, + { + "epoch": 0.0214, + "grad_norm": 5.394471645355225, + "learning_rate": 4.942474747474748e-06, + "loss": 8.099494171142577, + "step": 2140 + }, + { + "epoch": 0.02145, + "grad_norm": 6.429492473602295, + "learning_rate": 4.942222222222223e-06, + "loss": 8.062808227539062, + "step": 2145 + }, + { + "epoch": 0.0215, + "grad_norm": 5.63588809967041, + "learning_rate": 4.941969696969697e-06, + "loss": 8.26043472290039, + "step": 2150 + }, + { + "epoch": 0.02155, + "grad_norm": 3.661998987197876, + "learning_rate": 4.941717171717172e-06, + "loss": 8.102381134033203, + "step": 2155 + }, + { + "epoch": 0.0216, + "grad_norm": 5.674729824066162, + "learning_rate": 4.9414646464646475e-06, + "loss": 7.86041259765625, + "step": 2160 + }, + { + "epoch": 0.02165, + "grad_norm": 5.142356872558594, + "learning_rate": 4.941212121212122e-06, + "loss": 8.079032897949219, + "step": 2165 + }, + { + "epoch": 0.0217, + "grad_norm": 7.163041114807129, + "learning_rate": 4.940959595959597e-06, + "loss": 8.09962158203125, + "step": 2170 + }, + { + "epoch": 0.02175, + "grad_norm": 5.5377960205078125, + "learning_rate": 4.9407070707070705e-06, + "loss": 8.033216094970703, + "step": 2175 + }, + { + "epoch": 0.0218, + "grad_norm": 5.31917142868042, + "learning_rate": 4.940454545454546e-06, + "loss": 8.07091827392578, + "step": 2180 + }, + { + "epoch": 0.02185, + "grad_norm": 6.305392265319824, + "learning_rate": 4.940202020202021e-06, + "loss": 8.0578125, + "step": 2185 + }, + { + "epoch": 0.0219, + "grad_norm": 6.275941371917725, + "learning_rate": 4.939949494949495e-06, + "loss": 8.107493591308593, + "step": 2190 + }, + { + "epoch": 0.02195, + "grad_norm": 5.42586088180542, + "learning_rate": 4.93969696969697e-06, + "loss": 8.012085723876954, + "step": 2195 + }, + { + "epoch": 0.022, + "grad_norm": 6.528047561645508, + "learning_rate": 4.939444444444445e-06, + "loss": 8.079855346679688, + "step": 2200 + }, + { + "epoch": 0.02205, + "grad_norm": 5.952470302581787, + "learning_rate": 4.93919191919192e-06, + "loss": 8.036585998535156, + "step": 2205 + }, + { + "epoch": 0.0221, + "grad_norm": 8.109021186828613, + "learning_rate": 4.938939393939395e-06, + "loss": 8.097537994384766, + "step": 2210 + }, + { + "epoch": 0.02215, + "grad_norm": 5.504205703735352, + "learning_rate": 4.938686868686869e-06, + "loss": 8.087356567382812, + "step": 2215 + }, + { + "epoch": 0.0222, + "grad_norm": 4.862380027770996, + "learning_rate": 4.938434343434344e-06, + "loss": 8.14871826171875, + "step": 2220 + }, + { + "epoch": 0.02225, + "grad_norm": 6.553999423980713, + "learning_rate": 4.9381818181818185e-06, + "loss": 8.10479278564453, + "step": 2225 + }, + { + "epoch": 0.0223, + "grad_norm": 4.806943416595459, + "learning_rate": 4.937929292929293e-06, + "loss": 8.0728271484375, + "step": 2230 + }, + { + "epoch": 0.02235, + "grad_norm": 5.197163105010986, + "learning_rate": 4.937676767676768e-06, + "loss": 8.084114074707031, + "step": 2235 + }, + { + "epoch": 0.0224, + "grad_norm": 5.497702121734619, + "learning_rate": 4.937424242424243e-06, + "loss": 8.068180084228516, + "step": 2240 + }, + { + "epoch": 0.02245, + "grad_norm": 9.232624053955078, + "learning_rate": 4.937171717171718e-06, + "loss": 8.192984771728515, + "step": 2245 + }, + { + "epoch": 0.0225, + "grad_norm": 6.503833293914795, + "learning_rate": 4.9369191919191925e-06, + "loss": 8.080185699462891, + "step": 2250 + }, + { + "epoch": 0.02255, + "grad_norm": 4.67305850982666, + "learning_rate": 4.936666666666667e-06, + "loss": 8.047933959960938, + "step": 2255 + }, + { + "epoch": 0.0226, + "grad_norm": 6.938578128814697, + "learning_rate": 4.936414141414142e-06, + "loss": 8.16378173828125, + "step": 2260 + }, + { + "epoch": 0.02265, + "grad_norm": 5.685107231140137, + "learning_rate": 4.936161616161616e-06, + "loss": 8.037014770507813, + "step": 2265 + }, + { + "epoch": 0.0227, + "grad_norm": 5.197331428527832, + "learning_rate": 4.935909090909091e-06, + "loss": 8.067678833007813, + "step": 2270 + }, + { + "epoch": 0.02275, + "grad_norm": 4.970640659332275, + "learning_rate": 4.935656565656566e-06, + "loss": 8.045899963378906, + "step": 2275 + }, + { + "epoch": 0.0228, + "grad_norm": 5.287182807922363, + "learning_rate": 4.935404040404041e-06, + "loss": 8.066535949707031, + "step": 2280 + }, + { + "epoch": 0.02285, + "grad_norm": 8.051145553588867, + "learning_rate": 4.935151515151516e-06, + "loss": 8.10162811279297, + "step": 2285 + }, + { + "epoch": 0.0229, + "grad_norm": 7.445028305053711, + "learning_rate": 4.93489898989899e-06, + "loss": 8.092851257324218, + "step": 2290 + }, + { + "epoch": 0.02295, + "grad_norm": 7.598878860473633, + "learning_rate": 4.934646464646465e-06, + "loss": 8.033217620849609, + "step": 2295 + }, + { + "epoch": 0.023, + "grad_norm": 5.209986686706543, + "learning_rate": 4.93439393939394e-06, + "loss": 8.017487335205079, + "step": 2300 + }, + { + "epoch": 0.02305, + "grad_norm": 6.6041259765625, + "learning_rate": 4.934141414141414e-06, + "loss": 8.076496124267578, + "step": 2305 + }, + { + "epoch": 0.0231, + "grad_norm": 6.017110347747803, + "learning_rate": 4.933888888888889e-06, + "loss": 8.03545684814453, + "step": 2310 + }, + { + "epoch": 0.02315, + "grad_norm": 5.089906692504883, + "learning_rate": 4.9336363636363635e-06, + "loss": 8.035746002197266, + "step": 2315 + }, + { + "epoch": 0.0232, + "grad_norm": 5.970499515533447, + "learning_rate": 4.933383838383839e-06, + "loss": 8.065373992919922, + "step": 2320 + }, + { + "epoch": 0.02325, + "grad_norm": 6.824329376220703, + "learning_rate": 4.933131313131314e-06, + "loss": 8.065229797363282, + "step": 2325 + }, + { + "epoch": 0.0233, + "grad_norm": 6.626498699188232, + "learning_rate": 4.932878787878788e-06, + "loss": 7.949836730957031, + "step": 2330 + }, + { + "epoch": 0.02335, + "grad_norm": 5.37431526184082, + "learning_rate": 4.932626262626263e-06, + "loss": 8.07468032836914, + "step": 2335 + }, + { + "epoch": 0.0234, + "grad_norm": 5.490968704223633, + "learning_rate": 4.9323737373737375e-06, + "loss": 7.988227844238281, + "step": 2340 + }, + { + "epoch": 0.02345, + "grad_norm": 6.844717979431152, + "learning_rate": 4.932121212121212e-06, + "loss": 8.041460418701172, + "step": 2345 + }, + { + "epoch": 0.0235, + "grad_norm": 7.442416667938232, + "learning_rate": 4.931868686868687e-06, + "loss": 8.04156951904297, + "step": 2350 + }, + { + "epoch": 0.02355, + "grad_norm": 5.549331188201904, + "learning_rate": 4.931616161616161e-06, + "loss": 7.958740234375, + "step": 2355 + }, + { + "epoch": 0.0236, + "grad_norm": 6.274140357971191, + "learning_rate": 4.931363636363637e-06, + "loss": 8.044733428955078, + "step": 2360 + }, + { + "epoch": 0.02365, + "grad_norm": 6.433976173400879, + "learning_rate": 4.9311111111111115e-06, + "loss": 8.084085845947266, + "step": 2365 + }, + { + "epoch": 0.0237, + "grad_norm": 6.738949298858643, + "learning_rate": 4.930858585858586e-06, + "loss": 7.934294128417969, + "step": 2370 + }, + { + "epoch": 0.02375, + "grad_norm": 6.82579231262207, + "learning_rate": 4.930606060606062e-06, + "loss": 8.111377716064453, + "step": 2375 + }, + { + "epoch": 0.0238, + "grad_norm": 7.230797290802002, + "learning_rate": 4.930353535353536e-06, + "loss": 8.003812408447265, + "step": 2380 + }, + { + "epoch": 0.02385, + "grad_norm": 8.453668594360352, + "learning_rate": 4.930101010101011e-06, + "loss": 7.9839332580566404, + "step": 2385 + }, + { + "epoch": 0.0239, + "grad_norm": 5.416663646697998, + "learning_rate": 4.9298484848484855e-06, + "loss": 7.968634796142578, + "step": 2390 + }, + { + "epoch": 0.02395, + "grad_norm": 7.59089469909668, + "learning_rate": 4.92959595959596e-06, + "loss": 7.9937744140625, + "step": 2395 + }, + { + "epoch": 0.024, + "grad_norm": 5.495401859283447, + "learning_rate": 4.929343434343435e-06, + "loss": 7.990375518798828, + "step": 2400 + }, + { + "epoch": 0.02405, + "grad_norm": 7.65642786026001, + "learning_rate": 4.929090909090909e-06, + "loss": 8.064468383789062, + "step": 2405 + }, + { + "epoch": 0.0241, + "grad_norm": 8.040745735168457, + "learning_rate": 4.928838383838384e-06, + "loss": 8.00512924194336, + "step": 2410 + }, + { + "epoch": 0.02415, + "grad_norm": 8.093311309814453, + "learning_rate": 4.9285858585858595e-06, + "loss": 8.033771514892578, + "step": 2415 + }, + { + "epoch": 0.0242, + "grad_norm": 6.817811489105225, + "learning_rate": 4.928333333333334e-06, + "loss": 8.010509490966797, + "step": 2420 + }, + { + "epoch": 0.02425, + "grad_norm": 9.66916275024414, + "learning_rate": 4.928080808080809e-06, + "loss": 8.025614929199218, + "step": 2425 + }, + { + "epoch": 0.0243, + "grad_norm": 7.142340660095215, + "learning_rate": 4.927828282828283e-06, + "loss": 8.056129455566406, + "step": 2430 + }, + { + "epoch": 0.02435, + "grad_norm": 6.461586952209473, + "learning_rate": 4.927575757575758e-06, + "loss": 7.995268249511719, + "step": 2435 + }, + { + "epoch": 0.0244, + "grad_norm": 4.535359859466553, + "learning_rate": 4.927323232323233e-06, + "loss": 7.990110778808594, + "step": 2440 + }, + { + "epoch": 0.02445, + "grad_norm": 7.250387191772461, + "learning_rate": 4.927070707070707e-06, + "loss": 8.015898895263671, + "step": 2445 + }, + { + "epoch": 0.0245, + "grad_norm": 9.70677661895752, + "learning_rate": 4.926818181818182e-06, + "loss": 8.054452514648437, + "step": 2450 + }, + { + "epoch": 0.02455, + "grad_norm": 9.1210298538208, + "learning_rate": 4.926565656565657e-06, + "loss": 7.917488861083984, + "step": 2455 + }, + { + "epoch": 0.0246, + "grad_norm": 9.08738899230957, + "learning_rate": 4.926313131313132e-06, + "loss": 8.037545776367187, + "step": 2460 + }, + { + "epoch": 0.02465, + "grad_norm": 6.994068145751953, + "learning_rate": 4.926060606060607e-06, + "loss": 8.030938720703125, + "step": 2465 + }, + { + "epoch": 0.0247, + "grad_norm": 5.324690341949463, + "learning_rate": 4.925808080808081e-06, + "loss": 8.021089172363281, + "step": 2470 + }, + { + "epoch": 0.02475, + "grad_norm": 6.795166015625, + "learning_rate": 4.925555555555556e-06, + "loss": 8.030506134033203, + "step": 2475 + }, + { + "epoch": 0.0248, + "grad_norm": 5.970880031585693, + "learning_rate": 4.9253030303030306e-06, + "loss": 8.040354156494141, + "step": 2480 + }, + { + "epoch": 0.02485, + "grad_norm": 6.029690742492676, + "learning_rate": 4.925050505050505e-06, + "loss": 8.04490966796875, + "step": 2485 + }, + { + "epoch": 0.0249, + "grad_norm": 5.285550117492676, + "learning_rate": 4.92479797979798e-06, + "loss": 8.029734802246093, + "step": 2490 + }, + { + "epoch": 0.02495, + "grad_norm": 7.552892208099365, + "learning_rate": 4.924545454545455e-06, + "loss": 8.002020263671875, + "step": 2495 + }, + { + "epoch": 0.025, + "grad_norm": 6.6681060791015625, + "learning_rate": 4.92429292929293e-06, + "loss": 7.9726104736328125, + "step": 2500 + }, + { + "epoch": 0.02505, + "grad_norm": 6.780698299407959, + "learning_rate": 4.9240404040404046e-06, + "loss": 8.02074966430664, + "step": 2505 + }, + { + "epoch": 0.0251, + "grad_norm": 6.418056488037109, + "learning_rate": 4.923787878787879e-06, + "loss": 7.974566650390625, + "step": 2510 + }, + { + "epoch": 0.02515, + "grad_norm": 7.972861289978027, + "learning_rate": 4.923535353535354e-06, + "loss": 8.010226440429687, + "step": 2515 + }, + { + "epoch": 0.0252, + "grad_norm": 8.138399124145508, + "learning_rate": 4.9232828282828284e-06, + "loss": 7.941558837890625, + "step": 2520 + }, + { + "epoch": 0.02525, + "grad_norm": 9.1495943069458, + "learning_rate": 4.923030303030303e-06, + "loss": 7.997895812988281, + "step": 2525 + }, + { + "epoch": 0.0253, + "grad_norm": 8.501659393310547, + "learning_rate": 4.922777777777778e-06, + "loss": 7.9309333801269535, + "step": 2530 + }, + { + "epoch": 0.02535, + "grad_norm": 6.139895439147949, + "learning_rate": 4.922525252525253e-06, + "loss": 7.815684509277344, + "step": 2535 + }, + { + "epoch": 0.0254, + "grad_norm": 8.120899200439453, + "learning_rate": 4.922272727272728e-06, + "loss": 8.073867797851562, + "step": 2540 + }, + { + "epoch": 0.02545, + "grad_norm": 8.050490379333496, + "learning_rate": 4.9220202020202024e-06, + "loss": 8.003661346435546, + "step": 2545 + }, + { + "epoch": 0.0255, + "grad_norm": 5.850531578063965, + "learning_rate": 4.921767676767677e-06, + "loss": 7.973641204833984, + "step": 2550 + }, + { + "epoch": 0.02555, + "grad_norm": 8.398384094238281, + "learning_rate": 4.9215151515151525e-06, + "loss": 7.994668579101562, + "step": 2555 + }, + { + "epoch": 0.0256, + "grad_norm": 6.711146831512451, + "learning_rate": 4.921262626262626e-06, + "loss": 7.976986694335937, + "step": 2560 + }, + { + "epoch": 0.02565, + "grad_norm": 8.427578926086426, + "learning_rate": 4.921010101010101e-06, + "loss": 7.953701019287109, + "step": 2565 + }, + { + "epoch": 0.0257, + "grad_norm": 10.573576927185059, + "learning_rate": 4.920757575757576e-06, + "loss": 8.051031494140625, + "step": 2570 + }, + { + "epoch": 0.02575, + "grad_norm": 9.25417709350586, + "learning_rate": 4.920505050505051e-06, + "loss": 8.050728607177735, + "step": 2575 + }, + { + "epoch": 0.0258, + "grad_norm": 9.895792961120605, + "learning_rate": 4.920252525252526e-06, + "loss": 7.974163055419922, + "step": 2580 + }, + { + "epoch": 0.02585, + "grad_norm": 10.633347511291504, + "learning_rate": 4.92e-06, + "loss": 7.978343200683594, + "step": 2585 + }, + { + "epoch": 0.0259, + "grad_norm": 6.666189670562744, + "learning_rate": 4.919747474747475e-06, + "loss": 7.923368072509765, + "step": 2590 + }, + { + "epoch": 0.02595, + "grad_norm": 6.58552360534668, + "learning_rate": 4.9194949494949504e-06, + "loss": 7.935690307617188, + "step": 2595 + }, + { + "epoch": 0.026, + "grad_norm": 10.140469551086426, + "learning_rate": 4.919242424242425e-06, + "loss": 7.962259674072266, + "step": 2600 + }, + { + "epoch": 0.02605, + "grad_norm": 7.739034652709961, + "learning_rate": 4.9189898989899e-06, + "loss": 7.971367645263672, + "step": 2605 + }, + { + "epoch": 0.0261, + "grad_norm": 11.827165603637695, + "learning_rate": 4.918737373737374e-06, + "loss": 8.027304077148438, + "step": 2610 + }, + { + "epoch": 0.02615, + "grad_norm": 6.215206146240234, + "learning_rate": 4.918484848484849e-06, + "loss": 7.96094970703125, + "step": 2615 + }, + { + "epoch": 0.0262, + "grad_norm": 9.400468826293945, + "learning_rate": 4.918232323232324e-06, + "loss": 7.980947875976563, + "step": 2620 + }, + { + "epoch": 0.02625, + "grad_norm": 10.95596694946289, + "learning_rate": 4.917979797979798e-06, + "loss": 7.796273040771484, + "step": 2625 + }, + { + "epoch": 0.0263, + "grad_norm": 5.988711357116699, + "learning_rate": 4.917727272727273e-06, + "loss": 7.997755432128907, + "step": 2630 + }, + { + "epoch": 0.02635, + "grad_norm": 8.493010520935059, + "learning_rate": 4.917474747474748e-06, + "loss": 7.957850646972656, + "step": 2635 + }, + { + "epoch": 0.0264, + "grad_norm": 8.662044525146484, + "learning_rate": 4.917222222222223e-06, + "loss": 7.934742736816406, + "step": 2640 + }, + { + "epoch": 0.02645, + "grad_norm": 8.78908920288086, + "learning_rate": 4.916969696969698e-06, + "loss": 7.969111633300781, + "step": 2645 + }, + { + "epoch": 0.0265, + "grad_norm": 9.42647933959961, + "learning_rate": 4.916717171717172e-06, + "loss": 7.922297668457031, + "step": 2650 + }, + { + "epoch": 0.02655, + "grad_norm": 6.514276027679443, + "learning_rate": 4.916464646464647e-06, + "loss": 7.990278625488282, + "step": 2655 + }, + { + "epoch": 0.0266, + "grad_norm": 11.466804504394531, + "learning_rate": 4.9162121212121215e-06, + "loss": 7.898329162597657, + "step": 2660 + }, + { + "epoch": 0.02665, + "grad_norm": 8.086190223693848, + "learning_rate": 4.915959595959596e-06, + "loss": 7.999431610107422, + "step": 2665 + }, + { + "epoch": 0.0267, + "grad_norm": 10.377226829528809, + "learning_rate": 4.915707070707071e-06, + "loss": 7.841584777832031, + "step": 2670 + }, + { + "epoch": 0.02675, + "grad_norm": 10.032018661499023, + "learning_rate": 4.915454545454546e-06, + "loss": 7.929267883300781, + "step": 2675 + }, + { + "epoch": 0.0268, + "grad_norm": 10.496599197387695, + "learning_rate": 4.915202020202021e-06, + "loss": 7.9510986328125, + "step": 2680 + }, + { + "epoch": 0.02685, + "grad_norm": 9.127882957458496, + "learning_rate": 4.9149494949494955e-06, + "loss": 7.903672790527343, + "step": 2685 + }, + { + "epoch": 0.0269, + "grad_norm": 10.187844276428223, + "learning_rate": 4.91469696969697e-06, + "loss": 7.946096801757813, + "step": 2690 + }, + { + "epoch": 0.02695, + "grad_norm": 6.688825607299805, + "learning_rate": 4.914444444444445e-06, + "loss": 7.877186584472656, + "step": 2695 + }, + { + "epoch": 0.027, + "grad_norm": 11.667146682739258, + "learning_rate": 4.914191919191919e-06, + "loss": 7.966148376464844, + "step": 2700 + }, + { + "epoch": 0.02705, + "grad_norm": 8.144512176513672, + "learning_rate": 4.913939393939394e-06, + "loss": 7.914895629882812, + "step": 2705 + }, + { + "epoch": 0.0271, + "grad_norm": 9.607114791870117, + "learning_rate": 4.913686868686869e-06, + "loss": 7.946595764160156, + "step": 2710 + }, + { + "epoch": 0.02715, + "grad_norm": 10.659721374511719, + "learning_rate": 4.913434343434344e-06, + "loss": 7.916932678222656, + "step": 2715 + }, + { + "epoch": 0.0272, + "grad_norm": 7.175497055053711, + "learning_rate": 4.913181818181819e-06, + "loss": 8.014002990722656, + "step": 2720 + }, + { + "epoch": 0.02725, + "grad_norm": 8.887285232543945, + "learning_rate": 4.912929292929293e-06, + "loss": 7.975077819824219, + "step": 2725 + }, + { + "epoch": 0.0273, + "grad_norm": 12.670340538024902, + "learning_rate": 4.912676767676768e-06, + "loss": 7.895428466796875, + "step": 2730 + }, + { + "epoch": 0.02735, + "grad_norm": 7.938830375671387, + "learning_rate": 4.912424242424243e-06, + "loss": 7.87036361694336, + "step": 2735 + }, + { + "epoch": 0.0274, + "grad_norm": 9.395071983337402, + "learning_rate": 4.912171717171717e-06, + "loss": 7.878598022460937, + "step": 2740 + }, + { + "epoch": 0.02745, + "grad_norm": 8.282781600952148, + "learning_rate": 4.911919191919192e-06, + "loss": 7.9313507080078125, + "step": 2745 + }, + { + "epoch": 0.0275, + "grad_norm": 9.37558364868164, + "learning_rate": 4.9116666666666665e-06, + "loss": 7.942018127441406, + "step": 2750 + }, + { + "epoch": 0.02755, + "grad_norm": 8.028214454650879, + "learning_rate": 4.911414141414142e-06, + "loss": 7.937666320800782, + "step": 2755 + }, + { + "epoch": 0.0276, + "grad_norm": 10.93342113494873, + "learning_rate": 4.911161616161617e-06, + "loss": 7.900523376464844, + "step": 2760 + }, + { + "epoch": 0.02765, + "grad_norm": 8.307437896728516, + "learning_rate": 4.910909090909091e-06, + "loss": 7.877653503417969, + "step": 2765 + }, + { + "epoch": 0.0277, + "grad_norm": 9.448577880859375, + "learning_rate": 4.910656565656566e-06, + "loss": 7.928202819824219, + "step": 2770 + }, + { + "epoch": 0.02775, + "grad_norm": 9.391576766967773, + "learning_rate": 4.910404040404041e-06, + "loss": 7.874234771728515, + "step": 2775 + }, + { + "epoch": 0.0278, + "grad_norm": 10.955571174621582, + "learning_rate": 4.910151515151515e-06, + "loss": 7.928572082519532, + "step": 2780 + }, + { + "epoch": 0.02785, + "grad_norm": 6.9731059074401855, + "learning_rate": 4.90989898989899e-06, + "loss": 7.952867889404297, + "step": 2785 + }, + { + "epoch": 0.0279, + "grad_norm": 12.694716453552246, + "learning_rate": 4.909646464646464e-06, + "loss": 7.904873657226562, + "step": 2790 + }, + { + "epoch": 0.02795, + "grad_norm": 11.881571769714355, + "learning_rate": 4.90939393939394e-06, + "loss": 7.741000366210938, + "step": 2795 + }, + { + "epoch": 0.028, + "grad_norm": 7.595656394958496, + "learning_rate": 4.9091414141414145e-06, + "loss": 7.935591125488282, + "step": 2800 + }, + { + "epoch": 0.02805, + "grad_norm": 10.601820945739746, + "learning_rate": 4.908888888888889e-06, + "loss": 7.7391204833984375, + "step": 2805 + }, + { + "epoch": 0.0281, + "grad_norm": 11.143033027648926, + "learning_rate": 4.908636363636365e-06, + "loss": 7.914286804199219, + "step": 2810 + }, + { + "epoch": 0.02815, + "grad_norm": 8.2409086227417, + "learning_rate": 4.908383838383839e-06, + "loss": 7.9224494934082035, + "step": 2815 + }, + { + "epoch": 0.0282, + "grad_norm": 7.917463302612305, + "learning_rate": 4.908131313131314e-06, + "loss": 7.907286071777344, + "step": 2820 + }, + { + "epoch": 0.02825, + "grad_norm": 10.662066459655762, + "learning_rate": 4.9078787878787885e-06, + "loss": 7.8909049987792965, + "step": 2825 + }, + { + "epoch": 0.0283, + "grad_norm": 10.457559585571289, + "learning_rate": 4.907626262626263e-06, + "loss": 7.929391479492187, + "step": 2830 + }, + { + "epoch": 0.02835, + "grad_norm": 7.949315071105957, + "learning_rate": 4.907373737373738e-06, + "loss": 7.959058380126953, + "step": 2835 + }, + { + "epoch": 0.0284, + "grad_norm": 6.844080448150635, + "learning_rate": 4.907121212121212e-06, + "loss": 7.7963714599609375, + "step": 2840 + }, + { + "epoch": 0.02845, + "grad_norm": 8.774474143981934, + "learning_rate": 4.906868686868687e-06, + "loss": 7.892610931396485, + "step": 2845 + }, + { + "epoch": 0.0285, + "grad_norm": 7.159884929656982, + "learning_rate": 4.9066161616161625e-06, + "loss": 7.884919738769531, + "step": 2850 + }, + { + "epoch": 0.02855, + "grad_norm": 12.522878646850586, + "learning_rate": 4.906363636363637e-06, + "loss": 7.867255401611328, + "step": 2855 + }, + { + "epoch": 0.0286, + "grad_norm": 11.305131912231445, + "learning_rate": 4.906111111111112e-06, + "loss": 7.904405212402343, + "step": 2860 + }, + { + "epoch": 0.02865, + "grad_norm": 10.203548431396484, + "learning_rate": 4.905858585858586e-06, + "loss": 7.980509948730469, + "step": 2865 + }, + { + "epoch": 0.0287, + "grad_norm": 12.34007453918457, + "learning_rate": 4.905606060606061e-06, + "loss": 7.892252349853516, + "step": 2870 + }, + { + "epoch": 0.02875, + "grad_norm": 11.29151725769043, + "learning_rate": 4.905353535353536e-06, + "loss": 7.9203041076660154, + "step": 2875 + }, + { + "epoch": 0.0288, + "grad_norm": 11.179515838623047, + "learning_rate": 4.90510101010101e-06, + "loss": 7.847711181640625, + "step": 2880 + }, + { + "epoch": 0.02885, + "grad_norm": 10.366399765014648, + "learning_rate": 4.904848484848485e-06, + "loss": 7.845014953613282, + "step": 2885 + }, + { + "epoch": 0.0289, + "grad_norm": 15.523353576660156, + "learning_rate": 4.90459595959596e-06, + "loss": 7.868599700927734, + "step": 2890 + }, + { + "epoch": 0.02895, + "grad_norm": 9.0343599319458, + "learning_rate": 4.904343434343435e-06, + "loss": 7.899134826660156, + "step": 2895 + }, + { + "epoch": 0.029, + "grad_norm": 11.841954231262207, + "learning_rate": 4.90409090909091e-06, + "loss": 7.867620849609375, + "step": 2900 + }, + { + "epoch": 0.02905, + "grad_norm": 9.042365074157715, + "learning_rate": 4.903838383838384e-06, + "loss": 7.835514831542969, + "step": 2905 + }, + { + "epoch": 0.0291, + "grad_norm": 8.674809455871582, + "learning_rate": 4.903585858585859e-06, + "loss": 7.838459777832031, + "step": 2910 + }, + { + "epoch": 0.02915, + "grad_norm": 11.006317138671875, + "learning_rate": 4.9033333333333335e-06, + "loss": 7.876612854003906, + "step": 2915 + }, + { + "epoch": 0.0292, + "grad_norm": 9.22298812866211, + "learning_rate": 4.903080808080808e-06, + "loss": 7.823573303222656, + "step": 2920 + }, + { + "epoch": 0.02925, + "grad_norm": 13.188190460205078, + "learning_rate": 4.902828282828283e-06, + "loss": 7.854862213134766, + "step": 2925 + }, + { + "epoch": 0.0293, + "grad_norm": 9.189652442932129, + "learning_rate": 4.902575757575758e-06, + "loss": 7.88726577758789, + "step": 2930 + }, + { + "epoch": 0.02935, + "grad_norm": 11.630542755126953, + "learning_rate": 4.902323232323233e-06, + "loss": 7.84576416015625, + "step": 2935 + }, + { + "epoch": 0.0294, + "grad_norm": 21.05582046508789, + "learning_rate": 4.9020707070707075e-06, + "loss": 7.9663246154785154, + "step": 2940 + }, + { + "epoch": 0.02945, + "grad_norm": 10.875149726867676, + "learning_rate": 4.901818181818182e-06, + "loss": 7.875367736816406, + "step": 2945 + }, + { + "epoch": 0.0295, + "grad_norm": 11.986106872558594, + "learning_rate": 4.901565656565657e-06, + "loss": 7.928326416015625, + "step": 2950 + }, + { + "epoch": 0.02955, + "grad_norm": 10.485430717468262, + "learning_rate": 4.9013131313131314e-06, + "loss": 7.969045257568359, + "step": 2955 + }, + { + "epoch": 0.0296, + "grad_norm": 10.710868835449219, + "learning_rate": 4.901060606060606e-06, + "loss": 7.916181182861328, + "step": 2960 + }, + { + "epoch": 0.02965, + "grad_norm": 7.628809928894043, + "learning_rate": 4.900808080808081e-06, + "loss": 7.860700225830078, + "step": 2965 + }, + { + "epoch": 0.0297, + "grad_norm": 13.407437324523926, + "learning_rate": 4.900555555555556e-06, + "loss": 7.857862854003907, + "step": 2970 + }, + { + "epoch": 0.02975, + "grad_norm": 9.821551322937012, + "learning_rate": 4.900303030303031e-06, + "loss": 7.998422241210937, + "step": 2975 + }, + { + "epoch": 0.0298, + "grad_norm": 16.291223526000977, + "learning_rate": 4.9000505050505054e-06, + "loss": 7.767679595947266, + "step": 2980 + }, + { + "epoch": 0.02985, + "grad_norm": 9.692864418029785, + "learning_rate": 4.89979797979798e-06, + "loss": 7.7779685974121096, + "step": 2985 + }, + { + "epoch": 0.0299, + "grad_norm": 8.559731483459473, + "learning_rate": 4.8995454545454555e-06, + "loss": 7.768988037109375, + "step": 2990 + }, + { + "epoch": 0.02995, + "grad_norm": 11.138997077941895, + "learning_rate": 4.89929292929293e-06, + "loss": 7.858936309814453, + "step": 2995 + }, + { + "epoch": 0.03, + "grad_norm": 14.760675430297852, + "learning_rate": 4.899040404040405e-06, + "loss": 7.702169036865234, + "step": 3000 + }, + { + "epoch": 0.03005, + "grad_norm": 11.880956649780273, + "learning_rate": 4.8987878787878786e-06, + "loss": 7.877500915527344, + "step": 3005 + }, + { + "epoch": 0.0301, + "grad_norm": 9.274894714355469, + "learning_rate": 4.898535353535354e-06, + "loss": 7.837750244140625, + "step": 3010 + }, + { + "epoch": 0.03015, + "grad_norm": 11.026609420776367, + "learning_rate": 4.898282828282829e-06, + "loss": 7.882962799072265, + "step": 3015 + }, + { + "epoch": 0.0302, + "grad_norm": 9.467840194702148, + "learning_rate": 4.898030303030303e-06, + "loss": 7.864433288574219, + "step": 3020 + }, + { + "epoch": 0.03025, + "grad_norm": 10.039671897888184, + "learning_rate": 4.897777777777778e-06, + "loss": 7.764442443847656, + "step": 3025 + }, + { + "epoch": 0.0303, + "grad_norm": 14.373766899108887, + "learning_rate": 4.897525252525253e-06, + "loss": 7.7815399169921875, + "step": 3030 + }, + { + "epoch": 0.03035, + "grad_norm": 10.865833282470703, + "learning_rate": 4.897272727272728e-06, + "loss": 7.799806213378906, + "step": 3035 + }, + { + "epoch": 0.0304, + "grad_norm": 10.74267292022705, + "learning_rate": 4.897020202020203e-06, + "loss": 7.863565063476562, + "step": 3040 + }, + { + "epoch": 0.03045, + "grad_norm": 15.908251762390137, + "learning_rate": 4.896767676767677e-06, + "loss": 7.915567016601562, + "step": 3045 + }, + { + "epoch": 0.0305, + "grad_norm": 11.165153503417969, + "learning_rate": 4.896515151515152e-06, + "loss": 7.824169158935547, + "step": 3050 + }, + { + "epoch": 0.03055, + "grad_norm": 10.920608520507812, + "learning_rate": 4.8962626262626266e-06, + "loss": 7.876708984375, + "step": 3055 + }, + { + "epoch": 0.0306, + "grad_norm": 12.577484130859375, + "learning_rate": 4.896010101010101e-06, + "loss": 7.826139068603515, + "step": 3060 + }, + { + "epoch": 0.03065, + "grad_norm": 8.74162769317627, + "learning_rate": 4.895757575757576e-06, + "loss": 7.811336517333984, + "step": 3065 + }, + { + "epoch": 0.0307, + "grad_norm": 13.383956909179688, + "learning_rate": 4.895505050505051e-06, + "loss": 7.799156951904297, + "step": 3070 + }, + { + "epoch": 0.03075, + "grad_norm": 12.37629508972168, + "learning_rate": 4.895252525252526e-06, + "loss": 7.838725280761719, + "step": 3075 + }, + { + "epoch": 0.0308, + "grad_norm": 12.448808670043945, + "learning_rate": 4.8950000000000006e-06, + "loss": 7.899265289306641, + "step": 3080 + }, + { + "epoch": 0.03085, + "grad_norm": 11.424176216125488, + "learning_rate": 4.894747474747475e-06, + "loss": 7.849867248535157, + "step": 3085 + }, + { + "epoch": 0.0309, + "grad_norm": 10.070093154907227, + "learning_rate": 4.89449494949495e-06, + "loss": 7.8531547546386715, + "step": 3090 + }, + { + "epoch": 0.03095, + "grad_norm": 11.844435691833496, + "learning_rate": 4.8942424242424245e-06, + "loss": 7.892112731933594, + "step": 3095 + }, + { + "epoch": 0.031, + "grad_norm": 14.5014066696167, + "learning_rate": 4.893989898989899e-06, + "loss": 7.995967102050781, + "step": 3100 + }, + { + "epoch": 0.03105, + "grad_norm": 10.123559951782227, + "learning_rate": 4.893737373737374e-06, + "loss": 7.7989662170410154, + "step": 3105 + }, + { + "epoch": 0.0311, + "grad_norm": 6.547076225280762, + "learning_rate": 4.893484848484849e-06, + "loss": 7.9394691467285154, + "step": 3110 + }, + { + "epoch": 0.03115, + "grad_norm": 8.729823112487793, + "learning_rate": 4.893232323232324e-06, + "loss": 7.886512756347656, + "step": 3115 + }, + { + "epoch": 0.0312, + "grad_norm": 11.189919471740723, + "learning_rate": 4.8929797979797985e-06, + "loss": 7.83263931274414, + "step": 3120 + }, + { + "epoch": 0.03125, + "grad_norm": 9.90947437286377, + "learning_rate": 4.892727272727273e-06, + "loss": 7.826506042480469, + "step": 3125 + }, + { + "epoch": 0.0313, + "grad_norm": 10.01137924194336, + "learning_rate": 4.892474747474748e-06, + "loss": 7.817379760742187, + "step": 3130 + }, + { + "epoch": 0.03135, + "grad_norm": 14.131281852722168, + "learning_rate": 4.892222222222222e-06, + "loss": 7.8085884094238285, + "step": 3135 + }, + { + "epoch": 0.0314, + "grad_norm": 17.40117835998535, + "learning_rate": 4.891969696969697e-06, + "loss": 7.877810668945313, + "step": 3140 + }, + { + "epoch": 0.03145, + "grad_norm": 9.756576538085938, + "learning_rate": 4.891717171717172e-06, + "loss": 7.851835632324219, + "step": 3145 + }, + { + "epoch": 0.0315, + "grad_norm": 13.252785682678223, + "learning_rate": 4.891464646464647e-06, + "loss": 7.835446166992187, + "step": 3150 + }, + { + "epoch": 0.03155, + "grad_norm": 17.378522872924805, + "learning_rate": 4.891212121212122e-06, + "loss": 7.894921112060547, + "step": 3155 + }, + { + "epoch": 0.0316, + "grad_norm": 13.091304779052734, + "learning_rate": 4.890959595959596e-06, + "loss": 7.817993927001953, + "step": 3160 + }, + { + "epoch": 0.03165, + "grad_norm": 11.820381164550781, + "learning_rate": 4.890707070707071e-06, + "loss": 7.849030303955078, + "step": 3165 + }, + { + "epoch": 0.0317, + "grad_norm": 8.794419288635254, + "learning_rate": 4.890454545454546e-06, + "loss": 7.851338195800781, + "step": 3170 + }, + { + "epoch": 0.03175, + "grad_norm": 13.124003410339355, + "learning_rate": 4.89020202020202e-06, + "loss": 7.814474487304688, + "step": 3175 + }, + { + "epoch": 0.0318, + "grad_norm": 26.210655212402344, + "learning_rate": 4.889949494949495e-06, + "loss": 7.9348876953125, + "step": 3180 + }, + { + "epoch": 0.03185, + "grad_norm": 7.255050182342529, + "learning_rate": 4.8896969696969695e-06, + "loss": 7.86275634765625, + "step": 3185 + }, + { + "epoch": 0.0319, + "grad_norm": 12.721116065979004, + "learning_rate": 4.889444444444445e-06, + "loss": 7.847522735595703, + "step": 3190 + }, + { + "epoch": 0.03195, + "grad_norm": 13.578813552856445, + "learning_rate": 4.88919191919192e-06, + "loss": 7.8977783203125, + "step": 3195 + }, + { + "epoch": 0.032, + "grad_norm": 13.801925659179688, + "learning_rate": 4.888939393939394e-06, + "loss": 7.824278259277344, + "step": 3200 + }, + { + "epoch": 0.03205, + "grad_norm": 13.033172607421875, + "learning_rate": 4.888686868686869e-06, + "loss": 7.8088737487792965, + "step": 3205 + }, + { + "epoch": 0.0321, + "grad_norm": 12.746626853942871, + "learning_rate": 4.888434343434344e-06, + "loss": 7.7941162109375, + "step": 3210 + }, + { + "epoch": 0.03215, + "grad_norm": 16.548858642578125, + "learning_rate": 4.888181818181819e-06, + "loss": 7.633403015136719, + "step": 3215 + }, + { + "epoch": 0.0322, + "grad_norm": 14.139762878417969, + "learning_rate": 4.887929292929294e-06, + "loss": 7.902616882324219, + "step": 3220 + }, + { + "epoch": 0.03225, + "grad_norm": 12.207056999206543, + "learning_rate": 4.887676767676768e-06, + "loss": 7.9230804443359375, + "step": 3225 + }, + { + "epoch": 0.0323, + "grad_norm": 15.276846885681152, + "learning_rate": 4.887424242424243e-06, + "loss": 7.835971069335938, + "step": 3230 + }, + { + "epoch": 0.03235, + "grad_norm": 10.172354698181152, + "learning_rate": 4.8871717171717175e-06, + "loss": 7.786913299560547, + "step": 3235 + }, + { + "epoch": 0.0324, + "grad_norm": 10.403327941894531, + "learning_rate": 4.886919191919192e-06, + "loss": 7.803310394287109, + "step": 3240 + }, + { + "epoch": 0.03245, + "grad_norm": 12.75370979309082, + "learning_rate": 4.886666666666668e-06, + "loss": 7.826334381103516, + "step": 3245 + }, + { + "epoch": 0.0325, + "grad_norm": 9.607781410217285, + "learning_rate": 4.886414141414142e-06, + "loss": 7.865657806396484, + "step": 3250 + }, + { + "epoch": 0.03255, + "grad_norm": 12.135005950927734, + "learning_rate": 4.886161616161617e-06, + "loss": 7.838246154785156, + "step": 3255 + }, + { + "epoch": 0.0326, + "grad_norm": 11.085494041442871, + "learning_rate": 4.8859090909090915e-06, + "loss": 7.838145446777344, + "step": 3260 + }, + { + "epoch": 0.03265, + "grad_norm": 7.834097862243652, + "learning_rate": 4.885656565656566e-06, + "loss": 7.820167541503906, + "step": 3265 + }, + { + "epoch": 0.0327, + "grad_norm": 13.46898078918457, + "learning_rate": 4.885404040404041e-06, + "loss": 7.819593048095703, + "step": 3270 + }, + { + "epoch": 0.03275, + "grad_norm": 9.230295181274414, + "learning_rate": 4.885151515151515e-06, + "loss": 7.825096130371094, + "step": 3275 + }, + { + "epoch": 0.0328, + "grad_norm": 12.399385452270508, + "learning_rate": 4.88489898989899e-06, + "loss": 7.8096565246582035, + "step": 3280 + }, + { + "epoch": 0.03285, + "grad_norm": 8.679828643798828, + "learning_rate": 4.8846464646464655e-06, + "loss": 7.786044311523438, + "step": 3285 + }, + { + "epoch": 0.0329, + "grad_norm": 12.155028343200684, + "learning_rate": 4.88439393939394e-06, + "loss": 7.740892028808593, + "step": 3290 + }, + { + "epoch": 0.03295, + "grad_norm": 9.502835273742676, + "learning_rate": 4.884141414141415e-06, + "loss": 7.781934356689453, + "step": 3295 + }, + { + "epoch": 0.033, + "grad_norm": 11.309555053710938, + "learning_rate": 4.883888888888889e-06, + "loss": 7.623343658447266, + "step": 3300 + }, + { + "epoch": 0.03305, + "grad_norm": 10.365216255187988, + "learning_rate": 4.883636363636364e-06, + "loss": 7.831349945068359, + "step": 3305 + }, + { + "epoch": 0.0331, + "grad_norm": 14.26781177520752, + "learning_rate": 4.883383838383839e-06, + "loss": 7.744242858886719, + "step": 3310 + }, + { + "epoch": 0.03315, + "grad_norm": 10.67682933807373, + "learning_rate": 4.883131313131313e-06, + "loss": 7.791787719726562, + "step": 3315 + }, + { + "epoch": 0.0332, + "grad_norm": 12.412944793701172, + "learning_rate": 4.882878787878788e-06, + "loss": 7.76440658569336, + "step": 3320 + }, + { + "epoch": 0.03325, + "grad_norm": 9.830862998962402, + "learning_rate": 4.882626262626263e-06, + "loss": 7.769853973388672, + "step": 3325 + }, + { + "epoch": 0.0333, + "grad_norm": 16.250930786132812, + "learning_rate": 4.882373737373738e-06, + "loss": 7.786974334716797, + "step": 3330 + }, + { + "epoch": 0.03335, + "grad_norm": 9.169273376464844, + "learning_rate": 4.882121212121213e-06, + "loss": 7.778826904296875, + "step": 3335 + }, + { + "epoch": 0.0334, + "grad_norm": 13.367536544799805, + "learning_rate": 4.881868686868687e-06, + "loss": 7.774156951904297, + "step": 3340 + }, + { + "epoch": 0.03345, + "grad_norm": 37.796852111816406, + "learning_rate": 4.881616161616162e-06, + "loss": 7.740109252929687, + "step": 3345 + }, + { + "epoch": 0.0335, + "grad_norm": 16.945404052734375, + "learning_rate": 4.8813636363636365e-06, + "loss": 7.7668098449707035, + "step": 3350 + }, + { + "epoch": 0.03355, + "grad_norm": 13.706332206726074, + "learning_rate": 4.881111111111111e-06, + "loss": 7.816128540039062, + "step": 3355 + }, + { + "epoch": 0.0336, + "grad_norm": 7.511087417602539, + "learning_rate": 4.880858585858586e-06, + "loss": 7.75469970703125, + "step": 3360 + }, + { + "epoch": 0.03365, + "grad_norm": 11.351165771484375, + "learning_rate": 4.880606060606061e-06, + "loss": 7.7419486999511715, + "step": 3365 + }, + { + "epoch": 0.0337, + "grad_norm": 10.796441078186035, + "learning_rate": 4.880353535353536e-06, + "loss": 7.771745300292968, + "step": 3370 + }, + { + "epoch": 0.03375, + "grad_norm": 16.676347732543945, + "learning_rate": 4.8801010101010105e-06, + "loss": 7.580793762207032, + "step": 3375 + }, + { + "epoch": 0.0338, + "grad_norm": 15.298117637634277, + "learning_rate": 4.879848484848485e-06, + "loss": 7.8134208679199215, + "step": 3380 + }, + { + "epoch": 0.03385, + "grad_norm": 12.955474853515625, + "learning_rate": 4.879595959595961e-06, + "loss": 7.789730834960937, + "step": 3385 + }, + { + "epoch": 0.0339, + "grad_norm": 10.590466499328613, + "learning_rate": 4.879343434343434e-06, + "loss": 7.814054870605469, + "step": 3390 + }, + { + "epoch": 0.03395, + "grad_norm": 9.768908500671387, + "learning_rate": 4.879090909090909e-06, + "loss": 7.757822418212891, + "step": 3395 + }, + { + "epoch": 0.034, + "grad_norm": 14.224404335021973, + "learning_rate": 4.878838383838384e-06, + "loss": 7.782001495361328, + "step": 3400 + }, + { + "epoch": 0.03405, + "grad_norm": 11.204718589782715, + "learning_rate": 4.878585858585859e-06, + "loss": 7.794731140136719, + "step": 3405 + }, + { + "epoch": 0.0341, + "grad_norm": 15.120346069335938, + "learning_rate": 4.878333333333334e-06, + "loss": 7.779092407226562, + "step": 3410 + }, + { + "epoch": 0.03415, + "grad_norm": 8.615245819091797, + "learning_rate": 4.878080808080808e-06, + "loss": 7.713128662109375, + "step": 3415 + }, + { + "epoch": 0.0342, + "grad_norm": 11.683296203613281, + "learning_rate": 4.877828282828283e-06, + "loss": 7.730987548828125, + "step": 3420 + }, + { + "epoch": 0.03425, + "grad_norm": 12.098353385925293, + "learning_rate": 4.8775757575757585e-06, + "loss": 7.7273681640625, + "step": 3425 + }, + { + "epoch": 0.0343, + "grad_norm": 15.773181915283203, + "learning_rate": 4.877323232323233e-06, + "loss": 7.8121803283691404, + "step": 3430 + }, + { + "epoch": 0.03435, + "grad_norm": 13.781766891479492, + "learning_rate": 4.877070707070708e-06, + "loss": 7.811567687988282, + "step": 3435 + }, + { + "epoch": 0.0344, + "grad_norm": 13.988224983215332, + "learning_rate": 4.876818181818182e-06, + "loss": 7.798973083496094, + "step": 3440 + }, + { + "epoch": 0.03445, + "grad_norm": 12.717635154724121, + "learning_rate": 4.876565656565657e-06, + "loss": 7.812104797363281, + "step": 3445 + }, + { + "epoch": 0.0345, + "grad_norm": 12.864235877990723, + "learning_rate": 4.876313131313132e-06, + "loss": 7.818812561035156, + "step": 3450 + }, + { + "epoch": 0.03455, + "grad_norm": 13.872276306152344, + "learning_rate": 4.876060606060606e-06, + "loss": 7.742041778564453, + "step": 3455 + }, + { + "epoch": 0.0346, + "grad_norm": 44.00494384765625, + "learning_rate": 4.875808080808081e-06, + "loss": 7.885556030273437, + "step": 3460 + }, + { + "epoch": 0.03465, + "grad_norm": 11.197190284729004, + "learning_rate": 4.875555555555556e-06, + "loss": 7.77191162109375, + "step": 3465 + }, + { + "epoch": 0.0347, + "grad_norm": 9.688435554504395, + "learning_rate": 4.875303030303031e-06, + "loss": 7.770354461669922, + "step": 3470 + }, + { + "epoch": 0.03475, + "grad_norm": 13.284727096557617, + "learning_rate": 4.875050505050506e-06, + "loss": 7.782114410400391, + "step": 3475 + }, + { + "epoch": 0.0348, + "grad_norm": 9.348957061767578, + "learning_rate": 4.87479797979798e-06, + "loss": 7.729949951171875, + "step": 3480 + }, + { + "epoch": 0.03485, + "grad_norm": 15.270503044128418, + "learning_rate": 4.874545454545455e-06, + "loss": 7.761311340332031, + "step": 3485 + }, + { + "epoch": 0.0349, + "grad_norm": 11.449048042297363, + "learning_rate": 4.8742929292929296e-06, + "loss": 7.716648101806641, + "step": 3490 + }, + { + "epoch": 0.03495, + "grad_norm": 13.489399909973145, + "learning_rate": 4.874040404040404e-06, + "loss": 7.776431274414063, + "step": 3495 + }, + { + "epoch": 0.035, + "grad_norm": 13.304274559020996, + "learning_rate": 4.873787878787879e-06, + "loss": 7.819698333740234, + "step": 3500 + }, + { + "epoch": 0.03505, + "grad_norm": 8.34121036529541, + "learning_rate": 4.873535353535354e-06, + "loss": 7.81788330078125, + "step": 3505 + }, + { + "epoch": 0.0351, + "grad_norm": 16.415550231933594, + "learning_rate": 4.873282828282829e-06, + "loss": 7.787786865234375, + "step": 3510 + }, + { + "epoch": 0.03515, + "grad_norm": 16.252601623535156, + "learning_rate": 4.8730303030303036e-06, + "loss": 7.6178230285644535, + "step": 3515 + }, + { + "epoch": 0.0352, + "grad_norm": 19.282560348510742, + "learning_rate": 4.872777777777778e-06, + "loss": 7.788005828857422, + "step": 3520 + }, + { + "epoch": 0.03525, + "grad_norm": 9.406903266906738, + "learning_rate": 4.872525252525253e-06, + "loss": 7.751939392089843, + "step": 3525 + }, + { + "epoch": 0.0353, + "grad_norm": 12.081809997558594, + "learning_rate": 4.8722727272727274e-06, + "loss": 7.71480712890625, + "step": 3530 + }, + { + "epoch": 0.03535, + "grad_norm": 14.101256370544434, + "learning_rate": 4.872020202020202e-06, + "loss": 7.75115966796875, + "step": 3535 + }, + { + "epoch": 0.0354, + "grad_norm": 12.560755729675293, + "learning_rate": 4.871767676767677e-06, + "loss": 7.680768585205078, + "step": 3540 + }, + { + "epoch": 0.03545, + "grad_norm": 11.515758514404297, + "learning_rate": 4.871515151515152e-06, + "loss": 7.749300384521485, + "step": 3545 + }, + { + "epoch": 0.0355, + "grad_norm": 14.9647798538208, + "learning_rate": 4.871262626262627e-06, + "loss": 7.757780456542969, + "step": 3550 + }, + { + "epoch": 0.03555, + "grad_norm": 9.771180152893066, + "learning_rate": 4.8710101010101014e-06, + "loss": 7.757294464111328, + "step": 3555 + }, + { + "epoch": 0.0356, + "grad_norm": 13.884908676147461, + "learning_rate": 4.870757575757576e-06, + "loss": 7.759504699707032, + "step": 3560 + }, + { + "epoch": 0.03565, + "grad_norm": 12.535131454467773, + "learning_rate": 4.870505050505051e-06, + "loss": 7.782355499267578, + "step": 3565 + }, + { + "epoch": 0.0357, + "grad_norm": 12.51498031616211, + "learning_rate": 4.870252525252525e-06, + "loss": 7.738442993164062, + "step": 3570 + }, + { + "epoch": 0.03575, + "grad_norm": 15.00146770477295, + "learning_rate": 4.87e-06, + "loss": 7.756126403808594, + "step": 3575 + }, + { + "epoch": 0.0358, + "grad_norm": 15.180660247802734, + "learning_rate": 4.869747474747475e-06, + "loss": 7.742086791992188, + "step": 3580 + }, + { + "epoch": 0.03585, + "grad_norm": 8.391596794128418, + "learning_rate": 4.86949494949495e-06, + "loss": 7.743172454833984, + "step": 3585 + }, + { + "epoch": 0.0359, + "grad_norm": 11.850814819335938, + "learning_rate": 4.869242424242425e-06, + "loss": 7.737158966064453, + "step": 3590 + }, + { + "epoch": 0.03595, + "grad_norm": 5.815839767456055, + "learning_rate": 4.868989898989899e-06, + "loss": 7.836625671386718, + "step": 3595 + }, + { + "epoch": 0.036, + "grad_norm": 11.614660263061523, + "learning_rate": 4.868737373737374e-06, + "loss": 7.730132293701172, + "step": 3600 + }, + { + "epoch": 0.03605, + "grad_norm": 14.573387145996094, + "learning_rate": 4.8684848484848494e-06, + "loss": 7.728646087646484, + "step": 3605 + }, + { + "epoch": 0.0361, + "grad_norm": 13.125894546508789, + "learning_rate": 4.868232323232324e-06, + "loss": 7.785981750488281, + "step": 3610 + }, + { + "epoch": 0.03615, + "grad_norm": 14.153606414794922, + "learning_rate": 4.867979797979798e-06, + "loss": 7.760801696777344, + "step": 3615 + }, + { + "epoch": 0.0362, + "grad_norm": 12.918556213378906, + "learning_rate": 4.8677272727272725e-06, + "loss": 7.75940170288086, + "step": 3620 + }, + { + "epoch": 0.03625, + "grad_norm": 10.163634300231934, + "learning_rate": 4.867474747474748e-06, + "loss": 7.8027702331542965, + "step": 3625 + }, + { + "epoch": 0.0363, + "grad_norm": 15.58565902709961, + "learning_rate": 4.867222222222223e-06, + "loss": 7.707752227783203, + "step": 3630 + }, + { + "epoch": 0.03635, + "grad_norm": 13.527798652648926, + "learning_rate": 4.866969696969697e-06, + "loss": 7.739234924316406, + "step": 3635 + }, + { + "epoch": 0.0364, + "grad_norm": 35.88656234741211, + "learning_rate": 4.866717171717172e-06, + "loss": 7.563335418701172, + "step": 3640 + }, + { + "epoch": 0.03645, + "grad_norm": 10.77745532989502, + "learning_rate": 4.866464646464647e-06, + "loss": 7.723351287841797, + "step": 3645 + }, + { + "epoch": 0.0365, + "grad_norm": 17.415369033813477, + "learning_rate": 4.866212121212122e-06, + "loss": 7.711228942871093, + "step": 3650 + }, + { + "epoch": 0.03655, + "grad_norm": 12.007569313049316, + "learning_rate": 4.865959595959597e-06, + "loss": 7.737602996826172, + "step": 3655 + }, + { + "epoch": 0.0366, + "grad_norm": 18.992454528808594, + "learning_rate": 4.865707070707071e-06, + "loss": 7.739046478271485, + "step": 3660 + }, + { + "epoch": 0.03665, + "grad_norm": 13.618474006652832, + "learning_rate": 4.865454545454546e-06, + "loss": 7.712057495117188, + "step": 3665 + }, + { + "epoch": 0.0367, + "grad_norm": 10.757424354553223, + "learning_rate": 4.8652020202020205e-06, + "loss": 7.73437728881836, + "step": 3670 + }, + { + "epoch": 0.03675, + "grad_norm": 12.903244018554688, + "learning_rate": 4.864949494949495e-06, + "loss": 7.683928680419922, + "step": 3675 + }, + { + "epoch": 0.0368, + "grad_norm": 12.843277931213379, + "learning_rate": 4.864696969696971e-06, + "loss": 7.620243835449219, + "step": 3680 + }, + { + "epoch": 0.03685, + "grad_norm": 17.190006256103516, + "learning_rate": 4.864444444444445e-06, + "loss": 7.738597106933594, + "step": 3685 + }, + { + "epoch": 0.0369, + "grad_norm": 13.910325050354004, + "learning_rate": 4.86419191919192e-06, + "loss": 7.7253364562988285, + "step": 3690 + }, + { + "epoch": 0.03695, + "grad_norm": 13.186540603637695, + "learning_rate": 4.8639393939393945e-06, + "loss": 7.701548004150391, + "step": 3695 + }, + { + "epoch": 0.037, + "grad_norm": 13.836938858032227, + "learning_rate": 4.863686868686869e-06, + "loss": 7.756971740722657, + "step": 3700 + }, + { + "epoch": 0.03705, + "grad_norm": 18.493896484375, + "learning_rate": 4.863434343434344e-06, + "loss": 7.649756622314453, + "step": 3705 + }, + { + "epoch": 0.0371, + "grad_norm": 16.073001861572266, + "learning_rate": 4.863181818181818e-06, + "loss": 7.735836029052734, + "step": 3710 + }, + { + "epoch": 0.03715, + "grad_norm": 12.871485710144043, + "learning_rate": 4.862929292929293e-06, + "loss": 7.784506988525391, + "step": 3715 + }, + { + "epoch": 0.0372, + "grad_norm": 13.114919662475586, + "learning_rate": 4.8626767676767685e-06, + "loss": 7.7187034606933596, + "step": 3720 + }, + { + "epoch": 0.03725, + "grad_norm": 11.471478462219238, + "learning_rate": 4.862424242424243e-06, + "loss": 7.707196044921875, + "step": 3725 + }, + { + "epoch": 0.0373, + "grad_norm": 14.614140510559082, + "learning_rate": 4.862171717171718e-06, + "loss": 7.726932525634766, + "step": 3730 + }, + { + "epoch": 0.03735, + "grad_norm": 13.066116333007812, + "learning_rate": 4.861919191919192e-06, + "loss": 7.75953369140625, + "step": 3735 + }, + { + "epoch": 0.0374, + "grad_norm": 16.491609573364258, + "learning_rate": 4.861666666666667e-06, + "loss": 7.751536560058594, + "step": 3740 + }, + { + "epoch": 0.03745, + "grad_norm": 14.286236763000488, + "learning_rate": 4.861414141414142e-06, + "loss": 7.713172912597656, + "step": 3745 + }, + { + "epoch": 0.0375, + "grad_norm": 8.426702499389648, + "learning_rate": 4.861161616161616e-06, + "loss": 7.841518402099609, + "step": 3750 + }, + { + "epoch": 0.03755, + "grad_norm": 18.59311294555664, + "learning_rate": 4.860909090909091e-06, + "loss": 7.849253845214844, + "step": 3755 + }, + { + "epoch": 0.0376, + "grad_norm": 13.200291633605957, + "learning_rate": 4.860656565656566e-06, + "loss": 7.809975433349609, + "step": 3760 + }, + { + "epoch": 0.03765, + "grad_norm": 12.900741577148438, + "learning_rate": 4.860404040404041e-06, + "loss": 7.745358276367187, + "step": 3765 + }, + { + "epoch": 0.0377, + "grad_norm": 14.837626457214355, + "learning_rate": 4.860151515151516e-06, + "loss": 7.759149169921875, + "step": 3770 + }, + { + "epoch": 0.03775, + "grad_norm": 11.645899772644043, + "learning_rate": 4.85989898989899e-06, + "loss": 7.754624938964843, + "step": 3775 + }, + { + "epoch": 0.0378, + "grad_norm": 15.362348556518555, + "learning_rate": 4.859646464646465e-06, + "loss": 7.73228759765625, + "step": 3780 + }, + { + "epoch": 0.03785, + "grad_norm": 17.280366897583008, + "learning_rate": 4.8593939393939395e-06, + "loss": 7.691263580322266, + "step": 3785 + }, + { + "epoch": 0.0379, + "grad_norm": 14.246164321899414, + "learning_rate": 4.859141414141414e-06, + "loss": 7.673373413085938, + "step": 3790 + }, + { + "epoch": 0.03795, + "grad_norm": 14.515605926513672, + "learning_rate": 4.858888888888889e-06, + "loss": 7.734326934814453, + "step": 3795 + }, + { + "epoch": 0.038, + "grad_norm": 12.578495025634766, + "learning_rate": 4.858636363636364e-06, + "loss": 7.653805541992187, + "step": 3800 + }, + { + "epoch": 0.03805, + "grad_norm": 15.745588302612305, + "learning_rate": 4.858383838383839e-06, + "loss": 7.675619506835938, + "step": 3805 + }, + { + "epoch": 0.0381, + "grad_norm": 12.859699249267578, + "learning_rate": 4.8581313131313135e-06, + "loss": 7.747759246826172, + "step": 3810 + }, + { + "epoch": 0.03815, + "grad_norm": 16.589061737060547, + "learning_rate": 4.857878787878788e-06, + "loss": 7.6911369323730465, + "step": 3815 + }, + { + "epoch": 0.0382, + "grad_norm": 11.842117309570312, + "learning_rate": 4.857626262626264e-06, + "loss": 7.714280700683593, + "step": 3820 + }, + { + "epoch": 0.03825, + "grad_norm": 12.489605903625488, + "learning_rate": 4.857373737373738e-06, + "loss": 7.73913803100586, + "step": 3825 + }, + { + "epoch": 0.0383, + "grad_norm": 16.863588333129883, + "learning_rate": 4.857121212121213e-06, + "loss": 7.719682312011718, + "step": 3830 + }, + { + "epoch": 0.03835, + "grad_norm": 13.52422046661377, + "learning_rate": 4.856868686868687e-06, + "loss": 7.680511474609375, + "step": 3835 + }, + { + "epoch": 0.0384, + "grad_norm": 10.945335388183594, + "learning_rate": 4.856616161616162e-06, + "loss": 7.664241790771484, + "step": 3840 + }, + { + "epoch": 0.03845, + "grad_norm": 15.795232772827148, + "learning_rate": 4.856363636363637e-06, + "loss": 7.6729286193847654, + "step": 3845 + }, + { + "epoch": 0.0385, + "grad_norm": 13.654508590698242, + "learning_rate": 4.856111111111111e-06, + "loss": 7.665700531005859, + "step": 3850 + }, + { + "epoch": 0.03855, + "grad_norm": 14.343942642211914, + "learning_rate": 4.855858585858586e-06, + "loss": 7.692675018310547, + "step": 3855 + }, + { + "epoch": 0.0386, + "grad_norm": 13.14936351776123, + "learning_rate": 4.8556060606060615e-06, + "loss": 7.710245513916016, + "step": 3860 + }, + { + "epoch": 0.03865, + "grad_norm": 16.306766510009766, + "learning_rate": 4.855353535353536e-06, + "loss": 7.531985473632813, + "step": 3865 + }, + { + "epoch": 0.0387, + "grad_norm": 13.651342391967773, + "learning_rate": 4.855101010101011e-06, + "loss": 7.626345825195313, + "step": 3870 + }, + { + "epoch": 0.03875, + "grad_norm": 11.634018898010254, + "learning_rate": 4.854848484848485e-06, + "loss": 7.65216293334961, + "step": 3875 + }, + { + "epoch": 0.0388, + "grad_norm": 17.27486228942871, + "learning_rate": 4.85459595959596e-06, + "loss": 7.7066902160644535, + "step": 3880 + }, + { + "epoch": 0.03885, + "grad_norm": 11.476853370666504, + "learning_rate": 4.854343434343435e-06, + "loss": 7.699725341796875, + "step": 3885 + }, + { + "epoch": 0.0389, + "grad_norm": 17.949369430541992, + "learning_rate": 4.854090909090909e-06, + "loss": 7.683647155761719, + "step": 3890 + }, + { + "epoch": 0.03895, + "grad_norm": 13.202509880065918, + "learning_rate": 4.853838383838384e-06, + "loss": 7.888057708740234, + "step": 3895 + }, + { + "epoch": 0.039, + "grad_norm": 12.673317909240723, + "learning_rate": 4.853585858585859e-06, + "loss": 7.70223388671875, + "step": 3900 + }, + { + "epoch": 0.03905, + "grad_norm": 15.716659545898438, + "learning_rate": 4.853333333333334e-06, + "loss": 7.728702545166016, + "step": 3905 + }, + { + "epoch": 0.0391, + "grad_norm": 13.93894100189209, + "learning_rate": 4.853080808080809e-06, + "loss": 7.722405242919922, + "step": 3910 + }, + { + "epoch": 0.03915, + "grad_norm": 14.372413635253906, + "learning_rate": 4.852828282828283e-06, + "loss": 7.714093017578125, + "step": 3915 + }, + { + "epoch": 0.0392, + "grad_norm": 12.8680419921875, + "learning_rate": 4.852575757575758e-06, + "loss": 7.681906890869141, + "step": 3920 + }, + { + "epoch": 0.03925, + "grad_norm": 19.018709182739258, + "learning_rate": 4.8523232323232325e-06, + "loss": 7.779640197753906, + "step": 3925 + }, + { + "epoch": 0.0393, + "grad_norm": 10.585620880126953, + "learning_rate": 4.852070707070707e-06, + "loss": 7.666333770751953, + "step": 3930 + }, + { + "epoch": 0.03935, + "grad_norm": 16.859939575195312, + "learning_rate": 4.851818181818182e-06, + "loss": 7.710064697265625, + "step": 3935 + }, + { + "epoch": 0.0394, + "grad_norm": 11.206755638122559, + "learning_rate": 4.851565656565657e-06, + "loss": 7.592276000976563, + "step": 3940 + }, + { + "epoch": 0.03945, + "grad_norm": 18.729412078857422, + "learning_rate": 4.851313131313132e-06, + "loss": 7.3603462219238285, + "step": 3945 + }, + { + "epoch": 0.0395, + "grad_norm": 19.423795700073242, + "learning_rate": 4.8510606060606065e-06, + "loss": 7.782301330566407, + "step": 3950 + }, + { + "epoch": 0.03955, + "grad_norm": 13.597569465637207, + "learning_rate": 4.850808080808081e-06, + "loss": 7.724127197265625, + "step": 3955 + }, + { + "epoch": 0.0396, + "grad_norm": 15.545955657958984, + "learning_rate": 4.850555555555556e-06, + "loss": 7.724192810058594, + "step": 3960 + }, + { + "epoch": 0.03965, + "grad_norm": 16.692977905273438, + "learning_rate": 4.8503030303030304e-06, + "loss": 7.781207275390625, + "step": 3965 + }, + { + "epoch": 0.0397, + "grad_norm": 12.277082443237305, + "learning_rate": 4.850050505050505e-06, + "loss": 7.832563781738282, + "step": 3970 + }, + { + "epoch": 0.03975, + "grad_norm": 14.98580265045166, + "learning_rate": 4.84979797979798e-06, + "loss": 7.665301513671875, + "step": 3975 + }, + { + "epoch": 0.0398, + "grad_norm": 15.455510139465332, + "learning_rate": 4.849545454545455e-06, + "loss": 7.700946807861328, + "step": 3980 + }, + { + "epoch": 0.03985, + "grad_norm": 14.547542572021484, + "learning_rate": 4.84929292929293e-06, + "loss": 7.641242218017578, + "step": 3985 + }, + { + "epoch": 0.0399, + "grad_norm": 14.083468437194824, + "learning_rate": 4.849040404040404e-06, + "loss": 7.6455078125, + "step": 3990 + }, + { + "epoch": 0.03995, + "grad_norm": 14.966310501098633, + "learning_rate": 4.848787878787879e-06, + "loss": 7.675653076171875, + "step": 3995 + }, + { + "epoch": 0.04, + "grad_norm": 17.443546295166016, + "learning_rate": 4.848535353535354e-06, + "loss": 7.711181640625, + "step": 4000 + }, + { + "epoch": 0.04005, + "grad_norm": 19.981847763061523, + "learning_rate": 4.848282828282828e-06, + "loss": 7.633578491210938, + "step": 4005 + }, + { + "epoch": 0.0401, + "grad_norm": 17.87622833251953, + "learning_rate": 4.848030303030303e-06, + "loss": 7.610812377929688, + "step": 4010 + }, + { + "epoch": 0.04015, + "grad_norm": 13.932934761047363, + "learning_rate": 4.8477777777777776e-06, + "loss": 7.638751220703125, + "step": 4015 + }, + { + "epoch": 0.0402, + "grad_norm": 16.35774803161621, + "learning_rate": 4.847525252525253e-06, + "loss": 7.602130889892578, + "step": 4020 + }, + { + "epoch": 0.04025, + "grad_norm": 27.973905563354492, + "learning_rate": 4.847272727272728e-06, + "loss": 7.621735382080078, + "step": 4025 + }, + { + "epoch": 0.0403, + "grad_norm": 19.40078353881836, + "learning_rate": 4.847020202020202e-06, + "loss": 7.620541381835937, + "step": 4030 + }, + { + "epoch": 0.04035, + "grad_norm": 16.58570671081543, + "learning_rate": 4.846767676767677e-06, + "loss": 7.641993713378906, + "step": 4035 + }, + { + "epoch": 0.0404, + "grad_norm": 13.258164405822754, + "learning_rate": 4.846515151515152e-06, + "loss": 7.647190093994141, + "step": 4040 + }, + { + "epoch": 0.04045, + "grad_norm": 11.842677116394043, + "learning_rate": 4.846262626262627e-06, + "loss": 7.694181823730469, + "step": 4045 + }, + { + "epoch": 0.0405, + "grad_norm": 13.986248016357422, + "learning_rate": 4.846010101010102e-06, + "loss": 7.566976928710938, + "step": 4050 + }, + { + "epoch": 0.04055, + "grad_norm": 17.84900665283203, + "learning_rate": 4.8457575757575755e-06, + "loss": 7.714181518554687, + "step": 4055 + }, + { + "epoch": 0.0406, + "grad_norm": 10.624317169189453, + "learning_rate": 4.845505050505051e-06, + "loss": 7.6819923400878904, + "step": 4060 + }, + { + "epoch": 0.04065, + "grad_norm": 18.679351806640625, + "learning_rate": 4.8452525252525256e-06, + "loss": 7.698751068115234, + "step": 4065 + }, + { + "epoch": 0.0407, + "grad_norm": 15.299365997314453, + "learning_rate": 4.845e-06, + "loss": 7.615534973144531, + "step": 4070 + }, + { + "epoch": 0.04075, + "grad_norm": 14.55405044555664, + "learning_rate": 4.844747474747476e-06, + "loss": 7.635582733154297, + "step": 4075 + }, + { + "epoch": 0.0408, + "grad_norm": 13.300416946411133, + "learning_rate": 4.84449494949495e-06, + "loss": 7.6629280090332035, + "step": 4080 + }, + { + "epoch": 0.04085, + "grad_norm": 13.400941848754883, + "learning_rate": 4.844242424242425e-06, + "loss": 7.692926025390625, + "step": 4085 + }, + { + "epoch": 0.0409, + "grad_norm": 14.231049537658691, + "learning_rate": 4.8439898989898996e-06, + "loss": 7.654347229003906, + "step": 4090 + }, + { + "epoch": 0.04095, + "grad_norm": 12.940564155578613, + "learning_rate": 4.843737373737374e-06, + "loss": 7.706210327148438, + "step": 4095 + }, + { + "epoch": 0.041, + "grad_norm": 16.55497169494629, + "learning_rate": 4.843484848484849e-06, + "loss": 7.6326957702636715, + "step": 4100 + }, + { + "epoch": 0.04105, + "grad_norm": 13.479339599609375, + "learning_rate": 4.8432323232323235e-06, + "loss": 7.657125091552734, + "step": 4105 + }, + { + "epoch": 0.0411, + "grad_norm": 13.092320442199707, + "learning_rate": 4.842979797979798e-06, + "loss": 7.640754699707031, + "step": 4110 + }, + { + "epoch": 0.04115, + "grad_norm": 13.751302719116211, + "learning_rate": 4.8427272727272736e-06, + "loss": 7.686354064941407, + "step": 4115 + }, + { + "epoch": 0.0412, + "grad_norm": 15.210939407348633, + "learning_rate": 4.842474747474748e-06, + "loss": 7.665440368652344, + "step": 4120 + }, + { + "epoch": 0.04125, + "grad_norm": 16.909770965576172, + "learning_rate": 4.842222222222223e-06, + "loss": 7.6381683349609375, + "step": 4125 + }, + { + "epoch": 0.0413, + "grad_norm": 12.866313934326172, + "learning_rate": 4.8419696969696975e-06, + "loss": 7.716291809082032, + "step": 4130 + }, + { + "epoch": 0.04135, + "grad_norm": 19.399578094482422, + "learning_rate": 4.841717171717172e-06, + "loss": 7.6649169921875, + "step": 4135 + }, + { + "epoch": 0.0414, + "grad_norm": 12.714970588684082, + "learning_rate": 4.841464646464647e-06, + "loss": 7.613687133789062, + "step": 4140 + }, + { + "epoch": 0.04145, + "grad_norm": 14.162364959716797, + "learning_rate": 4.841212121212121e-06, + "loss": 7.625340270996094, + "step": 4145 + }, + { + "epoch": 0.0415, + "grad_norm": 10.602949142456055, + "learning_rate": 4.840959595959596e-06, + "loss": 7.680445861816406, + "step": 4150 + }, + { + "epoch": 0.04155, + "grad_norm": 18.514949798583984, + "learning_rate": 4.8407070707070715e-06, + "loss": 7.652581024169922, + "step": 4155 + }, + { + "epoch": 0.0416, + "grad_norm": 15.988984107971191, + "learning_rate": 4.840454545454546e-06, + "loss": 7.637830352783203, + "step": 4160 + }, + { + "epoch": 0.04165, + "grad_norm": 15.996387481689453, + "learning_rate": 4.840202020202021e-06, + "loss": 7.652818298339843, + "step": 4165 + }, + { + "epoch": 0.0417, + "grad_norm": 15.495753288269043, + "learning_rate": 4.839949494949495e-06, + "loss": 7.515275573730468, + "step": 4170 + }, + { + "epoch": 0.04175, + "grad_norm": 19.722932815551758, + "learning_rate": 4.83969696969697e-06, + "loss": 7.660208129882813, + "step": 4175 + }, + { + "epoch": 0.0418, + "grad_norm": 37.776729583740234, + "learning_rate": 4.839444444444445e-06, + "loss": 7.7129676818847654, + "step": 4180 + }, + { + "epoch": 0.04185, + "grad_norm": 16.460308074951172, + "learning_rate": 4.839191919191919e-06, + "loss": 7.772220611572266, + "step": 4185 + }, + { + "epoch": 0.0419, + "grad_norm": 9.483863830566406, + "learning_rate": 4.838939393939394e-06, + "loss": 7.748939514160156, + "step": 4190 + }, + { + "epoch": 0.04195, + "grad_norm": 15.430987358093262, + "learning_rate": 4.838686868686869e-06, + "loss": 7.662649536132813, + "step": 4195 + }, + { + "epoch": 0.042, + "grad_norm": 14.180061340332031, + "learning_rate": 4.838434343434344e-06, + "loss": 7.616654968261718, + "step": 4200 + }, + { + "epoch": 0.04205, + "grad_norm": 18.337146759033203, + "learning_rate": 4.838181818181819e-06, + "loss": 7.617402648925781, + "step": 4205 + }, + { + "epoch": 0.0421, + "grad_norm": 16.109094619750977, + "learning_rate": 4.837929292929293e-06, + "loss": 7.69122314453125, + "step": 4210 + }, + { + "epoch": 0.04215, + "grad_norm": 10.394975662231445, + "learning_rate": 4.837676767676769e-06, + "loss": 7.663023376464844, + "step": 4215 + }, + { + "epoch": 0.0422, + "grad_norm": 16.000280380249023, + "learning_rate": 4.8374242424242425e-06, + "loss": 7.65257568359375, + "step": 4220 + }, + { + "epoch": 0.04225, + "grad_norm": 18.61859893798828, + "learning_rate": 4.837171717171717e-06, + "loss": 7.626732635498047, + "step": 4225 + }, + { + "epoch": 0.0423, + "grad_norm": 11.536083221435547, + "learning_rate": 4.836919191919192e-06, + "loss": 7.665022277832032, + "step": 4230 + }, + { + "epoch": 0.04235, + "grad_norm": 41.57855987548828, + "learning_rate": 4.836666666666667e-06, + "loss": 7.699269104003906, + "step": 4235 + }, + { + "epoch": 0.0424, + "grad_norm": 14.417675018310547, + "learning_rate": 4.836414141414142e-06, + "loss": 7.644993591308594, + "step": 4240 + }, + { + "epoch": 0.04245, + "grad_norm": 12.666250228881836, + "learning_rate": 4.8361616161616165e-06, + "loss": 7.627330017089844, + "step": 4245 + }, + { + "epoch": 0.0425, + "grad_norm": 19.791791915893555, + "learning_rate": 4.835909090909091e-06, + "loss": 7.640000915527343, + "step": 4250 + }, + { + "epoch": 0.04255, + "grad_norm": 15.094975471496582, + "learning_rate": 4.835656565656567e-06, + "loss": 7.6606597900390625, + "step": 4255 + }, + { + "epoch": 0.0426, + "grad_norm": 18.30975341796875, + "learning_rate": 4.835404040404041e-06, + "loss": 7.660453033447266, + "step": 4260 + }, + { + "epoch": 0.04265, + "grad_norm": 11.49875545501709, + "learning_rate": 4.835151515151516e-06, + "loss": 7.6065528869628904, + "step": 4265 + }, + { + "epoch": 0.0427, + "grad_norm": 15.26554012298584, + "learning_rate": 4.8348989898989905e-06, + "loss": 7.63875732421875, + "step": 4270 + }, + { + "epoch": 0.04275, + "grad_norm": 14.745803833007812, + "learning_rate": 4.834646464646465e-06, + "loss": 7.5786598205566404, + "step": 4275 + }, + { + "epoch": 0.0428, + "grad_norm": 13.778339385986328, + "learning_rate": 4.83439393939394e-06, + "loss": 7.577809143066406, + "step": 4280 + }, + { + "epoch": 0.04285, + "grad_norm": 71.23065948486328, + "learning_rate": 4.834141414141414e-06, + "loss": 7.838609313964843, + "step": 4285 + }, + { + "epoch": 0.0429, + "grad_norm": 15.611302375793457, + "learning_rate": 4.833888888888889e-06, + "loss": 7.669642639160156, + "step": 4290 + }, + { + "epoch": 0.04295, + "grad_norm": 27.88692855834961, + "learning_rate": 4.8336363636363645e-06, + "loss": 7.691693878173828, + "step": 4295 + }, + { + "epoch": 0.043, + "grad_norm": 13.574361801147461, + "learning_rate": 4.833383838383839e-06, + "loss": 7.574779510498047, + "step": 4300 + }, + { + "epoch": 0.04305, + "grad_norm": 16.315078735351562, + "learning_rate": 4.833131313131314e-06, + "loss": 7.610124206542968, + "step": 4305 + }, + { + "epoch": 0.0431, + "grad_norm": 17.865846633911133, + "learning_rate": 4.832878787878788e-06, + "loss": 7.666054534912109, + "step": 4310 + }, + { + "epoch": 0.04315, + "grad_norm": 15.589762687683105, + "learning_rate": 4.832626262626263e-06, + "loss": 7.654141235351562, + "step": 4315 + }, + { + "epoch": 0.0432, + "grad_norm": 14.384224891662598, + "learning_rate": 4.832373737373738e-06, + "loss": 7.657331085205078, + "step": 4320 + }, + { + "epoch": 0.04325, + "grad_norm": 18.870365142822266, + "learning_rate": 4.832121212121212e-06, + "loss": 7.663608551025391, + "step": 4325 + }, + { + "epoch": 0.0433, + "grad_norm": 13.699721336364746, + "learning_rate": 4.831868686868687e-06, + "loss": 7.61583251953125, + "step": 4330 + }, + { + "epoch": 0.04335, + "grad_norm": 10.430669784545898, + "learning_rate": 4.831616161616162e-06, + "loss": 7.440367126464844, + "step": 4335 + }, + { + "epoch": 0.0434, + "grad_norm": 17.84463119506836, + "learning_rate": 4.831363636363637e-06, + "loss": 7.6256263732910154, + "step": 4340 + }, + { + "epoch": 0.04345, + "grad_norm": 18.664295196533203, + "learning_rate": 4.831111111111112e-06, + "loss": 7.5646514892578125, + "step": 4345 + }, + { + "epoch": 0.0435, + "grad_norm": 14.913771629333496, + "learning_rate": 4.830858585858586e-06, + "loss": 7.592693328857422, + "step": 4350 + }, + { + "epoch": 0.04355, + "grad_norm": 18.53111457824707, + "learning_rate": 4.830606060606061e-06, + "loss": 7.609026336669922, + "step": 4355 + }, + { + "epoch": 0.0436, + "grad_norm": 14.158620834350586, + "learning_rate": 4.8303535353535355e-06, + "loss": 7.6582801818847654, + "step": 4360 + }, + { + "epoch": 0.04365, + "grad_norm": 11.471774101257324, + "learning_rate": 4.83010101010101e-06, + "loss": 7.5953857421875, + "step": 4365 + }, + { + "epoch": 0.0437, + "grad_norm": 15.537967681884766, + "learning_rate": 4.829848484848485e-06, + "loss": 7.632429504394532, + "step": 4370 + }, + { + "epoch": 0.04375, + "grad_norm": 12.672298431396484, + "learning_rate": 4.82959595959596e-06, + "loss": 7.557473754882812, + "step": 4375 + }, + { + "epoch": 0.0438, + "grad_norm": 12.74938678741455, + "learning_rate": 4.829343434343435e-06, + "loss": 7.6074066162109375, + "step": 4380 + }, + { + "epoch": 0.04385, + "grad_norm": 22.59604835510254, + "learning_rate": 4.8290909090909095e-06, + "loss": 7.599050903320313, + "step": 4385 + }, + { + "epoch": 0.0439, + "grad_norm": 14.229994773864746, + "learning_rate": 4.828838383838384e-06, + "loss": 7.580418395996094, + "step": 4390 + }, + { + "epoch": 0.04395, + "grad_norm": 14.12797737121582, + "learning_rate": 4.828585858585859e-06, + "loss": 7.601800537109375, + "step": 4395 + }, + { + "epoch": 0.044, + "grad_norm": 15.110177040100098, + "learning_rate": 4.828333333333333e-06, + "loss": 7.57899169921875, + "step": 4400 + }, + { + "epoch": 0.04405, + "grad_norm": 14.646195411682129, + "learning_rate": 4.828080808080808e-06, + "loss": 7.601806640625, + "step": 4405 + }, + { + "epoch": 0.0441, + "grad_norm": 15.992776870727539, + "learning_rate": 4.827828282828283e-06, + "loss": 7.629190826416016, + "step": 4410 + }, + { + "epoch": 0.04415, + "grad_norm": 15.082976341247559, + "learning_rate": 4.827575757575758e-06, + "loss": 7.578925323486328, + "step": 4415 + }, + { + "epoch": 0.0442, + "grad_norm": 16.59264373779297, + "learning_rate": 4.827323232323233e-06, + "loss": 7.598355865478515, + "step": 4420 + }, + { + "epoch": 0.04425, + "grad_norm": 17.09652328491211, + "learning_rate": 4.827070707070707e-06, + "loss": 7.630061340332031, + "step": 4425 + }, + { + "epoch": 0.0443, + "grad_norm": 10.543344497680664, + "learning_rate": 4.826818181818182e-06, + "loss": 7.549812316894531, + "step": 4430 + }, + { + "epoch": 0.04435, + "grad_norm": 15.059334754943848, + "learning_rate": 4.8265656565656575e-06, + "loss": 7.591337585449219, + "step": 4435 + }, + { + "epoch": 0.0444, + "grad_norm": 42.26758575439453, + "learning_rate": 4.826313131313132e-06, + "loss": 7.545437622070312, + "step": 4440 + }, + { + "epoch": 0.04445, + "grad_norm": 21.28137969970703, + "learning_rate": 4.826060606060606e-06, + "loss": 7.5824432373046875, + "step": 4445 + }, + { + "epoch": 0.0445, + "grad_norm": 18.189760208129883, + "learning_rate": 4.8258080808080806e-06, + "loss": 7.641652679443359, + "step": 4450 + }, + { + "epoch": 0.04455, + "grad_norm": 13.544581413269043, + "learning_rate": 4.825555555555556e-06, + "loss": 7.615351867675781, + "step": 4455 + }, + { + "epoch": 0.0446, + "grad_norm": 18.1938533782959, + "learning_rate": 4.825303030303031e-06, + "loss": 7.605780029296875, + "step": 4460 + }, + { + "epoch": 0.04465, + "grad_norm": 11.93684196472168, + "learning_rate": 4.825050505050505e-06, + "loss": 7.622013854980469, + "step": 4465 + }, + { + "epoch": 0.0447, + "grad_norm": 15.508646965026855, + "learning_rate": 4.82479797979798e-06, + "loss": 7.598514556884766, + "step": 4470 + }, + { + "epoch": 0.04475, + "grad_norm": 9.869802474975586, + "learning_rate": 4.824545454545455e-06, + "loss": 7.584848022460937, + "step": 4475 + }, + { + "epoch": 0.0448, + "grad_norm": 21.632083892822266, + "learning_rate": 4.82429292929293e-06, + "loss": 7.568325805664062, + "step": 4480 + }, + { + "epoch": 0.04485, + "grad_norm": 14.175422668457031, + "learning_rate": 4.824040404040405e-06, + "loss": 7.59146728515625, + "step": 4485 + }, + { + "epoch": 0.0449, + "grad_norm": 17.476022720336914, + "learning_rate": 4.823787878787879e-06, + "loss": 7.551641845703125, + "step": 4490 + }, + { + "epoch": 0.04495, + "grad_norm": 14.810221672058105, + "learning_rate": 4.823535353535354e-06, + "loss": 7.574581146240234, + "step": 4495 + }, + { + "epoch": 0.045, + "grad_norm": 13.696442604064941, + "learning_rate": 4.8232828282828286e-06, + "loss": 7.586608123779297, + "step": 4500 + }, + { + "epoch": 0.04505, + "grad_norm": 19.58176040649414, + "learning_rate": 4.823030303030303e-06, + "loss": 7.5743247985839846, + "step": 4505 + }, + { + "epoch": 0.0451, + "grad_norm": 34.318687438964844, + "learning_rate": 4.822777777777779e-06, + "loss": 7.771149444580078, + "step": 4510 + }, + { + "epoch": 0.04515, + "grad_norm": 11.742945671081543, + "learning_rate": 4.822525252525253e-06, + "loss": 7.63128890991211, + "step": 4515 + }, + { + "epoch": 0.0452, + "grad_norm": 15.364375114440918, + "learning_rate": 4.822272727272728e-06, + "loss": 7.526148986816406, + "step": 4520 + }, + { + "epoch": 0.04525, + "grad_norm": 15.04275131225586, + "learning_rate": 4.8220202020202026e-06, + "loss": 7.563510894775391, + "step": 4525 + }, + { + "epoch": 0.0453, + "grad_norm": 18.64378547668457, + "learning_rate": 4.821767676767677e-06, + "loss": 7.586882781982422, + "step": 4530 + }, + { + "epoch": 0.04535, + "grad_norm": 15.710166931152344, + "learning_rate": 4.821515151515152e-06, + "loss": 7.612484741210937, + "step": 4535 + }, + { + "epoch": 0.0454, + "grad_norm": 16.124164581298828, + "learning_rate": 4.8212626262626264e-06, + "loss": 7.580674743652343, + "step": 4540 + }, + { + "epoch": 0.04545, + "grad_norm": 12.570262908935547, + "learning_rate": 4.821010101010101e-06, + "loss": 7.37879638671875, + "step": 4545 + }, + { + "epoch": 0.0455, + "grad_norm": 11.539961814880371, + "learning_rate": 4.8207575757575765e-06, + "loss": 7.5137886047363285, + "step": 4550 + }, + { + "epoch": 0.04555, + "grad_norm": 18.446704864501953, + "learning_rate": 4.820505050505051e-06, + "loss": 7.493421936035157, + "step": 4555 + }, + { + "epoch": 0.0456, + "grad_norm": 21.907268524169922, + "learning_rate": 4.820252525252526e-06, + "loss": 7.589166259765625, + "step": 4560 + }, + { + "epoch": 0.04565, + "grad_norm": 17.77687644958496, + "learning_rate": 4.8200000000000004e-06, + "loss": 7.596076965332031, + "step": 4565 + }, + { + "epoch": 0.0457, + "grad_norm": 19.436031341552734, + "learning_rate": 4.819747474747475e-06, + "loss": 7.584585571289063, + "step": 4570 + }, + { + "epoch": 0.04575, + "grad_norm": 19.615520477294922, + "learning_rate": 4.81949494949495e-06, + "loss": 7.550484466552734, + "step": 4575 + }, + { + "epoch": 0.0458, + "grad_norm": 13.078214645385742, + "learning_rate": 4.819242424242424e-06, + "loss": 7.630445098876953, + "step": 4580 + }, + { + "epoch": 0.04585, + "grad_norm": 17.013944625854492, + "learning_rate": 4.818989898989899e-06, + "loss": 7.588507843017578, + "step": 4585 + }, + { + "epoch": 0.0459, + "grad_norm": 16.1025333404541, + "learning_rate": 4.8187373737373744e-06, + "loss": 7.583362579345703, + "step": 4590 + }, + { + "epoch": 0.04595, + "grad_norm": 16.102659225463867, + "learning_rate": 4.818484848484849e-06, + "loss": 7.343174743652344, + "step": 4595 + }, + { + "epoch": 0.046, + "grad_norm": 15.440755844116211, + "learning_rate": 4.818232323232324e-06, + "loss": 7.604143524169922, + "step": 4600 + }, + { + "epoch": 0.04605, + "grad_norm": 16.040618896484375, + "learning_rate": 4.817979797979798e-06, + "loss": 7.608893585205078, + "step": 4605 + }, + { + "epoch": 0.0461, + "grad_norm": 20.063100814819336, + "learning_rate": 4.817727272727273e-06, + "loss": 7.608234405517578, + "step": 4610 + }, + { + "epoch": 0.04615, + "grad_norm": 14.415709495544434, + "learning_rate": 4.817474747474748e-06, + "loss": 7.62647705078125, + "step": 4615 + }, + { + "epoch": 0.0462, + "grad_norm": 16.893007278442383, + "learning_rate": 4.817222222222222e-06, + "loss": 7.648519134521484, + "step": 4620 + }, + { + "epoch": 0.04625, + "grad_norm": 9.975411415100098, + "learning_rate": 4.816969696969697e-06, + "loss": 7.553386688232422, + "step": 4625 + }, + { + "epoch": 0.0463, + "grad_norm": 14.31112289428711, + "learning_rate": 4.816717171717172e-06, + "loss": 7.556731414794922, + "step": 4630 + }, + { + "epoch": 0.04635, + "grad_norm": 16.138113021850586, + "learning_rate": 4.816464646464647e-06, + "loss": 7.578101348876953, + "step": 4635 + }, + { + "epoch": 0.0464, + "grad_norm": 12.48101806640625, + "learning_rate": 4.816212121212122e-06, + "loss": 7.721635437011718, + "step": 4640 + }, + { + "epoch": 0.04645, + "grad_norm": 18.264278411865234, + "learning_rate": 4.815959595959596e-06, + "loss": 7.547030639648438, + "step": 4645 + }, + { + "epoch": 0.0465, + "grad_norm": 14.309183120727539, + "learning_rate": 4.815707070707072e-06, + "loss": 7.534114074707031, + "step": 4650 + }, + { + "epoch": 0.04655, + "grad_norm": 22.08705711364746, + "learning_rate": 4.815454545454546e-06, + "loss": 7.593316650390625, + "step": 4655 + }, + { + "epoch": 0.0466, + "grad_norm": 18.096111297607422, + "learning_rate": 4.815202020202021e-06, + "loss": 7.591447448730468, + "step": 4660 + }, + { + "epoch": 0.04665, + "grad_norm": 16.11399269104004, + "learning_rate": 4.814949494949495e-06, + "loss": 7.489380645751953, + "step": 4665 + }, + { + "epoch": 0.0467, + "grad_norm": 14.18309497833252, + "learning_rate": 4.81469696969697e-06, + "loss": 7.5733489990234375, + "step": 4670 + }, + { + "epoch": 0.04675, + "grad_norm": 17.680999755859375, + "learning_rate": 4.814444444444445e-06, + "loss": 7.596977233886719, + "step": 4675 + }, + { + "epoch": 0.0468, + "grad_norm": 15.915877342224121, + "learning_rate": 4.8141919191919195e-06, + "loss": 7.519697570800782, + "step": 4680 + }, + { + "epoch": 0.04685, + "grad_norm": 19.06841278076172, + "learning_rate": 4.813939393939394e-06, + "loss": 7.534217834472656, + "step": 4685 + }, + { + "epoch": 0.0469, + "grad_norm": 17.933359146118164, + "learning_rate": 4.81368686868687e-06, + "loss": 7.566926574707031, + "step": 4690 + }, + { + "epoch": 0.04695, + "grad_norm": 13.312339782714844, + "learning_rate": 4.813434343434344e-06, + "loss": 7.5886085510253904, + "step": 4695 + }, + { + "epoch": 0.047, + "grad_norm": 20.210153579711914, + "learning_rate": 4.813181818181819e-06, + "loss": 7.641795349121094, + "step": 4700 + }, + { + "epoch": 0.04705, + "grad_norm": 14.58133316040039, + "learning_rate": 4.8129292929292935e-06, + "loss": 7.751400756835937, + "step": 4705 + }, + { + "epoch": 0.0471, + "grad_norm": 22.124670028686523, + "learning_rate": 4.812676767676768e-06, + "loss": 7.57174072265625, + "step": 4710 + }, + { + "epoch": 0.04715, + "grad_norm": 15.9932222366333, + "learning_rate": 4.812424242424243e-06, + "loss": 7.5612060546875, + "step": 4715 + }, + { + "epoch": 0.0472, + "grad_norm": 14.722535133361816, + "learning_rate": 4.812171717171717e-06, + "loss": 7.5255584716796875, + "step": 4720 + }, + { + "epoch": 0.04725, + "grad_norm": 15.170860290527344, + "learning_rate": 4.811919191919192e-06, + "loss": 7.5550689697265625, + "step": 4725 + }, + { + "epoch": 0.0473, + "grad_norm": 20.454242706298828, + "learning_rate": 4.8116666666666675e-06, + "loss": 7.587982940673828, + "step": 4730 + }, + { + "epoch": 0.04735, + "grad_norm": 18.162342071533203, + "learning_rate": 4.811414141414142e-06, + "loss": 7.589356231689453, + "step": 4735 + }, + { + "epoch": 0.0474, + "grad_norm": 17.458749771118164, + "learning_rate": 4.811161616161617e-06, + "loss": 7.7700035095214846, + "step": 4740 + }, + { + "epoch": 0.04745, + "grad_norm": 15.818519592285156, + "learning_rate": 4.810909090909091e-06, + "loss": 7.659767150878906, + "step": 4745 + }, + { + "epoch": 0.0475, + "grad_norm": 11.826310157775879, + "learning_rate": 4.810656565656566e-06, + "loss": 7.645790100097656, + "step": 4750 + }, + { + "epoch": 0.04755, + "grad_norm": 16.453763961791992, + "learning_rate": 4.810404040404041e-06, + "loss": 7.629660797119141, + "step": 4755 + }, + { + "epoch": 0.0476, + "grad_norm": 12.051210403442383, + "learning_rate": 4.810151515151515e-06, + "loss": 7.539124298095703, + "step": 4760 + }, + { + "epoch": 0.04765, + "grad_norm": 21.523422241210938, + "learning_rate": 4.80989898989899e-06, + "loss": 7.548561859130859, + "step": 4765 + }, + { + "epoch": 0.0477, + "grad_norm": 19.74825668334961, + "learning_rate": 4.809646464646465e-06, + "loss": 7.584028625488282, + "step": 4770 + }, + { + "epoch": 0.04775, + "grad_norm": 12.196378707885742, + "learning_rate": 4.80939393939394e-06, + "loss": 7.508290863037109, + "step": 4775 + }, + { + "epoch": 0.0478, + "grad_norm": 17.529130935668945, + "learning_rate": 4.809141414141415e-06, + "loss": 7.550864410400391, + "step": 4780 + }, + { + "epoch": 0.04785, + "grad_norm": 15.10629940032959, + "learning_rate": 4.808888888888889e-06, + "loss": 7.556507873535156, + "step": 4785 + }, + { + "epoch": 0.0479, + "grad_norm": 22.792617797851562, + "learning_rate": 4.808636363636364e-06, + "loss": 7.595049285888672, + "step": 4790 + }, + { + "epoch": 0.04795, + "grad_norm": 21.179412841796875, + "learning_rate": 4.8083838383838385e-06, + "loss": 7.605289459228516, + "step": 4795 + }, + { + "epoch": 0.048, + "grad_norm": 16.074243545532227, + "learning_rate": 4.808131313131313e-06, + "loss": 7.588247680664063, + "step": 4800 + }, + { + "epoch": 0.04805, + "grad_norm": 17.73287010192871, + "learning_rate": 4.807878787878788e-06, + "loss": 7.501219177246094, + "step": 4805 + }, + { + "epoch": 0.0481, + "grad_norm": 18.561107635498047, + "learning_rate": 4.807626262626263e-06, + "loss": 7.586344909667969, + "step": 4810 + }, + { + "epoch": 0.04815, + "grad_norm": 25.415470123291016, + "learning_rate": 4.807373737373738e-06, + "loss": 7.525871276855469, + "step": 4815 + }, + { + "epoch": 0.0482, + "grad_norm": 20.804353713989258, + "learning_rate": 4.8071212121212125e-06, + "loss": 7.51147232055664, + "step": 4820 + }, + { + "epoch": 0.04825, + "grad_norm": 13.60634708404541, + "learning_rate": 4.806868686868687e-06, + "loss": 7.527156829833984, + "step": 4825 + }, + { + "epoch": 0.0483, + "grad_norm": 21.619220733642578, + "learning_rate": 4.806616161616162e-06, + "loss": 7.626271057128906, + "step": 4830 + }, + { + "epoch": 0.04835, + "grad_norm": 16.1898136138916, + "learning_rate": 4.806363636363636e-06, + "loss": 7.527126312255859, + "step": 4835 + }, + { + "epoch": 0.0484, + "grad_norm": 15.244047164916992, + "learning_rate": 4.806111111111111e-06, + "loss": 7.544068145751953, + "step": 4840 + }, + { + "epoch": 0.04845, + "grad_norm": 18.65515899658203, + "learning_rate": 4.805858585858586e-06, + "loss": 7.53946533203125, + "step": 4845 + }, + { + "epoch": 0.0485, + "grad_norm": 22.728239059448242, + "learning_rate": 4.805606060606061e-06, + "loss": 7.54278793334961, + "step": 4850 + }, + { + "epoch": 0.04855, + "grad_norm": 16.173503875732422, + "learning_rate": 4.805353535353536e-06, + "loss": 7.519659423828125, + "step": 4855 + }, + { + "epoch": 0.0486, + "grad_norm": 21.88563346862793, + "learning_rate": 4.80510101010101e-06, + "loss": 7.544681549072266, + "step": 4860 + }, + { + "epoch": 0.04865, + "grad_norm": 17.139995574951172, + "learning_rate": 4.804848484848485e-06, + "loss": 7.562866973876953, + "step": 4865 + }, + { + "epoch": 0.0487, + "grad_norm": 13.342567443847656, + "learning_rate": 4.8045959595959605e-06, + "loss": 7.545689392089844, + "step": 4870 + }, + { + "epoch": 0.04875, + "grad_norm": 19.979005813598633, + "learning_rate": 4.804343434343435e-06, + "loss": 7.578728485107422, + "step": 4875 + }, + { + "epoch": 0.0488, + "grad_norm": 19.63646697998047, + "learning_rate": 4.80409090909091e-06, + "loss": 7.698130035400391, + "step": 4880 + }, + { + "epoch": 0.04885, + "grad_norm": 15.644451141357422, + "learning_rate": 4.803838383838384e-06, + "loss": 7.596628570556641, + "step": 4885 + }, + { + "epoch": 0.0489, + "grad_norm": 16.400794982910156, + "learning_rate": 4.803585858585859e-06, + "loss": 7.576779174804687, + "step": 4890 + }, + { + "epoch": 0.04895, + "grad_norm": 17.221128463745117, + "learning_rate": 4.803333333333334e-06, + "loss": 7.566455841064453, + "step": 4895 + }, + { + "epoch": 0.049, + "grad_norm": 18.944021224975586, + "learning_rate": 4.803080808080808e-06, + "loss": 7.49578857421875, + "step": 4900 + }, + { + "epoch": 0.04905, + "grad_norm": 17.878643035888672, + "learning_rate": 4.802828282828283e-06, + "loss": 7.499090576171875, + "step": 4905 + }, + { + "epoch": 0.0491, + "grad_norm": 27.95353889465332, + "learning_rate": 4.802575757575758e-06, + "loss": 7.5913749694824215, + "step": 4910 + }, + { + "epoch": 0.04915, + "grad_norm": 14.443374633789062, + "learning_rate": 4.802323232323233e-06, + "loss": 7.548728179931641, + "step": 4915 + }, + { + "epoch": 0.0492, + "grad_norm": 15.017359733581543, + "learning_rate": 4.802070707070708e-06, + "loss": 7.561008453369141, + "step": 4920 + }, + { + "epoch": 0.04925, + "grad_norm": 23.801401138305664, + "learning_rate": 4.801818181818182e-06, + "loss": 7.655378723144532, + "step": 4925 + }, + { + "epoch": 0.0493, + "grad_norm": 15.707382202148438, + "learning_rate": 4.801565656565657e-06, + "loss": 7.516139984130859, + "step": 4930 + }, + { + "epoch": 0.04935, + "grad_norm": 21.225231170654297, + "learning_rate": 4.8013131313131315e-06, + "loss": 7.549354553222656, + "step": 4935 + }, + { + "epoch": 0.0494, + "grad_norm": 13.392284393310547, + "learning_rate": 4.801060606060606e-06, + "loss": 7.507106781005859, + "step": 4940 + }, + { + "epoch": 0.04945, + "grad_norm": 21.269744873046875, + "learning_rate": 4.800808080808082e-06, + "loss": 7.503388977050781, + "step": 4945 + }, + { + "epoch": 0.0495, + "grad_norm": 12.102234840393066, + "learning_rate": 4.800555555555556e-06, + "loss": 7.577073669433593, + "step": 4950 + }, + { + "epoch": 0.04955, + "grad_norm": 14.913641929626465, + "learning_rate": 4.800303030303031e-06, + "loss": 7.5271141052246096, + "step": 4955 + }, + { + "epoch": 0.0496, + "grad_norm": 15.583343505859375, + "learning_rate": 4.8000505050505055e-06, + "loss": 7.509233093261718, + "step": 4960 + }, + { + "epoch": 0.04965, + "grad_norm": 18.66119956970215, + "learning_rate": 4.79979797979798e-06, + "loss": 7.359549713134766, + "step": 4965 + }, + { + "epoch": 0.0497, + "grad_norm": 12.998414993286133, + "learning_rate": 4.799545454545455e-06, + "loss": 7.490478515625, + "step": 4970 + }, + { + "epoch": 0.04975, + "grad_norm": 20.66922950744629, + "learning_rate": 4.7992929292929294e-06, + "loss": 7.518321990966797, + "step": 4975 + }, + { + "epoch": 0.0498, + "grad_norm": 17.732738494873047, + "learning_rate": 4.799040404040404e-06, + "loss": 7.524884796142578, + "step": 4980 + }, + { + "epoch": 0.04985, + "grad_norm": 14.715062141418457, + "learning_rate": 4.7987878787878795e-06, + "loss": 7.502314758300781, + "step": 4985 + }, + { + "epoch": 0.0499, + "grad_norm": 18.176855087280273, + "learning_rate": 4.798535353535354e-06, + "loss": 7.567788696289062, + "step": 4990 + }, + { + "epoch": 0.04995, + "grad_norm": 17.261615753173828, + "learning_rate": 4.798282828282829e-06, + "loss": 7.556626892089843, + "step": 4995 + }, + { + "epoch": 0.05, + "grad_norm": 14.33521556854248, + "learning_rate": 4.798030303030303e-06, + "loss": 7.559138488769531, + "step": 5000 + }, + { + "epoch": 0.05005, + "grad_norm": 26.54514503479004, + "learning_rate": 4.797777777777778e-06, + "loss": 7.518259429931641, + "step": 5005 + }, + { + "epoch": 0.0501, + "grad_norm": 13.362397193908691, + "learning_rate": 4.797525252525253e-06, + "loss": 7.508517456054688, + "step": 5010 + }, + { + "epoch": 0.05015, + "grad_norm": 15.099980354309082, + "learning_rate": 4.797272727272727e-06, + "loss": 7.548574066162109, + "step": 5015 + }, + { + "epoch": 0.0502, + "grad_norm": 16.685609817504883, + "learning_rate": 4.797020202020202e-06, + "loss": 7.466999053955078, + "step": 5020 + }, + { + "epoch": 0.05025, + "grad_norm": 13.186056137084961, + "learning_rate": 4.796767676767677e-06, + "loss": 7.510874176025391, + "step": 5025 + }, + { + "epoch": 0.0503, + "grad_norm": 20.400978088378906, + "learning_rate": 4.796515151515152e-06, + "loss": 7.572563934326172, + "step": 5030 + }, + { + "epoch": 0.05035, + "grad_norm": 14.745682716369629, + "learning_rate": 4.796262626262627e-06, + "loss": 7.496928405761719, + "step": 5035 + }, + { + "epoch": 0.0504, + "grad_norm": 30.0478515625, + "learning_rate": 4.796010101010101e-06, + "loss": 7.5281219482421875, + "step": 5040 + }, + { + "epoch": 0.05045, + "grad_norm": 16.133399963378906, + "learning_rate": 4.795757575757577e-06, + "loss": 7.3615776062011715, + "step": 5045 + }, + { + "epoch": 0.0505, + "grad_norm": 18.25689125061035, + "learning_rate": 4.795505050505051e-06, + "loss": 7.5327201843261715, + "step": 5050 + }, + { + "epoch": 0.05055, + "grad_norm": 19.379413604736328, + "learning_rate": 4.795252525252525e-06, + "loss": 7.5313232421875, + "step": 5055 + }, + { + "epoch": 0.0506, + "grad_norm": 23.21569061279297, + "learning_rate": 4.795e-06, + "loss": 7.495737457275391, + "step": 5060 + }, + { + "epoch": 0.05065, + "grad_norm": 12.954337120056152, + "learning_rate": 4.794747474747475e-06, + "loss": 7.507353210449219, + "step": 5065 + }, + { + "epoch": 0.0507, + "grad_norm": 16.900930404663086, + "learning_rate": 4.79449494949495e-06, + "loss": 7.504391479492187, + "step": 5070 + }, + { + "epoch": 0.05075, + "grad_norm": 20.350893020629883, + "learning_rate": 4.7942424242424246e-06, + "loss": 7.526070404052734, + "step": 5075 + }, + { + "epoch": 0.0508, + "grad_norm": 11.945466995239258, + "learning_rate": 4.793989898989899e-06, + "loss": 7.475864410400391, + "step": 5080 + }, + { + "epoch": 0.05085, + "grad_norm": 20.322402954101562, + "learning_rate": 4.793737373737375e-06, + "loss": 7.530809783935547, + "step": 5085 + }, + { + "epoch": 0.0509, + "grad_norm": 14.522372245788574, + "learning_rate": 4.793484848484849e-06, + "loss": 7.545920562744141, + "step": 5090 + }, + { + "epoch": 0.05095, + "grad_norm": 18.42091178894043, + "learning_rate": 4.793232323232324e-06, + "loss": 7.466795349121094, + "step": 5095 + }, + { + "epoch": 0.051, + "grad_norm": 18.778827667236328, + "learning_rate": 4.7929797979797986e-06, + "loss": 7.5226287841796875, + "step": 5100 + }, + { + "epoch": 0.05105, + "grad_norm": 16.349294662475586, + "learning_rate": 4.792727272727273e-06, + "loss": 7.515128326416016, + "step": 5105 + }, + { + "epoch": 0.0511, + "grad_norm": 13.0361967086792, + "learning_rate": 4.792474747474748e-06, + "loss": 7.5631591796875, + "step": 5110 + }, + { + "epoch": 0.05115, + "grad_norm": 18.514728546142578, + "learning_rate": 4.7922222222222225e-06, + "loss": 7.484203338623047, + "step": 5115 + }, + { + "epoch": 0.0512, + "grad_norm": 17.603557586669922, + "learning_rate": 4.791969696969697e-06, + "loss": 7.4693450927734375, + "step": 5120 + }, + { + "epoch": 0.05125, + "grad_norm": 17.964557647705078, + "learning_rate": 4.7917171717171726e-06, + "loss": 7.538607788085938, + "step": 5125 + }, + { + "epoch": 0.0513, + "grad_norm": 15.679680824279785, + "learning_rate": 4.791464646464647e-06, + "loss": 7.353537750244141, + "step": 5130 + }, + { + "epoch": 0.05135, + "grad_norm": 13.421891212463379, + "learning_rate": 4.791212121212122e-06, + "loss": 7.4834739685058596, + "step": 5135 + }, + { + "epoch": 0.0514, + "grad_norm": 20.7985897064209, + "learning_rate": 4.7909595959595965e-06, + "loss": 7.527686309814453, + "step": 5140 + }, + { + "epoch": 0.05145, + "grad_norm": 18.19741439819336, + "learning_rate": 4.790707070707071e-06, + "loss": 7.496607971191406, + "step": 5145 + }, + { + "epoch": 0.0515, + "grad_norm": 13.317227363586426, + "learning_rate": 4.790454545454546e-06, + "loss": 7.431857299804688, + "step": 5150 + }, + { + "epoch": 0.05155, + "grad_norm": 18.611129760742188, + "learning_rate": 4.79020202020202e-06, + "loss": 7.542837524414063, + "step": 5155 + }, + { + "epoch": 0.0516, + "grad_norm": 16.28496742248535, + "learning_rate": 4.789949494949495e-06, + "loss": 7.477743530273438, + "step": 5160 + }, + { + "epoch": 0.05165, + "grad_norm": 13.240856170654297, + "learning_rate": 4.7896969696969705e-06, + "loss": 7.575761413574218, + "step": 5165 + }, + { + "epoch": 0.0517, + "grad_norm": 25.75421905517578, + "learning_rate": 4.789444444444445e-06, + "loss": 7.474327087402344, + "step": 5170 + }, + { + "epoch": 0.05175, + "grad_norm": 49.50589370727539, + "learning_rate": 4.78919191919192e-06, + "loss": 7.590592956542968, + "step": 5175 + }, + { + "epoch": 0.0518, + "grad_norm": 16.417898178100586, + "learning_rate": 4.788939393939394e-06, + "loss": 7.5394752502441404, + "step": 5180 + }, + { + "epoch": 0.05185, + "grad_norm": 15.303547859191895, + "learning_rate": 4.788686868686869e-06, + "loss": 7.531949615478515, + "step": 5185 + }, + { + "epoch": 0.0519, + "grad_norm": 15.834310531616211, + "learning_rate": 4.788434343434344e-06, + "loss": 7.516173553466797, + "step": 5190 + }, + { + "epoch": 0.05195, + "grad_norm": 23.687057495117188, + "learning_rate": 4.788181818181818e-06, + "loss": 7.565447998046875, + "step": 5195 + }, + { + "epoch": 0.052, + "grad_norm": 17.73265266418457, + "learning_rate": 4.787929292929293e-06, + "loss": 7.516236877441406, + "step": 5200 + }, + { + "epoch": 0.05205, + "grad_norm": 21.97943115234375, + "learning_rate": 4.787676767676768e-06, + "loss": 7.490366363525391, + "step": 5205 + }, + { + "epoch": 0.0521, + "grad_norm": 14.607939720153809, + "learning_rate": 4.787424242424243e-06, + "loss": 7.483009338378906, + "step": 5210 + }, + { + "epoch": 0.05215, + "grad_norm": 15.756275177001953, + "learning_rate": 4.787171717171718e-06, + "loss": 7.5189666748046875, + "step": 5215 + }, + { + "epoch": 0.0522, + "grad_norm": 15.3902006149292, + "learning_rate": 4.786919191919192e-06, + "loss": 7.52350082397461, + "step": 5220 + }, + { + "epoch": 0.05225, + "grad_norm": 16.54079246520996, + "learning_rate": 4.786666666666667e-06, + "loss": 7.476360321044922, + "step": 5225 + }, + { + "epoch": 0.0523, + "grad_norm": 17.062969207763672, + "learning_rate": 4.7864141414141415e-06, + "loss": 7.478168487548828, + "step": 5230 + }, + { + "epoch": 0.05235, + "grad_norm": 15.629810333251953, + "learning_rate": 4.786161616161616e-06, + "loss": 7.500523376464844, + "step": 5235 + }, + { + "epoch": 0.0524, + "grad_norm": 18.422964096069336, + "learning_rate": 4.785909090909091e-06, + "loss": 7.442372894287109, + "step": 5240 + }, + { + "epoch": 0.05245, + "grad_norm": 13.538203239440918, + "learning_rate": 4.785656565656566e-06, + "loss": 7.482205963134765, + "step": 5245 + }, + { + "epoch": 0.0525, + "grad_norm": 16.7735652923584, + "learning_rate": 4.785404040404041e-06, + "loss": 7.457496643066406, + "step": 5250 + }, + { + "epoch": 0.05255, + "grad_norm": 16.305166244506836, + "learning_rate": 4.7851515151515155e-06, + "loss": 7.4603736877441404, + "step": 5255 + }, + { + "epoch": 0.0526, + "grad_norm": 18.291223526000977, + "learning_rate": 4.78489898989899e-06, + "loss": 7.552133178710937, + "step": 5260 + }, + { + "epoch": 0.05265, + "grad_norm": 21.955812454223633, + "learning_rate": 4.784646464646466e-06, + "loss": 7.497503662109375, + "step": 5265 + }, + { + "epoch": 0.0527, + "grad_norm": 17.777254104614258, + "learning_rate": 4.78439393939394e-06, + "loss": 7.460443115234375, + "step": 5270 + }, + { + "epoch": 0.05275, + "grad_norm": 13.909947395324707, + "learning_rate": 4.784141414141414e-06, + "loss": 7.6993156433105465, + "step": 5275 + }, + { + "epoch": 0.0528, + "grad_norm": 20.330089569091797, + "learning_rate": 4.783888888888889e-06, + "loss": 7.191036987304687, + "step": 5280 + }, + { + "epoch": 0.05285, + "grad_norm": 20.374126434326172, + "learning_rate": 4.783636363636364e-06, + "loss": 7.568328857421875, + "step": 5285 + }, + { + "epoch": 0.0529, + "grad_norm": 49.577213287353516, + "learning_rate": 4.783383838383839e-06, + "loss": 8.022931671142578, + "step": 5290 + }, + { + "epoch": 0.05295, + "grad_norm": 18.86116600036621, + "learning_rate": 4.783131313131313e-06, + "loss": 7.488610076904297, + "step": 5295 + }, + { + "epoch": 0.053, + "grad_norm": 23.066532135009766, + "learning_rate": 4.782878787878788e-06, + "loss": 7.5725250244140625, + "step": 5300 + }, + { + "epoch": 0.05305, + "grad_norm": 16.35528564453125, + "learning_rate": 4.7826262626262635e-06, + "loss": 7.4015350341796875, + "step": 5305 + }, + { + "epoch": 0.0531, + "grad_norm": 22.492420196533203, + "learning_rate": 4.782373737373738e-06, + "loss": 7.523082733154297, + "step": 5310 + }, + { + "epoch": 0.05315, + "grad_norm": 17.719839096069336, + "learning_rate": 4.782121212121213e-06, + "loss": 7.547672271728516, + "step": 5315 + }, + { + "epoch": 0.0532, + "grad_norm": 18.264446258544922, + "learning_rate": 4.781868686868687e-06, + "loss": 7.47720947265625, + "step": 5320 + }, + { + "epoch": 0.05325, + "grad_norm": 13.545428276062012, + "learning_rate": 4.781616161616162e-06, + "loss": 7.468904113769531, + "step": 5325 + }, + { + "epoch": 0.0533, + "grad_norm": 18.139869689941406, + "learning_rate": 4.781363636363637e-06, + "loss": 7.513977813720703, + "step": 5330 + }, + { + "epoch": 0.05335, + "grad_norm": 33.880428314208984, + "learning_rate": 4.781111111111111e-06, + "loss": 7.5272064208984375, + "step": 5335 + }, + { + "epoch": 0.0534, + "grad_norm": 23.774633407592773, + "learning_rate": 4.780858585858586e-06, + "loss": 7.473148345947266, + "step": 5340 + }, + { + "epoch": 0.05345, + "grad_norm": 20.118289947509766, + "learning_rate": 4.780606060606061e-06, + "loss": 7.478847503662109, + "step": 5345 + }, + { + "epoch": 0.0535, + "grad_norm": 19.948165893554688, + "learning_rate": 4.780353535353536e-06, + "loss": 7.473389434814453, + "step": 5350 + }, + { + "epoch": 0.05355, + "grad_norm": 24.138887405395508, + "learning_rate": 4.780101010101011e-06, + "loss": 7.5852302551269535, + "step": 5355 + }, + { + "epoch": 0.0536, + "grad_norm": 23.258432388305664, + "learning_rate": 4.779848484848485e-06, + "loss": 7.578569030761718, + "step": 5360 + }, + { + "epoch": 0.05365, + "grad_norm": 14.515973091125488, + "learning_rate": 4.77959595959596e-06, + "loss": 7.512255096435547, + "step": 5365 + }, + { + "epoch": 0.0537, + "grad_norm": 13.8118257522583, + "learning_rate": 4.7793434343434345e-06, + "loss": 7.4754280090332035, + "step": 5370 + }, + { + "epoch": 0.05375, + "grad_norm": 24.481937408447266, + "learning_rate": 4.779090909090909e-06, + "loss": 7.43607177734375, + "step": 5375 + }, + { + "epoch": 0.0538, + "grad_norm": 50.230194091796875, + "learning_rate": 4.778838383838385e-06, + "loss": 7.5603782653808596, + "step": 5380 + }, + { + "epoch": 0.05385, + "grad_norm": 25.99995231628418, + "learning_rate": 4.778585858585859e-06, + "loss": 7.010266876220703, + "step": 5385 + }, + { + "epoch": 0.0539, + "grad_norm": 22.664758682250977, + "learning_rate": 4.778333333333334e-06, + "loss": 7.597390747070312, + "step": 5390 + }, + { + "epoch": 0.05395, + "grad_norm": 18.75278091430664, + "learning_rate": 4.7780808080808085e-06, + "loss": 7.5601036071777346, + "step": 5395 + }, + { + "epoch": 0.054, + "grad_norm": 19.403547286987305, + "learning_rate": 4.777828282828283e-06, + "loss": 7.604866790771484, + "step": 5400 + }, + { + "epoch": 0.05405, + "grad_norm": 19.46187400817871, + "learning_rate": 4.777575757575758e-06, + "loss": 7.472673034667968, + "step": 5405 + }, + { + "epoch": 0.0541, + "grad_norm": 18.884601593017578, + "learning_rate": 4.777323232323232e-06, + "loss": 7.421488189697266, + "step": 5410 + }, + { + "epoch": 0.05415, + "grad_norm": 12.1611967086792, + "learning_rate": 4.777070707070707e-06, + "loss": 7.479060363769531, + "step": 5415 + }, + { + "epoch": 0.0542, + "grad_norm": 25.839569091796875, + "learning_rate": 4.7768181818181825e-06, + "loss": 7.458383178710937, + "step": 5420 + }, + { + "epoch": 0.05425, + "grad_norm": 18.64609146118164, + "learning_rate": 4.776565656565657e-06, + "loss": 7.477471160888672, + "step": 5425 + }, + { + "epoch": 0.0543, + "grad_norm": 21.13758087158203, + "learning_rate": 4.776313131313132e-06, + "loss": 7.474122619628906, + "step": 5430 + }, + { + "epoch": 0.05435, + "grad_norm": 13.830058097839355, + "learning_rate": 4.776060606060606e-06, + "loss": 7.426272583007813, + "step": 5435 + }, + { + "epoch": 0.0544, + "grad_norm": 18.458003997802734, + "learning_rate": 4.775808080808081e-06, + "loss": 7.548300170898438, + "step": 5440 + }, + { + "epoch": 0.05445, + "grad_norm": 20.15646743774414, + "learning_rate": 4.775555555555556e-06, + "loss": 7.780398559570313, + "step": 5445 + }, + { + "epoch": 0.0545, + "grad_norm": 14.22573471069336, + "learning_rate": 4.77530303030303e-06, + "loss": 7.4881431579589846, + "step": 5450 + }, + { + "epoch": 0.05455, + "grad_norm": 17.285425186157227, + "learning_rate": 4.775050505050505e-06, + "loss": 7.508261108398438, + "step": 5455 + }, + { + "epoch": 0.0546, + "grad_norm": 22.39250373840332, + "learning_rate": 4.77479797979798e-06, + "loss": 7.486381530761719, + "step": 5460 + }, + { + "epoch": 0.05465, + "grad_norm": 17.744413375854492, + "learning_rate": 4.774545454545455e-06, + "loss": 7.4675750732421875, + "step": 5465 + }, + { + "epoch": 0.0547, + "grad_norm": 24.95531463623047, + "learning_rate": 4.77429292929293e-06, + "loss": 7.439553070068359, + "step": 5470 + }, + { + "epoch": 0.05475, + "grad_norm": 17.995616912841797, + "learning_rate": 4.774040404040404e-06, + "loss": 7.664738464355469, + "step": 5475 + }, + { + "epoch": 0.0548, + "grad_norm": 18.295888900756836, + "learning_rate": 4.77378787878788e-06, + "loss": 7.508366394042969, + "step": 5480 + }, + { + "epoch": 0.05485, + "grad_norm": 25.90740394592285, + "learning_rate": 4.773535353535354e-06, + "loss": 7.480747222900391, + "step": 5485 + }, + { + "epoch": 0.0549, + "grad_norm": 14.703533172607422, + "learning_rate": 4.773282828282829e-06, + "loss": 7.433132171630859, + "step": 5490 + }, + { + "epoch": 0.05495, + "grad_norm": 17.049379348754883, + "learning_rate": 4.773030303030303e-06, + "loss": 7.452099609375, + "step": 5495 + }, + { + "epoch": 0.055, + "grad_norm": 16.568214416503906, + "learning_rate": 4.772777777777778e-06, + "loss": 7.5099029541015625, + "step": 5500 + }, + { + "epoch": 0.05505, + "grad_norm": 17.528520584106445, + "learning_rate": 4.772525252525253e-06, + "loss": 7.372364044189453, + "step": 5505 + }, + { + "epoch": 0.0551, + "grad_norm": 15.64583683013916, + "learning_rate": 4.7722727272727276e-06, + "loss": 7.384050750732422, + "step": 5510 + }, + { + "epoch": 0.05515, + "grad_norm": 17.44878578186035, + "learning_rate": 4.772020202020202e-06, + "loss": 7.494329833984375, + "step": 5515 + }, + { + "epoch": 0.0552, + "grad_norm": 24.4046630859375, + "learning_rate": 4.771767676767678e-06, + "loss": 7.46461181640625, + "step": 5520 + }, + { + "epoch": 0.05525, + "grad_norm": 20.80097198486328, + "learning_rate": 4.771515151515152e-06, + "loss": 7.495587158203125, + "step": 5525 + }, + { + "epoch": 0.0553, + "grad_norm": 15.278010368347168, + "learning_rate": 4.771262626262627e-06, + "loss": 7.4817054748535154, + "step": 5530 + }, + { + "epoch": 0.05535, + "grad_norm": 18.904678344726562, + "learning_rate": 4.7710101010101015e-06, + "loss": 7.528675842285156, + "step": 5535 + }, + { + "epoch": 0.0554, + "grad_norm": 18.53925895690918, + "learning_rate": 4.770757575757576e-06, + "loss": 7.446332550048828, + "step": 5540 + }, + { + "epoch": 0.05545, + "grad_norm": 15.812921524047852, + "learning_rate": 4.770505050505051e-06, + "loss": 7.4189300537109375, + "step": 5545 + }, + { + "epoch": 0.0555, + "grad_norm": 19.764219284057617, + "learning_rate": 4.7702525252525254e-06, + "loss": 7.466627502441407, + "step": 5550 + }, + { + "epoch": 0.05555, + "grad_norm": 16.635623931884766, + "learning_rate": 4.77e-06, + "loss": 7.436837005615234, + "step": 5555 + }, + { + "epoch": 0.0556, + "grad_norm": 21.88321876525879, + "learning_rate": 4.7697474747474755e-06, + "loss": 7.460847473144531, + "step": 5560 + }, + { + "epoch": 0.05565, + "grad_norm": 10.644245147705078, + "learning_rate": 4.76949494949495e-06, + "loss": 7.412858581542968, + "step": 5565 + }, + { + "epoch": 0.0557, + "grad_norm": 17.232799530029297, + "learning_rate": 4.769242424242425e-06, + "loss": 7.449269104003906, + "step": 5570 + }, + { + "epoch": 0.05575, + "grad_norm": 19.90821075439453, + "learning_rate": 4.7689898989898994e-06, + "loss": 7.412100982666016, + "step": 5575 + }, + { + "epoch": 0.0558, + "grad_norm": 17.362276077270508, + "learning_rate": 4.768737373737374e-06, + "loss": 7.4560081481933596, + "step": 5580 + }, + { + "epoch": 0.05585, + "grad_norm": 21.034788131713867, + "learning_rate": 4.768484848484849e-06, + "loss": 7.414686584472657, + "step": 5585 + }, + { + "epoch": 0.0559, + "grad_norm": 13.796605110168457, + "learning_rate": 4.768232323232323e-06, + "loss": 7.424214172363281, + "step": 5590 + }, + { + "epoch": 0.05595, + "grad_norm": 14.169798851013184, + "learning_rate": 4.767979797979798e-06, + "loss": 7.424193572998047, + "step": 5595 + }, + { + "epoch": 0.056, + "grad_norm": 28.761127471923828, + "learning_rate": 4.7677272727272734e-06, + "loss": 7.456349182128906, + "step": 5600 + }, + { + "epoch": 0.05605, + "grad_norm": 13.71801471710205, + "learning_rate": 4.767474747474748e-06, + "loss": 7.412640380859375, + "step": 5605 + }, + { + "epoch": 0.0561, + "grad_norm": 18.31907081604004, + "learning_rate": 4.767222222222223e-06, + "loss": 7.445587158203125, + "step": 5610 + }, + { + "epoch": 0.05615, + "grad_norm": 13.993244171142578, + "learning_rate": 4.766969696969697e-06, + "loss": 7.474983978271484, + "step": 5615 + }, + { + "epoch": 0.0562, + "grad_norm": 28.316524505615234, + "learning_rate": 4.766717171717172e-06, + "loss": 7.348838806152344, + "step": 5620 + }, + { + "epoch": 0.05625, + "grad_norm": 14.15115737915039, + "learning_rate": 4.766464646464647e-06, + "loss": 7.479405212402344, + "step": 5625 + }, + { + "epoch": 0.0563, + "grad_norm": 19.541553497314453, + "learning_rate": 4.766212121212121e-06, + "loss": 7.474996185302734, + "step": 5630 + }, + { + "epoch": 0.05635, + "grad_norm": 14.739532470703125, + "learning_rate": 4.765959595959596e-06, + "loss": 7.4811347961425785, + "step": 5635 + }, + { + "epoch": 0.0564, + "grad_norm": 25.074840545654297, + "learning_rate": 4.765707070707071e-06, + "loss": 7.459928131103515, + "step": 5640 + }, + { + "epoch": 0.05645, + "grad_norm": 16.748214721679688, + "learning_rate": 4.765454545454546e-06, + "loss": 7.441943359375, + "step": 5645 + }, + { + "epoch": 0.0565, + "grad_norm": 14.341911315917969, + "learning_rate": 4.765202020202021e-06, + "loss": 7.402958679199219, + "step": 5650 + }, + { + "epoch": 0.05655, + "grad_norm": 18.087499618530273, + "learning_rate": 4.764949494949495e-06, + "loss": 7.448354339599609, + "step": 5655 + }, + { + "epoch": 0.0566, + "grad_norm": 11.65689754486084, + "learning_rate": 4.76469696969697e-06, + "loss": 7.430799865722657, + "step": 5660 + }, + { + "epoch": 0.05665, + "grad_norm": 18.495588302612305, + "learning_rate": 4.7644444444444445e-06, + "loss": 7.422891998291016, + "step": 5665 + }, + { + "epoch": 0.0567, + "grad_norm": 17.07127571105957, + "learning_rate": 4.764191919191919e-06, + "loss": 7.538980865478516, + "step": 5670 + }, + { + "epoch": 0.05675, + "grad_norm": 13.97375202178955, + "learning_rate": 4.763939393939394e-06, + "loss": 7.435960388183593, + "step": 5675 + }, + { + "epoch": 0.0568, + "grad_norm": 16.4046630859375, + "learning_rate": 4.763686868686869e-06, + "loss": 7.449042510986328, + "step": 5680 + }, + { + "epoch": 0.05685, + "grad_norm": 25.520517349243164, + "learning_rate": 4.763434343434344e-06, + "loss": 7.434669494628906, + "step": 5685 + }, + { + "epoch": 0.0569, + "grad_norm": 12.56342887878418, + "learning_rate": 4.7631818181818185e-06, + "loss": 7.415824127197266, + "step": 5690 + }, + { + "epoch": 0.05695, + "grad_norm": 23.469507217407227, + "learning_rate": 4.762929292929293e-06, + "loss": 6.7615509033203125, + "step": 5695 + }, + { + "epoch": 0.057, + "grad_norm": 14.662023544311523, + "learning_rate": 4.762676767676769e-06, + "loss": 7.162270355224609, + "step": 5700 + }, + { + "epoch": 0.05705, + "grad_norm": 18.740440368652344, + "learning_rate": 4.762424242424243e-06, + "loss": 7.4644828796386715, + "step": 5705 + }, + { + "epoch": 0.0571, + "grad_norm": 16.590961456298828, + "learning_rate": 4.762171717171718e-06, + "loss": 7.493648529052734, + "step": 5710 + }, + { + "epoch": 0.05715, + "grad_norm": 21.32218360900879, + "learning_rate": 4.7619191919191925e-06, + "loss": 7.4714599609375, + "step": 5715 + }, + { + "epoch": 0.0572, + "grad_norm": 23.445404052734375, + "learning_rate": 4.761666666666667e-06, + "loss": 7.281668090820313, + "step": 5720 + }, + { + "epoch": 0.05725, + "grad_norm": 17.04100227355957, + "learning_rate": 4.761414141414142e-06, + "loss": 7.4137428283691404, + "step": 5725 + }, + { + "epoch": 0.0573, + "grad_norm": 15.200889587402344, + "learning_rate": 4.761161616161616e-06, + "loss": 7.411590576171875, + "step": 5730 + }, + { + "epoch": 0.05735, + "grad_norm": 21.38682746887207, + "learning_rate": 4.760909090909091e-06, + "loss": 7.445545959472656, + "step": 5735 + }, + { + "epoch": 0.0574, + "grad_norm": 16.31803321838379, + "learning_rate": 4.7606565656565665e-06, + "loss": 7.4399559020996096, + "step": 5740 + }, + { + "epoch": 0.05745, + "grad_norm": 19.280553817749023, + "learning_rate": 4.760404040404041e-06, + "loss": 7.455693054199219, + "step": 5745 + }, + { + "epoch": 0.0575, + "grad_norm": 16.625455856323242, + "learning_rate": 4.760151515151516e-06, + "loss": 7.403818511962891, + "step": 5750 + }, + { + "epoch": 0.05755, + "grad_norm": 11.560348510742188, + "learning_rate": 4.75989898989899e-06, + "loss": 7.3734375, + "step": 5755 + }, + { + "epoch": 0.0576, + "grad_norm": 19.700429916381836, + "learning_rate": 4.759646464646465e-06, + "loss": 7.44625244140625, + "step": 5760 + }, + { + "epoch": 0.05765, + "grad_norm": 16.45919418334961, + "learning_rate": 4.75939393939394e-06, + "loss": 7.451748657226562, + "step": 5765 + }, + { + "epoch": 0.0577, + "grad_norm": 23.0037899017334, + "learning_rate": 4.759141414141414e-06, + "loss": 7.435987854003907, + "step": 5770 + }, + { + "epoch": 0.05775, + "grad_norm": 18.895755767822266, + "learning_rate": 4.758888888888889e-06, + "loss": 7.387342071533203, + "step": 5775 + }, + { + "epoch": 0.0578, + "grad_norm": 12.486214637756348, + "learning_rate": 4.758636363636364e-06, + "loss": 7.410451507568359, + "step": 5780 + }, + { + "epoch": 0.05785, + "grad_norm": 19.218772888183594, + "learning_rate": 4.758383838383839e-06, + "loss": 7.443010711669922, + "step": 5785 + }, + { + "epoch": 0.0579, + "grad_norm": 12.704147338867188, + "learning_rate": 4.758131313131314e-06, + "loss": 7.405137634277343, + "step": 5790 + }, + { + "epoch": 0.05795, + "grad_norm": 21.602676391601562, + "learning_rate": 4.757878787878788e-06, + "loss": 7.535107421875, + "step": 5795 + }, + { + "epoch": 0.058, + "grad_norm": 17.215662002563477, + "learning_rate": 4.757626262626263e-06, + "loss": 7.363690948486328, + "step": 5800 + }, + { + "epoch": 0.05805, + "grad_norm": 20.03301429748535, + "learning_rate": 4.7573737373737375e-06, + "loss": 7.365547180175781, + "step": 5805 + }, + { + "epoch": 0.0581, + "grad_norm": 27.06032371520996, + "learning_rate": 4.757121212121212e-06, + "loss": 7.432145690917968, + "step": 5810 + }, + { + "epoch": 0.05815, + "grad_norm": 11.073099136352539, + "learning_rate": 4.756868686868688e-06, + "loss": 7.408209991455078, + "step": 5815 + }, + { + "epoch": 0.0582, + "grad_norm": 18.43425178527832, + "learning_rate": 4.756616161616162e-06, + "loss": 7.3963478088378904, + "step": 5820 + }, + { + "epoch": 0.05825, + "grad_norm": 18.0744571685791, + "learning_rate": 4.756363636363637e-06, + "loss": 7.348499298095703, + "step": 5825 + }, + { + "epoch": 0.0583, + "grad_norm": 17.661806106567383, + "learning_rate": 4.7561111111111115e-06, + "loss": 7.414032745361328, + "step": 5830 + }, + { + "epoch": 0.05835, + "grad_norm": 17.43125343322754, + "learning_rate": 4.755858585858586e-06, + "loss": 7.3651878356933596, + "step": 5835 + }, + { + "epoch": 0.0584, + "grad_norm": 20.05885887145996, + "learning_rate": 4.755606060606061e-06, + "loss": 7.46289291381836, + "step": 5840 + }, + { + "epoch": 0.05845, + "grad_norm": 13.228622436523438, + "learning_rate": 4.755353535353535e-06, + "loss": 7.426290130615234, + "step": 5845 + }, + { + "epoch": 0.0585, + "grad_norm": 16.293603897094727, + "learning_rate": 4.75510101010101e-06, + "loss": 7.423129272460938, + "step": 5850 + }, + { + "epoch": 0.05855, + "grad_norm": 17.442737579345703, + "learning_rate": 4.7548484848484855e-06, + "loss": 7.355368804931641, + "step": 5855 + }, + { + "epoch": 0.0586, + "grad_norm": 16.99224090576172, + "learning_rate": 4.75459595959596e-06, + "loss": 7.361419677734375, + "step": 5860 + }, + { + "epoch": 0.05865, + "grad_norm": 22.993154525756836, + "learning_rate": 4.754343434343435e-06, + "loss": 7.391024780273438, + "step": 5865 + }, + { + "epoch": 0.0587, + "grad_norm": 29.75162124633789, + "learning_rate": 4.754090909090909e-06, + "loss": 7.217912292480468, + "step": 5870 + }, + { + "epoch": 0.05875, + "grad_norm": 18.345291137695312, + "learning_rate": 4.753838383838385e-06, + "loss": 7.426860809326172, + "step": 5875 + }, + { + "epoch": 0.0588, + "grad_norm": 15.290863037109375, + "learning_rate": 4.7535858585858595e-06, + "loss": 7.3977607727050785, + "step": 5880 + }, + { + "epoch": 0.05885, + "grad_norm": 17.886123657226562, + "learning_rate": 4.753333333333333e-06, + "loss": 7.325679016113281, + "step": 5885 + }, + { + "epoch": 0.0589, + "grad_norm": 21.9522647857666, + "learning_rate": 4.753080808080808e-06, + "loss": 7.381395721435547, + "step": 5890 + }, + { + "epoch": 0.05895, + "grad_norm": 12.989285469055176, + "learning_rate": 4.752828282828283e-06, + "loss": 7.365306091308594, + "step": 5895 + }, + { + "epoch": 0.059, + "grad_norm": 20.4886531829834, + "learning_rate": 4.752575757575758e-06, + "loss": 7.3723907470703125, + "step": 5900 + }, + { + "epoch": 0.05905, + "grad_norm": 43.66281509399414, + "learning_rate": 4.752323232323233e-06, + "loss": 7.589836120605469, + "step": 5905 + }, + { + "epoch": 0.0591, + "grad_norm": 21.818506240844727, + "learning_rate": 4.752070707070707e-06, + "loss": 7.481194305419922, + "step": 5910 + }, + { + "epoch": 0.05915, + "grad_norm": 18.65826416015625, + "learning_rate": 4.751818181818183e-06, + "loss": 7.426165771484375, + "step": 5915 + }, + { + "epoch": 0.0592, + "grad_norm": 15.598796844482422, + "learning_rate": 4.751565656565657e-06, + "loss": 7.3957061767578125, + "step": 5920 + }, + { + "epoch": 0.05925, + "grad_norm": 17.28043556213379, + "learning_rate": 4.751313131313132e-06, + "loss": 7.373983764648438, + "step": 5925 + }, + { + "epoch": 0.0593, + "grad_norm": 19.29776954650879, + "learning_rate": 4.751060606060607e-06, + "loss": 7.460882568359375, + "step": 5930 + }, + { + "epoch": 0.05935, + "grad_norm": 15.937277793884277, + "learning_rate": 4.750808080808081e-06, + "loss": 7.494353485107422, + "step": 5935 + }, + { + "epoch": 0.0594, + "grad_norm": 20.630159378051758, + "learning_rate": 4.750555555555556e-06, + "loss": 7.516507720947265, + "step": 5940 + }, + { + "epoch": 0.05945, + "grad_norm": 14.242840766906738, + "learning_rate": 4.7503030303030305e-06, + "loss": 7.405439758300782, + "step": 5945 + }, + { + "epoch": 0.0595, + "grad_norm": 20.529651641845703, + "learning_rate": 4.750050505050505e-06, + "loss": 7.404287719726563, + "step": 5950 + }, + { + "epoch": 0.05955, + "grad_norm": 22.474390029907227, + "learning_rate": 4.749797979797981e-06, + "loss": 7.3753204345703125, + "step": 5955 + }, + { + "epoch": 0.0596, + "grad_norm": 15.492379188537598, + "learning_rate": 4.749545454545455e-06, + "loss": 7.312710571289062, + "step": 5960 + }, + { + "epoch": 0.05965, + "grad_norm": 15.615510940551758, + "learning_rate": 4.74929292929293e-06, + "loss": 7.586792755126953, + "step": 5965 + }, + { + "epoch": 0.0597, + "grad_norm": 24.81792449951172, + "learning_rate": 4.7490404040404045e-06, + "loss": 7.421467590332031, + "step": 5970 + }, + { + "epoch": 0.05975, + "grad_norm": 21.100526809692383, + "learning_rate": 4.748787878787879e-06, + "loss": 7.423560333251953, + "step": 5975 + }, + { + "epoch": 0.0598, + "grad_norm": 17.285804748535156, + "learning_rate": 4.748535353535354e-06, + "loss": 7.376319122314453, + "step": 5980 + }, + { + "epoch": 0.05985, + "grad_norm": 30.1626033782959, + "learning_rate": 4.7482828282828284e-06, + "loss": 7.436541748046875, + "step": 5985 + }, + { + "epoch": 0.0599, + "grad_norm": 10.938192367553711, + "learning_rate": 4.748030303030303e-06, + "loss": 7.410193634033203, + "step": 5990 + }, + { + "epoch": 0.05995, + "grad_norm": 17.781036376953125, + "learning_rate": 4.7477777777777785e-06, + "loss": 7.324515533447266, + "step": 5995 + }, + { + "epoch": 0.06, + "grad_norm": 12.970977783203125, + "learning_rate": 4.747525252525253e-06, + "loss": 7.388859558105469, + "step": 6000 + }, + { + "epoch": 0.06005, + "grad_norm": 16.363014221191406, + "learning_rate": 4.747272727272728e-06, + "loss": 7.4362640380859375, + "step": 6005 + }, + { + "epoch": 0.0601, + "grad_norm": 17.426462173461914, + "learning_rate": 4.747020202020202e-06, + "loss": 7.434485626220703, + "step": 6010 + }, + { + "epoch": 0.06015, + "grad_norm": 21.50102996826172, + "learning_rate": 4.746767676767677e-06, + "loss": 7.4320838928222654, + "step": 6015 + }, + { + "epoch": 0.0602, + "grad_norm": 17.60247039794922, + "learning_rate": 4.746515151515152e-06, + "loss": 7.4154411315917965, + "step": 6020 + }, + { + "epoch": 0.06025, + "grad_norm": 11.022239685058594, + "learning_rate": 4.746262626262626e-06, + "loss": 7.354352569580078, + "step": 6025 + }, + { + "epoch": 0.0603, + "grad_norm": 21.815902709960938, + "learning_rate": 4.746010101010101e-06, + "loss": 7.417121124267578, + "step": 6030 + }, + { + "epoch": 0.06035, + "grad_norm": 14.970441818237305, + "learning_rate": 4.745757575757576e-06, + "loss": 7.431978607177735, + "step": 6035 + }, + { + "epoch": 0.0604, + "grad_norm": 14.935155868530273, + "learning_rate": 4.745505050505051e-06, + "loss": 7.3781074523925785, + "step": 6040 + }, + { + "epoch": 0.06045, + "grad_norm": 22.588817596435547, + "learning_rate": 4.745252525252526e-06, + "loss": 7.343415832519531, + "step": 6045 + }, + { + "epoch": 0.0605, + "grad_norm": 21.562217712402344, + "learning_rate": 4.745e-06, + "loss": 7.612806701660157, + "step": 6050 + }, + { + "epoch": 0.06055, + "grad_norm": 13.157464027404785, + "learning_rate": 4.744747474747475e-06, + "loss": 7.344144439697265, + "step": 6055 + }, + { + "epoch": 0.0606, + "grad_norm": 19.955015182495117, + "learning_rate": 4.7444949494949496e-06, + "loss": 7.372591400146485, + "step": 6060 + }, + { + "epoch": 0.06065, + "grad_norm": 13.40371322631836, + "learning_rate": 4.744242424242424e-06, + "loss": 7.287052917480469, + "step": 6065 + }, + { + "epoch": 0.0607, + "grad_norm": 12.70802116394043, + "learning_rate": 4.743989898989899e-06, + "loss": 7.401102447509766, + "step": 6070 + }, + { + "epoch": 0.06075, + "grad_norm": 23.34242820739746, + "learning_rate": 4.743737373737374e-06, + "loss": 7.388157653808594, + "step": 6075 + }, + { + "epoch": 0.0608, + "grad_norm": 20.732418060302734, + "learning_rate": 4.743484848484849e-06, + "loss": 7.532572174072266, + "step": 6080 + }, + { + "epoch": 0.06085, + "grad_norm": 19.82404136657715, + "learning_rate": 4.7432323232323236e-06, + "loss": 7.419532775878906, + "step": 6085 + }, + { + "epoch": 0.0609, + "grad_norm": 19.236736297607422, + "learning_rate": 4.742979797979798e-06, + "loss": 7.358146667480469, + "step": 6090 + }, + { + "epoch": 0.06095, + "grad_norm": 12.853151321411133, + "learning_rate": 4.742727272727274e-06, + "loss": 7.368955993652344, + "step": 6095 + }, + { + "epoch": 0.061, + "grad_norm": 15.969011306762695, + "learning_rate": 4.742474747474748e-06, + "loss": 7.365327453613281, + "step": 6100 + }, + { + "epoch": 0.06105, + "grad_norm": 21.67343521118164, + "learning_rate": 4.742222222222222e-06, + "loss": 7.420275115966797, + "step": 6105 + }, + { + "epoch": 0.0611, + "grad_norm": 17.516590118408203, + "learning_rate": 4.741969696969697e-06, + "loss": 7.38909683227539, + "step": 6110 + }, + { + "epoch": 0.06115, + "grad_norm": 20.0014591217041, + "learning_rate": 4.741717171717172e-06, + "loss": 7.404148101806641, + "step": 6115 + }, + { + "epoch": 0.0612, + "grad_norm": 13.528839111328125, + "learning_rate": 4.741464646464647e-06, + "loss": 7.370179748535156, + "step": 6120 + }, + { + "epoch": 0.06125, + "grad_norm": 21.39055061340332, + "learning_rate": 4.7412121212121215e-06, + "loss": 7.466165924072266, + "step": 6125 + }, + { + "epoch": 0.0613, + "grad_norm": 17.44588851928711, + "learning_rate": 4.740959595959596e-06, + "loss": 7.420116424560547, + "step": 6130 + }, + { + "epoch": 0.06135, + "grad_norm": 15.444082260131836, + "learning_rate": 4.7407070707070716e-06, + "loss": 7.370317077636718, + "step": 6135 + }, + { + "epoch": 0.0614, + "grad_norm": 20.454729080200195, + "learning_rate": 4.740454545454546e-06, + "loss": 7.410682678222656, + "step": 6140 + }, + { + "epoch": 0.06145, + "grad_norm": 13.47769546508789, + "learning_rate": 4.740202020202021e-06, + "loss": 7.53656005859375, + "step": 6145 + }, + { + "epoch": 0.0615, + "grad_norm": 26.07635498046875, + "learning_rate": 4.7399494949494955e-06, + "loss": 7.4091957092285154, + "step": 6150 + }, + { + "epoch": 0.06155, + "grad_norm": 22.732656478881836, + "learning_rate": 4.73969696969697e-06, + "loss": 7.333550262451172, + "step": 6155 + }, + { + "epoch": 0.0616, + "grad_norm": 15.837180137634277, + "learning_rate": 4.739444444444445e-06, + "loss": 7.354871368408203, + "step": 6160 + }, + { + "epoch": 0.06165, + "grad_norm": 14.899121284484863, + "learning_rate": 4.739191919191919e-06, + "loss": 7.312581634521484, + "step": 6165 + }, + { + "epoch": 0.0617, + "grad_norm": 23.64531898498535, + "learning_rate": 4.738939393939394e-06, + "loss": 7.410173034667968, + "step": 6170 + }, + { + "epoch": 0.06175, + "grad_norm": 18.29912757873535, + "learning_rate": 4.7386868686868695e-06, + "loss": 7.352548217773437, + "step": 6175 + }, + { + "epoch": 0.0618, + "grad_norm": 14.630946159362793, + "learning_rate": 4.738434343434344e-06, + "loss": 7.401498413085937, + "step": 6180 + }, + { + "epoch": 0.06185, + "grad_norm": 12.845257759094238, + "learning_rate": 4.738181818181819e-06, + "loss": 7.335762786865234, + "step": 6185 + }, + { + "epoch": 0.0619, + "grad_norm": 21.218656539916992, + "learning_rate": 4.737929292929293e-06, + "loss": 7.358460998535156, + "step": 6190 + }, + { + "epoch": 0.06195, + "grad_norm": 13.853650093078613, + "learning_rate": 4.737676767676768e-06, + "loss": 7.312032318115234, + "step": 6195 + }, + { + "epoch": 0.062, + "grad_norm": 22.474580764770508, + "learning_rate": 4.737424242424243e-06, + "loss": 7.365679931640625, + "step": 6200 + }, + { + "epoch": 0.06205, + "grad_norm": 17.139989852905273, + "learning_rate": 4.737171717171717e-06, + "loss": 7.375102996826172, + "step": 6205 + }, + { + "epoch": 0.0621, + "grad_norm": 19.642553329467773, + "learning_rate": 4.736919191919193e-06, + "loss": 7.1638954162597654, + "step": 6210 + }, + { + "epoch": 0.06215, + "grad_norm": 15.117340087890625, + "learning_rate": 4.736666666666667e-06, + "loss": 7.306954193115234, + "step": 6215 + }, + { + "epoch": 0.0622, + "grad_norm": 16.355966567993164, + "learning_rate": 4.736414141414142e-06, + "loss": 7.327334594726563, + "step": 6220 + }, + { + "epoch": 0.06225, + "grad_norm": 14.20102310180664, + "learning_rate": 4.736161616161617e-06, + "loss": 7.356663513183594, + "step": 6225 + }, + { + "epoch": 0.0623, + "grad_norm": 25.963598251342773, + "learning_rate": 4.735909090909091e-06, + "loss": 7.352782440185547, + "step": 6230 + }, + { + "epoch": 0.06235, + "grad_norm": 16.251602172851562, + "learning_rate": 4.735656565656566e-06, + "loss": 7.3658607482910154, + "step": 6235 + }, + { + "epoch": 0.0624, + "grad_norm": 16.524738311767578, + "learning_rate": 4.7354040404040405e-06, + "loss": 7.355733489990234, + "step": 6240 + }, + { + "epoch": 0.06245, + "grad_norm": 17.232032775878906, + "learning_rate": 4.735151515151515e-06, + "loss": 7.378041076660156, + "step": 6245 + }, + { + "epoch": 0.0625, + "grad_norm": 20.492265701293945, + "learning_rate": 4.734898989898991e-06, + "loss": 7.378736114501953, + "step": 6250 + }, + { + "epoch": 0.06255, + "grad_norm": 12.40377140045166, + "learning_rate": 4.734646464646465e-06, + "loss": 7.312510681152344, + "step": 6255 + }, + { + "epoch": 0.0626, + "grad_norm": 21.939966201782227, + "learning_rate": 4.73439393939394e-06, + "loss": 7.345623779296875, + "step": 6260 + }, + { + "epoch": 0.06265, + "grad_norm": 13.608049392700195, + "learning_rate": 4.7341414141414145e-06, + "loss": 7.391778564453125, + "step": 6265 + }, + { + "epoch": 0.0627, + "grad_norm": 20.501012802124023, + "learning_rate": 4.733888888888889e-06, + "loss": 7.3935302734375, + "step": 6270 + }, + { + "epoch": 0.06275, + "grad_norm": 19.37184715270996, + "learning_rate": 4.733636363636364e-06, + "loss": 7.306283569335937, + "step": 6275 + }, + { + "epoch": 0.0628, + "grad_norm": 13.488133430480957, + "learning_rate": 4.733383838383838e-06, + "loss": 7.396861267089844, + "step": 6280 + }, + { + "epoch": 0.06285, + "grad_norm": 19.10703468322754, + "learning_rate": 4.733131313131313e-06, + "loss": 7.358041381835937, + "step": 6285 + }, + { + "epoch": 0.0629, + "grad_norm": 17.555648803710938, + "learning_rate": 4.7328787878787885e-06, + "loss": 7.356269073486328, + "step": 6290 + }, + { + "epoch": 0.06295, + "grad_norm": 14.135422706604004, + "learning_rate": 4.732626262626263e-06, + "loss": 7.390798950195313, + "step": 6295 + }, + { + "epoch": 0.063, + "grad_norm": 16.306180953979492, + "learning_rate": 4.732373737373738e-06, + "loss": 7.316192626953125, + "step": 6300 + }, + { + "epoch": 0.06305, + "grad_norm": 19.998371124267578, + "learning_rate": 4.732121212121212e-06, + "loss": 7.359248352050781, + "step": 6305 + }, + { + "epoch": 0.0631, + "grad_norm": 17.871797561645508, + "learning_rate": 4.731868686868688e-06, + "loss": 7.306805419921875, + "step": 6310 + }, + { + "epoch": 0.06315, + "grad_norm": 11.288522720336914, + "learning_rate": 4.7316161616161625e-06, + "loss": 7.328477478027343, + "step": 6315 + }, + { + "epoch": 0.0632, + "grad_norm": 22.13749122619629, + "learning_rate": 4.731363636363637e-06, + "loss": 7.459363555908203, + "step": 6320 + }, + { + "epoch": 0.06325, + "grad_norm": 14.10296630859375, + "learning_rate": 4.731111111111112e-06, + "loss": 7.4331611633300785, + "step": 6325 + }, + { + "epoch": 0.0633, + "grad_norm": 23.86881446838379, + "learning_rate": 4.730858585858586e-06, + "loss": 7.342826843261719, + "step": 6330 + }, + { + "epoch": 0.06335, + "grad_norm": 23.636579513549805, + "learning_rate": 4.730606060606061e-06, + "loss": 7.37843017578125, + "step": 6335 + }, + { + "epoch": 0.0634, + "grad_norm": 16.015174865722656, + "learning_rate": 4.730353535353536e-06, + "loss": 7.353832244873047, + "step": 6340 + }, + { + "epoch": 0.06345, + "grad_norm": 20.537078857421875, + "learning_rate": 4.73010101010101e-06, + "loss": 7.316778564453125, + "step": 6345 + }, + { + "epoch": 0.0635, + "grad_norm": 16.991735458374023, + "learning_rate": 4.729848484848486e-06, + "loss": 7.385282897949219, + "step": 6350 + }, + { + "epoch": 0.06355, + "grad_norm": 11.62346076965332, + "learning_rate": 4.72959595959596e-06, + "loss": 7.33648681640625, + "step": 6355 + }, + { + "epoch": 0.0636, + "grad_norm": 14.831382751464844, + "learning_rate": 4.729343434343435e-06, + "loss": 7.299131774902344, + "step": 6360 + }, + { + "epoch": 0.06365, + "grad_norm": 13.414105415344238, + "learning_rate": 4.72909090909091e-06, + "loss": 7.257669830322266, + "step": 6365 + }, + { + "epoch": 0.0637, + "grad_norm": 18.439241409301758, + "learning_rate": 4.728838383838384e-06, + "loss": 7.417701721191406, + "step": 6370 + }, + { + "epoch": 0.06375, + "grad_norm": 18.860816955566406, + "learning_rate": 4.728585858585859e-06, + "loss": 7.369428253173828, + "step": 6375 + }, + { + "epoch": 0.0638, + "grad_norm": 15.246565818786621, + "learning_rate": 4.7283333333333335e-06, + "loss": 7.373403167724609, + "step": 6380 + }, + { + "epoch": 0.06385, + "grad_norm": 18.29256248474121, + "learning_rate": 4.728080808080808e-06, + "loss": 7.309664154052735, + "step": 6385 + }, + { + "epoch": 0.0639, + "grad_norm": 21.724143981933594, + "learning_rate": 4.727828282828284e-06, + "loss": 7.331757354736328, + "step": 6390 + }, + { + "epoch": 0.06395, + "grad_norm": 10.249874114990234, + "learning_rate": 4.727575757575758e-06, + "loss": 7.28857421875, + "step": 6395 + }, + { + "epoch": 0.064, + "grad_norm": 22.463497161865234, + "learning_rate": 4.727323232323233e-06, + "loss": 7.329997253417969, + "step": 6400 + }, + { + "epoch": 0.06405, + "grad_norm": 16.391769409179688, + "learning_rate": 4.7270707070707075e-06, + "loss": 7.312666320800782, + "step": 6405 + }, + { + "epoch": 0.0641, + "grad_norm": 16.032358169555664, + "learning_rate": 4.726818181818182e-06, + "loss": 7.431202697753906, + "step": 6410 + }, + { + "epoch": 0.06415, + "grad_norm": 13.866803169250488, + "learning_rate": 4.726565656565657e-06, + "loss": 7.3273262023925785, + "step": 6415 + }, + { + "epoch": 0.0642, + "grad_norm": 23.178359985351562, + "learning_rate": 4.726313131313131e-06, + "loss": 7.303889465332031, + "step": 6420 + }, + { + "epoch": 0.06425, + "grad_norm": 18.35276222229004, + "learning_rate": 4.726060606060606e-06, + "loss": 7.341036224365235, + "step": 6425 + }, + { + "epoch": 0.0643, + "grad_norm": 14.11735725402832, + "learning_rate": 4.7258080808080815e-06, + "loss": 7.382530212402344, + "step": 6430 + }, + { + "epoch": 0.06435, + "grad_norm": 17.06545639038086, + "learning_rate": 4.725555555555556e-06, + "loss": 7.311770629882813, + "step": 6435 + }, + { + "epoch": 0.0644, + "grad_norm": 12.276899337768555, + "learning_rate": 4.725303030303031e-06, + "loss": 7.329534912109375, + "step": 6440 + }, + { + "epoch": 0.06445, + "grad_norm": 19.888385772705078, + "learning_rate": 4.725050505050505e-06, + "loss": 7.334482574462891, + "step": 6445 + }, + { + "epoch": 0.0645, + "grad_norm": 21.440914154052734, + "learning_rate": 4.72479797979798e-06, + "loss": 7.305474853515625, + "step": 6450 + }, + { + "epoch": 0.06455, + "grad_norm": 16.971323013305664, + "learning_rate": 4.724545454545455e-06, + "loss": 7.328004455566406, + "step": 6455 + }, + { + "epoch": 0.0646, + "grad_norm": 12.29317569732666, + "learning_rate": 4.724292929292929e-06, + "loss": 7.2856605529785154, + "step": 6460 + }, + { + "epoch": 0.06465, + "grad_norm": 22.287874221801758, + "learning_rate": 4.724040404040404e-06, + "loss": 7.333892822265625, + "step": 6465 + }, + { + "epoch": 0.0647, + "grad_norm": 16.47034454345703, + "learning_rate": 4.723787878787879e-06, + "loss": 7.3681884765625, + "step": 6470 + }, + { + "epoch": 0.06475, + "grad_norm": 13.40788459777832, + "learning_rate": 4.723535353535354e-06, + "loss": 7.3021400451660154, + "step": 6475 + }, + { + "epoch": 0.0648, + "grad_norm": 26.350791931152344, + "learning_rate": 4.723282828282829e-06, + "loss": 7.362093353271485, + "step": 6480 + }, + { + "epoch": 0.06485, + "grad_norm": 12.530688285827637, + "learning_rate": 4.723030303030303e-06, + "loss": 7.333232879638672, + "step": 6485 + }, + { + "epoch": 0.0649, + "grad_norm": 20.948619842529297, + "learning_rate": 4.722777777777779e-06, + "loss": 7.376651763916016, + "step": 6490 + }, + { + "epoch": 0.06495, + "grad_norm": 24.572309494018555, + "learning_rate": 4.7225252525252526e-06, + "loss": 7.288954162597657, + "step": 6495 + }, + { + "epoch": 0.065, + "grad_norm": 15.652830123901367, + "learning_rate": 4.722272727272727e-06, + "loss": 7.271328735351562, + "step": 6500 + }, + { + "epoch": 0.06505, + "grad_norm": 13.813000679016113, + "learning_rate": 4.722020202020202e-06, + "loss": 7.340414428710938, + "step": 6505 + }, + { + "epoch": 0.0651, + "grad_norm": 19.120975494384766, + "learning_rate": 4.721767676767677e-06, + "loss": 7.4265380859375, + "step": 6510 + }, + { + "epoch": 0.06515, + "grad_norm": 19.44134521484375, + "learning_rate": 4.721515151515152e-06, + "loss": 7.286913299560547, + "step": 6515 + }, + { + "epoch": 0.0652, + "grad_norm": 12.709969520568848, + "learning_rate": 4.7212626262626266e-06, + "loss": 7.287065124511718, + "step": 6520 + }, + { + "epoch": 0.06525, + "grad_norm": 20.855287551879883, + "learning_rate": 4.721010101010101e-06, + "loss": 7.298835754394531, + "step": 6525 + }, + { + "epoch": 0.0653, + "grad_norm": 13.956583976745605, + "learning_rate": 4.720757575757577e-06, + "loss": 7.324440765380859, + "step": 6530 + }, + { + "epoch": 0.06535, + "grad_norm": 15.965331077575684, + "learning_rate": 4.720505050505051e-06, + "loss": 7.29022445678711, + "step": 6535 + }, + { + "epoch": 0.0654, + "grad_norm": 22.82750129699707, + "learning_rate": 4.720252525252526e-06, + "loss": 7.31793441772461, + "step": 6540 + }, + { + "epoch": 0.06545, + "grad_norm": 10.450855255126953, + "learning_rate": 4.7200000000000005e-06, + "loss": 7.300748443603515, + "step": 6545 + }, + { + "epoch": 0.0655, + "grad_norm": 15.687492370605469, + "learning_rate": 4.719747474747475e-06, + "loss": 7.2619171142578125, + "step": 6550 + }, + { + "epoch": 0.06555, + "grad_norm": 13.17013931274414, + "learning_rate": 4.71949494949495e-06, + "loss": 7.371894836425781, + "step": 6555 + }, + { + "epoch": 0.0656, + "grad_norm": 20.62639045715332, + "learning_rate": 4.7192424242424244e-06, + "loss": 7.390414428710938, + "step": 6560 + }, + { + "epoch": 0.06565, + "grad_norm": 22.231746673583984, + "learning_rate": 4.718989898989899e-06, + "loss": 7.291191101074219, + "step": 6565 + }, + { + "epoch": 0.0657, + "grad_norm": 21.956789016723633, + "learning_rate": 4.7187373737373745e-06, + "loss": 7.307810211181641, + "step": 6570 + }, + { + "epoch": 0.06575, + "grad_norm": 19.16622543334961, + "learning_rate": 4.718484848484849e-06, + "loss": 7.324440765380859, + "step": 6575 + }, + { + "epoch": 0.0658, + "grad_norm": 18.338985443115234, + "learning_rate": 4.718232323232324e-06, + "loss": 7.281874084472657, + "step": 6580 + }, + { + "epoch": 0.06585, + "grad_norm": 13.890073776245117, + "learning_rate": 4.7179797979797984e-06, + "loss": 7.351361846923828, + "step": 6585 + }, + { + "epoch": 0.0659, + "grad_norm": 17.487232208251953, + "learning_rate": 4.717727272727273e-06, + "loss": 7.337972259521484, + "step": 6590 + }, + { + "epoch": 0.06595, + "grad_norm": 13.280776977539062, + "learning_rate": 4.717474747474748e-06, + "loss": 7.3161460876464846, + "step": 6595 + }, + { + "epoch": 0.066, + "grad_norm": 23.972814559936523, + "learning_rate": 4.717222222222222e-06, + "loss": 7.347524261474609, + "step": 6600 + }, + { + "epoch": 0.06605, + "grad_norm": 15.621679306030273, + "learning_rate": 4.716969696969697e-06, + "loss": 7.298374938964844, + "step": 6605 + }, + { + "epoch": 0.0661, + "grad_norm": 18.897226333618164, + "learning_rate": 4.7167171717171724e-06, + "loss": 7.268804931640625, + "step": 6610 + }, + { + "epoch": 0.06615, + "grad_norm": 12.835030555725098, + "learning_rate": 4.716464646464647e-06, + "loss": 7.304584503173828, + "step": 6615 + }, + { + "epoch": 0.0662, + "grad_norm": 12.50285816192627, + "learning_rate": 4.716212121212122e-06, + "loss": 7.3490234375, + "step": 6620 + }, + { + "epoch": 0.06625, + "grad_norm": 15.55599594116211, + "learning_rate": 4.715959595959596e-06, + "loss": 7.278350067138672, + "step": 6625 + }, + { + "epoch": 0.0663, + "grad_norm": 13.388211250305176, + "learning_rate": 4.715707070707071e-06, + "loss": 7.289142608642578, + "step": 6630 + }, + { + "epoch": 0.06635, + "grad_norm": 28.649948120117188, + "learning_rate": 4.715454545454546e-06, + "loss": 7.2746940612792965, + "step": 6635 + }, + { + "epoch": 0.0664, + "grad_norm": 17.62480354309082, + "learning_rate": 4.71520202020202e-06, + "loss": 7.408467102050781, + "step": 6640 + }, + { + "epoch": 0.06645, + "grad_norm": 17.75600814819336, + "learning_rate": 4.714949494949496e-06, + "loss": 7.299745178222656, + "step": 6645 + }, + { + "epoch": 0.0665, + "grad_norm": 10.599562644958496, + "learning_rate": 4.71469696969697e-06, + "loss": 7.262963104248047, + "step": 6650 + }, + { + "epoch": 0.06655, + "grad_norm": 13.631043434143066, + "learning_rate": 4.714444444444445e-06, + "loss": 7.232206726074219, + "step": 6655 + }, + { + "epoch": 0.0666, + "grad_norm": 19.355812072753906, + "learning_rate": 4.71419191919192e-06, + "loss": 7.2416847229003904, + "step": 6660 + }, + { + "epoch": 0.06665, + "grad_norm": 17.202749252319336, + "learning_rate": 4.713939393939394e-06, + "loss": 7.272434997558594, + "step": 6665 + }, + { + "epoch": 0.0667, + "grad_norm": 10.6626615524292, + "learning_rate": 4.713686868686869e-06, + "loss": 7.341461944580078, + "step": 6670 + }, + { + "epoch": 0.06675, + "grad_norm": 18.189058303833008, + "learning_rate": 4.7134343434343435e-06, + "loss": 7.295185852050781, + "step": 6675 + }, + { + "epoch": 0.0668, + "grad_norm": 13.035717964172363, + "learning_rate": 4.713181818181818e-06, + "loss": 7.28192367553711, + "step": 6680 + }, + { + "epoch": 0.06685, + "grad_norm": 24.853967666625977, + "learning_rate": 4.712929292929294e-06, + "loss": 7.299000549316406, + "step": 6685 + }, + { + "epoch": 0.0669, + "grad_norm": 17.72437858581543, + "learning_rate": 4.712676767676768e-06, + "loss": 7.289732360839844, + "step": 6690 + }, + { + "epoch": 0.06695, + "grad_norm": 16.3730411529541, + "learning_rate": 4.712424242424243e-06, + "loss": 7.295805358886719, + "step": 6695 + }, + { + "epoch": 0.067, + "grad_norm": 16.94779396057129, + "learning_rate": 4.7121717171717175e-06, + "loss": 7.249663543701172, + "step": 6700 + }, + { + "epoch": 0.06705, + "grad_norm": 18.565229415893555, + "learning_rate": 4.711919191919193e-06, + "loss": 7.270211791992187, + "step": 6705 + }, + { + "epoch": 0.0671, + "grad_norm": 13.987051963806152, + "learning_rate": 4.711666666666668e-06, + "loss": 7.2154182434082035, + "step": 6710 + }, + { + "epoch": 0.06715, + "grad_norm": 13.697429656982422, + "learning_rate": 4.711414141414141e-06, + "loss": 7.586630249023438, + "step": 6715 + }, + { + "epoch": 0.0672, + "grad_norm": 14.224781036376953, + "learning_rate": 4.711161616161616e-06, + "loss": 7.301143646240234, + "step": 6720 + }, + { + "epoch": 0.06725, + "grad_norm": 21.061784744262695, + "learning_rate": 4.7109090909090915e-06, + "loss": 7.325705718994141, + "step": 6725 + }, + { + "epoch": 0.0673, + "grad_norm": 18.457120895385742, + "learning_rate": 4.710656565656566e-06, + "loss": 7.290209197998047, + "step": 6730 + }, + { + "epoch": 0.06735, + "grad_norm": 17.7507266998291, + "learning_rate": 4.710404040404041e-06, + "loss": 7.264765930175781, + "step": 6735 + }, + { + "epoch": 0.0674, + "grad_norm": 17.166187286376953, + "learning_rate": 4.710151515151515e-06, + "loss": 7.258859252929687, + "step": 6740 + }, + { + "epoch": 0.06745, + "grad_norm": 18.604665756225586, + "learning_rate": 4.709898989898991e-06, + "loss": 7.295572662353516, + "step": 6745 + }, + { + "epoch": 0.0675, + "grad_norm": 19.921525955200195, + "learning_rate": 4.7096464646464655e-06, + "loss": 7.341793060302734, + "step": 6750 + }, + { + "epoch": 0.06755, + "grad_norm": 11.9418363571167, + "learning_rate": 4.70939393939394e-06, + "loss": 7.224874877929688, + "step": 6755 + }, + { + "epoch": 0.0676, + "grad_norm": 20.216550827026367, + "learning_rate": 4.709141414141415e-06, + "loss": 7.266896057128906, + "step": 6760 + }, + { + "epoch": 0.06765, + "grad_norm": 13.853838920593262, + "learning_rate": 4.708888888888889e-06, + "loss": 7.250466918945312, + "step": 6765 + }, + { + "epoch": 0.0677, + "grad_norm": 16.157703399658203, + "learning_rate": 4.708636363636364e-06, + "loss": 7.245932769775391, + "step": 6770 + }, + { + "epoch": 0.06775, + "grad_norm": 17.650476455688477, + "learning_rate": 4.708383838383839e-06, + "loss": 7.282032775878906, + "step": 6775 + }, + { + "epoch": 0.0678, + "grad_norm": 19.55583381652832, + "learning_rate": 4.708131313131313e-06, + "loss": 7.254768371582031, + "step": 6780 + }, + { + "epoch": 0.06785, + "grad_norm": 13.151528358459473, + "learning_rate": 4.707878787878789e-06, + "loss": 7.2370460510253904, + "step": 6785 + }, + { + "epoch": 0.0679, + "grad_norm": 21.066972732543945, + "learning_rate": 4.707626262626263e-06, + "loss": 7.244229125976562, + "step": 6790 + }, + { + "epoch": 0.06795, + "grad_norm": 20.489511489868164, + "learning_rate": 4.707373737373738e-06, + "loss": 7.35509033203125, + "step": 6795 + }, + { + "epoch": 0.068, + "grad_norm": 17.795164108276367, + "learning_rate": 4.707121212121213e-06, + "loss": 7.163232421875, + "step": 6800 + }, + { + "epoch": 0.06805, + "grad_norm": 32.03147506713867, + "learning_rate": 4.706868686868687e-06, + "loss": 7.261328125, + "step": 6805 + }, + { + "epoch": 0.0681, + "grad_norm": 16.134010314941406, + "learning_rate": 4.706616161616162e-06, + "loss": 7.186199188232422, + "step": 6810 + }, + { + "epoch": 0.06815, + "grad_norm": 11.905620574951172, + "learning_rate": 4.7063636363636365e-06, + "loss": 7.251412963867187, + "step": 6815 + }, + { + "epoch": 0.0682, + "grad_norm": 16.414987564086914, + "learning_rate": 4.706111111111111e-06, + "loss": 7.2604515075683596, + "step": 6820 + }, + { + "epoch": 0.06825, + "grad_norm": 25.271652221679688, + "learning_rate": 4.705858585858587e-06, + "loss": 7.286151123046875, + "step": 6825 + }, + { + "epoch": 0.0683, + "grad_norm": 18.41845703125, + "learning_rate": 4.705606060606061e-06, + "loss": 7.249119567871094, + "step": 6830 + }, + { + "epoch": 0.06835, + "grad_norm": 11.497271537780762, + "learning_rate": 4.705353535353536e-06, + "loss": 7.231997680664063, + "step": 6835 + }, + { + "epoch": 0.0684, + "grad_norm": 23.832277297973633, + "learning_rate": 4.7051010101010105e-06, + "loss": 7.287998199462891, + "step": 6840 + }, + { + "epoch": 0.06845, + "grad_norm": 10.077827453613281, + "learning_rate": 4.704848484848485e-06, + "loss": 7.225074005126953, + "step": 6845 + }, + { + "epoch": 0.0685, + "grad_norm": 19.457963943481445, + "learning_rate": 4.70459595959596e-06, + "loss": 7.1588279724121096, + "step": 6850 + }, + { + "epoch": 0.06855, + "grad_norm": 11.325835227966309, + "learning_rate": 4.704343434343434e-06, + "loss": 7.279461669921875, + "step": 6855 + }, + { + "epoch": 0.0686, + "grad_norm": 26.75511932373047, + "learning_rate": 4.704090909090909e-06, + "loss": 7.32629623413086, + "step": 6860 + }, + { + "epoch": 0.06865, + "grad_norm": 14.392694473266602, + "learning_rate": 4.7038383838383845e-06, + "loss": 7.232565307617188, + "step": 6865 + }, + { + "epoch": 0.0687, + "grad_norm": 22.007972717285156, + "learning_rate": 4.703585858585859e-06, + "loss": 7.286494445800781, + "step": 6870 + }, + { + "epoch": 0.06875, + "grad_norm": 16.357524871826172, + "learning_rate": 4.703333333333334e-06, + "loss": 7.236724090576172, + "step": 6875 + }, + { + "epoch": 0.0688, + "grad_norm": 17.820871353149414, + "learning_rate": 4.703080808080808e-06, + "loss": 7.165650177001953, + "step": 6880 + }, + { + "epoch": 0.06885, + "grad_norm": 23.891380310058594, + "learning_rate": 4.702828282828283e-06, + "loss": 7.356695556640625, + "step": 6885 + }, + { + "epoch": 0.0689, + "grad_norm": 13.085551261901855, + "learning_rate": 4.702575757575758e-06, + "loss": 7.252647399902344, + "step": 6890 + }, + { + "epoch": 0.06895, + "grad_norm": 17.1274471282959, + "learning_rate": 4.702323232323232e-06, + "loss": 7.260833740234375, + "step": 6895 + }, + { + "epoch": 0.069, + "grad_norm": 13.84726619720459, + "learning_rate": 4.702070707070707e-06, + "loss": 7.2034751892089846, + "step": 6900 + }, + { + "epoch": 0.06905, + "grad_norm": 22.258691787719727, + "learning_rate": 4.701818181818182e-06, + "loss": 7.318419647216797, + "step": 6905 + }, + { + "epoch": 0.0691, + "grad_norm": 11.701295852661133, + "learning_rate": 4.701565656565657e-06, + "loss": 7.31909408569336, + "step": 6910 + }, + { + "epoch": 0.06915, + "grad_norm": 17.130931854248047, + "learning_rate": 4.701313131313132e-06, + "loss": 7.226158905029297, + "step": 6915 + }, + { + "epoch": 0.0692, + "grad_norm": 17.088153839111328, + "learning_rate": 4.701060606060606e-06, + "loss": 7.226222991943359, + "step": 6920 + }, + { + "epoch": 0.06925, + "grad_norm": 15.763093948364258, + "learning_rate": 4.700808080808082e-06, + "loss": 7.255010986328125, + "step": 6925 + }, + { + "epoch": 0.0693, + "grad_norm": 16.385208129882812, + "learning_rate": 4.700555555555556e-06, + "loss": 7.245035552978516, + "step": 6930 + }, + { + "epoch": 0.06935, + "grad_norm": 14.967244148254395, + "learning_rate": 4.70030303030303e-06, + "loss": 7.230848693847657, + "step": 6935 + }, + { + "epoch": 0.0694, + "grad_norm": 12.815757751464844, + "learning_rate": 4.700050505050505e-06, + "loss": 7.303600311279297, + "step": 6940 + }, + { + "epoch": 0.06945, + "grad_norm": 14.421931266784668, + "learning_rate": 4.69979797979798e-06, + "loss": 7.264089202880859, + "step": 6945 + }, + { + "epoch": 0.0695, + "grad_norm": 20.66776466369629, + "learning_rate": 4.699545454545455e-06, + "loss": 7.245578002929688, + "step": 6950 + }, + { + "epoch": 0.06955, + "grad_norm": 9.479636192321777, + "learning_rate": 4.6992929292929295e-06, + "loss": 7.260986328125, + "step": 6955 + }, + { + "epoch": 0.0696, + "grad_norm": 34.23777389526367, + "learning_rate": 4.699040404040404e-06, + "loss": 7.279319763183594, + "step": 6960 + }, + { + "epoch": 0.06965, + "grad_norm": 10.83349895477295, + "learning_rate": 4.69878787878788e-06, + "loss": 7.04869384765625, + "step": 6965 + }, + { + "epoch": 0.0697, + "grad_norm": 19.926706314086914, + "learning_rate": 4.698535353535354e-06, + "loss": 7.311029052734375, + "step": 6970 + }, + { + "epoch": 0.06975, + "grad_norm": 16.94400405883789, + "learning_rate": 4.698282828282829e-06, + "loss": 7.258890533447266, + "step": 6975 + }, + { + "epoch": 0.0698, + "grad_norm": 12.457530975341797, + "learning_rate": 4.6980303030303035e-06, + "loss": 7.205348205566406, + "step": 6980 + }, + { + "epoch": 0.06985, + "grad_norm": 16.392662048339844, + "learning_rate": 4.697777777777778e-06, + "loss": 7.217481994628907, + "step": 6985 + }, + { + "epoch": 0.0699, + "grad_norm": 24.25126075744629, + "learning_rate": 4.697525252525253e-06, + "loss": 7.33740005493164, + "step": 6990 + }, + { + "epoch": 0.06995, + "grad_norm": 18.634384155273438, + "learning_rate": 4.697272727272727e-06, + "loss": 7.2506462097167965, + "step": 6995 + }, + { + "epoch": 0.07, + "grad_norm": 14.947834014892578, + "learning_rate": 4.697020202020202e-06, + "loss": 7.188893127441406, + "step": 7000 + }, + { + "epoch": 0.07005, + "grad_norm": 14.509441375732422, + "learning_rate": 4.6967676767676775e-06, + "loss": 7.213644409179688, + "step": 7005 + }, + { + "epoch": 0.0701, + "grad_norm": 21.309185028076172, + "learning_rate": 4.696515151515152e-06, + "loss": 7.27984619140625, + "step": 7010 + }, + { + "epoch": 0.07015, + "grad_norm": 17.988183975219727, + "learning_rate": 4.696262626262627e-06, + "loss": 7.249726867675781, + "step": 7015 + }, + { + "epoch": 0.0702, + "grad_norm": 14.676074028015137, + "learning_rate": 4.696010101010101e-06, + "loss": 7.271430206298828, + "step": 7020 + }, + { + "epoch": 0.07025, + "grad_norm": 20.313596725463867, + "learning_rate": 4.695757575757576e-06, + "loss": 7.2612358093261715, + "step": 7025 + }, + { + "epoch": 0.0703, + "grad_norm": 14.956355094909668, + "learning_rate": 4.695505050505051e-06, + "loss": 7.3380584716796875, + "step": 7030 + }, + { + "epoch": 0.07035, + "grad_norm": 17.274581909179688, + "learning_rate": 4.695252525252525e-06, + "loss": 7.183248901367188, + "step": 7035 + }, + { + "epoch": 0.0704, + "grad_norm": 16.541122436523438, + "learning_rate": 4.695e-06, + "loss": 7.187129211425781, + "step": 7040 + }, + { + "epoch": 0.07045, + "grad_norm": 145.8016357421875, + "learning_rate": 4.694747474747475e-06, + "loss": 7.6001945495605465, + "step": 7045 + }, + { + "epoch": 0.0705, + "grad_norm": 14.267823219299316, + "learning_rate": 4.69449494949495e-06, + "loss": 7.1746368408203125, + "step": 7050 + }, + { + "epoch": 0.07055, + "grad_norm": 16.932870864868164, + "learning_rate": 4.694242424242425e-06, + "loss": 7.250926208496094, + "step": 7055 + }, + { + "epoch": 0.0706, + "grad_norm": 13.7836275100708, + "learning_rate": 4.693989898989899e-06, + "loss": 7.135867309570313, + "step": 7060 + }, + { + "epoch": 0.07065, + "grad_norm": 12.472376823425293, + "learning_rate": 4.693737373737374e-06, + "loss": 7.223270416259766, + "step": 7065 + }, + { + "epoch": 0.0707, + "grad_norm": 18.159093856811523, + "learning_rate": 4.6934848484848486e-06, + "loss": 7.265229034423828, + "step": 7070 + }, + { + "epoch": 0.07075, + "grad_norm": 12.178616523742676, + "learning_rate": 4.693232323232323e-06, + "loss": 7.144489288330078, + "step": 7075 + }, + { + "epoch": 0.0708, + "grad_norm": 19.236019134521484, + "learning_rate": 4.692979797979799e-06, + "loss": 7.207997131347656, + "step": 7080 + }, + { + "epoch": 0.07085, + "grad_norm": 17.932714462280273, + "learning_rate": 4.692727272727273e-06, + "loss": 7.26055908203125, + "step": 7085 + }, + { + "epoch": 0.0709, + "grad_norm": 14.417783737182617, + "learning_rate": 4.692474747474748e-06, + "loss": 7.187083435058594, + "step": 7090 + }, + { + "epoch": 0.07095, + "grad_norm": 17.155166625976562, + "learning_rate": 4.6922222222222226e-06, + "loss": 7.206239318847656, + "step": 7095 + }, + { + "epoch": 0.071, + "grad_norm": 15.061664581298828, + "learning_rate": 4.691969696969697e-06, + "loss": 7.2268821716308596, + "step": 7100 + }, + { + "epoch": 0.07105, + "grad_norm": 11.822611808776855, + "learning_rate": 4.691717171717172e-06, + "loss": 7.167335510253906, + "step": 7105 + }, + { + "epoch": 0.0711, + "grad_norm": 17.461933135986328, + "learning_rate": 4.6914646464646465e-06, + "loss": 7.2065788269042965, + "step": 7110 + }, + { + "epoch": 0.07115, + "grad_norm": 28.14124870300293, + "learning_rate": 4.691212121212121e-06, + "loss": 7.212700653076172, + "step": 7115 + }, + { + "epoch": 0.0712, + "grad_norm": 10.756271362304688, + "learning_rate": 4.6909595959595966e-06, + "loss": 7.279926300048828, + "step": 7120 + }, + { + "epoch": 0.07125, + "grad_norm": 17.512990951538086, + "learning_rate": 4.690707070707071e-06, + "loss": 7.233715057373047, + "step": 7125 + }, + { + "epoch": 0.0713, + "grad_norm": 13.29555892944336, + "learning_rate": 4.690454545454546e-06, + "loss": 7.181877899169922, + "step": 7130 + }, + { + "epoch": 0.07135, + "grad_norm": 14.677163124084473, + "learning_rate": 4.6902020202020205e-06, + "loss": 7.224195861816407, + "step": 7135 + }, + { + "epoch": 0.0714, + "grad_norm": 38.25970458984375, + "learning_rate": 4.689949494949496e-06, + "loss": 7.291853332519532, + "step": 7140 + }, + { + "epoch": 0.07145, + "grad_norm": 15.821635246276855, + "learning_rate": 4.6896969696969706e-06, + "loss": 7.189391326904297, + "step": 7145 + }, + { + "epoch": 0.0715, + "grad_norm": 12.712769508361816, + "learning_rate": 4.689444444444445e-06, + "loss": 7.206454467773438, + "step": 7150 + }, + { + "epoch": 0.07155, + "grad_norm": 18.818788528442383, + "learning_rate": 4.68919191919192e-06, + "loss": 7.195346832275391, + "step": 7155 + }, + { + "epoch": 0.0716, + "grad_norm": 14.541913032531738, + "learning_rate": 4.6889393939393945e-06, + "loss": 7.301519775390625, + "step": 7160 + }, + { + "epoch": 0.07165, + "grad_norm": 14.378938674926758, + "learning_rate": 4.688686868686869e-06, + "loss": 7.170602416992187, + "step": 7165 + }, + { + "epoch": 0.0717, + "grad_norm": 17.976091384887695, + "learning_rate": 4.688434343434344e-06, + "loss": 7.22420654296875, + "step": 7170 + }, + { + "epoch": 0.07175, + "grad_norm": 11.28448486328125, + "learning_rate": 4.688181818181818e-06, + "loss": 7.190703582763672, + "step": 7175 + }, + { + "epoch": 0.0718, + "grad_norm": 16.151044845581055, + "learning_rate": 4.687929292929294e-06, + "loss": 7.1992942810058596, + "step": 7180 + }, + { + "epoch": 0.07185, + "grad_norm": 12.705129623413086, + "learning_rate": 4.6876767676767684e-06, + "loss": 7.2491302490234375, + "step": 7185 + }, + { + "epoch": 0.0719, + "grad_norm": 15.767026901245117, + "learning_rate": 4.687424242424243e-06, + "loss": 7.191873931884766, + "step": 7190 + }, + { + "epoch": 0.07195, + "grad_norm": 16.44830322265625, + "learning_rate": 4.687171717171718e-06, + "loss": 7.1904052734375, + "step": 7195 + }, + { + "epoch": 0.072, + "grad_norm": 11.954500198364258, + "learning_rate": 4.686919191919192e-06, + "loss": 7.149915313720703, + "step": 7200 + }, + { + "epoch": 0.07205, + "grad_norm": 27.732746124267578, + "learning_rate": 4.686666666666667e-06, + "loss": 7.225939178466797, + "step": 7205 + }, + { + "epoch": 0.0721, + "grad_norm": 13.856980323791504, + "learning_rate": 4.686414141414142e-06, + "loss": 7.278646087646484, + "step": 7210 + }, + { + "epoch": 0.07215, + "grad_norm": 10.242147445678711, + "learning_rate": 4.686161616161616e-06, + "loss": 7.239305877685547, + "step": 7215 + }, + { + "epoch": 0.0722, + "grad_norm": 19.304935455322266, + "learning_rate": 4.685909090909092e-06, + "loss": 7.192593383789062, + "step": 7220 + }, + { + "epoch": 0.07225, + "grad_norm": 15.23874568939209, + "learning_rate": 4.685656565656566e-06, + "loss": 7.151276397705078, + "step": 7225 + }, + { + "epoch": 0.0723, + "grad_norm": 14.224249839782715, + "learning_rate": 4.685404040404041e-06, + "loss": 7.164997100830078, + "step": 7230 + }, + { + "epoch": 0.07235, + "grad_norm": 18.315486907958984, + "learning_rate": 4.685151515151516e-06, + "loss": 7.1989906311035154, + "step": 7235 + }, + { + "epoch": 0.0724, + "grad_norm": 14.671064376831055, + "learning_rate": 4.68489898989899e-06, + "loss": 7.256375885009765, + "step": 7240 + }, + { + "epoch": 0.07245, + "grad_norm": 9.044522285461426, + "learning_rate": 4.684646464646465e-06, + "loss": 7.163508605957031, + "step": 7245 + }, + { + "epoch": 0.0725, + "grad_norm": 16.056352615356445, + "learning_rate": 4.6843939393939395e-06, + "loss": 7.2094062805175785, + "step": 7250 + }, + { + "epoch": 0.07255, + "grad_norm": 18.901168823242188, + "learning_rate": 4.684141414141414e-06, + "loss": 7.167227172851563, + "step": 7255 + }, + { + "epoch": 0.0726, + "grad_norm": 10.074485778808594, + "learning_rate": 4.68388888888889e-06, + "loss": 7.130014038085937, + "step": 7260 + }, + { + "epoch": 0.07265, + "grad_norm": 21.598567962646484, + "learning_rate": 4.683636363636364e-06, + "loss": 7.203331756591797, + "step": 7265 + }, + { + "epoch": 0.0727, + "grad_norm": 11.920461654663086, + "learning_rate": 4.683383838383839e-06, + "loss": 7.156430053710937, + "step": 7270 + }, + { + "epoch": 0.07275, + "grad_norm": 20.37619972229004, + "learning_rate": 4.6831313131313135e-06, + "loss": 7.212739562988281, + "step": 7275 + }, + { + "epoch": 0.0728, + "grad_norm": 12.022930145263672, + "learning_rate": 4.682878787878788e-06, + "loss": 7.147222900390625, + "step": 7280 + }, + { + "epoch": 0.07285, + "grad_norm": 19.028615951538086, + "learning_rate": 4.682626262626263e-06, + "loss": 7.211968994140625, + "step": 7285 + }, + { + "epoch": 0.0729, + "grad_norm": 10.775739669799805, + "learning_rate": 4.682373737373737e-06, + "loss": 7.172687530517578, + "step": 7290 + }, + { + "epoch": 0.07295, + "grad_norm": 16.974082946777344, + "learning_rate": 4.682121212121212e-06, + "loss": 7.192015075683594, + "step": 7295 + }, + { + "epoch": 0.073, + "grad_norm": 15.989989280700684, + "learning_rate": 4.6818686868686875e-06, + "loss": 7.168571472167969, + "step": 7300 + }, + { + "epoch": 0.07305, + "grad_norm": 11.238309860229492, + "learning_rate": 4.681616161616162e-06, + "loss": 7.205010986328125, + "step": 7305 + }, + { + "epoch": 0.0731, + "grad_norm": 12.807601928710938, + "learning_rate": 4.681363636363637e-06, + "loss": 7.223105621337891, + "step": 7310 + }, + { + "epoch": 0.07315, + "grad_norm": 16.245805740356445, + "learning_rate": 4.681111111111111e-06, + "loss": 7.252875518798828, + "step": 7315 + }, + { + "epoch": 0.0732, + "grad_norm": 14.222648620605469, + "learning_rate": 4.680858585858587e-06, + "loss": 7.176698303222656, + "step": 7320 + }, + { + "epoch": 0.07325, + "grad_norm": 11.99246597290039, + "learning_rate": 4.680606060606061e-06, + "loss": 7.147579956054687, + "step": 7325 + }, + { + "epoch": 0.0733, + "grad_norm": 16.405704498291016, + "learning_rate": 4.680353535353535e-06, + "loss": 7.150675964355469, + "step": 7330 + }, + { + "epoch": 0.07335, + "grad_norm": 14.745780944824219, + "learning_rate": 4.68010101010101e-06, + "loss": 7.175132751464844, + "step": 7335 + }, + { + "epoch": 0.0734, + "grad_norm": 11.090824127197266, + "learning_rate": 4.679848484848485e-06, + "loss": 7.143619537353516, + "step": 7340 + }, + { + "epoch": 0.07345, + "grad_norm": 14.733095169067383, + "learning_rate": 4.67959595959596e-06, + "loss": 7.178958129882813, + "step": 7345 + }, + { + "epoch": 0.0735, + "grad_norm": 14.5630464553833, + "learning_rate": 4.679343434343435e-06, + "loss": 7.201460266113282, + "step": 7350 + }, + { + "epoch": 0.07355, + "grad_norm": 15.773290634155273, + "learning_rate": 4.679090909090909e-06, + "loss": 7.198712158203125, + "step": 7355 + }, + { + "epoch": 0.0736, + "grad_norm": 15.687095642089844, + "learning_rate": 4.678838383838385e-06, + "loss": 7.2458343505859375, + "step": 7360 + }, + { + "epoch": 0.07365, + "grad_norm": 14.286864280700684, + "learning_rate": 4.678585858585859e-06, + "loss": 7.1060951232910154, + "step": 7365 + }, + { + "epoch": 0.0737, + "grad_norm": 13.308348655700684, + "learning_rate": 4.678333333333334e-06, + "loss": 7.205097961425781, + "step": 7370 + }, + { + "epoch": 0.07375, + "grad_norm": 14.035758972167969, + "learning_rate": 4.678080808080809e-06, + "loss": 7.182550048828125, + "step": 7375 + }, + { + "epoch": 0.0738, + "grad_norm": 13.458452224731445, + "learning_rate": 4.677828282828283e-06, + "loss": 7.1582176208496096, + "step": 7380 + }, + { + "epoch": 0.07385, + "grad_norm": 13.81605052947998, + "learning_rate": 4.677575757575758e-06, + "loss": 7.145982360839843, + "step": 7385 + }, + { + "epoch": 0.0739, + "grad_norm": 18.860471725463867, + "learning_rate": 4.6773232323232325e-06, + "loss": 7.1929878234863285, + "step": 7390 + }, + { + "epoch": 0.07395, + "grad_norm": 10.516059875488281, + "learning_rate": 4.677070707070707e-06, + "loss": 7.172614288330078, + "step": 7395 + }, + { + "epoch": 0.074, + "grad_norm": 16.022247314453125, + "learning_rate": 4.676818181818183e-06, + "loss": 7.194376373291016, + "step": 7400 + }, + { + "epoch": 0.07405, + "grad_norm": 10.775367736816406, + "learning_rate": 4.676565656565657e-06, + "loss": 7.292423248291016, + "step": 7405 + }, + { + "epoch": 0.0741, + "grad_norm": 9.246915817260742, + "learning_rate": 4.676313131313132e-06, + "loss": 7.2463539123535154, + "step": 7410 + }, + { + "epoch": 0.07415, + "grad_norm": 15.759200096130371, + "learning_rate": 4.6760606060606065e-06, + "loss": 7.179792785644532, + "step": 7415 + }, + { + "epoch": 0.0742, + "grad_norm": 12.837616920471191, + "learning_rate": 4.675808080808081e-06, + "loss": 7.094776916503906, + "step": 7420 + }, + { + "epoch": 0.07425, + "grad_norm": 12.334062576293945, + "learning_rate": 4.675555555555556e-06, + "loss": 7.1465919494628904, + "step": 7425 + }, + { + "epoch": 0.0743, + "grad_norm": 13.416414260864258, + "learning_rate": 4.67530303030303e-06, + "loss": 7.215462493896484, + "step": 7430 + }, + { + "epoch": 0.07435, + "grad_norm": 14.021585464477539, + "learning_rate": 4.675050505050505e-06, + "loss": 7.188615417480468, + "step": 7435 + }, + { + "epoch": 0.0744, + "grad_norm": 12.90938663482666, + "learning_rate": 4.6747979797979805e-06, + "loss": 7.124367523193359, + "step": 7440 + }, + { + "epoch": 0.07445, + "grad_norm": 9.53298568725586, + "learning_rate": 4.674545454545455e-06, + "loss": 7.256126403808594, + "step": 7445 + }, + { + "epoch": 0.0745, + "grad_norm": 12.647445678710938, + "learning_rate": 4.67429292929293e-06, + "loss": 7.194955444335937, + "step": 7450 + }, + { + "epoch": 0.07455, + "grad_norm": 12.612387657165527, + "learning_rate": 4.674040404040404e-06, + "loss": 7.145745086669922, + "step": 7455 + }, + { + "epoch": 0.0746, + "grad_norm": 16.620391845703125, + "learning_rate": 4.673787878787879e-06, + "loss": 7.137355804443359, + "step": 7460 + }, + { + "epoch": 0.07465, + "grad_norm": 16.628915786743164, + "learning_rate": 4.673535353535354e-06, + "loss": 7.181729125976562, + "step": 7465 + }, + { + "epoch": 0.0747, + "grad_norm": 9.955098152160645, + "learning_rate": 4.673282828282828e-06, + "loss": 7.1686866760253904, + "step": 7470 + }, + { + "epoch": 0.07475, + "grad_norm": 14.952354431152344, + "learning_rate": 4.673030303030303e-06, + "loss": 7.253731536865234, + "step": 7475 + }, + { + "epoch": 0.0748, + "grad_norm": 14.723752975463867, + "learning_rate": 4.672777777777778e-06, + "loss": 7.151538848876953, + "step": 7480 + }, + { + "epoch": 0.07485, + "grad_norm": 16.6400089263916, + "learning_rate": 4.672525252525253e-06, + "loss": 7.186514282226563, + "step": 7485 + }, + { + "epoch": 0.0749, + "grad_norm": 11.493280410766602, + "learning_rate": 4.672272727272728e-06, + "loss": 7.260272216796875, + "step": 7490 + }, + { + "epoch": 0.07495, + "grad_norm": 10.865557670593262, + "learning_rate": 4.672020202020202e-06, + "loss": 7.1695198059082035, + "step": 7495 + }, + { + "epoch": 0.075, + "grad_norm": 16.56884765625, + "learning_rate": 4.671767676767677e-06, + "loss": 7.194746398925782, + "step": 7500 + }, + { + "epoch": 0.07505, + "grad_norm": 11.684234619140625, + "learning_rate": 4.6715151515151516e-06, + "loss": 7.115535736083984, + "step": 7505 + }, + { + "epoch": 0.0751, + "grad_norm": 15.429750442504883, + "learning_rate": 4.671262626262626e-06, + "loss": 7.148614501953125, + "step": 7510 + }, + { + "epoch": 0.07515, + "grad_norm": 19.932594299316406, + "learning_rate": 4.671010101010102e-06, + "loss": 7.151736450195313, + "step": 7515 + }, + { + "epoch": 0.0752, + "grad_norm": 12.794001579284668, + "learning_rate": 4.670757575757576e-06, + "loss": 7.2143913269042965, + "step": 7520 + }, + { + "epoch": 0.07525, + "grad_norm": 17.51900291442871, + "learning_rate": 4.670505050505051e-06, + "loss": 7.090669250488281, + "step": 7525 + }, + { + "epoch": 0.0753, + "grad_norm": 13.913134574890137, + "learning_rate": 4.6702525252525256e-06, + "loss": 7.184165954589844, + "step": 7530 + }, + { + "epoch": 0.07535, + "grad_norm": 12.449177742004395, + "learning_rate": 4.670000000000001e-06, + "loss": 7.177067565917969, + "step": 7535 + }, + { + "epoch": 0.0754, + "grad_norm": 15.141054153442383, + "learning_rate": 4.669747474747476e-06, + "loss": 7.180377197265625, + "step": 7540 + }, + { + "epoch": 0.07545, + "grad_norm": 10.056815147399902, + "learning_rate": 4.6694949494949494e-06, + "loss": 7.13543472290039, + "step": 7545 + }, + { + "epoch": 0.0755, + "grad_norm": 18.899211883544922, + "learning_rate": 4.669242424242424e-06, + "loss": 7.1501708984375, + "step": 7550 + }, + { + "epoch": 0.07555, + "grad_norm": 8.588541984558105, + "learning_rate": 4.6689898989898995e-06, + "loss": 7.158807373046875, + "step": 7555 + }, + { + "epoch": 0.0756, + "grad_norm": 19.26127052307129, + "learning_rate": 4.668737373737374e-06, + "loss": 7.162855529785157, + "step": 7560 + }, + { + "epoch": 0.07565, + "grad_norm": 14.681036949157715, + "learning_rate": 4.668484848484849e-06, + "loss": 7.144574737548828, + "step": 7565 + }, + { + "epoch": 0.0757, + "grad_norm": 12.803994178771973, + "learning_rate": 4.6682323232323234e-06, + "loss": 7.16025390625, + "step": 7570 + }, + { + "epoch": 0.07575, + "grad_norm": 14.650678634643555, + "learning_rate": 4.667979797979799e-06, + "loss": 7.180637359619141, + "step": 7575 + }, + { + "epoch": 0.0758, + "grad_norm": 19.785337448120117, + "learning_rate": 4.6677272727272735e-06, + "loss": 7.161512756347657, + "step": 7580 + }, + { + "epoch": 0.07585, + "grad_norm": 10.214943885803223, + "learning_rate": 4.667474747474748e-06, + "loss": 7.208462524414062, + "step": 7585 + }, + { + "epoch": 0.0759, + "grad_norm": 13.401466369628906, + "learning_rate": 4.667222222222223e-06, + "loss": 7.151551055908203, + "step": 7590 + }, + { + "epoch": 0.07595, + "grad_norm": 13.323257446289062, + "learning_rate": 4.6669696969696974e-06, + "loss": 7.104453277587891, + "step": 7595 + }, + { + "epoch": 0.076, + "grad_norm": 8.73353099822998, + "learning_rate": 4.666717171717172e-06, + "loss": 7.130597686767578, + "step": 7600 + }, + { + "epoch": 0.07605, + "grad_norm": 14.205131530761719, + "learning_rate": 4.666464646464647e-06, + "loss": 7.149769592285156, + "step": 7605 + }, + { + "epoch": 0.0761, + "grad_norm": 13.18138313293457, + "learning_rate": 4.666212121212121e-06, + "loss": 7.157588195800781, + "step": 7610 + }, + { + "epoch": 0.07615, + "grad_norm": 15.269906044006348, + "learning_rate": 4.665959595959597e-06, + "loss": 7.129432678222656, + "step": 7615 + }, + { + "epoch": 0.0762, + "grad_norm": 15.373218536376953, + "learning_rate": 4.6657070707070714e-06, + "loss": 7.134799957275391, + "step": 7620 + }, + { + "epoch": 0.07625, + "grad_norm": 15.53011417388916, + "learning_rate": 4.665454545454546e-06, + "loss": 7.1346923828125, + "step": 7625 + }, + { + "epoch": 0.0763, + "grad_norm": 15.746675491333008, + "learning_rate": 4.665202020202021e-06, + "loss": 7.1609031677246096, + "step": 7630 + }, + { + "epoch": 0.07635, + "grad_norm": 13.106550216674805, + "learning_rate": 4.664949494949495e-06, + "loss": 7.134526062011719, + "step": 7635 + }, + { + "epoch": 0.0764, + "grad_norm": 14.241418838500977, + "learning_rate": 4.66469696969697e-06, + "loss": 7.096474456787109, + "step": 7640 + }, + { + "epoch": 0.07645, + "grad_norm": 14.312854766845703, + "learning_rate": 4.664444444444445e-06, + "loss": 7.157828521728516, + "step": 7645 + }, + { + "epoch": 0.0765, + "grad_norm": 13.353851318359375, + "learning_rate": 4.664191919191919e-06, + "loss": 7.1172332763671875, + "step": 7650 + }, + { + "epoch": 0.07655, + "grad_norm": 14.366713523864746, + "learning_rate": 4.663939393939395e-06, + "loss": 7.146714782714843, + "step": 7655 + }, + { + "epoch": 0.0766, + "grad_norm": 13.20458698272705, + "learning_rate": 4.663686868686869e-06, + "loss": 7.143280792236328, + "step": 7660 + }, + { + "epoch": 0.07665, + "grad_norm": 12.329632759094238, + "learning_rate": 4.663434343434344e-06, + "loss": 7.184111785888672, + "step": 7665 + }, + { + "epoch": 0.0767, + "grad_norm": 14.914095878601074, + "learning_rate": 4.663181818181819e-06, + "loss": 7.151043701171875, + "step": 7670 + }, + { + "epoch": 0.07675, + "grad_norm": 13.259411811828613, + "learning_rate": 4.662929292929293e-06, + "loss": 7.109326171875, + "step": 7675 + }, + { + "epoch": 0.0768, + "grad_norm": 15.127949714660645, + "learning_rate": 4.662676767676768e-06, + "loss": 7.155520629882813, + "step": 7680 + }, + { + "epoch": 0.07685, + "grad_norm": 12.946768760681152, + "learning_rate": 4.6624242424242425e-06, + "loss": 7.141600036621094, + "step": 7685 + }, + { + "epoch": 0.0769, + "grad_norm": 8.686307907104492, + "learning_rate": 4.662171717171717e-06, + "loss": 7.109571075439453, + "step": 7690 + }, + { + "epoch": 0.07695, + "grad_norm": 13.677896499633789, + "learning_rate": 4.661919191919193e-06, + "loss": 7.119757080078125, + "step": 7695 + }, + { + "epoch": 0.077, + "grad_norm": 14.438746452331543, + "learning_rate": 4.661666666666667e-06, + "loss": 7.110508728027344, + "step": 7700 + }, + { + "epoch": 0.07705, + "grad_norm": 12.332862854003906, + "learning_rate": 4.661414141414142e-06, + "loss": 7.102262878417969, + "step": 7705 + }, + { + "epoch": 0.0771, + "grad_norm": 13.872489929199219, + "learning_rate": 4.6611616161616165e-06, + "loss": 7.132161712646484, + "step": 7710 + }, + { + "epoch": 0.07715, + "grad_norm": 15.19012451171875, + "learning_rate": 4.660909090909091e-06, + "loss": 7.148995208740234, + "step": 7715 + }, + { + "epoch": 0.0772, + "grad_norm": 12.604557037353516, + "learning_rate": 4.660656565656566e-06, + "loss": 7.102450561523438, + "step": 7720 + }, + { + "epoch": 0.07725, + "grad_norm": 12.488697052001953, + "learning_rate": 4.66040404040404e-06, + "loss": 7.168901824951172, + "step": 7725 + }, + { + "epoch": 0.0773, + "grad_norm": 13.227538108825684, + "learning_rate": 4.660151515151515e-06, + "loss": 7.074463653564453, + "step": 7730 + }, + { + "epoch": 0.07735, + "grad_norm": 15.450512886047363, + "learning_rate": 4.6598989898989905e-06, + "loss": 7.111332702636719, + "step": 7735 + }, + { + "epoch": 0.0774, + "grad_norm": 14.068360328674316, + "learning_rate": 4.659646464646465e-06, + "loss": 7.130419921875, + "step": 7740 + }, + { + "epoch": 0.07745, + "grad_norm": 13.30257511138916, + "learning_rate": 4.65939393939394e-06, + "loss": 7.113467407226563, + "step": 7745 + }, + { + "epoch": 0.0775, + "grad_norm": 15.078557014465332, + "learning_rate": 4.659141414141414e-06, + "loss": 7.075376892089844, + "step": 7750 + }, + { + "epoch": 0.07755, + "grad_norm": 15.024842262268066, + "learning_rate": 4.65888888888889e-06, + "loss": 7.1199699401855465, + "step": 7755 + }, + { + "epoch": 0.0776, + "grad_norm": 14.53697395324707, + "learning_rate": 4.6586363636363645e-06, + "loss": 7.149957275390625, + "step": 7760 + }, + { + "epoch": 0.07765, + "grad_norm": 10.921975135803223, + "learning_rate": 4.658383838383839e-06, + "loss": 7.174282836914062, + "step": 7765 + }, + { + "epoch": 0.0777, + "grad_norm": 15.417535781860352, + "learning_rate": 4.658131313131313e-06, + "loss": 7.158491516113282, + "step": 7770 + }, + { + "epoch": 0.07775, + "grad_norm": 12.464600563049316, + "learning_rate": 4.657878787878788e-06, + "loss": 7.124424743652344, + "step": 7775 + }, + { + "epoch": 0.0778, + "grad_norm": 9.250466346740723, + "learning_rate": 4.657626262626263e-06, + "loss": 7.144343566894531, + "step": 7780 + }, + { + "epoch": 0.07785, + "grad_norm": 13.965492248535156, + "learning_rate": 4.657373737373738e-06, + "loss": 7.101962280273438, + "step": 7785 + }, + { + "epoch": 0.0779, + "grad_norm": 16.42563247680664, + "learning_rate": 4.657121212121212e-06, + "loss": 7.181169128417968, + "step": 7790 + }, + { + "epoch": 0.07795, + "grad_norm": 11.249837875366211, + "learning_rate": 4.656868686868688e-06, + "loss": 7.108252716064453, + "step": 7795 + }, + { + "epoch": 0.078, + "grad_norm": 13.15048599243164, + "learning_rate": 4.656616161616162e-06, + "loss": 7.3770393371582035, + "step": 7800 + }, + { + "epoch": 0.07805, + "grad_norm": 12.964404106140137, + "learning_rate": 4.656363636363637e-06, + "loss": 7.160620880126953, + "step": 7805 + }, + { + "epoch": 0.0781, + "grad_norm": 12.494027137756348, + "learning_rate": 4.656111111111112e-06, + "loss": 7.091893005371094, + "step": 7810 + }, + { + "epoch": 0.07815, + "grad_norm": 9.275793075561523, + "learning_rate": 4.655858585858586e-06, + "loss": 7.136439514160156, + "step": 7815 + }, + { + "epoch": 0.0782, + "grad_norm": 8.693899154663086, + "learning_rate": 4.655606060606061e-06, + "loss": 7.168768310546875, + "step": 7820 + }, + { + "epoch": 0.07825, + "grad_norm": 17.57337760925293, + "learning_rate": 4.6553535353535355e-06, + "loss": 7.054325866699219, + "step": 7825 + }, + { + "epoch": 0.0783, + "grad_norm": 13.529296875, + "learning_rate": 4.65510101010101e-06, + "loss": 7.141659545898437, + "step": 7830 + }, + { + "epoch": 0.07835, + "grad_norm": 11.022156715393066, + "learning_rate": 4.654848484848486e-06, + "loss": 7.161221313476562, + "step": 7835 + }, + { + "epoch": 0.0784, + "grad_norm": 13.002695083618164, + "learning_rate": 4.65459595959596e-06, + "loss": 7.13848876953125, + "step": 7840 + }, + { + "epoch": 0.07845, + "grad_norm": 17.054367065429688, + "learning_rate": 4.654343434343435e-06, + "loss": 7.05651626586914, + "step": 7845 + }, + { + "epoch": 0.0785, + "grad_norm": 10.648941993713379, + "learning_rate": 4.6540909090909095e-06, + "loss": 7.134423828125, + "step": 7850 + }, + { + "epoch": 0.07855, + "grad_norm": 10.4478178024292, + "learning_rate": 4.653838383838384e-06, + "loss": 7.147296142578125, + "step": 7855 + }, + { + "epoch": 0.0786, + "grad_norm": 16.388051986694336, + "learning_rate": 4.653585858585859e-06, + "loss": 7.1054634094238285, + "step": 7860 + }, + { + "epoch": 0.07865, + "grad_norm": 13.608744621276855, + "learning_rate": 4.653333333333333e-06, + "loss": 7.131071472167969, + "step": 7865 + }, + { + "epoch": 0.0787, + "grad_norm": 10.3717041015625, + "learning_rate": 4.653080808080808e-06, + "loss": 7.090081787109375, + "step": 7870 + }, + { + "epoch": 0.07875, + "grad_norm": 14.938826560974121, + "learning_rate": 4.6528282828282835e-06, + "loss": 7.096900939941406, + "step": 7875 + }, + { + "epoch": 0.0788, + "grad_norm": 10.912687301635742, + "learning_rate": 4.652575757575758e-06, + "loss": 7.062046813964844, + "step": 7880 + }, + { + "epoch": 0.07885, + "grad_norm": 7.616029262542725, + "learning_rate": 4.652323232323233e-06, + "loss": 7.048287963867187, + "step": 7885 + }, + { + "epoch": 0.0789, + "grad_norm": 9.438920021057129, + "learning_rate": 4.652070707070707e-06, + "loss": 7.105948638916016, + "step": 7890 + }, + { + "epoch": 0.07895, + "grad_norm": 9.979214668273926, + "learning_rate": 4.651818181818182e-06, + "loss": 7.125117492675781, + "step": 7895 + }, + { + "epoch": 0.079, + "grad_norm": 17.42769432067871, + "learning_rate": 4.651565656565657e-06, + "loss": 7.084651947021484, + "step": 7900 + }, + { + "epoch": 0.07905, + "grad_norm": 13.459665298461914, + "learning_rate": 4.651313131313131e-06, + "loss": 7.136384582519531, + "step": 7905 + }, + { + "epoch": 0.0791, + "grad_norm": 8.491365432739258, + "learning_rate": 4.651060606060606e-06, + "loss": 7.101498413085937, + "step": 7910 + }, + { + "epoch": 0.07915, + "grad_norm": 14.3814058303833, + "learning_rate": 4.650808080808081e-06, + "loss": 7.11807861328125, + "step": 7915 + }, + { + "epoch": 0.0792, + "grad_norm": 13.40147876739502, + "learning_rate": 4.650555555555556e-06, + "loss": 7.100657653808594, + "step": 7920 + }, + { + "epoch": 0.07925, + "grad_norm": 11.681011199951172, + "learning_rate": 4.650303030303031e-06, + "loss": 7.203713989257812, + "step": 7925 + }, + { + "epoch": 0.0793, + "grad_norm": 11.026641845703125, + "learning_rate": 4.650050505050506e-06, + "loss": 7.101087951660157, + "step": 7930 + }, + { + "epoch": 0.07935, + "grad_norm": 10.357416152954102, + "learning_rate": 4.64979797979798e-06, + "loss": 7.124596405029297, + "step": 7935 + }, + { + "epoch": 0.0794, + "grad_norm": 11.231729507446289, + "learning_rate": 4.6495454545454545e-06, + "loss": 7.1003578186035154, + "step": 7940 + }, + { + "epoch": 0.07945, + "grad_norm": 15.133467674255371, + "learning_rate": 4.649292929292929e-06, + "loss": 7.060230255126953, + "step": 7945 + }, + { + "epoch": 0.0795, + "grad_norm": 9.536593437194824, + "learning_rate": 4.649040404040405e-06, + "loss": 7.099029541015625, + "step": 7950 + }, + { + "epoch": 0.07955, + "grad_norm": 14.419134140014648, + "learning_rate": 4.648787878787879e-06, + "loss": 7.063055419921875, + "step": 7955 + }, + { + "epoch": 0.0796, + "grad_norm": 12.392709732055664, + "learning_rate": 4.648535353535354e-06, + "loss": 7.126834106445313, + "step": 7960 + }, + { + "epoch": 0.07965, + "grad_norm": 9.54094409942627, + "learning_rate": 4.6482828282828285e-06, + "loss": 7.254203033447266, + "step": 7965 + }, + { + "epoch": 0.0797, + "grad_norm": 16.68684196472168, + "learning_rate": 4.648030303030304e-06, + "loss": 7.121336364746094, + "step": 7970 + }, + { + "epoch": 0.07975, + "grad_norm": 11.42245864868164, + "learning_rate": 4.647777777777779e-06, + "loss": 7.037115478515625, + "step": 7975 + }, + { + "epoch": 0.0798, + "grad_norm": 13.26809310913086, + "learning_rate": 4.647525252525253e-06, + "loss": 7.074868011474609, + "step": 7980 + }, + { + "epoch": 0.07985, + "grad_norm": 11.588258743286133, + "learning_rate": 4.647272727272728e-06, + "loss": 7.089334106445312, + "step": 7985 + }, + { + "epoch": 0.0799, + "grad_norm": 10.668017387390137, + "learning_rate": 4.6470202020202025e-06, + "loss": 7.104509735107422, + "step": 7990 + }, + { + "epoch": 0.07995, + "grad_norm": 12.000020027160645, + "learning_rate": 4.646767676767677e-06, + "loss": 7.081193542480468, + "step": 7995 + }, + { + "epoch": 0.08, + "grad_norm": 11.83779239654541, + "learning_rate": 4.646515151515152e-06, + "loss": 7.043772125244141, + "step": 8000 + }, + { + "epoch": 0.08005, + "grad_norm": 14.02678394317627, + "learning_rate": 4.646262626262626e-06, + "loss": 7.094363403320313, + "step": 8005 + }, + { + "epoch": 0.0801, + "grad_norm": 24.539628982543945, + "learning_rate": 4.646010101010102e-06, + "loss": 8.424229431152344, + "step": 8010 + }, + { + "epoch": 0.08015, + "grad_norm": 14.3515043258667, + "learning_rate": 4.6457575757575765e-06, + "loss": 7.0869697570800785, + "step": 8015 + }, + { + "epoch": 0.0802, + "grad_norm": 12.146468162536621, + "learning_rate": 4.645505050505051e-06, + "loss": 7.100263977050782, + "step": 8020 + }, + { + "epoch": 0.08025, + "grad_norm": 18.88066291809082, + "learning_rate": 4.645252525252526e-06, + "loss": 7.138927459716797, + "step": 8025 + }, + { + "epoch": 0.0803, + "grad_norm": 12.326152801513672, + "learning_rate": 4.645e-06, + "loss": 7.106169891357422, + "step": 8030 + }, + { + "epoch": 0.08035, + "grad_norm": 9.931388854980469, + "learning_rate": 4.644747474747475e-06, + "loss": 7.004976654052735, + "step": 8035 + }, + { + "epoch": 0.0804, + "grad_norm": 16.568296432495117, + "learning_rate": 4.64449494949495e-06, + "loss": 7.0824951171875, + "step": 8040 + }, + { + "epoch": 0.08045, + "grad_norm": 13.476337432861328, + "learning_rate": 4.644242424242424e-06, + "loss": 7.181253814697266, + "step": 8045 + }, + { + "epoch": 0.0805, + "grad_norm": 12.9782133102417, + "learning_rate": 4.6439898989899e-06, + "loss": 7.055184936523437, + "step": 8050 + }, + { + "epoch": 0.08055, + "grad_norm": 14.04794979095459, + "learning_rate": 4.643737373737374e-06, + "loss": 7.13084716796875, + "step": 8055 + }, + { + "epoch": 0.0806, + "grad_norm": 9.37443733215332, + "learning_rate": 4.643484848484849e-06, + "loss": 6.871781921386718, + "step": 8060 + }, + { + "epoch": 0.08065, + "grad_norm": 14.330850601196289, + "learning_rate": 4.643232323232324e-06, + "loss": 7.1192878723144535, + "step": 8065 + }, + { + "epoch": 0.0807, + "grad_norm": 11.549955368041992, + "learning_rate": 4.642979797979798e-06, + "loss": 7.082984161376953, + "step": 8070 + }, + { + "epoch": 0.08075, + "grad_norm": 11.674830436706543, + "learning_rate": 4.642727272727273e-06, + "loss": 7.123143005371094, + "step": 8075 + }, + { + "epoch": 0.0808, + "grad_norm": 11.005705833435059, + "learning_rate": 4.6424747474747476e-06, + "loss": 7.055329132080078, + "step": 8080 + }, + { + "epoch": 0.08085, + "grad_norm": 8.209931373596191, + "learning_rate": 4.642222222222222e-06, + "loss": 7.036091613769531, + "step": 8085 + }, + { + "epoch": 0.0809, + "grad_norm": 21.43467903137207, + "learning_rate": 4.641969696969698e-06, + "loss": 7.09717025756836, + "step": 8090 + }, + { + "epoch": 0.08095, + "grad_norm": 9.144308090209961, + "learning_rate": 4.641717171717172e-06, + "loss": 7.1012016296386715, + "step": 8095 + }, + { + "epoch": 0.081, + "grad_norm": 13.185691833496094, + "learning_rate": 4.641464646464647e-06, + "loss": 7.128607177734375, + "step": 8100 + }, + { + "epoch": 0.08105, + "grad_norm": 10.808123588562012, + "learning_rate": 4.6412121212121216e-06, + "loss": 7.0835113525390625, + "step": 8105 + }, + { + "epoch": 0.0811, + "grad_norm": 10.47093677520752, + "learning_rate": 4.640959595959596e-06, + "loss": 7.1025390625, + "step": 8110 + }, + { + "epoch": 0.08115, + "grad_norm": 15.302653312683105, + "learning_rate": 4.640707070707071e-06, + "loss": 7.0933174133300785, + "step": 8115 + }, + { + "epoch": 0.0812, + "grad_norm": 11.155282020568848, + "learning_rate": 4.6404545454545455e-06, + "loss": 7.1060646057128904, + "step": 8120 + }, + { + "epoch": 0.08125, + "grad_norm": 15.085137367248535, + "learning_rate": 4.64020202020202e-06, + "loss": 7.0690155029296875, + "step": 8125 + }, + { + "epoch": 0.0813, + "grad_norm": 12.334951400756836, + "learning_rate": 4.6399494949494956e-06, + "loss": 7.1135414123535154, + "step": 8130 + }, + { + "epoch": 0.08135, + "grad_norm": 10.982105255126953, + "learning_rate": 4.63969696969697e-06, + "loss": 7.105940246582032, + "step": 8135 + }, + { + "epoch": 0.0814, + "grad_norm": 10.359132766723633, + "learning_rate": 4.639444444444445e-06, + "loss": 7.087940216064453, + "step": 8140 + }, + { + "epoch": 0.08145, + "grad_norm": 17.37613868713379, + "learning_rate": 4.6391919191919195e-06, + "loss": 7.126576995849609, + "step": 8145 + }, + { + "epoch": 0.0815, + "grad_norm": 9.434455871582031, + "learning_rate": 4.638939393939395e-06, + "loss": 7.20416259765625, + "step": 8150 + }, + { + "epoch": 0.08155, + "grad_norm": 20.89838218688965, + "learning_rate": 4.638686868686869e-06, + "loss": 7.030848693847656, + "step": 8155 + }, + { + "epoch": 0.0816, + "grad_norm": 9.592358589172363, + "learning_rate": 4.638434343434343e-06, + "loss": 6.986296081542969, + "step": 8160 + }, + { + "epoch": 0.08165, + "grad_norm": 13.986207008361816, + "learning_rate": 4.638181818181818e-06, + "loss": 7.147360229492188, + "step": 8165 + }, + { + "epoch": 0.0817, + "grad_norm": 21.99589729309082, + "learning_rate": 4.6379292929292935e-06, + "loss": 7.119601440429688, + "step": 8170 + }, + { + "epoch": 0.08175, + "grad_norm": 11.296833038330078, + "learning_rate": 4.637676767676768e-06, + "loss": 7.092938995361328, + "step": 8175 + }, + { + "epoch": 0.0818, + "grad_norm": 15.336142539978027, + "learning_rate": 4.637424242424243e-06, + "loss": 7.033964538574219, + "step": 8180 + }, + { + "epoch": 0.08185, + "grad_norm": 16.62677574157715, + "learning_rate": 4.637171717171717e-06, + "loss": 7.1276802062988285, + "step": 8185 + }, + { + "epoch": 0.0819, + "grad_norm": 9.059091567993164, + "learning_rate": 4.636919191919193e-06, + "loss": 7.172547912597656, + "step": 8190 + }, + { + "epoch": 0.08195, + "grad_norm": 10.213953971862793, + "learning_rate": 4.6366666666666674e-06, + "loss": 7.069002532958985, + "step": 8195 + }, + { + "epoch": 0.082, + "grad_norm": 14.678264617919922, + "learning_rate": 4.636414141414142e-06, + "loss": 7.077615356445312, + "step": 8200 + }, + { + "epoch": 0.08205, + "grad_norm": 10.599089622497559, + "learning_rate": 4.636161616161617e-06, + "loss": 7.242488861083984, + "step": 8205 + }, + { + "epoch": 0.0821, + "grad_norm": 15.295231819152832, + "learning_rate": 4.635909090909091e-06, + "loss": 7.056734466552735, + "step": 8210 + }, + { + "epoch": 0.08215, + "grad_norm": 12.000826835632324, + "learning_rate": 4.635656565656566e-06, + "loss": 7.083193969726563, + "step": 8215 + }, + { + "epoch": 0.0822, + "grad_norm": 7.757503509521484, + "learning_rate": 4.635404040404041e-06, + "loss": 7.031202697753907, + "step": 8220 + }, + { + "epoch": 0.08225, + "grad_norm": 17.5812931060791, + "learning_rate": 4.635151515151515e-06, + "loss": 7.143338012695312, + "step": 8225 + }, + { + "epoch": 0.0823, + "grad_norm": 16.34551239013672, + "learning_rate": 4.634898989898991e-06, + "loss": 7.045295715332031, + "step": 8230 + }, + { + "epoch": 0.08235, + "grad_norm": 11.77586555480957, + "learning_rate": 4.634646464646465e-06, + "loss": 7.075539398193359, + "step": 8235 + }, + { + "epoch": 0.0824, + "grad_norm": 13.300480842590332, + "learning_rate": 4.63439393939394e-06, + "loss": 7.063401794433593, + "step": 8240 + }, + { + "epoch": 0.08245, + "grad_norm": 12.902743339538574, + "learning_rate": 4.634141414141415e-06, + "loss": 7.05254898071289, + "step": 8245 + }, + { + "epoch": 0.0825, + "grad_norm": 9.859414100646973, + "learning_rate": 4.633888888888889e-06, + "loss": 7.032901000976563, + "step": 8250 + }, + { + "epoch": 0.08255, + "grad_norm": 12.820615768432617, + "learning_rate": 4.633636363636364e-06, + "loss": 7.048063659667969, + "step": 8255 + }, + { + "epoch": 0.0826, + "grad_norm": 9.728899002075195, + "learning_rate": 4.6333838383838385e-06, + "loss": 7.093550109863282, + "step": 8260 + }, + { + "epoch": 0.08265, + "grad_norm": 9.958762168884277, + "learning_rate": 4.633131313131313e-06, + "loss": 7.067665863037109, + "step": 8265 + }, + { + "epoch": 0.0827, + "grad_norm": 10.99690055847168, + "learning_rate": 4.632878787878789e-06, + "loss": 7.009818267822266, + "step": 8270 + }, + { + "epoch": 0.08275, + "grad_norm": 11.927619934082031, + "learning_rate": 4.632626262626263e-06, + "loss": 7.041599273681641, + "step": 8275 + }, + { + "epoch": 0.0828, + "grad_norm": 9.628263473510742, + "learning_rate": 4.632373737373738e-06, + "loss": 7.078289031982422, + "step": 8280 + }, + { + "epoch": 0.08285, + "grad_norm": 14.6926851272583, + "learning_rate": 4.6321212121212125e-06, + "loss": 7.024065399169922, + "step": 8285 + }, + { + "epoch": 0.0829, + "grad_norm": 12.629443168640137, + "learning_rate": 4.631868686868687e-06, + "loss": 7.053324127197266, + "step": 8290 + }, + { + "epoch": 0.08295, + "grad_norm": 11.662714958190918, + "learning_rate": 4.631616161616162e-06, + "loss": 7.0044410705566404, + "step": 8295 + }, + { + "epoch": 0.083, + "grad_norm": 7.714929580688477, + "learning_rate": 4.631363636363636e-06, + "loss": 6.870118713378906, + "step": 8300 + }, + { + "epoch": 0.08305, + "grad_norm": 10.27112865447998, + "learning_rate": 4.631111111111111e-06, + "loss": 7.033052825927735, + "step": 8305 + }, + { + "epoch": 0.0831, + "grad_norm": 9.160842895507812, + "learning_rate": 4.6308585858585865e-06, + "loss": 7.031269836425781, + "step": 8310 + }, + { + "epoch": 0.08315, + "grad_norm": 15.955057144165039, + "learning_rate": 4.630606060606061e-06, + "loss": 7.070072937011719, + "step": 8315 + }, + { + "epoch": 0.0832, + "grad_norm": 12.464604377746582, + "learning_rate": 4.630353535353536e-06, + "loss": 7.147128295898438, + "step": 8320 + }, + { + "epoch": 0.08325, + "grad_norm": 12.384041786193848, + "learning_rate": 4.63010101010101e-06, + "loss": 7.00308837890625, + "step": 8325 + }, + { + "epoch": 0.0833, + "grad_norm": 13.385063171386719, + "learning_rate": 4.629848484848485e-06, + "loss": 7.026906585693359, + "step": 8330 + }, + { + "epoch": 0.08335, + "grad_norm": 14.736897468566895, + "learning_rate": 4.62959595959596e-06, + "loss": 7.082118225097656, + "step": 8335 + }, + { + "epoch": 0.0834, + "grad_norm": 11.926923751831055, + "learning_rate": 4.629343434343434e-06, + "loss": 7.188260650634765, + "step": 8340 + }, + { + "epoch": 0.08345, + "grad_norm": 9.965205192565918, + "learning_rate": 4.62909090909091e-06, + "loss": 7.025453186035156, + "step": 8345 + }, + { + "epoch": 0.0835, + "grad_norm": 9.626023292541504, + "learning_rate": 4.628838383838384e-06, + "loss": 7.035075378417969, + "step": 8350 + }, + { + "epoch": 0.08355, + "grad_norm": 8.821133613586426, + "learning_rate": 4.628585858585859e-06, + "loss": 7.155526733398437, + "step": 8355 + }, + { + "epoch": 0.0836, + "grad_norm": 14.514681816101074, + "learning_rate": 4.628333333333334e-06, + "loss": 7.0042869567871096, + "step": 8360 + }, + { + "epoch": 0.08365, + "grad_norm": 11.676492691040039, + "learning_rate": 4.628080808080809e-06, + "loss": 7.0094963073730465, + "step": 8365 + }, + { + "epoch": 0.0837, + "grad_norm": 10.778614044189453, + "learning_rate": 4.627828282828284e-06, + "loss": 7.0627601623535154, + "step": 8370 + }, + { + "epoch": 0.08375, + "grad_norm": 12.599152565002441, + "learning_rate": 4.6275757575757575e-06, + "loss": 7.020698547363281, + "step": 8375 + }, + { + "epoch": 0.0838, + "grad_norm": 9.851097106933594, + "learning_rate": 4.627323232323232e-06, + "loss": 7.087709045410156, + "step": 8380 + }, + { + "epoch": 0.08385, + "grad_norm": 14.637107849121094, + "learning_rate": 4.627070707070708e-06, + "loss": 7.035470581054687, + "step": 8385 + }, + { + "epoch": 0.0839, + "grad_norm": 12.347566604614258, + "learning_rate": 4.626818181818182e-06, + "loss": 7.039939117431641, + "step": 8390 + }, + { + "epoch": 0.08395, + "grad_norm": 10.541629791259766, + "learning_rate": 4.626565656565657e-06, + "loss": 7.028584289550781, + "step": 8395 + }, + { + "epoch": 0.084, + "grad_norm": 13.734600067138672, + "learning_rate": 4.6263131313131315e-06, + "loss": 7.049537658691406, + "step": 8400 + }, + { + "epoch": 0.08405, + "grad_norm": 11.209863662719727, + "learning_rate": 4.626060606060607e-06, + "loss": 7.05194320678711, + "step": 8405 + }, + { + "epoch": 0.0841, + "grad_norm": 10.31779956817627, + "learning_rate": 4.625808080808082e-06, + "loss": 7.061079406738282, + "step": 8410 + }, + { + "epoch": 0.08415, + "grad_norm": 15.373397827148438, + "learning_rate": 4.625555555555556e-06, + "loss": 6.995402526855469, + "step": 8415 + }, + { + "epoch": 0.0842, + "grad_norm": 11.791592597961426, + "learning_rate": 4.625303030303031e-06, + "loss": 6.927073669433594, + "step": 8420 + }, + { + "epoch": 0.08425, + "grad_norm": 10.075303077697754, + "learning_rate": 4.6250505050505055e-06, + "loss": 7.008555603027344, + "step": 8425 + }, + { + "epoch": 0.0843, + "grad_norm": 12.547207832336426, + "learning_rate": 4.62479797979798e-06, + "loss": 7.027137756347656, + "step": 8430 + }, + { + "epoch": 0.08435, + "grad_norm": 8.915721893310547, + "learning_rate": 4.624545454545455e-06, + "loss": 7.090331268310547, + "step": 8435 + }, + { + "epoch": 0.0844, + "grad_norm": 16.654361724853516, + "learning_rate": 4.624292929292929e-06, + "loss": 7.087652587890625, + "step": 8440 + }, + { + "epoch": 0.08445, + "grad_norm": 9.517629623413086, + "learning_rate": 4.624040404040405e-06, + "loss": 7.050588226318359, + "step": 8445 + }, + { + "epoch": 0.0845, + "grad_norm": 11.81865119934082, + "learning_rate": 4.6237878787878795e-06, + "loss": 7.065787506103516, + "step": 8450 + }, + { + "epoch": 0.08455, + "grad_norm": 13.40146255493164, + "learning_rate": 4.623535353535354e-06, + "loss": 7.019773864746094, + "step": 8455 + }, + { + "epoch": 0.0846, + "grad_norm": 12.018403053283691, + "learning_rate": 4.623282828282829e-06, + "loss": 7.063872528076172, + "step": 8460 + }, + { + "epoch": 0.08465, + "grad_norm": 12.831067085266113, + "learning_rate": 4.623030303030303e-06, + "loss": 7.096615600585937, + "step": 8465 + }, + { + "epoch": 0.0847, + "grad_norm": 11.050119400024414, + "learning_rate": 4.622777777777778e-06, + "loss": 7.031575775146484, + "step": 8470 + }, + { + "epoch": 0.08475, + "grad_norm": 9.614187240600586, + "learning_rate": 4.622525252525253e-06, + "loss": 6.996747589111328, + "step": 8475 + }, + { + "epoch": 0.0848, + "grad_norm": 10.220989227294922, + "learning_rate": 4.622272727272727e-06, + "loss": 6.9593017578125, + "step": 8480 + }, + { + "epoch": 0.08485, + "grad_norm": 10.00649642944336, + "learning_rate": 4.622020202020203e-06, + "loss": 7.0481422424316404, + "step": 8485 + }, + { + "epoch": 0.0849, + "grad_norm": 20.84701919555664, + "learning_rate": 4.621767676767677e-06, + "loss": 7.049224853515625, + "step": 8490 + }, + { + "epoch": 0.08495, + "grad_norm": 10.286824226379395, + "learning_rate": 4.621515151515152e-06, + "loss": 7.0858924865722654, + "step": 8495 + }, + { + "epoch": 0.085, + "grad_norm": 13.741623878479004, + "learning_rate": 4.621262626262627e-06, + "loss": 7.028961181640625, + "step": 8500 + }, + { + "epoch": 0.08505, + "grad_norm": 11.78243350982666, + "learning_rate": 4.621010101010101e-06, + "loss": 7.044227600097656, + "step": 8505 + }, + { + "epoch": 0.0851, + "grad_norm": 13.78781509399414, + "learning_rate": 4.620757575757576e-06, + "loss": 7.0345306396484375, + "step": 8510 + }, + { + "epoch": 0.08515, + "grad_norm": 12.163993835449219, + "learning_rate": 4.6205050505050506e-06, + "loss": 6.972857666015625, + "step": 8515 + }, + { + "epoch": 0.0852, + "grad_norm": 12.0376615524292, + "learning_rate": 4.620252525252525e-06, + "loss": 6.994396209716797, + "step": 8520 + }, + { + "epoch": 0.08525, + "grad_norm": 10.434892654418945, + "learning_rate": 4.620000000000001e-06, + "loss": 7.038103485107422, + "step": 8525 + }, + { + "epoch": 0.0853, + "grad_norm": 10.116866111755371, + "learning_rate": 4.619747474747475e-06, + "loss": 6.94311752319336, + "step": 8530 + }, + { + "epoch": 0.08535, + "grad_norm": 9.699699401855469, + "learning_rate": 4.61949494949495e-06, + "loss": 7.006007385253906, + "step": 8535 + }, + { + "epoch": 0.0854, + "grad_norm": 9.601655006408691, + "learning_rate": 4.6192424242424245e-06, + "loss": 7.000652313232422, + "step": 8540 + }, + { + "epoch": 0.08545, + "grad_norm": 12.33677864074707, + "learning_rate": 4.618989898989899e-06, + "loss": 6.891995239257812, + "step": 8545 + }, + { + "epoch": 0.0855, + "grad_norm": 19.955005645751953, + "learning_rate": 4.618737373737374e-06, + "loss": 7.055172729492187, + "step": 8550 + }, + { + "epoch": 0.08555, + "grad_norm": 13.735508918762207, + "learning_rate": 4.6184848484848484e-06, + "loss": 7.084560394287109, + "step": 8555 + }, + { + "epoch": 0.0856, + "grad_norm": 10.539268493652344, + "learning_rate": 4.618232323232323e-06, + "loss": 6.977877807617188, + "step": 8560 + }, + { + "epoch": 0.08565, + "grad_norm": 14.302754402160645, + "learning_rate": 4.6179797979797985e-06, + "loss": 7.095244598388672, + "step": 8565 + }, + { + "epoch": 0.0857, + "grad_norm": 13.66472339630127, + "learning_rate": 4.617727272727273e-06, + "loss": 6.9892738342285154, + "step": 8570 + }, + { + "epoch": 0.08575, + "grad_norm": 12.020188331604004, + "learning_rate": 4.617474747474748e-06, + "loss": 7.022763061523437, + "step": 8575 + }, + { + "epoch": 0.0858, + "grad_norm": 11.358796119689941, + "learning_rate": 4.6172222222222224e-06, + "loss": 7.033963012695312, + "step": 8580 + }, + { + "epoch": 0.08585, + "grad_norm": 7.480474948883057, + "learning_rate": 4.616969696969698e-06, + "loss": 7.015220642089844, + "step": 8585 + }, + { + "epoch": 0.0859, + "grad_norm": 12.167500495910645, + "learning_rate": 4.6167171717171725e-06, + "loss": 7.014617919921875, + "step": 8590 + }, + { + "epoch": 0.08595, + "grad_norm": 10.982778549194336, + "learning_rate": 4.616464646464647e-06, + "loss": 7.052307891845703, + "step": 8595 + }, + { + "epoch": 0.086, + "grad_norm": 12.00369930267334, + "learning_rate": 4.616212121212121e-06, + "loss": 7.015129852294922, + "step": 8600 + }, + { + "epoch": 0.08605, + "grad_norm": 12.80974006652832, + "learning_rate": 4.6159595959595964e-06, + "loss": 6.9491127014160154, + "step": 8605 + }, + { + "epoch": 0.0861, + "grad_norm": 12.741839408874512, + "learning_rate": 4.615707070707071e-06, + "loss": 7.027971649169922, + "step": 8610 + }, + { + "epoch": 0.08615, + "grad_norm": 9.436436653137207, + "learning_rate": 4.615454545454546e-06, + "loss": 6.988047027587891, + "step": 8615 + }, + { + "epoch": 0.0862, + "grad_norm": 12.871213912963867, + "learning_rate": 4.61520202020202e-06, + "loss": 6.937876892089844, + "step": 8620 + }, + { + "epoch": 0.08625, + "grad_norm": 17.28755760192871, + "learning_rate": 4.614949494949496e-06, + "loss": 7.053642272949219, + "step": 8625 + }, + { + "epoch": 0.0863, + "grad_norm": 11.331725120544434, + "learning_rate": 4.6146969696969704e-06, + "loss": 6.957086181640625, + "step": 8630 + }, + { + "epoch": 0.08635, + "grad_norm": 8.5512056350708, + "learning_rate": 4.614444444444445e-06, + "loss": 7.029003143310547, + "step": 8635 + }, + { + "epoch": 0.0864, + "grad_norm": 11.16249942779541, + "learning_rate": 4.61419191919192e-06, + "loss": 7.063818359375, + "step": 8640 + }, + { + "epoch": 0.08645, + "grad_norm": 16.802413940429688, + "learning_rate": 4.613939393939394e-06, + "loss": 6.833795166015625, + "step": 8645 + }, + { + "epoch": 0.0865, + "grad_norm": 8.72449779510498, + "learning_rate": 4.613686868686869e-06, + "loss": 7.0414070129394535, + "step": 8650 + }, + { + "epoch": 0.08655, + "grad_norm": 10.646709442138672, + "learning_rate": 4.613434343434344e-06, + "loss": 6.961878967285156, + "step": 8655 + }, + { + "epoch": 0.0866, + "grad_norm": 10.272910118103027, + "learning_rate": 4.613181818181818e-06, + "loss": 6.999033355712891, + "step": 8660 + }, + { + "epoch": 0.08665, + "grad_norm": 12.035758018493652, + "learning_rate": 4.612929292929294e-06, + "loss": 7.09505615234375, + "step": 8665 + }, + { + "epoch": 0.0867, + "grad_norm": 11.226907730102539, + "learning_rate": 4.612676767676768e-06, + "loss": 7.1431427001953125, + "step": 8670 + }, + { + "epoch": 0.08675, + "grad_norm": 12.158656120300293, + "learning_rate": 4.612424242424243e-06, + "loss": 7.011770629882813, + "step": 8675 + }, + { + "epoch": 0.0868, + "grad_norm": 9.374982833862305, + "learning_rate": 4.612171717171718e-06, + "loss": 7.028767395019531, + "step": 8680 + }, + { + "epoch": 0.08685, + "grad_norm": 14.920166969299316, + "learning_rate": 4.611919191919192e-06, + "loss": 7.011065673828125, + "step": 8685 + }, + { + "epoch": 0.0869, + "grad_norm": 10.49083137512207, + "learning_rate": 4.611666666666667e-06, + "loss": 6.979369354248047, + "step": 8690 + }, + { + "epoch": 0.08695, + "grad_norm": 19.360553741455078, + "learning_rate": 4.6114141414141415e-06, + "loss": 7.246497344970703, + "step": 8695 + }, + { + "epoch": 0.087, + "grad_norm": 11.048300743103027, + "learning_rate": 4.611161616161616e-06, + "loss": 7.017113494873047, + "step": 8700 + }, + { + "epoch": 0.08705, + "grad_norm": 8.130722999572754, + "learning_rate": 4.610909090909092e-06, + "loss": 6.965589904785157, + "step": 8705 + }, + { + "epoch": 0.0871, + "grad_norm": 8.920684814453125, + "learning_rate": 4.610656565656566e-06, + "loss": 6.925331115722656, + "step": 8710 + }, + { + "epoch": 0.08715, + "grad_norm": 11.635099411010742, + "learning_rate": 4.610404040404041e-06, + "loss": 6.987557983398437, + "step": 8715 + }, + { + "epoch": 0.0872, + "grad_norm": 7.673483848571777, + "learning_rate": 4.6101515151515155e-06, + "loss": 6.932005310058594, + "step": 8720 + }, + { + "epoch": 0.08725, + "grad_norm": 20.464824676513672, + "learning_rate": 4.60989898989899e-06, + "loss": 7.084622955322265, + "step": 8725 + }, + { + "epoch": 0.0873, + "grad_norm": 14.617021560668945, + "learning_rate": 4.609646464646465e-06, + "loss": 6.958221435546875, + "step": 8730 + }, + { + "epoch": 0.08735, + "grad_norm": 12.8867826461792, + "learning_rate": 4.609393939393939e-06, + "loss": 7.004589080810547, + "step": 8735 + }, + { + "epoch": 0.0874, + "grad_norm": 11.662595748901367, + "learning_rate": 4.609141414141414e-06, + "loss": 6.996710968017578, + "step": 8740 + }, + { + "epoch": 0.08745, + "grad_norm": 14.271039962768555, + "learning_rate": 4.6088888888888895e-06, + "loss": 7.0122825622558596, + "step": 8745 + }, + { + "epoch": 0.0875, + "grad_norm": 11.641202926635742, + "learning_rate": 4.608636363636364e-06, + "loss": 7.097258758544922, + "step": 8750 + }, + { + "epoch": 0.08755, + "grad_norm": 9.237883567810059, + "learning_rate": 4.608383838383839e-06, + "loss": 7.103736877441406, + "step": 8755 + }, + { + "epoch": 0.0876, + "grad_norm": 8.978830337524414, + "learning_rate": 4.608131313131313e-06, + "loss": 6.994572448730469, + "step": 8760 + }, + { + "epoch": 0.08765, + "grad_norm": 10.96242618560791, + "learning_rate": 4.607878787878788e-06, + "loss": 6.993846893310547, + "step": 8765 + }, + { + "epoch": 0.0877, + "grad_norm": 11.615701675415039, + "learning_rate": 4.607626262626263e-06, + "loss": 7.036064910888672, + "step": 8770 + }, + { + "epoch": 0.08775, + "grad_norm": 11.131321907043457, + "learning_rate": 4.607373737373737e-06, + "loss": 6.988642883300781, + "step": 8775 + }, + { + "epoch": 0.0878, + "grad_norm": 9.342042922973633, + "learning_rate": 4.607121212121213e-06, + "loss": 7.0060371398925785, + "step": 8780 + }, + { + "epoch": 0.08785, + "grad_norm": 11.590174674987793, + "learning_rate": 4.606868686868687e-06, + "loss": 6.9704345703125, + "step": 8785 + }, + { + "epoch": 0.0879, + "grad_norm": 12.118947982788086, + "learning_rate": 4.606616161616162e-06, + "loss": 6.983943939208984, + "step": 8790 + }, + { + "epoch": 0.08795, + "grad_norm": 9.74455738067627, + "learning_rate": 4.606363636363637e-06, + "loss": 6.968035125732422, + "step": 8795 + }, + { + "epoch": 0.088, + "grad_norm": 9.964595794677734, + "learning_rate": 4.606111111111112e-06, + "loss": 6.9922607421875, + "step": 8800 + }, + { + "epoch": 0.08805, + "grad_norm": 11.390090942382812, + "learning_rate": 4.605858585858587e-06, + "loss": 7.004647064208984, + "step": 8805 + }, + { + "epoch": 0.0881, + "grad_norm": 11.85561752319336, + "learning_rate": 4.605606060606061e-06, + "loss": 6.978875732421875, + "step": 8810 + }, + { + "epoch": 0.08815, + "grad_norm": 9.307329177856445, + "learning_rate": 4.605353535353536e-06, + "loss": 6.982460021972656, + "step": 8815 + }, + { + "epoch": 0.0882, + "grad_norm": 11.975251197814941, + "learning_rate": 4.605101010101011e-06, + "loss": 6.924207305908203, + "step": 8820 + }, + { + "epoch": 0.08825, + "grad_norm": 9.708422660827637, + "learning_rate": 4.604848484848485e-06, + "loss": 6.911203765869141, + "step": 8825 + }, + { + "epoch": 0.0883, + "grad_norm": 11.741756439208984, + "learning_rate": 4.60459595959596e-06, + "loss": 6.991139984130859, + "step": 8830 + }, + { + "epoch": 0.08835, + "grad_norm": 9.989776611328125, + "learning_rate": 4.6043434343434345e-06, + "loss": 7.0111236572265625, + "step": 8835 + }, + { + "epoch": 0.0884, + "grad_norm": 12.123878479003906, + "learning_rate": 4.60409090909091e-06, + "loss": 6.962850189208984, + "step": 8840 + }, + { + "epoch": 0.08845, + "grad_norm": 15.166815757751465, + "learning_rate": 4.603838383838385e-06, + "loss": 6.863700103759766, + "step": 8845 + }, + { + "epoch": 0.0885, + "grad_norm": 11.956164360046387, + "learning_rate": 4.603585858585859e-06, + "loss": 7.100125885009765, + "step": 8850 + }, + { + "epoch": 0.08855, + "grad_norm": 14.975172996520996, + "learning_rate": 4.603333333333334e-06, + "loss": 6.856311798095703, + "step": 8855 + }, + { + "epoch": 0.0886, + "grad_norm": 11.481337547302246, + "learning_rate": 4.6030808080808085e-06, + "loss": 7.0222923278808596, + "step": 8860 + }, + { + "epoch": 0.08865, + "grad_norm": 13.606314659118652, + "learning_rate": 4.602828282828283e-06, + "loss": 6.964949035644532, + "step": 8865 + }, + { + "epoch": 0.0887, + "grad_norm": 11.051919937133789, + "learning_rate": 4.602575757575758e-06, + "loss": 6.992784118652343, + "step": 8870 + }, + { + "epoch": 0.08875, + "grad_norm": 11.961569786071777, + "learning_rate": 4.602323232323232e-06, + "loss": 6.939424896240235, + "step": 8875 + }, + { + "epoch": 0.0888, + "grad_norm": 12.348455429077148, + "learning_rate": 4.602070707070708e-06, + "loss": 6.963307952880859, + "step": 8880 + }, + { + "epoch": 0.08885, + "grad_norm": 10.943476676940918, + "learning_rate": 4.6018181818181825e-06, + "loss": 7.011309051513672, + "step": 8885 + }, + { + "epoch": 0.0889, + "grad_norm": 10.19846248626709, + "learning_rate": 4.601565656565657e-06, + "loss": 6.96124267578125, + "step": 8890 + }, + { + "epoch": 0.08895, + "grad_norm": 9.726397514343262, + "learning_rate": 4.601313131313132e-06, + "loss": 7.024695587158203, + "step": 8895 + }, + { + "epoch": 0.089, + "grad_norm": 7.165463447570801, + "learning_rate": 4.601060606060606e-06, + "loss": 7.011265563964844, + "step": 8900 + }, + { + "epoch": 0.08905, + "grad_norm": 8.293192863464355, + "learning_rate": 4.600808080808081e-06, + "loss": 7.055661010742187, + "step": 8905 + }, + { + "epoch": 0.0891, + "grad_norm": 12.67971134185791, + "learning_rate": 4.600555555555556e-06, + "loss": 7.008597564697266, + "step": 8910 + }, + { + "epoch": 0.08915, + "grad_norm": 11.505000114440918, + "learning_rate": 4.60030303030303e-06, + "loss": 7.03277587890625, + "step": 8915 + }, + { + "epoch": 0.0892, + "grad_norm": 13.057467460632324, + "learning_rate": 4.600050505050506e-06, + "loss": 7.0151115417480465, + "step": 8920 + }, + { + "epoch": 0.08925, + "grad_norm": 8.910481452941895, + "learning_rate": 4.59979797979798e-06, + "loss": 7.027153015136719, + "step": 8925 + }, + { + "epoch": 0.0893, + "grad_norm": 14.007189750671387, + "learning_rate": 4.599545454545455e-06, + "loss": 6.961451721191406, + "step": 8930 + }, + { + "epoch": 0.08935, + "grad_norm": 9.628375053405762, + "learning_rate": 4.59929292929293e-06, + "loss": 6.9426826477050785, + "step": 8935 + }, + { + "epoch": 0.0894, + "grad_norm": 13.70006275177002, + "learning_rate": 4.599040404040404e-06, + "loss": 6.968820953369141, + "step": 8940 + }, + { + "epoch": 0.08945, + "grad_norm": 8.891744613647461, + "learning_rate": 4.598787878787879e-06, + "loss": 6.9783882141113285, + "step": 8945 + }, + { + "epoch": 0.0895, + "grad_norm": 11.104719161987305, + "learning_rate": 4.5985353535353535e-06, + "loss": 6.952440643310547, + "step": 8950 + }, + { + "epoch": 0.08955, + "grad_norm": 10.762900352478027, + "learning_rate": 4.598282828282828e-06, + "loss": 6.8633575439453125, + "step": 8955 + }, + { + "epoch": 0.0896, + "grad_norm": 10.40408992767334, + "learning_rate": 4.598030303030304e-06, + "loss": 7.01196517944336, + "step": 8960 + }, + { + "epoch": 0.08965, + "grad_norm": 10.966178894042969, + "learning_rate": 4.597777777777778e-06, + "loss": 6.940557861328125, + "step": 8965 + }, + { + "epoch": 0.0897, + "grad_norm": 18.44215965270996, + "learning_rate": 4.597525252525253e-06, + "loss": 7.021847534179687, + "step": 8970 + }, + { + "epoch": 0.08975, + "grad_norm": 12.66018009185791, + "learning_rate": 4.5972727272727275e-06, + "loss": 6.924337005615234, + "step": 8975 + }, + { + "epoch": 0.0898, + "grad_norm": 11.37463665008545, + "learning_rate": 4.597020202020203e-06, + "loss": 6.976477813720703, + "step": 8980 + }, + { + "epoch": 0.08985, + "grad_norm": 14.634991645812988, + "learning_rate": 4.596767676767677e-06, + "loss": 6.973858642578125, + "step": 8985 + }, + { + "epoch": 0.0899, + "grad_norm": 9.247393608093262, + "learning_rate": 4.5965151515151514e-06, + "loss": 6.95599365234375, + "step": 8990 + }, + { + "epoch": 0.08995, + "grad_norm": 10.670845985412598, + "learning_rate": 4.596262626262626e-06, + "loss": 6.918495941162109, + "step": 8995 + }, + { + "epoch": 0.09, + "grad_norm": 7.9189772605896, + "learning_rate": 4.5960101010101015e-06, + "loss": 6.9922119140625, + "step": 9000 + }, + { + "epoch": 0.09005, + "grad_norm": 8.94133186340332, + "learning_rate": 4.595757575757576e-06, + "loss": 7.0550285339355465, + "step": 9005 + }, + { + "epoch": 0.0901, + "grad_norm": 9.91049575805664, + "learning_rate": 4.595505050505051e-06, + "loss": 6.917829895019532, + "step": 9010 + }, + { + "epoch": 0.09015, + "grad_norm": 11.096470832824707, + "learning_rate": 4.595252525252525e-06, + "loss": 6.979194641113281, + "step": 9015 + }, + { + "epoch": 0.0902, + "grad_norm": 9.518370628356934, + "learning_rate": 4.595000000000001e-06, + "loss": 6.965219116210937, + "step": 9020 + }, + { + "epoch": 0.09025, + "grad_norm": 11.135085105895996, + "learning_rate": 4.5947474747474755e-06, + "loss": 6.952619934082032, + "step": 9025 + }, + { + "epoch": 0.0903, + "grad_norm": 13.166329383850098, + "learning_rate": 4.59449494949495e-06, + "loss": 6.98123779296875, + "step": 9030 + }, + { + "epoch": 0.09035, + "grad_norm": 10.624238014221191, + "learning_rate": 4.594242424242425e-06, + "loss": 6.928783416748047, + "step": 9035 + }, + { + "epoch": 0.0904, + "grad_norm": 9.604555130004883, + "learning_rate": 4.593989898989899e-06, + "loss": 6.973194122314453, + "step": 9040 + }, + { + "epoch": 0.09045, + "grad_norm": 8.17077922821045, + "learning_rate": 4.593737373737374e-06, + "loss": 6.997917938232422, + "step": 9045 + }, + { + "epoch": 0.0905, + "grad_norm": 13.936361312866211, + "learning_rate": 4.593484848484849e-06, + "loss": 6.939244079589844, + "step": 9050 + }, + { + "epoch": 0.09055, + "grad_norm": 10.350641250610352, + "learning_rate": 4.593232323232323e-06, + "loss": 6.972708129882813, + "step": 9055 + }, + { + "epoch": 0.0906, + "grad_norm": 9.984773635864258, + "learning_rate": 4.592979797979799e-06, + "loss": 6.933958435058594, + "step": 9060 + }, + { + "epoch": 0.09065, + "grad_norm": 10.395051002502441, + "learning_rate": 4.592727272727273e-06, + "loss": 6.982639312744141, + "step": 9065 + }, + { + "epoch": 0.0907, + "grad_norm": 8.824694633483887, + "learning_rate": 4.592474747474748e-06, + "loss": 6.934629821777344, + "step": 9070 + }, + { + "epoch": 0.09075, + "grad_norm": 11.539315223693848, + "learning_rate": 4.592222222222223e-06, + "loss": 6.957093811035156, + "step": 9075 + }, + { + "epoch": 0.0908, + "grad_norm": 10.770848274230957, + "learning_rate": 4.591969696969697e-06, + "loss": 6.976052856445312, + "step": 9080 + }, + { + "epoch": 0.09085, + "grad_norm": 11.850400924682617, + "learning_rate": 4.591717171717172e-06, + "loss": 6.942958068847656, + "step": 9085 + }, + { + "epoch": 0.0909, + "grad_norm": 9.05173397064209, + "learning_rate": 4.5914646464646466e-06, + "loss": 7.011375427246094, + "step": 9090 + }, + { + "epoch": 0.09095, + "grad_norm": 10.652250289916992, + "learning_rate": 4.591212121212121e-06, + "loss": 7.116246032714844, + "step": 9095 + }, + { + "epoch": 0.091, + "grad_norm": 9.078658103942871, + "learning_rate": 4.590959595959597e-06, + "loss": 6.991673278808594, + "step": 9100 + }, + { + "epoch": 0.09105, + "grad_norm": 10.937932014465332, + "learning_rate": 4.590707070707071e-06, + "loss": 6.984273529052734, + "step": 9105 + }, + { + "epoch": 0.0911, + "grad_norm": 13.966568946838379, + "learning_rate": 4.590454545454546e-06, + "loss": 6.920789337158203, + "step": 9110 + }, + { + "epoch": 0.09115, + "grad_norm": 11.54513168334961, + "learning_rate": 4.5902020202020206e-06, + "loss": 6.975831604003906, + "step": 9115 + }, + { + "epoch": 0.0912, + "grad_norm": 8.723725318908691, + "learning_rate": 4.589949494949495e-06, + "loss": 7.014624786376953, + "step": 9120 + }, + { + "epoch": 0.09125, + "grad_norm": 13.653387069702148, + "learning_rate": 4.58969696969697e-06, + "loss": 6.994258880615234, + "step": 9125 + }, + { + "epoch": 0.0913, + "grad_norm": 11.781432151794434, + "learning_rate": 4.5894444444444445e-06, + "loss": 6.959329223632812, + "step": 9130 + }, + { + "epoch": 0.09135, + "grad_norm": 10.753767967224121, + "learning_rate": 4.589191919191919e-06, + "loss": 6.955526733398438, + "step": 9135 + }, + { + "epoch": 0.0914, + "grad_norm": 10.890110969543457, + "learning_rate": 4.5889393939393946e-06, + "loss": 6.910725402832031, + "step": 9140 + }, + { + "epoch": 0.09145, + "grad_norm": 11.002923965454102, + "learning_rate": 4.588686868686869e-06, + "loss": 6.893228149414062, + "step": 9145 + }, + { + "epoch": 0.0915, + "grad_norm": 10.365764617919922, + "learning_rate": 4.588434343434344e-06, + "loss": 7.003184509277344, + "step": 9150 + }, + { + "epoch": 0.09155, + "grad_norm": 10.126511573791504, + "learning_rate": 4.5881818181818185e-06, + "loss": 6.934009552001953, + "step": 9155 + }, + { + "epoch": 0.0916, + "grad_norm": 10.26491641998291, + "learning_rate": 4.587929292929293e-06, + "loss": 6.962069702148438, + "step": 9160 + }, + { + "epoch": 0.09165, + "grad_norm": 10.374563217163086, + "learning_rate": 4.587676767676768e-06, + "loss": 6.962880706787109, + "step": 9165 + }, + { + "epoch": 0.0917, + "grad_norm": 10.785993576049805, + "learning_rate": 4.587424242424242e-06, + "loss": 6.959246063232422, + "step": 9170 + }, + { + "epoch": 0.09175, + "grad_norm": 9.757068634033203, + "learning_rate": 4.587171717171717e-06, + "loss": 7.039235687255859, + "step": 9175 + }, + { + "epoch": 0.0918, + "grad_norm": 8.046100616455078, + "learning_rate": 4.5869191919191925e-06, + "loss": 6.943524169921875, + "step": 9180 + }, + { + "epoch": 0.09185, + "grad_norm": 10.259284019470215, + "learning_rate": 4.586666666666667e-06, + "loss": 6.936454772949219, + "step": 9185 + }, + { + "epoch": 0.0919, + "grad_norm": 11.514897346496582, + "learning_rate": 4.586414141414142e-06, + "loss": 6.928460693359375, + "step": 9190 + }, + { + "epoch": 0.09195, + "grad_norm": 13.671236991882324, + "learning_rate": 4.586161616161617e-06, + "loss": 6.947331237792969, + "step": 9195 + }, + { + "epoch": 0.092, + "grad_norm": 11.320274353027344, + "learning_rate": 4.585909090909092e-06, + "loss": 6.916675567626953, + "step": 9200 + }, + { + "epoch": 0.09205, + "grad_norm": 10.631510734558105, + "learning_rate": 4.5856565656565664e-06, + "loss": 6.928887939453125, + "step": 9205 + }, + { + "epoch": 0.0921, + "grad_norm": 10.629972457885742, + "learning_rate": 4.58540404040404e-06, + "loss": 6.923471069335937, + "step": 9210 + }, + { + "epoch": 0.09215, + "grad_norm": 10.900455474853516, + "learning_rate": 4.585151515151516e-06, + "loss": 6.903469085693359, + "step": 9215 + }, + { + "epoch": 0.0922, + "grad_norm": 10.217141151428223, + "learning_rate": 4.58489898989899e-06, + "loss": 7.020825958251953, + "step": 9220 + }, + { + "epoch": 0.09225, + "grad_norm": 9.752537727355957, + "learning_rate": 4.584646464646465e-06, + "loss": 6.92403564453125, + "step": 9225 + }, + { + "epoch": 0.0923, + "grad_norm": 13.075019836425781, + "learning_rate": 4.58439393939394e-06, + "loss": 6.928868103027344, + "step": 9230 + }, + { + "epoch": 0.09235, + "grad_norm": 10.174188613891602, + "learning_rate": 4.584141414141415e-06, + "loss": 6.875286865234375, + "step": 9235 + }, + { + "epoch": 0.0924, + "grad_norm": 9.03266429901123, + "learning_rate": 4.58388888888889e-06, + "loss": 6.9792022705078125, + "step": 9240 + }, + { + "epoch": 0.09245, + "grad_norm": 9.093369483947754, + "learning_rate": 4.583636363636364e-06, + "loss": 7.003121185302734, + "step": 9245 + }, + { + "epoch": 0.0925, + "grad_norm": 11.434791564941406, + "learning_rate": 4.583383838383839e-06, + "loss": 6.937904357910156, + "step": 9250 + }, + { + "epoch": 0.09255, + "grad_norm": 9.684001922607422, + "learning_rate": 4.583131313131314e-06, + "loss": 6.935957336425782, + "step": 9255 + }, + { + "epoch": 0.0926, + "grad_norm": 8.995768547058105, + "learning_rate": 4.582878787878788e-06, + "loss": 6.950570678710937, + "step": 9260 + }, + { + "epoch": 0.09265, + "grad_norm": 8.236930847167969, + "learning_rate": 4.582626262626263e-06, + "loss": 6.948359680175781, + "step": 9265 + }, + { + "epoch": 0.0927, + "grad_norm": 12.418370246887207, + "learning_rate": 4.5823737373737375e-06, + "loss": 6.944721221923828, + "step": 9270 + }, + { + "epoch": 0.09275, + "grad_norm": 11.27679443359375, + "learning_rate": 4.582121212121213e-06, + "loss": 6.905613708496094, + "step": 9275 + }, + { + "epoch": 0.0928, + "grad_norm": 10.900823593139648, + "learning_rate": 4.581868686868688e-06, + "loss": 6.949418640136718, + "step": 9280 + }, + { + "epoch": 0.09285, + "grad_norm": 8.835074424743652, + "learning_rate": 4.581616161616162e-06, + "loss": 6.8901519775390625, + "step": 9285 + }, + { + "epoch": 0.0929, + "grad_norm": 9.159908294677734, + "learning_rate": 4.581363636363637e-06, + "loss": 6.886199951171875, + "step": 9290 + }, + { + "epoch": 0.09295, + "grad_norm": 10.648245811462402, + "learning_rate": 4.5811111111111115e-06, + "loss": 6.915488433837891, + "step": 9295 + }, + { + "epoch": 0.093, + "grad_norm": 10.79227352142334, + "learning_rate": 4.580858585858586e-06, + "loss": 6.9617362976074215, + "step": 9300 + }, + { + "epoch": 0.09305, + "grad_norm": 10.129059791564941, + "learning_rate": 4.580606060606061e-06, + "loss": 6.932711791992188, + "step": 9305 + }, + { + "epoch": 0.0931, + "grad_norm": 10.591060638427734, + "learning_rate": 4.580353535353535e-06, + "loss": 7.020489501953125, + "step": 9310 + }, + { + "epoch": 0.09315, + "grad_norm": 10.75668716430664, + "learning_rate": 4.580101010101011e-06, + "loss": 6.946543884277344, + "step": 9315 + }, + { + "epoch": 0.0932, + "grad_norm": 8.404521942138672, + "learning_rate": 4.5798484848484855e-06, + "loss": 6.734163665771485, + "step": 9320 + }, + { + "epoch": 0.09325, + "grad_norm": 12.331934928894043, + "learning_rate": 4.57959595959596e-06, + "loss": 6.9598640441894535, + "step": 9325 + }, + { + "epoch": 0.0933, + "grad_norm": 10.616157531738281, + "learning_rate": 4.579343434343435e-06, + "loss": 6.981166839599609, + "step": 9330 + }, + { + "epoch": 0.09335, + "grad_norm": 8.098773956298828, + "learning_rate": 4.579090909090909e-06, + "loss": 6.920321655273438, + "step": 9335 + }, + { + "epoch": 0.0934, + "grad_norm": 8.003122329711914, + "learning_rate": 4.578838383838384e-06, + "loss": 6.926268005371094, + "step": 9340 + }, + { + "epoch": 0.09345, + "grad_norm": 9.338400840759277, + "learning_rate": 4.578585858585859e-06, + "loss": 6.924126434326172, + "step": 9345 + }, + { + "epoch": 0.0935, + "grad_norm": 9.561031341552734, + "learning_rate": 4.578333333333333e-06, + "loss": 6.9043830871582035, + "step": 9350 + }, + { + "epoch": 0.09355, + "grad_norm": 8.847929000854492, + "learning_rate": 4.578080808080809e-06, + "loss": 6.934476470947265, + "step": 9355 + }, + { + "epoch": 0.0936, + "grad_norm": 11.018107414245605, + "learning_rate": 4.577828282828283e-06, + "loss": 6.912567138671875, + "step": 9360 + }, + { + "epoch": 0.09365, + "grad_norm": 12.286124229431152, + "learning_rate": 4.577575757575758e-06, + "loss": 6.90674057006836, + "step": 9365 + }, + { + "epoch": 0.0937, + "grad_norm": 9.53593921661377, + "learning_rate": 4.577323232323233e-06, + "loss": 6.938062286376953, + "step": 9370 + }, + { + "epoch": 0.09375, + "grad_norm": 13.270442962646484, + "learning_rate": 4.577070707070707e-06, + "loss": 6.963661956787109, + "step": 9375 + }, + { + "epoch": 0.0938, + "grad_norm": 7.627886772155762, + "learning_rate": 4.576818181818182e-06, + "loss": 6.8824462890625, + "step": 9380 + }, + { + "epoch": 0.09385, + "grad_norm": 10.083731651306152, + "learning_rate": 4.5765656565656565e-06, + "loss": 6.905934143066406, + "step": 9385 + }, + { + "epoch": 0.0939, + "grad_norm": 9.277826309204102, + "learning_rate": 4.576313131313131e-06, + "loss": 6.882180023193359, + "step": 9390 + }, + { + "epoch": 0.09395, + "grad_norm": 9.169386863708496, + "learning_rate": 4.576060606060607e-06, + "loss": 6.879779052734375, + "step": 9395 + }, + { + "epoch": 0.094, + "grad_norm": 8.970600128173828, + "learning_rate": 4.575808080808081e-06, + "loss": 6.8739784240722654, + "step": 9400 + }, + { + "epoch": 0.09405, + "grad_norm": 9.843295097351074, + "learning_rate": 4.575555555555556e-06, + "loss": 6.920269775390625, + "step": 9405 + }, + { + "epoch": 0.0941, + "grad_norm": 10.052227973937988, + "learning_rate": 4.5753030303030305e-06, + "loss": 6.88603515625, + "step": 9410 + }, + { + "epoch": 0.09415, + "grad_norm": 9.529752731323242, + "learning_rate": 4.575050505050506e-06, + "loss": 6.899557495117188, + "step": 9415 + }, + { + "epoch": 0.0942, + "grad_norm": 9.85244083404541, + "learning_rate": 4.574797979797981e-06, + "loss": 6.889659881591797, + "step": 9420 + }, + { + "epoch": 0.09425, + "grad_norm": 9.844796180725098, + "learning_rate": 4.574545454545455e-06, + "loss": 6.885385894775391, + "step": 9425 + }, + { + "epoch": 0.0943, + "grad_norm": 19.329103469848633, + "learning_rate": 4.574292929292929e-06, + "loss": 7.0341644287109375, + "step": 9430 + }, + { + "epoch": 0.09435, + "grad_norm": 6.379838943481445, + "learning_rate": 4.5740404040404045e-06, + "loss": 7.062014770507813, + "step": 9435 + }, + { + "epoch": 0.0944, + "grad_norm": 10.539299964904785, + "learning_rate": 4.573787878787879e-06, + "loss": 7.116558074951172, + "step": 9440 + }, + { + "epoch": 0.09445, + "grad_norm": 10.959689140319824, + "learning_rate": 4.573535353535354e-06, + "loss": 6.879178619384765, + "step": 9445 + }, + { + "epoch": 0.0945, + "grad_norm": 8.679367065429688, + "learning_rate": 4.573282828282828e-06, + "loss": 6.847767639160156, + "step": 9450 + }, + { + "epoch": 0.09455, + "grad_norm": 10.037178039550781, + "learning_rate": 4.573030303030304e-06, + "loss": 6.9302215576171875, + "step": 9455 + }, + { + "epoch": 0.0946, + "grad_norm": 10.333447456359863, + "learning_rate": 4.5727777777777785e-06, + "loss": 6.91085205078125, + "step": 9460 + }, + { + "epoch": 0.09465, + "grad_norm": 10.519474983215332, + "learning_rate": 4.572525252525253e-06, + "loss": 6.936357879638672, + "step": 9465 + }, + { + "epoch": 0.0947, + "grad_norm": 8.598783493041992, + "learning_rate": 4.572272727272728e-06, + "loss": 6.864706420898438, + "step": 9470 + }, + { + "epoch": 0.09475, + "grad_norm": 9.154701232910156, + "learning_rate": 4.572020202020202e-06, + "loss": 6.924003601074219, + "step": 9475 + }, + { + "epoch": 0.0948, + "grad_norm": 9.662890434265137, + "learning_rate": 4.571767676767677e-06, + "loss": 6.868508911132812, + "step": 9480 + }, + { + "epoch": 0.09485, + "grad_norm": 10.95689582824707, + "learning_rate": 4.571515151515152e-06, + "loss": 6.900152587890625, + "step": 9485 + }, + { + "epoch": 0.0949, + "grad_norm": 11.14007568359375, + "learning_rate": 4.571262626262626e-06, + "loss": 7.045454406738282, + "step": 9490 + }, + { + "epoch": 0.09495, + "grad_norm": 12.99349594116211, + "learning_rate": 4.571010101010102e-06, + "loss": 6.91607894897461, + "step": 9495 + }, + { + "epoch": 0.095, + "grad_norm": 11.451969146728516, + "learning_rate": 4.570757575757576e-06, + "loss": 6.909648132324219, + "step": 9500 + }, + { + "epoch": 0.09505, + "grad_norm": 9.418721199035645, + "learning_rate": 4.570505050505051e-06, + "loss": 6.9107810974121096, + "step": 9505 + }, + { + "epoch": 0.0951, + "grad_norm": 8.88818359375, + "learning_rate": 4.570252525252526e-06, + "loss": 6.82100830078125, + "step": 9510 + }, + { + "epoch": 0.09515, + "grad_norm": 8.626935005187988, + "learning_rate": 4.57e-06, + "loss": 6.906971740722656, + "step": 9515 + }, + { + "epoch": 0.0952, + "grad_norm": 10.17044734954834, + "learning_rate": 4.569747474747475e-06, + "loss": 6.85956039428711, + "step": 9520 + }, + { + "epoch": 0.09525, + "grad_norm": 9.495651245117188, + "learning_rate": 4.5694949494949496e-06, + "loss": 6.917705535888672, + "step": 9525 + }, + { + "epoch": 0.0953, + "grad_norm": 12.615290641784668, + "learning_rate": 4.569242424242424e-06, + "loss": 7.044325256347657, + "step": 9530 + }, + { + "epoch": 0.09535, + "grad_norm": 8.915230751037598, + "learning_rate": 4.5689898989899e-06, + "loss": 6.706251525878907, + "step": 9535 + }, + { + "epoch": 0.0954, + "grad_norm": 10.297006607055664, + "learning_rate": 4.568737373737374e-06, + "loss": 6.885462951660156, + "step": 9540 + }, + { + "epoch": 0.09545, + "grad_norm": 11.408024787902832, + "learning_rate": 4.568484848484849e-06, + "loss": 6.920161437988281, + "step": 9545 + }, + { + "epoch": 0.0955, + "grad_norm": 7.775322437286377, + "learning_rate": 4.5682323232323235e-06, + "loss": 6.895552062988282, + "step": 9550 + }, + { + "epoch": 0.09555, + "grad_norm": 12.66250228881836, + "learning_rate": 4.567979797979798e-06, + "loss": 6.8563385009765625, + "step": 9555 + }, + { + "epoch": 0.0956, + "grad_norm": 8.786809921264648, + "learning_rate": 4.567727272727273e-06, + "loss": 6.949114990234375, + "step": 9560 + }, + { + "epoch": 0.09565, + "grad_norm": 8.999879837036133, + "learning_rate": 4.5674747474747474e-06, + "loss": 6.850476837158203, + "step": 9565 + }, + { + "epoch": 0.0957, + "grad_norm": 23.752296447753906, + "learning_rate": 4.567222222222222e-06, + "loss": 6.957427215576172, + "step": 9570 + }, + { + "epoch": 0.09575, + "grad_norm": 10.494589805603027, + "learning_rate": 4.5669696969696975e-06, + "loss": 6.92352066040039, + "step": 9575 + }, + { + "epoch": 0.0958, + "grad_norm": 10.032999992370605, + "learning_rate": 4.566717171717172e-06, + "loss": 6.927436828613281, + "step": 9580 + }, + { + "epoch": 0.09585, + "grad_norm": 12.235912322998047, + "learning_rate": 4.566464646464647e-06, + "loss": 6.879893493652344, + "step": 9585 + }, + { + "epoch": 0.0959, + "grad_norm": 8.25540828704834, + "learning_rate": 4.5662121212121214e-06, + "loss": 6.868061828613281, + "step": 9590 + }, + { + "epoch": 0.09595, + "grad_norm": 7.315032482147217, + "learning_rate": 4.565959595959596e-06, + "loss": 6.866780090332031, + "step": 9595 + }, + { + "epoch": 0.096, + "grad_norm": 10.719766616821289, + "learning_rate": 4.565707070707071e-06, + "loss": 6.861705780029297, + "step": 9600 + }, + { + "epoch": 0.09605, + "grad_norm": 9.926324844360352, + "learning_rate": 4.565454545454545e-06, + "loss": 6.895835113525391, + "step": 9605 + }, + { + "epoch": 0.0961, + "grad_norm": 9.650550842285156, + "learning_rate": 4.56520202020202e-06, + "loss": 6.881475830078125, + "step": 9610 + }, + { + "epoch": 0.09615, + "grad_norm": 12.24812126159668, + "learning_rate": 4.5649494949494954e-06, + "loss": 6.87098388671875, + "step": 9615 + }, + { + "epoch": 0.0962, + "grad_norm": 12.944478988647461, + "learning_rate": 4.56469696969697e-06, + "loss": 6.970864868164062, + "step": 9620 + }, + { + "epoch": 0.09625, + "grad_norm": 9.495046615600586, + "learning_rate": 4.564444444444445e-06, + "loss": 6.873198699951172, + "step": 9625 + }, + { + "epoch": 0.0963, + "grad_norm": 9.247722625732422, + "learning_rate": 4.56419191919192e-06, + "loss": 6.891322326660156, + "step": 9630 + }, + { + "epoch": 0.09635, + "grad_norm": 7.756556034088135, + "learning_rate": 4.563939393939395e-06, + "loss": 6.904844665527344, + "step": 9635 + }, + { + "epoch": 0.0964, + "grad_norm": 10.247211456298828, + "learning_rate": 4.5636868686868694e-06, + "loss": 6.933567810058594, + "step": 9640 + }, + { + "epoch": 0.09645, + "grad_norm": 8.406776428222656, + "learning_rate": 4.563434343434344e-06, + "loss": 6.89685287475586, + "step": 9645 + }, + { + "epoch": 0.0965, + "grad_norm": 10.155279159545898, + "learning_rate": 4.563181818181819e-06, + "loss": 6.858266448974609, + "step": 9650 + }, + { + "epoch": 0.09655, + "grad_norm": 8.941664695739746, + "learning_rate": 4.562929292929293e-06, + "loss": 6.974774169921875, + "step": 9655 + }, + { + "epoch": 0.0966, + "grad_norm": 9.457550048828125, + "learning_rate": 4.562676767676768e-06, + "loss": 6.886007690429688, + "step": 9660 + }, + { + "epoch": 0.09665, + "grad_norm": 10.139677047729492, + "learning_rate": 4.562424242424243e-06, + "loss": 6.9136817932128904, + "step": 9665 + }, + { + "epoch": 0.0967, + "grad_norm": 8.930248260498047, + "learning_rate": 4.562171717171718e-06, + "loss": 6.865504455566406, + "step": 9670 + }, + { + "epoch": 0.09675, + "grad_norm": 8.662388801574707, + "learning_rate": 4.561919191919193e-06, + "loss": 6.865299987792969, + "step": 9675 + }, + { + "epoch": 0.0968, + "grad_norm": 10.52776050567627, + "learning_rate": 4.561666666666667e-06, + "loss": 6.872999572753907, + "step": 9680 + }, + { + "epoch": 0.09685, + "grad_norm": 8.371925354003906, + "learning_rate": 4.561414141414142e-06, + "loss": 6.8964790344238285, + "step": 9685 + }, + { + "epoch": 0.0969, + "grad_norm": 14.037760734558105, + "learning_rate": 4.561161616161617e-06, + "loss": 6.859334564208984, + "step": 9690 + }, + { + "epoch": 0.09695, + "grad_norm": 9.19921588897705, + "learning_rate": 4.560909090909091e-06, + "loss": 6.8322593688964846, + "step": 9695 + }, + { + "epoch": 0.097, + "grad_norm": 8.956448554992676, + "learning_rate": 4.560656565656566e-06, + "loss": 6.868887329101563, + "step": 9700 + }, + { + "epoch": 0.09705, + "grad_norm": 8.358606338500977, + "learning_rate": 4.5604040404040405e-06, + "loss": 6.889315032958985, + "step": 9705 + }, + { + "epoch": 0.0971, + "grad_norm": 12.055523872375488, + "learning_rate": 4.560151515151516e-06, + "loss": 6.8727775573730465, + "step": 9710 + }, + { + "epoch": 0.09715, + "grad_norm": 7.986931324005127, + "learning_rate": 4.559898989898991e-06, + "loss": 6.921642303466797, + "step": 9715 + }, + { + "epoch": 0.0972, + "grad_norm": 9.531756401062012, + "learning_rate": 4.559646464646465e-06, + "loss": 6.854464721679688, + "step": 9720 + }, + { + "epoch": 0.09725, + "grad_norm": 9.118194580078125, + "learning_rate": 4.55939393939394e-06, + "loss": 6.859737396240234, + "step": 9725 + }, + { + "epoch": 0.0973, + "grad_norm": 8.401805877685547, + "learning_rate": 4.5591414141414145e-06, + "loss": 6.920757293701172, + "step": 9730 + }, + { + "epoch": 0.09735, + "grad_norm": 9.299088478088379, + "learning_rate": 4.558888888888889e-06, + "loss": 6.9095619201660154, + "step": 9735 + }, + { + "epoch": 0.0974, + "grad_norm": 12.430475234985352, + "learning_rate": 4.558636363636364e-06, + "loss": 6.851628112792969, + "step": 9740 + }, + { + "epoch": 0.09745, + "grad_norm": 11.760705947875977, + "learning_rate": 4.558383838383838e-06, + "loss": 6.8301841735839846, + "step": 9745 + }, + { + "epoch": 0.0975, + "grad_norm": 10.439096450805664, + "learning_rate": 4.558131313131314e-06, + "loss": 6.885912322998047, + "step": 9750 + }, + { + "epoch": 0.09755, + "grad_norm": 11.126880645751953, + "learning_rate": 4.5578787878787885e-06, + "loss": 6.894627380371094, + "step": 9755 + }, + { + "epoch": 0.0976, + "grad_norm": 7.515928268432617, + "learning_rate": 4.557626262626263e-06, + "loss": 6.8644966125488285, + "step": 9760 + }, + { + "epoch": 0.09765, + "grad_norm": 8.86186408996582, + "learning_rate": 4.557373737373738e-06, + "loss": 6.863015747070312, + "step": 9765 + }, + { + "epoch": 0.0977, + "grad_norm": 6.545344829559326, + "learning_rate": 4.557121212121212e-06, + "loss": 6.894357299804687, + "step": 9770 + }, + { + "epoch": 0.09775, + "grad_norm": 12.361340522766113, + "learning_rate": 4.556868686868687e-06, + "loss": 6.91864013671875, + "step": 9775 + }, + { + "epoch": 0.0978, + "grad_norm": 7.701848030090332, + "learning_rate": 4.556616161616162e-06, + "loss": 6.920528411865234, + "step": 9780 + }, + { + "epoch": 0.09785, + "grad_norm": 14.436676979064941, + "learning_rate": 4.556363636363636e-06, + "loss": 6.8511810302734375, + "step": 9785 + }, + { + "epoch": 0.0979, + "grad_norm": 6.7326202392578125, + "learning_rate": 4.556111111111112e-06, + "loss": 6.935173797607422, + "step": 9790 + }, + { + "epoch": 0.09795, + "grad_norm": 10.577225685119629, + "learning_rate": 4.555858585858586e-06, + "loss": 6.885600280761719, + "step": 9795 + }, + { + "epoch": 0.098, + "grad_norm": 10.066238403320312, + "learning_rate": 4.555606060606061e-06, + "loss": 8.671671295166016, + "step": 9800 + }, + { + "epoch": 0.09805, + "grad_norm": 9.856620788574219, + "learning_rate": 4.555353535353536e-06, + "loss": 6.822401428222657, + "step": 9805 + }, + { + "epoch": 0.0981, + "grad_norm": 12.700478553771973, + "learning_rate": 4.555101010101011e-06, + "loss": 6.898032379150391, + "step": 9810 + }, + { + "epoch": 0.09815, + "grad_norm": 11.200740814208984, + "learning_rate": 4.554848484848485e-06, + "loss": 6.967012023925781, + "step": 9815 + }, + { + "epoch": 0.0982, + "grad_norm": 11.26723575592041, + "learning_rate": 4.5545959595959595e-06, + "loss": 7.166909790039062, + "step": 9820 + }, + { + "epoch": 0.09825, + "grad_norm": 8.22861385345459, + "learning_rate": 4.554343434343434e-06, + "loss": 6.907566070556641, + "step": 9825 + }, + { + "epoch": 0.0983, + "grad_norm": 9.92597770690918, + "learning_rate": 4.55409090909091e-06, + "loss": 6.855133819580078, + "step": 9830 + }, + { + "epoch": 0.09835, + "grad_norm": 11.476505279541016, + "learning_rate": 4.553838383838384e-06, + "loss": 6.869831848144531, + "step": 9835 + }, + { + "epoch": 0.0984, + "grad_norm": 10.88169002532959, + "learning_rate": 4.553585858585859e-06, + "loss": 6.8975067138671875, + "step": 9840 + }, + { + "epoch": 0.09845, + "grad_norm": 9.419955253601074, + "learning_rate": 4.5533333333333335e-06, + "loss": 6.888085174560547, + "step": 9845 + }, + { + "epoch": 0.0985, + "grad_norm": 9.955551147460938, + "learning_rate": 4.553080808080809e-06, + "loss": 6.844129180908203, + "step": 9850 + }, + { + "epoch": 0.09855, + "grad_norm": 8.792481422424316, + "learning_rate": 4.552828282828284e-06, + "loss": 6.820993804931641, + "step": 9855 + }, + { + "epoch": 0.0986, + "grad_norm": 10.666019439697266, + "learning_rate": 4.552575757575758e-06, + "loss": 6.8444679260253904, + "step": 9860 + }, + { + "epoch": 0.09865, + "grad_norm": 7.528670310974121, + "learning_rate": 4.552323232323233e-06, + "loss": 6.826388549804688, + "step": 9865 + }, + { + "epoch": 0.0987, + "grad_norm": 10.20127010345459, + "learning_rate": 4.5520707070707075e-06, + "loss": 6.848408508300781, + "step": 9870 + }, + { + "epoch": 0.09875, + "grad_norm": 6.641772747039795, + "learning_rate": 4.551818181818182e-06, + "loss": 6.847401428222656, + "step": 9875 + }, + { + "epoch": 0.0988, + "grad_norm": 10.119627952575684, + "learning_rate": 4.551565656565657e-06, + "loss": 6.818115234375, + "step": 9880 + }, + { + "epoch": 0.09885, + "grad_norm": 9.074414253234863, + "learning_rate": 4.551313131313131e-06, + "loss": 6.8143974304199215, + "step": 9885 + }, + { + "epoch": 0.0989, + "grad_norm": 7.922760963439941, + "learning_rate": 4.551060606060607e-06, + "loss": 6.882887268066407, + "step": 9890 + }, + { + "epoch": 0.09895, + "grad_norm": 12.476951599121094, + "learning_rate": 4.5508080808080815e-06, + "loss": 6.962390899658203, + "step": 9895 + }, + { + "epoch": 0.099, + "grad_norm": 9.530937194824219, + "learning_rate": 4.550555555555556e-06, + "loss": 6.871343994140625, + "step": 9900 + }, + { + "epoch": 0.09905, + "grad_norm": 8.332584381103516, + "learning_rate": 4.550303030303031e-06, + "loss": 6.860165405273437, + "step": 9905 + }, + { + "epoch": 0.0991, + "grad_norm": 8.640633583068848, + "learning_rate": 4.550050505050505e-06, + "loss": 6.845024871826172, + "step": 9910 + }, + { + "epoch": 0.09915, + "grad_norm": 8.826701164245605, + "learning_rate": 4.54979797979798e-06, + "loss": 6.860028839111328, + "step": 9915 + }, + { + "epoch": 0.0992, + "grad_norm": 9.358051300048828, + "learning_rate": 4.549545454545455e-06, + "loss": 6.811455535888672, + "step": 9920 + }, + { + "epoch": 0.09925, + "grad_norm": 8.784806251525879, + "learning_rate": 4.549292929292929e-06, + "loss": 6.855756378173828, + "step": 9925 + }, + { + "epoch": 0.0993, + "grad_norm": 9.548070907592773, + "learning_rate": 4.549040404040405e-06, + "loss": 6.7995750427246096, + "step": 9930 + }, + { + "epoch": 0.09935, + "grad_norm": 11.46341323852539, + "learning_rate": 4.548787878787879e-06, + "loss": 6.8029937744140625, + "step": 9935 + }, + { + "epoch": 0.0994, + "grad_norm": 12.053924560546875, + "learning_rate": 4.548535353535354e-06, + "loss": 7.0472358703613285, + "step": 9940 + }, + { + "epoch": 0.09945, + "grad_norm": 8.524255752563477, + "learning_rate": 4.548282828282829e-06, + "loss": 6.925016784667969, + "step": 9945 + }, + { + "epoch": 0.0995, + "grad_norm": 7.0819478034973145, + "learning_rate": 4.548030303030303e-06, + "loss": 6.835140228271484, + "step": 9950 + }, + { + "epoch": 0.09955, + "grad_norm": 9.256433486938477, + "learning_rate": 4.547777777777778e-06, + "loss": 6.823681640625, + "step": 9955 + }, + { + "epoch": 0.0996, + "grad_norm": 10.68978214263916, + "learning_rate": 4.5475252525252525e-06, + "loss": 6.788855743408203, + "step": 9960 + }, + { + "epoch": 0.09965, + "grad_norm": 9.126503944396973, + "learning_rate": 4.547272727272727e-06, + "loss": 6.838918304443359, + "step": 9965 + }, + { + "epoch": 0.0997, + "grad_norm": 8.970675468444824, + "learning_rate": 4.547020202020203e-06, + "loss": 6.8585662841796875, + "step": 9970 + }, + { + "epoch": 0.09975, + "grad_norm": 11.285412788391113, + "learning_rate": 4.546767676767677e-06, + "loss": 6.888837432861328, + "step": 9975 + }, + { + "epoch": 0.0998, + "grad_norm": 11.419379234313965, + "learning_rate": 4.546515151515152e-06, + "loss": 6.8709465026855465, + "step": 9980 + }, + { + "epoch": 0.09985, + "grad_norm": 10.288447380065918, + "learning_rate": 4.5462626262626265e-06, + "loss": 6.842796325683594, + "step": 9985 + }, + { + "epoch": 0.0999, + "grad_norm": 8.651625633239746, + "learning_rate": 4.546010101010101e-06, + "loss": 6.834380340576172, + "step": 9990 + }, + { + "epoch": 0.09995, + "grad_norm": 10.310647010803223, + "learning_rate": 4.545757575757576e-06, + "loss": 6.8765869140625, + "step": 9995 + }, + { + "epoch": 0.1, + "grad_norm": 10.164254188537598, + "learning_rate": 4.54550505050505e-06, + "loss": 6.8682411193847654, + "step": 10000 + }, + { + "epoch": 0.10005, + "grad_norm": 8.20759391784668, + "learning_rate": 4.545252525252525e-06, + "loss": 6.8823486328125, + "step": 10005 + }, + { + "epoch": 0.1001, + "grad_norm": 7.979193210601807, + "learning_rate": 4.5450000000000005e-06, + "loss": 6.873066711425781, + "step": 10010 + }, + { + "epoch": 0.10015, + "grad_norm": 11.778112411499023, + "learning_rate": 4.544747474747475e-06, + "loss": 7.219378662109375, + "step": 10015 + }, + { + "epoch": 0.1002, + "grad_norm": 9.67769718170166, + "learning_rate": 4.54449494949495e-06, + "loss": 6.841419219970703, + "step": 10020 + }, + { + "epoch": 0.10025, + "grad_norm": 7.152667045593262, + "learning_rate": 4.544242424242424e-06, + "loss": 6.632102203369141, + "step": 10025 + }, + { + "epoch": 0.1003, + "grad_norm": 10.01180362701416, + "learning_rate": 4.5439898989899e-06, + "loss": 6.8050079345703125, + "step": 10030 + }, + { + "epoch": 0.10035, + "grad_norm": 11.481300354003906, + "learning_rate": 4.5437373737373745e-06, + "loss": 6.903094482421875, + "step": 10035 + }, + { + "epoch": 0.1004, + "grad_norm": 8.824755668640137, + "learning_rate": 4.543484848484848e-06, + "loss": 6.838265228271484, + "step": 10040 + }, + { + "epoch": 0.10045, + "grad_norm": 8.62960147857666, + "learning_rate": 4.543232323232323e-06, + "loss": 6.78216323852539, + "step": 10045 + }, + { + "epoch": 0.1005, + "grad_norm": 15.218633651733398, + "learning_rate": 4.542979797979798e-06, + "loss": 6.906192016601563, + "step": 10050 + }, + { + "epoch": 0.10055, + "grad_norm": 10.21317195892334, + "learning_rate": 4.542727272727273e-06, + "loss": 6.922993469238281, + "step": 10055 + }, + { + "epoch": 0.1006, + "grad_norm": 6.65881872177124, + "learning_rate": 4.542474747474748e-06, + "loss": 6.848235321044922, + "step": 10060 + }, + { + "epoch": 0.10065, + "grad_norm": 8.290840148925781, + "learning_rate": 4.542222222222223e-06, + "loss": 6.841778564453125, + "step": 10065 + }, + { + "epoch": 0.1007, + "grad_norm": 10.090519905090332, + "learning_rate": 4.541969696969698e-06, + "loss": 6.83782730102539, + "step": 10070 + }, + { + "epoch": 0.10075, + "grad_norm": 8.216289520263672, + "learning_rate": 4.541717171717172e-06, + "loss": 6.8315483093261715, + "step": 10075 + }, + { + "epoch": 0.1008, + "grad_norm": 8.74929428100586, + "learning_rate": 4.541464646464647e-06, + "loss": 6.8113555908203125, + "step": 10080 + }, + { + "epoch": 0.10085, + "grad_norm": 8.636686325073242, + "learning_rate": 4.541212121212122e-06, + "loss": 6.838672637939453, + "step": 10085 + }, + { + "epoch": 0.1009, + "grad_norm": 10.863844871520996, + "learning_rate": 4.540959595959596e-06, + "loss": 6.825121307373047, + "step": 10090 + }, + { + "epoch": 0.10095, + "grad_norm": 8.985540390014648, + "learning_rate": 4.540707070707071e-06, + "loss": 6.800166320800781, + "step": 10095 + }, + { + "epoch": 0.101, + "grad_norm": 7.546262264251709, + "learning_rate": 4.5404545454545456e-06, + "loss": 6.852406311035156, + "step": 10100 + }, + { + "epoch": 0.10105, + "grad_norm": 7.637396335601807, + "learning_rate": 4.540202020202021e-06, + "loss": 6.767535400390625, + "step": 10105 + }, + { + "epoch": 0.1011, + "grad_norm": 9.734448432922363, + "learning_rate": 4.539949494949496e-06, + "loss": 6.862636566162109, + "step": 10110 + }, + { + "epoch": 0.10115, + "grad_norm": 9.72131061553955, + "learning_rate": 4.53969696969697e-06, + "loss": 6.822965240478515, + "step": 10115 + }, + { + "epoch": 0.1012, + "grad_norm": 10.105347633361816, + "learning_rate": 4.539444444444445e-06, + "loss": 6.8082527160644535, + "step": 10120 + }, + { + "epoch": 0.10125, + "grad_norm": 11.716263771057129, + "learning_rate": 4.5391919191919196e-06, + "loss": 6.774243927001953, + "step": 10125 + }, + { + "epoch": 0.1013, + "grad_norm": 7.398629188537598, + "learning_rate": 4.538939393939394e-06, + "loss": 6.777813720703125, + "step": 10130 + }, + { + "epoch": 0.10135, + "grad_norm": 10.922369003295898, + "learning_rate": 4.538686868686869e-06, + "loss": 7.022344970703125, + "step": 10135 + }, + { + "epoch": 0.1014, + "grad_norm": 7.588442802429199, + "learning_rate": 4.5384343434343435e-06, + "loss": 6.841729736328125, + "step": 10140 + }, + { + "epoch": 0.10145, + "grad_norm": 9.721165657043457, + "learning_rate": 4.538181818181819e-06, + "loss": 6.817334747314453, + "step": 10145 + }, + { + "epoch": 0.1015, + "grad_norm": 9.496757507324219, + "learning_rate": 4.5379292929292936e-06, + "loss": 6.8150169372558596, + "step": 10150 + }, + { + "epoch": 0.10155, + "grad_norm": 10.186479568481445, + "learning_rate": 4.537676767676768e-06, + "loss": 6.827941131591797, + "step": 10155 + }, + { + "epoch": 0.1016, + "grad_norm": 6.250960826873779, + "learning_rate": 4.537424242424243e-06, + "loss": 6.821821594238282, + "step": 10160 + }, + { + "epoch": 0.10165, + "grad_norm": 6.086466312408447, + "learning_rate": 4.5371717171717175e-06, + "loss": 7.0148979187011715, + "step": 10165 + }, + { + "epoch": 0.1017, + "grad_norm": 9.325428009033203, + "learning_rate": 4.536919191919192e-06, + "loss": 6.814901733398438, + "step": 10170 + }, + { + "epoch": 0.10175, + "grad_norm": 9.550406455993652, + "learning_rate": 4.536666666666667e-06, + "loss": 6.834889984130859, + "step": 10175 + }, + { + "epoch": 0.1018, + "grad_norm": 9.295167922973633, + "learning_rate": 4.536414141414141e-06, + "loss": 6.838574981689453, + "step": 10180 + }, + { + "epoch": 0.10185, + "grad_norm": 7.881017208099365, + "learning_rate": 4.536161616161617e-06, + "loss": 6.801853179931641, + "step": 10185 + }, + { + "epoch": 0.1019, + "grad_norm": 9.531781196594238, + "learning_rate": 4.5359090909090914e-06, + "loss": 6.845233154296875, + "step": 10190 + }, + { + "epoch": 0.10195, + "grad_norm": 8.697671890258789, + "learning_rate": 4.535656565656566e-06, + "loss": 6.84248046875, + "step": 10195 + }, + { + "epoch": 0.102, + "grad_norm": 10.670230865478516, + "learning_rate": 4.535404040404041e-06, + "loss": 6.8018241882324215, + "step": 10200 + }, + { + "epoch": 0.10205, + "grad_norm": 7.887033939361572, + "learning_rate": 4.535151515151515e-06, + "loss": 6.75720443725586, + "step": 10205 + }, + { + "epoch": 0.1021, + "grad_norm": 11.630199432373047, + "learning_rate": 4.53489898989899e-06, + "loss": 6.815679931640625, + "step": 10210 + }, + { + "epoch": 0.10215, + "grad_norm": 7.7320756912231445, + "learning_rate": 4.534646464646465e-06, + "loss": 6.886563110351562, + "step": 10215 + }, + { + "epoch": 0.1022, + "grad_norm": 12.093297958374023, + "learning_rate": 4.534393939393939e-06, + "loss": 6.806790161132812, + "step": 10220 + }, + { + "epoch": 0.10225, + "grad_norm": 10.053400039672852, + "learning_rate": 4.534141414141415e-06, + "loss": 6.8018333435058596, + "step": 10225 + }, + { + "epoch": 0.1023, + "grad_norm": 10.040496826171875, + "learning_rate": 4.533888888888889e-06, + "loss": 6.8588005065917965, + "step": 10230 + }, + { + "epoch": 0.10235, + "grad_norm": 9.86600399017334, + "learning_rate": 4.533636363636364e-06, + "loss": 6.708974456787109, + "step": 10235 + }, + { + "epoch": 0.1024, + "grad_norm": 14.560491561889648, + "learning_rate": 4.533383838383839e-06, + "loss": 6.930031585693359, + "step": 10240 + }, + { + "epoch": 0.10245, + "grad_norm": 7.954652786254883, + "learning_rate": 4.533131313131314e-06, + "loss": 6.979647064208985, + "step": 10245 + }, + { + "epoch": 0.1025, + "grad_norm": 9.979862213134766, + "learning_rate": 4.532878787878789e-06, + "loss": 6.77722396850586, + "step": 10250 + }, + { + "epoch": 0.10255, + "grad_norm": 7.011960506439209, + "learning_rate": 4.532626262626263e-06, + "loss": 6.847500610351562, + "step": 10255 + }, + { + "epoch": 0.1026, + "grad_norm": 8.673044204711914, + "learning_rate": 4.532373737373737e-06, + "loss": 6.800447845458985, + "step": 10260 + }, + { + "epoch": 0.10265, + "grad_norm": 9.20903205871582, + "learning_rate": 4.532121212121213e-06, + "loss": 6.821847534179687, + "step": 10265 + }, + { + "epoch": 0.1027, + "grad_norm": 26.941720962524414, + "learning_rate": 4.531868686868687e-06, + "loss": 6.977058410644531, + "step": 10270 + }, + { + "epoch": 0.10275, + "grad_norm": 9.725756645202637, + "learning_rate": 4.531616161616162e-06, + "loss": 6.815675354003906, + "step": 10275 + }, + { + "epoch": 0.1028, + "grad_norm": 8.225324630737305, + "learning_rate": 4.5313636363636365e-06, + "loss": 6.820429992675781, + "step": 10280 + }, + { + "epoch": 0.10285, + "grad_norm": 10.728477478027344, + "learning_rate": 4.531111111111112e-06, + "loss": 6.8285469055175785, + "step": 10285 + }, + { + "epoch": 0.1029, + "grad_norm": 8.331260681152344, + "learning_rate": 4.530858585858587e-06, + "loss": 6.963614654541016, + "step": 10290 + }, + { + "epoch": 0.10295, + "grad_norm": 10.605501174926758, + "learning_rate": 4.530606060606061e-06, + "loss": 6.832279968261719, + "step": 10295 + }, + { + "epoch": 0.103, + "grad_norm": 10.63926887512207, + "learning_rate": 4.530353535353536e-06, + "loss": 6.778367614746093, + "step": 10300 + }, + { + "epoch": 0.10305, + "grad_norm": 8.650009155273438, + "learning_rate": 4.5301010101010105e-06, + "loss": 6.814152526855469, + "step": 10305 + }, + { + "epoch": 0.1031, + "grad_norm": 8.542475700378418, + "learning_rate": 4.529848484848485e-06, + "loss": 6.782415771484375, + "step": 10310 + }, + { + "epoch": 0.10315, + "grad_norm": 9.568929672241211, + "learning_rate": 4.52959595959596e-06, + "loss": 6.882070922851563, + "step": 10315 + }, + { + "epoch": 0.1032, + "grad_norm": 7.9086127281188965, + "learning_rate": 4.529343434343434e-06, + "loss": 6.748777770996094, + "step": 10320 + }, + { + "epoch": 0.10325, + "grad_norm": 7.9676127433776855, + "learning_rate": 4.52909090909091e-06, + "loss": 6.748429870605468, + "step": 10325 + }, + { + "epoch": 0.1033, + "grad_norm": 8.259550094604492, + "learning_rate": 4.5288383838383845e-06, + "loss": 6.801564025878906, + "step": 10330 + }, + { + "epoch": 0.10335, + "grad_norm": 8.971419334411621, + "learning_rate": 4.528585858585859e-06, + "loss": 6.801553344726562, + "step": 10335 + }, + { + "epoch": 0.1034, + "grad_norm": 8.85749626159668, + "learning_rate": 4.528333333333334e-06, + "loss": 6.8306938171386715, + "step": 10340 + }, + { + "epoch": 0.10345, + "grad_norm": 6.997933864593506, + "learning_rate": 4.528080808080808e-06, + "loss": 6.901518249511719, + "step": 10345 + }, + { + "epoch": 0.1035, + "grad_norm": 10.63986587524414, + "learning_rate": 4.527828282828283e-06, + "loss": 6.793247985839844, + "step": 10350 + }, + { + "epoch": 0.10355, + "grad_norm": 9.295430183410645, + "learning_rate": 4.527575757575758e-06, + "loss": 6.793257141113282, + "step": 10355 + }, + { + "epoch": 0.1036, + "grad_norm": 9.776360511779785, + "learning_rate": 4.527323232323232e-06, + "loss": 6.81164321899414, + "step": 10360 + }, + { + "epoch": 0.10365, + "grad_norm": 10.217482566833496, + "learning_rate": 4.527070707070708e-06, + "loss": 6.858307647705078, + "step": 10365 + }, + { + "epoch": 0.1037, + "grad_norm": 7.741351127624512, + "learning_rate": 4.526818181818182e-06, + "loss": 6.803752136230469, + "step": 10370 + }, + { + "epoch": 0.10375, + "grad_norm": 11.02016544342041, + "learning_rate": 4.526565656565657e-06, + "loss": 6.86942138671875, + "step": 10375 + }, + { + "epoch": 0.1038, + "grad_norm": 10.590338706970215, + "learning_rate": 4.526313131313132e-06, + "loss": 6.811348724365234, + "step": 10380 + }, + { + "epoch": 0.10385, + "grad_norm": 8.158662796020508, + "learning_rate": 4.526060606060606e-06, + "loss": 6.764067077636719, + "step": 10385 + }, + { + "epoch": 0.1039, + "grad_norm": 7.765247344970703, + "learning_rate": 4.525808080808081e-06, + "loss": 6.833324432373047, + "step": 10390 + }, + { + "epoch": 0.10395, + "grad_norm": 8.552026748657227, + "learning_rate": 4.5255555555555555e-06, + "loss": 6.784595489501953, + "step": 10395 + }, + { + "epoch": 0.104, + "grad_norm": 7.711726188659668, + "learning_rate": 4.52530303030303e-06, + "loss": 6.81518325805664, + "step": 10400 + }, + { + "epoch": 0.10405, + "grad_norm": 8.508021354675293, + "learning_rate": 4.525050505050506e-06, + "loss": 6.806743621826172, + "step": 10405 + }, + { + "epoch": 0.1041, + "grad_norm": 9.830904960632324, + "learning_rate": 4.52479797979798e-06, + "loss": 6.850068664550781, + "step": 10410 + }, + { + "epoch": 0.10415, + "grad_norm": 9.13292121887207, + "learning_rate": 4.524545454545455e-06, + "loss": 6.780884552001953, + "step": 10415 + }, + { + "epoch": 0.1042, + "grad_norm": 7.8246169090271, + "learning_rate": 4.5242929292929295e-06, + "loss": 6.811627197265625, + "step": 10420 + }, + { + "epoch": 0.10425, + "grad_norm": 8.385489463806152, + "learning_rate": 4.524040404040404e-06, + "loss": 6.796039581298828, + "step": 10425 + }, + { + "epoch": 0.1043, + "grad_norm": 11.130431175231934, + "learning_rate": 4.523787878787879e-06, + "loss": 6.704118347167968, + "step": 10430 + }, + { + "epoch": 0.10435, + "grad_norm": 8.08370304107666, + "learning_rate": 4.523535353535353e-06, + "loss": 6.531423187255859, + "step": 10435 + }, + { + "epoch": 0.1044, + "grad_norm": 8.021665573120117, + "learning_rate": 4.523282828282828e-06, + "loss": 6.798973846435547, + "step": 10440 + }, + { + "epoch": 0.10445, + "grad_norm": 7.57808256149292, + "learning_rate": 4.5230303030303035e-06, + "loss": 6.76110610961914, + "step": 10445 + }, + { + "epoch": 0.1045, + "grad_norm": 9.246503829956055, + "learning_rate": 4.522777777777778e-06, + "loss": 6.827373504638672, + "step": 10450 + }, + { + "epoch": 0.10455, + "grad_norm": 8.783281326293945, + "learning_rate": 4.522525252525253e-06, + "loss": 6.799574279785157, + "step": 10455 + }, + { + "epoch": 0.1046, + "grad_norm": 10.378202438354492, + "learning_rate": 4.522272727272727e-06, + "loss": 6.8349250793457035, + "step": 10460 + }, + { + "epoch": 0.10465, + "grad_norm": 7.681434631347656, + "learning_rate": 4.522020202020203e-06, + "loss": 6.809269714355469, + "step": 10465 + }, + { + "epoch": 0.1047, + "grad_norm": 7.874427318572998, + "learning_rate": 4.5217676767676775e-06, + "loss": 6.79495849609375, + "step": 10470 + }, + { + "epoch": 0.10475, + "grad_norm": 9.04549789428711, + "learning_rate": 4.521515151515152e-06, + "loss": 6.730134582519531, + "step": 10475 + }, + { + "epoch": 0.1048, + "grad_norm": 9.927407264709473, + "learning_rate": 4.521262626262627e-06, + "loss": 6.75667724609375, + "step": 10480 + }, + { + "epoch": 0.10485, + "grad_norm": 10.67634105682373, + "learning_rate": 4.521010101010101e-06, + "loss": 6.763334655761719, + "step": 10485 + }, + { + "epoch": 0.1049, + "grad_norm": 9.389852523803711, + "learning_rate": 4.520757575757576e-06, + "loss": 6.783106994628906, + "step": 10490 + }, + { + "epoch": 0.10495, + "grad_norm": 12.468643188476562, + "learning_rate": 4.520505050505051e-06, + "loss": 6.82467041015625, + "step": 10495 + }, + { + "epoch": 0.105, + "grad_norm": 9.92530632019043, + "learning_rate": 4.520252525252526e-06, + "loss": 6.78125228881836, + "step": 10500 + }, + { + "epoch": 0.10505, + "grad_norm": 9.618744850158691, + "learning_rate": 4.520000000000001e-06, + "loss": 6.793302154541015, + "step": 10505 + }, + { + "epoch": 0.1051, + "grad_norm": 9.825407981872559, + "learning_rate": 4.519747474747475e-06, + "loss": 6.788217926025391, + "step": 10510 + }, + { + "epoch": 0.10515, + "grad_norm": 6.7132086753845215, + "learning_rate": 4.51949494949495e-06, + "loss": 6.7343803405761715, + "step": 10515 + }, + { + "epoch": 0.1052, + "grad_norm": 8.860984802246094, + "learning_rate": 4.519242424242425e-06, + "loss": 6.818547058105469, + "step": 10520 + }, + { + "epoch": 0.10525, + "grad_norm": 7.145396709442139, + "learning_rate": 4.518989898989899e-06, + "loss": 6.805262756347656, + "step": 10525 + }, + { + "epoch": 0.1053, + "grad_norm": 11.210077285766602, + "learning_rate": 4.518737373737374e-06, + "loss": 6.789247131347656, + "step": 10530 + }, + { + "epoch": 0.10535, + "grad_norm": 8.556869506835938, + "learning_rate": 4.5184848484848486e-06, + "loss": 6.77685775756836, + "step": 10535 + }, + { + "epoch": 0.1054, + "grad_norm": 12.611933708190918, + "learning_rate": 4.518232323232324e-06, + "loss": 6.826222229003906, + "step": 10540 + }, + { + "epoch": 0.10545, + "grad_norm": 6.495969772338867, + "learning_rate": 4.517979797979799e-06, + "loss": 6.792431640625, + "step": 10545 + }, + { + "epoch": 0.1055, + "grad_norm": 9.135517120361328, + "learning_rate": 4.517727272727273e-06, + "loss": 6.8119384765625, + "step": 10550 + }, + { + "epoch": 0.10555, + "grad_norm": 7.112025737762451, + "learning_rate": 4.517474747474748e-06, + "loss": 6.7536476135253904, + "step": 10555 + }, + { + "epoch": 0.1056, + "grad_norm": 9.292410850524902, + "learning_rate": 4.5172222222222225e-06, + "loss": 7.047863006591797, + "step": 10560 + }, + { + "epoch": 0.10565, + "grad_norm": 7.248304843902588, + "learning_rate": 4.516969696969697e-06, + "loss": 6.757450103759766, + "step": 10565 + }, + { + "epoch": 0.1057, + "grad_norm": 7.4107441902160645, + "learning_rate": 4.516717171717172e-06, + "loss": 6.80086669921875, + "step": 10570 + }, + { + "epoch": 0.10575, + "grad_norm": 8.414377212524414, + "learning_rate": 4.5164646464646464e-06, + "loss": 6.801142883300781, + "step": 10575 + }, + { + "epoch": 0.1058, + "grad_norm": 8.207219123840332, + "learning_rate": 4.516212121212122e-06, + "loss": 6.766651153564453, + "step": 10580 + }, + { + "epoch": 0.10585, + "grad_norm": 9.720832824707031, + "learning_rate": 4.5159595959595965e-06, + "loss": 6.783973693847656, + "step": 10585 + }, + { + "epoch": 0.1059, + "grad_norm": 9.101816177368164, + "learning_rate": 4.515707070707071e-06, + "loss": 6.76546630859375, + "step": 10590 + }, + { + "epoch": 0.10595, + "grad_norm": 7.374231338500977, + "learning_rate": 4.515454545454546e-06, + "loss": 6.740624237060547, + "step": 10595 + }, + { + "epoch": 0.106, + "grad_norm": 7.708523273468018, + "learning_rate": 4.5152020202020204e-06, + "loss": 6.796148681640625, + "step": 10600 + }, + { + "epoch": 0.10605, + "grad_norm": 7.782270431518555, + "learning_rate": 4.514949494949495e-06, + "loss": 6.674526214599609, + "step": 10605 + }, + { + "epoch": 0.1061, + "grad_norm": 7.8321967124938965, + "learning_rate": 4.51469696969697e-06, + "loss": 6.76794662475586, + "step": 10610 + }, + { + "epoch": 0.10615, + "grad_norm": 7.824036598205566, + "learning_rate": 4.514444444444444e-06, + "loss": 6.7337806701660154, + "step": 10615 + }, + { + "epoch": 0.1062, + "grad_norm": 7.661462306976318, + "learning_rate": 4.51419191919192e-06, + "loss": 6.989064788818359, + "step": 10620 + }, + { + "epoch": 0.10625, + "grad_norm": 17.30018424987793, + "learning_rate": 4.5139393939393944e-06, + "loss": 6.892916870117188, + "step": 10625 + }, + { + "epoch": 0.1063, + "grad_norm": 9.594144821166992, + "learning_rate": 4.513686868686869e-06, + "loss": 6.813229370117187, + "step": 10630 + }, + { + "epoch": 0.10635, + "grad_norm": 10.082630157470703, + "learning_rate": 4.513434343434344e-06, + "loss": 6.739459228515625, + "step": 10635 + }, + { + "epoch": 0.1064, + "grad_norm": 7.233681678771973, + "learning_rate": 4.513181818181819e-06, + "loss": 6.742675018310547, + "step": 10640 + }, + { + "epoch": 0.10645, + "grad_norm": 7.32993221282959, + "learning_rate": 4.512929292929294e-06, + "loss": 6.739006805419922, + "step": 10645 + }, + { + "epoch": 0.1065, + "grad_norm": 9.604584693908691, + "learning_rate": 4.512676767676768e-06, + "loss": 6.770960998535156, + "step": 10650 + }, + { + "epoch": 0.10655, + "grad_norm": 8.362753868103027, + "learning_rate": 4.512424242424242e-06, + "loss": 6.731631469726563, + "step": 10655 + }, + { + "epoch": 0.1066, + "grad_norm": 9.047428131103516, + "learning_rate": 4.512171717171718e-06, + "loss": 6.794572448730468, + "step": 10660 + }, + { + "epoch": 0.10665, + "grad_norm": 9.890609741210938, + "learning_rate": 4.511919191919192e-06, + "loss": 6.747506713867187, + "step": 10665 + }, + { + "epoch": 0.1067, + "grad_norm": 9.081280708312988, + "learning_rate": 4.511666666666667e-06, + "loss": 6.738412475585937, + "step": 10670 + }, + { + "epoch": 0.10675, + "grad_norm": 8.467997550964355, + "learning_rate": 4.511414141414142e-06, + "loss": 6.749243927001953, + "step": 10675 + }, + { + "epoch": 0.1068, + "grad_norm": 6.500598430633545, + "learning_rate": 4.511161616161617e-06, + "loss": 6.7774200439453125, + "step": 10680 + }, + { + "epoch": 0.10685, + "grad_norm": 10.23888874053955, + "learning_rate": 4.510909090909092e-06, + "loss": 6.843496704101563, + "step": 10685 + }, + { + "epoch": 0.1069, + "grad_norm": 6.803131103515625, + "learning_rate": 4.510656565656566e-06, + "loss": 6.831559753417968, + "step": 10690 + }, + { + "epoch": 0.10695, + "grad_norm": 7.9556965827941895, + "learning_rate": 4.510404040404041e-06, + "loss": 6.788623809814453, + "step": 10695 + }, + { + "epoch": 0.107, + "grad_norm": 8.729307174682617, + "learning_rate": 4.510151515151516e-06, + "loss": 6.781925201416016, + "step": 10700 + }, + { + "epoch": 0.10705, + "grad_norm": 7.6999688148498535, + "learning_rate": 4.50989898989899e-06, + "loss": 6.837645721435547, + "step": 10705 + }, + { + "epoch": 0.1071, + "grad_norm": 8.138265609741211, + "learning_rate": 4.509646464646465e-06, + "loss": 6.781961822509766, + "step": 10710 + }, + { + "epoch": 0.10715, + "grad_norm": 8.642674446105957, + "learning_rate": 4.5093939393939395e-06, + "loss": 6.731106567382812, + "step": 10715 + }, + { + "epoch": 0.1072, + "grad_norm": 8.514413833618164, + "learning_rate": 4.509141414141415e-06, + "loss": 6.743327331542969, + "step": 10720 + }, + { + "epoch": 0.10725, + "grad_norm": 8.892318725585938, + "learning_rate": 4.50888888888889e-06, + "loss": 6.747944641113281, + "step": 10725 + }, + { + "epoch": 0.1073, + "grad_norm": 6.997361183166504, + "learning_rate": 4.508636363636364e-06, + "loss": 6.779306030273437, + "step": 10730 + }, + { + "epoch": 0.10735, + "grad_norm": 10.444315910339355, + "learning_rate": 4.508383838383839e-06, + "loss": 6.872282409667969, + "step": 10735 + }, + { + "epoch": 0.1074, + "grad_norm": 9.117467880249023, + "learning_rate": 4.5081313131313135e-06, + "loss": 6.7933502197265625, + "step": 10740 + }, + { + "epoch": 0.10745, + "grad_norm": 6.413508415222168, + "learning_rate": 4.507878787878788e-06, + "loss": 6.736911010742188, + "step": 10745 + }, + { + "epoch": 0.1075, + "grad_norm": 6.463379383087158, + "learning_rate": 4.507626262626263e-06, + "loss": 6.732374572753907, + "step": 10750 + }, + { + "epoch": 0.10755, + "grad_norm": 8.804510116577148, + "learning_rate": 4.507373737373737e-06, + "loss": 6.744367980957032, + "step": 10755 + }, + { + "epoch": 0.1076, + "grad_norm": 6.585135459899902, + "learning_rate": 4.507121212121213e-06, + "loss": 6.680055236816406, + "step": 10760 + }, + { + "epoch": 0.10765, + "grad_norm": 7.2376837730407715, + "learning_rate": 4.5068686868686875e-06, + "loss": 6.749315643310547, + "step": 10765 + }, + { + "epoch": 0.1077, + "grad_norm": 10.131718635559082, + "learning_rate": 4.506616161616162e-06, + "loss": 6.739723205566406, + "step": 10770 + }, + { + "epoch": 0.10775, + "grad_norm": 9.172734260559082, + "learning_rate": 4.506363636363637e-06, + "loss": 6.7099159240722654, + "step": 10775 + }, + { + "epoch": 0.1078, + "grad_norm": 6.226894378662109, + "learning_rate": 4.506111111111111e-06, + "loss": 6.7091423034667965, + "step": 10780 + }, + { + "epoch": 0.10785, + "grad_norm": 8.517584800720215, + "learning_rate": 4.505858585858586e-06, + "loss": 6.690707397460938, + "step": 10785 + }, + { + "epoch": 0.1079, + "grad_norm": 9.280488967895508, + "learning_rate": 4.505606060606061e-06, + "loss": 6.7915702819824215, + "step": 10790 + }, + { + "epoch": 0.10795, + "grad_norm": 6.756470203399658, + "learning_rate": 4.505353535353535e-06, + "loss": 6.7418067932128904, + "step": 10795 + }, + { + "epoch": 0.108, + "grad_norm": 9.961115837097168, + "learning_rate": 4.505101010101011e-06, + "loss": 6.721783447265625, + "step": 10800 + }, + { + "epoch": 0.10805, + "grad_norm": 7.108649730682373, + "learning_rate": 4.504848484848485e-06, + "loss": 6.7423347473144535, + "step": 10805 + }, + { + "epoch": 0.1081, + "grad_norm": 9.545676231384277, + "learning_rate": 4.50459595959596e-06, + "loss": 6.715361785888672, + "step": 10810 + }, + { + "epoch": 0.10815, + "grad_norm": 9.266305923461914, + "learning_rate": 4.504343434343435e-06, + "loss": 6.709360504150391, + "step": 10815 + }, + { + "epoch": 0.1082, + "grad_norm": 7.494429588317871, + "learning_rate": 4.504090909090909e-06, + "loss": 6.7161109924316404, + "step": 10820 + }, + { + "epoch": 0.10825, + "grad_norm": 9.457154273986816, + "learning_rate": 4.503838383838384e-06, + "loss": 6.721696472167968, + "step": 10825 + }, + { + "epoch": 0.1083, + "grad_norm": 8.692770957946777, + "learning_rate": 4.5035858585858585e-06, + "loss": 6.79005126953125, + "step": 10830 + }, + { + "epoch": 0.10835, + "grad_norm": 8.719589233398438, + "learning_rate": 4.503333333333333e-06, + "loss": 7.250643920898438, + "step": 10835 + }, + { + "epoch": 0.1084, + "grad_norm": 10.175653457641602, + "learning_rate": 4.503080808080809e-06, + "loss": 6.871045684814453, + "step": 10840 + }, + { + "epoch": 0.10845, + "grad_norm": 6.755481719970703, + "learning_rate": 4.502828282828283e-06, + "loss": 6.767408752441407, + "step": 10845 + }, + { + "epoch": 0.1085, + "grad_norm": 6.408545017242432, + "learning_rate": 4.502575757575758e-06, + "loss": 6.826924896240234, + "step": 10850 + }, + { + "epoch": 0.10855, + "grad_norm": 6.611545562744141, + "learning_rate": 4.5023232323232325e-06, + "loss": 6.8118034362792965, + "step": 10855 + }, + { + "epoch": 0.1086, + "grad_norm": 9.907986640930176, + "learning_rate": 4.502070707070708e-06, + "loss": 6.705509185791016, + "step": 10860 + }, + { + "epoch": 0.10865, + "grad_norm": 9.282553672790527, + "learning_rate": 4.501818181818183e-06, + "loss": 6.785549926757812, + "step": 10865 + }, + { + "epoch": 0.1087, + "grad_norm": 7.429384708404541, + "learning_rate": 4.501565656565656e-06, + "loss": 6.799143218994141, + "step": 10870 + }, + { + "epoch": 0.10875, + "grad_norm": 8.071882247924805, + "learning_rate": 4.501313131313131e-06, + "loss": 6.756442260742188, + "step": 10875 + }, + { + "epoch": 0.1088, + "grad_norm": 8.47547721862793, + "learning_rate": 4.5010606060606065e-06, + "loss": 6.711375427246094, + "step": 10880 + }, + { + "epoch": 0.10885, + "grad_norm": 8.412904739379883, + "learning_rate": 4.500808080808081e-06, + "loss": 6.704298400878907, + "step": 10885 + }, + { + "epoch": 0.1089, + "grad_norm": 7.7536797523498535, + "learning_rate": 4.500555555555556e-06, + "loss": 6.720106506347657, + "step": 10890 + }, + { + "epoch": 0.10895, + "grad_norm": 7.646829605102539, + "learning_rate": 4.50030303030303e-06, + "loss": 6.750797271728516, + "step": 10895 + }, + { + "epoch": 0.109, + "grad_norm": 9.310580253601074, + "learning_rate": 4.500050505050506e-06, + "loss": 6.821577453613282, + "step": 10900 + }, + { + "epoch": 0.10905, + "grad_norm": 7.541567802429199, + "learning_rate": 4.4997979797979805e-06, + "loss": 6.753498077392578, + "step": 10905 + }, + { + "epoch": 0.1091, + "grad_norm": 7.4607439041137695, + "learning_rate": 4.499545454545455e-06, + "loss": 6.8372352600097654, + "step": 10910 + }, + { + "epoch": 0.10915, + "grad_norm": 5.868399143218994, + "learning_rate": 4.49929292929293e-06, + "loss": 6.703582763671875, + "step": 10915 + }, + { + "epoch": 0.1092, + "grad_norm": 6.7235822677612305, + "learning_rate": 4.499040404040404e-06, + "loss": 6.710835266113281, + "step": 10920 + }, + { + "epoch": 0.10925, + "grad_norm": 10.908285140991211, + "learning_rate": 4.498787878787879e-06, + "loss": 6.808950805664063, + "step": 10925 + }, + { + "epoch": 0.1093, + "grad_norm": 5.785531997680664, + "learning_rate": 4.498535353535354e-06, + "loss": 6.807895660400391, + "step": 10930 + }, + { + "epoch": 0.10935, + "grad_norm": 8.704164505004883, + "learning_rate": 4.498282828282829e-06, + "loss": 6.7197731018066404, + "step": 10935 + }, + { + "epoch": 0.1094, + "grad_norm": 9.486784934997559, + "learning_rate": 4.498030303030304e-06, + "loss": 6.805103302001953, + "step": 10940 + }, + { + "epoch": 0.10945, + "grad_norm": 9.621438026428223, + "learning_rate": 4.497777777777778e-06, + "loss": 6.7240760803222654, + "step": 10945 + }, + { + "epoch": 0.1095, + "grad_norm": 8.090937614440918, + "learning_rate": 4.497525252525253e-06, + "loss": 6.805792236328125, + "step": 10950 + }, + { + "epoch": 0.10955, + "grad_norm": 6.929759502410889, + "learning_rate": 4.497272727272728e-06, + "loss": 6.794142150878907, + "step": 10955 + }, + { + "epoch": 0.1096, + "grad_norm": 7.955910682678223, + "learning_rate": 4.497020202020202e-06, + "loss": 6.7519691467285154, + "step": 10960 + }, + { + "epoch": 0.10965, + "grad_norm": 8.469002723693848, + "learning_rate": 4.496767676767677e-06, + "loss": 6.741259765625, + "step": 10965 + }, + { + "epoch": 0.1097, + "grad_norm": 8.495889663696289, + "learning_rate": 4.4965151515151515e-06, + "loss": 6.697187805175782, + "step": 10970 + }, + { + "epoch": 0.10975, + "grad_norm": 7.8564534187316895, + "learning_rate": 4.496262626262627e-06, + "loss": 6.709109497070313, + "step": 10975 + }, + { + "epoch": 0.1098, + "grad_norm": 7.697814464569092, + "learning_rate": 4.496010101010102e-06, + "loss": 6.836070251464844, + "step": 10980 + }, + { + "epoch": 0.10985, + "grad_norm": 5.744918346405029, + "learning_rate": 4.495757575757576e-06, + "loss": 6.780767822265625, + "step": 10985 + }, + { + "epoch": 0.1099, + "grad_norm": 8.755928993225098, + "learning_rate": 4.495505050505051e-06, + "loss": 6.737541198730469, + "step": 10990 + }, + { + "epoch": 0.10995, + "grad_norm": 10.13265609741211, + "learning_rate": 4.4952525252525255e-06, + "loss": 6.855047607421875, + "step": 10995 + }, + { + "epoch": 0.11, + "grad_norm": 8.116928100585938, + "learning_rate": 4.495e-06, + "loss": 6.798879241943359, + "step": 11000 + }, + { + "epoch": 0.11005, + "grad_norm": 7.539651393890381, + "learning_rate": 4.494747474747475e-06, + "loss": 6.687651824951172, + "step": 11005 + }, + { + "epoch": 0.1101, + "grad_norm": 11.257396697998047, + "learning_rate": 4.494494949494949e-06, + "loss": 6.772528839111328, + "step": 11010 + }, + { + "epoch": 0.11015, + "grad_norm": 7.942442893981934, + "learning_rate": 4.494242424242425e-06, + "loss": 6.730797576904297, + "step": 11015 + }, + { + "epoch": 0.1102, + "grad_norm": 7.521190643310547, + "learning_rate": 4.4939898989898995e-06, + "loss": 6.701113891601563, + "step": 11020 + }, + { + "epoch": 0.11025, + "grad_norm": 6.87885856628418, + "learning_rate": 4.493737373737374e-06, + "loss": 6.720253753662109, + "step": 11025 + }, + { + "epoch": 0.1103, + "grad_norm": 9.220795631408691, + "learning_rate": 4.493484848484849e-06, + "loss": 6.698004150390625, + "step": 11030 + }, + { + "epoch": 0.11035, + "grad_norm": 6.997349262237549, + "learning_rate": 4.493232323232323e-06, + "loss": 6.7636268615722654, + "step": 11035 + }, + { + "epoch": 0.1104, + "grad_norm": 7.85897159576416, + "learning_rate": 4.492979797979798e-06, + "loss": 6.71899642944336, + "step": 11040 + }, + { + "epoch": 0.11045, + "grad_norm": 21.141061782836914, + "learning_rate": 4.492727272727273e-06, + "loss": 6.232658767700196, + "step": 11045 + }, + { + "epoch": 0.1105, + "grad_norm": 22.92469024658203, + "learning_rate": 4.492474747474747e-06, + "loss": 5.92541275024414, + "step": 11050 + }, + { + "epoch": 0.11055, + "grad_norm": 6.057345390319824, + "learning_rate": 4.492222222222223e-06, + "loss": 6.809288787841797, + "step": 11055 + }, + { + "epoch": 0.1106, + "grad_norm": 9.18460464477539, + "learning_rate": 4.491969696969697e-06, + "loss": 6.75438232421875, + "step": 11060 + }, + { + "epoch": 0.11065, + "grad_norm": 6.677265167236328, + "learning_rate": 4.491717171717172e-06, + "loss": 6.7246650695800785, + "step": 11065 + }, + { + "epoch": 0.1107, + "grad_norm": 7.268076419830322, + "learning_rate": 4.491464646464647e-06, + "loss": 6.7602790832519535, + "step": 11070 + }, + { + "epoch": 0.11075, + "grad_norm": 6.997748374938965, + "learning_rate": 4.491212121212122e-06, + "loss": 6.655445098876953, + "step": 11075 + }, + { + "epoch": 0.1108, + "grad_norm": 7.6041259765625, + "learning_rate": 4.490959595959597e-06, + "loss": 6.736250305175782, + "step": 11080 + }, + { + "epoch": 0.11085, + "grad_norm": 9.084789276123047, + "learning_rate": 4.490707070707071e-06, + "loss": 6.77698974609375, + "step": 11085 + }, + { + "epoch": 0.1109, + "grad_norm": 6.969231128692627, + "learning_rate": 4.490454545454546e-06, + "loss": 6.740325927734375, + "step": 11090 + }, + { + "epoch": 0.11095, + "grad_norm": 6.80157470703125, + "learning_rate": 4.490202020202021e-06, + "loss": 6.74328384399414, + "step": 11095 + }, + { + "epoch": 0.111, + "grad_norm": 9.709576606750488, + "learning_rate": 4.489949494949495e-06, + "loss": 6.6937408447265625, + "step": 11100 + }, + { + "epoch": 0.11105, + "grad_norm": 4.7287421226501465, + "learning_rate": 4.48969696969697e-06, + "loss": 6.773529052734375, + "step": 11105 + }, + { + "epoch": 0.1111, + "grad_norm": 8.136981964111328, + "learning_rate": 4.4894444444444446e-06, + "loss": 6.731253814697266, + "step": 11110 + }, + { + "epoch": 0.11115, + "grad_norm": 7.635490417480469, + "learning_rate": 4.48919191919192e-06, + "loss": 6.7756401062011715, + "step": 11115 + }, + { + "epoch": 0.1112, + "grad_norm": 8.241446495056152, + "learning_rate": 4.488939393939395e-06, + "loss": 6.71661605834961, + "step": 11120 + }, + { + "epoch": 0.11125, + "grad_norm": 6.649551868438721, + "learning_rate": 4.488686868686869e-06, + "loss": 6.728081512451172, + "step": 11125 + }, + { + "epoch": 0.1113, + "grad_norm": 8.836507797241211, + "learning_rate": 4.488434343434344e-06, + "loss": 6.7904296875, + "step": 11130 + }, + { + "epoch": 0.11135, + "grad_norm": 7.39402437210083, + "learning_rate": 4.4881818181818186e-06, + "loss": 6.727620697021484, + "step": 11135 + }, + { + "epoch": 0.1114, + "grad_norm": 6.096280574798584, + "learning_rate": 4.487929292929293e-06, + "loss": 6.675344848632813, + "step": 11140 + }, + { + "epoch": 0.11145, + "grad_norm": 9.598369598388672, + "learning_rate": 4.487676767676768e-06, + "loss": 6.932107543945312, + "step": 11145 + }, + { + "epoch": 0.1115, + "grad_norm": 7.327721118927002, + "learning_rate": 4.4874242424242425e-06, + "loss": 6.844270324707031, + "step": 11150 + }, + { + "epoch": 0.11155, + "grad_norm": 8.765827178955078, + "learning_rate": 4.487171717171718e-06, + "loss": 6.764921569824219, + "step": 11155 + }, + { + "epoch": 0.1116, + "grad_norm": 7.266519546508789, + "learning_rate": 4.4869191919191926e-06, + "loss": 6.740020751953125, + "step": 11160 + }, + { + "epoch": 0.11165, + "grad_norm": 6.997776985168457, + "learning_rate": 4.486666666666667e-06, + "loss": 6.740631866455078, + "step": 11165 + }, + { + "epoch": 0.1117, + "grad_norm": 7.6577935218811035, + "learning_rate": 4.486414141414142e-06, + "loss": 6.6790412902832035, + "step": 11170 + }, + { + "epoch": 0.11175, + "grad_norm": 9.849678993225098, + "learning_rate": 4.4861616161616165e-06, + "loss": 6.750882720947265, + "step": 11175 + }, + { + "epoch": 0.1118, + "grad_norm": 8.67566967010498, + "learning_rate": 4.485909090909091e-06, + "loss": 6.727978515625, + "step": 11180 + }, + { + "epoch": 0.11185, + "grad_norm": 7.9100341796875, + "learning_rate": 4.485656565656566e-06, + "loss": 6.667558288574218, + "step": 11185 + }, + { + "epoch": 0.1119, + "grad_norm": 7.463539123535156, + "learning_rate": 4.48540404040404e-06, + "loss": 6.784141540527344, + "step": 11190 + }, + { + "epoch": 0.11195, + "grad_norm": 7.002195835113525, + "learning_rate": 4.485151515151516e-06, + "loss": 6.7454170227050785, + "step": 11195 + }, + { + "epoch": 0.112, + "grad_norm": 8.038938522338867, + "learning_rate": 4.4848989898989904e-06, + "loss": 6.7054901123046875, + "step": 11200 + }, + { + "epoch": 0.11205, + "grad_norm": 6.37700080871582, + "learning_rate": 4.484646464646465e-06, + "loss": 6.708972930908203, + "step": 11205 + }, + { + "epoch": 0.1121, + "grad_norm": 7.8927483558654785, + "learning_rate": 4.48439393939394e-06, + "loss": 6.7218780517578125, + "step": 11210 + }, + { + "epoch": 0.11215, + "grad_norm": 6.519976615905762, + "learning_rate": 4.484141414141414e-06, + "loss": 6.702114868164062, + "step": 11215 + }, + { + "epoch": 0.1122, + "grad_norm": 4.526371002197266, + "learning_rate": 4.483888888888889e-06, + "loss": 6.752705383300781, + "step": 11220 + }, + { + "epoch": 0.11225, + "grad_norm": 10.73451042175293, + "learning_rate": 4.483636363636364e-06, + "loss": 6.745791625976563, + "step": 11225 + }, + { + "epoch": 0.1123, + "grad_norm": 8.42340087890625, + "learning_rate": 4.483383838383838e-06, + "loss": 6.794837951660156, + "step": 11230 + }, + { + "epoch": 0.11235, + "grad_norm": 6.101979732513428, + "learning_rate": 4.483131313131314e-06, + "loss": 6.89209213256836, + "step": 11235 + }, + { + "epoch": 0.1124, + "grad_norm": 8.59909725189209, + "learning_rate": 4.482878787878788e-06, + "loss": 6.68564453125, + "step": 11240 + }, + { + "epoch": 0.11245, + "grad_norm": 8.73400592803955, + "learning_rate": 4.482626262626263e-06, + "loss": 6.692226409912109, + "step": 11245 + }, + { + "epoch": 0.1125, + "grad_norm": 7.014405727386475, + "learning_rate": 4.482373737373738e-06, + "loss": 6.748796081542968, + "step": 11250 + }, + { + "epoch": 0.11255, + "grad_norm": 8.66714096069336, + "learning_rate": 4.482121212121213e-06, + "loss": 6.717597198486328, + "step": 11255 + }, + { + "epoch": 0.1126, + "grad_norm": 9.031023979187012, + "learning_rate": 4.481868686868687e-06, + "loss": 6.709268188476562, + "step": 11260 + }, + { + "epoch": 0.11265, + "grad_norm": 6.963812351226807, + "learning_rate": 4.4816161616161615e-06, + "loss": 6.751233673095703, + "step": 11265 + }, + { + "epoch": 0.1127, + "grad_norm": 6.63762903213501, + "learning_rate": 4.481363636363636e-06, + "loss": 6.70263671875, + "step": 11270 + }, + { + "epoch": 0.11275, + "grad_norm": 7.901537895202637, + "learning_rate": 4.481111111111112e-06, + "loss": 6.673733520507812, + "step": 11275 + }, + { + "epoch": 0.1128, + "grad_norm": 7.541499614715576, + "learning_rate": 4.480858585858586e-06, + "loss": 6.725592041015625, + "step": 11280 + }, + { + "epoch": 0.11285, + "grad_norm": 8.314555168151855, + "learning_rate": 4.480606060606061e-06, + "loss": 6.734666442871093, + "step": 11285 + }, + { + "epoch": 0.1129, + "grad_norm": 7.230580806732178, + "learning_rate": 4.4803535353535355e-06, + "loss": 6.746113586425781, + "step": 11290 + }, + { + "epoch": 0.11295, + "grad_norm": 6.362032413482666, + "learning_rate": 4.480101010101011e-06, + "loss": 6.692689514160156, + "step": 11295 + }, + { + "epoch": 0.113, + "grad_norm": 10.312271118164062, + "learning_rate": 4.479848484848486e-06, + "loss": 6.682109069824219, + "step": 11300 + }, + { + "epoch": 0.11305, + "grad_norm": 9.879929542541504, + "learning_rate": 4.47959595959596e-06, + "loss": 6.658822631835937, + "step": 11305 + }, + { + "epoch": 0.1131, + "grad_norm": 7.774340629577637, + "learning_rate": 4.479343434343435e-06, + "loss": 6.665317535400391, + "step": 11310 + }, + { + "epoch": 0.11315, + "grad_norm": 10.222126007080078, + "learning_rate": 4.4790909090909095e-06, + "loss": 6.708981323242187, + "step": 11315 + }, + { + "epoch": 0.1132, + "grad_norm": 8.628718376159668, + "learning_rate": 4.478838383838384e-06, + "loss": 6.725852966308594, + "step": 11320 + }, + { + "epoch": 0.11325, + "grad_norm": 7.848747730255127, + "learning_rate": 4.478585858585859e-06, + "loss": 6.725019836425782, + "step": 11325 + }, + { + "epoch": 0.1133, + "grad_norm": 8.479503631591797, + "learning_rate": 4.478333333333334e-06, + "loss": 6.705209350585937, + "step": 11330 + }, + { + "epoch": 0.11335, + "grad_norm": 7.807716369628906, + "learning_rate": 4.478080808080809e-06, + "loss": 6.62719955444336, + "step": 11335 + }, + { + "epoch": 0.1134, + "grad_norm": 8.242722511291504, + "learning_rate": 4.4778282828282835e-06, + "loss": 6.726288604736328, + "step": 11340 + }, + { + "epoch": 0.11345, + "grad_norm": 8.608518600463867, + "learning_rate": 4.477575757575758e-06, + "loss": 6.7047874450683596, + "step": 11345 + }, + { + "epoch": 0.1135, + "grad_norm": 7.618953704833984, + "learning_rate": 4.477323232323233e-06, + "loss": 6.682763671875, + "step": 11350 + }, + { + "epoch": 0.11355, + "grad_norm": 5.997776985168457, + "learning_rate": 4.477070707070707e-06, + "loss": 6.758094024658203, + "step": 11355 + }, + { + "epoch": 0.1136, + "grad_norm": 5.493123531341553, + "learning_rate": 4.476818181818182e-06, + "loss": 6.714211273193359, + "step": 11360 + }, + { + "epoch": 0.11365, + "grad_norm": 8.262296676635742, + "learning_rate": 4.476565656565657e-06, + "loss": 6.78668212890625, + "step": 11365 + }, + { + "epoch": 0.1137, + "grad_norm": 7.427249431610107, + "learning_rate": 4.476313131313132e-06, + "loss": 6.64178695678711, + "step": 11370 + }, + { + "epoch": 0.11375, + "grad_norm": 6.889303207397461, + "learning_rate": 4.476060606060607e-06, + "loss": 6.643212890625, + "step": 11375 + }, + { + "epoch": 0.1138, + "grad_norm": 6.8834075927734375, + "learning_rate": 4.475808080808081e-06, + "loss": 6.699423217773438, + "step": 11380 + }, + { + "epoch": 0.11385, + "grad_norm": 8.278688430786133, + "learning_rate": 4.475555555555556e-06, + "loss": 6.679457092285157, + "step": 11385 + }, + { + "epoch": 0.1139, + "grad_norm": 7.574573993682861, + "learning_rate": 4.475303030303031e-06, + "loss": 6.698388671875, + "step": 11390 + }, + { + "epoch": 0.11395, + "grad_norm": 7.504183769226074, + "learning_rate": 4.475050505050505e-06, + "loss": 6.670927429199219, + "step": 11395 + }, + { + "epoch": 0.114, + "grad_norm": 7.981639862060547, + "learning_rate": 4.47479797979798e-06, + "loss": 6.735358428955078, + "step": 11400 + }, + { + "epoch": 0.11405, + "grad_norm": 7.867335319519043, + "learning_rate": 4.4745454545454545e-06, + "loss": 6.712498474121094, + "step": 11405 + }, + { + "epoch": 0.1141, + "grad_norm": 7.965330123901367, + "learning_rate": 4.47429292929293e-06, + "loss": 6.731381225585937, + "step": 11410 + }, + { + "epoch": 0.11415, + "grad_norm": 4.916170120239258, + "learning_rate": 4.474040404040405e-06, + "loss": 6.70898666381836, + "step": 11415 + }, + { + "epoch": 0.1142, + "grad_norm": 8.271017074584961, + "learning_rate": 4.473787878787879e-06, + "loss": 6.738390350341797, + "step": 11420 + }, + { + "epoch": 0.11425, + "grad_norm": 6.844845771789551, + "learning_rate": 4.473535353535354e-06, + "loss": 6.706993103027344, + "step": 11425 + }, + { + "epoch": 0.1143, + "grad_norm": 9.135414123535156, + "learning_rate": 4.4732828282828285e-06, + "loss": 6.681982421875, + "step": 11430 + }, + { + "epoch": 0.11435, + "grad_norm": 7.757597923278809, + "learning_rate": 4.473030303030303e-06, + "loss": 6.736601257324219, + "step": 11435 + }, + { + "epoch": 0.1144, + "grad_norm": 5.6090826988220215, + "learning_rate": 4.472777777777778e-06, + "loss": 6.654732513427734, + "step": 11440 + }, + { + "epoch": 0.11445, + "grad_norm": 7.505268096923828, + "learning_rate": 4.472525252525252e-06, + "loss": 6.674571228027344, + "step": 11445 + }, + { + "epoch": 0.1145, + "grad_norm": 7.081607341766357, + "learning_rate": 4.472272727272728e-06, + "loss": 6.692670440673828, + "step": 11450 + }, + { + "epoch": 0.11455, + "grad_norm": 8.922418594360352, + "learning_rate": 4.4720202020202025e-06, + "loss": 6.743119812011718, + "step": 11455 + }, + { + "epoch": 0.1146, + "grad_norm": 6.165041446685791, + "learning_rate": 4.471767676767677e-06, + "loss": 6.819284057617187, + "step": 11460 + }, + { + "epoch": 0.11465, + "grad_norm": 8.778921127319336, + "learning_rate": 4.471515151515152e-06, + "loss": 6.644107818603516, + "step": 11465 + }, + { + "epoch": 0.1147, + "grad_norm": 5.432400703430176, + "learning_rate": 4.471262626262627e-06, + "loss": 6.6879119873046875, + "step": 11470 + }, + { + "epoch": 0.11475, + "grad_norm": 6.742037773132324, + "learning_rate": 4.471010101010102e-06, + "loss": 6.717813873291016, + "step": 11475 + }, + { + "epoch": 0.1148, + "grad_norm": 6.924907684326172, + "learning_rate": 4.470757575757576e-06, + "loss": 6.645891571044922, + "step": 11480 + }, + { + "epoch": 0.11485, + "grad_norm": 6.382384777069092, + "learning_rate": 4.47050505050505e-06, + "loss": 6.680551910400391, + "step": 11485 + }, + { + "epoch": 0.1149, + "grad_norm": 8.071208000183105, + "learning_rate": 4.470252525252526e-06, + "loss": 6.690335845947265, + "step": 11490 + }, + { + "epoch": 0.11495, + "grad_norm": 7.243064880371094, + "learning_rate": 4.47e-06, + "loss": 6.706063842773437, + "step": 11495 + }, + { + "epoch": 0.115, + "grad_norm": 8.365403175354004, + "learning_rate": 4.469747474747475e-06, + "loss": 6.6935783386230465, + "step": 11500 + }, + { + "epoch": 0.11505, + "grad_norm": 8.666587829589844, + "learning_rate": 4.46949494949495e-06, + "loss": 6.689654541015625, + "step": 11505 + }, + { + "epoch": 0.1151, + "grad_norm": 8.05927848815918, + "learning_rate": 4.469242424242425e-06, + "loss": 6.6711265563964846, + "step": 11510 + }, + { + "epoch": 0.11515, + "grad_norm": 6.215064525604248, + "learning_rate": 4.4689898989899e-06, + "loss": 6.703315734863281, + "step": 11515 + }, + { + "epoch": 0.1152, + "grad_norm": 5.5478715896606445, + "learning_rate": 4.468737373737374e-06, + "loss": 6.701638031005859, + "step": 11520 + }, + { + "epoch": 0.11525, + "grad_norm": 12.100967407226562, + "learning_rate": 4.468484848484849e-06, + "loss": 6.734468078613281, + "step": 11525 + }, + { + "epoch": 0.1153, + "grad_norm": 7.502073764801025, + "learning_rate": 4.468232323232324e-06, + "loss": 6.670558166503906, + "step": 11530 + }, + { + "epoch": 0.11535, + "grad_norm": 9.038009643554688, + "learning_rate": 4.467979797979798e-06, + "loss": 6.630006408691406, + "step": 11535 + }, + { + "epoch": 0.1154, + "grad_norm": 6.378006935119629, + "learning_rate": 4.467727272727273e-06, + "loss": 6.72205810546875, + "step": 11540 + }, + { + "epoch": 0.11545, + "grad_norm": 8.568671226501465, + "learning_rate": 4.4674747474747475e-06, + "loss": 6.673194122314453, + "step": 11545 + }, + { + "epoch": 0.1155, + "grad_norm": 6.345792770385742, + "learning_rate": 4.467222222222223e-06, + "loss": 6.666522979736328, + "step": 11550 + }, + { + "epoch": 0.11555, + "grad_norm": 13.264775276184082, + "learning_rate": 4.466969696969698e-06, + "loss": 6.751813507080078, + "step": 11555 + }, + { + "epoch": 0.1156, + "grad_norm": 8.407709121704102, + "learning_rate": 4.466717171717172e-06, + "loss": 6.8270416259765625, + "step": 11560 + }, + { + "epoch": 0.11565, + "grad_norm": 8.207230567932129, + "learning_rate": 4.466464646464647e-06, + "loss": 6.656624603271484, + "step": 11565 + }, + { + "epoch": 0.1157, + "grad_norm": 7.467211723327637, + "learning_rate": 4.4662121212121215e-06, + "loss": 6.682273864746094, + "step": 11570 + }, + { + "epoch": 0.11575, + "grad_norm": 9.120359420776367, + "learning_rate": 4.465959595959596e-06, + "loss": 6.729044342041016, + "step": 11575 + }, + { + "epoch": 0.1158, + "grad_norm": 7.418501853942871, + "learning_rate": 4.465707070707071e-06, + "loss": 6.659566497802734, + "step": 11580 + }, + { + "epoch": 0.11585, + "grad_norm": 7.646873474121094, + "learning_rate": 4.4654545454545454e-06, + "loss": 6.701144409179688, + "step": 11585 + }, + { + "epoch": 0.1159, + "grad_norm": 5.415029525756836, + "learning_rate": 4.465202020202021e-06, + "loss": 6.700233459472656, + "step": 11590 + }, + { + "epoch": 0.11595, + "grad_norm": 6.256311416625977, + "learning_rate": 4.4649494949494955e-06, + "loss": 6.705789184570312, + "step": 11595 + }, + { + "epoch": 0.116, + "grad_norm": 10.637125015258789, + "learning_rate": 4.46469696969697e-06, + "loss": 6.645533752441406, + "step": 11600 + }, + { + "epoch": 0.11605, + "grad_norm": 7.625982284545898, + "learning_rate": 4.464444444444445e-06, + "loss": 6.713024139404297, + "step": 11605 + }, + { + "epoch": 0.1161, + "grad_norm": 7.428358554840088, + "learning_rate": 4.4641919191919194e-06, + "loss": 6.672904205322266, + "step": 11610 + }, + { + "epoch": 0.11615, + "grad_norm": 7.514422416687012, + "learning_rate": 4.463939393939394e-06, + "loss": 6.66387710571289, + "step": 11615 + }, + { + "epoch": 0.1162, + "grad_norm": 9.918282508850098, + "learning_rate": 4.463686868686869e-06, + "loss": 6.632412719726562, + "step": 11620 + }, + { + "epoch": 0.11625, + "grad_norm": 7.652980804443359, + "learning_rate": 4.463434343434343e-06, + "loss": 6.608798980712891, + "step": 11625 + }, + { + "epoch": 0.1163, + "grad_norm": 6.865577220916748, + "learning_rate": 4.463181818181819e-06, + "loss": 6.696461486816406, + "step": 11630 + }, + { + "epoch": 0.11635, + "grad_norm": 9.791476249694824, + "learning_rate": 4.4629292929292934e-06, + "loss": 6.674513244628907, + "step": 11635 + }, + { + "epoch": 0.1164, + "grad_norm": 7.629696846008301, + "learning_rate": 4.462676767676768e-06, + "loss": 6.689553070068359, + "step": 11640 + }, + { + "epoch": 0.11645, + "grad_norm": 7.263654708862305, + "learning_rate": 4.462424242424243e-06, + "loss": 6.642758178710937, + "step": 11645 + }, + { + "epoch": 0.1165, + "grad_norm": 8.054839134216309, + "learning_rate": 4.462171717171717e-06, + "loss": 6.745068359375, + "step": 11650 + }, + { + "epoch": 0.11655, + "grad_norm": 4.872268199920654, + "learning_rate": 4.461919191919192e-06, + "loss": 6.779031372070312, + "step": 11655 + }, + { + "epoch": 0.1166, + "grad_norm": 6.660367012023926, + "learning_rate": 4.461666666666667e-06, + "loss": 6.656312561035156, + "step": 11660 + }, + { + "epoch": 0.11665, + "grad_norm": 7.92232084274292, + "learning_rate": 4.461414141414141e-06, + "loss": 6.671250915527343, + "step": 11665 + }, + { + "epoch": 0.1167, + "grad_norm": 9.506084442138672, + "learning_rate": 4.461161616161617e-06, + "loss": 6.680210113525391, + "step": 11670 + }, + { + "epoch": 0.11675, + "grad_norm": 7.788951873779297, + "learning_rate": 4.460909090909091e-06, + "loss": 6.682133483886719, + "step": 11675 + }, + { + "epoch": 0.1168, + "grad_norm": 7.584954261779785, + "learning_rate": 4.460656565656566e-06, + "loss": 6.695178985595703, + "step": 11680 + }, + { + "epoch": 0.11685, + "grad_norm": 9.551252365112305, + "learning_rate": 4.460404040404041e-06, + "loss": 6.658078002929687, + "step": 11685 + }, + { + "epoch": 0.1169, + "grad_norm": 6.786887168884277, + "learning_rate": 4.460151515151516e-06, + "loss": 6.624845123291015, + "step": 11690 + }, + { + "epoch": 0.11695, + "grad_norm": 8.554399490356445, + "learning_rate": 4.459898989898991e-06, + "loss": 6.676464080810547, + "step": 11695 + }, + { + "epoch": 0.117, + "grad_norm": 3.9109599590301514, + "learning_rate": 4.4596464646464645e-06, + "loss": 6.581046295166016, + "step": 11700 + }, + { + "epoch": 0.11705, + "grad_norm": 8.787460327148438, + "learning_rate": 4.459393939393939e-06, + "loss": 6.678755187988282, + "step": 11705 + }, + { + "epoch": 0.1171, + "grad_norm": 6.879083633422852, + "learning_rate": 4.459141414141415e-06, + "loss": 6.735958099365234, + "step": 11710 + }, + { + "epoch": 0.11715, + "grad_norm": 5.870671272277832, + "learning_rate": 4.458888888888889e-06, + "loss": 6.762865447998047, + "step": 11715 + }, + { + "epoch": 0.1172, + "grad_norm": 8.176920890808105, + "learning_rate": 4.458636363636364e-06, + "loss": 6.6583984375, + "step": 11720 + }, + { + "epoch": 0.11725, + "grad_norm": 7.126004695892334, + "learning_rate": 4.4583838383838385e-06, + "loss": 6.732073974609375, + "step": 11725 + }, + { + "epoch": 0.1173, + "grad_norm": 5.918406963348389, + "learning_rate": 4.458131313131314e-06, + "loss": 6.664118957519531, + "step": 11730 + }, + { + "epoch": 0.11735, + "grad_norm": 6.6982197761535645, + "learning_rate": 4.4578787878787886e-06, + "loss": 6.740029144287109, + "step": 11735 + }, + { + "epoch": 0.1174, + "grad_norm": 9.963910102844238, + "learning_rate": 4.457626262626263e-06, + "loss": 6.642306518554688, + "step": 11740 + }, + { + "epoch": 0.11745, + "grad_norm": 7.812318801879883, + "learning_rate": 4.457373737373738e-06, + "loss": 6.644652557373047, + "step": 11745 + }, + { + "epoch": 0.1175, + "grad_norm": 6.962085247039795, + "learning_rate": 4.4571212121212125e-06, + "loss": 6.706044006347656, + "step": 11750 + }, + { + "epoch": 0.11755, + "grad_norm": 6.053156852722168, + "learning_rate": 4.456868686868687e-06, + "loss": 6.867371368408203, + "step": 11755 + }, + { + "epoch": 0.1176, + "grad_norm": 6.02919864654541, + "learning_rate": 4.456616161616162e-06, + "loss": 6.672666931152344, + "step": 11760 + }, + { + "epoch": 0.11765, + "grad_norm": 8.394669532775879, + "learning_rate": 4.456363636363637e-06, + "loss": 6.635498809814453, + "step": 11765 + }, + { + "epoch": 0.1177, + "grad_norm": 6.778385162353516, + "learning_rate": 4.456111111111112e-06, + "loss": 6.6498771667480465, + "step": 11770 + }, + { + "epoch": 0.11775, + "grad_norm": 7.313399314880371, + "learning_rate": 4.4558585858585865e-06, + "loss": 6.659189605712891, + "step": 11775 + }, + { + "epoch": 0.1178, + "grad_norm": 9.210928916931152, + "learning_rate": 4.455606060606061e-06, + "loss": 6.7036285400390625, + "step": 11780 + }, + { + "epoch": 0.11785, + "grad_norm": 6.570183277130127, + "learning_rate": 4.455353535353536e-06, + "loss": 6.667906951904297, + "step": 11785 + }, + { + "epoch": 0.1179, + "grad_norm": 6.3342061042785645, + "learning_rate": 4.45510101010101e-06, + "loss": 6.638532257080078, + "step": 11790 + }, + { + "epoch": 0.11795, + "grad_norm": 6.82385778427124, + "learning_rate": 4.454848484848485e-06, + "loss": 6.535960388183594, + "step": 11795 + }, + { + "epoch": 0.118, + "grad_norm": 8.59762191772461, + "learning_rate": 4.45459595959596e-06, + "loss": 6.675711822509766, + "step": 11800 + }, + { + "epoch": 0.11805, + "grad_norm": 6.960986137390137, + "learning_rate": 4.454343434343435e-06, + "loss": 6.6502685546875, + "step": 11805 + }, + { + "epoch": 0.1181, + "grad_norm": 7.035397052764893, + "learning_rate": 4.45409090909091e-06, + "loss": 6.622183990478516, + "step": 11810 + }, + { + "epoch": 0.11815, + "grad_norm": 6.743802547454834, + "learning_rate": 4.453838383838384e-06, + "loss": 6.69317626953125, + "step": 11815 + }, + { + "epoch": 0.1182, + "grad_norm": 7.679192543029785, + "learning_rate": 4.453585858585859e-06, + "loss": 6.6605674743652346, + "step": 11820 + }, + { + "epoch": 0.11825, + "grad_norm": 6.481393814086914, + "learning_rate": 4.453333333333334e-06, + "loss": 6.670430755615234, + "step": 11825 + }, + { + "epoch": 0.1183, + "grad_norm": 7.1831231117248535, + "learning_rate": 4.453080808080808e-06, + "loss": 6.683278656005859, + "step": 11830 + }, + { + "epoch": 0.11835, + "grad_norm": 8.244776725769043, + "learning_rate": 4.452828282828283e-06, + "loss": 6.6725410461425785, + "step": 11835 + }, + { + "epoch": 0.1184, + "grad_norm": 5.682984828948975, + "learning_rate": 4.4525757575757575e-06, + "loss": 6.664590454101562, + "step": 11840 + }, + { + "epoch": 0.11845, + "grad_norm": 8.123457908630371, + "learning_rate": 4.452323232323233e-06, + "loss": 6.669721984863282, + "step": 11845 + }, + { + "epoch": 0.1185, + "grad_norm": 6.573432922363281, + "learning_rate": 4.452070707070708e-06, + "loss": 6.654356384277344, + "step": 11850 + }, + { + "epoch": 0.11855, + "grad_norm": 8.003045082092285, + "learning_rate": 4.451818181818182e-06, + "loss": 6.636386108398438, + "step": 11855 + }, + { + "epoch": 0.1186, + "grad_norm": 6.324294567108154, + "learning_rate": 4.451565656565657e-06, + "loss": 6.640099334716797, + "step": 11860 + }, + { + "epoch": 0.11865, + "grad_norm": 10.288304328918457, + "learning_rate": 4.4513131313131315e-06, + "loss": 6.587314605712891, + "step": 11865 + }, + { + "epoch": 0.1187, + "grad_norm": 6.497466087341309, + "learning_rate": 4.451060606060606e-06, + "loss": 6.7092140197753904, + "step": 11870 + }, + { + "epoch": 0.11875, + "grad_norm": 14.039261817932129, + "learning_rate": 4.450808080808081e-06, + "loss": 6.606791687011719, + "step": 11875 + }, + { + "epoch": 0.1188, + "grad_norm": 7.966790676116943, + "learning_rate": 4.450555555555555e-06, + "loss": 6.621028137207031, + "step": 11880 + }, + { + "epoch": 0.11885, + "grad_norm": 6.3787689208984375, + "learning_rate": 4.450303030303031e-06, + "loss": 6.643340301513672, + "step": 11885 + }, + { + "epoch": 0.1189, + "grad_norm": 6.665733814239502, + "learning_rate": 4.4500505050505055e-06, + "loss": 6.609262084960937, + "step": 11890 + }, + { + "epoch": 0.11895, + "grad_norm": 8.705538749694824, + "learning_rate": 4.44979797979798e-06, + "loss": 6.732475280761719, + "step": 11895 + }, + { + "epoch": 0.119, + "grad_norm": 6.567404747009277, + "learning_rate": 4.449545454545455e-06, + "loss": 6.688424682617187, + "step": 11900 + }, + { + "epoch": 0.11905, + "grad_norm": 12.193634986877441, + "learning_rate": 4.44929292929293e-06, + "loss": 6.970988464355469, + "step": 11905 + }, + { + "epoch": 0.1191, + "grad_norm": 8.7346773147583, + "learning_rate": 4.449040404040405e-06, + "loss": 6.712151336669922, + "step": 11910 + }, + { + "epoch": 0.11915, + "grad_norm": 7.14931058883667, + "learning_rate": 4.4487878787878795e-06, + "loss": 6.658013916015625, + "step": 11915 + }, + { + "epoch": 0.1192, + "grad_norm": 6.501655578613281, + "learning_rate": 4.448535353535354e-06, + "loss": 6.640967559814453, + "step": 11920 + }, + { + "epoch": 0.11925, + "grad_norm": 6.928194522857666, + "learning_rate": 4.448282828282829e-06, + "loss": 6.589490509033203, + "step": 11925 + }, + { + "epoch": 0.1193, + "grad_norm": 6.944122314453125, + "learning_rate": 4.448030303030303e-06, + "loss": 6.62933578491211, + "step": 11930 + }, + { + "epoch": 0.11935, + "grad_norm": 6.914945125579834, + "learning_rate": 4.447777777777778e-06, + "loss": 6.702698516845703, + "step": 11935 + }, + { + "epoch": 0.1194, + "grad_norm": 7.620368003845215, + "learning_rate": 4.447525252525253e-06, + "loss": 6.603787231445312, + "step": 11940 + }, + { + "epoch": 0.11945, + "grad_norm": 7.265963554382324, + "learning_rate": 4.447272727272728e-06, + "loss": 6.907044982910156, + "step": 11945 + }, + { + "epoch": 0.1195, + "grad_norm": 7.310561656951904, + "learning_rate": 4.447020202020203e-06, + "loss": 6.605617523193359, + "step": 11950 + }, + { + "epoch": 0.11955, + "grad_norm": 7.808162689208984, + "learning_rate": 4.446767676767677e-06, + "loss": 6.651712799072266, + "step": 11955 + }, + { + "epoch": 0.1196, + "grad_norm": 7.8476738929748535, + "learning_rate": 4.446515151515152e-06, + "loss": 6.608367919921875, + "step": 11960 + }, + { + "epoch": 0.11965, + "grad_norm": 5.923673629760742, + "learning_rate": 4.446262626262627e-06, + "loss": 6.7051025390625, + "step": 11965 + }, + { + "epoch": 0.1197, + "grad_norm": 6.562834739685059, + "learning_rate": 4.446010101010101e-06, + "loss": 6.685700988769531, + "step": 11970 + }, + { + "epoch": 0.11975, + "grad_norm": 7.240127086639404, + "learning_rate": 4.445757575757576e-06, + "loss": 6.6345672607421875, + "step": 11975 + }, + { + "epoch": 0.1198, + "grad_norm": 6.063279151916504, + "learning_rate": 4.4455050505050505e-06, + "loss": 6.681693267822266, + "step": 11980 + }, + { + "epoch": 0.11985, + "grad_norm": 7.512234210968018, + "learning_rate": 4.445252525252526e-06, + "loss": 6.641051483154297, + "step": 11985 + }, + { + "epoch": 0.1199, + "grad_norm": 6.206341743469238, + "learning_rate": 4.445000000000001e-06, + "loss": 6.649131774902344, + "step": 11990 + }, + { + "epoch": 0.11995, + "grad_norm": 7.6759772300720215, + "learning_rate": 4.444747474747475e-06, + "loss": 6.6482666015625, + "step": 11995 + }, + { + "epoch": 0.12, + "grad_norm": 5.828083038330078, + "learning_rate": 4.44449494949495e-06, + "loss": 6.659750366210938, + "step": 12000 + }, + { + "epoch": 0.12005, + "grad_norm": 10.237680435180664, + "learning_rate": 4.4442424242424245e-06, + "loss": 6.752980041503906, + "step": 12005 + }, + { + "epoch": 0.1201, + "grad_norm": 6.018224239349365, + "learning_rate": 4.443989898989899e-06, + "loss": 6.684152984619141, + "step": 12010 + }, + { + "epoch": 0.12015, + "grad_norm": 3.822580099105835, + "learning_rate": 4.443737373737374e-06, + "loss": 6.661377716064453, + "step": 12015 + }, + { + "epoch": 0.1202, + "grad_norm": 4.100390434265137, + "learning_rate": 4.443484848484848e-06, + "loss": 6.60692138671875, + "step": 12020 + }, + { + "epoch": 0.12025, + "grad_norm": 8.469488143920898, + "learning_rate": 4.443232323232324e-06, + "loss": 6.599698638916015, + "step": 12025 + }, + { + "epoch": 0.1203, + "grad_norm": 7.663736343383789, + "learning_rate": 4.4429797979797985e-06, + "loss": 6.65811767578125, + "step": 12030 + }, + { + "epoch": 0.12035, + "grad_norm": 7.562498092651367, + "learning_rate": 4.442727272727273e-06, + "loss": 6.6384635925292965, + "step": 12035 + }, + { + "epoch": 0.1204, + "grad_norm": 7.32038688659668, + "learning_rate": 4.442474747474748e-06, + "loss": 6.6385650634765625, + "step": 12040 + }, + { + "epoch": 0.12045, + "grad_norm": 6.187070846557617, + "learning_rate": 4.442222222222222e-06, + "loss": 6.576398468017578, + "step": 12045 + }, + { + "epoch": 0.1205, + "grad_norm": 6.874589443206787, + "learning_rate": 4.441969696969697e-06, + "loss": 6.658609008789062, + "step": 12050 + }, + { + "epoch": 0.12055, + "grad_norm": 7.506141662597656, + "learning_rate": 4.441717171717172e-06, + "loss": 6.571054840087891, + "step": 12055 + }, + { + "epoch": 0.1206, + "grad_norm": 6.021216869354248, + "learning_rate": 4.441464646464646e-06, + "loss": 6.648954772949219, + "step": 12060 + }, + { + "epoch": 0.12065, + "grad_norm": 9.796515464782715, + "learning_rate": 4.441212121212122e-06, + "loss": 6.743791198730468, + "step": 12065 + }, + { + "epoch": 0.1207, + "grad_norm": 6.498764991760254, + "learning_rate": 4.440959595959596e-06, + "loss": 6.698743438720703, + "step": 12070 + }, + { + "epoch": 0.12075, + "grad_norm": 7.1423726081848145, + "learning_rate": 4.440707070707071e-06, + "loss": 6.66296157836914, + "step": 12075 + }, + { + "epoch": 0.1208, + "grad_norm": 5.8570027351379395, + "learning_rate": 4.440454545454546e-06, + "loss": 6.659297943115234, + "step": 12080 + }, + { + "epoch": 0.12085, + "grad_norm": 6.949860572814941, + "learning_rate": 4.440202020202021e-06, + "loss": 6.620537567138672, + "step": 12085 + }, + { + "epoch": 0.1209, + "grad_norm": 8.25634479522705, + "learning_rate": 4.439949494949495e-06, + "loss": 6.648139953613281, + "step": 12090 + }, + { + "epoch": 0.12095, + "grad_norm": 5.866413116455078, + "learning_rate": 4.4396969696969696e-06, + "loss": 6.656912994384766, + "step": 12095 + }, + { + "epoch": 0.121, + "grad_norm": 8.111223220825195, + "learning_rate": 4.439444444444444e-06, + "loss": 6.693880462646485, + "step": 12100 + }, + { + "epoch": 0.12105, + "grad_norm": 9.190844535827637, + "learning_rate": 4.43919191919192e-06, + "loss": 6.510372924804687, + "step": 12105 + }, + { + "epoch": 0.1211, + "grad_norm": 9.486174583435059, + "learning_rate": 4.438939393939394e-06, + "loss": 6.503070068359375, + "step": 12110 + }, + { + "epoch": 0.12115, + "grad_norm": 8.201495170593262, + "learning_rate": 4.438686868686869e-06, + "loss": 6.673249816894531, + "step": 12115 + }, + { + "epoch": 0.1212, + "grad_norm": 5.619077682495117, + "learning_rate": 4.4384343434343436e-06, + "loss": 6.624261474609375, + "step": 12120 + }, + { + "epoch": 0.12125, + "grad_norm": 8.20879077911377, + "learning_rate": 4.438181818181819e-06, + "loss": 6.64574966430664, + "step": 12125 + }, + { + "epoch": 0.1213, + "grad_norm": 7.750214099884033, + "learning_rate": 4.437929292929294e-06, + "loss": 6.645883178710937, + "step": 12130 + }, + { + "epoch": 0.12135, + "grad_norm": 8.035916328430176, + "learning_rate": 4.437676767676768e-06, + "loss": 6.646780395507813, + "step": 12135 + }, + { + "epoch": 0.1214, + "grad_norm": 6.070853233337402, + "learning_rate": 4.437424242424243e-06, + "loss": 6.615254974365234, + "step": 12140 + }, + { + "epoch": 0.12145, + "grad_norm": 9.431777954101562, + "learning_rate": 4.4371717171717176e-06, + "loss": 6.672303771972656, + "step": 12145 + }, + { + "epoch": 0.1215, + "grad_norm": 7.599648952484131, + "learning_rate": 4.436919191919192e-06, + "loss": 6.661110687255859, + "step": 12150 + }, + { + "epoch": 0.12155, + "grad_norm": 7.767519474029541, + "learning_rate": 4.436666666666667e-06, + "loss": 6.676577758789063, + "step": 12155 + }, + { + "epoch": 0.1216, + "grad_norm": 6.382675647735596, + "learning_rate": 4.4364141414141415e-06, + "loss": 6.645722961425781, + "step": 12160 + }, + { + "epoch": 0.12165, + "grad_norm": 7.07301139831543, + "learning_rate": 4.436161616161617e-06, + "loss": 6.629798126220703, + "step": 12165 + }, + { + "epoch": 0.1217, + "grad_norm": 5.670305252075195, + "learning_rate": 4.4359090909090916e-06, + "loss": 6.661373901367187, + "step": 12170 + }, + { + "epoch": 0.12175, + "grad_norm": 7.340723991394043, + "learning_rate": 4.435656565656566e-06, + "loss": 6.6374259948730465, + "step": 12175 + }, + { + "epoch": 0.1218, + "grad_norm": 6.339460372924805, + "learning_rate": 4.435404040404041e-06, + "loss": 6.648237609863282, + "step": 12180 + }, + { + "epoch": 0.12185, + "grad_norm": 7.217440605163574, + "learning_rate": 4.4351515151515155e-06, + "loss": 6.628875732421875, + "step": 12185 + }, + { + "epoch": 0.1219, + "grad_norm": 5.911125183105469, + "learning_rate": 4.43489898989899e-06, + "loss": 6.673748016357422, + "step": 12190 + }, + { + "epoch": 0.12195, + "grad_norm": 8.736795425415039, + "learning_rate": 4.434646464646465e-06, + "loss": 6.678082275390625, + "step": 12195 + }, + { + "epoch": 0.122, + "grad_norm": 6.857839107513428, + "learning_rate": 4.43439393939394e-06, + "loss": 6.585089874267578, + "step": 12200 + }, + { + "epoch": 0.12205, + "grad_norm": 8.641898155212402, + "learning_rate": 4.434141414141415e-06, + "loss": 6.646121978759766, + "step": 12205 + }, + { + "epoch": 0.1221, + "grad_norm": 5.431166172027588, + "learning_rate": 4.4338888888888894e-06, + "loss": 6.612884521484375, + "step": 12210 + }, + { + "epoch": 0.12215, + "grad_norm": 6.868825435638428, + "learning_rate": 4.433636363636364e-06, + "loss": 6.6126152038574215, + "step": 12215 + }, + { + "epoch": 0.1222, + "grad_norm": 6.38327169418335, + "learning_rate": 4.433383838383839e-06, + "loss": 6.592034912109375, + "step": 12220 + }, + { + "epoch": 0.12225, + "grad_norm": 8.744927406311035, + "learning_rate": 4.433131313131313e-06, + "loss": 6.619538116455078, + "step": 12225 + }, + { + "epoch": 0.1223, + "grad_norm": 7.746210098266602, + "learning_rate": 4.432878787878788e-06, + "loss": 6.618421936035157, + "step": 12230 + }, + { + "epoch": 0.12235, + "grad_norm": 7.580576419830322, + "learning_rate": 4.432626262626263e-06, + "loss": 6.587223052978516, + "step": 12235 + }, + { + "epoch": 0.1224, + "grad_norm": 9.400856971740723, + "learning_rate": 4.432373737373738e-06, + "loss": 6.710143280029297, + "step": 12240 + }, + { + "epoch": 0.12245, + "grad_norm": 6.981375694274902, + "learning_rate": 4.432121212121213e-06, + "loss": 6.675993347167969, + "step": 12245 + }, + { + "epoch": 0.1225, + "grad_norm": 8.844234466552734, + "learning_rate": 4.431868686868687e-06, + "loss": 6.5468284606933596, + "step": 12250 + }, + { + "epoch": 0.12255, + "grad_norm": 8.11227035522461, + "learning_rate": 4.431616161616162e-06, + "loss": 6.632419586181641, + "step": 12255 + }, + { + "epoch": 0.1226, + "grad_norm": 6.88632869720459, + "learning_rate": 4.431363636363637e-06, + "loss": 6.624640655517578, + "step": 12260 + }, + { + "epoch": 0.12265, + "grad_norm": 7.080599784851074, + "learning_rate": 4.431111111111111e-06, + "loss": 6.6368865966796875, + "step": 12265 + }, + { + "epoch": 0.1227, + "grad_norm": 7.134051322937012, + "learning_rate": 4.430858585858586e-06, + "loss": 6.661359405517578, + "step": 12270 + }, + { + "epoch": 0.12275, + "grad_norm": 6.474223613739014, + "learning_rate": 4.4306060606060605e-06, + "loss": 6.767222595214844, + "step": 12275 + }, + { + "epoch": 0.1228, + "grad_norm": 7.766777515411377, + "learning_rate": 4.430353535353536e-06, + "loss": 6.591732025146484, + "step": 12280 + }, + { + "epoch": 0.12285, + "grad_norm": 7.16113805770874, + "learning_rate": 4.430101010101011e-06, + "loss": 6.656890106201172, + "step": 12285 + }, + { + "epoch": 0.1229, + "grad_norm": 9.583966255187988, + "learning_rate": 4.429848484848485e-06, + "loss": 6.879824829101563, + "step": 12290 + }, + { + "epoch": 0.12295, + "grad_norm": 9.517423629760742, + "learning_rate": 4.42959595959596e-06, + "loss": 6.602201843261719, + "step": 12295 + }, + { + "epoch": 0.123, + "grad_norm": 5.747146129608154, + "learning_rate": 4.429343434343435e-06, + "loss": 6.620672607421875, + "step": 12300 + }, + { + "epoch": 0.12305, + "grad_norm": 8.343412399291992, + "learning_rate": 4.42909090909091e-06, + "loss": 6.618527221679687, + "step": 12305 + }, + { + "epoch": 0.1231, + "grad_norm": 5.71321964263916, + "learning_rate": 4.428838383838384e-06, + "loss": 6.663050842285156, + "step": 12310 + }, + { + "epoch": 0.12315, + "grad_norm": 7.199941635131836, + "learning_rate": 4.428585858585858e-06, + "loss": 6.6380561828613285, + "step": 12315 + }, + { + "epoch": 0.1232, + "grad_norm": 4.853968620300293, + "learning_rate": 4.428333333333334e-06, + "loss": 6.722941589355469, + "step": 12320 + }, + { + "epoch": 0.12325, + "grad_norm": 6.74652624130249, + "learning_rate": 4.4280808080808085e-06, + "loss": 6.613443756103516, + "step": 12325 + }, + { + "epoch": 0.1233, + "grad_norm": 7.306309700012207, + "learning_rate": 4.427828282828283e-06, + "loss": 6.663143920898437, + "step": 12330 + }, + { + "epoch": 0.12335, + "grad_norm": 7.852407932281494, + "learning_rate": 4.427575757575758e-06, + "loss": 6.668875122070313, + "step": 12335 + }, + { + "epoch": 0.1234, + "grad_norm": 9.298074722290039, + "learning_rate": 4.427323232323233e-06, + "loss": 6.625917053222656, + "step": 12340 + }, + { + "epoch": 0.12345, + "grad_norm": 9.462701797485352, + "learning_rate": 4.427070707070708e-06, + "loss": 6.691188812255859, + "step": 12345 + }, + { + "epoch": 0.1235, + "grad_norm": 9.513928413391113, + "learning_rate": 4.4268181818181825e-06, + "loss": 6.603678131103516, + "step": 12350 + }, + { + "epoch": 0.12355, + "grad_norm": 5.003096103668213, + "learning_rate": 4.426565656565657e-06, + "loss": 6.619847106933594, + "step": 12355 + }, + { + "epoch": 0.1236, + "grad_norm": 8.565526008605957, + "learning_rate": 4.426313131313132e-06, + "loss": 6.556051635742188, + "step": 12360 + }, + { + "epoch": 0.12365, + "grad_norm": 5.429032325744629, + "learning_rate": 4.426060606060606e-06, + "loss": 6.689067077636719, + "step": 12365 + }, + { + "epoch": 0.1237, + "grad_norm": 8.978614807128906, + "learning_rate": 4.425808080808081e-06, + "loss": 6.6162162780761715, + "step": 12370 + }, + { + "epoch": 0.12375, + "grad_norm": 7.164863109588623, + "learning_rate": 4.425555555555556e-06, + "loss": 6.609568786621094, + "step": 12375 + }, + { + "epoch": 0.1238, + "grad_norm": 6.471225738525391, + "learning_rate": 4.425303030303031e-06, + "loss": 6.673133850097656, + "step": 12380 + }, + { + "epoch": 0.12385, + "grad_norm": 5.225468635559082, + "learning_rate": 4.425050505050506e-06, + "loss": 6.641944122314453, + "step": 12385 + }, + { + "epoch": 0.1239, + "grad_norm": 6.548422336578369, + "learning_rate": 4.42479797979798e-06, + "loss": 6.622144317626953, + "step": 12390 + }, + { + "epoch": 0.12395, + "grad_norm": 12.78561782836914, + "learning_rate": 4.424545454545455e-06, + "loss": 6.630912780761719, + "step": 12395 + }, + { + "epoch": 0.124, + "grad_norm": 8.174867630004883, + "learning_rate": 4.42429292929293e-06, + "loss": 6.566593933105469, + "step": 12400 + }, + { + "epoch": 0.12405, + "grad_norm": 6.9312214851379395, + "learning_rate": 4.424040404040404e-06, + "loss": 6.608587646484375, + "step": 12405 + }, + { + "epoch": 0.1241, + "grad_norm": 7.813210964202881, + "learning_rate": 4.423787878787879e-06, + "loss": 6.631421661376953, + "step": 12410 + }, + { + "epoch": 0.12415, + "grad_norm": 3.4682302474975586, + "learning_rate": 4.4235353535353535e-06, + "loss": 6.609188842773437, + "step": 12415 + }, + { + "epoch": 0.1242, + "grad_norm": 7.337265491485596, + "learning_rate": 4.423282828282829e-06, + "loss": 6.617091369628906, + "step": 12420 + }, + { + "epoch": 0.12425, + "grad_norm": 5.893402099609375, + "learning_rate": 4.423030303030304e-06, + "loss": 6.583802795410156, + "step": 12425 + }, + { + "epoch": 0.1243, + "grad_norm": 7.616423606872559, + "learning_rate": 4.422777777777778e-06, + "loss": 6.605377197265625, + "step": 12430 + }, + { + "epoch": 0.12435, + "grad_norm": 8.125720977783203, + "learning_rate": 4.422525252525253e-06, + "loss": 6.592890930175781, + "step": 12435 + }, + { + "epoch": 0.1244, + "grad_norm": 8.013082504272461, + "learning_rate": 4.4222727272727275e-06, + "loss": 6.587590026855469, + "step": 12440 + }, + { + "epoch": 0.12445, + "grad_norm": 6.299210071563721, + "learning_rate": 4.422020202020202e-06, + "loss": 6.584461975097656, + "step": 12445 + }, + { + "epoch": 0.1245, + "grad_norm": 6.78801965713501, + "learning_rate": 4.421767676767677e-06, + "loss": 6.744377899169922, + "step": 12450 + }, + { + "epoch": 0.12455, + "grad_norm": 7.512958526611328, + "learning_rate": 4.421515151515151e-06, + "loss": 6.508950805664062, + "step": 12455 + }, + { + "epoch": 0.1246, + "grad_norm": 6.876133441925049, + "learning_rate": 4.421262626262627e-06, + "loss": 6.559793090820312, + "step": 12460 + }, + { + "epoch": 0.12465, + "grad_norm": 7.147305011749268, + "learning_rate": 4.4210101010101015e-06, + "loss": 6.575061798095703, + "step": 12465 + }, + { + "epoch": 0.1247, + "grad_norm": 4.269500732421875, + "learning_rate": 4.420757575757576e-06, + "loss": 6.578298187255859, + "step": 12470 + }, + { + "epoch": 0.12475, + "grad_norm": 7.159173011779785, + "learning_rate": 4.420505050505051e-06, + "loss": 6.607083892822265, + "step": 12475 + }, + { + "epoch": 0.1248, + "grad_norm": 10.041376113891602, + "learning_rate": 4.420252525252525e-06, + "loss": 6.557640075683594, + "step": 12480 + }, + { + "epoch": 0.12485, + "grad_norm": 7.027968406677246, + "learning_rate": 4.42e-06, + "loss": 6.760285949707031, + "step": 12485 + }, + { + "epoch": 0.1249, + "grad_norm": 7.417386054992676, + "learning_rate": 4.419747474747475e-06, + "loss": 6.6073768615722654, + "step": 12490 + }, + { + "epoch": 0.12495, + "grad_norm": 5.643060207366943, + "learning_rate": 4.419494949494949e-06, + "loss": 6.626945495605469, + "step": 12495 + }, + { + "epoch": 0.125, + "grad_norm": 5.586667060852051, + "learning_rate": 4.419242424242425e-06, + "loss": 6.586241912841797, + "step": 12500 + }, + { + "epoch": 0.12505, + "grad_norm": 5.892370223999023, + "learning_rate": 4.418989898989899e-06, + "loss": 6.625193786621094, + "step": 12505 + }, + { + "epoch": 0.1251, + "grad_norm": 6.440410614013672, + "learning_rate": 4.418737373737374e-06, + "loss": 6.6524711608886715, + "step": 12510 + }, + { + "epoch": 0.12515, + "grad_norm": 5.779638290405273, + "learning_rate": 4.418484848484849e-06, + "loss": 6.596590423583985, + "step": 12515 + }, + { + "epoch": 0.1252, + "grad_norm": 4.878487586975098, + "learning_rate": 4.418232323232324e-06, + "loss": 6.614450073242187, + "step": 12520 + }, + { + "epoch": 0.12525, + "grad_norm": 10.206794738769531, + "learning_rate": 4.417979797979799e-06, + "loss": 6.653176116943359, + "step": 12525 + }, + { + "epoch": 0.1253, + "grad_norm": 6.641039848327637, + "learning_rate": 4.417727272727273e-06, + "loss": 6.623502349853515, + "step": 12530 + }, + { + "epoch": 0.12535, + "grad_norm": 4.900634288787842, + "learning_rate": 4.417474747474747e-06, + "loss": 6.589875793457031, + "step": 12535 + }, + { + "epoch": 0.1254, + "grad_norm": 6.62321662902832, + "learning_rate": 4.417222222222223e-06, + "loss": 6.622923278808594, + "step": 12540 + }, + { + "epoch": 0.12545, + "grad_norm": 6.860763072967529, + "learning_rate": 4.416969696969697e-06, + "loss": 6.550096130371093, + "step": 12545 + }, + { + "epoch": 0.1255, + "grad_norm": 6.757787704467773, + "learning_rate": 4.416717171717172e-06, + "loss": 6.606890869140625, + "step": 12550 + }, + { + "epoch": 0.12555, + "grad_norm": 5.761354923248291, + "learning_rate": 4.4164646464646465e-06, + "loss": 6.6196952819824215, + "step": 12555 + }, + { + "epoch": 0.1256, + "grad_norm": 8.060144424438477, + "learning_rate": 4.416212121212122e-06, + "loss": 6.603024291992187, + "step": 12560 + }, + { + "epoch": 0.12565, + "grad_norm": 4.574258327484131, + "learning_rate": 4.415959595959597e-06, + "loss": 6.577935791015625, + "step": 12565 + }, + { + "epoch": 0.1257, + "grad_norm": 7.494865894317627, + "learning_rate": 4.415707070707071e-06, + "loss": 6.599676513671875, + "step": 12570 + }, + { + "epoch": 0.12575, + "grad_norm": 7.7642502784729, + "learning_rate": 4.415454545454546e-06, + "loss": 6.575405120849609, + "step": 12575 + }, + { + "epoch": 0.1258, + "grad_norm": 5.876504898071289, + "learning_rate": 4.4152020202020205e-06, + "loss": 6.620777893066406, + "step": 12580 + }, + { + "epoch": 0.12585, + "grad_norm": 8.761871337890625, + "learning_rate": 4.414949494949495e-06, + "loss": 6.608722686767578, + "step": 12585 + }, + { + "epoch": 0.1259, + "grad_norm": 6.383142471313477, + "learning_rate": 4.41469696969697e-06, + "loss": 6.654683685302734, + "step": 12590 + }, + { + "epoch": 0.12595, + "grad_norm": 5.874724388122559, + "learning_rate": 4.4144444444444444e-06, + "loss": 6.5874580383300785, + "step": 12595 + }, + { + "epoch": 0.126, + "grad_norm": 6.039971351623535, + "learning_rate": 4.41419191919192e-06, + "loss": 6.618856048583984, + "step": 12600 + }, + { + "epoch": 0.12605, + "grad_norm": 5.681456089019775, + "learning_rate": 4.4139393939393945e-06, + "loss": 6.601901245117188, + "step": 12605 + }, + { + "epoch": 0.1261, + "grad_norm": 6.7694993019104, + "learning_rate": 4.413686868686869e-06, + "loss": 6.564167785644531, + "step": 12610 + }, + { + "epoch": 0.12615, + "grad_norm": 10.624802589416504, + "learning_rate": 4.413434343434344e-06, + "loss": 6.6367134094238285, + "step": 12615 + }, + { + "epoch": 0.1262, + "grad_norm": 8.073686599731445, + "learning_rate": 4.4131818181818184e-06, + "loss": 6.515515899658203, + "step": 12620 + }, + { + "epoch": 0.12625, + "grad_norm": 7.613341808319092, + "learning_rate": 4.412929292929293e-06, + "loss": 6.624018859863281, + "step": 12625 + }, + { + "epoch": 0.1263, + "grad_norm": 6.098074913024902, + "learning_rate": 4.412676767676768e-06, + "loss": 6.598291015625, + "step": 12630 + }, + { + "epoch": 0.12635, + "grad_norm": 7.839053630828857, + "learning_rate": 4.412424242424243e-06, + "loss": 6.589786529541016, + "step": 12635 + }, + { + "epoch": 0.1264, + "grad_norm": 5.42978572845459, + "learning_rate": 4.412171717171718e-06, + "loss": 6.57183609008789, + "step": 12640 + }, + { + "epoch": 0.12645, + "grad_norm": 7.431525707244873, + "learning_rate": 4.4119191919191924e-06, + "loss": 6.5600028991699215, + "step": 12645 + }, + { + "epoch": 0.1265, + "grad_norm": 6.343501091003418, + "learning_rate": 4.411666666666667e-06, + "loss": 6.629693603515625, + "step": 12650 + }, + { + "epoch": 0.12655, + "grad_norm": 6.990732669830322, + "learning_rate": 4.411414141414142e-06, + "loss": 6.664942932128906, + "step": 12655 + }, + { + "epoch": 0.1266, + "grad_norm": 7.520793437957764, + "learning_rate": 4.411161616161616e-06, + "loss": 6.527961730957031, + "step": 12660 + }, + { + "epoch": 0.12665, + "grad_norm": 7.496662139892578, + "learning_rate": 4.410909090909091e-06, + "loss": 6.802854919433594, + "step": 12665 + }, + { + "epoch": 0.1267, + "grad_norm": 7.071206092834473, + "learning_rate": 4.410656565656566e-06, + "loss": 6.580714416503906, + "step": 12670 + }, + { + "epoch": 0.12675, + "grad_norm": 6.568024635314941, + "learning_rate": 4.410404040404041e-06, + "loss": 6.624336242675781, + "step": 12675 + }, + { + "epoch": 0.1268, + "grad_norm": 26.84260368347168, + "learning_rate": 4.410151515151516e-06, + "loss": 6.463529205322265, + "step": 12680 + }, + { + "epoch": 0.12685, + "grad_norm": 5.697927474975586, + "learning_rate": 4.40989898989899e-06, + "loss": 6.549830627441406, + "step": 12685 + }, + { + "epoch": 0.1269, + "grad_norm": 9.276164054870605, + "learning_rate": 4.409646464646465e-06, + "loss": 6.628563690185547, + "step": 12690 + }, + { + "epoch": 0.12695, + "grad_norm": 4.908891201019287, + "learning_rate": 4.4093939393939404e-06, + "loss": 6.6826019287109375, + "step": 12695 + }, + { + "epoch": 0.127, + "grad_norm": 7.830609321594238, + "learning_rate": 4.409141414141414e-06, + "loss": 6.596215057373047, + "step": 12700 + }, + { + "epoch": 0.12705, + "grad_norm": 6.696679592132568, + "learning_rate": 4.408888888888889e-06, + "loss": 6.591298675537109, + "step": 12705 + }, + { + "epoch": 0.1271, + "grad_norm": 7.296292781829834, + "learning_rate": 4.4086363636363635e-06, + "loss": 6.615792846679687, + "step": 12710 + }, + { + "epoch": 0.12715, + "grad_norm": 7.801994323730469, + "learning_rate": 4.408383838383839e-06, + "loss": 6.610444641113281, + "step": 12715 + }, + { + "epoch": 0.1272, + "grad_norm": 15.497446060180664, + "learning_rate": 4.408131313131314e-06, + "loss": 6.888043212890625, + "step": 12720 + }, + { + "epoch": 0.12725, + "grad_norm": 6.213104724884033, + "learning_rate": 4.407878787878788e-06, + "loss": 6.599344635009766, + "step": 12725 + }, + { + "epoch": 0.1273, + "grad_norm": 5.288925647735596, + "learning_rate": 4.407626262626263e-06, + "loss": 6.5864402770996096, + "step": 12730 + }, + { + "epoch": 0.12735, + "grad_norm": 7.666492462158203, + "learning_rate": 4.407373737373738e-06, + "loss": 6.575246429443359, + "step": 12735 + }, + { + "epoch": 0.1274, + "grad_norm": 6.724938869476318, + "learning_rate": 4.407121212121213e-06, + "loss": 6.5879058837890625, + "step": 12740 + }, + { + "epoch": 0.12745, + "grad_norm": 6.928877830505371, + "learning_rate": 4.4068686868686876e-06, + "loss": 6.635107421875, + "step": 12745 + }, + { + "epoch": 0.1275, + "grad_norm": 6.935092449188232, + "learning_rate": 4.406616161616162e-06, + "loss": 6.6074066162109375, + "step": 12750 + }, + { + "epoch": 0.12755, + "grad_norm": 6.70556640625, + "learning_rate": 4.406363636363637e-06, + "loss": 6.6036323547363285, + "step": 12755 + }, + { + "epoch": 0.1276, + "grad_norm": 7.489940643310547, + "learning_rate": 4.4061111111111115e-06, + "loss": 6.587263488769532, + "step": 12760 + }, + { + "epoch": 0.12765, + "grad_norm": 4.819136619567871, + "learning_rate": 4.405858585858586e-06, + "loss": 6.581439208984375, + "step": 12765 + }, + { + "epoch": 0.1277, + "grad_norm": 7.038593292236328, + "learning_rate": 4.405606060606061e-06, + "loss": 6.711682891845703, + "step": 12770 + }, + { + "epoch": 0.12775, + "grad_norm": 7.531280517578125, + "learning_rate": 4.405353535353536e-06, + "loss": 6.627598571777344, + "step": 12775 + }, + { + "epoch": 0.1278, + "grad_norm": 7.9522786140441895, + "learning_rate": 4.405101010101011e-06, + "loss": 6.623530578613281, + "step": 12780 + }, + { + "epoch": 0.12785, + "grad_norm": 5.589216232299805, + "learning_rate": 4.4048484848484855e-06, + "loss": 6.635856628417969, + "step": 12785 + }, + { + "epoch": 0.1279, + "grad_norm": 7.282034873962402, + "learning_rate": 4.40459595959596e-06, + "loss": 6.610883331298828, + "step": 12790 + }, + { + "epoch": 0.12795, + "grad_norm": 10.175748825073242, + "learning_rate": 4.404343434343435e-06, + "loss": 6.667753601074219, + "step": 12795 + }, + { + "epoch": 0.128, + "grad_norm": 6.393523693084717, + "learning_rate": 4.404090909090909e-06, + "loss": 6.633856201171875, + "step": 12800 + }, + { + "epoch": 0.12805, + "grad_norm": 7.585989952087402, + "learning_rate": 4.403838383838384e-06, + "loss": 6.643668365478516, + "step": 12805 + }, + { + "epoch": 0.1281, + "grad_norm": 6.162771701812744, + "learning_rate": 4.403585858585859e-06, + "loss": 6.5789939880371096, + "step": 12810 + }, + { + "epoch": 0.12815, + "grad_norm": 4.587239742279053, + "learning_rate": 4.403333333333334e-06, + "loss": 6.527218627929687, + "step": 12815 + }, + { + "epoch": 0.1282, + "grad_norm": 8.336813926696777, + "learning_rate": 4.403080808080809e-06, + "loss": 6.583148193359375, + "step": 12820 + }, + { + "epoch": 0.12825, + "grad_norm": 7.570258140563965, + "learning_rate": 4.402828282828283e-06, + "loss": 6.553457641601563, + "step": 12825 + }, + { + "epoch": 0.1283, + "grad_norm": 7.336277961730957, + "learning_rate": 4.402575757575758e-06, + "loss": 6.610113525390625, + "step": 12830 + }, + { + "epoch": 0.12835, + "grad_norm": 7.090346336364746, + "learning_rate": 4.402323232323233e-06, + "loss": 6.573282623291016, + "step": 12835 + }, + { + "epoch": 0.1284, + "grad_norm": 8.756439208984375, + "learning_rate": 4.402070707070707e-06, + "loss": 6.635145568847657, + "step": 12840 + }, + { + "epoch": 0.12845, + "grad_norm": 5.032799243927002, + "learning_rate": 4.401818181818182e-06, + "loss": 6.5738883972167965, + "step": 12845 + }, + { + "epoch": 0.1285, + "grad_norm": 5.437840938568115, + "learning_rate": 4.4015656565656565e-06, + "loss": 6.618701171875, + "step": 12850 + }, + { + "epoch": 0.12855, + "grad_norm": 7.423827171325684, + "learning_rate": 4.401313131313132e-06, + "loss": 6.712397766113281, + "step": 12855 + }, + { + "epoch": 0.1286, + "grad_norm": 4.9987287521362305, + "learning_rate": 4.401060606060607e-06, + "loss": 6.5731658935546875, + "step": 12860 + }, + { + "epoch": 0.12865, + "grad_norm": 6.1990180015563965, + "learning_rate": 4.400808080808081e-06, + "loss": 6.565669250488281, + "step": 12865 + }, + { + "epoch": 0.1287, + "grad_norm": 7.156524658203125, + "learning_rate": 4.400555555555556e-06, + "loss": 6.585256958007813, + "step": 12870 + }, + { + "epoch": 0.12875, + "grad_norm": 5.346681118011475, + "learning_rate": 4.4003030303030305e-06, + "loss": 6.608418273925781, + "step": 12875 + }, + { + "epoch": 0.1288, + "grad_norm": 8.012805938720703, + "learning_rate": 4.400050505050505e-06, + "loss": 6.546559906005859, + "step": 12880 + }, + { + "epoch": 0.12885, + "grad_norm": 6.4220075607299805, + "learning_rate": 4.39979797979798e-06, + "loss": 6.568792724609375, + "step": 12885 + }, + { + "epoch": 0.1289, + "grad_norm": 7.722383975982666, + "learning_rate": 4.399545454545454e-06, + "loss": 6.6194618225097654, + "step": 12890 + }, + { + "epoch": 0.12895, + "grad_norm": 6.677108287811279, + "learning_rate": 4.39929292929293e-06, + "loss": 6.629985809326172, + "step": 12895 + }, + { + "epoch": 0.129, + "grad_norm": 6.774127006530762, + "learning_rate": 4.3990404040404045e-06, + "loss": 6.546192169189453, + "step": 12900 + }, + { + "epoch": 0.12905, + "grad_norm": 15.723640441894531, + "learning_rate": 4.398787878787879e-06, + "loss": 6.60009994506836, + "step": 12905 + }, + { + "epoch": 0.1291, + "grad_norm": 7.306577682495117, + "learning_rate": 4.398535353535354e-06, + "loss": 6.585028076171875, + "step": 12910 + }, + { + "epoch": 0.12915, + "grad_norm": 5.321139335632324, + "learning_rate": 4.398282828282829e-06, + "loss": 6.58838119506836, + "step": 12915 + }, + { + "epoch": 0.1292, + "grad_norm": 5.884561061859131, + "learning_rate": 4.398030303030303e-06, + "loss": 6.575692749023437, + "step": 12920 + }, + { + "epoch": 0.12925, + "grad_norm": 7.3779778480529785, + "learning_rate": 4.397777777777778e-06, + "loss": 6.769737243652344, + "step": 12925 + }, + { + "epoch": 0.1293, + "grad_norm": 6.844476699829102, + "learning_rate": 4.397525252525252e-06, + "loss": 6.523384094238281, + "step": 12930 + }, + { + "epoch": 0.12935, + "grad_norm": 5.474123954772949, + "learning_rate": 4.397272727272728e-06, + "loss": 6.542234802246094, + "step": 12935 + }, + { + "epoch": 0.1294, + "grad_norm": 5.591811656951904, + "learning_rate": 4.397020202020202e-06, + "loss": 6.5532989501953125, + "step": 12940 + }, + { + "epoch": 0.12945, + "grad_norm": 6.812725067138672, + "learning_rate": 4.396767676767677e-06, + "loss": 6.547698211669922, + "step": 12945 + }, + { + "epoch": 0.1295, + "grad_norm": 5.4568657875061035, + "learning_rate": 4.396515151515152e-06, + "loss": 6.565674591064453, + "step": 12950 + }, + { + "epoch": 0.12955, + "grad_norm": 7.566133499145508, + "learning_rate": 4.396262626262627e-06, + "loss": 6.575655364990235, + "step": 12955 + }, + { + "epoch": 0.1296, + "grad_norm": 3.689892292022705, + "learning_rate": 4.396010101010102e-06, + "loss": 6.546958160400391, + "step": 12960 + }, + { + "epoch": 0.12965, + "grad_norm": 6.145777225494385, + "learning_rate": 4.395757575757576e-06, + "loss": 6.625157165527344, + "step": 12965 + }, + { + "epoch": 0.1297, + "grad_norm": 5.322461128234863, + "learning_rate": 4.395505050505051e-06, + "loss": 6.574761962890625, + "step": 12970 + }, + { + "epoch": 0.12975, + "grad_norm": 4.9474711418151855, + "learning_rate": 4.395252525252526e-06, + "loss": 6.590449523925781, + "step": 12975 + }, + { + "epoch": 0.1298, + "grad_norm": 9.711262702941895, + "learning_rate": 4.395e-06, + "loss": 6.580953979492188, + "step": 12980 + }, + { + "epoch": 0.12985, + "grad_norm": 4.619517803192139, + "learning_rate": 4.394747474747475e-06, + "loss": 6.574144744873047, + "step": 12985 + }, + { + "epoch": 0.1299, + "grad_norm": 6.642370223999023, + "learning_rate": 4.3944949494949495e-06, + "loss": 6.826264953613281, + "step": 12990 + }, + { + "epoch": 0.12995, + "grad_norm": 6.686898231506348, + "learning_rate": 4.394242424242425e-06, + "loss": 6.681038665771484, + "step": 12995 + }, + { + "epoch": 0.13, + "grad_norm": 4.450437545776367, + "learning_rate": 4.3939898989899e-06, + "loss": 6.555269622802735, + "step": 13000 + }, + { + "epoch": 0.13005, + "grad_norm": 7.127375602722168, + "learning_rate": 4.393737373737374e-06, + "loss": 6.637094116210937, + "step": 13005 + }, + { + "epoch": 0.1301, + "grad_norm": 5.599140167236328, + "learning_rate": 4.393484848484849e-06, + "loss": 6.57909927368164, + "step": 13010 + }, + { + "epoch": 0.13015, + "grad_norm": 4.385603427886963, + "learning_rate": 4.3932323232323235e-06, + "loss": 6.583733367919922, + "step": 13015 + }, + { + "epoch": 0.1302, + "grad_norm": 6.767740726470947, + "learning_rate": 4.392979797979798e-06, + "loss": 6.556077575683593, + "step": 13020 + }, + { + "epoch": 0.13025, + "grad_norm": 5.749100208282471, + "learning_rate": 4.392727272727273e-06, + "loss": 6.562895202636719, + "step": 13025 + }, + { + "epoch": 0.1303, + "grad_norm": 8.352856636047363, + "learning_rate": 4.392474747474747e-06, + "loss": 6.786083984375, + "step": 13030 + }, + { + "epoch": 0.13035, + "grad_norm": 6.729434967041016, + "learning_rate": 4.392222222222223e-06, + "loss": 6.577222442626953, + "step": 13035 + }, + { + "epoch": 0.1304, + "grad_norm": 12.371199607849121, + "learning_rate": 4.3919696969696975e-06, + "loss": 6.68060531616211, + "step": 13040 + }, + { + "epoch": 0.13045, + "grad_norm": 7.77764892578125, + "learning_rate": 4.391717171717172e-06, + "loss": 6.6484527587890625, + "step": 13045 + }, + { + "epoch": 0.1305, + "grad_norm": 7.185997486114502, + "learning_rate": 4.391464646464647e-06, + "loss": 6.610094451904297, + "step": 13050 + }, + { + "epoch": 0.13055, + "grad_norm": 5.922632217407227, + "learning_rate": 4.391212121212121e-06, + "loss": 6.552619171142578, + "step": 13055 + }, + { + "epoch": 0.1306, + "grad_norm": 5.4697489738464355, + "learning_rate": 4.390959595959596e-06, + "loss": 6.601950073242188, + "step": 13060 + }, + { + "epoch": 0.13065, + "grad_norm": 7.527877330780029, + "learning_rate": 4.390707070707071e-06, + "loss": 6.530242919921875, + "step": 13065 + }, + { + "epoch": 0.1307, + "grad_norm": 6.332054615020752, + "learning_rate": 4.390454545454546e-06, + "loss": 6.5843650817871096, + "step": 13070 + }, + { + "epoch": 0.13075, + "grad_norm": 6.370695114135742, + "learning_rate": 4.390202020202021e-06, + "loss": 6.588865661621094, + "step": 13075 + }, + { + "epoch": 0.1308, + "grad_norm": 4.335629940032959, + "learning_rate": 4.389949494949495e-06, + "loss": 6.467770385742187, + "step": 13080 + }, + { + "epoch": 0.13085, + "grad_norm": 4.688568592071533, + "learning_rate": 4.38969696969697e-06, + "loss": 6.533481597900391, + "step": 13085 + }, + { + "epoch": 0.1309, + "grad_norm": 5.448612689971924, + "learning_rate": 4.389444444444445e-06, + "loss": 6.604885864257812, + "step": 13090 + }, + { + "epoch": 0.13095, + "grad_norm": 4.982358932495117, + "learning_rate": 4.389191919191919e-06, + "loss": 6.5724853515625, + "step": 13095 + }, + { + "epoch": 0.131, + "grad_norm": 6.2866692543029785, + "learning_rate": 4.388939393939394e-06, + "loss": 6.552033996582031, + "step": 13100 + }, + { + "epoch": 0.13105, + "grad_norm": 7.841899871826172, + "learning_rate": 4.3886868686868686e-06, + "loss": 6.601052856445312, + "step": 13105 + }, + { + "epoch": 0.1311, + "grad_norm": 5.6587982177734375, + "learning_rate": 4.388434343434344e-06, + "loss": 6.555398559570312, + "step": 13110 + }, + { + "epoch": 0.13115, + "grad_norm": 6.541658401489258, + "learning_rate": 4.388181818181819e-06, + "loss": 6.547983551025391, + "step": 13115 + }, + { + "epoch": 0.1312, + "grad_norm": 6.143819332122803, + "learning_rate": 4.387929292929293e-06, + "loss": 6.615617370605468, + "step": 13120 + }, + { + "epoch": 0.13125, + "grad_norm": 6.301352024078369, + "learning_rate": 4.387676767676768e-06, + "loss": 6.595268249511719, + "step": 13125 + }, + { + "epoch": 0.1313, + "grad_norm": 4.854258060455322, + "learning_rate": 4.387424242424243e-06, + "loss": 6.524568176269531, + "step": 13130 + }, + { + "epoch": 0.13135, + "grad_norm": 6.151346683502197, + "learning_rate": 4.387171717171718e-06, + "loss": 6.472438812255859, + "step": 13135 + }, + { + "epoch": 0.1314, + "grad_norm": 4.431459903717041, + "learning_rate": 4.386919191919192e-06, + "loss": 6.597514343261719, + "step": 13140 + }, + { + "epoch": 0.13145, + "grad_norm": 5.507728576660156, + "learning_rate": 4.3866666666666665e-06, + "loss": 6.638600158691406, + "step": 13145 + }, + { + "epoch": 0.1315, + "grad_norm": 6.143698215484619, + "learning_rate": 4.386414141414142e-06, + "loss": 6.5630653381347654, + "step": 13150 + }, + { + "epoch": 0.13155, + "grad_norm": 9.06602954864502, + "learning_rate": 4.3861616161616166e-06, + "loss": 6.575822448730468, + "step": 13155 + }, + { + "epoch": 0.1316, + "grad_norm": 6.003904819488525, + "learning_rate": 4.385909090909091e-06, + "loss": 6.548851013183594, + "step": 13160 + }, + { + "epoch": 0.13165, + "grad_norm": 6.66605806350708, + "learning_rate": 4.385656565656566e-06, + "loss": 6.556060028076172, + "step": 13165 + }, + { + "epoch": 0.1317, + "grad_norm": 5.614581108093262, + "learning_rate": 4.385404040404041e-06, + "loss": 6.5536949157714846, + "step": 13170 + }, + { + "epoch": 0.13175, + "grad_norm": 5.959263324737549, + "learning_rate": 4.385151515151516e-06, + "loss": 6.5476844787597654, + "step": 13175 + }, + { + "epoch": 0.1318, + "grad_norm": 7.963070869445801, + "learning_rate": 4.3848989898989906e-06, + "loss": 6.583737182617187, + "step": 13180 + }, + { + "epoch": 0.13185, + "grad_norm": 16.012292861938477, + "learning_rate": 4.384646464646465e-06, + "loss": 6.7764442443847654, + "step": 13185 + }, + { + "epoch": 0.1319, + "grad_norm": 18.817781448364258, + "learning_rate": 4.38439393939394e-06, + "loss": 6.875830078125, + "step": 13190 + }, + { + "epoch": 0.13195, + "grad_norm": 4.896108150482178, + "learning_rate": 4.3841414141414144e-06, + "loss": 6.605316162109375, + "step": 13195 + }, + { + "epoch": 0.132, + "grad_norm": 5.910688877105713, + "learning_rate": 4.383888888888889e-06, + "loss": 6.563930511474609, + "step": 13200 + }, + { + "epoch": 0.13205, + "grad_norm": 5.109065055847168, + "learning_rate": 4.383636363636364e-06, + "loss": 6.5531867980957035, + "step": 13205 + }, + { + "epoch": 0.1321, + "grad_norm": 4.942147731781006, + "learning_rate": 4.383383838383839e-06, + "loss": 6.587897491455078, + "step": 13210 + }, + { + "epoch": 0.13215, + "grad_norm": 6.3470916748046875, + "learning_rate": 4.383131313131314e-06, + "loss": 6.572882843017578, + "step": 13215 + }, + { + "epoch": 0.1322, + "grad_norm": 6.6825852394104, + "learning_rate": 4.3828787878787884e-06, + "loss": 6.484651947021485, + "step": 13220 + }, + { + "epoch": 0.13225, + "grad_norm": 5.534315586090088, + "learning_rate": 4.382626262626263e-06, + "loss": 6.635595703125, + "step": 13225 + }, + { + "epoch": 0.1323, + "grad_norm": 48.43961715698242, + "learning_rate": 4.382373737373738e-06, + "loss": 7.513655090332032, + "step": 13230 + }, + { + "epoch": 0.13235, + "grad_norm": 8.966623306274414, + "learning_rate": 4.382121212121212e-06, + "loss": 6.666837310791015, + "step": 13235 + }, + { + "epoch": 0.1324, + "grad_norm": 5.94663143157959, + "learning_rate": 4.381868686868687e-06, + "loss": 6.598735809326172, + "step": 13240 + }, + { + "epoch": 0.13245, + "grad_norm": 8.0265474319458, + "learning_rate": 4.381616161616162e-06, + "loss": 6.598406219482422, + "step": 13245 + }, + { + "epoch": 0.1325, + "grad_norm": 7.211330413818359, + "learning_rate": 4.381363636363637e-06, + "loss": 6.5505523681640625, + "step": 13250 + }, + { + "epoch": 0.13255, + "grad_norm": 5.78046989440918, + "learning_rate": 4.381111111111112e-06, + "loss": 6.562543487548828, + "step": 13255 + }, + { + "epoch": 0.1326, + "grad_norm": 5.83360481262207, + "learning_rate": 4.380858585858586e-06, + "loss": 6.555998992919922, + "step": 13260 + }, + { + "epoch": 0.13265, + "grad_norm": 6.59598445892334, + "learning_rate": 4.380606060606061e-06, + "loss": 6.564450073242187, + "step": 13265 + }, + { + "epoch": 0.1327, + "grad_norm": 19.441951751708984, + "learning_rate": 4.380353535353536e-06, + "loss": 6.264900207519531, + "step": 13270 + }, + { + "epoch": 0.13275, + "grad_norm": 9.619547843933105, + "learning_rate": 4.38010101010101e-06, + "loss": 5.6240486145019535, + "step": 13275 + }, + { + "epoch": 0.1328, + "grad_norm": 11.320345878601074, + "learning_rate": 4.379848484848485e-06, + "loss": 5.4317577362060545, + "step": 13280 + }, + { + "epoch": 0.13285, + "grad_norm": 10.32242488861084, + "learning_rate": 4.3795959595959595e-06, + "loss": 5.419979858398437, + "step": 13285 + }, + { + "epoch": 0.1329, + "grad_norm": 12.549286842346191, + "learning_rate": 4.379343434343435e-06, + "loss": 5.459717559814453, + "step": 13290 + }, + { + "epoch": 0.13295, + "grad_norm": 11.920552253723145, + "learning_rate": 4.37909090909091e-06, + "loss": 5.293944549560547, + "step": 13295 + }, + { + "epoch": 0.133, + "grad_norm": 7.661688804626465, + "learning_rate": 4.378838383838384e-06, + "loss": 5.363082504272461, + "step": 13300 + }, + { + "epoch": 0.13305, + "grad_norm": 9.667998313903809, + "learning_rate": 4.378585858585859e-06, + "loss": 5.3594818115234375, + "step": 13305 + }, + { + "epoch": 0.1331, + "grad_norm": 11.059600830078125, + "learning_rate": 4.3783333333333335e-06, + "loss": 5.2897697448730465, + "step": 13310 + }, + { + "epoch": 0.13315, + "grad_norm": 22.217756271362305, + "learning_rate": 4.378080808080808e-06, + "loss": 5.914235687255859, + "step": 13315 + }, + { + "epoch": 0.1332, + "grad_norm": 6.101000785827637, + "learning_rate": 4.377828282828283e-06, + "loss": 6.808040618896484, + "step": 13320 + }, + { + "epoch": 0.13325, + "grad_norm": 15.003532409667969, + "learning_rate": 4.377575757575757e-06, + "loss": 6.637843322753906, + "step": 13325 + }, + { + "epoch": 0.1333, + "grad_norm": 6.24652099609375, + "learning_rate": 4.377323232323233e-06, + "loss": 6.570067596435547, + "step": 13330 + }, + { + "epoch": 0.13335, + "grad_norm": 6.918397426605225, + "learning_rate": 4.3770707070707075e-06, + "loss": 6.603662109375, + "step": 13335 + }, + { + "epoch": 0.1334, + "grad_norm": 10.585373878479004, + "learning_rate": 4.376818181818182e-06, + "loss": 6.606230926513672, + "step": 13340 + }, + { + "epoch": 0.13345, + "grad_norm": 7.795679569244385, + "learning_rate": 4.376565656565657e-06, + "loss": 6.594889831542969, + "step": 13345 + }, + { + "epoch": 0.1335, + "grad_norm": 6.871470928192139, + "learning_rate": 4.376313131313132e-06, + "loss": 6.606973266601562, + "step": 13350 + }, + { + "epoch": 0.13355, + "grad_norm": 6.673295497894287, + "learning_rate": 4.376060606060607e-06, + "loss": 6.56099853515625, + "step": 13355 + }, + { + "epoch": 0.1336, + "grad_norm": 4.907089710235596, + "learning_rate": 4.3758080808080815e-06, + "loss": 6.5595947265625, + "step": 13360 + }, + { + "epoch": 0.13365, + "grad_norm": 13.015910148620605, + "learning_rate": 4.375555555555555e-06, + "loss": 6.668220520019531, + "step": 13365 + }, + { + "epoch": 0.1337, + "grad_norm": 6.62224817276001, + "learning_rate": 4.375303030303031e-06, + "loss": 6.580960083007812, + "step": 13370 + }, + { + "epoch": 0.13375, + "grad_norm": 5.373807430267334, + "learning_rate": 4.375050505050505e-06, + "loss": 6.649559783935547, + "step": 13375 + }, + { + "epoch": 0.1338, + "grad_norm": 6.667301177978516, + "learning_rate": 4.37479797979798e-06, + "loss": 6.65179672241211, + "step": 13380 + }, + { + "epoch": 0.13385, + "grad_norm": 7.2569475173950195, + "learning_rate": 4.374545454545455e-06, + "loss": 6.611940002441406, + "step": 13385 + }, + { + "epoch": 0.1339, + "grad_norm": 4.814261436462402, + "learning_rate": 4.37429292929293e-06, + "loss": 6.521966552734375, + "step": 13390 + }, + { + "epoch": 0.13395, + "grad_norm": 8.186121940612793, + "learning_rate": 4.374040404040405e-06, + "loss": 6.5525634765625, + "step": 13395 + }, + { + "epoch": 0.134, + "grad_norm": 6.1510844230651855, + "learning_rate": 4.373787878787879e-06, + "loss": 6.566693115234375, + "step": 13400 + }, + { + "epoch": 0.13405, + "grad_norm": 7.397584438323975, + "learning_rate": 4.373535353535354e-06, + "loss": 6.541569519042969, + "step": 13405 + }, + { + "epoch": 0.1341, + "grad_norm": 6.555458068847656, + "learning_rate": 4.373282828282829e-06, + "loss": 6.522840118408203, + "step": 13410 + }, + { + "epoch": 0.13415, + "grad_norm": 7.875580310821533, + "learning_rate": 4.373030303030303e-06, + "loss": 6.558406066894531, + "step": 13415 + }, + { + "epoch": 0.1342, + "grad_norm": 7.2556939125061035, + "learning_rate": 4.372777777777778e-06, + "loss": 6.629817199707031, + "step": 13420 + }, + { + "epoch": 0.13425, + "grad_norm": 6.456410884857178, + "learning_rate": 4.3725252525252525e-06, + "loss": 6.5772758483886715, + "step": 13425 + }, + { + "epoch": 0.1343, + "grad_norm": 7.533398628234863, + "learning_rate": 4.372272727272728e-06, + "loss": 6.564890289306641, + "step": 13430 + }, + { + "epoch": 0.13435, + "grad_norm": 5.017254829406738, + "learning_rate": 4.372020202020203e-06, + "loss": 6.579578399658203, + "step": 13435 + }, + { + "epoch": 0.1344, + "grad_norm": 5.904133319854736, + "learning_rate": 4.371767676767677e-06, + "loss": 6.537528991699219, + "step": 13440 + }, + { + "epoch": 0.13445, + "grad_norm": 6.857013702392578, + "learning_rate": 4.371515151515152e-06, + "loss": 6.626432037353515, + "step": 13445 + }, + { + "epoch": 0.1345, + "grad_norm": 4.555907726287842, + "learning_rate": 4.3712626262626265e-06, + "loss": 6.557879638671875, + "step": 13450 + }, + { + "epoch": 0.13455, + "grad_norm": 5.749830722808838, + "learning_rate": 4.371010101010101e-06, + "loss": 6.554874420166016, + "step": 13455 + }, + { + "epoch": 0.1346, + "grad_norm": 7.085402488708496, + "learning_rate": 4.370757575757576e-06, + "loss": 6.618862152099609, + "step": 13460 + }, + { + "epoch": 0.13465, + "grad_norm": 7.899674892425537, + "learning_rate": 4.370505050505051e-06, + "loss": 6.584581756591797, + "step": 13465 + }, + { + "epoch": 0.1347, + "grad_norm": 5.793210029602051, + "learning_rate": 4.370252525252526e-06, + "loss": 6.544436645507813, + "step": 13470 + }, + { + "epoch": 0.13475, + "grad_norm": 5.781255722045898, + "learning_rate": 4.3700000000000005e-06, + "loss": 6.542974853515625, + "step": 13475 + }, + { + "epoch": 0.1348, + "grad_norm": 5.642959117889404, + "learning_rate": 4.369747474747475e-06, + "loss": 6.607247161865234, + "step": 13480 + }, + { + "epoch": 0.13485, + "grad_norm": 5.0881242752075195, + "learning_rate": 4.36949494949495e-06, + "loss": 6.552019500732422, + "step": 13485 + }, + { + "epoch": 0.1349, + "grad_norm": 5.804238796234131, + "learning_rate": 4.369242424242424e-06, + "loss": 6.604991912841797, + "step": 13490 + }, + { + "epoch": 0.13495, + "grad_norm": 7.616212368011475, + "learning_rate": 4.368989898989899e-06, + "loss": 6.495879364013672, + "step": 13495 + }, + { + "epoch": 0.135, + "grad_norm": 19.99734115600586, + "learning_rate": 4.368737373737374e-06, + "loss": 6.515738677978516, + "step": 13500 + }, + { + "epoch": 0.13505, + "grad_norm": 6.203067302703857, + "learning_rate": 4.368484848484849e-06, + "loss": 6.515697479248047, + "step": 13505 + }, + { + "epoch": 0.1351, + "grad_norm": 4.324533462524414, + "learning_rate": 4.368232323232324e-06, + "loss": 6.565006256103516, + "step": 13510 + }, + { + "epoch": 0.13515, + "grad_norm": 8.419879913330078, + "learning_rate": 4.367979797979798e-06, + "loss": 6.5975196838378904, + "step": 13515 + }, + { + "epoch": 0.1352, + "grad_norm": 5.7902140617370605, + "learning_rate": 4.367727272727273e-06, + "loss": 6.631572723388672, + "step": 13520 + }, + { + "epoch": 0.13525, + "grad_norm": 6.758319854736328, + "learning_rate": 4.3674747474747485e-06, + "loss": 6.573725891113281, + "step": 13525 + }, + { + "epoch": 0.1353, + "grad_norm": 5.251282691955566, + "learning_rate": 4.367222222222222e-06, + "loss": 6.5599723815917965, + "step": 13530 + }, + { + "epoch": 0.13535, + "grad_norm": 5.6779632568359375, + "learning_rate": 4.366969696969697e-06, + "loss": 6.612477111816406, + "step": 13535 + }, + { + "epoch": 0.1354, + "grad_norm": 3.4199399948120117, + "learning_rate": 4.3667171717171716e-06, + "loss": 6.575975036621093, + "step": 13540 + }, + { + "epoch": 0.13545, + "grad_norm": 5.370236873626709, + "learning_rate": 4.366464646464647e-06, + "loss": 6.550260162353515, + "step": 13545 + }, + { + "epoch": 0.1355, + "grad_norm": 5.245161056518555, + "learning_rate": 4.366212121212122e-06, + "loss": 6.619131469726563, + "step": 13550 + }, + { + "epoch": 0.13555, + "grad_norm": 6.620304584503174, + "learning_rate": 4.365959595959596e-06, + "loss": 6.539714050292969, + "step": 13555 + }, + { + "epoch": 0.1356, + "grad_norm": 4.4160871505737305, + "learning_rate": 4.365707070707071e-06, + "loss": 6.608586120605469, + "step": 13560 + }, + { + "epoch": 0.13565, + "grad_norm": 5.510900020599365, + "learning_rate": 4.365454545454546e-06, + "loss": 6.583766937255859, + "step": 13565 + }, + { + "epoch": 0.1357, + "grad_norm": 6.635898113250732, + "learning_rate": 4.365202020202021e-06, + "loss": 6.594246673583984, + "step": 13570 + }, + { + "epoch": 0.13575, + "grad_norm": 4.3367438316345215, + "learning_rate": 4.364949494949496e-06, + "loss": 6.5484153747558596, + "step": 13575 + }, + { + "epoch": 0.1358, + "grad_norm": 7.074277877807617, + "learning_rate": 4.36469696969697e-06, + "loss": 6.5746620178222654, + "step": 13580 + }, + { + "epoch": 0.13585, + "grad_norm": 5.021775722503662, + "learning_rate": 4.364444444444445e-06, + "loss": 6.572523498535157, + "step": 13585 + }, + { + "epoch": 0.1359, + "grad_norm": 5.077556133270264, + "learning_rate": 4.3641919191919195e-06, + "loss": 6.563087463378906, + "step": 13590 + }, + { + "epoch": 0.13595, + "grad_norm": 6.487242698669434, + "learning_rate": 4.363939393939394e-06, + "loss": 6.565785217285156, + "step": 13595 + }, + { + "epoch": 0.136, + "grad_norm": 4.688015460968018, + "learning_rate": 4.363686868686869e-06, + "loss": 6.537853240966797, + "step": 13600 + }, + { + "epoch": 0.13605, + "grad_norm": 5.344944000244141, + "learning_rate": 4.363434343434344e-06, + "loss": 6.596098327636719, + "step": 13605 + }, + { + "epoch": 0.1361, + "grad_norm": 6.854960918426514, + "learning_rate": 4.363181818181819e-06, + "loss": 6.526051330566406, + "step": 13610 + }, + { + "epoch": 0.13615, + "grad_norm": 8.835715293884277, + "learning_rate": 4.3629292929292935e-06, + "loss": 6.582119750976562, + "step": 13615 + }, + { + "epoch": 0.1362, + "grad_norm": 6.784730434417725, + "learning_rate": 4.362676767676768e-06, + "loss": 6.550890350341797, + "step": 13620 + }, + { + "epoch": 0.13625, + "grad_norm": 14.88840103149414, + "learning_rate": 4.362424242424243e-06, + "loss": 6.64081039428711, + "step": 13625 + }, + { + "epoch": 0.1363, + "grad_norm": 6.062664985656738, + "learning_rate": 4.3621717171717174e-06, + "loss": 6.587320709228516, + "step": 13630 + }, + { + "epoch": 0.13635, + "grad_norm": 5.945765972137451, + "learning_rate": 4.361919191919192e-06, + "loss": 6.554399871826172, + "step": 13635 + }, + { + "epoch": 0.1364, + "grad_norm": 6.985334396362305, + "learning_rate": 4.361666666666667e-06, + "loss": 6.515711975097656, + "step": 13640 + }, + { + "epoch": 0.13645, + "grad_norm": 6.991008758544922, + "learning_rate": 4.361414141414142e-06, + "loss": 6.512911987304688, + "step": 13645 + }, + { + "epoch": 0.1365, + "grad_norm": 6.314210414886475, + "learning_rate": 4.361161616161617e-06, + "loss": 6.515476226806641, + "step": 13650 + }, + { + "epoch": 0.13655, + "grad_norm": 5.160733222961426, + "learning_rate": 4.3609090909090914e-06, + "loss": 6.569754028320313, + "step": 13655 + }, + { + "epoch": 0.1366, + "grad_norm": 5.614889621734619, + "learning_rate": 4.360656565656566e-06, + "loss": 6.597878265380859, + "step": 13660 + }, + { + "epoch": 0.13665, + "grad_norm": 7.286579132080078, + "learning_rate": 4.360404040404041e-06, + "loss": 6.598075103759766, + "step": 13665 + }, + { + "epoch": 0.1367, + "grad_norm": 5.781999111175537, + "learning_rate": 4.360151515151515e-06, + "loss": 6.562397766113281, + "step": 13670 + }, + { + "epoch": 0.13675, + "grad_norm": 4.151571750640869, + "learning_rate": 4.35989898989899e-06, + "loss": 6.546784210205078, + "step": 13675 + }, + { + "epoch": 0.1368, + "grad_norm": 4.307172775268555, + "learning_rate": 4.359646464646465e-06, + "loss": 6.5684967041015625, + "step": 13680 + }, + { + "epoch": 0.13685, + "grad_norm": 4.636131286621094, + "learning_rate": 4.35939393939394e-06, + "loss": 6.508258056640625, + "step": 13685 + }, + { + "epoch": 0.1369, + "grad_norm": 5.407622337341309, + "learning_rate": 4.359141414141415e-06, + "loss": 6.531399536132812, + "step": 13690 + }, + { + "epoch": 0.13695, + "grad_norm": 7.6680450439453125, + "learning_rate": 4.358888888888889e-06, + "loss": 6.560820007324219, + "step": 13695 + }, + { + "epoch": 0.137, + "grad_norm": 11.78183364868164, + "learning_rate": 4.358636363636364e-06, + "loss": 6.413780975341797, + "step": 13700 + }, + { + "epoch": 0.13705, + "grad_norm": 3.590447187423706, + "learning_rate": 4.358383838383839e-06, + "loss": 6.540304565429688, + "step": 13705 + }, + { + "epoch": 0.1371, + "grad_norm": 7.167390823364258, + "learning_rate": 4.358131313131313e-06, + "loss": 6.577391815185547, + "step": 13710 + }, + { + "epoch": 0.13715, + "grad_norm": 6.223818302154541, + "learning_rate": 4.357878787878788e-06, + "loss": 6.50611572265625, + "step": 13715 + }, + { + "epoch": 0.1372, + "grad_norm": 7.719262599945068, + "learning_rate": 4.3576262626262625e-06, + "loss": 6.550630950927735, + "step": 13720 + }, + { + "epoch": 0.13725, + "grad_norm": 6.653991222381592, + "learning_rate": 4.357373737373738e-06, + "loss": 6.5149482727050785, + "step": 13725 + }, + { + "epoch": 0.1373, + "grad_norm": 5.933197498321533, + "learning_rate": 4.357121212121213e-06, + "loss": 6.540068817138672, + "step": 13730 + }, + { + "epoch": 0.13735, + "grad_norm": 4.953078746795654, + "learning_rate": 4.356868686868687e-06, + "loss": 6.541503143310547, + "step": 13735 + }, + { + "epoch": 0.1374, + "grad_norm": 7.403383255004883, + "learning_rate": 4.356616161616162e-06, + "loss": 6.515544891357422, + "step": 13740 + }, + { + "epoch": 0.13745, + "grad_norm": 5.124805450439453, + "learning_rate": 4.356363636363637e-06, + "loss": 6.510807800292969, + "step": 13745 + }, + { + "epoch": 0.1375, + "grad_norm": 5.604551315307617, + "learning_rate": 4.356111111111111e-06, + "loss": 6.536998748779297, + "step": 13750 + }, + { + "epoch": 0.13755, + "grad_norm": 5.601884841918945, + "learning_rate": 4.355858585858586e-06, + "loss": 6.510617065429687, + "step": 13755 + }, + { + "epoch": 0.1376, + "grad_norm": 7.024634838104248, + "learning_rate": 4.35560606060606e-06, + "loss": 6.476402282714844, + "step": 13760 + }, + { + "epoch": 0.13765, + "grad_norm": 5.438458442687988, + "learning_rate": 4.355353535353536e-06, + "loss": 6.631826782226563, + "step": 13765 + }, + { + "epoch": 0.1377, + "grad_norm": 5.7325568199157715, + "learning_rate": 4.3551010101010105e-06, + "loss": 6.7425071716308596, + "step": 13770 + }, + { + "epoch": 0.13775, + "grad_norm": 5.936344623565674, + "learning_rate": 4.354848484848485e-06, + "loss": 6.528660583496094, + "step": 13775 + }, + { + "epoch": 0.1378, + "grad_norm": 8.153071403503418, + "learning_rate": 4.35459595959596e-06, + "loss": 6.6352485656738285, + "step": 13780 + }, + { + "epoch": 0.13785, + "grad_norm": 4.747334957122803, + "learning_rate": 4.354343434343435e-06, + "loss": 6.609022521972657, + "step": 13785 + }, + { + "epoch": 0.1379, + "grad_norm": 5.052206039428711, + "learning_rate": 4.35409090909091e-06, + "loss": 6.659009552001953, + "step": 13790 + }, + { + "epoch": 0.13795, + "grad_norm": 5.520045280456543, + "learning_rate": 4.3538383838383845e-06, + "loss": 6.514006805419922, + "step": 13795 + }, + { + "epoch": 0.138, + "grad_norm": 9.580724716186523, + "learning_rate": 4.353585858585859e-06, + "loss": 6.588554382324219, + "step": 13800 + }, + { + "epoch": 0.13805, + "grad_norm": 5.170382022857666, + "learning_rate": 4.353333333333334e-06, + "loss": 6.686502838134766, + "step": 13805 + }, + { + "epoch": 0.1381, + "grad_norm": 3.7683098316192627, + "learning_rate": 4.353080808080808e-06, + "loss": 6.688575744628906, + "step": 13810 + }, + { + "epoch": 0.13815, + "grad_norm": 7.113677978515625, + "learning_rate": 4.352828282828283e-06, + "loss": 6.544367980957031, + "step": 13815 + }, + { + "epoch": 0.1382, + "grad_norm": 3.7242441177368164, + "learning_rate": 4.352575757575758e-06, + "loss": 6.5177459716796875, + "step": 13820 + }, + { + "epoch": 0.13825, + "grad_norm": 6.222108364105225, + "learning_rate": 4.352323232323233e-06, + "loss": 6.529122161865234, + "step": 13825 + }, + { + "epoch": 0.1383, + "grad_norm": 5.999891757965088, + "learning_rate": 4.352070707070708e-06, + "loss": 6.508694458007812, + "step": 13830 + }, + { + "epoch": 0.13835, + "grad_norm": 3.7492382526397705, + "learning_rate": 4.351818181818182e-06, + "loss": 6.55543212890625, + "step": 13835 + }, + { + "epoch": 0.1384, + "grad_norm": 3.442106008529663, + "learning_rate": 4.351565656565657e-06, + "loss": 6.860899353027344, + "step": 13840 + }, + { + "epoch": 0.13845, + "grad_norm": 5.615467548370361, + "learning_rate": 4.351313131313132e-06, + "loss": 6.484190368652344, + "step": 13845 + }, + { + "epoch": 0.1385, + "grad_norm": 7.101502418518066, + "learning_rate": 4.351060606060606e-06, + "loss": 6.746304321289062, + "step": 13850 + }, + { + "epoch": 0.13855, + "grad_norm": 4.839536190032959, + "learning_rate": 4.350808080808081e-06, + "loss": 6.5345924377441404, + "step": 13855 + }, + { + "epoch": 0.1386, + "grad_norm": 4.910141468048096, + "learning_rate": 4.3505555555555555e-06, + "loss": 6.541117095947266, + "step": 13860 + }, + { + "epoch": 0.13865, + "grad_norm": 5.360110759735107, + "learning_rate": 4.350303030303031e-06, + "loss": 6.494764709472657, + "step": 13865 + }, + { + "epoch": 0.1387, + "grad_norm": 6.496982574462891, + "learning_rate": 4.350050505050506e-06, + "loss": 6.550455474853516, + "step": 13870 + }, + { + "epoch": 0.13875, + "grad_norm": 5.692515850067139, + "learning_rate": 4.34979797979798e-06, + "loss": 6.497555541992187, + "step": 13875 + }, + { + "epoch": 0.1388, + "grad_norm": 6.436381816864014, + "learning_rate": 4.349545454545455e-06, + "loss": 6.541709899902344, + "step": 13880 + }, + { + "epoch": 0.13885, + "grad_norm": 11.637542724609375, + "learning_rate": 4.3492929292929295e-06, + "loss": 6.546212005615234, + "step": 13885 + }, + { + "epoch": 0.1389, + "grad_norm": 7.243457317352295, + "learning_rate": 4.349040404040404e-06, + "loss": 6.525433349609375, + "step": 13890 + }, + { + "epoch": 0.13895, + "grad_norm": 4.819112777709961, + "learning_rate": 4.348787878787879e-06, + "loss": 6.531202697753907, + "step": 13895 + }, + { + "epoch": 0.139, + "grad_norm": 20.725271224975586, + "learning_rate": 4.348535353535354e-06, + "loss": 6.424302673339843, + "step": 13900 + }, + { + "epoch": 0.13905, + "grad_norm": 10.850876808166504, + "learning_rate": 4.348282828282829e-06, + "loss": 6.549897003173828, + "step": 13905 + }, + { + "epoch": 0.1391, + "grad_norm": 6.797266483306885, + "learning_rate": 4.3480303030303035e-06, + "loss": 6.547071075439453, + "step": 13910 + }, + { + "epoch": 0.13915, + "grad_norm": 5.088925838470459, + "learning_rate": 4.347777777777778e-06, + "loss": 6.507669830322266, + "step": 13915 + }, + { + "epoch": 0.1392, + "grad_norm": 5.894556999206543, + "learning_rate": 4.347525252525253e-06, + "loss": 6.509986877441406, + "step": 13920 + }, + { + "epoch": 0.13925, + "grad_norm": 3.964097738265991, + "learning_rate": 4.347272727272727e-06, + "loss": 6.553738403320312, + "step": 13925 + }, + { + "epoch": 0.1393, + "grad_norm": 5.403038024902344, + "learning_rate": 4.347020202020202e-06, + "loss": 6.585074615478516, + "step": 13930 + }, + { + "epoch": 0.13935, + "grad_norm": 13.526225090026855, + "learning_rate": 4.346767676767677e-06, + "loss": 6.461221313476562, + "step": 13935 + }, + { + "epoch": 0.1394, + "grad_norm": 6.232922077178955, + "learning_rate": 4.346515151515152e-06, + "loss": 6.48297119140625, + "step": 13940 + }, + { + "epoch": 0.13945, + "grad_norm": 7.176338195800781, + "learning_rate": 4.346262626262627e-06, + "loss": 6.52057113647461, + "step": 13945 + }, + { + "epoch": 0.1395, + "grad_norm": 4.167044639587402, + "learning_rate": 4.346010101010101e-06, + "loss": 6.5397705078125, + "step": 13950 + }, + { + "epoch": 0.13955, + "grad_norm": 6.495669841766357, + "learning_rate": 4.345757575757576e-06, + "loss": 6.540348052978516, + "step": 13955 + }, + { + "epoch": 0.1396, + "grad_norm": 5.539823055267334, + "learning_rate": 4.3455050505050515e-06, + "loss": 6.526655578613282, + "step": 13960 + }, + { + "epoch": 0.13965, + "grad_norm": 3.297114610671997, + "learning_rate": 4.345252525252526e-06, + "loss": 6.511965942382813, + "step": 13965 + }, + { + "epoch": 0.1397, + "grad_norm": 6.075845241546631, + "learning_rate": 4.345000000000001e-06, + "loss": 6.533074951171875, + "step": 13970 + }, + { + "epoch": 0.13975, + "grad_norm": 4.201687812805176, + "learning_rate": 4.3447474747474745e-06, + "loss": 6.4918678283691404, + "step": 13975 + }, + { + "epoch": 0.1398, + "grad_norm": 5.503535747528076, + "learning_rate": 4.34449494949495e-06, + "loss": 6.53587646484375, + "step": 13980 + }, + { + "epoch": 0.13985, + "grad_norm": 6.805941581726074, + "learning_rate": 4.344242424242425e-06, + "loss": 6.528433990478516, + "step": 13985 + }, + { + "epoch": 0.1399, + "grad_norm": 5.673381805419922, + "learning_rate": 4.343989898989899e-06, + "loss": 6.478689575195313, + "step": 13990 + }, + { + "epoch": 0.13995, + "grad_norm": 4.338888168334961, + "learning_rate": 4.343737373737374e-06, + "loss": 6.580543518066406, + "step": 13995 + }, + { + "epoch": 0.14, + "grad_norm": 6.228000164031982, + "learning_rate": 4.343484848484849e-06, + "loss": 6.5130149841308596, + "step": 14000 + }, + { + "epoch": 0.14005, + "grad_norm": 3.834697961807251, + "learning_rate": 4.343232323232324e-06, + "loss": 6.514757537841797, + "step": 14005 + }, + { + "epoch": 0.1401, + "grad_norm": 5.73401403427124, + "learning_rate": 4.342979797979799e-06, + "loss": 6.605332946777343, + "step": 14010 + }, + { + "epoch": 0.14015, + "grad_norm": 4.545821189880371, + "learning_rate": 4.342727272727273e-06, + "loss": 6.638435363769531, + "step": 14015 + }, + { + "epoch": 0.1402, + "grad_norm": 3.9365694522857666, + "learning_rate": 4.342474747474748e-06, + "loss": 6.495378112792968, + "step": 14020 + }, + { + "epoch": 0.14025, + "grad_norm": 4.974645137786865, + "learning_rate": 4.3422222222222225e-06, + "loss": 6.568733978271484, + "step": 14025 + }, + { + "epoch": 0.1403, + "grad_norm": 8.039318084716797, + "learning_rate": 4.341969696969697e-06, + "loss": 6.543017578125, + "step": 14030 + }, + { + "epoch": 0.14035, + "grad_norm": 5.573063373565674, + "learning_rate": 4.341717171717172e-06, + "loss": 6.561911010742188, + "step": 14035 + }, + { + "epoch": 0.1404, + "grad_norm": 3.6700947284698486, + "learning_rate": 4.341464646464647e-06, + "loss": 6.519844818115234, + "step": 14040 + }, + { + "epoch": 0.14045, + "grad_norm": 4.803610324859619, + "learning_rate": 4.341212121212122e-06, + "loss": 6.56133804321289, + "step": 14045 + }, + { + "epoch": 0.1405, + "grad_norm": 3.6127679347991943, + "learning_rate": 4.3409595959595965e-06, + "loss": 6.529145050048828, + "step": 14050 + }, + { + "epoch": 0.14055, + "grad_norm": 5.550541877746582, + "learning_rate": 4.340707070707071e-06, + "loss": 6.542337799072266, + "step": 14055 + }, + { + "epoch": 0.1406, + "grad_norm": 6.881302356719971, + "learning_rate": 4.340454545454546e-06, + "loss": 6.58592529296875, + "step": 14060 + }, + { + "epoch": 0.14065, + "grad_norm": 7.844677925109863, + "learning_rate": 4.34020202020202e-06, + "loss": 6.490559387207031, + "step": 14065 + }, + { + "epoch": 0.1407, + "grad_norm": 6.483325004577637, + "learning_rate": 4.339949494949495e-06, + "loss": 6.576725006103516, + "step": 14070 + }, + { + "epoch": 0.14075, + "grad_norm": 5.2703375816345215, + "learning_rate": 4.33969696969697e-06, + "loss": 6.503639221191406, + "step": 14075 + }, + { + "epoch": 0.1408, + "grad_norm": 18.594127655029297, + "learning_rate": 4.339444444444445e-06, + "loss": 6.421221923828125, + "step": 14080 + }, + { + "epoch": 0.14085, + "grad_norm": 3.941756248474121, + "learning_rate": 4.33919191919192e-06, + "loss": 6.484239196777343, + "step": 14085 + }, + { + "epoch": 0.1409, + "grad_norm": 6.215319633483887, + "learning_rate": 4.338939393939394e-06, + "loss": 6.603050231933594, + "step": 14090 + }, + { + "epoch": 0.14095, + "grad_norm": 6.176536560058594, + "learning_rate": 4.338686868686869e-06, + "loss": 6.507418060302735, + "step": 14095 + }, + { + "epoch": 0.141, + "grad_norm": 6.382437229156494, + "learning_rate": 4.338434343434344e-06, + "loss": 6.4269775390625, + "step": 14100 + }, + { + "epoch": 0.14105, + "grad_norm": 5.784091472625732, + "learning_rate": 4.338181818181818e-06, + "loss": 6.546530151367188, + "step": 14105 + }, + { + "epoch": 0.1411, + "grad_norm": 6.278915882110596, + "learning_rate": 4.337929292929293e-06, + "loss": 6.436186218261719, + "step": 14110 + }, + { + "epoch": 0.14115, + "grad_norm": 5.590086460113525, + "learning_rate": 4.3376767676767676e-06, + "loss": 6.3966716766357425, + "step": 14115 + }, + { + "epoch": 0.1412, + "grad_norm": 4.662004470825195, + "learning_rate": 4.337424242424243e-06, + "loss": 6.557894897460938, + "step": 14120 + }, + { + "epoch": 0.14125, + "grad_norm": 4.196485996246338, + "learning_rate": 4.337171717171718e-06, + "loss": 6.550306701660157, + "step": 14125 + }, + { + "epoch": 0.1413, + "grad_norm": 6.539920806884766, + "learning_rate": 4.336919191919192e-06, + "loss": 6.534381103515625, + "step": 14130 + }, + { + "epoch": 0.14135, + "grad_norm": 3.892888307571411, + "learning_rate": 4.336666666666667e-06, + "loss": 6.527234649658203, + "step": 14135 + }, + { + "epoch": 0.1414, + "grad_norm": 11.26467227935791, + "learning_rate": 4.3364141414141416e-06, + "loss": 6.421456146240234, + "step": 14140 + }, + { + "epoch": 0.14145, + "grad_norm": 6.143599987030029, + "learning_rate": 4.336161616161616e-06, + "loss": 6.534821319580078, + "step": 14145 + }, + { + "epoch": 0.1415, + "grad_norm": 16.419330596923828, + "learning_rate": 4.335909090909091e-06, + "loss": 6.537339782714843, + "step": 14150 + }, + { + "epoch": 0.14155, + "grad_norm": 6.697803974151611, + "learning_rate": 4.3356565656565655e-06, + "loss": 6.5183662414550785, + "step": 14155 + }, + { + "epoch": 0.1416, + "grad_norm": 4.582880020141602, + "learning_rate": 4.335404040404041e-06, + "loss": 6.456946563720703, + "step": 14160 + }, + { + "epoch": 0.14165, + "grad_norm": 4.281856536865234, + "learning_rate": 4.3351515151515156e-06, + "loss": 6.494428253173828, + "step": 14165 + }, + { + "epoch": 0.1417, + "grad_norm": 6.076306343078613, + "learning_rate": 4.33489898989899e-06, + "loss": 6.528401184082031, + "step": 14170 + }, + { + "epoch": 0.14175, + "grad_norm": 6.657958030700684, + "learning_rate": 4.334646464646465e-06, + "loss": 6.558966064453125, + "step": 14175 + }, + { + "epoch": 0.1418, + "grad_norm": 4.873692035675049, + "learning_rate": 4.33439393939394e-06, + "loss": 6.59327392578125, + "step": 14180 + }, + { + "epoch": 0.14185, + "grad_norm": 2.7678329944610596, + "learning_rate": 4.334141414141415e-06, + "loss": 6.620573425292969, + "step": 14185 + }, + { + "epoch": 0.1419, + "grad_norm": 4.473451614379883, + "learning_rate": 4.3338888888888896e-06, + "loss": 6.516474914550781, + "step": 14190 + }, + { + "epoch": 0.14195, + "grad_norm": 5.579326629638672, + "learning_rate": 4.333636363636363e-06, + "loss": 6.552039337158203, + "step": 14195 + }, + { + "epoch": 0.142, + "grad_norm": 5.514776706695557, + "learning_rate": 4.333383838383839e-06, + "loss": 6.510921478271484, + "step": 14200 + }, + { + "epoch": 0.14205, + "grad_norm": 3.8424384593963623, + "learning_rate": 4.3331313131313134e-06, + "loss": 6.53594970703125, + "step": 14205 + }, + { + "epoch": 0.1421, + "grad_norm": 4.838391304016113, + "learning_rate": 4.332878787878788e-06, + "loss": 6.492235565185547, + "step": 14210 + }, + { + "epoch": 0.14215, + "grad_norm": 4.3304924964904785, + "learning_rate": 4.332626262626263e-06, + "loss": 6.595969390869141, + "step": 14215 + }, + { + "epoch": 0.1422, + "grad_norm": 5.4820451736450195, + "learning_rate": 4.332373737373738e-06, + "loss": 6.551347351074218, + "step": 14220 + }, + { + "epoch": 0.14225, + "grad_norm": 5.222568035125732, + "learning_rate": 4.332121212121213e-06, + "loss": 6.486341857910157, + "step": 14225 + }, + { + "epoch": 0.1423, + "grad_norm": 4.984682083129883, + "learning_rate": 4.3318686868686874e-06, + "loss": 6.467498016357422, + "step": 14230 + }, + { + "epoch": 0.14235, + "grad_norm": 6.749375820159912, + "learning_rate": 4.331616161616162e-06, + "loss": 6.585597991943359, + "step": 14235 + }, + { + "epoch": 0.1424, + "grad_norm": 3.3506500720977783, + "learning_rate": 4.331363636363637e-06, + "loss": 6.506601715087891, + "step": 14240 + }, + { + "epoch": 0.14245, + "grad_norm": 12.950323104858398, + "learning_rate": 4.331111111111111e-06, + "loss": 6.593412780761719, + "step": 14245 + }, + { + "epoch": 0.1425, + "grad_norm": 4.347170352935791, + "learning_rate": 4.330858585858586e-06, + "loss": 6.551225280761718, + "step": 14250 + }, + { + "epoch": 0.14255, + "grad_norm": 5.522425651550293, + "learning_rate": 4.330606060606061e-06, + "loss": 6.461836242675782, + "step": 14255 + }, + { + "epoch": 0.1426, + "grad_norm": 4.25492525100708, + "learning_rate": 4.330353535353536e-06, + "loss": 6.8859405517578125, + "step": 14260 + }, + { + "epoch": 0.14265, + "grad_norm": 3.856323480606079, + "learning_rate": 4.330101010101011e-06, + "loss": 6.534323120117188, + "step": 14265 + }, + { + "epoch": 0.1427, + "grad_norm": 4.004523754119873, + "learning_rate": 4.329848484848485e-06, + "loss": 6.623683166503906, + "step": 14270 + }, + { + "epoch": 0.14275, + "grad_norm": 5.171566486358643, + "learning_rate": 4.32959595959596e-06, + "loss": 6.52197494506836, + "step": 14275 + }, + { + "epoch": 0.1428, + "grad_norm": 5.911258697509766, + "learning_rate": 4.329343434343435e-06, + "loss": 6.562123870849609, + "step": 14280 + }, + { + "epoch": 0.14285, + "grad_norm": 7.42061710357666, + "learning_rate": 4.329090909090909e-06, + "loss": 6.523275756835938, + "step": 14285 + }, + { + "epoch": 0.1429, + "grad_norm": 9.739375114440918, + "learning_rate": 4.328838383838384e-06, + "loss": 6.4745124816894535, + "step": 14290 + }, + { + "epoch": 0.14295, + "grad_norm": 7.004310131072998, + "learning_rate": 4.3285858585858585e-06, + "loss": 6.57169189453125, + "step": 14295 + }, + { + "epoch": 0.143, + "grad_norm": 4.4141926765441895, + "learning_rate": 4.328333333333334e-06, + "loss": 6.5318351745605465, + "step": 14300 + }, + { + "epoch": 0.14305, + "grad_norm": 5.736510276794434, + "learning_rate": 4.328080808080809e-06, + "loss": 6.5494132995605465, + "step": 14305 + }, + { + "epoch": 0.1431, + "grad_norm": 13.325483322143555, + "learning_rate": 4.327828282828283e-06, + "loss": 6.858155822753906, + "step": 14310 + }, + { + "epoch": 0.14315, + "grad_norm": 10.436591148376465, + "learning_rate": 4.327575757575758e-06, + "loss": 6.465720367431641, + "step": 14315 + }, + { + "epoch": 0.1432, + "grad_norm": 4.234917640686035, + "learning_rate": 4.3273232323232325e-06, + "loss": 6.534442901611328, + "step": 14320 + }, + { + "epoch": 0.14325, + "grad_norm": 4.1409430503845215, + "learning_rate": 4.327070707070707e-06, + "loss": 6.514961242675781, + "step": 14325 + }, + { + "epoch": 0.1433, + "grad_norm": 7.228165626525879, + "learning_rate": 4.326818181818182e-06, + "loss": 6.476844024658203, + "step": 14330 + }, + { + "epoch": 0.14335, + "grad_norm": 3.754058599472046, + "learning_rate": 4.326565656565657e-06, + "loss": 6.480076599121094, + "step": 14335 + }, + { + "epoch": 0.1434, + "grad_norm": 7.077367305755615, + "learning_rate": 4.326313131313132e-06, + "loss": 6.665241241455078, + "step": 14340 + }, + { + "epoch": 0.14345, + "grad_norm": 2.789890766143799, + "learning_rate": 4.3260606060606065e-06, + "loss": 6.511434936523438, + "step": 14345 + }, + { + "epoch": 0.1435, + "grad_norm": 4.183691501617432, + "learning_rate": 4.325808080808081e-06, + "loss": 6.506459045410156, + "step": 14350 + }, + { + "epoch": 0.14355, + "grad_norm": 5.679547309875488, + "learning_rate": 4.325555555555557e-06, + "loss": 6.5519561767578125, + "step": 14355 + }, + { + "epoch": 0.1436, + "grad_norm": 6.831256866455078, + "learning_rate": 4.32530303030303e-06, + "loss": 6.459384918212891, + "step": 14360 + }, + { + "epoch": 0.14365, + "grad_norm": 7.045140266418457, + "learning_rate": 4.325050505050505e-06, + "loss": 6.478128814697266, + "step": 14365 + }, + { + "epoch": 0.1437, + "grad_norm": 4.254992961883545, + "learning_rate": 4.32479797979798e-06, + "loss": 6.489494323730469, + "step": 14370 + }, + { + "epoch": 0.14375, + "grad_norm": 4.402240753173828, + "learning_rate": 4.324545454545455e-06, + "loss": 6.50782470703125, + "step": 14375 + }, + { + "epoch": 0.1438, + "grad_norm": 5.494905471801758, + "learning_rate": 4.32429292929293e-06, + "loss": 6.4835655212402346, + "step": 14380 + }, + { + "epoch": 0.14385, + "grad_norm": 4.614975929260254, + "learning_rate": 4.324040404040404e-06, + "loss": 6.483982086181641, + "step": 14385 + }, + { + "epoch": 0.1439, + "grad_norm": 5.7779388427734375, + "learning_rate": 4.323787878787879e-06, + "loss": 6.582749938964843, + "step": 14390 + }, + { + "epoch": 0.14395, + "grad_norm": 6.095193862915039, + "learning_rate": 4.3235353535353545e-06, + "loss": 6.501593017578125, + "step": 14395 + }, + { + "epoch": 0.144, + "grad_norm": 5.558094501495361, + "learning_rate": 4.323282828282829e-06, + "loss": 6.5114601135253904, + "step": 14400 + }, + { + "epoch": 0.14405, + "grad_norm": 6.089951515197754, + "learning_rate": 4.323030303030304e-06, + "loss": 6.549974822998047, + "step": 14405 + }, + { + "epoch": 0.1441, + "grad_norm": 5.017982482910156, + "learning_rate": 4.322777777777778e-06, + "loss": 6.490240478515625, + "step": 14410 + }, + { + "epoch": 0.14415, + "grad_norm": 5.1229071617126465, + "learning_rate": 4.322525252525253e-06, + "loss": 6.502989196777344, + "step": 14415 + }, + { + "epoch": 0.1442, + "grad_norm": 8.210447311401367, + "learning_rate": 4.322272727272728e-06, + "loss": 6.4963623046875, + "step": 14420 + }, + { + "epoch": 0.14425, + "grad_norm": 3.8306381702423096, + "learning_rate": 4.322020202020202e-06, + "loss": 6.506784057617187, + "step": 14425 + }, + { + "epoch": 0.1443, + "grad_norm": 7.546472072601318, + "learning_rate": 4.321767676767677e-06, + "loss": 6.521236419677734, + "step": 14430 + }, + { + "epoch": 0.14435, + "grad_norm": 3.3358654975891113, + "learning_rate": 4.321515151515152e-06, + "loss": 6.473580932617187, + "step": 14435 + }, + { + "epoch": 0.1444, + "grad_norm": 4.303221702575684, + "learning_rate": 4.321262626262627e-06, + "loss": 6.490567779541015, + "step": 14440 + }, + { + "epoch": 0.14445, + "grad_norm": 5.313779830932617, + "learning_rate": 4.321010101010102e-06, + "loss": 6.5432373046875, + "step": 14445 + }, + { + "epoch": 0.1445, + "grad_norm": 8.019837379455566, + "learning_rate": 4.320757575757576e-06, + "loss": 6.469643402099609, + "step": 14450 + }, + { + "epoch": 0.14455, + "grad_norm": 4.934937477111816, + "learning_rate": 4.320505050505051e-06, + "loss": 6.479988861083984, + "step": 14455 + }, + { + "epoch": 0.1446, + "grad_norm": 5.1939544677734375, + "learning_rate": 4.3202525252525255e-06, + "loss": 6.526238250732422, + "step": 14460 + }, + { + "epoch": 0.14465, + "grad_norm": 3.4489359855651855, + "learning_rate": 4.32e-06, + "loss": 6.488211822509766, + "step": 14465 + }, + { + "epoch": 0.1447, + "grad_norm": 7.205262660980225, + "learning_rate": 4.319747474747475e-06, + "loss": 6.536859130859375, + "step": 14470 + }, + { + "epoch": 0.14475, + "grad_norm": 4.711112976074219, + "learning_rate": 4.31949494949495e-06, + "loss": 6.513069152832031, + "step": 14475 + }, + { + "epoch": 0.1448, + "grad_norm": 3.2250239849090576, + "learning_rate": 4.319242424242425e-06, + "loss": 6.497682189941406, + "step": 14480 + }, + { + "epoch": 0.14485, + "grad_norm": 10.501614570617676, + "learning_rate": 4.3189898989898995e-06, + "loss": 6.678610229492188, + "step": 14485 + }, + { + "epoch": 0.1449, + "grad_norm": 3.614701747894287, + "learning_rate": 4.318737373737374e-06, + "loss": 6.515364074707032, + "step": 14490 + }, + { + "epoch": 0.14495, + "grad_norm": 5.2057013511657715, + "learning_rate": 4.318484848484849e-06, + "loss": 6.535688781738282, + "step": 14495 + }, + { + "epoch": 0.145, + "grad_norm": 4.747753620147705, + "learning_rate": 4.318232323232323e-06, + "loss": 6.516139984130859, + "step": 14500 + }, + { + "epoch": 0.14505, + "grad_norm": 4.500584125518799, + "learning_rate": 4.317979797979798e-06, + "loss": 6.449169921875, + "step": 14505 + }, + { + "epoch": 0.1451, + "grad_norm": 2.604335308074951, + "learning_rate": 4.317727272727273e-06, + "loss": 6.472538757324219, + "step": 14510 + }, + { + "epoch": 0.14515, + "grad_norm": 5.561988353729248, + "learning_rate": 4.317474747474748e-06, + "loss": 6.455146026611328, + "step": 14515 + }, + { + "epoch": 0.1452, + "grad_norm": 5.776001930236816, + "learning_rate": 4.317222222222223e-06, + "loss": 6.418576049804687, + "step": 14520 + }, + { + "epoch": 0.14525, + "grad_norm": 4.265985488891602, + "learning_rate": 4.316969696969697e-06, + "loss": 6.496917724609375, + "step": 14525 + }, + { + "epoch": 0.1453, + "grad_norm": 4.061425685882568, + "learning_rate": 4.316717171717172e-06, + "loss": 6.508099365234375, + "step": 14530 + }, + { + "epoch": 0.14535, + "grad_norm": 4.93050479888916, + "learning_rate": 4.316464646464647e-06, + "loss": 6.4641357421875, + "step": 14535 + }, + { + "epoch": 0.1454, + "grad_norm": 4.784628391265869, + "learning_rate": 4.316212121212121e-06, + "loss": 6.592555236816406, + "step": 14540 + }, + { + "epoch": 0.14545, + "grad_norm": 4.695350170135498, + "learning_rate": 4.315959595959596e-06, + "loss": 6.4828125, + "step": 14545 + }, + { + "epoch": 0.1455, + "grad_norm": 5.348476886749268, + "learning_rate": 4.3157070707070705e-06, + "loss": 6.478262329101563, + "step": 14550 + }, + { + "epoch": 0.14555, + "grad_norm": 5.309117794036865, + "learning_rate": 4.315454545454546e-06, + "loss": 6.470433044433594, + "step": 14555 + }, + { + "epoch": 0.1456, + "grad_norm": 4.549057960510254, + "learning_rate": 4.315202020202021e-06, + "loss": 6.963652038574219, + "step": 14560 + }, + { + "epoch": 0.14565, + "grad_norm": 4.2072434425354, + "learning_rate": 4.314949494949495e-06, + "loss": 6.5826873779296875, + "step": 14565 + }, + { + "epoch": 0.1457, + "grad_norm": 5.458916664123535, + "learning_rate": 4.31469696969697e-06, + "loss": 6.463063049316406, + "step": 14570 + }, + { + "epoch": 0.14575, + "grad_norm": 4.661675453186035, + "learning_rate": 4.314444444444445e-06, + "loss": 6.494541931152344, + "step": 14575 + }, + { + "epoch": 0.1458, + "grad_norm": 5.717794895172119, + "learning_rate": 4.314191919191919e-06, + "loss": 6.517290496826172, + "step": 14580 + }, + { + "epoch": 0.14585, + "grad_norm": 3.911789655685425, + "learning_rate": 4.313939393939394e-06, + "loss": 6.532636260986328, + "step": 14585 + }, + { + "epoch": 0.1459, + "grad_norm": 4.7801313400268555, + "learning_rate": 4.3136868686868684e-06, + "loss": 6.485527038574219, + "step": 14590 + }, + { + "epoch": 0.14595, + "grad_norm": 5.400557518005371, + "learning_rate": 4.313434343434344e-06, + "loss": 6.53970947265625, + "step": 14595 + }, + { + "epoch": 0.146, + "grad_norm": 5.87947940826416, + "learning_rate": 4.3131818181818185e-06, + "loss": 6.52135009765625, + "step": 14600 + }, + { + "epoch": 0.14605, + "grad_norm": 3.1970720291137695, + "learning_rate": 4.312929292929293e-06, + "loss": 6.4888359069824215, + "step": 14605 + }, + { + "epoch": 0.1461, + "grad_norm": 4.866981506347656, + "learning_rate": 4.312676767676768e-06, + "loss": 6.5334007263183596, + "step": 14610 + }, + { + "epoch": 0.14615, + "grad_norm": 8.984414100646973, + "learning_rate": 4.312424242424243e-06, + "loss": 6.557095336914062, + "step": 14615 + }, + { + "epoch": 0.1462, + "grad_norm": 3.7784862518310547, + "learning_rate": 4.312171717171718e-06, + "loss": 6.498558807373047, + "step": 14620 + }, + { + "epoch": 0.14625, + "grad_norm": 7.6340789794921875, + "learning_rate": 4.3119191919191925e-06, + "loss": 6.523674011230469, + "step": 14625 + }, + { + "epoch": 0.1463, + "grad_norm": 3.902782440185547, + "learning_rate": 4.311666666666667e-06, + "loss": 6.476576232910157, + "step": 14630 + }, + { + "epoch": 0.14635, + "grad_norm": 4.196352958679199, + "learning_rate": 4.311414141414142e-06, + "loss": 6.485125732421875, + "step": 14635 + }, + { + "epoch": 0.1464, + "grad_norm": 4.741200923919678, + "learning_rate": 4.3111616161616164e-06, + "loss": 6.554374694824219, + "step": 14640 + }, + { + "epoch": 0.14645, + "grad_norm": 10.72707748413086, + "learning_rate": 4.310909090909091e-06, + "loss": 6.461141967773438, + "step": 14645 + }, + { + "epoch": 0.1465, + "grad_norm": 5.616623401641846, + "learning_rate": 4.310656565656566e-06, + "loss": 6.443881225585938, + "step": 14650 + }, + { + "epoch": 0.14655, + "grad_norm": 7.175601005554199, + "learning_rate": 4.310404040404041e-06, + "loss": 6.532682800292969, + "step": 14655 + }, + { + "epoch": 0.1466, + "grad_norm": 5.958141326904297, + "learning_rate": 4.310151515151516e-06, + "loss": 6.511766052246093, + "step": 14660 + }, + { + "epoch": 0.14665, + "grad_norm": 5.862859725952148, + "learning_rate": 4.3098989898989904e-06, + "loss": 6.5302574157714846, + "step": 14665 + }, + { + "epoch": 0.1467, + "grad_norm": 4.616973400115967, + "learning_rate": 4.309646464646465e-06, + "loss": 6.586998748779297, + "step": 14670 + }, + { + "epoch": 0.14675, + "grad_norm": 6.046182155609131, + "learning_rate": 4.30939393939394e-06, + "loss": 6.474101257324219, + "step": 14675 + }, + { + "epoch": 0.1468, + "grad_norm": 4.557863235473633, + "learning_rate": 4.309141414141414e-06, + "loss": 6.49437255859375, + "step": 14680 + }, + { + "epoch": 0.14685, + "grad_norm": 5.643327236175537, + "learning_rate": 4.308888888888889e-06, + "loss": 6.500736999511719, + "step": 14685 + }, + { + "epoch": 0.1469, + "grad_norm": 3.4382882118225098, + "learning_rate": 4.308636363636364e-06, + "loss": 6.498165893554687, + "step": 14690 + }, + { + "epoch": 0.14695, + "grad_norm": 4.999553680419922, + "learning_rate": 4.308383838383839e-06, + "loss": 6.4668434143066404, + "step": 14695 + }, + { + "epoch": 0.147, + "grad_norm": 4.659677982330322, + "learning_rate": 4.308131313131314e-06, + "loss": 6.479248046875, + "step": 14700 + }, + { + "epoch": 0.14705, + "grad_norm": 4.9387288093566895, + "learning_rate": 4.307878787878788e-06, + "loss": 6.488901519775391, + "step": 14705 + }, + { + "epoch": 0.1471, + "grad_norm": 5.101020812988281, + "learning_rate": 4.307626262626263e-06, + "loss": 6.4221336364746096, + "step": 14710 + }, + { + "epoch": 0.14715, + "grad_norm": 4.61722993850708, + "learning_rate": 4.307373737373738e-06, + "loss": 6.5040443420410154, + "step": 14715 + }, + { + "epoch": 0.1472, + "grad_norm": 7.156398773193359, + "learning_rate": 4.307121212121212e-06, + "loss": 6.476431274414063, + "step": 14720 + }, + { + "epoch": 0.14725, + "grad_norm": 6.127005577087402, + "learning_rate": 4.306868686868687e-06, + "loss": 6.486894226074218, + "step": 14725 + }, + { + "epoch": 0.1473, + "grad_norm": 7.027503490447998, + "learning_rate": 4.3066161616161615e-06, + "loss": 6.475852966308594, + "step": 14730 + }, + { + "epoch": 0.14735, + "grad_norm": 3.895451784133911, + "learning_rate": 4.306363636363637e-06, + "loss": 6.456636810302735, + "step": 14735 + }, + { + "epoch": 0.1474, + "grad_norm": 9.537215232849121, + "learning_rate": 4.3061111111111116e-06, + "loss": 6.543526458740234, + "step": 14740 + }, + { + "epoch": 0.14745, + "grad_norm": 4.5582499504089355, + "learning_rate": 4.305858585858586e-06, + "loss": 6.545819091796875, + "step": 14745 + }, + { + "epoch": 0.1475, + "grad_norm": 10.131399154663086, + "learning_rate": 4.305606060606061e-06, + "loss": 6.397181701660156, + "step": 14750 + }, + { + "epoch": 0.14755, + "grad_norm": 5.107814311981201, + "learning_rate": 4.3053535353535355e-06, + "loss": 6.481792449951172, + "step": 14755 + }, + { + "epoch": 0.1476, + "grad_norm": 6.956871032714844, + "learning_rate": 4.30510101010101e-06, + "loss": 6.492296600341797, + "step": 14760 + }, + { + "epoch": 0.14765, + "grad_norm": 4.397143840789795, + "learning_rate": 4.304848484848485e-06, + "loss": 6.5448150634765625, + "step": 14765 + }, + { + "epoch": 0.1477, + "grad_norm": 3.2974228858947754, + "learning_rate": 4.30459595959596e-06, + "loss": 6.468733215332032, + "step": 14770 + }, + { + "epoch": 0.14775, + "grad_norm": 5.759087085723877, + "learning_rate": 4.304343434343435e-06, + "loss": 6.496035766601563, + "step": 14775 + }, + { + "epoch": 0.1478, + "grad_norm": 5.014657020568848, + "learning_rate": 4.3040909090909095e-06, + "loss": 6.641156768798828, + "step": 14780 + }, + { + "epoch": 0.14785, + "grad_norm": 4.510643005371094, + "learning_rate": 4.303838383838384e-06, + "loss": 6.473520660400391, + "step": 14785 + }, + { + "epoch": 0.1479, + "grad_norm": 5.0355963706970215, + "learning_rate": 4.3035858585858596e-06, + "loss": 6.483433532714844, + "step": 14790 + }, + { + "epoch": 0.14795, + "grad_norm": 13.209962844848633, + "learning_rate": 4.303333333333334e-06, + "loss": 6.452657318115234, + "step": 14795 + }, + { + "epoch": 0.148, + "grad_norm": 4.418889999389648, + "learning_rate": 4.303080808080809e-06, + "loss": 6.536647033691406, + "step": 14800 + }, + { + "epoch": 0.14805, + "grad_norm": 4.153820991516113, + "learning_rate": 4.302828282828283e-06, + "loss": 6.560569763183594, + "step": 14805 + }, + { + "epoch": 0.1481, + "grad_norm": 4.985516548156738, + "learning_rate": 4.302575757575758e-06, + "loss": 6.457383728027343, + "step": 14810 + }, + { + "epoch": 0.14815, + "grad_norm": 6.6732306480407715, + "learning_rate": 4.302323232323233e-06, + "loss": 6.513744354248047, + "step": 14815 + }, + { + "epoch": 0.1482, + "grad_norm": 5.008304119110107, + "learning_rate": 4.302070707070707e-06, + "loss": 6.492566680908203, + "step": 14820 + }, + { + "epoch": 0.14825, + "grad_norm": 2.884697675704956, + "learning_rate": 4.301818181818182e-06, + "loss": 6.49169692993164, + "step": 14825 + }, + { + "epoch": 0.1483, + "grad_norm": 3.100182294845581, + "learning_rate": 4.3015656565656575e-06, + "loss": 6.497740936279297, + "step": 14830 + }, + { + "epoch": 0.14835, + "grad_norm": 4.723951816558838, + "learning_rate": 4.301313131313132e-06, + "loss": 6.491586303710937, + "step": 14835 + }, + { + "epoch": 0.1484, + "grad_norm": 4.806491374969482, + "learning_rate": 4.301060606060607e-06, + "loss": 6.537146759033203, + "step": 14840 + }, + { + "epoch": 0.14845, + "grad_norm": 4.38887357711792, + "learning_rate": 4.300808080808081e-06, + "loss": 6.472910308837891, + "step": 14845 + }, + { + "epoch": 0.1485, + "grad_norm": 4.043336391448975, + "learning_rate": 4.300555555555556e-06, + "loss": 6.454359436035157, + "step": 14850 + }, + { + "epoch": 0.14855, + "grad_norm": 4.632874011993408, + "learning_rate": 4.300303030303031e-06, + "loss": 6.556086730957031, + "step": 14855 + }, + { + "epoch": 0.1486, + "grad_norm": 4.47702693939209, + "learning_rate": 4.300050505050505e-06, + "loss": 6.428596496582031, + "step": 14860 + }, + { + "epoch": 0.14865, + "grad_norm": 4.245589733123779, + "learning_rate": 4.29979797979798e-06, + "loss": 6.468850708007812, + "step": 14865 + }, + { + "epoch": 0.1487, + "grad_norm": 5.9859089851379395, + "learning_rate": 4.299545454545455e-06, + "loss": 6.450080108642578, + "step": 14870 + }, + { + "epoch": 0.14875, + "grad_norm": 5.922009468078613, + "learning_rate": 4.29929292929293e-06, + "loss": 6.4823448181152346, + "step": 14875 + }, + { + "epoch": 0.1488, + "grad_norm": 5.425019264221191, + "learning_rate": 4.299040404040405e-06, + "loss": 6.496971893310547, + "step": 14880 + }, + { + "epoch": 0.14885, + "grad_norm": 4.5376200675964355, + "learning_rate": 4.298787878787879e-06, + "loss": 6.492557525634766, + "step": 14885 + }, + { + "epoch": 0.1489, + "grad_norm": 5.699253082275391, + "learning_rate": 4.298535353535354e-06, + "loss": 6.4660179138183596, + "step": 14890 + }, + { + "epoch": 0.14895, + "grad_norm": 8.569064140319824, + "learning_rate": 4.2982828282828285e-06, + "loss": 6.515065002441406, + "step": 14895 + }, + { + "epoch": 0.149, + "grad_norm": 5.352481365203857, + "learning_rate": 4.298030303030303e-06, + "loss": 6.427183532714844, + "step": 14900 + }, + { + "epoch": 0.14905, + "grad_norm": 5.747870922088623, + "learning_rate": 4.297777777777778e-06, + "loss": 6.459695434570312, + "step": 14905 + }, + { + "epoch": 0.1491, + "grad_norm": 5.506577491760254, + "learning_rate": 4.297525252525253e-06, + "loss": 6.484357452392578, + "step": 14910 + }, + { + "epoch": 0.14915, + "grad_norm": 3.5765957832336426, + "learning_rate": 4.297272727272728e-06, + "loss": 6.4624275207519535, + "step": 14915 + }, + { + "epoch": 0.1492, + "grad_norm": 6.133081912994385, + "learning_rate": 4.2970202020202025e-06, + "loss": 6.46981201171875, + "step": 14920 + }, + { + "epoch": 0.14925, + "grad_norm": 4.246498107910156, + "learning_rate": 4.296767676767677e-06, + "loss": 6.3881980895996096, + "step": 14925 + }, + { + "epoch": 0.1493, + "grad_norm": 4.6936798095703125, + "learning_rate": 4.296515151515152e-06, + "loss": 6.489932250976563, + "step": 14930 + }, + { + "epoch": 0.14935, + "grad_norm": 4.877340316772461, + "learning_rate": 4.296262626262626e-06, + "loss": 6.526812744140625, + "step": 14935 + }, + { + "epoch": 0.1494, + "grad_norm": 3.394186496734619, + "learning_rate": 4.296010101010101e-06, + "loss": 6.492457580566406, + "step": 14940 + }, + { + "epoch": 0.14945, + "grad_norm": 4.982087135314941, + "learning_rate": 4.295757575757576e-06, + "loss": 6.8960418701171875, + "step": 14945 + }, + { + "epoch": 0.1495, + "grad_norm": 5.543653964996338, + "learning_rate": 4.295505050505051e-06, + "loss": 6.493752288818359, + "step": 14950 + }, + { + "epoch": 0.14955, + "grad_norm": 9.777607917785645, + "learning_rate": 4.295252525252526e-06, + "loss": 6.4962409973144535, + "step": 14955 + }, + { + "epoch": 0.1496, + "grad_norm": 4.880670070648193, + "learning_rate": 4.295e-06, + "loss": 6.519473266601563, + "step": 14960 + }, + { + "epoch": 0.14965, + "grad_norm": 5.841375350952148, + "learning_rate": 4.294747474747475e-06, + "loss": 6.467085266113282, + "step": 14965 + }, + { + "epoch": 0.1497, + "grad_norm": 5.128256320953369, + "learning_rate": 4.29449494949495e-06, + "loss": 6.493290710449219, + "step": 14970 + }, + { + "epoch": 0.14975, + "grad_norm": 5.132215976715088, + "learning_rate": 4.294242424242424e-06, + "loss": 6.461683654785157, + "step": 14975 + }, + { + "epoch": 0.1498, + "grad_norm": 5.222896575927734, + "learning_rate": 4.293989898989899e-06, + "loss": 6.462319183349609, + "step": 14980 + }, + { + "epoch": 0.14985, + "grad_norm": 4.722568988800049, + "learning_rate": 4.2937373737373735e-06, + "loss": 6.516603088378906, + "step": 14985 + }, + { + "epoch": 0.1499, + "grad_norm": 5.505730628967285, + "learning_rate": 4.293484848484849e-06, + "loss": 6.455241394042969, + "step": 14990 + }, + { + "epoch": 0.14995, + "grad_norm": 5.882155418395996, + "learning_rate": 4.293232323232324e-06, + "loss": 6.437882995605468, + "step": 14995 + }, + { + "epoch": 0.15, + "grad_norm": 2.874830961227417, + "learning_rate": 4.292979797979798e-06, + "loss": 6.56455078125, + "step": 15000 + }, + { + "epoch": 0.15005, + "grad_norm": 5.374883651733398, + "learning_rate": 4.292727272727273e-06, + "loss": 6.41693115234375, + "step": 15005 + }, + { + "epoch": 0.1501, + "grad_norm": 6.426100730895996, + "learning_rate": 4.292474747474748e-06, + "loss": 6.540182495117188, + "step": 15010 + }, + { + "epoch": 0.15015, + "grad_norm": 4.927196979522705, + "learning_rate": 4.292222222222223e-06, + "loss": 6.503851318359375, + "step": 15015 + }, + { + "epoch": 0.1502, + "grad_norm": 3.9625937938690186, + "learning_rate": 4.291969696969698e-06, + "loss": 6.476905822753906, + "step": 15020 + }, + { + "epoch": 0.15025, + "grad_norm": 5.241052150726318, + "learning_rate": 4.291717171717171e-06, + "loss": 6.482189178466797, + "step": 15025 + }, + { + "epoch": 0.1503, + "grad_norm": 10.917927742004395, + "learning_rate": 4.291464646464647e-06, + "loss": 6.606055450439453, + "step": 15030 + }, + { + "epoch": 0.15035, + "grad_norm": 3.4210097789764404, + "learning_rate": 4.2912121212121215e-06, + "loss": 6.551166534423828, + "step": 15035 + }, + { + "epoch": 0.1504, + "grad_norm": 4.141200542449951, + "learning_rate": 4.290959595959596e-06, + "loss": 6.485906982421875, + "step": 15040 + }, + { + "epoch": 0.15045, + "grad_norm": 4.687851905822754, + "learning_rate": 4.290707070707071e-06, + "loss": 6.47657470703125, + "step": 15045 + }, + { + "epoch": 0.1505, + "grad_norm": 7.292572498321533, + "learning_rate": 4.290454545454546e-06, + "loss": 6.466509246826172, + "step": 15050 + }, + { + "epoch": 0.15055, + "grad_norm": 3.882255792617798, + "learning_rate": 4.290202020202021e-06, + "loss": 6.457622528076172, + "step": 15055 + }, + { + "epoch": 0.1506, + "grad_norm": 4.3983917236328125, + "learning_rate": 4.2899494949494955e-06, + "loss": 6.488330078125, + "step": 15060 + }, + { + "epoch": 0.15065, + "grad_norm": 5.001917362213135, + "learning_rate": 4.28969696969697e-06, + "loss": 6.448454284667969, + "step": 15065 + }, + { + "epoch": 0.1507, + "grad_norm": 4.295877456665039, + "learning_rate": 4.289444444444445e-06, + "loss": 6.4445030212402346, + "step": 15070 + }, + { + "epoch": 0.15075, + "grad_norm": 4.518013000488281, + "learning_rate": 4.289191919191919e-06, + "loss": 6.49169921875, + "step": 15075 + }, + { + "epoch": 0.1508, + "grad_norm": 3.9882376194000244, + "learning_rate": 4.288939393939394e-06, + "loss": 6.540575408935547, + "step": 15080 + }, + { + "epoch": 0.15085, + "grad_norm": 6.651825428009033, + "learning_rate": 4.288686868686869e-06, + "loss": 6.600589752197266, + "step": 15085 + }, + { + "epoch": 0.1509, + "grad_norm": 4.089620590209961, + "learning_rate": 4.288434343434344e-06, + "loss": 6.454471588134766, + "step": 15090 + }, + { + "epoch": 0.15095, + "grad_norm": 14.069843292236328, + "learning_rate": 4.288181818181819e-06, + "loss": 6.381552124023438, + "step": 15095 + }, + { + "epoch": 0.151, + "grad_norm": 4.626638889312744, + "learning_rate": 4.287929292929293e-06, + "loss": 6.426313781738282, + "step": 15100 + }, + { + "epoch": 0.15105, + "grad_norm": 3.8909311294555664, + "learning_rate": 4.287676767676768e-06, + "loss": 6.460169982910156, + "step": 15105 + }, + { + "epoch": 0.1511, + "grad_norm": 5.135706424713135, + "learning_rate": 4.287424242424243e-06, + "loss": 6.479164123535156, + "step": 15110 + }, + { + "epoch": 0.15115, + "grad_norm": 4.316091537475586, + "learning_rate": 4.287171717171717e-06, + "loss": 6.462512969970703, + "step": 15115 + }, + { + "epoch": 0.1512, + "grad_norm": 6.174134731292725, + "learning_rate": 4.286919191919192e-06, + "loss": 6.475363159179688, + "step": 15120 + }, + { + "epoch": 0.15125, + "grad_norm": 2.9341185092926025, + "learning_rate": 4.2866666666666666e-06, + "loss": 6.482684326171875, + "step": 15125 + }, + { + "epoch": 0.1513, + "grad_norm": 4.788311958312988, + "learning_rate": 4.286414141414142e-06, + "loss": 6.483296203613281, + "step": 15130 + }, + { + "epoch": 0.15135, + "grad_norm": 11.157282829284668, + "learning_rate": 4.286161616161617e-06, + "loss": 6.597923278808594, + "step": 15135 + }, + { + "epoch": 0.1514, + "grad_norm": 5.697007179260254, + "learning_rate": 4.285909090909091e-06, + "loss": 6.557782745361328, + "step": 15140 + }, + { + "epoch": 0.15145, + "grad_norm": 6.109874725341797, + "learning_rate": 4.285656565656566e-06, + "loss": 6.511138916015625, + "step": 15145 + }, + { + "epoch": 0.1515, + "grad_norm": 11.675722122192383, + "learning_rate": 4.2854040404040406e-06, + "loss": 6.6112617492675785, + "step": 15150 + }, + { + "epoch": 0.15155, + "grad_norm": 4.847055912017822, + "learning_rate": 4.285151515151515e-06, + "loss": 6.460076141357422, + "step": 15155 + }, + { + "epoch": 0.1516, + "grad_norm": 4.370905876159668, + "learning_rate": 4.28489898989899e-06, + "loss": 6.465380859375, + "step": 15160 + }, + { + "epoch": 0.15165, + "grad_norm": 5.00922155380249, + "learning_rate": 4.2846464646464645e-06, + "loss": 6.477693176269531, + "step": 15165 + }, + { + "epoch": 0.1517, + "grad_norm": 6.926941871643066, + "learning_rate": 4.28439393939394e-06, + "loss": 6.494999694824219, + "step": 15170 + }, + { + "epoch": 0.15175, + "grad_norm": 7.067318439483643, + "learning_rate": 4.2841414141414146e-06, + "loss": 6.454267120361328, + "step": 15175 + }, + { + "epoch": 0.1518, + "grad_norm": 5.276823997497559, + "learning_rate": 4.283888888888889e-06, + "loss": 6.490467834472656, + "step": 15180 + }, + { + "epoch": 0.15185, + "grad_norm": 4.030696868896484, + "learning_rate": 4.283636363636365e-06, + "loss": 6.449317169189453, + "step": 15185 + }, + { + "epoch": 0.1519, + "grad_norm": 5.973870754241943, + "learning_rate": 4.2833838383838384e-06, + "loss": 6.456842041015625, + "step": 15190 + }, + { + "epoch": 0.15195, + "grad_norm": 4.584961414337158, + "learning_rate": 4.283131313131313e-06, + "loss": 6.5231376647949215, + "step": 15195 + }, + { + "epoch": 0.152, + "grad_norm": 7.10871696472168, + "learning_rate": 4.282878787878788e-06, + "loss": 6.4605224609375, + "step": 15200 + }, + { + "epoch": 0.15205, + "grad_norm": 3.936967134475708, + "learning_rate": 4.282626262626263e-06, + "loss": 6.4440559387207035, + "step": 15205 + }, + { + "epoch": 0.1521, + "grad_norm": 5.9034223556518555, + "learning_rate": 4.282373737373738e-06, + "loss": 6.515449523925781, + "step": 15210 + }, + { + "epoch": 0.15215, + "grad_norm": 5.04292631149292, + "learning_rate": 4.2821212121212124e-06, + "loss": 6.488088226318359, + "step": 15215 + }, + { + "epoch": 0.1522, + "grad_norm": 2.7983410358428955, + "learning_rate": 4.281868686868687e-06, + "loss": 6.503152465820312, + "step": 15220 + }, + { + "epoch": 0.15225, + "grad_norm": 4.151852607727051, + "learning_rate": 4.2816161616161626e-06, + "loss": 6.520710754394531, + "step": 15225 + }, + { + "epoch": 0.1523, + "grad_norm": 2.711380958557129, + "learning_rate": 4.281363636363637e-06, + "loss": 6.507637786865234, + "step": 15230 + }, + { + "epoch": 0.15235, + "grad_norm": 3.676347494125366, + "learning_rate": 4.281111111111112e-06, + "loss": 6.627845764160156, + "step": 15235 + }, + { + "epoch": 0.1524, + "grad_norm": 7.82301139831543, + "learning_rate": 4.2808585858585864e-06, + "loss": 6.4846038818359375, + "step": 15240 + }, + { + "epoch": 0.15245, + "grad_norm": 16.551183700561523, + "learning_rate": 4.280606060606061e-06, + "loss": 6.516114044189453, + "step": 15245 + }, + { + "epoch": 0.1525, + "grad_norm": 6.4076457023620605, + "learning_rate": 4.280353535353536e-06, + "loss": 6.470185089111328, + "step": 15250 + }, + { + "epoch": 0.15255, + "grad_norm": 7.124907493591309, + "learning_rate": 4.28010101010101e-06, + "loss": 6.547100830078125, + "step": 15255 + }, + { + "epoch": 0.1526, + "grad_norm": 3.8710622787475586, + "learning_rate": 4.279848484848485e-06, + "loss": 6.496997833251953, + "step": 15260 + }, + { + "epoch": 0.15265, + "grad_norm": 3.8036274909973145, + "learning_rate": 4.2795959595959604e-06, + "loss": 6.475382232666016, + "step": 15265 + }, + { + "epoch": 0.1527, + "grad_norm": 3.911621570587158, + "learning_rate": 4.279343434343435e-06, + "loss": 6.449348449707031, + "step": 15270 + }, + { + "epoch": 0.15275, + "grad_norm": 4.880951404571533, + "learning_rate": 4.27909090909091e-06, + "loss": 6.475069427490235, + "step": 15275 + }, + { + "epoch": 0.1528, + "grad_norm": 4.6760735511779785, + "learning_rate": 4.278838383838384e-06, + "loss": 6.485789489746094, + "step": 15280 + }, + { + "epoch": 0.15285, + "grad_norm": 5.210073947906494, + "learning_rate": 4.278585858585859e-06, + "loss": 6.442451477050781, + "step": 15285 + }, + { + "epoch": 0.1529, + "grad_norm": 7.644658088684082, + "learning_rate": 4.278333333333334e-06, + "loss": 6.429612731933593, + "step": 15290 + }, + { + "epoch": 0.15295, + "grad_norm": 9.424300193786621, + "learning_rate": 4.278080808080808e-06, + "loss": 6.242014694213867, + "step": 15295 + }, + { + "epoch": 0.153, + "grad_norm": 5.6265482902526855, + "learning_rate": 4.277828282828283e-06, + "loss": 6.485637664794922, + "step": 15300 + }, + { + "epoch": 0.15305, + "grad_norm": 3.479794502258301, + "learning_rate": 4.277575757575758e-06, + "loss": 6.459632873535156, + "step": 15305 + }, + { + "epoch": 0.1531, + "grad_norm": 6.739943981170654, + "learning_rate": 4.277323232323233e-06, + "loss": 6.423279571533203, + "step": 15310 + }, + { + "epoch": 0.15315, + "grad_norm": 5.397625923156738, + "learning_rate": 4.277070707070708e-06, + "loss": 6.39183349609375, + "step": 15315 + }, + { + "epoch": 0.1532, + "grad_norm": 4.833497524261475, + "learning_rate": 4.276818181818182e-06, + "loss": 6.482825469970703, + "step": 15320 + }, + { + "epoch": 0.15325, + "grad_norm": 4.2414350509643555, + "learning_rate": 4.276565656565657e-06, + "loss": 6.431367492675781, + "step": 15325 + }, + { + "epoch": 0.1533, + "grad_norm": 5.612492084503174, + "learning_rate": 4.2763131313131315e-06, + "loss": 6.538777160644531, + "step": 15330 + }, + { + "epoch": 0.15335, + "grad_norm": 3.536933660507202, + "learning_rate": 4.276060606060606e-06, + "loss": 6.455058288574219, + "step": 15335 + }, + { + "epoch": 0.1534, + "grad_norm": 4.763200283050537, + "learning_rate": 4.275808080808081e-06, + "loss": 6.467333221435547, + "step": 15340 + }, + { + "epoch": 0.15345, + "grad_norm": 3.4811580181121826, + "learning_rate": 4.275555555555556e-06, + "loss": 6.456903076171875, + "step": 15345 + }, + { + "epoch": 0.1535, + "grad_norm": 3.8126108646392822, + "learning_rate": 4.275303030303031e-06, + "loss": 6.481922149658203, + "step": 15350 + }, + { + "epoch": 0.15355, + "grad_norm": 4.745048522949219, + "learning_rate": 4.2750505050505055e-06, + "loss": 6.415636444091797, + "step": 15355 + }, + { + "epoch": 0.1536, + "grad_norm": 3.74552321434021, + "learning_rate": 4.27479797979798e-06, + "loss": 6.447415924072265, + "step": 15360 + }, + { + "epoch": 0.15365, + "grad_norm": 3.551398515701294, + "learning_rate": 4.274545454545455e-06, + "loss": 6.47808609008789, + "step": 15365 + }, + { + "epoch": 0.1537, + "grad_norm": 5.395285606384277, + "learning_rate": 4.274292929292929e-06, + "loss": 6.53711166381836, + "step": 15370 + }, + { + "epoch": 0.15375, + "grad_norm": 4.588326930999756, + "learning_rate": 4.274040404040404e-06, + "loss": 6.501445007324219, + "step": 15375 + }, + { + "epoch": 0.1538, + "grad_norm": 5.968113899230957, + "learning_rate": 4.273787878787879e-06, + "loss": 6.423214721679687, + "step": 15380 + }, + { + "epoch": 0.15385, + "grad_norm": 4.7754716873168945, + "learning_rate": 4.273535353535354e-06, + "loss": 6.4765777587890625, + "step": 15385 + }, + { + "epoch": 0.1539, + "grad_norm": 4.135946750640869, + "learning_rate": 4.273282828282829e-06, + "loss": 6.456243896484375, + "step": 15390 + }, + { + "epoch": 0.15395, + "grad_norm": 6.109796047210693, + "learning_rate": 4.273030303030303e-06, + "loss": 6.487821960449219, + "step": 15395 + }, + { + "epoch": 0.154, + "grad_norm": 3.726837158203125, + "learning_rate": 4.272777777777778e-06, + "loss": 6.4888450622558596, + "step": 15400 + }, + { + "epoch": 0.15405, + "grad_norm": 6.013373851776123, + "learning_rate": 4.2725252525252535e-06, + "loss": 6.419358825683593, + "step": 15405 + }, + { + "epoch": 0.1541, + "grad_norm": 4.755584716796875, + "learning_rate": 4.272272727272728e-06, + "loss": 6.391104888916016, + "step": 15410 + }, + { + "epoch": 0.15415, + "grad_norm": 8.34873104095459, + "learning_rate": 4.272020202020202e-06, + "loss": 6.522925567626953, + "step": 15415 + }, + { + "epoch": 0.1542, + "grad_norm": 4.9861345291137695, + "learning_rate": 4.2717676767676765e-06, + "loss": 6.448655700683593, + "step": 15420 + }, + { + "epoch": 0.15425, + "grad_norm": 3.004512071609497, + "learning_rate": 4.271515151515152e-06, + "loss": 6.487810516357422, + "step": 15425 + }, + { + "epoch": 0.1543, + "grad_norm": 7.083635330200195, + "learning_rate": 4.271262626262627e-06, + "loss": 6.430406188964843, + "step": 15430 + }, + { + "epoch": 0.15435, + "grad_norm": 6.485072135925293, + "learning_rate": 4.271010101010101e-06, + "loss": 6.438578796386719, + "step": 15435 + }, + { + "epoch": 0.1544, + "grad_norm": 3.134366989135742, + "learning_rate": 4.270757575757576e-06, + "loss": 6.4809715270996096, + "step": 15440 + }, + { + "epoch": 0.15445, + "grad_norm": 6.267679691314697, + "learning_rate": 4.270505050505051e-06, + "loss": 6.476234436035156, + "step": 15445 + }, + { + "epoch": 0.1545, + "grad_norm": 6.279084205627441, + "learning_rate": 4.270252525252526e-06, + "loss": 6.377063751220703, + "step": 15450 + }, + { + "epoch": 0.15455, + "grad_norm": 5.905559062957764, + "learning_rate": 4.270000000000001e-06, + "loss": 6.439605712890625, + "step": 15455 + }, + { + "epoch": 0.1546, + "grad_norm": 4.622612476348877, + "learning_rate": 4.269747474747475e-06, + "loss": 6.4858848571777346, + "step": 15460 + }, + { + "epoch": 0.15465, + "grad_norm": 4.669487476348877, + "learning_rate": 4.26949494949495e-06, + "loss": 6.452729797363281, + "step": 15465 + }, + { + "epoch": 0.1547, + "grad_norm": 4.418135166168213, + "learning_rate": 4.2692424242424245e-06, + "loss": 6.426240539550781, + "step": 15470 + }, + { + "epoch": 0.15475, + "grad_norm": 3.560588836669922, + "learning_rate": 4.268989898989899e-06, + "loss": 6.4837890625, + "step": 15475 + }, + { + "epoch": 0.1548, + "grad_norm": 4.369415283203125, + "learning_rate": 4.268737373737374e-06, + "loss": 6.432186889648437, + "step": 15480 + }, + { + "epoch": 0.15485, + "grad_norm": 3.06827712059021, + "learning_rate": 4.268484848484849e-06, + "loss": 6.425032043457032, + "step": 15485 + }, + { + "epoch": 0.1549, + "grad_norm": 2.942209482192993, + "learning_rate": 4.268232323232324e-06, + "loss": 6.43695297241211, + "step": 15490 + }, + { + "epoch": 0.15495, + "grad_norm": 3.718376636505127, + "learning_rate": 4.2679797979797985e-06, + "loss": 6.4039451599121096, + "step": 15495 + }, + { + "epoch": 0.155, + "grad_norm": 2.4150173664093018, + "learning_rate": 4.267727272727273e-06, + "loss": 6.434722900390625, + "step": 15500 + }, + { + "epoch": 0.15505, + "grad_norm": 3.2223780155181885, + "learning_rate": 4.267474747474748e-06, + "loss": 6.430596160888672, + "step": 15505 + }, + { + "epoch": 0.1551, + "grad_norm": 4.392515659332275, + "learning_rate": 4.267222222222222e-06, + "loss": 6.474813079833984, + "step": 15510 + }, + { + "epoch": 0.15515, + "grad_norm": 4.735413074493408, + "learning_rate": 4.266969696969697e-06, + "loss": 6.471153259277344, + "step": 15515 + }, + { + "epoch": 0.1552, + "grad_norm": 5.082212924957275, + "learning_rate": 4.266717171717172e-06, + "loss": 6.5118560791015625, + "step": 15520 + }, + { + "epoch": 0.15525, + "grad_norm": 3.3092105388641357, + "learning_rate": 4.266464646464647e-06, + "loss": 6.461073303222657, + "step": 15525 + }, + { + "epoch": 0.1553, + "grad_norm": 3.698885202407837, + "learning_rate": 4.266212121212122e-06, + "loss": 6.488520812988281, + "step": 15530 + }, + { + "epoch": 0.15535, + "grad_norm": 4.972824573516846, + "learning_rate": 4.265959595959596e-06, + "loss": 6.503556823730468, + "step": 15535 + }, + { + "epoch": 0.1554, + "grad_norm": 11.466278076171875, + "learning_rate": 4.265707070707071e-06, + "loss": 6.56033935546875, + "step": 15540 + }, + { + "epoch": 0.15545, + "grad_norm": 3.650855779647827, + "learning_rate": 4.265454545454546e-06, + "loss": 6.436418914794922, + "step": 15545 + }, + { + "epoch": 0.1555, + "grad_norm": 6.978936195373535, + "learning_rate": 4.26520202020202e-06, + "loss": 6.483848571777344, + "step": 15550 + }, + { + "epoch": 0.15555, + "grad_norm": 3.0578649044036865, + "learning_rate": 4.264949494949495e-06, + "loss": 6.448268127441406, + "step": 15555 + }, + { + "epoch": 0.1556, + "grad_norm": 4.982611656188965, + "learning_rate": 4.2646969696969695e-06, + "loss": 6.4537498474121096, + "step": 15560 + }, + { + "epoch": 0.15565, + "grad_norm": 3.5222654342651367, + "learning_rate": 4.264444444444445e-06, + "loss": 6.394025039672852, + "step": 15565 + }, + { + "epoch": 0.1557, + "grad_norm": 3.464869260787964, + "learning_rate": 4.26419191919192e-06, + "loss": 6.476780700683594, + "step": 15570 + }, + { + "epoch": 0.15575, + "grad_norm": 6.591947078704834, + "learning_rate": 4.263939393939394e-06, + "loss": 6.462862396240235, + "step": 15575 + }, + { + "epoch": 0.1558, + "grad_norm": 5.201397895812988, + "learning_rate": 4.263686868686869e-06, + "loss": 6.475666809082031, + "step": 15580 + }, + { + "epoch": 0.15585, + "grad_norm": 3.8624680042266846, + "learning_rate": 4.2634343434343435e-06, + "loss": 6.459147644042969, + "step": 15585 + }, + { + "epoch": 0.1559, + "grad_norm": 5.241911888122559, + "learning_rate": 4.263181818181818e-06, + "loss": 6.546476745605469, + "step": 15590 + }, + { + "epoch": 0.15595, + "grad_norm": 4.291407108306885, + "learning_rate": 4.262929292929293e-06, + "loss": 6.45372314453125, + "step": 15595 + }, + { + "epoch": 0.156, + "grad_norm": 5.526819705963135, + "learning_rate": 4.262676767676768e-06, + "loss": 6.457973480224609, + "step": 15600 + }, + { + "epoch": 0.15605, + "grad_norm": 6.068036079406738, + "learning_rate": 4.262424242424243e-06, + "loss": 6.456462097167969, + "step": 15605 + }, + { + "epoch": 0.1561, + "grad_norm": 3.9966280460357666, + "learning_rate": 4.2621717171717175e-06, + "loss": 6.523426055908203, + "step": 15610 + }, + { + "epoch": 0.15615, + "grad_norm": 4.546053409576416, + "learning_rate": 4.261919191919192e-06, + "loss": 6.510003662109375, + "step": 15615 + }, + { + "epoch": 0.1562, + "grad_norm": 4.027541637420654, + "learning_rate": 4.261666666666668e-06, + "loss": 6.423981475830078, + "step": 15620 + }, + { + "epoch": 0.15625, + "grad_norm": 4.187471866607666, + "learning_rate": 4.261414141414142e-06, + "loss": 6.4303535461425785, + "step": 15625 + }, + { + "epoch": 0.1563, + "grad_norm": 3.792581558227539, + "learning_rate": 4.261161616161617e-06, + "loss": 6.47076416015625, + "step": 15630 + }, + { + "epoch": 0.15635, + "grad_norm": 2.9656736850738525, + "learning_rate": 4.260909090909091e-06, + "loss": 6.456990814208984, + "step": 15635 + }, + { + "epoch": 0.1564, + "grad_norm": 6.446865081787109, + "learning_rate": 4.260656565656566e-06, + "loss": 6.459697723388672, + "step": 15640 + }, + { + "epoch": 0.15645, + "grad_norm": 6.295422077178955, + "learning_rate": 4.260404040404041e-06, + "loss": 6.442035675048828, + "step": 15645 + }, + { + "epoch": 0.1565, + "grad_norm": 4.920889854431152, + "learning_rate": 4.2601515151515154e-06, + "loss": 6.4969482421875, + "step": 15650 + }, + { + "epoch": 0.15655, + "grad_norm": 5.755523681640625, + "learning_rate": 4.25989898989899e-06, + "loss": 6.4463653564453125, + "step": 15655 + }, + { + "epoch": 0.1566, + "grad_norm": 3.9147746562957764, + "learning_rate": 4.2596464646464655e-06, + "loss": 6.42156982421875, + "step": 15660 + }, + { + "epoch": 0.15665, + "grad_norm": 3.0561859607696533, + "learning_rate": 4.25939393939394e-06, + "loss": 6.472958374023437, + "step": 15665 + }, + { + "epoch": 0.1567, + "grad_norm": 4.439169406890869, + "learning_rate": 4.259141414141415e-06, + "loss": 6.426939392089844, + "step": 15670 + }, + { + "epoch": 0.15675, + "grad_norm": 5.381335735321045, + "learning_rate": 4.2588888888888894e-06, + "loss": 6.46109619140625, + "step": 15675 + }, + { + "epoch": 0.1568, + "grad_norm": 3.7233333587646484, + "learning_rate": 4.258636363636364e-06, + "loss": 6.452667999267578, + "step": 15680 + }, + { + "epoch": 0.15685, + "grad_norm": 3.594089984893799, + "learning_rate": 4.258383838383839e-06, + "loss": 6.462760925292969, + "step": 15685 + }, + { + "epoch": 0.1569, + "grad_norm": 8.306628227233887, + "learning_rate": 4.258131313131313e-06, + "loss": 6.450215148925781, + "step": 15690 + }, + { + "epoch": 0.15695, + "grad_norm": 3.309375762939453, + "learning_rate": 4.257878787878788e-06, + "loss": 6.490792846679687, + "step": 15695 + }, + { + "epoch": 0.157, + "grad_norm": 6.406224727630615, + "learning_rate": 4.2576262626262634e-06, + "loss": 6.388658905029297, + "step": 15700 + }, + { + "epoch": 0.15705, + "grad_norm": 3.6580753326416016, + "learning_rate": 4.257373737373738e-06, + "loss": 6.43719253540039, + "step": 15705 + }, + { + "epoch": 0.1571, + "grad_norm": 4.949578285217285, + "learning_rate": 4.257121212121213e-06, + "loss": 6.4233856201171875, + "step": 15710 + }, + { + "epoch": 0.15715, + "grad_norm": 3.7107763290405273, + "learning_rate": 4.256868686868687e-06, + "loss": 6.479306030273437, + "step": 15715 + }, + { + "epoch": 0.1572, + "grad_norm": 3.848506450653076, + "learning_rate": 4.256616161616162e-06, + "loss": 6.4586952209472654, + "step": 15720 + }, + { + "epoch": 0.15725, + "grad_norm": 6.629461765289307, + "learning_rate": 4.256363636363637e-06, + "loss": 6.454522705078125, + "step": 15725 + }, + { + "epoch": 0.1573, + "grad_norm": 2.8838393688201904, + "learning_rate": 4.256111111111111e-06, + "loss": 6.425444030761719, + "step": 15730 + }, + { + "epoch": 0.15735, + "grad_norm": 3.326627492904663, + "learning_rate": 4.255858585858586e-06, + "loss": 6.343922424316406, + "step": 15735 + }, + { + "epoch": 0.1574, + "grad_norm": 4.511828899383545, + "learning_rate": 4.255606060606061e-06, + "loss": 6.442816925048828, + "step": 15740 + }, + { + "epoch": 0.15745, + "grad_norm": 5.042054176330566, + "learning_rate": 4.255353535353536e-06, + "loss": 6.480522155761719, + "step": 15745 + }, + { + "epoch": 0.1575, + "grad_norm": 3.0742592811584473, + "learning_rate": 4.2551010101010106e-06, + "loss": 6.439981079101562, + "step": 15750 + }, + { + "epoch": 0.15755, + "grad_norm": 5.707451820373535, + "learning_rate": 4.254848484848485e-06, + "loss": 6.4064888000488285, + "step": 15755 + }, + { + "epoch": 0.1576, + "grad_norm": 2.4448063373565674, + "learning_rate": 4.25459595959596e-06, + "loss": 6.451398468017578, + "step": 15760 + }, + { + "epoch": 0.15765, + "grad_norm": 4.62144136428833, + "learning_rate": 4.2543434343434345e-06, + "loss": 6.470231628417968, + "step": 15765 + }, + { + "epoch": 0.1577, + "grad_norm": 4.919021129608154, + "learning_rate": 4.254090909090909e-06, + "loss": 6.481451416015625, + "step": 15770 + }, + { + "epoch": 0.15775, + "grad_norm": 6.0084967613220215, + "learning_rate": 4.253838383838384e-06, + "loss": 6.450239562988282, + "step": 15775 + }, + { + "epoch": 0.1578, + "grad_norm": 3.159843921661377, + "learning_rate": 4.253585858585859e-06, + "loss": 6.491239166259765, + "step": 15780 + }, + { + "epoch": 0.15785, + "grad_norm": 6.70779275894165, + "learning_rate": 4.253333333333334e-06, + "loss": 6.557952117919922, + "step": 15785 + }, + { + "epoch": 0.1579, + "grad_norm": 4.855912685394287, + "learning_rate": 4.2530808080808085e-06, + "loss": 6.498250579833984, + "step": 15790 + }, + { + "epoch": 0.15795, + "grad_norm": 4.173107624053955, + "learning_rate": 4.252828282828283e-06, + "loss": 6.474813079833984, + "step": 15795 + }, + { + "epoch": 0.158, + "grad_norm": 3.8840222358703613, + "learning_rate": 4.252575757575758e-06, + "loss": 6.458590698242188, + "step": 15800 + }, + { + "epoch": 0.15805, + "grad_norm": 4.655211925506592, + "learning_rate": 4.252323232323232e-06, + "loss": 6.4545234680175785, + "step": 15805 + }, + { + "epoch": 0.1581, + "grad_norm": 4.692041873931885, + "learning_rate": 4.252070707070707e-06, + "loss": 6.57176513671875, + "step": 15810 + }, + { + "epoch": 0.15815, + "grad_norm": 4.872548580169678, + "learning_rate": 4.251818181818182e-06, + "loss": 6.473286437988281, + "step": 15815 + }, + { + "epoch": 0.1582, + "grad_norm": 5.402608394622803, + "learning_rate": 4.251565656565657e-06, + "loss": 6.470040893554687, + "step": 15820 + }, + { + "epoch": 0.15825, + "grad_norm": 3.5323402881622314, + "learning_rate": 4.251313131313132e-06, + "loss": 6.431044006347657, + "step": 15825 + }, + { + "epoch": 0.1583, + "grad_norm": 4.865192890167236, + "learning_rate": 4.251060606060606e-06, + "loss": 6.433296203613281, + "step": 15830 + }, + { + "epoch": 0.15835, + "grad_norm": 3.996983766555786, + "learning_rate": 4.250808080808081e-06, + "loss": 6.40709228515625, + "step": 15835 + }, + { + "epoch": 0.1584, + "grad_norm": 6.394336223602295, + "learning_rate": 4.2505555555555565e-06, + "loss": 6.473453521728516, + "step": 15840 + }, + { + "epoch": 0.15845, + "grad_norm": 4.792330741882324, + "learning_rate": 4.250303030303031e-06, + "loss": 6.519275665283203, + "step": 15845 + }, + { + "epoch": 0.1585, + "grad_norm": 3.551593542098999, + "learning_rate": 4.250050505050506e-06, + "loss": 6.4656929016113285, + "step": 15850 + }, + { + "epoch": 0.15855, + "grad_norm": 4.062755584716797, + "learning_rate": 4.2497979797979795e-06, + "loss": 6.459420776367187, + "step": 15855 + }, + { + "epoch": 0.1586, + "grad_norm": 4.40252685546875, + "learning_rate": 4.249545454545455e-06, + "loss": 6.4105064392089846, + "step": 15860 + }, + { + "epoch": 0.15865, + "grad_norm": 4.899846076965332, + "learning_rate": 4.24929292929293e-06, + "loss": 6.432331848144531, + "step": 15865 + }, + { + "epoch": 0.1587, + "grad_norm": 5.257704257965088, + "learning_rate": 4.249040404040404e-06, + "loss": 6.46602783203125, + "step": 15870 + }, + { + "epoch": 0.15875, + "grad_norm": 7.245583534240723, + "learning_rate": 4.248787878787879e-06, + "loss": 6.464693450927735, + "step": 15875 + }, + { + "epoch": 0.1588, + "grad_norm": 3.1377813816070557, + "learning_rate": 4.248535353535354e-06, + "loss": 6.447336578369141, + "step": 15880 + }, + { + "epoch": 0.15885, + "grad_norm": 7.206132888793945, + "learning_rate": 4.248282828282829e-06, + "loss": 6.431194305419922, + "step": 15885 + }, + { + "epoch": 0.1589, + "grad_norm": 4.869760990142822, + "learning_rate": 4.248030303030304e-06, + "loss": 6.476543426513672, + "step": 15890 + }, + { + "epoch": 0.15895, + "grad_norm": 3.3923707008361816, + "learning_rate": 4.247777777777778e-06, + "loss": 6.49322509765625, + "step": 15895 + }, + { + "epoch": 0.159, + "grad_norm": 5.229952812194824, + "learning_rate": 4.247525252525253e-06, + "loss": 6.600070190429688, + "step": 15900 + }, + { + "epoch": 0.15905, + "grad_norm": 5.926819324493408, + "learning_rate": 4.2472727272727275e-06, + "loss": 6.485419464111328, + "step": 15905 + }, + { + "epoch": 0.1591, + "grad_norm": 4.104551792144775, + "learning_rate": 4.247020202020202e-06, + "loss": 6.436927795410156, + "step": 15910 + }, + { + "epoch": 0.15915, + "grad_norm": 6.449350357055664, + "learning_rate": 4.246767676767677e-06, + "loss": 6.429209136962891, + "step": 15915 + }, + { + "epoch": 0.1592, + "grad_norm": 4.858819961547852, + "learning_rate": 4.246515151515152e-06, + "loss": 6.492255401611328, + "step": 15920 + }, + { + "epoch": 0.15925, + "grad_norm": 6.511256694793701, + "learning_rate": 4.246262626262627e-06, + "loss": 6.427235412597656, + "step": 15925 + }, + { + "epoch": 0.1593, + "grad_norm": 11.22827434539795, + "learning_rate": 4.2460101010101015e-06, + "loss": 6.5309288024902346, + "step": 15930 + }, + { + "epoch": 0.15935, + "grad_norm": 2.253542423248291, + "learning_rate": 4.245757575757576e-06, + "loss": 6.505329895019531, + "step": 15935 + }, + { + "epoch": 0.1594, + "grad_norm": 3.4731669425964355, + "learning_rate": 4.245505050505051e-06, + "loss": 6.468534088134765, + "step": 15940 + }, + { + "epoch": 0.15945, + "grad_norm": 7.399446487426758, + "learning_rate": 4.245252525252525e-06, + "loss": 6.4223175048828125, + "step": 15945 + }, + { + "epoch": 0.1595, + "grad_norm": 5.531643867492676, + "learning_rate": 4.245e-06, + "loss": 6.480675506591797, + "step": 15950 + }, + { + "epoch": 0.15955, + "grad_norm": 3.969433069229126, + "learning_rate": 4.244747474747475e-06, + "loss": 6.410305023193359, + "step": 15955 + }, + { + "epoch": 0.1596, + "grad_norm": 5.107474327087402, + "learning_rate": 4.24449494949495e-06, + "loss": 6.411351013183594, + "step": 15960 + }, + { + "epoch": 0.15965, + "grad_norm": 3.7712581157684326, + "learning_rate": 4.244242424242425e-06, + "loss": 6.4707489013671875, + "step": 15965 + }, + { + "epoch": 0.1597, + "grad_norm": 4.941935062408447, + "learning_rate": 4.243989898989899e-06, + "loss": 6.427676391601563, + "step": 15970 + }, + { + "epoch": 0.15975, + "grad_norm": 4.40817403793335, + "learning_rate": 4.243737373737374e-06, + "loss": 6.438856506347657, + "step": 15975 + }, + { + "epoch": 0.1598, + "grad_norm": 3.7497217655181885, + "learning_rate": 4.243484848484849e-06, + "loss": 6.443362426757813, + "step": 15980 + }, + { + "epoch": 0.15985, + "grad_norm": 3.2543506622314453, + "learning_rate": 4.243232323232323e-06, + "loss": 6.457855987548828, + "step": 15985 + }, + { + "epoch": 0.1599, + "grad_norm": 6.414821147918701, + "learning_rate": 4.242979797979798e-06, + "loss": 6.4006591796875, + "step": 15990 + }, + { + "epoch": 0.15995, + "grad_norm": 4.551130771636963, + "learning_rate": 4.2427272727272725e-06, + "loss": 6.426502990722656, + "step": 15995 + }, + { + "epoch": 0.16, + "grad_norm": 5.783714771270752, + "learning_rate": 4.242474747474748e-06, + "loss": 6.468351745605469, + "step": 16000 + }, + { + "epoch": 0.16005, + "grad_norm": 2.406008243560791, + "learning_rate": 4.242222222222223e-06, + "loss": 6.443050384521484, + "step": 16005 + }, + { + "epoch": 0.1601, + "grad_norm": 10.063053131103516, + "learning_rate": 4.241969696969697e-06, + "loss": 6.442817687988281, + "step": 16010 + }, + { + "epoch": 0.16015, + "grad_norm": 3.2604401111602783, + "learning_rate": 4.241717171717172e-06, + "loss": 6.50952377319336, + "step": 16015 + }, + { + "epoch": 0.1602, + "grad_norm": 5.585784912109375, + "learning_rate": 4.2414646464646465e-06, + "loss": 6.365631103515625, + "step": 16020 + }, + { + "epoch": 0.16025, + "grad_norm": 4.35003662109375, + "learning_rate": 4.241212121212121e-06, + "loss": 6.465089416503906, + "step": 16025 + }, + { + "epoch": 0.1603, + "grad_norm": 2.479652166366577, + "learning_rate": 4.240959595959596e-06, + "loss": 6.496056365966797, + "step": 16030 + }, + { + "epoch": 0.16035, + "grad_norm": 4.349809646606445, + "learning_rate": 4.240707070707071e-06, + "loss": 6.424103546142578, + "step": 16035 + }, + { + "epoch": 0.1604, + "grad_norm": 5.36475944519043, + "learning_rate": 4.240454545454546e-06, + "loss": 6.509464263916016, + "step": 16040 + }, + { + "epoch": 0.16045, + "grad_norm": 4.1829915046691895, + "learning_rate": 4.2402020202020205e-06, + "loss": 6.462553405761719, + "step": 16045 + }, + { + "epoch": 0.1605, + "grad_norm": 7.2911481857299805, + "learning_rate": 4.239949494949495e-06, + "loss": 6.483542633056641, + "step": 16050 + }, + { + "epoch": 0.16055, + "grad_norm": 3.8825504779815674, + "learning_rate": 4.239696969696971e-06, + "loss": 6.458918762207031, + "step": 16055 + }, + { + "epoch": 0.1606, + "grad_norm": 3.251694679260254, + "learning_rate": 4.239444444444445e-06, + "loss": 6.447150421142578, + "step": 16060 + }, + { + "epoch": 0.16065, + "grad_norm": 3.755464792251587, + "learning_rate": 4.23919191919192e-06, + "loss": 6.4382484436035154, + "step": 16065 + }, + { + "epoch": 0.1607, + "grad_norm": 4.762530326843262, + "learning_rate": 4.2389393939393945e-06, + "loss": 6.448199462890625, + "step": 16070 + }, + { + "epoch": 0.16075, + "grad_norm": 2.7810277938842773, + "learning_rate": 4.238686868686869e-06, + "loss": 6.489947509765625, + "step": 16075 + }, + { + "epoch": 0.1608, + "grad_norm": 4.165729522705078, + "learning_rate": 4.238434343434344e-06, + "loss": 6.441806793212891, + "step": 16080 + }, + { + "epoch": 0.16085, + "grad_norm": 3.935276985168457, + "learning_rate": 4.238181818181818e-06, + "loss": 6.470269775390625, + "step": 16085 + }, + { + "epoch": 0.1609, + "grad_norm": 4.503995418548584, + "learning_rate": 4.237929292929293e-06, + "loss": 6.4163330078125, + "step": 16090 + }, + { + "epoch": 0.16095, + "grad_norm": 3.801670789718628, + "learning_rate": 4.2376767676767685e-06, + "loss": 6.395263290405273, + "step": 16095 + }, + { + "epoch": 0.161, + "grad_norm": 7.7292914390563965, + "learning_rate": 4.237424242424243e-06, + "loss": 6.516740417480468, + "step": 16100 + }, + { + "epoch": 0.16105, + "grad_norm": 6.423474311828613, + "learning_rate": 4.237171717171718e-06, + "loss": 6.4338432312011715, + "step": 16105 + }, + { + "epoch": 0.1611, + "grad_norm": 5.955942153930664, + "learning_rate": 4.236919191919192e-06, + "loss": 6.4390716552734375, + "step": 16110 + }, + { + "epoch": 0.16115, + "grad_norm": 4.293849945068359, + "learning_rate": 4.236666666666667e-06, + "loss": 6.424281311035156, + "step": 16115 + }, + { + "epoch": 0.1612, + "grad_norm": 2.4379286766052246, + "learning_rate": 4.236414141414142e-06, + "loss": 6.511492919921875, + "step": 16120 + }, + { + "epoch": 0.16125, + "grad_norm": 4.320854187011719, + "learning_rate": 4.236161616161616e-06, + "loss": 6.437481689453125, + "step": 16125 + }, + { + "epoch": 0.1613, + "grad_norm": 4.887234210968018, + "learning_rate": 4.235909090909091e-06, + "loss": 6.466165161132812, + "step": 16130 + }, + { + "epoch": 0.16135, + "grad_norm": 3.7911219596862793, + "learning_rate": 4.235656565656566e-06, + "loss": 6.4869636535644535, + "step": 16135 + }, + { + "epoch": 0.1614, + "grad_norm": 2.759038209915161, + "learning_rate": 4.235404040404041e-06, + "loss": 6.481079864501953, + "step": 16140 + }, + { + "epoch": 0.16145, + "grad_norm": 4.109643936157227, + "learning_rate": 4.235151515151516e-06, + "loss": 6.435280609130859, + "step": 16145 + }, + { + "epoch": 0.1615, + "grad_norm": 4.310450077056885, + "learning_rate": 4.23489898989899e-06, + "loss": 6.439903259277344, + "step": 16150 + }, + { + "epoch": 0.16155, + "grad_norm": 3.872220277786255, + "learning_rate": 4.234646464646465e-06, + "loss": 6.4138938903808596, + "step": 16155 + }, + { + "epoch": 0.1616, + "grad_norm": 5.182963848114014, + "learning_rate": 4.2343939393939396e-06, + "loss": 6.544090270996094, + "step": 16160 + }, + { + "epoch": 0.16165, + "grad_norm": 3.5009608268737793, + "learning_rate": 4.234141414141414e-06, + "loss": 6.46972885131836, + "step": 16165 + }, + { + "epoch": 0.1617, + "grad_norm": 4.864871501922607, + "learning_rate": 4.233888888888889e-06, + "loss": 6.4555107116699215, + "step": 16170 + }, + { + "epoch": 0.16175, + "grad_norm": 3.036008596420288, + "learning_rate": 4.233636363636364e-06, + "loss": 6.42877197265625, + "step": 16175 + }, + { + "epoch": 0.1618, + "grad_norm": 11.388215065002441, + "learning_rate": 4.233383838383839e-06, + "loss": 6.619580078125, + "step": 16180 + }, + { + "epoch": 0.16185, + "grad_norm": 4.7118048667907715, + "learning_rate": 4.2331313131313136e-06, + "loss": 6.42541275024414, + "step": 16185 + }, + { + "epoch": 0.1619, + "grad_norm": 23.974830627441406, + "learning_rate": 4.232878787878788e-06, + "loss": 6.428492736816406, + "step": 16190 + }, + { + "epoch": 0.16195, + "grad_norm": 14.154603958129883, + "learning_rate": 4.232626262626263e-06, + "loss": 5.733763885498047, + "step": 16195 + }, + { + "epoch": 0.162, + "grad_norm": 19.878480911254883, + "learning_rate": 4.2323737373737374e-06, + "loss": 5.483457946777344, + "step": 16200 + }, + { + "epoch": 0.16205, + "grad_norm": 7.669607162475586, + "learning_rate": 4.232121212121212e-06, + "loss": 6.450257110595703, + "step": 16205 + }, + { + "epoch": 0.1621, + "grad_norm": 7.47354793548584, + "learning_rate": 4.231868686868687e-06, + "loss": 6.644809722900391, + "step": 16210 + }, + { + "epoch": 0.16215, + "grad_norm": 6.442617416381836, + "learning_rate": 4.231616161616162e-06, + "loss": 6.458718109130859, + "step": 16215 + }, + { + "epoch": 0.1622, + "grad_norm": 5.833910942077637, + "learning_rate": 4.231363636363637e-06, + "loss": 6.422599792480469, + "step": 16220 + }, + { + "epoch": 0.16225, + "grad_norm": 7.300108909606934, + "learning_rate": 4.2311111111111114e-06, + "loss": 6.402127075195312, + "step": 16225 + }, + { + "epoch": 0.1623, + "grad_norm": 3.6949117183685303, + "learning_rate": 4.230858585858586e-06, + "loss": 6.414455413818359, + "step": 16230 + }, + { + "epoch": 0.16235, + "grad_norm": 19.971410751342773, + "learning_rate": 4.2306060606060616e-06, + "loss": 6.355553436279297, + "step": 16235 + }, + { + "epoch": 0.1624, + "grad_norm": 6.709630489349365, + "learning_rate": 4.230353535353536e-06, + "loss": 6.310438919067383, + "step": 16240 + }, + { + "epoch": 0.16245, + "grad_norm": 4.709168434143066, + "learning_rate": 4.23010101010101e-06, + "loss": 6.455739593505859, + "step": 16245 + }, + { + "epoch": 0.1625, + "grad_norm": 4.906622409820557, + "learning_rate": 4.229848484848485e-06, + "loss": 6.443818664550781, + "step": 16250 + }, + { + "epoch": 0.16255, + "grad_norm": 6.273735523223877, + "learning_rate": 4.22959595959596e-06, + "loss": 6.441227722167969, + "step": 16255 + }, + { + "epoch": 0.1626, + "grad_norm": 4.77756929397583, + "learning_rate": 4.229343434343435e-06, + "loss": 6.433401489257813, + "step": 16260 + }, + { + "epoch": 0.16265, + "grad_norm": 6.260764122009277, + "learning_rate": 4.229090909090909e-06, + "loss": 6.4640869140625, + "step": 16265 + }, + { + "epoch": 0.1627, + "grad_norm": 5.687631607055664, + "learning_rate": 4.228838383838384e-06, + "loss": 6.535980224609375, + "step": 16270 + }, + { + "epoch": 0.16275, + "grad_norm": 10.759283065795898, + "learning_rate": 4.2285858585858594e-06, + "loss": 6.4888359069824215, + "step": 16275 + }, + { + "epoch": 0.1628, + "grad_norm": 9.458077430725098, + "learning_rate": 4.228333333333334e-06, + "loss": 6.507443237304687, + "step": 16280 + }, + { + "epoch": 0.16285, + "grad_norm": 5.979526042938232, + "learning_rate": 4.228080808080809e-06, + "loss": 6.38446044921875, + "step": 16285 + }, + { + "epoch": 0.1629, + "grad_norm": 18.028772354125977, + "learning_rate": 4.227828282828283e-06, + "loss": 6.341520309448242, + "step": 16290 + }, + { + "epoch": 0.16295, + "grad_norm": 6.105372905731201, + "learning_rate": 4.227575757575758e-06, + "loss": 6.422767639160156, + "step": 16295 + }, + { + "epoch": 0.163, + "grad_norm": 3.7926185131073, + "learning_rate": 4.227323232323233e-06, + "loss": 6.500867462158203, + "step": 16300 + }, + { + "epoch": 0.16305, + "grad_norm": 5.025500774383545, + "learning_rate": 4.227070707070707e-06, + "loss": 6.442127990722656, + "step": 16305 + }, + { + "epoch": 0.1631, + "grad_norm": 7.424211502075195, + "learning_rate": 4.226818181818182e-06, + "loss": 6.457170867919922, + "step": 16310 + }, + { + "epoch": 0.16315, + "grad_norm": 4.195115566253662, + "learning_rate": 4.226565656565657e-06, + "loss": 6.412262725830078, + "step": 16315 + }, + { + "epoch": 0.1632, + "grad_norm": 4.0624494552612305, + "learning_rate": 4.226313131313132e-06, + "loss": 6.422985076904297, + "step": 16320 + }, + { + "epoch": 0.16325, + "grad_norm": 6.469831466674805, + "learning_rate": 4.226060606060607e-06, + "loss": 6.4789482116699215, + "step": 16325 + }, + { + "epoch": 0.1633, + "grad_norm": 6.715437412261963, + "learning_rate": 4.225808080808081e-06, + "loss": 6.409690856933594, + "step": 16330 + }, + { + "epoch": 0.16335, + "grad_norm": 2.799893379211426, + "learning_rate": 4.225555555555556e-06, + "loss": 6.52038345336914, + "step": 16335 + }, + { + "epoch": 0.1634, + "grad_norm": 4.6705241203308105, + "learning_rate": 4.2253030303030305e-06, + "loss": 6.38519515991211, + "step": 16340 + }, + { + "epoch": 0.16345, + "grad_norm": 3.5847480297088623, + "learning_rate": 4.225050505050505e-06, + "loss": 6.457364654541015, + "step": 16345 + }, + { + "epoch": 0.1635, + "grad_norm": 4.613053798675537, + "learning_rate": 4.22479797979798e-06, + "loss": 6.430731201171875, + "step": 16350 + }, + { + "epoch": 0.16355, + "grad_norm": 3.464993476867676, + "learning_rate": 4.224545454545455e-06, + "loss": 6.417494201660157, + "step": 16355 + }, + { + "epoch": 0.1636, + "grad_norm": 5.135258197784424, + "learning_rate": 4.22429292929293e-06, + "loss": 6.408103179931641, + "step": 16360 + }, + { + "epoch": 0.16365, + "grad_norm": 4.050636291503906, + "learning_rate": 4.2240404040404045e-06, + "loss": 6.46990966796875, + "step": 16365 + }, + { + "epoch": 0.1637, + "grad_norm": 6.1001667976379395, + "learning_rate": 4.223787878787879e-06, + "loss": 6.467813873291016, + "step": 16370 + }, + { + "epoch": 0.16375, + "grad_norm": 16.962297439575195, + "learning_rate": 4.223535353535354e-06, + "loss": 6.569458770751953, + "step": 16375 + }, + { + "epoch": 0.1638, + "grad_norm": 6.115970611572266, + "learning_rate": 4.223282828282828e-06, + "loss": 6.472386169433594, + "step": 16380 + }, + { + "epoch": 0.16385, + "grad_norm": 4.759397983551025, + "learning_rate": 4.223030303030303e-06, + "loss": 6.567878723144531, + "step": 16385 + }, + { + "epoch": 0.1639, + "grad_norm": 6.329344749450684, + "learning_rate": 4.222777777777778e-06, + "loss": 6.429273223876953, + "step": 16390 + }, + { + "epoch": 0.16395, + "grad_norm": 3.9045960903167725, + "learning_rate": 4.222525252525253e-06, + "loss": 6.453604888916016, + "step": 16395 + }, + { + "epoch": 0.164, + "grad_norm": 5.703576564788818, + "learning_rate": 4.222272727272728e-06, + "loss": 6.397611236572265, + "step": 16400 + }, + { + "epoch": 0.16405, + "grad_norm": 6.27435827255249, + "learning_rate": 4.222020202020202e-06, + "loss": 6.600962829589844, + "step": 16405 + }, + { + "epoch": 0.1641, + "grad_norm": 3.1268818378448486, + "learning_rate": 4.221767676767677e-06, + "loss": 6.422604370117187, + "step": 16410 + }, + { + "epoch": 0.16415, + "grad_norm": 7.610786437988281, + "learning_rate": 4.221515151515152e-06, + "loss": 6.395438766479492, + "step": 16415 + }, + { + "epoch": 0.1642, + "grad_norm": 5.743587493896484, + "learning_rate": 4.221262626262626e-06, + "loss": 6.492610931396484, + "step": 16420 + }, + { + "epoch": 0.16425, + "grad_norm": 3.787879467010498, + "learning_rate": 4.221010101010101e-06, + "loss": 6.3909423828125, + "step": 16425 + }, + { + "epoch": 0.1643, + "grad_norm": 3.1085855960845947, + "learning_rate": 4.2207575757575755e-06, + "loss": 6.434197998046875, + "step": 16430 + }, + { + "epoch": 0.16435, + "grad_norm": 5.400134563446045, + "learning_rate": 4.220505050505051e-06, + "loss": 6.434619903564453, + "step": 16435 + }, + { + "epoch": 0.1644, + "grad_norm": 5.58909273147583, + "learning_rate": 4.220252525252526e-06, + "loss": 6.423196411132812, + "step": 16440 + }, + { + "epoch": 0.16445, + "grad_norm": 3.8947064876556396, + "learning_rate": 4.22e-06, + "loss": 6.438726806640625, + "step": 16445 + }, + { + "epoch": 0.1645, + "grad_norm": 6.359738349914551, + "learning_rate": 4.219747474747476e-06, + "loss": 6.455271911621094, + "step": 16450 + }, + { + "epoch": 0.16455, + "grad_norm": 3.528735637664795, + "learning_rate": 4.21949494949495e-06, + "loss": 6.377635955810547, + "step": 16455 + }, + { + "epoch": 0.1646, + "grad_norm": 5.543984889984131, + "learning_rate": 4.219242424242425e-06, + "loss": 6.423641204833984, + "step": 16460 + }, + { + "epoch": 0.16465, + "grad_norm": 3.6377551555633545, + "learning_rate": 4.218989898989899e-06, + "loss": 6.395376968383789, + "step": 16465 + }, + { + "epoch": 0.1647, + "grad_norm": 5.678615093231201, + "learning_rate": 4.218737373737374e-06, + "loss": 6.425778198242187, + "step": 16470 + }, + { + "epoch": 0.16475, + "grad_norm": 5.990975856781006, + "learning_rate": 4.218484848484849e-06, + "loss": 6.44583740234375, + "step": 16475 + }, + { + "epoch": 0.1648, + "grad_norm": 4.143665790557861, + "learning_rate": 4.2182323232323235e-06, + "loss": 6.431034088134766, + "step": 16480 + }, + { + "epoch": 0.16485, + "grad_norm": 4.261204719543457, + "learning_rate": 4.217979797979798e-06, + "loss": 6.540504455566406, + "step": 16485 + }, + { + "epoch": 0.1649, + "grad_norm": 7.385230541229248, + "learning_rate": 4.217727272727274e-06, + "loss": 6.517402648925781, + "step": 16490 + }, + { + "epoch": 0.16495, + "grad_norm": 2.9505698680877686, + "learning_rate": 4.217474747474748e-06, + "loss": 6.397237396240234, + "step": 16495 + }, + { + "epoch": 0.165, + "grad_norm": 6.0776848793029785, + "learning_rate": 4.217222222222223e-06, + "loss": 6.448817443847656, + "step": 16500 + }, + { + "epoch": 0.16505, + "grad_norm": 3.2803962230682373, + "learning_rate": 4.2169696969696975e-06, + "loss": 6.691989135742188, + "step": 16505 + }, + { + "epoch": 0.1651, + "grad_norm": 6.6952738761901855, + "learning_rate": 4.216717171717172e-06, + "loss": 6.415699768066406, + "step": 16510 + }, + { + "epoch": 0.16515, + "grad_norm": 4.204198837280273, + "learning_rate": 4.216464646464647e-06, + "loss": 6.425327301025391, + "step": 16515 + }, + { + "epoch": 0.1652, + "grad_norm": 2.6166863441467285, + "learning_rate": 4.216212121212121e-06, + "loss": 6.437786865234375, + "step": 16520 + }, + { + "epoch": 0.16525, + "grad_norm": 5.264849662780762, + "learning_rate": 4.215959595959596e-06, + "loss": 6.4240478515625, + "step": 16525 + }, + { + "epoch": 0.1653, + "grad_norm": 5.0223541259765625, + "learning_rate": 4.2157070707070715e-06, + "loss": 6.4648796081542965, + "step": 16530 + }, + { + "epoch": 0.16535, + "grad_norm": 3.013516902923584, + "learning_rate": 4.215454545454546e-06, + "loss": 6.4239501953125, + "step": 16535 + }, + { + "epoch": 0.1654, + "grad_norm": 3.243837833404541, + "learning_rate": 4.215202020202021e-06, + "loss": 6.460826873779297, + "step": 16540 + }, + { + "epoch": 0.16545, + "grad_norm": 3.9929494857788086, + "learning_rate": 4.214949494949495e-06, + "loss": 6.456593322753906, + "step": 16545 + }, + { + "epoch": 0.1655, + "grad_norm": 4.792909622192383, + "learning_rate": 4.21469696969697e-06, + "loss": 6.432769012451172, + "step": 16550 + }, + { + "epoch": 0.16555, + "grad_norm": 2.9042487144470215, + "learning_rate": 4.214444444444445e-06, + "loss": 6.412268829345703, + "step": 16555 + }, + { + "epoch": 0.1656, + "grad_norm": 4.825240612030029, + "learning_rate": 4.214191919191919e-06, + "loss": 6.461263275146484, + "step": 16560 + }, + { + "epoch": 0.16565, + "grad_norm": 4.655351161956787, + "learning_rate": 4.213939393939394e-06, + "loss": 6.40477294921875, + "step": 16565 + }, + { + "epoch": 0.1657, + "grad_norm": 5.673925399780273, + "learning_rate": 4.213686868686869e-06, + "loss": 6.397513961791992, + "step": 16570 + }, + { + "epoch": 0.16575, + "grad_norm": 4.848138809204102, + "learning_rate": 4.213434343434344e-06, + "loss": 6.403958129882812, + "step": 16575 + }, + { + "epoch": 0.1658, + "grad_norm": 3.40531325340271, + "learning_rate": 4.213181818181819e-06, + "loss": 6.418567657470703, + "step": 16580 + }, + { + "epoch": 0.16585, + "grad_norm": 5.7261176109313965, + "learning_rate": 4.212929292929293e-06, + "loss": 6.472645568847656, + "step": 16585 + }, + { + "epoch": 0.1659, + "grad_norm": 4.942929267883301, + "learning_rate": 4.212676767676768e-06, + "loss": 6.542838287353516, + "step": 16590 + }, + { + "epoch": 0.16595, + "grad_norm": 7.8102030754089355, + "learning_rate": 4.2124242424242425e-06, + "loss": 6.411373901367187, + "step": 16595 + }, + { + "epoch": 0.166, + "grad_norm": 5.693139553070068, + "learning_rate": 4.212171717171717e-06, + "loss": 6.39751091003418, + "step": 16600 + }, + { + "epoch": 0.16605, + "grad_norm": 4.0060296058654785, + "learning_rate": 4.211919191919192e-06, + "loss": 6.429615783691406, + "step": 16605 + }, + { + "epoch": 0.1661, + "grad_norm": 3.6315958499908447, + "learning_rate": 4.211666666666667e-06, + "loss": 6.361412429809571, + "step": 16610 + }, + { + "epoch": 0.16615, + "grad_norm": 4.41163444519043, + "learning_rate": 4.211414141414142e-06, + "loss": 6.422952270507812, + "step": 16615 + }, + { + "epoch": 0.1662, + "grad_norm": 3.4001805782318115, + "learning_rate": 4.2111616161616165e-06, + "loss": 6.464498901367188, + "step": 16620 + }, + { + "epoch": 0.16625, + "grad_norm": 6.489120960235596, + "learning_rate": 4.210909090909091e-06, + "loss": 6.366706085205078, + "step": 16625 + }, + { + "epoch": 0.1663, + "grad_norm": 3.466364622116089, + "learning_rate": 4.210656565656566e-06, + "loss": 6.416133117675781, + "step": 16630 + }, + { + "epoch": 0.16635, + "grad_norm": 3.7080860137939453, + "learning_rate": 4.2104040404040404e-06, + "loss": 6.393110656738282, + "step": 16635 + }, + { + "epoch": 0.1664, + "grad_norm": 2.685086727142334, + "learning_rate": 4.210151515151515e-06, + "loss": 6.409326171875, + "step": 16640 + }, + { + "epoch": 0.16645, + "grad_norm": 6.166691780090332, + "learning_rate": 4.20989898989899e-06, + "loss": 6.438764190673828, + "step": 16645 + }, + { + "epoch": 0.1665, + "grad_norm": 2.764755964279175, + "learning_rate": 4.209646464646465e-06, + "loss": 6.452267456054687, + "step": 16650 + }, + { + "epoch": 0.16655, + "grad_norm": 6.233506202697754, + "learning_rate": 4.20939393939394e-06, + "loss": 6.4062744140625, + "step": 16655 + }, + { + "epoch": 0.1666, + "grad_norm": 22.86174201965332, + "learning_rate": 4.2091414141414144e-06, + "loss": 6.593110656738281, + "step": 16660 + }, + { + "epoch": 0.16665, + "grad_norm": 4.848666191101074, + "learning_rate": 4.208888888888889e-06, + "loss": 6.4826301574707035, + "step": 16665 + }, + { + "epoch": 0.1667, + "grad_norm": 4.253280162811279, + "learning_rate": 4.2086363636363645e-06, + "loss": 6.425471496582031, + "step": 16670 + }, + { + "epoch": 0.16675, + "grad_norm": 7.824203968048096, + "learning_rate": 4.208383838383839e-06, + "loss": 6.325553131103516, + "step": 16675 + }, + { + "epoch": 0.1668, + "grad_norm": 3.3523967266082764, + "learning_rate": 4.208131313131314e-06, + "loss": 6.446279907226563, + "step": 16680 + }, + { + "epoch": 0.16685, + "grad_norm": 3.283317804336548, + "learning_rate": 4.2078787878787884e-06, + "loss": 6.469338989257812, + "step": 16685 + }, + { + "epoch": 0.1669, + "grad_norm": 2.6600000858306885, + "learning_rate": 4.207626262626263e-06, + "loss": 6.399596405029297, + "step": 16690 + }, + { + "epoch": 0.16695, + "grad_norm": 8.969189643859863, + "learning_rate": 4.207373737373738e-06, + "loss": 6.5745361328125, + "step": 16695 + }, + { + "epoch": 0.167, + "grad_norm": 2.7679190635681152, + "learning_rate": 4.207121212121212e-06, + "loss": 6.4103271484375, + "step": 16700 + }, + { + "epoch": 0.16705, + "grad_norm": 4.022441864013672, + "learning_rate": 4.206868686868687e-06, + "loss": 6.421254730224609, + "step": 16705 + }, + { + "epoch": 0.1671, + "grad_norm": 2.6387112140655518, + "learning_rate": 4.2066161616161624e-06, + "loss": 6.412324523925781, + "step": 16710 + }, + { + "epoch": 0.16715, + "grad_norm": 5.649288654327393, + "learning_rate": 4.206363636363637e-06, + "loss": 6.423363494873047, + "step": 16715 + }, + { + "epoch": 0.1672, + "grad_norm": 11.844217300415039, + "learning_rate": 4.206111111111112e-06, + "loss": 6.355509567260742, + "step": 16720 + }, + { + "epoch": 0.16725, + "grad_norm": 18.722537994384766, + "learning_rate": 4.205858585858586e-06, + "loss": 6.233999633789063, + "step": 16725 + }, + { + "epoch": 0.1673, + "grad_norm": 3.016089916229248, + "learning_rate": 4.205606060606061e-06, + "loss": 6.463859558105469, + "step": 16730 + }, + { + "epoch": 0.16735, + "grad_norm": 3.5590295791625977, + "learning_rate": 4.2053535353535356e-06, + "loss": 6.446290588378906, + "step": 16735 + }, + { + "epoch": 0.1674, + "grad_norm": 4.0839338302612305, + "learning_rate": 4.20510101010101e-06, + "loss": 6.398403167724609, + "step": 16740 + }, + { + "epoch": 0.16745, + "grad_norm": 4.5346856117248535, + "learning_rate": 4.204848484848485e-06, + "loss": 6.474373626708984, + "step": 16745 + }, + { + "epoch": 0.1675, + "grad_norm": 6.564062118530273, + "learning_rate": 4.20459595959596e-06, + "loss": 6.395368576049805, + "step": 16750 + }, + { + "epoch": 0.16755, + "grad_norm": 8.376795768737793, + "learning_rate": 4.204343434343435e-06, + "loss": 6.430104064941406, + "step": 16755 + }, + { + "epoch": 0.1676, + "grad_norm": 22.471263885498047, + "learning_rate": 4.2040909090909096e-06, + "loss": 6.042660522460937, + "step": 16760 + }, + { + "epoch": 0.16765, + "grad_norm": 14.265641212463379, + "learning_rate": 4.203838383838384e-06, + "loss": 5.460973739624023, + "step": 16765 + }, + { + "epoch": 0.1677, + "grad_norm": 16.555116653442383, + "learning_rate": 4.203585858585859e-06, + "loss": 5.206225204467773, + "step": 16770 + }, + { + "epoch": 0.16775, + "grad_norm": 12.322586059570312, + "learning_rate": 4.2033333333333335e-06, + "loss": 5.089409637451172, + "step": 16775 + }, + { + "epoch": 0.1678, + "grad_norm": 14.999155044555664, + "learning_rate": 4.203080808080808e-06, + "loss": 5.152135848999023, + "step": 16780 + }, + { + "epoch": 0.16785, + "grad_norm": 13.250843048095703, + "learning_rate": 4.202828282828283e-06, + "loss": 5.19085464477539, + "step": 16785 + }, + { + "epoch": 0.1679, + "grad_norm": 11.851985931396484, + "learning_rate": 4.202575757575758e-06, + "loss": 5.205342864990234, + "step": 16790 + }, + { + "epoch": 0.16795, + "grad_norm": 17.398193359375, + "learning_rate": 4.202323232323233e-06, + "loss": 5.029646301269532, + "step": 16795 + }, + { + "epoch": 0.168, + "grad_norm": 11.01009464263916, + "learning_rate": 4.2020707070707075e-06, + "loss": 4.7829338073730465, + "step": 16800 + }, + { + "epoch": 0.16805, + "grad_norm": 17.41663932800293, + "learning_rate": 4.201818181818182e-06, + "loss": 5.041512680053711, + "step": 16805 + }, + { + "epoch": 0.1681, + "grad_norm": 7.868896007537842, + "learning_rate": 4.201565656565657e-06, + "loss": 5.04722900390625, + "step": 16810 + }, + { + "epoch": 0.16815, + "grad_norm": 11.509933471679688, + "learning_rate": 4.201313131313131e-06, + "loss": 4.91136474609375, + "step": 16815 + }, + { + "epoch": 0.1682, + "grad_norm": 13.429520606994629, + "learning_rate": 4.201060606060606e-06, + "loss": 5.026221466064453, + "step": 16820 + }, + { + "epoch": 0.16825, + "grad_norm": 10.728781700134277, + "learning_rate": 4.200808080808081e-06, + "loss": 5.033795166015625, + "step": 16825 + }, + { + "epoch": 0.1683, + "grad_norm": 14.340149879455566, + "learning_rate": 4.200555555555556e-06, + "loss": 5.0122325897216795, + "step": 16830 + }, + { + "epoch": 0.16835, + "grad_norm": 9.439867973327637, + "learning_rate": 4.200303030303031e-06, + "loss": 4.954117202758789, + "step": 16835 + }, + { + "epoch": 0.1684, + "grad_norm": 14.598928451538086, + "learning_rate": 4.200050505050505e-06, + "loss": 5.096096038818359, + "step": 16840 + }, + { + "epoch": 0.16845, + "grad_norm": 7.051349639892578, + "learning_rate": 4.19979797979798e-06, + "loss": 5.180331039428711, + "step": 16845 + }, + { + "epoch": 0.1685, + "grad_norm": 11.347814559936523, + "learning_rate": 4.1995454545454555e-06, + "loss": 5.158349609375, + "step": 16850 + }, + { + "epoch": 0.16855, + "grad_norm": 11.40089225769043, + "learning_rate": 4.199292929292929e-06, + "loss": 4.920751571655273, + "step": 16855 + }, + { + "epoch": 0.1686, + "grad_norm": 9.11288070678711, + "learning_rate": 4.199040404040404e-06, + "loss": 4.822760009765625, + "step": 16860 + }, + { + "epoch": 0.16865, + "grad_norm": 12.327704429626465, + "learning_rate": 4.1987878787878785e-06, + "loss": 4.742352676391602, + "step": 16865 + }, + { + "epoch": 0.1687, + "grad_norm": 11.233525276184082, + "learning_rate": 4.198535353535354e-06, + "loss": 4.822747039794922, + "step": 16870 + }, + { + "epoch": 0.16875, + "grad_norm": 11.971772193908691, + "learning_rate": 4.198282828282829e-06, + "loss": 4.834860992431641, + "step": 16875 + }, + { + "epoch": 0.1688, + "grad_norm": 9.623886108398438, + "learning_rate": 4.198030303030303e-06, + "loss": 4.91375732421875, + "step": 16880 + }, + { + "epoch": 0.16885, + "grad_norm": 10.706768989562988, + "learning_rate": 4.197777777777779e-06, + "loss": 4.750580596923828, + "step": 16885 + }, + { + "epoch": 0.1689, + "grad_norm": 20.55947494506836, + "learning_rate": 4.197525252525253e-06, + "loss": 5.914939880371094, + "step": 16890 + }, + { + "epoch": 0.16895, + "grad_norm": 12.224813461303711, + "learning_rate": 4.197272727272728e-06, + "loss": 6.822359466552735, + "step": 16895 + }, + { + "epoch": 0.169, + "grad_norm": 10.106796264648438, + "learning_rate": 4.197020202020203e-06, + "loss": 6.5930328369140625, + "step": 16900 + }, + { + "epoch": 0.16905, + "grad_norm": 11.854436874389648, + "learning_rate": 4.196767676767677e-06, + "loss": 6.874118804931641, + "step": 16905 + }, + { + "epoch": 0.1691, + "grad_norm": 12.526688575744629, + "learning_rate": 4.196515151515152e-06, + "loss": 6.562670135498047, + "step": 16910 + }, + { + "epoch": 0.16915, + "grad_norm": 8.327079772949219, + "learning_rate": 4.1962626262626265e-06, + "loss": 6.549639129638672, + "step": 16915 + }, + { + "epoch": 0.1692, + "grad_norm": 15.654070854187012, + "learning_rate": 4.196010101010101e-06, + "loss": 6.556614685058594, + "step": 16920 + }, + { + "epoch": 0.16925, + "grad_norm": 14.302448272705078, + "learning_rate": 4.195757575757577e-06, + "loss": 6.5026802062988285, + "step": 16925 + }, + { + "epoch": 0.1693, + "grad_norm": 11.121437072753906, + "learning_rate": 4.195505050505051e-06, + "loss": 6.508833312988282, + "step": 16930 + }, + { + "epoch": 0.16935, + "grad_norm": 12.440268516540527, + "learning_rate": 4.195252525252526e-06, + "loss": 6.535239410400391, + "step": 16935 + }, + { + "epoch": 0.1694, + "grad_norm": 11.622078895568848, + "learning_rate": 4.1950000000000005e-06, + "loss": 6.572379302978516, + "step": 16940 + }, + { + "epoch": 0.16945, + "grad_norm": 9.849069595336914, + "learning_rate": 4.194747474747475e-06, + "loss": 6.552913665771484, + "step": 16945 + }, + { + "epoch": 0.1695, + "grad_norm": 9.711047172546387, + "learning_rate": 4.19449494949495e-06, + "loss": 6.705776214599609, + "step": 16950 + }, + { + "epoch": 0.16955, + "grad_norm": 8.60631275177002, + "learning_rate": 4.194242424242424e-06, + "loss": 6.5051429748535154, + "step": 16955 + }, + { + "epoch": 0.1696, + "grad_norm": 10.695279121398926, + "learning_rate": 4.193989898989899e-06, + "loss": 6.710808563232422, + "step": 16960 + }, + { + "epoch": 0.16965, + "grad_norm": 5.619162082672119, + "learning_rate": 4.1937373737373745e-06, + "loss": 6.575418090820312, + "step": 16965 + }, + { + "epoch": 0.1697, + "grad_norm": 10.238823890686035, + "learning_rate": 4.193484848484849e-06, + "loss": 6.506493377685547, + "step": 16970 + }, + { + "epoch": 0.16975, + "grad_norm": 12.84684944152832, + "learning_rate": 4.193232323232324e-06, + "loss": 6.530406188964844, + "step": 16975 + }, + { + "epoch": 0.1698, + "grad_norm": 9.53205394744873, + "learning_rate": 4.192979797979798e-06, + "loss": 6.5736236572265625, + "step": 16980 + }, + { + "epoch": 0.16985, + "grad_norm": 11.560309410095215, + "learning_rate": 4.192727272727273e-06, + "loss": 6.483158874511719, + "step": 16985 + }, + { + "epoch": 0.1699, + "grad_norm": 10.62267780303955, + "learning_rate": 4.192474747474748e-06, + "loss": 6.490876770019531, + "step": 16990 + }, + { + "epoch": 0.16995, + "grad_norm": 8.452971458435059, + "learning_rate": 4.192222222222222e-06, + "loss": 6.468659973144531, + "step": 16995 + }, + { + "epoch": 0.17, + "grad_norm": 10.7777738571167, + "learning_rate": 4.191969696969697e-06, + "loss": 6.47882080078125, + "step": 17000 + }, + { + "epoch": 0.17005, + "grad_norm": 9.507896423339844, + "learning_rate": 4.191717171717172e-06, + "loss": 6.477640533447266, + "step": 17005 + }, + { + "epoch": 0.1701, + "grad_norm": 10.258687973022461, + "learning_rate": 4.191464646464647e-06, + "loss": 6.466783142089843, + "step": 17010 + }, + { + "epoch": 0.17015, + "grad_norm": 7.577059745788574, + "learning_rate": 4.191212121212122e-06, + "loss": 6.554931640625, + "step": 17015 + }, + { + "epoch": 0.1702, + "grad_norm": 10.8995943069458, + "learning_rate": 4.190959595959596e-06, + "loss": 6.473652648925781, + "step": 17020 + }, + { + "epoch": 0.17025, + "grad_norm": 8.471739768981934, + "learning_rate": 4.190707070707071e-06, + "loss": 6.4854682922363285, + "step": 17025 + }, + { + "epoch": 0.1703, + "grad_norm": 10.117073059082031, + "learning_rate": 4.1904545454545455e-06, + "loss": 6.458444213867187, + "step": 17030 + }, + { + "epoch": 0.17035, + "grad_norm": 8.907591819763184, + "learning_rate": 4.19020202020202e-06, + "loss": 6.444873046875, + "step": 17035 + }, + { + "epoch": 0.1704, + "grad_norm": 9.194348335266113, + "learning_rate": 4.189949494949495e-06, + "loss": 6.454792022705078, + "step": 17040 + }, + { + "epoch": 0.17045, + "grad_norm": 8.759921073913574, + "learning_rate": 4.18969696969697e-06, + "loss": 6.51410140991211, + "step": 17045 + }, + { + "epoch": 0.1705, + "grad_norm": 9.898579597473145, + "learning_rate": 4.189444444444445e-06, + "loss": 6.442343139648438, + "step": 17050 + }, + { + "epoch": 0.17055, + "grad_norm": 8.211372375488281, + "learning_rate": 4.1891919191919195e-06, + "loss": 6.438838195800781, + "step": 17055 + }, + { + "epoch": 0.1706, + "grad_norm": 9.545480728149414, + "learning_rate": 4.188939393939394e-06, + "loss": 6.448329925537109, + "step": 17060 + }, + { + "epoch": 0.17065, + "grad_norm": 7.313986301422119, + "learning_rate": 4.18868686868687e-06, + "loss": 6.488162994384766, + "step": 17065 + }, + { + "epoch": 0.1707, + "grad_norm": 10.340070724487305, + "learning_rate": 4.188434343434344e-06, + "loss": 6.453190612792969, + "step": 17070 + }, + { + "epoch": 0.17075, + "grad_norm": 7.9209184646606445, + "learning_rate": 4.188181818181818e-06, + "loss": 6.419523620605469, + "step": 17075 + }, + { + "epoch": 0.1708, + "grad_norm": 4.9438605308532715, + "learning_rate": 4.187929292929293e-06, + "loss": 6.7833610534667965, + "step": 17080 + }, + { + "epoch": 0.17085, + "grad_norm": 9.614295959472656, + "learning_rate": 4.187676767676768e-06, + "loss": 6.460714721679688, + "step": 17085 + }, + { + "epoch": 0.1709, + "grad_norm": 6.835304260253906, + "learning_rate": 4.187424242424243e-06, + "loss": 6.426715087890625, + "step": 17090 + }, + { + "epoch": 0.17095, + "grad_norm": 7.65523099899292, + "learning_rate": 4.187171717171717e-06, + "loss": 6.445516204833984, + "step": 17095 + }, + { + "epoch": 0.171, + "grad_norm": 7.406911849975586, + "learning_rate": 4.186919191919192e-06, + "loss": 6.425837707519531, + "step": 17100 + }, + { + "epoch": 0.17105, + "grad_norm": 8.357217788696289, + "learning_rate": 4.1866666666666675e-06, + "loss": 6.390534210205078, + "step": 17105 + }, + { + "epoch": 0.1711, + "grad_norm": 7.785171985626221, + "learning_rate": 4.186414141414142e-06, + "loss": 6.419249725341797, + "step": 17110 + }, + { + "epoch": 0.17115, + "grad_norm": 9.406428337097168, + "learning_rate": 4.186161616161617e-06, + "loss": 6.485873413085938, + "step": 17115 + }, + { + "epoch": 0.1712, + "grad_norm": 7.082335948944092, + "learning_rate": 4.185909090909091e-06, + "loss": 6.437287139892578, + "step": 17120 + }, + { + "epoch": 0.17125, + "grad_norm": 6.526735305786133, + "learning_rate": 4.185656565656566e-06, + "loss": 6.41693344116211, + "step": 17125 + }, + { + "epoch": 0.1713, + "grad_norm": 5.555368423461914, + "learning_rate": 4.185404040404041e-06, + "loss": 6.420165252685547, + "step": 17130 + }, + { + "epoch": 0.17135, + "grad_norm": 7.253785133361816, + "learning_rate": 4.185151515151515e-06, + "loss": 6.431817626953125, + "step": 17135 + }, + { + "epoch": 0.1714, + "grad_norm": 13.742109298706055, + "learning_rate": 4.18489898989899e-06, + "loss": 6.399580001831055, + "step": 17140 + }, + { + "epoch": 0.17145, + "grad_norm": 6.071108818054199, + "learning_rate": 4.184646464646465e-06, + "loss": 6.417243957519531, + "step": 17145 + }, + { + "epoch": 0.1715, + "grad_norm": 5.235020160675049, + "learning_rate": 4.18439393939394e-06, + "loss": 6.481988525390625, + "step": 17150 + }, + { + "epoch": 0.17155, + "grad_norm": 5.20255184173584, + "learning_rate": 4.184141414141415e-06, + "loss": 6.4199981689453125, + "step": 17155 + }, + { + "epoch": 0.1716, + "grad_norm": 6.821967124938965, + "learning_rate": 4.183888888888889e-06, + "loss": 6.417259216308594, + "step": 17160 + }, + { + "epoch": 0.17165, + "grad_norm": 7.748119831085205, + "learning_rate": 4.183636363636364e-06, + "loss": 6.447384643554687, + "step": 17165 + }, + { + "epoch": 0.1717, + "grad_norm": 5.931854248046875, + "learning_rate": 4.1833838383838386e-06, + "loss": 6.413048553466797, + "step": 17170 + }, + { + "epoch": 0.17175, + "grad_norm": 8.45263385772705, + "learning_rate": 4.183131313131313e-06, + "loss": 6.531688690185547, + "step": 17175 + }, + { + "epoch": 0.1718, + "grad_norm": 5.919859886169434, + "learning_rate": 4.182878787878788e-06, + "loss": 6.547940063476562, + "step": 17180 + }, + { + "epoch": 0.17185, + "grad_norm": 6.635117530822754, + "learning_rate": 4.182626262626263e-06, + "loss": 6.45544662475586, + "step": 17185 + }, + { + "epoch": 0.1719, + "grad_norm": 18.976661682128906, + "learning_rate": 4.182373737373738e-06, + "loss": 6.5513458251953125, + "step": 17190 + }, + { + "epoch": 0.17195, + "grad_norm": 7.768197536468506, + "learning_rate": 4.1821212121212126e-06, + "loss": 6.418101501464844, + "step": 17195 + }, + { + "epoch": 0.172, + "grad_norm": 6.595417022705078, + "learning_rate": 4.181868686868687e-06, + "loss": 6.416110992431641, + "step": 17200 + }, + { + "epoch": 0.17205, + "grad_norm": 6.638600826263428, + "learning_rate": 4.181616161616162e-06, + "loss": 6.491832733154297, + "step": 17205 + }, + { + "epoch": 0.1721, + "grad_norm": 7.196567058563232, + "learning_rate": 4.1813636363636364e-06, + "loss": 6.394417190551758, + "step": 17210 + }, + { + "epoch": 0.17215, + "grad_norm": 6.881023406982422, + "learning_rate": 4.181111111111111e-06, + "loss": 6.457846069335938, + "step": 17215 + }, + { + "epoch": 0.1722, + "grad_norm": 7.562849998474121, + "learning_rate": 4.180858585858586e-06, + "loss": 6.410661315917968, + "step": 17220 + }, + { + "epoch": 0.17225, + "grad_norm": 6.282824516296387, + "learning_rate": 4.180606060606061e-06, + "loss": 6.466946411132812, + "step": 17225 + }, + { + "epoch": 0.1723, + "grad_norm": 6.726131916046143, + "learning_rate": 4.180353535353536e-06, + "loss": 6.439227294921875, + "step": 17230 + }, + { + "epoch": 0.17235, + "grad_norm": 4.565032482147217, + "learning_rate": 4.1801010101010104e-06, + "loss": 6.402475738525391, + "step": 17235 + }, + { + "epoch": 0.1724, + "grad_norm": 6.987288475036621, + "learning_rate": 4.179848484848485e-06, + "loss": 6.500509643554688, + "step": 17240 + }, + { + "epoch": 0.17245, + "grad_norm": 13.380884170532227, + "learning_rate": 4.17959595959596e-06, + "loss": 6.488036346435547, + "step": 17245 + }, + { + "epoch": 0.1725, + "grad_norm": 11.736968040466309, + "learning_rate": 4.179343434343434e-06, + "loss": 6.508195495605468, + "step": 17250 + }, + { + "epoch": 0.17255, + "grad_norm": 6.783361911773682, + "learning_rate": 4.179090909090909e-06, + "loss": 6.436824035644531, + "step": 17255 + }, + { + "epoch": 0.1726, + "grad_norm": 6.1072258949279785, + "learning_rate": 4.178838383838384e-06, + "loss": 6.416410827636719, + "step": 17260 + }, + { + "epoch": 0.17265, + "grad_norm": 5.337968826293945, + "learning_rate": 4.178585858585859e-06, + "loss": 6.511647033691406, + "step": 17265 + }, + { + "epoch": 0.1727, + "grad_norm": 5.16908073425293, + "learning_rate": 4.178333333333334e-06, + "loss": 6.449606323242188, + "step": 17270 + }, + { + "epoch": 0.17275, + "grad_norm": 6.056143283843994, + "learning_rate": 4.178080808080808e-06, + "loss": 6.4072021484375, + "step": 17275 + }, + { + "epoch": 0.1728, + "grad_norm": 10.612218856811523, + "learning_rate": 4.177828282828283e-06, + "loss": 6.558159637451172, + "step": 17280 + }, + { + "epoch": 0.17285, + "grad_norm": 6.515764236450195, + "learning_rate": 4.1775757575757584e-06, + "loss": 6.424083709716797, + "step": 17285 + }, + { + "epoch": 0.1729, + "grad_norm": 6.095462322235107, + "learning_rate": 4.177323232323233e-06, + "loss": 6.457191467285156, + "step": 17290 + }, + { + "epoch": 0.17295, + "grad_norm": 4.993344783782959, + "learning_rate": 4.177070707070707e-06, + "loss": 6.403738403320313, + "step": 17295 + }, + { + "epoch": 0.173, + "grad_norm": 5.78537130355835, + "learning_rate": 4.1768181818181815e-06, + "loss": 6.4168548583984375, + "step": 17300 + }, + { + "epoch": 0.17305, + "grad_norm": 6.331363677978516, + "learning_rate": 4.176565656565657e-06, + "loss": 6.429273223876953, + "step": 17305 + }, + { + "epoch": 0.1731, + "grad_norm": 5.943604469299316, + "learning_rate": 4.176313131313132e-06, + "loss": 6.447319030761719, + "step": 17310 + }, + { + "epoch": 0.17315, + "grad_norm": 4.52032995223999, + "learning_rate": 4.176060606060606e-06, + "loss": 6.385718917846679, + "step": 17315 + }, + { + "epoch": 0.1732, + "grad_norm": 7.164947032928467, + "learning_rate": 4.175808080808082e-06, + "loss": 6.49749984741211, + "step": 17320 + }, + { + "epoch": 0.17325, + "grad_norm": 6.533723831176758, + "learning_rate": 4.175555555555556e-06, + "loss": 6.4166206359863285, + "step": 17325 + }, + { + "epoch": 0.1733, + "grad_norm": 5.742626667022705, + "learning_rate": 4.175303030303031e-06, + "loss": 6.401493072509766, + "step": 17330 + }, + { + "epoch": 0.17335, + "grad_norm": 6.5434417724609375, + "learning_rate": 4.175050505050506e-06, + "loss": 6.40130386352539, + "step": 17335 + }, + { + "epoch": 0.1734, + "grad_norm": 6.1866936683654785, + "learning_rate": 4.17479797979798e-06, + "loss": 6.423633575439453, + "step": 17340 + }, + { + "epoch": 0.17345, + "grad_norm": 6.386356830596924, + "learning_rate": 4.174545454545455e-06, + "loss": 6.401957702636719, + "step": 17345 + }, + { + "epoch": 0.1735, + "grad_norm": 7.245843887329102, + "learning_rate": 4.1742929292929295e-06, + "loss": 6.442058563232422, + "step": 17350 + }, + { + "epoch": 0.17355, + "grad_norm": 5.0525126457214355, + "learning_rate": 4.174040404040404e-06, + "loss": 6.441812896728516, + "step": 17355 + }, + { + "epoch": 0.1736, + "grad_norm": 7.086814880371094, + "learning_rate": 4.17378787878788e-06, + "loss": 6.414032745361328, + "step": 17360 + }, + { + "epoch": 0.17365, + "grad_norm": 5.409482479095459, + "learning_rate": 4.173535353535354e-06, + "loss": 6.429686737060547, + "step": 17365 + }, + { + "epoch": 0.1737, + "grad_norm": 5.636053085327148, + "learning_rate": 4.173282828282829e-06, + "loss": 6.454517364501953, + "step": 17370 + }, + { + "epoch": 0.17375, + "grad_norm": 5.619957447052002, + "learning_rate": 4.1730303030303035e-06, + "loss": 6.400043487548828, + "step": 17375 + }, + { + "epoch": 0.1738, + "grad_norm": 4.436914920806885, + "learning_rate": 4.172777777777778e-06, + "loss": 6.433793640136718, + "step": 17380 + }, + { + "epoch": 0.17385, + "grad_norm": 5.435208797454834, + "learning_rate": 4.172525252525253e-06, + "loss": 6.4859870910644535, + "step": 17385 + }, + { + "epoch": 0.1739, + "grad_norm": 7.154338836669922, + "learning_rate": 4.172272727272727e-06, + "loss": 6.390882110595703, + "step": 17390 + }, + { + "epoch": 0.17395, + "grad_norm": 5.2114715576171875, + "learning_rate": 4.172020202020202e-06, + "loss": 6.412842559814453, + "step": 17395 + }, + { + "epoch": 0.174, + "grad_norm": 5.873260974884033, + "learning_rate": 4.1717676767676775e-06, + "loss": 6.464102935791016, + "step": 17400 + }, + { + "epoch": 0.17405, + "grad_norm": 5.772125244140625, + "learning_rate": 4.171515151515152e-06, + "loss": 6.401849365234375, + "step": 17405 + }, + { + "epoch": 0.1741, + "grad_norm": 4.968996524810791, + "learning_rate": 4.171262626262627e-06, + "loss": 6.4329475402832035, + "step": 17410 + }, + { + "epoch": 0.17415, + "grad_norm": 6.859051704406738, + "learning_rate": 4.171010101010101e-06, + "loss": 6.390068817138672, + "step": 17415 + }, + { + "epoch": 0.1742, + "grad_norm": 6.093839645385742, + "learning_rate": 4.170757575757576e-06, + "loss": 6.40628662109375, + "step": 17420 + }, + { + "epoch": 0.17425, + "grad_norm": 5.708087921142578, + "learning_rate": 4.170505050505051e-06, + "loss": 6.3928993225097654, + "step": 17425 + }, + { + "epoch": 0.1743, + "grad_norm": 6.439298629760742, + "learning_rate": 4.170252525252525e-06, + "loss": 6.50152587890625, + "step": 17430 + }, + { + "epoch": 0.17435, + "grad_norm": 6.141254425048828, + "learning_rate": 4.17e-06, + "loss": 6.488623809814453, + "step": 17435 + }, + { + "epoch": 0.1744, + "grad_norm": 5.671915531158447, + "learning_rate": 4.169747474747475e-06, + "loss": 6.437236785888672, + "step": 17440 + }, + { + "epoch": 0.17445, + "grad_norm": 5.198111534118652, + "learning_rate": 4.16949494949495e-06, + "loss": 6.421900939941406, + "step": 17445 + }, + { + "epoch": 0.1745, + "grad_norm": 6.319764614105225, + "learning_rate": 4.169242424242425e-06, + "loss": 6.422528076171875, + "step": 17450 + }, + { + "epoch": 0.17455, + "grad_norm": 4.992312908172607, + "learning_rate": 4.168989898989899e-06, + "loss": 6.409911346435547, + "step": 17455 + }, + { + "epoch": 0.1746, + "grad_norm": 6.413256645202637, + "learning_rate": 4.168737373737374e-06, + "loss": 6.450712585449219, + "step": 17460 + }, + { + "epoch": 0.17465, + "grad_norm": 4.193538665771484, + "learning_rate": 4.1684848484848485e-06, + "loss": 6.422123718261719, + "step": 17465 + }, + { + "epoch": 0.1747, + "grad_norm": 5.913649559020996, + "learning_rate": 4.168232323232323e-06, + "loss": 6.427279663085938, + "step": 17470 + }, + { + "epoch": 0.17475, + "grad_norm": 3.7433533668518066, + "learning_rate": 4.167979797979798e-06, + "loss": 6.5682518005371096, + "step": 17475 + }, + { + "epoch": 0.1748, + "grad_norm": 3.9158248901367188, + "learning_rate": 4.167727272727273e-06, + "loss": 6.439411163330078, + "step": 17480 + }, + { + "epoch": 0.17485, + "grad_norm": 7.356685638427734, + "learning_rate": 4.167474747474748e-06, + "loss": 6.39733772277832, + "step": 17485 + }, + { + "epoch": 0.1749, + "grad_norm": 5.304576873779297, + "learning_rate": 4.1672222222222225e-06, + "loss": 6.466148376464844, + "step": 17490 + }, + { + "epoch": 0.17495, + "grad_norm": 6.207536220550537, + "learning_rate": 4.166969696969697e-06, + "loss": 6.409827423095703, + "step": 17495 + }, + { + "epoch": 0.175, + "grad_norm": 6.6697235107421875, + "learning_rate": 4.166717171717173e-06, + "loss": 6.3732177734375, + "step": 17500 + }, + { + "epoch": 0.17505, + "grad_norm": 4.117204189300537, + "learning_rate": 4.166464646464647e-06, + "loss": 6.396261596679688, + "step": 17505 + }, + { + "epoch": 0.1751, + "grad_norm": 4.056059837341309, + "learning_rate": 4.166212121212122e-06, + "loss": 6.423698425292969, + "step": 17510 + }, + { + "epoch": 0.17515, + "grad_norm": 5.56590461730957, + "learning_rate": 4.1659595959595965e-06, + "loss": 6.443589782714843, + "step": 17515 + }, + { + "epoch": 0.1752, + "grad_norm": 4.619938373565674, + "learning_rate": 4.165707070707071e-06, + "loss": 6.428021240234375, + "step": 17520 + }, + { + "epoch": 0.17525, + "grad_norm": 4.585859298706055, + "learning_rate": 4.165454545454546e-06, + "loss": 6.433175659179687, + "step": 17525 + }, + { + "epoch": 0.1753, + "grad_norm": 6.342316150665283, + "learning_rate": 4.16520202020202e-06, + "loss": 6.424404144287109, + "step": 17530 + }, + { + "epoch": 0.17535, + "grad_norm": 7.624713897705078, + "learning_rate": 4.164949494949495e-06, + "loss": 6.395957565307617, + "step": 17535 + }, + { + "epoch": 0.1754, + "grad_norm": 7.729001522064209, + "learning_rate": 4.1646969696969705e-06, + "loss": 6.436745452880859, + "step": 17540 + }, + { + "epoch": 0.17545, + "grad_norm": 4.1594414710998535, + "learning_rate": 4.164444444444445e-06, + "loss": 6.450293731689453, + "step": 17545 + }, + { + "epoch": 0.1755, + "grad_norm": 5.528448104858398, + "learning_rate": 4.16419191919192e-06, + "loss": 6.437165069580078, + "step": 17550 + }, + { + "epoch": 0.17555, + "grad_norm": 3.597606897354126, + "learning_rate": 4.163939393939394e-06, + "loss": 6.339387512207031, + "step": 17555 + }, + { + "epoch": 0.1756, + "grad_norm": 9.42526912689209, + "learning_rate": 4.163686868686869e-06, + "loss": 6.457988739013672, + "step": 17560 + }, + { + "epoch": 0.17565, + "grad_norm": 4.962278842926025, + "learning_rate": 4.163434343434344e-06, + "loss": 6.435968017578125, + "step": 17565 + }, + { + "epoch": 0.1757, + "grad_norm": 4.133020401000977, + "learning_rate": 4.163181818181818e-06, + "loss": 6.388762664794922, + "step": 17570 + }, + { + "epoch": 0.17575, + "grad_norm": 4.525731086730957, + "learning_rate": 4.162929292929293e-06, + "loss": 6.38193359375, + "step": 17575 + }, + { + "epoch": 0.1758, + "grad_norm": 4.709101676940918, + "learning_rate": 4.162676767676768e-06, + "loss": 6.436134338378906, + "step": 17580 + }, + { + "epoch": 0.17585, + "grad_norm": 5.122340679168701, + "learning_rate": 4.162424242424243e-06, + "loss": 6.3754535675048825, + "step": 17585 + }, + { + "epoch": 0.1759, + "grad_norm": 4.543242931365967, + "learning_rate": 4.162171717171718e-06, + "loss": 6.414791107177734, + "step": 17590 + }, + { + "epoch": 0.17595, + "grad_norm": 5.000589847564697, + "learning_rate": 4.161919191919192e-06, + "loss": 6.4275146484375, + "step": 17595 + }, + { + "epoch": 0.176, + "grad_norm": 4.8625078201293945, + "learning_rate": 4.161666666666667e-06, + "loss": 6.459661865234375, + "step": 17600 + }, + { + "epoch": 0.17605, + "grad_norm": 5.643690586090088, + "learning_rate": 4.1614141414141415e-06, + "loss": 6.381939315795899, + "step": 17605 + }, + { + "epoch": 0.1761, + "grad_norm": 4.322327613830566, + "learning_rate": 4.161161616161616e-06, + "loss": 6.1563880920410154, + "step": 17610 + }, + { + "epoch": 0.17615, + "grad_norm": 4.578833103179932, + "learning_rate": 4.160909090909091e-06, + "loss": 6.462340545654297, + "step": 17615 + }, + { + "epoch": 0.1762, + "grad_norm": 3.9061672687530518, + "learning_rate": 4.160656565656566e-06, + "loss": 6.400978851318359, + "step": 17620 + }, + { + "epoch": 0.17625, + "grad_norm": 3.8795502185821533, + "learning_rate": 4.160404040404041e-06, + "loss": 6.417348480224609, + "step": 17625 + }, + { + "epoch": 0.1763, + "grad_norm": 6.673102855682373, + "learning_rate": 4.1601515151515155e-06, + "loss": 6.394385528564453, + "step": 17630 + }, + { + "epoch": 0.17635, + "grad_norm": 4.727807998657227, + "learning_rate": 4.15989898989899e-06, + "loss": 6.395341110229492, + "step": 17635 + }, + { + "epoch": 0.1764, + "grad_norm": 5.2912492752075195, + "learning_rate": 4.159646464646465e-06, + "loss": 6.403656768798828, + "step": 17640 + }, + { + "epoch": 0.17645, + "grad_norm": 4.197628498077393, + "learning_rate": 4.1593939393939394e-06, + "loss": 6.338999176025391, + "step": 17645 + }, + { + "epoch": 0.1765, + "grad_norm": 4.196425437927246, + "learning_rate": 4.159141414141414e-06, + "loss": 6.409450531005859, + "step": 17650 + }, + { + "epoch": 0.17655, + "grad_norm": 3.9479475021362305, + "learning_rate": 4.158888888888889e-06, + "loss": 6.404264068603515, + "step": 17655 + }, + { + "epoch": 0.1766, + "grad_norm": 3.4079887866973877, + "learning_rate": 4.158636363636364e-06, + "loss": 6.403955078125, + "step": 17660 + }, + { + "epoch": 0.17665, + "grad_norm": 4.526871204376221, + "learning_rate": 4.158383838383839e-06, + "loss": 6.372063827514649, + "step": 17665 + }, + { + "epoch": 0.1767, + "grad_norm": 8.466011047363281, + "learning_rate": 4.1581313131313134e-06, + "loss": 6.402127075195312, + "step": 17670 + }, + { + "epoch": 0.17675, + "grad_norm": 4.089807033538818, + "learning_rate": 4.157878787878788e-06, + "loss": 6.429524230957031, + "step": 17675 + }, + { + "epoch": 0.1768, + "grad_norm": 7.356545925140381, + "learning_rate": 4.1576262626262635e-06, + "loss": 6.45697021484375, + "step": 17680 + }, + { + "epoch": 0.17685, + "grad_norm": 3.0544562339782715, + "learning_rate": 4.157373737373737e-06, + "loss": 6.424396514892578, + "step": 17685 + }, + { + "epoch": 0.1769, + "grad_norm": 6.849983215332031, + "learning_rate": 4.157121212121212e-06, + "loss": 6.4557243347167965, + "step": 17690 + }, + { + "epoch": 0.17695, + "grad_norm": 4.952725410461426, + "learning_rate": 4.156868686868687e-06, + "loss": 6.38331298828125, + "step": 17695 + }, + { + "epoch": 0.177, + "grad_norm": 2.5618324279785156, + "learning_rate": 4.156616161616162e-06, + "loss": 6.606365203857422, + "step": 17700 + }, + { + "epoch": 0.17705, + "grad_norm": 4.756274223327637, + "learning_rate": 4.156363636363637e-06, + "loss": 6.3896636962890625, + "step": 17705 + }, + { + "epoch": 0.1771, + "grad_norm": 4.932427406311035, + "learning_rate": 4.156111111111111e-06, + "loss": 6.385951232910156, + "step": 17710 + }, + { + "epoch": 0.17715, + "grad_norm": 5.095156192779541, + "learning_rate": 4.155858585858586e-06, + "loss": 6.41995849609375, + "step": 17715 + }, + { + "epoch": 0.1772, + "grad_norm": 5.027000427246094, + "learning_rate": 4.1556060606060614e-06, + "loss": 6.471839141845703, + "step": 17720 + }, + { + "epoch": 0.17725, + "grad_norm": 3.7389347553253174, + "learning_rate": 4.155353535353536e-06, + "loss": 6.432771301269531, + "step": 17725 + }, + { + "epoch": 0.1773, + "grad_norm": 4.164002418518066, + "learning_rate": 4.155101010101011e-06, + "loss": 6.426138305664063, + "step": 17730 + }, + { + "epoch": 0.17735, + "grad_norm": 4.007206916809082, + "learning_rate": 4.154848484848485e-06, + "loss": 6.403254699707031, + "step": 17735 + }, + { + "epoch": 0.1774, + "grad_norm": 2.2781336307525635, + "learning_rate": 4.15459595959596e-06, + "loss": 6.410115051269531, + "step": 17740 + }, + { + "epoch": 0.17745, + "grad_norm": 4.687213897705078, + "learning_rate": 4.1543434343434346e-06, + "loss": 6.443010711669922, + "step": 17745 + }, + { + "epoch": 0.1775, + "grad_norm": 16.690937042236328, + "learning_rate": 4.154090909090909e-06, + "loss": 6.448246765136719, + "step": 17750 + }, + { + "epoch": 0.17755, + "grad_norm": 5.532197952270508, + "learning_rate": 4.153838383838385e-06, + "loss": 6.457949829101563, + "step": 17755 + }, + { + "epoch": 0.1776, + "grad_norm": 7.8364152908325195, + "learning_rate": 4.153585858585859e-06, + "loss": 6.415885925292969, + "step": 17760 + }, + { + "epoch": 0.17765, + "grad_norm": 3.5128841400146484, + "learning_rate": 4.153333333333334e-06, + "loss": 6.405172729492188, + "step": 17765 + }, + { + "epoch": 0.1777, + "grad_norm": 2.819309949874878, + "learning_rate": 4.1530808080808086e-06, + "loss": 6.379837417602539, + "step": 17770 + }, + { + "epoch": 0.17775, + "grad_norm": 6.065360069274902, + "learning_rate": 4.152828282828283e-06, + "loss": 6.320343399047852, + "step": 17775 + }, + { + "epoch": 0.1778, + "grad_norm": 4.882674217224121, + "learning_rate": 4.152575757575758e-06, + "loss": 6.4123687744140625, + "step": 17780 + }, + { + "epoch": 0.17785, + "grad_norm": 5.380648612976074, + "learning_rate": 4.1523232323232325e-06, + "loss": 6.4424491882324215, + "step": 17785 + }, + { + "epoch": 0.1779, + "grad_norm": 4.1288604736328125, + "learning_rate": 4.152070707070707e-06, + "loss": 6.349679183959961, + "step": 17790 + }, + { + "epoch": 0.17795, + "grad_norm": 5.336260795593262, + "learning_rate": 4.1518181818181826e-06, + "loss": 6.407053375244141, + "step": 17795 + }, + { + "epoch": 0.178, + "grad_norm": 3.549156427383423, + "learning_rate": 4.151565656565657e-06, + "loss": 6.339466857910156, + "step": 17800 + }, + { + "epoch": 0.17805, + "grad_norm": 5.420167446136475, + "learning_rate": 4.151313131313132e-06, + "loss": 6.394767761230469, + "step": 17805 + }, + { + "epoch": 0.1781, + "grad_norm": 2.4497735500335693, + "learning_rate": 4.1510606060606065e-06, + "loss": 6.481326293945313, + "step": 17810 + }, + { + "epoch": 0.17815, + "grad_norm": 4.207220077514648, + "learning_rate": 4.150808080808081e-06, + "loss": 6.399176025390625, + "step": 17815 + }, + { + "epoch": 0.1782, + "grad_norm": 2.7428503036499023, + "learning_rate": 4.150555555555556e-06, + "loss": 6.422046661376953, + "step": 17820 + }, + { + "epoch": 0.17825, + "grad_norm": 4.042768478393555, + "learning_rate": 4.15030303030303e-06, + "loss": 6.360757827758789, + "step": 17825 + }, + { + "epoch": 0.1783, + "grad_norm": 14.64224910736084, + "learning_rate": 4.150050505050505e-06, + "loss": 6.507855224609375, + "step": 17830 + }, + { + "epoch": 0.17835, + "grad_norm": 4.005972385406494, + "learning_rate": 4.1497979797979805e-06, + "loss": 6.431740570068359, + "step": 17835 + }, + { + "epoch": 0.1784, + "grad_norm": 3.6754980087280273, + "learning_rate": 4.149545454545455e-06, + "loss": 6.374139022827149, + "step": 17840 + }, + { + "epoch": 0.17845, + "grad_norm": 11.627903938293457, + "learning_rate": 4.14929292929293e-06, + "loss": 6.428823089599609, + "step": 17845 + }, + { + "epoch": 0.1785, + "grad_norm": 4.835561752319336, + "learning_rate": 4.149040404040404e-06, + "loss": 6.341254806518554, + "step": 17850 + }, + { + "epoch": 0.17855, + "grad_norm": 3.635707378387451, + "learning_rate": 4.148787878787879e-06, + "loss": 6.385338211059571, + "step": 17855 + }, + { + "epoch": 0.1786, + "grad_norm": 3.0221989154815674, + "learning_rate": 4.148535353535354e-06, + "loss": 6.421871185302734, + "step": 17860 + }, + { + "epoch": 0.17865, + "grad_norm": 3.353701114654541, + "learning_rate": 4.148282828282828e-06, + "loss": 6.373555755615234, + "step": 17865 + }, + { + "epoch": 0.1787, + "grad_norm": 3.926018476486206, + "learning_rate": 4.148030303030303e-06, + "loss": 6.426369476318359, + "step": 17870 + }, + { + "epoch": 0.17875, + "grad_norm": 5.145357131958008, + "learning_rate": 4.147777777777778e-06, + "loss": 6.470442199707032, + "step": 17875 + }, + { + "epoch": 0.1788, + "grad_norm": 4.2623701095581055, + "learning_rate": 4.147525252525253e-06, + "loss": 6.352566528320312, + "step": 17880 + }, + { + "epoch": 0.17885, + "grad_norm": 6.20504903793335, + "learning_rate": 4.147272727272728e-06, + "loss": 6.482119750976563, + "step": 17885 + }, + { + "epoch": 0.1789, + "grad_norm": 4.889270782470703, + "learning_rate": 4.147020202020202e-06, + "loss": 6.407502746582031, + "step": 17890 + }, + { + "epoch": 0.17895, + "grad_norm": 2.942037343978882, + "learning_rate": 4.146767676767678e-06, + "loss": 6.435406494140625, + "step": 17895 + }, + { + "epoch": 0.179, + "grad_norm": 5.89697790145874, + "learning_rate": 4.146515151515152e-06, + "loss": 6.395201110839844, + "step": 17900 + }, + { + "epoch": 0.17905, + "grad_norm": 3.983527898788452, + "learning_rate": 4.146262626262626e-06, + "loss": 6.332804870605469, + "step": 17905 + }, + { + "epoch": 0.1791, + "grad_norm": 5.685372829437256, + "learning_rate": 4.146010101010101e-06, + "loss": 6.366495895385742, + "step": 17910 + }, + { + "epoch": 0.17915, + "grad_norm": 4.464791297912598, + "learning_rate": 4.145757575757576e-06, + "loss": 6.437127685546875, + "step": 17915 + }, + { + "epoch": 0.1792, + "grad_norm": 4.8290510177612305, + "learning_rate": 4.145505050505051e-06, + "loss": 6.430024719238281, + "step": 17920 + }, + { + "epoch": 0.17925, + "grad_norm": 5.221956253051758, + "learning_rate": 4.1452525252525255e-06, + "loss": 6.360372161865234, + "step": 17925 + }, + { + "epoch": 0.1793, + "grad_norm": 4.1787800788879395, + "learning_rate": 4.145e-06, + "loss": 6.351602935791016, + "step": 17930 + }, + { + "epoch": 0.17935, + "grad_norm": 3.660050630569458, + "learning_rate": 4.144747474747476e-06, + "loss": 6.3813934326171875, + "step": 17935 + }, + { + "epoch": 0.1794, + "grad_norm": 2.994593381881714, + "learning_rate": 4.14449494949495e-06, + "loss": 6.450845336914062, + "step": 17940 + }, + { + "epoch": 0.17945, + "grad_norm": 2.965104818344116, + "learning_rate": 4.144242424242425e-06, + "loss": 6.471961212158203, + "step": 17945 + }, + { + "epoch": 0.1795, + "grad_norm": 4.346787929534912, + "learning_rate": 4.1439898989898995e-06, + "loss": 6.433719635009766, + "step": 17950 + }, + { + "epoch": 0.17955, + "grad_norm": 4.137913703918457, + "learning_rate": 4.143737373737374e-06, + "loss": 6.379754638671875, + "step": 17955 + }, + { + "epoch": 0.1796, + "grad_norm": 4.917163848876953, + "learning_rate": 4.143484848484849e-06, + "loss": 6.435311889648437, + "step": 17960 + }, + { + "epoch": 0.17965, + "grad_norm": 8.237060546875, + "learning_rate": 4.143232323232323e-06, + "loss": 6.6358283996582035, + "step": 17965 + }, + { + "epoch": 0.1797, + "grad_norm": 5.986239910125732, + "learning_rate": 4.142979797979798e-06, + "loss": 6.373171997070313, + "step": 17970 + }, + { + "epoch": 0.17975, + "grad_norm": 4.570013523101807, + "learning_rate": 4.1427272727272735e-06, + "loss": 6.4172004699707035, + "step": 17975 + }, + { + "epoch": 0.1798, + "grad_norm": 2.863872766494751, + "learning_rate": 4.142474747474748e-06, + "loss": 6.433051300048828, + "step": 17980 + }, + { + "epoch": 0.17985, + "grad_norm": 5.6194281578063965, + "learning_rate": 4.142222222222223e-06, + "loss": 6.372331619262695, + "step": 17985 + }, + { + "epoch": 0.1799, + "grad_norm": 3.641463041305542, + "learning_rate": 4.141969696969697e-06, + "loss": 6.382128524780273, + "step": 17990 + }, + { + "epoch": 0.17995, + "grad_norm": 14.63641357421875, + "learning_rate": 4.141717171717172e-06, + "loss": 6.514051055908203, + "step": 17995 + }, + { + "epoch": 0.18, + "grad_norm": 3.9042491912841797, + "learning_rate": 4.141464646464647e-06, + "loss": 6.322743988037109, + "step": 18000 + }, + { + "epoch": 0.18005, + "grad_norm": 3.8603897094726562, + "learning_rate": 4.141212121212121e-06, + "loss": 6.385019683837891, + "step": 18005 + }, + { + "epoch": 0.1801, + "grad_norm": 3.7539544105529785, + "learning_rate": 4.140959595959596e-06, + "loss": 6.441951751708984, + "step": 18010 + }, + { + "epoch": 0.18015, + "grad_norm": 7.779005527496338, + "learning_rate": 4.140707070707071e-06, + "loss": 6.393532562255859, + "step": 18015 + }, + { + "epoch": 0.1802, + "grad_norm": 4.659090518951416, + "learning_rate": 4.140454545454546e-06, + "loss": 6.451337432861328, + "step": 18020 + }, + { + "epoch": 0.18025, + "grad_norm": 2.936098337173462, + "learning_rate": 4.140202020202021e-06, + "loss": 6.382490539550782, + "step": 18025 + }, + { + "epoch": 0.1803, + "grad_norm": 5.232431411743164, + "learning_rate": 4.139949494949495e-06, + "loss": 6.39757194519043, + "step": 18030 + }, + { + "epoch": 0.18035, + "grad_norm": 4.1672492027282715, + "learning_rate": 4.13969696969697e-06, + "loss": 6.360111999511719, + "step": 18035 + }, + { + "epoch": 0.1804, + "grad_norm": 5.584742546081543, + "learning_rate": 4.1394444444444445e-06, + "loss": 6.398577117919922, + "step": 18040 + }, + { + "epoch": 0.18045, + "grad_norm": 3.900513172149658, + "learning_rate": 4.139191919191919e-06, + "loss": 6.414949035644531, + "step": 18045 + }, + { + "epoch": 0.1805, + "grad_norm": 7.5035271644592285, + "learning_rate": 4.138939393939394e-06, + "loss": 6.677559661865234, + "step": 18050 + }, + { + "epoch": 0.18055, + "grad_norm": 5.5633544921875, + "learning_rate": 4.138686868686869e-06, + "loss": 6.430255126953125, + "step": 18055 + }, + { + "epoch": 0.1806, + "grad_norm": 6.292913436889648, + "learning_rate": 4.138434343434344e-06, + "loss": 5.793987655639649, + "step": 18060 + }, + { + "epoch": 0.18065, + "grad_norm": 4.113793849945068, + "learning_rate": 4.1381818181818185e-06, + "loss": 6.406172180175782, + "step": 18065 + }, + { + "epoch": 0.1807, + "grad_norm": 5.962163925170898, + "learning_rate": 4.137929292929293e-06, + "loss": 6.412632751464844, + "step": 18070 + }, + { + "epoch": 0.18075, + "grad_norm": 4.996208667755127, + "learning_rate": 4.137676767676768e-06, + "loss": 6.4496917724609375, + "step": 18075 + }, + { + "epoch": 0.1808, + "grad_norm": 7.009472370147705, + "learning_rate": 4.137424242424242e-06, + "loss": 6.3844047546386715, + "step": 18080 + }, + { + "epoch": 0.18085, + "grad_norm": 9.235272407531738, + "learning_rate": 4.137171717171717e-06, + "loss": 6.353970336914062, + "step": 18085 + }, + { + "epoch": 0.1809, + "grad_norm": 5.965597629547119, + "learning_rate": 4.136919191919192e-06, + "loss": 6.401161956787109, + "step": 18090 + }, + { + "epoch": 0.18095, + "grad_norm": 3.8810954093933105, + "learning_rate": 4.136666666666667e-06, + "loss": 6.3313346862792965, + "step": 18095 + }, + { + "epoch": 0.181, + "grad_norm": 2.873263120651245, + "learning_rate": 4.136414141414142e-06, + "loss": 6.451673889160157, + "step": 18100 + }, + { + "epoch": 0.18105, + "grad_norm": 5.597329616546631, + "learning_rate": 4.136161616161616e-06, + "loss": 6.402189636230469, + "step": 18105 + }, + { + "epoch": 0.1811, + "grad_norm": 9.492162704467773, + "learning_rate": 4.135909090909091e-06, + "loss": 6.572526550292968, + "step": 18110 + }, + { + "epoch": 0.18115, + "grad_norm": 3.0517191886901855, + "learning_rate": 4.1356565656565665e-06, + "loss": 6.391358184814453, + "step": 18115 + }, + { + "epoch": 0.1812, + "grad_norm": 6.402818202972412, + "learning_rate": 4.135404040404041e-06, + "loss": 6.416557312011719, + "step": 18120 + }, + { + "epoch": 0.18125, + "grad_norm": 4.124929428100586, + "learning_rate": 4.135151515151516e-06, + "loss": 6.421649169921875, + "step": 18125 + }, + { + "epoch": 0.1813, + "grad_norm": 4.122948169708252, + "learning_rate": 4.1348989898989896e-06, + "loss": 6.432498168945313, + "step": 18130 + }, + { + "epoch": 0.18135, + "grad_norm": 3.5551657676696777, + "learning_rate": 4.134646464646465e-06, + "loss": 6.381999969482422, + "step": 18135 + }, + { + "epoch": 0.1814, + "grad_norm": 4.830156326293945, + "learning_rate": 4.13439393939394e-06, + "loss": 6.463905334472656, + "step": 18140 + }, + { + "epoch": 0.18145, + "grad_norm": 9.221014976501465, + "learning_rate": 4.134141414141414e-06, + "loss": 6.3699089050292965, + "step": 18145 + }, + { + "epoch": 0.1815, + "grad_norm": 4.070011615753174, + "learning_rate": 4.133888888888889e-06, + "loss": 6.357383346557617, + "step": 18150 + }, + { + "epoch": 0.18155, + "grad_norm": 4.126086711883545, + "learning_rate": 4.133636363636364e-06, + "loss": 6.4556221008300785, + "step": 18155 + }, + { + "epoch": 0.1816, + "grad_norm": 14.883360862731934, + "learning_rate": 4.133383838383839e-06, + "loss": 6.45667724609375, + "step": 18160 + }, + { + "epoch": 0.18165, + "grad_norm": 4.866841793060303, + "learning_rate": 4.133131313131314e-06, + "loss": 6.397457122802734, + "step": 18165 + }, + { + "epoch": 0.1817, + "grad_norm": 3.7541723251342773, + "learning_rate": 4.132878787878788e-06, + "loss": 6.392228698730468, + "step": 18170 + }, + { + "epoch": 0.18175, + "grad_norm": 5.025020122528076, + "learning_rate": 4.132626262626263e-06, + "loss": 6.437315368652344, + "step": 18175 + }, + { + "epoch": 0.1818, + "grad_norm": 10.332810401916504, + "learning_rate": 4.1323737373737376e-06, + "loss": 6.466764068603515, + "step": 18180 + }, + { + "epoch": 0.18185, + "grad_norm": 3.210064172744751, + "learning_rate": 4.132121212121212e-06, + "loss": 6.380583572387695, + "step": 18185 + }, + { + "epoch": 0.1819, + "grad_norm": 3.3123245239257812, + "learning_rate": 4.131868686868688e-06, + "loss": 6.458525848388672, + "step": 18190 + }, + { + "epoch": 0.18195, + "grad_norm": 3.816985607147217, + "learning_rate": 4.131616161616162e-06, + "loss": 6.392555618286133, + "step": 18195 + }, + { + "epoch": 0.182, + "grad_norm": 3.551572799682617, + "learning_rate": 4.131363636363637e-06, + "loss": 6.426686859130859, + "step": 18200 + }, + { + "epoch": 0.18205, + "grad_norm": 7.632850170135498, + "learning_rate": 4.1311111111111116e-06, + "loss": 6.3911277770996096, + "step": 18205 + }, + { + "epoch": 0.1821, + "grad_norm": 9.603696823120117, + "learning_rate": 4.130858585858586e-06, + "loss": 6.459105682373047, + "step": 18210 + }, + { + "epoch": 0.18215, + "grad_norm": 3.142162561416626, + "learning_rate": 4.130606060606061e-06, + "loss": 6.359768676757812, + "step": 18215 + }, + { + "epoch": 0.1822, + "grad_norm": 3.639529228210449, + "learning_rate": 4.1303535353535354e-06, + "loss": 6.386132431030274, + "step": 18220 + }, + { + "epoch": 0.18225, + "grad_norm": 2.928650140762329, + "learning_rate": 4.13010101010101e-06, + "loss": 6.441036987304687, + "step": 18225 + }, + { + "epoch": 0.1823, + "grad_norm": 2.8675637245178223, + "learning_rate": 4.1298484848484856e-06, + "loss": 6.380276489257812, + "step": 18230 + }, + { + "epoch": 0.18235, + "grad_norm": 5.014830589294434, + "learning_rate": 4.12959595959596e-06, + "loss": 6.442393493652344, + "step": 18235 + }, + { + "epoch": 0.1824, + "grad_norm": 4.158809661865234, + "learning_rate": 4.129343434343435e-06, + "loss": 6.402660369873047, + "step": 18240 + }, + { + "epoch": 0.18245, + "grad_norm": 3.887037992477417, + "learning_rate": 4.1290909090909094e-06, + "loss": 6.349750900268555, + "step": 18245 + }, + { + "epoch": 0.1825, + "grad_norm": 5.277118682861328, + "learning_rate": 4.128838383838384e-06, + "loss": 6.3683929443359375, + "step": 18250 + }, + { + "epoch": 0.18255, + "grad_norm": 4.377228260040283, + "learning_rate": 4.128585858585859e-06, + "loss": 6.414987945556641, + "step": 18255 + }, + { + "epoch": 0.1826, + "grad_norm": 3.8347971439361572, + "learning_rate": 4.128333333333333e-06, + "loss": 6.385688018798828, + "step": 18260 + }, + { + "epoch": 0.18265, + "grad_norm": 4.1411566734313965, + "learning_rate": 4.128080808080808e-06, + "loss": 6.424810791015625, + "step": 18265 + }, + { + "epoch": 0.1827, + "grad_norm": 3.672717332839966, + "learning_rate": 4.1278282828282834e-06, + "loss": 6.391205596923828, + "step": 18270 + }, + { + "epoch": 0.18275, + "grad_norm": 4.8362812995910645, + "learning_rate": 4.127575757575758e-06, + "loss": 6.428981018066406, + "step": 18275 + }, + { + "epoch": 0.1828, + "grad_norm": 3.996149778366089, + "learning_rate": 4.127323232323233e-06, + "loss": 6.369114685058594, + "step": 18280 + }, + { + "epoch": 0.18285, + "grad_norm": 4.488272666931152, + "learning_rate": 4.127070707070707e-06, + "loss": 6.364942932128907, + "step": 18285 + }, + { + "epoch": 0.1829, + "grad_norm": 3.9969406127929688, + "learning_rate": 4.126818181818183e-06, + "loss": 6.367502212524414, + "step": 18290 + }, + { + "epoch": 0.18295, + "grad_norm": 3.2120578289031982, + "learning_rate": 4.126565656565657e-06, + "loss": 6.390921401977539, + "step": 18295 + }, + { + "epoch": 0.183, + "grad_norm": 5.215273380279541, + "learning_rate": 4.126313131313131e-06, + "loss": 6.375188827514648, + "step": 18300 + }, + { + "epoch": 0.18305, + "grad_norm": 4.307608604431152, + "learning_rate": 4.126060606060606e-06, + "loss": 6.362895584106445, + "step": 18305 + }, + { + "epoch": 0.1831, + "grad_norm": 4.531371593475342, + "learning_rate": 4.125808080808081e-06, + "loss": 6.3978126525878904, + "step": 18310 + }, + { + "epoch": 0.18315, + "grad_norm": 3.7404820919036865, + "learning_rate": 4.125555555555556e-06, + "loss": 6.41856689453125, + "step": 18315 + }, + { + "epoch": 0.1832, + "grad_norm": 2.3453781604766846, + "learning_rate": 4.125303030303031e-06, + "loss": 6.432758331298828, + "step": 18320 + }, + { + "epoch": 0.18325, + "grad_norm": 4.288193225860596, + "learning_rate": 4.125050505050505e-06, + "loss": 6.414971160888672, + "step": 18325 + }, + { + "epoch": 0.1833, + "grad_norm": 4.88767147064209, + "learning_rate": 4.124797979797981e-06, + "loss": 6.419315338134766, + "step": 18330 + }, + { + "epoch": 0.18335, + "grad_norm": 3.612919569015503, + "learning_rate": 4.124545454545455e-06, + "loss": 6.398788070678711, + "step": 18335 + }, + { + "epoch": 0.1834, + "grad_norm": 3.5745019912719727, + "learning_rate": 4.12429292929293e-06, + "loss": 6.34692153930664, + "step": 18340 + }, + { + "epoch": 0.18345, + "grad_norm": 13.459613800048828, + "learning_rate": 4.124040404040405e-06, + "loss": 6.464740753173828, + "step": 18345 + }, + { + "epoch": 0.1835, + "grad_norm": 4.3153204917907715, + "learning_rate": 4.123787878787879e-06, + "loss": 6.411036682128906, + "step": 18350 + }, + { + "epoch": 0.18355, + "grad_norm": 5.809116840362549, + "learning_rate": 4.123535353535354e-06, + "loss": 6.341804122924804, + "step": 18355 + }, + { + "epoch": 0.1836, + "grad_norm": 3.907810688018799, + "learning_rate": 4.1232828282828285e-06, + "loss": 6.411479949951172, + "step": 18360 + }, + { + "epoch": 0.18365, + "grad_norm": 3.241471290588379, + "learning_rate": 4.123030303030303e-06, + "loss": 6.508728790283203, + "step": 18365 + }, + { + "epoch": 0.1837, + "grad_norm": 2.958793878555298, + "learning_rate": 4.122777777777779e-06, + "loss": 6.3868865966796875, + "step": 18370 + }, + { + "epoch": 0.18375, + "grad_norm": 2.37656569480896, + "learning_rate": 4.122525252525253e-06, + "loss": 6.397617340087891, + "step": 18375 + }, + { + "epoch": 0.1838, + "grad_norm": 4.623712539672852, + "learning_rate": 4.122272727272728e-06, + "loss": 6.414192962646484, + "step": 18380 + }, + { + "epoch": 0.18385, + "grad_norm": 5.8188676834106445, + "learning_rate": 4.1220202020202025e-06, + "loss": 6.359071350097656, + "step": 18385 + }, + { + "epoch": 0.1839, + "grad_norm": 4.843662261962891, + "learning_rate": 4.121767676767677e-06, + "loss": 6.4203239440917965, + "step": 18390 + }, + { + "epoch": 0.18395, + "grad_norm": 3.507455587387085, + "learning_rate": 4.121515151515152e-06, + "loss": 6.380838012695312, + "step": 18395 + }, + { + "epoch": 0.184, + "grad_norm": 5.842238426208496, + "learning_rate": 4.121262626262626e-06, + "loss": 6.428423309326172, + "step": 18400 + }, + { + "epoch": 0.18405, + "grad_norm": 8.048908233642578, + "learning_rate": 4.121010101010101e-06, + "loss": 6.384454345703125, + "step": 18405 + }, + { + "epoch": 0.1841, + "grad_norm": 3.6490299701690674, + "learning_rate": 4.1207575757575765e-06, + "loss": 6.443302154541016, + "step": 18410 + }, + { + "epoch": 0.18415, + "grad_norm": 2.7851459980010986, + "learning_rate": 4.120505050505051e-06, + "loss": 6.399865341186524, + "step": 18415 + }, + { + "epoch": 0.1842, + "grad_norm": 3.903510808944702, + "learning_rate": 4.120252525252526e-06, + "loss": 6.385411071777344, + "step": 18420 + }, + { + "epoch": 0.18425, + "grad_norm": 4.104851245880127, + "learning_rate": 4.12e-06, + "loss": 6.391850280761719, + "step": 18425 + }, + { + "epoch": 0.1843, + "grad_norm": 3.4672253131866455, + "learning_rate": 4.119747474747475e-06, + "loss": 6.449886322021484, + "step": 18430 + }, + { + "epoch": 0.18435, + "grad_norm": 4.13779354095459, + "learning_rate": 4.11949494949495e-06, + "loss": 6.375531768798828, + "step": 18435 + }, + { + "epoch": 0.1844, + "grad_norm": 3.1252825260162354, + "learning_rate": 4.119242424242424e-06, + "loss": 6.397152328491211, + "step": 18440 + }, + { + "epoch": 0.18445, + "grad_norm": 3.66825270652771, + "learning_rate": 4.118989898989899e-06, + "loss": 6.451752471923828, + "step": 18445 + }, + { + "epoch": 0.1845, + "grad_norm": 2.2796757221221924, + "learning_rate": 4.118737373737374e-06, + "loss": 6.444062042236328, + "step": 18450 + }, + { + "epoch": 0.18455, + "grad_norm": 3.508664608001709, + "learning_rate": 4.118484848484849e-06, + "loss": 6.3871711730957035, + "step": 18455 + }, + { + "epoch": 0.1846, + "grad_norm": 5.344874858856201, + "learning_rate": 4.118232323232324e-06, + "loss": 6.386994552612305, + "step": 18460 + }, + { + "epoch": 0.18465, + "grad_norm": 4.438442230224609, + "learning_rate": 4.117979797979798e-06, + "loss": 6.411752319335937, + "step": 18465 + }, + { + "epoch": 0.1847, + "grad_norm": 3.4890995025634766, + "learning_rate": 4.117727272727273e-06, + "loss": 6.397238540649414, + "step": 18470 + }, + { + "epoch": 0.18475, + "grad_norm": 7.6365861892700195, + "learning_rate": 4.1174747474747475e-06, + "loss": 6.349295425415039, + "step": 18475 + }, + { + "epoch": 0.1848, + "grad_norm": 4.482211589813232, + "learning_rate": 4.117222222222222e-06, + "loss": 6.362925720214844, + "step": 18480 + }, + { + "epoch": 0.18485, + "grad_norm": 8.941511154174805, + "learning_rate": 4.116969696969697e-06, + "loss": 6.468252563476563, + "step": 18485 + }, + { + "epoch": 0.1849, + "grad_norm": 3.3515055179595947, + "learning_rate": 4.116717171717172e-06, + "loss": 6.37664909362793, + "step": 18490 + }, + { + "epoch": 0.18495, + "grad_norm": 4.280879497528076, + "learning_rate": 4.116464646464647e-06, + "loss": 6.35040168762207, + "step": 18495 + }, + { + "epoch": 0.185, + "grad_norm": 3.7930750846862793, + "learning_rate": 4.1162121212121215e-06, + "loss": 6.380929183959961, + "step": 18500 + }, + { + "epoch": 0.18505, + "grad_norm": 2.7962775230407715, + "learning_rate": 4.115959595959596e-06, + "loss": 6.347495651245117, + "step": 18505 + }, + { + "epoch": 0.1851, + "grad_norm": 5.352860927581787, + "learning_rate": 4.115707070707072e-06, + "loss": 6.351335144042968, + "step": 18510 + }, + { + "epoch": 0.18515, + "grad_norm": 8.67905330657959, + "learning_rate": 4.115454545454545e-06, + "loss": 6.445870971679687, + "step": 18515 + }, + { + "epoch": 0.1852, + "grad_norm": 4.409884452819824, + "learning_rate": 4.11520202020202e-06, + "loss": 6.387173461914062, + "step": 18520 + }, + { + "epoch": 0.18525, + "grad_norm": 4.126728057861328, + "learning_rate": 4.114949494949495e-06, + "loss": 6.353235244750977, + "step": 18525 + }, + { + "epoch": 0.1853, + "grad_norm": 6.891617298126221, + "learning_rate": 4.11469696969697e-06, + "loss": 6.431670379638672, + "step": 18530 + }, + { + "epoch": 0.18535, + "grad_norm": 4.330852031707764, + "learning_rate": 4.114444444444445e-06, + "loss": 6.46275634765625, + "step": 18535 + }, + { + "epoch": 0.1854, + "grad_norm": 7.346864700317383, + "learning_rate": 4.114191919191919e-06, + "loss": 6.380028915405274, + "step": 18540 + }, + { + "epoch": 0.18545, + "grad_norm": 4.961719036102295, + "learning_rate": 4.113939393939394e-06, + "loss": 6.346750640869141, + "step": 18545 + }, + { + "epoch": 0.1855, + "grad_norm": 4.159801959991455, + "learning_rate": 4.1136868686868695e-06, + "loss": 6.4321342468261715, + "step": 18550 + }, + { + "epoch": 0.18555, + "grad_norm": 4.6045379638671875, + "learning_rate": 4.113434343434344e-06, + "loss": 6.415462493896484, + "step": 18555 + }, + { + "epoch": 0.1856, + "grad_norm": 6.012345790863037, + "learning_rate": 4.113181818181819e-06, + "loss": 6.40484619140625, + "step": 18560 + }, + { + "epoch": 0.18565, + "grad_norm": 3.395472764968872, + "learning_rate": 4.112929292929293e-06, + "loss": 6.341675567626953, + "step": 18565 + }, + { + "epoch": 0.1857, + "grad_norm": 8.381654739379883, + "learning_rate": 4.112676767676768e-06, + "loss": 6.584989929199219, + "step": 18570 + }, + { + "epoch": 0.18575, + "grad_norm": 6.1465535163879395, + "learning_rate": 4.112424242424243e-06, + "loss": 6.356340408325195, + "step": 18575 + }, + { + "epoch": 0.1858, + "grad_norm": 3.254153251647949, + "learning_rate": 4.112171717171717e-06, + "loss": 6.3848419189453125, + "step": 18580 + }, + { + "epoch": 0.18585, + "grad_norm": 3.3442800045013428, + "learning_rate": 4.111919191919193e-06, + "loss": 6.450904846191406, + "step": 18585 + }, + { + "epoch": 0.1859, + "grad_norm": 31.767776489257812, + "learning_rate": 4.111666666666667e-06, + "loss": 6.32515869140625, + "step": 18590 + }, + { + "epoch": 0.18595, + "grad_norm": 4.978888988494873, + "learning_rate": 4.111414141414142e-06, + "loss": 6.362800598144531, + "step": 18595 + }, + { + "epoch": 0.186, + "grad_norm": 5.091334819793701, + "learning_rate": 4.111161616161617e-06, + "loss": 6.442819976806641, + "step": 18600 + }, + { + "epoch": 0.18605, + "grad_norm": 5.625749588012695, + "learning_rate": 4.110909090909091e-06, + "loss": 6.350368881225586, + "step": 18605 + }, + { + "epoch": 0.1861, + "grad_norm": 4.97780704498291, + "learning_rate": 4.110656565656566e-06, + "loss": 6.453205871582031, + "step": 18610 + }, + { + "epoch": 0.18615, + "grad_norm": 4.993187427520752, + "learning_rate": 4.1104040404040405e-06, + "loss": 6.42978515625, + "step": 18615 + }, + { + "epoch": 0.1862, + "grad_norm": 7.1760053634643555, + "learning_rate": 4.110151515151515e-06, + "loss": 6.408012390136719, + "step": 18620 + }, + { + "epoch": 0.18625, + "grad_norm": 5.640987396240234, + "learning_rate": 4.109898989898991e-06, + "loss": 6.351853561401367, + "step": 18625 + }, + { + "epoch": 0.1863, + "grad_norm": 4.701223850250244, + "learning_rate": 4.109646464646465e-06, + "loss": 6.426744079589843, + "step": 18630 + }, + { + "epoch": 0.18635, + "grad_norm": 4.341739177703857, + "learning_rate": 4.10939393939394e-06, + "loss": 6.452140808105469, + "step": 18635 + }, + { + "epoch": 0.1864, + "grad_norm": 4.185910701751709, + "learning_rate": 4.1091414141414145e-06, + "loss": 6.388509368896484, + "step": 18640 + }, + { + "epoch": 0.18645, + "grad_norm": 2.5337862968444824, + "learning_rate": 4.108888888888889e-06, + "loss": 6.33899154663086, + "step": 18645 + }, + { + "epoch": 0.1865, + "grad_norm": 5.432725429534912, + "learning_rate": 4.108636363636364e-06, + "loss": 6.344834899902343, + "step": 18650 + }, + { + "epoch": 0.18655, + "grad_norm": 5.37282657623291, + "learning_rate": 4.1083838383838384e-06, + "loss": 6.3460540771484375, + "step": 18655 + }, + { + "epoch": 0.1866, + "grad_norm": 4.252388000488281, + "learning_rate": 4.108131313131313e-06, + "loss": 6.380041885375976, + "step": 18660 + }, + { + "epoch": 0.18665, + "grad_norm": 6.479921340942383, + "learning_rate": 4.1078787878787885e-06, + "loss": 6.358160018920898, + "step": 18665 + }, + { + "epoch": 0.1867, + "grad_norm": 4.933605670928955, + "learning_rate": 4.107626262626263e-06, + "loss": 6.409915924072266, + "step": 18670 + }, + { + "epoch": 0.18675, + "grad_norm": 3.1543002128601074, + "learning_rate": 4.107373737373738e-06, + "loss": 6.370730590820313, + "step": 18675 + }, + { + "epoch": 0.1868, + "grad_norm": 4.705506324768066, + "learning_rate": 4.1071212121212124e-06, + "loss": 6.349428939819336, + "step": 18680 + }, + { + "epoch": 0.18685, + "grad_norm": 7.357447147369385, + "learning_rate": 4.106868686868687e-06, + "loss": 6.397298431396484, + "step": 18685 + }, + { + "epoch": 0.1869, + "grad_norm": 3.900815725326538, + "learning_rate": 4.106616161616162e-06, + "loss": 6.336140823364258, + "step": 18690 + }, + { + "epoch": 0.18695, + "grad_norm": 3.511648654937744, + "learning_rate": 4.106363636363636e-06, + "loss": 6.4429267883300785, + "step": 18695 + }, + { + "epoch": 0.187, + "grad_norm": 9.923333168029785, + "learning_rate": 4.106111111111111e-06, + "loss": 6.635107421875, + "step": 18700 + }, + { + "epoch": 0.18705, + "grad_norm": 3.7744333744049072, + "learning_rate": 4.1058585858585864e-06, + "loss": 6.387216186523437, + "step": 18705 + }, + { + "epoch": 0.1871, + "grad_norm": 5.8100810050964355, + "learning_rate": 4.105606060606061e-06, + "loss": 6.396151733398438, + "step": 18710 + }, + { + "epoch": 0.18715, + "grad_norm": 2.323702573776245, + "learning_rate": 4.105353535353536e-06, + "loss": 6.377402496337891, + "step": 18715 + }, + { + "epoch": 0.1872, + "grad_norm": 4.939958572387695, + "learning_rate": 4.10510101010101e-06, + "loss": 6.386288070678711, + "step": 18720 + }, + { + "epoch": 0.18725, + "grad_norm": 2.8512496948242188, + "learning_rate": 4.104848484848486e-06, + "loss": 6.500436401367187, + "step": 18725 + }, + { + "epoch": 0.1873, + "grad_norm": 6.149589538574219, + "learning_rate": 4.1045959595959604e-06, + "loss": 6.384429550170898, + "step": 18730 + }, + { + "epoch": 0.18735, + "grad_norm": 5.6558709144592285, + "learning_rate": 4.104343434343434e-06, + "loss": 6.391135406494141, + "step": 18735 + }, + { + "epoch": 0.1874, + "grad_norm": 4.573460578918457, + "learning_rate": 4.104090909090909e-06, + "loss": 6.394968414306641, + "step": 18740 + }, + { + "epoch": 0.18745, + "grad_norm": 3.2834384441375732, + "learning_rate": 4.103838383838384e-06, + "loss": 6.4182861328125, + "step": 18745 + }, + { + "epoch": 0.1875, + "grad_norm": 4.8945136070251465, + "learning_rate": 4.103585858585859e-06, + "loss": 6.391152191162109, + "step": 18750 + }, + { + "epoch": 0.18755, + "grad_norm": 4.571887016296387, + "learning_rate": 4.1033333333333336e-06, + "loss": 6.5467170715332035, + "step": 18755 + }, + { + "epoch": 0.1876, + "grad_norm": 4.609233856201172, + "learning_rate": 4.103080808080808e-06, + "loss": 6.356549453735352, + "step": 18760 + }, + { + "epoch": 0.18765, + "grad_norm": 3.5118002891540527, + "learning_rate": 4.102828282828284e-06, + "loss": 6.2901660919189455, + "step": 18765 + }, + { + "epoch": 0.1877, + "grad_norm": 8.11195182800293, + "learning_rate": 4.102575757575758e-06, + "loss": 6.489777374267578, + "step": 18770 + }, + { + "epoch": 0.18775, + "grad_norm": 5.960768699645996, + "learning_rate": 4.102323232323233e-06, + "loss": 6.506047058105469, + "step": 18775 + }, + { + "epoch": 0.1878, + "grad_norm": 4.986604690551758, + "learning_rate": 4.1020707070707076e-06, + "loss": 6.397085189819336, + "step": 18780 + }, + { + "epoch": 0.18785, + "grad_norm": 5.6428728103637695, + "learning_rate": 4.101818181818182e-06, + "loss": 6.332464981079101, + "step": 18785 + }, + { + "epoch": 0.1879, + "grad_norm": 5.230681896209717, + "learning_rate": 4.101565656565657e-06, + "loss": 6.373043823242187, + "step": 18790 + }, + { + "epoch": 0.18795, + "grad_norm": 5.805160999298096, + "learning_rate": 4.1013131313131315e-06, + "loss": 6.30499496459961, + "step": 18795 + }, + { + "epoch": 0.188, + "grad_norm": 4.065610408782959, + "learning_rate": 4.101060606060606e-06, + "loss": 6.358146667480469, + "step": 18800 + }, + { + "epoch": 0.18805, + "grad_norm": 3.005723476409912, + "learning_rate": 4.1008080808080816e-06, + "loss": 6.408080291748047, + "step": 18805 + }, + { + "epoch": 0.1881, + "grad_norm": 14.198698997497559, + "learning_rate": 4.100555555555556e-06, + "loss": 6.6229499816894535, + "step": 18810 + }, + { + "epoch": 0.18815, + "grad_norm": 26.405759811401367, + "learning_rate": 4.100303030303031e-06, + "loss": 6.7030082702636715, + "step": 18815 + }, + { + "epoch": 0.1882, + "grad_norm": 6.3094892501831055, + "learning_rate": 4.1000505050505055e-06, + "loss": 6.363460540771484, + "step": 18820 + }, + { + "epoch": 0.18825, + "grad_norm": 3.865670919418335, + "learning_rate": 4.09979797979798e-06, + "loss": 6.445598602294922, + "step": 18825 + }, + { + "epoch": 0.1883, + "grad_norm": 3.3652799129486084, + "learning_rate": 4.099545454545455e-06, + "loss": 6.384987258911133, + "step": 18830 + }, + { + "epoch": 0.18835, + "grad_norm": 3.480128526687622, + "learning_rate": 4.099292929292929e-06, + "loss": 6.352599334716797, + "step": 18835 + }, + { + "epoch": 0.1884, + "grad_norm": 9.45141315460205, + "learning_rate": 4.099040404040404e-06, + "loss": 6.438786315917969, + "step": 18840 + }, + { + "epoch": 0.18845, + "grad_norm": 4.715724945068359, + "learning_rate": 4.0987878787878795e-06, + "loss": 6.432010650634766, + "step": 18845 + }, + { + "epoch": 0.1885, + "grad_norm": 4.591580390930176, + "learning_rate": 4.098535353535354e-06, + "loss": 6.39819107055664, + "step": 18850 + }, + { + "epoch": 0.18855, + "grad_norm": 4.263213157653809, + "learning_rate": 4.098282828282829e-06, + "loss": 6.4058380126953125, + "step": 18855 + }, + { + "epoch": 0.1886, + "grad_norm": 3.536532402038574, + "learning_rate": 4.098030303030303e-06, + "loss": 6.382630920410156, + "step": 18860 + }, + { + "epoch": 0.18865, + "grad_norm": 21.694562911987305, + "learning_rate": 4.097777777777778e-06, + "loss": 6.1880035400390625, + "step": 18865 + }, + { + "epoch": 0.1887, + "grad_norm": 10.979371070861816, + "learning_rate": 4.097525252525253e-06, + "loss": 6.557093811035156, + "step": 18870 + }, + { + "epoch": 0.18875, + "grad_norm": 5.3563690185546875, + "learning_rate": 4.097272727272727e-06, + "loss": 6.425485992431641, + "step": 18875 + }, + { + "epoch": 0.1888, + "grad_norm": 4.186330318450928, + "learning_rate": 4.097020202020202e-06, + "loss": 6.407283020019531, + "step": 18880 + }, + { + "epoch": 0.18885, + "grad_norm": 2.599738121032715, + "learning_rate": 4.096767676767677e-06, + "loss": 6.473275756835937, + "step": 18885 + }, + { + "epoch": 0.1889, + "grad_norm": 6.206857204437256, + "learning_rate": 4.096515151515152e-06, + "loss": 6.466458129882812, + "step": 18890 + }, + { + "epoch": 0.18895, + "grad_norm": 7.857926845550537, + "learning_rate": 4.096262626262627e-06, + "loss": 6.426356506347656, + "step": 18895 + }, + { + "epoch": 0.189, + "grad_norm": 11.808489799499512, + "learning_rate": 4.096010101010101e-06, + "loss": 6.325814819335937, + "step": 18900 + }, + { + "epoch": 0.18905, + "grad_norm": 3.4066081047058105, + "learning_rate": 4.095757575757576e-06, + "loss": 6.384674835205078, + "step": 18905 + }, + { + "epoch": 0.1891, + "grad_norm": 3.9022538661956787, + "learning_rate": 4.0955050505050505e-06, + "loss": 6.37455940246582, + "step": 18910 + }, + { + "epoch": 0.18915, + "grad_norm": 3.720107078552246, + "learning_rate": 4.095252525252525e-06, + "loss": 6.400296783447265, + "step": 18915 + }, + { + "epoch": 0.1892, + "grad_norm": 3.5938057899475098, + "learning_rate": 4.095e-06, + "loss": 6.381180191040039, + "step": 18920 + }, + { + "epoch": 0.18925, + "grad_norm": 5.452615261077881, + "learning_rate": 4.094747474747475e-06, + "loss": 6.368849182128907, + "step": 18925 + }, + { + "epoch": 0.1893, + "grad_norm": 5.877171993255615, + "learning_rate": 4.09449494949495e-06, + "loss": 6.407469177246094, + "step": 18930 + }, + { + "epoch": 0.18935, + "grad_norm": 4.015141010284424, + "learning_rate": 4.0942424242424245e-06, + "loss": 6.37620735168457, + "step": 18935 + }, + { + "epoch": 0.1894, + "grad_norm": 3.9595513343811035, + "learning_rate": 4.093989898989899e-06, + "loss": 6.378712844848633, + "step": 18940 + }, + { + "epoch": 0.18945, + "grad_norm": 5.180746555328369, + "learning_rate": 4.093737373737375e-06, + "loss": 6.387689208984375, + "step": 18945 + }, + { + "epoch": 0.1895, + "grad_norm": 5.589240550994873, + "learning_rate": 4.093484848484849e-06, + "loss": 6.405711364746094, + "step": 18950 + }, + { + "epoch": 0.18955, + "grad_norm": 4.655160903930664, + "learning_rate": 4.093232323232324e-06, + "loss": 6.422606658935547, + "step": 18955 + }, + { + "epoch": 0.1896, + "grad_norm": 6.271744728088379, + "learning_rate": 4.092979797979798e-06, + "loss": 6.399873733520508, + "step": 18960 + }, + { + "epoch": 0.18965, + "grad_norm": 15.119043350219727, + "learning_rate": 4.092727272727273e-06, + "loss": 6.466285705566406, + "step": 18965 + }, + { + "epoch": 0.1897, + "grad_norm": 5.369762420654297, + "learning_rate": 4.092474747474748e-06, + "loss": 6.075682830810547, + "step": 18970 + }, + { + "epoch": 0.18975, + "grad_norm": 2.7201786041259766, + "learning_rate": 4.092222222222222e-06, + "loss": 6.427912902832031, + "step": 18975 + }, + { + "epoch": 0.1898, + "grad_norm": 4.975379943847656, + "learning_rate": 4.091969696969697e-06, + "loss": 6.355951309204102, + "step": 18980 + }, + { + "epoch": 0.18985, + "grad_norm": 4.431337833404541, + "learning_rate": 4.0917171717171725e-06, + "loss": 6.4079833984375, + "step": 18985 + }, + { + "epoch": 0.1899, + "grad_norm": 3.1027958393096924, + "learning_rate": 4.091464646464647e-06, + "loss": 6.340965270996094, + "step": 18990 + }, + { + "epoch": 0.18995, + "grad_norm": 4.999954700469971, + "learning_rate": 4.091212121212122e-06, + "loss": 6.383933258056641, + "step": 18995 + }, + { + "epoch": 0.19, + "grad_norm": 5.367707252502441, + "learning_rate": 4.090959595959596e-06, + "loss": 6.5344688415527346, + "step": 19000 + }, + { + "epoch": 0.19005, + "grad_norm": 5.335751056671143, + "learning_rate": 4.090707070707071e-06, + "loss": 6.349771118164062, + "step": 19005 + }, + { + "epoch": 0.1901, + "grad_norm": 5.725353240966797, + "learning_rate": 4.090454545454546e-06, + "loss": 6.421317291259766, + "step": 19010 + }, + { + "epoch": 0.19015, + "grad_norm": 5.332465171813965, + "learning_rate": 4.09020202020202e-06, + "loss": 6.366862106323242, + "step": 19015 + }, + { + "epoch": 0.1902, + "grad_norm": 4.207252025604248, + "learning_rate": 4.089949494949496e-06, + "loss": 6.423389434814453, + "step": 19020 + }, + { + "epoch": 0.19025, + "grad_norm": 5.3898162841796875, + "learning_rate": 4.08969696969697e-06, + "loss": 6.387900543212891, + "step": 19025 + }, + { + "epoch": 0.1903, + "grad_norm": 5.395333290100098, + "learning_rate": 4.089444444444445e-06, + "loss": 6.406847381591797, + "step": 19030 + }, + { + "epoch": 0.19035, + "grad_norm": 5.68665075302124, + "learning_rate": 4.08919191919192e-06, + "loss": 6.517096710205078, + "step": 19035 + }, + { + "epoch": 0.1904, + "grad_norm": 3.878544807434082, + "learning_rate": 4.088939393939394e-06, + "loss": 6.372022247314453, + "step": 19040 + }, + { + "epoch": 0.19045, + "grad_norm": 3.718287229537964, + "learning_rate": 4.088686868686869e-06, + "loss": 6.374387741088867, + "step": 19045 + }, + { + "epoch": 0.1905, + "grad_norm": 3.4842898845672607, + "learning_rate": 4.0884343434343435e-06, + "loss": 6.36516227722168, + "step": 19050 + }, + { + "epoch": 0.19055, + "grad_norm": 2.6360905170440674, + "learning_rate": 4.088181818181818e-06, + "loss": 6.412567138671875, + "step": 19055 + }, + { + "epoch": 0.1906, + "grad_norm": 5.842061519622803, + "learning_rate": 4.087929292929294e-06, + "loss": 6.337042999267578, + "step": 19060 + }, + { + "epoch": 0.19065, + "grad_norm": 3.3465144634246826, + "learning_rate": 4.087676767676768e-06, + "loss": 6.4214111328125, + "step": 19065 + }, + { + "epoch": 0.1907, + "grad_norm": 3.3122689723968506, + "learning_rate": 4.087424242424243e-06, + "loss": 6.403544616699219, + "step": 19070 + }, + { + "epoch": 0.19075, + "grad_norm": 3.9021453857421875, + "learning_rate": 4.0871717171717175e-06, + "loss": 6.428553771972656, + "step": 19075 + }, + { + "epoch": 0.1908, + "grad_norm": 4.800110340118408, + "learning_rate": 4.086919191919192e-06, + "loss": 6.373813629150391, + "step": 19080 + }, + { + "epoch": 0.19085, + "grad_norm": 3.8612091541290283, + "learning_rate": 4.086666666666667e-06, + "loss": 6.32589111328125, + "step": 19085 + }, + { + "epoch": 0.1909, + "grad_norm": 5.518439292907715, + "learning_rate": 4.086414141414141e-06, + "loss": 6.3477825164794925, + "step": 19090 + }, + { + "epoch": 0.19095, + "grad_norm": 3.6552371978759766, + "learning_rate": 4.086161616161616e-06, + "loss": 6.344318389892578, + "step": 19095 + }, + { + "epoch": 0.191, + "grad_norm": 4.328754425048828, + "learning_rate": 4.0859090909090915e-06, + "loss": 6.398830413818359, + "step": 19100 + }, + { + "epoch": 0.19105, + "grad_norm": 3.9813215732574463, + "learning_rate": 4.085656565656566e-06, + "loss": 6.401284790039062, + "step": 19105 + }, + { + "epoch": 0.1911, + "grad_norm": 3.6071853637695312, + "learning_rate": 4.085404040404041e-06, + "loss": 6.309893035888672, + "step": 19110 + }, + { + "epoch": 0.19115, + "grad_norm": 4.8512091636657715, + "learning_rate": 4.085151515151515e-06, + "loss": 6.27001953125, + "step": 19115 + }, + { + "epoch": 0.1912, + "grad_norm": 3.6291110515594482, + "learning_rate": 4.084898989898991e-06, + "loss": 6.355105590820313, + "step": 19120 + }, + { + "epoch": 0.19125, + "grad_norm": 5.238492488861084, + "learning_rate": 4.084646464646465e-06, + "loss": 6.379811859130859, + "step": 19125 + }, + { + "epoch": 0.1913, + "grad_norm": 3.5164597034454346, + "learning_rate": 4.084393939393939e-06, + "loss": 6.448822021484375, + "step": 19130 + }, + { + "epoch": 0.19135, + "grad_norm": 4.247466564178467, + "learning_rate": 4.084141414141414e-06, + "loss": 6.382938385009766, + "step": 19135 + }, + { + "epoch": 0.1914, + "grad_norm": 4.903182506561279, + "learning_rate": 4.083888888888889e-06, + "loss": 6.374135971069336, + "step": 19140 + }, + { + "epoch": 0.19145, + "grad_norm": 4.6411566734313965, + "learning_rate": 4.083636363636364e-06, + "loss": 6.35018310546875, + "step": 19145 + }, + { + "epoch": 0.1915, + "grad_norm": 4.573929786682129, + "learning_rate": 4.083383838383839e-06, + "loss": 6.304139709472656, + "step": 19150 + }, + { + "epoch": 0.19155, + "grad_norm": 7.880543231964111, + "learning_rate": 4.083131313131313e-06, + "loss": 6.3727294921875, + "step": 19155 + }, + { + "epoch": 0.1916, + "grad_norm": 3.8419902324676514, + "learning_rate": 4.082878787878789e-06, + "loss": 6.359456634521484, + "step": 19160 + }, + { + "epoch": 0.19165, + "grad_norm": 3.3154256343841553, + "learning_rate": 4.082626262626263e-06, + "loss": 6.403604888916016, + "step": 19165 + }, + { + "epoch": 0.1917, + "grad_norm": 4.630642890930176, + "learning_rate": 4.082373737373738e-06, + "loss": 6.430747222900391, + "step": 19170 + }, + { + "epoch": 0.19175, + "grad_norm": 17.105091094970703, + "learning_rate": 4.082121212121213e-06, + "loss": 6.446407318115234, + "step": 19175 + }, + { + "epoch": 0.1918, + "grad_norm": 3.1228904724121094, + "learning_rate": 4.081868686868687e-06, + "loss": 6.392394256591797, + "step": 19180 + }, + { + "epoch": 0.19185, + "grad_norm": 7.5376973152160645, + "learning_rate": 4.081616161616162e-06, + "loss": 6.612911987304687, + "step": 19185 + }, + { + "epoch": 0.1919, + "grad_norm": 3.201850414276123, + "learning_rate": 4.0813636363636366e-06, + "loss": 6.370494842529297, + "step": 19190 + }, + { + "epoch": 0.19195, + "grad_norm": 4.05242919921875, + "learning_rate": 4.081111111111111e-06, + "loss": 6.383204650878906, + "step": 19195 + }, + { + "epoch": 0.192, + "grad_norm": 5.6457719802856445, + "learning_rate": 4.080858585858587e-06, + "loss": 6.365170288085937, + "step": 19200 + }, + { + "epoch": 0.19205, + "grad_norm": 3.8193633556365967, + "learning_rate": 4.080606060606061e-06, + "loss": 6.3537040710449215, + "step": 19205 + }, + { + "epoch": 0.1921, + "grad_norm": 4.5553154945373535, + "learning_rate": 4.080353535353536e-06, + "loss": 6.398690795898437, + "step": 19210 + }, + { + "epoch": 0.19215, + "grad_norm": 4.434987545013428, + "learning_rate": 4.0801010101010106e-06, + "loss": 6.3793388366699215, + "step": 19215 + }, + { + "epoch": 0.1922, + "grad_norm": 6.056620121002197, + "learning_rate": 4.079848484848485e-06, + "loss": 6.401212310791015, + "step": 19220 + }, + { + "epoch": 0.19225, + "grad_norm": 3.3419487476348877, + "learning_rate": 4.07959595959596e-06, + "loss": 6.318290328979492, + "step": 19225 + }, + { + "epoch": 0.1923, + "grad_norm": 3.8567047119140625, + "learning_rate": 4.0793434343434344e-06, + "loss": 6.611088562011719, + "step": 19230 + }, + { + "epoch": 0.19235, + "grad_norm": 16.598146438598633, + "learning_rate": 4.079090909090909e-06, + "loss": 6.373753356933594, + "step": 19235 + }, + { + "epoch": 0.1924, + "grad_norm": 5.0385565757751465, + "learning_rate": 4.0788383838383846e-06, + "loss": 6.510621643066406, + "step": 19240 + }, + { + "epoch": 0.19245, + "grad_norm": 4.291235446929932, + "learning_rate": 4.078585858585859e-06, + "loss": 6.3659507751464846, + "step": 19245 + }, + { + "epoch": 0.1925, + "grad_norm": 4.005524158477783, + "learning_rate": 4.078333333333334e-06, + "loss": 6.426875305175781, + "step": 19250 + }, + { + "epoch": 0.19255, + "grad_norm": 4.021867275238037, + "learning_rate": 4.0780808080808084e-06, + "loss": 6.656010437011719, + "step": 19255 + }, + { + "epoch": 0.1926, + "grad_norm": 9.877291679382324, + "learning_rate": 4.077828282828283e-06, + "loss": 6.364139556884766, + "step": 19260 + }, + { + "epoch": 0.19265, + "grad_norm": 4.1913347244262695, + "learning_rate": 4.077575757575758e-06, + "loss": 6.360807037353515, + "step": 19265 + }, + { + "epoch": 0.1927, + "grad_norm": 4.964813232421875, + "learning_rate": 4.077323232323232e-06, + "loss": 6.399176025390625, + "step": 19270 + }, + { + "epoch": 0.19275, + "grad_norm": 3.131068706512451, + "learning_rate": 4.077070707070707e-06, + "loss": 6.438235473632813, + "step": 19275 + }, + { + "epoch": 0.1928, + "grad_norm": 5.006486892700195, + "learning_rate": 4.0768181818181824e-06, + "loss": 6.389376831054688, + "step": 19280 + }, + { + "epoch": 0.19285, + "grad_norm": 5.7917561531066895, + "learning_rate": 4.076565656565657e-06, + "loss": 6.410574340820313, + "step": 19285 + }, + { + "epoch": 0.1929, + "grad_norm": 3.185687303543091, + "learning_rate": 4.076313131313132e-06, + "loss": 6.546735382080078, + "step": 19290 + }, + { + "epoch": 0.19295, + "grad_norm": 4.408816814422607, + "learning_rate": 4.076060606060606e-06, + "loss": 6.405015563964843, + "step": 19295 + }, + { + "epoch": 0.193, + "grad_norm": 4.005836009979248, + "learning_rate": 4.075808080808081e-06, + "loss": 6.359957504272461, + "step": 19300 + }, + { + "epoch": 0.19305, + "grad_norm": 5.21028470993042, + "learning_rate": 4.075555555555556e-06, + "loss": 6.3653205871582035, + "step": 19305 + }, + { + "epoch": 0.1931, + "grad_norm": 3.582012414932251, + "learning_rate": 4.07530303030303e-06, + "loss": 6.364418029785156, + "step": 19310 + }, + { + "epoch": 0.19315, + "grad_norm": 4.695324897766113, + "learning_rate": 4.075050505050505e-06, + "loss": 6.359355926513672, + "step": 19315 + }, + { + "epoch": 0.1932, + "grad_norm": 9.45710277557373, + "learning_rate": 4.07479797979798e-06, + "loss": 6.406756591796875, + "step": 19320 + }, + { + "epoch": 0.19325, + "grad_norm": 5.592437744140625, + "learning_rate": 4.074545454545455e-06, + "loss": 6.347634124755859, + "step": 19325 + }, + { + "epoch": 0.1933, + "grad_norm": 6.338645935058594, + "learning_rate": 4.07429292929293e-06, + "loss": 6.383368682861328, + "step": 19330 + }, + { + "epoch": 0.19335, + "grad_norm": 3.5367844104766846, + "learning_rate": 4.074040404040404e-06, + "loss": 6.381031036376953, + "step": 19335 + }, + { + "epoch": 0.1934, + "grad_norm": 3.1967060565948486, + "learning_rate": 4.07378787878788e-06, + "loss": 6.480411529541016, + "step": 19340 + }, + { + "epoch": 0.19345, + "grad_norm": 4.4588212966918945, + "learning_rate": 4.0735353535353535e-06, + "loss": 6.3442131042480465, + "step": 19345 + }, + { + "epoch": 0.1935, + "grad_norm": 6.410840034484863, + "learning_rate": 4.073282828282828e-06, + "loss": 6.356620025634766, + "step": 19350 + }, + { + "epoch": 0.19355, + "grad_norm": 4.463810443878174, + "learning_rate": 4.073030303030303e-06, + "loss": 6.356292343139648, + "step": 19355 + }, + { + "epoch": 0.1936, + "grad_norm": 5.350219249725342, + "learning_rate": 4.072777777777778e-06, + "loss": 6.371220397949219, + "step": 19360 + }, + { + "epoch": 0.19365, + "grad_norm": 11.31662368774414, + "learning_rate": 4.072525252525253e-06, + "loss": 6.499986267089843, + "step": 19365 + }, + { + "epoch": 0.1937, + "grad_norm": 4.373028755187988, + "learning_rate": 4.0722727272727275e-06, + "loss": 6.34986686706543, + "step": 19370 + }, + { + "epoch": 0.19375, + "grad_norm": 5.775130271911621, + "learning_rate": 4.072020202020202e-06, + "loss": 6.3454242706298825, + "step": 19375 + }, + { + "epoch": 0.1938, + "grad_norm": 6.275132656097412, + "learning_rate": 4.071767676767678e-06, + "loss": 6.397661590576172, + "step": 19380 + }, + { + "epoch": 0.19385, + "grad_norm": 4.542804718017578, + "learning_rate": 4.071515151515152e-06, + "loss": 6.368367767333984, + "step": 19385 + }, + { + "epoch": 0.1939, + "grad_norm": 5.219408988952637, + "learning_rate": 4.071262626262627e-06, + "loss": 6.424284362792969, + "step": 19390 + }, + { + "epoch": 0.19395, + "grad_norm": 9.797083854675293, + "learning_rate": 4.0710101010101015e-06, + "loss": 6.387657165527344, + "step": 19395 + }, + { + "epoch": 0.194, + "grad_norm": 4.218315601348877, + "learning_rate": 4.070757575757576e-06, + "loss": 6.405934143066406, + "step": 19400 + }, + { + "epoch": 0.19405, + "grad_norm": 3.369438886642456, + "learning_rate": 4.070505050505051e-06, + "loss": 6.367124557495117, + "step": 19405 + }, + { + "epoch": 0.1941, + "grad_norm": 3.927542209625244, + "learning_rate": 4.070252525252525e-06, + "loss": 6.346889877319336, + "step": 19410 + }, + { + "epoch": 0.19415, + "grad_norm": 4.782622337341309, + "learning_rate": 4.07e-06, + "loss": 6.346836090087891, + "step": 19415 + }, + { + "epoch": 0.1942, + "grad_norm": 4.404238224029541, + "learning_rate": 4.0697474747474755e-06, + "loss": 6.370536804199219, + "step": 19420 + }, + { + "epoch": 0.19425, + "grad_norm": 5.4158244132995605, + "learning_rate": 4.06949494949495e-06, + "loss": 6.416272735595703, + "step": 19425 + }, + { + "epoch": 0.1943, + "grad_norm": 4.474217414855957, + "learning_rate": 4.069242424242425e-06, + "loss": 6.370992279052734, + "step": 19430 + }, + { + "epoch": 0.19435, + "grad_norm": 4.019426345825195, + "learning_rate": 4.068989898989899e-06, + "loss": 6.350820159912109, + "step": 19435 + }, + { + "epoch": 0.1944, + "grad_norm": 2.479823112487793, + "learning_rate": 4.068737373737374e-06, + "loss": 6.462271118164063, + "step": 19440 + }, + { + "epoch": 0.19445, + "grad_norm": 4.858013153076172, + "learning_rate": 4.068484848484849e-06, + "loss": 6.431369781494141, + "step": 19445 + }, + { + "epoch": 0.1945, + "grad_norm": 2.7684266567230225, + "learning_rate": 4.068232323232323e-06, + "loss": 6.348640060424804, + "step": 19450 + }, + { + "epoch": 0.19455, + "grad_norm": 3.7940924167633057, + "learning_rate": 4.067979797979799e-06, + "loss": 6.345696258544922, + "step": 19455 + }, + { + "epoch": 0.1946, + "grad_norm": 10.329361915588379, + "learning_rate": 4.067727272727273e-06, + "loss": 6.394172286987304, + "step": 19460 + }, + { + "epoch": 0.19465, + "grad_norm": 5.23352575302124, + "learning_rate": 4.067474747474748e-06, + "loss": 6.348777770996094, + "step": 19465 + }, + { + "epoch": 0.1947, + "grad_norm": 5.59263277053833, + "learning_rate": 4.067222222222223e-06, + "loss": 6.427117919921875, + "step": 19470 + }, + { + "epoch": 0.19475, + "grad_norm": 3.72698712348938, + "learning_rate": 4.066969696969697e-06, + "loss": 6.396751022338867, + "step": 19475 + }, + { + "epoch": 0.1948, + "grad_norm": 4.382380962371826, + "learning_rate": 4.066717171717172e-06, + "loss": 6.416648101806641, + "step": 19480 + }, + { + "epoch": 0.19485, + "grad_norm": 3.350860834121704, + "learning_rate": 4.0664646464646465e-06, + "loss": 6.167864990234375, + "step": 19485 + }, + { + "epoch": 0.1949, + "grad_norm": 9.833253860473633, + "learning_rate": 4.066212121212121e-06, + "loss": 6.383861541748047, + "step": 19490 + }, + { + "epoch": 0.19495, + "grad_norm": 2.236875057220459, + "learning_rate": 4.065959595959597e-06, + "loss": 6.398822784423828, + "step": 19495 + }, + { + "epoch": 0.195, + "grad_norm": 3.5608301162719727, + "learning_rate": 4.065707070707071e-06, + "loss": 6.420928192138672, + "step": 19500 + }, + { + "epoch": 0.19505, + "grad_norm": 4.265907287597656, + "learning_rate": 4.065454545454546e-06, + "loss": 6.334685516357422, + "step": 19505 + }, + { + "epoch": 0.1951, + "grad_norm": 12.511089324951172, + "learning_rate": 4.0652020202020205e-06, + "loss": 6.6551353454589846, + "step": 19510 + }, + { + "epoch": 0.19515, + "grad_norm": 8.818058967590332, + "learning_rate": 4.064949494949495e-06, + "loss": 6.324756622314453, + "step": 19515 + }, + { + "epoch": 0.1952, + "grad_norm": 4.294338226318359, + "learning_rate": 4.06469696969697e-06, + "loss": 6.352555847167968, + "step": 19520 + }, + { + "epoch": 0.19525, + "grad_norm": 5.974384784698486, + "learning_rate": 4.064444444444444e-06, + "loss": 6.4365394592285154, + "step": 19525 + }, + { + "epoch": 0.1953, + "grad_norm": 4.288761138916016, + "learning_rate": 4.064191919191919e-06, + "loss": 6.35997428894043, + "step": 19530 + }, + { + "epoch": 0.19535, + "grad_norm": 5.314708232879639, + "learning_rate": 4.0639393939393945e-06, + "loss": 6.403207397460937, + "step": 19535 + }, + { + "epoch": 0.1954, + "grad_norm": 4.448174476623535, + "learning_rate": 4.063686868686869e-06, + "loss": 6.357504272460938, + "step": 19540 + }, + { + "epoch": 0.19545, + "grad_norm": 3.8217105865478516, + "learning_rate": 4.063434343434344e-06, + "loss": 6.421980285644532, + "step": 19545 + }, + { + "epoch": 0.1955, + "grad_norm": 5.5884599685668945, + "learning_rate": 4.063181818181818e-06, + "loss": 6.432899475097656, + "step": 19550 + }, + { + "epoch": 0.19555, + "grad_norm": 5.290658950805664, + "learning_rate": 4.062929292929294e-06, + "loss": 6.406802368164063, + "step": 19555 + }, + { + "epoch": 0.1956, + "grad_norm": 6.350554466247559, + "learning_rate": 4.0626767676767685e-06, + "loss": 6.377091598510742, + "step": 19560 + }, + { + "epoch": 0.19565, + "grad_norm": 6.207547187805176, + "learning_rate": 4.062424242424243e-06, + "loss": 6.388495635986328, + "step": 19565 + }, + { + "epoch": 0.1957, + "grad_norm": 24.059823989868164, + "learning_rate": 4.062171717171717e-06, + "loss": 6.038714599609375, + "step": 19570 + }, + { + "epoch": 0.19575, + "grad_norm": 3.023705005645752, + "learning_rate": 4.061919191919192e-06, + "loss": 6.432948303222656, + "step": 19575 + }, + { + "epoch": 0.1958, + "grad_norm": 3.2975223064422607, + "learning_rate": 4.061666666666667e-06, + "loss": 6.4373115539550785, + "step": 19580 + }, + { + "epoch": 0.19585, + "grad_norm": 3.8520004749298096, + "learning_rate": 4.061414141414142e-06, + "loss": 6.3886066436767575, + "step": 19585 + }, + { + "epoch": 0.1959, + "grad_norm": 4.509420394897461, + "learning_rate": 4.061161616161616e-06, + "loss": 6.355691909790039, + "step": 19590 + }, + { + "epoch": 0.19595, + "grad_norm": 4.087698459625244, + "learning_rate": 4.060909090909092e-06, + "loss": 6.342591094970703, + "step": 19595 + }, + { + "epoch": 0.196, + "grad_norm": 3.9765119552612305, + "learning_rate": 4.060656565656566e-06, + "loss": 6.409799957275391, + "step": 19600 + }, + { + "epoch": 0.19605, + "grad_norm": 5.4682135581970215, + "learning_rate": 4.060404040404041e-06, + "loss": 6.375949859619141, + "step": 19605 + }, + { + "epoch": 0.1961, + "grad_norm": 5.131296634674072, + "learning_rate": 4.060151515151516e-06, + "loss": 6.420603942871094, + "step": 19610 + }, + { + "epoch": 0.19615, + "grad_norm": 5.33582878112793, + "learning_rate": 4.05989898989899e-06, + "loss": 6.349749755859375, + "step": 19615 + }, + { + "epoch": 0.1962, + "grad_norm": 3.639460325241089, + "learning_rate": 4.059646464646465e-06, + "loss": 6.342902374267578, + "step": 19620 + }, + { + "epoch": 0.19625, + "grad_norm": 5.6021904945373535, + "learning_rate": 4.0593939393939395e-06, + "loss": 6.437205505371094, + "step": 19625 + }, + { + "epoch": 0.1963, + "grad_norm": 5.687469959259033, + "learning_rate": 4.059141414141414e-06, + "loss": 6.432957458496094, + "step": 19630 + }, + { + "epoch": 0.19635, + "grad_norm": 24.563066482543945, + "learning_rate": 4.05888888888889e-06, + "loss": 6.3532562255859375, + "step": 19635 + }, + { + "epoch": 0.1964, + "grad_norm": 3.304119110107422, + "learning_rate": 4.058636363636364e-06, + "loss": 6.4160713195800785, + "step": 19640 + }, + { + "epoch": 0.19645, + "grad_norm": 6.5999226570129395, + "learning_rate": 4.058383838383839e-06, + "loss": 6.3621360778808596, + "step": 19645 + }, + { + "epoch": 0.1965, + "grad_norm": 3.1531336307525635, + "learning_rate": 4.0581313131313135e-06, + "loss": 6.363382339477539, + "step": 19650 + }, + { + "epoch": 0.19655, + "grad_norm": 2.853524684906006, + "learning_rate": 4.057878787878788e-06, + "loss": 6.321531677246094, + "step": 19655 + }, + { + "epoch": 0.1966, + "grad_norm": 7.633263111114502, + "learning_rate": 4.057626262626263e-06, + "loss": 6.369779968261719, + "step": 19660 + }, + { + "epoch": 0.19665, + "grad_norm": 5.661573886871338, + "learning_rate": 4.0573737373737374e-06, + "loss": 6.3661144256591795, + "step": 19665 + }, + { + "epoch": 0.1967, + "grad_norm": 5.467764854431152, + "learning_rate": 4.057121212121212e-06, + "loss": 6.4112297058105465, + "step": 19670 + }, + { + "epoch": 0.19675, + "grad_norm": 4.099609375, + "learning_rate": 4.0568686868686875e-06, + "loss": 6.416462707519531, + "step": 19675 + }, + { + "epoch": 0.1968, + "grad_norm": 4.346899032592773, + "learning_rate": 4.056616161616162e-06, + "loss": 6.487928771972657, + "step": 19680 + }, + { + "epoch": 0.19685, + "grad_norm": 10.25285530090332, + "learning_rate": 4.056363636363637e-06, + "loss": 6.363898086547851, + "step": 19685 + }, + { + "epoch": 0.1969, + "grad_norm": 5.477935791015625, + "learning_rate": 4.0561111111111114e-06, + "loss": 6.415487670898438, + "step": 19690 + }, + { + "epoch": 0.19695, + "grad_norm": 3.3069064617156982, + "learning_rate": 4.055858585858586e-06, + "loss": 6.437055206298828, + "step": 19695 + }, + { + "epoch": 0.197, + "grad_norm": 5.783933162689209, + "learning_rate": 4.055606060606061e-06, + "loss": 6.3557781219482425, + "step": 19700 + }, + { + "epoch": 0.19705, + "grad_norm": 8.561756134033203, + "learning_rate": 4.055353535353535e-06, + "loss": 6.503081512451172, + "step": 19705 + }, + { + "epoch": 0.1971, + "grad_norm": 11.107012748718262, + "learning_rate": 4.05510101010101e-06, + "loss": 6.355319976806641, + "step": 19710 + }, + { + "epoch": 0.19715, + "grad_norm": 2.707581043243408, + "learning_rate": 4.0548484848484854e-06, + "loss": 6.396902084350586, + "step": 19715 + }, + { + "epoch": 0.1972, + "grad_norm": 5.244641304016113, + "learning_rate": 4.05459595959596e-06, + "loss": 6.354716491699219, + "step": 19720 + }, + { + "epoch": 0.19725, + "grad_norm": 3.835785150527954, + "learning_rate": 4.054343434343435e-06, + "loss": 6.369344711303711, + "step": 19725 + }, + { + "epoch": 0.1973, + "grad_norm": 10.75365924835205, + "learning_rate": 4.054090909090909e-06, + "loss": 6.444098663330078, + "step": 19730 + }, + { + "epoch": 0.19735, + "grad_norm": 3.008230209350586, + "learning_rate": 4.053838383838384e-06, + "loss": 6.3549652099609375, + "step": 19735 + }, + { + "epoch": 0.1974, + "grad_norm": 7.80946159362793, + "learning_rate": 4.0535858585858586e-06, + "loss": 6.361135482788086, + "step": 19740 + }, + { + "epoch": 0.19745, + "grad_norm": 6.916878700256348, + "learning_rate": 4.053333333333333e-06, + "loss": 6.496293640136718, + "step": 19745 + }, + { + "epoch": 0.1975, + "grad_norm": 6.121494293212891, + "learning_rate": 4.053080808080808e-06, + "loss": 6.375544738769531, + "step": 19750 + }, + { + "epoch": 0.19755, + "grad_norm": 3.5816383361816406, + "learning_rate": 4.052828282828283e-06, + "loss": 6.542870330810547, + "step": 19755 + }, + { + "epoch": 0.1976, + "grad_norm": 5.016317367553711, + "learning_rate": 4.052575757575758e-06, + "loss": 6.3715972900390625, + "step": 19760 + }, + { + "epoch": 0.19765, + "grad_norm": 3.470564603805542, + "learning_rate": 4.0523232323232326e-06, + "loss": 6.35956916809082, + "step": 19765 + }, + { + "epoch": 0.1977, + "grad_norm": 4.387614727020264, + "learning_rate": 4.052070707070707e-06, + "loss": 6.362211227416992, + "step": 19770 + }, + { + "epoch": 0.19775, + "grad_norm": 3.1623826026916504, + "learning_rate": 4.051818181818183e-06, + "loss": 6.65032958984375, + "step": 19775 + }, + { + "epoch": 0.1978, + "grad_norm": 3.035311698913574, + "learning_rate": 4.051565656565657e-06, + "loss": 6.340599822998047, + "step": 19780 + }, + { + "epoch": 0.19785, + "grad_norm": 2.67224383354187, + "learning_rate": 4.051313131313132e-06, + "loss": 6.46024169921875, + "step": 19785 + }, + { + "epoch": 0.1979, + "grad_norm": 4.361361026763916, + "learning_rate": 4.051060606060606e-06, + "loss": 6.395320892333984, + "step": 19790 + }, + { + "epoch": 0.19795, + "grad_norm": 3.6205594539642334, + "learning_rate": 4.050808080808081e-06, + "loss": 6.327168273925781, + "step": 19795 + }, + { + "epoch": 0.198, + "grad_norm": 4.760246276855469, + "learning_rate": 4.050555555555556e-06, + "loss": 6.373647308349609, + "step": 19800 + }, + { + "epoch": 0.19805, + "grad_norm": 4.943057060241699, + "learning_rate": 4.0503030303030305e-06, + "loss": 6.3605602264404295, + "step": 19805 + }, + { + "epoch": 0.1981, + "grad_norm": 5.4091925621032715, + "learning_rate": 4.050050505050505e-06, + "loss": 6.29454460144043, + "step": 19810 + }, + { + "epoch": 0.19815, + "grad_norm": 5.322918891906738, + "learning_rate": 4.0497979797979806e-06, + "loss": 6.341519546508789, + "step": 19815 + }, + { + "epoch": 0.1982, + "grad_norm": 4.914088249206543, + "learning_rate": 4.049545454545455e-06, + "loss": 6.3788604736328125, + "step": 19820 + }, + { + "epoch": 0.19825, + "grad_norm": 4.1996235847473145, + "learning_rate": 4.04929292929293e-06, + "loss": 6.354228973388672, + "step": 19825 + }, + { + "epoch": 0.1983, + "grad_norm": 4.204217910766602, + "learning_rate": 4.0490404040404045e-06, + "loss": 6.352099227905273, + "step": 19830 + }, + { + "epoch": 0.19835, + "grad_norm": 4.682660102844238, + "learning_rate": 4.048787878787879e-06, + "loss": 6.395558547973633, + "step": 19835 + }, + { + "epoch": 0.1984, + "grad_norm": 4.341474533081055, + "learning_rate": 4.048535353535354e-06, + "loss": 6.373513793945312, + "step": 19840 + }, + { + "epoch": 0.19845, + "grad_norm": 6.945283889770508, + "learning_rate": 4.048282828282828e-06, + "loss": 6.478843688964844, + "step": 19845 + }, + { + "epoch": 0.1985, + "grad_norm": 2.3319458961486816, + "learning_rate": 4.048030303030303e-06, + "loss": 6.34193000793457, + "step": 19850 + }, + { + "epoch": 0.19855, + "grad_norm": 4.012521743774414, + "learning_rate": 4.0477777777777785e-06, + "loss": 6.367397689819336, + "step": 19855 + }, + { + "epoch": 0.1986, + "grad_norm": 3.307687997817993, + "learning_rate": 4.047525252525253e-06, + "loss": 6.360920715332031, + "step": 19860 + }, + { + "epoch": 0.19865, + "grad_norm": 9.928263664245605, + "learning_rate": 4.047272727272728e-06, + "loss": 6.390003204345703, + "step": 19865 + }, + { + "epoch": 0.1987, + "grad_norm": 6.413904666900635, + "learning_rate": 4.047020202020202e-06, + "loss": 6.328386306762695, + "step": 19870 + }, + { + "epoch": 0.19875, + "grad_norm": 5.568958759307861, + "learning_rate": 4.046767676767677e-06, + "loss": 6.344242095947266, + "step": 19875 + }, + { + "epoch": 0.1988, + "grad_norm": 5.069599628448486, + "learning_rate": 4.046515151515152e-06, + "loss": 6.374430847167969, + "step": 19880 + }, + { + "epoch": 0.19885, + "grad_norm": 6.529012203216553, + "learning_rate": 4.046262626262626e-06, + "loss": 6.387958526611328, + "step": 19885 + }, + { + "epoch": 0.1989, + "grad_norm": 6.083582878112793, + "learning_rate": 4.046010101010102e-06, + "loss": 6.386810684204102, + "step": 19890 + }, + { + "epoch": 0.19895, + "grad_norm": 5.383504867553711, + "learning_rate": 4.045757575757576e-06, + "loss": 6.4219520568847654, + "step": 19895 + }, + { + "epoch": 0.199, + "grad_norm": 5.496938228607178, + "learning_rate": 4.045505050505051e-06, + "loss": 6.395150756835937, + "step": 19900 + }, + { + "epoch": 0.19905, + "grad_norm": 3.7606313228607178, + "learning_rate": 4.045252525252526e-06, + "loss": 6.364843368530273, + "step": 19905 + }, + { + "epoch": 0.1991, + "grad_norm": 4.031744480133057, + "learning_rate": 4.045e-06, + "loss": 6.333458709716797, + "step": 19910 + }, + { + "epoch": 0.19915, + "grad_norm": 3.2359061241149902, + "learning_rate": 4.044747474747475e-06, + "loss": 6.390080261230469, + "step": 19915 + }, + { + "epoch": 0.1992, + "grad_norm": 5.553016662597656, + "learning_rate": 4.0444949494949495e-06, + "loss": 6.3586585998535154, + "step": 19920 + }, + { + "epoch": 0.19925, + "grad_norm": 3.186434507369995, + "learning_rate": 4.044242424242424e-06, + "loss": 6.337453079223633, + "step": 19925 + }, + { + "epoch": 0.1993, + "grad_norm": 3.828582763671875, + "learning_rate": 4.0439898989899e-06, + "loss": 6.385867309570313, + "step": 19930 + }, + { + "epoch": 0.19935, + "grad_norm": 6.198828220367432, + "learning_rate": 4.043737373737374e-06, + "loss": 6.370376968383789, + "step": 19935 + }, + { + "epoch": 0.1994, + "grad_norm": 7.457594871520996, + "learning_rate": 4.043484848484849e-06, + "loss": 6.373007202148438, + "step": 19940 + }, + { + "epoch": 0.19945, + "grad_norm": 4.879168510437012, + "learning_rate": 4.0432323232323235e-06, + "loss": 6.37254638671875, + "step": 19945 + }, + { + "epoch": 0.1995, + "grad_norm": 4.50380802154541, + "learning_rate": 4.042979797979799e-06, + "loss": 6.3638965606689455, + "step": 19950 + }, + { + "epoch": 0.19955, + "grad_norm": 4.207643032073975, + "learning_rate": 4.042727272727273e-06, + "loss": 6.405306243896485, + "step": 19955 + }, + { + "epoch": 0.1996, + "grad_norm": 5.415639877319336, + "learning_rate": 4.042474747474747e-06, + "loss": 6.446342468261719, + "step": 19960 + }, + { + "epoch": 0.19965, + "grad_norm": 3.5389747619628906, + "learning_rate": 4.042222222222222e-06, + "loss": 6.35137710571289, + "step": 19965 + }, + { + "epoch": 0.1997, + "grad_norm": 6.6378278732299805, + "learning_rate": 4.0419696969696975e-06, + "loss": 6.288910675048828, + "step": 19970 + }, + { + "epoch": 0.19975, + "grad_norm": 4.267999172210693, + "learning_rate": 4.041717171717172e-06, + "loss": 6.3775585174560545, + "step": 19975 + }, + { + "epoch": 0.1998, + "grad_norm": 3.7011568546295166, + "learning_rate": 4.041464646464647e-06, + "loss": 6.396281814575195, + "step": 19980 + }, + { + "epoch": 0.19985, + "grad_norm": 4.070542812347412, + "learning_rate": 4.041212121212121e-06, + "loss": 6.342377853393555, + "step": 19985 + }, + { + "epoch": 0.1999, + "grad_norm": 6.719453811645508, + "learning_rate": 4.040959595959597e-06, + "loss": 6.316285705566406, + "step": 19990 + }, + { + "epoch": 0.19995, + "grad_norm": 5.616065979003906, + "learning_rate": 4.0407070707070715e-06, + "loss": 6.407460021972656, + "step": 19995 + }, + { + "epoch": 0.2, + "grad_norm": 3.8747830390930176, + "learning_rate": 4.040454545454546e-06, + "loss": 6.351764678955078, + "step": 20000 + }, + { + "epoch": 0.20005, + "grad_norm": 2.803332567214966, + "learning_rate": 4.040202020202021e-06, + "loss": 6.347883987426758, + "step": 20005 + }, + { + "epoch": 0.2001, + "grad_norm": 3.437774181365967, + "learning_rate": 4.039949494949495e-06, + "loss": 6.421685028076172, + "step": 20010 + }, + { + "epoch": 0.20015, + "grad_norm": 3.378933906555176, + "learning_rate": 4.03969696969697e-06, + "loss": 6.340965652465821, + "step": 20015 + }, + { + "epoch": 0.2002, + "grad_norm": 4.846768379211426, + "learning_rate": 4.039444444444445e-06, + "loss": 6.299121856689453, + "step": 20020 + }, + { + "epoch": 0.20025, + "grad_norm": 5.000956058502197, + "learning_rate": 4.039191919191919e-06, + "loss": 6.35535888671875, + "step": 20025 + }, + { + "epoch": 0.2003, + "grad_norm": 6.020407676696777, + "learning_rate": 4.038939393939395e-06, + "loss": 6.394396209716797, + "step": 20030 + }, + { + "epoch": 0.20035, + "grad_norm": 4.5149006843566895, + "learning_rate": 4.038686868686869e-06, + "loss": 6.3966926574707035, + "step": 20035 + }, + { + "epoch": 0.2004, + "grad_norm": 13.636775016784668, + "learning_rate": 4.038434343434344e-06, + "loss": 6.628173828125, + "step": 20040 + }, + { + "epoch": 0.20045, + "grad_norm": 4.228687763214111, + "learning_rate": 4.038181818181819e-06, + "loss": 6.3697154998779295, + "step": 20045 + }, + { + "epoch": 0.2005, + "grad_norm": 10.238622665405273, + "learning_rate": 4.037929292929293e-06, + "loss": 6.334245300292968, + "step": 20050 + }, + { + "epoch": 0.20055, + "grad_norm": 6.0647101402282715, + "learning_rate": 4.037676767676768e-06, + "loss": 6.407884979248047, + "step": 20055 + }, + { + "epoch": 0.2006, + "grad_norm": 5.248980522155762, + "learning_rate": 4.0374242424242425e-06, + "loss": 6.374581909179687, + "step": 20060 + }, + { + "epoch": 0.20065, + "grad_norm": 4.553674221038818, + "learning_rate": 4.037171717171717e-06, + "loss": 6.380126953125, + "step": 20065 + }, + { + "epoch": 0.2007, + "grad_norm": 3.4165122509002686, + "learning_rate": 4.036919191919193e-06, + "loss": 6.3405517578125, + "step": 20070 + }, + { + "epoch": 0.20075, + "grad_norm": 4.1999030113220215, + "learning_rate": 4.036666666666667e-06, + "loss": 6.374715423583984, + "step": 20075 + }, + { + "epoch": 0.2008, + "grad_norm": 4.286134243011475, + "learning_rate": 4.036414141414142e-06, + "loss": 6.420569610595703, + "step": 20080 + }, + { + "epoch": 0.20085, + "grad_norm": 3.9801321029663086, + "learning_rate": 4.0361616161616165e-06, + "loss": 6.395820999145508, + "step": 20085 + }, + { + "epoch": 0.2009, + "grad_norm": 4.8740434646606445, + "learning_rate": 4.035909090909091e-06, + "loss": 6.404183197021484, + "step": 20090 + }, + { + "epoch": 0.20095, + "grad_norm": 3.2778172492980957, + "learning_rate": 4.035656565656566e-06, + "loss": 6.384103775024414, + "step": 20095 + }, + { + "epoch": 0.201, + "grad_norm": 2.1818039417266846, + "learning_rate": 4.03540404040404e-06, + "loss": 6.385401916503906, + "step": 20100 + }, + { + "epoch": 0.20105, + "grad_norm": 3.5134024620056152, + "learning_rate": 4.035151515151515e-06, + "loss": 6.367840194702149, + "step": 20105 + }, + { + "epoch": 0.2011, + "grad_norm": 4.840574741363525, + "learning_rate": 4.0348989898989905e-06, + "loss": 6.366757583618164, + "step": 20110 + }, + { + "epoch": 0.20115, + "grad_norm": 3.6360416412353516, + "learning_rate": 4.034646464646465e-06, + "loss": 6.30010986328125, + "step": 20115 + }, + { + "epoch": 0.2012, + "grad_norm": 5.701900959014893, + "learning_rate": 4.03439393939394e-06, + "loss": 6.348086929321289, + "step": 20120 + }, + { + "epoch": 0.20125, + "grad_norm": 7.492800235748291, + "learning_rate": 4.034141414141414e-06, + "loss": 6.406241607666016, + "step": 20125 + }, + { + "epoch": 0.2013, + "grad_norm": 7.411669731140137, + "learning_rate": 4.033888888888889e-06, + "loss": 6.348960876464844, + "step": 20130 + }, + { + "epoch": 0.20135, + "grad_norm": 3.811933755874634, + "learning_rate": 4.033636363636364e-06, + "loss": 6.345926666259766, + "step": 20135 + }, + { + "epoch": 0.2014, + "grad_norm": 7.607759475708008, + "learning_rate": 4.033383838383838e-06, + "loss": 6.404225158691406, + "step": 20140 + }, + { + "epoch": 0.20145, + "grad_norm": 3.8762452602386475, + "learning_rate": 4.033131313131313e-06, + "loss": 6.398588562011719, + "step": 20145 + }, + { + "epoch": 0.2015, + "grad_norm": 5.732476234436035, + "learning_rate": 4.032878787878788e-06, + "loss": 6.357340240478516, + "step": 20150 + }, + { + "epoch": 0.20155, + "grad_norm": 5.358293533325195, + "learning_rate": 4.032626262626263e-06, + "loss": 6.37530288696289, + "step": 20155 + }, + { + "epoch": 0.2016, + "grad_norm": 5.777172565460205, + "learning_rate": 4.032373737373738e-06, + "loss": 6.334160995483399, + "step": 20160 + }, + { + "epoch": 0.20165, + "grad_norm": 2.4954335689544678, + "learning_rate": 4.032121212121212e-06, + "loss": 6.310306549072266, + "step": 20165 + }, + { + "epoch": 0.2017, + "grad_norm": 14.948736190795898, + "learning_rate": 4.031868686868688e-06, + "loss": 6.526329803466797, + "step": 20170 + }, + { + "epoch": 0.20175, + "grad_norm": 2.2543420791625977, + "learning_rate": 4.0316161616161616e-06, + "loss": 6.356016159057617, + "step": 20175 + }, + { + "epoch": 0.2018, + "grad_norm": 17.214555740356445, + "learning_rate": 4.031363636363636e-06, + "loss": 6.483126068115235, + "step": 20180 + }, + { + "epoch": 0.20185, + "grad_norm": 3.5849075317382812, + "learning_rate": 4.031111111111111e-06, + "loss": 6.487813568115234, + "step": 20185 + }, + { + "epoch": 0.2019, + "grad_norm": 8.417732238769531, + "learning_rate": 4.030858585858586e-06, + "loss": 6.350529479980469, + "step": 20190 + }, + { + "epoch": 0.20195, + "grad_norm": 4.588068962097168, + "learning_rate": 4.030606060606061e-06, + "loss": 6.414650726318359, + "step": 20195 + }, + { + "epoch": 0.202, + "grad_norm": 2.868237018585205, + "learning_rate": 4.0303535353535356e-06, + "loss": 6.382372665405273, + "step": 20200 + }, + { + "epoch": 0.20205, + "grad_norm": 3.537229299545288, + "learning_rate": 4.03010101010101e-06, + "loss": 6.401815032958984, + "step": 20205 + }, + { + "epoch": 0.2021, + "grad_norm": 4.665562152862549, + "learning_rate": 4.029848484848486e-06, + "loss": 6.490205383300781, + "step": 20210 + }, + { + "epoch": 0.20215, + "grad_norm": 4.411448001861572, + "learning_rate": 4.02959595959596e-06, + "loss": 6.363483047485351, + "step": 20215 + }, + { + "epoch": 0.2022, + "grad_norm": 3.324888229370117, + "learning_rate": 4.029343434343435e-06, + "loss": 6.403836822509765, + "step": 20220 + }, + { + "epoch": 0.20225, + "grad_norm": 5.32629919052124, + "learning_rate": 4.0290909090909096e-06, + "loss": 6.378729248046875, + "step": 20225 + }, + { + "epoch": 0.2023, + "grad_norm": 3.8315112590789795, + "learning_rate": 4.028838383838384e-06, + "loss": 6.337154388427734, + "step": 20230 + }, + { + "epoch": 0.20235, + "grad_norm": 2.7585361003875732, + "learning_rate": 4.028585858585859e-06, + "loss": 6.332876586914063, + "step": 20235 + }, + { + "epoch": 0.2024, + "grad_norm": 6.2034711837768555, + "learning_rate": 4.0283333333333334e-06, + "loss": 6.340119171142578, + "step": 20240 + }, + { + "epoch": 0.20245, + "grad_norm": 4.362227439880371, + "learning_rate": 4.028080808080808e-06, + "loss": 6.359671020507813, + "step": 20245 + }, + { + "epoch": 0.2025, + "grad_norm": 4.8785786628723145, + "learning_rate": 4.0278282828282836e-06, + "loss": 6.333001708984375, + "step": 20250 + }, + { + "epoch": 0.20255, + "grad_norm": 6.298890590667725, + "learning_rate": 4.027575757575758e-06, + "loss": 6.3823402404785154, + "step": 20255 + }, + { + "epoch": 0.2026, + "grad_norm": 4.969520092010498, + "learning_rate": 4.027323232323233e-06, + "loss": 6.355764007568359, + "step": 20260 + }, + { + "epoch": 0.20265, + "grad_norm": 3.8611021041870117, + "learning_rate": 4.0270707070707074e-06, + "loss": 6.346780395507812, + "step": 20265 + }, + { + "epoch": 0.2027, + "grad_norm": 4.315485000610352, + "learning_rate": 4.026818181818182e-06, + "loss": 6.356830978393555, + "step": 20270 + }, + { + "epoch": 0.20275, + "grad_norm": 5.489567756652832, + "learning_rate": 4.026565656565657e-06, + "loss": 6.3519542694091795, + "step": 20275 + }, + { + "epoch": 0.2028, + "grad_norm": 4.812333106994629, + "learning_rate": 4.026313131313131e-06, + "loss": 6.3612548828125, + "step": 20280 + }, + { + "epoch": 0.20285, + "grad_norm": 4.527482986450195, + "learning_rate": 4.026060606060606e-06, + "loss": 6.365477752685547, + "step": 20285 + }, + { + "epoch": 0.2029, + "grad_norm": 2.9685986042022705, + "learning_rate": 4.0258080808080814e-06, + "loss": 6.36877326965332, + "step": 20290 + }, + { + "epoch": 0.20295, + "grad_norm": 7.469924449920654, + "learning_rate": 4.025555555555556e-06, + "loss": 6.312658309936523, + "step": 20295 + }, + { + "epoch": 0.203, + "grad_norm": 8.20630931854248, + "learning_rate": 4.025303030303031e-06, + "loss": 6.228873443603516, + "step": 20300 + }, + { + "epoch": 0.20305, + "grad_norm": 5.82289981842041, + "learning_rate": 4.025050505050505e-06, + "loss": 6.3263099670410154, + "step": 20305 + }, + { + "epoch": 0.2031, + "grad_norm": 5.933867454528809, + "learning_rate": 4.02479797979798e-06, + "loss": 6.446194458007812, + "step": 20310 + }, + { + "epoch": 0.20315, + "grad_norm": 3.6465070247650146, + "learning_rate": 4.024545454545455e-06, + "loss": 6.337147521972656, + "step": 20315 + }, + { + "epoch": 0.2032, + "grad_norm": 5.106374263763428, + "learning_rate": 4.024292929292929e-06, + "loss": 6.323910522460937, + "step": 20320 + }, + { + "epoch": 0.20325, + "grad_norm": 6.2929606437683105, + "learning_rate": 4.024040404040405e-06, + "loss": 6.35522575378418, + "step": 20325 + }, + { + "epoch": 0.2033, + "grad_norm": 4.971077919006348, + "learning_rate": 4.023787878787879e-06, + "loss": 6.374831771850586, + "step": 20330 + }, + { + "epoch": 0.20335, + "grad_norm": 4.0720391273498535, + "learning_rate": 4.023535353535354e-06, + "loss": 6.363529205322266, + "step": 20335 + }, + { + "epoch": 0.2034, + "grad_norm": 6.761946201324463, + "learning_rate": 4.023282828282829e-06, + "loss": 6.328658676147461, + "step": 20340 + }, + { + "epoch": 0.20345, + "grad_norm": 9.92784595489502, + "learning_rate": 4.023030303030303e-06, + "loss": 6.362234115600586, + "step": 20345 + }, + { + "epoch": 0.2035, + "grad_norm": 4.542357921600342, + "learning_rate": 4.022777777777778e-06, + "loss": 6.447410583496094, + "step": 20350 + }, + { + "epoch": 0.20355, + "grad_norm": 5.023688316345215, + "learning_rate": 4.0225252525252525e-06, + "loss": 6.306566619873047, + "step": 20355 + }, + { + "epoch": 0.2036, + "grad_norm": 10.305927276611328, + "learning_rate": 4.022272727272727e-06, + "loss": 6.383105087280273, + "step": 20360 + }, + { + "epoch": 0.20365, + "grad_norm": 2.9185283184051514, + "learning_rate": 4.022020202020203e-06, + "loss": 6.3423622131347654, + "step": 20365 + }, + { + "epoch": 0.2037, + "grad_norm": 3.667742967605591, + "learning_rate": 4.021767676767677e-06, + "loss": 6.3707115173339846, + "step": 20370 + }, + { + "epoch": 0.20375, + "grad_norm": 8.89310073852539, + "learning_rate": 4.021515151515152e-06, + "loss": 6.351136779785156, + "step": 20375 + }, + { + "epoch": 0.2038, + "grad_norm": 3.8383567333221436, + "learning_rate": 4.0212626262626265e-06, + "loss": 6.357881927490235, + "step": 20380 + }, + { + "epoch": 0.20385, + "grad_norm": 8.614429473876953, + "learning_rate": 4.021010101010102e-06, + "loss": 6.362750625610351, + "step": 20385 + }, + { + "epoch": 0.2039, + "grad_norm": 12.984660148620605, + "learning_rate": 4.020757575757577e-06, + "loss": 6.574108123779297, + "step": 20390 + }, + { + "epoch": 0.20395, + "grad_norm": 3.2902913093566895, + "learning_rate": 4.020505050505051e-06, + "loss": 6.352775192260742, + "step": 20395 + }, + { + "epoch": 0.204, + "grad_norm": 4.644119739532471, + "learning_rate": 4.020252525252525e-06, + "loss": 6.380883026123047, + "step": 20400 + }, + { + "epoch": 0.20405, + "grad_norm": 5.100404262542725, + "learning_rate": 4.0200000000000005e-06, + "loss": 6.397125244140625, + "step": 20405 + }, + { + "epoch": 0.2041, + "grad_norm": 4.269204616546631, + "learning_rate": 4.019747474747475e-06, + "loss": 6.408762359619141, + "step": 20410 + }, + { + "epoch": 0.20415, + "grad_norm": 31.281578063964844, + "learning_rate": 4.01949494949495e-06, + "loss": 6.278554534912109, + "step": 20415 + }, + { + "epoch": 0.2042, + "grad_norm": 3.684269428253174, + "learning_rate": 4.019242424242424e-06, + "loss": 6.30320930480957, + "step": 20420 + }, + { + "epoch": 0.20425, + "grad_norm": 6.166539192199707, + "learning_rate": 4.0189898989899e-06, + "loss": 6.385466766357422, + "step": 20425 + }, + { + "epoch": 0.2043, + "grad_norm": 3.428785562515259, + "learning_rate": 4.0187373737373745e-06, + "loss": 6.324388122558593, + "step": 20430 + }, + { + "epoch": 0.20435, + "grad_norm": 4.514702320098877, + "learning_rate": 4.018484848484849e-06, + "loss": 6.375190734863281, + "step": 20435 + }, + { + "epoch": 0.2044, + "grad_norm": 5.615166187286377, + "learning_rate": 4.018232323232324e-06, + "loss": 6.356307601928711, + "step": 20440 + }, + { + "epoch": 0.20445, + "grad_norm": 3.3424322605133057, + "learning_rate": 4.017979797979798e-06, + "loss": 6.345679855346679, + "step": 20445 + }, + { + "epoch": 0.2045, + "grad_norm": 2.646754264831543, + "learning_rate": 4.017727272727273e-06, + "loss": 6.355110168457031, + "step": 20450 + }, + { + "epoch": 0.20455, + "grad_norm": 3.1417641639709473, + "learning_rate": 4.017474747474748e-06, + "loss": 6.353330993652344, + "step": 20455 + }, + { + "epoch": 0.2046, + "grad_norm": 9.960881233215332, + "learning_rate": 4.017222222222222e-06, + "loss": 6.490077209472656, + "step": 20460 + }, + { + "epoch": 0.20465, + "grad_norm": 4.625771522521973, + "learning_rate": 4.016969696969698e-06, + "loss": 6.4681541442871096, + "step": 20465 + }, + { + "epoch": 0.2047, + "grad_norm": 7.6048688888549805, + "learning_rate": 4.016717171717172e-06, + "loss": 6.440632629394531, + "step": 20470 + }, + { + "epoch": 0.20475, + "grad_norm": 7.140348434448242, + "learning_rate": 4.016464646464647e-06, + "loss": 6.376180648803711, + "step": 20475 + }, + { + "epoch": 0.2048, + "grad_norm": 4.286020278930664, + "learning_rate": 4.016212121212122e-06, + "loss": 6.402983093261719, + "step": 20480 + }, + { + "epoch": 0.20485, + "grad_norm": 6.941558361053467, + "learning_rate": 4.015959595959596e-06, + "loss": 6.3578754425048825, + "step": 20485 + }, + { + "epoch": 0.2049, + "grad_norm": 13.418527603149414, + "learning_rate": 4.015707070707071e-06, + "loss": 6.460516357421875, + "step": 20490 + }, + { + "epoch": 0.20495, + "grad_norm": 3.7380850315093994, + "learning_rate": 4.0154545454545455e-06, + "loss": 6.342895126342773, + "step": 20495 + }, + { + "epoch": 0.205, + "grad_norm": 3.571575403213501, + "learning_rate": 4.01520202020202e-06, + "loss": 6.388998413085938, + "step": 20500 + }, + { + "epoch": 0.20505, + "grad_norm": 3.692755937576294, + "learning_rate": 4.014949494949496e-06, + "loss": 6.34915771484375, + "step": 20505 + }, + { + "epoch": 0.2051, + "grad_norm": 4.794854640960693, + "learning_rate": 4.01469696969697e-06, + "loss": 6.389421463012695, + "step": 20510 + }, + { + "epoch": 0.20515, + "grad_norm": 3.288912057876587, + "learning_rate": 4.014444444444445e-06, + "loss": 6.594066619873047, + "step": 20515 + }, + { + "epoch": 0.2052, + "grad_norm": 5.0585036277771, + "learning_rate": 4.0141919191919195e-06, + "loss": 6.355093002319336, + "step": 20520 + }, + { + "epoch": 0.20525, + "grad_norm": 5.878778457641602, + "learning_rate": 4.013939393939394e-06, + "loss": 6.610690307617188, + "step": 20525 + }, + { + "epoch": 0.2053, + "grad_norm": 4.336269378662109, + "learning_rate": 4.013686868686869e-06, + "loss": 6.3579357147216795, + "step": 20530 + }, + { + "epoch": 0.20535, + "grad_norm": 4.008432865142822, + "learning_rate": 4.013434343434343e-06, + "loss": 6.350932693481445, + "step": 20535 + }, + { + "epoch": 0.2054, + "grad_norm": 5.025798797607422, + "learning_rate": 4.013181818181818e-06, + "loss": 6.365487670898437, + "step": 20540 + }, + { + "epoch": 0.20545, + "grad_norm": 4.775993347167969, + "learning_rate": 4.0129292929292935e-06, + "loss": 6.370899200439453, + "step": 20545 + }, + { + "epoch": 0.2055, + "grad_norm": 4.619327545166016, + "learning_rate": 4.012676767676768e-06, + "loss": 6.320161437988281, + "step": 20550 + }, + { + "epoch": 0.20555, + "grad_norm": 4.6794962882995605, + "learning_rate": 4.012424242424243e-06, + "loss": 6.3646728515625, + "step": 20555 + }, + { + "epoch": 0.2056, + "grad_norm": 3.7817881107330322, + "learning_rate": 4.012171717171717e-06, + "loss": 6.445259094238281, + "step": 20560 + }, + { + "epoch": 0.20565, + "grad_norm": 5.776644229888916, + "learning_rate": 4.011919191919192e-06, + "loss": 6.35023193359375, + "step": 20565 + }, + { + "epoch": 0.2057, + "grad_norm": 14.06558895111084, + "learning_rate": 4.011666666666667e-06, + "loss": 6.460578918457031, + "step": 20570 + }, + { + "epoch": 0.20575, + "grad_norm": 4.164096355438232, + "learning_rate": 4.011414141414141e-06, + "loss": 6.464813232421875, + "step": 20575 + }, + { + "epoch": 0.2058, + "grad_norm": 4.149917125701904, + "learning_rate": 4.011161616161616e-06, + "loss": 6.368473052978516, + "step": 20580 + }, + { + "epoch": 0.20585, + "grad_norm": 3.432687282562256, + "learning_rate": 4.010909090909091e-06, + "loss": 6.356121826171875, + "step": 20585 + }, + { + "epoch": 0.2059, + "grad_norm": 5.107146263122559, + "learning_rate": 4.010656565656566e-06, + "loss": 6.364453887939453, + "step": 20590 + }, + { + "epoch": 0.20595, + "grad_norm": 3.402611017227173, + "learning_rate": 4.010404040404041e-06, + "loss": 6.357967376708984, + "step": 20595 + }, + { + "epoch": 0.206, + "grad_norm": 5.611897945404053, + "learning_rate": 4.010151515151515e-06, + "loss": 6.358080291748047, + "step": 20600 + }, + { + "epoch": 0.20605, + "grad_norm": 5.799321174621582, + "learning_rate": 4.009898989898991e-06, + "loss": 6.3924613952636715, + "step": 20605 + }, + { + "epoch": 0.2061, + "grad_norm": 4.138247489929199, + "learning_rate": 4.009646464646465e-06, + "loss": 6.2831378936767575, + "step": 20610 + }, + { + "epoch": 0.20615, + "grad_norm": 3.312458038330078, + "learning_rate": 4.00939393939394e-06, + "loss": 6.453696441650391, + "step": 20615 + }, + { + "epoch": 0.2062, + "grad_norm": 5.111586093902588, + "learning_rate": 4.009141414141414e-06, + "loss": 6.406465148925781, + "step": 20620 + }, + { + "epoch": 0.20625, + "grad_norm": 3.0231993198394775, + "learning_rate": 4.008888888888889e-06, + "loss": 6.41394271850586, + "step": 20625 + }, + { + "epoch": 0.2063, + "grad_norm": 6.32208776473999, + "learning_rate": 4.008636363636364e-06, + "loss": 6.4822135925292965, + "step": 20630 + }, + { + "epoch": 0.20635, + "grad_norm": 3.232923746109009, + "learning_rate": 4.0083838383838385e-06, + "loss": 6.396792984008789, + "step": 20635 + }, + { + "epoch": 0.2064, + "grad_norm": 3.0254411697387695, + "learning_rate": 4.008131313131313e-06, + "loss": 6.348231506347656, + "step": 20640 + }, + { + "epoch": 0.20645, + "grad_norm": 5.295039653778076, + "learning_rate": 4.007878787878789e-06, + "loss": 6.398869323730469, + "step": 20645 + }, + { + "epoch": 0.2065, + "grad_norm": 11.293522834777832, + "learning_rate": 4.007626262626263e-06, + "loss": 6.548778533935547, + "step": 20650 + }, + { + "epoch": 0.20655, + "grad_norm": 3.4703831672668457, + "learning_rate": 4.007373737373738e-06, + "loss": 6.3591064453125, + "step": 20655 + }, + { + "epoch": 0.2066, + "grad_norm": 4.949450969696045, + "learning_rate": 4.0071212121212125e-06, + "loss": 6.395159149169922, + "step": 20660 + }, + { + "epoch": 0.20665, + "grad_norm": 4.732714653015137, + "learning_rate": 4.006868686868687e-06, + "loss": 6.35709228515625, + "step": 20665 + }, + { + "epoch": 0.2067, + "grad_norm": 8.116568565368652, + "learning_rate": 4.006616161616162e-06, + "loss": 6.353506469726563, + "step": 20670 + }, + { + "epoch": 0.20675, + "grad_norm": 7.027108192443848, + "learning_rate": 4.0063636363636364e-06, + "loss": 6.3533683776855465, + "step": 20675 + }, + { + "epoch": 0.2068, + "grad_norm": 5.622602939605713, + "learning_rate": 4.006111111111111e-06, + "loss": 6.3503257751464846, + "step": 20680 + }, + { + "epoch": 0.20685, + "grad_norm": 5.282142162322998, + "learning_rate": 4.0058585858585865e-06, + "loss": 6.377806854248047, + "step": 20685 + }, + { + "epoch": 0.2069, + "grad_norm": 7.004215240478516, + "learning_rate": 4.005606060606061e-06, + "loss": 6.185681533813477, + "step": 20690 + }, + { + "epoch": 0.20695, + "grad_norm": 3.5564122200012207, + "learning_rate": 4.005353535353536e-06, + "loss": 6.359429168701172, + "step": 20695 + }, + { + "epoch": 0.207, + "grad_norm": 3.7010040283203125, + "learning_rate": 4.0051010101010104e-06, + "loss": 6.339554214477539, + "step": 20700 + }, + { + "epoch": 0.20705, + "grad_norm": 3.790940761566162, + "learning_rate": 4.004848484848485e-06, + "loss": 6.333852005004883, + "step": 20705 + }, + { + "epoch": 0.2071, + "grad_norm": 4.1006245613098145, + "learning_rate": 4.00459595959596e-06, + "loss": 6.365642547607422, + "step": 20710 + }, + { + "epoch": 0.20715, + "grad_norm": 17.143461227416992, + "learning_rate": 4.004343434343434e-06, + "loss": 6.3984840393066404, + "step": 20715 + }, + { + "epoch": 0.2072, + "grad_norm": 6.992534637451172, + "learning_rate": 4.00409090909091e-06, + "loss": 6.381084823608399, + "step": 20720 + }, + { + "epoch": 0.20725, + "grad_norm": 4.424422740936279, + "learning_rate": 4.0038383838383844e-06, + "loss": 6.356184005737305, + "step": 20725 + }, + { + "epoch": 0.2073, + "grad_norm": 4.875939846038818, + "learning_rate": 4.003585858585859e-06, + "loss": 6.360240173339844, + "step": 20730 + }, + { + "epoch": 0.20735, + "grad_norm": 5.140171527862549, + "learning_rate": 4.003333333333334e-06, + "loss": 6.355035018920899, + "step": 20735 + }, + { + "epoch": 0.2074, + "grad_norm": 4.237532615661621, + "learning_rate": 4.003080808080808e-06, + "loss": 6.35460205078125, + "step": 20740 + }, + { + "epoch": 0.20745, + "grad_norm": 6.2590508460998535, + "learning_rate": 4.002828282828283e-06, + "loss": 6.412515258789062, + "step": 20745 + }, + { + "epoch": 0.2075, + "grad_norm": 4.44389533996582, + "learning_rate": 4.0025757575757576e-06, + "loss": 6.375264739990234, + "step": 20750 + }, + { + "epoch": 0.20755, + "grad_norm": 3.36201810836792, + "learning_rate": 4.002323232323232e-06, + "loss": 6.387198638916016, + "step": 20755 + }, + { + "epoch": 0.2076, + "grad_norm": 4.838787078857422, + "learning_rate": 4.002070707070708e-06, + "loss": 6.4140174865722654, + "step": 20760 + }, + { + "epoch": 0.20765, + "grad_norm": 7.249969005584717, + "learning_rate": 4.001818181818182e-06, + "loss": 6.351432037353516, + "step": 20765 + }, + { + "epoch": 0.2077, + "grad_norm": 4.546363830566406, + "learning_rate": 4.001565656565657e-06, + "loss": 6.330135726928711, + "step": 20770 + }, + { + "epoch": 0.20775, + "grad_norm": 6.03836727142334, + "learning_rate": 4.0013131313131316e-06, + "loss": 6.317938995361328, + "step": 20775 + }, + { + "epoch": 0.2078, + "grad_norm": 4.840814590454102, + "learning_rate": 4.001060606060607e-06, + "loss": 6.373530578613281, + "step": 20780 + }, + { + "epoch": 0.20785, + "grad_norm": 9.981611251831055, + "learning_rate": 4.000808080808081e-06, + "loss": 6.296901702880859, + "step": 20785 + }, + { + "epoch": 0.2079, + "grad_norm": 7.801023960113525, + "learning_rate": 4.0005555555555555e-06, + "loss": 6.346604537963867, + "step": 20790 + }, + { + "epoch": 0.20795, + "grad_norm": 6.029979228973389, + "learning_rate": 4.00030303030303e-06, + "loss": 6.401062774658203, + "step": 20795 + }, + { + "epoch": 0.208, + "grad_norm": 5.683027744293213, + "learning_rate": 4.0000505050505056e-06, + "loss": 6.394994735717773, + "step": 20800 + }, + { + "epoch": 0.20805, + "grad_norm": 3.5526480674743652, + "learning_rate": 3.99979797979798e-06, + "loss": 6.377469635009765, + "step": 20805 + }, + { + "epoch": 0.2081, + "grad_norm": 4.418914794921875, + "learning_rate": 3.999545454545455e-06, + "loss": 6.336770629882812, + "step": 20810 + }, + { + "epoch": 0.20815, + "grad_norm": 4.853655815124512, + "learning_rate": 3.9992929292929295e-06, + "loss": 6.460979461669922, + "step": 20815 + }, + { + "epoch": 0.2082, + "grad_norm": 5.496026039123535, + "learning_rate": 3.999040404040405e-06, + "loss": 6.354240417480469, + "step": 20820 + }, + { + "epoch": 0.20825, + "grad_norm": 2.983301877975464, + "learning_rate": 3.9987878787878796e-06, + "loss": 6.390739440917969, + "step": 20825 + }, + { + "epoch": 0.2083, + "grad_norm": 16.09366798400879, + "learning_rate": 3.998535353535354e-06, + "loss": 6.3454235076904295, + "step": 20830 + }, + { + "epoch": 0.20835, + "grad_norm": 8.245223999023438, + "learning_rate": 3.998282828282829e-06, + "loss": 6.430421447753906, + "step": 20835 + }, + { + "epoch": 0.2084, + "grad_norm": 3.684112310409546, + "learning_rate": 3.9980303030303035e-06, + "loss": 6.33931884765625, + "step": 20840 + }, + { + "epoch": 0.20845, + "grad_norm": 6.892725467681885, + "learning_rate": 3.997777777777778e-06, + "loss": 6.399040222167969, + "step": 20845 + }, + { + "epoch": 0.2085, + "grad_norm": 3.439957618713379, + "learning_rate": 3.997525252525253e-06, + "loss": 6.343931198120117, + "step": 20850 + }, + { + "epoch": 0.20855, + "grad_norm": 8.895709037780762, + "learning_rate": 3.997272727272727e-06, + "loss": 6.446553039550781, + "step": 20855 + }, + { + "epoch": 0.2086, + "grad_norm": 5.565595626831055, + "learning_rate": 3.997020202020203e-06, + "loss": 6.476204681396484, + "step": 20860 + }, + { + "epoch": 0.20865, + "grad_norm": 4.334374904632568, + "learning_rate": 3.9967676767676775e-06, + "loss": 6.327626037597656, + "step": 20865 + }, + { + "epoch": 0.2087, + "grad_norm": 5.3817901611328125, + "learning_rate": 3.996515151515152e-06, + "loss": 6.290274810791016, + "step": 20870 + }, + { + "epoch": 0.20875, + "grad_norm": 10.791574478149414, + "learning_rate": 3.996262626262627e-06, + "loss": 6.453623962402344, + "step": 20875 + }, + { + "epoch": 0.2088, + "grad_norm": 3.3294553756713867, + "learning_rate": 3.996010101010101e-06, + "loss": 6.382739639282226, + "step": 20880 + }, + { + "epoch": 0.20885, + "grad_norm": 7.442202091217041, + "learning_rate": 3.995757575757576e-06, + "loss": 6.355996704101562, + "step": 20885 + }, + { + "epoch": 0.2089, + "grad_norm": 6.2286553382873535, + "learning_rate": 3.995505050505051e-06, + "loss": 6.352015686035156, + "step": 20890 + }, + { + "epoch": 0.20895, + "grad_norm": 4.528999328613281, + "learning_rate": 3.995252525252525e-06, + "loss": 6.398309326171875, + "step": 20895 + }, + { + "epoch": 0.209, + "grad_norm": 5.539361476898193, + "learning_rate": 3.995000000000001e-06, + "loss": 6.379689025878906, + "step": 20900 + }, + { + "epoch": 0.20905, + "grad_norm": 4.757680416107178, + "learning_rate": 3.994747474747475e-06, + "loss": 6.489178466796875, + "step": 20905 + }, + { + "epoch": 0.2091, + "grad_norm": 5.892220497131348, + "learning_rate": 3.99449494949495e-06, + "loss": 6.356561660766602, + "step": 20910 + }, + { + "epoch": 0.20915, + "grad_norm": 5.8020524978637695, + "learning_rate": 3.994242424242425e-06, + "loss": 6.269894409179687, + "step": 20915 + }, + { + "epoch": 0.2092, + "grad_norm": 6.144820690155029, + "learning_rate": 3.993989898989899e-06, + "loss": 6.359446716308594, + "step": 20920 + }, + { + "epoch": 0.20925, + "grad_norm": 6.359478950500488, + "learning_rate": 3.993737373737374e-06, + "loss": 6.331379318237305, + "step": 20925 + }, + { + "epoch": 0.2093, + "grad_norm": 6.281612396240234, + "learning_rate": 3.9934848484848485e-06, + "loss": 6.353636932373047, + "step": 20930 + }, + { + "epoch": 0.20935, + "grad_norm": 4.308096885681152, + "learning_rate": 3.993232323232323e-06, + "loss": 6.315085601806641, + "step": 20935 + }, + { + "epoch": 0.2094, + "grad_norm": 5.336031436920166, + "learning_rate": 3.992979797979799e-06, + "loss": 6.354276275634765, + "step": 20940 + }, + { + "epoch": 0.20945, + "grad_norm": 4.012864589691162, + "learning_rate": 3.992727272727273e-06, + "loss": 6.339645767211914, + "step": 20945 + }, + { + "epoch": 0.2095, + "grad_norm": 4.652839183807373, + "learning_rate": 3.992474747474748e-06, + "loss": 6.336920547485351, + "step": 20950 + }, + { + "epoch": 0.20955, + "grad_norm": 2.7315380573272705, + "learning_rate": 3.9922222222222225e-06, + "loss": 6.329990005493164, + "step": 20955 + }, + { + "epoch": 0.2096, + "grad_norm": 11.15515422821045, + "learning_rate": 3.991969696969697e-06, + "loss": 6.6475685119628904, + "step": 20960 + }, + { + "epoch": 0.20965, + "grad_norm": 5.343552112579346, + "learning_rate": 3.991717171717172e-06, + "loss": 6.389681243896485, + "step": 20965 + }, + { + "epoch": 0.2097, + "grad_norm": 3.3437976837158203, + "learning_rate": 3.991464646464646e-06, + "loss": 6.283087158203125, + "step": 20970 + }, + { + "epoch": 0.20975, + "grad_norm": 6.911880970001221, + "learning_rate": 3.991212121212121e-06, + "loss": 6.3439277648925785, + "step": 20975 + }, + { + "epoch": 0.2098, + "grad_norm": 5.578760623931885, + "learning_rate": 3.9909595959595965e-06, + "loss": 6.32133674621582, + "step": 20980 + }, + { + "epoch": 0.20985, + "grad_norm": 19.15350914001465, + "learning_rate": 3.990707070707071e-06, + "loss": 6.321911239624024, + "step": 20985 + }, + { + "epoch": 0.2099, + "grad_norm": 6.631302833557129, + "learning_rate": 3.990454545454546e-06, + "loss": 6.389309692382812, + "step": 20990 + }, + { + "epoch": 0.20995, + "grad_norm": 5.406488418579102, + "learning_rate": 3.99020202020202e-06, + "loss": 6.289642333984375, + "step": 20995 + }, + { + "epoch": 0.21, + "grad_norm": 5.33192253112793, + "learning_rate": 3.989949494949496e-06, + "loss": 6.312437438964844, + "step": 21000 + }, + { + "epoch": 0.21005, + "grad_norm": 4.749044418334961, + "learning_rate": 3.9896969696969705e-06, + "loss": 6.341854858398437, + "step": 21005 + }, + { + "epoch": 0.2101, + "grad_norm": 3.360349416732788, + "learning_rate": 3.989444444444444e-06, + "loss": 6.3814537048339846, + "step": 21010 + }, + { + "epoch": 0.21015, + "grad_norm": 5.383340358734131, + "learning_rate": 3.989191919191919e-06, + "loss": 6.349407577514649, + "step": 21015 + }, + { + "epoch": 0.2102, + "grad_norm": 6.050821781158447, + "learning_rate": 3.988939393939394e-06, + "loss": 6.314698028564453, + "step": 21020 + }, + { + "epoch": 0.21025, + "grad_norm": 4.283251762390137, + "learning_rate": 3.988686868686869e-06, + "loss": 6.39244384765625, + "step": 21025 + }, + { + "epoch": 0.2103, + "grad_norm": 3.3211472034454346, + "learning_rate": 3.988434343434344e-06, + "loss": 6.328467941284179, + "step": 21030 + }, + { + "epoch": 0.21035, + "grad_norm": 5.578979015350342, + "learning_rate": 3.988181818181818e-06, + "loss": 6.356046295166015, + "step": 21035 + }, + { + "epoch": 0.2104, + "grad_norm": 2.923556327819824, + "learning_rate": 3.987929292929294e-06, + "loss": 6.333168029785156, + "step": 21040 + }, + { + "epoch": 0.21045, + "grad_norm": 3.341574192047119, + "learning_rate": 3.987676767676768e-06, + "loss": 6.384103775024414, + "step": 21045 + }, + { + "epoch": 0.2105, + "grad_norm": 4.628855228424072, + "learning_rate": 3.987424242424243e-06, + "loss": 6.305697631835938, + "step": 21050 + }, + { + "epoch": 0.21055, + "grad_norm": 8.533914566040039, + "learning_rate": 3.987171717171718e-06, + "loss": 6.350126647949219, + "step": 21055 + }, + { + "epoch": 0.2106, + "grad_norm": 4.511482238769531, + "learning_rate": 3.986919191919192e-06, + "loss": 6.36800537109375, + "step": 21060 + }, + { + "epoch": 0.21065, + "grad_norm": 4.5658698081970215, + "learning_rate": 3.986666666666667e-06, + "loss": 6.287645721435547, + "step": 21065 + }, + { + "epoch": 0.2107, + "grad_norm": 5.8238019943237305, + "learning_rate": 3.9864141414141415e-06, + "loss": 6.429801940917969, + "step": 21070 + }, + { + "epoch": 0.21075, + "grad_norm": 4.793154239654541, + "learning_rate": 3.986161616161616e-06, + "loss": 6.3375404357910154, + "step": 21075 + }, + { + "epoch": 0.2108, + "grad_norm": 2.6113874912261963, + "learning_rate": 3.985909090909092e-06, + "loss": 6.347359085083008, + "step": 21080 + }, + { + "epoch": 0.21085, + "grad_norm": 4.035508155822754, + "learning_rate": 3.985656565656566e-06, + "loss": 6.327709197998047, + "step": 21085 + }, + { + "epoch": 0.2109, + "grad_norm": 7.060179233551025, + "learning_rate": 3.985404040404041e-06, + "loss": 6.395231628417969, + "step": 21090 + }, + { + "epoch": 0.21095, + "grad_norm": 3.3100943565368652, + "learning_rate": 3.9851515151515155e-06, + "loss": 6.334197616577148, + "step": 21095 + }, + { + "epoch": 0.211, + "grad_norm": 3.410588026046753, + "learning_rate": 3.98489898989899e-06, + "loss": 6.2635650634765625, + "step": 21100 + }, + { + "epoch": 0.21105, + "grad_norm": 5.326977252960205, + "learning_rate": 3.984646464646465e-06, + "loss": 6.4241477966308596, + "step": 21105 + }, + { + "epoch": 0.2111, + "grad_norm": 6.2368998527526855, + "learning_rate": 3.984393939393939e-06, + "loss": 6.374138641357422, + "step": 21110 + }, + { + "epoch": 0.21115, + "grad_norm": 3.7779035568237305, + "learning_rate": 3.984141414141414e-06, + "loss": 6.285033416748047, + "step": 21115 + }, + { + "epoch": 0.2112, + "grad_norm": 3.6418726444244385, + "learning_rate": 3.9838888888888895e-06, + "loss": 6.3784027099609375, + "step": 21120 + }, + { + "epoch": 0.21125, + "grad_norm": 3.3509421348571777, + "learning_rate": 3.983636363636364e-06, + "loss": 6.317223358154297, + "step": 21125 + }, + { + "epoch": 0.2113, + "grad_norm": 4.907395362854004, + "learning_rate": 3.983383838383839e-06, + "loss": 6.384052276611328, + "step": 21130 + }, + { + "epoch": 0.21135, + "grad_norm": 4.7471137046813965, + "learning_rate": 3.983131313131313e-06, + "loss": 6.349382400512695, + "step": 21135 + }, + { + "epoch": 0.2114, + "grad_norm": 4.345952033996582, + "learning_rate": 3.982878787878788e-06, + "loss": 6.33165397644043, + "step": 21140 + }, + { + "epoch": 0.21145, + "grad_norm": 4.373905658721924, + "learning_rate": 3.982626262626263e-06, + "loss": 6.342807006835938, + "step": 21145 + }, + { + "epoch": 0.2115, + "grad_norm": 5.889057636260986, + "learning_rate": 3.982373737373737e-06, + "loss": 6.36004638671875, + "step": 21150 + }, + { + "epoch": 0.21155, + "grad_norm": 3.803243637084961, + "learning_rate": 3.982121212121213e-06, + "loss": 6.334016036987305, + "step": 21155 + }, + { + "epoch": 0.2116, + "grad_norm": 20.658977508544922, + "learning_rate": 3.981868686868687e-06, + "loss": 6.540630340576172, + "step": 21160 + }, + { + "epoch": 0.21165, + "grad_norm": 4.416229248046875, + "learning_rate": 3.981616161616162e-06, + "loss": 6.344305419921875, + "step": 21165 + }, + { + "epoch": 0.2117, + "grad_norm": 4.388610363006592, + "learning_rate": 3.981363636363637e-06, + "loss": 6.338248443603516, + "step": 21170 + }, + { + "epoch": 0.21175, + "grad_norm": 3.0095276832580566, + "learning_rate": 3.981111111111111e-06, + "loss": 6.349266052246094, + "step": 21175 + }, + { + "epoch": 0.2118, + "grad_norm": 5.305881023406982, + "learning_rate": 3.980858585858586e-06, + "loss": 6.345028686523437, + "step": 21180 + }, + { + "epoch": 0.21185, + "grad_norm": 9.09161376953125, + "learning_rate": 3.9806060606060606e-06, + "loss": 6.310293579101563, + "step": 21185 + }, + { + "epoch": 0.2119, + "grad_norm": 5.345005512237549, + "learning_rate": 3.980353535353535e-06, + "loss": 6.351240539550782, + "step": 21190 + }, + { + "epoch": 0.21195, + "grad_norm": 37.088558197021484, + "learning_rate": 3.980101010101011e-06, + "loss": 6.596629333496094, + "step": 21195 + }, + { + "epoch": 0.212, + "grad_norm": 6.0732550621032715, + "learning_rate": 3.979848484848485e-06, + "loss": 6.331794738769531, + "step": 21200 + }, + { + "epoch": 0.21205, + "grad_norm": 15.80643367767334, + "learning_rate": 3.97959595959596e-06, + "loss": 6.3303382873535154, + "step": 21205 + }, + { + "epoch": 0.2121, + "grad_norm": 4.361663818359375, + "learning_rate": 3.9793434343434346e-06, + "loss": 6.364749908447266, + "step": 21210 + }, + { + "epoch": 0.21215, + "grad_norm": 5.119795322418213, + "learning_rate": 3.97909090909091e-06, + "loss": 6.366403579711914, + "step": 21215 + }, + { + "epoch": 0.2122, + "grad_norm": 31.1216983795166, + "learning_rate": 3.978838383838385e-06, + "loss": 6.392498397827149, + "step": 21220 + }, + { + "epoch": 0.21225, + "grad_norm": 4.654155731201172, + "learning_rate": 3.978585858585859e-06, + "loss": 6.366376876831055, + "step": 21225 + }, + { + "epoch": 0.2123, + "grad_norm": 6.365190505981445, + "learning_rate": 3.978333333333333e-06, + "loss": 6.349500274658203, + "step": 21230 + }, + { + "epoch": 0.21235, + "grad_norm": 4.107705593109131, + "learning_rate": 3.9780808080808086e-06, + "loss": 6.391770935058593, + "step": 21235 + }, + { + "epoch": 0.2124, + "grad_norm": 10.965446472167969, + "learning_rate": 3.977828282828283e-06, + "loss": 6.451714324951172, + "step": 21240 + }, + { + "epoch": 0.21245, + "grad_norm": 3.374950408935547, + "learning_rate": 3.977575757575758e-06, + "loss": 6.316110610961914, + "step": 21245 + }, + { + "epoch": 0.2125, + "grad_norm": 3.1414036750793457, + "learning_rate": 3.9773232323232324e-06, + "loss": 6.3915855407714846, + "step": 21250 + }, + { + "epoch": 0.21255, + "grad_norm": 2.866434335708618, + "learning_rate": 3.977070707070708e-06, + "loss": 6.324235534667968, + "step": 21255 + }, + { + "epoch": 0.2126, + "grad_norm": 5.275301456451416, + "learning_rate": 3.9768181818181826e-06, + "loss": 6.3302154541015625, + "step": 21260 + }, + { + "epoch": 0.21265, + "grad_norm": 4.489538192749023, + "learning_rate": 3.976565656565657e-06, + "loss": 6.358934020996093, + "step": 21265 + }, + { + "epoch": 0.2127, + "grad_norm": 4.967562675476074, + "learning_rate": 3.976313131313132e-06, + "loss": 6.339309310913086, + "step": 21270 + }, + { + "epoch": 0.21275, + "grad_norm": 4.33439302444458, + "learning_rate": 3.9760606060606064e-06, + "loss": 6.3633369445800785, + "step": 21275 + }, + { + "epoch": 0.2128, + "grad_norm": 4.58602237701416, + "learning_rate": 3.975808080808081e-06, + "loss": 6.30540771484375, + "step": 21280 + }, + { + "epoch": 0.21285, + "grad_norm": 4.668452739715576, + "learning_rate": 3.975555555555556e-06, + "loss": 6.3459617614746096, + "step": 21285 + }, + { + "epoch": 0.2129, + "grad_norm": 13.259733200073242, + "learning_rate": 3.97530303030303e-06, + "loss": 6.312184906005859, + "step": 21290 + }, + { + "epoch": 0.21295, + "grad_norm": 3.6409895420074463, + "learning_rate": 3.975050505050506e-06, + "loss": 6.281867980957031, + "step": 21295 + }, + { + "epoch": 0.213, + "grad_norm": 3.5067427158355713, + "learning_rate": 3.9747979797979804e-06, + "loss": 6.281711578369141, + "step": 21300 + }, + { + "epoch": 0.21305, + "grad_norm": 5.1656670570373535, + "learning_rate": 3.974545454545455e-06, + "loss": 6.301529312133789, + "step": 21305 + }, + { + "epoch": 0.2131, + "grad_norm": 6.2557373046875, + "learning_rate": 3.97429292929293e-06, + "loss": 6.315029144287109, + "step": 21310 + }, + { + "epoch": 0.21315, + "grad_norm": 7.3833184242248535, + "learning_rate": 3.974040404040404e-06, + "loss": 6.347721099853516, + "step": 21315 + }, + { + "epoch": 0.2132, + "grad_norm": 5.040048599243164, + "learning_rate": 3.973787878787879e-06, + "loss": 6.342762756347656, + "step": 21320 + }, + { + "epoch": 0.21325, + "grad_norm": 4.772780418395996, + "learning_rate": 3.973535353535354e-06, + "loss": 6.391777420043946, + "step": 21325 + }, + { + "epoch": 0.2133, + "grad_norm": 6.528231143951416, + "learning_rate": 3.973282828282828e-06, + "loss": 6.336102294921875, + "step": 21330 + }, + { + "epoch": 0.21335, + "grad_norm": 5.7505784034729, + "learning_rate": 3.973030303030304e-06, + "loss": 6.341020965576172, + "step": 21335 + }, + { + "epoch": 0.2134, + "grad_norm": 4.493333339691162, + "learning_rate": 3.972777777777778e-06, + "loss": 6.353553009033203, + "step": 21340 + }, + { + "epoch": 0.21345, + "grad_norm": 5.1836395263671875, + "learning_rate": 3.972525252525253e-06, + "loss": 6.2645820617675785, + "step": 21345 + }, + { + "epoch": 0.2135, + "grad_norm": 5.564456462860107, + "learning_rate": 3.972272727272728e-06, + "loss": 6.354582977294922, + "step": 21350 + }, + { + "epoch": 0.21355, + "grad_norm": 5.747696876525879, + "learning_rate": 3.972020202020202e-06, + "loss": 6.3443256378173825, + "step": 21355 + }, + { + "epoch": 0.2136, + "grad_norm": 6.277464389801025, + "learning_rate": 3.971767676767677e-06, + "loss": 6.380101013183594, + "step": 21360 + }, + { + "epoch": 0.21365, + "grad_norm": 3.980302095413208, + "learning_rate": 3.9715151515151515e-06, + "loss": 6.357783508300781, + "step": 21365 + }, + { + "epoch": 0.2137, + "grad_norm": 9.000571250915527, + "learning_rate": 3.971262626262626e-06, + "loss": 6.496051788330078, + "step": 21370 + }, + { + "epoch": 0.21375, + "grad_norm": 8.144983291625977, + "learning_rate": 3.971010101010102e-06, + "loss": 6.521352386474609, + "step": 21375 + }, + { + "epoch": 0.2138, + "grad_norm": 4.647714614868164, + "learning_rate": 3.970757575757576e-06, + "loss": 6.336988067626953, + "step": 21380 + }, + { + "epoch": 0.21385, + "grad_norm": 4.901347637176514, + "learning_rate": 3.970505050505051e-06, + "loss": 6.313188934326172, + "step": 21385 + }, + { + "epoch": 0.2139, + "grad_norm": 3.1035268306732178, + "learning_rate": 3.9702525252525255e-06, + "loss": 6.459159088134766, + "step": 21390 + }, + { + "epoch": 0.21395, + "grad_norm": 5.16068172454834, + "learning_rate": 3.97e-06, + "loss": 6.3476509094238285, + "step": 21395 + }, + { + "epoch": 0.214, + "grad_norm": 4.311553955078125, + "learning_rate": 3.969747474747475e-06, + "loss": 6.3172954559326175, + "step": 21400 + }, + { + "epoch": 0.21405, + "grad_norm": 4.532411098480225, + "learning_rate": 3.969494949494949e-06, + "loss": 6.3630828857421875, + "step": 21405 + }, + { + "epoch": 0.2141, + "grad_norm": 4.450646877288818, + "learning_rate": 3.969242424242424e-06, + "loss": 6.387375259399414, + "step": 21410 + }, + { + "epoch": 0.21415, + "grad_norm": 4.3361616134643555, + "learning_rate": 3.9689898989898995e-06, + "loss": 6.3737529754638675, + "step": 21415 + }, + { + "epoch": 0.2142, + "grad_norm": 3.546706438064575, + "learning_rate": 3.968737373737374e-06, + "loss": 6.3721263885498045, + "step": 21420 + }, + { + "epoch": 0.21425, + "grad_norm": 5.346105098724365, + "learning_rate": 3.968484848484849e-06, + "loss": 6.427745056152344, + "step": 21425 + }, + { + "epoch": 0.2143, + "grad_norm": 5.1019816398620605, + "learning_rate": 3.968232323232323e-06, + "loss": 6.345580291748047, + "step": 21430 + }, + { + "epoch": 0.21435, + "grad_norm": 4.563647747039795, + "learning_rate": 3.967979797979799e-06, + "loss": 6.340779876708984, + "step": 21435 + }, + { + "epoch": 0.2144, + "grad_norm": 4.112351894378662, + "learning_rate": 3.9677272727272735e-06, + "loss": 6.359388732910157, + "step": 21440 + }, + { + "epoch": 0.21445, + "grad_norm": 5.125707626342773, + "learning_rate": 3.967474747474748e-06, + "loss": 6.347042083740234, + "step": 21445 + }, + { + "epoch": 0.2145, + "grad_norm": 7.400912284851074, + "learning_rate": 3.967222222222222e-06, + "loss": 6.349510192871094, + "step": 21450 + }, + { + "epoch": 0.21455, + "grad_norm": 6.1745452880859375, + "learning_rate": 3.966969696969697e-06, + "loss": 6.322837066650391, + "step": 21455 + }, + { + "epoch": 0.2146, + "grad_norm": 5.7768659591674805, + "learning_rate": 3.966717171717172e-06, + "loss": 6.3995006561279295, + "step": 21460 + }, + { + "epoch": 0.21465, + "grad_norm": 6.1235151290893555, + "learning_rate": 3.966464646464647e-06, + "loss": 6.390949249267578, + "step": 21465 + }, + { + "epoch": 0.2147, + "grad_norm": 5.278066158294678, + "learning_rate": 3.966212121212121e-06, + "loss": 6.36290283203125, + "step": 21470 + }, + { + "epoch": 0.21475, + "grad_norm": 5.278104305267334, + "learning_rate": 3.965959595959597e-06, + "loss": 6.421596527099609, + "step": 21475 + }, + { + "epoch": 0.2148, + "grad_norm": 4.818373680114746, + "learning_rate": 3.965707070707071e-06, + "loss": 6.333554077148437, + "step": 21480 + }, + { + "epoch": 0.21485, + "grad_norm": 4.123604774475098, + "learning_rate": 3.965454545454546e-06, + "loss": 6.355207824707032, + "step": 21485 + }, + { + "epoch": 0.2149, + "grad_norm": 8.12369155883789, + "learning_rate": 3.965202020202021e-06, + "loss": 6.351161193847656, + "step": 21490 + }, + { + "epoch": 0.21495, + "grad_norm": 5.29095458984375, + "learning_rate": 3.964949494949495e-06, + "loss": 6.496044921875, + "step": 21495 + }, + { + "epoch": 0.215, + "grad_norm": 3.7790210247039795, + "learning_rate": 3.96469696969697e-06, + "loss": 6.422084045410156, + "step": 21500 + }, + { + "epoch": 0.21505, + "grad_norm": 6.441680908203125, + "learning_rate": 3.9644444444444445e-06, + "loss": 6.355801010131836, + "step": 21505 + }, + { + "epoch": 0.2151, + "grad_norm": 4.648576259613037, + "learning_rate": 3.964191919191919e-06, + "loss": 6.361141204833984, + "step": 21510 + }, + { + "epoch": 0.21515, + "grad_norm": 5.097938537597656, + "learning_rate": 3.963939393939395e-06, + "loss": 6.418809509277343, + "step": 21515 + }, + { + "epoch": 0.2152, + "grad_norm": 5.896158218383789, + "learning_rate": 3.963686868686869e-06, + "loss": 6.381727600097657, + "step": 21520 + }, + { + "epoch": 0.21525, + "grad_norm": 4.103091239929199, + "learning_rate": 3.963434343434344e-06, + "loss": 6.291159439086914, + "step": 21525 + }, + { + "epoch": 0.2153, + "grad_norm": 8.13593578338623, + "learning_rate": 3.9631818181818185e-06, + "loss": 6.123272323608399, + "step": 21530 + }, + { + "epoch": 0.21535, + "grad_norm": 3.3224587440490723, + "learning_rate": 3.962929292929293e-06, + "loss": 6.325215911865234, + "step": 21535 + }, + { + "epoch": 0.2154, + "grad_norm": 16.141931533813477, + "learning_rate": 3.962676767676768e-06, + "loss": 6.235218811035156, + "step": 21540 + }, + { + "epoch": 0.21545, + "grad_norm": 4.663811683654785, + "learning_rate": 3.962424242424242e-06, + "loss": 6.347470092773437, + "step": 21545 + }, + { + "epoch": 0.2155, + "grad_norm": 5.491455554962158, + "learning_rate": 3.962171717171717e-06, + "loss": 6.362879943847656, + "step": 21550 + }, + { + "epoch": 0.21555, + "grad_norm": 4.514288902282715, + "learning_rate": 3.9619191919191925e-06, + "loss": 6.382190704345703, + "step": 21555 + }, + { + "epoch": 0.2156, + "grad_norm": 3.900432825088501, + "learning_rate": 3.961666666666667e-06, + "loss": 6.384289932250977, + "step": 21560 + }, + { + "epoch": 0.21565, + "grad_norm": 5.21976375579834, + "learning_rate": 3.961414141414142e-06, + "loss": 6.3376914978027346, + "step": 21565 + }, + { + "epoch": 0.2157, + "grad_norm": 5.378953456878662, + "learning_rate": 3.961161616161616e-06, + "loss": 6.309489440917969, + "step": 21570 + }, + { + "epoch": 0.21575, + "grad_norm": 7.530524730682373, + "learning_rate": 3.960909090909091e-06, + "loss": 6.465728759765625, + "step": 21575 + }, + { + "epoch": 0.2158, + "grad_norm": 4.982522964477539, + "learning_rate": 3.960656565656566e-06, + "loss": 6.321490859985351, + "step": 21580 + }, + { + "epoch": 0.21585, + "grad_norm": 5.911306858062744, + "learning_rate": 3.96040404040404e-06, + "loss": 6.364742279052734, + "step": 21585 + }, + { + "epoch": 0.2159, + "grad_norm": 5.698651313781738, + "learning_rate": 3.960151515151516e-06, + "loss": 6.372504425048828, + "step": 21590 + }, + { + "epoch": 0.21595, + "grad_norm": 5.642559051513672, + "learning_rate": 3.95989898989899e-06, + "loss": 6.358496856689453, + "step": 21595 + }, + { + "epoch": 0.216, + "grad_norm": 2.855836868286133, + "learning_rate": 3.959646464646465e-06, + "loss": 6.3617603302001955, + "step": 21600 + }, + { + "epoch": 0.21605, + "grad_norm": 6.255645751953125, + "learning_rate": 3.95939393939394e-06, + "loss": 6.3692474365234375, + "step": 21605 + }, + { + "epoch": 0.2161, + "grad_norm": 4.702322483062744, + "learning_rate": 3.959141414141415e-06, + "loss": 6.321267318725586, + "step": 21610 + }, + { + "epoch": 0.21615, + "grad_norm": 4.781519889831543, + "learning_rate": 3.958888888888889e-06, + "loss": 6.370015335083008, + "step": 21615 + }, + { + "epoch": 0.2162, + "grad_norm": 5.614774703979492, + "learning_rate": 3.9586363636363635e-06, + "loss": 6.352112197875977, + "step": 21620 + }, + { + "epoch": 0.21625, + "grad_norm": 4.693443298339844, + "learning_rate": 3.958383838383838e-06, + "loss": 6.335024642944336, + "step": 21625 + }, + { + "epoch": 0.2163, + "grad_norm": 4.996774196624756, + "learning_rate": 3.958131313131314e-06, + "loss": 6.364309692382813, + "step": 21630 + }, + { + "epoch": 0.21635, + "grad_norm": 5.610236167907715, + "learning_rate": 3.957878787878788e-06, + "loss": 6.360979080200195, + "step": 21635 + }, + { + "epoch": 0.2164, + "grad_norm": 5.365516662597656, + "learning_rate": 3.957626262626263e-06, + "loss": 6.377675247192383, + "step": 21640 + }, + { + "epoch": 0.21645, + "grad_norm": 5.070429801940918, + "learning_rate": 3.9573737373737375e-06, + "loss": 6.314213562011719, + "step": 21645 + }, + { + "epoch": 0.2165, + "grad_norm": 4.424585819244385, + "learning_rate": 3.957121212121213e-06, + "loss": 6.372905349731445, + "step": 21650 + }, + { + "epoch": 0.21655, + "grad_norm": 3.3610172271728516, + "learning_rate": 3.956868686868688e-06, + "loss": 6.338685607910156, + "step": 21655 + }, + { + "epoch": 0.2166, + "grad_norm": 5.519661903381348, + "learning_rate": 3.956616161616162e-06, + "loss": 6.307672500610352, + "step": 21660 + }, + { + "epoch": 0.21665, + "grad_norm": 4.318310260772705, + "learning_rate": 3.956363636363637e-06, + "loss": 6.296174240112305, + "step": 21665 + }, + { + "epoch": 0.2167, + "grad_norm": 3.873854398727417, + "learning_rate": 3.9561111111111115e-06, + "loss": 6.304802322387696, + "step": 21670 + }, + { + "epoch": 0.21675, + "grad_norm": 4.453067302703857, + "learning_rate": 3.955858585858586e-06, + "loss": 6.387702560424804, + "step": 21675 + }, + { + "epoch": 0.2168, + "grad_norm": 4.276709079742432, + "learning_rate": 3.955606060606061e-06, + "loss": 6.3565673828125, + "step": 21680 + }, + { + "epoch": 0.21685, + "grad_norm": 4.498365879058838, + "learning_rate": 3.9553535353535354e-06, + "loss": 6.357732772827148, + "step": 21685 + }, + { + "epoch": 0.2169, + "grad_norm": 4.903365612030029, + "learning_rate": 3.955101010101011e-06, + "loss": 6.337341690063477, + "step": 21690 + }, + { + "epoch": 0.21695, + "grad_norm": 4.123236656188965, + "learning_rate": 3.9548484848484855e-06, + "loss": 6.418603515625, + "step": 21695 + }, + { + "epoch": 0.217, + "grad_norm": 3.1305978298187256, + "learning_rate": 3.95459595959596e-06, + "loss": 6.3165534973144535, + "step": 21700 + }, + { + "epoch": 0.21705, + "grad_norm": 3.4849157333374023, + "learning_rate": 3.954343434343435e-06, + "loss": 6.369656753540039, + "step": 21705 + }, + { + "epoch": 0.2171, + "grad_norm": 4.606607913970947, + "learning_rate": 3.9540909090909094e-06, + "loss": 6.303907775878907, + "step": 21710 + }, + { + "epoch": 0.21715, + "grad_norm": 8.79810905456543, + "learning_rate": 3.953838383838384e-06, + "loss": 6.346179580688476, + "step": 21715 + }, + { + "epoch": 0.2172, + "grad_norm": 3.3929765224456787, + "learning_rate": 3.953585858585859e-06, + "loss": 6.390393829345703, + "step": 21720 + }, + { + "epoch": 0.21725, + "grad_norm": 4.543918132781982, + "learning_rate": 3.953333333333333e-06, + "loss": 6.3717185974121096, + "step": 21725 + }, + { + "epoch": 0.2173, + "grad_norm": 4.410362720489502, + "learning_rate": 3.953080808080809e-06, + "loss": 6.339332199096679, + "step": 21730 + }, + { + "epoch": 0.21735, + "grad_norm": 4.107402324676514, + "learning_rate": 3.9528282828282834e-06, + "loss": 6.317170715332031, + "step": 21735 + }, + { + "epoch": 0.2174, + "grad_norm": 6.2682719230651855, + "learning_rate": 3.952575757575758e-06, + "loss": 6.330909729003906, + "step": 21740 + }, + { + "epoch": 0.21745, + "grad_norm": 5.619136333465576, + "learning_rate": 3.952323232323233e-06, + "loss": 6.417395782470703, + "step": 21745 + }, + { + "epoch": 0.2175, + "grad_norm": 9.82800579071045, + "learning_rate": 3.952070707070707e-06, + "loss": 6.290705871582031, + "step": 21750 + }, + { + "epoch": 0.21755, + "grad_norm": 4.4177117347717285, + "learning_rate": 3.951818181818182e-06, + "loss": 6.358160018920898, + "step": 21755 + }, + { + "epoch": 0.2176, + "grad_norm": 7.399737358093262, + "learning_rate": 3.9515656565656566e-06, + "loss": 6.373242568969727, + "step": 21760 + }, + { + "epoch": 0.21765, + "grad_norm": 2.527482509613037, + "learning_rate": 3.951313131313131e-06, + "loss": 6.389566040039062, + "step": 21765 + }, + { + "epoch": 0.2177, + "grad_norm": 5.605316638946533, + "learning_rate": 3.951060606060607e-06, + "loss": 6.503941345214844, + "step": 21770 + }, + { + "epoch": 0.21775, + "grad_norm": 4.3367228507995605, + "learning_rate": 3.950808080808081e-06, + "loss": 6.3826953887939455, + "step": 21775 + }, + { + "epoch": 0.2178, + "grad_norm": 3.7563390731811523, + "learning_rate": 3.950555555555556e-06, + "loss": 6.340676116943359, + "step": 21780 + }, + { + "epoch": 0.21785, + "grad_norm": 4.662507057189941, + "learning_rate": 3.9503030303030306e-06, + "loss": 6.337590026855469, + "step": 21785 + }, + { + "epoch": 0.2179, + "grad_norm": 6.536571502685547, + "learning_rate": 3.950050505050505e-06, + "loss": 6.372230911254883, + "step": 21790 + }, + { + "epoch": 0.21795, + "grad_norm": 3.432849645614624, + "learning_rate": 3.94979797979798e-06, + "loss": 6.324848556518555, + "step": 21795 + }, + { + "epoch": 0.218, + "grad_norm": 3.079097032546997, + "learning_rate": 3.9495454545454545e-06, + "loss": 6.505039215087891, + "step": 21800 + }, + { + "epoch": 0.21805, + "grad_norm": 3.5670788288116455, + "learning_rate": 3.949292929292929e-06, + "loss": 6.300986480712891, + "step": 21805 + }, + { + "epoch": 0.2181, + "grad_norm": 7.068577766418457, + "learning_rate": 3.9490404040404046e-06, + "loss": 6.358495712280273, + "step": 21810 + }, + { + "epoch": 0.21815, + "grad_norm": 4.30488395690918, + "learning_rate": 3.948787878787879e-06, + "loss": 6.372005844116211, + "step": 21815 + }, + { + "epoch": 0.2182, + "grad_norm": 4.001838684082031, + "learning_rate": 3.948535353535354e-06, + "loss": 6.344174194335937, + "step": 21820 + }, + { + "epoch": 0.21825, + "grad_norm": 3.0370726585388184, + "learning_rate": 3.9482828282828285e-06, + "loss": 6.3144477844238285, + "step": 21825 + }, + { + "epoch": 0.2183, + "grad_norm": 3.9563684463500977, + "learning_rate": 3.948030303030304e-06, + "loss": 6.400917816162109, + "step": 21830 + }, + { + "epoch": 0.21835, + "grad_norm": 3.697495222091675, + "learning_rate": 3.9477777777777786e-06, + "loss": 6.373700714111328, + "step": 21835 + }, + { + "epoch": 0.2184, + "grad_norm": 5.052238941192627, + "learning_rate": 3.947525252525252e-06, + "loss": 6.337027740478516, + "step": 21840 + }, + { + "epoch": 0.21845, + "grad_norm": 4.299785137176514, + "learning_rate": 3.947272727272727e-06, + "loss": 6.434446716308594, + "step": 21845 + }, + { + "epoch": 0.2185, + "grad_norm": 11.646597862243652, + "learning_rate": 3.9470202020202025e-06, + "loss": 6.341838836669922, + "step": 21850 + }, + { + "epoch": 0.21855, + "grad_norm": 3.6401522159576416, + "learning_rate": 3.946767676767677e-06, + "loss": 6.390865707397461, + "step": 21855 + }, + { + "epoch": 0.2186, + "grad_norm": 10.22292423248291, + "learning_rate": 3.946515151515152e-06, + "loss": 6.414631652832031, + "step": 21860 + }, + { + "epoch": 0.21865, + "grad_norm": 3.756352663040161, + "learning_rate": 3.946262626262626e-06, + "loss": 6.571408081054687, + "step": 21865 + }, + { + "epoch": 0.2187, + "grad_norm": 4.389672756195068, + "learning_rate": 3.946010101010102e-06, + "loss": 6.316670989990234, + "step": 21870 + }, + { + "epoch": 0.21875, + "grad_norm": 3.8163018226623535, + "learning_rate": 3.9457575757575765e-06, + "loss": 6.334868621826172, + "step": 21875 + }, + { + "epoch": 0.2188, + "grad_norm": 4.799773693084717, + "learning_rate": 3.945505050505051e-06, + "loss": 6.318629455566406, + "step": 21880 + }, + { + "epoch": 0.21885, + "grad_norm": 5.284512042999268, + "learning_rate": 3.945252525252526e-06, + "loss": 6.286919784545899, + "step": 21885 + }, + { + "epoch": 0.2189, + "grad_norm": 4.744752883911133, + "learning_rate": 3.945e-06, + "loss": 6.391831970214843, + "step": 21890 + }, + { + "epoch": 0.21895, + "grad_norm": 3.9955224990844727, + "learning_rate": 3.944747474747475e-06, + "loss": 6.3674579620361325, + "step": 21895 + }, + { + "epoch": 0.219, + "grad_norm": 3.5363123416900635, + "learning_rate": 3.94449494949495e-06, + "loss": 6.355007934570312, + "step": 21900 + }, + { + "epoch": 0.21905, + "grad_norm": 6.196945667266846, + "learning_rate": 3.944242424242424e-06, + "loss": 6.3502952575683596, + "step": 21905 + }, + { + "epoch": 0.2191, + "grad_norm": 4.365527638583444e-05, + "learning_rate": 3.9439898989899e-06, + "loss": 1.3522143363952637, + "step": 21910 + }, + { + "epoch": 0.21915, + "grad_norm": 12.8985013961792, + "learning_rate": 3.943737373737374e-06, + "loss": 0.9795275688171386, + "step": 21915 + }, + { + "epoch": 0.2192, + "grad_norm": 6.572193145751953, + "learning_rate": 3.943484848484849e-06, + "loss": 6.335569763183594, + "step": 21920 + }, + { + "epoch": 0.21925, + "grad_norm": 4.460758209228516, + "learning_rate": 3.943232323232324e-06, + "loss": 6.365348434448242, + "step": 21925 + }, + { + "epoch": 0.2193, + "grad_norm": 5.885843276977539, + "learning_rate": 3.942979797979798e-06, + "loss": 6.313883972167969, + "step": 21930 + }, + { + "epoch": 0.21935, + "grad_norm": 7.0637593269348145, + "learning_rate": 3.942727272727273e-06, + "loss": 6.343839263916015, + "step": 21935 + }, + { + "epoch": 0.2194, + "grad_norm": 15.866835594177246, + "learning_rate": 3.9424747474747475e-06, + "loss": 6.554473876953125, + "step": 21940 + }, + { + "epoch": 0.21945, + "grad_norm": 4.444032192230225, + "learning_rate": 3.942222222222222e-06, + "loss": 6.316667938232422, + "step": 21945 + }, + { + "epoch": 0.2195, + "grad_norm": 6.178563117980957, + "learning_rate": 3.941969696969698e-06, + "loss": 6.258186340332031, + "step": 21950 + }, + { + "epoch": 0.21955, + "grad_norm": 12.335797309875488, + "learning_rate": 3.941717171717172e-06, + "loss": 6.482456970214844, + "step": 21955 + }, + { + "epoch": 0.2196, + "grad_norm": 5.042158126831055, + "learning_rate": 3.941464646464647e-06, + "loss": 6.338861083984375, + "step": 21960 + }, + { + "epoch": 0.21965, + "grad_norm": 3.2799739837646484, + "learning_rate": 3.9412121212121215e-06, + "loss": 6.230805969238281, + "step": 21965 + }, + { + "epoch": 0.2197, + "grad_norm": 5.143213748931885, + "learning_rate": 3.940959595959596e-06, + "loss": 6.386198806762695, + "step": 21970 + }, + { + "epoch": 0.21975, + "grad_norm": 3.7820916175842285, + "learning_rate": 3.940707070707071e-06, + "loss": 6.333648300170898, + "step": 21975 + }, + { + "epoch": 0.2198, + "grad_norm": 7.150546073913574, + "learning_rate": 3.940454545454545e-06, + "loss": 6.333771896362305, + "step": 21980 + }, + { + "epoch": 0.21985, + "grad_norm": 4.593753337860107, + "learning_rate": 3.94020202020202e-06, + "loss": 6.342755508422852, + "step": 21985 + }, + { + "epoch": 0.2199, + "grad_norm": 5.354594707489014, + "learning_rate": 3.9399494949494955e-06, + "loss": 6.301165008544922, + "step": 21990 + }, + { + "epoch": 0.21995, + "grad_norm": 4.7729034423828125, + "learning_rate": 3.93969696969697e-06, + "loss": 6.367475128173828, + "step": 21995 + }, + { + "epoch": 0.22, + "grad_norm": 9.192155838012695, + "learning_rate": 3.939444444444445e-06, + "loss": 6.365518188476562, + "step": 22000 + }, + { + "epoch": 0.22005, + "grad_norm": 5.5374884605407715, + "learning_rate": 3.939191919191919e-06, + "loss": 6.355663299560547, + "step": 22005 + }, + { + "epoch": 0.2201, + "grad_norm": 4.4399800300598145, + "learning_rate": 3.938939393939394e-06, + "loss": 6.3567665100097654, + "step": 22010 + }, + { + "epoch": 0.22015, + "grad_norm": 3.6572413444519043, + "learning_rate": 3.938686868686869e-06, + "loss": 6.353284454345703, + "step": 22015 + }, + { + "epoch": 0.2202, + "grad_norm": 3.180549144744873, + "learning_rate": 3.938434343434343e-06, + "loss": 6.365865325927734, + "step": 22020 + }, + { + "epoch": 0.22025, + "grad_norm": 3.33052921295166, + "learning_rate": 3.938181818181819e-06, + "loss": 6.363699722290039, + "step": 22025 + }, + { + "epoch": 0.2203, + "grad_norm": 5.216503143310547, + "learning_rate": 3.937929292929293e-06, + "loss": 6.335125350952149, + "step": 22030 + }, + { + "epoch": 0.22035, + "grad_norm": 4.603518009185791, + "learning_rate": 3.937676767676768e-06, + "loss": 6.361663818359375, + "step": 22035 + }, + { + "epoch": 0.2204, + "grad_norm": 6.61617374420166, + "learning_rate": 3.937424242424243e-06, + "loss": 6.51595458984375, + "step": 22040 + }, + { + "epoch": 0.22045, + "grad_norm": 2.6309993267059326, + "learning_rate": 3.937171717171718e-06, + "loss": 6.329469299316406, + "step": 22045 + }, + { + "epoch": 0.2205, + "grad_norm": 4.145974159240723, + "learning_rate": 3.936919191919193e-06, + "loss": 6.37933578491211, + "step": 22050 + }, + { + "epoch": 0.22055, + "grad_norm": 5.518905162811279, + "learning_rate": 3.936666666666667e-06, + "loss": 6.348477172851562, + "step": 22055 + }, + { + "epoch": 0.2206, + "grad_norm": 3.480255365371704, + "learning_rate": 3.936414141414141e-06, + "loss": 6.327765274047851, + "step": 22060 + }, + { + "epoch": 0.22065, + "grad_norm": 4.1377081871032715, + "learning_rate": 3.936161616161617e-06, + "loss": 6.365662384033203, + "step": 22065 + }, + { + "epoch": 0.2207, + "grad_norm": 11.709415435791016, + "learning_rate": 3.935909090909091e-06, + "loss": 6.390205764770508, + "step": 22070 + }, + { + "epoch": 0.22075, + "grad_norm": 4.713285446166992, + "learning_rate": 3.935656565656566e-06, + "loss": 6.392504119873047, + "step": 22075 + }, + { + "epoch": 0.2208, + "grad_norm": 9.711366653442383, + "learning_rate": 3.9354040404040405e-06, + "loss": 6.345866394042969, + "step": 22080 + }, + { + "epoch": 0.22085, + "grad_norm": 3.541916608810425, + "learning_rate": 3.935151515151516e-06, + "loss": 6.390850830078125, + "step": 22085 + }, + { + "epoch": 0.2209, + "grad_norm": 4.560990810394287, + "learning_rate": 3.934898989898991e-06, + "loss": 6.420188903808594, + "step": 22090 + }, + { + "epoch": 0.22095, + "grad_norm": 3.9550952911376953, + "learning_rate": 3.934646464646465e-06, + "loss": 6.3682300567626955, + "step": 22095 + }, + { + "epoch": 0.221, + "grad_norm": 4.7514238357543945, + "learning_rate": 3.93439393939394e-06, + "loss": 6.3016101837158205, + "step": 22100 + }, + { + "epoch": 0.22105, + "grad_norm": 2.9150662422180176, + "learning_rate": 3.9341414141414145e-06, + "loss": 6.449092102050781, + "step": 22105 + }, + { + "epoch": 0.2211, + "grad_norm": 6.345834255218506, + "learning_rate": 3.933888888888889e-06, + "loss": 6.713237762451172, + "step": 22110 + }, + { + "epoch": 0.22115, + "grad_norm": 5.034000396728516, + "learning_rate": 3.933636363636364e-06, + "loss": 6.3048858642578125, + "step": 22115 + }, + { + "epoch": 0.2212, + "grad_norm": 5.093130111694336, + "learning_rate": 3.933383838383838e-06, + "loss": 6.3440399169921875, + "step": 22120 + }, + { + "epoch": 0.22125, + "grad_norm": 4.820078372955322, + "learning_rate": 3.933131313131314e-06, + "loss": 6.350347900390625, + "step": 22125 + }, + { + "epoch": 0.2213, + "grad_norm": 5.668598175048828, + "learning_rate": 3.9328787878787885e-06, + "loss": 6.4487152099609375, + "step": 22130 + }, + { + "epoch": 0.22135, + "grad_norm": 26.93146514892578, + "learning_rate": 3.932626262626263e-06, + "loss": 6.496022796630859, + "step": 22135 + }, + { + "epoch": 0.2214, + "grad_norm": 4.091119766235352, + "learning_rate": 3.932373737373738e-06, + "loss": 6.366105270385742, + "step": 22140 + }, + { + "epoch": 0.22145, + "grad_norm": 6.68541955947876, + "learning_rate": 3.932121212121212e-06, + "loss": 6.313965225219727, + "step": 22145 + }, + { + "epoch": 0.2215, + "grad_norm": 13.055360794067383, + "learning_rate": 3.931868686868687e-06, + "loss": 6.391211700439453, + "step": 22150 + }, + { + "epoch": 0.22155, + "grad_norm": 3.9464967250823975, + "learning_rate": 3.931616161616162e-06, + "loss": 6.369891738891601, + "step": 22155 + }, + { + "epoch": 0.2216, + "grad_norm": 3.6612648963928223, + "learning_rate": 3.931363636363636e-06, + "loss": 6.33223876953125, + "step": 22160 + }, + { + "epoch": 0.22165, + "grad_norm": 4.623621940612793, + "learning_rate": 3.931111111111112e-06, + "loss": 6.292797470092774, + "step": 22165 + }, + { + "epoch": 0.2217, + "grad_norm": 3.946295976638794, + "learning_rate": 3.930858585858586e-06, + "loss": 6.329728317260742, + "step": 22170 + }, + { + "epoch": 0.22175, + "grad_norm": 5.205915451049805, + "learning_rate": 3.930606060606061e-06, + "loss": 6.344585418701172, + "step": 22175 + }, + { + "epoch": 0.2218, + "grad_norm": 3.874110460281372, + "learning_rate": 3.930353535353536e-06, + "loss": 6.353389739990234, + "step": 22180 + }, + { + "epoch": 0.22185, + "grad_norm": 6.213982582092285, + "learning_rate": 3.93010101010101e-06, + "loss": 6.363431930541992, + "step": 22185 + }, + { + "epoch": 0.2219, + "grad_norm": 5.4450554847717285, + "learning_rate": 3.929848484848485e-06, + "loss": 6.392853927612305, + "step": 22190 + }, + { + "epoch": 0.22195, + "grad_norm": 3.41461443901062, + "learning_rate": 3.9295959595959596e-06, + "loss": 6.359414291381836, + "step": 22195 + }, + { + "epoch": 0.222, + "grad_norm": 5.682251930236816, + "learning_rate": 3.929343434343434e-06, + "loss": 6.344573974609375, + "step": 22200 + }, + { + "epoch": 0.22205, + "grad_norm": 10.852306365966797, + "learning_rate": 3.92909090909091e-06, + "loss": 6.403154754638672, + "step": 22205 + }, + { + "epoch": 0.2221, + "grad_norm": 4.6603193283081055, + "learning_rate": 3.928838383838384e-06, + "loss": 6.3841300964355465, + "step": 22210 + }, + { + "epoch": 0.22215, + "grad_norm": 4.077589511871338, + "learning_rate": 3.928585858585859e-06, + "loss": 6.321484756469727, + "step": 22215 + }, + { + "epoch": 0.2222, + "grad_norm": 8.503129959106445, + "learning_rate": 3.9283333333333336e-06, + "loss": 6.358746337890625, + "step": 22220 + }, + { + "epoch": 0.22225, + "grad_norm": 11.96543025970459, + "learning_rate": 3.928080808080808e-06, + "loss": 6.45408935546875, + "step": 22225 + }, + { + "epoch": 0.2223, + "grad_norm": 3.565160036087036, + "learning_rate": 3.927828282828283e-06, + "loss": 6.333126068115234, + "step": 22230 + }, + { + "epoch": 0.22235, + "grad_norm": 5.02822732925415, + "learning_rate": 3.9275757575757574e-06, + "loss": 6.354891586303711, + "step": 22235 + }, + { + "epoch": 0.2224, + "grad_norm": 3.2479867935180664, + "learning_rate": 3.927323232323232e-06, + "loss": 6.350685501098633, + "step": 22240 + }, + { + "epoch": 0.22245, + "grad_norm": 2.5334458351135254, + "learning_rate": 3.9270707070707076e-06, + "loss": 6.362509918212891, + "step": 22245 + }, + { + "epoch": 0.2225, + "grad_norm": 3.950979232788086, + "learning_rate": 3.926818181818182e-06, + "loss": 6.371293640136718, + "step": 22250 + }, + { + "epoch": 0.22255, + "grad_norm": 5.216533660888672, + "learning_rate": 3.926565656565657e-06, + "loss": 6.43817138671875, + "step": 22255 + }, + { + "epoch": 0.2226, + "grad_norm": 4.938499450683594, + "learning_rate": 3.9263131313131314e-06, + "loss": 6.302172088623047, + "step": 22260 + }, + { + "epoch": 0.22265, + "grad_norm": 4.723968505859375, + "learning_rate": 3.926060606060607e-06, + "loss": 6.338837432861328, + "step": 22265 + }, + { + "epoch": 0.2227, + "grad_norm": 14.432202339172363, + "learning_rate": 3.9258080808080816e-06, + "loss": 6.631285858154297, + "step": 22270 + }, + { + "epoch": 0.22275, + "grad_norm": 6.60339879989624, + "learning_rate": 3.925555555555556e-06, + "loss": 6.3137470245361325, + "step": 22275 + }, + { + "epoch": 0.2228, + "grad_norm": 6.9297943115234375, + "learning_rate": 3.925303030303031e-06, + "loss": 6.4274749755859375, + "step": 22280 + }, + { + "epoch": 0.22285, + "grad_norm": 5.100585460662842, + "learning_rate": 3.9250505050505054e-06, + "loss": 6.385882568359375, + "step": 22285 + }, + { + "epoch": 0.2229, + "grad_norm": 15.293475151062012, + "learning_rate": 3.92479797979798e-06, + "loss": 6.425459289550782, + "step": 22290 + }, + { + "epoch": 0.22295, + "grad_norm": 8.208292961120605, + "learning_rate": 3.924545454545455e-06, + "loss": 6.391284561157226, + "step": 22295 + }, + { + "epoch": 0.223, + "grad_norm": 4.862734317779541, + "learning_rate": 3.924292929292929e-06, + "loss": 6.306989288330078, + "step": 22300 + }, + { + "epoch": 0.22305, + "grad_norm": 5.783478260040283, + "learning_rate": 3.924040404040405e-06, + "loss": 6.316993331909179, + "step": 22305 + }, + { + "epoch": 0.2231, + "grad_norm": 4.817179203033447, + "learning_rate": 3.9237878787878794e-06, + "loss": 6.282204818725586, + "step": 22310 + }, + { + "epoch": 0.22315, + "grad_norm": 2.706372022628784, + "learning_rate": 3.923535353535354e-06, + "loss": 6.314044952392578, + "step": 22315 + }, + { + "epoch": 0.2232, + "grad_norm": 5.045387268066406, + "learning_rate": 3.923282828282829e-06, + "loss": 6.320502471923828, + "step": 22320 + }, + { + "epoch": 0.22325, + "grad_norm": 3.94541335105896, + "learning_rate": 3.923030303030303e-06, + "loss": 6.355395126342773, + "step": 22325 + }, + { + "epoch": 0.2233, + "grad_norm": 6.158459186553955, + "learning_rate": 3.922777777777778e-06, + "loss": 6.473046875, + "step": 22330 + }, + { + "epoch": 0.22335, + "grad_norm": 9.140213966369629, + "learning_rate": 3.922525252525253e-06, + "loss": 6.428215789794922, + "step": 22335 + }, + { + "epoch": 0.2234, + "grad_norm": 3.600584030151367, + "learning_rate": 3.922272727272727e-06, + "loss": 6.360541152954101, + "step": 22340 + }, + { + "epoch": 0.22345, + "grad_norm": 5.084117412567139, + "learning_rate": 3.922020202020203e-06, + "loss": 6.339508819580078, + "step": 22345 + }, + { + "epoch": 0.2235, + "grad_norm": 9.5404052734375, + "learning_rate": 3.921767676767677e-06, + "loss": 6.460652923583984, + "step": 22350 + }, + { + "epoch": 0.22355, + "grad_norm": 4.658763408660889, + "learning_rate": 3.921515151515152e-06, + "loss": 6.321860122680664, + "step": 22355 + }, + { + "epoch": 0.2236, + "grad_norm": 27.364280700683594, + "learning_rate": 3.921262626262627e-06, + "loss": 6.301727294921875, + "step": 22360 + }, + { + "epoch": 0.22365, + "grad_norm": 5.701543807983398, + "learning_rate": 3.921010101010101e-06, + "loss": 6.334483337402344, + "step": 22365 + }, + { + "epoch": 0.2237, + "grad_norm": 5.135466575622559, + "learning_rate": 3.920757575757576e-06, + "loss": 6.411952972412109, + "step": 22370 + }, + { + "epoch": 0.22375, + "grad_norm": 3.4898979663848877, + "learning_rate": 3.9205050505050505e-06, + "loss": 6.334175872802734, + "step": 22375 + }, + { + "epoch": 0.2238, + "grad_norm": 5.37144136428833, + "learning_rate": 3.920252525252525e-06, + "loss": 6.317586135864258, + "step": 22380 + }, + { + "epoch": 0.22385, + "grad_norm": 4.7771077156066895, + "learning_rate": 3.920000000000001e-06, + "loss": 6.474195861816407, + "step": 22385 + }, + { + "epoch": 0.2239, + "grad_norm": 5.8470869064331055, + "learning_rate": 3.919747474747475e-06, + "loss": 6.332202529907226, + "step": 22390 + }, + { + "epoch": 0.22395, + "grad_norm": 5.772493362426758, + "learning_rate": 3.91949494949495e-06, + "loss": 6.329004287719727, + "step": 22395 + }, + { + "epoch": 0.224, + "grad_norm": 4.178285598754883, + "learning_rate": 3.9192424242424245e-06, + "loss": 6.332929229736328, + "step": 22400 + }, + { + "epoch": 0.22405, + "grad_norm": 4.7770466804504395, + "learning_rate": 3.918989898989899e-06, + "loss": 6.367168426513672, + "step": 22405 + }, + { + "epoch": 0.2241, + "grad_norm": 3.172170639038086, + "learning_rate": 3.918737373737374e-06, + "loss": 6.4264076232910154, + "step": 22410 + }, + { + "epoch": 0.22415, + "grad_norm": 3.6349265575408936, + "learning_rate": 3.918484848484848e-06, + "loss": 6.371656036376953, + "step": 22415 + }, + { + "epoch": 0.2242, + "grad_norm": 4.508726596832275, + "learning_rate": 3.918232323232323e-06, + "loss": 6.3616081237792965, + "step": 22420 + }, + { + "epoch": 0.22425, + "grad_norm": 3.959306001663208, + "learning_rate": 3.9179797979797985e-06, + "loss": 6.3989513397216795, + "step": 22425 + }, + { + "epoch": 0.2243, + "grad_norm": 3.8372223377227783, + "learning_rate": 3.917727272727273e-06, + "loss": 6.335467529296875, + "step": 22430 + }, + { + "epoch": 0.22435, + "grad_norm": 5.9017133712768555, + "learning_rate": 3.917474747474748e-06, + "loss": 6.396006774902344, + "step": 22435 + }, + { + "epoch": 0.2244, + "grad_norm": 2.8308753967285156, + "learning_rate": 3.917222222222223e-06, + "loss": 6.4979301452636715, + "step": 22440 + }, + { + "epoch": 0.22445, + "grad_norm": 6.826470851898193, + "learning_rate": 3.916969696969698e-06, + "loss": 6.328047180175782, + "step": 22445 + }, + { + "epoch": 0.2245, + "grad_norm": 7.748316287994385, + "learning_rate": 3.916717171717172e-06, + "loss": 6.526156616210938, + "step": 22450 + }, + { + "epoch": 0.22455, + "grad_norm": 3.821187734603882, + "learning_rate": 3.916464646464646e-06, + "loss": 6.505616760253906, + "step": 22455 + }, + { + "epoch": 0.2246, + "grad_norm": 4.951218605041504, + "learning_rate": 3.916212121212122e-06, + "loss": 6.342050933837891, + "step": 22460 + }, + { + "epoch": 0.22465, + "grad_norm": 6.786853790283203, + "learning_rate": 3.915959595959596e-06, + "loss": 6.360301208496094, + "step": 22465 + }, + { + "epoch": 0.2247, + "grad_norm": 3.502075672149658, + "learning_rate": 3.915707070707071e-06, + "loss": 6.338533782958985, + "step": 22470 + }, + { + "epoch": 0.22475, + "grad_norm": 6.989213466644287, + "learning_rate": 3.915454545454546e-06, + "loss": 6.388299179077149, + "step": 22475 + }, + { + "epoch": 0.2248, + "grad_norm": 5.7881669998168945, + "learning_rate": 3.915202020202021e-06, + "loss": 6.336063385009766, + "step": 22480 + }, + { + "epoch": 0.22485, + "grad_norm": 5.1808624267578125, + "learning_rate": 3.914949494949496e-06, + "loss": 6.332523345947266, + "step": 22485 + }, + { + "epoch": 0.2249, + "grad_norm": 7.353672504425049, + "learning_rate": 3.91469696969697e-06, + "loss": 6.344490814208984, + "step": 22490 + }, + { + "epoch": 0.22495, + "grad_norm": 6.273380279541016, + "learning_rate": 3.914444444444445e-06, + "loss": 6.404228210449219, + "step": 22495 + }, + { + "epoch": 0.225, + "grad_norm": 4.358814716339111, + "learning_rate": 3.91419191919192e-06, + "loss": 6.399936294555664, + "step": 22500 + }, + { + "epoch": 0.22505, + "grad_norm": 4.169908046722412, + "learning_rate": 3.913939393939394e-06, + "loss": 6.322358703613281, + "step": 22505 + }, + { + "epoch": 0.2251, + "grad_norm": 4.44150447845459, + "learning_rate": 3.913686868686869e-06, + "loss": 6.327580261230469, + "step": 22510 + }, + { + "epoch": 0.22515, + "grad_norm": 3.8741261959075928, + "learning_rate": 3.9134343434343435e-06, + "loss": 6.384078598022461, + "step": 22515 + }, + { + "epoch": 0.2252, + "grad_norm": 5.4641547203063965, + "learning_rate": 3.913181818181819e-06, + "loss": 6.403395080566407, + "step": 22520 + }, + { + "epoch": 0.22525, + "grad_norm": 6.242650508880615, + "learning_rate": 3.912929292929294e-06, + "loss": 6.325046539306641, + "step": 22525 + }, + { + "epoch": 0.2253, + "grad_norm": 4.318515300750732, + "learning_rate": 3.912676767676768e-06, + "loss": 6.353705215454101, + "step": 22530 + }, + { + "epoch": 0.22535, + "grad_norm": 3.7297794818878174, + "learning_rate": 3.912424242424243e-06, + "loss": 6.382925033569336, + "step": 22535 + }, + { + "epoch": 0.2254, + "grad_norm": 7.640115261077881, + "learning_rate": 3.9121717171717175e-06, + "loss": 6.381857299804688, + "step": 22540 + }, + { + "epoch": 0.22545, + "grad_norm": 6.061130046844482, + "learning_rate": 3.911919191919192e-06, + "loss": 6.382945251464844, + "step": 22545 + }, + { + "epoch": 0.2255, + "grad_norm": 2.7385566234588623, + "learning_rate": 3.911666666666667e-06, + "loss": 6.378577423095703, + "step": 22550 + }, + { + "epoch": 0.22555, + "grad_norm": 4.775401592254639, + "learning_rate": 3.911414141414141e-06, + "loss": 6.337713623046875, + "step": 22555 + }, + { + "epoch": 0.2256, + "grad_norm": 5.491299629211426, + "learning_rate": 3.911161616161617e-06, + "loss": 6.328542327880859, + "step": 22560 + }, + { + "epoch": 0.22565, + "grad_norm": 4.745079040527344, + "learning_rate": 3.9109090909090915e-06, + "loss": 6.29979248046875, + "step": 22565 + }, + { + "epoch": 0.2257, + "grad_norm": 2.9135758876800537, + "learning_rate": 3.910656565656566e-06, + "loss": 6.47158203125, + "step": 22570 + }, + { + "epoch": 0.22575, + "grad_norm": 5.584052085876465, + "learning_rate": 3.910404040404041e-06, + "loss": 6.331560516357422, + "step": 22575 + }, + { + "epoch": 0.2258, + "grad_norm": 9.276415824890137, + "learning_rate": 3.910151515151515e-06, + "loss": 6.337969970703125, + "step": 22580 + }, + { + "epoch": 0.22585, + "grad_norm": 6.934063911437988, + "learning_rate": 3.90989898989899e-06, + "loss": 6.32188835144043, + "step": 22585 + }, + { + "epoch": 0.2259, + "grad_norm": 16.917560577392578, + "learning_rate": 3.909646464646465e-06, + "loss": 6.477536010742187, + "step": 22590 + }, + { + "epoch": 0.22595, + "grad_norm": 4.670986652374268, + "learning_rate": 3.909393939393939e-06, + "loss": 6.445035552978515, + "step": 22595 + }, + { + "epoch": 0.226, + "grad_norm": 4.802990913391113, + "learning_rate": 3.909141414141415e-06, + "loss": 6.308481979370117, + "step": 22600 + }, + { + "epoch": 0.22605, + "grad_norm": 5.691634654998779, + "learning_rate": 3.908888888888889e-06, + "loss": 6.357482528686523, + "step": 22605 + }, + { + "epoch": 0.2261, + "grad_norm": 13.684615135192871, + "learning_rate": 3.908636363636364e-06, + "loss": 6.368569183349609, + "step": 22610 + }, + { + "epoch": 0.22615, + "grad_norm": 3.902438163757324, + "learning_rate": 3.908383838383839e-06, + "loss": 6.335686492919922, + "step": 22615 + }, + { + "epoch": 0.2262, + "grad_norm": 7.399766445159912, + "learning_rate": 3.908131313131313e-06, + "loss": 6.338708877563477, + "step": 22620 + }, + { + "epoch": 0.22625, + "grad_norm": 8.710539817810059, + "learning_rate": 3.907878787878788e-06, + "loss": 6.363970947265625, + "step": 22625 + }, + { + "epoch": 0.2263, + "grad_norm": 2.6321825981140137, + "learning_rate": 3.9076262626262625e-06, + "loss": 6.345091247558594, + "step": 22630 + }, + { + "epoch": 0.22635, + "grad_norm": 4.621089458465576, + "learning_rate": 3.907373737373737e-06, + "loss": 6.372050476074219, + "step": 22635 + }, + { + "epoch": 0.2264, + "grad_norm": 2.6601388454437256, + "learning_rate": 3.907121212121213e-06, + "loss": 6.359982299804687, + "step": 22640 + }, + { + "epoch": 0.22645, + "grad_norm": 4.208619594573975, + "learning_rate": 3.906868686868687e-06, + "loss": 6.28399887084961, + "step": 22645 + }, + { + "epoch": 0.2265, + "grad_norm": 2.9859957695007324, + "learning_rate": 3.906616161616162e-06, + "loss": 6.322683715820313, + "step": 22650 + }, + { + "epoch": 0.22655, + "grad_norm": 3.646662950515747, + "learning_rate": 3.9063636363636365e-06, + "loss": 6.538740539550782, + "step": 22655 + }, + { + "epoch": 0.2266, + "grad_norm": 7.204134941101074, + "learning_rate": 3.906111111111112e-06, + "loss": 6.370079040527344, + "step": 22660 + }, + { + "epoch": 0.22665, + "grad_norm": 6.763442039489746, + "learning_rate": 3.905858585858587e-06, + "loss": 6.3298896789550785, + "step": 22665 + }, + { + "epoch": 0.2267, + "grad_norm": 3.2383322715759277, + "learning_rate": 3.9056060606060604e-06, + "loss": 6.280295944213867, + "step": 22670 + }, + { + "epoch": 0.22675, + "grad_norm": 6.440304756164551, + "learning_rate": 3.905353535353535e-06, + "loss": 6.324994659423828, + "step": 22675 + }, + { + "epoch": 0.2268, + "grad_norm": 6.234589576721191, + "learning_rate": 3.9051010101010105e-06, + "loss": 6.2860454559326175, + "step": 22680 + }, + { + "epoch": 0.22685, + "grad_norm": 3.487361192703247, + "learning_rate": 3.904848484848485e-06, + "loss": 6.372900390625, + "step": 22685 + }, + { + "epoch": 0.2269, + "grad_norm": 5.023828983306885, + "learning_rate": 3.90459595959596e-06, + "loss": 6.3307750701904295, + "step": 22690 + }, + { + "epoch": 0.22695, + "grad_norm": 4.465714454650879, + "learning_rate": 3.9043434343434344e-06, + "loss": 6.3260444641113285, + "step": 22695 + }, + { + "epoch": 0.227, + "grad_norm": 5.33807897567749, + "learning_rate": 3.90409090909091e-06, + "loss": 6.332941055297852, + "step": 22700 + }, + { + "epoch": 0.22705, + "grad_norm": 4.581475734710693, + "learning_rate": 3.9038383838383845e-06, + "loss": 6.276580810546875, + "step": 22705 + }, + { + "epoch": 0.2271, + "grad_norm": 9.838051795959473, + "learning_rate": 3.903585858585859e-06, + "loss": 6.3844352722167965, + "step": 22710 + }, + { + "epoch": 0.22715, + "grad_norm": 4.7370500564575195, + "learning_rate": 3.903333333333334e-06, + "loss": 6.332559204101562, + "step": 22715 + }, + { + "epoch": 0.2272, + "grad_norm": 4.323394775390625, + "learning_rate": 3.9030808080808084e-06, + "loss": 6.337944412231446, + "step": 22720 + }, + { + "epoch": 0.22725, + "grad_norm": 12.361985206604004, + "learning_rate": 3.902828282828283e-06, + "loss": 6.329248046875, + "step": 22725 + }, + { + "epoch": 0.2273, + "grad_norm": 4.016077995300293, + "learning_rate": 3.902575757575758e-06, + "loss": 6.310000228881836, + "step": 22730 + }, + { + "epoch": 0.22735, + "grad_norm": 10.174169540405273, + "learning_rate": 3.902323232323232e-06, + "loss": 6.300182723999024, + "step": 22735 + }, + { + "epoch": 0.2274, + "grad_norm": 4.72421932220459, + "learning_rate": 3.902070707070708e-06, + "loss": 6.322100067138672, + "step": 22740 + }, + { + "epoch": 0.22745, + "grad_norm": 3.681933641433716, + "learning_rate": 3.901818181818182e-06, + "loss": 6.307403945922852, + "step": 22745 + }, + { + "epoch": 0.2275, + "grad_norm": 9.383283615112305, + "learning_rate": 3.901565656565657e-06, + "loss": 6.3398185729980465, + "step": 22750 + }, + { + "epoch": 0.22755, + "grad_norm": 4.995811939239502, + "learning_rate": 3.901313131313132e-06, + "loss": 6.2936443328857425, + "step": 22755 + }, + { + "epoch": 0.2276, + "grad_norm": 3.3530404567718506, + "learning_rate": 3.901060606060606e-06, + "loss": 6.347632598876953, + "step": 22760 + }, + { + "epoch": 0.22765, + "grad_norm": 3.182511329650879, + "learning_rate": 3.900808080808081e-06, + "loss": 6.311480331420898, + "step": 22765 + }, + { + "epoch": 0.2277, + "grad_norm": 9.345281600952148, + "learning_rate": 3.9005555555555556e-06, + "loss": 6.402029418945313, + "step": 22770 + }, + { + "epoch": 0.22775, + "grad_norm": 8.018506050109863, + "learning_rate": 3.90030303030303e-06, + "loss": 6.410591888427734, + "step": 22775 + }, + { + "epoch": 0.2278, + "grad_norm": 4.074703693389893, + "learning_rate": 3.900050505050506e-06, + "loss": 6.2636150360107425, + "step": 22780 + }, + { + "epoch": 0.22785, + "grad_norm": 4.909788608551025, + "learning_rate": 3.89979797979798e-06, + "loss": 6.382930755615234, + "step": 22785 + }, + { + "epoch": 0.2279, + "grad_norm": 5.080381393432617, + "learning_rate": 3.899545454545455e-06, + "loss": 6.358546447753906, + "step": 22790 + }, + { + "epoch": 0.22795, + "grad_norm": 4.097197532653809, + "learning_rate": 3.8992929292929296e-06, + "loss": 6.312070083618164, + "step": 22795 + }, + { + "epoch": 0.228, + "grad_norm": 25.735511779785156, + "learning_rate": 3.899040404040404e-06, + "loss": 6.575778198242188, + "step": 22800 + }, + { + "epoch": 0.22805, + "grad_norm": 4.943105220794678, + "learning_rate": 3.898787878787879e-06, + "loss": 6.38532829284668, + "step": 22805 + }, + { + "epoch": 0.2281, + "grad_norm": 7.563329696655273, + "learning_rate": 3.8985353535353535e-06, + "loss": 6.417387390136719, + "step": 22810 + }, + { + "epoch": 0.22815, + "grad_norm": 6.726633548736572, + "learning_rate": 3.898282828282828e-06, + "loss": 6.3709667205810545, + "step": 22815 + }, + { + "epoch": 0.2282, + "grad_norm": 5.321633815765381, + "learning_rate": 3.8980303030303036e-06, + "loss": 6.300463104248047, + "step": 22820 + }, + { + "epoch": 0.22825, + "grad_norm": 3.257067918777466, + "learning_rate": 3.897777777777778e-06, + "loss": 6.320222091674805, + "step": 22825 + }, + { + "epoch": 0.2283, + "grad_norm": 4.2850165367126465, + "learning_rate": 3.897525252525253e-06, + "loss": 6.336700439453125, + "step": 22830 + }, + { + "epoch": 0.22835, + "grad_norm": 4.84731388092041, + "learning_rate": 3.8972727272727275e-06, + "loss": 6.380000305175781, + "step": 22835 + }, + { + "epoch": 0.2284, + "grad_norm": 3.038480520248413, + "learning_rate": 3.897020202020202e-06, + "loss": 6.339151763916016, + "step": 22840 + }, + { + "epoch": 0.22845, + "grad_norm": 5.033095836639404, + "learning_rate": 3.896767676767677e-06, + "loss": 6.336574554443359, + "step": 22845 + }, + { + "epoch": 0.2285, + "grad_norm": 4.695345401763916, + "learning_rate": 3.896515151515151e-06, + "loss": 6.325368499755859, + "step": 22850 + }, + { + "epoch": 0.22855, + "grad_norm": 5.818275451660156, + "learning_rate": 3.896262626262627e-06, + "loss": 6.3680274963378904, + "step": 22855 + }, + { + "epoch": 0.2286, + "grad_norm": 6.599861145019531, + "learning_rate": 3.8960101010101015e-06, + "loss": 6.329372787475586, + "step": 22860 + }, + { + "epoch": 0.22865, + "grad_norm": 4.976995944976807, + "learning_rate": 3.895757575757576e-06, + "loss": 6.327268981933594, + "step": 22865 + }, + { + "epoch": 0.2287, + "grad_norm": 5.749120235443115, + "learning_rate": 3.895505050505051e-06, + "loss": 6.342090606689453, + "step": 22870 + }, + { + "epoch": 0.22875, + "grad_norm": 5.105892658233643, + "learning_rate": 3.895252525252526e-06, + "loss": 6.324028015136719, + "step": 22875 + }, + { + "epoch": 0.2288, + "grad_norm": 3.765927791595459, + "learning_rate": 3.895000000000001e-06, + "loss": 6.336331558227539, + "step": 22880 + }, + { + "epoch": 0.22885, + "grad_norm": 3.19744610786438, + "learning_rate": 3.8947474747474755e-06, + "loss": 6.343682098388672, + "step": 22885 + }, + { + "epoch": 0.2289, + "grad_norm": 4.750840187072754, + "learning_rate": 3.89449494949495e-06, + "loss": 6.320813369750977, + "step": 22890 + }, + { + "epoch": 0.22895, + "grad_norm": 5.255784511566162, + "learning_rate": 3.894242424242425e-06, + "loss": 6.3571525573730465, + "step": 22895 + }, + { + "epoch": 0.229, + "grad_norm": 4.399352073669434, + "learning_rate": 3.893989898989899e-06, + "loss": 6.308528137207031, + "step": 22900 + }, + { + "epoch": 0.22905, + "grad_norm": 8.322492599487305, + "learning_rate": 3.893737373737374e-06, + "loss": 6.354090881347656, + "step": 22905 + }, + { + "epoch": 0.2291, + "grad_norm": 6.842194080352783, + "learning_rate": 3.893484848484849e-06, + "loss": 6.3514972686767575, + "step": 22910 + }, + { + "epoch": 0.22915, + "grad_norm": 3.7356793880462646, + "learning_rate": 3.893232323232324e-06, + "loss": 6.336241912841797, + "step": 22915 + }, + { + "epoch": 0.2292, + "grad_norm": 4.927994251251221, + "learning_rate": 3.892979797979799e-06, + "loss": 6.5726371765136715, + "step": 22920 + }, + { + "epoch": 0.22925, + "grad_norm": 5.46537971496582, + "learning_rate": 3.892727272727273e-06, + "loss": 6.291214370727539, + "step": 22925 + }, + { + "epoch": 0.2293, + "grad_norm": 4.191037654876709, + "learning_rate": 3.892474747474748e-06, + "loss": 6.370200729370117, + "step": 22930 + }, + { + "epoch": 0.22935, + "grad_norm": 5.507706642150879, + "learning_rate": 3.892222222222223e-06, + "loss": 6.346655654907226, + "step": 22935 + }, + { + "epoch": 0.2294, + "grad_norm": 5.677035808563232, + "learning_rate": 3.891969696969697e-06, + "loss": 6.369369125366211, + "step": 22940 + }, + { + "epoch": 0.22945, + "grad_norm": 5.0656256675720215, + "learning_rate": 3.891717171717172e-06, + "loss": 6.343718719482422, + "step": 22945 + }, + { + "epoch": 0.2295, + "grad_norm": 5.381255149841309, + "learning_rate": 3.8914646464646465e-06, + "loss": 6.34277229309082, + "step": 22950 + }, + { + "epoch": 0.22955, + "grad_norm": 7.631879806518555, + "learning_rate": 3.891212121212122e-06, + "loss": 6.376353073120117, + "step": 22955 + }, + { + "epoch": 0.2296, + "grad_norm": 19.41536521911621, + "learning_rate": 3.890959595959597e-06, + "loss": 6.432665252685547, + "step": 22960 + }, + { + "epoch": 0.22965, + "grad_norm": 6.49357271194458, + "learning_rate": 3.890707070707071e-06, + "loss": 6.338615417480469, + "step": 22965 + }, + { + "epoch": 0.2297, + "grad_norm": 8.45300579071045, + "learning_rate": 3.890454545454546e-06, + "loss": 6.343662261962891, + "step": 22970 + }, + { + "epoch": 0.22975, + "grad_norm": 6.372900009155273, + "learning_rate": 3.8902020202020205e-06, + "loss": 6.298488616943359, + "step": 22975 + }, + { + "epoch": 0.2298, + "grad_norm": 8.20447826385498, + "learning_rate": 3.889949494949495e-06, + "loss": 6.365265655517578, + "step": 22980 + }, + { + "epoch": 0.22985, + "grad_norm": 3.094377040863037, + "learning_rate": 3.88969696969697e-06, + "loss": 6.345206069946289, + "step": 22985 + }, + { + "epoch": 0.2299, + "grad_norm": 3.126749277114868, + "learning_rate": 3.889444444444444e-06, + "loss": 6.2982830047607425, + "step": 22990 + }, + { + "epoch": 0.22995, + "grad_norm": 4.843676567077637, + "learning_rate": 3.88919191919192e-06, + "loss": 6.376802825927735, + "step": 22995 + }, + { + "epoch": 0.23, + "grad_norm": 5.38779354095459, + "learning_rate": 3.8889393939393945e-06, + "loss": 6.32762451171875, + "step": 23000 + }, + { + "epoch": 0.23005, + "grad_norm": 4.954679489135742, + "learning_rate": 3.888686868686869e-06, + "loss": 6.351786804199219, + "step": 23005 + }, + { + "epoch": 0.2301, + "grad_norm": 2.945500612258911, + "learning_rate": 3.888434343434344e-06, + "loss": 6.312575149536133, + "step": 23010 + }, + { + "epoch": 0.23015, + "grad_norm": 6.137492656707764, + "learning_rate": 3.888181818181818e-06, + "loss": 6.285461807250977, + "step": 23015 + }, + { + "epoch": 0.2302, + "grad_norm": 7.3395209312438965, + "learning_rate": 3.887929292929293e-06, + "loss": 6.320472717285156, + "step": 23020 + }, + { + "epoch": 0.23025, + "grad_norm": 6.096472263336182, + "learning_rate": 3.887676767676768e-06, + "loss": 6.364611053466797, + "step": 23025 + }, + { + "epoch": 0.2303, + "grad_norm": 4.10763692855835, + "learning_rate": 3.887424242424242e-06, + "loss": 6.268888854980469, + "step": 23030 + }, + { + "epoch": 0.23035, + "grad_norm": 3.639521837234497, + "learning_rate": 3.887171717171718e-06, + "loss": 6.3149566650390625, + "step": 23035 + }, + { + "epoch": 0.2304, + "grad_norm": 4.735448837280273, + "learning_rate": 3.886919191919192e-06, + "loss": 6.320700454711914, + "step": 23040 + }, + { + "epoch": 0.23045, + "grad_norm": 2.874537944793701, + "learning_rate": 3.886666666666667e-06, + "loss": 6.319160461425781, + "step": 23045 + }, + { + "epoch": 0.2305, + "grad_norm": 8.195582389831543, + "learning_rate": 3.886414141414142e-06, + "loss": 6.325889205932617, + "step": 23050 + }, + { + "epoch": 0.23055, + "grad_norm": 10.065967559814453, + "learning_rate": 3.886161616161617e-06, + "loss": 6.303153991699219, + "step": 23055 + }, + { + "epoch": 0.2306, + "grad_norm": 6.2665276527404785, + "learning_rate": 3.885909090909091e-06, + "loss": 6.323134231567383, + "step": 23060 + }, + { + "epoch": 0.23065, + "grad_norm": 3.270631790161133, + "learning_rate": 3.8856565656565655e-06, + "loss": 6.33084716796875, + "step": 23065 + }, + { + "epoch": 0.2307, + "grad_norm": 24.19078254699707, + "learning_rate": 3.88540404040404e-06, + "loss": 6.472919464111328, + "step": 23070 + }, + { + "epoch": 0.23075, + "grad_norm": 5.563656806945801, + "learning_rate": 3.885151515151516e-06, + "loss": 6.285568618774414, + "step": 23075 + }, + { + "epoch": 0.2308, + "grad_norm": 6.1202311515808105, + "learning_rate": 3.88489898989899e-06, + "loss": 6.326751327514648, + "step": 23080 + }, + { + "epoch": 0.23085, + "grad_norm": 8.782366752624512, + "learning_rate": 3.884646464646465e-06, + "loss": 6.57257308959961, + "step": 23085 + }, + { + "epoch": 0.2309, + "grad_norm": 3.759363889694214, + "learning_rate": 3.8843939393939395e-06, + "loss": 6.325263214111328, + "step": 23090 + }, + { + "epoch": 0.23095, + "grad_norm": 3.3130881786346436, + "learning_rate": 3.884141414141415e-06, + "loss": 6.329995727539062, + "step": 23095 + }, + { + "epoch": 0.231, + "grad_norm": 8.368171691894531, + "learning_rate": 3.88388888888889e-06, + "loss": 6.336648178100586, + "step": 23100 + }, + { + "epoch": 0.23105, + "grad_norm": 4.715917110443115, + "learning_rate": 3.883636363636364e-06, + "loss": 6.364529418945312, + "step": 23105 + }, + { + "epoch": 0.2311, + "grad_norm": 4.715631008148193, + "learning_rate": 3.883383838383839e-06, + "loss": 6.338137435913086, + "step": 23110 + }, + { + "epoch": 0.23115, + "grad_norm": 4.896527290344238, + "learning_rate": 3.8831313131313135e-06, + "loss": 6.332489776611328, + "step": 23115 + }, + { + "epoch": 0.2312, + "grad_norm": 5.281552791595459, + "learning_rate": 3.882878787878788e-06, + "loss": 6.310781860351563, + "step": 23120 + }, + { + "epoch": 0.23125, + "grad_norm": 4.807526588439941, + "learning_rate": 3.882626262626263e-06, + "loss": 6.312370681762696, + "step": 23125 + }, + { + "epoch": 0.2313, + "grad_norm": 4.429936408996582, + "learning_rate": 3.882373737373737e-06, + "loss": 6.3045494079589846, + "step": 23130 + }, + { + "epoch": 0.23135, + "grad_norm": 4.234960079193115, + "learning_rate": 3.882121212121213e-06, + "loss": 6.347998809814453, + "step": 23135 + }, + { + "epoch": 0.2314, + "grad_norm": 4.947700023651123, + "learning_rate": 3.8818686868686875e-06, + "loss": 6.345174789428711, + "step": 23140 + }, + { + "epoch": 0.23145, + "grad_norm": 4.114682674407959, + "learning_rate": 3.881616161616162e-06, + "loss": 6.354502487182617, + "step": 23145 + }, + { + "epoch": 0.2315, + "grad_norm": 5.636453151702881, + "learning_rate": 3.881363636363637e-06, + "loss": 7.966081237792968, + "step": 23150 + }, + { + "epoch": 0.23155, + "grad_norm": 4.054574012756348, + "learning_rate": 3.881111111111111e-06, + "loss": 6.342223358154297, + "step": 23155 + }, + { + "epoch": 0.2316, + "grad_norm": 4.726178169250488, + "learning_rate": 3.880858585858586e-06, + "loss": 6.240601348876953, + "step": 23160 + }, + { + "epoch": 0.23165, + "grad_norm": 3.2076096534729004, + "learning_rate": 3.880606060606061e-06, + "loss": 6.360503387451172, + "step": 23165 + }, + { + "epoch": 0.2317, + "grad_norm": 5.214802265167236, + "learning_rate": 3.880353535353535e-06, + "loss": 6.375963592529297, + "step": 23170 + }, + { + "epoch": 0.23175, + "grad_norm": 2.5959393978118896, + "learning_rate": 3.880101010101011e-06, + "loss": 6.337738800048828, + "step": 23175 + }, + { + "epoch": 0.2318, + "grad_norm": 6.595320701599121, + "learning_rate": 3.879848484848485e-06, + "loss": 6.507447052001953, + "step": 23180 + }, + { + "epoch": 0.23185, + "grad_norm": 6.693985462188721, + "learning_rate": 3.87959595959596e-06, + "loss": 6.361866760253906, + "step": 23185 + }, + { + "epoch": 0.2319, + "grad_norm": 2.933483600616455, + "learning_rate": 3.879343434343435e-06, + "loss": 6.301678085327149, + "step": 23190 + }, + { + "epoch": 0.23195, + "grad_norm": 6.579181671142578, + "learning_rate": 3.879090909090909e-06, + "loss": 6.3379253387451175, + "step": 23195 + }, + { + "epoch": 0.232, + "grad_norm": 4.142708778381348, + "learning_rate": 3.878838383838384e-06, + "loss": 6.317596435546875, + "step": 23200 + }, + { + "epoch": 0.23205, + "grad_norm": 4.419910430908203, + "learning_rate": 3.8785858585858586e-06, + "loss": 6.341427612304687, + "step": 23205 + }, + { + "epoch": 0.2321, + "grad_norm": 6.135593414306641, + "learning_rate": 3.878333333333333e-06, + "loss": 6.306870651245117, + "step": 23210 + }, + { + "epoch": 0.23215, + "grad_norm": 4.757776737213135, + "learning_rate": 3.878080808080809e-06, + "loss": 6.358721160888672, + "step": 23215 + }, + { + "epoch": 0.2322, + "grad_norm": 4.6640753746032715, + "learning_rate": 3.877828282828283e-06, + "loss": 6.567625427246094, + "step": 23220 + }, + { + "epoch": 0.23225, + "grad_norm": 5.31903076171875, + "learning_rate": 3.877575757575758e-06, + "loss": 6.34802474975586, + "step": 23225 + }, + { + "epoch": 0.2323, + "grad_norm": 5.003335475921631, + "learning_rate": 3.8773232323232326e-06, + "loss": 6.338460159301758, + "step": 23230 + }, + { + "epoch": 0.23235, + "grad_norm": 4.627562046051025, + "learning_rate": 3.877070707070707e-06, + "loss": 6.336625671386718, + "step": 23235 + }, + { + "epoch": 0.2324, + "grad_norm": 4.523017883300781, + "learning_rate": 3.876818181818182e-06, + "loss": 6.333913040161133, + "step": 23240 + }, + { + "epoch": 0.23245, + "grad_norm": 5.125813961029053, + "learning_rate": 3.8765656565656564e-06, + "loss": 6.317988586425781, + "step": 23245 + }, + { + "epoch": 0.2325, + "grad_norm": 9.030656814575195, + "learning_rate": 3.876313131313131e-06, + "loss": 6.356466674804688, + "step": 23250 + }, + { + "epoch": 0.23255, + "grad_norm": 3.9603564739227295, + "learning_rate": 3.8760606060606066e-06, + "loss": 6.357289886474609, + "step": 23255 + }, + { + "epoch": 0.2326, + "grad_norm": 5.487985610961914, + "learning_rate": 3.875808080808081e-06, + "loss": 6.313074111938477, + "step": 23260 + }, + { + "epoch": 0.23265, + "grad_norm": 5.957836151123047, + "learning_rate": 3.875555555555556e-06, + "loss": 6.356830596923828, + "step": 23265 + }, + { + "epoch": 0.2327, + "grad_norm": 7.0877203941345215, + "learning_rate": 3.8753030303030304e-06, + "loss": 6.335504150390625, + "step": 23270 + }, + { + "epoch": 0.23275, + "grad_norm": 4.857766628265381, + "learning_rate": 3.875050505050506e-06, + "loss": 6.3571117401123045, + "step": 23275 + }, + { + "epoch": 0.2328, + "grad_norm": 2.8736531734466553, + "learning_rate": 3.87479797979798e-06, + "loss": 6.2714378356933596, + "step": 23280 + }, + { + "epoch": 0.23285, + "grad_norm": 3.912163496017456, + "learning_rate": 3.874545454545454e-06, + "loss": 6.376251220703125, + "step": 23285 + }, + { + "epoch": 0.2329, + "grad_norm": 5.335253715515137, + "learning_rate": 3.87429292929293e-06, + "loss": 6.339522171020508, + "step": 23290 + }, + { + "epoch": 0.23295, + "grad_norm": 5.40915584564209, + "learning_rate": 3.8740404040404044e-06, + "loss": 6.346769332885742, + "step": 23295 + }, + { + "epoch": 0.233, + "grad_norm": 7.5331549644470215, + "learning_rate": 3.873787878787879e-06, + "loss": 6.348665237426758, + "step": 23300 + }, + { + "epoch": 0.23305, + "grad_norm": 3.9876327514648438, + "learning_rate": 3.873535353535354e-06, + "loss": 6.33411979675293, + "step": 23305 + }, + { + "epoch": 0.2331, + "grad_norm": 4.99548864364624, + "learning_rate": 3.873282828282829e-06, + "loss": 6.402000427246094, + "step": 23310 + }, + { + "epoch": 0.23315, + "grad_norm": 4.863030433654785, + "learning_rate": 3.873030303030304e-06, + "loss": 6.395990371704102, + "step": 23315 + }, + { + "epoch": 0.2332, + "grad_norm": 4.847181797027588, + "learning_rate": 3.8727777777777784e-06, + "loss": 6.305920791625977, + "step": 23320 + }, + { + "epoch": 0.23325, + "grad_norm": 4.464929103851318, + "learning_rate": 3.872525252525253e-06, + "loss": 6.294976043701172, + "step": 23325 + }, + { + "epoch": 0.2333, + "grad_norm": 7.697823524475098, + "learning_rate": 3.872272727272728e-06, + "loss": 6.5640708923339846, + "step": 23330 + }, + { + "epoch": 0.23335, + "grad_norm": 3.7077395915985107, + "learning_rate": 3.872020202020202e-06, + "loss": 6.344643783569336, + "step": 23335 + }, + { + "epoch": 0.2334, + "grad_norm": 12.582032203674316, + "learning_rate": 3.871767676767677e-06, + "loss": 6.408039855957031, + "step": 23340 + }, + { + "epoch": 0.23345, + "grad_norm": 7.015203952789307, + "learning_rate": 3.871515151515152e-06, + "loss": 6.32598876953125, + "step": 23345 + }, + { + "epoch": 0.2335, + "grad_norm": 4.288808822631836, + "learning_rate": 3.871262626262627e-06, + "loss": 6.313179016113281, + "step": 23350 + }, + { + "epoch": 0.23355, + "grad_norm": 6.3981032371521, + "learning_rate": 3.871010101010102e-06, + "loss": 6.35522689819336, + "step": 23355 + }, + { + "epoch": 0.2336, + "grad_norm": 7.464481353759766, + "learning_rate": 3.870757575757576e-06, + "loss": 6.341023254394531, + "step": 23360 + }, + { + "epoch": 0.23365, + "grad_norm": 5.585562705993652, + "learning_rate": 3.870505050505051e-06, + "loss": 6.302985382080078, + "step": 23365 + }, + { + "epoch": 0.2337, + "grad_norm": 5.149304389953613, + "learning_rate": 3.870252525252526e-06, + "loss": 6.363208770751953, + "step": 23370 + }, + { + "epoch": 0.23375, + "grad_norm": 6.442792892456055, + "learning_rate": 3.87e-06, + "loss": 6.287469100952149, + "step": 23375 + }, + { + "epoch": 0.2338, + "grad_norm": 3.9642062187194824, + "learning_rate": 3.869747474747475e-06, + "loss": 6.346845626831055, + "step": 23380 + }, + { + "epoch": 0.23385, + "grad_norm": 8.07283878326416, + "learning_rate": 3.8694949494949495e-06, + "loss": 6.33221321105957, + "step": 23385 + }, + { + "epoch": 0.2339, + "grad_norm": 4.279328346252441, + "learning_rate": 3.869242424242425e-06, + "loss": 6.406983184814453, + "step": 23390 + }, + { + "epoch": 0.23395, + "grad_norm": 6.113319396972656, + "learning_rate": 3.8689898989899e-06, + "loss": 6.3385578155517575, + "step": 23395 + }, + { + "epoch": 0.234, + "grad_norm": 5.017642498016357, + "learning_rate": 3.868737373737374e-06, + "loss": 6.356827163696289, + "step": 23400 + }, + { + "epoch": 0.23405, + "grad_norm": 5.603649139404297, + "learning_rate": 3.868484848484849e-06, + "loss": 6.350005722045898, + "step": 23405 + }, + { + "epoch": 0.2341, + "grad_norm": 8.45039176940918, + "learning_rate": 3.8682323232323235e-06, + "loss": 6.345639038085937, + "step": 23410 + }, + { + "epoch": 0.23415, + "grad_norm": 6.548638343811035, + "learning_rate": 3.867979797979798e-06, + "loss": 6.320265197753907, + "step": 23415 + }, + { + "epoch": 0.2342, + "grad_norm": 4.55612850189209, + "learning_rate": 3.867727272727273e-06, + "loss": 6.278616333007813, + "step": 23420 + }, + { + "epoch": 0.23425, + "grad_norm": 6.277486324310303, + "learning_rate": 3.867474747474747e-06, + "loss": 6.325331115722657, + "step": 23425 + }, + { + "epoch": 0.2343, + "grad_norm": 4.796436786651611, + "learning_rate": 3.867222222222223e-06, + "loss": 6.313381958007812, + "step": 23430 + }, + { + "epoch": 0.23435, + "grad_norm": 7.758279800415039, + "learning_rate": 3.8669696969696975e-06, + "loss": 6.38459358215332, + "step": 23435 + }, + { + "epoch": 0.2344, + "grad_norm": 5.2945966720581055, + "learning_rate": 3.866717171717172e-06, + "loss": 6.287571716308594, + "step": 23440 + }, + { + "epoch": 0.23445, + "grad_norm": 3.818080425262451, + "learning_rate": 3.866464646464647e-06, + "loss": 6.357430267333984, + "step": 23445 + }, + { + "epoch": 0.2345, + "grad_norm": 10.90357780456543, + "learning_rate": 3.866212121212121e-06, + "loss": 6.456547546386719, + "step": 23450 + }, + { + "epoch": 0.23455, + "grad_norm": 5.000766277313232, + "learning_rate": 3.865959595959596e-06, + "loss": 6.297657775878906, + "step": 23455 + }, + { + "epoch": 0.2346, + "grad_norm": 5.889200687408447, + "learning_rate": 3.865707070707071e-06, + "loss": 6.320281219482422, + "step": 23460 + }, + { + "epoch": 0.23465, + "grad_norm": 4.958840370178223, + "learning_rate": 3.865454545454545e-06, + "loss": 6.353712463378907, + "step": 23465 + }, + { + "epoch": 0.2347, + "grad_norm": 5.088508605957031, + "learning_rate": 3.865202020202021e-06, + "loss": 6.320648956298828, + "step": 23470 + }, + { + "epoch": 0.23475, + "grad_norm": 6.032515048980713, + "learning_rate": 3.864949494949495e-06, + "loss": 6.298333740234375, + "step": 23475 + }, + { + "epoch": 0.2348, + "grad_norm": 5.224704265594482, + "learning_rate": 3.86469696969697e-06, + "loss": 6.3115684509277346, + "step": 23480 + }, + { + "epoch": 0.23485, + "grad_norm": 3.3492045402526855, + "learning_rate": 3.864444444444445e-06, + "loss": 6.319695281982422, + "step": 23485 + }, + { + "epoch": 0.2349, + "grad_norm": 3.982449531555176, + "learning_rate": 3.86419191919192e-06, + "loss": 6.312643432617188, + "step": 23490 + }, + { + "epoch": 0.23495, + "grad_norm": 6.876667499542236, + "learning_rate": 3.863939393939395e-06, + "loss": 6.357552337646484, + "step": 23495 + }, + { + "epoch": 0.235, + "grad_norm": 4.515787124633789, + "learning_rate": 3.8636868686868685e-06, + "loss": 6.401741027832031, + "step": 23500 + }, + { + "epoch": 0.23505, + "grad_norm": 2.912814140319824, + "learning_rate": 3.863434343434343e-06, + "loss": 6.448995971679688, + "step": 23505 + }, + { + "epoch": 0.2351, + "grad_norm": 13.348073959350586, + "learning_rate": 3.863181818181819e-06, + "loss": 6.461601257324219, + "step": 23510 + }, + { + "epoch": 0.23515, + "grad_norm": 4.441615581512451, + "learning_rate": 3.862929292929293e-06, + "loss": 6.3068798065185545, + "step": 23515 + }, + { + "epoch": 0.2352, + "grad_norm": 17.6944580078125, + "learning_rate": 3.862676767676768e-06, + "loss": 6.685466766357422, + "step": 23520 + }, + { + "epoch": 0.23525, + "grad_norm": 5.63979434967041, + "learning_rate": 3.8624242424242425e-06, + "loss": 6.300366973876953, + "step": 23525 + }, + { + "epoch": 0.2353, + "grad_norm": 4.300624370574951, + "learning_rate": 3.862171717171718e-06, + "loss": 6.374665451049805, + "step": 23530 + }, + { + "epoch": 0.23535, + "grad_norm": 4.913166046142578, + "learning_rate": 3.861919191919193e-06, + "loss": 6.294214248657227, + "step": 23535 + }, + { + "epoch": 0.2354, + "grad_norm": 4.407675743103027, + "learning_rate": 3.861666666666667e-06, + "loss": 6.447904205322265, + "step": 23540 + }, + { + "epoch": 0.23545, + "grad_norm": 5.9636311531066895, + "learning_rate": 3.861414141414142e-06, + "loss": 6.302238464355469, + "step": 23545 + }, + { + "epoch": 0.2355, + "grad_norm": 5.325197696685791, + "learning_rate": 3.8611616161616165e-06, + "loss": 6.308079528808594, + "step": 23550 + }, + { + "epoch": 0.23555, + "grad_norm": 3.4554481506347656, + "learning_rate": 3.860909090909091e-06, + "loss": 6.3169292449951175, + "step": 23555 + }, + { + "epoch": 0.2356, + "grad_norm": 5.059482097625732, + "learning_rate": 3.860656565656566e-06, + "loss": 6.346894073486328, + "step": 23560 + }, + { + "epoch": 0.23565, + "grad_norm": 5.85630989074707, + "learning_rate": 3.86040404040404e-06, + "loss": 6.338227844238281, + "step": 23565 + }, + { + "epoch": 0.2357, + "grad_norm": 4.866011142730713, + "learning_rate": 3.860151515151516e-06, + "loss": 6.348033905029297, + "step": 23570 + }, + { + "epoch": 0.23575, + "grad_norm": 8.268282890319824, + "learning_rate": 3.8598989898989905e-06, + "loss": 6.342802429199219, + "step": 23575 + }, + { + "epoch": 0.2358, + "grad_norm": 4.089817523956299, + "learning_rate": 3.859646464646465e-06, + "loss": 6.348376083374023, + "step": 23580 + }, + { + "epoch": 0.23585, + "grad_norm": 4.6949543952941895, + "learning_rate": 3.85939393939394e-06, + "loss": 6.288275146484375, + "step": 23585 + }, + { + "epoch": 0.2359, + "grad_norm": 3.2280616760253906, + "learning_rate": 3.859141414141414e-06, + "loss": 6.432965087890625, + "step": 23590 + }, + { + "epoch": 0.23595, + "grad_norm": 5.22882604598999, + "learning_rate": 3.858888888888889e-06, + "loss": 6.529062652587891, + "step": 23595 + }, + { + "epoch": 0.236, + "grad_norm": 5.003121376037598, + "learning_rate": 3.858636363636364e-06, + "loss": 6.350822067260742, + "step": 23600 + }, + { + "epoch": 0.23605, + "grad_norm": 5.160042762756348, + "learning_rate": 3.858383838383838e-06, + "loss": 6.317710494995117, + "step": 23605 + }, + { + "epoch": 0.2361, + "grad_norm": 7.498924255371094, + "learning_rate": 3.858131313131314e-06, + "loss": 6.369483184814453, + "step": 23610 + }, + { + "epoch": 0.23615, + "grad_norm": 5.770627498626709, + "learning_rate": 3.857878787878788e-06, + "loss": 6.334783554077148, + "step": 23615 + }, + { + "epoch": 0.2362, + "grad_norm": 15.272682189941406, + "learning_rate": 3.857626262626263e-06, + "loss": 6.349882507324219, + "step": 23620 + }, + { + "epoch": 0.23625, + "grad_norm": 5.338118553161621, + "learning_rate": 3.857373737373738e-06, + "loss": 6.409487915039063, + "step": 23625 + }, + { + "epoch": 0.2363, + "grad_norm": 3.1280364990234375, + "learning_rate": 3.857121212121212e-06, + "loss": 6.365061187744141, + "step": 23630 + }, + { + "epoch": 0.23635, + "grad_norm": 9.67115592956543, + "learning_rate": 3.856868686868687e-06, + "loss": 6.278264999389648, + "step": 23635 + }, + { + "epoch": 0.2364, + "grad_norm": 9.441956520080566, + "learning_rate": 3.8566161616161615e-06, + "loss": 6.305233383178711, + "step": 23640 + }, + { + "epoch": 0.23645, + "grad_norm": 5.106546401977539, + "learning_rate": 3.856363636363636e-06, + "loss": 6.264565658569336, + "step": 23645 + }, + { + "epoch": 0.2365, + "grad_norm": 3.7163166999816895, + "learning_rate": 3.856111111111112e-06, + "loss": 6.308106231689453, + "step": 23650 + }, + { + "epoch": 0.23655, + "grad_norm": 3.001555919647217, + "learning_rate": 3.855858585858586e-06, + "loss": 6.322109985351562, + "step": 23655 + }, + { + "epoch": 0.2366, + "grad_norm": 8.146796226501465, + "learning_rate": 3.855606060606061e-06, + "loss": 6.486976623535156, + "step": 23660 + }, + { + "epoch": 0.23665, + "grad_norm": 10.82591724395752, + "learning_rate": 3.8553535353535355e-06, + "loss": 6.567188262939453, + "step": 23665 + }, + { + "epoch": 0.2367, + "grad_norm": 4.7886738777160645, + "learning_rate": 3.85510101010101e-06, + "loss": 6.339975357055664, + "step": 23670 + }, + { + "epoch": 0.23675, + "grad_norm": 4.170238018035889, + "learning_rate": 3.854848484848485e-06, + "loss": 6.411251831054687, + "step": 23675 + }, + { + "epoch": 0.2368, + "grad_norm": 8.593775749206543, + "learning_rate": 3.8545959595959594e-06, + "loss": 6.424325561523437, + "step": 23680 + }, + { + "epoch": 0.23685, + "grad_norm": 5.364352226257324, + "learning_rate": 3.854343434343434e-06, + "loss": 6.321148300170899, + "step": 23685 + }, + { + "epoch": 0.2369, + "grad_norm": 8.323290824890137, + "learning_rate": 3.8540909090909095e-06, + "loss": 6.344879913330078, + "step": 23690 + }, + { + "epoch": 0.23695, + "grad_norm": 5.71909236907959, + "learning_rate": 3.853838383838384e-06, + "loss": 6.382958984375, + "step": 23695 + }, + { + "epoch": 0.237, + "grad_norm": 5.052379131317139, + "learning_rate": 3.853585858585859e-06, + "loss": 6.351225662231445, + "step": 23700 + }, + { + "epoch": 0.23705, + "grad_norm": 15.467516899108887, + "learning_rate": 3.853333333333334e-06, + "loss": 6.410855102539062, + "step": 23705 + }, + { + "epoch": 0.2371, + "grad_norm": 6.143123149871826, + "learning_rate": 3.853080808080809e-06, + "loss": 6.473812866210937, + "step": 23710 + }, + { + "epoch": 0.23715, + "grad_norm": 5.948540210723877, + "learning_rate": 3.8528282828282835e-06, + "loss": 6.340862274169922, + "step": 23715 + }, + { + "epoch": 0.2372, + "grad_norm": 7.276488780975342, + "learning_rate": 3.852575757575758e-06, + "loss": 6.320771408081055, + "step": 23720 + }, + { + "epoch": 0.23725, + "grad_norm": 4.338954925537109, + "learning_rate": 3.852323232323233e-06, + "loss": 6.345733642578125, + "step": 23725 + }, + { + "epoch": 0.2373, + "grad_norm": 5.703032493591309, + "learning_rate": 3.8520707070707074e-06, + "loss": 6.292609405517578, + "step": 23730 + }, + { + "epoch": 0.23735, + "grad_norm": 10.466814994812012, + "learning_rate": 3.851818181818182e-06, + "loss": 6.340583801269531, + "step": 23735 + }, + { + "epoch": 0.2374, + "grad_norm": 9.100690841674805, + "learning_rate": 3.851565656565657e-06, + "loss": 6.2599021911621096, + "step": 23740 + }, + { + "epoch": 0.23745, + "grad_norm": 3.205427885055542, + "learning_rate": 3.851313131313132e-06, + "loss": 6.347158050537109, + "step": 23745 + }, + { + "epoch": 0.2375, + "grad_norm": 4.370527744293213, + "learning_rate": 3.851060606060607e-06, + "loss": 6.591325378417968, + "step": 23750 + }, + { + "epoch": 0.23755, + "grad_norm": 4.382680416107178, + "learning_rate": 3.850808080808081e-06, + "loss": 6.346498107910156, + "step": 23755 + }, + { + "epoch": 0.2376, + "grad_norm": 5.607738018035889, + "learning_rate": 3.850555555555556e-06, + "loss": 6.332609558105469, + "step": 23760 + }, + { + "epoch": 0.23765, + "grad_norm": 4.1176533699035645, + "learning_rate": 3.850303030303031e-06, + "loss": 6.301857376098633, + "step": 23765 + }, + { + "epoch": 0.2377, + "grad_norm": 5.200326442718506, + "learning_rate": 3.850050505050505e-06, + "loss": 6.347055816650391, + "step": 23770 + }, + { + "epoch": 0.23775, + "grad_norm": 5.249614715576172, + "learning_rate": 3.84979797979798e-06, + "loss": 6.332490539550781, + "step": 23775 + }, + { + "epoch": 0.2378, + "grad_norm": 4.23456335067749, + "learning_rate": 3.8495454545454546e-06, + "loss": 6.3379875183105465, + "step": 23780 + }, + { + "epoch": 0.23785, + "grad_norm": 5.759710788726807, + "learning_rate": 3.84929292929293e-06, + "loss": 6.336750793457031, + "step": 23785 + }, + { + "epoch": 0.2379, + "grad_norm": 4.506970405578613, + "learning_rate": 3.849040404040405e-06, + "loss": 6.374192810058593, + "step": 23790 + }, + { + "epoch": 0.23795, + "grad_norm": 4.625814914703369, + "learning_rate": 3.848787878787879e-06, + "loss": 6.296202850341797, + "step": 23795 + }, + { + "epoch": 0.238, + "grad_norm": 5.241394996643066, + "learning_rate": 3.848535353535354e-06, + "loss": 6.331798553466797, + "step": 23800 + }, + { + "epoch": 0.23805, + "grad_norm": 4.331488609313965, + "learning_rate": 3.8482828282828286e-06, + "loss": 6.354387664794922, + "step": 23805 + }, + { + "epoch": 0.2381, + "grad_norm": 16.20773696899414, + "learning_rate": 3.848030303030303e-06, + "loss": 6.272127532958985, + "step": 23810 + }, + { + "epoch": 0.23815, + "grad_norm": 9.23940372467041, + "learning_rate": 3.847777777777778e-06, + "loss": 6.372252655029297, + "step": 23815 + }, + { + "epoch": 0.2382, + "grad_norm": 7.978832244873047, + "learning_rate": 3.8475252525252525e-06, + "loss": 6.389898681640625, + "step": 23820 + }, + { + "epoch": 0.23825, + "grad_norm": 3.9656801223754883, + "learning_rate": 3.847272727272728e-06, + "loss": 6.3098796844482425, + "step": 23825 + }, + { + "epoch": 0.2383, + "grad_norm": 4.411893844604492, + "learning_rate": 3.8470202020202026e-06, + "loss": 6.480058288574218, + "step": 23830 + }, + { + "epoch": 0.23835, + "grad_norm": 7.543813705444336, + "learning_rate": 3.846767676767677e-06, + "loss": 6.344625091552734, + "step": 23835 + }, + { + "epoch": 0.2384, + "grad_norm": 4.580704212188721, + "learning_rate": 3.846515151515152e-06, + "loss": 6.336263275146484, + "step": 23840 + }, + { + "epoch": 0.23845, + "grad_norm": 6.742680549621582, + "learning_rate": 3.8462626262626265e-06, + "loss": 6.327861022949219, + "step": 23845 + }, + { + "epoch": 0.2385, + "grad_norm": 4.4109296798706055, + "learning_rate": 3.846010101010101e-06, + "loss": 6.448567199707031, + "step": 23850 + }, + { + "epoch": 0.23855, + "grad_norm": 2.650472402572632, + "learning_rate": 3.845757575757576e-06, + "loss": 6.233216094970703, + "step": 23855 + }, + { + "epoch": 0.2386, + "grad_norm": 4.066323757171631, + "learning_rate": 3.84550505050505e-06, + "loss": 6.377291870117188, + "step": 23860 + }, + { + "epoch": 0.23865, + "grad_norm": 6.54950475692749, + "learning_rate": 3.845252525252526e-06, + "loss": 6.2900642395019535, + "step": 23865 + }, + { + "epoch": 0.2387, + "grad_norm": 11.044845581054688, + "learning_rate": 3.8450000000000005e-06, + "loss": 6.303443145751953, + "step": 23870 + }, + { + "epoch": 0.23875, + "grad_norm": 5.392928123474121, + "learning_rate": 3.844747474747475e-06, + "loss": 6.310714340209961, + "step": 23875 + }, + { + "epoch": 0.2388, + "grad_norm": 4.054230213165283, + "learning_rate": 3.84449494949495e-06, + "loss": 6.343774032592774, + "step": 23880 + }, + { + "epoch": 0.23885, + "grad_norm": 4.995977878570557, + "learning_rate": 3.844242424242425e-06, + "loss": 6.348242568969726, + "step": 23885 + }, + { + "epoch": 0.2389, + "grad_norm": 3.4550576210021973, + "learning_rate": 3.843989898989899e-06, + "loss": 6.4812156677246096, + "step": 23890 + }, + { + "epoch": 0.23895, + "grad_norm": 14.268070220947266, + "learning_rate": 3.843737373737374e-06, + "loss": 6.333097839355469, + "step": 23895 + }, + { + "epoch": 0.239, + "grad_norm": 5.137991428375244, + "learning_rate": 3.843484848484848e-06, + "loss": 6.318060302734375, + "step": 23900 + }, + { + "epoch": 0.23905, + "grad_norm": 11.986200332641602, + "learning_rate": 3.843232323232324e-06, + "loss": 6.461307525634766, + "step": 23905 + }, + { + "epoch": 0.2391, + "grad_norm": 6.322595596313477, + "learning_rate": 3.842979797979798e-06, + "loss": 6.290758514404297, + "step": 23910 + }, + { + "epoch": 0.23915, + "grad_norm": 5.891141891479492, + "learning_rate": 3.842727272727273e-06, + "loss": 6.3174896240234375, + "step": 23915 + }, + { + "epoch": 0.2392, + "grad_norm": 5.38576078414917, + "learning_rate": 3.842474747474748e-06, + "loss": 6.301665115356445, + "step": 23920 + }, + { + "epoch": 0.23925, + "grad_norm": 4.610705375671387, + "learning_rate": 3.842222222222223e-06, + "loss": 6.342383956909179, + "step": 23925 + }, + { + "epoch": 0.2393, + "grad_norm": 4.6446123123168945, + "learning_rate": 3.841969696969698e-06, + "loss": 6.310555267333984, + "step": 23930 + }, + { + "epoch": 0.23935, + "grad_norm": 3.6305770874023438, + "learning_rate": 3.841717171717172e-06, + "loss": 6.317502975463867, + "step": 23935 + }, + { + "epoch": 0.2394, + "grad_norm": 9.057592391967773, + "learning_rate": 3.841464646464647e-06, + "loss": 6.3187004089355465, + "step": 23940 + }, + { + "epoch": 0.23945, + "grad_norm": 4.471657752990723, + "learning_rate": 3.841212121212122e-06, + "loss": 6.3662261962890625, + "step": 23945 + }, + { + "epoch": 0.2395, + "grad_norm": 28.701416015625, + "learning_rate": 3.840959595959596e-06, + "loss": 6.303096008300781, + "step": 23950 + }, + { + "epoch": 0.23955, + "grad_norm": 6.47994327545166, + "learning_rate": 3.840707070707071e-06, + "loss": 6.339190673828125, + "step": 23955 + }, + { + "epoch": 0.2396, + "grad_norm": 5.364729404449463, + "learning_rate": 3.8404545454545455e-06, + "loss": 6.374001693725586, + "step": 23960 + }, + { + "epoch": 0.23965, + "grad_norm": 6.019107818603516, + "learning_rate": 3.840202020202021e-06, + "loss": 6.328044891357422, + "step": 23965 + }, + { + "epoch": 0.2397, + "grad_norm": 7.591935157775879, + "learning_rate": 3.839949494949496e-06, + "loss": 6.295163345336914, + "step": 23970 + }, + { + "epoch": 0.23975, + "grad_norm": 3.144721746444702, + "learning_rate": 3.83969696969697e-06, + "loss": 6.335067367553711, + "step": 23975 + }, + { + "epoch": 0.2398, + "grad_norm": 4.811420440673828, + "learning_rate": 3.839444444444445e-06, + "loss": 6.319854354858398, + "step": 23980 + }, + { + "epoch": 0.23985, + "grad_norm": 4.0684332847595215, + "learning_rate": 3.8391919191919195e-06, + "loss": 6.344844818115234, + "step": 23985 + }, + { + "epoch": 0.2399, + "grad_norm": 6.380399703979492, + "learning_rate": 3.838939393939394e-06, + "loss": 6.410658264160157, + "step": 23990 + }, + { + "epoch": 0.23995, + "grad_norm": 5.0786824226379395, + "learning_rate": 3.838686868686869e-06, + "loss": 6.324929809570312, + "step": 23995 + }, + { + "epoch": 0.24, + "grad_norm": 5.080565929412842, + "learning_rate": 3.838434343434343e-06, + "loss": 6.319526290893554, + "step": 24000 + }, + { + "epoch": 0.24005, + "grad_norm": 11.166057586669922, + "learning_rate": 3.838181818181819e-06, + "loss": 6.277838897705078, + "step": 24005 + }, + { + "epoch": 0.2401, + "grad_norm": 8.359878540039062, + "learning_rate": 3.8379292929292935e-06, + "loss": 6.356361389160156, + "step": 24010 + }, + { + "epoch": 0.24015, + "grad_norm": 5.312755107879639, + "learning_rate": 3.837676767676768e-06, + "loss": 6.340828704833984, + "step": 24015 + }, + { + "epoch": 0.2402, + "grad_norm": 10.990241050720215, + "learning_rate": 3.837424242424243e-06, + "loss": 6.48319091796875, + "step": 24020 + }, + { + "epoch": 0.24025, + "grad_norm": 4.064845085144043, + "learning_rate": 3.837171717171717e-06, + "loss": 6.29597282409668, + "step": 24025 + }, + { + "epoch": 0.2403, + "grad_norm": 5.763132572174072, + "learning_rate": 3.836919191919192e-06, + "loss": 6.3638763427734375, + "step": 24030 + }, + { + "epoch": 0.24035, + "grad_norm": 3.2304301261901855, + "learning_rate": 3.836666666666667e-06, + "loss": 6.285865783691406, + "step": 24035 + }, + { + "epoch": 0.2404, + "grad_norm": 5.555386066436768, + "learning_rate": 3.836414141414141e-06, + "loss": 6.350043106079101, + "step": 24040 + }, + { + "epoch": 0.24045, + "grad_norm": 4.308685779571533, + "learning_rate": 3.836161616161617e-06, + "loss": 6.298805999755859, + "step": 24045 + }, + { + "epoch": 0.2405, + "grad_norm": 8.277054786682129, + "learning_rate": 3.835909090909091e-06, + "loss": 6.353446578979492, + "step": 24050 + }, + { + "epoch": 0.24055, + "grad_norm": 7.427578449249268, + "learning_rate": 3.835656565656566e-06, + "loss": 6.335530853271484, + "step": 24055 + }, + { + "epoch": 0.2406, + "grad_norm": 6.2172393798828125, + "learning_rate": 3.835404040404041e-06, + "loss": 6.349313735961914, + "step": 24060 + }, + { + "epoch": 0.24065, + "grad_norm": 42.39357376098633, + "learning_rate": 3.835151515151515e-06, + "loss": 6.43951416015625, + "step": 24065 + }, + { + "epoch": 0.2407, + "grad_norm": 3.775812864303589, + "learning_rate": 3.83489898989899e-06, + "loss": 6.494371032714843, + "step": 24070 + }, + { + "epoch": 0.24075, + "grad_norm": 5.839667320251465, + "learning_rate": 3.8346464646464645e-06, + "loss": 6.30771484375, + "step": 24075 + }, + { + "epoch": 0.2408, + "grad_norm": 5.576752185821533, + "learning_rate": 3.834393939393939e-06, + "loss": 6.33317985534668, + "step": 24080 + }, + { + "epoch": 0.24085, + "grad_norm": 6.3316192626953125, + "learning_rate": 3.834141414141415e-06, + "loss": 6.327111434936524, + "step": 24085 + }, + { + "epoch": 0.2409, + "grad_norm": 5.125498294830322, + "learning_rate": 3.833888888888889e-06, + "loss": 6.284212493896485, + "step": 24090 + }, + { + "epoch": 0.24095, + "grad_norm": 4.017132759094238, + "learning_rate": 3.833636363636364e-06, + "loss": 6.340859985351562, + "step": 24095 + }, + { + "epoch": 0.241, + "grad_norm": 6.5962815284729, + "learning_rate": 3.8333838383838385e-06, + "loss": 6.326301574707031, + "step": 24100 + }, + { + "epoch": 0.24105, + "grad_norm": 4.3865580558776855, + "learning_rate": 3.833131313131314e-06, + "loss": 6.375648117065429, + "step": 24105 + }, + { + "epoch": 0.2411, + "grad_norm": 3.6525449752807617, + "learning_rate": 3.832878787878788e-06, + "loss": 6.277046585083008, + "step": 24110 + }, + { + "epoch": 0.24115, + "grad_norm": 5.683064937591553, + "learning_rate": 3.832626262626262e-06, + "loss": 6.30534553527832, + "step": 24115 + }, + { + "epoch": 0.2412, + "grad_norm": 8.254146575927734, + "learning_rate": 3.832373737373737e-06, + "loss": 6.3214977264404295, + "step": 24120 + }, + { + "epoch": 0.24125, + "grad_norm": 4.52504825592041, + "learning_rate": 3.8321212121212125e-06, + "loss": 6.322126770019532, + "step": 24125 + }, + { + "epoch": 0.2413, + "grad_norm": 6.124266147613525, + "learning_rate": 3.831868686868687e-06, + "loss": 6.289709854125976, + "step": 24130 + }, + { + "epoch": 0.24135, + "grad_norm": 12.03856086730957, + "learning_rate": 3.831616161616162e-06, + "loss": 6.575050354003906, + "step": 24135 + }, + { + "epoch": 0.2414, + "grad_norm": 5.803675174713135, + "learning_rate": 3.831363636363637e-06, + "loss": 6.361572265625, + "step": 24140 + }, + { + "epoch": 0.24145, + "grad_norm": 15.412129402160645, + "learning_rate": 3.831111111111112e-06, + "loss": 6.488151550292969, + "step": 24145 + }, + { + "epoch": 0.2415, + "grad_norm": 9.824732780456543, + "learning_rate": 3.8308585858585865e-06, + "loss": 6.322882080078125, + "step": 24150 + }, + { + "epoch": 0.24155, + "grad_norm": 4.750017166137695, + "learning_rate": 3.830606060606061e-06, + "loss": 6.3200843811035154, + "step": 24155 + }, + { + "epoch": 0.2416, + "grad_norm": 3.0917975902557373, + "learning_rate": 3.830353535353536e-06, + "loss": 6.3036956787109375, + "step": 24160 + }, + { + "epoch": 0.24165, + "grad_norm": 3.859509229660034, + "learning_rate": 3.83010101010101e-06, + "loss": 6.38201904296875, + "step": 24165 + }, + { + "epoch": 0.2417, + "grad_norm": 7.741752624511719, + "learning_rate": 3.829848484848485e-06, + "loss": 6.360684204101562, + "step": 24170 + }, + { + "epoch": 0.24175, + "grad_norm": 6.099020957946777, + "learning_rate": 3.82959595959596e-06, + "loss": 6.316205596923828, + "step": 24175 + }, + { + "epoch": 0.2418, + "grad_norm": 8.330970764160156, + "learning_rate": 3.829343434343435e-06, + "loss": 6.346596145629883, + "step": 24180 + }, + { + "epoch": 0.24185, + "grad_norm": 7.450042724609375, + "learning_rate": 3.82909090909091e-06, + "loss": 6.345100021362304, + "step": 24185 + }, + { + "epoch": 0.2419, + "grad_norm": 98.45242309570312, + "learning_rate": 3.828838383838384e-06, + "loss": 7.838534545898438, + "step": 24190 + }, + { + "epoch": 0.24195, + "grad_norm": 4.102593421936035, + "learning_rate": 3.828585858585859e-06, + "loss": 9.138383483886718, + "step": 24195 + }, + { + "epoch": 0.242, + "grad_norm": 4.679060459136963, + "learning_rate": 3.828333333333334e-06, + "loss": 6.317528533935547, + "step": 24200 + }, + { + "epoch": 0.24205, + "grad_norm": 5.479498863220215, + "learning_rate": 3.828080808080808e-06, + "loss": 6.343070983886719, + "step": 24205 + }, + { + "epoch": 0.2421, + "grad_norm": 7.108460426330566, + "learning_rate": 3.827828282828283e-06, + "loss": 6.388593292236328, + "step": 24210 + }, + { + "epoch": 0.24215, + "grad_norm": 4.889233112335205, + "learning_rate": 3.8275757575757576e-06, + "loss": 6.337596130371094, + "step": 24215 + }, + { + "epoch": 0.2422, + "grad_norm": 4.090147495269775, + "learning_rate": 3.827323232323233e-06, + "loss": 6.326486968994141, + "step": 24220 + }, + { + "epoch": 0.24225, + "grad_norm": 4.227202892303467, + "learning_rate": 3.827070707070708e-06, + "loss": 6.329409790039063, + "step": 24225 + }, + { + "epoch": 0.2423, + "grad_norm": 4.322852611541748, + "learning_rate": 3.826818181818182e-06, + "loss": 6.35192756652832, + "step": 24230 + }, + { + "epoch": 0.24235, + "grad_norm": 5.811985015869141, + "learning_rate": 3.826565656565657e-06, + "loss": 6.289396667480469, + "step": 24235 + }, + { + "epoch": 0.2424, + "grad_norm": 5.137140274047852, + "learning_rate": 3.8263131313131316e-06, + "loss": 6.322133636474609, + "step": 24240 + }, + { + "epoch": 0.24245, + "grad_norm": 3.537370443344116, + "learning_rate": 3.826060606060606e-06, + "loss": 6.374931335449219, + "step": 24245 + }, + { + "epoch": 0.2425, + "grad_norm": 5.18840217590332, + "learning_rate": 3.825808080808081e-06, + "loss": 6.331224060058593, + "step": 24250 + }, + { + "epoch": 0.24255, + "grad_norm": 8.186988830566406, + "learning_rate": 3.8255555555555554e-06, + "loss": 6.331034088134766, + "step": 24255 + }, + { + "epoch": 0.2426, + "grad_norm": 5.282400608062744, + "learning_rate": 3.825303030303031e-06, + "loss": 6.32293930053711, + "step": 24260 + }, + { + "epoch": 0.24265, + "grad_norm": 11.877413749694824, + "learning_rate": 3.8250505050505056e-06, + "loss": 6.375288009643555, + "step": 24265 + }, + { + "epoch": 0.2427, + "grad_norm": 4.934964179992676, + "learning_rate": 3.82479797979798e-06, + "loss": 6.358880615234375, + "step": 24270 + }, + { + "epoch": 0.24275, + "grad_norm": 5.96776819229126, + "learning_rate": 3.824545454545455e-06, + "loss": 6.358721923828125, + "step": 24275 + }, + { + "epoch": 0.2428, + "grad_norm": 5.294593334197998, + "learning_rate": 3.8242929292929294e-06, + "loss": 6.290181732177734, + "step": 24280 + }, + { + "epoch": 0.24285, + "grad_norm": 5.190549373626709, + "learning_rate": 3.824040404040404e-06, + "loss": 6.301936340332031, + "step": 24285 + }, + { + "epoch": 0.2429, + "grad_norm": 5.636746883392334, + "learning_rate": 3.823787878787879e-06, + "loss": 6.355446624755859, + "step": 24290 + }, + { + "epoch": 0.24295, + "grad_norm": 3.8872592449188232, + "learning_rate": 3.823535353535353e-06, + "loss": 6.262110900878906, + "step": 24295 + }, + { + "epoch": 0.243, + "grad_norm": 5.9948344230651855, + "learning_rate": 3.823282828282829e-06, + "loss": 6.352171325683594, + "step": 24300 + }, + { + "epoch": 0.24305, + "grad_norm": 4.132962703704834, + "learning_rate": 3.8230303030303034e-06, + "loss": 6.499596405029297, + "step": 24305 + }, + { + "epoch": 0.2431, + "grad_norm": 2.929037094116211, + "learning_rate": 3.822777777777778e-06, + "loss": 6.310108184814453, + "step": 24310 + }, + { + "epoch": 0.24315, + "grad_norm": 7.119785308837891, + "learning_rate": 3.822525252525253e-06, + "loss": 6.381988525390625, + "step": 24315 + }, + { + "epoch": 0.2432, + "grad_norm": 6.319742202758789, + "learning_rate": 3.822272727272728e-06, + "loss": 6.574148559570313, + "step": 24320 + }, + { + "epoch": 0.24325, + "grad_norm": 3.726332664489746, + "learning_rate": 3.822020202020203e-06, + "loss": 6.291788101196289, + "step": 24325 + }, + { + "epoch": 0.2433, + "grad_norm": 3.8167693614959717, + "learning_rate": 3.8217676767676774e-06, + "loss": 6.320569610595703, + "step": 24330 + }, + { + "epoch": 0.24335, + "grad_norm": 6.320568561553955, + "learning_rate": 3.821515151515151e-06, + "loss": 6.325244903564453, + "step": 24335 + }, + { + "epoch": 0.2434, + "grad_norm": 4.583096981048584, + "learning_rate": 3.821262626262627e-06, + "loss": 6.356656646728515, + "step": 24340 + }, + { + "epoch": 0.24345, + "grad_norm": 5.153962135314941, + "learning_rate": 3.821010101010101e-06, + "loss": 6.304667663574219, + "step": 24345 + }, + { + "epoch": 0.2435, + "grad_norm": 6.890057563781738, + "learning_rate": 3.820757575757576e-06, + "loss": 6.289279174804688, + "step": 24350 + }, + { + "epoch": 0.24355, + "grad_norm": 5.230597496032715, + "learning_rate": 3.820505050505051e-06, + "loss": 6.312651443481445, + "step": 24355 + }, + { + "epoch": 0.2436, + "grad_norm": 5.591320037841797, + "learning_rate": 3.820252525252526e-06, + "loss": 6.3118846893310545, + "step": 24360 + }, + { + "epoch": 0.24365, + "grad_norm": 5.494738578796387, + "learning_rate": 3.820000000000001e-06, + "loss": 6.321754455566406, + "step": 24365 + }, + { + "epoch": 0.2437, + "grad_norm": 4.298521995544434, + "learning_rate": 3.819747474747475e-06, + "loss": 6.3334907531738285, + "step": 24370 + }, + { + "epoch": 0.24375, + "grad_norm": 4.728217124938965, + "learning_rate": 3.81949494949495e-06, + "loss": 6.311742782592773, + "step": 24375 + }, + { + "epoch": 0.2438, + "grad_norm": 18.264829635620117, + "learning_rate": 3.819242424242425e-06, + "loss": 6.358943939208984, + "step": 24380 + }, + { + "epoch": 0.24385, + "grad_norm": 5.511072158813477, + "learning_rate": 3.818989898989899e-06, + "loss": 6.277855682373047, + "step": 24385 + }, + { + "epoch": 0.2439, + "grad_norm": 5.5497941970825195, + "learning_rate": 3.818737373737374e-06, + "loss": 6.457023620605469, + "step": 24390 + }, + { + "epoch": 0.24395, + "grad_norm": 4.7944016456604, + "learning_rate": 3.8184848484848485e-06, + "loss": 6.304094696044922, + "step": 24395 + }, + { + "epoch": 0.244, + "grad_norm": 5.471667766571045, + "learning_rate": 3.818232323232324e-06, + "loss": 6.315402221679688, + "step": 24400 + }, + { + "epoch": 0.24405, + "grad_norm": 5.938952922821045, + "learning_rate": 3.817979797979799e-06, + "loss": 6.350075149536133, + "step": 24405 + }, + { + "epoch": 0.2441, + "grad_norm": 5.84389066696167, + "learning_rate": 3.817727272727273e-06, + "loss": 6.351403045654297, + "step": 24410 + }, + { + "epoch": 0.24415, + "grad_norm": 4.341282844543457, + "learning_rate": 3.817474747474748e-06, + "loss": 6.345235061645508, + "step": 24415 + }, + { + "epoch": 0.2442, + "grad_norm": 4.11017370223999, + "learning_rate": 3.8172222222222225e-06, + "loss": 6.316091918945313, + "step": 24420 + }, + { + "epoch": 0.24425, + "grad_norm": 4.32265567779541, + "learning_rate": 3.816969696969697e-06, + "loss": 6.353371047973633, + "step": 24425 + }, + { + "epoch": 0.2443, + "grad_norm": 4.453935623168945, + "learning_rate": 3.816717171717172e-06, + "loss": 6.322188186645508, + "step": 24430 + }, + { + "epoch": 0.24435, + "grad_norm": 5.044913291931152, + "learning_rate": 3.816464646464646e-06, + "loss": 6.4478271484375, + "step": 24435 + }, + { + "epoch": 0.2444, + "grad_norm": 4.089410305023193, + "learning_rate": 3.816212121212122e-06, + "loss": 6.311819839477539, + "step": 24440 + }, + { + "epoch": 0.24445, + "grad_norm": 4.8262038230896, + "learning_rate": 3.8159595959595965e-06, + "loss": 6.329756546020508, + "step": 24445 + }, + { + "epoch": 0.2445, + "grad_norm": 4.36832332611084, + "learning_rate": 3.815707070707071e-06, + "loss": 6.3622184753417965, + "step": 24450 + }, + { + "epoch": 0.24455, + "grad_norm": 5.734066486358643, + "learning_rate": 3.815454545454546e-06, + "loss": 6.289995574951172, + "step": 24455 + }, + { + "epoch": 0.2446, + "grad_norm": 3.8248202800750732, + "learning_rate": 3.81520202020202e-06, + "loss": 6.317963027954102, + "step": 24460 + }, + { + "epoch": 0.24465, + "grad_norm": 8.372124671936035, + "learning_rate": 3.814949494949495e-06, + "loss": 6.352735900878907, + "step": 24465 + }, + { + "epoch": 0.2447, + "grad_norm": 6.922900199890137, + "learning_rate": 3.81469696969697e-06, + "loss": 6.296628952026367, + "step": 24470 + }, + { + "epoch": 0.24475, + "grad_norm": 6.852545738220215, + "learning_rate": 3.8144444444444447e-06, + "loss": 6.304690933227539, + "step": 24475 + }, + { + "epoch": 0.2448, + "grad_norm": 6.217726230621338, + "learning_rate": 3.8141919191919197e-06, + "loss": 6.305267715454102, + "step": 24480 + }, + { + "epoch": 0.24485, + "grad_norm": 5.941946506500244, + "learning_rate": 3.8139393939393944e-06, + "loss": 6.380317306518554, + "step": 24485 + }, + { + "epoch": 0.2449, + "grad_norm": 4.736086845397949, + "learning_rate": 3.813686868686869e-06, + "loss": 6.295236968994141, + "step": 24490 + }, + { + "epoch": 0.24495, + "grad_norm": 3.732618808746338, + "learning_rate": 3.8134343434343436e-06, + "loss": 6.323743438720703, + "step": 24495 + }, + { + "epoch": 0.245, + "grad_norm": 23.454654693603516, + "learning_rate": 3.8131818181818187e-06, + "loss": 6.019623565673828, + "step": 24500 + }, + { + "epoch": 0.24505, + "grad_norm": 3.7260236740112305, + "learning_rate": 3.8129292929292933e-06, + "loss": 6.226126480102539, + "step": 24505 + }, + { + "epoch": 0.2451, + "grad_norm": 4.491339206695557, + "learning_rate": 3.812676767676768e-06, + "loss": 6.309399032592774, + "step": 24510 + }, + { + "epoch": 0.24515, + "grad_norm": 8.292157173156738, + "learning_rate": 3.8124242424242426e-06, + "loss": 6.33044204711914, + "step": 24515 + }, + { + "epoch": 0.2452, + "grad_norm": 4.637438774108887, + "learning_rate": 3.8121717171717176e-06, + "loss": 6.327280426025391, + "step": 24520 + }, + { + "epoch": 0.24525, + "grad_norm": 3.9368162155151367, + "learning_rate": 3.8119191919191922e-06, + "loss": 6.332490539550781, + "step": 24525 + }, + { + "epoch": 0.2453, + "grad_norm": 5.515077590942383, + "learning_rate": 3.811666666666667e-06, + "loss": 6.410867309570312, + "step": 24530 + }, + { + "epoch": 0.24535, + "grad_norm": 5.964354991912842, + "learning_rate": 3.8114141414141415e-06, + "loss": 6.521192932128907, + "step": 24535 + }, + { + "epoch": 0.2454, + "grad_norm": 16.648439407348633, + "learning_rate": 3.8111616161616166e-06, + "loss": 6.4942466735839846, + "step": 24540 + }, + { + "epoch": 0.24545, + "grad_norm": 4.645191669464111, + "learning_rate": 3.810909090909091e-06, + "loss": 6.309139251708984, + "step": 24545 + }, + { + "epoch": 0.2455, + "grad_norm": 7.315805912017822, + "learning_rate": 3.810656565656566e-06, + "loss": 6.38135986328125, + "step": 24550 + }, + { + "epoch": 0.24555, + "grad_norm": 7.0268425941467285, + "learning_rate": 3.8104040404040405e-06, + "loss": 6.359656524658203, + "step": 24555 + }, + { + "epoch": 0.2456, + "grad_norm": 11.247036933898926, + "learning_rate": 3.8101515151515155e-06, + "loss": 6.4888862609863285, + "step": 24560 + }, + { + "epoch": 0.24565, + "grad_norm": 9.910554885864258, + "learning_rate": 3.80989898989899e-06, + "loss": 6.319495391845703, + "step": 24565 + }, + { + "epoch": 0.2457, + "grad_norm": 3.8603157997131348, + "learning_rate": 3.8096464646464648e-06, + "loss": 6.307781219482422, + "step": 24570 + }, + { + "epoch": 0.24575, + "grad_norm": 3.8969900608062744, + "learning_rate": 3.80939393939394e-06, + "loss": 6.307999038696289, + "step": 24575 + }, + { + "epoch": 0.2458, + "grad_norm": 5.8311767578125, + "learning_rate": 3.8091414141414144e-06, + "loss": 6.317541122436523, + "step": 24580 + }, + { + "epoch": 0.24585, + "grad_norm": 5.299201965332031, + "learning_rate": 3.808888888888889e-06, + "loss": 6.357425308227539, + "step": 24585 + }, + { + "epoch": 0.2459, + "grad_norm": 4.799232006072998, + "learning_rate": 3.8086363636363637e-06, + "loss": 6.3418926239013675, + "step": 24590 + }, + { + "epoch": 0.24595, + "grad_norm": 8.093696594238281, + "learning_rate": 3.8083838383838388e-06, + "loss": 6.3264514923095705, + "step": 24595 + }, + { + "epoch": 0.246, + "grad_norm": 5.64540958404541, + "learning_rate": 3.8081313131313134e-06, + "loss": 6.388252258300781, + "step": 24600 + }, + { + "epoch": 0.24605, + "grad_norm": 11.959281921386719, + "learning_rate": 3.807878787878788e-06, + "loss": 6.3093719482421875, + "step": 24605 + }, + { + "epoch": 0.2461, + "grad_norm": 4.623868465423584, + "learning_rate": 3.8076262626262627e-06, + "loss": 6.3174396514892575, + "step": 24610 + }, + { + "epoch": 0.24615, + "grad_norm": 6.7488484382629395, + "learning_rate": 3.807373737373738e-06, + "loss": 6.361555099487305, + "step": 24615 + }, + { + "epoch": 0.2462, + "grad_norm": 5.641331672668457, + "learning_rate": 3.8071212121212128e-06, + "loss": 6.320330047607422, + "step": 24620 + }, + { + "epoch": 0.24625, + "grad_norm": 4.6171183586120605, + "learning_rate": 3.806868686868687e-06, + "loss": 6.3777214050292965, + "step": 24625 + }, + { + "epoch": 0.2463, + "grad_norm": 6.4527387619018555, + "learning_rate": 3.8066161616161616e-06, + "loss": 6.344682312011718, + "step": 24630 + }, + { + "epoch": 0.24635, + "grad_norm": 4.407225608825684, + "learning_rate": 3.806363636363637e-06, + "loss": 6.3406013488769535, + "step": 24635 + }, + { + "epoch": 0.2464, + "grad_norm": 3.734208583831787, + "learning_rate": 3.8061111111111117e-06, + "loss": 6.254399108886719, + "step": 24640 + }, + { + "epoch": 0.24645, + "grad_norm": 3.616285800933838, + "learning_rate": 3.8058585858585863e-06, + "loss": 6.328759384155274, + "step": 24645 + }, + { + "epoch": 0.2465, + "grad_norm": 4.61699914932251, + "learning_rate": 3.8056060606060605e-06, + "loss": 6.300517272949219, + "step": 24650 + }, + { + "epoch": 0.24655, + "grad_norm": 6.491902828216553, + "learning_rate": 3.805353535353536e-06, + "loss": 6.269119644165039, + "step": 24655 + }, + { + "epoch": 0.2466, + "grad_norm": 6.549318790435791, + "learning_rate": 3.8051010101010106e-06, + "loss": 6.338206481933594, + "step": 24660 + }, + { + "epoch": 0.24665, + "grad_norm": 5.878042697906494, + "learning_rate": 3.8048484848484853e-06, + "loss": 6.31360969543457, + "step": 24665 + }, + { + "epoch": 0.2467, + "grad_norm": 5.124664306640625, + "learning_rate": 3.80459595959596e-06, + "loss": 6.307469177246094, + "step": 24670 + }, + { + "epoch": 0.24675, + "grad_norm": 8.913350105285645, + "learning_rate": 3.804343434343435e-06, + "loss": 6.323848724365234, + "step": 24675 + }, + { + "epoch": 0.2468, + "grad_norm": 11.819416999816895, + "learning_rate": 3.8040909090909096e-06, + "loss": 6.324026870727539, + "step": 24680 + }, + { + "epoch": 0.24685, + "grad_norm": 7.507349014282227, + "learning_rate": 3.8038383838383842e-06, + "loss": 6.365409851074219, + "step": 24685 + }, + { + "epoch": 0.2469, + "grad_norm": 2.5268735885620117, + "learning_rate": 3.803585858585859e-06, + "loss": 6.308486557006836, + "step": 24690 + }, + { + "epoch": 0.24695, + "grad_norm": 3.9347801208496094, + "learning_rate": 3.803333333333334e-06, + "loss": 6.283709335327148, + "step": 24695 + }, + { + "epoch": 0.247, + "grad_norm": 5.1139750480651855, + "learning_rate": 3.8030808080808085e-06, + "loss": 6.273369598388672, + "step": 24700 + }, + { + "epoch": 0.24705, + "grad_norm": 4.346036911010742, + "learning_rate": 3.802828282828283e-06, + "loss": 6.352246856689453, + "step": 24705 + }, + { + "epoch": 0.2471, + "grad_norm": 5.568414211273193, + "learning_rate": 3.802575757575758e-06, + "loss": 6.303802490234375, + "step": 24710 + }, + { + "epoch": 0.24715, + "grad_norm": 6.704183578491211, + "learning_rate": 3.802323232323233e-06, + "loss": 6.371820068359375, + "step": 24715 + }, + { + "epoch": 0.2472, + "grad_norm": 6.049572944641113, + "learning_rate": 3.8020707070707075e-06, + "loss": 6.295503616333008, + "step": 24720 + }, + { + "epoch": 0.24725, + "grad_norm": 5.961676597595215, + "learning_rate": 3.801818181818182e-06, + "loss": 6.371158599853516, + "step": 24725 + }, + { + "epoch": 0.2473, + "grad_norm": 6.4478864669799805, + "learning_rate": 3.8015656565656567e-06, + "loss": 6.306602859497071, + "step": 24730 + }, + { + "epoch": 0.24735, + "grad_norm": 5.454312801361084, + "learning_rate": 3.801313131313132e-06, + "loss": 6.321035385131836, + "step": 24735 + }, + { + "epoch": 0.2474, + "grad_norm": 4.791575908660889, + "learning_rate": 3.8010606060606064e-06, + "loss": 6.370033264160156, + "step": 24740 + }, + { + "epoch": 0.24745, + "grad_norm": 5.4491190910339355, + "learning_rate": 3.800808080808081e-06, + "loss": 6.299378967285156, + "step": 24745 + }, + { + "epoch": 0.2475, + "grad_norm": 7.616333961486816, + "learning_rate": 3.8005555555555557e-06, + "loss": 6.336561584472657, + "step": 24750 + }, + { + "epoch": 0.24755, + "grad_norm": 4.816043376922607, + "learning_rate": 3.8003030303030307e-06, + "loss": 6.451275634765625, + "step": 24755 + }, + { + "epoch": 0.2476, + "grad_norm": 4.450271129608154, + "learning_rate": 3.8000505050505054e-06, + "loss": 6.506224822998047, + "step": 24760 + }, + { + "epoch": 0.24765, + "grad_norm": 5.473537921905518, + "learning_rate": 3.79979797979798e-06, + "loss": 6.321356582641601, + "step": 24765 + }, + { + "epoch": 0.2477, + "grad_norm": 6.245075702667236, + "learning_rate": 3.7995454545454546e-06, + "loss": 6.346730804443359, + "step": 24770 + }, + { + "epoch": 0.24775, + "grad_norm": 5.433206558227539, + "learning_rate": 3.7992929292929297e-06, + "loss": 6.325083923339844, + "step": 24775 + }, + { + "epoch": 0.2478, + "grad_norm": 5.377098083496094, + "learning_rate": 3.7990404040404043e-06, + "loss": 6.320269775390625, + "step": 24780 + }, + { + "epoch": 0.24785, + "grad_norm": 5.338435649871826, + "learning_rate": 3.798787878787879e-06, + "loss": 6.371579360961914, + "step": 24785 + }, + { + "epoch": 0.2479, + "grad_norm": 6.252237319946289, + "learning_rate": 3.7985353535353536e-06, + "loss": 6.3367469787597654, + "step": 24790 + }, + { + "epoch": 0.24795, + "grad_norm": 10.832158088684082, + "learning_rate": 3.7982828282828286e-06, + "loss": 6.4828544616699215, + "step": 24795 + }, + { + "epoch": 0.248, + "grad_norm": 3.6074142456054688, + "learning_rate": 3.7980303030303033e-06, + "loss": 6.317464447021484, + "step": 24800 + }, + { + "epoch": 0.24805, + "grad_norm": 2.7859723567962646, + "learning_rate": 3.797777777777778e-06, + "loss": 6.332563018798828, + "step": 24805 + }, + { + "epoch": 0.2481, + "grad_norm": 5.28027868270874, + "learning_rate": 3.7975252525252525e-06, + "loss": 6.321557998657227, + "step": 24810 + }, + { + "epoch": 0.24815, + "grad_norm": 4.698992729187012, + "learning_rate": 3.7972727272727276e-06, + "loss": 6.321604537963867, + "step": 24815 + }, + { + "epoch": 0.2482, + "grad_norm": 3.5160722732543945, + "learning_rate": 3.797020202020202e-06, + "loss": 6.331064605712891, + "step": 24820 + }, + { + "epoch": 0.24825, + "grad_norm": 3.0970358848571777, + "learning_rate": 3.796767676767677e-06, + "loss": 6.280361938476562, + "step": 24825 + }, + { + "epoch": 0.2483, + "grad_norm": 6.861550807952881, + "learning_rate": 3.7965151515151515e-06, + "loss": 6.316182708740234, + "step": 24830 + }, + { + "epoch": 0.24835, + "grad_norm": 5.847132205963135, + "learning_rate": 3.796262626262627e-06, + "loss": 6.303302764892578, + "step": 24835 + }, + { + "epoch": 0.2484, + "grad_norm": 6.176864147186279, + "learning_rate": 3.7960101010101016e-06, + "loss": 6.323783111572266, + "step": 24840 + }, + { + "epoch": 0.24845, + "grad_norm": 7.012228488922119, + "learning_rate": 3.7957575757575758e-06, + "loss": 6.321030807495117, + "step": 24845 + }, + { + "epoch": 0.2485, + "grad_norm": 4.1989827156066895, + "learning_rate": 3.7955050505050504e-06, + "loss": 6.320504760742187, + "step": 24850 + }, + { + "epoch": 0.24855, + "grad_norm": 4.0412821769714355, + "learning_rate": 3.795252525252526e-06, + "loss": 6.298176574707031, + "step": 24855 + }, + { + "epoch": 0.2486, + "grad_norm": 5.565872669219971, + "learning_rate": 3.7950000000000005e-06, + "loss": 6.349287414550782, + "step": 24860 + }, + { + "epoch": 0.24865, + "grad_norm": 4.126809597015381, + "learning_rate": 3.794747474747475e-06, + "loss": 6.341047286987305, + "step": 24865 + }, + { + "epoch": 0.2487, + "grad_norm": 8.392001152038574, + "learning_rate": 3.7944949494949498e-06, + "loss": 6.326367568969727, + "step": 24870 + }, + { + "epoch": 0.24875, + "grad_norm": 4.290130615234375, + "learning_rate": 3.794242424242425e-06, + "loss": 6.336184692382813, + "step": 24875 + }, + { + "epoch": 0.2488, + "grad_norm": 6.508862018585205, + "learning_rate": 3.7939898989898995e-06, + "loss": 6.29949951171875, + "step": 24880 + }, + { + "epoch": 0.24885, + "grad_norm": 5.598213195800781, + "learning_rate": 3.793737373737374e-06, + "loss": 6.316053771972657, + "step": 24885 + }, + { + "epoch": 0.2489, + "grad_norm": 4.809788227081299, + "learning_rate": 3.7934848484848487e-06, + "loss": 6.316693496704102, + "step": 24890 + }, + { + "epoch": 0.24895, + "grad_norm": 7.314576625823975, + "learning_rate": 3.7932323232323238e-06, + "loss": 6.31152458190918, + "step": 24895 + }, + { + "epoch": 0.249, + "grad_norm": 5.41033935546875, + "learning_rate": 3.7929797979797984e-06, + "loss": 6.347332000732422, + "step": 24900 + }, + { + "epoch": 0.24905, + "grad_norm": 6.0101494789123535, + "learning_rate": 3.792727272727273e-06, + "loss": 6.3308765411376955, + "step": 24905 + }, + { + "epoch": 0.2491, + "grad_norm": 3.3470981121063232, + "learning_rate": 3.7924747474747477e-06, + "loss": 6.531220245361328, + "step": 24910 + }, + { + "epoch": 0.24915, + "grad_norm": 8.132181167602539, + "learning_rate": 3.7922222222222227e-06, + "loss": 6.342335510253906, + "step": 24915 + }, + { + "epoch": 0.2492, + "grad_norm": 6.243249416351318, + "learning_rate": 3.7919696969696973e-06, + "loss": 6.3342033386230465, + "step": 24920 + }, + { + "epoch": 0.24925, + "grad_norm": 23.18819808959961, + "learning_rate": 3.791717171717172e-06, + "loss": 6.534953308105469, + "step": 24925 + }, + { + "epoch": 0.2493, + "grad_norm": 23.736787796020508, + "learning_rate": 3.7914646464646466e-06, + "loss": 6.464931488037109, + "step": 24930 + }, + { + "epoch": 0.24935, + "grad_norm": 9.789299964904785, + "learning_rate": 3.7912121212121217e-06, + "loss": 6.3269187927246096, + "step": 24935 + }, + { + "epoch": 0.2494, + "grad_norm": 7.245536804199219, + "learning_rate": 3.7909595959595963e-06, + "loss": 6.412259674072265, + "step": 24940 + }, + { + "epoch": 0.24945, + "grad_norm": 7.821969985961914, + "learning_rate": 3.790707070707071e-06, + "loss": 6.500132751464844, + "step": 24945 + }, + { + "epoch": 0.2495, + "grad_norm": 3.7165093421936035, + "learning_rate": 3.7904545454545455e-06, + "loss": 6.331393814086914, + "step": 24950 + }, + { + "epoch": 0.24955, + "grad_norm": 6.083778381347656, + "learning_rate": 3.7902020202020206e-06, + "loss": 6.310817718505859, + "step": 24955 + }, + { + "epoch": 0.2496, + "grad_norm": 6.308335781097412, + "learning_rate": 3.7899494949494952e-06, + "loss": 6.291022491455078, + "step": 24960 + }, + { + "epoch": 0.24965, + "grad_norm": 6.097376823425293, + "learning_rate": 3.78969696969697e-06, + "loss": 6.329010391235352, + "step": 24965 + }, + { + "epoch": 0.2497, + "grad_norm": 15.87796688079834, + "learning_rate": 3.7894444444444445e-06, + "loss": 6.280488586425781, + "step": 24970 + }, + { + "epoch": 0.24975, + "grad_norm": 5.089207649230957, + "learning_rate": 3.7891919191919195e-06, + "loss": 6.3177040100097654, + "step": 24975 + }, + { + "epoch": 0.2498, + "grad_norm": 5.913401126861572, + "learning_rate": 3.788939393939394e-06, + "loss": 6.32628173828125, + "step": 24980 + }, + { + "epoch": 0.24985, + "grad_norm": 4.108267307281494, + "learning_rate": 3.788686868686869e-06, + "loss": 6.373434829711914, + "step": 24985 + }, + { + "epoch": 0.2499, + "grad_norm": 7.040623188018799, + "learning_rate": 3.788434343434344e-06, + "loss": 6.323977279663086, + "step": 24990 + }, + { + "epoch": 0.24995, + "grad_norm": 8.5296630859375, + "learning_rate": 3.7881818181818185e-06, + "loss": 6.384491348266602, + "step": 24995 + }, + { + "epoch": 0.25, + "grad_norm": 4.425950527191162, + "learning_rate": 3.787929292929293e-06, + "loss": 6.352629089355469, + "step": 25000 + }, + { + "epoch": 0.25005, + "grad_norm": 4.340997219085693, + "learning_rate": 3.7876767676767677e-06, + "loss": 6.319969940185547, + "step": 25005 + }, + { + "epoch": 0.2501, + "grad_norm": 8.521161079406738, + "learning_rate": 3.787424242424243e-06, + "loss": 6.303459930419922, + "step": 25010 + }, + { + "epoch": 0.25015, + "grad_norm": 3.6244568824768066, + "learning_rate": 3.7871717171717174e-06, + "loss": 6.320890426635742, + "step": 25015 + }, + { + "epoch": 0.2502, + "grad_norm": 5.3409342765808105, + "learning_rate": 3.786919191919192e-06, + "loss": 6.3129119873046875, + "step": 25020 + }, + { + "epoch": 0.25025, + "grad_norm": 4.810161590576172, + "learning_rate": 3.7866666666666667e-06, + "loss": 6.320738983154297, + "step": 25025 + }, + { + "epoch": 0.2503, + "grad_norm": 5.8221821784973145, + "learning_rate": 3.786414141414142e-06, + "loss": 6.334032440185547, + "step": 25030 + }, + { + "epoch": 0.25035, + "grad_norm": 4.197929859161377, + "learning_rate": 3.786161616161617e-06, + "loss": 6.32874755859375, + "step": 25035 + }, + { + "epoch": 0.2504, + "grad_norm": 6.125472545623779, + "learning_rate": 3.785909090909091e-06, + "loss": 6.31010627746582, + "step": 25040 + }, + { + "epoch": 0.25045, + "grad_norm": 5.974649429321289, + "learning_rate": 3.7856565656565656e-06, + "loss": 6.3127799987792965, + "step": 25045 + }, + { + "epoch": 0.2505, + "grad_norm": 6.5002055168151855, + "learning_rate": 3.785404040404041e-06, + "loss": 6.405833435058594, + "step": 25050 + }, + { + "epoch": 0.25055, + "grad_norm": 6.257747173309326, + "learning_rate": 3.7851515151515157e-06, + "loss": 6.3007560729980465, + "step": 25055 + }, + { + "epoch": 0.2506, + "grad_norm": 6.085604190826416, + "learning_rate": 3.7848989898989904e-06, + "loss": 6.333103942871094, + "step": 25060 + }, + { + "epoch": 0.25065, + "grad_norm": 7.817204475402832, + "learning_rate": 3.7846464646464646e-06, + "loss": 6.371909332275391, + "step": 25065 + }, + { + "epoch": 0.2507, + "grad_norm": 5.689461708068848, + "learning_rate": 3.78439393939394e-06, + "loss": 6.257283782958984, + "step": 25070 + }, + { + "epoch": 0.25075, + "grad_norm": 5.629419803619385, + "learning_rate": 3.7841414141414147e-06, + "loss": 6.292929077148438, + "step": 25075 + }, + { + "epoch": 0.2508, + "grad_norm": 5.537148475646973, + "learning_rate": 3.7838888888888893e-06, + "loss": 6.282789611816407, + "step": 25080 + }, + { + "epoch": 0.25085, + "grad_norm": 5.929000377655029, + "learning_rate": 3.783636363636364e-06, + "loss": 6.342111206054687, + "step": 25085 + }, + { + "epoch": 0.2509, + "grad_norm": 4.9777374267578125, + "learning_rate": 3.783383838383839e-06, + "loss": 6.345852279663086, + "step": 25090 + }, + { + "epoch": 0.25095, + "grad_norm": 3.2527365684509277, + "learning_rate": 3.7831313131313136e-06, + "loss": 6.3046119689941404, + "step": 25095 + }, + { + "epoch": 0.251, + "grad_norm": 4.792423725128174, + "learning_rate": 3.7828787878787883e-06, + "loss": 6.334859466552734, + "step": 25100 + }, + { + "epoch": 0.25105, + "grad_norm": 6.289525985717773, + "learning_rate": 3.782626262626263e-06, + "loss": 6.338176345825195, + "step": 25105 + }, + { + "epoch": 0.2511, + "grad_norm": 6.7715067863464355, + "learning_rate": 3.782373737373738e-06, + "loss": 6.406371307373047, + "step": 25110 + }, + { + "epoch": 0.25115, + "grad_norm": 5.310438632965088, + "learning_rate": 3.7821212121212126e-06, + "loss": 6.328800201416016, + "step": 25115 + }, + { + "epoch": 0.2512, + "grad_norm": 4.307737827301025, + "learning_rate": 3.781868686868687e-06, + "loss": 6.136697769165039, + "step": 25120 + }, + { + "epoch": 0.25125, + "grad_norm": 7.467793941497803, + "learning_rate": 3.781616161616162e-06, + "loss": 6.336032104492188, + "step": 25125 + }, + { + "epoch": 0.2513, + "grad_norm": 5.349710464477539, + "learning_rate": 3.781363636363637e-06, + "loss": 6.339819717407226, + "step": 25130 + }, + { + "epoch": 0.25135, + "grad_norm": 7.182404041290283, + "learning_rate": 3.7811111111111115e-06, + "loss": 6.28376579284668, + "step": 25135 + }, + { + "epoch": 0.2514, + "grad_norm": 11.696770668029785, + "learning_rate": 3.780858585858586e-06, + "loss": 6.379244232177735, + "step": 25140 + }, + { + "epoch": 0.25145, + "grad_norm": 6.058556079864502, + "learning_rate": 3.7806060606060608e-06, + "loss": 6.325894165039062, + "step": 25145 + }, + { + "epoch": 0.2515, + "grad_norm": 6.843220233917236, + "learning_rate": 3.780353535353536e-06, + "loss": 6.3213146209716795, + "step": 25150 + }, + { + "epoch": 0.25155, + "grad_norm": 4.323552131652832, + "learning_rate": 3.7801010101010105e-06, + "loss": 6.326206970214844, + "step": 25155 + }, + { + "epoch": 0.2516, + "grad_norm": 15.439602851867676, + "learning_rate": 3.779848484848485e-06, + "loss": 6.329898452758789, + "step": 25160 + }, + { + "epoch": 0.25165, + "grad_norm": 6.368456840515137, + "learning_rate": 3.7795959595959597e-06, + "loss": 6.306449127197266, + "step": 25165 + }, + { + "epoch": 0.2517, + "grad_norm": 3.291074275970459, + "learning_rate": 3.7793434343434348e-06, + "loss": 6.309361267089844, + "step": 25170 + }, + { + "epoch": 0.25175, + "grad_norm": 5.348289489746094, + "learning_rate": 3.7790909090909094e-06, + "loss": 6.40875015258789, + "step": 25175 + }, + { + "epoch": 0.2518, + "grad_norm": 7.199095249176025, + "learning_rate": 3.778838383838384e-06, + "loss": 6.2788959503173825, + "step": 25180 + }, + { + "epoch": 0.25185, + "grad_norm": 13.519686698913574, + "learning_rate": 3.7785858585858587e-06, + "loss": 6.536505889892578, + "step": 25185 + }, + { + "epoch": 0.2519, + "grad_norm": 4.959192752838135, + "learning_rate": 3.7783333333333337e-06, + "loss": 6.341909408569336, + "step": 25190 + }, + { + "epoch": 0.25195, + "grad_norm": 4.8973565101623535, + "learning_rate": 3.7780808080808084e-06, + "loss": 6.282737731933594, + "step": 25195 + }, + { + "epoch": 0.252, + "grad_norm": 7.021212100982666, + "learning_rate": 3.777828282828283e-06, + "loss": 6.344532775878906, + "step": 25200 + }, + { + "epoch": 0.25205, + "grad_norm": 4.479836940765381, + "learning_rate": 3.7775757575757576e-06, + "loss": 6.332622528076172, + "step": 25205 + }, + { + "epoch": 0.2521, + "grad_norm": 7.643125534057617, + "learning_rate": 3.7773232323232327e-06, + "loss": 6.299216079711914, + "step": 25210 + }, + { + "epoch": 0.25215, + "grad_norm": 5.385834217071533, + "learning_rate": 3.7770707070707073e-06, + "loss": 6.334075164794922, + "step": 25215 + }, + { + "epoch": 0.2522, + "grad_norm": 8.056965827941895, + "learning_rate": 3.776818181818182e-06, + "loss": 6.287517547607422, + "step": 25220 + }, + { + "epoch": 0.25225, + "grad_norm": 4.003643989562988, + "learning_rate": 3.7765656565656566e-06, + "loss": 6.327437973022461, + "step": 25225 + }, + { + "epoch": 0.2523, + "grad_norm": 5.555039882659912, + "learning_rate": 3.7763131313131316e-06, + "loss": 6.338059997558593, + "step": 25230 + }, + { + "epoch": 0.25235, + "grad_norm": 5.187587738037109, + "learning_rate": 3.7760606060606062e-06, + "loss": 6.348991394042969, + "step": 25235 + }, + { + "epoch": 0.2524, + "grad_norm": 16.27007484436035, + "learning_rate": 3.775808080808081e-06, + "loss": 6.402467346191406, + "step": 25240 + }, + { + "epoch": 0.25245, + "grad_norm": 5.928394317626953, + "learning_rate": 3.7755555555555555e-06, + "loss": 6.301950836181641, + "step": 25245 + }, + { + "epoch": 0.2525, + "grad_norm": 3.9654927253723145, + "learning_rate": 3.775303030303031e-06, + "loss": 6.280168533325195, + "step": 25250 + }, + { + "epoch": 0.25255, + "grad_norm": 3.6951045989990234, + "learning_rate": 3.7750505050505056e-06, + "loss": 6.327494049072266, + "step": 25255 + }, + { + "epoch": 0.2526, + "grad_norm": 4.890178203582764, + "learning_rate": 3.77479797979798e-06, + "loss": 6.353133773803711, + "step": 25260 + }, + { + "epoch": 0.25265, + "grad_norm": 3.536865711212158, + "learning_rate": 3.7745454545454544e-06, + "loss": 6.2545722961425785, + "step": 25265 + }, + { + "epoch": 0.2527, + "grad_norm": 5.668813228607178, + "learning_rate": 3.77429292929293e-06, + "loss": 6.27594223022461, + "step": 25270 + }, + { + "epoch": 0.25275, + "grad_norm": 6.222916603088379, + "learning_rate": 3.7740404040404046e-06, + "loss": 6.298922729492188, + "step": 25275 + }, + { + "epoch": 0.2528, + "grad_norm": 5.081191539764404, + "learning_rate": 3.773787878787879e-06, + "loss": 6.341779708862305, + "step": 25280 + }, + { + "epoch": 0.25285, + "grad_norm": 2.704108953475952, + "learning_rate": 3.773535353535354e-06, + "loss": 6.340196990966797, + "step": 25285 + }, + { + "epoch": 0.2529, + "grad_norm": 3.871838331222534, + "learning_rate": 3.773282828282829e-06, + "loss": 6.254093170166016, + "step": 25290 + }, + { + "epoch": 0.25295, + "grad_norm": 6.71392297744751, + "learning_rate": 3.7730303030303035e-06, + "loss": 6.355170059204101, + "step": 25295 + }, + { + "epoch": 0.253, + "grad_norm": 5.878215312957764, + "learning_rate": 3.772777777777778e-06, + "loss": 6.314839553833008, + "step": 25300 + }, + { + "epoch": 0.25305, + "grad_norm": 5.235101699829102, + "learning_rate": 3.7725252525252528e-06, + "loss": 6.335359954833985, + "step": 25305 + }, + { + "epoch": 0.2531, + "grad_norm": 6.897562026977539, + "learning_rate": 3.772272727272728e-06, + "loss": 6.331043243408203, + "step": 25310 + }, + { + "epoch": 0.25315, + "grad_norm": 4.549420356750488, + "learning_rate": 3.7720202020202024e-06, + "loss": 6.28438720703125, + "step": 25315 + }, + { + "epoch": 0.2532, + "grad_norm": 4.89314603805542, + "learning_rate": 3.771767676767677e-06, + "loss": 6.274560546875, + "step": 25320 + }, + { + "epoch": 0.25325, + "grad_norm": 6.686513423919678, + "learning_rate": 3.7715151515151517e-06, + "loss": 6.356611633300782, + "step": 25325 + }, + { + "epoch": 0.2533, + "grad_norm": 4.0462775230407715, + "learning_rate": 3.7712626262626268e-06, + "loss": 6.310383605957031, + "step": 25330 + }, + { + "epoch": 0.25335, + "grad_norm": 5.5056471824646, + "learning_rate": 3.7710101010101014e-06, + "loss": 6.35367431640625, + "step": 25335 + }, + { + "epoch": 0.2534, + "grad_norm": 6.372457504272461, + "learning_rate": 3.770757575757576e-06, + "loss": 6.29835090637207, + "step": 25340 + }, + { + "epoch": 0.25345, + "grad_norm": 9.095788955688477, + "learning_rate": 3.7705050505050506e-06, + "loss": 6.347739028930664, + "step": 25345 + }, + { + "epoch": 0.2535, + "grad_norm": 4.10211706161499, + "learning_rate": 3.7702525252525257e-06, + "loss": 6.294282531738281, + "step": 25350 + }, + { + "epoch": 0.25355, + "grad_norm": 5.600131988525391, + "learning_rate": 3.7700000000000003e-06, + "loss": 6.410514831542969, + "step": 25355 + }, + { + "epoch": 0.2536, + "grad_norm": 6.060492992401123, + "learning_rate": 3.769747474747475e-06, + "loss": 6.307199096679687, + "step": 25360 + }, + { + "epoch": 0.25365, + "grad_norm": 6.697558403015137, + "learning_rate": 3.7694949494949496e-06, + "loss": 6.313204193115235, + "step": 25365 + }, + { + "epoch": 0.2537, + "grad_norm": 6.430440902709961, + "learning_rate": 3.7692424242424246e-06, + "loss": 6.369896697998047, + "step": 25370 + }, + { + "epoch": 0.25375, + "grad_norm": 4.880927085876465, + "learning_rate": 3.7689898989898993e-06, + "loss": 6.275716018676758, + "step": 25375 + }, + { + "epoch": 0.2538, + "grad_norm": 24.3110408782959, + "learning_rate": 3.768737373737374e-06, + "loss": 6.441619873046875, + "step": 25380 + }, + { + "epoch": 0.25385, + "grad_norm": 3.379992723464966, + "learning_rate": 3.7684848484848485e-06, + "loss": 6.298157501220703, + "step": 25385 + }, + { + "epoch": 0.2539, + "grad_norm": 6.328636646270752, + "learning_rate": 3.7682323232323236e-06, + "loss": 6.293209838867187, + "step": 25390 + }, + { + "epoch": 0.25395, + "grad_norm": 5.421080589294434, + "learning_rate": 3.7679797979797982e-06, + "loss": 6.274344635009766, + "step": 25395 + }, + { + "epoch": 0.254, + "grad_norm": 4.121160507202148, + "learning_rate": 3.767727272727273e-06, + "loss": 6.432330322265625, + "step": 25400 + }, + { + "epoch": 0.25405, + "grad_norm": 5.689609527587891, + "learning_rate": 3.7674747474747475e-06, + "loss": 6.461353302001953, + "step": 25405 + }, + { + "epoch": 0.2541, + "grad_norm": 5.738166809082031, + "learning_rate": 3.7672222222222225e-06, + "loss": 6.279194641113281, + "step": 25410 + }, + { + "epoch": 0.25415, + "grad_norm": 5.494600772857666, + "learning_rate": 3.766969696969697e-06, + "loss": 6.283211135864258, + "step": 25415 + }, + { + "epoch": 0.2542, + "grad_norm": 4.94999361038208, + "learning_rate": 3.766717171717172e-06, + "loss": 6.406076812744141, + "step": 25420 + }, + { + "epoch": 0.25425, + "grad_norm": 8.06949234008789, + "learning_rate": 3.766464646464647e-06, + "loss": 6.356209182739258, + "step": 25425 + }, + { + "epoch": 0.2543, + "grad_norm": 4.0149407386779785, + "learning_rate": 3.7662121212121215e-06, + "loss": 6.312895584106445, + "step": 25430 + }, + { + "epoch": 0.25435, + "grad_norm": 5.239719867706299, + "learning_rate": 3.765959595959596e-06, + "loss": 6.650364685058594, + "step": 25435 + }, + { + "epoch": 0.2544, + "grad_norm": 5.239631175994873, + "learning_rate": 3.7657070707070707e-06, + "loss": 6.315817260742188, + "step": 25440 + }, + { + "epoch": 0.25445, + "grad_norm": 6.933191299438477, + "learning_rate": 3.765454545454546e-06, + "loss": 6.301728057861328, + "step": 25445 + }, + { + "epoch": 0.2545, + "grad_norm": 7.270870685577393, + "learning_rate": 3.765202020202021e-06, + "loss": 6.2948753356933596, + "step": 25450 + }, + { + "epoch": 0.25455, + "grad_norm": 6.023252964019775, + "learning_rate": 3.764949494949495e-06, + "loss": 6.286990356445313, + "step": 25455 + }, + { + "epoch": 0.2546, + "grad_norm": 21.820240020751953, + "learning_rate": 3.7646969696969697e-06, + "loss": 6.334384918212891, + "step": 25460 + }, + { + "epoch": 0.25465, + "grad_norm": 6.190969944000244, + "learning_rate": 3.764444444444445e-06, + "loss": 6.3011524200439455, + "step": 25465 + }, + { + "epoch": 0.2547, + "grad_norm": 4.7140069007873535, + "learning_rate": 3.7641919191919198e-06, + "loss": 6.247749328613281, + "step": 25470 + }, + { + "epoch": 0.25475, + "grad_norm": 6.45259428024292, + "learning_rate": 3.7639393939393944e-06, + "loss": 6.304717636108398, + "step": 25475 + }, + { + "epoch": 0.2548, + "grad_norm": 5.1916422843933105, + "learning_rate": 3.763686868686869e-06, + "loss": 6.449502563476562, + "step": 25480 + }, + { + "epoch": 0.25485, + "grad_norm": 4.448257923126221, + "learning_rate": 3.763434343434344e-06, + "loss": 6.291581726074218, + "step": 25485 + }, + { + "epoch": 0.2549, + "grad_norm": 6.921205043792725, + "learning_rate": 3.7631818181818187e-06, + "loss": 6.417276000976562, + "step": 25490 + }, + { + "epoch": 0.25495, + "grad_norm": 3.463156223297119, + "learning_rate": 3.7629292929292934e-06, + "loss": 6.317172622680664, + "step": 25495 + }, + { + "epoch": 0.255, + "grad_norm": 6.353147506713867, + "learning_rate": 3.762676767676768e-06, + "loss": 6.332834625244141, + "step": 25500 + }, + { + "epoch": 0.25505, + "grad_norm": 5.797553539276123, + "learning_rate": 3.762424242424243e-06, + "loss": 6.34072265625, + "step": 25505 + }, + { + "epoch": 0.2551, + "grad_norm": 4.203051567077637, + "learning_rate": 3.7621717171717177e-06, + "loss": 6.363444519042969, + "step": 25510 + }, + { + "epoch": 0.25515, + "grad_norm": 3.411024808883667, + "learning_rate": 3.7619191919191923e-06, + "loss": 6.312711334228515, + "step": 25515 + }, + { + "epoch": 0.2552, + "grad_norm": 4.494279861450195, + "learning_rate": 3.761666666666667e-06, + "loss": 6.352021026611328, + "step": 25520 + }, + { + "epoch": 0.25525, + "grad_norm": 4.610098361968994, + "learning_rate": 3.761414141414142e-06, + "loss": 6.310567474365234, + "step": 25525 + }, + { + "epoch": 0.2553, + "grad_norm": 6.316253185272217, + "learning_rate": 3.7611616161616166e-06, + "loss": 6.3118335723876955, + "step": 25530 + }, + { + "epoch": 0.25535, + "grad_norm": 6.338903903961182, + "learning_rate": 3.7609090909090912e-06, + "loss": 6.334992218017578, + "step": 25535 + }, + { + "epoch": 0.2554, + "grad_norm": 6.317355155944824, + "learning_rate": 3.760656565656566e-06, + "loss": 6.361281204223633, + "step": 25540 + }, + { + "epoch": 0.25545, + "grad_norm": 3.003718852996826, + "learning_rate": 3.760404040404041e-06, + "loss": 6.280581283569336, + "step": 25545 + }, + { + "epoch": 0.2555, + "grad_norm": 5.89451789855957, + "learning_rate": 3.7601515151515156e-06, + "loss": 6.33014030456543, + "step": 25550 + }, + { + "epoch": 0.25555, + "grad_norm": 4.448596000671387, + "learning_rate": 3.75989898989899e-06, + "loss": 6.3578025817871096, + "step": 25555 + }, + { + "epoch": 0.2556, + "grad_norm": 4.1418657302856445, + "learning_rate": 3.759646464646465e-06, + "loss": 6.315767288208008, + "step": 25560 + }, + { + "epoch": 0.25565, + "grad_norm": 5.621753692626953, + "learning_rate": 3.75939393939394e-06, + "loss": 6.3265380859375, + "step": 25565 + }, + { + "epoch": 0.2557, + "grad_norm": 4.4001946449279785, + "learning_rate": 3.7591414141414145e-06, + "loss": 6.356894683837891, + "step": 25570 + }, + { + "epoch": 0.25575, + "grad_norm": 5.946242332458496, + "learning_rate": 3.758888888888889e-06, + "loss": 6.29267692565918, + "step": 25575 + }, + { + "epoch": 0.2558, + "grad_norm": 3.9284374713897705, + "learning_rate": 3.7586363636363638e-06, + "loss": 6.369844055175781, + "step": 25580 + }, + { + "epoch": 0.25585, + "grad_norm": 4.874556064605713, + "learning_rate": 3.758383838383839e-06, + "loss": 6.2970123291015625, + "step": 25585 + }, + { + "epoch": 0.2559, + "grad_norm": 5.120628833770752, + "learning_rate": 3.7581313131313134e-06, + "loss": 6.302325820922851, + "step": 25590 + }, + { + "epoch": 0.25595, + "grad_norm": 5.658938884735107, + "learning_rate": 3.757878787878788e-06, + "loss": 6.300355529785156, + "step": 25595 + }, + { + "epoch": 0.256, + "grad_norm": 6.131402969360352, + "learning_rate": 3.7576262626262627e-06, + "loss": 6.398571395874024, + "step": 25600 + }, + { + "epoch": 0.25605, + "grad_norm": 7.134830474853516, + "learning_rate": 3.7573737373737378e-06, + "loss": 6.321735763549805, + "step": 25605 + }, + { + "epoch": 0.2561, + "grad_norm": 7.279565811157227, + "learning_rate": 3.7571212121212124e-06, + "loss": 6.317948913574218, + "step": 25610 + }, + { + "epoch": 0.25615, + "grad_norm": 4.105667591094971, + "learning_rate": 3.756868686868687e-06, + "loss": 6.355893325805664, + "step": 25615 + }, + { + "epoch": 0.2562, + "grad_norm": 4.135354518890381, + "learning_rate": 3.7566161616161617e-06, + "loss": 6.299208068847657, + "step": 25620 + }, + { + "epoch": 0.25625, + "grad_norm": 5.6695427894592285, + "learning_rate": 3.7563636363636367e-06, + "loss": 6.388299179077149, + "step": 25625 + }, + { + "epoch": 0.2563, + "grad_norm": 6.777655124664307, + "learning_rate": 3.7561111111111113e-06, + "loss": 6.318672180175781, + "step": 25630 + }, + { + "epoch": 0.25635, + "grad_norm": 11.51413631439209, + "learning_rate": 3.755858585858586e-06, + "loss": 6.269196701049805, + "step": 25635 + }, + { + "epoch": 0.2564, + "grad_norm": 8.006168365478516, + "learning_rate": 3.7556060606060606e-06, + "loss": 6.303530502319336, + "step": 25640 + }, + { + "epoch": 0.25645, + "grad_norm": 2.778656482696533, + "learning_rate": 3.755353535353536e-06, + "loss": 6.378502273559571, + "step": 25645 + }, + { + "epoch": 0.2565, + "grad_norm": 6.352634429931641, + "learning_rate": 3.7551010101010103e-06, + "loss": 6.328384780883789, + "step": 25650 + }, + { + "epoch": 0.25655, + "grad_norm": 7.626034736633301, + "learning_rate": 3.754848484848485e-06, + "loss": 6.2730567932128904, + "step": 25655 + }, + { + "epoch": 0.2566, + "grad_norm": 5.763443946838379, + "learning_rate": 3.7545959595959595e-06, + "loss": 6.3103790283203125, + "step": 25660 + }, + { + "epoch": 0.25665, + "grad_norm": 7.114588737487793, + "learning_rate": 3.754343434343435e-06, + "loss": 6.321139144897461, + "step": 25665 + }, + { + "epoch": 0.2567, + "grad_norm": 4.970399379730225, + "learning_rate": 3.7540909090909096e-06, + "loss": 6.30126724243164, + "step": 25670 + }, + { + "epoch": 0.25675, + "grad_norm": 15.335805892944336, + "learning_rate": 3.753838383838384e-06, + "loss": 6.380884170532227, + "step": 25675 + }, + { + "epoch": 0.2568, + "grad_norm": 5.617876052856445, + "learning_rate": 3.7535858585858585e-06, + "loss": 6.320364379882813, + "step": 25680 + }, + { + "epoch": 0.25685, + "grad_norm": 5.104880332946777, + "learning_rate": 3.753333333333334e-06, + "loss": 6.282043838500977, + "step": 25685 + }, + { + "epoch": 0.2569, + "grad_norm": 3.9709420204162598, + "learning_rate": 3.7530808080808086e-06, + "loss": 6.3550865173339846, + "step": 25690 + }, + { + "epoch": 0.25695, + "grad_norm": 4.676482677459717, + "learning_rate": 3.7528282828282832e-06, + "loss": 6.314486312866211, + "step": 25695 + }, + { + "epoch": 0.257, + "grad_norm": 2.948791027069092, + "learning_rate": 3.752575757575758e-06, + "loss": 6.330905914306641, + "step": 25700 + }, + { + "epoch": 0.25705, + "grad_norm": 5.080928802490234, + "learning_rate": 3.752323232323233e-06, + "loss": 6.272143936157226, + "step": 25705 + }, + { + "epoch": 0.2571, + "grad_norm": 5.137936115264893, + "learning_rate": 3.7520707070707075e-06, + "loss": 6.2986083984375, + "step": 25710 + }, + { + "epoch": 0.25715, + "grad_norm": 4.85935640335083, + "learning_rate": 3.751818181818182e-06, + "loss": 6.309001541137695, + "step": 25715 + }, + { + "epoch": 0.2572, + "grad_norm": 10.076822280883789, + "learning_rate": 3.751565656565657e-06, + "loss": 6.393866729736328, + "step": 25720 + }, + { + "epoch": 0.25725, + "grad_norm": 5.196927070617676, + "learning_rate": 3.751313131313132e-06, + "loss": 6.283771514892578, + "step": 25725 + }, + { + "epoch": 0.2573, + "grad_norm": 5.493474006652832, + "learning_rate": 3.7510606060606065e-06, + "loss": 6.313966369628906, + "step": 25730 + }, + { + "epoch": 0.25735, + "grad_norm": 3.0006868839263916, + "learning_rate": 3.750808080808081e-06, + "loss": 6.3156791687011715, + "step": 25735 + }, + { + "epoch": 0.2574, + "grad_norm": 4.618391513824463, + "learning_rate": 3.7505555555555557e-06, + "loss": 6.311557388305664, + "step": 25740 + }, + { + "epoch": 0.25745, + "grad_norm": 6.398454189300537, + "learning_rate": 3.750303030303031e-06, + "loss": 6.320861053466797, + "step": 25745 + }, + { + "epoch": 0.2575, + "grad_norm": 3.639242172241211, + "learning_rate": 3.7500505050505054e-06, + "loss": 6.34509506225586, + "step": 25750 + }, + { + "epoch": 0.25755, + "grad_norm": 5.7552266120910645, + "learning_rate": 3.74979797979798e-06, + "loss": 6.316498184204102, + "step": 25755 + }, + { + "epoch": 0.2576, + "grad_norm": 6.610881328582764, + "learning_rate": 3.7495454545454547e-06, + "loss": 6.340697479248047, + "step": 25760 + }, + { + "epoch": 0.25765, + "grad_norm": 7.406063556671143, + "learning_rate": 3.7492929292929297e-06, + "loss": 6.331300354003906, + "step": 25765 + }, + { + "epoch": 0.2577, + "grad_norm": 19.54023551940918, + "learning_rate": 3.7490404040404044e-06, + "loss": 7.775923156738282, + "step": 25770 + }, + { + "epoch": 0.25775, + "grad_norm": 5.497799873352051, + "learning_rate": 3.748787878787879e-06, + "loss": 6.349108505249023, + "step": 25775 + }, + { + "epoch": 0.2578, + "grad_norm": 22.489675521850586, + "learning_rate": 3.7485353535353536e-06, + "loss": 6.5139213562011715, + "step": 25780 + }, + { + "epoch": 0.25785, + "grad_norm": 6.94371223449707, + "learning_rate": 3.7482828282828287e-06, + "loss": 6.384370422363281, + "step": 25785 + }, + { + "epoch": 0.2579, + "grad_norm": 28.294677734375, + "learning_rate": 3.7480303030303033e-06, + "loss": 6.2426399230957035, + "step": 25790 + }, + { + "epoch": 0.25795, + "grad_norm": 7.523863315582275, + "learning_rate": 3.747777777777778e-06, + "loss": 6.267576599121094, + "step": 25795 + }, + { + "epoch": 0.258, + "grad_norm": 5.9129414558410645, + "learning_rate": 3.7475252525252526e-06, + "loss": 6.481067657470703, + "step": 25800 + }, + { + "epoch": 0.25805, + "grad_norm": 4.752256393432617, + "learning_rate": 3.7472727272727276e-06, + "loss": 6.270918273925782, + "step": 25805 + }, + { + "epoch": 0.2581, + "grad_norm": 13.342780113220215, + "learning_rate": 3.7470202020202023e-06, + "loss": 6.469509887695312, + "step": 25810 + }, + { + "epoch": 0.25815, + "grad_norm": 5.768407344818115, + "learning_rate": 3.746767676767677e-06, + "loss": 6.322460556030274, + "step": 25815 + }, + { + "epoch": 0.2582, + "grad_norm": 4.341750621795654, + "learning_rate": 3.7465151515151515e-06, + "loss": 6.349857330322266, + "step": 25820 + }, + { + "epoch": 0.25825, + "grad_norm": 5.218201160430908, + "learning_rate": 3.7462626262626266e-06, + "loss": 6.312518692016601, + "step": 25825 + }, + { + "epoch": 0.2583, + "grad_norm": 3.5760719776153564, + "learning_rate": 3.746010101010101e-06, + "loss": 6.306364059448242, + "step": 25830 + }, + { + "epoch": 0.25835, + "grad_norm": 5.729518890380859, + "learning_rate": 3.745757575757576e-06, + "loss": 6.274363708496094, + "step": 25835 + }, + { + "epoch": 0.2584, + "grad_norm": 4.480441093444824, + "learning_rate": 3.745505050505051e-06, + "loss": 6.341136169433594, + "step": 25840 + }, + { + "epoch": 0.25845, + "grad_norm": 6.3472065925598145, + "learning_rate": 3.7452525252525255e-06, + "loss": 6.340521621704101, + "step": 25845 + }, + { + "epoch": 0.2585, + "grad_norm": 3.4044299125671387, + "learning_rate": 3.745e-06, + "loss": 6.288996887207031, + "step": 25850 + }, + { + "epoch": 0.25855, + "grad_norm": 7.293043613433838, + "learning_rate": 3.7447474747474748e-06, + "loss": 6.310678863525391, + "step": 25855 + }, + { + "epoch": 0.2586, + "grad_norm": 4.639132022857666, + "learning_rate": 3.7444949494949503e-06, + "loss": 6.285670471191406, + "step": 25860 + }, + { + "epoch": 0.25865, + "grad_norm": 5.799014568328857, + "learning_rate": 3.744242424242425e-06, + "loss": 6.293280410766601, + "step": 25865 + }, + { + "epoch": 0.2587, + "grad_norm": 9.18403148651123, + "learning_rate": 3.743989898989899e-06, + "loss": 6.364139556884766, + "step": 25870 + }, + { + "epoch": 0.25875, + "grad_norm": 3.7617788314819336, + "learning_rate": 3.7437373737373737e-06, + "loss": 6.311959457397461, + "step": 25875 + }, + { + "epoch": 0.2588, + "grad_norm": 7.300887107849121, + "learning_rate": 3.743484848484849e-06, + "loss": 6.351084899902344, + "step": 25880 + }, + { + "epoch": 0.25885, + "grad_norm": 6.165378570556641, + "learning_rate": 3.743232323232324e-06, + "loss": 6.280418395996094, + "step": 25885 + }, + { + "epoch": 0.2589, + "grad_norm": 4.42415189743042, + "learning_rate": 3.7429797979797985e-06, + "loss": 6.311539077758789, + "step": 25890 + }, + { + "epoch": 0.25895, + "grad_norm": 5.727616310119629, + "learning_rate": 3.742727272727273e-06, + "loss": 6.279382705688477, + "step": 25895 + }, + { + "epoch": 0.259, + "grad_norm": 6.383045196533203, + "learning_rate": 3.742474747474748e-06, + "loss": 6.369139862060547, + "step": 25900 + }, + { + "epoch": 0.25905, + "grad_norm": 4.464376449584961, + "learning_rate": 3.7422222222222228e-06, + "loss": 6.341421127319336, + "step": 25905 + }, + { + "epoch": 0.2591, + "grad_norm": 6.632906436920166, + "learning_rate": 3.7419696969696974e-06, + "loss": 6.2994647979736325, + "step": 25910 + }, + { + "epoch": 0.25915, + "grad_norm": 6.0817551612854, + "learning_rate": 3.741717171717172e-06, + "loss": 6.340204238891602, + "step": 25915 + }, + { + "epoch": 0.2592, + "grad_norm": 6.505630016326904, + "learning_rate": 3.741464646464647e-06, + "loss": 6.312049102783203, + "step": 25920 + }, + { + "epoch": 0.25925, + "grad_norm": 6.062469959259033, + "learning_rate": 3.7412121212121217e-06, + "loss": 6.3038993835449215, + "step": 25925 + }, + { + "epoch": 0.2593, + "grad_norm": 3.7920961380004883, + "learning_rate": 3.7409595959595963e-06, + "loss": 6.325644683837891, + "step": 25930 + }, + { + "epoch": 0.25935, + "grad_norm": 6.971884727478027, + "learning_rate": 3.740707070707071e-06, + "loss": 6.307147598266601, + "step": 25935 + }, + { + "epoch": 0.2594, + "grad_norm": 8.16590404510498, + "learning_rate": 3.740454545454546e-06, + "loss": 6.349484252929687, + "step": 25940 + }, + { + "epoch": 0.25945, + "grad_norm": 4.030996322631836, + "learning_rate": 3.7402020202020207e-06, + "loss": 6.321955871582031, + "step": 25945 + }, + { + "epoch": 0.2595, + "grad_norm": 4.152819633483887, + "learning_rate": 3.7399494949494953e-06, + "loss": 6.338518905639648, + "step": 25950 + }, + { + "epoch": 0.25955, + "grad_norm": 6.071410655975342, + "learning_rate": 3.73969696969697e-06, + "loss": 6.300592422485352, + "step": 25955 + }, + { + "epoch": 0.2596, + "grad_norm": 3.4485857486724854, + "learning_rate": 3.739444444444445e-06, + "loss": 6.290352630615234, + "step": 25960 + }, + { + "epoch": 0.25965, + "grad_norm": 5.505067348480225, + "learning_rate": 3.7391919191919196e-06, + "loss": 6.327737808227539, + "step": 25965 + }, + { + "epoch": 0.2597, + "grad_norm": 19.289127349853516, + "learning_rate": 3.7389393939393942e-06, + "loss": 6.577301788330078, + "step": 25970 + }, + { + "epoch": 0.25975, + "grad_norm": 8.704923629760742, + "learning_rate": 3.738686868686869e-06, + "loss": 6.458626556396484, + "step": 25975 + }, + { + "epoch": 0.2598, + "grad_norm": 4.893348693847656, + "learning_rate": 3.738434343434344e-06, + "loss": 6.3094535827636715, + "step": 25980 + }, + { + "epoch": 0.25985, + "grad_norm": 3.9374477863311768, + "learning_rate": 3.7381818181818185e-06, + "loss": 6.3080909729003904, + "step": 25985 + }, + { + "epoch": 0.2599, + "grad_norm": 5.476983547210693, + "learning_rate": 3.737929292929293e-06, + "loss": 6.241751861572266, + "step": 25990 + }, + { + "epoch": 0.25995, + "grad_norm": 5.592909336090088, + "learning_rate": 3.737676767676768e-06, + "loss": 6.345246505737305, + "step": 25995 + }, + { + "epoch": 0.26, + "grad_norm": 6.048604965209961, + "learning_rate": 3.737424242424243e-06, + "loss": 6.303387069702149, + "step": 26000 + }, + { + "epoch": 0.26005, + "grad_norm": 7.592295169830322, + "learning_rate": 3.7371717171717175e-06, + "loss": 6.321836853027344, + "step": 26005 + }, + { + "epoch": 0.2601, + "grad_norm": 13.155803680419922, + "learning_rate": 3.736919191919192e-06, + "loss": 6.378254699707031, + "step": 26010 + }, + { + "epoch": 0.26015, + "grad_norm": 4.8016133308410645, + "learning_rate": 3.7366666666666667e-06, + "loss": 6.357674789428711, + "step": 26015 + }, + { + "epoch": 0.2602, + "grad_norm": 7.2934346199035645, + "learning_rate": 3.736414141414142e-06, + "loss": 6.379250717163086, + "step": 26020 + }, + { + "epoch": 0.26025, + "grad_norm": 7.6341681480407715, + "learning_rate": 3.7361616161616164e-06, + "loss": 6.316954803466797, + "step": 26025 + }, + { + "epoch": 0.2603, + "grad_norm": 6.500908851623535, + "learning_rate": 3.735909090909091e-06, + "loss": 6.31068000793457, + "step": 26030 + }, + { + "epoch": 0.26035, + "grad_norm": 10.253875732421875, + "learning_rate": 3.7356565656565657e-06, + "loss": 6.368290710449219, + "step": 26035 + }, + { + "epoch": 0.2604, + "grad_norm": 5.357359409332275, + "learning_rate": 3.7354040404040407e-06, + "loss": 6.363461685180664, + "step": 26040 + }, + { + "epoch": 0.26045, + "grad_norm": 4.9127278327941895, + "learning_rate": 3.7351515151515154e-06, + "loss": 6.3103893280029295, + "step": 26045 + }, + { + "epoch": 0.2605, + "grad_norm": 3.805856227874756, + "learning_rate": 3.73489898989899e-06, + "loss": 6.255103302001953, + "step": 26050 + }, + { + "epoch": 0.26055, + "grad_norm": 6.294460296630859, + "learning_rate": 3.7346464646464646e-06, + "loss": 6.222151184082032, + "step": 26055 + }, + { + "epoch": 0.2606, + "grad_norm": 5.851790428161621, + "learning_rate": 3.73439393939394e-06, + "loss": 6.358969497680664, + "step": 26060 + }, + { + "epoch": 0.26065, + "grad_norm": 4.111115455627441, + "learning_rate": 3.7341414141414143e-06, + "loss": 6.302725982666016, + "step": 26065 + }, + { + "epoch": 0.2607, + "grad_norm": 3.745502233505249, + "learning_rate": 3.733888888888889e-06, + "loss": 6.277087020874023, + "step": 26070 + }, + { + "epoch": 0.26075, + "grad_norm": 4.239696502685547, + "learning_rate": 3.7336363636363636e-06, + "loss": 6.2929542541503904, + "step": 26075 + }, + { + "epoch": 0.2608, + "grad_norm": 5.222475051879883, + "learning_rate": 3.733383838383839e-06, + "loss": 6.278980255126953, + "step": 26080 + }, + { + "epoch": 0.26085, + "grad_norm": 3.807363986968994, + "learning_rate": 3.7331313131313137e-06, + "loss": 6.3698570251464846, + "step": 26085 + }, + { + "epoch": 0.2609, + "grad_norm": 3.5199828147888184, + "learning_rate": 3.732878787878788e-06, + "loss": 6.369163513183594, + "step": 26090 + }, + { + "epoch": 0.26095, + "grad_norm": 3.936950922012329, + "learning_rate": 3.7326262626262625e-06, + "loss": 6.277021789550782, + "step": 26095 + }, + { + "epoch": 0.261, + "grad_norm": 5.894335746765137, + "learning_rate": 3.732373737373738e-06, + "loss": 6.303717422485351, + "step": 26100 + }, + { + "epoch": 0.26105, + "grad_norm": 4.626053810119629, + "learning_rate": 3.7321212121212126e-06, + "loss": 6.30285873413086, + "step": 26105 + }, + { + "epoch": 0.2611, + "grad_norm": 6.459420680999756, + "learning_rate": 3.7318686868686873e-06, + "loss": 6.346944427490234, + "step": 26110 + }, + { + "epoch": 0.26115, + "grad_norm": 4.927858829498291, + "learning_rate": 3.731616161616162e-06, + "loss": 6.299044799804688, + "step": 26115 + }, + { + "epoch": 0.2612, + "grad_norm": 5.024233341217041, + "learning_rate": 3.731363636363637e-06, + "loss": 6.313681411743164, + "step": 26120 + }, + { + "epoch": 0.26125, + "grad_norm": 5.382054805755615, + "learning_rate": 3.7311111111111116e-06, + "loss": 6.312351226806641, + "step": 26125 + }, + { + "epoch": 0.2613, + "grad_norm": 4.888686656951904, + "learning_rate": 3.730858585858586e-06, + "loss": 6.301369476318359, + "step": 26130 + }, + { + "epoch": 0.26135, + "grad_norm": 4.748159408569336, + "learning_rate": 3.730606060606061e-06, + "loss": 6.323791885375977, + "step": 26135 + }, + { + "epoch": 0.2614, + "grad_norm": 4.530581474304199, + "learning_rate": 3.730353535353536e-06, + "loss": 6.3240100860595705, + "step": 26140 + }, + { + "epoch": 0.26145, + "grad_norm": 8.526449203491211, + "learning_rate": 3.7301010101010105e-06, + "loss": 6.3054344177246096, + "step": 26145 + }, + { + "epoch": 0.2615, + "grad_norm": 6.011352062225342, + "learning_rate": 3.729848484848485e-06, + "loss": 6.288131332397461, + "step": 26150 + }, + { + "epoch": 0.26155, + "grad_norm": 3.5370843410491943, + "learning_rate": 3.7295959595959598e-06, + "loss": 6.298888397216797, + "step": 26155 + }, + { + "epoch": 0.2616, + "grad_norm": 6.116135597229004, + "learning_rate": 3.729343434343435e-06, + "loss": 6.349218368530273, + "step": 26160 + }, + { + "epoch": 0.26165, + "grad_norm": 9.984169006347656, + "learning_rate": 3.7290909090909095e-06, + "loss": 6.626108551025391, + "step": 26165 + }, + { + "epoch": 0.2617, + "grad_norm": 5.469905853271484, + "learning_rate": 3.728838383838384e-06, + "loss": 6.323924255371094, + "step": 26170 + }, + { + "epoch": 0.26175, + "grad_norm": 3.216952085494995, + "learning_rate": 3.7285858585858587e-06, + "loss": 6.3355766296386715, + "step": 26175 + }, + { + "epoch": 0.2618, + "grad_norm": 6.09674596786499, + "learning_rate": 3.7283333333333338e-06, + "loss": 6.317614364624023, + "step": 26180 + }, + { + "epoch": 0.26185, + "grad_norm": 5.6028313636779785, + "learning_rate": 3.7280808080808084e-06, + "loss": 6.277299499511718, + "step": 26185 + }, + { + "epoch": 0.2619, + "grad_norm": 4.124261856079102, + "learning_rate": 3.727828282828283e-06, + "loss": 6.254676055908203, + "step": 26190 + }, + { + "epoch": 0.26195, + "grad_norm": 7.0662126541137695, + "learning_rate": 3.7275757575757577e-06, + "loss": 6.285635375976563, + "step": 26195 + }, + { + "epoch": 0.262, + "grad_norm": 3.379336357116699, + "learning_rate": 3.7273232323232327e-06, + "loss": 6.317951965332031, + "step": 26200 + }, + { + "epoch": 0.26205, + "grad_norm": 4.760306358337402, + "learning_rate": 3.7270707070707074e-06, + "loss": 6.313139343261719, + "step": 26205 + }, + { + "epoch": 0.2621, + "grad_norm": 5.957250118255615, + "learning_rate": 3.726818181818182e-06, + "loss": 6.434622192382813, + "step": 26210 + }, + { + "epoch": 0.26215, + "grad_norm": 6.194187641143799, + "learning_rate": 3.7265656565656566e-06, + "loss": 6.335553359985352, + "step": 26215 + }, + { + "epoch": 0.2622, + "grad_norm": 5.565445423126221, + "learning_rate": 3.7263131313131317e-06, + "loss": 6.311965560913086, + "step": 26220 + }, + { + "epoch": 0.26225, + "grad_norm": 4.003701686859131, + "learning_rate": 3.7260606060606063e-06, + "loss": 6.34698715209961, + "step": 26225 + }, + { + "epoch": 0.2623, + "grad_norm": 4.141316890716553, + "learning_rate": 3.725808080808081e-06, + "loss": 6.357235717773437, + "step": 26230 + }, + { + "epoch": 0.26235, + "grad_norm": 14.1913480758667, + "learning_rate": 3.7255555555555556e-06, + "loss": 6.530574035644531, + "step": 26235 + }, + { + "epoch": 0.2624, + "grad_norm": 6.550050258636475, + "learning_rate": 3.7253030303030306e-06, + "loss": 6.553728485107422, + "step": 26240 + }, + { + "epoch": 0.26245, + "grad_norm": 4.129290580749512, + "learning_rate": 3.7250505050505052e-06, + "loss": 6.1954082489013675, + "step": 26245 + }, + { + "epoch": 0.2625, + "grad_norm": 4.914117813110352, + "learning_rate": 3.72479797979798e-06, + "loss": 6.194663238525391, + "step": 26250 + }, + { + "epoch": 0.26255, + "grad_norm": 7.698709011077881, + "learning_rate": 3.7245454545454545e-06, + "loss": 6.348603057861328, + "step": 26255 + }, + { + "epoch": 0.2626, + "grad_norm": 6.306207656860352, + "learning_rate": 3.7242929292929296e-06, + "loss": 6.334062194824218, + "step": 26260 + }, + { + "epoch": 0.26265, + "grad_norm": 6.408227443695068, + "learning_rate": 3.724040404040404e-06, + "loss": 6.345890808105469, + "step": 26265 + }, + { + "epoch": 0.2627, + "grad_norm": 9.241336822509766, + "learning_rate": 3.723787878787879e-06, + "loss": 6.296112442016602, + "step": 26270 + }, + { + "epoch": 0.26275, + "grad_norm": 5.870677471160889, + "learning_rate": 3.7235353535353543e-06, + "loss": 6.323639297485352, + "step": 26275 + }, + { + "epoch": 0.2628, + "grad_norm": 3.7651994228363037, + "learning_rate": 3.723282828282829e-06, + "loss": 6.28508415222168, + "step": 26280 + }, + { + "epoch": 0.26285, + "grad_norm": 8.727423667907715, + "learning_rate": 3.723030303030303e-06, + "loss": 6.2695472717285154, + "step": 26285 + }, + { + "epoch": 0.2629, + "grad_norm": 8.419320106506348, + "learning_rate": 3.7227777777777778e-06, + "loss": 6.382785797119141, + "step": 26290 + }, + { + "epoch": 0.26295, + "grad_norm": 5.617575168609619, + "learning_rate": 3.7225252525252532e-06, + "loss": 6.256048965454101, + "step": 26295 + }, + { + "epoch": 0.263, + "grad_norm": 4.341620922088623, + "learning_rate": 3.722272727272728e-06, + "loss": 6.304189300537109, + "step": 26300 + }, + { + "epoch": 0.26305, + "grad_norm": 3.023475170135498, + "learning_rate": 3.7220202020202025e-06, + "loss": 6.348501586914063, + "step": 26305 + }, + { + "epoch": 0.2631, + "grad_norm": 4.962677478790283, + "learning_rate": 3.721767676767677e-06, + "loss": 6.379773330688477, + "step": 26310 + }, + { + "epoch": 0.26315, + "grad_norm": 6.683004856109619, + "learning_rate": 3.721515151515152e-06, + "loss": 6.275565719604492, + "step": 26315 + }, + { + "epoch": 0.2632, + "grad_norm": 5.569352149963379, + "learning_rate": 3.721262626262627e-06, + "loss": 6.327439880371093, + "step": 26320 + }, + { + "epoch": 0.26325, + "grad_norm": 10.31742000579834, + "learning_rate": 3.7210101010101014e-06, + "loss": 6.309109497070312, + "step": 26325 + }, + { + "epoch": 0.2633, + "grad_norm": 6.658947944641113, + "learning_rate": 3.720757575757576e-06, + "loss": 6.272724151611328, + "step": 26330 + }, + { + "epoch": 0.26335, + "grad_norm": 7.066236972808838, + "learning_rate": 3.720505050505051e-06, + "loss": 6.2431999206542965, + "step": 26335 + }, + { + "epoch": 0.2634, + "grad_norm": 3.53053879737854, + "learning_rate": 3.7202525252525258e-06, + "loss": 6.298480224609375, + "step": 26340 + }, + { + "epoch": 0.26345, + "grad_norm": 4.227921962738037, + "learning_rate": 3.7200000000000004e-06, + "loss": 6.295641326904297, + "step": 26345 + }, + { + "epoch": 0.2635, + "grad_norm": 5.329212188720703, + "learning_rate": 3.719747474747475e-06, + "loss": 6.239668273925782, + "step": 26350 + }, + { + "epoch": 0.26355, + "grad_norm": 8.125785827636719, + "learning_rate": 3.71949494949495e-06, + "loss": 6.27431640625, + "step": 26355 + }, + { + "epoch": 0.2636, + "grad_norm": 3.123746156692505, + "learning_rate": 3.7192424242424247e-06, + "loss": 6.278509140014648, + "step": 26360 + }, + { + "epoch": 0.26365, + "grad_norm": 5.170199871063232, + "learning_rate": 3.7189898989898993e-06, + "loss": 6.2833503723144535, + "step": 26365 + }, + { + "epoch": 0.2637, + "grad_norm": 6.96051025390625, + "learning_rate": 3.718737373737374e-06, + "loss": 6.320729827880859, + "step": 26370 + }, + { + "epoch": 0.26375, + "grad_norm": 4.483336925506592, + "learning_rate": 3.718484848484849e-06, + "loss": 6.277563095092773, + "step": 26375 + }, + { + "epoch": 0.2638, + "grad_norm": 4.463827133178711, + "learning_rate": 3.7182323232323236e-06, + "loss": 6.298120498657227, + "step": 26380 + }, + { + "epoch": 0.26385, + "grad_norm": 6.680516719818115, + "learning_rate": 3.7179797979797983e-06, + "loss": 6.346215057373047, + "step": 26385 + }, + { + "epoch": 0.2639, + "grad_norm": 8.19997787475586, + "learning_rate": 3.717727272727273e-06, + "loss": 6.31745719909668, + "step": 26390 + }, + { + "epoch": 0.26395, + "grad_norm": 8.61323070526123, + "learning_rate": 3.717474747474748e-06, + "loss": 6.302040481567383, + "step": 26395 + }, + { + "epoch": 0.264, + "grad_norm": 6.7611308097839355, + "learning_rate": 3.7172222222222226e-06, + "loss": 6.310557556152344, + "step": 26400 + }, + { + "epoch": 0.26405, + "grad_norm": 5.070945739746094, + "learning_rate": 3.7169696969696972e-06, + "loss": 6.312297058105469, + "step": 26405 + }, + { + "epoch": 0.2641, + "grad_norm": 5.215084075927734, + "learning_rate": 3.716717171717172e-06, + "loss": 6.345547485351562, + "step": 26410 + }, + { + "epoch": 0.26415, + "grad_norm": 6.304257392883301, + "learning_rate": 3.716464646464647e-06, + "loss": 6.274436187744141, + "step": 26415 + }, + { + "epoch": 0.2642, + "grad_norm": 5.778364658355713, + "learning_rate": 3.7162121212121215e-06, + "loss": 6.291240310668945, + "step": 26420 + }, + { + "epoch": 0.26425, + "grad_norm": 7.779139518737793, + "learning_rate": 3.715959595959596e-06, + "loss": 6.126119995117188, + "step": 26425 + }, + { + "epoch": 0.2643, + "grad_norm": 14.83737850189209, + "learning_rate": 3.7157070707070708e-06, + "loss": 6.372323608398437, + "step": 26430 + }, + { + "epoch": 0.26435, + "grad_norm": 6.235430717468262, + "learning_rate": 3.715454545454546e-06, + "loss": 6.356795120239258, + "step": 26435 + }, + { + "epoch": 0.2644, + "grad_norm": 6.155943870544434, + "learning_rate": 3.7152020202020205e-06, + "loss": 6.356856918334961, + "step": 26440 + }, + { + "epoch": 0.26445, + "grad_norm": 4.312663555145264, + "learning_rate": 3.714949494949495e-06, + "loss": 6.3146003723144535, + "step": 26445 + }, + { + "epoch": 0.2645, + "grad_norm": 4.167872905731201, + "learning_rate": 3.7146969696969697e-06, + "loss": 6.284971618652344, + "step": 26450 + }, + { + "epoch": 0.26455, + "grad_norm": 5.625514507293701, + "learning_rate": 3.7144444444444448e-06, + "loss": 6.309310531616211, + "step": 26455 + }, + { + "epoch": 0.2646, + "grad_norm": 6.204106330871582, + "learning_rate": 3.7141919191919194e-06, + "loss": 6.316373443603515, + "step": 26460 + }, + { + "epoch": 0.26465, + "grad_norm": 4.534530162811279, + "learning_rate": 3.713939393939394e-06, + "loss": 6.310372161865234, + "step": 26465 + }, + { + "epoch": 0.2647, + "grad_norm": 9.556028366088867, + "learning_rate": 3.7136868686868687e-06, + "loss": 6.421902465820312, + "step": 26470 + }, + { + "epoch": 0.26475, + "grad_norm": 5.625797748565674, + "learning_rate": 3.713434343434344e-06, + "loss": 6.31466064453125, + "step": 26475 + }, + { + "epoch": 0.2648, + "grad_norm": 4.716540336608887, + "learning_rate": 3.7131818181818184e-06, + "loss": 6.277513122558593, + "step": 26480 + }, + { + "epoch": 0.26485, + "grad_norm": 6.932608127593994, + "learning_rate": 3.712929292929293e-06, + "loss": 6.288468933105468, + "step": 26485 + }, + { + "epoch": 0.2649, + "grad_norm": 4.093786716461182, + "learning_rate": 3.7126767676767676e-06, + "loss": 6.294921875, + "step": 26490 + }, + { + "epoch": 0.26495, + "grad_norm": 4.0656352043151855, + "learning_rate": 3.712424242424243e-06, + "loss": 6.466824340820312, + "step": 26495 + }, + { + "epoch": 0.265, + "grad_norm": 4.660396099090576, + "learning_rate": 3.7121717171717177e-06, + "loss": 6.340495681762695, + "step": 26500 + }, + { + "epoch": 0.26505, + "grad_norm": 5.2467041015625, + "learning_rate": 3.711919191919192e-06, + "loss": 6.352877807617188, + "step": 26505 + }, + { + "epoch": 0.2651, + "grad_norm": 6.64797830581665, + "learning_rate": 3.7116666666666666e-06, + "loss": 6.310916137695313, + "step": 26510 + }, + { + "epoch": 0.26515, + "grad_norm": 7.042019367218018, + "learning_rate": 3.711414141414142e-06, + "loss": 6.320623779296875, + "step": 26515 + }, + { + "epoch": 0.2652, + "grad_norm": 4.990765571594238, + "learning_rate": 3.7111616161616167e-06, + "loss": 6.351276397705078, + "step": 26520 + }, + { + "epoch": 0.26525, + "grad_norm": 4.41853666305542, + "learning_rate": 3.7109090909090913e-06, + "loss": 6.348481369018555, + "step": 26525 + }, + { + "epoch": 0.2653, + "grad_norm": 6.613559722900391, + "learning_rate": 3.710656565656566e-06, + "loss": 6.358288955688477, + "step": 26530 + }, + { + "epoch": 0.26535, + "grad_norm": 3.7633843421936035, + "learning_rate": 3.710404040404041e-06, + "loss": 6.592947387695313, + "step": 26535 + }, + { + "epoch": 0.2654, + "grad_norm": 28.784074783325195, + "learning_rate": 3.7101515151515156e-06, + "loss": 6.396603393554687, + "step": 26540 + }, + { + "epoch": 0.26545, + "grad_norm": 5.612402439117432, + "learning_rate": 3.7098989898989902e-06, + "loss": 6.314526748657227, + "step": 26545 + }, + { + "epoch": 0.2655, + "grad_norm": 3.840545177459717, + "learning_rate": 3.709646464646465e-06, + "loss": 6.299229431152344, + "step": 26550 + }, + { + "epoch": 0.26555, + "grad_norm": 4.948549747467041, + "learning_rate": 3.70939393939394e-06, + "loss": 6.3980857849121096, + "step": 26555 + }, + { + "epoch": 0.2656, + "grad_norm": 5.623737335205078, + "learning_rate": 3.7091414141414146e-06, + "loss": 6.2890983581542965, + "step": 26560 + }, + { + "epoch": 0.26565, + "grad_norm": 8.677591323852539, + "learning_rate": 3.708888888888889e-06, + "loss": 6.221810150146484, + "step": 26565 + }, + { + "epoch": 0.2657, + "grad_norm": 5.249553680419922, + "learning_rate": 3.708636363636364e-06, + "loss": 6.267752456665039, + "step": 26570 + }, + { + "epoch": 0.26575, + "grad_norm": 6.837306022644043, + "learning_rate": 3.708383838383839e-06, + "loss": 6.326768493652343, + "step": 26575 + }, + { + "epoch": 0.2658, + "grad_norm": 3.9022114276885986, + "learning_rate": 3.7081313131313135e-06, + "loss": 6.27919921875, + "step": 26580 + }, + { + "epoch": 0.26585, + "grad_norm": 5.0991740226745605, + "learning_rate": 3.707878787878788e-06, + "loss": 6.308753967285156, + "step": 26585 + }, + { + "epoch": 0.2659, + "grad_norm": 4.755216598510742, + "learning_rate": 3.7076262626262628e-06, + "loss": 6.309245681762695, + "step": 26590 + }, + { + "epoch": 0.26595, + "grad_norm": 6.145205974578857, + "learning_rate": 3.707373737373738e-06, + "loss": 6.303793334960938, + "step": 26595 + }, + { + "epoch": 0.266, + "grad_norm": 6.579081058502197, + "learning_rate": 3.7071212121212124e-06, + "loss": 6.380836486816406, + "step": 26600 + }, + { + "epoch": 0.26605, + "grad_norm": 5.823310375213623, + "learning_rate": 3.706868686868687e-06, + "loss": 6.327860260009766, + "step": 26605 + }, + { + "epoch": 0.2661, + "grad_norm": 14.725138664245605, + "learning_rate": 3.7066161616161617e-06, + "loss": 6.241134262084961, + "step": 26610 + }, + { + "epoch": 0.26615, + "grad_norm": 6.160394191741943, + "learning_rate": 3.7063636363636368e-06, + "loss": 6.327823257446289, + "step": 26615 + }, + { + "epoch": 0.2662, + "grad_norm": 12.070825576782227, + "learning_rate": 3.7061111111111114e-06, + "loss": 6.3534400939941404, + "step": 26620 + }, + { + "epoch": 0.26625, + "grad_norm": 9.368671417236328, + "learning_rate": 3.705858585858586e-06, + "loss": 6.320414733886719, + "step": 26625 + }, + { + "epoch": 0.2663, + "grad_norm": 5.5563645362854, + "learning_rate": 3.7056060606060607e-06, + "loss": 6.280802917480469, + "step": 26630 + }, + { + "epoch": 0.26635, + "grad_norm": 6.470174789428711, + "learning_rate": 3.7053535353535357e-06, + "loss": 6.311470031738281, + "step": 26635 + }, + { + "epoch": 0.2664, + "grad_norm": 6.211435317993164, + "learning_rate": 3.7051010101010103e-06, + "loss": 6.321544647216797, + "step": 26640 + }, + { + "epoch": 0.26645, + "grad_norm": 6.208619594573975, + "learning_rate": 3.704848484848485e-06, + "loss": 6.288274765014648, + "step": 26645 + }, + { + "epoch": 0.2665, + "grad_norm": 5.49216890335083, + "learning_rate": 3.7045959595959596e-06, + "loss": 6.314466094970703, + "step": 26650 + }, + { + "epoch": 0.26655, + "grad_norm": 4.749322414398193, + "learning_rate": 3.7043434343434346e-06, + "loss": 6.310703277587891, + "step": 26655 + }, + { + "epoch": 0.2666, + "grad_norm": 6.292878150939941, + "learning_rate": 3.7040909090909093e-06, + "loss": 6.256142425537109, + "step": 26660 + }, + { + "epoch": 0.26665, + "grad_norm": 9.90998363494873, + "learning_rate": 3.703838383838384e-06, + "loss": 6.328286743164062, + "step": 26665 + }, + { + "epoch": 0.2667, + "grad_norm": 8.273748397827148, + "learning_rate": 3.7035858585858585e-06, + "loss": 6.391135406494141, + "step": 26670 + }, + { + "epoch": 0.26675, + "grad_norm": 7.825234413146973, + "learning_rate": 3.7033333333333336e-06, + "loss": 6.330204010009766, + "step": 26675 + }, + { + "epoch": 0.2668, + "grad_norm": 6.633081436157227, + "learning_rate": 3.7030808080808082e-06, + "loss": 6.2249290466308596, + "step": 26680 + }, + { + "epoch": 0.26685, + "grad_norm": 6.235692024230957, + "learning_rate": 3.702828282828283e-06, + "loss": 6.296071624755859, + "step": 26685 + }, + { + "epoch": 0.2669, + "grad_norm": 2.764573574066162, + "learning_rate": 3.7025757575757583e-06, + "loss": 6.312575149536133, + "step": 26690 + }, + { + "epoch": 0.26695, + "grad_norm": 24.203401565551758, + "learning_rate": 3.702323232323233e-06, + "loss": 5.779959869384766, + "step": 26695 + }, + { + "epoch": 0.267, + "grad_norm": 6.252912521362305, + "learning_rate": 3.702070707070707e-06, + "loss": 6.187589645385742, + "step": 26700 + }, + { + "epoch": 0.26705, + "grad_norm": 5.7782673835754395, + "learning_rate": 3.701818181818182e-06, + "loss": 6.290151214599609, + "step": 26705 + }, + { + "epoch": 0.2671, + "grad_norm": 4.44142484664917, + "learning_rate": 3.7015656565656573e-06, + "loss": 6.308514404296875, + "step": 26710 + }, + { + "epoch": 0.26715, + "grad_norm": 3.782618284225464, + "learning_rate": 3.701313131313132e-06, + "loss": 6.288658905029297, + "step": 26715 + }, + { + "epoch": 0.2672, + "grad_norm": 4.4122090339660645, + "learning_rate": 3.7010606060606065e-06, + "loss": 6.301872253417969, + "step": 26720 + }, + { + "epoch": 0.26725, + "grad_norm": 5.271899223327637, + "learning_rate": 3.700808080808081e-06, + "loss": 6.352619171142578, + "step": 26725 + }, + { + "epoch": 0.2673, + "grad_norm": 9.056796073913574, + "learning_rate": 3.7005555555555562e-06, + "loss": 6.293643951416016, + "step": 26730 + }, + { + "epoch": 0.26735, + "grad_norm": 9.25720500946045, + "learning_rate": 3.700303030303031e-06, + "loss": 6.19014892578125, + "step": 26735 + }, + { + "epoch": 0.2674, + "grad_norm": 6.81941032409668, + "learning_rate": 3.7000505050505055e-06, + "loss": 6.31116943359375, + "step": 26740 + }, + { + "epoch": 0.26745, + "grad_norm": 6.528906345367432, + "learning_rate": 3.69979797979798e-06, + "loss": 6.340464782714844, + "step": 26745 + }, + { + "epoch": 0.2675, + "grad_norm": 6.670742034912109, + "learning_rate": 3.699545454545455e-06, + "loss": 6.305242919921875, + "step": 26750 + }, + { + "epoch": 0.26755, + "grad_norm": 5.823094844818115, + "learning_rate": 3.69929292929293e-06, + "loss": 6.354362869262696, + "step": 26755 + }, + { + "epoch": 0.2676, + "grad_norm": 4.012843608856201, + "learning_rate": 3.6990404040404044e-06, + "loss": 6.304963684082031, + "step": 26760 + }, + { + "epoch": 0.26765, + "grad_norm": 3.887054204940796, + "learning_rate": 3.698787878787879e-06, + "loss": 6.309297180175781, + "step": 26765 + }, + { + "epoch": 0.2677, + "grad_norm": 6.6337738037109375, + "learning_rate": 3.698535353535354e-06, + "loss": 6.304352569580078, + "step": 26770 + }, + { + "epoch": 0.26775, + "grad_norm": 5.795122146606445, + "learning_rate": 3.6982828282828287e-06, + "loss": 6.2976325988769535, + "step": 26775 + }, + { + "epoch": 0.2678, + "grad_norm": 7.247713565826416, + "learning_rate": 3.6980303030303034e-06, + "loss": 6.309531402587891, + "step": 26780 + }, + { + "epoch": 0.26785, + "grad_norm": 3.1448569297790527, + "learning_rate": 3.697777777777778e-06, + "loss": 6.322195434570313, + "step": 26785 + }, + { + "epoch": 0.2679, + "grad_norm": 4.731367111206055, + "learning_rate": 3.697525252525253e-06, + "loss": 6.333831024169922, + "step": 26790 + }, + { + "epoch": 0.26795, + "grad_norm": 5.314652442932129, + "learning_rate": 3.6972727272727277e-06, + "loss": 6.33575210571289, + "step": 26795 + }, + { + "epoch": 0.268, + "grad_norm": 6.6948628425598145, + "learning_rate": 3.6970202020202023e-06, + "loss": 6.286165618896485, + "step": 26800 + }, + { + "epoch": 0.26805, + "grad_norm": 4.824985027313232, + "learning_rate": 3.696767676767677e-06, + "loss": 6.4542091369628904, + "step": 26805 + }, + { + "epoch": 0.2681, + "grad_norm": 24.83047866821289, + "learning_rate": 3.696515151515152e-06, + "loss": 6.429389190673828, + "step": 26810 + }, + { + "epoch": 0.26815, + "grad_norm": 3.8253021240234375, + "learning_rate": 3.6962626262626266e-06, + "loss": 6.41650619506836, + "step": 26815 + }, + { + "epoch": 0.2682, + "grad_norm": 5.6358842849731445, + "learning_rate": 3.6960101010101013e-06, + "loss": 6.283239364624023, + "step": 26820 + }, + { + "epoch": 0.26825, + "grad_norm": 5.373743534088135, + "learning_rate": 3.695757575757576e-06, + "loss": 6.298413467407227, + "step": 26825 + }, + { + "epoch": 0.2683, + "grad_norm": 6.3748908042907715, + "learning_rate": 3.695505050505051e-06, + "loss": 6.386786651611328, + "step": 26830 + }, + { + "epoch": 0.26835, + "grad_norm": 10.69896411895752, + "learning_rate": 3.6952525252525256e-06, + "loss": 6.309291839599609, + "step": 26835 + }, + { + "epoch": 0.2684, + "grad_norm": 8.072282791137695, + "learning_rate": 3.695e-06, + "loss": 6.316229248046875, + "step": 26840 + }, + { + "epoch": 0.26845, + "grad_norm": 3.893014907836914, + "learning_rate": 3.694747474747475e-06, + "loss": 6.292485046386719, + "step": 26845 + }, + { + "epoch": 0.2685, + "grad_norm": 5.410457611083984, + "learning_rate": 3.69449494949495e-06, + "loss": 6.35026741027832, + "step": 26850 + }, + { + "epoch": 0.26855, + "grad_norm": 4.644840240478516, + "learning_rate": 3.6942424242424245e-06, + "loss": 6.29133415222168, + "step": 26855 + }, + { + "epoch": 0.2686, + "grad_norm": 3.826502561569214, + "learning_rate": 3.693989898989899e-06, + "loss": 6.323394012451172, + "step": 26860 + }, + { + "epoch": 0.26865, + "grad_norm": 4.887697219848633, + "learning_rate": 3.6937373737373738e-06, + "loss": 6.293112945556641, + "step": 26865 + }, + { + "epoch": 0.2687, + "grad_norm": 7.097919464111328, + "learning_rate": 3.693484848484849e-06, + "loss": 6.375573348999024, + "step": 26870 + }, + { + "epoch": 0.26875, + "grad_norm": 5.015824317932129, + "learning_rate": 3.6932323232323235e-06, + "loss": 6.31727180480957, + "step": 26875 + }, + { + "epoch": 0.2688, + "grad_norm": 15.25874137878418, + "learning_rate": 3.692979797979798e-06, + "loss": 6.388730239868164, + "step": 26880 + }, + { + "epoch": 0.26885, + "grad_norm": 5.598916053771973, + "learning_rate": 3.6927272727272727e-06, + "loss": 6.4653167724609375, + "step": 26885 + }, + { + "epoch": 0.2689, + "grad_norm": 7.2569169998168945, + "learning_rate": 3.692474747474748e-06, + "loss": 6.320243835449219, + "step": 26890 + }, + { + "epoch": 0.26895, + "grad_norm": 4.8509697914123535, + "learning_rate": 3.6922222222222224e-06, + "loss": 6.320016860961914, + "step": 26895 + }, + { + "epoch": 0.269, + "grad_norm": 5.818135738372803, + "learning_rate": 3.691969696969697e-06, + "loss": 6.3122001647949215, + "step": 26900 + }, + { + "epoch": 0.26905, + "grad_norm": 5.155037879943848, + "learning_rate": 3.6917171717171717e-06, + "loss": 6.285564041137695, + "step": 26905 + }, + { + "epoch": 0.2691, + "grad_norm": 4.966747760772705, + "learning_rate": 3.691464646464647e-06, + "loss": 6.344732284545898, + "step": 26910 + }, + { + "epoch": 0.26915, + "grad_norm": 3.5271859169006348, + "learning_rate": 3.6912121212121218e-06, + "loss": 6.29732666015625, + "step": 26915 + }, + { + "epoch": 0.2692, + "grad_norm": 3.3971197605133057, + "learning_rate": 3.6909595959595964e-06, + "loss": 6.478607177734375, + "step": 26920 + }, + { + "epoch": 0.26925, + "grad_norm": 3.548765182495117, + "learning_rate": 3.6907070707070706e-06, + "loss": 6.427531433105469, + "step": 26925 + }, + { + "epoch": 0.2693, + "grad_norm": 6.163392066955566, + "learning_rate": 3.690454545454546e-06, + "loss": 6.326008987426758, + "step": 26930 + }, + { + "epoch": 0.26935, + "grad_norm": 9.534852981567383, + "learning_rate": 3.6902020202020207e-06, + "loss": 6.312456512451172, + "step": 26935 + }, + { + "epoch": 0.2694, + "grad_norm": 5.93145227432251, + "learning_rate": 3.6899494949494953e-06, + "loss": 6.4287872314453125, + "step": 26940 + }, + { + "epoch": 0.26945, + "grad_norm": 6.5361008644104, + "learning_rate": 3.68969696969697e-06, + "loss": 6.198099517822266, + "step": 26945 + }, + { + "epoch": 0.2695, + "grad_norm": 3.01558256149292, + "learning_rate": 3.689444444444445e-06, + "loss": 6.331450271606445, + "step": 26950 + }, + { + "epoch": 0.26955, + "grad_norm": 7.183080196380615, + "learning_rate": 3.6891919191919197e-06, + "loss": 6.267487716674805, + "step": 26955 + }, + { + "epoch": 0.2696, + "grad_norm": 5.281537055969238, + "learning_rate": 3.6889393939393943e-06, + "loss": 6.286395263671875, + "step": 26960 + }, + { + "epoch": 0.26965, + "grad_norm": 8.85568618774414, + "learning_rate": 3.688686868686869e-06, + "loss": 6.417039489746093, + "step": 26965 + }, + { + "epoch": 0.2697, + "grad_norm": 4.938319683074951, + "learning_rate": 3.688434343434344e-06, + "loss": 6.321633529663086, + "step": 26970 + }, + { + "epoch": 0.26975, + "grad_norm": 4.457610130310059, + "learning_rate": 3.6881818181818186e-06, + "loss": 6.302154922485352, + "step": 26975 + }, + { + "epoch": 0.2698, + "grad_norm": 11.88290786743164, + "learning_rate": 3.6879292929292932e-06, + "loss": 6.240940093994141, + "step": 26980 + }, + { + "epoch": 0.26985, + "grad_norm": 4.763050079345703, + "learning_rate": 3.687676767676768e-06, + "loss": 6.443199157714844, + "step": 26985 + }, + { + "epoch": 0.2699, + "grad_norm": 6.093479156494141, + "learning_rate": 3.687424242424243e-06, + "loss": 6.3075920104980465, + "step": 26990 + }, + { + "epoch": 0.26995, + "grad_norm": 6.936769008636475, + "learning_rate": 3.6871717171717175e-06, + "loss": 6.2605140686035154, + "step": 26995 + }, + { + "epoch": 0.27, + "grad_norm": 6.309386730194092, + "learning_rate": 3.686919191919192e-06, + "loss": 6.352606201171875, + "step": 27000 + }, + { + "epoch": 0.27005, + "grad_norm": 3.5648856163024902, + "learning_rate": 3.686666666666667e-06, + "loss": 6.348497009277343, + "step": 27005 + }, + { + "epoch": 0.2701, + "grad_norm": 6.490140914916992, + "learning_rate": 3.686414141414142e-06, + "loss": 6.304312896728516, + "step": 27010 + }, + { + "epoch": 0.27015, + "grad_norm": 7.55325984954834, + "learning_rate": 3.6861616161616165e-06, + "loss": 6.312275695800781, + "step": 27015 + }, + { + "epoch": 0.2702, + "grad_norm": 5.265467643737793, + "learning_rate": 3.685909090909091e-06, + "loss": 6.306962966918945, + "step": 27020 + }, + { + "epoch": 0.27025, + "grad_norm": 8.939051628112793, + "learning_rate": 3.6856565656565657e-06, + "loss": 6.299648284912109, + "step": 27025 + }, + { + "epoch": 0.2703, + "grad_norm": 4.23619270324707, + "learning_rate": 3.685404040404041e-06, + "loss": 6.301703262329101, + "step": 27030 + }, + { + "epoch": 0.27035, + "grad_norm": 3.9826061725616455, + "learning_rate": 3.6851515151515154e-06, + "loss": 6.297209930419922, + "step": 27035 + }, + { + "epoch": 0.2704, + "grad_norm": 3.513404130935669, + "learning_rate": 3.68489898989899e-06, + "loss": 6.337911605834961, + "step": 27040 + }, + { + "epoch": 0.27045, + "grad_norm": 5.519970417022705, + "learning_rate": 3.6846464646464647e-06, + "loss": 6.3209583282470705, + "step": 27045 + }, + { + "epoch": 0.2705, + "grad_norm": 4.103199005126953, + "learning_rate": 3.6843939393939397e-06, + "loss": 6.324940872192383, + "step": 27050 + }, + { + "epoch": 0.27055, + "grad_norm": 3.660179853439331, + "learning_rate": 3.6841414141414144e-06, + "loss": 6.286650848388672, + "step": 27055 + }, + { + "epoch": 0.2706, + "grad_norm": 17.357694625854492, + "learning_rate": 3.683888888888889e-06, + "loss": 6.414802551269531, + "step": 27060 + }, + { + "epoch": 0.27065, + "grad_norm": 17.362144470214844, + "learning_rate": 3.6836363636363636e-06, + "loss": 6.405165100097657, + "step": 27065 + }, + { + "epoch": 0.2707, + "grad_norm": 5.589799404144287, + "learning_rate": 3.6833838383838387e-06, + "loss": 6.462714385986328, + "step": 27070 + }, + { + "epoch": 0.27075, + "grad_norm": 6.704919815063477, + "learning_rate": 3.6831313131313133e-06, + "loss": 6.357617950439453, + "step": 27075 + }, + { + "epoch": 0.2708, + "grad_norm": 3.599680185317993, + "learning_rate": 3.682878787878788e-06, + "loss": 6.330355834960938, + "step": 27080 + }, + { + "epoch": 0.27085, + "grad_norm": 6.037678241729736, + "learning_rate": 3.6826262626262626e-06, + "loss": 6.3815162658691404, + "step": 27085 + }, + { + "epoch": 0.2709, + "grad_norm": 5.9402241706848145, + "learning_rate": 3.6823737373737376e-06, + "loss": 6.327337265014648, + "step": 27090 + }, + { + "epoch": 0.27095, + "grad_norm": 13.197674751281738, + "learning_rate": 3.6821212121212123e-06, + "loss": 6.375093078613281, + "step": 27095 + }, + { + "epoch": 0.271, + "grad_norm": 6.832035064697266, + "learning_rate": 3.681868686868687e-06, + "loss": 6.369658660888672, + "step": 27100 + }, + { + "epoch": 0.27105, + "grad_norm": 7.220258712768555, + "learning_rate": 3.6816161616161615e-06, + "loss": 6.330833435058594, + "step": 27105 + }, + { + "epoch": 0.2711, + "grad_norm": 6.748472213745117, + "learning_rate": 3.681363636363637e-06, + "loss": 6.339237976074219, + "step": 27110 + }, + { + "epoch": 0.27115, + "grad_norm": 4.736085414886475, + "learning_rate": 3.681111111111111e-06, + "loss": 6.2969623565673825, + "step": 27115 + }, + { + "epoch": 0.2712, + "grad_norm": 6.751535415649414, + "learning_rate": 3.680858585858586e-06, + "loss": 6.314698791503906, + "step": 27120 + }, + { + "epoch": 0.27125, + "grad_norm": 4.617252826690674, + "learning_rate": 3.6806060606060613e-06, + "loss": 6.300072097778321, + "step": 27125 + }, + { + "epoch": 0.2713, + "grad_norm": 4.715736389160156, + "learning_rate": 3.680353535353536e-06, + "loss": 6.357831192016602, + "step": 27130 + }, + { + "epoch": 0.27135, + "grad_norm": 7.623340129852295, + "learning_rate": 3.6801010101010106e-06, + "loss": 6.2798583984375, + "step": 27135 + }, + { + "epoch": 0.2714, + "grad_norm": 14.752669334411621, + "learning_rate": 3.679848484848485e-06, + "loss": 6.400682067871093, + "step": 27140 + }, + { + "epoch": 0.27145, + "grad_norm": 17.989601135253906, + "learning_rate": 3.6795959595959603e-06, + "loss": 6.633216857910156, + "step": 27145 + }, + { + "epoch": 0.2715, + "grad_norm": 5.985446929931641, + "learning_rate": 3.679343434343435e-06, + "loss": 6.324993896484375, + "step": 27150 + }, + { + "epoch": 0.27155, + "grad_norm": 6.010487079620361, + "learning_rate": 3.6790909090909095e-06, + "loss": 6.329694747924805, + "step": 27155 + }, + { + "epoch": 0.2716, + "grad_norm": 3.7532799243927, + "learning_rate": 3.678838383838384e-06, + "loss": 6.333596420288086, + "step": 27160 + }, + { + "epoch": 0.27165, + "grad_norm": 6.736462116241455, + "learning_rate": 3.678585858585859e-06, + "loss": 6.305368804931641, + "step": 27165 + }, + { + "epoch": 0.2717, + "grad_norm": 4.241910457611084, + "learning_rate": 3.678333333333334e-06, + "loss": 6.327504730224609, + "step": 27170 + }, + { + "epoch": 0.27175, + "grad_norm": 4.362829685211182, + "learning_rate": 3.6780808080808085e-06, + "loss": 6.343601989746094, + "step": 27175 + }, + { + "epoch": 0.2718, + "grad_norm": 8.831284523010254, + "learning_rate": 3.677828282828283e-06, + "loss": 6.304806518554687, + "step": 27180 + }, + { + "epoch": 0.27185, + "grad_norm": 15.093597412109375, + "learning_rate": 3.677575757575758e-06, + "loss": 6.665618896484375, + "step": 27185 + }, + { + "epoch": 0.2719, + "grad_norm": 11.941668510437012, + "learning_rate": 3.6773232323232328e-06, + "loss": 6.458573913574218, + "step": 27190 + }, + { + "epoch": 0.27195, + "grad_norm": 5.2044854164123535, + "learning_rate": 3.6770707070707074e-06, + "loss": 6.359412384033203, + "step": 27195 + }, + { + "epoch": 0.272, + "grad_norm": 3.6306865215301514, + "learning_rate": 3.676818181818182e-06, + "loss": 6.284060668945313, + "step": 27200 + }, + { + "epoch": 0.27205, + "grad_norm": 6.809463024139404, + "learning_rate": 3.676565656565657e-06, + "loss": 6.331309509277344, + "step": 27205 + }, + { + "epoch": 0.2721, + "grad_norm": 3.6361868381500244, + "learning_rate": 3.6763131313131317e-06, + "loss": 6.301479339599609, + "step": 27210 + }, + { + "epoch": 0.27215, + "grad_norm": 8.436450004577637, + "learning_rate": 3.6760606060606064e-06, + "loss": 6.403886413574218, + "step": 27215 + }, + { + "epoch": 0.2722, + "grad_norm": 17.354646682739258, + "learning_rate": 3.675808080808081e-06, + "loss": 6.68623046875, + "step": 27220 + }, + { + "epoch": 0.27225, + "grad_norm": 8.736088752746582, + "learning_rate": 3.675555555555556e-06, + "loss": 6.348749160766602, + "step": 27225 + }, + { + "epoch": 0.2723, + "grad_norm": 4.222883224487305, + "learning_rate": 3.6753030303030307e-06, + "loss": 6.348350906372071, + "step": 27230 + }, + { + "epoch": 0.27235, + "grad_norm": 9.181174278259277, + "learning_rate": 3.6750505050505053e-06, + "loss": 6.275466537475586, + "step": 27235 + }, + { + "epoch": 0.2724, + "grad_norm": 5.909955978393555, + "learning_rate": 3.67479797979798e-06, + "loss": 6.005701065063477, + "step": 27240 + }, + { + "epoch": 0.27245, + "grad_norm": 6.051238536834717, + "learning_rate": 3.674545454545455e-06, + "loss": 6.349235153198242, + "step": 27245 + }, + { + "epoch": 0.2725, + "grad_norm": 6.935568809509277, + "learning_rate": 3.6742929292929296e-06, + "loss": 6.396284484863282, + "step": 27250 + }, + { + "epoch": 0.27255, + "grad_norm": 5.963278770446777, + "learning_rate": 3.6740404040404042e-06, + "loss": 6.305793380737304, + "step": 27255 + }, + { + "epoch": 0.2726, + "grad_norm": 4.418926239013672, + "learning_rate": 3.673787878787879e-06, + "loss": 6.29881706237793, + "step": 27260 + }, + { + "epoch": 0.27265, + "grad_norm": 6.743359088897705, + "learning_rate": 3.673535353535354e-06, + "loss": 6.300883483886719, + "step": 27265 + }, + { + "epoch": 0.2727, + "grad_norm": 3.3065185546875, + "learning_rate": 3.6732828282828286e-06, + "loss": 6.239302062988282, + "step": 27270 + }, + { + "epoch": 0.27275, + "grad_norm": 4.624436855316162, + "learning_rate": 3.673030303030303e-06, + "loss": 6.332311630249023, + "step": 27275 + }, + { + "epoch": 0.2728, + "grad_norm": 4.648477554321289, + "learning_rate": 3.672777777777778e-06, + "loss": 6.275871276855469, + "step": 27280 + }, + { + "epoch": 0.27285, + "grad_norm": 6.098147869110107, + "learning_rate": 3.672525252525253e-06, + "loss": 6.460188293457032, + "step": 27285 + }, + { + "epoch": 0.2729, + "grad_norm": 6.516494274139404, + "learning_rate": 3.6722727272727275e-06, + "loss": 6.323106384277343, + "step": 27290 + }, + { + "epoch": 0.27295, + "grad_norm": 3.3825085163116455, + "learning_rate": 3.672020202020202e-06, + "loss": 6.320406341552735, + "step": 27295 + }, + { + "epoch": 0.273, + "grad_norm": 7.282415866851807, + "learning_rate": 3.6717676767676768e-06, + "loss": 6.26165771484375, + "step": 27300 + }, + { + "epoch": 0.27305, + "grad_norm": 5.538201808929443, + "learning_rate": 3.6715151515151522e-06, + "loss": 6.369514846801758, + "step": 27305 + }, + { + "epoch": 0.2731, + "grad_norm": 6.222240447998047, + "learning_rate": 3.6712626262626264e-06, + "loss": 6.334397888183593, + "step": 27310 + }, + { + "epoch": 0.27315, + "grad_norm": 7.491812705993652, + "learning_rate": 3.671010101010101e-06, + "loss": 6.30638427734375, + "step": 27315 + }, + { + "epoch": 0.2732, + "grad_norm": 6.758635520935059, + "learning_rate": 3.6707575757575757e-06, + "loss": 6.330162429809571, + "step": 27320 + }, + { + "epoch": 0.27325, + "grad_norm": 5.886263370513916, + "learning_rate": 3.670505050505051e-06, + "loss": 6.324074935913086, + "step": 27325 + }, + { + "epoch": 0.2733, + "grad_norm": 4.35609769821167, + "learning_rate": 3.670252525252526e-06, + "loss": 6.257471084594727, + "step": 27330 + }, + { + "epoch": 0.27335, + "grad_norm": 5.643250942230225, + "learning_rate": 3.6700000000000004e-06, + "loss": 6.305144119262695, + "step": 27335 + }, + { + "epoch": 0.2734, + "grad_norm": 5.410227298736572, + "learning_rate": 3.6697474747474746e-06, + "loss": 6.31523551940918, + "step": 27340 + }, + { + "epoch": 0.27345, + "grad_norm": 7.4235029220581055, + "learning_rate": 3.66949494949495e-06, + "loss": 6.35937614440918, + "step": 27345 + }, + { + "epoch": 0.2735, + "grad_norm": 3.914283275604248, + "learning_rate": 3.6692424242424248e-06, + "loss": 6.298578262329102, + "step": 27350 + }, + { + "epoch": 0.27355, + "grad_norm": 6.989834308624268, + "learning_rate": 3.6689898989898994e-06, + "loss": 6.280791473388672, + "step": 27355 + }, + { + "epoch": 0.2736, + "grad_norm": 5.437248706817627, + "learning_rate": 3.668737373737374e-06, + "loss": 6.327111434936524, + "step": 27360 + }, + { + "epoch": 0.27365, + "grad_norm": 28.786766052246094, + "learning_rate": 3.668484848484849e-06, + "loss": 6.578860473632813, + "step": 27365 + }, + { + "epoch": 0.2737, + "grad_norm": 17.695451736450195, + "learning_rate": 3.6682323232323237e-06, + "loss": 6.455966186523438, + "step": 27370 + }, + { + "epoch": 0.27375, + "grad_norm": 15.653703689575195, + "learning_rate": 3.6679797979797983e-06, + "loss": 6.355830383300781, + "step": 27375 + }, + { + "epoch": 0.2738, + "grad_norm": 9.790855407714844, + "learning_rate": 3.667727272727273e-06, + "loss": 6.414237213134766, + "step": 27380 + }, + { + "epoch": 0.27385, + "grad_norm": 4.400730609893799, + "learning_rate": 3.667474747474748e-06, + "loss": 6.303078460693359, + "step": 27385 + }, + { + "epoch": 0.2739, + "grad_norm": 6.707621097564697, + "learning_rate": 3.6672222222222226e-06, + "loss": 6.285072708129883, + "step": 27390 + }, + { + "epoch": 0.27395, + "grad_norm": 4.499448776245117, + "learning_rate": 3.6669696969696973e-06, + "loss": 6.284291458129883, + "step": 27395 + }, + { + "epoch": 0.274, + "grad_norm": 6.156611442565918, + "learning_rate": 3.666717171717172e-06, + "loss": 6.325781631469726, + "step": 27400 + }, + { + "epoch": 0.27405, + "grad_norm": 5.899245738983154, + "learning_rate": 3.666464646464647e-06, + "loss": 6.271918106079101, + "step": 27405 + }, + { + "epoch": 0.2741, + "grad_norm": 7.383429050445557, + "learning_rate": 3.6662121212121216e-06, + "loss": 6.322491455078125, + "step": 27410 + }, + { + "epoch": 0.27415, + "grad_norm": 4.748988628387451, + "learning_rate": 3.6659595959595962e-06, + "loss": 6.3604583740234375, + "step": 27415 + }, + { + "epoch": 0.2742, + "grad_norm": 7.032674789428711, + "learning_rate": 3.665707070707071e-06, + "loss": 6.308526611328125, + "step": 27420 + }, + { + "epoch": 0.27425, + "grad_norm": 4.7725324630737305, + "learning_rate": 3.665454545454546e-06, + "loss": 6.357879638671875, + "step": 27425 + }, + { + "epoch": 0.2743, + "grad_norm": 3.24104642868042, + "learning_rate": 3.6652020202020205e-06, + "loss": 6.380682373046875, + "step": 27430 + }, + { + "epoch": 0.27435, + "grad_norm": 6.934032917022705, + "learning_rate": 3.664949494949495e-06, + "loss": 6.511369323730468, + "step": 27435 + }, + { + "epoch": 0.2744, + "grad_norm": 4.539759635925293, + "learning_rate": 3.6646969696969698e-06, + "loss": 6.3147937774658205, + "step": 27440 + }, + { + "epoch": 0.27445, + "grad_norm": 5.013272285461426, + "learning_rate": 3.664444444444445e-06, + "loss": 6.293770217895508, + "step": 27445 + }, + { + "epoch": 0.2745, + "grad_norm": 6.674352169036865, + "learning_rate": 3.6641919191919195e-06, + "loss": 6.435519409179688, + "step": 27450 + }, + { + "epoch": 0.27455, + "grad_norm": 5.441864967346191, + "learning_rate": 3.663939393939394e-06, + "loss": 6.288307189941406, + "step": 27455 + }, + { + "epoch": 0.2746, + "grad_norm": 3.34708309173584, + "learning_rate": 3.6636868686868687e-06, + "loss": 6.292370223999024, + "step": 27460 + }, + { + "epoch": 0.27465, + "grad_norm": 5.303905010223389, + "learning_rate": 3.6634343434343438e-06, + "loss": 6.323270416259765, + "step": 27465 + }, + { + "epoch": 0.2747, + "grad_norm": 5.824272155761719, + "learning_rate": 3.6631818181818184e-06, + "loss": 6.3546794891357425, + "step": 27470 + }, + { + "epoch": 0.27475, + "grad_norm": 7.414111137390137, + "learning_rate": 3.662929292929293e-06, + "loss": 6.3130035400390625, + "step": 27475 + }, + { + "epoch": 0.2748, + "grad_norm": 3.9218544960021973, + "learning_rate": 3.6626767676767677e-06, + "loss": 6.299446105957031, + "step": 27480 + }, + { + "epoch": 0.27485, + "grad_norm": 4.6603007316589355, + "learning_rate": 3.6624242424242427e-06, + "loss": 6.294777297973633, + "step": 27485 + }, + { + "epoch": 0.2749, + "grad_norm": 4.896655559539795, + "learning_rate": 3.6621717171717174e-06, + "loss": 6.293980407714844, + "step": 27490 + }, + { + "epoch": 0.27495, + "grad_norm": 6.365837574005127, + "learning_rate": 3.661919191919192e-06, + "loss": 6.297945404052735, + "step": 27495 + }, + { + "epoch": 0.275, + "grad_norm": 4.755804061889648, + "learning_rate": 3.6616666666666666e-06, + "loss": 6.289345550537109, + "step": 27500 + }, + { + "epoch": 0.27505, + "grad_norm": 4.283837795257568, + "learning_rate": 3.6614141414141417e-06, + "loss": 6.300391387939453, + "step": 27505 + }, + { + "epoch": 0.2751, + "grad_norm": 5.812557220458984, + "learning_rate": 3.6611616161616163e-06, + "loss": 6.291962432861328, + "step": 27510 + }, + { + "epoch": 0.27515, + "grad_norm": 8.087723731994629, + "learning_rate": 3.660909090909091e-06, + "loss": 6.368450546264649, + "step": 27515 + }, + { + "epoch": 0.2752, + "grad_norm": 8.5402193069458, + "learning_rate": 3.6606565656565656e-06, + "loss": 6.306014633178711, + "step": 27520 + }, + { + "epoch": 0.27525, + "grad_norm": 8.47391414642334, + "learning_rate": 3.660404040404041e-06, + "loss": 6.327323532104492, + "step": 27525 + }, + { + "epoch": 0.2753, + "grad_norm": 4.842244625091553, + "learning_rate": 3.6601515151515152e-06, + "loss": 6.372050476074219, + "step": 27530 + }, + { + "epoch": 0.27535, + "grad_norm": 5.422746658325195, + "learning_rate": 3.65989898989899e-06, + "loss": 6.2908882141113285, + "step": 27535 + }, + { + "epoch": 0.2754, + "grad_norm": 5.98571252822876, + "learning_rate": 3.6596464646464645e-06, + "loss": 6.328924942016601, + "step": 27540 + }, + { + "epoch": 0.27545, + "grad_norm": 7.599514007568359, + "learning_rate": 3.65939393939394e-06, + "loss": 6.33453369140625, + "step": 27545 + }, + { + "epoch": 0.2755, + "grad_norm": 6.009715557098389, + "learning_rate": 3.6591414141414146e-06, + "loss": 6.297414779663086, + "step": 27550 + }, + { + "epoch": 0.27555, + "grad_norm": 4.236227989196777, + "learning_rate": 3.6588888888888892e-06, + "loss": 6.349770355224609, + "step": 27555 + }, + { + "epoch": 0.2756, + "grad_norm": 3.1502792835235596, + "learning_rate": 3.6586363636363643e-06, + "loss": 6.399088668823242, + "step": 27560 + }, + { + "epoch": 0.27565, + "grad_norm": 6.337276458740234, + "learning_rate": 3.658383838383839e-06, + "loss": 6.324374008178711, + "step": 27565 + }, + { + "epoch": 0.2757, + "grad_norm": 6.978740692138672, + "learning_rate": 3.6581313131313136e-06, + "loss": 6.3005828857421875, + "step": 27570 + }, + { + "epoch": 0.27575, + "grad_norm": 5.612730026245117, + "learning_rate": 3.657878787878788e-06, + "loss": 6.282025146484375, + "step": 27575 + }, + { + "epoch": 0.2758, + "grad_norm": 3.4305179119110107, + "learning_rate": 3.6576262626262632e-06, + "loss": 6.279350662231446, + "step": 27580 + }, + { + "epoch": 0.27585, + "grad_norm": 6.836961269378662, + "learning_rate": 3.657373737373738e-06, + "loss": 6.276103210449219, + "step": 27585 + }, + { + "epoch": 0.2759, + "grad_norm": 10.697168350219727, + "learning_rate": 3.6571212121212125e-06, + "loss": 6.441885375976563, + "step": 27590 + }, + { + "epoch": 0.27595, + "grad_norm": 4.975052356719971, + "learning_rate": 3.656868686868687e-06, + "loss": 6.239624786376953, + "step": 27595 + }, + { + "epoch": 0.276, + "grad_norm": 4.282489776611328, + "learning_rate": 3.656616161616162e-06, + "loss": 6.2851417541503904, + "step": 27600 + }, + { + "epoch": 0.27605, + "grad_norm": 4.480371952056885, + "learning_rate": 3.656363636363637e-06, + "loss": 6.381772994995117, + "step": 27605 + }, + { + "epoch": 0.2761, + "grad_norm": 4.752960681915283, + "learning_rate": 3.6561111111111114e-06, + "loss": 6.29516487121582, + "step": 27610 + }, + { + "epoch": 0.27615, + "grad_norm": 6.230968952178955, + "learning_rate": 3.655858585858586e-06, + "loss": 6.363798522949219, + "step": 27615 + }, + { + "epoch": 0.2762, + "grad_norm": 5.228012561798096, + "learning_rate": 3.655606060606061e-06, + "loss": 6.336743927001953, + "step": 27620 + }, + { + "epoch": 0.27625, + "grad_norm": 3.5650548934936523, + "learning_rate": 3.6553535353535358e-06, + "loss": 6.33189697265625, + "step": 27625 + }, + { + "epoch": 0.2763, + "grad_norm": 6.895216464996338, + "learning_rate": 3.6551010101010104e-06, + "loss": 6.282896041870117, + "step": 27630 + }, + { + "epoch": 0.27635, + "grad_norm": 7.159496784210205, + "learning_rate": 3.654848484848485e-06, + "loss": 6.362102508544922, + "step": 27635 + }, + { + "epoch": 0.2764, + "grad_norm": 5.794086933135986, + "learning_rate": 3.65459595959596e-06, + "loss": 6.377381896972656, + "step": 27640 + }, + { + "epoch": 0.27645, + "grad_norm": 5.044839382171631, + "learning_rate": 3.6543434343434347e-06, + "loss": 6.303004455566406, + "step": 27645 + }, + { + "epoch": 0.2765, + "grad_norm": 4.638664245605469, + "learning_rate": 3.6540909090909093e-06, + "loss": 6.554790496826172, + "step": 27650 + }, + { + "epoch": 0.27655, + "grad_norm": 5.905210494995117, + "learning_rate": 3.653838383838384e-06, + "loss": 6.3347126007080075, + "step": 27655 + }, + { + "epoch": 0.2766, + "grad_norm": 6.589792728424072, + "learning_rate": 3.653585858585859e-06, + "loss": 6.3598388671875, + "step": 27660 + }, + { + "epoch": 0.27665, + "grad_norm": 4.932498455047607, + "learning_rate": 3.6533333333333336e-06, + "loss": 6.322650527954101, + "step": 27665 + }, + { + "epoch": 0.2767, + "grad_norm": 8.342058181762695, + "learning_rate": 3.6530808080808083e-06, + "loss": 6.460323333740234, + "step": 27670 + }, + { + "epoch": 0.27675, + "grad_norm": 8.272595405578613, + "learning_rate": 3.652828282828283e-06, + "loss": 6.284732055664063, + "step": 27675 + }, + { + "epoch": 0.2768, + "grad_norm": 8.160736083984375, + "learning_rate": 3.652575757575758e-06, + "loss": 6.28509292602539, + "step": 27680 + }, + { + "epoch": 0.27685, + "grad_norm": 7.295288562774658, + "learning_rate": 3.6523232323232326e-06, + "loss": 6.337397766113281, + "step": 27685 + }, + { + "epoch": 0.2769, + "grad_norm": 7.7256317138671875, + "learning_rate": 3.6520707070707072e-06, + "loss": 6.329400634765625, + "step": 27690 + }, + { + "epoch": 0.27695, + "grad_norm": 14.549596786499023, + "learning_rate": 3.651818181818182e-06, + "loss": 6.340921020507812, + "step": 27695 + }, + { + "epoch": 0.277, + "grad_norm": 7.941248416900635, + "learning_rate": 3.651565656565657e-06, + "loss": 6.256224822998047, + "step": 27700 + }, + { + "epoch": 0.27705, + "grad_norm": 6.222874164581299, + "learning_rate": 3.6513131313131315e-06, + "loss": 6.284463882446289, + "step": 27705 + }, + { + "epoch": 0.2771, + "grad_norm": 6.031448841094971, + "learning_rate": 3.651060606060606e-06, + "loss": 6.308800125122071, + "step": 27710 + }, + { + "epoch": 0.27715, + "grad_norm": 4.797364711761475, + "learning_rate": 3.650808080808081e-06, + "loss": 6.244573593139648, + "step": 27715 + }, + { + "epoch": 0.2772, + "grad_norm": 17.27484893798828, + "learning_rate": 3.6505555555555563e-06, + "loss": 6.298854064941406, + "step": 27720 + }, + { + "epoch": 0.27725, + "grad_norm": 7.919289588928223, + "learning_rate": 3.6503030303030305e-06, + "loss": 6.294458389282227, + "step": 27725 + }, + { + "epoch": 0.2773, + "grad_norm": 5.620197296142578, + "learning_rate": 3.650050505050505e-06, + "loss": 6.223772811889648, + "step": 27730 + }, + { + "epoch": 0.27735, + "grad_norm": 5.687453269958496, + "learning_rate": 3.6497979797979797e-06, + "loss": 6.307546997070313, + "step": 27735 + }, + { + "epoch": 0.2774, + "grad_norm": 4.351597309112549, + "learning_rate": 3.6495454545454552e-06, + "loss": 6.2876018524169925, + "step": 27740 + }, + { + "epoch": 0.27745, + "grad_norm": 6.214696407318115, + "learning_rate": 3.64929292929293e-06, + "loss": 6.30900993347168, + "step": 27745 + }, + { + "epoch": 0.2775, + "grad_norm": 7.783788681030273, + "learning_rate": 3.6490404040404045e-06, + "loss": 6.5370330810546875, + "step": 27750 + }, + { + "epoch": 0.27755, + "grad_norm": 6.718545436859131, + "learning_rate": 3.6487878787878787e-06, + "loss": 6.314834976196289, + "step": 27755 + }, + { + "epoch": 0.2776, + "grad_norm": 5.24647331237793, + "learning_rate": 3.648535353535354e-06, + "loss": 6.462430572509765, + "step": 27760 + }, + { + "epoch": 0.27765, + "grad_norm": 5.680200099945068, + "learning_rate": 3.648282828282829e-06, + "loss": 6.303385925292969, + "step": 27765 + }, + { + "epoch": 0.2777, + "grad_norm": 4.463397979736328, + "learning_rate": 3.6480303030303034e-06, + "loss": 6.303775787353516, + "step": 27770 + }, + { + "epoch": 0.27775, + "grad_norm": 4.503332614898682, + "learning_rate": 3.647777777777778e-06, + "loss": 6.334011077880859, + "step": 27775 + }, + { + "epoch": 0.2778, + "grad_norm": 4.750062942504883, + "learning_rate": 3.647525252525253e-06, + "loss": 6.3940589904785154, + "step": 27780 + }, + { + "epoch": 0.27785, + "grad_norm": 3.595973014831543, + "learning_rate": 3.6472727272727277e-06, + "loss": 6.376918029785156, + "step": 27785 + }, + { + "epoch": 0.2779, + "grad_norm": 2.8240511417388916, + "learning_rate": 3.6470202020202024e-06, + "loss": 6.2959953308105465, + "step": 27790 + }, + { + "epoch": 0.27795, + "grad_norm": 5.838364124298096, + "learning_rate": 3.646767676767677e-06, + "loss": 6.307080078125, + "step": 27795 + }, + { + "epoch": 0.278, + "grad_norm": 4.7670440673828125, + "learning_rate": 3.646515151515152e-06, + "loss": 6.291278839111328, + "step": 27800 + }, + { + "epoch": 0.27805, + "grad_norm": 4.551059722900391, + "learning_rate": 3.6462626262626267e-06, + "loss": 6.284486389160156, + "step": 27805 + }, + { + "epoch": 0.2781, + "grad_norm": 4.2642621994018555, + "learning_rate": 3.6460101010101013e-06, + "loss": 6.29508056640625, + "step": 27810 + }, + { + "epoch": 0.27815, + "grad_norm": 6.023734092712402, + "learning_rate": 3.645757575757576e-06, + "loss": 6.279483795166016, + "step": 27815 + }, + { + "epoch": 0.2782, + "grad_norm": 5.463079452514648, + "learning_rate": 3.645505050505051e-06, + "loss": 6.330992126464844, + "step": 27820 + }, + { + "epoch": 0.27825, + "grad_norm": 3.9083940982818604, + "learning_rate": 3.6452525252525256e-06, + "loss": 6.3431846618652346, + "step": 27825 + }, + { + "epoch": 0.2783, + "grad_norm": 6.314789772033691, + "learning_rate": 3.6450000000000003e-06, + "loss": 6.318592834472656, + "step": 27830 + }, + { + "epoch": 0.27835, + "grad_norm": 7.027535915374756, + "learning_rate": 3.644747474747475e-06, + "loss": 6.324528503417969, + "step": 27835 + }, + { + "epoch": 0.2784, + "grad_norm": 5.595466613769531, + "learning_rate": 3.64449494949495e-06, + "loss": 6.267961883544922, + "step": 27840 + }, + { + "epoch": 0.27845, + "grad_norm": 5.740839958190918, + "learning_rate": 3.6442424242424246e-06, + "loss": 6.3134716033935545, + "step": 27845 + }, + { + "epoch": 0.2785, + "grad_norm": 8.319234848022461, + "learning_rate": 3.643989898989899e-06, + "loss": 6.353271102905273, + "step": 27850 + }, + { + "epoch": 0.27855, + "grad_norm": 12.15185260772705, + "learning_rate": 3.643737373737374e-06, + "loss": 6.292927551269531, + "step": 27855 + }, + { + "epoch": 0.2786, + "grad_norm": 2.607407808303833, + "learning_rate": 3.643484848484849e-06, + "loss": 6.324199676513672, + "step": 27860 + }, + { + "epoch": 0.27865, + "grad_norm": 5.051003932952881, + "learning_rate": 3.6432323232323235e-06, + "loss": 6.319622802734375, + "step": 27865 + }, + { + "epoch": 0.2787, + "grad_norm": 6.675957679748535, + "learning_rate": 3.642979797979798e-06, + "loss": 6.300960540771484, + "step": 27870 + }, + { + "epoch": 0.27875, + "grad_norm": 7.717424392700195, + "learning_rate": 3.6427272727272728e-06, + "loss": 6.31220817565918, + "step": 27875 + }, + { + "epoch": 0.2788, + "grad_norm": 15.18311882019043, + "learning_rate": 3.642474747474748e-06, + "loss": 6.534521484375, + "step": 27880 + }, + { + "epoch": 0.27885, + "grad_norm": 7.362109661102295, + "learning_rate": 3.6422222222222225e-06, + "loss": 6.337028884887696, + "step": 27885 + }, + { + "epoch": 0.2789, + "grad_norm": 5.795037269592285, + "learning_rate": 3.641969696969697e-06, + "loss": 6.292536926269531, + "step": 27890 + }, + { + "epoch": 0.27895, + "grad_norm": 11.788749694824219, + "learning_rate": 3.6417171717171717e-06, + "loss": 6.276415634155273, + "step": 27895 + }, + { + "epoch": 0.279, + "grad_norm": 7.711708068847656, + "learning_rate": 3.6414646464646468e-06, + "loss": 6.344890213012695, + "step": 27900 + }, + { + "epoch": 0.27905, + "grad_norm": 6.711668014526367, + "learning_rate": 3.6412121212121214e-06, + "loss": 6.304533004760742, + "step": 27905 + }, + { + "epoch": 0.2791, + "grad_norm": 6.960334300994873, + "learning_rate": 3.640959595959596e-06, + "loss": 6.2920066833496096, + "step": 27910 + }, + { + "epoch": 0.27915, + "grad_norm": 5.496513366699219, + "learning_rate": 3.6407070707070707e-06, + "loss": 6.328239822387696, + "step": 27915 + }, + { + "epoch": 0.2792, + "grad_norm": 7.50898551940918, + "learning_rate": 3.6404545454545457e-06, + "loss": 6.325896835327148, + "step": 27920 + }, + { + "epoch": 0.27925, + "grad_norm": 5.988427639007568, + "learning_rate": 3.6402020202020203e-06, + "loss": 6.316617202758789, + "step": 27925 + }, + { + "epoch": 0.2793, + "grad_norm": 3.6656086444854736, + "learning_rate": 3.639949494949495e-06, + "loss": 6.311394882202149, + "step": 27930 + }, + { + "epoch": 0.27935, + "grad_norm": 5.195313453674316, + "learning_rate": 3.6396969696969696e-06, + "loss": 6.1900779724121096, + "step": 27935 + }, + { + "epoch": 0.2794, + "grad_norm": 3.6240956783294678, + "learning_rate": 3.639444444444445e-06, + "loss": 6.276221084594726, + "step": 27940 + }, + { + "epoch": 0.27945, + "grad_norm": 9.404885292053223, + "learning_rate": 3.6391919191919193e-06, + "loss": 6.338648986816406, + "step": 27945 + }, + { + "epoch": 0.2795, + "grad_norm": 4.335447788238525, + "learning_rate": 3.638939393939394e-06, + "loss": 6.319538116455078, + "step": 27950 + }, + { + "epoch": 0.27955, + "grad_norm": 5.008849143981934, + "learning_rate": 3.6386868686868685e-06, + "loss": 6.263839340209961, + "step": 27955 + }, + { + "epoch": 0.2796, + "grad_norm": 6.388202667236328, + "learning_rate": 3.638434343434344e-06, + "loss": 6.244398880004883, + "step": 27960 + }, + { + "epoch": 0.27965, + "grad_norm": 4.846386909484863, + "learning_rate": 3.6381818181818187e-06, + "loss": 6.243783950805664, + "step": 27965 + }, + { + "epoch": 0.2797, + "grad_norm": 3.5508856773376465, + "learning_rate": 3.6379292929292933e-06, + "loss": 6.2923023223876955, + "step": 27970 + }, + { + "epoch": 0.27975, + "grad_norm": 6.707224369049072, + "learning_rate": 3.6376767676767683e-06, + "loss": 6.28193473815918, + "step": 27975 + }, + { + "epoch": 0.2798, + "grad_norm": 4.432704925537109, + "learning_rate": 3.637424242424243e-06, + "loss": 6.366315460205078, + "step": 27980 + }, + { + "epoch": 0.27985, + "grad_norm": 4.012948989868164, + "learning_rate": 3.6371717171717176e-06, + "loss": 6.915853881835938, + "step": 27985 + }, + { + "epoch": 0.2799, + "grad_norm": 3.8945529460906982, + "learning_rate": 3.6369191919191922e-06, + "loss": 6.305094146728516, + "step": 27990 + }, + { + "epoch": 0.27995, + "grad_norm": 5.104999542236328, + "learning_rate": 3.6366666666666673e-06, + "loss": 6.298294448852539, + "step": 27995 + }, + { + "epoch": 0.28, + "grad_norm": 4.341668605804443, + "learning_rate": 3.636414141414142e-06, + "loss": 6.3459014892578125, + "step": 28000 + }, + { + "epoch": 0.28005, + "grad_norm": 5.0260090827941895, + "learning_rate": 3.6361616161616165e-06, + "loss": 6.3812309265136715, + "step": 28005 + }, + { + "epoch": 0.2801, + "grad_norm": 6.266566276550293, + "learning_rate": 3.635909090909091e-06, + "loss": 6.290509033203125, + "step": 28010 + }, + { + "epoch": 0.28015, + "grad_norm": 4.886213779449463, + "learning_rate": 3.6356565656565662e-06, + "loss": 6.301641845703125, + "step": 28015 + }, + { + "epoch": 0.2802, + "grad_norm": 7.614068508148193, + "learning_rate": 3.635404040404041e-06, + "loss": 6.331428527832031, + "step": 28020 + }, + { + "epoch": 0.28025, + "grad_norm": 5.054044723510742, + "learning_rate": 3.6351515151515155e-06, + "loss": 6.275740051269532, + "step": 28025 + }, + { + "epoch": 0.2803, + "grad_norm": 5.4943108558654785, + "learning_rate": 3.63489898989899e-06, + "loss": 6.271029281616211, + "step": 28030 + }, + { + "epoch": 0.28035, + "grad_norm": 2.8076703548431396, + "learning_rate": 3.634646464646465e-06, + "loss": 6.319896697998047, + "step": 28035 + }, + { + "epoch": 0.2804, + "grad_norm": 4.2270684242248535, + "learning_rate": 3.63439393939394e-06, + "loss": 6.279963684082031, + "step": 28040 + }, + { + "epoch": 0.28045, + "grad_norm": 7.827011585235596, + "learning_rate": 3.6341414141414144e-06, + "loss": 6.364917373657226, + "step": 28045 + }, + { + "epoch": 0.2805, + "grad_norm": 10.75042724609375, + "learning_rate": 3.633888888888889e-06, + "loss": 6.374034118652344, + "step": 28050 + }, + { + "epoch": 0.28055, + "grad_norm": 7.272946357727051, + "learning_rate": 3.633636363636364e-06, + "loss": 6.280351257324218, + "step": 28055 + }, + { + "epoch": 0.2806, + "grad_norm": 6.345447540283203, + "learning_rate": 3.6333838383838387e-06, + "loss": 6.290077209472656, + "step": 28060 + }, + { + "epoch": 0.28065, + "grad_norm": 5.485608100891113, + "learning_rate": 3.6331313131313134e-06, + "loss": 6.338864135742187, + "step": 28065 + }, + { + "epoch": 0.2807, + "grad_norm": 4.412539005279541, + "learning_rate": 3.632878787878788e-06, + "loss": 6.263153839111328, + "step": 28070 + }, + { + "epoch": 0.28075, + "grad_norm": 5.289031982421875, + "learning_rate": 3.632626262626263e-06, + "loss": 6.309101867675781, + "step": 28075 + }, + { + "epoch": 0.2808, + "grad_norm": 5.946156024932861, + "learning_rate": 3.6323737373737377e-06, + "loss": 6.315034866333008, + "step": 28080 + }, + { + "epoch": 0.28085, + "grad_norm": 7.790994167327881, + "learning_rate": 3.6321212121212123e-06, + "loss": 6.293221664428711, + "step": 28085 + }, + { + "epoch": 0.2809, + "grad_norm": 3.6762535572052, + "learning_rate": 3.631868686868687e-06, + "loss": 6.303483963012695, + "step": 28090 + }, + { + "epoch": 0.28095, + "grad_norm": 4.119012355804443, + "learning_rate": 3.631616161616162e-06, + "loss": 6.293547821044922, + "step": 28095 + }, + { + "epoch": 0.281, + "grad_norm": 7.7604217529296875, + "learning_rate": 3.6313636363636366e-06, + "loss": 6.321548080444336, + "step": 28100 + }, + { + "epoch": 0.28105, + "grad_norm": 6.160776615142822, + "learning_rate": 3.6311111111111113e-06, + "loss": 6.239625930786133, + "step": 28105 + }, + { + "epoch": 0.2811, + "grad_norm": 3.838702440261841, + "learning_rate": 3.630858585858586e-06, + "loss": 6.291314697265625, + "step": 28110 + }, + { + "epoch": 0.28115, + "grad_norm": 3.0702872276306152, + "learning_rate": 3.630606060606061e-06, + "loss": 6.332421875, + "step": 28115 + }, + { + "epoch": 0.2812, + "grad_norm": 12.404671669006348, + "learning_rate": 3.6303535353535356e-06, + "loss": 6.281068420410156, + "step": 28120 + }, + { + "epoch": 0.28125, + "grad_norm": 5.579586982727051, + "learning_rate": 3.63010101010101e-06, + "loss": 6.247989654541016, + "step": 28125 + }, + { + "epoch": 0.2813, + "grad_norm": 8.449063301086426, + "learning_rate": 3.629848484848485e-06, + "loss": 6.356984710693359, + "step": 28130 + }, + { + "epoch": 0.28135, + "grad_norm": 7.785964012145996, + "learning_rate": 3.6295959595959603e-06, + "loss": 6.33087272644043, + "step": 28135 + }, + { + "epoch": 0.2814, + "grad_norm": 4.403900623321533, + "learning_rate": 3.6293434343434345e-06, + "loss": 6.294289398193359, + "step": 28140 + }, + { + "epoch": 0.28145, + "grad_norm": 3.6800692081451416, + "learning_rate": 3.629090909090909e-06, + "loss": 6.308982086181641, + "step": 28145 + }, + { + "epoch": 0.2815, + "grad_norm": 4.775040149688721, + "learning_rate": 3.6288383838383838e-06, + "loss": 6.28216438293457, + "step": 28150 + }, + { + "epoch": 0.28155, + "grad_norm": 5.842979431152344, + "learning_rate": 3.6285858585858593e-06, + "loss": 6.31855583190918, + "step": 28155 + }, + { + "epoch": 0.2816, + "grad_norm": 6.876884460449219, + "learning_rate": 3.628333333333334e-06, + "loss": 6.306393432617187, + "step": 28160 + }, + { + "epoch": 0.28165, + "grad_norm": 9.199670791625977, + "learning_rate": 3.6280808080808085e-06, + "loss": 6.432333374023438, + "step": 28165 + }, + { + "epoch": 0.2817, + "grad_norm": 5.5287766456604, + "learning_rate": 3.6278282828282827e-06, + "loss": 6.346640014648438, + "step": 28170 + }, + { + "epoch": 0.28175, + "grad_norm": 7.259590148925781, + "learning_rate": 3.627575757575758e-06, + "loss": 6.297891616821289, + "step": 28175 + }, + { + "epoch": 0.2818, + "grad_norm": 6.268401145935059, + "learning_rate": 3.627323232323233e-06, + "loss": 6.299401473999024, + "step": 28180 + }, + { + "epoch": 0.28185, + "grad_norm": 5.581124782562256, + "learning_rate": 3.6270707070707075e-06, + "loss": 6.286925506591797, + "step": 28185 + }, + { + "epoch": 0.2819, + "grad_norm": 8.935769081115723, + "learning_rate": 3.626818181818182e-06, + "loss": 6.345262145996093, + "step": 28190 + }, + { + "epoch": 0.28195, + "grad_norm": 3.9361765384674072, + "learning_rate": 3.626565656565657e-06, + "loss": 6.319243621826172, + "step": 28195 + }, + { + "epoch": 0.282, + "grad_norm": 9.349164962768555, + "learning_rate": 3.6263131313131318e-06, + "loss": 6.316201782226562, + "step": 28200 + }, + { + "epoch": 0.28205, + "grad_norm": 5.504910469055176, + "learning_rate": 3.6260606060606064e-06, + "loss": 6.338265228271484, + "step": 28205 + }, + { + "epoch": 0.2821, + "grad_norm": 5.569362163543701, + "learning_rate": 3.625808080808081e-06, + "loss": 6.275389862060547, + "step": 28210 + }, + { + "epoch": 0.28215, + "grad_norm": 7.4478254318237305, + "learning_rate": 3.625555555555556e-06, + "loss": 6.294215393066406, + "step": 28215 + }, + { + "epoch": 0.2822, + "grad_norm": 5.783453464508057, + "learning_rate": 3.6253030303030307e-06, + "loss": 6.271634674072265, + "step": 28220 + }, + { + "epoch": 0.28225, + "grad_norm": 5.720432281494141, + "learning_rate": 3.6250505050505053e-06, + "loss": 6.264583587646484, + "step": 28225 + }, + { + "epoch": 0.2823, + "grad_norm": 6.850325584411621, + "learning_rate": 3.62479797979798e-06, + "loss": 6.350994110107422, + "step": 28230 + }, + { + "epoch": 0.28235, + "grad_norm": 5.166013240814209, + "learning_rate": 3.624545454545455e-06, + "loss": 6.31109504699707, + "step": 28235 + }, + { + "epoch": 0.2824, + "grad_norm": 4.749843597412109, + "learning_rate": 3.6242929292929297e-06, + "loss": 6.306935119628906, + "step": 28240 + }, + { + "epoch": 0.28245, + "grad_norm": 6.03468656539917, + "learning_rate": 3.6240404040404043e-06, + "loss": 6.305165100097656, + "step": 28245 + }, + { + "epoch": 0.2825, + "grad_norm": 7.289083003997803, + "learning_rate": 3.623787878787879e-06, + "loss": 6.269268035888672, + "step": 28250 + }, + { + "epoch": 0.28255, + "grad_norm": 16.096832275390625, + "learning_rate": 3.623535353535354e-06, + "loss": 6.4483642578125, + "step": 28255 + }, + { + "epoch": 0.2826, + "grad_norm": 6.292984962463379, + "learning_rate": 3.6232828282828286e-06, + "loss": 6.344646835327149, + "step": 28260 + }, + { + "epoch": 0.28265, + "grad_norm": 8.245882987976074, + "learning_rate": 3.6230303030303032e-06, + "loss": 6.243195343017578, + "step": 28265 + }, + { + "epoch": 0.2827, + "grad_norm": 8.939123153686523, + "learning_rate": 3.622777777777778e-06, + "loss": 6.3416297912597654, + "step": 28270 + }, + { + "epoch": 0.28275, + "grad_norm": 6.540311813354492, + "learning_rate": 3.622525252525253e-06, + "loss": 6.265554428100586, + "step": 28275 + }, + { + "epoch": 0.2828, + "grad_norm": 13.80894947052002, + "learning_rate": 3.6222727272727276e-06, + "loss": 6.238034057617187, + "step": 28280 + }, + { + "epoch": 0.28285, + "grad_norm": 6.235456943511963, + "learning_rate": 3.622020202020202e-06, + "loss": 6.222642135620117, + "step": 28285 + }, + { + "epoch": 0.2829, + "grad_norm": 8.632944107055664, + "learning_rate": 3.621767676767677e-06, + "loss": 6.305866241455078, + "step": 28290 + }, + { + "epoch": 0.28295, + "grad_norm": 5.584783554077148, + "learning_rate": 3.621515151515152e-06, + "loss": 6.321941375732422, + "step": 28295 + }, + { + "epoch": 0.283, + "grad_norm": 6.277401924133301, + "learning_rate": 3.6212626262626265e-06, + "loss": 6.297470474243164, + "step": 28300 + }, + { + "epoch": 0.28305, + "grad_norm": 6.028356552124023, + "learning_rate": 3.621010101010101e-06, + "loss": 6.2892101287841795, + "step": 28305 + }, + { + "epoch": 0.2831, + "grad_norm": 3.7015345096588135, + "learning_rate": 3.6207575757575758e-06, + "loss": 6.33265380859375, + "step": 28310 + }, + { + "epoch": 0.28315, + "grad_norm": 7.897459983825684, + "learning_rate": 3.620505050505051e-06, + "loss": 6.365507888793945, + "step": 28315 + }, + { + "epoch": 0.2832, + "grad_norm": 4.112943172454834, + "learning_rate": 3.6202525252525254e-06, + "loss": 6.34315299987793, + "step": 28320 + }, + { + "epoch": 0.28325, + "grad_norm": 3.81148099899292, + "learning_rate": 3.62e-06, + "loss": 6.31453857421875, + "step": 28325 + }, + { + "epoch": 0.2833, + "grad_norm": 4.4862751960754395, + "learning_rate": 3.6197474747474747e-06, + "loss": 6.310483169555664, + "step": 28330 + }, + { + "epoch": 0.28335, + "grad_norm": 6.629267692565918, + "learning_rate": 3.6194949494949498e-06, + "loss": 6.326427459716797, + "step": 28335 + }, + { + "epoch": 0.2834, + "grad_norm": 24.268821716308594, + "learning_rate": 3.6192424242424244e-06, + "loss": 6.385597229003906, + "step": 28340 + }, + { + "epoch": 0.28345, + "grad_norm": 7.630352973937988, + "learning_rate": 3.618989898989899e-06, + "loss": 6.365678405761718, + "step": 28345 + }, + { + "epoch": 0.2835, + "grad_norm": 4.164686679840088, + "learning_rate": 3.6187373737373736e-06, + "loss": 6.297580718994141, + "step": 28350 + }, + { + "epoch": 0.28355, + "grad_norm": 13.063346862792969, + "learning_rate": 3.618484848484849e-06, + "loss": 6.456536865234375, + "step": 28355 + }, + { + "epoch": 0.2836, + "grad_norm": 5.402000904083252, + "learning_rate": 3.6182323232323238e-06, + "loss": 6.338290786743164, + "step": 28360 + }, + { + "epoch": 0.28365, + "grad_norm": 7.2131876945495605, + "learning_rate": 3.617979797979798e-06, + "loss": 6.265399932861328, + "step": 28365 + }, + { + "epoch": 0.2837, + "grad_norm": 11.81849193572998, + "learning_rate": 3.6177272727272726e-06, + "loss": 6.3232769012451175, + "step": 28370 + }, + { + "epoch": 0.28375, + "grad_norm": 9.864227294921875, + "learning_rate": 3.617474747474748e-06, + "loss": 6.292572784423828, + "step": 28375 + }, + { + "epoch": 0.2838, + "grad_norm": 4.6609697341918945, + "learning_rate": 3.6172222222222227e-06, + "loss": 6.372264862060547, + "step": 28380 + }, + { + "epoch": 0.28385, + "grad_norm": 3.6671109199523926, + "learning_rate": 3.6169696969696973e-06, + "loss": 6.258380889892578, + "step": 28385 + }, + { + "epoch": 0.2839, + "grad_norm": 4.324212551116943, + "learning_rate": 3.6167171717171715e-06, + "loss": 6.551113891601562, + "step": 28390 + }, + { + "epoch": 0.28395, + "grad_norm": 7.14066743850708, + "learning_rate": 3.616464646464647e-06, + "loss": 6.321744918823242, + "step": 28395 + }, + { + "epoch": 0.284, + "grad_norm": 5.860414505004883, + "learning_rate": 3.6162121212121216e-06, + "loss": 6.27824592590332, + "step": 28400 + }, + { + "epoch": 0.28405, + "grad_norm": 5.641157150268555, + "learning_rate": 3.6159595959595963e-06, + "loss": 6.307501983642578, + "step": 28405 + }, + { + "epoch": 0.2841, + "grad_norm": 7.852639198303223, + "learning_rate": 3.6157070707070713e-06, + "loss": 6.2658740997314455, + "step": 28410 + }, + { + "epoch": 0.28415, + "grad_norm": 6.846890926361084, + "learning_rate": 3.615454545454546e-06, + "loss": 6.293794250488281, + "step": 28415 + }, + { + "epoch": 0.2842, + "grad_norm": 21.634830474853516, + "learning_rate": 3.6152020202020206e-06, + "loss": 5.728129196166992, + "step": 28420 + }, + { + "epoch": 0.28425, + "grad_norm": 4.734566688537598, + "learning_rate": 3.6149494949494952e-06, + "loss": 6.271745300292968, + "step": 28425 + }, + { + "epoch": 0.2843, + "grad_norm": 8.629287719726562, + "learning_rate": 3.6146969696969703e-06, + "loss": 6.299970626831055, + "step": 28430 + }, + { + "epoch": 0.28435, + "grad_norm": 6.360217094421387, + "learning_rate": 3.614444444444445e-06, + "loss": 6.28626594543457, + "step": 28435 + }, + { + "epoch": 0.2844, + "grad_norm": 7.5656256675720215, + "learning_rate": 3.6141919191919195e-06, + "loss": 6.353227233886718, + "step": 28440 + }, + { + "epoch": 0.28445, + "grad_norm": 3.9535250663757324, + "learning_rate": 3.613939393939394e-06, + "loss": 6.286642074584961, + "step": 28445 + }, + { + "epoch": 0.2845, + "grad_norm": 4.453943252563477, + "learning_rate": 3.613686868686869e-06, + "loss": 6.326182556152344, + "step": 28450 + }, + { + "epoch": 0.28455, + "grad_norm": 7.433956623077393, + "learning_rate": 3.613434343434344e-06, + "loss": 6.337706756591797, + "step": 28455 + }, + { + "epoch": 0.2846, + "grad_norm": 4.301914215087891, + "learning_rate": 3.6131818181818185e-06, + "loss": 6.3437339782714846, + "step": 28460 + }, + { + "epoch": 0.28465, + "grad_norm": 4.406134128570557, + "learning_rate": 3.612929292929293e-06, + "loss": 6.3015602111816404, + "step": 28465 + }, + { + "epoch": 0.2847, + "grad_norm": 9.075971603393555, + "learning_rate": 3.612676767676768e-06, + "loss": 6.358526611328125, + "step": 28470 + }, + { + "epoch": 0.28475, + "grad_norm": 4.6138458251953125, + "learning_rate": 3.6124242424242428e-06, + "loss": 6.254545593261719, + "step": 28475 + }, + { + "epoch": 0.2848, + "grad_norm": 7.897307395935059, + "learning_rate": 3.6121717171717174e-06, + "loss": 6.332913970947265, + "step": 28480 + }, + { + "epoch": 0.28485, + "grad_norm": 6.553394317626953, + "learning_rate": 3.611919191919192e-06, + "loss": 6.257846069335938, + "step": 28485 + }, + { + "epoch": 0.2849, + "grad_norm": 16.72750473022461, + "learning_rate": 3.611666666666667e-06, + "loss": 6.572441101074219, + "step": 28490 + }, + { + "epoch": 0.28495, + "grad_norm": 7.237514495849609, + "learning_rate": 3.6114141414141417e-06, + "loss": 6.942755126953125, + "step": 28495 + }, + { + "epoch": 0.285, + "grad_norm": 5.142264366149902, + "learning_rate": 3.6111616161616164e-06, + "loss": 6.280252838134766, + "step": 28500 + }, + { + "epoch": 0.28505, + "grad_norm": 4.845027923583984, + "learning_rate": 3.610909090909091e-06, + "loss": 6.357699966430664, + "step": 28505 + }, + { + "epoch": 0.2851, + "grad_norm": 7.452653408050537, + "learning_rate": 3.610656565656566e-06, + "loss": 6.322651290893555, + "step": 28510 + }, + { + "epoch": 0.28515, + "grad_norm": 4.44130802154541, + "learning_rate": 3.6104040404040407e-06, + "loss": 6.319202423095703, + "step": 28515 + }, + { + "epoch": 0.2852, + "grad_norm": 9.019397735595703, + "learning_rate": 3.6101515151515153e-06, + "loss": 6.348906326293945, + "step": 28520 + }, + { + "epoch": 0.28525, + "grad_norm": 3.067349433898926, + "learning_rate": 3.60989898989899e-06, + "loss": 6.298970794677734, + "step": 28525 + }, + { + "epoch": 0.2853, + "grad_norm": 7.98826789855957, + "learning_rate": 3.609646464646465e-06, + "loss": 6.302264022827148, + "step": 28530 + }, + { + "epoch": 0.28535, + "grad_norm": 3.739572763442993, + "learning_rate": 3.6093939393939396e-06, + "loss": 6.3411415100097654, + "step": 28535 + }, + { + "epoch": 0.2854, + "grad_norm": 5.005424976348877, + "learning_rate": 3.6091414141414142e-06, + "loss": 6.304608154296875, + "step": 28540 + }, + { + "epoch": 0.28545, + "grad_norm": 6.723167419433594, + "learning_rate": 3.608888888888889e-06, + "loss": 6.330911254882812, + "step": 28545 + }, + { + "epoch": 0.2855, + "grad_norm": 6.457500457763672, + "learning_rate": 3.6086363636363644e-06, + "loss": 6.272603988647461, + "step": 28550 + }, + { + "epoch": 0.28555, + "grad_norm": 4.978327751159668, + "learning_rate": 3.6083838383838386e-06, + "loss": 6.3408252716064455, + "step": 28555 + }, + { + "epoch": 0.2856, + "grad_norm": 9.292272567749023, + "learning_rate": 3.608131313131313e-06, + "loss": 6.325208282470703, + "step": 28560 + }, + { + "epoch": 0.28565, + "grad_norm": 6.802079200744629, + "learning_rate": 3.607878787878788e-06, + "loss": 6.284593963623047, + "step": 28565 + }, + { + "epoch": 0.2857, + "grad_norm": 8.00263500213623, + "learning_rate": 3.6076262626262633e-06, + "loss": 6.295877838134766, + "step": 28570 + }, + { + "epoch": 0.28575, + "grad_norm": 5.805321216583252, + "learning_rate": 3.607373737373738e-06, + "loss": 6.3116191864013675, + "step": 28575 + }, + { + "epoch": 0.2858, + "grad_norm": 8.302186965942383, + "learning_rate": 3.6071212121212126e-06, + "loss": 6.333726501464843, + "step": 28580 + }, + { + "epoch": 0.28585, + "grad_norm": 6.827087879180908, + "learning_rate": 3.6068686868686868e-06, + "loss": 6.314664840698242, + "step": 28585 + }, + { + "epoch": 0.2859, + "grad_norm": 3.9440419673919678, + "learning_rate": 3.6066161616161622e-06, + "loss": 6.307729339599609, + "step": 28590 + }, + { + "epoch": 0.28595, + "grad_norm": 7.446237564086914, + "learning_rate": 3.606363636363637e-06, + "loss": 6.312208938598633, + "step": 28595 + }, + { + "epoch": 0.286, + "grad_norm": 5.832243919372559, + "learning_rate": 3.6061111111111115e-06, + "loss": 6.302655029296875, + "step": 28600 + }, + { + "epoch": 0.28605, + "grad_norm": 6.713873863220215, + "learning_rate": 3.605858585858586e-06, + "loss": 6.282908630371094, + "step": 28605 + }, + { + "epoch": 0.2861, + "grad_norm": 5.9138994216918945, + "learning_rate": 3.605606060606061e-06, + "loss": 6.328889083862305, + "step": 28610 + }, + { + "epoch": 0.28615, + "grad_norm": 4.267538070678711, + "learning_rate": 3.605353535353536e-06, + "loss": 6.287181091308594, + "step": 28615 + }, + { + "epoch": 0.2862, + "grad_norm": 9.032495498657227, + "learning_rate": 3.6051010101010104e-06, + "loss": 6.265768432617188, + "step": 28620 + }, + { + "epoch": 0.28625, + "grad_norm": 7.286610126495361, + "learning_rate": 3.604848484848485e-06, + "loss": 6.267265701293946, + "step": 28625 + }, + { + "epoch": 0.2863, + "grad_norm": 6.7487969398498535, + "learning_rate": 3.60459595959596e-06, + "loss": 6.39251937866211, + "step": 28630 + }, + { + "epoch": 0.28635, + "grad_norm": 5.171732425689697, + "learning_rate": 3.6043434343434348e-06, + "loss": 6.326206970214844, + "step": 28635 + }, + { + "epoch": 0.2864, + "grad_norm": 4.860161304473877, + "learning_rate": 3.6040909090909094e-06, + "loss": 6.276853942871094, + "step": 28640 + }, + { + "epoch": 0.28645, + "grad_norm": 14.631268501281738, + "learning_rate": 3.603838383838384e-06, + "loss": 6.474327087402344, + "step": 28645 + }, + { + "epoch": 0.2865, + "grad_norm": 5.2309675216674805, + "learning_rate": 3.603585858585859e-06, + "loss": 6.298002624511719, + "step": 28650 + }, + { + "epoch": 0.28655, + "grad_norm": 5.926724433898926, + "learning_rate": 3.6033333333333337e-06, + "loss": 6.291964721679688, + "step": 28655 + }, + { + "epoch": 0.2866, + "grad_norm": 5.344966411590576, + "learning_rate": 3.6030808080808083e-06, + "loss": 6.299165344238281, + "step": 28660 + }, + { + "epoch": 0.28665, + "grad_norm": 6.5483293533325195, + "learning_rate": 3.602828282828283e-06, + "loss": 6.247673034667969, + "step": 28665 + }, + { + "epoch": 0.2867, + "grad_norm": 4.552358627319336, + "learning_rate": 3.602575757575758e-06, + "loss": 6.2986194610595705, + "step": 28670 + }, + { + "epoch": 0.28675, + "grad_norm": 7.367349147796631, + "learning_rate": 3.6023232323232326e-06, + "loss": 6.27129898071289, + "step": 28675 + }, + { + "epoch": 0.2868, + "grad_norm": 2.5761096477508545, + "learning_rate": 3.6020707070707073e-06, + "loss": 6.294193267822266, + "step": 28680 + }, + { + "epoch": 0.28685, + "grad_norm": 4.492839336395264, + "learning_rate": 3.601818181818182e-06, + "loss": 6.274634170532226, + "step": 28685 + }, + { + "epoch": 0.2869, + "grad_norm": 5.902728080749512, + "learning_rate": 3.601565656565657e-06, + "loss": 6.302301025390625, + "step": 28690 + }, + { + "epoch": 0.28695, + "grad_norm": 6.737079620361328, + "learning_rate": 3.6013131313131316e-06, + "loss": 6.310853958129883, + "step": 28695 + }, + { + "epoch": 0.287, + "grad_norm": 5.647436618804932, + "learning_rate": 3.6010606060606062e-06, + "loss": 6.2589271545410154, + "step": 28700 + }, + { + "epoch": 0.28705, + "grad_norm": 5.1896820068359375, + "learning_rate": 3.600808080808081e-06, + "loss": 6.490826416015625, + "step": 28705 + }, + { + "epoch": 0.2871, + "grad_norm": 10.56762409210205, + "learning_rate": 3.600555555555556e-06, + "loss": 6.340222930908203, + "step": 28710 + }, + { + "epoch": 0.28715, + "grad_norm": 8.439702987670898, + "learning_rate": 3.6003030303030305e-06, + "loss": 6.277909851074218, + "step": 28715 + }, + { + "epoch": 0.2872, + "grad_norm": 6.057107925415039, + "learning_rate": 3.600050505050505e-06, + "loss": 6.321920013427734, + "step": 28720 + }, + { + "epoch": 0.28725, + "grad_norm": 5.100966930389404, + "learning_rate": 3.59979797979798e-06, + "loss": 6.272132110595703, + "step": 28725 + }, + { + "epoch": 0.2873, + "grad_norm": 5.461853981018066, + "learning_rate": 3.599545454545455e-06, + "loss": 6.309622955322266, + "step": 28730 + }, + { + "epoch": 0.28735, + "grad_norm": 7.601759433746338, + "learning_rate": 3.5992929292929295e-06, + "loss": 6.375357437133789, + "step": 28735 + }, + { + "epoch": 0.2874, + "grad_norm": 13.467184066772461, + "learning_rate": 3.599040404040404e-06, + "loss": 6.3205116271972654, + "step": 28740 + }, + { + "epoch": 0.28745, + "grad_norm": 17.61040496826172, + "learning_rate": 3.5987878787878787e-06, + "loss": 6.261721420288086, + "step": 28745 + }, + { + "epoch": 0.2875, + "grad_norm": 5.8795270919799805, + "learning_rate": 3.598535353535354e-06, + "loss": 6.286089324951172, + "step": 28750 + }, + { + "epoch": 0.28755, + "grad_norm": 6.664981842041016, + "learning_rate": 3.5982828282828284e-06, + "loss": 6.305912017822266, + "step": 28755 + }, + { + "epoch": 0.2876, + "grad_norm": 7.345498561859131, + "learning_rate": 3.598030303030303e-06, + "loss": 6.212039184570313, + "step": 28760 + }, + { + "epoch": 0.28765, + "grad_norm": 9.788105010986328, + "learning_rate": 3.5977777777777777e-06, + "loss": 6.3267253875732425, + "step": 28765 + }, + { + "epoch": 0.2877, + "grad_norm": 4.504337787628174, + "learning_rate": 3.597525252525253e-06, + "loss": 6.3018638610839846, + "step": 28770 + }, + { + "epoch": 0.28775, + "grad_norm": 5.888172626495361, + "learning_rate": 3.597272727272728e-06, + "loss": 6.299828720092774, + "step": 28775 + }, + { + "epoch": 0.2878, + "grad_norm": 5.33428955078125, + "learning_rate": 3.597020202020202e-06, + "loss": 6.332022857666016, + "step": 28780 + }, + { + "epoch": 0.28785, + "grad_norm": 5.0910773277282715, + "learning_rate": 3.5967676767676766e-06, + "loss": 6.342835998535156, + "step": 28785 + }, + { + "epoch": 0.2879, + "grad_norm": 7.898355960845947, + "learning_rate": 3.596515151515152e-06, + "loss": 6.317800521850586, + "step": 28790 + }, + { + "epoch": 0.28795, + "grad_norm": 5.999654769897461, + "learning_rate": 3.5962626262626267e-06, + "loss": 6.346852111816406, + "step": 28795 + }, + { + "epoch": 0.288, + "grad_norm": 4.864771366119385, + "learning_rate": 3.5960101010101014e-06, + "loss": 6.346336746215821, + "step": 28800 + }, + { + "epoch": 0.28805, + "grad_norm": 7.295454025268555, + "learning_rate": 3.5957575757575756e-06, + "loss": 6.2179405212402346, + "step": 28805 + }, + { + "epoch": 0.2881, + "grad_norm": 5.1876959800720215, + "learning_rate": 3.595505050505051e-06, + "loss": 6.2810710906982425, + "step": 28810 + }, + { + "epoch": 0.28815, + "grad_norm": 5.081201076507568, + "learning_rate": 3.5952525252525257e-06, + "loss": 6.300830078125, + "step": 28815 + }, + { + "epoch": 0.2882, + "grad_norm": 7.472127437591553, + "learning_rate": 3.5950000000000003e-06, + "loss": 6.341290283203125, + "step": 28820 + }, + { + "epoch": 0.28825, + "grad_norm": 6.3653106689453125, + "learning_rate": 3.5947474747474754e-06, + "loss": 6.267138671875, + "step": 28825 + }, + { + "epoch": 0.2883, + "grad_norm": 6.403017520904541, + "learning_rate": 3.59449494949495e-06, + "loss": 6.265883255004883, + "step": 28830 + }, + { + "epoch": 0.28835, + "grad_norm": 14.382781982421875, + "learning_rate": 3.5942424242424246e-06, + "loss": 6.287187194824218, + "step": 28835 + }, + { + "epoch": 0.2884, + "grad_norm": 8.581934928894043, + "learning_rate": 3.5939898989898993e-06, + "loss": 6.492272186279297, + "step": 28840 + }, + { + "epoch": 0.28845, + "grad_norm": 9.566410064697266, + "learning_rate": 3.5937373737373743e-06, + "loss": 6.306854629516602, + "step": 28845 + }, + { + "epoch": 0.2885, + "grad_norm": 2.9971132278442383, + "learning_rate": 3.593484848484849e-06, + "loss": 6.288943481445313, + "step": 28850 + }, + { + "epoch": 0.28855, + "grad_norm": 7.320003032684326, + "learning_rate": 3.5932323232323236e-06, + "loss": 6.269635009765625, + "step": 28855 + }, + { + "epoch": 0.2886, + "grad_norm": 6.678771495819092, + "learning_rate": 3.592979797979798e-06, + "loss": 6.310543060302734, + "step": 28860 + }, + { + "epoch": 0.28865, + "grad_norm": 6.354955196380615, + "learning_rate": 3.5927272727272733e-06, + "loss": 6.272520446777344, + "step": 28865 + }, + { + "epoch": 0.2887, + "grad_norm": 5.6723408699035645, + "learning_rate": 3.592474747474748e-06, + "loss": 6.27713623046875, + "step": 28870 + }, + { + "epoch": 0.28875, + "grad_norm": 3.6920952796936035, + "learning_rate": 3.5922222222222225e-06, + "loss": 6.32288932800293, + "step": 28875 + }, + { + "epoch": 0.2888, + "grad_norm": 4.317010402679443, + "learning_rate": 3.591969696969697e-06, + "loss": 6.3220367431640625, + "step": 28880 + }, + { + "epoch": 0.28885, + "grad_norm": 6.300610065460205, + "learning_rate": 3.591717171717172e-06, + "loss": 6.287174987792969, + "step": 28885 + }, + { + "epoch": 0.2889, + "grad_norm": 5.775434494018555, + "learning_rate": 3.591464646464647e-06, + "loss": 6.379221343994141, + "step": 28890 + }, + { + "epoch": 0.28895, + "grad_norm": 9.007369995117188, + "learning_rate": 3.5912121212121215e-06, + "loss": 6.285770034790039, + "step": 28895 + }, + { + "epoch": 0.289, + "grad_norm": 4.011603832244873, + "learning_rate": 3.590959595959596e-06, + "loss": 6.3403575897216795, + "step": 28900 + }, + { + "epoch": 0.28905, + "grad_norm": 5.603331565856934, + "learning_rate": 3.590707070707071e-06, + "loss": 6.35119514465332, + "step": 28905 + }, + { + "epoch": 0.2891, + "grad_norm": 6.6066131591796875, + "learning_rate": 3.5904545454545458e-06, + "loss": 6.322298049926758, + "step": 28910 + }, + { + "epoch": 0.28915, + "grad_norm": 5.682127475738525, + "learning_rate": 3.5902020202020204e-06, + "loss": 6.357522201538086, + "step": 28915 + }, + { + "epoch": 0.2892, + "grad_norm": 7.731381893157959, + "learning_rate": 3.589949494949495e-06, + "loss": 6.292919158935547, + "step": 28920 + }, + { + "epoch": 0.28925, + "grad_norm": 5.588710308074951, + "learning_rate": 3.58969696969697e-06, + "loss": 6.304866790771484, + "step": 28925 + }, + { + "epoch": 0.2893, + "grad_norm": 6.755128383636475, + "learning_rate": 3.5894444444444447e-06, + "loss": 6.2753761291503904, + "step": 28930 + }, + { + "epoch": 0.28935, + "grad_norm": 13.567451477050781, + "learning_rate": 3.5891919191919193e-06, + "loss": 6.498242950439453, + "step": 28935 + }, + { + "epoch": 0.2894, + "grad_norm": 4.328904151916504, + "learning_rate": 3.588939393939394e-06, + "loss": 6.284892272949219, + "step": 28940 + }, + { + "epoch": 0.28945, + "grad_norm": 15.966270446777344, + "learning_rate": 3.588686868686869e-06, + "loss": 6.149523544311523, + "step": 28945 + }, + { + "epoch": 0.2895, + "grad_norm": 7.5463032722473145, + "learning_rate": 3.5884343434343437e-06, + "loss": 6.344626617431641, + "step": 28950 + }, + { + "epoch": 0.28955, + "grad_norm": 9.200867652893066, + "learning_rate": 3.5881818181818183e-06, + "loss": 6.265273666381836, + "step": 28955 + }, + { + "epoch": 0.2896, + "grad_norm": 5.613604545593262, + "learning_rate": 3.587929292929293e-06, + "loss": 6.2631275177001955, + "step": 28960 + }, + { + "epoch": 0.28965, + "grad_norm": 4.82565450668335, + "learning_rate": 3.5876767676767684e-06, + "loss": 6.2754966735839846, + "step": 28965 + }, + { + "epoch": 0.2897, + "grad_norm": 5.451135635375977, + "learning_rate": 3.5874242424242426e-06, + "loss": 6.299645614624024, + "step": 28970 + }, + { + "epoch": 0.28975, + "grad_norm": 7.026264190673828, + "learning_rate": 3.5871717171717172e-06, + "loss": 6.288877487182617, + "step": 28975 + }, + { + "epoch": 0.2898, + "grad_norm": 4.140593528747559, + "learning_rate": 3.586919191919192e-06, + "loss": 6.312584686279297, + "step": 28980 + }, + { + "epoch": 0.28985, + "grad_norm": 4.383130073547363, + "learning_rate": 3.5866666666666673e-06, + "loss": 6.299951553344727, + "step": 28985 + }, + { + "epoch": 0.2899, + "grad_norm": 11.480146408081055, + "learning_rate": 3.586414141414142e-06, + "loss": 6.342953872680664, + "step": 28990 + }, + { + "epoch": 0.28995, + "grad_norm": 8.813700675964355, + "learning_rate": 3.5861616161616166e-06, + "loss": 6.452587890625, + "step": 28995 + }, + { + "epoch": 0.29, + "grad_norm": 9.15721321105957, + "learning_rate": 3.585909090909091e-06, + "loss": 6.276811218261718, + "step": 29000 + }, + { + "epoch": 0.29005, + "grad_norm": 5.8108601570129395, + "learning_rate": 3.5856565656565663e-06, + "loss": 6.325713348388672, + "step": 29005 + }, + { + "epoch": 0.2901, + "grad_norm": 5.665340900421143, + "learning_rate": 3.585404040404041e-06, + "loss": 6.284506225585938, + "step": 29010 + }, + { + "epoch": 0.29015, + "grad_norm": 4.184017658233643, + "learning_rate": 3.5851515151515155e-06, + "loss": 6.2553142547607425, + "step": 29015 + }, + { + "epoch": 0.2902, + "grad_norm": 7.18170690536499, + "learning_rate": 3.58489898989899e-06, + "loss": 6.284331893920898, + "step": 29020 + }, + { + "epoch": 0.29025, + "grad_norm": 5.53205680847168, + "learning_rate": 3.5846464646464652e-06, + "loss": 6.273492813110352, + "step": 29025 + }, + { + "epoch": 0.2903, + "grad_norm": 5.149905681610107, + "learning_rate": 3.58439393939394e-06, + "loss": 6.273368072509766, + "step": 29030 + }, + { + "epoch": 0.29035, + "grad_norm": 12.37472152709961, + "learning_rate": 3.5841414141414145e-06, + "loss": 6.364044952392578, + "step": 29035 + }, + { + "epoch": 0.2904, + "grad_norm": 5.250348091125488, + "learning_rate": 3.583888888888889e-06, + "loss": 6.334981536865234, + "step": 29040 + }, + { + "epoch": 0.29045, + "grad_norm": 17.527746200561523, + "learning_rate": 3.583636363636364e-06, + "loss": 6.259870529174805, + "step": 29045 + }, + { + "epoch": 0.2905, + "grad_norm": 4.577603340148926, + "learning_rate": 3.583383838383839e-06, + "loss": 6.273335266113281, + "step": 29050 + }, + { + "epoch": 0.29055, + "grad_norm": 13.465856552124023, + "learning_rate": 3.5831313131313134e-06, + "loss": 6.253815078735352, + "step": 29055 + }, + { + "epoch": 0.2906, + "grad_norm": 8.97461986541748, + "learning_rate": 3.582878787878788e-06, + "loss": 6.3315986633300785, + "step": 29060 + }, + { + "epoch": 0.29065, + "grad_norm": 3.53078293800354, + "learning_rate": 3.582626262626263e-06, + "loss": 6.344053649902344, + "step": 29065 + }, + { + "epoch": 0.2907, + "grad_norm": 4.615138530731201, + "learning_rate": 3.5823737373737377e-06, + "loss": 6.296694946289063, + "step": 29070 + }, + { + "epoch": 0.29075, + "grad_norm": 34.30817413330078, + "learning_rate": 3.5821212121212124e-06, + "loss": 6.558651733398437, + "step": 29075 + }, + { + "epoch": 0.2908, + "grad_norm": 3.9465205669403076, + "learning_rate": 3.581868686868687e-06, + "loss": 6.2717437744140625, + "step": 29080 + }, + { + "epoch": 0.29085, + "grad_norm": 8.13430404663086, + "learning_rate": 3.581616161616162e-06, + "loss": 6.322042846679688, + "step": 29085 + }, + { + "epoch": 0.2909, + "grad_norm": 6.644056797027588, + "learning_rate": 3.5813636363636367e-06, + "loss": 6.339138031005859, + "step": 29090 + }, + { + "epoch": 0.29095, + "grad_norm": 3.916104555130005, + "learning_rate": 3.5811111111111113e-06, + "loss": 6.347944641113282, + "step": 29095 + }, + { + "epoch": 0.291, + "grad_norm": 5.36790657043457, + "learning_rate": 3.580858585858586e-06, + "loss": 6.28611946105957, + "step": 29100 + }, + { + "epoch": 0.29105, + "grad_norm": 5.422263145446777, + "learning_rate": 3.580606060606061e-06, + "loss": 6.2707977294921875, + "step": 29105 + }, + { + "epoch": 0.2911, + "grad_norm": 6.120826721191406, + "learning_rate": 3.5803535353535356e-06, + "loss": 6.30921630859375, + "step": 29110 + }, + { + "epoch": 0.29115, + "grad_norm": 7.3816914558410645, + "learning_rate": 3.5801010101010103e-06, + "loss": 6.273519897460938, + "step": 29115 + }, + { + "epoch": 0.2912, + "grad_norm": 22.8885498046875, + "learning_rate": 3.579848484848485e-06, + "loss": 6.252163314819336, + "step": 29120 + }, + { + "epoch": 0.29125, + "grad_norm": 7.437877655029297, + "learning_rate": 3.57959595959596e-06, + "loss": 6.2931255340576175, + "step": 29125 + }, + { + "epoch": 0.2913, + "grad_norm": 6.049250602722168, + "learning_rate": 3.5793434343434346e-06, + "loss": 6.301666259765625, + "step": 29130 + }, + { + "epoch": 0.29135, + "grad_norm": 6.148924350738525, + "learning_rate": 3.579090909090909e-06, + "loss": 6.313642501831055, + "step": 29135 + }, + { + "epoch": 0.2914, + "grad_norm": 5.537292957305908, + "learning_rate": 3.578838383838384e-06, + "loss": 6.279273223876953, + "step": 29140 + }, + { + "epoch": 0.29145, + "grad_norm": 8.600954055786133, + "learning_rate": 3.578585858585859e-06, + "loss": 6.323283386230469, + "step": 29145 + }, + { + "epoch": 0.2915, + "grad_norm": 4.2532806396484375, + "learning_rate": 3.5783333333333335e-06, + "loss": 6.320634460449218, + "step": 29150 + }, + { + "epoch": 0.29155, + "grad_norm": 3.7155098915100098, + "learning_rate": 3.578080808080808e-06, + "loss": 6.298206329345703, + "step": 29155 + }, + { + "epoch": 0.2916, + "grad_norm": 7.740283489227295, + "learning_rate": 3.5778282828282828e-06, + "loss": 6.322317123413086, + "step": 29160 + }, + { + "epoch": 0.29165, + "grad_norm": 4.459195137023926, + "learning_rate": 3.577575757575758e-06, + "loss": 6.370047760009766, + "step": 29165 + }, + { + "epoch": 0.2917, + "grad_norm": 41.54624938964844, + "learning_rate": 3.5773232323232325e-06, + "loss": 6.199592590332031, + "step": 29170 + }, + { + "epoch": 0.29175, + "grad_norm": 3.356029987335205, + "learning_rate": 3.577070707070707e-06, + "loss": 6.085910034179688, + "step": 29175 + }, + { + "epoch": 0.2918, + "grad_norm": 7.024199962615967, + "learning_rate": 3.5768181818181817e-06, + "loss": 6.28079833984375, + "step": 29180 + }, + { + "epoch": 0.29185, + "grad_norm": 7.20844841003418, + "learning_rate": 3.576565656565657e-06, + "loss": 6.275858306884766, + "step": 29185 + }, + { + "epoch": 0.2919, + "grad_norm": 7.901179313659668, + "learning_rate": 3.576313131313132e-06, + "loss": 6.474188995361328, + "step": 29190 + }, + { + "epoch": 0.29195, + "grad_norm": 5.406975746154785, + "learning_rate": 3.576060606060606e-06, + "loss": 6.313428115844727, + "step": 29195 + }, + { + "epoch": 0.292, + "grad_norm": 7.44565486907959, + "learning_rate": 3.5758080808080807e-06, + "loss": 6.3004608154296875, + "step": 29200 + }, + { + "epoch": 0.29205, + "grad_norm": 5.292686939239502, + "learning_rate": 3.575555555555556e-06, + "loss": 6.281940460205078, + "step": 29205 + }, + { + "epoch": 0.2921, + "grad_norm": 5.81514835357666, + "learning_rate": 3.5753030303030308e-06, + "loss": 6.348016357421875, + "step": 29210 + }, + { + "epoch": 0.29215, + "grad_norm": 4.0477142333984375, + "learning_rate": 3.5750505050505054e-06, + "loss": 6.310513687133789, + "step": 29215 + }, + { + "epoch": 0.2922, + "grad_norm": 6.460570812225342, + "learning_rate": 3.5747979797979796e-06, + "loss": 6.3128093719482425, + "step": 29220 + }, + { + "epoch": 0.29225, + "grad_norm": 4.725200176239014, + "learning_rate": 3.574545454545455e-06, + "loss": 6.317466354370117, + "step": 29225 + }, + { + "epoch": 0.2923, + "grad_norm": 4.774486541748047, + "learning_rate": 3.5742929292929297e-06, + "loss": 6.2786205291748045, + "step": 29230 + }, + { + "epoch": 0.29235, + "grad_norm": 5.3465576171875, + "learning_rate": 3.5740404040404043e-06, + "loss": 6.324010848999023, + "step": 29235 + }, + { + "epoch": 0.2924, + "grad_norm": 5.891499042510986, + "learning_rate": 3.573787878787879e-06, + "loss": 6.284039306640625, + "step": 29240 + }, + { + "epoch": 0.29245, + "grad_norm": 8.401041984558105, + "learning_rate": 3.573535353535354e-06, + "loss": 6.272295379638672, + "step": 29245 + }, + { + "epoch": 0.2925, + "grad_norm": 3.6559360027313232, + "learning_rate": 3.5732828282828287e-06, + "loss": 6.298555374145508, + "step": 29250 + }, + { + "epoch": 0.29255, + "grad_norm": 4.162300109863281, + "learning_rate": 3.5730303030303033e-06, + "loss": 6.303508758544922, + "step": 29255 + }, + { + "epoch": 0.2926, + "grad_norm": 3.364703893661499, + "learning_rate": 3.5727777777777783e-06, + "loss": 6.252381896972656, + "step": 29260 + }, + { + "epoch": 0.29265, + "grad_norm": 5.502880573272705, + "learning_rate": 3.572525252525253e-06, + "loss": 6.319469451904297, + "step": 29265 + }, + { + "epoch": 0.2927, + "grad_norm": 7.987439155578613, + "learning_rate": 3.5722727272727276e-06, + "loss": 6.29638786315918, + "step": 29270 + }, + { + "epoch": 0.29275, + "grad_norm": 9.062360763549805, + "learning_rate": 3.5720202020202022e-06, + "loss": 6.339817047119141, + "step": 29275 + }, + { + "epoch": 0.2928, + "grad_norm": 3.9892537593841553, + "learning_rate": 3.5717676767676773e-06, + "loss": 6.323897933959961, + "step": 29280 + }, + { + "epoch": 0.29285, + "grad_norm": 7.5546650886535645, + "learning_rate": 3.571515151515152e-06, + "loss": 6.294126510620117, + "step": 29285 + }, + { + "epoch": 0.2929, + "grad_norm": 8.40169620513916, + "learning_rate": 3.5712626262626266e-06, + "loss": 6.30529556274414, + "step": 29290 + }, + { + "epoch": 0.29295, + "grad_norm": 7.2665181159973145, + "learning_rate": 3.571010101010101e-06, + "loss": 6.357051086425781, + "step": 29295 + }, + { + "epoch": 0.293, + "grad_norm": 4.001103401184082, + "learning_rate": 3.5707575757575762e-06, + "loss": 6.29302749633789, + "step": 29300 + }, + { + "epoch": 0.29305, + "grad_norm": 6.259092330932617, + "learning_rate": 3.570505050505051e-06, + "loss": 6.241490173339844, + "step": 29305 + }, + { + "epoch": 0.2931, + "grad_norm": 10.678960800170898, + "learning_rate": 3.5702525252525255e-06, + "loss": 6.337287139892578, + "step": 29310 + }, + { + "epoch": 0.29315, + "grad_norm": 6.0177001953125, + "learning_rate": 3.57e-06, + "loss": 6.304063415527343, + "step": 29315 + }, + { + "epoch": 0.2932, + "grad_norm": 5.336589813232422, + "learning_rate": 3.569747474747475e-06, + "loss": 6.324079132080078, + "step": 29320 + }, + { + "epoch": 0.29325, + "grad_norm": 4.683729648590088, + "learning_rate": 3.56949494949495e-06, + "loss": 6.27764663696289, + "step": 29325 + }, + { + "epoch": 0.2933, + "grad_norm": 5.715831756591797, + "learning_rate": 3.5692424242424244e-06, + "loss": 6.305743408203125, + "step": 29330 + }, + { + "epoch": 0.29335, + "grad_norm": 6.360212802886963, + "learning_rate": 3.568989898989899e-06, + "loss": 6.303823471069336, + "step": 29335 + }, + { + "epoch": 0.2934, + "grad_norm": 9.453848838806152, + "learning_rate": 3.568737373737374e-06, + "loss": 6.3699188232421875, + "step": 29340 + }, + { + "epoch": 0.29345, + "grad_norm": 5.854568004608154, + "learning_rate": 3.5684848484848488e-06, + "loss": 6.4501701354980465, + "step": 29345 + }, + { + "epoch": 0.2935, + "grad_norm": 7.13533353805542, + "learning_rate": 3.5682323232323234e-06, + "loss": 6.320172119140625, + "step": 29350 + }, + { + "epoch": 0.29355, + "grad_norm": 7.607511043548584, + "learning_rate": 3.567979797979798e-06, + "loss": 6.665991973876953, + "step": 29355 + }, + { + "epoch": 0.2936, + "grad_norm": 7.771399021148682, + "learning_rate": 3.567727272727273e-06, + "loss": 6.2485809326171875, + "step": 29360 + }, + { + "epoch": 0.29365, + "grad_norm": 8.342504501342773, + "learning_rate": 3.5674747474747477e-06, + "loss": 6.312671661376953, + "step": 29365 + }, + { + "epoch": 0.2937, + "grad_norm": 5.386643409729004, + "learning_rate": 3.5672222222222223e-06, + "loss": 6.311551284790039, + "step": 29370 + }, + { + "epoch": 0.29375, + "grad_norm": 6.3127851486206055, + "learning_rate": 3.566969696969697e-06, + "loss": 6.309173583984375, + "step": 29375 + }, + { + "epoch": 0.2938, + "grad_norm": 7.319690227508545, + "learning_rate": 3.5667171717171724e-06, + "loss": 6.332748794555664, + "step": 29380 + }, + { + "epoch": 0.29385, + "grad_norm": 5.301462650299072, + "learning_rate": 3.5664646464646466e-06, + "loss": 6.343075561523437, + "step": 29385 + }, + { + "epoch": 0.2939, + "grad_norm": 13.324609756469727, + "learning_rate": 3.5662121212121213e-06, + "loss": 6.195567321777344, + "step": 29390 + }, + { + "epoch": 0.29395, + "grad_norm": 6.056017875671387, + "learning_rate": 3.565959595959596e-06, + "loss": 6.291217041015625, + "step": 29395 + }, + { + "epoch": 0.294, + "grad_norm": 6.894514560699463, + "learning_rate": 3.5657070707070714e-06, + "loss": 6.317230224609375, + "step": 29400 + }, + { + "epoch": 0.29405, + "grad_norm": 9.174859046936035, + "learning_rate": 3.565454545454546e-06, + "loss": 6.405181121826172, + "step": 29405 + }, + { + "epoch": 0.2941, + "grad_norm": 5.910061359405518, + "learning_rate": 3.5652020202020206e-06, + "loss": 6.338095474243164, + "step": 29410 + }, + { + "epoch": 0.29415, + "grad_norm": 4.480605125427246, + "learning_rate": 3.564949494949495e-06, + "loss": 6.249681091308593, + "step": 29415 + }, + { + "epoch": 0.2942, + "grad_norm": 8.932344436645508, + "learning_rate": 3.5646969696969703e-06, + "loss": 6.322673034667969, + "step": 29420 + }, + { + "epoch": 0.29425, + "grad_norm": 5.6024956703186035, + "learning_rate": 3.564444444444445e-06, + "loss": 6.304268646240234, + "step": 29425 + }, + { + "epoch": 0.2943, + "grad_norm": 7.965230464935303, + "learning_rate": 3.5641919191919196e-06, + "loss": 6.258568954467774, + "step": 29430 + }, + { + "epoch": 0.29435, + "grad_norm": 7.790179252624512, + "learning_rate": 3.563939393939394e-06, + "loss": 6.31065673828125, + "step": 29435 + }, + { + "epoch": 0.2944, + "grad_norm": 5.013424873352051, + "learning_rate": 3.5636868686868693e-06, + "loss": 6.291405487060547, + "step": 29440 + }, + { + "epoch": 0.29445, + "grad_norm": 5.350167751312256, + "learning_rate": 3.563434343434344e-06, + "loss": 6.296469879150391, + "step": 29445 + }, + { + "epoch": 0.2945, + "grad_norm": 4.955093860626221, + "learning_rate": 3.5631818181818185e-06, + "loss": 6.32977523803711, + "step": 29450 + }, + { + "epoch": 0.29455, + "grad_norm": 8.105680465698242, + "learning_rate": 3.562929292929293e-06, + "loss": 6.381786346435547, + "step": 29455 + }, + { + "epoch": 0.2946, + "grad_norm": 10.865351676940918, + "learning_rate": 3.562676767676768e-06, + "loss": 6.327909851074219, + "step": 29460 + }, + { + "epoch": 0.29465, + "grad_norm": 5.101296901702881, + "learning_rate": 3.562424242424243e-06, + "loss": 6.276557922363281, + "step": 29465 + }, + { + "epoch": 0.2947, + "grad_norm": 6.576651096343994, + "learning_rate": 3.5621717171717175e-06, + "loss": 6.273812103271484, + "step": 29470 + }, + { + "epoch": 0.29475, + "grad_norm": 5.275091648101807, + "learning_rate": 3.561919191919192e-06, + "loss": 6.301033020019531, + "step": 29475 + }, + { + "epoch": 0.2948, + "grad_norm": 4.066470146179199, + "learning_rate": 3.561666666666667e-06, + "loss": 6.303281021118164, + "step": 29480 + }, + { + "epoch": 0.29485, + "grad_norm": 7.759692192077637, + "learning_rate": 3.5614141414141418e-06, + "loss": 6.294646835327148, + "step": 29485 + }, + { + "epoch": 0.2949, + "grad_norm": 35.01994705200195, + "learning_rate": 3.5611616161616164e-06, + "loss": 6.164224243164062, + "step": 29490 + }, + { + "epoch": 0.29495, + "grad_norm": 7.678826808929443, + "learning_rate": 3.560909090909091e-06, + "loss": 6.227882766723633, + "step": 29495 + }, + { + "epoch": 0.295, + "grad_norm": 4.337158679962158, + "learning_rate": 3.560656565656566e-06, + "loss": 6.282904052734375, + "step": 29500 + }, + { + "epoch": 0.29505, + "grad_norm": 7.657970905303955, + "learning_rate": 3.5604040404040407e-06, + "loss": 6.302424621582031, + "step": 29505 + }, + { + "epoch": 0.2951, + "grad_norm": 6.034323692321777, + "learning_rate": 3.5601515151515154e-06, + "loss": 6.271267700195312, + "step": 29510 + }, + { + "epoch": 0.29515, + "grad_norm": 5.539667129516602, + "learning_rate": 3.55989898989899e-06, + "loss": 6.35978889465332, + "step": 29515 + }, + { + "epoch": 0.2952, + "grad_norm": 14.03776741027832, + "learning_rate": 3.559646464646465e-06, + "loss": 6.305487442016601, + "step": 29520 + }, + { + "epoch": 0.29525, + "grad_norm": 4.768974304199219, + "learning_rate": 3.5593939393939397e-06, + "loss": 6.1936897277832035, + "step": 29525 + }, + { + "epoch": 0.2953, + "grad_norm": 6.302005290985107, + "learning_rate": 3.5591414141414143e-06, + "loss": 6.271580505371094, + "step": 29530 + }, + { + "epoch": 0.29535, + "grad_norm": 4.648326396942139, + "learning_rate": 3.558888888888889e-06, + "loss": 6.3098091125488285, + "step": 29535 + }, + { + "epoch": 0.2954, + "grad_norm": 10.270318031311035, + "learning_rate": 3.558636363636364e-06, + "loss": 6.278652191162109, + "step": 29540 + }, + { + "epoch": 0.29545, + "grad_norm": 7.089316368103027, + "learning_rate": 3.5583838383838386e-06, + "loss": 6.323274612426758, + "step": 29545 + }, + { + "epoch": 0.2955, + "grad_norm": 5.445096492767334, + "learning_rate": 3.5581313131313132e-06, + "loss": 6.278923034667969, + "step": 29550 + }, + { + "epoch": 0.29555, + "grad_norm": 4.289143085479736, + "learning_rate": 3.557878787878788e-06, + "loss": 6.313589859008789, + "step": 29555 + }, + { + "epoch": 0.2956, + "grad_norm": 13.919963836669922, + "learning_rate": 3.557626262626263e-06, + "loss": 6.256758499145508, + "step": 29560 + }, + { + "epoch": 0.29565, + "grad_norm": 9.134503364562988, + "learning_rate": 3.5573737373737376e-06, + "loss": 6.2950439453125, + "step": 29565 + }, + { + "epoch": 0.2957, + "grad_norm": 5.561146259307861, + "learning_rate": 3.557121212121212e-06, + "loss": 6.365909576416016, + "step": 29570 + }, + { + "epoch": 0.29575, + "grad_norm": 13.374863624572754, + "learning_rate": 3.556868686868687e-06, + "loss": 6.332316589355469, + "step": 29575 + }, + { + "epoch": 0.2958, + "grad_norm": 3.0493996143341064, + "learning_rate": 3.556616161616162e-06, + "loss": 6.309603500366211, + "step": 29580 + }, + { + "epoch": 0.29585, + "grad_norm": 9.188202857971191, + "learning_rate": 3.5563636363636365e-06, + "loss": 6.342683029174805, + "step": 29585 + }, + { + "epoch": 0.2959, + "grad_norm": 7.470753192901611, + "learning_rate": 3.556111111111111e-06, + "loss": 6.308557510375977, + "step": 29590 + }, + { + "epoch": 0.29595, + "grad_norm": 3.8476085662841797, + "learning_rate": 3.5558585858585858e-06, + "loss": 6.273486709594726, + "step": 29595 + }, + { + "epoch": 0.296, + "grad_norm": 9.957229614257812, + "learning_rate": 3.5556060606060612e-06, + "loss": 6.349224090576172, + "step": 29600 + }, + { + "epoch": 0.29605, + "grad_norm": 6.487241268157959, + "learning_rate": 3.555353535353536e-06, + "loss": 6.318891906738282, + "step": 29605 + }, + { + "epoch": 0.2961, + "grad_norm": 5.474497318267822, + "learning_rate": 3.55510101010101e-06, + "loss": 6.3058631896972654, + "step": 29610 + }, + { + "epoch": 0.29615, + "grad_norm": 3.405442237854004, + "learning_rate": 3.5548484848484847e-06, + "loss": 6.3488616943359375, + "step": 29615 + }, + { + "epoch": 0.2962, + "grad_norm": 4.462718963623047, + "learning_rate": 3.55459595959596e-06, + "loss": 6.2877960205078125, + "step": 29620 + }, + { + "epoch": 0.29625, + "grad_norm": 6.832292556762695, + "learning_rate": 3.554343434343435e-06, + "loss": 6.293314743041992, + "step": 29625 + }, + { + "epoch": 0.2963, + "grad_norm": 5.779564380645752, + "learning_rate": 3.5540909090909094e-06, + "loss": 6.3362171173095705, + "step": 29630 + }, + { + "epoch": 0.29635, + "grad_norm": 4.0064592361450195, + "learning_rate": 3.553838383838384e-06, + "loss": 6.334922027587891, + "step": 29635 + }, + { + "epoch": 0.2964, + "grad_norm": 7.410496234893799, + "learning_rate": 3.553585858585859e-06, + "loss": 6.32331428527832, + "step": 29640 + }, + { + "epoch": 0.29645, + "grad_norm": 6.6105146408081055, + "learning_rate": 3.5533333333333338e-06, + "loss": 6.289257049560547, + "step": 29645 + }, + { + "epoch": 0.2965, + "grad_norm": 4.35793399810791, + "learning_rate": 3.5530808080808084e-06, + "loss": 6.311123657226562, + "step": 29650 + }, + { + "epoch": 0.29655, + "grad_norm": 5.256542682647705, + "learning_rate": 3.552828282828283e-06, + "loss": 6.265432739257813, + "step": 29655 + }, + { + "epoch": 0.2966, + "grad_norm": 5.709907054901123, + "learning_rate": 3.552575757575758e-06, + "loss": 6.267720031738281, + "step": 29660 + }, + { + "epoch": 0.29665, + "grad_norm": 4.539068222045898, + "learning_rate": 3.5523232323232327e-06, + "loss": 6.281230545043945, + "step": 29665 + }, + { + "epoch": 0.2967, + "grad_norm": 8.578764915466309, + "learning_rate": 3.5520707070707073e-06, + "loss": 6.283077239990234, + "step": 29670 + }, + { + "epoch": 0.29675, + "grad_norm": 4.906740665435791, + "learning_rate": 3.551818181818182e-06, + "loss": 6.290102005004883, + "step": 29675 + }, + { + "epoch": 0.2968, + "grad_norm": 7.908860683441162, + "learning_rate": 3.551565656565657e-06, + "loss": 6.287265396118164, + "step": 29680 + }, + { + "epoch": 0.29685, + "grad_norm": 6.177100658416748, + "learning_rate": 3.5513131313131316e-06, + "loss": 6.421934509277344, + "step": 29685 + }, + { + "epoch": 0.2969, + "grad_norm": 6.305956840515137, + "learning_rate": 3.5510606060606063e-06, + "loss": 6.285928344726562, + "step": 29690 + }, + { + "epoch": 0.29695, + "grad_norm": 7.294287204742432, + "learning_rate": 3.5508080808080813e-06, + "loss": 6.256629943847656, + "step": 29695 + }, + { + "epoch": 0.297, + "grad_norm": 6.181205749511719, + "learning_rate": 3.550555555555556e-06, + "loss": 6.263467788696289, + "step": 29700 + }, + { + "epoch": 0.29705, + "grad_norm": 6.430354118347168, + "learning_rate": 3.5503030303030306e-06, + "loss": 6.277581787109375, + "step": 29705 + }, + { + "epoch": 0.2971, + "grad_norm": 9.443880081176758, + "learning_rate": 3.5500505050505052e-06, + "loss": 6.261558151245117, + "step": 29710 + }, + { + "epoch": 0.29715, + "grad_norm": 24.640432357788086, + "learning_rate": 3.5497979797979803e-06, + "loss": 5.906934356689453, + "step": 29715 + }, + { + "epoch": 0.2972, + "grad_norm": 24.947561264038086, + "learning_rate": 3.549545454545455e-06, + "loss": 5.436868667602539, + "step": 29720 + }, + { + "epoch": 0.29725, + "grad_norm": 7.861790657043457, + "learning_rate": 3.5492929292929295e-06, + "loss": 6.244410705566406, + "step": 29725 + }, + { + "epoch": 0.2973, + "grad_norm": 5.021613121032715, + "learning_rate": 3.549040404040404e-06, + "loss": 6.3192138671875, + "step": 29730 + }, + { + "epoch": 0.29735, + "grad_norm": 9.627565383911133, + "learning_rate": 3.5487878787878792e-06, + "loss": 6.248217010498047, + "step": 29735 + }, + { + "epoch": 0.2974, + "grad_norm": 8.743024826049805, + "learning_rate": 3.548535353535354e-06, + "loss": 6.27972640991211, + "step": 29740 + }, + { + "epoch": 0.29745, + "grad_norm": 4.4820427894592285, + "learning_rate": 3.5482828282828285e-06, + "loss": 6.326733779907227, + "step": 29745 + }, + { + "epoch": 0.2975, + "grad_norm": 6.135499477386475, + "learning_rate": 3.548030303030303e-06, + "loss": 6.343452835083008, + "step": 29750 + }, + { + "epoch": 0.29755, + "grad_norm": 4.53029203414917, + "learning_rate": 3.547777777777778e-06, + "loss": 6.296767807006836, + "step": 29755 + }, + { + "epoch": 0.2976, + "grad_norm": 6.879767894744873, + "learning_rate": 3.547525252525253e-06, + "loss": 6.285468292236328, + "step": 29760 + }, + { + "epoch": 0.29765, + "grad_norm": 5.981883525848389, + "learning_rate": 3.5472727272727274e-06, + "loss": 6.292559051513672, + "step": 29765 + }, + { + "epoch": 0.2977, + "grad_norm": 3.529245615005493, + "learning_rate": 3.547020202020202e-06, + "loss": 6.2896484375, + "step": 29770 + }, + { + "epoch": 0.29775, + "grad_norm": 4.5766096115112305, + "learning_rate": 3.546767676767677e-06, + "loss": 6.282649993896484, + "step": 29775 + }, + { + "epoch": 0.2978, + "grad_norm": 3.258888006210327, + "learning_rate": 3.5465151515151517e-06, + "loss": 6.310800552368164, + "step": 29780 + }, + { + "epoch": 0.29785, + "grad_norm": 5.118357181549072, + "learning_rate": 3.5462626262626264e-06, + "loss": 6.332068634033203, + "step": 29785 + }, + { + "epoch": 0.2979, + "grad_norm": 6.421121597290039, + "learning_rate": 3.546010101010101e-06, + "loss": 6.382361602783203, + "step": 29790 + }, + { + "epoch": 0.29795, + "grad_norm": 4.995228290557861, + "learning_rate": 3.5457575757575765e-06, + "loss": 6.294057464599609, + "step": 29795 + }, + { + "epoch": 0.298, + "grad_norm": 6.232391357421875, + "learning_rate": 3.545505050505051e-06, + "loss": 6.4007926940917965, + "step": 29800 + }, + { + "epoch": 0.29805, + "grad_norm": 4.867082595825195, + "learning_rate": 3.5452525252525253e-06, + "loss": 6.291249084472656, + "step": 29805 + }, + { + "epoch": 0.2981, + "grad_norm": 15.936858177185059, + "learning_rate": 3.545e-06, + "loss": 6.340728759765625, + "step": 29810 + }, + { + "epoch": 0.29815, + "grad_norm": 5.088853359222412, + "learning_rate": 3.5447474747474754e-06, + "loss": 6.3107250213623045, + "step": 29815 + }, + { + "epoch": 0.2982, + "grad_norm": 8.644691467285156, + "learning_rate": 3.54449494949495e-06, + "loss": 6.274047088623047, + "step": 29820 + }, + { + "epoch": 0.29825, + "grad_norm": 4.894280433654785, + "learning_rate": 3.5442424242424247e-06, + "loss": 6.305270767211914, + "step": 29825 + }, + { + "epoch": 0.2983, + "grad_norm": 3.2908434867858887, + "learning_rate": 3.543989898989899e-06, + "loss": 6.302842330932617, + "step": 29830 + }, + { + "epoch": 0.29835, + "grad_norm": 15.87802505493164, + "learning_rate": 3.5437373737373744e-06, + "loss": 6.508995056152344, + "step": 29835 + }, + { + "epoch": 0.2984, + "grad_norm": 25.657636642456055, + "learning_rate": 3.543484848484849e-06, + "loss": 6.492586517333985, + "step": 29840 + }, + { + "epoch": 0.29845, + "grad_norm": 15.43842887878418, + "learning_rate": 3.5432323232323236e-06, + "loss": 6.437177276611328, + "step": 29845 + }, + { + "epoch": 0.2985, + "grad_norm": 7.3887786865234375, + "learning_rate": 3.5429797979797983e-06, + "loss": 6.345815277099609, + "step": 29850 + }, + { + "epoch": 0.29855, + "grad_norm": 6.90225076675415, + "learning_rate": 3.5427272727272733e-06, + "loss": 6.340507888793946, + "step": 29855 + }, + { + "epoch": 0.2986, + "grad_norm": 6.959244251251221, + "learning_rate": 3.542474747474748e-06, + "loss": 6.191806030273438, + "step": 29860 + }, + { + "epoch": 0.29865, + "grad_norm": 14.063956260681152, + "learning_rate": 3.5422222222222226e-06, + "loss": 6.44783935546875, + "step": 29865 + }, + { + "epoch": 0.2987, + "grad_norm": 5.093909740447998, + "learning_rate": 3.541969696969697e-06, + "loss": 6.415027618408203, + "step": 29870 + }, + { + "epoch": 0.29875, + "grad_norm": 6.303191184997559, + "learning_rate": 3.5417171717171722e-06, + "loss": 6.378090286254883, + "step": 29875 + }, + { + "epoch": 0.2988, + "grad_norm": 8.031275749206543, + "learning_rate": 3.541464646464647e-06, + "loss": 6.312608337402343, + "step": 29880 + }, + { + "epoch": 0.29885, + "grad_norm": 4.717705249786377, + "learning_rate": 3.5412121212121215e-06, + "loss": 6.352294921875, + "step": 29885 + }, + { + "epoch": 0.2989, + "grad_norm": 7.987373352050781, + "learning_rate": 3.540959595959596e-06, + "loss": 6.286529922485352, + "step": 29890 + }, + { + "epoch": 0.29895, + "grad_norm": 6.087131977081299, + "learning_rate": 3.540707070707071e-06, + "loss": 6.306478118896484, + "step": 29895 + }, + { + "epoch": 0.299, + "grad_norm": 6.794095516204834, + "learning_rate": 3.540454545454546e-06, + "loss": 6.3231201171875, + "step": 29900 + }, + { + "epoch": 0.29905, + "grad_norm": 6.107101917266846, + "learning_rate": 3.5402020202020205e-06, + "loss": 6.311095428466797, + "step": 29905 + }, + { + "epoch": 0.2991, + "grad_norm": 6.169513702392578, + "learning_rate": 3.539949494949495e-06, + "loss": 6.310579681396485, + "step": 29910 + }, + { + "epoch": 0.29915, + "grad_norm": 6.874863147735596, + "learning_rate": 3.53969696969697e-06, + "loss": 6.300856018066407, + "step": 29915 + }, + { + "epoch": 0.2992, + "grad_norm": 3.1986083984375, + "learning_rate": 3.5394444444444448e-06, + "loss": 6.299204254150391, + "step": 29920 + }, + { + "epoch": 0.29925, + "grad_norm": 6.728003978729248, + "learning_rate": 3.5391919191919194e-06, + "loss": 6.316722106933594, + "step": 29925 + }, + { + "epoch": 0.2993, + "grad_norm": 7.261544227600098, + "learning_rate": 3.538939393939394e-06, + "loss": 6.29705810546875, + "step": 29930 + }, + { + "epoch": 0.29935, + "grad_norm": 4.328718185424805, + "learning_rate": 3.538686868686869e-06, + "loss": 6.29155387878418, + "step": 29935 + }, + { + "epoch": 0.2994, + "grad_norm": 3.990241050720215, + "learning_rate": 3.5384343434343437e-06, + "loss": 6.246854400634765, + "step": 29940 + }, + { + "epoch": 0.29945, + "grad_norm": 5.74593448638916, + "learning_rate": 3.5381818181818183e-06, + "loss": 6.335731124877929, + "step": 29945 + }, + { + "epoch": 0.2995, + "grad_norm": 6.287469863891602, + "learning_rate": 3.537929292929293e-06, + "loss": 6.322204208374023, + "step": 29950 + }, + { + "epoch": 0.29955, + "grad_norm": 12.371041297912598, + "learning_rate": 3.537676767676768e-06, + "loss": 6.296611785888672, + "step": 29955 + }, + { + "epoch": 0.2996, + "grad_norm": 13.603057861328125, + "learning_rate": 3.5374242424242427e-06, + "loss": 6.462675476074219, + "step": 29960 + }, + { + "epoch": 0.29965, + "grad_norm": 4.240120887756348, + "learning_rate": 3.5371717171717173e-06, + "loss": 6.298146438598633, + "step": 29965 + }, + { + "epoch": 0.2997, + "grad_norm": 5.512221813201904, + "learning_rate": 3.536919191919192e-06, + "loss": 6.379457473754883, + "step": 29970 + }, + { + "epoch": 0.29975, + "grad_norm": 16.020565032958984, + "learning_rate": 3.536666666666667e-06, + "loss": 6.414798736572266, + "step": 29975 + }, + { + "epoch": 0.2998, + "grad_norm": 8.86745834350586, + "learning_rate": 3.5364141414141416e-06, + "loss": 6.298620986938476, + "step": 29980 + }, + { + "epoch": 0.29985, + "grad_norm": 3.77581787109375, + "learning_rate": 3.5361616161616162e-06, + "loss": 6.265024566650391, + "step": 29985 + }, + { + "epoch": 0.2999, + "grad_norm": 6.239947319030762, + "learning_rate": 3.535909090909091e-06, + "loss": 6.304644775390625, + "step": 29990 + }, + { + "epoch": 0.29995, + "grad_norm": 4.137029647827148, + "learning_rate": 3.535656565656566e-06, + "loss": 6.319628143310547, + "step": 29995 + }, + { + "epoch": 0.3, + "grad_norm": 6.027128219604492, + "learning_rate": 3.5354040404040405e-06, + "loss": 6.296832275390625, + "step": 30000 + }, + { + "epoch": 0.30005, + "grad_norm": 3.7814910411834717, + "learning_rate": 3.535151515151515e-06, + "loss": 6.277749633789062, + "step": 30005 + }, + { + "epoch": 0.3001, + "grad_norm": 4.204829216003418, + "learning_rate": 3.53489898989899e-06, + "loss": 6.244540023803711, + "step": 30010 + }, + { + "epoch": 0.30015, + "grad_norm": 5.629079341888428, + "learning_rate": 3.5346464646464653e-06, + "loss": 6.274118804931641, + "step": 30015 + }, + { + "epoch": 0.3002, + "grad_norm": 10.304169654846191, + "learning_rate": 3.53439393939394e-06, + "loss": 6.397298049926758, + "step": 30020 + }, + { + "epoch": 0.30025, + "grad_norm": 5.382565975189209, + "learning_rate": 3.534141414141414e-06, + "loss": 6.222068405151367, + "step": 30025 + }, + { + "epoch": 0.3003, + "grad_norm": 4.017219543457031, + "learning_rate": 3.5338888888888887e-06, + "loss": 6.283623886108399, + "step": 30030 + }, + { + "epoch": 0.30035, + "grad_norm": 5.777952671051025, + "learning_rate": 3.5336363636363642e-06, + "loss": 6.287588500976563, + "step": 30035 + }, + { + "epoch": 0.3004, + "grad_norm": 4.398703575134277, + "learning_rate": 3.533383838383839e-06, + "loss": 6.273918914794922, + "step": 30040 + }, + { + "epoch": 0.30045, + "grad_norm": 16.484294891357422, + "learning_rate": 3.5331313131313135e-06, + "loss": 6.261434936523438, + "step": 30045 + }, + { + "epoch": 0.3005, + "grad_norm": 5.08121919631958, + "learning_rate": 3.532878787878788e-06, + "loss": 6.341363906860352, + "step": 30050 + }, + { + "epoch": 0.30055, + "grad_norm": 8.416431427001953, + "learning_rate": 3.532626262626263e-06, + "loss": 6.346788787841797, + "step": 30055 + }, + { + "epoch": 0.3006, + "grad_norm": 6.134696960449219, + "learning_rate": 3.532373737373738e-06, + "loss": 6.311572265625, + "step": 30060 + }, + { + "epoch": 0.30065, + "grad_norm": 11.407038688659668, + "learning_rate": 3.5321212121212124e-06, + "loss": 6.33343620300293, + "step": 30065 + }, + { + "epoch": 0.3007, + "grad_norm": 8.71596622467041, + "learning_rate": 3.531868686868687e-06, + "loss": 6.592255401611328, + "step": 30070 + }, + { + "epoch": 0.30075, + "grad_norm": 47.59225082397461, + "learning_rate": 3.531616161616162e-06, + "loss": 6.6562049865722654, + "step": 30075 + }, + { + "epoch": 0.3008, + "grad_norm": 20.232004165649414, + "learning_rate": 3.5313636363636367e-06, + "loss": 6.269707489013672, + "step": 30080 + }, + { + "epoch": 0.30085, + "grad_norm": 5.101109504699707, + "learning_rate": 3.5311111111111114e-06, + "loss": 6.319311904907226, + "step": 30085 + }, + { + "epoch": 0.3009, + "grad_norm": 12.357074737548828, + "learning_rate": 3.530858585858586e-06, + "loss": 6.2411540985107425, + "step": 30090 + }, + { + "epoch": 0.30095, + "grad_norm": 7.410624027252197, + "learning_rate": 3.530606060606061e-06, + "loss": 6.3332359313964846, + "step": 30095 + }, + { + "epoch": 0.301, + "grad_norm": 7.05325174331665, + "learning_rate": 3.5303535353535357e-06, + "loss": 6.2748779296875, + "step": 30100 + }, + { + "epoch": 5e-05, + "grad_norm": 5.484194278717041, + "learning_rate": 3.5301010101010103e-06, + "loss": 6.325788879394532, + "step": 30105 + }, + { + "epoch": 0.0001, + "grad_norm": 4.1424880027771, + "learning_rate": 3.5298484848484854e-06, + "loss": 6.352497100830078, + "step": 30110 + }, + { + "epoch": 0.00015, + "grad_norm": 5.890789031982422, + "learning_rate": 3.52959595959596e-06, + "loss": 6.31262435913086, + "step": 30115 + }, + { + "epoch": 0.0002, + "grad_norm": 5.297179222106934, + "learning_rate": 3.5293434343434346e-06, + "loss": 6.30126953125, + "step": 30120 + }, + { + "epoch": 0.00025, + "grad_norm": 4.809101104736328, + "learning_rate": 3.5290909090909093e-06, + "loss": 6.285891723632813, + "step": 30125 + }, + { + "epoch": 0.0003, + "grad_norm": 8.304152488708496, + "learning_rate": 3.5288383838383843e-06, + "loss": 6.30511474609375, + "step": 30130 + }, + { + "epoch": 0.00035, + "grad_norm": 7.660754203796387, + "learning_rate": 3.528585858585859e-06, + "loss": 6.294705581665039, + "step": 30135 + }, + { + "epoch": 0.0004, + "grad_norm": 7.110419273376465, + "learning_rate": 3.5283333333333336e-06, + "loss": 6.306806182861328, + "step": 30140 + }, + { + "epoch": 0.00045, + "grad_norm": 9.31564998626709, + "learning_rate": 3.528080808080808e-06, + "loss": 6.400209045410156, + "step": 30145 + }, + { + "epoch": 0.0005, + "grad_norm": 5.657293796539307, + "learning_rate": 3.5278282828282833e-06, + "loss": 6.380509948730468, + "step": 30150 + }, + { + "epoch": 0.00055, + "grad_norm": 4.684988021850586, + "learning_rate": 3.527575757575758e-06, + "loss": 6.286779403686523, + "step": 30155 + }, + { + "epoch": 0.0006, + "grad_norm": 6.626471996307373, + "learning_rate": 3.5273232323232325e-06, + "loss": 6.2453960418701175, + "step": 30160 + }, + { + "epoch": 0.00065, + "grad_norm": 5.251129627227783, + "learning_rate": 3.527070707070707e-06, + "loss": 6.2742431640625, + "step": 30165 + }, + { + "epoch": 0.0007, + "grad_norm": 5.405531883239746, + "learning_rate": 3.526818181818182e-06, + "loss": 6.338249588012696, + "step": 30170 + }, + { + "epoch": 0.00075, + "grad_norm": 4.635233402252197, + "learning_rate": 3.526565656565657e-06, + "loss": 6.280062103271485, + "step": 30175 + }, + { + "epoch": 0.0008, + "grad_norm": 7.615424156188965, + "learning_rate": 3.5263131313131315e-06, + "loss": 6.319436645507812, + "step": 30180 + }, + { + "epoch": 0.00085, + "grad_norm": 7.014859676361084, + "learning_rate": 3.526060606060606e-06, + "loss": 6.3284858703613285, + "step": 30185 + }, + { + "epoch": 0.0009, + "grad_norm": 7.948516845703125, + "learning_rate": 3.525808080808081e-06, + "loss": 6.306148910522461, + "step": 30190 + }, + { + "epoch": 0.00095, + "grad_norm": 4.9987568855285645, + "learning_rate": 3.5255555555555558e-06, + "loss": 6.297168731689453, + "step": 30195 + }, + { + "epoch": 0.001, + "grad_norm": 9.004301071166992, + "learning_rate": 3.5253030303030304e-06, + "loss": 6.3516700744628904, + "step": 30200 + }, + { + "epoch": 0.00105, + "grad_norm": 6.185268402099609, + "learning_rate": 3.525050505050505e-06, + "loss": 6.23489990234375, + "step": 30205 + }, + { + "epoch": 0.0011, + "grad_norm": 6.5398125648498535, + "learning_rate": 3.5247979797979805e-06, + "loss": 6.331185150146484, + "step": 30210 + }, + { + "epoch": 0.00115, + "grad_norm": 4.726842403411865, + "learning_rate": 3.524545454545455e-06, + "loss": 6.253910827636719, + "step": 30215 + }, + { + "epoch": 0.0012, + "grad_norm": 4.543725967407227, + "learning_rate": 3.5242929292929294e-06, + "loss": 6.309986114501953, + "step": 30220 + }, + { + "epoch": 0.00125, + "grad_norm": 7.547321319580078, + "learning_rate": 3.524040404040404e-06, + "loss": 6.300954437255859, + "step": 30225 + }, + { + "epoch": 0.0013, + "grad_norm": 9.456096649169922, + "learning_rate": 3.5237878787878795e-06, + "loss": 6.324053573608398, + "step": 30230 + }, + { + "epoch": 0.00135, + "grad_norm": 11.498023986816406, + "learning_rate": 3.523535353535354e-06, + "loss": 6.364581680297851, + "step": 30235 + }, + { + "epoch": 0.0014, + "grad_norm": 5.708373546600342, + "learning_rate": 3.5232828282828287e-06, + "loss": 6.488095092773437, + "step": 30240 + }, + { + "epoch": 0.00145, + "grad_norm": 9.381766319274902, + "learning_rate": 3.523030303030303e-06, + "loss": 6.313569641113281, + "step": 30245 + }, + { + "epoch": 0.0015, + "grad_norm": 6.118898391723633, + "learning_rate": 3.5227777777777784e-06, + "loss": 6.311029052734375, + "step": 30250 + }, + { + "epoch": 0.00155, + "grad_norm": 8.702325820922852, + "learning_rate": 3.522525252525253e-06, + "loss": 6.2553550720214846, + "step": 30255 + }, + { + "epoch": 0.0016, + "grad_norm": 5.618542671203613, + "learning_rate": 3.5222727272727277e-06, + "loss": 6.295967864990234, + "step": 30260 + }, + { + "epoch": 0.00165, + "grad_norm": 7.077052116394043, + "learning_rate": 3.5220202020202023e-06, + "loss": 6.332790374755859, + "step": 30265 + }, + { + "epoch": 0.0017, + "grad_norm": 6.07678747177124, + "learning_rate": 3.5217676767676773e-06, + "loss": 6.357634353637695, + "step": 30270 + }, + { + "epoch": 0.00175, + "grad_norm": 5.752668857574463, + "learning_rate": 3.521515151515152e-06, + "loss": 6.275868606567383, + "step": 30275 + }, + { + "epoch": 0.0018, + "grad_norm": 8.120055198669434, + "learning_rate": 3.5212626262626266e-06, + "loss": 6.174786376953125, + "step": 30280 + }, + { + "epoch": 0.00185, + "grad_norm": 3.0004894733428955, + "learning_rate": 3.5210101010101012e-06, + "loss": 6.391631317138672, + "step": 30285 + }, + { + "epoch": 0.0019, + "grad_norm": 5.824384689331055, + "learning_rate": 3.5207575757575763e-06, + "loss": 6.249583435058594, + "step": 30290 + }, + { + "epoch": 0.00195, + "grad_norm": 5.606202602386475, + "learning_rate": 3.520505050505051e-06, + "loss": 6.282828903198242, + "step": 30295 + }, + { + "epoch": 0.002, + "grad_norm": 8.084426879882812, + "learning_rate": 3.5202525252525255e-06, + "loss": 6.290953826904297, + "step": 30300 + }, + { + "epoch": 0.00205, + "grad_norm": 5.668701171875, + "learning_rate": 3.52e-06, + "loss": 6.291912078857422, + "step": 30305 + }, + { + "epoch": 0.0021, + "grad_norm": 4.827895164489746, + "learning_rate": 3.5197474747474752e-06, + "loss": 6.37243423461914, + "step": 30310 + }, + { + "epoch": 0.00215, + "grad_norm": 6.453768253326416, + "learning_rate": 3.51949494949495e-06, + "loss": 6.257444763183594, + "step": 30315 + }, + { + "epoch": 0.0022, + "grad_norm": 12.45335578918457, + "learning_rate": 3.5192424242424245e-06, + "loss": 6.339299011230469, + "step": 30320 + }, + { + "epoch": 0.00225, + "grad_norm": 7.6751227378845215, + "learning_rate": 3.518989898989899e-06, + "loss": 6.3201641082763675, + "step": 30325 + }, + { + "epoch": 0.0023, + "grad_norm": 7.691946983337402, + "learning_rate": 3.518737373737374e-06, + "loss": 6.3052978515625, + "step": 30330 + }, + { + "epoch": 0.00235, + "grad_norm": 3.9807279109954834, + "learning_rate": 3.518484848484849e-06, + "loss": 6.291839981079102, + "step": 30335 + }, + { + "epoch": 0.0024, + "grad_norm": 4.4699387550354, + "learning_rate": 3.5182323232323234e-06, + "loss": 6.2644813537597654, + "step": 30340 + }, + { + "epoch": 0.00245, + "grad_norm": 5.149966239929199, + "learning_rate": 3.517979797979798e-06, + "loss": 6.323543930053711, + "step": 30345 + }, + { + "epoch": 0.0025, + "grad_norm": 5.827171325683594, + "learning_rate": 3.517727272727273e-06, + "loss": 6.303450393676758, + "step": 30350 + }, + { + "epoch": 0.00255, + "grad_norm": 3.0999603271484375, + "learning_rate": 3.5174747474747478e-06, + "loss": 6.317843246459961, + "step": 30355 + }, + { + "epoch": 0.0026, + "grad_norm": 6.033076763153076, + "learning_rate": 3.5172222222222224e-06, + "loss": 6.282498931884765, + "step": 30360 + }, + { + "epoch": 0.00265, + "grad_norm": 7.726853847503662, + "learning_rate": 3.516969696969697e-06, + "loss": 6.1833148956298825, + "step": 30365 + }, + { + "epoch": 0.0027, + "grad_norm": 4.318711280822754, + "learning_rate": 3.516717171717172e-06, + "loss": 6.257895278930664, + "step": 30370 + }, + { + "epoch": 0.00275, + "grad_norm": 6.404482841491699, + "learning_rate": 3.5164646464646467e-06, + "loss": 6.3033794403076175, + "step": 30375 + }, + { + "epoch": 0.0028, + "grad_norm": 9.870217323303223, + "learning_rate": 3.5162121212121213e-06, + "loss": 6.347330474853516, + "step": 30380 + }, + { + "epoch": 0.00285, + "grad_norm": 7.3675079345703125, + "learning_rate": 3.515959595959596e-06, + "loss": 6.281995391845703, + "step": 30385 + }, + { + "epoch": 0.0029, + "grad_norm": 7.579485893249512, + "learning_rate": 3.515707070707071e-06, + "loss": 6.36811637878418, + "step": 30390 + }, + { + "epoch": 0.00295, + "grad_norm": 4.2415547370910645, + "learning_rate": 3.5154545454545456e-06, + "loss": 6.35584716796875, + "step": 30395 + }, + { + "epoch": 0.003, + "grad_norm": 6.5480637550354, + "learning_rate": 3.5152020202020203e-06, + "loss": 6.314322662353516, + "step": 30400 + }, + { + "epoch": 0.00305, + "grad_norm": 6.053180694580078, + "learning_rate": 3.514949494949495e-06, + "loss": 6.310372924804687, + "step": 30405 + }, + { + "epoch": 0.0031, + "grad_norm": 12.136195182800293, + "learning_rate": 3.51469696969697e-06, + "loss": 6.34039077758789, + "step": 30410 + }, + { + "epoch": 0.00315, + "grad_norm": 5.282136917114258, + "learning_rate": 3.5144444444444446e-06, + "loss": 6.384181976318359, + "step": 30415 + }, + { + "epoch": 0.0032, + "grad_norm": 6.466001033782959, + "learning_rate": 3.5141919191919192e-06, + "loss": 6.266043853759766, + "step": 30420 + }, + { + "epoch": 0.00325, + "grad_norm": 5.129824161529541, + "learning_rate": 3.513939393939394e-06, + "loss": 6.298617553710938, + "step": 30425 + }, + { + "epoch": 0.0033, + "grad_norm": 8.354724884033203, + "learning_rate": 3.5136868686868693e-06, + "loss": 6.482086181640625, + "step": 30430 + }, + { + "epoch": 0.00335, + "grad_norm": 5.265137672424316, + "learning_rate": 3.513434343434344e-06, + "loss": 6.297601318359375, + "step": 30435 + }, + { + "epoch": 0.0034, + "grad_norm": 5.081305027008057, + "learning_rate": 3.513181818181818e-06, + "loss": 6.291044616699219, + "step": 30440 + }, + { + "epoch": 0.00345, + "grad_norm": 6.677523136138916, + "learning_rate": 3.5129292929292928e-06, + "loss": 6.313158416748047, + "step": 30445 + }, + { + "epoch": 0.0035, + "grad_norm": 7.239242076873779, + "learning_rate": 3.5126767676767683e-06, + "loss": 6.311925888061523, + "step": 30450 + }, + { + "epoch": 0.00355, + "grad_norm": 14.75670051574707, + "learning_rate": 3.512424242424243e-06, + "loss": 6.391028594970703, + "step": 30455 + }, + { + "epoch": 0.0036, + "grad_norm": 6.772289276123047, + "learning_rate": 3.5121717171717175e-06, + "loss": 6.306143188476563, + "step": 30460 + }, + { + "epoch": 0.00365, + "grad_norm": 9.194825172424316, + "learning_rate": 3.511919191919192e-06, + "loss": 6.294182586669922, + "step": 30465 + }, + { + "epoch": 0.0037, + "grad_norm": 7.671576976776123, + "learning_rate": 3.511666666666667e-06, + "loss": 6.251313781738281, + "step": 30470 + }, + { + "epoch": 0.00375, + "grad_norm": 4.937087059020996, + "learning_rate": 3.511414141414142e-06, + "loss": 6.291476058959961, + "step": 30475 + }, + { + "epoch": 0.0038, + "grad_norm": 5.50131368637085, + "learning_rate": 3.5111616161616165e-06, + "loss": 6.277745056152344, + "step": 30480 + }, + { + "epoch": 0.00385, + "grad_norm": 3.8277409076690674, + "learning_rate": 3.510909090909091e-06, + "loss": 6.290627670288086, + "step": 30485 + }, + { + "epoch": 0.0039, + "grad_norm": 4.3165788650512695, + "learning_rate": 3.510656565656566e-06, + "loss": 6.336138534545898, + "step": 30490 + }, + { + "epoch": 0.00395, + "grad_norm": 6.351437568664551, + "learning_rate": 3.5104040404040408e-06, + "loss": 6.332951354980469, + "step": 30495 + }, + { + "epoch": 0.004, + "grad_norm": 4.145952224731445, + "learning_rate": 3.5101515151515154e-06, + "loss": 6.258573532104492, + "step": 30500 + }, + { + "epoch": 0.00405, + "grad_norm": 7.508584976196289, + "learning_rate": 3.50989898989899e-06, + "loss": 6.297691345214844, + "step": 30505 + }, + { + "epoch": 0.0041, + "grad_norm": 24.11528968811035, + "learning_rate": 3.509646464646465e-06, + "loss": 6.36131706237793, + "step": 30510 + }, + { + "epoch": 0.00415, + "grad_norm": 8.579665184020996, + "learning_rate": 3.5093939393939397e-06, + "loss": 6.303544616699218, + "step": 30515 + }, + { + "epoch": 0.0042, + "grad_norm": 7.393471717834473, + "learning_rate": 3.5091414141414144e-06, + "loss": 6.289500045776367, + "step": 30520 + }, + { + "epoch": 0.00425, + "grad_norm": 6.886440753936768, + "learning_rate": 3.508888888888889e-06, + "loss": 6.292948913574219, + "step": 30525 + }, + { + "epoch": 0.0043, + "grad_norm": 5.595465660095215, + "learning_rate": 3.508636363636364e-06, + "loss": 6.296092224121094, + "step": 30530 + }, + { + "epoch": 0.00435, + "grad_norm": 7.313178539276123, + "learning_rate": 3.5083838383838387e-06, + "loss": 6.283732986450195, + "step": 30535 + }, + { + "epoch": 0.0044, + "grad_norm": 6.557757377624512, + "learning_rate": 3.5081313131313133e-06, + "loss": 6.341020202636718, + "step": 30540 + }, + { + "epoch": 0.00445, + "grad_norm": 11.70034408569336, + "learning_rate": 3.5078787878787884e-06, + "loss": 6.344221115112305, + "step": 30545 + }, + { + "epoch": 0.0045, + "grad_norm": 6.1660356521606445, + "learning_rate": 3.507626262626263e-06, + "loss": 6.327466583251953, + "step": 30550 + }, + { + "epoch": 0.00455, + "grad_norm": 9.203703880310059, + "learning_rate": 3.5073737373737376e-06, + "loss": 6.266476058959961, + "step": 30555 + }, + { + "epoch": 0.0046, + "grad_norm": 5.459879398345947, + "learning_rate": 3.5071212121212122e-06, + "loss": 6.257968139648438, + "step": 30560 + }, + { + "epoch": 0.00465, + "grad_norm": 7.479710102081299, + "learning_rate": 3.5068686868686873e-06, + "loss": 6.265128326416016, + "step": 30565 + }, + { + "epoch": 0.0047, + "grad_norm": 5.643678188323975, + "learning_rate": 3.506616161616162e-06, + "loss": 6.2212074279785154, + "step": 30570 + }, + { + "epoch": 0.00475, + "grad_norm": 15.428375244140625, + "learning_rate": 3.5063636363636366e-06, + "loss": 6.213994979858398, + "step": 30575 + }, + { + "epoch": 0.0048, + "grad_norm": 5.4300923347473145, + "learning_rate": 3.506111111111111e-06, + "loss": 6.280587768554687, + "step": 30580 + }, + { + "epoch": 0.00485, + "grad_norm": 9.55874252319336, + "learning_rate": 3.5058585858585862e-06, + "loss": 6.324400329589844, + "step": 30585 + }, + { + "epoch": 0.0049, + "grad_norm": 6.635635852813721, + "learning_rate": 3.505606060606061e-06, + "loss": 6.273868179321289, + "step": 30590 + }, + { + "epoch": 0.00495, + "grad_norm": 7.755094528198242, + "learning_rate": 3.5053535353535355e-06, + "loss": 6.272342300415039, + "step": 30595 + }, + { + "epoch": 0.005, + "grad_norm": 6.867818832397461, + "learning_rate": 3.50510101010101e-06, + "loss": 6.395664215087891, + "step": 30600 + }, + { + "epoch": 0.00505, + "grad_norm": 5.472387313842773, + "learning_rate": 3.504848484848485e-06, + "loss": 6.320342254638672, + "step": 30605 + }, + { + "epoch": 0.0051, + "grad_norm": 4.040513038635254, + "learning_rate": 3.50459595959596e-06, + "loss": 6.307614135742187, + "step": 30610 + }, + { + "epoch": 0.00515, + "grad_norm": 14.557611465454102, + "learning_rate": 3.5043434343434344e-06, + "loss": 6.376139831542969, + "step": 30615 + }, + { + "epoch": 0.0052, + "grad_norm": 7.899896144866943, + "learning_rate": 3.504090909090909e-06, + "loss": 6.48419189453125, + "step": 30620 + }, + { + "epoch": 0.00525, + "grad_norm": 5.929014682769775, + "learning_rate": 3.5038383838383846e-06, + "loss": 6.329907989501953, + "step": 30625 + }, + { + "epoch": 0.0053, + "grad_norm": 5.357595920562744, + "learning_rate": 3.503585858585859e-06, + "loss": 6.304969787597656, + "step": 30630 + }, + { + "epoch": 0.00535, + "grad_norm": 3.0218911170959473, + "learning_rate": 3.5033333333333334e-06, + "loss": 6.314809799194336, + "step": 30635 + }, + { + "epoch": 0.0054, + "grad_norm": 44.7281608581543, + "learning_rate": 3.503080808080808e-06, + "loss": 6.208759307861328, + "step": 30640 + }, + { + "epoch": 0.00545, + "grad_norm": 5.094700813293457, + "learning_rate": 3.5028282828282835e-06, + "loss": 6.170816040039062, + "step": 30645 + }, + { + "epoch": 0.0055, + "grad_norm": 4.900203704833984, + "learning_rate": 3.502575757575758e-06, + "loss": 6.279574966430664, + "step": 30650 + }, + { + "epoch": 0.00555, + "grad_norm": 3.7754247188568115, + "learning_rate": 3.5023232323232328e-06, + "loss": 6.264418029785157, + "step": 30655 + }, + { + "epoch": 0.0056, + "grad_norm": 7.221945285797119, + "learning_rate": 3.5020707070707074e-06, + "loss": 6.283297729492188, + "step": 30660 + }, + { + "epoch": 0.00565, + "grad_norm": 7.076565742492676, + "learning_rate": 3.5018181818181824e-06, + "loss": 6.3167167663574215, + "step": 30665 + }, + { + "epoch": 0.0057, + "grad_norm": 5.709422588348389, + "learning_rate": 3.501565656565657e-06, + "loss": 6.316467666625977, + "step": 30670 + }, + { + "epoch": 0.00575, + "grad_norm": 14.146867752075195, + "learning_rate": 3.5013131313131317e-06, + "loss": 6.631809997558594, + "step": 30675 + }, + { + "epoch": 0.0058, + "grad_norm": 6.814350605010986, + "learning_rate": 3.5010606060606063e-06, + "loss": 6.41088638305664, + "step": 30680 + }, + { + "epoch": 0.00585, + "grad_norm": 8.508028984069824, + "learning_rate": 3.5008080808080814e-06, + "loss": 6.4017173767089846, + "step": 30685 + }, + { + "epoch": 0.0059, + "grad_norm": 7.867400646209717, + "learning_rate": 3.500555555555556e-06, + "loss": 6.268592453002929, + "step": 30690 + }, + { + "epoch": 0.00595, + "grad_norm": 8.200491905212402, + "learning_rate": 3.5003030303030306e-06, + "loss": 6.312607192993164, + "step": 30695 + }, + { + "epoch": 0.006, + "grad_norm": 6.092241287231445, + "learning_rate": 3.5000505050505053e-06, + "loss": 6.323750686645508, + "step": 30700 + }, + { + "epoch": 0.00605, + "grad_norm": 5.498466491699219, + "learning_rate": 3.4997979797979803e-06, + "loss": 6.2912841796875, + "step": 30705 + }, + { + "epoch": 0.0061, + "grad_norm": 6.105342388153076, + "learning_rate": 3.499545454545455e-06, + "loss": 6.342540740966797, + "step": 30710 + }, + { + "epoch": 0.00615, + "grad_norm": 7.391833782196045, + "learning_rate": 3.4992929292929296e-06, + "loss": 6.3187309265136715, + "step": 30715 + }, + { + "epoch": 0.0062, + "grad_norm": 18.563892364501953, + "learning_rate": 3.4990404040404042e-06, + "loss": 6.415699768066406, + "step": 30720 + }, + { + "epoch": 0.00625, + "grad_norm": 4.351109027862549, + "learning_rate": 3.4987878787878793e-06, + "loss": 6.460601043701172, + "step": 30725 + }, + { + "epoch": 0.0063, + "grad_norm": 7.162830829620361, + "learning_rate": 3.498535353535354e-06, + "loss": 6.325341033935547, + "step": 30730 + }, + { + "epoch": 0.00635, + "grad_norm": 4.240682125091553, + "learning_rate": 3.4982828282828285e-06, + "loss": 6.236849975585938, + "step": 30735 + }, + { + "epoch": 0.0064, + "grad_norm": 12.998048782348633, + "learning_rate": 3.498030303030303e-06, + "loss": 6.328357696533203, + "step": 30740 + }, + { + "epoch": 0.00645, + "grad_norm": 5.847378253936768, + "learning_rate": 3.4977777777777782e-06, + "loss": 6.2958118438720705, + "step": 30745 + }, + { + "epoch": 0.0065, + "grad_norm": 5.156700134277344, + "learning_rate": 3.497525252525253e-06, + "loss": 6.242645645141602, + "step": 30750 + }, + { + "epoch": 0.00655, + "grad_norm": 7.520177364349365, + "learning_rate": 3.4972727272727275e-06, + "loss": 6.2973480224609375, + "step": 30755 + }, + { + "epoch": 0.0066, + "grad_norm": 4.853328227996826, + "learning_rate": 3.497020202020202e-06, + "loss": 6.394388198852539, + "step": 30760 + }, + { + "epoch": 0.00665, + "grad_norm": 3.3100924491882324, + "learning_rate": 3.496767676767677e-06, + "loss": 6.284613037109375, + "step": 30765 + }, + { + "epoch": 0.0067, + "grad_norm": 5.1759257316589355, + "learning_rate": 3.496515151515152e-06, + "loss": 6.332266235351563, + "step": 30770 + }, + { + "epoch": 0.00675, + "grad_norm": 10.115545272827148, + "learning_rate": 3.4962626262626264e-06, + "loss": 6.3796546936035154, + "step": 30775 + }, + { + "epoch": 0.0068, + "grad_norm": 8.139554023742676, + "learning_rate": 3.496010101010101e-06, + "loss": 6.328509140014648, + "step": 30780 + }, + { + "epoch": 0.00685, + "grad_norm": 4.393502712249756, + "learning_rate": 3.495757575757576e-06, + "loss": 6.339471435546875, + "step": 30785 + }, + { + "epoch": 0.0069, + "grad_norm": 5.392394065856934, + "learning_rate": 3.4955050505050507e-06, + "loss": 6.2997081756591795, + "step": 30790 + }, + { + "epoch": 0.00695, + "grad_norm": 5.542270183563232, + "learning_rate": 3.4952525252525254e-06, + "loss": 6.278899765014648, + "step": 30795 + }, + { + "epoch": 0.007, + "grad_norm": 5.188408374786377, + "learning_rate": 3.495e-06, + "loss": 6.389769744873047, + "step": 30800 + }, + { + "epoch": 0.00705, + "grad_norm": 12.353620529174805, + "learning_rate": 3.494747474747475e-06, + "loss": 6.585284423828125, + "step": 30805 + }, + { + "epoch": 0.0071, + "grad_norm": 5.277525901794434, + "learning_rate": 3.4944949494949497e-06, + "loss": 6.29046745300293, + "step": 30810 + }, + { + "epoch": 0.00715, + "grad_norm": 4.494175434112549, + "learning_rate": 3.4942424242424243e-06, + "loss": 6.307538604736328, + "step": 30815 + }, + { + "epoch": 0.0072, + "grad_norm": 3.8398125171661377, + "learning_rate": 3.493989898989899e-06, + "loss": 6.340407180786133, + "step": 30820 + }, + { + "epoch": 0.00725, + "grad_norm": 6.357994556427002, + "learning_rate": 3.4937373737373744e-06, + "loss": 6.268693923950195, + "step": 30825 + }, + { + "epoch": 0.0073, + "grad_norm": 5.676535606384277, + "learning_rate": 3.4934848484848486e-06, + "loss": 6.329642105102539, + "step": 30830 + }, + { + "epoch": 0.00735, + "grad_norm": 8.069583892822266, + "learning_rate": 3.4932323232323233e-06, + "loss": 6.309796142578125, + "step": 30835 + }, + { + "epoch": 0.0074, + "grad_norm": 6.2477874755859375, + "learning_rate": 3.492979797979798e-06, + "loss": 6.307234191894532, + "step": 30840 + }, + { + "epoch": 0.00745, + "grad_norm": 7.16832971572876, + "learning_rate": 3.4927272727272734e-06, + "loss": 6.288982391357422, + "step": 30845 + }, + { + "epoch": 0.0075, + "grad_norm": 8.136871337890625, + "learning_rate": 3.492474747474748e-06, + "loss": 6.296388626098633, + "step": 30850 + }, + { + "epoch": 0.00755, + "grad_norm": 6.288802146911621, + "learning_rate": 3.492222222222222e-06, + "loss": 6.360136032104492, + "step": 30855 + }, + { + "epoch": 0.0076, + "grad_norm": 8.711474418640137, + "learning_rate": 3.491969696969697e-06, + "loss": 6.493196105957031, + "step": 30860 + }, + { + "epoch": 0.00765, + "grad_norm": 10.541821479797363, + "learning_rate": 3.4917171717171723e-06, + "loss": 6.548341369628906, + "step": 30865 + }, + { + "epoch": 0.0077, + "grad_norm": 6.081124782562256, + "learning_rate": 3.491464646464647e-06, + "loss": 6.312615203857422, + "step": 30870 + }, + { + "epoch": 0.00775, + "grad_norm": 11.08112907409668, + "learning_rate": 3.4912121212121216e-06, + "loss": 6.34002914428711, + "step": 30875 + }, + { + "epoch": 0.0078, + "grad_norm": 5.0082855224609375, + "learning_rate": 3.490959595959596e-06, + "loss": 6.30450325012207, + "step": 30880 + }, + { + "epoch": 0.00785, + "grad_norm": 30.433208465576172, + "learning_rate": 3.4907070707070712e-06, + "loss": 6.295254516601562, + "step": 30885 + }, + { + "epoch": 0.0079, + "grad_norm": 29.286144256591797, + "learning_rate": 3.490454545454546e-06, + "loss": 5.973501586914063, + "step": 30890 + }, + { + "epoch": 0.00795, + "grad_norm": 37.13059616088867, + "learning_rate": 3.4902020202020205e-06, + "loss": 5.728216171264648, + "step": 30895 + }, + { + "epoch": 0.008, + "grad_norm": 10.889192581176758, + "learning_rate": 3.489949494949495e-06, + "loss": 6.34569206237793, + "step": 30900 + }, + { + "epoch": 0.00805, + "grad_norm": 10.188030242919922, + "learning_rate": 3.48969696969697e-06, + "loss": 6.311787796020508, + "step": 30905 + }, + { + "epoch": 0.0081, + "grad_norm": 6.174193382263184, + "learning_rate": 3.489444444444445e-06, + "loss": 6.339508438110352, + "step": 30910 + }, + { + "epoch": 0.00815, + "grad_norm": 5.9210662841796875, + "learning_rate": 3.4891919191919195e-06, + "loss": 6.2550605773925785, + "step": 30915 + }, + { + "epoch": 0.0082, + "grad_norm": 7.499844551086426, + "learning_rate": 3.488939393939394e-06, + "loss": 6.317704391479492, + "step": 30920 + }, + { + "epoch": 0.00825, + "grad_norm": 8.778815269470215, + "learning_rate": 3.488686868686869e-06, + "loss": 6.3352813720703125, + "step": 30925 + }, + { + "epoch": 0.0083, + "grad_norm": 4.930359840393066, + "learning_rate": 3.4884343434343438e-06, + "loss": 6.258121109008789, + "step": 30930 + }, + { + "epoch": 0.00835, + "grad_norm": 5.634444236755371, + "learning_rate": 3.4881818181818184e-06, + "loss": 6.2620491027832035, + "step": 30935 + }, + { + "epoch": 0.0084, + "grad_norm": 4.310962677001953, + "learning_rate": 3.487929292929293e-06, + "loss": 6.262651443481445, + "step": 30940 + }, + { + "epoch": 0.00845, + "grad_norm": 5.746262550354004, + "learning_rate": 3.487676767676768e-06, + "loss": 6.286780929565429, + "step": 30945 + }, + { + "epoch": 0.0085, + "grad_norm": 4.739052772521973, + "learning_rate": 3.4874242424242427e-06, + "loss": 6.442961120605469, + "step": 30950 + }, + { + "epoch": 0.00855, + "grad_norm": 8.815422058105469, + "learning_rate": 3.4871717171717173e-06, + "loss": 6.25898323059082, + "step": 30955 + }, + { + "epoch": 0.0086, + "grad_norm": 5.505147457122803, + "learning_rate": 3.4869191919191924e-06, + "loss": 6.2786376953125, + "step": 30960 + }, + { + "epoch": 0.00865, + "grad_norm": 7.598847389221191, + "learning_rate": 3.486666666666667e-06, + "loss": 6.277008056640625, + "step": 30965 + }, + { + "epoch": 0.0087, + "grad_norm": 5.241137981414795, + "learning_rate": 3.4864141414141417e-06, + "loss": 6.3271636962890625, + "step": 30970 + }, + { + "epoch": 0.00875, + "grad_norm": 5.15465784072876, + "learning_rate": 3.4861616161616163e-06, + "loss": 6.287715911865234, + "step": 30975 + }, + { + "epoch": 0.0088, + "grad_norm": 8.85396957397461, + "learning_rate": 3.4859090909090913e-06, + "loss": 6.281443786621094, + "step": 30980 + }, + { + "epoch": 0.00885, + "grad_norm": 5.2901787757873535, + "learning_rate": 3.485656565656566e-06, + "loss": 6.301638793945313, + "step": 30985 + }, + { + "epoch": 0.0089, + "grad_norm": 5.208120822906494, + "learning_rate": 3.4854040404040406e-06, + "loss": 6.328473281860352, + "step": 30990 + }, + { + "epoch": 0.00895, + "grad_norm": 5.497430324554443, + "learning_rate": 3.4851515151515152e-06, + "loss": 6.277241134643555, + "step": 30995 + }, + { + "epoch": 0.009, + "grad_norm": 20.714143753051758, + "learning_rate": 3.4848989898989903e-06, + "loss": 6.237617874145508, + "step": 31000 + }, + { + "epoch": 0.00905, + "grad_norm": 6.485785007476807, + "learning_rate": 3.484646464646465e-06, + "loss": 6.26361198425293, + "step": 31005 + }, + { + "epoch": 0.0091, + "grad_norm": 5.9065961837768555, + "learning_rate": 3.4843939393939395e-06, + "loss": 6.291852951049805, + "step": 31010 + }, + { + "epoch": 0.00915, + "grad_norm": 6.946830749511719, + "learning_rate": 3.484141414141414e-06, + "loss": 6.242046356201172, + "step": 31015 + }, + { + "epoch": 0.0092, + "grad_norm": 10.202825546264648, + "learning_rate": 3.4838888888888892e-06, + "loss": 6.282825469970703, + "step": 31020 + }, + { + "epoch": 0.00925, + "grad_norm": 6.090758323669434, + "learning_rate": 3.483636363636364e-06, + "loss": 6.393174362182617, + "step": 31025 + }, + { + "epoch": 0.0093, + "grad_norm": 7.1127238273620605, + "learning_rate": 3.4833838383838385e-06, + "loss": 6.272439193725586, + "step": 31030 + }, + { + "epoch": 0.00935, + "grad_norm": 5.086367607116699, + "learning_rate": 3.483131313131313e-06, + "loss": 6.296226882934571, + "step": 31035 + }, + { + "epoch": 0.0094, + "grad_norm": 5.704259872436523, + "learning_rate": 3.4828787878787886e-06, + "loss": 6.254584503173828, + "step": 31040 + }, + { + "epoch": 0.00945, + "grad_norm": 6.761820316314697, + "learning_rate": 3.4826262626262632e-06, + "loss": 6.241915512084961, + "step": 31045 + }, + { + "epoch": 0.0095, + "grad_norm": 4.720517635345459, + "learning_rate": 3.4823737373737374e-06, + "loss": 6.288992691040039, + "step": 31050 + }, + { + "epoch": 0.00955, + "grad_norm": 6.525435447692871, + "learning_rate": 3.482121212121212e-06, + "loss": 6.277404403686523, + "step": 31055 + }, + { + "epoch": 0.0096, + "grad_norm": 5.819321632385254, + "learning_rate": 3.4818686868686875e-06, + "loss": 6.2881324768066404, + "step": 31060 + }, + { + "epoch": 0.00965, + "grad_norm": 6.052142143249512, + "learning_rate": 3.481616161616162e-06, + "loss": 6.25890884399414, + "step": 31065 + }, + { + "epoch": 0.0097, + "grad_norm": 8.274016380310059, + "learning_rate": 3.481363636363637e-06, + "loss": 6.321687316894531, + "step": 31070 + }, + { + "epoch": 0.00975, + "grad_norm": 6.385990619659424, + "learning_rate": 3.4811111111111114e-06, + "loss": 6.298026275634766, + "step": 31075 + }, + { + "epoch": 0.0098, + "grad_norm": 6.122243881225586, + "learning_rate": 3.4808585858585865e-06, + "loss": 6.3379051208496096, + "step": 31080 + }, + { + "epoch": 0.00985, + "grad_norm": 21.89448356628418, + "learning_rate": 3.480606060606061e-06, + "loss": 6.341522216796875, + "step": 31085 + }, + { + "epoch": 0.0099, + "grad_norm": 6.187833309173584, + "learning_rate": 3.4803535353535357e-06, + "loss": 6.317514419555664, + "step": 31090 + }, + { + "epoch": 0.00995, + "grad_norm": 7.483710765838623, + "learning_rate": 3.4801010101010104e-06, + "loss": 6.275627899169922, + "step": 31095 + }, + { + "epoch": 0.01, + "grad_norm": 7.134104251861572, + "learning_rate": 3.4798484848484854e-06, + "loss": 6.269377517700195, + "step": 31100 + }, + { + "epoch": 0.01005, + "grad_norm": 3.7349679470062256, + "learning_rate": 3.47959595959596e-06, + "loss": 6.307213211059571, + "step": 31105 + }, + { + "epoch": 0.0101, + "grad_norm": 7.14758825302124, + "learning_rate": 3.4793434343434347e-06, + "loss": 6.303622055053711, + "step": 31110 + }, + { + "epoch": 0.01015, + "grad_norm": 6.496312618255615, + "learning_rate": 3.4790909090909093e-06, + "loss": 6.283578491210937, + "step": 31115 + }, + { + "epoch": 0.0102, + "grad_norm": 6.780876636505127, + "learning_rate": 3.4788383838383844e-06, + "loss": 6.2924247741699215, + "step": 31120 + }, + { + "epoch": 0.01025, + "grad_norm": 7.086086273193359, + "learning_rate": 3.478585858585859e-06, + "loss": 6.312794494628906, + "step": 31125 + }, + { + "epoch": 0.0103, + "grad_norm": 5.741054058074951, + "learning_rate": 3.4783333333333336e-06, + "loss": 6.3786567687988285, + "step": 31130 + }, + { + "epoch": 0.01035, + "grad_norm": 8.722561836242676, + "learning_rate": 3.4780808080808083e-06, + "loss": 6.309943008422851, + "step": 31135 + }, + { + "epoch": 0.0104, + "grad_norm": 5.473861217498779, + "learning_rate": 3.4778282828282833e-06, + "loss": 6.287100982666016, + "step": 31140 + }, + { + "epoch": 0.01045, + "grad_norm": 6.0656585693359375, + "learning_rate": 3.477575757575758e-06, + "loss": 6.332005310058594, + "step": 31145 + }, + { + "epoch": 0.0105, + "grad_norm": 7.1780805587768555, + "learning_rate": 3.4773232323232326e-06, + "loss": 6.309861373901367, + "step": 31150 + }, + { + "epoch": 0.01055, + "grad_norm": 5.149395942687988, + "learning_rate": 3.477070707070707e-06, + "loss": 6.259609985351562, + "step": 31155 + }, + { + "epoch": 0.0106, + "grad_norm": 4.867814064025879, + "learning_rate": 3.4768181818181823e-06, + "loss": 6.2881591796875, + "step": 31160 + }, + { + "epoch": 0.01065, + "grad_norm": 3.7261312007904053, + "learning_rate": 3.476565656565657e-06, + "loss": 6.354864501953125, + "step": 31165 + }, + { + "epoch": 0.0107, + "grad_norm": 5.980228900909424, + "learning_rate": 3.4763131313131315e-06, + "loss": 6.359089279174805, + "step": 31170 + }, + { + "epoch": 0.01075, + "grad_norm": 7.473334312438965, + "learning_rate": 3.476060606060606e-06, + "loss": 6.2624763488769535, + "step": 31175 + }, + { + "epoch": 0.0108, + "grad_norm": 5.091750144958496, + "learning_rate": 3.475808080808081e-06, + "loss": 6.287517547607422, + "step": 31180 + }, + { + "epoch": 0.01085, + "grad_norm": 3.724547863006592, + "learning_rate": 3.475555555555556e-06, + "loss": 6.2558341979980465, + "step": 31185 + }, + { + "epoch": 0.0109, + "grad_norm": 7.599609375, + "learning_rate": 3.4753030303030305e-06, + "loss": 6.269147491455078, + "step": 31190 + }, + { + "epoch": 0.01095, + "grad_norm": 8.652864456176758, + "learning_rate": 3.475050505050505e-06, + "loss": 6.249160385131836, + "step": 31195 + }, + { + "epoch": 0.011, + "grad_norm": 7.556710243225098, + "learning_rate": 3.47479797979798e-06, + "loss": 6.308186721801758, + "step": 31200 + }, + { + "epoch": 0.01105, + "grad_norm": 7.35058069229126, + "learning_rate": 3.4745454545454548e-06, + "loss": 6.277926635742188, + "step": 31205 + }, + { + "epoch": 0.0111, + "grad_norm": 29.186626434326172, + "learning_rate": 3.4742929292929294e-06, + "loss": 6.4645637512207035, + "step": 31210 + }, + { + "epoch": 0.01115, + "grad_norm": 7.042591571807861, + "learning_rate": 3.474040404040404e-06, + "loss": 6.323080825805664, + "step": 31215 + }, + { + "epoch": 0.0112, + "grad_norm": 10.886995315551758, + "learning_rate": 3.473787878787879e-06, + "loss": 6.284367370605469, + "step": 31220 + }, + { + "epoch": 0.01125, + "grad_norm": 8.533283233642578, + "learning_rate": 3.4735353535353537e-06, + "loss": 6.3526451110839846, + "step": 31225 + }, + { + "epoch": 0.0113, + "grad_norm": 4.954051494598389, + "learning_rate": 3.4732828282828283e-06, + "loss": 6.339914321899414, + "step": 31230 + }, + { + "epoch": 0.01135, + "grad_norm": 9.046163558959961, + "learning_rate": 3.473030303030303e-06, + "loss": 6.2956687927246096, + "step": 31235 + }, + { + "epoch": 0.0114, + "grad_norm": 6.325660705566406, + "learning_rate": 3.4727777777777785e-06, + "loss": 6.249410247802734, + "step": 31240 + }, + { + "epoch": 0.01145, + "grad_norm": 4.934713363647461, + "learning_rate": 3.4725252525252527e-06, + "loss": 6.31416015625, + "step": 31245 + }, + { + "epoch": 0.0115, + "grad_norm": 4.498656749725342, + "learning_rate": 3.4722727272727273e-06, + "loss": 6.2695068359375, + "step": 31250 + }, + { + "epoch": 0.01155, + "grad_norm": 8.790675163269043, + "learning_rate": 3.472020202020202e-06, + "loss": 6.448046112060547, + "step": 31255 + }, + { + "epoch": 0.0116, + "grad_norm": 6.70318603515625, + "learning_rate": 3.4717676767676774e-06, + "loss": 6.3224647521972654, + "step": 31260 + }, + { + "epoch": 0.01165, + "grad_norm": 5.324131488800049, + "learning_rate": 3.471515151515152e-06, + "loss": 6.364325714111328, + "step": 31265 + }, + { + "epoch": 0.0117, + "grad_norm": 4.485103130340576, + "learning_rate": 3.4712626262626262e-06, + "loss": 6.294645690917969, + "step": 31270 + }, + { + "epoch": 0.01175, + "grad_norm": 4.885267734527588, + "learning_rate": 3.471010101010101e-06, + "loss": 6.441793823242188, + "step": 31275 + }, + { + "epoch": 0.0118, + "grad_norm": 4.959426403045654, + "learning_rate": 3.4707575757575763e-06, + "loss": 6.291802597045899, + "step": 31280 + }, + { + "epoch": 0.01185, + "grad_norm": 4.438997745513916, + "learning_rate": 3.470505050505051e-06, + "loss": 6.282447814941406, + "step": 31285 + }, + { + "epoch": 0.0119, + "grad_norm": 5.538366317749023, + "learning_rate": 3.4702525252525256e-06, + "loss": 6.2852119445800785, + "step": 31290 + }, + { + "epoch": 0.01195, + "grad_norm": 4.181748390197754, + "learning_rate": 3.4700000000000002e-06, + "loss": 6.338478469848633, + "step": 31295 + }, + { + "epoch": 0.012, + "grad_norm": 5.777076244354248, + "learning_rate": 3.4697474747474753e-06, + "loss": 6.483787536621094, + "step": 31300 + }, + { + "epoch": 0.01205, + "grad_norm": 5.703756332397461, + "learning_rate": 3.46949494949495e-06, + "loss": 6.315401840209961, + "step": 31305 + }, + { + "epoch": 0.0121, + "grad_norm": 10.012688636779785, + "learning_rate": 3.4692424242424245e-06, + "loss": 6.341141891479492, + "step": 31310 + }, + { + "epoch": 0.01215, + "grad_norm": 7.826373100280762, + "learning_rate": 3.468989898989899e-06, + "loss": 6.328828048706055, + "step": 31315 + }, + { + "epoch": 0.0122, + "grad_norm": 4.342375755310059, + "learning_rate": 3.4687373737373742e-06, + "loss": 6.2282051086425785, + "step": 31320 + }, + { + "epoch": 0.01225, + "grad_norm": 11.406405448913574, + "learning_rate": 3.468484848484849e-06, + "loss": 6.318561553955078, + "step": 31325 + }, + { + "epoch": 0.0123, + "grad_norm": 6.454343318939209, + "learning_rate": 3.4682323232323235e-06, + "loss": 6.281166076660156, + "step": 31330 + }, + { + "epoch": 0.01235, + "grad_norm": 5.668166160583496, + "learning_rate": 3.467979797979798e-06, + "loss": 6.303965759277344, + "step": 31335 + }, + { + "epoch": 0.0124, + "grad_norm": 10.77260971069336, + "learning_rate": 3.467727272727273e-06, + "loss": 6.285918426513672, + "step": 31340 + }, + { + "epoch": 0.01245, + "grad_norm": 5.856976509094238, + "learning_rate": 3.467474747474748e-06, + "loss": 6.3688232421875, + "step": 31345 + }, + { + "epoch": 0.0125, + "grad_norm": 5.343064308166504, + "learning_rate": 3.4672222222222224e-06, + "loss": 6.344748306274414, + "step": 31350 + }, + { + "epoch": 0.01255, + "grad_norm": 4.35451602935791, + "learning_rate": 3.466969696969697e-06, + "loss": 6.534793853759766, + "step": 31355 + }, + { + "epoch": 0.0126, + "grad_norm": 11.853941917419434, + "learning_rate": 3.466717171717172e-06, + "loss": 6.23565788269043, + "step": 31360 + }, + { + "epoch": 0.01265, + "grad_norm": 8.171963691711426, + "learning_rate": 3.4664646464646468e-06, + "loss": 6.318867492675781, + "step": 31365 + }, + { + "epoch": 0.0127, + "grad_norm": 6.3174872398376465, + "learning_rate": 3.4662121212121214e-06, + "loss": 6.293863296508789, + "step": 31370 + }, + { + "epoch": 0.01275, + "grad_norm": 6.077780246734619, + "learning_rate": 3.465959595959596e-06, + "loss": 6.349203109741211, + "step": 31375 + }, + { + "epoch": 0.0128, + "grad_norm": 6.290863037109375, + "learning_rate": 3.465707070707071e-06, + "loss": 6.288595581054688, + "step": 31380 + }, + { + "epoch": 0.01285, + "grad_norm": 6.152403354644775, + "learning_rate": 3.4654545454545457e-06, + "loss": 6.274100494384766, + "step": 31385 + }, + { + "epoch": 0.0129, + "grad_norm": 5.087575435638428, + "learning_rate": 3.4652020202020203e-06, + "loss": 6.2673286437988285, + "step": 31390 + }, + { + "epoch": 0.01295, + "grad_norm": 14.480708122253418, + "learning_rate": 3.4649494949494954e-06, + "loss": 6.2662403106689455, + "step": 31395 + }, + { + "epoch": 0.013, + "grad_norm": 7.394726753234863, + "learning_rate": 3.46469696969697e-06, + "loss": 6.310274887084961, + "step": 31400 + }, + { + "epoch": 0.01305, + "grad_norm": 3.9056942462921143, + "learning_rate": 3.4644444444444446e-06, + "loss": 6.328700256347656, + "step": 31405 + }, + { + "epoch": 0.0131, + "grad_norm": 6.815493106842041, + "learning_rate": 3.4641919191919193e-06, + "loss": 6.323628234863281, + "step": 31410 + }, + { + "epoch": 0.01315, + "grad_norm": 7.505720615386963, + "learning_rate": 3.4639393939393943e-06, + "loss": 6.351559448242187, + "step": 31415 + }, + { + "epoch": 0.0132, + "grad_norm": 6.078978061676025, + "learning_rate": 3.463686868686869e-06, + "loss": 6.273245239257813, + "step": 31420 + }, + { + "epoch": 0.01325, + "grad_norm": 4.2614569664001465, + "learning_rate": 3.4634343434343436e-06, + "loss": 6.294971466064453, + "step": 31425 + }, + { + "epoch": 0.0133, + "grad_norm": 8.286840438842773, + "learning_rate": 3.4631818181818182e-06, + "loss": 6.291056823730469, + "step": 31430 + }, + { + "epoch": 0.01335, + "grad_norm": 4.454635143280029, + "learning_rate": 3.4629292929292933e-06, + "loss": 6.276801300048828, + "step": 31435 + }, + { + "epoch": 0.0134, + "grad_norm": 8.538434982299805, + "learning_rate": 3.462676767676768e-06, + "loss": 6.301482009887695, + "step": 31440 + }, + { + "epoch": 0.01345, + "grad_norm": 8.241325378417969, + "learning_rate": 3.4624242424242425e-06, + "loss": 6.329000854492188, + "step": 31445 + }, + { + "epoch": 0.0135, + "grad_norm": 5.039905071258545, + "learning_rate": 3.462171717171717e-06, + "loss": 6.33343734741211, + "step": 31450 + }, + { + "epoch": 0.01355, + "grad_norm": 4.068391799926758, + "learning_rate": 3.4619191919191926e-06, + "loss": 6.293236541748047, + "step": 31455 + }, + { + "epoch": 0.0136, + "grad_norm": 6.268673419952393, + "learning_rate": 3.4616666666666673e-06, + "loss": 6.275437545776367, + "step": 31460 + }, + { + "epoch": 0.01365, + "grad_norm": 4.046528339385986, + "learning_rate": 3.4614141414141415e-06, + "loss": 6.310839462280273, + "step": 31465 + }, + { + "epoch": 0.0137, + "grad_norm": 6.196056365966797, + "learning_rate": 3.461161616161616e-06, + "loss": 6.296234893798828, + "step": 31470 + }, + { + "epoch": 0.01375, + "grad_norm": 5.756940841674805, + "learning_rate": 3.4609090909090916e-06, + "loss": 6.282190322875977, + "step": 31475 + }, + { + "epoch": 0.0138, + "grad_norm": 8.284753799438477, + "learning_rate": 3.460656565656566e-06, + "loss": 6.244682312011719, + "step": 31480 + }, + { + "epoch": 0.01385, + "grad_norm": 5.020042896270752, + "learning_rate": 3.460404040404041e-06, + "loss": 6.305149078369141, + "step": 31485 + }, + { + "epoch": 0.0139, + "grad_norm": 5.6719841957092285, + "learning_rate": 3.4601515151515155e-06, + "loss": 6.309772872924805, + "step": 31490 + }, + { + "epoch": 0.01395, + "grad_norm": 4.409892559051514, + "learning_rate": 3.4598989898989905e-06, + "loss": 6.2854766845703125, + "step": 31495 + }, + { + "epoch": 0.014, + "grad_norm": 5.163342475891113, + "learning_rate": 3.459646464646465e-06, + "loss": 6.313314819335938, + "step": 31500 + }, + { + "epoch": 0.01405, + "grad_norm": 7.4333367347717285, + "learning_rate": 3.4593939393939398e-06, + "loss": 6.269931030273438, + "step": 31505 + }, + { + "epoch": 0.0141, + "grad_norm": 7.723011493682861, + "learning_rate": 3.4591414141414144e-06, + "loss": 6.437898254394531, + "step": 31510 + }, + { + "epoch": 0.01415, + "grad_norm": 8.310696601867676, + "learning_rate": 3.4588888888888895e-06, + "loss": 6.293450164794922, + "step": 31515 + }, + { + "epoch": 0.0142, + "grad_norm": 3.969463348388672, + "learning_rate": 3.458636363636364e-06, + "loss": 6.442210388183594, + "step": 31520 + }, + { + "epoch": 0.01425, + "grad_norm": 3.8181865215301514, + "learning_rate": 3.4583838383838387e-06, + "loss": 6.240133666992188, + "step": 31525 + }, + { + "epoch": 0.0143, + "grad_norm": 8.632500648498535, + "learning_rate": 3.4581313131313134e-06, + "loss": 6.295115661621094, + "step": 31530 + }, + { + "epoch": 0.01435, + "grad_norm": 44.44834518432617, + "learning_rate": 3.4578787878787884e-06, + "loss": 6.356418228149414, + "step": 31535 + }, + { + "epoch": 0.0144, + "grad_norm": 7.034519195556641, + "learning_rate": 3.457626262626263e-06, + "loss": 6.467449951171875, + "step": 31540 + }, + { + "epoch": 0.01445, + "grad_norm": 6.14238166809082, + "learning_rate": 3.4573737373737377e-06, + "loss": 6.291847610473633, + "step": 31545 + }, + { + "epoch": 0.0145, + "grad_norm": 6.4046430587768555, + "learning_rate": 3.4571212121212123e-06, + "loss": 6.298342514038086, + "step": 31550 + }, + { + "epoch": 0.01455, + "grad_norm": 6.635002136230469, + "learning_rate": 3.4568686868686874e-06, + "loss": 6.297444152832031, + "step": 31555 + }, + { + "epoch": 0.0146, + "grad_norm": 7.026538372039795, + "learning_rate": 3.456616161616162e-06, + "loss": 6.278774261474609, + "step": 31560 + }, + { + "epoch": 0.01465, + "grad_norm": 11.56414794921875, + "learning_rate": 3.4563636363636366e-06, + "loss": 6.291840362548828, + "step": 31565 + }, + { + "epoch": 0.0147, + "grad_norm": 7.137899875640869, + "learning_rate": 3.4561111111111112e-06, + "loss": 6.274166870117187, + "step": 31570 + }, + { + "epoch": 0.01475, + "grad_norm": 8.378945350646973, + "learning_rate": 3.4558585858585863e-06, + "loss": 6.307837677001953, + "step": 31575 + }, + { + "epoch": 0.0148, + "grad_norm": 8.641300201416016, + "learning_rate": 3.455606060606061e-06, + "loss": 6.4817863464355465, + "step": 31580 + }, + { + "epoch": 0.01485, + "grad_norm": 5.136144638061523, + "learning_rate": 3.4553535353535356e-06, + "loss": 6.303439331054688, + "step": 31585 + }, + { + "epoch": 0.0149, + "grad_norm": 3.68477725982666, + "learning_rate": 3.45510101010101e-06, + "loss": 6.322549438476562, + "step": 31590 + }, + { + "epoch": 0.01495, + "grad_norm": 5.370787620544434, + "learning_rate": 3.4548484848484852e-06, + "loss": 6.259751510620117, + "step": 31595 + }, + { + "epoch": 0.015, + "grad_norm": 6.589470863342285, + "learning_rate": 3.45459595959596e-06, + "loss": 6.347718048095703, + "step": 31600 + }, + { + "epoch": 0.01505, + "grad_norm": 4.90852165222168, + "learning_rate": 3.4543434343434345e-06, + "loss": 6.234229278564453, + "step": 31605 + }, + { + "epoch": 0.0151, + "grad_norm": 7.632578372955322, + "learning_rate": 3.454090909090909e-06, + "loss": 6.2794342041015625, + "step": 31610 + }, + { + "epoch": 0.01515, + "grad_norm": 4.145769119262695, + "learning_rate": 3.453838383838384e-06, + "loss": 6.28853759765625, + "step": 31615 + }, + { + "epoch": 0.0152, + "grad_norm": 7.2483344078063965, + "learning_rate": 3.453585858585859e-06, + "loss": 6.336896133422852, + "step": 31620 + }, + { + "epoch": 0.01525, + "grad_norm": 5.190921783447266, + "learning_rate": 3.4533333333333334e-06, + "loss": 6.316866302490235, + "step": 31625 + }, + { + "epoch": 0.0153, + "grad_norm": 4.380551338195801, + "learning_rate": 3.453080808080808e-06, + "loss": 6.476371765136719, + "step": 31630 + }, + { + "epoch": 0.01535, + "grad_norm": 4.949336051940918, + "learning_rate": 3.452828282828283e-06, + "loss": 6.2478271484375, + "step": 31635 + }, + { + "epoch": 0.0154, + "grad_norm": 10.83963394165039, + "learning_rate": 3.4525757575757578e-06, + "loss": 6.3129730224609375, + "step": 31640 + }, + { + "epoch": 0.01545, + "grad_norm": 4.589915752410889, + "learning_rate": 3.4523232323232324e-06, + "loss": 6.312158203125, + "step": 31645 + }, + { + "epoch": 0.0155, + "grad_norm": 6.311068058013916, + "learning_rate": 3.452070707070707e-06, + "loss": 6.333624267578125, + "step": 31650 + }, + { + "epoch": 0.01555, + "grad_norm": 5.2569684982299805, + "learning_rate": 3.4518181818181825e-06, + "loss": 6.324805450439453, + "step": 31655 + }, + { + "epoch": 0.0156, + "grad_norm": 5.8145060539245605, + "learning_rate": 3.4515656565656567e-06, + "loss": 6.256742858886719, + "step": 31660 + }, + { + "epoch": 0.01565, + "grad_norm": 4.225329875946045, + "learning_rate": 3.4513131313131313e-06, + "loss": 6.249169921875, + "step": 31665 + }, + { + "epoch": 0.0157, + "grad_norm": 7.952047348022461, + "learning_rate": 3.451060606060606e-06, + "loss": 6.3016815185546875, + "step": 31670 + }, + { + "epoch": 0.01575, + "grad_norm": 6.908677577972412, + "learning_rate": 3.4508080808080814e-06, + "loss": 6.2995361328125, + "step": 31675 + }, + { + "epoch": 0.0158, + "grad_norm": 25.09419822692871, + "learning_rate": 3.450555555555556e-06, + "loss": 6.192238235473633, + "step": 31680 + }, + { + "epoch": 0.01585, + "grad_norm": 6.209366321563721, + "learning_rate": 3.4503030303030303e-06, + "loss": 6.316732025146484, + "step": 31685 + }, + { + "epoch": 0.0159, + "grad_norm": 3.3453104496002197, + "learning_rate": 3.450050505050505e-06, + "loss": 6.322166061401367, + "step": 31690 + }, + { + "epoch": 0.01595, + "grad_norm": 4.147703170776367, + "learning_rate": 3.4497979797979804e-06, + "loss": 6.255399322509765, + "step": 31695 + }, + { + "epoch": 0.016, + "grad_norm": 6.530035495758057, + "learning_rate": 3.449545454545455e-06, + "loss": 6.323888778686523, + "step": 31700 + }, + { + "epoch": 0.01605, + "grad_norm": 7.125916957855225, + "learning_rate": 3.4492929292929296e-06, + "loss": 6.30679931640625, + "step": 31705 + }, + { + "epoch": 0.0161, + "grad_norm": 5.580719470977783, + "learning_rate": 3.4490404040404043e-06, + "loss": 6.335359573364258, + "step": 31710 + }, + { + "epoch": 0.01615, + "grad_norm": 5.956960201263428, + "learning_rate": 3.4487878787878793e-06, + "loss": 6.311019515991211, + "step": 31715 + }, + { + "epoch": 0.0162, + "grad_norm": 5.927552700042725, + "learning_rate": 3.448535353535354e-06, + "loss": 6.298535919189453, + "step": 31720 + }, + { + "epoch": 0.01625, + "grad_norm": 20.22911262512207, + "learning_rate": 3.4482828282828286e-06, + "loss": 6.181367492675781, + "step": 31725 + }, + { + "epoch": 0.0163, + "grad_norm": 7.554849147796631, + "learning_rate": 3.4480303030303032e-06, + "loss": 6.315692901611328, + "step": 31730 + }, + { + "epoch": 0.01635, + "grad_norm": 7.305336952209473, + "learning_rate": 3.4477777777777783e-06, + "loss": 6.283394241333008, + "step": 31735 + }, + { + "epoch": 0.0164, + "grad_norm": 3.5878970623016357, + "learning_rate": 3.447525252525253e-06, + "loss": 6.2654376983642575, + "step": 31740 + }, + { + "epoch": 0.01645, + "grad_norm": 4.613415718078613, + "learning_rate": 3.4472727272727275e-06, + "loss": 6.300001525878907, + "step": 31745 + }, + { + "epoch": 0.0165, + "grad_norm": 5.8660736083984375, + "learning_rate": 3.447020202020202e-06, + "loss": 6.325134658813477, + "step": 31750 + }, + { + "epoch": 0.01655, + "grad_norm": 6.802213191986084, + "learning_rate": 3.4467676767676772e-06, + "loss": 6.304117965698242, + "step": 31755 + }, + { + "epoch": 0.0166, + "grad_norm": 7.30796480178833, + "learning_rate": 3.446515151515152e-06, + "loss": 6.256463623046875, + "step": 31760 + }, + { + "epoch": 0.01665, + "grad_norm": 4.652501106262207, + "learning_rate": 3.4462626262626265e-06, + "loss": 6.29427490234375, + "step": 31765 + }, + { + "epoch": 0.0167, + "grad_norm": 3.471275568008423, + "learning_rate": 3.446010101010101e-06, + "loss": 6.273506164550781, + "step": 31770 + }, + { + "epoch": 0.01675, + "grad_norm": 6.855621814727783, + "learning_rate": 3.445757575757576e-06, + "loss": 6.310698699951172, + "step": 31775 + }, + { + "epoch": 0.0168, + "grad_norm": 11.133617401123047, + "learning_rate": 3.445505050505051e-06, + "loss": 6.33552360534668, + "step": 31780 + }, + { + "epoch": 0.01685, + "grad_norm": 6.413993835449219, + "learning_rate": 3.4452525252525254e-06, + "loss": 6.2734619140625, + "step": 31785 + }, + { + "epoch": 0.0169, + "grad_norm": 4.237363815307617, + "learning_rate": 3.445e-06, + "loss": 6.3292488098144535, + "step": 31790 + }, + { + "epoch": 0.01695, + "grad_norm": 6.368398666381836, + "learning_rate": 3.444747474747475e-06, + "loss": 6.2896991729736325, + "step": 31795 + }, + { + "epoch": 0.017, + "grad_norm": 4.33073616027832, + "learning_rate": 3.4444949494949497e-06, + "loss": 6.345384216308593, + "step": 31800 + }, + { + "epoch": 0.01705, + "grad_norm": 8.354249954223633, + "learning_rate": 3.4442424242424244e-06, + "loss": 6.299488830566406, + "step": 31805 + }, + { + "epoch": 0.0171, + "grad_norm": 4.806987762451172, + "learning_rate": 3.443989898989899e-06, + "loss": 6.261016082763672, + "step": 31810 + }, + { + "epoch": 0.01715, + "grad_norm": 7.7956156730651855, + "learning_rate": 3.443737373737374e-06, + "loss": 6.3149871826171875, + "step": 31815 + }, + { + "epoch": 0.0172, + "grad_norm": 6.116947650909424, + "learning_rate": 3.4434848484848487e-06, + "loss": 6.267167663574218, + "step": 31820 + }, + { + "epoch": 0.01725, + "grad_norm": 3.6102206707000732, + "learning_rate": 3.4432323232323233e-06, + "loss": 6.272686004638672, + "step": 31825 + }, + { + "epoch": 0.0173, + "grad_norm": 6.606013774871826, + "learning_rate": 3.4429797979797984e-06, + "loss": 6.289307022094727, + "step": 31830 + }, + { + "epoch": 0.01735, + "grad_norm": 8.34733772277832, + "learning_rate": 3.442727272727273e-06, + "loss": 6.306378936767578, + "step": 31835 + }, + { + "epoch": 0.0174, + "grad_norm": 5.240185260772705, + "learning_rate": 3.4424747474747476e-06, + "loss": 6.2825065612792965, + "step": 31840 + }, + { + "epoch": 0.01745, + "grad_norm": 5.906691074371338, + "learning_rate": 3.4422222222222223e-06, + "loss": 6.1539253234863285, + "step": 31845 + }, + { + "epoch": 0.0175, + "grad_norm": 8.313730239868164, + "learning_rate": 3.4419696969696973e-06, + "loss": 6.278577423095703, + "step": 31850 + }, + { + "epoch": 0.01755, + "grad_norm": 5.267515659332275, + "learning_rate": 3.441717171717172e-06, + "loss": 6.307084655761718, + "step": 31855 + }, + { + "epoch": 0.0176, + "grad_norm": 2.9735546112060547, + "learning_rate": 3.4414646464646466e-06, + "loss": 6.287197875976562, + "step": 31860 + }, + { + "epoch": 0.01765, + "grad_norm": 6.6072492599487305, + "learning_rate": 3.441212121212121e-06, + "loss": 6.294551086425781, + "step": 31865 + }, + { + "epoch": 0.0177, + "grad_norm": 7.9679388999938965, + "learning_rate": 3.4409595959595967e-06, + "loss": 6.241648101806641, + "step": 31870 + }, + { + "epoch": 0.01775, + "grad_norm": 4.801064491271973, + "learning_rate": 3.4407070707070713e-06, + "loss": 6.265339660644531, + "step": 31875 + }, + { + "epoch": 0.0178, + "grad_norm": 7.333015441894531, + "learning_rate": 3.4404545454545455e-06, + "loss": 6.345217895507813, + "step": 31880 + }, + { + "epoch": 0.01785, + "grad_norm": 9.557048797607422, + "learning_rate": 3.44020202020202e-06, + "loss": 6.3404685974121096, + "step": 31885 + }, + { + "epoch": 0.0179, + "grad_norm": 4.929149150848389, + "learning_rate": 3.4399494949494956e-06, + "loss": 6.23961181640625, + "step": 31890 + }, + { + "epoch": 0.01795, + "grad_norm": 6.641455173492432, + "learning_rate": 3.4396969696969702e-06, + "loss": 6.321847534179687, + "step": 31895 + }, + { + "epoch": 0.018, + "grad_norm": 6.2663726806640625, + "learning_rate": 3.439444444444445e-06, + "loss": 6.193353271484375, + "step": 31900 + }, + { + "epoch": 0.01805, + "grad_norm": 5.846175670623779, + "learning_rate": 3.4391919191919195e-06, + "loss": 6.2901664733886715, + "step": 31905 + }, + { + "epoch": 0.0181, + "grad_norm": 3.615746021270752, + "learning_rate": 3.4389393939393946e-06, + "loss": 6.236089706420898, + "step": 31910 + }, + { + "epoch": 0.01815, + "grad_norm": 9.009526252746582, + "learning_rate": 3.438686868686869e-06, + "loss": 6.287271881103516, + "step": 31915 + }, + { + "epoch": 0.0182, + "grad_norm": 13.213021278381348, + "learning_rate": 3.438434343434344e-06, + "loss": 6.367655563354492, + "step": 31920 + }, + { + "epoch": 0.01825, + "grad_norm": 4.49423885345459, + "learning_rate": 3.4381818181818185e-06, + "loss": 6.333085632324218, + "step": 31925 + }, + { + "epoch": 0.0183, + "grad_norm": 6.173900604248047, + "learning_rate": 3.4379292929292935e-06, + "loss": 6.399452209472656, + "step": 31930 + }, + { + "epoch": 0.01835, + "grad_norm": 7.305313587188721, + "learning_rate": 3.437676767676768e-06, + "loss": 6.3648323059082035, + "step": 31935 + }, + { + "epoch": 0.0184, + "grad_norm": 5.277191162109375, + "learning_rate": 3.4374242424242428e-06, + "loss": 6.321726226806641, + "step": 31940 + }, + { + "epoch": 0.01845, + "grad_norm": 3.4797632694244385, + "learning_rate": 3.4371717171717174e-06, + "loss": 6.211325073242188, + "step": 31945 + }, + { + "epoch": 0.0185, + "grad_norm": 7.6612548828125, + "learning_rate": 3.4369191919191924e-06, + "loss": 6.321328735351562, + "step": 31950 + }, + { + "epoch": 0.01855, + "grad_norm": 4.453453063964844, + "learning_rate": 3.436666666666667e-06, + "loss": 6.413594055175781, + "step": 31955 + }, + { + "epoch": 0.0186, + "grad_norm": 5.733448505401611, + "learning_rate": 3.4364141414141417e-06, + "loss": 6.437434387207031, + "step": 31960 + }, + { + "epoch": 0.01865, + "grad_norm": 8.235899925231934, + "learning_rate": 3.4361616161616163e-06, + "loss": 6.277687454223633, + "step": 31965 + }, + { + "epoch": 0.0187, + "grad_norm": 5.644808292388916, + "learning_rate": 3.4359090909090914e-06, + "loss": 6.245795059204101, + "step": 31970 + }, + { + "epoch": 0.01875, + "grad_norm": 18.938283920288086, + "learning_rate": 3.435656565656566e-06, + "loss": 6.404547119140625, + "step": 31975 + }, + { + "epoch": 0.0188, + "grad_norm": 3.7965950965881348, + "learning_rate": 3.4354040404040407e-06, + "loss": 6.284709930419922, + "step": 31980 + }, + { + "epoch": 0.01885, + "grad_norm": 7.361538410186768, + "learning_rate": 3.4351515151515153e-06, + "loss": 6.290018463134766, + "step": 31985 + }, + { + "epoch": 0.0189, + "grad_norm": 3.8698885440826416, + "learning_rate": 3.4348989898989903e-06, + "loss": 6.271343994140625, + "step": 31990 + }, + { + "epoch": 0.01895, + "grad_norm": 9.876664161682129, + "learning_rate": 3.434646464646465e-06, + "loss": 6.3014263153076175, + "step": 31995 + }, + { + "epoch": 0.019, + "grad_norm": 45.41852951049805, + "learning_rate": 3.4343939393939396e-06, + "loss": 6.447395324707031, + "step": 32000 + }, + { + "epoch": 0.01905, + "grad_norm": 4.826485633850098, + "learning_rate": 3.4341414141414142e-06, + "loss": 6.337058639526367, + "step": 32005 + }, + { + "epoch": 0.0191, + "grad_norm": 6.922322750091553, + "learning_rate": 3.4338888888888893e-06, + "loss": 6.328204345703125, + "step": 32010 + }, + { + "epoch": 0.01915, + "grad_norm": 3.874532461166382, + "learning_rate": 3.433636363636364e-06, + "loss": 6.264595794677734, + "step": 32015 + }, + { + "epoch": 0.0192, + "grad_norm": 8.299689292907715, + "learning_rate": 3.4333838383838385e-06, + "loss": 6.642129516601562, + "step": 32020 + }, + { + "epoch": 0.01925, + "grad_norm": 5.006965160369873, + "learning_rate": 3.433131313131313e-06, + "loss": 6.285784912109375, + "step": 32025 + }, + { + "epoch": 0.0193, + "grad_norm": 6.392104148864746, + "learning_rate": 3.4328787878787882e-06, + "loss": 6.308644485473633, + "step": 32030 + }, + { + "epoch": 0.01935, + "grad_norm": 6.673003673553467, + "learning_rate": 3.432626262626263e-06, + "loss": 6.292664337158203, + "step": 32035 + }, + { + "epoch": 0.0194, + "grad_norm": 3.572056293487549, + "learning_rate": 3.4323737373737375e-06, + "loss": 6.306335830688477, + "step": 32040 + }, + { + "epoch": 0.01945, + "grad_norm": 3.6506781578063965, + "learning_rate": 3.432121212121212e-06, + "loss": 6.30716552734375, + "step": 32045 + }, + { + "epoch": 0.0195, + "grad_norm": 5.960323333740234, + "learning_rate": 3.431868686868687e-06, + "loss": 6.268722152709961, + "step": 32050 + }, + { + "epoch": 0.01955, + "grad_norm": 3.9909090995788574, + "learning_rate": 3.431616161616162e-06, + "loss": 6.366038513183594, + "step": 32055 + }, + { + "epoch": 0.0196, + "grad_norm": 8.183165550231934, + "learning_rate": 3.4313636363636364e-06, + "loss": 6.3193004608154295, + "step": 32060 + }, + { + "epoch": 0.01965, + "grad_norm": 18.577024459838867, + "learning_rate": 3.431111111111111e-06, + "loss": 6.529879760742188, + "step": 32065 + }, + { + "epoch": 0.0197, + "grad_norm": 4.920264720916748, + "learning_rate": 3.4308585858585865e-06, + "loss": 6.278936767578125, + "step": 32070 + }, + { + "epoch": 0.01975, + "grad_norm": 6.263941764831543, + "learning_rate": 3.4306060606060607e-06, + "loss": 6.25976333618164, + "step": 32075 + }, + { + "epoch": 0.0198, + "grad_norm": 7.049136161804199, + "learning_rate": 3.4303535353535354e-06, + "loss": 6.231179046630859, + "step": 32080 + }, + { + "epoch": 0.01985, + "grad_norm": 3.2108652591705322, + "learning_rate": 3.43010101010101e-06, + "loss": 6.464751434326172, + "step": 32085 + }, + { + "epoch": 0.0199, + "grad_norm": 6.771056652069092, + "learning_rate": 3.4298484848484855e-06, + "loss": 6.27479248046875, + "step": 32090 + }, + { + "epoch": 0.01995, + "grad_norm": 6.785924911499023, + "learning_rate": 3.42959595959596e-06, + "loss": 6.324093627929687, + "step": 32095 + }, + { + "epoch": 0.02, + "grad_norm": 7.140957832336426, + "learning_rate": 3.4293434343434347e-06, + "loss": 6.310171890258789, + "step": 32100 + }, + { + "epoch": 0.02005, + "grad_norm": 7.84042501449585, + "learning_rate": 3.429090909090909e-06, + "loss": 6.315644073486328, + "step": 32105 + }, + { + "epoch": 0.0201, + "grad_norm": 7.905246734619141, + "learning_rate": 3.4288383838383844e-06, + "loss": 6.309546279907226, + "step": 32110 + }, + { + "epoch": 0.02015, + "grad_norm": 4.346594333648682, + "learning_rate": 3.428585858585859e-06, + "loss": 6.28812255859375, + "step": 32115 + }, + { + "epoch": 0.0202, + "grad_norm": 3.4818339347839355, + "learning_rate": 3.4283333333333337e-06, + "loss": 6.2875019073486325, + "step": 32120 + }, + { + "epoch": 0.02025, + "grad_norm": 18.192026138305664, + "learning_rate": 3.4280808080808083e-06, + "loss": 6.266826248168945, + "step": 32125 + }, + { + "epoch": 0.0203, + "grad_norm": 5.623541831970215, + "learning_rate": 3.4278282828282834e-06, + "loss": 6.35534896850586, + "step": 32130 + }, + { + "epoch": 0.02035, + "grad_norm": 7.073942184448242, + "learning_rate": 3.427575757575758e-06, + "loss": 6.265307235717773, + "step": 32135 + }, + { + "epoch": 0.0204, + "grad_norm": 3.950676679611206, + "learning_rate": 3.4273232323232326e-06, + "loss": 6.3546699523925785, + "step": 32140 + }, + { + "epoch": 0.02045, + "grad_norm": 6.548425674438477, + "learning_rate": 3.4270707070707073e-06, + "loss": 6.272074890136719, + "step": 32145 + }, + { + "epoch": 0.0205, + "grad_norm": 5.880001544952393, + "learning_rate": 3.4268181818181823e-06, + "loss": 6.259016418457032, + "step": 32150 + }, + { + "epoch": 0.02055, + "grad_norm": 4.494113445281982, + "learning_rate": 3.426565656565657e-06, + "loss": 6.295233917236328, + "step": 32155 + }, + { + "epoch": 0.0206, + "grad_norm": 8.922174453735352, + "learning_rate": 3.4263131313131316e-06, + "loss": 6.348507690429687, + "step": 32160 + }, + { + "epoch": 0.02065, + "grad_norm": 6.134346008300781, + "learning_rate": 3.426060606060606e-06, + "loss": 6.379944610595703, + "step": 32165 + }, + { + "epoch": 0.0207, + "grad_norm": 6.486685752868652, + "learning_rate": 3.4258080808080813e-06, + "loss": 6.32507438659668, + "step": 32170 + }, + { + "epoch": 0.02075, + "grad_norm": 4.252213954925537, + "learning_rate": 3.425555555555556e-06, + "loss": 6.3460956573486325, + "step": 32175 + }, + { + "epoch": 0.0208, + "grad_norm": 6.346280097961426, + "learning_rate": 3.4253030303030305e-06, + "loss": 6.349752426147461, + "step": 32180 + }, + { + "epoch": 0.02085, + "grad_norm": 7.851796627044678, + "learning_rate": 3.425050505050505e-06, + "loss": 6.279642486572266, + "step": 32185 + }, + { + "epoch": 0.0209, + "grad_norm": 7.163774013519287, + "learning_rate": 3.42479797979798e-06, + "loss": 6.236224365234375, + "step": 32190 + }, + { + "epoch": 0.02095, + "grad_norm": 6.286948204040527, + "learning_rate": 3.424545454545455e-06, + "loss": 6.2620399475097654, + "step": 32195 + }, + { + "epoch": 0.021, + "grad_norm": 7.335815906524658, + "learning_rate": 3.4242929292929295e-06, + "loss": 6.318128204345703, + "step": 32200 + }, + { + "epoch": 0.02105, + "grad_norm": 7.27271032333374, + "learning_rate": 3.424040404040404e-06, + "loss": 6.433381652832031, + "step": 32205 + }, + { + "epoch": 0.0211, + "grad_norm": 6.081254959106445, + "learning_rate": 3.423787878787879e-06, + "loss": 6.279003524780274, + "step": 32210 + }, + { + "epoch": 0.02115, + "grad_norm": 4.697077751159668, + "learning_rate": 3.4235353535353538e-06, + "loss": 6.268719863891602, + "step": 32215 + }, + { + "epoch": 0.0212, + "grad_norm": 5.818203926086426, + "learning_rate": 3.4232828282828284e-06, + "loss": 6.2838695526123045, + "step": 32220 + }, + { + "epoch": 0.02125, + "grad_norm": 5.986729145050049, + "learning_rate": 3.423030303030303e-06, + "loss": 6.312086868286133, + "step": 32225 + }, + { + "epoch": 0.0213, + "grad_norm": 7.142797470092773, + "learning_rate": 3.422777777777778e-06, + "loss": 6.284982681274414, + "step": 32230 + }, + { + "epoch": 0.02135, + "grad_norm": 3.1200385093688965, + "learning_rate": 3.4225252525252527e-06, + "loss": 6.287965393066406, + "step": 32235 + }, + { + "epoch": 0.0214, + "grad_norm": 6.946979522705078, + "learning_rate": 3.4222727272727273e-06, + "loss": 6.337002563476562, + "step": 32240 + }, + { + "epoch": 0.02145, + "grad_norm": 7.877346992492676, + "learning_rate": 3.4220202020202024e-06, + "loss": 6.307799530029297, + "step": 32245 + }, + { + "epoch": 0.0215, + "grad_norm": 7.355072975158691, + "learning_rate": 3.421767676767677e-06, + "loss": 6.289122772216797, + "step": 32250 + }, + { + "epoch": 0.02155, + "grad_norm": 4.829036235809326, + "learning_rate": 3.4215151515151517e-06, + "loss": 6.259711456298828, + "step": 32255 + }, + { + "epoch": 0.0216, + "grad_norm": 9.047592163085938, + "learning_rate": 3.4212626262626263e-06, + "loss": 6.27264518737793, + "step": 32260 + }, + { + "epoch": 0.02165, + "grad_norm": 5.92063570022583, + "learning_rate": 3.4210101010101018e-06, + "loss": 6.3243560791015625, + "step": 32265 + }, + { + "epoch": 0.0217, + "grad_norm": 12.830426216125488, + "learning_rate": 3.420757575757576e-06, + "loss": 6.211675643920898, + "step": 32270 + }, + { + "epoch": 0.02175, + "grad_norm": 7.308344841003418, + "learning_rate": 3.4205050505050506e-06, + "loss": 6.222997665405273, + "step": 32275 + }, + { + "epoch": 0.0218, + "grad_norm": 4.568763732910156, + "learning_rate": 3.4202525252525252e-06, + "loss": 6.275173568725586, + "step": 32280 + }, + { + "epoch": 0.02185, + "grad_norm": 5.150790214538574, + "learning_rate": 3.4200000000000007e-06, + "loss": 6.298620986938476, + "step": 32285 + }, + { + "epoch": 0.0219, + "grad_norm": 5.813236713409424, + "learning_rate": 3.4197474747474753e-06, + "loss": 6.288979339599609, + "step": 32290 + }, + { + "epoch": 0.02195, + "grad_norm": 5.45294189453125, + "learning_rate": 3.4194949494949496e-06, + "loss": 6.309714508056641, + "step": 32295 + }, + { + "epoch": 0.022, + "grad_norm": 7.023442268371582, + "learning_rate": 3.419242424242424e-06, + "loss": 6.223733901977539, + "step": 32300 + }, + { + "epoch": 0.02205, + "grad_norm": 4.545304298400879, + "learning_rate": 3.4189898989898997e-06, + "loss": 6.272264862060547, + "step": 32305 + }, + { + "epoch": 0.0221, + "grad_norm": 4.7777299880981445, + "learning_rate": 3.4187373737373743e-06, + "loss": 6.2722320556640625, + "step": 32310 + }, + { + "epoch": 0.02215, + "grad_norm": 5.0901899337768555, + "learning_rate": 3.418484848484849e-06, + "loss": 6.29754867553711, + "step": 32315 + }, + { + "epoch": 0.0222, + "grad_norm": 3.8483922481536865, + "learning_rate": 3.4182323232323235e-06, + "loss": 6.279553985595703, + "step": 32320 + }, + { + "epoch": 0.02225, + "grad_norm": 6.103102684020996, + "learning_rate": 3.4179797979797986e-06, + "loss": 6.287636566162109, + "step": 32325 + }, + { + "epoch": 0.0223, + "grad_norm": 4.236302852630615, + "learning_rate": 3.4177272727272732e-06, + "loss": 6.2598003387451175, + "step": 32330 + }, + { + "epoch": 0.02235, + "grad_norm": 5.115714073181152, + "learning_rate": 3.417474747474748e-06, + "loss": 6.287063217163086, + "step": 32335 + }, + { + "epoch": 0.0224, + "grad_norm": 9.660810470581055, + "learning_rate": 3.4172222222222225e-06, + "loss": 6.373627471923828, + "step": 32340 + }, + { + "epoch": 0.02245, + "grad_norm": 5.38846492767334, + "learning_rate": 3.4169696969696975e-06, + "loss": 6.2686012268066404, + "step": 32345 + }, + { + "epoch": 0.0225, + "grad_norm": 4.665284633636475, + "learning_rate": 3.416717171717172e-06, + "loss": 6.2926891326904295, + "step": 32350 + }, + { + "epoch": 0.02255, + "grad_norm": 6.9151434898376465, + "learning_rate": 3.416464646464647e-06, + "loss": 6.2726295471191404, + "step": 32355 + }, + { + "epoch": 0.0226, + "grad_norm": 6.4344096183776855, + "learning_rate": 3.4162121212121214e-06, + "loss": 6.248241424560547, + "step": 32360 + }, + { + "epoch": 0.02265, + "grad_norm": 5.950206279754639, + "learning_rate": 3.4159595959595965e-06, + "loss": 6.306484985351562, + "step": 32365 + }, + { + "epoch": 0.0227, + "grad_norm": 4.17216157913208, + "learning_rate": 3.415707070707071e-06, + "loss": 6.2299762725830075, + "step": 32370 + }, + { + "epoch": 0.02275, + "grad_norm": 6.776298999786377, + "learning_rate": 3.4154545454545457e-06, + "loss": 6.2634422302246096, + "step": 32375 + }, + { + "epoch": 0.0228, + "grad_norm": 5.850812911987305, + "learning_rate": 3.4152020202020204e-06, + "loss": 6.330546951293945, + "step": 32380 + }, + { + "epoch": 0.02285, + "grad_norm": 5.061315536499023, + "learning_rate": 3.4149494949494954e-06, + "loss": 6.285494995117188, + "step": 32385 + }, + { + "epoch": 0.0229, + "grad_norm": 5.327838897705078, + "learning_rate": 3.41469696969697e-06, + "loss": 6.318167114257813, + "step": 32390 + }, + { + "epoch": 0.02295, + "grad_norm": 4.172123432159424, + "learning_rate": 3.4144444444444447e-06, + "loss": 6.378875732421875, + "step": 32395 + }, + { + "epoch": 0.023, + "grad_norm": 5.2284955978393555, + "learning_rate": 3.4141919191919193e-06, + "loss": 6.295571899414062, + "step": 32400 + }, + { + "epoch": 0.02305, + "grad_norm": 23.464540481567383, + "learning_rate": 3.4139393939393944e-06, + "loss": 6.1604766845703125, + "step": 32405 + }, + { + "epoch": 0.0231, + "grad_norm": 8.758240699768066, + "learning_rate": 3.413686868686869e-06, + "loss": 6.166027069091797, + "step": 32410 + }, + { + "epoch": 0.02315, + "grad_norm": 5.50541353225708, + "learning_rate": 3.4134343434343436e-06, + "loss": 6.2739105224609375, + "step": 32415 + }, + { + "epoch": 0.0232, + "grad_norm": 5.875354290008545, + "learning_rate": 3.4131818181818183e-06, + "loss": 6.27103271484375, + "step": 32420 + }, + { + "epoch": 0.02325, + "grad_norm": 6.040763854980469, + "learning_rate": 3.4129292929292933e-06, + "loss": 6.319233703613281, + "step": 32425 + }, + { + "epoch": 0.0233, + "grad_norm": 4.986361026763916, + "learning_rate": 3.412676767676768e-06, + "loss": 6.260108947753906, + "step": 32430 + }, + { + "epoch": 0.02335, + "grad_norm": 4.917168140411377, + "learning_rate": 3.4124242424242426e-06, + "loss": 6.281546020507813, + "step": 32435 + }, + { + "epoch": 0.0234, + "grad_norm": 7.084517002105713, + "learning_rate": 3.412171717171717e-06, + "loss": 6.263153076171875, + "step": 32440 + }, + { + "epoch": 0.02345, + "grad_norm": 5.084254741668701, + "learning_rate": 3.4119191919191923e-06, + "loss": 6.331203460693359, + "step": 32445 + }, + { + "epoch": 0.0235, + "grad_norm": 6.203841209411621, + "learning_rate": 3.411666666666667e-06, + "loss": 6.31361198425293, + "step": 32450 + }, + { + "epoch": 0.02355, + "grad_norm": 6.095081329345703, + "learning_rate": 3.4114141414141415e-06, + "loss": 6.307169342041016, + "step": 32455 + }, + { + "epoch": 0.0236, + "grad_norm": 10.236827850341797, + "learning_rate": 3.411161616161616e-06, + "loss": 6.326509094238281, + "step": 32460 + }, + { + "epoch": 0.02365, + "grad_norm": 5.875765323638916, + "learning_rate": 3.410909090909091e-06, + "loss": 6.376076126098633, + "step": 32465 + }, + { + "epoch": 0.0237, + "grad_norm": 4.158951759338379, + "learning_rate": 3.410656565656566e-06, + "loss": 6.266670227050781, + "step": 32470 + }, + { + "epoch": 0.02375, + "grad_norm": 8.984514236450195, + "learning_rate": 3.4104040404040405e-06, + "loss": 6.1888267517089846, + "step": 32475 + }, + { + "epoch": 0.0238, + "grad_norm": 10.406311988830566, + "learning_rate": 3.410151515151515e-06, + "loss": 6.295879364013672, + "step": 32480 + }, + { + "epoch": 0.02385, + "grad_norm": 9.178069114685059, + "learning_rate": 3.4098989898989906e-06, + "loss": 6.320977020263672, + "step": 32485 + }, + { + "epoch": 0.0239, + "grad_norm": 8.282934188842773, + "learning_rate": 3.4096464646464648e-06, + "loss": 6.271314239501953, + "step": 32490 + }, + { + "epoch": 0.02395, + "grad_norm": 10.929844856262207, + "learning_rate": 3.4093939393939394e-06, + "loss": 6.305949020385742, + "step": 32495 + }, + { + "epoch": 0.024, + "grad_norm": 5.974272727966309, + "learning_rate": 3.409141414141414e-06, + "loss": 6.284951782226562, + "step": 32500 + }, + { + "epoch": 0.02405, + "grad_norm": 9.90165901184082, + "learning_rate": 3.4088888888888895e-06, + "loss": 6.311413955688477, + "step": 32505 + }, + { + "epoch": 0.0241, + "grad_norm": 7.626299858093262, + "learning_rate": 3.408636363636364e-06, + "loss": 6.3053436279296875, + "step": 32510 + }, + { + "epoch": 0.02415, + "grad_norm": 8.374993324279785, + "learning_rate": 3.4083838383838388e-06, + "loss": 6.2742919921875, + "step": 32515 + }, + { + "epoch": 0.0242, + "grad_norm": 5.127213001251221, + "learning_rate": 3.408131313131313e-06, + "loss": 6.250851440429687, + "step": 32520 + }, + { + "epoch": 0.02425, + "grad_norm": 61.41652297973633, + "learning_rate": 3.4078787878787885e-06, + "loss": 6.212837219238281, + "step": 32525 + }, + { + "epoch": 0.0243, + "grad_norm": 8.33638858795166, + "learning_rate": 3.407626262626263e-06, + "loss": 6.191169738769531, + "step": 32530 + }, + { + "epoch": 0.02435, + "grad_norm": 6.257434368133545, + "learning_rate": 3.4073737373737377e-06, + "loss": 6.3098194122314455, + "step": 32535 + }, + { + "epoch": 0.0244, + "grad_norm": 6.95494270324707, + "learning_rate": 3.4071212121212124e-06, + "loss": 6.274754333496094, + "step": 32540 + }, + { + "epoch": 0.02445, + "grad_norm": 7.08582067489624, + "learning_rate": 3.4068686868686874e-06, + "loss": 6.273867797851563, + "step": 32545 + }, + { + "epoch": 0.0245, + "grad_norm": 11.90192985534668, + "learning_rate": 3.406616161616162e-06, + "loss": 6.259604644775391, + "step": 32550 + }, + { + "epoch": 0.02455, + "grad_norm": 12.465909957885742, + "learning_rate": 3.4063636363636367e-06, + "loss": 6.344020080566406, + "step": 32555 + }, + { + "epoch": 0.0246, + "grad_norm": 8.09375286102295, + "learning_rate": 3.4061111111111113e-06, + "loss": 6.271186828613281, + "step": 32560 + }, + { + "epoch": 0.02465, + "grad_norm": 5.28250789642334, + "learning_rate": 3.4058585858585864e-06, + "loss": 6.281183242797852, + "step": 32565 + }, + { + "epoch": 0.0247, + "grad_norm": 4.477888584136963, + "learning_rate": 3.405606060606061e-06, + "loss": 6.377745056152344, + "step": 32570 + }, + { + "epoch": 0.02475, + "grad_norm": 7.783365249633789, + "learning_rate": 3.4053535353535356e-06, + "loss": 6.295442962646485, + "step": 32575 + }, + { + "epoch": 0.0248, + "grad_norm": 7.352127552032471, + "learning_rate": 3.4051010101010102e-06, + "loss": 6.511199188232422, + "step": 32580 + }, + { + "epoch": 0.02485, + "grad_norm": 20.00706672668457, + "learning_rate": 3.4048484848484853e-06, + "loss": 6.419554138183594, + "step": 32585 + }, + { + "epoch": 0.0249, + "grad_norm": 5.256389141082764, + "learning_rate": 3.40459595959596e-06, + "loss": 6.339096450805664, + "step": 32590 + }, + { + "epoch": 0.02495, + "grad_norm": 6.563801288604736, + "learning_rate": 3.4043434343434346e-06, + "loss": 6.28271369934082, + "step": 32595 + }, + { + "epoch": 0.025, + "grad_norm": 6.374956130981445, + "learning_rate": 3.404090909090909e-06, + "loss": 6.272246551513672, + "step": 32600 + }, + { + "epoch": 0.02505, + "grad_norm": 5.4979023933410645, + "learning_rate": 3.4038383838383842e-06, + "loss": 6.249833297729492, + "step": 32605 + }, + { + "epoch": 0.0251, + "grad_norm": 6.788812637329102, + "learning_rate": 3.403585858585859e-06, + "loss": 6.283016586303711, + "step": 32610 + }, + { + "epoch": 0.02515, + "grad_norm": 17.309892654418945, + "learning_rate": 3.4033333333333335e-06, + "loss": 6.304659271240235, + "step": 32615 + }, + { + "epoch": 0.0252, + "grad_norm": 4.285764694213867, + "learning_rate": 3.403080808080808e-06, + "loss": 6.161538696289062, + "step": 32620 + }, + { + "epoch": 0.02525, + "grad_norm": 5.18768310546875, + "learning_rate": 3.402828282828283e-06, + "loss": 6.297689056396484, + "step": 32625 + }, + { + "epoch": 0.0253, + "grad_norm": 3.6121935844421387, + "learning_rate": 3.402575757575758e-06, + "loss": 6.296743774414063, + "step": 32630 + }, + { + "epoch": 0.02535, + "grad_norm": 7.011654376983643, + "learning_rate": 3.4023232323232324e-06, + "loss": 6.253909301757813, + "step": 32635 + }, + { + "epoch": 0.0254, + "grad_norm": 5.257863998413086, + "learning_rate": 3.402070707070707e-06, + "loss": 6.244644546508789, + "step": 32640 + }, + { + "epoch": 0.02545, + "grad_norm": 5.4188971519470215, + "learning_rate": 3.401818181818182e-06, + "loss": 6.270030975341797, + "step": 32645 + }, + { + "epoch": 0.0255, + "grad_norm": 6.767153739929199, + "learning_rate": 3.4015656565656568e-06, + "loss": 6.3018543243408205, + "step": 32650 + }, + { + "epoch": 0.02555, + "grad_norm": 4.691617012023926, + "learning_rate": 3.4013131313131314e-06, + "loss": 6.338926315307617, + "step": 32655 + }, + { + "epoch": 0.0256, + "grad_norm": 5.44677734375, + "learning_rate": 3.401060606060606e-06, + "loss": 6.251610565185547, + "step": 32660 + }, + { + "epoch": 0.02565, + "grad_norm": 9.626145362854004, + "learning_rate": 3.400808080808081e-06, + "loss": 6.3152210235595705, + "step": 32665 + }, + { + "epoch": 0.0257, + "grad_norm": 4.189969062805176, + "learning_rate": 3.4005555555555557e-06, + "loss": 6.338197708129883, + "step": 32670 + }, + { + "epoch": 0.02575, + "grad_norm": 6.453485012054443, + "learning_rate": 3.4003030303030303e-06, + "loss": 6.316188812255859, + "step": 32675 + }, + { + "epoch": 0.0258, + "grad_norm": 6.72882080078125, + "learning_rate": 3.400050505050506e-06, + "loss": 6.253453063964844, + "step": 32680 + }, + { + "epoch": 0.02585, + "grad_norm": 4.00105619430542, + "learning_rate": 3.39979797979798e-06, + "loss": 6.289204025268555, + "step": 32685 + }, + { + "epoch": 0.0259, + "grad_norm": 4.617617130279541, + "learning_rate": 3.3995454545454546e-06, + "loss": 6.297190475463867, + "step": 32690 + }, + { + "epoch": 0.02595, + "grad_norm": 8.77125072479248, + "learning_rate": 3.3992929292929293e-06, + "loss": 6.331533432006836, + "step": 32695 + }, + { + "epoch": 0.026, + "grad_norm": 5.983002662658691, + "learning_rate": 3.3990404040404048e-06, + "loss": 6.25775260925293, + "step": 32700 + }, + { + "epoch": 0.02605, + "grad_norm": 4.518277645111084, + "learning_rate": 3.3987878787878794e-06, + "loss": 6.334423828125, + "step": 32705 + }, + { + "epoch": 0.0261, + "grad_norm": 8.751855850219727, + "learning_rate": 3.3985353535353536e-06, + "loss": 6.2957813262939455, + "step": 32710 + }, + { + "epoch": 0.02615, + "grad_norm": 5.162111759185791, + "learning_rate": 3.3982828282828282e-06, + "loss": 6.294309616088867, + "step": 32715 + }, + { + "epoch": 0.0262, + "grad_norm": 7.6749796867370605, + "learning_rate": 3.3980303030303037e-06, + "loss": 6.291846466064453, + "step": 32720 + }, + { + "epoch": 0.02625, + "grad_norm": 6.8210673332214355, + "learning_rate": 3.3977777777777783e-06, + "loss": 6.319868469238282, + "step": 32725 + }, + { + "epoch": 0.0263, + "grad_norm": 24.7596378326416, + "learning_rate": 3.397525252525253e-06, + "loss": 6.413050842285156, + "step": 32730 + }, + { + "epoch": 0.02635, + "grad_norm": 11.842512130737305, + "learning_rate": 3.3972727272727276e-06, + "loss": 6.2862812042236325, + "step": 32735 + }, + { + "epoch": 0.0264, + "grad_norm": 6.6752519607543945, + "learning_rate": 3.3970202020202026e-06, + "loss": 6.295029067993164, + "step": 32740 + }, + { + "epoch": 0.02645, + "grad_norm": 6.844410419464111, + "learning_rate": 3.3967676767676773e-06, + "loss": 6.252899551391602, + "step": 32745 + }, + { + "epoch": 0.0265, + "grad_norm": 9.802356719970703, + "learning_rate": 3.396515151515152e-06, + "loss": 6.321332550048828, + "step": 32750 + }, + { + "epoch": 0.02655, + "grad_norm": 5.263422012329102, + "learning_rate": 3.3962626262626265e-06, + "loss": 6.256106567382813, + "step": 32755 + }, + { + "epoch": 0.0266, + "grad_norm": 6.753117561340332, + "learning_rate": 3.3960101010101016e-06, + "loss": 6.309476852416992, + "step": 32760 + }, + { + "epoch": 0.02665, + "grad_norm": 6.541280746459961, + "learning_rate": 3.3957575757575762e-06, + "loss": 6.295966720581054, + "step": 32765 + }, + { + "epoch": 0.0267, + "grad_norm": 5.8446760177612305, + "learning_rate": 3.395505050505051e-06, + "loss": 6.3157196044921875, + "step": 32770 + }, + { + "epoch": 0.02675, + "grad_norm": 4.168968200683594, + "learning_rate": 3.3952525252525255e-06, + "loss": 6.317673873901367, + "step": 32775 + }, + { + "epoch": 0.0268, + "grad_norm": 4.293978691101074, + "learning_rate": 3.3950000000000005e-06, + "loss": 6.305788803100586, + "step": 32780 + }, + { + "epoch": 0.02685, + "grad_norm": 6.9493489265441895, + "learning_rate": 3.394747474747475e-06, + "loss": 6.281805801391601, + "step": 32785 + }, + { + "epoch": 0.0269, + "grad_norm": 4.490607738494873, + "learning_rate": 3.39449494949495e-06, + "loss": 6.2968708038330075, + "step": 32790 + }, + { + "epoch": 0.02695, + "grad_norm": 7.814769268035889, + "learning_rate": 3.3942424242424244e-06, + "loss": 6.269432067871094, + "step": 32795 + }, + { + "epoch": 0.027, + "grad_norm": 4.410820960998535, + "learning_rate": 3.3939898989898995e-06, + "loss": 6.305855560302734, + "step": 32800 + }, + { + "epoch": 0.02705, + "grad_norm": 18.658266067504883, + "learning_rate": 3.393737373737374e-06, + "loss": 6.227949142456055, + "step": 32805 + }, + { + "epoch": 0.0271, + "grad_norm": 9.212102890014648, + "learning_rate": 3.3934848484848487e-06, + "loss": 6.259611511230469, + "step": 32810 + }, + { + "epoch": 0.02715, + "grad_norm": 12.332964897155762, + "learning_rate": 3.3932323232323234e-06, + "loss": 6.344914245605469, + "step": 32815 + }, + { + "epoch": 0.0272, + "grad_norm": 17.153284072875977, + "learning_rate": 3.3929797979797984e-06, + "loss": 6.415339660644531, + "step": 32820 + }, + { + "epoch": 0.02725, + "grad_norm": 4.676977634429932, + "learning_rate": 3.392727272727273e-06, + "loss": 6.260399627685547, + "step": 32825 + }, + { + "epoch": 0.0273, + "grad_norm": 8.144231796264648, + "learning_rate": 3.3924747474747477e-06, + "loss": 6.2758949279785154, + "step": 32830 + }, + { + "epoch": 0.02735, + "grad_norm": 4.575031280517578, + "learning_rate": 3.3922222222222223e-06, + "loss": 6.340414047241211, + "step": 32835 + }, + { + "epoch": 0.0274, + "grad_norm": 5.878757476806641, + "learning_rate": 3.3919696969696974e-06, + "loss": 6.286156463623047, + "step": 32840 + }, + { + "epoch": 0.02745, + "grad_norm": 3.6416032314300537, + "learning_rate": 3.391717171717172e-06, + "loss": 6.321328353881836, + "step": 32845 + }, + { + "epoch": 0.0275, + "grad_norm": 6.340916633605957, + "learning_rate": 3.3914646464646466e-06, + "loss": 6.393750762939453, + "step": 32850 + }, + { + "epoch": 0.02755, + "grad_norm": 6.809146881103516, + "learning_rate": 3.3912121212121213e-06, + "loss": 6.269526672363281, + "step": 32855 + }, + { + "epoch": 0.0276, + "grad_norm": 3.288670063018799, + "learning_rate": 3.3909595959595963e-06, + "loss": 6.281950378417969, + "step": 32860 + }, + { + "epoch": 0.02765, + "grad_norm": 5.109802722930908, + "learning_rate": 3.390707070707071e-06, + "loss": 6.262111663818359, + "step": 32865 + }, + { + "epoch": 0.0277, + "grad_norm": 3.799258232116699, + "learning_rate": 3.3904545454545456e-06, + "loss": 6.2551628112792965, + "step": 32870 + }, + { + "epoch": 0.02775, + "grad_norm": 4.301450252532959, + "learning_rate": 3.39020202020202e-06, + "loss": 6.275251388549805, + "step": 32875 + }, + { + "epoch": 0.0278, + "grad_norm": 4.405968189239502, + "learning_rate": 3.3899494949494952e-06, + "loss": 6.273078536987304, + "step": 32880 + }, + { + "epoch": 0.02785, + "grad_norm": 5.581389904022217, + "learning_rate": 3.38969696969697e-06, + "loss": 6.2833808898925785, + "step": 32885 + }, + { + "epoch": 0.0279, + "grad_norm": 3.189084529876709, + "learning_rate": 3.3894444444444445e-06, + "loss": 6.270728302001953, + "step": 32890 + }, + { + "epoch": 0.02795, + "grad_norm": 6.098864555358887, + "learning_rate": 3.389191919191919e-06, + "loss": 6.2906238555908205, + "step": 32895 + }, + { + "epoch": 0.028, + "grad_norm": 6.566707611083984, + "learning_rate": 3.3889393939393946e-06, + "loss": 6.261868286132812, + "step": 32900 + }, + { + "epoch": 0.02805, + "grad_norm": 7.309471130371094, + "learning_rate": 3.388686868686869e-06, + "loss": 6.394461059570313, + "step": 32905 + }, + { + "epoch": 0.0281, + "grad_norm": 10.70196533203125, + "learning_rate": 3.3884343434343435e-06, + "loss": 6.247087478637695, + "step": 32910 + }, + { + "epoch": 0.02815, + "grad_norm": 7.136679172515869, + "learning_rate": 3.388181818181818e-06, + "loss": 6.233831405639648, + "step": 32915 + }, + { + "epoch": 0.0282, + "grad_norm": 7.76154899597168, + "learning_rate": 3.3879292929292936e-06, + "loss": 6.274042129516602, + "step": 32920 + }, + { + "epoch": 0.02825, + "grad_norm": 7.1754961013793945, + "learning_rate": 3.387676767676768e-06, + "loss": 6.274201965332031, + "step": 32925 + }, + { + "epoch": 0.0283, + "grad_norm": 5.778814315795898, + "learning_rate": 3.387424242424243e-06, + "loss": 6.587728881835938, + "step": 32930 + }, + { + "epoch": 0.02835, + "grad_norm": 7.604826927185059, + "learning_rate": 3.387171717171717e-06, + "loss": 6.361950302124024, + "step": 32935 + }, + { + "epoch": 0.0284, + "grad_norm": 7.614299774169922, + "learning_rate": 3.3869191919191925e-06, + "loss": 6.276834106445312, + "step": 32940 + }, + { + "epoch": 0.02845, + "grad_norm": 6.805838108062744, + "learning_rate": 3.386666666666667e-06, + "loss": 6.295297622680664, + "step": 32945 + }, + { + "epoch": 0.0285, + "grad_norm": 9.325764656066895, + "learning_rate": 3.3864141414141418e-06, + "loss": 6.240407943725586, + "step": 32950 + }, + { + "epoch": 0.02855, + "grad_norm": 11.881196975708008, + "learning_rate": 3.3861616161616164e-06, + "loss": 6.2974365234375, + "step": 32955 + }, + { + "epoch": 0.0286, + "grad_norm": 4.622828006744385, + "learning_rate": 3.3859090909090914e-06, + "loss": 6.282869338989258, + "step": 32960 + }, + { + "epoch": 0.02865, + "grad_norm": 4.647458076477051, + "learning_rate": 3.385656565656566e-06, + "loss": 6.294223785400391, + "step": 32965 + }, + { + "epoch": 0.0287, + "grad_norm": 4.806219100952148, + "learning_rate": 3.3854040404040407e-06, + "loss": 6.294277191162109, + "step": 32970 + }, + { + "epoch": 0.02875, + "grad_norm": 6.078112602233887, + "learning_rate": 3.3851515151515153e-06, + "loss": 6.300291061401367, + "step": 32975 + }, + { + "epoch": 0.0288, + "grad_norm": 8.323182106018066, + "learning_rate": 3.3848989898989904e-06, + "loss": 6.285092163085937, + "step": 32980 + }, + { + "epoch": 0.02885, + "grad_norm": 9.339707374572754, + "learning_rate": 3.384646464646465e-06, + "loss": 6.270893859863281, + "step": 32985 + }, + { + "epoch": 0.0289, + "grad_norm": 7.797632217407227, + "learning_rate": 3.3843939393939397e-06, + "loss": 6.291423797607422, + "step": 32990 + }, + { + "epoch": 0.02895, + "grad_norm": 4.118420124053955, + "learning_rate": 3.3841414141414143e-06, + "loss": 6.350740432739258, + "step": 32995 + }, + { + "epoch": 0.029, + "grad_norm": 6.957522392272949, + "learning_rate": 3.3838888888888893e-06, + "loss": 6.265525054931641, + "step": 33000 + }, + { + "epoch": 0.02905, + "grad_norm": 7.795707702636719, + "learning_rate": 3.383636363636364e-06, + "loss": 6.283013153076172, + "step": 33005 + }, + { + "epoch": 0.0291, + "grad_norm": 7.959973335266113, + "learning_rate": 3.3833838383838386e-06, + "loss": 6.2590888977050785, + "step": 33010 + }, + { + "epoch": 0.02915, + "grad_norm": 8.439517974853516, + "learning_rate": 3.3831313131313132e-06, + "loss": 6.277886581420899, + "step": 33015 + }, + { + "epoch": 0.0292, + "grad_norm": 7.143141269683838, + "learning_rate": 3.3828787878787883e-06, + "loss": 6.3066963195800785, + "step": 33020 + }, + { + "epoch": 0.02925, + "grad_norm": 7.266543865203857, + "learning_rate": 3.382626262626263e-06, + "loss": 6.432810211181641, + "step": 33025 + }, + { + "epoch": 0.0293, + "grad_norm": 4.507126331329346, + "learning_rate": 3.3823737373737375e-06, + "loss": 6.320489501953125, + "step": 33030 + }, + { + "epoch": 0.02935, + "grad_norm": 6.134202480316162, + "learning_rate": 3.382121212121212e-06, + "loss": 6.484198760986328, + "step": 33035 + }, + { + "epoch": 0.0294, + "grad_norm": 4.969404220581055, + "learning_rate": 3.3818686868686872e-06, + "loss": 6.308735275268555, + "step": 33040 + }, + { + "epoch": 0.02945, + "grad_norm": 5.8853631019592285, + "learning_rate": 3.381616161616162e-06, + "loss": 6.543714904785157, + "step": 33045 + }, + { + "epoch": 0.0295, + "grad_norm": 9.244221687316895, + "learning_rate": 3.3813636363636365e-06, + "loss": 6.256529235839844, + "step": 33050 + }, + { + "epoch": 0.02955, + "grad_norm": 8.25161361694336, + "learning_rate": 3.381111111111111e-06, + "loss": 6.332659912109375, + "step": 33055 + }, + { + "epoch": 0.0296, + "grad_norm": 6.023909091949463, + "learning_rate": 3.380858585858586e-06, + "loss": 6.3304191589355465, + "step": 33060 + }, + { + "epoch": 0.02965, + "grad_norm": 4.226219177246094, + "learning_rate": 3.380606060606061e-06, + "loss": 6.324036407470703, + "step": 33065 + }, + { + "epoch": 0.0297, + "grad_norm": 6.545253753662109, + "learning_rate": 3.3803535353535354e-06, + "loss": 6.297446823120117, + "step": 33070 + }, + { + "epoch": 0.02975, + "grad_norm": 5.140801429748535, + "learning_rate": 3.38010101010101e-06, + "loss": 6.258947372436523, + "step": 33075 + }, + { + "epoch": 0.0298, + "grad_norm": 6.786447048187256, + "learning_rate": 3.379848484848485e-06, + "loss": 6.272116088867188, + "step": 33080 + }, + { + "epoch": 0.02985, + "grad_norm": 11.403496742248535, + "learning_rate": 3.3795959595959597e-06, + "loss": 6.29498519897461, + "step": 33085 + }, + { + "epoch": 0.0299, + "grad_norm": 5.828900337219238, + "learning_rate": 3.3793434343434344e-06, + "loss": 6.265420150756836, + "step": 33090 + }, + { + "epoch": 0.02995, + "grad_norm": 13.697530746459961, + "learning_rate": 3.37909090909091e-06, + "loss": 6.2951805114746096, + "step": 33095 + }, + { + "epoch": 0.03, + "grad_norm": 5.753592491149902, + "learning_rate": 3.378838383838384e-06, + "loss": 6.255740737915039, + "step": 33100 + }, + { + "epoch": 0.03005, + "grad_norm": 7.691236972808838, + "learning_rate": 3.3785858585858587e-06, + "loss": 6.240294647216797, + "step": 33105 + }, + { + "epoch": 0.0301, + "grad_norm": 8.726850509643555, + "learning_rate": 3.3783333333333333e-06, + "loss": 6.267334747314453, + "step": 33110 + }, + { + "epoch": 0.03015, + "grad_norm": 5.179562568664551, + "learning_rate": 3.378080808080809e-06, + "loss": 6.273417663574219, + "step": 33115 + }, + { + "epoch": 0.0302, + "grad_norm": 4.327252388000488, + "learning_rate": 3.3778282828282834e-06, + "loss": 6.2932373046875, + "step": 33120 + }, + { + "epoch": 0.03025, + "grad_norm": 8.62805461883545, + "learning_rate": 3.3775757575757576e-06, + "loss": 6.279069900512695, + "step": 33125 + }, + { + "epoch": 0.0303, + "grad_norm": 6.345445156097412, + "learning_rate": 3.3773232323232323e-06, + "loss": 6.2639610290527346, + "step": 33130 + }, + { + "epoch": 0.03035, + "grad_norm": 6.395575046539307, + "learning_rate": 3.3770707070707077e-06, + "loss": 6.295189285278321, + "step": 33135 + }, + { + "epoch": 0.0304, + "grad_norm": 5.761693477630615, + "learning_rate": 3.3768181818181824e-06, + "loss": 6.251622009277344, + "step": 33140 + }, + { + "epoch": 0.03045, + "grad_norm": 7.3734846115112305, + "learning_rate": 3.376565656565657e-06, + "loss": 6.435795593261719, + "step": 33145 + }, + { + "epoch": 0.0305, + "grad_norm": 11.005121231079102, + "learning_rate": 3.3763131313131316e-06, + "loss": 6.330982208251953, + "step": 33150 + }, + { + "epoch": 0.03055, + "grad_norm": 7.978140354156494, + "learning_rate": 3.3760606060606067e-06, + "loss": 6.271990966796875, + "step": 33155 + }, + { + "epoch": 0.0306, + "grad_norm": 15.699374198913574, + "learning_rate": 3.3758080808080813e-06, + "loss": 6.368354034423828, + "step": 33160 + }, + { + "epoch": 0.03065, + "grad_norm": 6.79068660736084, + "learning_rate": 3.375555555555556e-06, + "loss": 6.281839752197266, + "step": 33165 + }, + { + "epoch": 0.0307, + "grad_norm": 6.520066261291504, + "learning_rate": 3.3753030303030306e-06, + "loss": 6.27618293762207, + "step": 33170 + }, + { + "epoch": 0.03075, + "grad_norm": 8.005951881408691, + "learning_rate": 3.3750505050505056e-06, + "loss": 6.287255096435547, + "step": 33175 + }, + { + "epoch": 0.0308, + "grad_norm": 10.881730079650879, + "learning_rate": 3.3747979797979803e-06, + "loss": 6.2649696350097654, + "step": 33180 + }, + { + "epoch": 0.03085, + "grad_norm": 6.8364691734313965, + "learning_rate": 3.374545454545455e-06, + "loss": 6.2221824645996096, + "step": 33185 + }, + { + "epoch": 0.0309, + "grad_norm": 9.698918342590332, + "learning_rate": 3.3742929292929295e-06, + "loss": 6.229153823852539, + "step": 33190 + }, + { + "epoch": 0.03095, + "grad_norm": 6.957477569580078, + "learning_rate": 3.3740404040404046e-06, + "loss": 6.306251525878906, + "step": 33195 + }, + { + "epoch": 0.031, + "grad_norm": 5.204045295715332, + "learning_rate": 3.373787878787879e-06, + "loss": 6.350005340576172, + "step": 33200 + }, + { + "epoch": 0.03105, + "grad_norm": 10.334306716918945, + "learning_rate": 3.373535353535354e-06, + "loss": 6.464518737792969, + "step": 33205 + }, + { + "epoch": 0.0311, + "grad_norm": 5.167375087738037, + "learning_rate": 3.3732828282828285e-06, + "loss": 6.318617248535157, + "step": 33210 + }, + { + "epoch": 0.03115, + "grad_norm": 5.3746562004089355, + "learning_rate": 3.3730303030303035e-06, + "loss": 6.243132400512695, + "step": 33215 + }, + { + "epoch": 0.0312, + "grad_norm": 9.352612495422363, + "learning_rate": 3.372777777777778e-06, + "loss": 6.24566764831543, + "step": 33220 + }, + { + "epoch": 0.03125, + "grad_norm": 8.810617446899414, + "learning_rate": 3.3725252525252528e-06, + "loss": 6.266605377197266, + "step": 33225 + }, + { + "epoch": 0.0313, + "grad_norm": 6.503082752227783, + "learning_rate": 3.3722727272727274e-06, + "loss": 6.326488876342774, + "step": 33230 + }, + { + "epoch": 0.03135, + "grad_norm": 7.317083835601807, + "learning_rate": 3.3720202020202025e-06, + "loss": 6.264865112304688, + "step": 33235 + }, + { + "epoch": 0.0314, + "grad_norm": 11.144768714904785, + "learning_rate": 3.371767676767677e-06, + "loss": 6.294929885864258, + "step": 33240 + }, + { + "epoch": 0.03145, + "grad_norm": 6.385911464691162, + "learning_rate": 3.3715151515151517e-06, + "loss": 6.2755592346191404, + "step": 33245 + }, + { + "epoch": 0.0315, + "grad_norm": 8.339351654052734, + "learning_rate": 3.3712626262626263e-06, + "loss": 6.333158111572265, + "step": 33250 + }, + { + "epoch": 0.03155, + "grad_norm": 13.5152006149292, + "learning_rate": 3.3710101010101014e-06, + "loss": 6.302943420410156, + "step": 33255 + }, + { + "epoch": 0.0316, + "grad_norm": 7.733433246612549, + "learning_rate": 3.370757575757576e-06, + "loss": 6.297227096557617, + "step": 33260 + }, + { + "epoch": 0.03165, + "grad_norm": 4.517010688781738, + "learning_rate": 3.3705050505050507e-06, + "loss": 6.293292617797851, + "step": 33265 + }, + { + "epoch": 0.0317, + "grad_norm": 4.14784574508667, + "learning_rate": 3.3702525252525253e-06, + "loss": 6.557199096679687, + "step": 33270 + }, + { + "epoch": 0.03175, + "grad_norm": 4.097201347351074, + "learning_rate": 3.3700000000000003e-06, + "loss": 6.262990951538086, + "step": 33275 + }, + { + "epoch": 0.0318, + "grad_norm": 5.252623558044434, + "learning_rate": 3.369747474747475e-06, + "loss": 6.2520301818847654, + "step": 33280 + }, + { + "epoch": 0.03185, + "grad_norm": 5.871214389801025, + "learning_rate": 3.3694949494949496e-06, + "loss": 6.248757171630859, + "step": 33285 + }, + { + "epoch": 0.0319, + "grad_norm": 4.1304779052734375, + "learning_rate": 3.3692424242424242e-06, + "loss": 6.293046569824218, + "step": 33290 + }, + { + "epoch": 0.03195, + "grad_norm": 7.157261848449707, + "learning_rate": 3.3689898989898993e-06, + "loss": 6.307251739501953, + "step": 33295 + }, + { + "epoch": 0.032, + "grad_norm": 6.0266900062561035, + "learning_rate": 3.368737373737374e-06, + "loss": 6.30908432006836, + "step": 33300 + }, + { + "epoch": 0.03205, + "grad_norm": 7.173007488250732, + "learning_rate": 3.3684848484848485e-06, + "loss": 6.260527420043945, + "step": 33305 + }, + { + "epoch": 0.0321, + "grad_norm": 3.5890491008758545, + "learning_rate": 3.368232323232323e-06, + "loss": 6.285307693481445, + "step": 33310 + }, + { + "epoch": 0.03215, + "grad_norm": 6.2995381355285645, + "learning_rate": 3.3679797979797987e-06, + "loss": 6.231388854980469, + "step": 33315 + }, + { + "epoch": 0.0322, + "grad_norm": 5.338662624359131, + "learning_rate": 3.367727272727273e-06, + "loss": 6.2807056427001955, + "step": 33320 + }, + { + "epoch": 0.03225, + "grad_norm": 4.731300354003906, + "learning_rate": 3.3674747474747475e-06, + "loss": 6.333821487426758, + "step": 33325 + }, + { + "epoch": 0.0323, + "grad_norm": 7.608765602111816, + "learning_rate": 3.367222222222222e-06, + "loss": 6.2648674011230465, + "step": 33330 + }, + { + "epoch": 0.03235, + "grad_norm": 3.8843512535095215, + "learning_rate": 3.3669696969696976e-06, + "loss": 6.324729156494141, + "step": 33335 + }, + { + "epoch": 0.0324, + "grad_norm": 6.545660972595215, + "learning_rate": 3.3667171717171722e-06, + "loss": 6.2716819763183596, + "step": 33340 + }, + { + "epoch": 0.03245, + "grad_norm": 5.238186359405518, + "learning_rate": 3.366464646464647e-06, + "loss": 6.260275268554688, + "step": 33345 + }, + { + "epoch": 0.0325, + "grad_norm": 7.485328197479248, + "learning_rate": 3.366212121212121e-06, + "loss": 6.294602584838867, + "step": 33350 + }, + { + "epoch": 0.03255, + "grad_norm": 8.373588562011719, + "learning_rate": 3.3659595959595965e-06, + "loss": 6.304227447509765, + "step": 33355 + }, + { + "epoch": 0.0326, + "grad_norm": 7.3558549880981445, + "learning_rate": 3.365707070707071e-06, + "loss": 6.324623107910156, + "step": 33360 + }, + { + "epoch": 0.03265, + "grad_norm": 8.7068510055542, + "learning_rate": 3.365454545454546e-06, + "loss": 6.353107070922851, + "step": 33365 + }, + { + "epoch": 0.0327, + "grad_norm": 9.252971649169922, + "learning_rate": 3.3652020202020204e-06, + "loss": 6.2792808532714846, + "step": 33370 + }, + { + "epoch": 0.03275, + "grad_norm": 8.630522727966309, + "learning_rate": 3.3649494949494955e-06, + "loss": 6.299975967407226, + "step": 33375 + }, + { + "epoch": 0.0328, + "grad_norm": 5.127129077911377, + "learning_rate": 3.36469696969697e-06, + "loss": 6.27946891784668, + "step": 33380 + }, + { + "epoch": 0.03285, + "grad_norm": 5.696117877960205, + "learning_rate": 3.3644444444444447e-06, + "loss": 6.288686752319336, + "step": 33385 + }, + { + "epoch": 0.0329, + "grad_norm": 4.3785929679870605, + "learning_rate": 3.3641919191919194e-06, + "loss": 6.296165466308594, + "step": 33390 + }, + { + "epoch": 0.03295, + "grad_norm": 6.155759334564209, + "learning_rate": 3.3639393939393944e-06, + "loss": 6.3178459167480465, + "step": 33395 + }, + { + "epoch": 0.033, + "grad_norm": 6.632721424102783, + "learning_rate": 3.363686868686869e-06, + "loss": 6.214113998413086, + "step": 33400 + }, + { + "epoch": 0.03305, + "grad_norm": 5.624794960021973, + "learning_rate": 3.3634343434343437e-06, + "loss": 6.277983474731445, + "step": 33405 + }, + { + "epoch": 0.0331, + "grad_norm": 4.801393032073975, + "learning_rate": 3.3631818181818183e-06, + "loss": 6.263437271118164, + "step": 33410 + }, + { + "epoch": 0.03315, + "grad_norm": 8.162773132324219, + "learning_rate": 3.3629292929292934e-06, + "loss": 6.253548812866211, + "step": 33415 + }, + { + "epoch": 0.0332, + "grad_norm": 7.992072105407715, + "learning_rate": 3.362676767676768e-06, + "loss": 6.318422317504883, + "step": 33420 + }, + { + "epoch": 0.03325, + "grad_norm": 3.6902403831481934, + "learning_rate": 3.3624242424242426e-06, + "loss": 6.293793869018555, + "step": 33425 + }, + { + "epoch": 0.0333, + "grad_norm": 8.048416137695312, + "learning_rate": 3.3621717171717173e-06, + "loss": 6.295990753173828, + "step": 33430 + }, + { + "epoch": 0.03335, + "grad_norm": 23.609006881713867, + "learning_rate": 3.3619191919191923e-06, + "loss": 6.494249725341797, + "step": 33435 + }, + { + "epoch": 0.0334, + "grad_norm": 8.648221015930176, + "learning_rate": 3.361666666666667e-06, + "loss": 6.267356872558594, + "step": 33440 + }, + { + "epoch": 0.03345, + "grad_norm": 4.9014201164245605, + "learning_rate": 3.3614141414141416e-06, + "loss": 6.295452117919922, + "step": 33445 + }, + { + "epoch": 0.0335, + "grad_norm": 7.896302223205566, + "learning_rate": 3.361161616161616e-06, + "loss": 6.321183776855468, + "step": 33450 + }, + { + "epoch": 0.03355, + "grad_norm": 5.677506923675537, + "learning_rate": 3.3609090909090913e-06, + "loss": 6.297599792480469, + "step": 33455 + }, + { + "epoch": 0.0336, + "grad_norm": 6.08756685256958, + "learning_rate": 3.360656565656566e-06, + "loss": 6.331251907348633, + "step": 33460 + }, + { + "epoch": 0.03365, + "grad_norm": 7.160477161407471, + "learning_rate": 3.3604040404040405e-06, + "loss": 6.321124267578125, + "step": 33465 + }, + { + "epoch": 0.0337, + "grad_norm": 8.190502166748047, + "learning_rate": 3.360151515151515e-06, + "loss": 6.255464935302735, + "step": 33470 + }, + { + "epoch": 0.03375, + "grad_norm": 3.4396893978118896, + "learning_rate": 3.35989898989899e-06, + "loss": 6.271050262451172, + "step": 33475 + }, + { + "epoch": 0.0338, + "grad_norm": 10.833885192871094, + "learning_rate": 3.359646464646465e-06, + "loss": 6.272621536254883, + "step": 33480 + }, + { + "epoch": 0.03385, + "grad_norm": 9.92856502532959, + "learning_rate": 3.3593939393939395e-06, + "loss": 6.285462188720703, + "step": 33485 + }, + { + "epoch": 0.0339, + "grad_norm": 6.707010269165039, + "learning_rate": 3.359141414141414e-06, + "loss": 6.304716873168945, + "step": 33490 + }, + { + "epoch": 0.03395, + "grad_norm": 7.269896030426025, + "learning_rate": 3.358888888888889e-06, + "loss": 6.300924301147461, + "step": 33495 + }, + { + "epoch": 0.034, + "grad_norm": 6.4969940185546875, + "learning_rate": 3.3586363636363638e-06, + "loss": 6.275922393798828, + "step": 33500 + }, + { + "epoch": 0.03405, + "grad_norm": 7.214869022369385, + "learning_rate": 3.3583838383838384e-06, + "loss": 6.2764892578125, + "step": 33505 + }, + { + "epoch": 0.0341, + "grad_norm": 4.950541973114014, + "learning_rate": 3.358131313131313e-06, + "loss": 6.361250305175782, + "step": 33510 + }, + { + "epoch": 0.03415, + "grad_norm": 6.94204044342041, + "learning_rate": 3.357878787878788e-06, + "loss": 6.297611999511719, + "step": 33515 + }, + { + "epoch": 0.0342, + "grad_norm": 6.812038421630859, + "learning_rate": 3.3576262626262627e-06, + "loss": 6.287727355957031, + "step": 33520 + }, + { + "epoch": 0.03425, + "grad_norm": 8.114991188049316, + "learning_rate": 3.3573737373737374e-06, + "loss": 6.279646301269532, + "step": 33525 + }, + { + "epoch": 0.0343, + "grad_norm": 6.5903544425964355, + "learning_rate": 3.357121212121213e-06, + "loss": 6.28112907409668, + "step": 33530 + }, + { + "epoch": 0.03435, + "grad_norm": 5.445219993591309, + "learning_rate": 3.3568686868686875e-06, + "loss": 6.3290557861328125, + "step": 33535 + }, + { + "epoch": 0.0344, + "grad_norm": 6.044078826904297, + "learning_rate": 3.356616161616162e-06, + "loss": 6.331441116333008, + "step": 33540 + }, + { + "epoch": 0.03445, + "grad_norm": 6.1797099113464355, + "learning_rate": 3.3563636363636363e-06, + "loss": 6.3179985046386715, + "step": 33545 + }, + { + "epoch": 0.0345, + "grad_norm": 17.00074005126953, + "learning_rate": 3.3561111111111118e-06, + "loss": 6.347199249267578, + "step": 33550 + }, + { + "epoch": 0.03455, + "grad_norm": 5.40175199508667, + "learning_rate": 3.3558585858585864e-06, + "loss": 6.339302062988281, + "step": 33555 + }, + { + "epoch": 0.0346, + "grad_norm": 4.950738430023193, + "learning_rate": 3.355606060606061e-06, + "loss": 6.24754753112793, + "step": 33560 + }, + { + "epoch": 0.03465, + "grad_norm": 14.542377471923828, + "learning_rate": 3.3553535353535357e-06, + "loss": 6.3889717102050785, + "step": 33565 + }, + { + "epoch": 0.0347, + "grad_norm": 6.742488384246826, + "learning_rate": 3.3551010101010107e-06, + "loss": 6.30975227355957, + "step": 33570 + }, + { + "epoch": 0.03475, + "grad_norm": 5.7151384353637695, + "learning_rate": 3.3548484848484854e-06, + "loss": 6.262050628662109, + "step": 33575 + }, + { + "epoch": 0.0348, + "grad_norm": 3.9715187549591064, + "learning_rate": 3.35459595959596e-06, + "loss": 6.286602020263672, + "step": 33580 + }, + { + "epoch": 0.03485, + "grad_norm": 5.020255088806152, + "learning_rate": 3.3543434343434346e-06, + "loss": 6.274787139892578, + "step": 33585 + }, + { + "epoch": 0.0349, + "grad_norm": 5.915451526641846, + "learning_rate": 3.3540909090909097e-06, + "loss": 6.282065200805664, + "step": 33590 + }, + { + "epoch": 0.03495, + "grad_norm": 6.1321539878845215, + "learning_rate": 3.3538383838383843e-06, + "loss": 6.262400817871094, + "step": 33595 + }, + { + "epoch": 0.035, + "grad_norm": 5.729720592498779, + "learning_rate": 3.353585858585859e-06, + "loss": 6.232015991210938, + "step": 33600 + }, + { + "epoch": 0.03505, + "grad_norm": 5.136466026306152, + "learning_rate": 3.3533333333333336e-06, + "loss": 6.316616058349609, + "step": 33605 + }, + { + "epoch": 0.0351, + "grad_norm": 6.942987442016602, + "learning_rate": 3.3530808080808086e-06, + "loss": 6.265991973876953, + "step": 33610 + }, + { + "epoch": 0.03515, + "grad_norm": 5.394021511077881, + "learning_rate": 3.3528282828282832e-06, + "loss": 6.27789192199707, + "step": 33615 + }, + { + "epoch": 0.0352, + "grad_norm": 5.824485778808594, + "learning_rate": 3.352575757575758e-06, + "loss": 6.279919815063477, + "step": 33620 + }, + { + "epoch": 0.03525, + "grad_norm": 4.70603609085083, + "learning_rate": 3.3523232323232325e-06, + "loss": 6.2905017852783205, + "step": 33625 + }, + { + "epoch": 0.0353, + "grad_norm": 7.554645538330078, + "learning_rate": 3.3520707070707076e-06, + "loss": 6.315367126464844, + "step": 33630 + }, + { + "epoch": 0.03535, + "grad_norm": 7.915616512298584, + "learning_rate": 3.351818181818182e-06, + "loss": 6.444318389892578, + "step": 33635 + }, + { + "epoch": 0.0354, + "grad_norm": 4.64765739440918, + "learning_rate": 3.351565656565657e-06, + "loss": 6.269488525390625, + "step": 33640 + }, + { + "epoch": 0.03545, + "grad_norm": 8.423317909240723, + "learning_rate": 3.3513131313131314e-06, + "loss": 6.249978637695312, + "step": 33645 + }, + { + "epoch": 0.0355, + "grad_norm": 6.274908065795898, + "learning_rate": 3.3510606060606065e-06, + "loss": 6.366060638427735, + "step": 33650 + }, + { + "epoch": 0.03555, + "grad_norm": 15.349830627441406, + "learning_rate": 3.350808080808081e-06, + "loss": 6.425099182128906, + "step": 33655 + }, + { + "epoch": 0.0356, + "grad_norm": 8.832176208496094, + "learning_rate": 3.3505555555555558e-06, + "loss": 6.291016006469727, + "step": 33660 + }, + { + "epoch": 0.03565, + "grad_norm": 9.772109031677246, + "learning_rate": 3.3503030303030304e-06, + "loss": 6.297457885742188, + "step": 33665 + }, + { + "epoch": 0.0357, + "grad_norm": 7.770026683807373, + "learning_rate": 3.3500505050505054e-06, + "loss": 6.300077056884765, + "step": 33670 + }, + { + "epoch": 0.03575, + "grad_norm": 4.734652519226074, + "learning_rate": 3.34979797979798e-06, + "loss": 6.270442962646484, + "step": 33675 + }, + { + "epoch": 0.0358, + "grad_norm": 7.3415350914001465, + "learning_rate": 3.3495454545454547e-06, + "loss": 6.284919357299804, + "step": 33680 + }, + { + "epoch": 0.03585, + "grad_norm": 8.17043399810791, + "learning_rate": 3.3492929292929293e-06, + "loss": 6.22940673828125, + "step": 33685 + }, + { + "epoch": 0.0359, + "grad_norm": 15.422343254089355, + "learning_rate": 3.3490404040404044e-06, + "loss": 6.518870544433594, + "step": 33690 + }, + { + "epoch": 0.03595, + "grad_norm": 5.319767951965332, + "learning_rate": 3.348787878787879e-06, + "loss": 6.280790710449219, + "step": 33695 + }, + { + "epoch": 0.036, + "grad_norm": 13.630831718444824, + "learning_rate": 3.3485353535353536e-06, + "loss": 6.561427307128906, + "step": 33700 + }, + { + "epoch": 0.03605, + "grad_norm": 7.198222637176514, + "learning_rate": 3.3482828282828283e-06, + "loss": 6.426054382324219, + "step": 33705 + }, + { + "epoch": 0.0361, + "grad_norm": 20.527406692504883, + "learning_rate": 3.3480303030303033e-06, + "loss": 6.809866333007813, + "step": 33710 + }, + { + "epoch": 0.03615, + "grad_norm": 9.435182571411133, + "learning_rate": 3.347777777777778e-06, + "loss": 6.4427490234375, + "step": 33715 + }, + { + "epoch": 0.0362, + "grad_norm": 8.986084938049316, + "learning_rate": 3.3475252525252526e-06, + "loss": 6.269795227050781, + "step": 33720 + }, + { + "epoch": 0.03625, + "grad_norm": 10.78356647491455, + "learning_rate": 3.3472727272727272e-06, + "loss": 6.3464210510253904, + "step": 33725 + }, + { + "epoch": 0.0363, + "grad_norm": 6.935975551605225, + "learning_rate": 3.3470202020202027e-06, + "loss": 6.327423477172852, + "step": 33730 + }, + { + "epoch": 0.03635, + "grad_norm": 4.871250152587891, + "learning_rate": 3.346767676767677e-06, + "loss": 6.385657501220703, + "step": 33735 + }, + { + "epoch": 0.0364, + "grad_norm": 5.24281120300293, + "learning_rate": 3.3465151515151515e-06, + "loss": 6.291134643554687, + "step": 33740 + }, + { + "epoch": 0.03645, + "grad_norm": 8.088532447814941, + "learning_rate": 3.346262626262626e-06, + "loss": 6.4737060546875, + "step": 33745 + }, + { + "epoch": 0.0365, + "grad_norm": 4.294514179229736, + "learning_rate": 3.3460101010101016e-06, + "loss": 6.2565654754638675, + "step": 33750 + }, + { + "epoch": 0.03655, + "grad_norm": 7.172997951507568, + "learning_rate": 3.3457575757575763e-06, + "loss": 6.28502197265625, + "step": 33755 + }, + { + "epoch": 0.0366, + "grad_norm": 27.490144729614258, + "learning_rate": 3.345505050505051e-06, + "loss": 6.473532867431641, + "step": 33760 + }, + { + "epoch": 0.03665, + "grad_norm": 6.903679370880127, + "learning_rate": 3.345252525252525e-06, + "loss": 6.341043853759766, + "step": 33765 + }, + { + "epoch": 0.0367, + "grad_norm": 9.803825378417969, + "learning_rate": 3.3450000000000006e-06, + "loss": 6.274591445922852, + "step": 33770 + }, + { + "epoch": 0.03675, + "grad_norm": 8.376204490661621, + "learning_rate": 3.3447474747474752e-06, + "loss": 6.289490127563477, + "step": 33775 + }, + { + "epoch": 0.0368, + "grad_norm": 7.227331638336182, + "learning_rate": 3.34449494949495e-06, + "loss": 6.381228256225586, + "step": 33780 + }, + { + "epoch": 0.03685, + "grad_norm": 5.414806365966797, + "learning_rate": 3.3442424242424245e-06, + "loss": 6.293725204467774, + "step": 33785 + }, + { + "epoch": 0.0369, + "grad_norm": 10.67294692993164, + "learning_rate": 3.3439898989898995e-06, + "loss": 6.292182540893554, + "step": 33790 + }, + { + "epoch": 0.03695, + "grad_norm": 5.945865154266357, + "learning_rate": 3.343737373737374e-06, + "loss": 6.287956619262696, + "step": 33795 + }, + { + "epoch": 0.037, + "grad_norm": 7.563597679138184, + "learning_rate": 3.343484848484849e-06, + "loss": 6.510175323486328, + "step": 33800 + }, + { + "epoch": 0.03705, + "grad_norm": 10.006854057312012, + "learning_rate": 3.3432323232323234e-06, + "loss": 6.297396469116211, + "step": 33805 + }, + { + "epoch": 0.0371, + "grad_norm": 13.400472640991211, + "learning_rate": 3.3429797979797985e-06, + "loss": 6.350586700439453, + "step": 33810 + }, + { + "epoch": 0.03715, + "grad_norm": 4.86964750289917, + "learning_rate": 3.342727272727273e-06, + "loss": 6.276943969726562, + "step": 33815 + }, + { + "epoch": 0.0372, + "grad_norm": 8.409882545471191, + "learning_rate": 3.3424747474747477e-06, + "loss": 6.3280784606933596, + "step": 33820 + }, + { + "epoch": 0.03725, + "grad_norm": 7.396688461303711, + "learning_rate": 3.3422222222222224e-06, + "loss": 6.336164093017578, + "step": 33825 + }, + { + "epoch": 0.0373, + "grad_norm": 9.505524635314941, + "learning_rate": 3.3419696969696974e-06, + "loss": 6.284850311279297, + "step": 33830 + }, + { + "epoch": 0.03735, + "grad_norm": 5.70472526550293, + "learning_rate": 3.341717171717172e-06, + "loss": 6.3307945251464846, + "step": 33835 + }, + { + "epoch": 0.0374, + "grad_norm": 7.884207725524902, + "learning_rate": 3.3414646464646467e-06, + "loss": 6.274061965942383, + "step": 33840 + }, + { + "epoch": 0.03745, + "grad_norm": 6.796994686126709, + "learning_rate": 3.3412121212121213e-06, + "loss": 6.302053451538086, + "step": 33845 + }, + { + "epoch": 0.0375, + "grad_norm": 7.3839335441589355, + "learning_rate": 3.3409595959595964e-06, + "loss": 6.309565734863281, + "step": 33850 + }, + { + "epoch": 0.03755, + "grad_norm": 4.965457916259766, + "learning_rate": 3.340707070707071e-06, + "loss": 6.311651611328125, + "step": 33855 + }, + { + "epoch": 0.0376, + "grad_norm": 7.722535133361816, + "learning_rate": 3.3404545454545456e-06, + "loss": 6.2738494873046875, + "step": 33860 + }, + { + "epoch": 0.03765, + "grad_norm": 18.980051040649414, + "learning_rate": 3.3402020202020203e-06, + "loss": 6.167140197753906, + "step": 33865 + }, + { + "epoch": 0.0377, + "grad_norm": 19.575685501098633, + "learning_rate": 3.3399494949494953e-06, + "loss": 6.332438278198242, + "step": 33870 + }, + { + "epoch": 0.03775, + "grad_norm": 7.988999843597412, + "learning_rate": 3.33969696969697e-06, + "loss": 6.26928596496582, + "step": 33875 + }, + { + "epoch": 0.0378, + "grad_norm": 3.7111904621124268, + "learning_rate": 3.3394444444444446e-06, + "loss": 6.278633499145508, + "step": 33880 + }, + { + "epoch": 0.03785, + "grad_norm": 5.462652683258057, + "learning_rate": 3.339191919191919e-06, + "loss": 6.296630096435547, + "step": 33885 + }, + { + "epoch": 0.0379, + "grad_norm": 6.537981986999512, + "learning_rate": 3.3389393939393942e-06, + "loss": 6.276802062988281, + "step": 33890 + }, + { + "epoch": 0.03795, + "grad_norm": 4.2480692863464355, + "learning_rate": 3.338686868686869e-06, + "loss": 6.319560623168945, + "step": 33895 + }, + { + "epoch": 0.038, + "grad_norm": 5.105456829071045, + "learning_rate": 3.3384343434343435e-06, + "loss": 6.2697502136230465, + "step": 33900 + }, + { + "epoch": 0.03805, + "grad_norm": 13.569671630859375, + "learning_rate": 3.338181818181818e-06, + "loss": 6.586620330810547, + "step": 33905 + }, + { + "epoch": 0.0381, + "grad_norm": 8.04488468170166, + "learning_rate": 3.337929292929293e-06, + "loss": 6.313685607910156, + "step": 33910 + }, + { + "epoch": 0.03815, + "grad_norm": 6.999444007873535, + "learning_rate": 3.337676767676768e-06, + "loss": 6.286004638671875, + "step": 33915 + }, + { + "epoch": 0.0382, + "grad_norm": 8.203609466552734, + "learning_rate": 3.3374242424242425e-06, + "loss": 6.324343490600586, + "step": 33920 + }, + { + "epoch": 0.03825, + "grad_norm": 8.53204345703125, + "learning_rate": 3.337171717171717e-06, + "loss": 6.300914001464844, + "step": 33925 + }, + { + "epoch": 0.0383, + "grad_norm": 3.4334888458251953, + "learning_rate": 3.336919191919192e-06, + "loss": 6.268751525878907, + "step": 33930 + }, + { + "epoch": 0.03835, + "grad_norm": 7.859654903411865, + "learning_rate": 3.3366666666666668e-06, + "loss": 6.250489044189453, + "step": 33935 + }, + { + "epoch": 0.0384, + "grad_norm": 5.163532257080078, + "learning_rate": 3.3364141414141414e-06, + "loss": 6.269466781616211, + "step": 33940 + }, + { + "epoch": 0.03845, + "grad_norm": 7.342118740081787, + "learning_rate": 3.336161616161617e-06, + "loss": 6.2851104736328125, + "step": 33945 + }, + { + "epoch": 0.0385, + "grad_norm": 3.566540241241455, + "learning_rate": 3.3359090909090915e-06, + "loss": 6.307624053955078, + "step": 33950 + }, + { + "epoch": 0.03855, + "grad_norm": 6.865889072418213, + "learning_rate": 3.335656565656566e-06, + "loss": 6.295575332641602, + "step": 33955 + }, + { + "epoch": 0.0386, + "grad_norm": 7.333113193511963, + "learning_rate": 3.3354040404040403e-06, + "loss": 6.238556671142578, + "step": 33960 + }, + { + "epoch": 0.03865, + "grad_norm": 7.950794219970703, + "learning_rate": 3.335151515151516e-06, + "loss": 6.269853210449218, + "step": 33965 + }, + { + "epoch": 0.0387, + "grad_norm": 5.649864673614502, + "learning_rate": 3.3348989898989904e-06, + "loss": 6.299364852905273, + "step": 33970 + }, + { + "epoch": 0.03875, + "grad_norm": 4.264184474945068, + "learning_rate": 3.334646464646465e-06, + "loss": 6.27393684387207, + "step": 33975 + }, + { + "epoch": 0.0388, + "grad_norm": 9.34839153289795, + "learning_rate": 3.3343939393939397e-06, + "loss": 6.316100311279297, + "step": 33980 + }, + { + "epoch": 0.03885, + "grad_norm": 4.900908946990967, + "learning_rate": 3.3341414141414148e-06, + "loss": 6.278008270263672, + "step": 33985 + }, + { + "epoch": 0.0389, + "grad_norm": 5.4358978271484375, + "learning_rate": 3.3338888888888894e-06, + "loss": 6.2871757507324215, + "step": 33990 + }, + { + "epoch": 0.03895, + "grad_norm": 7.3742356300354, + "learning_rate": 3.333636363636364e-06, + "loss": 6.275775146484375, + "step": 33995 + }, + { + "epoch": 0.039, + "grad_norm": 6.171125411987305, + "learning_rate": 3.3333838383838387e-06, + "loss": 6.312109375, + "step": 34000 + }, + { + "epoch": 0.03905, + "grad_norm": 7.1294708251953125, + "learning_rate": 3.3331313131313137e-06, + "loss": 6.249440383911133, + "step": 34005 + }, + { + "epoch": 0.0391, + "grad_norm": 4.51965856552124, + "learning_rate": 3.3328787878787883e-06, + "loss": 6.307046508789062, + "step": 34010 + }, + { + "epoch": 0.03915, + "grad_norm": 12.280434608459473, + "learning_rate": 3.332626262626263e-06, + "loss": 6.292683792114258, + "step": 34015 + }, + { + "epoch": 0.0392, + "grad_norm": 19.992704391479492, + "learning_rate": 3.3323737373737376e-06, + "loss": 6.643345642089844, + "step": 34020 + }, + { + "epoch": 0.03925, + "grad_norm": 3.8565711975097656, + "learning_rate": 3.3321212121212126e-06, + "loss": 6.33795051574707, + "step": 34025 + }, + { + "epoch": 0.0393, + "grad_norm": 7.719776153564453, + "learning_rate": 3.3318686868686873e-06, + "loss": 6.300451278686523, + "step": 34030 + }, + { + "epoch": 0.03935, + "grad_norm": 9.122726440429688, + "learning_rate": 3.331616161616162e-06, + "loss": 6.305955505371093, + "step": 34035 + }, + { + "epoch": 0.0394, + "grad_norm": 7.075936794281006, + "learning_rate": 3.3313636363636365e-06, + "loss": 6.321106338500977, + "step": 34040 + }, + { + "epoch": 0.03945, + "grad_norm": 5.540849685668945, + "learning_rate": 3.3311111111111116e-06, + "loss": 6.3144268035888675, + "step": 34045 + }, + { + "epoch": 0.0395, + "grad_norm": 8.590054512023926, + "learning_rate": 3.3308585858585862e-06, + "loss": 6.25340576171875, + "step": 34050 + }, + { + "epoch": 0.03955, + "grad_norm": 6.305569648742676, + "learning_rate": 3.330606060606061e-06, + "loss": 6.281805801391601, + "step": 34055 + }, + { + "epoch": 0.0396, + "grad_norm": 8.15976619720459, + "learning_rate": 3.3303535353535355e-06, + "loss": 6.294978332519531, + "step": 34060 + }, + { + "epoch": 0.03965, + "grad_norm": 8.914175987243652, + "learning_rate": 3.3301010101010105e-06, + "loss": 6.298697280883789, + "step": 34065 + }, + { + "epoch": 0.0397, + "grad_norm": 6.634190082550049, + "learning_rate": 3.329848484848485e-06, + "loss": 6.250032043457031, + "step": 34070 + }, + { + "epoch": 0.03975, + "grad_norm": 4.937743663787842, + "learning_rate": 3.32959595959596e-06, + "loss": 6.214720153808594, + "step": 34075 + }, + { + "epoch": 0.0398, + "grad_norm": 4.592219352722168, + "learning_rate": 3.3293434343434344e-06, + "loss": 6.285158920288086, + "step": 34080 + }, + { + "epoch": 0.03985, + "grad_norm": 5.886895656585693, + "learning_rate": 3.3290909090909095e-06, + "loss": 6.30814208984375, + "step": 34085 + }, + { + "epoch": 0.0399, + "grad_norm": 7.94163703918457, + "learning_rate": 3.328838383838384e-06, + "loss": 6.308694076538086, + "step": 34090 + }, + { + "epoch": 0.03995, + "grad_norm": 7.083491325378418, + "learning_rate": 3.3285858585858587e-06, + "loss": 6.325359725952149, + "step": 34095 + }, + { + "epoch": 0.04, + "grad_norm": 3.235384702682495, + "learning_rate": 3.3283333333333334e-06, + "loss": 6.2913970947265625, + "step": 34100 + }, + { + "epoch": 0.04005, + "grad_norm": 7.114415645599365, + "learning_rate": 3.3280808080808084e-06, + "loss": 6.302985763549804, + "step": 34105 + }, + { + "epoch": 0.0401, + "grad_norm": 4.573584079742432, + "learning_rate": 3.327828282828283e-06, + "loss": 6.275545883178711, + "step": 34110 + }, + { + "epoch": 0.04015, + "grad_norm": 4.46937894821167, + "learning_rate": 3.3275757575757577e-06, + "loss": 6.314866256713867, + "step": 34115 + }, + { + "epoch": 0.0402, + "grad_norm": 5.1440253257751465, + "learning_rate": 3.3273232323232323e-06, + "loss": 6.236521148681641, + "step": 34120 + }, + { + "epoch": 0.04025, + "grad_norm": 6.009187698364258, + "learning_rate": 3.3270707070707074e-06, + "loss": 6.271181106567383, + "step": 34125 + }, + { + "epoch": 0.0403, + "grad_norm": 12.343667984008789, + "learning_rate": 3.326818181818182e-06, + "loss": 6.287606811523437, + "step": 34130 + }, + { + "epoch": 0.04035, + "grad_norm": 6.6855010986328125, + "learning_rate": 3.3265656565656566e-06, + "loss": 6.280777359008789, + "step": 34135 + }, + { + "epoch": 0.0404, + "grad_norm": 7.358508586883545, + "learning_rate": 3.3263131313131313e-06, + "loss": 6.254603576660156, + "step": 34140 + }, + { + "epoch": 0.04045, + "grad_norm": 4.691926002502441, + "learning_rate": 3.3260606060606067e-06, + "loss": 6.313080215454102, + "step": 34145 + }, + { + "epoch": 0.0405, + "grad_norm": 13.051141738891602, + "learning_rate": 3.325808080808081e-06, + "loss": 6.2752025604248045, + "step": 34150 + }, + { + "epoch": 0.04055, + "grad_norm": 5.666262626647949, + "learning_rate": 3.3255555555555556e-06, + "loss": 6.374200057983399, + "step": 34155 + }, + { + "epoch": 0.0406, + "grad_norm": 10.970081329345703, + "learning_rate": 3.32530303030303e-06, + "loss": 6.197991943359375, + "step": 34160 + }, + { + "epoch": 0.04065, + "grad_norm": 8.356911659240723, + "learning_rate": 3.3250505050505057e-06, + "loss": 6.288248825073242, + "step": 34165 + }, + { + "epoch": 0.0407, + "grad_norm": 4.276556968688965, + "learning_rate": 3.3247979797979803e-06, + "loss": 6.319438171386719, + "step": 34170 + }, + { + "epoch": 0.04075, + "grad_norm": 4.564706802368164, + "learning_rate": 3.324545454545455e-06, + "loss": 6.288778686523438, + "step": 34175 + }, + { + "epoch": 0.0408, + "grad_norm": 6.004821300506592, + "learning_rate": 3.324292929292929e-06, + "loss": 6.241841888427734, + "step": 34180 + }, + { + "epoch": 0.04085, + "grad_norm": 6.343606472015381, + "learning_rate": 3.3240404040404046e-06, + "loss": 6.2810516357421875, + "step": 34185 + }, + { + "epoch": 0.0409, + "grad_norm": 5.414394855499268, + "learning_rate": 3.3237878787878793e-06, + "loss": 6.4226539611816404, + "step": 34190 + }, + { + "epoch": 0.04095, + "grad_norm": 8.430062294006348, + "learning_rate": 3.323535353535354e-06, + "loss": 6.278907012939453, + "step": 34195 + }, + { + "epoch": 0.041, + "grad_norm": 9.01877212524414, + "learning_rate": 3.3232828282828285e-06, + "loss": 6.2799560546875, + "step": 34200 + }, + { + "epoch": 0.04105, + "grad_norm": 5.575852870941162, + "learning_rate": 3.3230303030303036e-06, + "loss": 6.307883453369141, + "step": 34205 + }, + { + "epoch": 0.0411, + "grad_norm": 5.510700702667236, + "learning_rate": 3.322777777777778e-06, + "loss": 6.267377853393555, + "step": 34210 + }, + { + "epoch": 0.04115, + "grad_norm": 3.97086238861084, + "learning_rate": 3.322525252525253e-06, + "loss": 6.271921920776367, + "step": 34215 + }, + { + "epoch": 0.0412, + "grad_norm": 5.346134185791016, + "learning_rate": 3.3222727272727275e-06, + "loss": 6.278012466430664, + "step": 34220 + }, + { + "epoch": 0.04125, + "grad_norm": 8.779306411743164, + "learning_rate": 3.3220202020202025e-06, + "loss": 6.3176521301269535, + "step": 34225 + }, + { + "epoch": 0.0413, + "grad_norm": 7.388701915740967, + "learning_rate": 3.321767676767677e-06, + "loss": 6.266966247558594, + "step": 34230 + }, + { + "epoch": 0.04135, + "grad_norm": 6.078861236572266, + "learning_rate": 3.3215151515151518e-06, + "loss": 6.2674610137939455, + "step": 34235 + }, + { + "epoch": 0.0414, + "grad_norm": 5.081811904907227, + "learning_rate": 3.3212626262626264e-06, + "loss": 6.307051467895508, + "step": 34240 + }, + { + "epoch": 0.04145, + "grad_norm": 6.914938449859619, + "learning_rate": 3.3210101010101015e-06, + "loss": 6.28289794921875, + "step": 34245 + }, + { + "epoch": 0.0415, + "grad_norm": 13.939677238464355, + "learning_rate": 3.320757575757576e-06, + "loss": 6.371585845947266, + "step": 34250 + }, + { + "epoch": 0.04155, + "grad_norm": 6.9364542961120605, + "learning_rate": 3.3205050505050507e-06, + "loss": 6.302772903442383, + "step": 34255 + }, + { + "epoch": 0.0416, + "grad_norm": 6.12338399887085, + "learning_rate": 3.3202525252525253e-06, + "loss": 6.280635070800781, + "step": 34260 + }, + { + "epoch": 0.04165, + "grad_norm": 60.867557525634766, + "learning_rate": 3.3200000000000004e-06, + "loss": 8.877529907226563, + "step": 34265 + }, + { + "epoch": 0.0417, + "grad_norm": 10.511495590209961, + "learning_rate": 3.319747474747475e-06, + "loss": 6.693716430664063, + "step": 34270 + }, + { + "epoch": 0.04175, + "grad_norm": 7.926007270812988, + "learning_rate": 3.3194949494949497e-06, + "loss": 6.289888763427735, + "step": 34275 + }, + { + "epoch": 0.0418, + "grad_norm": 7.224324703216553, + "learning_rate": 3.3192424242424243e-06, + "loss": 6.328134155273437, + "step": 34280 + }, + { + "epoch": 0.04185, + "grad_norm": 11.48455810546875, + "learning_rate": 3.3189898989898993e-06, + "loss": 6.361230087280274, + "step": 34285 + }, + { + "epoch": 0.0419, + "grad_norm": 5.697624683380127, + "learning_rate": 3.318737373737374e-06, + "loss": 6.271654891967773, + "step": 34290 + }, + { + "epoch": 0.04195, + "grad_norm": 15.202046394348145, + "learning_rate": 3.3184848484848486e-06, + "loss": 6.354739761352539, + "step": 34295 + }, + { + "epoch": 0.042, + "grad_norm": 4.309697151184082, + "learning_rate": 3.3182323232323232e-06, + "loss": 6.28790283203125, + "step": 34300 + }, + { + "epoch": 0.04205, + "grad_norm": 6.149411678314209, + "learning_rate": 3.3179797979797983e-06, + "loss": 6.294909286499023, + "step": 34305 + }, + { + "epoch": 0.0421, + "grad_norm": 8.412841796875, + "learning_rate": 3.317727272727273e-06, + "loss": 6.281791305541992, + "step": 34310 + }, + { + "epoch": 0.04215, + "grad_norm": 5.090383529663086, + "learning_rate": 3.3174747474747475e-06, + "loss": 6.206612396240234, + "step": 34315 + }, + { + "epoch": 0.0422, + "grad_norm": 5.041045188903809, + "learning_rate": 3.317222222222222e-06, + "loss": 6.318148803710938, + "step": 34320 + }, + { + "epoch": 0.04225, + "grad_norm": 6.910464763641357, + "learning_rate": 3.3169696969696972e-06, + "loss": 6.291581726074218, + "step": 34325 + }, + { + "epoch": 0.0423, + "grad_norm": 8.667393684387207, + "learning_rate": 3.316717171717172e-06, + "loss": 6.302043151855469, + "step": 34330 + }, + { + "epoch": 0.04235, + "grad_norm": 6.076626300811768, + "learning_rate": 3.3164646464646465e-06, + "loss": 6.345893096923828, + "step": 34335 + }, + { + "epoch": 0.0424, + "grad_norm": 7.758793354034424, + "learning_rate": 3.316212121212121e-06, + "loss": 6.265994644165039, + "step": 34340 + }, + { + "epoch": 0.04245, + "grad_norm": 7.956061840057373, + "learning_rate": 3.315959595959596e-06, + "loss": 6.340013122558593, + "step": 34345 + }, + { + "epoch": 0.0425, + "grad_norm": 5.982802391052246, + "learning_rate": 3.315707070707071e-06, + "loss": 6.278118133544922, + "step": 34350 + }, + { + "epoch": 0.04255, + "grad_norm": 6.534622669219971, + "learning_rate": 3.3154545454545454e-06, + "loss": 6.261928558349609, + "step": 34355 + }, + { + "epoch": 0.0426, + "grad_norm": 3.7858529090881348, + "learning_rate": 3.31520202020202e-06, + "loss": 6.289427185058594, + "step": 34360 + }, + { + "epoch": 0.04265, + "grad_norm": 8.042802810668945, + "learning_rate": 3.3149494949494955e-06, + "loss": 6.427771759033203, + "step": 34365 + }, + { + "epoch": 0.0427, + "grad_norm": 3.7131643295288086, + "learning_rate": 3.31469696969697e-06, + "loss": 6.323392105102539, + "step": 34370 + }, + { + "epoch": 0.04275, + "grad_norm": 8.797636032104492, + "learning_rate": 3.3144444444444444e-06, + "loss": 6.358470153808594, + "step": 34375 + }, + { + "epoch": 0.0428, + "grad_norm": 8.763351440429688, + "learning_rate": 3.31419191919192e-06, + "loss": 6.28143424987793, + "step": 34380 + }, + { + "epoch": 0.04285, + "grad_norm": 5.359097957611084, + "learning_rate": 3.3139393939393945e-06, + "loss": 6.29913215637207, + "step": 34385 + }, + { + "epoch": 0.0429, + "grad_norm": 5.128442287445068, + "learning_rate": 3.313686868686869e-06, + "loss": 6.232828521728516, + "step": 34390 + }, + { + "epoch": 0.04295, + "grad_norm": 4.666426658630371, + "learning_rate": 3.3134343434343437e-06, + "loss": 6.287538146972656, + "step": 34395 + }, + { + "epoch": 0.043, + "grad_norm": 7.890666484832764, + "learning_rate": 3.313181818181819e-06, + "loss": 6.271531295776367, + "step": 34400 + }, + { + "epoch": 0.04305, + "grad_norm": 6.427894592285156, + "learning_rate": 3.3129292929292934e-06, + "loss": 6.232158660888672, + "step": 34405 + }, + { + "epoch": 0.0431, + "grad_norm": 10.532413482666016, + "learning_rate": 3.312676767676768e-06, + "loss": 6.3208160400390625, + "step": 34410 + }, + { + "epoch": 0.04315, + "grad_norm": 4.692079067230225, + "learning_rate": 3.3124242424242427e-06, + "loss": 6.23803596496582, + "step": 34415 + }, + { + "epoch": 0.0432, + "grad_norm": 6.030078411102295, + "learning_rate": 3.3121717171717177e-06, + "loss": 6.264137268066406, + "step": 34420 + }, + { + "epoch": 0.04325, + "grad_norm": 7.714862823486328, + "learning_rate": 3.3119191919191924e-06, + "loss": 6.272183990478515, + "step": 34425 + }, + { + "epoch": 0.0433, + "grad_norm": 6.6889495849609375, + "learning_rate": 3.311666666666667e-06, + "loss": 6.297808074951172, + "step": 34430 + }, + { + "epoch": 0.04335, + "grad_norm": 5.760891914367676, + "learning_rate": 3.3114141414141416e-06, + "loss": 6.292405700683593, + "step": 34435 + }, + { + "epoch": 0.0434, + "grad_norm": 6.947488784790039, + "learning_rate": 3.3111616161616167e-06, + "loss": 6.288687133789063, + "step": 34440 + }, + { + "epoch": 0.04345, + "grad_norm": 6.754628658294678, + "learning_rate": 3.3109090909090913e-06, + "loss": 6.173713684082031, + "step": 34445 + }, + { + "epoch": 0.0435, + "grad_norm": 7.911752223968506, + "learning_rate": 3.310656565656566e-06, + "loss": 6.320727157592773, + "step": 34450 + }, + { + "epoch": 0.04355, + "grad_norm": 16.554855346679688, + "learning_rate": 3.3104040404040406e-06, + "loss": 6.314252853393555, + "step": 34455 + }, + { + "epoch": 0.0436, + "grad_norm": 6.524188995361328, + "learning_rate": 3.3101515151515156e-06, + "loss": 6.295826721191406, + "step": 34460 + }, + { + "epoch": 0.04365, + "grad_norm": 7.557045936584473, + "learning_rate": 3.3098989898989903e-06, + "loss": 6.262946319580078, + "step": 34465 + }, + { + "epoch": 0.0437, + "grad_norm": 4.240478038787842, + "learning_rate": 3.309646464646465e-06, + "loss": 6.291202545166016, + "step": 34470 + }, + { + "epoch": 0.04375, + "grad_norm": 7.513948440551758, + "learning_rate": 3.3093939393939395e-06, + "loss": 6.137839126586914, + "step": 34475 + }, + { + "epoch": 0.0438, + "grad_norm": 5.614612102508545, + "learning_rate": 3.3091414141414146e-06, + "loss": 6.194662475585938, + "step": 34480 + }, + { + "epoch": 0.04385, + "grad_norm": 4.89637565612793, + "learning_rate": 3.308888888888889e-06, + "loss": 6.271914672851563, + "step": 34485 + }, + { + "epoch": 0.0439, + "grad_norm": 10.660588264465332, + "learning_rate": 3.308636363636364e-06, + "loss": 6.238831329345703, + "step": 34490 + }, + { + "epoch": 0.04395, + "grad_norm": 7.518210411071777, + "learning_rate": 3.3083838383838385e-06, + "loss": 6.254771423339844, + "step": 34495 + }, + { + "epoch": 0.044, + "grad_norm": 5.086498737335205, + "learning_rate": 3.3081313131313135e-06, + "loss": 6.236605834960938, + "step": 34500 + }, + { + "epoch": 0.04405, + "grad_norm": 5.905466556549072, + "learning_rate": 3.307878787878788e-06, + "loss": 6.273438262939453, + "step": 34505 + }, + { + "epoch": 0.0441, + "grad_norm": 14.148482322692871, + "learning_rate": 3.3076262626262628e-06, + "loss": 6.224131011962891, + "step": 34510 + }, + { + "epoch": 0.04415, + "grad_norm": 6.002893924713135, + "learning_rate": 3.3073737373737374e-06, + "loss": 6.252923583984375, + "step": 34515 + }, + { + "epoch": 0.0442, + "grad_norm": 6.884568214416504, + "learning_rate": 3.3071212121212125e-06, + "loss": 6.470506286621093, + "step": 34520 + }, + { + "epoch": 0.04425, + "grad_norm": 5.463130950927734, + "learning_rate": 3.306868686868687e-06, + "loss": 6.330756759643554, + "step": 34525 + }, + { + "epoch": 0.0443, + "grad_norm": 4.5670952796936035, + "learning_rate": 3.3066161616161617e-06, + "loss": 6.2619976043701175, + "step": 34530 + }, + { + "epoch": 0.04435, + "grad_norm": 5.738001823425293, + "learning_rate": 3.3063636363636364e-06, + "loss": 6.262389755249023, + "step": 34535 + }, + { + "epoch": 0.0444, + "grad_norm": 3.498025894165039, + "learning_rate": 3.3061111111111114e-06, + "loss": 6.278166961669922, + "step": 34540 + }, + { + "epoch": 0.04445, + "grad_norm": 6.04850435256958, + "learning_rate": 3.305858585858586e-06, + "loss": 6.302559280395508, + "step": 34545 + }, + { + "epoch": 0.0445, + "grad_norm": 4.828122615814209, + "learning_rate": 3.3056060606060607e-06, + "loss": 6.258047866821289, + "step": 34550 + }, + { + "epoch": 0.04455, + "grad_norm": 8.403566360473633, + "learning_rate": 3.3053535353535353e-06, + "loss": 6.278432846069336, + "step": 34555 + }, + { + "epoch": 0.0446, + "grad_norm": 4.917405605316162, + "learning_rate": 3.3051010101010108e-06, + "loss": 6.242156219482422, + "step": 34560 + }, + { + "epoch": 0.04465, + "grad_norm": 7.1146626472473145, + "learning_rate": 3.304848484848485e-06, + "loss": 6.282624816894531, + "step": 34565 + }, + { + "epoch": 0.0447, + "grad_norm": 8.404033660888672, + "learning_rate": 3.3045959595959596e-06, + "loss": 6.282833862304687, + "step": 34570 + }, + { + "epoch": 0.04475, + "grad_norm": 5.883131980895996, + "learning_rate": 3.3043434343434342e-06, + "loss": 6.301968383789062, + "step": 34575 + }, + { + "epoch": 0.0448, + "grad_norm": 6.738358974456787, + "learning_rate": 3.3040909090909097e-06, + "loss": 6.3014575958251955, + "step": 34580 + }, + { + "epoch": 0.04485, + "grad_norm": 7.075225353240967, + "learning_rate": 3.3038383838383844e-06, + "loss": 6.285932540893555, + "step": 34585 + }, + { + "epoch": 0.0449, + "grad_norm": 6.355262756347656, + "learning_rate": 3.303585858585859e-06, + "loss": 6.304890441894531, + "step": 34590 + }, + { + "epoch": 0.04495, + "grad_norm": 7.817450523376465, + "learning_rate": 3.303333333333333e-06, + "loss": 6.257619857788086, + "step": 34595 + }, + { + "epoch": 0.045, + "grad_norm": 7.867593288421631, + "learning_rate": 3.3030808080808087e-06, + "loss": 6.289083099365234, + "step": 34600 + }, + { + "epoch": 0.04505, + "grad_norm": 8.933186531066895, + "learning_rate": 3.3028282828282833e-06, + "loss": 6.311075210571289, + "step": 34605 + }, + { + "epoch": 0.0451, + "grad_norm": 7.551687717437744, + "learning_rate": 3.302575757575758e-06, + "loss": 6.489048004150391, + "step": 34610 + }, + { + "epoch": 0.04515, + "grad_norm": 4.4418511390686035, + "learning_rate": 3.3023232323232326e-06, + "loss": 6.241167831420898, + "step": 34615 + }, + { + "epoch": 0.0452, + "grad_norm": 7.764725208282471, + "learning_rate": 3.3020707070707076e-06, + "loss": 6.272475051879883, + "step": 34620 + }, + { + "epoch": 0.04525, + "grad_norm": 5.191059112548828, + "learning_rate": 3.3018181818181822e-06, + "loss": 6.284445190429688, + "step": 34625 + }, + { + "epoch": 0.0453, + "grad_norm": 6.391307353973389, + "learning_rate": 3.301565656565657e-06, + "loss": 6.251656723022461, + "step": 34630 + }, + { + "epoch": 0.04535, + "grad_norm": 5.652439594268799, + "learning_rate": 3.3013131313131315e-06, + "loss": 6.3121589660644535, + "step": 34635 + }, + { + "epoch": 0.0454, + "grad_norm": 8.243512153625488, + "learning_rate": 3.3010606060606066e-06, + "loss": 6.298933410644532, + "step": 34640 + }, + { + "epoch": 0.04545, + "grad_norm": 7.082751750946045, + "learning_rate": 3.300808080808081e-06, + "loss": 6.289758682250977, + "step": 34645 + }, + { + "epoch": 0.0455, + "grad_norm": 6.459993839263916, + "learning_rate": 3.300555555555556e-06, + "loss": 6.277294921875, + "step": 34650 + }, + { + "epoch": 0.04555, + "grad_norm": 9.741841316223145, + "learning_rate": 3.3003030303030304e-06, + "loss": 6.269869995117188, + "step": 34655 + }, + { + "epoch": 0.0456, + "grad_norm": 9.275556564331055, + "learning_rate": 3.3000505050505055e-06, + "loss": 6.28051643371582, + "step": 34660 + }, + { + "epoch": 0.04565, + "grad_norm": 6.940868377685547, + "learning_rate": 3.29979797979798e-06, + "loss": 6.293081283569336, + "step": 34665 + }, + { + "epoch": 0.0457, + "grad_norm": 5.493474006652832, + "learning_rate": 3.2995454545454548e-06, + "loss": 6.2845104217529295, + "step": 34670 + }, + { + "epoch": 0.04575, + "grad_norm": 4.492004871368408, + "learning_rate": 3.2992929292929294e-06, + "loss": 6.222401428222656, + "step": 34675 + }, + { + "epoch": 0.0458, + "grad_norm": 5.246931552886963, + "learning_rate": 3.2990404040404044e-06, + "loss": 6.275069046020508, + "step": 34680 + }, + { + "epoch": 0.04585, + "grad_norm": 4.374936103820801, + "learning_rate": 3.298787878787879e-06, + "loss": 6.300774383544922, + "step": 34685 + }, + { + "epoch": 0.0459, + "grad_norm": 9.484991073608398, + "learning_rate": 3.2985353535353537e-06, + "loss": 6.2548870086669925, + "step": 34690 + }, + { + "epoch": 0.04595, + "grad_norm": 5.631253719329834, + "learning_rate": 3.2982828282828283e-06, + "loss": 6.180917739868164, + "step": 34695 + }, + { + "epoch": 0.046, + "grad_norm": 8.674565315246582, + "learning_rate": 3.2980303030303034e-06, + "loss": 6.271075439453125, + "step": 34700 + }, + { + "epoch": 0.04605, + "grad_norm": 5.325832843780518, + "learning_rate": 3.297777777777778e-06, + "loss": 6.256395721435547, + "step": 34705 + }, + { + "epoch": 0.0461, + "grad_norm": 7.4633636474609375, + "learning_rate": 3.2975252525252526e-06, + "loss": 6.252257537841797, + "step": 34710 + }, + { + "epoch": 0.04615, + "grad_norm": 6.290852069854736, + "learning_rate": 3.2972727272727273e-06, + "loss": 6.288002777099609, + "step": 34715 + }, + { + "epoch": 0.0462, + "grad_norm": 9.203449249267578, + "learning_rate": 3.2970202020202023e-06, + "loss": 6.267097473144531, + "step": 34720 + }, + { + "epoch": 0.04625, + "grad_norm": 6.91786003112793, + "learning_rate": 3.296767676767677e-06, + "loss": 6.264380645751953, + "step": 34725 + }, + { + "epoch": 0.0463, + "grad_norm": 4.948250770568848, + "learning_rate": 3.2965151515151516e-06, + "loss": 6.294237518310547, + "step": 34730 + }, + { + "epoch": 0.04635, + "grad_norm": 3.9593372344970703, + "learning_rate": 3.2962626262626262e-06, + "loss": 6.270987319946289, + "step": 34735 + }, + { + "epoch": 0.0464, + "grad_norm": 4.310776710510254, + "learning_rate": 3.2960101010101013e-06, + "loss": 6.277498626708985, + "step": 34740 + }, + { + "epoch": 0.04645, + "grad_norm": 3.705284833908081, + "learning_rate": 3.295757575757576e-06, + "loss": 6.412985992431641, + "step": 34745 + }, + { + "epoch": 0.0465, + "grad_norm": 6.526326656341553, + "learning_rate": 3.2955050505050505e-06, + "loss": 6.321973419189453, + "step": 34750 + }, + { + "epoch": 0.04655, + "grad_norm": 6.018779277801514, + "learning_rate": 3.295252525252525e-06, + "loss": 6.235342407226563, + "step": 34755 + }, + { + "epoch": 0.0466, + "grad_norm": 21.40691375732422, + "learning_rate": 3.2950000000000002e-06, + "loss": 6.2852783203125, + "step": 34760 + }, + { + "epoch": 0.04665, + "grad_norm": 6.6330389976501465, + "learning_rate": 3.294747474747475e-06, + "loss": 7.19727783203125, + "step": 34765 + }, + { + "epoch": 0.0467, + "grad_norm": 8.7340087890625, + "learning_rate": 3.2944949494949495e-06, + "loss": 6.278639602661133, + "step": 34770 + }, + { + "epoch": 0.04675, + "grad_norm": 15.627199172973633, + "learning_rate": 3.294242424242424e-06, + "loss": 6.363483428955078, + "step": 34775 + }, + { + "epoch": 0.0468, + "grad_norm": 8.208427429199219, + "learning_rate": 3.2939898989898996e-06, + "loss": 6.288812637329102, + "step": 34780 + }, + { + "epoch": 0.04685, + "grad_norm": 5.565245628356934, + "learning_rate": 3.2937373737373742e-06, + "loss": 6.2667381286621096, + "step": 34785 + }, + { + "epoch": 0.0469, + "grad_norm": 4.7135162353515625, + "learning_rate": 3.2934848484848484e-06, + "loss": 6.298993301391602, + "step": 34790 + }, + { + "epoch": 0.04695, + "grad_norm": 4.540097713470459, + "learning_rate": 3.293232323232323e-06, + "loss": 6.294288253784179, + "step": 34795 + }, + { + "epoch": 0.047, + "grad_norm": 24.287010192871094, + "learning_rate": 3.2929797979797985e-06, + "loss": 6.258221054077149, + "step": 34800 + }, + { + "epoch": 0.04705, + "grad_norm": 9.320701599121094, + "learning_rate": 3.292727272727273e-06, + "loss": 6.332061767578125, + "step": 34805 + }, + { + "epoch": 0.0471, + "grad_norm": 8.871326446533203, + "learning_rate": 3.2924747474747478e-06, + "loss": 6.256705856323242, + "step": 34810 + }, + { + "epoch": 0.04715, + "grad_norm": 5.026736259460449, + "learning_rate": 3.292222222222223e-06, + "loss": 6.2572776794433596, + "step": 34815 + }, + { + "epoch": 0.0472, + "grad_norm": 8.295275688171387, + "learning_rate": 3.2919696969696975e-06, + "loss": 6.287162017822266, + "step": 34820 + }, + { + "epoch": 0.04725, + "grad_norm": 7.350594997406006, + "learning_rate": 3.291717171717172e-06, + "loss": 6.261262512207031, + "step": 34825 + }, + { + "epoch": 0.0473, + "grad_norm": 7.532747745513916, + "learning_rate": 3.2914646464646467e-06, + "loss": 6.311292266845703, + "step": 34830 + }, + { + "epoch": 0.04735, + "grad_norm": 4.576544761657715, + "learning_rate": 3.2912121212121218e-06, + "loss": 6.290398025512696, + "step": 34835 + }, + { + "epoch": 0.0474, + "grad_norm": 10.832393646240234, + "learning_rate": 3.2909595959595964e-06, + "loss": 6.3363502502441404, + "step": 34840 + }, + { + "epoch": 0.04745, + "grad_norm": 6.160528659820557, + "learning_rate": 3.290707070707071e-06, + "loss": 6.238041687011719, + "step": 34845 + }, + { + "epoch": 0.0475, + "grad_norm": 6.178637504577637, + "learning_rate": 3.2904545454545457e-06, + "loss": 6.288633728027344, + "step": 34850 + }, + { + "epoch": 0.04755, + "grad_norm": 4.105836868286133, + "learning_rate": 3.2902020202020207e-06, + "loss": 6.248758316040039, + "step": 34855 + }, + { + "epoch": 0.0476, + "grad_norm": 8.171919822692871, + "learning_rate": 3.2899494949494954e-06, + "loss": 6.271131134033203, + "step": 34860 + }, + { + "epoch": 0.04765, + "grad_norm": 5.888716697692871, + "learning_rate": 3.28969696969697e-06, + "loss": 6.271892547607422, + "step": 34865 + }, + { + "epoch": 0.0477, + "grad_norm": 6.41104793548584, + "learning_rate": 3.2894444444444446e-06, + "loss": 6.244176864624023, + "step": 34870 + }, + { + "epoch": 0.04775, + "grad_norm": 6.922689437866211, + "learning_rate": 3.2891919191919197e-06, + "loss": 6.283294296264648, + "step": 34875 + }, + { + "epoch": 0.0478, + "grad_norm": 5.373449802398682, + "learning_rate": 3.2889393939393943e-06, + "loss": 6.309387588500977, + "step": 34880 + }, + { + "epoch": 0.04785, + "grad_norm": 4.975199222564697, + "learning_rate": 3.288686868686869e-06, + "loss": 6.296195983886719, + "step": 34885 + }, + { + "epoch": 0.0479, + "grad_norm": 5.440279483795166, + "learning_rate": 3.2884343434343436e-06, + "loss": 6.219166564941406, + "step": 34890 + }, + { + "epoch": 0.04795, + "grad_norm": 5.346248626708984, + "learning_rate": 3.2881818181818186e-06, + "loss": 6.292256164550781, + "step": 34895 + }, + { + "epoch": 0.048, + "grad_norm": 16.57040023803711, + "learning_rate": 3.2879292929292932e-06, + "loss": 6.438202667236328, + "step": 34900 + }, + { + "epoch": 0.04805, + "grad_norm": 8.363144874572754, + "learning_rate": 3.287676767676768e-06, + "loss": 6.335869598388672, + "step": 34905 + }, + { + "epoch": 0.0481, + "grad_norm": 10.708696365356445, + "learning_rate": 3.2874242424242425e-06, + "loss": 6.459724426269531, + "step": 34910 + }, + { + "epoch": 0.04815, + "grad_norm": 8.479935646057129, + "learning_rate": 3.2871717171717176e-06, + "loss": 6.282632064819336, + "step": 34915 + }, + { + "epoch": 0.0482, + "grad_norm": 5.50937557220459, + "learning_rate": 3.286919191919192e-06, + "loss": 6.299241256713867, + "step": 34920 + }, + { + "epoch": 0.04825, + "grad_norm": 5.580682277679443, + "learning_rate": 3.286666666666667e-06, + "loss": 6.356058120727539, + "step": 34925 + }, + { + "epoch": 0.0483, + "grad_norm": 9.991703033447266, + "learning_rate": 3.2864141414141415e-06, + "loss": 6.277548599243164, + "step": 34930 + }, + { + "epoch": 0.04835, + "grad_norm": 13.065298080444336, + "learning_rate": 3.2861616161616165e-06, + "loss": 6.165322875976562, + "step": 34935 + }, + { + "epoch": 0.0484, + "grad_norm": 5.021111488342285, + "learning_rate": 3.285909090909091e-06, + "loss": 6.277559661865235, + "step": 34940 + }, + { + "epoch": 0.04845, + "grad_norm": 5.548837184906006, + "learning_rate": 3.2856565656565658e-06, + "loss": 6.312124633789063, + "step": 34945 + }, + { + "epoch": 0.0485, + "grad_norm": 6.6719560623168945, + "learning_rate": 3.2854040404040404e-06, + "loss": 6.289908218383789, + "step": 34950 + }, + { + "epoch": 0.04855, + "grad_norm": 5.518957614898682, + "learning_rate": 3.2851515151515154e-06, + "loss": 6.258171081542969, + "step": 34955 + }, + { + "epoch": 0.0486, + "grad_norm": 6.432694911956787, + "learning_rate": 3.28489898989899e-06, + "loss": 6.308834457397461, + "step": 34960 + }, + { + "epoch": 0.04865, + "grad_norm": 4.614040374755859, + "learning_rate": 3.2846464646464647e-06, + "loss": 6.342221069335937, + "step": 34965 + }, + { + "epoch": 0.0487, + "grad_norm": 9.187679290771484, + "learning_rate": 3.2843939393939393e-06, + "loss": 6.41964111328125, + "step": 34970 + }, + { + "epoch": 0.04875, + "grad_norm": 4.949752330780029, + "learning_rate": 3.284141414141415e-06, + "loss": 6.298169326782227, + "step": 34975 + }, + { + "epoch": 0.0488, + "grad_norm": 6.344938278198242, + "learning_rate": 3.2838888888888894e-06, + "loss": 6.240311813354492, + "step": 34980 + }, + { + "epoch": 0.04885, + "grad_norm": 6.389272689819336, + "learning_rate": 3.2836363636363637e-06, + "loss": 6.296944046020508, + "step": 34985 + }, + { + "epoch": 0.0489, + "grad_norm": 4.36979866027832, + "learning_rate": 3.2833838383838383e-06, + "loss": 6.28919563293457, + "step": 34990 + }, + { + "epoch": 0.04895, + "grad_norm": 4.547360897064209, + "learning_rate": 3.2831313131313138e-06, + "loss": 6.301368331909179, + "step": 34995 + }, + { + "epoch": 0.049, + "grad_norm": 15.396032333374023, + "learning_rate": 3.2828787878787884e-06, + "loss": 6.267964553833008, + "step": 35000 + }, + { + "epoch": 0.04905, + "grad_norm": 5.424217224121094, + "learning_rate": 3.282626262626263e-06, + "loss": 6.285940933227539, + "step": 35005 + }, + { + "epoch": 0.0491, + "grad_norm": 6.066476821899414, + "learning_rate": 3.2823737373737372e-06, + "loss": 6.276809310913086, + "step": 35010 + }, + { + "epoch": 0.04915, + "grad_norm": 5.129293918609619, + "learning_rate": 3.2821212121212127e-06, + "loss": 6.256174087524414, + "step": 35015 + }, + { + "epoch": 0.0492, + "grad_norm": 7.298128128051758, + "learning_rate": 3.2818686868686873e-06, + "loss": 6.264319229125976, + "step": 35020 + }, + { + "epoch": 0.04925, + "grad_norm": 4.629802227020264, + "learning_rate": 3.281616161616162e-06, + "loss": 6.250748062133789, + "step": 35025 + }, + { + "epoch": 0.0493, + "grad_norm": 6.018641471862793, + "learning_rate": 3.2813636363636366e-06, + "loss": 6.285256958007812, + "step": 35030 + }, + { + "epoch": 0.04935, + "grad_norm": 7.293976306915283, + "learning_rate": 3.2811111111111116e-06, + "loss": 6.273014831542969, + "step": 35035 + }, + { + "epoch": 0.0494, + "grad_norm": 7.021273612976074, + "learning_rate": 3.2808585858585863e-06, + "loss": 6.2677467346191404, + "step": 35040 + }, + { + "epoch": 0.04945, + "grad_norm": 7.875330448150635, + "learning_rate": 3.280606060606061e-06, + "loss": 6.29931411743164, + "step": 35045 + }, + { + "epoch": 0.0495, + "grad_norm": 21.023818969726562, + "learning_rate": 3.2803535353535355e-06, + "loss": 6.427122497558594, + "step": 35050 + }, + { + "epoch": 0.04955, + "grad_norm": 7.667167663574219, + "learning_rate": 3.2801010101010106e-06, + "loss": 6.317515182495117, + "step": 35055 + }, + { + "epoch": 0.0496, + "grad_norm": 25.968650817871094, + "learning_rate": 3.2798484848484852e-06, + "loss": 6.82774658203125, + "step": 35060 + }, + { + "epoch": 0.04965, + "grad_norm": 12.805072784423828, + "learning_rate": 3.27959595959596e-06, + "loss": 6.866229248046875, + "step": 35065 + }, + { + "epoch": 0.0497, + "grad_norm": 4.353940486907959, + "learning_rate": 3.2793434343434345e-06, + "loss": 6.284849548339844, + "step": 35070 + }, + { + "epoch": 0.04975, + "grad_norm": 9.325813293457031, + "learning_rate": 3.2790909090909095e-06, + "loss": 6.434210968017578, + "step": 35075 + }, + { + "epoch": 0.0498, + "grad_norm": 5.88203763961792, + "learning_rate": 3.278838383838384e-06, + "loss": 6.215633392333984, + "step": 35080 + }, + { + "epoch": 0.04985, + "grad_norm": 10.095976829528809, + "learning_rate": 3.278585858585859e-06, + "loss": 6.323418045043946, + "step": 35085 + }, + { + "epoch": 0.0499, + "grad_norm": 6.309284687042236, + "learning_rate": 3.2783333333333334e-06, + "loss": 6.318337249755859, + "step": 35090 + }, + { + "epoch": 0.04995, + "grad_norm": 7.243902683258057, + "learning_rate": 3.2780808080808085e-06, + "loss": 6.272135543823242, + "step": 35095 + }, + { + "epoch": 0.05, + "grad_norm": 5.851275444030762, + "learning_rate": 3.277828282828283e-06, + "loss": 6.332157897949219, + "step": 35100 + }, + { + "epoch": 0.05005, + "grad_norm": 4.588741779327393, + "learning_rate": 3.2775757575757577e-06, + "loss": 6.310874938964844, + "step": 35105 + }, + { + "epoch": 0.0501, + "grad_norm": 6.159008502960205, + "learning_rate": 3.2773232323232324e-06, + "loss": 6.26396369934082, + "step": 35110 + }, + { + "epoch": 0.05015, + "grad_norm": 6.673763751983643, + "learning_rate": 3.2770707070707074e-06, + "loss": 6.280423736572265, + "step": 35115 + }, + { + "epoch": 0.0502, + "grad_norm": 4.924130916595459, + "learning_rate": 3.276818181818182e-06, + "loss": 6.2667381286621096, + "step": 35120 + }, + { + "epoch": 0.05025, + "grad_norm": 5.175667762756348, + "learning_rate": 3.2765656565656567e-06, + "loss": 6.275269317626953, + "step": 35125 + }, + { + "epoch": 0.0503, + "grad_norm": 5.337789535522461, + "learning_rate": 3.2763131313131313e-06, + "loss": 6.282649230957031, + "step": 35130 + }, + { + "epoch": 0.05035, + "grad_norm": 9.778614044189453, + "learning_rate": 3.2760606060606064e-06, + "loss": 6.256710052490234, + "step": 35135 + }, + { + "epoch": 0.0504, + "grad_norm": 7.157259464263916, + "learning_rate": 3.275808080808081e-06, + "loss": 6.268456268310547, + "step": 35140 + }, + { + "epoch": 0.05045, + "grad_norm": 7.5348687171936035, + "learning_rate": 3.2755555555555556e-06, + "loss": 6.267140960693359, + "step": 35145 + }, + { + "epoch": 0.0505, + "grad_norm": 3.803321599960327, + "learning_rate": 3.2753030303030303e-06, + "loss": 6.280174636840821, + "step": 35150 + }, + { + "epoch": 0.05055, + "grad_norm": 10.501906394958496, + "learning_rate": 3.2750505050505053e-06, + "loss": 6.292560195922851, + "step": 35155 + }, + { + "epoch": 0.0506, + "grad_norm": 13.511707305908203, + "learning_rate": 3.27479797979798e-06, + "loss": 6.276032257080078, + "step": 35160 + }, + { + "epoch": 0.05065, + "grad_norm": 5.1371002197265625, + "learning_rate": 3.2745454545454546e-06, + "loss": 6.306236267089844, + "step": 35165 + }, + { + "epoch": 0.0507, + "grad_norm": 6.77003812789917, + "learning_rate": 3.274292929292929e-06, + "loss": 6.387910461425781, + "step": 35170 + }, + { + "epoch": 0.05075, + "grad_norm": 4.099214553833008, + "learning_rate": 3.2740404040404043e-06, + "loss": 6.196070861816406, + "step": 35175 + }, + { + "epoch": 0.0508, + "grad_norm": 5.801113605499268, + "learning_rate": 3.273787878787879e-06, + "loss": 6.476727294921875, + "step": 35180 + }, + { + "epoch": 0.05085, + "grad_norm": 5.65481424331665, + "learning_rate": 3.2735353535353535e-06, + "loss": 6.270328140258789, + "step": 35185 + }, + { + "epoch": 0.0509, + "grad_norm": 6.214885234832764, + "learning_rate": 3.273282828282828e-06, + "loss": 6.294662857055664, + "step": 35190 + }, + { + "epoch": 0.05095, + "grad_norm": 6.880329132080078, + "learning_rate": 3.2730303030303036e-06, + "loss": 6.288825225830078, + "step": 35195 + }, + { + "epoch": 0.051, + "grad_norm": 5.270611763000488, + "learning_rate": 3.2727777777777783e-06, + "loss": 6.29886474609375, + "step": 35200 + }, + { + "epoch": 0.05105, + "grad_norm": 7.678526878356934, + "learning_rate": 3.2725252525252525e-06, + "loss": 6.270150756835937, + "step": 35205 + }, + { + "epoch": 0.0511, + "grad_norm": 9.149025917053223, + "learning_rate": 3.272272727272727e-06, + "loss": 6.273993682861328, + "step": 35210 + }, + { + "epoch": 0.05115, + "grad_norm": 12.453163146972656, + "learning_rate": 3.2720202020202026e-06, + "loss": 6.337948608398437, + "step": 35215 + }, + { + "epoch": 0.0512, + "grad_norm": 6.77817964553833, + "learning_rate": 3.271767676767677e-06, + "loss": 6.334602355957031, + "step": 35220 + }, + { + "epoch": 0.05125, + "grad_norm": 7.45134973526001, + "learning_rate": 3.271515151515152e-06, + "loss": 6.375101089477539, + "step": 35225 + }, + { + "epoch": 0.0513, + "grad_norm": 10.077485084533691, + "learning_rate": 3.271262626262627e-06, + "loss": 6.265316390991211, + "step": 35230 + }, + { + "epoch": 0.05135, + "grad_norm": 10.97733211517334, + "learning_rate": 3.2710101010101015e-06, + "loss": 6.290368270874024, + "step": 35235 + }, + { + "epoch": 0.0514, + "grad_norm": 9.000105857849121, + "learning_rate": 3.270757575757576e-06, + "loss": 6.266787338256836, + "step": 35240 + }, + { + "epoch": 0.05145, + "grad_norm": 7.792247295379639, + "learning_rate": 3.2705050505050508e-06, + "loss": 6.199068069458008, + "step": 35245 + }, + { + "epoch": 0.0515, + "grad_norm": 7.313779830932617, + "learning_rate": 3.270252525252526e-06, + "loss": 6.317647933959961, + "step": 35250 + }, + { + "epoch": 0.05155, + "grad_norm": 6.977554798126221, + "learning_rate": 3.2700000000000005e-06, + "loss": 6.292848205566406, + "step": 35255 + }, + { + "epoch": 0.0516, + "grad_norm": 5.087864398956299, + "learning_rate": 3.269747474747475e-06, + "loss": 6.252903747558594, + "step": 35260 + }, + { + "epoch": 0.05165, + "grad_norm": 6.423875331878662, + "learning_rate": 3.2694949494949497e-06, + "loss": 6.247765350341797, + "step": 35265 + }, + { + "epoch": 0.0517, + "grad_norm": 6.133201599121094, + "learning_rate": 3.2692424242424248e-06, + "loss": 6.251560974121094, + "step": 35270 + }, + { + "epoch": 0.05175, + "grad_norm": 11.473453521728516, + "learning_rate": 3.2689898989898994e-06, + "loss": 6.2307075500488285, + "step": 35275 + }, + { + "epoch": 0.0518, + "grad_norm": 4.920134544372559, + "learning_rate": 3.268737373737374e-06, + "loss": 6.302825546264648, + "step": 35280 + }, + { + "epoch": 0.05185, + "grad_norm": 14.104022026062012, + "learning_rate": 3.2684848484848487e-06, + "loss": 6.3282920837402346, + "step": 35285 + }, + { + "epoch": 0.0519, + "grad_norm": 3.6653671264648438, + "learning_rate": 3.2682323232323237e-06, + "loss": 6.556161499023437, + "step": 35290 + }, + { + "epoch": 0.05195, + "grad_norm": 6.94016695022583, + "learning_rate": 3.2679797979797983e-06, + "loss": 6.245934677124024, + "step": 35295 + }, + { + "epoch": 0.052, + "grad_norm": 6.227659225463867, + "learning_rate": 3.267727272727273e-06, + "loss": 6.295278930664063, + "step": 35300 + }, + { + "epoch": 0.05205, + "grad_norm": 4.71866512298584, + "learning_rate": 3.2674747474747476e-06, + "loss": 6.246229934692383, + "step": 35305 + }, + { + "epoch": 0.0521, + "grad_norm": 4.561375617980957, + "learning_rate": 3.2672222222222227e-06, + "loss": 6.366829299926758, + "step": 35310 + }, + { + "epoch": 0.05215, + "grad_norm": 5.159406661987305, + "learning_rate": 3.2669696969696973e-06, + "loss": 6.237774658203125, + "step": 35315 + }, + { + "epoch": 0.0522, + "grad_norm": 8.701210021972656, + "learning_rate": 3.266717171717172e-06, + "loss": 6.306728744506836, + "step": 35320 + }, + { + "epoch": 0.05225, + "grad_norm": 10.100695610046387, + "learning_rate": 3.2664646464646465e-06, + "loss": 6.247107696533203, + "step": 35325 + }, + { + "epoch": 0.0523, + "grad_norm": 9.718118667602539, + "learning_rate": 3.2662121212121216e-06, + "loss": 6.255717849731445, + "step": 35330 + }, + { + "epoch": 0.05235, + "grad_norm": 8.896659851074219, + "learning_rate": 3.2659595959595962e-06, + "loss": 6.278120422363282, + "step": 35335 + }, + { + "epoch": 0.0524, + "grad_norm": 6.090173721313477, + "learning_rate": 3.265707070707071e-06, + "loss": 6.2666973114013675, + "step": 35340 + }, + { + "epoch": 0.05245, + "grad_norm": 5.044219970703125, + "learning_rate": 3.2654545454545455e-06, + "loss": 6.256593322753906, + "step": 35345 + }, + { + "epoch": 0.0525, + "grad_norm": 6.545598983764648, + "learning_rate": 3.2652020202020205e-06, + "loss": 6.300411224365234, + "step": 35350 + }, + { + "epoch": 0.05255, + "grad_norm": 7.838217258453369, + "learning_rate": 3.264949494949495e-06, + "loss": 6.3089244842529295, + "step": 35355 + }, + { + "epoch": 0.0526, + "grad_norm": 7.522068977355957, + "learning_rate": 3.26469696969697e-06, + "loss": 6.236774444580078, + "step": 35360 + }, + { + "epoch": 0.05265, + "grad_norm": 5.815244674682617, + "learning_rate": 3.2644444444444444e-06, + "loss": 6.426654052734375, + "step": 35365 + }, + { + "epoch": 0.0527, + "grad_norm": 8.679105758666992, + "learning_rate": 3.2641919191919195e-06, + "loss": 6.304439544677734, + "step": 35370 + }, + { + "epoch": 0.05275, + "grad_norm": 9.651296615600586, + "learning_rate": 3.263939393939394e-06, + "loss": 6.236795043945312, + "step": 35375 + }, + { + "epoch": 0.0528, + "grad_norm": 6.470859527587891, + "learning_rate": 3.2636868686868687e-06, + "loss": 6.262895965576172, + "step": 35380 + }, + { + "epoch": 0.05285, + "grad_norm": 8.24250316619873, + "learning_rate": 3.2634343434343434e-06, + "loss": 6.272414779663086, + "step": 35385 + }, + { + "epoch": 0.0529, + "grad_norm": 7.0517706871032715, + "learning_rate": 3.263181818181819e-06, + "loss": 6.269016265869141, + "step": 35390 + }, + { + "epoch": 0.05295, + "grad_norm": 8.443787574768066, + "learning_rate": 3.2629292929292935e-06, + "loss": 6.29283332824707, + "step": 35395 + }, + { + "epoch": 0.053, + "grad_norm": 4.77041482925415, + "learning_rate": 3.2626767676767677e-06, + "loss": 6.284092712402344, + "step": 35400 + }, + { + "epoch": 0.05305, + "grad_norm": 5.518260478973389, + "learning_rate": 3.2624242424242423e-06, + "loss": 6.246273040771484, + "step": 35405 + }, + { + "epoch": 0.0531, + "grad_norm": 7.27074670791626, + "learning_rate": 3.262171717171718e-06, + "loss": 6.262240219116211, + "step": 35410 + }, + { + "epoch": 0.05315, + "grad_norm": 7.116097450256348, + "learning_rate": 3.2619191919191924e-06, + "loss": 6.244412612915039, + "step": 35415 + }, + { + "epoch": 0.0532, + "grad_norm": 5.62921142578125, + "learning_rate": 3.261666666666667e-06, + "loss": 6.31261978149414, + "step": 35420 + }, + { + "epoch": 0.05325, + "grad_norm": 5.603243350982666, + "learning_rate": 3.2614141414141413e-06, + "loss": 6.266482543945313, + "step": 35425 + }, + { + "epoch": 0.0533, + "grad_norm": 6.649318695068359, + "learning_rate": 3.2611616161616167e-06, + "loss": 6.263259506225586, + "step": 35430 + }, + { + "epoch": 0.05335, + "grad_norm": 8.162367820739746, + "learning_rate": 3.2609090909090914e-06, + "loss": 6.3018028259277346, + "step": 35435 + }, + { + "epoch": 0.0534, + "grad_norm": 6.412289142608643, + "learning_rate": 3.260656565656566e-06, + "loss": 6.271790313720703, + "step": 35440 + }, + { + "epoch": 0.05345, + "grad_norm": 53.48617935180664, + "learning_rate": 3.2604040404040406e-06, + "loss": 6.910607147216797, + "step": 35445 + }, + { + "epoch": 0.0535, + "grad_norm": 7.840726852416992, + "learning_rate": 3.2601515151515157e-06, + "loss": 6.682980346679687, + "step": 35450 + }, + { + "epoch": 0.05355, + "grad_norm": 5.839212417602539, + "learning_rate": 3.2598989898989903e-06, + "loss": 6.290212631225586, + "step": 35455 + }, + { + "epoch": 0.0536, + "grad_norm": 8.730506896972656, + "learning_rate": 3.259646464646465e-06, + "loss": 6.205363845825195, + "step": 35460 + }, + { + "epoch": 0.05365, + "grad_norm": 5.301448822021484, + "learning_rate": 3.2593939393939396e-06, + "loss": 6.2750701904296875, + "step": 35465 + }, + { + "epoch": 0.0537, + "grad_norm": 9.380294799804688, + "learning_rate": 3.2591414141414146e-06, + "loss": 6.27130241394043, + "step": 35470 + }, + { + "epoch": 0.05375, + "grad_norm": 5.596490383148193, + "learning_rate": 3.2588888888888893e-06, + "loss": 6.347657012939453, + "step": 35475 + }, + { + "epoch": 0.0538, + "grad_norm": 8.998419761657715, + "learning_rate": 3.258636363636364e-06, + "loss": 6.263415908813476, + "step": 35480 + }, + { + "epoch": 0.05385, + "grad_norm": 4.243162155151367, + "learning_rate": 3.2583838383838385e-06, + "loss": 6.275699234008789, + "step": 35485 + }, + { + "epoch": 0.0539, + "grad_norm": 5.2408576011657715, + "learning_rate": 3.2581313131313136e-06, + "loss": 6.295782089233398, + "step": 35490 + }, + { + "epoch": 0.05395, + "grad_norm": 6.622154712677002, + "learning_rate": 3.257878787878788e-06, + "loss": 6.262670516967773, + "step": 35495 + }, + { + "epoch": 0.054, + "grad_norm": 7.402721881866455, + "learning_rate": 3.257626262626263e-06, + "loss": 6.251801300048828, + "step": 35500 + }, + { + "epoch": 0.05405, + "grad_norm": 5.092800140380859, + "learning_rate": 3.2573737373737375e-06, + "loss": 6.276590347290039, + "step": 35505 + }, + { + "epoch": 0.0541, + "grad_norm": 24.962053298950195, + "learning_rate": 3.2571212121212125e-06, + "loss": 6.481658172607422, + "step": 35510 + }, + { + "epoch": 0.05415, + "grad_norm": 6.749709606170654, + "learning_rate": 3.256868686868687e-06, + "loss": 6.305655288696289, + "step": 35515 + }, + { + "epoch": 0.0542, + "grad_norm": 5.051708221435547, + "learning_rate": 3.2566161616161618e-06, + "loss": 6.287960815429687, + "step": 35520 + }, + { + "epoch": 0.05425, + "grad_norm": 5.226186275482178, + "learning_rate": 3.2563636363636364e-06, + "loss": 6.2943359375, + "step": 35525 + }, + { + "epoch": 0.0543, + "grad_norm": 7.103726863861084, + "learning_rate": 3.2561111111111115e-06, + "loss": 6.235382080078125, + "step": 35530 + }, + { + "epoch": 0.05435, + "grad_norm": 4.971731185913086, + "learning_rate": 3.255858585858586e-06, + "loss": 6.3156383514404295, + "step": 35535 + }, + { + "epoch": 0.0544, + "grad_norm": 6.036776065826416, + "learning_rate": 3.2556060606060607e-06, + "loss": 6.339959716796875, + "step": 35540 + }, + { + "epoch": 0.05445, + "grad_norm": 9.980279922485352, + "learning_rate": 3.2553535353535354e-06, + "loss": 6.251197433471679, + "step": 35545 + }, + { + "epoch": 0.0545, + "grad_norm": 9.433897018432617, + "learning_rate": 3.2551010101010104e-06, + "loss": 6.248058319091797, + "step": 35550 + }, + { + "epoch": 0.05455, + "grad_norm": 5.618668079376221, + "learning_rate": 3.254848484848485e-06, + "loss": 6.266307830810547, + "step": 35555 + }, + { + "epoch": 0.0546, + "grad_norm": 9.41104507446289, + "learning_rate": 3.2545959595959597e-06, + "loss": 6.305927276611328, + "step": 35560 + }, + { + "epoch": 0.05465, + "grad_norm": 6.8511247634887695, + "learning_rate": 3.2543434343434343e-06, + "loss": 6.2869609832763675, + "step": 35565 + }, + { + "epoch": 0.0547, + "grad_norm": 9.258623123168945, + "learning_rate": 3.2540909090909094e-06, + "loss": 6.341587829589844, + "step": 35570 + }, + { + "epoch": 0.05475, + "grad_norm": 5.560075283050537, + "learning_rate": 3.253838383838384e-06, + "loss": 6.28405532836914, + "step": 35575 + }, + { + "epoch": 0.0548, + "grad_norm": 4.908081531524658, + "learning_rate": 3.2535858585858586e-06, + "loss": 6.322003936767578, + "step": 35580 + }, + { + "epoch": 0.05485, + "grad_norm": 7.400416851043701, + "learning_rate": 3.2533333333333332e-06, + "loss": 6.304544448852539, + "step": 35585 + }, + { + "epoch": 0.0549, + "grad_norm": 5.350142955780029, + "learning_rate": 3.2530808080808083e-06, + "loss": 6.28719482421875, + "step": 35590 + }, + { + "epoch": 0.05495, + "grad_norm": 4.149595737457275, + "learning_rate": 3.252828282828283e-06, + "loss": 6.266949462890625, + "step": 35595 + }, + { + "epoch": 0.055, + "grad_norm": 6.120441436767578, + "learning_rate": 3.2525757575757576e-06, + "loss": 6.2905021667480465, + "step": 35600 + }, + { + "epoch": 0.05505, + "grad_norm": 9.76497745513916, + "learning_rate": 3.252323232323232e-06, + "loss": 6.297564315795898, + "step": 35605 + }, + { + "epoch": 0.0551, + "grad_norm": 8.089164733886719, + "learning_rate": 3.2520707070707077e-06, + "loss": 6.2884162902832035, + "step": 35610 + }, + { + "epoch": 0.05515, + "grad_norm": 4.703613758087158, + "learning_rate": 3.2518181818181823e-06, + "loss": 6.261649703979492, + "step": 35615 + }, + { + "epoch": 0.0552, + "grad_norm": 6.085631370544434, + "learning_rate": 3.2515656565656565e-06, + "loss": 6.289752197265625, + "step": 35620 + }, + { + "epoch": 0.05525, + "grad_norm": 9.445321083068848, + "learning_rate": 3.251313131313131e-06, + "loss": 6.363951873779297, + "step": 35625 + }, + { + "epoch": 0.0553, + "grad_norm": 5.525025367736816, + "learning_rate": 3.2510606060606066e-06, + "loss": 6.2696586608886715, + "step": 35630 + }, + { + "epoch": 0.05535, + "grad_norm": 18.950674057006836, + "learning_rate": 3.2508080808080812e-06, + "loss": 6.398841476440429, + "step": 35635 + }, + { + "epoch": 0.0554, + "grad_norm": 5.078076362609863, + "learning_rate": 3.250555555555556e-06, + "loss": 6.348239517211914, + "step": 35640 + }, + { + "epoch": 0.05545, + "grad_norm": 5.694879531860352, + "learning_rate": 3.2503030303030305e-06, + "loss": 6.240224075317383, + "step": 35645 + }, + { + "epoch": 0.0555, + "grad_norm": 5.201033115386963, + "learning_rate": 3.2500505050505056e-06, + "loss": 6.298657989501953, + "step": 35650 + }, + { + "epoch": 0.05555, + "grad_norm": 5.783593654632568, + "learning_rate": 3.24979797979798e-06, + "loss": 6.256073760986328, + "step": 35655 + }, + { + "epoch": 0.0556, + "grad_norm": 8.388336181640625, + "learning_rate": 3.249545454545455e-06, + "loss": 6.29564208984375, + "step": 35660 + }, + { + "epoch": 0.05565, + "grad_norm": 10.50983715057373, + "learning_rate": 3.24929292929293e-06, + "loss": 6.2493438720703125, + "step": 35665 + }, + { + "epoch": 0.0557, + "grad_norm": 249.3787384033203, + "learning_rate": 3.2490404040404045e-06, + "loss": 8.048028564453125, + "step": 35670 + }, + { + "epoch": 0.05575, + "grad_norm": 6.205459117889404, + "learning_rate": 3.248787878787879e-06, + "loss": 7.072125244140625, + "step": 35675 + }, + { + "epoch": 0.0558, + "grad_norm": 7.880497932434082, + "learning_rate": 3.2485353535353538e-06, + "loss": 6.279197692871094, + "step": 35680 + }, + { + "epoch": 0.05585, + "grad_norm": 8.75843620300293, + "learning_rate": 3.248282828282829e-06, + "loss": 6.226631927490234, + "step": 35685 + }, + { + "epoch": 0.0559, + "grad_norm": 10.81594181060791, + "learning_rate": 3.2480303030303034e-06, + "loss": 6.252440643310547, + "step": 35690 + }, + { + "epoch": 0.05595, + "grad_norm": 5.869147300720215, + "learning_rate": 3.247777777777778e-06, + "loss": 6.264157104492187, + "step": 35695 + }, + { + "epoch": 0.056, + "grad_norm": 7.084537982940674, + "learning_rate": 3.2475252525252527e-06, + "loss": 6.278627014160156, + "step": 35700 + }, + { + "epoch": 0.05605, + "grad_norm": 4.703330993652344, + "learning_rate": 3.2472727272727278e-06, + "loss": 6.293717575073242, + "step": 35705 + }, + { + "epoch": 0.0561, + "grad_norm": 4.8099284172058105, + "learning_rate": 3.2470202020202024e-06, + "loss": 6.323994445800781, + "step": 35710 + }, + { + "epoch": 0.05615, + "grad_norm": 5.613970756530762, + "learning_rate": 3.246767676767677e-06, + "loss": 6.262202453613281, + "step": 35715 + }, + { + "epoch": 0.0562, + "grad_norm": 5.7324652671813965, + "learning_rate": 3.2465151515151516e-06, + "loss": 6.314483261108398, + "step": 35720 + }, + { + "epoch": 0.05625, + "grad_norm": 5.6442084312438965, + "learning_rate": 3.2462626262626267e-06, + "loss": 6.318102264404297, + "step": 35725 + }, + { + "epoch": 0.0563, + "grad_norm": 5.27984619140625, + "learning_rate": 3.2460101010101013e-06, + "loss": 6.252370071411133, + "step": 35730 + }, + { + "epoch": 0.05635, + "grad_norm": 37.10020065307617, + "learning_rate": 3.245757575757576e-06, + "loss": 6.186188507080078, + "step": 35735 + }, + { + "epoch": 0.0564, + "grad_norm": 5.766847133636475, + "learning_rate": 3.2455050505050506e-06, + "loss": 6.302840805053711, + "step": 35740 + }, + { + "epoch": 0.05645, + "grad_norm": 7.287111282348633, + "learning_rate": 3.2452525252525256e-06, + "loss": 6.29181137084961, + "step": 35745 + }, + { + "epoch": 0.0565, + "grad_norm": 5.580541610717773, + "learning_rate": 3.2450000000000003e-06, + "loss": 6.336334228515625, + "step": 35750 + }, + { + "epoch": 0.05655, + "grad_norm": 9.409850120544434, + "learning_rate": 3.244747474747475e-06, + "loss": 6.381145477294922, + "step": 35755 + }, + { + "epoch": 0.0566, + "grad_norm": 6.440433979034424, + "learning_rate": 3.2444949494949495e-06, + "loss": 6.201219940185547, + "step": 35760 + }, + { + "epoch": 0.05665, + "grad_norm": 17.87500762939453, + "learning_rate": 3.2442424242424246e-06, + "loss": 6.879973602294922, + "step": 35765 + }, + { + "epoch": 0.0567, + "grad_norm": 7.7824296951293945, + "learning_rate": 3.2439898989898992e-06, + "loss": 6.314643096923828, + "step": 35770 + }, + { + "epoch": 0.05675, + "grad_norm": 7.30472993850708, + "learning_rate": 3.243737373737374e-06, + "loss": 6.297591018676758, + "step": 35775 + }, + { + "epoch": 0.0568, + "grad_norm": 4.307924747467041, + "learning_rate": 3.2434848484848485e-06, + "loss": 6.2660400390625, + "step": 35780 + }, + { + "epoch": 0.05685, + "grad_norm": 7.007259845733643, + "learning_rate": 3.2432323232323235e-06, + "loss": 6.218526077270508, + "step": 35785 + }, + { + "epoch": 0.0569, + "grad_norm": 3.50826358795166, + "learning_rate": 3.242979797979798e-06, + "loss": 6.420111083984375, + "step": 35790 + }, + { + "epoch": 0.05695, + "grad_norm": 5.910391330718994, + "learning_rate": 3.242727272727273e-06, + "loss": 6.290824127197266, + "step": 35795 + }, + { + "epoch": 0.057, + "grad_norm": 6.224939823150635, + "learning_rate": 3.2424747474747474e-06, + "loss": 6.270291900634765, + "step": 35800 + }, + { + "epoch": 0.05705, + "grad_norm": 6.197885036468506, + "learning_rate": 3.242222222222223e-06, + "loss": 6.217855453491211, + "step": 35805 + }, + { + "epoch": 0.0571, + "grad_norm": 6.088695526123047, + "learning_rate": 3.2419696969696975e-06, + "loss": 6.283650207519531, + "step": 35810 + }, + { + "epoch": 0.05715, + "grad_norm": 5.695998191833496, + "learning_rate": 3.2417171717171717e-06, + "loss": 6.252125930786133, + "step": 35815 + }, + { + "epoch": 0.0572, + "grad_norm": 4.714662075042725, + "learning_rate": 3.2414646464646464e-06, + "loss": 6.212126159667969, + "step": 35820 + }, + { + "epoch": 0.05725, + "grad_norm": 7.113203048706055, + "learning_rate": 3.241212121212122e-06, + "loss": 6.2817230224609375, + "step": 35825 + }, + { + "epoch": 0.0573, + "grad_norm": 6.504984378814697, + "learning_rate": 3.2409595959595965e-06, + "loss": 6.263227081298828, + "step": 35830 + }, + { + "epoch": 0.05735, + "grad_norm": 4.78233003616333, + "learning_rate": 3.240707070707071e-06, + "loss": 6.304944610595703, + "step": 35835 + }, + { + "epoch": 0.0574, + "grad_norm": 12.624735832214355, + "learning_rate": 3.2404545454545457e-06, + "loss": 6.318175506591797, + "step": 35840 + }, + { + "epoch": 0.05745, + "grad_norm": 6.1849045753479, + "learning_rate": 3.2402020202020208e-06, + "loss": 6.3728282928466795, + "step": 35845 + }, + { + "epoch": 0.0575, + "grad_norm": 6.498283386230469, + "learning_rate": 3.2399494949494954e-06, + "loss": 6.259939193725586, + "step": 35850 + }, + { + "epoch": 0.05755, + "grad_norm": 5.609084129333496, + "learning_rate": 3.23969696969697e-06, + "loss": 6.288790512084961, + "step": 35855 + }, + { + "epoch": 0.0576, + "grad_norm": 4.448870658874512, + "learning_rate": 3.2394444444444447e-06, + "loss": 6.30543212890625, + "step": 35860 + }, + { + "epoch": 0.05765, + "grad_norm": 6.952431678771973, + "learning_rate": 3.2391919191919197e-06, + "loss": 6.283628845214844, + "step": 35865 + }, + { + "epoch": 0.0577, + "grad_norm": 5.7677154541015625, + "learning_rate": 3.2389393939393944e-06, + "loss": 6.259416580200195, + "step": 35870 + }, + { + "epoch": 0.05775, + "grad_norm": 6.332040786743164, + "learning_rate": 3.238686868686869e-06, + "loss": 6.211784744262696, + "step": 35875 + }, + { + "epoch": 0.0578, + "grad_norm": 4.846890449523926, + "learning_rate": 3.2384343434343436e-06, + "loss": 6.205535888671875, + "step": 35880 + }, + { + "epoch": 0.05785, + "grad_norm": 6.803906440734863, + "learning_rate": 3.2381818181818187e-06, + "loss": 6.238606262207031, + "step": 35885 + }, + { + "epoch": 0.0579, + "grad_norm": 5.141147136688232, + "learning_rate": 3.2379292929292933e-06, + "loss": 6.30022964477539, + "step": 35890 + }, + { + "epoch": 0.05795, + "grad_norm": 6.466691970825195, + "learning_rate": 3.237676767676768e-06, + "loss": 6.2699134826660154, + "step": 35895 + }, + { + "epoch": 0.058, + "grad_norm": 4.832157135009766, + "learning_rate": 3.2374242424242426e-06, + "loss": 6.346537399291992, + "step": 35900 + }, + { + "epoch": 0.05805, + "grad_norm": 5.0135087966918945, + "learning_rate": 3.2371717171717176e-06, + "loss": 6.241169738769531, + "step": 35905 + }, + { + "epoch": 0.0581, + "grad_norm": 6.855318069458008, + "learning_rate": 3.2369191919191922e-06, + "loss": 6.27856216430664, + "step": 35910 + }, + { + "epoch": 0.05815, + "grad_norm": 4.944605827331543, + "learning_rate": 3.236666666666667e-06, + "loss": 6.274566650390625, + "step": 35915 + }, + { + "epoch": 0.0582, + "grad_norm": 4.67616081237793, + "learning_rate": 3.2364141414141415e-06, + "loss": 6.278418350219726, + "step": 35920 + }, + { + "epoch": 0.05825, + "grad_norm": 5.527277946472168, + "learning_rate": 3.2361616161616166e-06, + "loss": 6.279583740234375, + "step": 35925 + }, + { + "epoch": 0.0583, + "grad_norm": 4.397896766662598, + "learning_rate": 3.235909090909091e-06, + "loss": 6.259646987915039, + "step": 35930 + }, + { + "epoch": 0.05835, + "grad_norm": 8.066814422607422, + "learning_rate": 3.235656565656566e-06, + "loss": 6.285501098632812, + "step": 35935 + }, + { + "epoch": 0.0584, + "grad_norm": 4.331371784210205, + "learning_rate": 3.2354040404040405e-06, + "loss": 6.293682479858399, + "step": 35940 + }, + { + "epoch": 0.05845, + "grad_norm": 3.570474624633789, + "learning_rate": 3.2351515151515155e-06, + "loss": 6.2079521179199215, + "step": 35945 + }, + { + "epoch": 0.0585, + "grad_norm": 6.134387969970703, + "learning_rate": 3.23489898989899e-06, + "loss": 6.276849365234375, + "step": 35950 + }, + { + "epoch": 0.05855, + "grad_norm": 5.413759708404541, + "learning_rate": 3.2346464646464648e-06, + "loss": 6.315478515625, + "step": 35955 + }, + { + "epoch": 0.0586, + "grad_norm": 5.291648864746094, + "learning_rate": 3.2343939393939394e-06, + "loss": 6.238240814208984, + "step": 35960 + }, + { + "epoch": 0.05865, + "grad_norm": 5.8856282234191895, + "learning_rate": 3.2341414141414144e-06, + "loss": 6.291497421264649, + "step": 35965 + }, + { + "epoch": 0.0587, + "grad_norm": 15.721312522888184, + "learning_rate": 3.233888888888889e-06, + "loss": 6.323081207275391, + "step": 35970 + }, + { + "epoch": 0.05875, + "grad_norm": 4.041512966156006, + "learning_rate": 3.2336363636363637e-06, + "loss": 6.247463989257812, + "step": 35975 + }, + { + "epoch": 0.0588, + "grad_norm": 6.351573944091797, + "learning_rate": 3.2333838383838383e-06, + "loss": 6.304759979248047, + "step": 35980 + }, + { + "epoch": 0.05885, + "grad_norm": 5.904655456542969, + "learning_rate": 3.2331313131313134e-06, + "loss": 6.29975700378418, + "step": 35985 + }, + { + "epoch": 0.0589, + "grad_norm": 5.130357265472412, + "learning_rate": 3.232878787878788e-06, + "loss": 6.303535079956054, + "step": 35990 + }, + { + "epoch": 0.05895, + "grad_norm": 6.26955509185791, + "learning_rate": 3.2326262626262627e-06, + "loss": 6.2895957946777346, + "step": 35995 + }, + { + "epoch": 0.059, + "grad_norm": 7.535348415374756, + "learning_rate": 3.2323737373737373e-06, + "loss": 6.313241577148437, + "step": 36000 + }, + { + "epoch": 0.05905, + "grad_norm": 12.712775230407715, + "learning_rate": 3.2321212121212128e-06, + "loss": 6.263056945800781, + "step": 36005 + }, + { + "epoch": 0.0591, + "grad_norm": 7.676797389984131, + "learning_rate": 3.231868686868687e-06, + "loss": 6.305780029296875, + "step": 36010 + }, + { + "epoch": 0.05915, + "grad_norm": 12.023932456970215, + "learning_rate": 3.2316161616161616e-06, + "loss": 6.267766952514648, + "step": 36015 + }, + { + "epoch": 0.0592, + "grad_norm": 9.03357219696045, + "learning_rate": 3.2313636363636362e-06, + "loss": 6.352530670166016, + "step": 36020 + }, + { + "epoch": 0.05925, + "grad_norm": 8.658413887023926, + "learning_rate": 3.2311111111111117e-06, + "loss": 6.235383987426758, + "step": 36025 + }, + { + "epoch": 0.0593, + "grad_norm": 4.692612648010254, + "learning_rate": 3.2308585858585863e-06, + "loss": 6.290262222290039, + "step": 36030 + }, + { + "epoch": 0.05935, + "grad_norm": 10.57754898071289, + "learning_rate": 3.2306060606060605e-06, + "loss": 6.3117118835449215, + "step": 36035 + }, + { + "epoch": 0.0594, + "grad_norm": 5.5504655838012695, + "learning_rate": 3.230353535353535e-06, + "loss": 6.312933349609375, + "step": 36040 + }, + { + "epoch": 0.05945, + "grad_norm": 7.025251865386963, + "learning_rate": 3.2301010101010106e-06, + "loss": 6.281905746459961, + "step": 36045 + }, + { + "epoch": 0.0595, + "grad_norm": 6.9643120765686035, + "learning_rate": 3.2298484848484853e-06, + "loss": 6.259133148193359, + "step": 36050 + }, + { + "epoch": 0.05955, + "grad_norm": 7.093824863433838, + "learning_rate": 3.22959595959596e-06, + "loss": 6.254846572875977, + "step": 36055 + }, + { + "epoch": 0.0596, + "grad_norm": 4.52366304397583, + "learning_rate": 3.2293434343434345e-06, + "loss": 6.303619384765625, + "step": 36060 + }, + { + "epoch": 0.05965, + "grad_norm": 4.955570220947266, + "learning_rate": 3.2290909090909096e-06, + "loss": 6.277841186523437, + "step": 36065 + }, + { + "epoch": 0.0597, + "grad_norm": 5.961994171142578, + "learning_rate": 3.2288383838383842e-06, + "loss": 6.258874130249024, + "step": 36070 + }, + { + "epoch": 0.05975, + "grad_norm": 8.873900413513184, + "learning_rate": 3.228585858585859e-06, + "loss": 6.263679122924804, + "step": 36075 + }, + { + "epoch": 0.0598, + "grad_norm": 7.561686038970947, + "learning_rate": 3.228333333333334e-06, + "loss": 6.328676223754883, + "step": 36080 + }, + { + "epoch": 0.05985, + "grad_norm": 4.68233585357666, + "learning_rate": 3.2280808080808085e-06, + "loss": 6.334548568725586, + "step": 36085 + }, + { + "epoch": 0.0599, + "grad_norm": 6.388730049133301, + "learning_rate": 3.227828282828283e-06, + "loss": 6.272335815429687, + "step": 36090 + }, + { + "epoch": 0.05995, + "grad_norm": 4.543592929840088, + "learning_rate": 3.227575757575758e-06, + "loss": 6.253975677490234, + "step": 36095 + }, + { + "epoch": 0.06, + "grad_norm": 4.89066743850708, + "learning_rate": 3.227323232323233e-06, + "loss": 6.266605377197266, + "step": 36100 + }, + { + "epoch": 0.06005, + "grad_norm": 6.186338901519775, + "learning_rate": 3.2270707070707075e-06, + "loss": 6.305081939697265, + "step": 36105 + }, + { + "epoch": 0.0601, + "grad_norm": 4.3657355308532715, + "learning_rate": 3.226818181818182e-06, + "loss": 6.2908683776855465, + "step": 36110 + }, + { + "epoch": 0.06015, + "grad_norm": 9.564868927001953, + "learning_rate": 3.2265656565656567e-06, + "loss": 6.236258697509766, + "step": 36115 + }, + { + "epoch": 0.0602, + "grad_norm": 10.165773391723633, + "learning_rate": 3.226313131313132e-06, + "loss": 6.378783798217773, + "step": 36120 + }, + { + "epoch": 0.06025, + "grad_norm": 7.923320770263672, + "learning_rate": 3.2260606060606064e-06, + "loss": 6.258442687988281, + "step": 36125 + }, + { + "epoch": 0.0603, + "grad_norm": 15.441763877868652, + "learning_rate": 3.225808080808081e-06, + "loss": 6.240509796142578, + "step": 36130 + }, + { + "epoch": 0.06035, + "grad_norm": 7.536803245544434, + "learning_rate": 3.2255555555555557e-06, + "loss": 6.297138214111328, + "step": 36135 + }, + { + "epoch": 0.0604, + "grad_norm": 13.460394859313965, + "learning_rate": 3.2253030303030307e-06, + "loss": 6.386284637451172, + "step": 36140 + }, + { + "epoch": 0.06045, + "grad_norm": 8.224822044372559, + "learning_rate": 3.2250505050505054e-06, + "loss": 6.2711235046386715, + "step": 36145 + }, + { + "epoch": 0.0605, + "grad_norm": 5.337498664855957, + "learning_rate": 3.22479797979798e-06, + "loss": 6.281629180908203, + "step": 36150 + }, + { + "epoch": 0.06055, + "grad_norm": 7.787458419799805, + "learning_rate": 3.2245454545454546e-06, + "loss": 6.3079345703125, + "step": 36155 + }, + { + "epoch": 0.0606, + "grad_norm": 6.076412200927734, + "learning_rate": 3.2242929292929297e-06, + "loss": 6.241101455688477, + "step": 36160 + }, + { + "epoch": 0.06065, + "grad_norm": 7.842571258544922, + "learning_rate": 3.2240404040404043e-06, + "loss": 6.258106994628906, + "step": 36165 + }, + { + "epoch": 0.0607, + "grad_norm": 4.963227272033691, + "learning_rate": 3.223787878787879e-06, + "loss": 6.300220489501953, + "step": 36170 + }, + { + "epoch": 0.06075, + "grad_norm": 4.899511337280273, + "learning_rate": 3.2235353535353536e-06, + "loss": 6.292774963378906, + "step": 36175 + }, + { + "epoch": 0.0608, + "grad_norm": 7.647768497467041, + "learning_rate": 3.2232828282828286e-06, + "loss": 6.281070327758789, + "step": 36180 + }, + { + "epoch": 0.06085, + "grad_norm": 6.872768402099609, + "learning_rate": 3.2230303030303033e-06, + "loss": 6.295463943481446, + "step": 36185 + }, + { + "epoch": 0.0609, + "grad_norm": 6.429582118988037, + "learning_rate": 3.222777777777778e-06, + "loss": 6.285393142700196, + "step": 36190 + }, + { + "epoch": 0.06095, + "grad_norm": 4.48520565032959, + "learning_rate": 3.2225252525252525e-06, + "loss": 6.304536819458008, + "step": 36195 + }, + { + "epoch": 0.061, + "grad_norm": 7.625729084014893, + "learning_rate": 3.2222727272727276e-06, + "loss": 6.2686279296875, + "step": 36200 + }, + { + "epoch": 0.06105, + "grad_norm": 4.540413856506348, + "learning_rate": 3.222020202020202e-06, + "loss": 6.559607696533203, + "step": 36205 + }, + { + "epoch": 0.0611, + "grad_norm": 5.8775177001953125, + "learning_rate": 3.221767676767677e-06, + "loss": 6.222863388061524, + "step": 36210 + }, + { + "epoch": 0.06115, + "grad_norm": 5.781510829925537, + "learning_rate": 3.2215151515151515e-06, + "loss": 6.299044799804688, + "step": 36215 + }, + { + "epoch": 0.0612, + "grad_norm": 8.922098159790039, + "learning_rate": 3.221262626262627e-06, + "loss": 6.36382827758789, + "step": 36220 + }, + { + "epoch": 0.06125, + "grad_norm": 5.6246161460876465, + "learning_rate": 3.2210101010101016e-06, + "loss": 6.31041259765625, + "step": 36225 + }, + { + "epoch": 0.0613, + "grad_norm": 10.640532493591309, + "learning_rate": 3.2207575757575758e-06, + "loss": 6.2818950653076175, + "step": 36230 + }, + { + "epoch": 0.06135, + "grad_norm": 9.122007369995117, + "learning_rate": 3.2205050505050504e-06, + "loss": 6.20995979309082, + "step": 36235 + }, + { + "epoch": 0.0614, + "grad_norm": 5.271838188171387, + "learning_rate": 3.220252525252526e-06, + "loss": 6.332762908935547, + "step": 36240 + }, + { + "epoch": 0.06145, + "grad_norm": 5.050696849822998, + "learning_rate": 3.2200000000000005e-06, + "loss": 6.260143280029297, + "step": 36245 + }, + { + "epoch": 0.0615, + "grad_norm": 3.4901607036590576, + "learning_rate": 3.219747474747475e-06, + "loss": 6.223968505859375, + "step": 36250 + }, + { + "epoch": 0.06155, + "grad_norm": 5.0697855949401855, + "learning_rate": 3.2194949494949498e-06, + "loss": 6.268159103393555, + "step": 36255 + }, + { + "epoch": 0.0616, + "grad_norm": 12.004992485046387, + "learning_rate": 3.219242424242425e-06, + "loss": 6.2146759033203125, + "step": 36260 + }, + { + "epoch": 0.06165, + "grad_norm": 4.376293182373047, + "learning_rate": 3.2189898989898995e-06, + "loss": 6.300410461425781, + "step": 36265 + }, + { + "epoch": 0.0617, + "grad_norm": 9.892372131347656, + "learning_rate": 3.218737373737374e-06, + "loss": 6.313584899902343, + "step": 36270 + }, + { + "epoch": 0.06175, + "grad_norm": 7.598756790161133, + "learning_rate": 3.2184848484848487e-06, + "loss": 6.2634124755859375, + "step": 36275 + }, + { + "epoch": 0.0618, + "grad_norm": 6.2489542961120605, + "learning_rate": 3.2182323232323238e-06, + "loss": 6.299337005615234, + "step": 36280 + }, + { + "epoch": 0.06185, + "grad_norm": 4.525169849395752, + "learning_rate": 3.2179797979797984e-06, + "loss": 6.126369857788086, + "step": 36285 + }, + { + "epoch": 0.0619, + "grad_norm": 11.928300857543945, + "learning_rate": 3.217727272727273e-06, + "loss": 6.309471130371094, + "step": 36290 + }, + { + "epoch": 0.06195, + "grad_norm": 10.453754425048828, + "learning_rate": 3.2174747474747477e-06, + "loss": 6.2355705261230465, + "step": 36295 + }, + { + "epoch": 0.062, + "grad_norm": 5.765225887298584, + "learning_rate": 3.2172222222222227e-06, + "loss": 6.270162200927734, + "step": 36300 + }, + { + "epoch": 0.06205, + "grad_norm": 6.815283298492432, + "learning_rate": 3.2169696969696973e-06, + "loss": 6.35916748046875, + "step": 36305 + }, + { + "epoch": 0.0621, + "grad_norm": 3.6637816429138184, + "learning_rate": 3.216717171717172e-06, + "loss": 6.314794921875, + "step": 36310 + }, + { + "epoch": 0.06215, + "grad_norm": 5.829189300537109, + "learning_rate": 3.2164646464646466e-06, + "loss": 6.298483276367188, + "step": 36315 + }, + { + "epoch": 0.0622, + "grad_norm": 7.153108596801758, + "learning_rate": 3.2162121212121217e-06, + "loss": 6.2391609191894535, + "step": 36320 + }, + { + "epoch": 0.06225, + "grad_norm": 6.416375160217285, + "learning_rate": 3.2159595959595963e-06, + "loss": 6.31207389831543, + "step": 36325 + }, + { + "epoch": 0.0623, + "grad_norm": 4.045112133026123, + "learning_rate": 3.215707070707071e-06, + "loss": 6.2235664367675785, + "step": 36330 + }, + { + "epoch": 0.06235, + "grad_norm": 8.590131759643555, + "learning_rate": 3.2154545454545455e-06, + "loss": 6.307373428344727, + "step": 36335 + }, + { + "epoch": 0.0624, + "grad_norm": 5.265331745147705, + "learning_rate": 3.2152020202020206e-06, + "loss": 6.290859985351562, + "step": 36340 + }, + { + "epoch": 0.06245, + "grad_norm": 3.652536630630493, + "learning_rate": 3.2149494949494952e-06, + "loss": 6.300914001464844, + "step": 36345 + }, + { + "epoch": 0.0625, + "grad_norm": 8.71297836303711, + "learning_rate": 3.21469696969697e-06, + "loss": 6.232506179809571, + "step": 36350 + }, + { + "epoch": 0.06255, + "grad_norm": 6.864224910736084, + "learning_rate": 3.2144444444444445e-06, + "loss": 6.29503059387207, + "step": 36355 + }, + { + "epoch": 0.0626, + "grad_norm": 9.109619140625, + "learning_rate": 3.2141919191919195e-06, + "loss": 6.2911376953125, + "step": 36360 + }, + { + "epoch": 0.06265, + "grad_norm": 7.293137550354004, + "learning_rate": 3.213939393939394e-06, + "loss": 6.420845794677734, + "step": 36365 + }, + { + "epoch": 0.0627, + "grad_norm": 4.42216157913208, + "learning_rate": 3.213686868686869e-06, + "loss": 6.307848358154297, + "step": 36370 + }, + { + "epoch": 0.06275, + "grad_norm": 12.873619079589844, + "learning_rate": 3.2134343434343434e-06, + "loss": 6.225627899169922, + "step": 36375 + }, + { + "epoch": 0.0628, + "grad_norm": 5.7958784103393555, + "learning_rate": 3.2131818181818185e-06, + "loss": 6.281547164916992, + "step": 36380 + }, + { + "epoch": 0.06285, + "grad_norm": 3.507535696029663, + "learning_rate": 3.212929292929293e-06, + "loss": 6.301770782470703, + "step": 36385 + }, + { + "epoch": 0.0629, + "grad_norm": 5.874702453613281, + "learning_rate": 3.2126767676767677e-06, + "loss": 6.245493698120117, + "step": 36390 + }, + { + "epoch": 0.06295, + "grad_norm": 29.086824417114258, + "learning_rate": 3.2124242424242424e-06, + "loss": 6.2985893249511715, + "step": 36395 + }, + { + "epoch": 0.063, + "grad_norm": 6.362099647521973, + "learning_rate": 3.2121717171717174e-06, + "loss": 6.276800537109375, + "step": 36400 + }, + { + "epoch": 0.06305, + "grad_norm": 4.904004096984863, + "learning_rate": 3.211919191919192e-06, + "loss": 6.273395919799805, + "step": 36405 + }, + { + "epoch": 0.0631, + "grad_norm": 28.616527557373047, + "learning_rate": 3.2116666666666667e-06, + "loss": 6.3278144836425785, + "step": 36410 + }, + { + "epoch": 0.06315, + "grad_norm": 6.59384822845459, + "learning_rate": 3.2114141414141413e-06, + "loss": 6.303453826904297, + "step": 36415 + }, + { + "epoch": 0.0632, + "grad_norm": 3.29955792427063, + "learning_rate": 3.211161616161617e-06, + "loss": 6.281675720214844, + "step": 36420 + }, + { + "epoch": 0.06325, + "grad_norm": 5.977292537689209, + "learning_rate": 3.210909090909091e-06, + "loss": 6.278942489624024, + "step": 36425 + }, + { + "epoch": 0.0633, + "grad_norm": 6.334712505340576, + "learning_rate": 3.2106565656565656e-06, + "loss": 6.29701042175293, + "step": 36430 + }, + { + "epoch": 0.06335, + "grad_norm": 4.855901718139648, + "learning_rate": 3.2104040404040403e-06, + "loss": 6.301630020141602, + "step": 36435 + }, + { + "epoch": 0.0634, + "grad_norm": 6.083690643310547, + "learning_rate": 3.2101515151515157e-06, + "loss": 6.2804313659667965, + "step": 36440 + }, + { + "epoch": 0.06345, + "grad_norm": 6.225592136383057, + "learning_rate": 3.2098989898989904e-06, + "loss": 6.269704818725586, + "step": 36445 + }, + { + "epoch": 0.0635, + "grad_norm": 8.574225425720215, + "learning_rate": 3.2096464646464646e-06, + "loss": 6.2972465515136715, + "step": 36450 + }, + { + "epoch": 0.06355, + "grad_norm": 7.702210903167725, + "learning_rate": 3.209393939393939e-06, + "loss": 6.224702453613281, + "step": 36455 + }, + { + "epoch": 0.0636, + "grad_norm": 4.262222766876221, + "learning_rate": 3.2091414141414147e-06, + "loss": 6.301583862304687, + "step": 36460 + }, + { + "epoch": 0.06365, + "grad_norm": 5.451959133148193, + "learning_rate": 3.2088888888888893e-06, + "loss": 6.239467620849609, + "step": 36465 + }, + { + "epoch": 0.0637, + "grad_norm": 10.184785842895508, + "learning_rate": 3.208636363636364e-06, + "loss": 6.3113056182861325, + "step": 36470 + }, + { + "epoch": 0.06375, + "grad_norm": 3.2486181259155273, + "learning_rate": 3.2083838383838386e-06, + "loss": 6.24644775390625, + "step": 36475 + }, + { + "epoch": 0.0638, + "grad_norm": 5.424536228179932, + "learning_rate": 3.2081313131313136e-06, + "loss": 6.269618225097656, + "step": 36480 + }, + { + "epoch": 0.06385, + "grad_norm": 6.748194217681885, + "learning_rate": 3.2078787878787883e-06, + "loss": 6.278475570678711, + "step": 36485 + }, + { + "epoch": 0.0639, + "grad_norm": 9.169546127319336, + "learning_rate": 3.207626262626263e-06, + "loss": 6.329922866821289, + "step": 36490 + }, + { + "epoch": 0.06395, + "grad_norm": 23.186458587646484, + "learning_rate": 3.2073737373737375e-06, + "loss": 6.319356155395508, + "step": 36495 + }, + { + "epoch": 0.064, + "grad_norm": 5.8647379875183105, + "learning_rate": 3.2071212121212126e-06, + "loss": 6.319100952148437, + "step": 36500 + }, + { + "epoch": 0.06405, + "grad_norm": 10.640201568603516, + "learning_rate": 3.206868686868687e-06, + "loss": 6.2986328125, + "step": 36505 + }, + { + "epoch": 0.0641, + "grad_norm": 4.382297515869141, + "learning_rate": 3.206616161616162e-06, + "loss": 6.31114616394043, + "step": 36510 + }, + { + "epoch": 0.06415, + "grad_norm": 5.037419319152832, + "learning_rate": 3.206363636363637e-06, + "loss": 6.2956184387207035, + "step": 36515 + }, + { + "epoch": 0.0642, + "grad_norm": 5.723256587982178, + "learning_rate": 3.2061111111111115e-06, + "loss": 6.248553085327148, + "step": 36520 + }, + { + "epoch": 0.06425, + "grad_norm": 7.2562785148620605, + "learning_rate": 3.205858585858586e-06, + "loss": 6.310342407226562, + "step": 36525 + }, + { + "epoch": 0.0643, + "grad_norm": 7.460848808288574, + "learning_rate": 3.2056060606060608e-06, + "loss": 6.24383544921875, + "step": 36530 + }, + { + "epoch": 0.06435, + "grad_norm": 5.971197605133057, + "learning_rate": 3.205353535353536e-06, + "loss": 6.323737335205078, + "step": 36535 + }, + { + "epoch": 0.0644, + "grad_norm": 4.572028160095215, + "learning_rate": 3.2051010101010105e-06, + "loss": 6.260614395141602, + "step": 36540 + }, + { + "epoch": 0.06445, + "grad_norm": 6.867109298706055, + "learning_rate": 3.204848484848485e-06, + "loss": 6.275481033325195, + "step": 36545 + }, + { + "epoch": 0.0645, + "grad_norm": 6.735420227050781, + "learning_rate": 3.2045959595959597e-06, + "loss": 6.305111694335937, + "step": 36550 + }, + { + "epoch": 0.06455, + "grad_norm": 4.760326385498047, + "learning_rate": 3.2043434343434348e-06, + "loss": 6.236370849609375, + "step": 36555 + }, + { + "epoch": 0.0646, + "grad_norm": 7.866374969482422, + "learning_rate": 3.2040909090909094e-06, + "loss": 6.282479858398437, + "step": 36560 + }, + { + "epoch": 0.06465, + "grad_norm": 8.262809753417969, + "learning_rate": 3.203838383838384e-06, + "loss": 6.25245361328125, + "step": 36565 + }, + { + "epoch": 0.0647, + "grad_norm": 14.330068588256836, + "learning_rate": 3.2035858585858587e-06, + "loss": 6.5194854736328125, + "step": 36570 + }, + { + "epoch": 0.06475, + "grad_norm": 3.985698699951172, + "learning_rate": 3.2033333333333337e-06, + "loss": 6.3430023193359375, + "step": 36575 + }, + { + "epoch": 0.0648, + "grad_norm": 7.45810079574585, + "learning_rate": 3.2030808080808084e-06, + "loss": 6.309085464477539, + "step": 36580 + }, + { + "epoch": 0.06485, + "grad_norm": 7.329688549041748, + "learning_rate": 3.202828282828283e-06, + "loss": 6.271371459960937, + "step": 36585 + }, + { + "epoch": 0.0649, + "grad_norm": 11.73178768157959, + "learning_rate": 3.2025757575757576e-06, + "loss": 6.253252029418945, + "step": 36590 + }, + { + "epoch": 0.06495, + "grad_norm": 11.004264831542969, + "learning_rate": 3.2023232323232327e-06, + "loss": 6.337440490722656, + "step": 36595 + }, + { + "epoch": 0.065, + "grad_norm": 5.008199691772461, + "learning_rate": 3.2020707070707073e-06, + "loss": 6.3322101593017575, + "step": 36600 + }, + { + "epoch": 0.06505, + "grad_norm": 6.124993324279785, + "learning_rate": 3.201818181818182e-06, + "loss": 6.25776481628418, + "step": 36605 + }, + { + "epoch": 0.0651, + "grad_norm": 6.818061351776123, + "learning_rate": 3.2015656565656566e-06, + "loss": 6.282144165039062, + "step": 36610 + }, + { + "epoch": 0.06515, + "grad_norm": 8.341489791870117, + "learning_rate": 3.2013131313131316e-06, + "loss": 6.294455718994141, + "step": 36615 + }, + { + "epoch": 0.0652, + "grad_norm": 4.5087714195251465, + "learning_rate": 3.2010606060606062e-06, + "loss": 6.335089492797851, + "step": 36620 + }, + { + "epoch": 0.06525, + "grad_norm": 6.062823295593262, + "learning_rate": 3.200808080808081e-06, + "loss": 6.24322395324707, + "step": 36625 + }, + { + "epoch": 0.0653, + "grad_norm": 26.20579719543457, + "learning_rate": 3.2005555555555555e-06, + "loss": 6.260039138793945, + "step": 36630 + }, + { + "epoch": 0.06535, + "grad_norm": 8.18043041229248, + "learning_rate": 3.200303030303031e-06, + "loss": 6.2097831726074215, + "step": 36635 + }, + { + "epoch": 0.0654, + "grad_norm": 10.112653732299805, + "learning_rate": 3.2000505050505056e-06, + "loss": 6.248643493652343, + "step": 36640 + }, + { + "epoch": 0.06545, + "grad_norm": 5.432191848754883, + "learning_rate": 3.19979797979798e-06, + "loss": 6.275307846069336, + "step": 36645 + }, + { + "epoch": 0.0655, + "grad_norm": 7.122717380523682, + "learning_rate": 3.1995454545454544e-06, + "loss": 6.266431427001953, + "step": 36650 + }, + { + "epoch": 0.06555, + "grad_norm": 5.065654277801514, + "learning_rate": 3.19929292929293e-06, + "loss": 6.245184707641601, + "step": 36655 + }, + { + "epoch": 0.0656, + "grad_norm": 13.7454252243042, + "learning_rate": 3.1990404040404046e-06, + "loss": 6.32977066040039, + "step": 36660 + }, + { + "epoch": 0.06565, + "grad_norm": 8.665738105773926, + "learning_rate": 3.198787878787879e-06, + "loss": 6.3129627227783205, + "step": 36665 + }, + { + "epoch": 0.0657, + "grad_norm": 21.71206283569336, + "learning_rate": 3.198535353535354e-06, + "loss": 6.281419372558593, + "step": 36670 + }, + { + "epoch": 0.06575, + "grad_norm": 4.529301643371582, + "learning_rate": 3.198282828282829e-06, + "loss": 6.316851806640625, + "step": 36675 + }, + { + "epoch": 0.0658, + "grad_norm": 6.656844139099121, + "learning_rate": 3.1980303030303035e-06, + "loss": 6.28864860534668, + "step": 36680 + }, + { + "epoch": 0.06585, + "grad_norm": 5.826907157897949, + "learning_rate": 3.197777777777778e-06, + "loss": 6.304923248291016, + "step": 36685 + }, + { + "epoch": 0.0659, + "grad_norm": 4.922420024871826, + "learning_rate": 3.1975252525252528e-06, + "loss": 6.282396697998047, + "step": 36690 + }, + { + "epoch": 0.06595, + "grad_norm": 3.8270514011383057, + "learning_rate": 3.197272727272728e-06, + "loss": 6.3102058410644535, + "step": 36695 + }, + { + "epoch": 0.066, + "grad_norm": 6.784185409545898, + "learning_rate": 3.1970202020202024e-06, + "loss": 6.303804397583008, + "step": 36700 + }, + { + "epoch": 0.06605, + "grad_norm": 4.960334777832031, + "learning_rate": 3.196767676767677e-06, + "loss": 6.290188598632812, + "step": 36705 + }, + { + "epoch": 0.0661, + "grad_norm": 5.850165367126465, + "learning_rate": 3.1965151515151517e-06, + "loss": 6.233304977416992, + "step": 36710 + }, + { + "epoch": 0.06615, + "grad_norm": 4.843886852264404, + "learning_rate": 3.1962626262626268e-06, + "loss": 6.310402679443359, + "step": 36715 + }, + { + "epoch": 0.0662, + "grad_norm": 10.043581008911133, + "learning_rate": 3.1960101010101014e-06, + "loss": 6.323233032226563, + "step": 36720 + }, + { + "epoch": 0.06625, + "grad_norm": 8.726954460144043, + "learning_rate": 3.195757575757576e-06, + "loss": 6.256411743164063, + "step": 36725 + }, + { + "epoch": 0.0663, + "grad_norm": 7.3386406898498535, + "learning_rate": 3.1955050505050506e-06, + "loss": 6.23834457397461, + "step": 36730 + }, + { + "epoch": 0.06635, + "grad_norm": 5.120389461517334, + "learning_rate": 3.1952525252525257e-06, + "loss": 6.290074157714844, + "step": 36735 + }, + { + "epoch": 0.0664, + "grad_norm": 6.098342418670654, + "learning_rate": 3.1950000000000003e-06, + "loss": 6.23592529296875, + "step": 36740 + }, + { + "epoch": 0.06645, + "grad_norm": 6.246496677398682, + "learning_rate": 3.194747474747475e-06, + "loss": 6.3155677795410154, + "step": 36745 + }, + { + "epoch": 0.0665, + "grad_norm": 4.702640056610107, + "learning_rate": 3.1944949494949496e-06, + "loss": 6.3126884460449215, + "step": 36750 + }, + { + "epoch": 0.06655, + "grad_norm": 15.014023780822754, + "learning_rate": 3.1942424242424246e-06, + "loss": 6.26661262512207, + "step": 36755 + }, + { + "epoch": 0.0666, + "grad_norm": 10.165748596191406, + "learning_rate": 3.1939898989898993e-06, + "loss": 6.2966148376464846, + "step": 36760 + }, + { + "epoch": 0.06665, + "grad_norm": 4.553430080413818, + "learning_rate": 3.193737373737374e-06, + "loss": 6.340534973144531, + "step": 36765 + }, + { + "epoch": 0.0667, + "grad_norm": 5.329336643218994, + "learning_rate": 3.1934848484848485e-06, + "loss": 6.320477294921875, + "step": 36770 + }, + { + "epoch": 0.06675, + "grad_norm": 7.1557159423828125, + "learning_rate": 3.1932323232323236e-06, + "loss": 6.270941162109375, + "step": 36775 + }, + { + "epoch": 0.0668, + "grad_norm": 4.873653888702393, + "learning_rate": 3.1929797979797982e-06, + "loss": 6.26012954711914, + "step": 36780 + }, + { + "epoch": 0.06685, + "grad_norm": 4.634731292724609, + "learning_rate": 3.192727272727273e-06, + "loss": 6.212375259399414, + "step": 36785 + }, + { + "epoch": 0.0669, + "grad_norm": 6.964846611022949, + "learning_rate": 3.1924747474747475e-06, + "loss": 6.27418327331543, + "step": 36790 + }, + { + "epoch": 0.06695, + "grad_norm": 6.433138847351074, + "learning_rate": 3.1922222222222225e-06, + "loss": 6.224685287475586, + "step": 36795 + }, + { + "epoch": 0.067, + "grad_norm": 14.013001441955566, + "learning_rate": 3.191969696969697e-06, + "loss": 6.302244186401367, + "step": 36800 + }, + { + "epoch": 0.06705, + "grad_norm": 11.217350959777832, + "learning_rate": 3.191717171717172e-06, + "loss": 6.313824844360352, + "step": 36805 + }, + { + "epoch": 0.0671, + "grad_norm": 8.622830390930176, + "learning_rate": 3.1914646464646464e-06, + "loss": 6.2494861602783205, + "step": 36810 + }, + { + "epoch": 0.06715, + "grad_norm": 7.1318583488464355, + "learning_rate": 3.1912121212121215e-06, + "loss": 6.255902862548828, + "step": 36815 + }, + { + "epoch": 0.0672, + "grad_norm": 8.694733619689941, + "learning_rate": 3.190959595959596e-06, + "loss": 6.345337295532227, + "step": 36820 + }, + { + "epoch": 0.06725, + "grad_norm": 3.5687856674194336, + "learning_rate": 3.1907070707070707e-06, + "loss": 6.247873687744141, + "step": 36825 + }, + { + "epoch": 0.0673, + "grad_norm": 13.05228042602539, + "learning_rate": 3.1904545454545454e-06, + "loss": 6.304437255859375, + "step": 36830 + }, + { + "epoch": 0.06735, + "grad_norm": 7.574673652648926, + "learning_rate": 3.190202020202021e-06, + "loss": 6.264813995361328, + "step": 36835 + }, + { + "epoch": 0.0674, + "grad_norm": 8.454272270202637, + "learning_rate": 3.189949494949495e-06, + "loss": 6.281142807006836, + "step": 36840 + }, + { + "epoch": 0.06745, + "grad_norm": 5.634749889373779, + "learning_rate": 3.1896969696969697e-06, + "loss": 6.287031555175782, + "step": 36845 + }, + { + "epoch": 0.0675, + "grad_norm": 7.528637886047363, + "learning_rate": 3.1894444444444443e-06, + "loss": 6.278181076049805, + "step": 36850 + }, + { + "epoch": 0.06755, + "grad_norm": 7.446175575256348, + "learning_rate": 3.1891919191919198e-06, + "loss": 6.261293029785156, + "step": 36855 + }, + { + "epoch": 0.0676, + "grad_norm": 10.109809875488281, + "learning_rate": 3.1889393939393944e-06, + "loss": 6.340166473388672, + "step": 36860 + }, + { + "epoch": 0.06765, + "grad_norm": 6.301211833953857, + "learning_rate": 3.1886868686868686e-06, + "loss": 6.258364868164063, + "step": 36865 + }, + { + "epoch": 0.0677, + "grad_norm": 7.835581302642822, + "learning_rate": 3.1884343434343433e-06, + "loss": 6.300771713256836, + "step": 36870 + }, + { + "epoch": 0.06775, + "grad_norm": 3.8764357566833496, + "learning_rate": 3.1881818181818187e-06, + "loss": 6.294715881347656, + "step": 36875 + }, + { + "epoch": 0.0678, + "grad_norm": 4.5970072746276855, + "learning_rate": 3.1879292929292934e-06, + "loss": 6.315521621704102, + "step": 36880 + }, + { + "epoch": 0.06785, + "grad_norm": 3.880495309829712, + "learning_rate": 3.187676767676768e-06, + "loss": 6.277821350097656, + "step": 36885 + }, + { + "epoch": 0.0679, + "grad_norm": 14.495641708374023, + "learning_rate": 3.1874242424242426e-06, + "loss": 6.25934944152832, + "step": 36890 + }, + { + "epoch": 0.06795, + "grad_norm": 4.933335304260254, + "learning_rate": 3.1871717171717177e-06, + "loss": 6.255839157104492, + "step": 36895 + }, + { + "epoch": 0.068, + "grad_norm": 5.822869777679443, + "learning_rate": 3.1869191919191923e-06, + "loss": 6.279859924316407, + "step": 36900 + }, + { + "epoch": 0.06805, + "grad_norm": 4.854493618011475, + "learning_rate": 3.186666666666667e-06, + "loss": 6.303155517578125, + "step": 36905 + }, + { + "epoch": 0.0681, + "grad_norm": 4.83787202835083, + "learning_rate": 3.1864141414141416e-06, + "loss": 6.318019104003906, + "step": 36910 + }, + { + "epoch": 0.06815, + "grad_norm": 8.370582580566406, + "learning_rate": 3.1861616161616166e-06, + "loss": 6.235736846923828, + "step": 36915 + }, + { + "epoch": 0.0682, + "grad_norm": 8.788969039916992, + "learning_rate": 3.1859090909090912e-06, + "loss": 6.289747619628907, + "step": 36920 + }, + { + "epoch": 0.06825, + "grad_norm": 14.561031341552734, + "learning_rate": 3.185656565656566e-06, + "loss": 6.368999862670899, + "step": 36925 + }, + { + "epoch": 0.0683, + "grad_norm": 13.909146308898926, + "learning_rate": 3.1854040404040405e-06, + "loss": 6.402287292480469, + "step": 36930 + }, + { + "epoch": 0.06835, + "grad_norm": 9.776554107666016, + "learning_rate": 3.1851515151515156e-06, + "loss": 6.209181213378907, + "step": 36935 + }, + { + "epoch": 0.0684, + "grad_norm": 5.79573917388916, + "learning_rate": 3.18489898989899e-06, + "loss": 6.266481018066406, + "step": 36940 + }, + { + "epoch": 0.06845, + "grad_norm": 4.9505696296691895, + "learning_rate": 3.184646464646465e-06, + "loss": 6.2646537780761715, + "step": 36945 + }, + { + "epoch": 0.0685, + "grad_norm": 10.019060134887695, + "learning_rate": 3.18439393939394e-06, + "loss": 6.374764251708984, + "step": 36950 + }, + { + "epoch": 0.06855, + "grad_norm": 6.758440017700195, + "learning_rate": 3.1841414141414145e-06, + "loss": 6.247418212890625, + "step": 36955 + }, + { + "epoch": 0.0686, + "grad_norm": 8.072874069213867, + "learning_rate": 3.183888888888889e-06, + "loss": 6.315916061401367, + "step": 36960 + }, + { + "epoch": 0.06865, + "grad_norm": 7.8163251876831055, + "learning_rate": 3.1836363636363638e-06, + "loss": 6.260083389282227, + "step": 36965 + }, + { + "epoch": 0.0687, + "grad_norm": 5.4313154220581055, + "learning_rate": 3.183383838383839e-06, + "loss": 6.289601135253906, + "step": 36970 + }, + { + "epoch": 0.06875, + "grad_norm": 7.927548885345459, + "learning_rate": 3.1831313131313134e-06, + "loss": 6.298538589477539, + "step": 36975 + }, + { + "epoch": 0.0688, + "grad_norm": 9.07821273803711, + "learning_rate": 3.182878787878788e-06, + "loss": 6.424419403076172, + "step": 36980 + }, + { + "epoch": 0.06885, + "grad_norm": 6.260650634765625, + "learning_rate": 3.1826262626262627e-06, + "loss": 6.2590595245361325, + "step": 36985 + }, + { + "epoch": 0.0689, + "grad_norm": 8.849831581115723, + "learning_rate": 3.1823737373737378e-06, + "loss": 6.292101669311523, + "step": 36990 + }, + { + "epoch": 0.06895, + "grad_norm": 7.450666427612305, + "learning_rate": 3.1821212121212124e-06, + "loss": 6.24237289428711, + "step": 36995 + }, + { + "epoch": 0.069, + "grad_norm": 41.54914474487305, + "learning_rate": 3.181868686868687e-06, + "loss": 6.034409713745117, + "step": 37000 + }, + { + "epoch": 0.06905, + "grad_norm": 6.24685001373291, + "learning_rate": 3.1816161616161617e-06, + "loss": 6.5970298767089846, + "step": 37005 + }, + { + "epoch": 0.0691, + "grad_norm": 25.870080947875977, + "learning_rate": 3.1813636363636367e-06, + "loss": 6.455099487304688, + "step": 37010 + }, + { + "epoch": 0.06915, + "grad_norm": 9.891494750976562, + "learning_rate": 3.1811111111111113e-06, + "loss": 6.297624206542968, + "step": 37015 + }, + { + "epoch": 0.0692, + "grad_norm": 5.263562202453613, + "learning_rate": 3.180858585858586e-06, + "loss": 6.271697998046875, + "step": 37020 + }, + { + "epoch": 0.06925, + "grad_norm": 4.351042747497559, + "learning_rate": 3.1806060606060606e-06, + "loss": 6.261989974975586, + "step": 37025 + }, + { + "epoch": 0.0693, + "grad_norm": 9.8711576461792, + "learning_rate": 3.1803535353535356e-06, + "loss": 6.327390670776367, + "step": 37030 + }, + { + "epoch": 0.06935, + "grad_norm": 6.957086563110352, + "learning_rate": 3.1801010101010103e-06, + "loss": 6.368532943725586, + "step": 37035 + }, + { + "epoch": 0.0694, + "grad_norm": 7.466855525970459, + "learning_rate": 3.179848484848485e-06, + "loss": 6.257283782958984, + "step": 37040 + }, + { + "epoch": 0.06945, + "grad_norm": 9.122794151306152, + "learning_rate": 3.1795959595959595e-06, + "loss": 6.4168243408203125, + "step": 37045 + }, + { + "epoch": 0.0695, + "grad_norm": 7.487881660461426, + "learning_rate": 3.179343434343435e-06, + "loss": 6.319709777832031, + "step": 37050 + }, + { + "epoch": 0.06955, + "grad_norm": 4.08802604675293, + "learning_rate": 3.1790909090909096e-06, + "loss": 6.263545227050781, + "step": 37055 + }, + { + "epoch": 0.0696, + "grad_norm": 8.976502418518066, + "learning_rate": 3.178838383838384e-06, + "loss": 6.275422668457031, + "step": 37060 + }, + { + "epoch": 0.06965, + "grad_norm": 4.375060081481934, + "learning_rate": 3.1785858585858585e-06, + "loss": 6.3117218017578125, + "step": 37065 + }, + { + "epoch": 0.0697, + "grad_norm": 10.198288917541504, + "learning_rate": 3.178333333333334e-06, + "loss": 6.316823577880859, + "step": 37070 + }, + { + "epoch": 0.06975, + "grad_norm": 18.475969314575195, + "learning_rate": 3.1780808080808086e-06, + "loss": 6.350886535644531, + "step": 37075 + }, + { + "epoch": 0.0698, + "grad_norm": 14.229499816894531, + "learning_rate": 3.1778282828282832e-06, + "loss": 6.314219665527344, + "step": 37080 + }, + { + "epoch": 0.06985, + "grad_norm": 9.79071044921875, + "learning_rate": 3.177575757575758e-06, + "loss": 6.293221282958984, + "step": 37085 + }, + { + "epoch": 0.0699, + "grad_norm": 23.957731246948242, + "learning_rate": 3.177323232323233e-06, + "loss": 6.333706283569336, + "step": 37090 + }, + { + "epoch": 0.06995, + "grad_norm": 4.546286582946777, + "learning_rate": 3.1770707070707075e-06, + "loss": 6.293847274780274, + "step": 37095 + }, + { + "epoch": 0.07, + "grad_norm": 6.213263511657715, + "learning_rate": 3.176818181818182e-06, + "loss": 6.268130493164063, + "step": 37100 + }, + { + "epoch": 0.07005, + "grad_norm": 36.64274597167969, + "learning_rate": 3.176565656565657e-06, + "loss": 6.315473175048828, + "step": 37105 + }, + { + "epoch": 0.0701, + "grad_norm": 11.045187950134277, + "learning_rate": 3.176313131313132e-06, + "loss": 6.280599975585938, + "step": 37110 + }, + { + "epoch": 0.07015, + "grad_norm": 6.630953788757324, + "learning_rate": 3.1760606060606065e-06, + "loss": 6.41201171875, + "step": 37115 + }, + { + "epoch": 0.0702, + "grad_norm": 4.518139362335205, + "learning_rate": 3.175808080808081e-06, + "loss": 6.320026397705078, + "step": 37120 + }, + { + "epoch": 0.07025, + "grad_norm": 4.570024490356445, + "learning_rate": 3.1755555555555557e-06, + "loss": 6.2764122009277346, + "step": 37125 + }, + { + "epoch": 0.0703, + "grad_norm": 13.163630485534668, + "learning_rate": 3.175303030303031e-06, + "loss": 6.381171798706054, + "step": 37130 + }, + { + "epoch": 0.07035, + "grad_norm": 3.94917631149292, + "learning_rate": 3.1750505050505054e-06, + "loss": 6.318256378173828, + "step": 37135 + }, + { + "epoch": 0.0704, + "grad_norm": 7.787908554077148, + "learning_rate": 3.17479797979798e-06, + "loss": 6.281631851196289, + "step": 37140 + }, + { + "epoch": 0.07045, + "grad_norm": 8.503168106079102, + "learning_rate": 3.1745454545454547e-06, + "loss": 6.276287841796875, + "step": 37145 + }, + { + "epoch": 0.0705, + "grad_norm": 4.905938148498535, + "learning_rate": 3.1742929292929297e-06, + "loss": 6.321661758422851, + "step": 37150 + }, + { + "epoch": 0.07055, + "grad_norm": 9.237571716308594, + "learning_rate": 3.1740404040404044e-06, + "loss": 6.331765747070312, + "step": 37155 + }, + { + "epoch": 0.0706, + "grad_norm": 5.207409858703613, + "learning_rate": 3.173787878787879e-06, + "loss": 6.265846252441406, + "step": 37160 + }, + { + "epoch": 0.07065, + "grad_norm": 5.5256757736206055, + "learning_rate": 3.1735353535353536e-06, + "loss": 6.253339385986328, + "step": 37165 + }, + { + "epoch": 0.0707, + "grad_norm": 4.028417587280273, + "learning_rate": 3.1732828282828287e-06, + "loss": 6.253042602539063, + "step": 37170 + }, + { + "epoch": 0.07075, + "grad_norm": 9.520065307617188, + "learning_rate": 3.1730303030303033e-06, + "loss": 6.205370330810547, + "step": 37175 + }, + { + "epoch": 0.0708, + "grad_norm": 5.884189128875732, + "learning_rate": 3.172777777777778e-06, + "loss": 6.26671257019043, + "step": 37180 + }, + { + "epoch": 0.07085, + "grad_norm": 7.892874717712402, + "learning_rate": 3.1725252525252526e-06, + "loss": 6.353199768066406, + "step": 37185 + }, + { + "epoch": 0.0709, + "grad_norm": 7.734313488006592, + "learning_rate": 3.1722727272727276e-06, + "loss": 6.272416687011718, + "step": 37190 + }, + { + "epoch": 0.07095, + "grad_norm": 7.869888782501221, + "learning_rate": 3.1720202020202023e-06, + "loss": 6.316770935058594, + "step": 37195 + }, + { + "epoch": 0.071, + "grad_norm": 6.256319046020508, + "learning_rate": 3.171767676767677e-06, + "loss": 6.268439102172851, + "step": 37200 + }, + { + "epoch": 0.07105, + "grad_norm": 6.807060718536377, + "learning_rate": 3.1715151515151515e-06, + "loss": 6.269748306274414, + "step": 37205 + }, + { + "epoch": 0.0711, + "grad_norm": 4.964698314666748, + "learning_rate": 3.1712626262626266e-06, + "loss": 6.310997772216797, + "step": 37210 + }, + { + "epoch": 0.07115, + "grad_norm": 5.207026958465576, + "learning_rate": 3.171010101010101e-06, + "loss": 6.2855583190917965, + "step": 37215 + }, + { + "epoch": 0.0712, + "grad_norm": 4.934160232543945, + "learning_rate": 3.170757575757576e-06, + "loss": 6.209947204589843, + "step": 37220 + }, + { + "epoch": 0.07125, + "grad_norm": 4.457724094390869, + "learning_rate": 3.1705050505050505e-06, + "loss": 6.2755287170410154, + "step": 37225 + }, + { + "epoch": 0.0713, + "grad_norm": 8.233461380004883, + "learning_rate": 3.1702525252525255e-06, + "loss": 6.226948928833008, + "step": 37230 + }, + { + "epoch": 0.07135, + "grad_norm": 5.293074607849121, + "learning_rate": 3.17e-06, + "loss": 6.246759414672852, + "step": 37235 + }, + { + "epoch": 0.0714, + "grad_norm": 7.457674026489258, + "learning_rate": 3.1697474747474748e-06, + "loss": 6.2879997253417965, + "step": 37240 + }, + { + "epoch": 0.07145, + "grad_norm": 5.522800445556641, + "learning_rate": 3.1694949494949494e-06, + "loss": 6.264430236816406, + "step": 37245 + }, + { + "epoch": 0.0715, + "grad_norm": 9.296031951904297, + "learning_rate": 3.169242424242425e-06, + "loss": 6.32413330078125, + "step": 37250 + }, + { + "epoch": 0.07155, + "grad_norm": 3.82209849357605, + "learning_rate": 3.168989898989899e-06, + "loss": 6.271455383300781, + "step": 37255 + }, + { + "epoch": 0.0716, + "grad_norm": 9.441853523254395, + "learning_rate": 3.1687373737373737e-06, + "loss": 6.449504089355469, + "step": 37260 + }, + { + "epoch": 0.07165, + "grad_norm": 6.7686967849731445, + "learning_rate": 3.1684848484848483e-06, + "loss": 6.28924446105957, + "step": 37265 + }, + { + "epoch": 0.0717, + "grad_norm": 7.431058406829834, + "learning_rate": 3.168232323232324e-06, + "loss": 6.318012237548828, + "step": 37270 + }, + { + "epoch": 0.07175, + "grad_norm": 6.841818809509277, + "learning_rate": 3.1679797979797985e-06, + "loss": 6.268291473388672, + "step": 37275 + }, + { + "epoch": 0.0718, + "grad_norm": 11.4174165725708, + "learning_rate": 3.167727272727273e-06, + "loss": 6.233935546875, + "step": 37280 + }, + { + "epoch": 0.07185, + "grad_norm": 6.302268981933594, + "learning_rate": 3.1674747474747473e-06, + "loss": 6.273294067382812, + "step": 37285 + }, + { + "epoch": 0.0719, + "grad_norm": 4.864156246185303, + "learning_rate": 3.1672222222222228e-06, + "loss": 6.31319580078125, + "step": 37290 + }, + { + "epoch": 0.07195, + "grad_norm": 8.383002281188965, + "learning_rate": 3.1669696969696974e-06, + "loss": 6.249300384521485, + "step": 37295 + }, + { + "epoch": 0.072, + "grad_norm": 9.048709869384766, + "learning_rate": 3.166717171717172e-06, + "loss": 6.32800407409668, + "step": 37300 + }, + { + "epoch": 0.07205, + "grad_norm": 4.010061740875244, + "learning_rate": 3.1664646464646467e-06, + "loss": 6.253669357299804, + "step": 37305 + }, + { + "epoch": 0.0721, + "grad_norm": 5.678371429443359, + "learning_rate": 3.1662121212121217e-06, + "loss": 6.302881240844727, + "step": 37310 + }, + { + "epoch": 0.07215, + "grad_norm": 3.818110466003418, + "learning_rate": 3.1659595959595963e-06, + "loss": 6.288752746582031, + "step": 37315 + }, + { + "epoch": 0.0722, + "grad_norm": 11.141027450561523, + "learning_rate": 3.165707070707071e-06, + "loss": 6.404396057128906, + "step": 37320 + }, + { + "epoch": 0.07225, + "grad_norm": 3.630213737487793, + "learning_rate": 3.1654545454545456e-06, + "loss": 6.435263824462891, + "step": 37325 + }, + { + "epoch": 0.0723, + "grad_norm": 4.842897415161133, + "learning_rate": 3.1652020202020207e-06, + "loss": 6.26281623840332, + "step": 37330 + }, + { + "epoch": 0.07235, + "grad_norm": 5.8589301109313965, + "learning_rate": 3.1649494949494953e-06, + "loss": 6.302542877197266, + "step": 37335 + }, + { + "epoch": 0.0724, + "grad_norm": 7.103792190551758, + "learning_rate": 3.16469696969697e-06, + "loss": 6.312001800537109, + "step": 37340 + }, + { + "epoch": 0.07245, + "grad_norm": 7.748087406158447, + "learning_rate": 3.1644444444444445e-06, + "loss": 6.260186386108399, + "step": 37345 + }, + { + "epoch": 0.0725, + "grad_norm": 8.078825950622559, + "learning_rate": 3.1641919191919196e-06, + "loss": 6.284645843505859, + "step": 37350 + }, + { + "epoch": 0.07255, + "grad_norm": 7.981853485107422, + "learning_rate": 3.1639393939393942e-06, + "loss": 6.265850067138672, + "step": 37355 + }, + { + "epoch": 0.0726, + "grad_norm": 5.116217613220215, + "learning_rate": 3.163686868686869e-06, + "loss": 6.359819412231445, + "step": 37360 + }, + { + "epoch": 0.07265, + "grad_norm": 6.789587497711182, + "learning_rate": 3.163434343434344e-06, + "loss": 6.287220764160156, + "step": 37365 + }, + { + "epoch": 0.0727, + "grad_norm": 3.9521000385284424, + "learning_rate": 3.1631818181818185e-06, + "loss": 6.295967102050781, + "step": 37370 + }, + { + "epoch": 0.07275, + "grad_norm": 12.30364990234375, + "learning_rate": 3.162929292929293e-06, + "loss": 6.346522521972656, + "step": 37375 + }, + { + "epoch": 0.0728, + "grad_norm": 4.958909511566162, + "learning_rate": 3.162676767676768e-06, + "loss": 6.270332717895508, + "step": 37380 + }, + { + "epoch": 0.07285, + "grad_norm": 7.616885185241699, + "learning_rate": 3.162424242424243e-06, + "loss": 6.20783805847168, + "step": 37385 + }, + { + "epoch": 0.0729, + "grad_norm": 12.162022590637207, + "learning_rate": 3.1621717171717175e-06, + "loss": 6.177782821655273, + "step": 37390 + }, + { + "epoch": 0.07295, + "grad_norm": 4.753398895263672, + "learning_rate": 3.161919191919192e-06, + "loss": 6.310669708251953, + "step": 37395 + }, + { + "epoch": 0.073, + "grad_norm": 7.377922058105469, + "learning_rate": 3.1616666666666667e-06, + "loss": 6.272311019897461, + "step": 37400 + }, + { + "epoch": 0.07305, + "grad_norm": 14.341792106628418, + "learning_rate": 3.161414141414142e-06, + "loss": 6.329729461669922, + "step": 37405 + }, + { + "epoch": 0.0731, + "grad_norm": 7.418578147888184, + "learning_rate": 3.1611616161616164e-06, + "loss": 6.312387847900391, + "step": 37410 + }, + { + "epoch": 0.07315, + "grad_norm": 6.962608337402344, + "learning_rate": 3.160909090909091e-06, + "loss": 6.230244064331055, + "step": 37415 + }, + { + "epoch": 0.0732, + "grad_norm": 7.441070556640625, + "learning_rate": 3.1606565656565657e-06, + "loss": 6.234150314331055, + "step": 37420 + }, + { + "epoch": 0.07325, + "grad_norm": 4.22051477432251, + "learning_rate": 3.1604040404040407e-06, + "loss": 6.267570495605469, + "step": 37425 + }, + { + "epoch": 0.0733, + "grad_norm": 5.209255695343018, + "learning_rate": 3.1601515151515154e-06, + "loss": 6.265155410766601, + "step": 37430 + }, + { + "epoch": 0.07335, + "grad_norm": 4.878949165344238, + "learning_rate": 3.15989898989899e-06, + "loss": 6.2988838195800785, + "step": 37435 + }, + { + "epoch": 0.0734, + "grad_norm": 7.132513999938965, + "learning_rate": 3.1596464646464646e-06, + "loss": 6.254971313476562, + "step": 37440 + }, + { + "epoch": 0.07345, + "grad_norm": 5.018195629119873, + "learning_rate": 3.15939393939394e-06, + "loss": 6.242920684814453, + "step": 37445 + }, + { + "epoch": 0.0735, + "grad_norm": 4.935504913330078, + "learning_rate": 3.1591414141414143e-06, + "loss": 6.2677764892578125, + "step": 37450 + }, + { + "epoch": 0.07355, + "grad_norm": 6.767306804656982, + "learning_rate": 3.158888888888889e-06, + "loss": 6.237472152709961, + "step": 37455 + }, + { + "epoch": 0.0736, + "grad_norm": 12.735971450805664, + "learning_rate": 3.1586363636363636e-06, + "loss": 6.274590301513672, + "step": 37460 + }, + { + "epoch": 0.07365, + "grad_norm": 5.194210529327393, + "learning_rate": 3.158383838383839e-06, + "loss": 6.25623893737793, + "step": 37465 + }, + { + "epoch": 0.0737, + "grad_norm": 6.407979488372803, + "learning_rate": 3.1581313131313137e-06, + "loss": 6.258872985839844, + "step": 37470 + }, + { + "epoch": 0.07375, + "grad_norm": 4.7423095703125, + "learning_rate": 3.157878787878788e-06, + "loss": 6.2897216796875, + "step": 37475 + }, + { + "epoch": 0.0738, + "grad_norm": 6.7961626052856445, + "learning_rate": 3.1576262626262625e-06, + "loss": 6.2469642639160154, + "step": 37480 + }, + { + "epoch": 0.07385, + "grad_norm": 3.569531202316284, + "learning_rate": 3.157373737373738e-06, + "loss": 6.303745269775391, + "step": 37485 + }, + { + "epoch": 0.0739, + "grad_norm": 7.753623962402344, + "learning_rate": 3.1571212121212126e-06, + "loss": 6.3174995422363285, + "step": 37490 + }, + { + "epoch": 0.07395, + "grad_norm": 9.427652359008789, + "learning_rate": 3.1568686868686873e-06, + "loss": 6.366796875, + "step": 37495 + }, + { + "epoch": 0.074, + "grad_norm": 7.133355140686035, + "learning_rate": 3.156616161616162e-06, + "loss": 6.281443786621094, + "step": 37500 + }, + { + "epoch": 0.07405, + "grad_norm": 5.841673851013184, + "learning_rate": 3.156363636363637e-06, + "loss": 6.261578369140625, + "step": 37505 + }, + { + "epoch": 0.0741, + "grad_norm": 6.334112167358398, + "learning_rate": 3.1561111111111116e-06, + "loss": 6.282224655151367, + "step": 37510 + }, + { + "epoch": 0.07415, + "grad_norm": 5.278360366821289, + "learning_rate": 3.155858585858586e-06, + "loss": 6.309365463256836, + "step": 37515 + }, + { + "epoch": 0.0742, + "grad_norm": 7.081477165222168, + "learning_rate": 3.155606060606061e-06, + "loss": 6.382973480224609, + "step": 37520 + }, + { + "epoch": 0.07425, + "grad_norm": 4.126574993133545, + "learning_rate": 3.155353535353536e-06, + "loss": 6.264506912231445, + "step": 37525 + }, + { + "epoch": 0.0743, + "grad_norm": 14.742033004760742, + "learning_rate": 3.1551010101010105e-06, + "loss": 6.271473693847656, + "step": 37530 + }, + { + "epoch": 0.07435, + "grad_norm": 4.206267356872559, + "learning_rate": 3.154848484848485e-06, + "loss": 6.202900695800781, + "step": 37535 + }, + { + "epoch": 0.0744, + "grad_norm": 3.745713710784912, + "learning_rate": 3.1545959595959598e-06, + "loss": 6.290991592407226, + "step": 37540 + }, + { + "epoch": 0.07445, + "grad_norm": 8.073234558105469, + "learning_rate": 3.154343434343435e-06, + "loss": 6.290029907226563, + "step": 37545 + }, + { + "epoch": 0.0745, + "grad_norm": 6.000561714172363, + "learning_rate": 3.1540909090909095e-06, + "loss": 6.297641754150391, + "step": 37550 + }, + { + "epoch": 0.07455, + "grad_norm": 10.407940864562988, + "learning_rate": 3.153838383838384e-06, + "loss": 6.244596099853515, + "step": 37555 + }, + { + "epoch": 0.0746, + "grad_norm": 3.530430793762207, + "learning_rate": 3.1535858585858587e-06, + "loss": 6.290475463867187, + "step": 37560 + }, + { + "epoch": 0.07465, + "grad_norm": 5.763195037841797, + "learning_rate": 3.1533333333333338e-06, + "loss": 6.278494644165039, + "step": 37565 + }, + { + "epoch": 0.0747, + "grad_norm": 5.46108865737915, + "learning_rate": 3.1530808080808084e-06, + "loss": 6.29532470703125, + "step": 37570 + }, + { + "epoch": 0.07475, + "grad_norm": 5.9600114822387695, + "learning_rate": 3.152828282828283e-06, + "loss": 6.263047790527343, + "step": 37575 + }, + { + "epoch": 0.0748, + "grad_norm": 5.3094072341918945, + "learning_rate": 3.1525757575757577e-06, + "loss": 6.241789245605469, + "step": 37580 + }, + { + "epoch": 0.07485, + "grad_norm": 16.887203216552734, + "learning_rate": 3.1523232323232327e-06, + "loss": 6.331874847412109, + "step": 37585 + }, + { + "epoch": 0.0749, + "grad_norm": 14.937614440917969, + "learning_rate": 3.1520707070707074e-06, + "loss": 6.272835540771484, + "step": 37590 + }, + { + "epoch": 0.07495, + "grad_norm": 13.958966255187988, + "learning_rate": 3.151818181818182e-06, + "loss": 6.299780654907226, + "step": 37595 + }, + { + "epoch": 0.075, + "grad_norm": 4.293147563934326, + "learning_rate": 3.1515656565656566e-06, + "loss": 6.238486862182617, + "step": 37600 + }, + { + "epoch": 0.07505, + "grad_norm": 9.78283405303955, + "learning_rate": 3.1513131313131317e-06, + "loss": 6.278440856933594, + "step": 37605 + }, + { + "epoch": 0.0751, + "grad_norm": 4.490179061889648, + "learning_rate": 3.1510606060606063e-06, + "loss": 6.3188636779785154, + "step": 37610 + }, + { + "epoch": 0.07515, + "grad_norm": 4.789431095123291, + "learning_rate": 3.150808080808081e-06, + "loss": 6.305368041992187, + "step": 37615 + }, + { + "epoch": 0.0752, + "grad_norm": 6.3389506340026855, + "learning_rate": 3.1505555555555556e-06, + "loss": 6.246075057983399, + "step": 37620 + }, + { + "epoch": 0.07525, + "grad_norm": 6.2651872634887695, + "learning_rate": 3.1503030303030306e-06, + "loss": 6.295712661743164, + "step": 37625 + }, + { + "epoch": 0.0753, + "grad_norm": 8.027301788330078, + "learning_rate": 3.1500505050505052e-06, + "loss": 6.247629547119141, + "step": 37630 + }, + { + "epoch": 0.07535, + "grad_norm": 6.50150728225708, + "learning_rate": 3.14979797979798e-06, + "loss": 6.3652301788330075, + "step": 37635 + }, + { + "epoch": 0.0754, + "grad_norm": 21.40278434753418, + "learning_rate": 3.1495454545454545e-06, + "loss": 6.261239242553711, + "step": 37640 + }, + { + "epoch": 0.07545, + "grad_norm": 9.251375198364258, + "learning_rate": 3.1492929292929296e-06, + "loss": 6.293183135986328, + "step": 37645 + }, + { + "epoch": 0.0755, + "grad_norm": 6.331480979919434, + "learning_rate": 3.149040404040404e-06, + "loss": 6.278551864624023, + "step": 37650 + }, + { + "epoch": 0.07555, + "grad_norm": 5.479065895080566, + "learning_rate": 3.148787878787879e-06, + "loss": 6.287373733520508, + "step": 37655 + }, + { + "epoch": 0.0756, + "grad_norm": 5.326474189758301, + "learning_rate": 3.1485353535353534e-06, + "loss": 6.251686096191406, + "step": 37660 + }, + { + "epoch": 0.07565, + "grad_norm": 9.605069160461426, + "learning_rate": 3.148282828282829e-06, + "loss": 6.343648910522461, + "step": 37665 + }, + { + "epoch": 0.0757, + "grad_norm": 22.49188995361328, + "learning_rate": 3.148030303030303e-06, + "loss": 6.254428863525391, + "step": 37670 + }, + { + "epoch": 0.07575, + "grad_norm": 10.511200904846191, + "learning_rate": 3.1477777777777778e-06, + "loss": 6.194791793823242, + "step": 37675 + }, + { + "epoch": 0.0758, + "grad_norm": 4.87959623336792, + "learning_rate": 3.1475252525252524e-06, + "loss": 6.265406799316406, + "step": 37680 + }, + { + "epoch": 0.07585, + "grad_norm": 8.232267379760742, + "learning_rate": 3.147272727272728e-06, + "loss": 6.285223007202148, + "step": 37685 + }, + { + "epoch": 0.0759, + "grad_norm": 7.462063312530518, + "learning_rate": 3.1470202020202025e-06, + "loss": 6.29083366394043, + "step": 37690 + }, + { + "epoch": 0.07595, + "grad_norm": 5.8634138107299805, + "learning_rate": 3.146767676767677e-06, + "loss": 6.248137283325195, + "step": 37695 + }, + { + "epoch": 0.076, + "grad_norm": 3.9038517475128174, + "learning_rate": 3.1465151515151513e-06, + "loss": 6.256618499755859, + "step": 37700 + }, + { + "epoch": 0.07605, + "grad_norm": 5.210391044616699, + "learning_rate": 3.146262626262627e-06, + "loss": 6.264854812622071, + "step": 37705 + }, + { + "epoch": 0.0761, + "grad_norm": 3.6396894454956055, + "learning_rate": 3.1460101010101014e-06, + "loss": 6.233368301391602, + "step": 37710 + }, + { + "epoch": 0.07615, + "grad_norm": 4.975776672363281, + "learning_rate": 3.145757575757576e-06, + "loss": 6.305987930297851, + "step": 37715 + }, + { + "epoch": 0.0762, + "grad_norm": 5.216904640197754, + "learning_rate": 3.1455050505050507e-06, + "loss": 6.2475135803222654, + "step": 37720 + }, + { + "epoch": 0.07625, + "grad_norm": 7.973182201385498, + "learning_rate": 3.1452525252525258e-06, + "loss": 6.4416358947753904, + "step": 37725 + }, + { + "epoch": 0.0763, + "grad_norm": 9.773746490478516, + "learning_rate": 3.1450000000000004e-06, + "loss": 6.3156578063964846, + "step": 37730 + }, + { + "epoch": 0.07635, + "grad_norm": 6.910429954528809, + "learning_rate": 3.144747474747475e-06, + "loss": 6.300268173217773, + "step": 37735 + }, + { + "epoch": 0.0764, + "grad_norm": 5.29838752746582, + "learning_rate": 3.1444949494949496e-06, + "loss": 6.322866439819336, + "step": 37740 + }, + { + "epoch": 0.07645, + "grad_norm": 7.595389366149902, + "learning_rate": 3.1442424242424247e-06, + "loss": 6.267404937744141, + "step": 37745 + }, + { + "epoch": 0.0765, + "grad_norm": 12.519168853759766, + "learning_rate": 3.1439898989898993e-06, + "loss": 6.259209060668946, + "step": 37750 + }, + { + "epoch": 0.07655, + "grad_norm": 5.085344314575195, + "learning_rate": 3.143737373737374e-06, + "loss": 6.275138473510742, + "step": 37755 + }, + { + "epoch": 0.0766, + "grad_norm": 6.443953037261963, + "learning_rate": 3.1434848484848486e-06, + "loss": 6.362397766113281, + "step": 37760 + }, + { + "epoch": 0.07665, + "grad_norm": 6.204866409301758, + "learning_rate": 3.1432323232323236e-06, + "loss": 6.2758323669433596, + "step": 37765 + }, + { + "epoch": 0.0767, + "grad_norm": 4.416131973266602, + "learning_rate": 3.1429797979797983e-06, + "loss": 6.292702865600586, + "step": 37770 + }, + { + "epoch": 0.07675, + "grad_norm": 10.329001426696777, + "learning_rate": 3.142727272727273e-06, + "loss": 6.231916046142578, + "step": 37775 + }, + { + "epoch": 0.0768, + "grad_norm": 9.71338176727295, + "learning_rate": 3.1424747474747475e-06, + "loss": 6.232597351074219, + "step": 37780 + }, + { + "epoch": 0.07685, + "grad_norm": 5.474919319152832, + "learning_rate": 3.1422222222222226e-06, + "loss": 6.298401641845703, + "step": 37785 + }, + { + "epoch": 0.0769, + "grad_norm": 5.1926069259643555, + "learning_rate": 3.1419696969696972e-06, + "loss": 6.271241760253906, + "step": 37790 + }, + { + "epoch": 0.07695, + "grad_norm": 4.849372863769531, + "learning_rate": 3.141717171717172e-06, + "loss": 6.249138641357422, + "step": 37795 + }, + { + "epoch": 0.077, + "grad_norm": 8.559463500976562, + "learning_rate": 3.141464646464647e-06, + "loss": 6.267048645019531, + "step": 37800 + }, + { + "epoch": 0.07705, + "grad_norm": 6.0786871910095215, + "learning_rate": 3.1412121212121215e-06, + "loss": 6.272051620483398, + "step": 37805 + }, + { + "epoch": 0.0771, + "grad_norm": 5.962799072265625, + "learning_rate": 3.140959595959596e-06, + "loss": 6.279791259765625, + "step": 37810 + }, + { + "epoch": 0.07715, + "grad_norm": 4.927727699279785, + "learning_rate": 3.1407070707070708e-06, + "loss": 6.306644439697266, + "step": 37815 + }, + { + "epoch": 0.0772, + "grad_norm": 7.282703399658203, + "learning_rate": 3.140454545454546e-06, + "loss": 6.297599029541016, + "step": 37820 + }, + { + "epoch": 0.07725, + "grad_norm": 7.05251407623291, + "learning_rate": 3.1402020202020205e-06, + "loss": 6.260937881469727, + "step": 37825 + }, + { + "epoch": 0.0773, + "grad_norm": 7.874249458312988, + "learning_rate": 3.139949494949495e-06, + "loss": 6.336312103271484, + "step": 37830 + }, + { + "epoch": 0.07735, + "grad_norm": 4.791041851043701, + "learning_rate": 3.1396969696969697e-06, + "loss": 6.289236831665039, + "step": 37835 + }, + { + "epoch": 0.0774, + "grad_norm": 5.794831275939941, + "learning_rate": 3.1394444444444448e-06, + "loss": 6.264236068725586, + "step": 37840 + }, + { + "epoch": 0.07745, + "grad_norm": 7.5512919425964355, + "learning_rate": 3.1391919191919194e-06, + "loss": 6.257565307617187, + "step": 37845 + }, + { + "epoch": 0.0775, + "grad_norm": 3.9747865200042725, + "learning_rate": 3.138939393939394e-06, + "loss": 6.244243240356445, + "step": 37850 + }, + { + "epoch": 0.07755, + "grad_norm": 5.6916937828063965, + "learning_rate": 3.1386868686868687e-06, + "loss": 6.2781532287597654, + "step": 37855 + }, + { + "epoch": 0.0776, + "grad_norm": 5.586228370666504, + "learning_rate": 3.138434343434344e-06, + "loss": 6.287054443359375, + "step": 37860 + }, + { + "epoch": 0.07765, + "grad_norm": 7.9753804206848145, + "learning_rate": 3.1381818181818184e-06, + "loss": 6.312598419189453, + "step": 37865 + }, + { + "epoch": 0.0777, + "grad_norm": 8.323701858520508, + "learning_rate": 3.137929292929293e-06, + "loss": 6.495091247558594, + "step": 37870 + }, + { + "epoch": 0.07775, + "grad_norm": 6.556832313537598, + "learning_rate": 3.1376767676767676e-06, + "loss": 6.291112899780273, + "step": 37875 + }, + { + "epoch": 0.0778, + "grad_norm": 7.5770344734191895, + "learning_rate": 3.137424242424243e-06, + "loss": 6.2511859893798825, + "step": 37880 + }, + { + "epoch": 0.07785, + "grad_norm": 4.048890113830566, + "learning_rate": 3.1371717171717177e-06, + "loss": 6.2856182098388675, + "step": 37885 + }, + { + "epoch": 0.0779, + "grad_norm": 5.7942328453063965, + "learning_rate": 3.136919191919192e-06, + "loss": 6.352783584594727, + "step": 37890 + }, + { + "epoch": 0.07795, + "grad_norm": 7.529387474060059, + "learning_rate": 3.1366666666666666e-06, + "loss": 6.276668548583984, + "step": 37895 + }, + { + "epoch": 0.078, + "grad_norm": 7.28542947769165, + "learning_rate": 3.136414141414142e-06, + "loss": 6.262855148315429, + "step": 37900 + }, + { + "epoch": 0.07805, + "grad_norm": 7.1851701736450195, + "learning_rate": 3.1361616161616167e-06, + "loss": 6.2955772399902346, + "step": 37905 + }, + { + "epoch": 0.0781, + "grad_norm": 6.73874568939209, + "learning_rate": 3.1359090909090913e-06, + "loss": 6.408564758300781, + "step": 37910 + }, + { + "epoch": 0.07815, + "grad_norm": 5.36816930770874, + "learning_rate": 3.135656565656566e-06, + "loss": 6.216756439208984, + "step": 37915 + }, + { + "epoch": 0.0782, + "grad_norm": 4.6218061447143555, + "learning_rate": 3.135404040404041e-06, + "loss": 6.2722328186035154, + "step": 37920 + }, + { + "epoch": 0.07825, + "grad_norm": 4.058448314666748, + "learning_rate": 3.1351515151515156e-06, + "loss": 6.330149459838867, + "step": 37925 + }, + { + "epoch": 0.0783, + "grad_norm": 6.136046409606934, + "learning_rate": 3.1348989898989902e-06, + "loss": 6.250738143920898, + "step": 37930 + }, + { + "epoch": 0.07835, + "grad_norm": 6.183536052703857, + "learning_rate": 3.134646464646465e-06, + "loss": 6.322180938720703, + "step": 37935 + }, + { + "epoch": 0.0784, + "grad_norm": 11.015217781066895, + "learning_rate": 3.13439393939394e-06, + "loss": 6.307817840576172, + "step": 37940 + }, + { + "epoch": 0.07845, + "grad_norm": 9.74636173248291, + "learning_rate": 3.1341414141414146e-06, + "loss": 6.284945678710938, + "step": 37945 + }, + { + "epoch": 0.0785, + "grad_norm": 9.6013765335083, + "learning_rate": 3.133888888888889e-06, + "loss": 6.328181457519531, + "step": 37950 + }, + { + "epoch": 0.07855, + "grad_norm": 5.484803199768066, + "learning_rate": 3.133636363636364e-06, + "loss": 6.2290397644042965, + "step": 37955 + }, + { + "epoch": 0.0786, + "grad_norm": 11.232320785522461, + "learning_rate": 3.133383838383839e-06, + "loss": 6.249345016479492, + "step": 37960 + }, + { + "epoch": 0.07865, + "grad_norm": 4.730000972747803, + "learning_rate": 3.1331313131313135e-06, + "loss": 6.263342666625976, + "step": 37965 + }, + { + "epoch": 0.0787, + "grad_norm": 5.246264457702637, + "learning_rate": 3.132878787878788e-06, + "loss": 6.306507873535156, + "step": 37970 + }, + { + "epoch": 0.07875, + "grad_norm": 10.145404815673828, + "learning_rate": 3.1326262626262628e-06, + "loss": 6.300379943847656, + "step": 37975 + }, + { + "epoch": 0.0788, + "grad_norm": 12.847841262817383, + "learning_rate": 3.132373737373738e-06, + "loss": 6.309225463867188, + "step": 37980 + }, + { + "epoch": 0.07885, + "grad_norm": 7.377182483673096, + "learning_rate": 3.1321212121212124e-06, + "loss": 6.291133117675781, + "step": 37985 + }, + { + "epoch": 0.0789, + "grad_norm": 6.201826095581055, + "learning_rate": 3.131868686868687e-06, + "loss": 6.282328033447266, + "step": 37990 + }, + { + "epoch": 0.07895, + "grad_norm": 5.19812536239624, + "learning_rate": 3.1316161616161617e-06, + "loss": 6.306790542602539, + "step": 37995 + }, + { + "epoch": 0.079, + "grad_norm": 5.159358024597168, + "learning_rate": 3.1313636363636368e-06, + "loss": 6.296622085571289, + "step": 38000 + }, + { + "epoch": 0.07905, + "grad_norm": 7.368554592132568, + "learning_rate": 3.1311111111111114e-06, + "loss": 6.213531875610352, + "step": 38005 + }, + { + "epoch": 0.0791, + "grad_norm": 5.449375629425049, + "learning_rate": 3.130858585858586e-06, + "loss": 6.247622680664063, + "step": 38010 + }, + { + "epoch": 0.07915, + "grad_norm": 4.26023530960083, + "learning_rate": 3.1306060606060607e-06, + "loss": 6.242337036132812, + "step": 38015 + }, + { + "epoch": 0.0792, + "grad_norm": 7.02564811706543, + "learning_rate": 3.1303535353535357e-06, + "loss": 6.290899276733398, + "step": 38020 + }, + { + "epoch": 0.07925, + "grad_norm": 7.821689605712891, + "learning_rate": 3.1301010101010103e-06, + "loss": 6.326396942138672, + "step": 38025 + }, + { + "epoch": 0.0793, + "grad_norm": 6.081252098083496, + "learning_rate": 3.129848484848485e-06, + "loss": 6.23885498046875, + "step": 38030 + }, + { + "epoch": 0.07935, + "grad_norm": 25.332094192504883, + "learning_rate": 3.1295959595959596e-06, + "loss": 6.446949005126953, + "step": 38035 + }, + { + "epoch": 0.0794, + "grad_norm": 10.121051788330078, + "learning_rate": 3.1293434343434346e-06, + "loss": 6.407130432128906, + "step": 38040 + }, + { + "epoch": 0.07945, + "grad_norm": 9.777853012084961, + "learning_rate": 3.1290909090909093e-06, + "loss": 6.286971664428711, + "step": 38045 + }, + { + "epoch": 0.0795, + "grad_norm": 5.213418960571289, + "learning_rate": 3.128838383838384e-06, + "loss": 6.291870880126953, + "step": 38050 + }, + { + "epoch": 0.07955, + "grad_norm": 8.472552299499512, + "learning_rate": 3.1285858585858585e-06, + "loss": 6.212425231933594, + "step": 38055 + }, + { + "epoch": 0.0796, + "grad_norm": 5.330084323883057, + "learning_rate": 3.1283333333333336e-06, + "loss": 6.274630355834961, + "step": 38060 + }, + { + "epoch": 0.07965, + "grad_norm": 5.195708751678467, + "learning_rate": 3.1280808080808082e-06, + "loss": 6.281270217895508, + "step": 38065 + }, + { + "epoch": 0.0797, + "grad_norm": 7.76674747467041, + "learning_rate": 3.127828282828283e-06, + "loss": 6.319314956665039, + "step": 38070 + }, + { + "epoch": 0.07975, + "grad_norm": 5.559945106506348, + "learning_rate": 3.1275757575757575e-06, + "loss": 6.266827392578125, + "step": 38075 + }, + { + "epoch": 0.0798, + "grad_norm": 8.864984512329102, + "learning_rate": 3.127323232323233e-06, + "loss": 6.265235519409179, + "step": 38080 + }, + { + "epoch": 0.07985, + "grad_norm": 8.006175994873047, + "learning_rate": 3.127070707070707e-06, + "loss": 6.271083831787109, + "step": 38085 + }, + { + "epoch": 0.0799, + "grad_norm": 6.374979019165039, + "learning_rate": 3.126818181818182e-06, + "loss": 6.296521759033203, + "step": 38090 + }, + { + "epoch": 0.07995, + "grad_norm": 7.894449710845947, + "learning_rate": 3.1265656565656564e-06, + "loss": 6.265091323852539, + "step": 38095 + }, + { + "epoch": 0.08, + "grad_norm": 6.649897575378418, + "learning_rate": 3.126313131313132e-06, + "loss": 6.3252307891845705, + "step": 38100 + }, + { + "epoch": 0.08005, + "grad_norm": 12.150156021118164, + "learning_rate": 3.1260606060606065e-06, + "loss": 6.216816329956055, + "step": 38105 + }, + { + "epoch": 0.0801, + "grad_norm": 5.530274868011475, + "learning_rate": 3.125808080808081e-06, + "loss": 6.302157974243164, + "step": 38110 + }, + { + "epoch": 0.08015, + "grad_norm": 6.452079772949219, + "learning_rate": 3.1255555555555554e-06, + "loss": 6.252336120605468, + "step": 38115 + }, + { + "epoch": 0.0802, + "grad_norm": 7.400596618652344, + "learning_rate": 3.125303030303031e-06, + "loss": 6.232899475097656, + "step": 38120 + }, + { + "epoch": 0.08025, + "grad_norm": 4.144826889038086, + "learning_rate": 3.1250505050505055e-06, + "loss": 6.335660934448242, + "step": 38125 + }, + { + "epoch": 0.0803, + "grad_norm": 9.90748119354248, + "learning_rate": 3.12479797979798e-06, + "loss": 6.2277984619140625, + "step": 38130 + }, + { + "epoch": 0.08035, + "grad_norm": 9.47167682647705, + "learning_rate": 3.1245454545454547e-06, + "loss": 6.259332275390625, + "step": 38135 + }, + { + "epoch": 0.0804, + "grad_norm": 12.266392707824707, + "learning_rate": 3.12429292929293e-06, + "loss": 6.472328948974609, + "step": 38140 + }, + { + "epoch": 0.08045, + "grad_norm": 6.009767055511475, + "learning_rate": 3.1240404040404044e-06, + "loss": 6.274670028686524, + "step": 38145 + }, + { + "epoch": 0.0805, + "grad_norm": 9.90152359008789, + "learning_rate": 3.123787878787879e-06, + "loss": 6.241968154907227, + "step": 38150 + }, + { + "epoch": 0.08055, + "grad_norm": 6.186840534210205, + "learning_rate": 3.1235353535353537e-06, + "loss": 6.290187835693359, + "step": 38155 + }, + { + "epoch": 0.0806, + "grad_norm": 6.030425071716309, + "learning_rate": 3.1232828282828287e-06, + "loss": 6.31548843383789, + "step": 38160 + }, + { + "epoch": 0.08065, + "grad_norm": 4.543988227844238, + "learning_rate": 3.1230303030303034e-06, + "loss": 6.25293197631836, + "step": 38165 + }, + { + "epoch": 0.0807, + "grad_norm": 4.740832328796387, + "learning_rate": 3.122777777777778e-06, + "loss": 6.257433319091797, + "step": 38170 + }, + { + "epoch": 0.08075, + "grad_norm": 5.875535488128662, + "learning_rate": 3.1225252525252526e-06, + "loss": 6.224006652832031, + "step": 38175 + }, + { + "epoch": 0.0808, + "grad_norm": 7.897028923034668, + "learning_rate": 3.1222727272727277e-06, + "loss": 6.256528854370117, + "step": 38180 + }, + { + "epoch": 0.08085, + "grad_norm": 4.592010498046875, + "learning_rate": 3.1220202020202023e-06, + "loss": 6.286135864257813, + "step": 38185 + }, + { + "epoch": 0.0809, + "grad_norm": 4.69254732131958, + "learning_rate": 3.121767676767677e-06, + "loss": 6.269754028320312, + "step": 38190 + }, + { + "epoch": 0.08095, + "grad_norm": 6.738150119781494, + "learning_rate": 3.1215151515151516e-06, + "loss": 6.326813507080078, + "step": 38195 + }, + { + "epoch": 0.081, + "grad_norm": 6.699409484863281, + "learning_rate": 3.1212626262626266e-06, + "loss": 6.278187942504883, + "step": 38200 + }, + { + "epoch": 0.08105, + "grad_norm": 6.850310802459717, + "learning_rate": 3.1210101010101013e-06, + "loss": 6.258307266235351, + "step": 38205 + }, + { + "epoch": 0.0811, + "grad_norm": 7.496087551116943, + "learning_rate": 3.120757575757576e-06, + "loss": 6.270426177978516, + "step": 38210 + }, + { + "epoch": 0.08115, + "grad_norm": 9.454720497131348, + "learning_rate": 3.120505050505051e-06, + "loss": 6.245521545410156, + "step": 38215 + }, + { + "epoch": 0.0812, + "grad_norm": 8.495699882507324, + "learning_rate": 3.1202525252525256e-06, + "loss": 6.244895935058594, + "step": 38220 + }, + { + "epoch": 0.08125, + "grad_norm": 4.742880344390869, + "learning_rate": 3.12e-06, + "loss": 6.29229736328125, + "step": 38225 + }, + { + "epoch": 0.0813, + "grad_norm": 12.77479362487793, + "learning_rate": 3.119747474747475e-06, + "loss": 6.343697357177734, + "step": 38230 + }, + { + "epoch": 0.08135, + "grad_norm": 6.2325439453125, + "learning_rate": 3.11949494949495e-06, + "loss": 6.260408020019531, + "step": 38235 + }, + { + "epoch": 0.0814, + "grad_norm": 6.783320426940918, + "learning_rate": 3.1192424242424245e-06, + "loss": 6.369620895385742, + "step": 38240 + }, + { + "epoch": 0.08145, + "grad_norm": 5.042397499084473, + "learning_rate": 3.118989898989899e-06, + "loss": 6.322723388671875, + "step": 38245 + }, + { + "epoch": 0.0815, + "grad_norm": 5.7038187980651855, + "learning_rate": 3.1187373737373738e-06, + "loss": 6.316136169433594, + "step": 38250 + }, + { + "epoch": 0.08155, + "grad_norm": 7.594776153564453, + "learning_rate": 3.118484848484849e-06, + "loss": 6.297699737548828, + "step": 38255 + }, + { + "epoch": 0.0816, + "grad_norm": 5.438727378845215, + "learning_rate": 3.1182323232323235e-06, + "loss": 6.302629089355468, + "step": 38260 + }, + { + "epoch": 0.08165, + "grad_norm": 5.920957088470459, + "learning_rate": 3.117979797979798e-06, + "loss": 6.289142990112305, + "step": 38265 + }, + { + "epoch": 0.0817, + "grad_norm": 9.796358108520508, + "learning_rate": 3.1177272727272727e-06, + "loss": 6.272397994995117, + "step": 38270 + }, + { + "epoch": 0.08175, + "grad_norm": 9.278793334960938, + "learning_rate": 3.117474747474748e-06, + "loss": 6.2550395965576175, + "step": 38275 + }, + { + "epoch": 0.0818, + "grad_norm": 6.296907901763916, + "learning_rate": 3.1172222222222224e-06, + "loss": 6.267685317993164, + "step": 38280 + }, + { + "epoch": 0.08185, + "grad_norm": 6.79340124130249, + "learning_rate": 3.116969696969697e-06, + "loss": 6.360378265380859, + "step": 38285 + }, + { + "epoch": 0.0819, + "grad_norm": 5.796512603759766, + "learning_rate": 3.1167171717171717e-06, + "loss": 6.249359893798828, + "step": 38290 + }, + { + "epoch": 0.08195, + "grad_norm": 4.507469177246094, + "learning_rate": 3.116464646464647e-06, + "loss": 6.229007720947266, + "step": 38295 + }, + { + "epoch": 0.082, + "grad_norm": 32.089622497558594, + "learning_rate": 3.1162121212121218e-06, + "loss": 6.084786987304687, + "step": 38300 + }, + { + "epoch": 0.08205, + "grad_norm": 4.994156837463379, + "learning_rate": 3.115959595959596e-06, + "loss": 6.25440559387207, + "step": 38305 + }, + { + "epoch": 0.0821, + "grad_norm": 11.566097259521484, + "learning_rate": 3.1157070707070706e-06, + "loss": 6.288254165649414, + "step": 38310 + }, + { + "epoch": 0.08215, + "grad_norm": 6.119917392730713, + "learning_rate": 3.115454545454546e-06, + "loss": 6.268838500976562, + "step": 38315 + }, + { + "epoch": 0.0822, + "grad_norm": 8.248771667480469, + "learning_rate": 3.1152020202020207e-06, + "loss": 6.2896068572998045, + "step": 38320 + }, + { + "epoch": 0.08225, + "grad_norm": 24.355417251586914, + "learning_rate": 3.1149494949494953e-06, + "loss": 6.611558532714843, + "step": 38325 + }, + { + "epoch": 0.0823, + "grad_norm": 6.421599864959717, + "learning_rate": 3.11469696969697e-06, + "loss": 6.237408828735352, + "step": 38330 + }, + { + "epoch": 0.08235, + "grad_norm": 5.432710647583008, + "learning_rate": 3.114444444444445e-06, + "loss": 6.282366180419922, + "step": 38335 + }, + { + "epoch": 0.0824, + "grad_norm": 3.114713430404663, + "learning_rate": 3.1141919191919197e-06, + "loss": 6.289771652221679, + "step": 38340 + }, + { + "epoch": 0.08245, + "grad_norm": 12.694079399108887, + "learning_rate": 3.1139393939393943e-06, + "loss": 6.316346740722656, + "step": 38345 + }, + { + "epoch": 0.0825, + "grad_norm": 10.0151948928833, + "learning_rate": 3.113686868686869e-06, + "loss": 6.2440673828125, + "step": 38350 + }, + { + "epoch": 0.08255, + "grad_norm": 8.860899925231934, + "learning_rate": 3.113434343434344e-06, + "loss": 6.213772201538086, + "step": 38355 + }, + { + "epoch": 0.0826, + "grad_norm": 4.834271430969238, + "learning_rate": 3.1131818181818186e-06, + "loss": 6.264373016357422, + "step": 38360 + }, + { + "epoch": 0.08265, + "grad_norm": 6.366523265838623, + "learning_rate": 3.1129292929292932e-06, + "loss": 6.247134780883789, + "step": 38365 + }, + { + "epoch": 0.0827, + "grad_norm": 4.52449893951416, + "learning_rate": 3.112676767676768e-06, + "loss": 6.275959777832031, + "step": 38370 + }, + { + "epoch": 0.08275, + "grad_norm": 6.869139194488525, + "learning_rate": 3.112424242424243e-06, + "loss": 6.294654846191406, + "step": 38375 + }, + { + "epoch": 0.0828, + "grad_norm": 8.28975772857666, + "learning_rate": 3.1121717171717175e-06, + "loss": 6.266781616210937, + "step": 38380 + }, + { + "epoch": 0.08285, + "grad_norm": 6.613365650177002, + "learning_rate": 3.111919191919192e-06, + "loss": 6.322153472900391, + "step": 38385 + }, + { + "epoch": 0.0829, + "grad_norm": 5.3877973556518555, + "learning_rate": 3.111666666666667e-06, + "loss": 6.365744018554688, + "step": 38390 + }, + { + "epoch": 0.08295, + "grad_norm": 9.445686340332031, + "learning_rate": 3.111414141414142e-06, + "loss": 6.27295150756836, + "step": 38395 + }, + { + "epoch": 0.083, + "grad_norm": 16.45443344116211, + "learning_rate": 3.1111616161616165e-06, + "loss": 6.323920822143554, + "step": 38400 + }, + { + "epoch": 0.08305, + "grad_norm": 5.735808849334717, + "learning_rate": 3.110909090909091e-06, + "loss": 6.318212509155273, + "step": 38405 + }, + { + "epoch": 0.0831, + "grad_norm": 8.596446990966797, + "learning_rate": 3.1106565656565657e-06, + "loss": 6.352141189575195, + "step": 38410 + }, + { + "epoch": 0.08315, + "grad_norm": 6.640438079833984, + "learning_rate": 3.110404040404041e-06, + "loss": 6.252841186523438, + "step": 38415 + }, + { + "epoch": 0.0832, + "grad_norm": 8.869839668273926, + "learning_rate": 3.1101515151515154e-06, + "loss": 6.227565002441406, + "step": 38420 + }, + { + "epoch": 0.08325, + "grad_norm": 5.04594612121582, + "learning_rate": 3.10989898989899e-06, + "loss": 6.251329803466797, + "step": 38425 + }, + { + "epoch": 0.0833, + "grad_norm": 6.005542755126953, + "learning_rate": 3.1096464646464647e-06, + "loss": 6.332159423828125, + "step": 38430 + }, + { + "epoch": 0.08335, + "grad_norm": 5.255429267883301, + "learning_rate": 3.1093939393939397e-06, + "loss": 6.239656829833985, + "step": 38435 + }, + { + "epoch": 0.0834, + "grad_norm": 5.029537677764893, + "learning_rate": 3.1091414141414144e-06, + "loss": 6.285135269165039, + "step": 38440 + }, + { + "epoch": 0.08345, + "grad_norm": 5.088849067687988, + "learning_rate": 3.108888888888889e-06, + "loss": 6.297447967529297, + "step": 38445 + }, + { + "epoch": 0.0835, + "grad_norm": 8.095579147338867, + "learning_rate": 3.1086363636363636e-06, + "loss": 6.257388305664063, + "step": 38450 + }, + { + "epoch": 0.08355, + "grad_norm": 4.755861282348633, + "learning_rate": 3.1083838383838387e-06, + "loss": 6.229459381103515, + "step": 38455 + }, + { + "epoch": 0.0836, + "grad_norm": 5.379202365875244, + "learning_rate": 3.1081313131313133e-06, + "loss": 6.3937122344970705, + "step": 38460 + }, + { + "epoch": 0.08365, + "grad_norm": 6.659433364868164, + "learning_rate": 3.107878787878788e-06, + "loss": 6.274997711181641, + "step": 38465 + }, + { + "epoch": 0.0837, + "grad_norm": 21.967180252075195, + "learning_rate": 3.1076262626262626e-06, + "loss": 6.317076873779297, + "step": 38470 + }, + { + "epoch": 0.08375, + "grad_norm": 20.914159774780273, + "learning_rate": 3.1073737373737376e-06, + "loss": 6.447844696044922, + "step": 38475 + }, + { + "epoch": 0.0838, + "grad_norm": 6.303069591522217, + "learning_rate": 3.1071212121212123e-06, + "loss": 6.340871810913086, + "step": 38480 + }, + { + "epoch": 0.08385, + "grad_norm": 7.712333679199219, + "learning_rate": 3.106868686868687e-06, + "loss": 6.445771026611328, + "step": 38485 + }, + { + "epoch": 0.0839, + "grad_norm": 5.1667094230651855, + "learning_rate": 3.1066161616161615e-06, + "loss": 6.39392204284668, + "step": 38490 + }, + { + "epoch": 0.08395, + "grad_norm": 13.273898124694824, + "learning_rate": 3.106363636363637e-06, + "loss": 6.268840789794922, + "step": 38495 + }, + { + "epoch": 0.084, + "grad_norm": 4.269434452056885, + "learning_rate": 3.106111111111111e-06, + "loss": 6.24295654296875, + "step": 38500 + }, + { + "epoch": 0.08405, + "grad_norm": 9.553909301757812, + "learning_rate": 3.105858585858586e-06, + "loss": 6.274750137329102, + "step": 38505 + }, + { + "epoch": 0.0841, + "grad_norm": 5.705601215362549, + "learning_rate": 3.1056060606060605e-06, + "loss": 6.256413269042969, + "step": 38510 + }, + { + "epoch": 0.08415, + "grad_norm": 4.697645664215088, + "learning_rate": 3.105353535353536e-06, + "loss": 6.315234375, + "step": 38515 + }, + { + "epoch": 0.0842, + "grad_norm": 6.365569591522217, + "learning_rate": 3.1051010101010106e-06, + "loss": 6.23462142944336, + "step": 38520 + }, + { + "epoch": 0.08425, + "grad_norm": 5.4955902099609375, + "learning_rate": 3.104848484848485e-06, + "loss": 6.36603012084961, + "step": 38525 + }, + { + "epoch": 0.0843, + "grad_norm": 6.127120494842529, + "learning_rate": 3.1045959595959594e-06, + "loss": 6.283335876464844, + "step": 38530 + }, + { + "epoch": 0.08435, + "grad_norm": 4.127853870391846, + "learning_rate": 3.104343434343435e-06, + "loss": 6.240867996215821, + "step": 38535 + }, + { + "epoch": 0.0844, + "grad_norm": 7.809811592102051, + "learning_rate": 3.1040909090909095e-06, + "loss": 6.379122924804688, + "step": 38540 + }, + { + "epoch": 0.08445, + "grad_norm": 4.21857213973999, + "learning_rate": 3.103838383838384e-06, + "loss": 6.361758041381836, + "step": 38545 + }, + { + "epoch": 0.0845, + "grad_norm": 11.523987770080566, + "learning_rate": 3.1035858585858588e-06, + "loss": 6.29186782836914, + "step": 38550 + }, + { + "epoch": 0.08455, + "grad_norm": 3.892789125442505, + "learning_rate": 3.103333333333334e-06, + "loss": 6.240115737915039, + "step": 38555 + }, + { + "epoch": 0.0846, + "grad_norm": 3.925283432006836, + "learning_rate": 3.1030808080808085e-06, + "loss": 6.2227531433105465, + "step": 38560 + }, + { + "epoch": 0.08465, + "grad_norm": 9.834415435791016, + "learning_rate": 3.102828282828283e-06, + "loss": 6.280453491210937, + "step": 38565 + }, + { + "epoch": 0.0847, + "grad_norm": 22.574993133544922, + "learning_rate": 3.1025757575757577e-06, + "loss": 6.526770782470703, + "step": 38570 + }, + { + "epoch": 0.08475, + "grad_norm": 4.130259990692139, + "learning_rate": 3.1023232323232328e-06, + "loss": 6.308740615844727, + "step": 38575 + }, + { + "epoch": 0.0848, + "grad_norm": 7.440810203552246, + "learning_rate": 3.1020707070707074e-06, + "loss": 6.5507057189941404, + "step": 38580 + }, + { + "epoch": 0.08485, + "grad_norm": 4.74627685546875, + "learning_rate": 3.101818181818182e-06, + "loss": 6.274727249145508, + "step": 38585 + }, + { + "epoch": 0.0849, + "grad_norm": 7.789112091064453, + "learning_rate": 3.1015656565656567e-06, + "loss": 6.322026062011719, + "step": 38590 + }, + { + "epoch": 0.08495, + "grad_norm": 6.981146812438965, + "learning_rate": 3.1013131313131317e-06, + "loss": 6.301002502441406, + "step": 38595 + }, + { + "epoch": 0.085, + "grad_norm": 6.16749382019043, + "learning_rate": 3.1010606060606063e-06, + "loss": 6.298861694335938, + "step": 38600 + }, + { + "epoch": 0.08505, + "grad_norm": 5.422140121459961, + "learning_rate": 3.100808080808081e-06, + "loss": 6.271360778808594, + "step": 38605 + }, + { + "epoch": 0.0851, + "grad_norm": 3.5803310871124268, + "learning_rate": 3.1005555555555556e-06, + "loss": 6.217414093017578, + "step": 38610 + }, + { + "epoch": 0.08515, + "grad_norm": 13.9075927734375, + "learning_rate": 3.1003030303030307e-06, + "loss": 6.2455299377441404, + "step": 38615 + }, + { + "epoch": 0.0852, + "grad_norm": 5.465734004974365, + "learning_rate": 3.1000505050505053e-06, + "loss": 6.250377655029297, + "step": 38620 + }, + { + "epoch": 0.08525, + "grad_norm": 7.684573173522949, + "learning_rate": 3.09979797979798e-06, + "loss": 6.3069709777832035, + "step": 38625 + }, + { + "epoch": 0.0853, + "grad_norm": 4.270673751831055, + "learning_rate": 3.0995454545454546e-06, + "loss": 6.265089797973633, + "step": 38630 + }, + { + "epoch": 0.08535, + "grad_norm": 4.157352924346924, + "learning_rate": 3.0992929292929296e-06, + "loss": 6.28088264465332, + "step": 38635 + }, + { + "epoch": 0.0854, + "grad_norm": 9.034980773925781, + "learning_rate": 3.0990404040404042e-06, + "loss": 6.279878234863281, + "step": 38640 + }, + { + "epoch": 0.08545, + "grad_norm": 5.35481595993042, + "learning_rate": 3.098787878787879e-06, + "loss": 6.250664520263672, + "step": 38645 + }, + { + "epoch": 0.0855, + "grad_norm": 4.449819087982178, + "learning_rate": 3.098535353535354e-06, + "loss": 6.27763557434082, + "step": 38650 + }, + { + "epoch": 0.08555, + "grad_norm": 5.5076470375061035, + "learning_rate": 3.0982828282828286e-06, + "loss": 6.272834014892578, + "step": 38655 + }, + { + "epoch": 0.0856, + "grad_norm": 5.944217681884766, + "learning_rate": 3.098030303030303e-06, + "loss": 6.287925720214844, + "step": 38660 + }, + { + "epoch": 0.08565, + "grad_norm": 4.606578826904297, + "learning_rate": 3.097777777777778e-06, + "loss": 6.276762771606445, + "step": 38665 + }, + { + "epoch": 0.0857, + "grad_norm": 7.794736862182617, + "learning_rate": 3.097525252525253e-06, + "loss": 6.278011322021484, + "step": 38670 + }, + { + "epoch": 0.08575, + "grad_norm": 7.580515384674072, + "learning_rate": 3.0972727272727275e-06, + "loss": 6.256056594848633, + "step": 38675 + }, + { + "epoch": 0.0858, + "grad_norm": 3.8276755809783936, + "learning_rate": 3.097020202020202e-06, + "loss": 6.295049667358398, + "step": 38680 + }, + { + "epoch": 0.08585, + "grad_norm": 5.851880073547363, + "learning_rate": 3.0967676767676768e-06, + "loss": 6.384275817871094, + "step": 38685 + }, + { + "epoch": 0.0859, + "grad_norm": 7.7033467292785645, + "learning_rate": 3.0965151515151522e-06, + "loss": 6.24910888671875, + "step": 38690 + }, + { + "epoch": 0.08595, + "grad_norm": 7.349149227142334, + "learning_rate": 3.0962626262626264e-06, + "loss": 6.327001571655273, + "step": 38695 + }, + { + "epoch": 0.086, + "grad_norm": 4.155896186828613, + "learning_rate": 3.096010101010101e-06, + "loss": 6.262163543701172, + "step": 38700 + }, + { + "epoch": 0.08605, + "grad_norm": 4.982694625854492, + "learning_rate": 3.0957575757575757e-06, + "loss": 6.281441497802734, + "step": 38705 + }, + { + "epoch": 0.0861, + "grad_norm": 7.823703765869141, + "learning_rate": 3.095505050505051e-06, + "loss": 6.326067733764648, + "step": 38710 + }, + { + "epoch": 0.08615, + "grad_norm": 4.599400043487549, + "learning_rate": 3.095252525252526e-06, + "loss": 6.296357727050781, + "step": 38715 + }, + { + "epoch": 0.0862, + "grad_norm": 7.1658759117126465, + "learning_rate": 3.0950000000000004e-06, + "loss": 6.303975677490234, + "step": 38720 + }, + { + "epoch": 0.08625, + "grad_norm": 6.576052188873291, + "learning_rate": 3.0947474747474746e-06, + "loss": 6.27567138671875, + "step": 38725 + }, + { + "epoch": 0.0863, + "grad_norm": 9.860788345336914, + "learning_rate": 3.09449494949495e-06, + "loss": 6.273751449584961, + "step": 38730 + }, + { + "epoch": 0.08635, + "grad_norm": 6.754668712615967, + "learning_rate": 3.0942424242424248e-06, + "loss": 6.270984268188476, + "step": 38735 + }, + { + "epoch": 0.0864, + "grad_norm": 5.392854690551758, + "learning_rate": 3.0939898989898994e-06, + "loss": 6.261109924316406, + "step": 38740 + }, + { + "epoch": 0.08645, + "grad_norm": 6.744201183319092, + "learning_rate": 3.093737373737374e-06, + "loss": 6.315390777587891, + "step": 38745 + }, + { + "epoch": 0.0865, + "grad_norm": 7.062400817871094, + "learning_rate": 3.093484848484849e-06, + "loss": 6.2728118896484375, + "step": 38750 + }, + { + "epoch": 0.08655, + "grad_norm": 3.688746929168701, + "learning_rate": 3.0932323232323237e-06, + "loss": 6.273785781860352, + "step": 38755 + }, + { + "epoch": 0.0866, + "grad_norm": 7.056690692901611, + "learning_rate": 3.0929797979797983e-06, + "loss": 6.350138473510742, + "step": 38760 + }, + { + "epoch": 0.08665, + "grad_norm": 11.089237213134766, + "learning_rate": 3.092727272727273e-06, + "loss": 6.25617561340332, + "step": 38765 + }, + { + "epoch": 0.0867, + "grad_norm": 6.049311637878418, + "learning_rate": 3.092474747474748e-06, + "loss": 6.244958114624024, + "step": 38770 + }, + { + "epoch": 0.08675, + "grad_norm": 7.738856792449951, + "learning_rate": 3.0922222222222226e-06, + "loss": 6.369571685791016, + "step": 38775 + }, + { + "epoch": 0.0868, + "grad_norm": 4.9709978103637695, + "learning_rate": 3.0919696969696973e-06, + "loss": 6.412933349609375, + "step": 38780 + }, + { + "epoch": 0.08685, + "grad_norm": 6.475958824157715, + "learning_rate": 3.091717171717172e-06, + "loss": 6.295897674560547, + "step": 38785 + }, + { + "epoch": 0.0869, + "grad_norm": 8.786493301391602, + "learning_rate": 3.091464646464647e-06, + "loss": 6.2661182403564455, + "step": 38790 + }, + { + "epoch": 0.08695, + "grad_norm": 5.423460960388184, + "learning_rate": 3.0912121212121216e-06, + "loss": 6.189646911621094, + "step": 38795 + }, + { + "epoch": 0.087, + "grad_norm": 10.83787727355957, + "learning_rate": 3.0909595959595962e-06, + "loss": 6.316064071655274, + "step": 38800 + }, + { + "epoch": 0.08705, + "grad_norm": 6.0402607917785645, + "learning_rate": 3.090707070707071e-06, + "loss": 6.335948944091797, + "step": 38805 + }, + { + "epoch": 0.0871, + "grad_norm": 6.209439754486084, + "learning_rate": 3.090454545454546e-06, + "loss": 6.241990661621093, + "step": 38810 + }, + { + "epoch": 0.08715, + "grad_norm": 6.056130886077881, + "learning_rate": 3.0902020202020205e-06, + "loss": 6.2697898864746096, + "step": 38815 + }, + { + "epoch": 0.0872, + "grad_norm": 9.67004680633545, + "learning_rate": 3.089949494949495e-06, + "loss": 6.335889053344727, + "step": 38820 + }, + { + "epoch": 0.08725, + "grad_norm": 6.222818374633789, + "learning_rate": 3.0896969696969698e-06, + "loss": 6.267982482910156, + "step": 38825 + }, + { + "epoch": 0.0873, + "grad_norm": 6.633770942687988, + "learning_rate": 3.089444444444445e-06, + "loss": 6.26705322265625, + "step": 38830 + }, + { + "epoch": 0.08735, + "grad_norm": 7.350826263427734, + "learning_rate": 3.0891919191919195e-06, + "loss": 6.335404968261718, + "step": 38835 + }, + { + "epoch": 0.0874, + "grad_norm": 6.253747463226318, + "learning_rate": 3.088939393939394e-06, + "loss": 6.262545394897461, + "step": 38840 + }, + { + "epoch": 0.08745, + "grad_norm": 6.171756744384766, + "learning_rate": 3.0886868686868687e-06, + "loss": 6.224066543579101, + "step": 38845 + }, + { + "epoch": 0.0875, + "grad_norm": 16.884836196899414, + "learning_rate": 3.0884343434343438e-06, + "loss": 5.874584197998047, + "step": 38850 + }, + { + "epoch": 0.08755, + "grad_norm": 3.4429922103881836, + "learning_rate": 3.0881818181818184e-06, + "loss": 6.290198135375976, + "step": 38855 + }, + { + "epoch": 0.0876, + "grad_norm": 6.999137878417969, + "learning_rate": 3.087929292929293e-06, + "loss": 6.275766372680664, + "step": 38860 + }, + { + "epoch": 0.08765, + "grad_norm": 6.932957649230957, + "learning_rate": 3.0876767676767677e-06, + "loss": 6.262466049194336, + "step": 38865 + }, + { + "epoch": 0.0877, + "grad_norm": 5.11722469329834, + "learning_rate": 3.0874242424242427e-06, + "loss": 6.259531021118164, + "step": 38870 + }, + { + "epoch": 0.08775, + "grad_norm": 5.096556186676025, + "learning_rate": 3.0871717171717174e-06, + "loss": 6.268210601806641, + "step": 38875 + }, + { + "epoch": 0.0878, + "grad_norm": 3.902292490005493, + "learning_rate": 3.086919191919192e-06, + "loss": 6.269290924072266, + "step": 38880 + }, + { + "epoch": 0.08785, + "grad_norm": 5.557623386383057, + "learning_rate": 3.0866666666666666e-06, + "loss": 6.318363952636719, + "step": 38885 + }, + { + "epoch": 0.0879, + "grad_norm": 13.312966346740723, + "learning_rate": 3.0864141414141417e-06, + "loss": 6.258135986328125, + "step": 38890 + }, + { + "epoch": 0.08795, + "grad_norm": 9.732216835021973, + "learning_rate": 3.0861616161616163e-06, + "loss": 6.296059417724609, + "step": 38895 + }, + { + "epoch": 0.088, + "grad_norm": 8.769017219543457, + "learning_rate": 3.085909090909091e-06, + "loss": 6.248266220092773, + "step": 38900 + }, + { + "epoch": 0.08805, + "grad_norm": 4.784547805786133, + "learning_rate": 3.0856565656565656e-06, + "loss": 6.2185009002685545, + "step": 38905 + }, + { + "epoch": 0.0881, + "grad_norm": 10.070372581481934, + "learning_rate": 3.085404040404041e-06, + "loss": 6.308760070800782, + "step": 38910 + }, + { + "epoch": 0.08815, + "grad_norm": 12.993553161621094, + "learning_rate": 3.0851515151515152e-06, + "loss": 6.315010452270508, + "step": 38915 + }, + { + "epoch": 0.0882, + "grad_norm": 9.855135917663574, + "learning_rate": 3.08489898989899e-06, + "loss": 6.5001678466796875, + "step": 38920 + }, + { + "epoch": 0.08825, + "grad_norm": 8.678521156311035, + "learning_rate": 3.0846464646464645e-06, + "loss": 6.317130279541016, + "step": 38925 + }, + { + "epoch": 0.0883, + "grad_norm": 6.757709503173828, + "learning_rate": 3.08439393939394e-06, + "loss": 6.322018814086914, + "step": 38930 + }, + { + "epoch": 0.08835, + "grad_norm": 4.419641494750977, + "learning_rate": 3.0841414141414146e-06, + "loss": 6.281678009033203, + "step": 38935 + }, + { + "epoch": 0.0884, + "grad_norm": 8.545208930969238, + "learning_rate": 3.0838888888888892e-06, + "loss": 6.266703796386719, + "step": 38940 + }, + { + "epoch": 0.08845, + "grad_norm": 21.299427032470703, + "learning_rate": 3.0836363636363635e-06, + "loss": 6.315547180175781, + "step": 38945 + }, + { + "epoch": 0.0885, + "grad_norm": 6.2852888107299805, + "learning_rate": 3.083383838383839e-06, + "loss": 6.262736511230469, + "step": 38950 + }, + { + "epoch": 0.08855, + "grad_norm": 8.608904838562012, + "learning_rate": 3.0831313131313136e-06, + "loss": 6.268058013916016, + "step": 38955 + }, + { + "epoch": 0.0886, + "grad_norm": 6.686533451080322, + "learning_rate": 3.082878787878788e-06, + "loss": 6.252547073364258, + "step": 38960 + }, + { + "epoch": 0.08865, + "grad_norm": 6.9175214767456055, + "learning_rate": 3.082626262626263e-06, + "loss": 6.285993576049805, + "step": 38965 + }, + { + "epoch": 0.0887, + "grad_norm": 4.883634567260742, + "learning_rate": 3.082373737373738e-06, + "loss": 6.264028167724609, + "step": 38970 + }, + { + "epoch": 0.08875, + "grad_norm": 5.033908367156982, + "learning_rate": 3.0821212121212125e-06, + "loss": 6.324848937988281, + "step": 38975 + }, + { + "epoch": 0.0888, + "grad_norm": 6.498447418212891, + "learning_rate": 3.081868686868687e-06, + "loss": 6.280373382568359, + "step": 38980 + }, + { + "epoch": 0.08885, + "grad_norm": 5.7450408935546875, + "learning_rate": 3.0816161616161618e-06, + "loss": 6.231649398803711, + "step": 38985 + }, + { + "epoch": 0.0889, + "grad_norm": 5.871547698974609, + "learning_rate": 3.081363636363637e-06, + "loss": 6.266879653930664, + "step": 38990 + }, + { + "epoch": 0.08895, + "grad_norm": 5.903047561645508, + "learning_rate": 3.0811111111111114e-06, + "loss": 6.317109298706055, + "step": 38995 + }, + { + "epoch": 0.089, + "grad_norm": 6.235011100769043, + "learning_rate": 3.080858585858586e-06, + "loss": 6.322607421875, + "step": 39000 + }, + { + "epoch": 0.08905, + "grad_norm": 10.56679630279541, + "learning_rate": 3.0806060606060607e-06, + "loss": 6.284597015380859, + "step": 39005 + }, + { + "epoch": 0.0891, + "grad_norm": 12.192068099975586, + "learning_rate": 3.0803535353535358e-06, + "loss": 6.515753173828125, + "step": 39010 + }, + { + "epoch": 0.08915, + "grad_norm": 5.010746479034424, + "learning_rate": 3.0801010101010104e-06, + "loss": 6.262630844116211, + "step": 39015 + }, + { + "epoch": 0.0892, + "grad_norm": 15.015843391418457, + "learning_rate": 3.079848484848485e-06, + "loss": 6.292151260375976, + "step": 39020 + }, + { + "epoch": 0.08925, + "grad_norm": 6.680670738220215, + "learning_rate": 3.0795959595959596e-06, + "loss": 6.4028167724609375, + "step": 39025 + }, + { + "epoch": 0.0893, + "grad_norm": 5.576340675354004, + "learning_rate": 3.0793434343434347e-06, + "loss": 6.238619995117188, + "step": 39030 + }, + { + "epoch": 0.08935, + "grad_norm": 8.025498390197754, + "learning_rate": 3.0790909090909093e-06, + "loss": 6.254515838623047, + "step": 39035 + }, + { + "epoch": 0.0894, + "grad_norm": 3.1588306427001953, + "learning_rate": 3.078838383838384e-06, + "loss": 6.338005447387696, + "step": 39040 + }, + { + "epoch": 0.08945, + "grad_norm": 6.66406774520874, + "learning_rate": 3.0785858585858586e-06, + "loss": 6.240979385375977, + "step": 39045 + }, + { + "epoch": 0.0895, + "grad_norm": 4.443551063537598, + "learning_rate": 3.0783333333333336e-06, + "loss": 6.415625, + "step": 39050 + }, + { + "epoch": 0.08955, + "grad_norm": 8.135719299316406, + "learning_rate": 3.0780808080808083e-06, + "loss": 6.263232421875, + "step": 39055 + }, + { + "epoch": 0.0896, + "grad_norm": 5.1961846351623535, + "learning_rate": 3.077828282828283e-06, + "loss": 6.24383773803711, + "step": 39060 + }, + { + "epoch": 0.08965, + "grad_norm": 6.132416725158691, + "learning_rate": 3.077575757575758e-06, + "loss": 6.277900695800781, + "step": 39065 + }, + { + "epoch": 0.0897, + "grad_norm": 6.791189670562744, + "learning_rate": 3.0773232323232326e-06, + "loss": 6.275061798095703, + "step": 39070 + }, + { + "epoch": 0.08975, + "grad_norm": 5.99292516708374, + "learning_rate": 3.0770707070707072e-06, + "loss": 6.2736671447753904, + "step": 39075 + }, + { + "epoch": 0.0898, + "grad_norm": 8.040875434875488, + "learning_rate": 3.076818181818182e-06, + "loss": 6.271006393432617, + "step": 39080 + }, + { + "epoch": 0.08985, + "grad_norm": 5.793929576873779, + "learning_rate": 3.076565656565657e-06, + "loss": 6.286944198608398, + "step": 39085 + }, + { + "epoch": 0.0899, + "grad_norm": 11.181063652038574, + "learning_rate": 3.0763131313131315e-06, + "loss": 6.283794403076172, + "step": 39090 + }, + { + "epoch": 0.08995, + "grad_norm": 10.077513694763184, + "learning_rate": 3.076060606060606e-06, + "loss": 6.413910675048828, + "step": 39095 + }, + { + "epoch": 0.09, + "grad_norm": 10.699628829956055, + "learning_rate": 3.075808080808081e-06, + "loss": 6.379662322998047, + "step": 39100 + }, + { + "epoch": 0.09005, + "grad_norm": 5.655072212219238, + "learning_rate": 3.0755555555555563e-06, + "loss": 6.252742004394531, + "step": 39105 + }, + { + "epoch": 0.0901, + "grad_norm": 7.359196186065674, + "learning_rate": 3.0753030303030305e-06, + "loss": 6.217854309082031, + "step": 39110 + }, + { + "epoch": 0.09015, + "grad_norm": 4.99860954284668, + "learning_rate": 3.075050505050505e-06, + "loss": 6.252827072143555, + "step": 39115 + }, + { + "epoch": 0.0902, + "grad_norm": 4.21286678314209, + "learning_rate": 3.0747979797979797e-06, + "loss": 6.295737075805664, + "step": 39120 + }, + { + "epoch": 0.09025, + "grad_norm": 5.677606105804443, + "learning_rate": 3.0745454545454552e-06, + "loss": 6.487159729003906, + "step": 39125 + }, + { + "epoch": 0.0903, + "grad_norm": 5.7341413497924805, + "learning_rate": 3.07429292929293e-06, + "loss": 6.271537017822266, + "step": 39130 + }, + { + "epoch": 0.09035, + "grad_norm": 16.32733917236328, + "learning_rate": 3.0740404040404045e-06, + "loss": 6.370833206176758, + "step": 39135 + }, + { + "epoch": 0.0904, + "grad_norm": 8.712239265441895, + "learning_rate": 3.0737878787878787e-06, + "loss": 6.262386322021484, + "step": 39140 + }, + { + "epoch": 0.09045, + "grad_norm": 4.045783996582031, + "learning_rate": 3.073535353535354e-06, + "loss": 6.303938293457032, + "step": 39145 + }, + { + "epoch": 0.0905, + "grad_norm": 9.539093017578125, + "learning_rate": 3.073282828282829e-06, + "loss": 6.260939407348633, + "step": 39150 + }, + { + "epoch": 0.09055, + "grad_norm": 7.298191547393799, + "learning_rate": 3.0730303030303034e-06, + "loss": 6.284363555908203, + "step": 39155 + }, + { + "epoch": 0.0906, + "grad_norm": 4.552484512329102, + "learning_rate": 3.072777777777778e-06, + "loss": 6.293478012084961, + "step": 39160 + }, + { + "epoch": 0.09065, + "grad_norm": 4.384852409362793, + "learning_rate": 3.072525252525253e-06, + "loss": 6.288124847412109, + "step": 39165 + }, + { + "epoch": 0.0907, + "grad_norm": 5.975673675537109, + "learning_rate": 3.0722727272727277e-06, + "loss": 6.260038757324219, + "step": 39170 + }, + { + "epoch": 0.09075, + "grad_norm": 7.746758460998535, + "learning_rate": 3.0720202020202024e-06, + "loss": 6.304029083251953, + "step": 39175 + }, + { + "epoch": 0.0908, + "grad_norm": 10.297867774963379, + "learning_rate": 3.071767676767677e-06, + "loss": 6.2825977325439455, + "step": 39180 + }, + { + "epoch": 0.09085, + "grad_norm": 5.207608699798584, + "learning_rate": 3.071515151515152e-06, + "loss": 6.322061920166016, + "step": 39185 + }, + { + "epoch": 0.0909, + "grad_norm": 3.982045888900757, + "learning_rate": 3.0712626262626267e-06, + "loss": 6.253726577758789, + "step": 39190 + }, + { + "epoch": 0.09095, + "grad_norm": 5.969116687774658, + "learning_rate": 3.0710101010101013e-06, + "loss": 6.288674545288086, + "step": 39195 + }, + { + "epoch": 0.091, + "grad_norm": 4.395119667053223, + "learning_rate": 3.070757575757576e-06, + "loss": 6.287556838989258, + "step": 39200 + }, + { + "epoch": 0.09105, + "grad_norm": 6.272239685058594, + "learning_rate": 3.070505050505051e-06, + "loss": 6.284761047363281, + "step": 39205 + }, + { + "epoch": 0.0911, + "grad_norm": 6.949128150939941, + "learning_rate": 3.0702525252525256e-06, + "loss": 6.288115310668945, + "step": 39210 + }, + { + "epoch": 0.09115, + "grad_norm": 7.773336887359619, + "learning_rate": 3.0700000000000003e-06, + "loss": 6.430629730224609, + "step": 39215 + }, + { + "epoch": 0.0912, + "grad_norm": 18.049579620361328, + "learning_rate": 3.069747474747475e-06, + "loss": 6.485710906982422, + "step": 39220 + }, + { + "epoch": 0.09125, + "grad_norm": 4.200318813323975, + "learning_rate": 3.06949494949495e-06, + "loss": 6.319189834594726, + "step": 39225 + }, + { + "epoch": 0.0913, + "grad_norm": 5.5459208488464355, + "learning_rate": 3.0692424242424246e-06, + "loss": 6.364413452148438, + "step": 39230 + }, + { + "epoch": 0.09135, + "grad_norm": 7.658109664916992, + "learning_rate": 3.068989898989899e-06, + "loss": 6.33764762878418, + "step": 39235 + }, + { + "epoch": 0.0914, + "grad_norm": 6.640018939971924, + "learning_rate": 3.068737373737374e-06, + "loss": 6.224563217163086, + "step": 39240 + }, + { + "epoch": 0.09145, + "grad_norm": 6.312591552734375, + "learning_rate": 3.068484848484849e-06, + "loss": 6.253081130981445, + "step": 39245 + }, + { + "epoch": 0.0915, + "grad_norm": 7.365550994873047, + "learning_rate": 3.0682323232323235e-06, + "loss": 6.2688652038574215, + "step": 39250 + }, + { + "epoch": 0.09155, + "grad_norm": 7.650358200073242, + "learning_rate": 3.067979797979798e-06, + "loss": 6.311114501953125, + "step": 39255 + }, + { + "epoch": 0.0916, + "grad_norm": 7.672425270080566, + "learning_rate": 3.0677272727272728e-06, + "loss": 6.303653717041016, + "step": 39260 + }, + { + "epoch": 0.09165, + "grad_norm": 5.546412944793701, + "learning_rate": 3.067474747474748e-06, + "loss": 6.2515312194824215, + "step": 39265 + }, + { + "epoch": 0.0917, + "grad_norm": 6.5482096672058105, + "learning_rate": 3.0672222222222225e-06, + "loss": 6.230216979980469, + "step": 39270 + }, + { + "epoch": 0.09175, + "grad_norm": 4.945723533630371, + "learning_rate": 3.066969696969697e-06, + "loss": 6.277172470092774, + "step": 39275 + }, + { + "epoch": 0.0918, + "grad_norm": 6.490903377532959, + "learning_rate": 3.0667171717171717e-06, + "loss": 6.285236358642578, + "step": 39280 + }, + { + "epoch": 0.09185, + "grad_norm": 4.6270647048950195, + "learning_rate": 3.0664646464646468e-06, + "loss": 6.270497512817383, + "step": 39285 + }, + { + "epoch": 0.0919, + "grad_norm": 8.51440143585205, + "learning_rate": 3.0662121212121214e-06, + "loss": 6.371000671386719, + "step": 39290 + }, + { + "epoch": 0.09195, + "grad_norm": 10.238192558288574, + "learning_rate": 3.065959595959596e-06, + "loss": 6.327411651611328, + "step": 39295 + }, + { + "epoch": 0.092, + "grad_norm": 3.3806231021881104, + "learning_rate": 3.0657070707070707e-06, + "loss": 6.247269821166992, + "step": 39300 + }, + { + "epoch": 0.09205, + "grad_norm": 3.753351926803589, + "learning_rate": 3.0654545454545457e-06, + "loss": 6.26878776550293, + "step": 39305 + }, + { + "epoch": 0.0921, + "grad_norm": 8.06999397277832, + "learning_rate": 3.0652020202020203e-06, + "loss": 6.250996017456055, + "step": 39310 + }, + { + "epoch": 0.09215, + "grad_norm": 6.953955173492432, + "learning_rate": 3.064949494949495e-06, + "loss": 6.260722732543945, + "step": 39315 + }, + { + "epoch": 0.0922, + "grad_norm": 8.116020202636719, + "learning_rate": 3.0646969696969696e-06, + "loss": 6.272375106811523, + "step": 39320 + }, + { + "epoch": 0.09225, + "grad_norm": 8.296736717224121, + "learning_rate": 3.064444444444445e-06, + "loss": 6.252204513549804, + "step": 39325 + }, + { + "epoch": 0.0923, + "grad_norm": 7.756749629974365, + "learning_rate": 3.0641919191919193e-06, + "loss": 6.243569946289062, + "step": 39330 + }, + { + "epoch": 0.09235, + "grad_norm": 9.886284828186035, + "learning_rate": 3.063939393939394e-06, + "loss": 6.2703086853027346, + "step": 39335 + }, + { + "epoch": 0.0924, + "grad_norm": 12.561198234558105, + "learning_rate": 3.0636868686868685e-06, + "loss": 6.2829833984375, + "step": 39340 + }, + { + "epoch": 0.09245, + "grad_norm": 8.711660385131836, + "learning_rate": 3.063434343434344e-06, + "loss": 6.239153289794922, + "step": 39345 + }, + { + "epoch": 0.0925, + "grad_norm": 17.116741180419922, + "learning_rate": 3.0631818181818187e-06, + "loss": 6.510383605957031, + "step": 39350 + }, + { + "epoch": 0.09255, + "grad_norm": 11.632884979248047, + "learning_rate": 3.0629292929292933e-06, + "loss": 6.4560600280761715, + "step": 39355 + }, + { + "epoch": 0.0926, + "grad_norm": 9.428510665893555, + "learning_rate": 3.0626767676767675e-06, + "loss": 6.301527786254883, + "step": 39360 + }, + { + "epoch": 0.09265, + "grad_norm": 18.10042381286621, + "learning_rate": 3.062424242424243e-06, + "loss": 6.285648345947266, + "step": 39365 + }, + { + "epoch": 0.0927, + "grad_norm": 7.185460090637207, + "learning_rate": 3.0621717171717176e-06, + "loss": 6.231967163085938, + "step": 39370 + }, + { + "epoch": 0.09275, + "grad_norm": 7.942965984344482, + "learning_rate": 3.0619191919191922e-06, + "loss": 6.257367706298828, + "step": 39375 + }, + { + "epoch": 0.0928, + "grad_norm": 7.2067646980285645, + "learning_rate": 3.061666666666667e-06, + "loss": 6.258131790161133, + "step": 39380 + }, + { + "epoch": 0.09285, + "grad_norm": 7.035239219665527, + "learning_rate": 3.061414141414142e-06, + "loss": 6.258625030517578, + "step": 39385 + }, + { + "epoch": 0.0929, + "grad_norm": 6.5928802490234375, + "learning_rate": 3.0611616161616165e-06, + "loss": 6.322162628173828, + "step": 39390 + }, + { + "epoch": 0.09295, + "grad_norm": 4.762480735778809, + "learning_rate": 3.060909090909091e-06, + "loss": 6.35546875, + "step": 39395 + }, + { + "epoch": 0.093, + "grad_norm": 8.196066856384277, + "learning_rate": 3.060656565656566e-06, + "loss": 6.287951278686523, + "step": 39400 + }, + { + "epoch": 0.09305, + "grad_norm": 4.534555435180664, + "learning_rate": 3.060404040404041e-06, + "loss": 6.298977661132812, + "step": 39405 + }, + { + "epoch": 0.0931, + "grad_norm": 4.168025016784668, + "learning_rate": 3.0601515151515155e-06, + "loss": 6.323687744140625, + "step": 39410 + }, + { + "epoch": 0.09315, + "grad_norm": 10.7211332321167, + "learning_rate": 3.05989898989899e-06, + "loss": 6.324875259399414, + "step": 39415 + }, + { + "epoch": 0.0932, + "grad_norm": 5.190300464630127, + "learning_rate": 3.0596464646464647e-06, + "loss": 6.308753204345703, + "step": 39420 + }, + { + "epoch": 0.09325, + "grad_norm": 7.077613830566406, + "learning_rate": 3.05939393939394e-06, + "loss": 6.272271347045899, + "step": 39425 + }, + { + "epoch": 0.0933, + "grad_norm": 4.654881954193115, + "learning_rate": 3.0591414141414144e-06, + "loss": 6.343343353271484, + "step": 39430 + }, + { + "epoch": 0.09335, + "grad_norm": 7.842901229858398, + "learning_rate": 3.058888888888889e-06, + "loss": 6.276409149169922, + "step": 39435 + }, + { + "epoch": 0.0934, + "grad_norm": 5.84159517288208, + "learning_rate": 3.0586363636363637e-06, + "loss": 6.290888977050781, + "step": 39440 + }, + { + "epoch": 0.09345, + "grad_norm": 4.244458198547363, + "learning_rate": 3.0583838383838387e-06, + "loss": 6.262062072753906, + "step": 39445 + }, + { + "epoch": 0.0935, + "grad_norm": 6.388356685638428, + "learning_rate": 3.0581313131313134e-06, + "loss": 6.2566673278808596, + "step": 39450 + }, + { + "epoch": 0.09355, + "grad_norm": 5.874319553375244, + "learning_rate": 3.057878787878788e-06, + "loss": 6.315679550170898, + "step": 39455 + }, + { + "epoch": 0.0936, + "grad_norm": 6.3072733879089355, + "learning_rate": 3.0576262626262626e-06, + "loss": 6.263661956787109, + "step": 39460 + }, + { + "epoch": 0.09365, + "grad_norm": 3.7241673469543457, + "learning_rate": 3.0573737373737377e-06, + "loss": 6.248409271240234, + "step": 39465 + }, + { + "epoch": 0.0937, + "grad_norm": 8.418601989746094, + "learning_rate": 3.0571212121212123e-06, + "loss": 6.3839057922363285, + "step": 39470 + }, + { + "epoch": 0.09375, + "grad_norm": 7.451816082000732, + "learning_rate": 3.056868686868687e-06, + "loss": 6.30369873046875, + "step": 39475 + }, + { + "epoch": 0.0938, + "grad_norm": 7.953643321990967, + "learning_rate": 3.0566161616161616e-06, + "loss": 6.344231414794922, + "step": 39480 + }, + { + "epoch": 0.09385, + "grad_norm": 3.9061269760131836, + "learning_rate": 3.0563636363636366e-06, + "loss": 6.321837615966797, + "step": 39485 + }, + { + "epoch": 0.0939, + "grad_norm": 5.189099311828613, + "learning_rate": 3.0561111111111113e-06, + "loss": 6.242802429199219, + "step": 39490 + }, + { + "epoch": 0.09395, + "grad_norm": 3.613459587097168, + "learning_rate": 3.055858585858586e-06, + "loss": 6.291605377197266, + "step": 39495 + }, + { + "epoch": 0.094, + "grad_norm": 4.4439191818237305, + "learning_rate": 3.055606060606061e-06, + "loss": 6.282182693481445, + "step": 39500 + }, + { + "epoch": 0.09405, + "grad_norm": 8.112859725952148, + "learning_rate": 3.0553535353535356e-06, + "loss": 6.297395706176758, + "step": 39505 + }, + { + "epoch": 0.0941, + "grad_norm": 3.9926745891571045, + "learning_rate": 3.05510101010101e-06, + "loss": 6.212990570068359, + "step": 39510 + }, + { + "epoch": 0.09415, + "grad_norm": 4.801685333251953, + "learning_rate": 3.054848484848485e-06, + "loss": 6.281188201904297, + "step": 39515 + }, + { + "epoch": 0.0942, + "grad_norm": 7.154995918273926, + "learning_rate": 3.0545959595959603e-06, + "loss": 6.286091613769531, + "step": 39520 + }, + { + "epoch": 0.09425, + "grad_norm": 7.538205623626709, + "learning_rate": 3.0543434343434345e-06, + "loss": 6.258271789550781, + "step": 39525 + }, + { + "epoch": 0.0943, + "grad_norm": 6.951421737670898, + "learning_rate": 3.054090909090909e-06, + "loss": 6.258203125, + "step": 39530 + }, + { + "epoch": 0.09435, + "grad_norm": 5.049332618713379, + "learning_rate": 3.0538383838383838e-06, + "loss": 6.324021530151367, + "step": 39535 + }, + { + "epoch": 0.0944, + "grad_norm": 7.144245147705078, + "learning_rate": 3.0535858585858593e-06, + "loss": 6.361887359619141, + "step": 39540 + }, + { + "epoch": 0.09445, + "grad_norm": 19.257226943969727, + "learning_rate": 3.053333333333334e-06, + "loss": 6.28746452331543, + "step": 39545 + }, + { + "epoch": 0.0945, + "grad_norm": 8.158074378967285, + "learning_rate": 3.0530808080808085e-06, + "loss": 6.280484771728515, + "step": 39550 + }, + { + "epoch": 0.09455, + "grad_norm": 7.717003345489502, + "learning_rate": 3.0528282828282827e-06, + "loss": 6.328860092163086, + "step": 39555 + }, + { + "epoch": 0.0946, + "grad_norm": 6.549741268157959, + "learning_rate": 3.052575757575758e-06, + "loss": 6.243044662475586, + "step": 39560 + }, + { + "epoch": 0.09465, + "grad_norm": 7.241082668304443, + "learning_rate": 3.052323232323233e-06, + "loss": 6.307433319091797, + "step": 39565 + }, + { + "epoch": 0.0947, + "grad_norm": 6.8255615234375, + "learning_rate": 3.0520707070707075e-06, + "loss": 6.279504776000977, + "step": 39570 + }, + { + "epoch": 0.09475, + "grad_norm": 5.816373348236084, + "learning_rate": 3.051818181818182e-06, + "loss": 6.336029052734375, + "step": 39575 + }, + { + "epoch": 0.0948, + "grad_norm": 6.788973331451416, + "learning_rate": 3.051565656565657e-06, + "loss": 6.265750122070313, + "step": 39580 + }, + { + "epoch": 0.09485, + "grad_norm": 5.944479465484619, + "learning_rate": 3.0513131313131318e-06, + "loss": 6.370442581176758, + "step": 39585 + }, + { + "epoch": 0.0949, + "grad_norm": 8.943553924560547, + "learning_rate": 3.0510606060606064e-06, + "loss": 6.247539520263672, + "step": 39590 + }, + { + "epoch": 0.09495, + "grad_norm": 7.429471969604492, + "learning_rate": 3.050808080808081e-06, + "loss": 6.207161331176758, + "step": 39595 + }, + { + "epoch": 0.095, + "grad_norm": 4.592660903930664, + "learning_rate": 3.050555555555556e-06, + "loss": 6.207543182373047, + "step": 39600 + }, + { + "epoch": 0.09505, + "grad_norm": 6.410984992980957, + "learning_rate": 3.0503030303030307e-06, + "loss": 6.249950790405274, + "step": 39605 + }, + { + "epoch": 0.0951, + "grad_norm": 8.55736255645752, + "learning_rate": 3.0500505050505053e-06, + "loss": 6.365015029907227, + "step": 39610 + }, + { + "epoch": 0.09515, + "grad_norm": 6.169278621673584, + "learning_rate": 3.04979797979798e-06, + "loss": 6.244651031494141, + "step": 39615 + }, + { + "epoch": 0.0952, + "grad_norm": 6.534669876098633, + "learning_rate": 3.049545454545455e-06, + "loss": 6.307273101806641, + "step": 39620 + }, + { + "epoch": 0.09525, + "grad_norm": 8.135649681091309, + "learning_rate": 3.0492929292929297e-06, + "loss": 6.2627708435058596, + "step": 39625 + }, + { + "epoch": 0.0953, + "grad_norm": 9.942840576171875, + "learning_rate": 3.0490404040404043e-06, + "loss": 6.274460983276367, + "step": 39630 + }, + { + "epoch": 0.09535, + "grad_norm": 6.3688836097717285, + "learning_rate": 3.048787878787879e-06, + "loss": 6.2644187927246096, + "step": 39635 + }, + { + "epoch": 0.0954, + "grad_norm": 4.666479587554932, + "learning_rate": 3.048535353535354e-06, + "loss": 6.256207275390625, + "step": 39640 + }, + { + "epoch": 0.09545, + "grad_norm": 7.013498783111572, + "learning_rate": 3.0482828282828286e-06, + "loss": 6.235408020019531, + "step": 39645 + }, + { + "epoch": 0.0955, + "grad_norm": 7.912097930908203, + "learning_rate": 3.0480303030303032e-06, + "loss": 6.246105194091797, + "step": 39650 + }, + { + "epoch": 0.09555, + "grad_norm": 13.065936088562012, + "learning_rate": 3.047777777777778e-06, + "loss": 6.307199096679687, + "step": 39655 + }, + { + "epoch": 0.0956, + "grad_norm": 8.842634201049805, + "learning_rate": 3.047525252525253e-06, + "loss": 6.232364654541016, + "step": 39660 + }, + { + "epoch": 0.09565, + "grad_norm": 10.520137786865234, + "learning_rate": 3.0472727272727276e-06, + "loss": 6.295642471313476, + "step": 39665 + }, + { + "epoch": 0.0957, + "grad_norm": 9.55027961730957, + "learning_rate": 3.047020202020202e-06, + "loss": 6.3119457244873045, + "step": 39670 + }, + { + "epoch": 0.09575, + "grad_norm": 4.912415027618408, + "learning_rate": 3.046767676767677e-06, + "loss": 6.29124641418457, + "step": 39675 + }, + { + "epoch": 0.0958, + "grad_norm": 33.51972961425781, + "learning_rate": 3.046515151515152e-06, + "loss": 6.377518844604492, + "step": 39680 + }, + { + "epoch": 0.09585, + "grad_norm": 5.118306636810303, + "learning_rate": 3.0462626262626265e-06, + "loss": 6.307962417602539, + "step": 39685 + }, + { + "epoch": 0.0959, + "grad_norm": 8.07176685333252, + "learning_rate": 3.046010101010101e-06, + "loss": 6.277048873901367, + "step": 39690 + }, + { + "epoch": 0.09595, + "grad_norm": 6.355937480926514, + "learning_rate": 3.0457575757575758e-06, + "loss": 6.305795288085937, + "step": 39695 + }, + { + "epoch": 0.096, + "grad_norm": 8.511637687683105, + "learning_rate": 3.045505050505051e-06, + "loss": 6.248551940917968, + "step": 39700 + }, + { + "epoch": 0.09605, + "grad_norm": 8.970492362976074, + "learning_rate": 3.0452525252525254e-06, + "loss": 6.224385833740234, + "step": 39705 + }, + { + "epoch": 0.0961, + "grad_norm": 6.257556915283203, + "learning_rate": 3.045e-06, + "loss": 6.257138061523437, + "step": 39710 + }, + { + "epoch": 0.09615, + "grad_norm": 4.832211017608643, + "learning_rate": 3.0447474747474747e-06, + "loss": 6.265195083618164, + "step": 39715 + }, + { + "epoch": 0.0962, + "grad_norm": 5.479896068572998, + "learning_rate": 3.0444949494949498e-06, + "loss": 6.276923751831054, + "step": 39720 + }, + { + "epoch": 0.09625, + "grad_norm": 5.880154609680176, + "learning_rate": 3.0442424242424244e-06, + "loss": 6.30895767211914, + "step": 39725 + }, + { + "epoch": 0.0963, + "grad_norm": 5.765962600708008, + "learning_rate": 3.043989898989899e-06, + "loss": 6.269191741943359, + "step": 39730 + }, + { + "epoch": 0.09635, + "grad_norm": 6.231253147125244, + "learning_rate": 3.0437373737373736e-06, + "loss": 6.278958129882812, + "step": 39735 + }, + { + "epoch": 0.0964, + "grad_norm": 4.817709922790527, + "learning_rate": 3.043484848484849e-06, + "loss": 6.278455352783203, + "step": 39740 + }, + { + "epoch": 0.09645, + "grad_norm": 5.985478401184082, + "learning_rate": 3.0432323232323233e-06, + "loss": 6.251661682128907, + "step": 39745 + }, + { + "epoch": 0.0965, + "grad_norm": 5.80155611038208, + "learning_rate": 3.042979797979798e-06, + "loss": 6.2939292907714846, + "step": 39750 + }, + { + "epoch": 0.09655, + "grad_norm": 7.896412372589111, + "learning_rate": 3.0427272727272726e-06, + "loss": 6.202546691894531, + "step": 39755 + }, + { + "epoch": 0.0966, + "grad_norm": 5.035182952880859, + "learning_rate": 3.042474747474748e-06, + "loss": 6.22095832824707, + "step": 39760 + }, + { + "epoch": 0.09665, + "grad_norm": 5.645527362823486, + "learning_rate": 3.0422222222222227e-06, + "loss": 6.23913345336914, + "step": 39765 + }, + { + "epoch": 0.0967, + "grad_norm": 4.7217912673950195, + "learning_rate": 3.0419696969696973e-06, + "loss": 6.238736724853515, + "step": 39770 + }, + { + "epoch": 0.09675, + "grad_norm": 10.03943920135498, + "learning_rate": 3.0417171717171715e-06, + "loss": 6.2873893737792965, + "step": 39775 + }, + { + "epoch": 0.0968, + "grad_norm": 3.709041118621826, + "learning_rate": 3.041464646464647e-06, + "loss": 6.261859130859375, + "step": 39780 + }, + { + "epoch": 0.09685, + "grad_norm": 6.8322434425354, + "learning_rate": 3.0412121212121216e-06, + "loss": 6.257903289794922, + "step": 39785 + }, + { + "epoch": 0.0969, + "grad_norm": 6.866949558258057, + "learning_rate": 3.0409595959595963e-06, + "loss": 6.261991882324219, + "step": 39790 + }, + { + "epoch": 0.09695, + "grad_norm": 8.102174758911133, + "learning_rate": 3.040707070707071e-06, + "loss": 6.264657211303711, + "step": 39795 + }, + { + "epoch": 0.097, + "grad_norm": 20.32860565185547, + "learning_rate": 3.040454545454546e-06, + "loss": 6.300338363647461, + "step": 39800 + }, + { + "epoch": 0.09705, + "grad_norm": 4.616422653198242, + "learning_rate": 3.0402020202020206e-06, + "loss": 6.3257091522216795, + "step": 39805 + }, + { + "epoch": 0.0971, + "grad_norm": 5.947876930236816, + "learning_rate": 3.0399494949494952e-06, + "loss": 6.260201644897461, + "step": 39810 + }, + { + "epoch": 0.09715, + "grad_norm": 24.24739646911621, + "learning_rate": 3.03969696969697e-06, + "loss": 6.49999771118164, + "step": 39815 + }, + { + "epoch": 0.0972, + "grad_norm": 8.184504508972168, + "learning_rate": 3.039444444444445e-06, + "loss": 6.323337173461914, + "step": 39820 + }, + { + "epoch": 0.09725, + "grad_norm": 6.967775821685791, + "learning_rate": 3.0391919191919195e-06, + "loss": 6.238442230224609, + "step": 39825 + }, + { + "epoch": 0.0973, + "grad_norm": 6.290642261505127, + "learning_rate": 3.038939393939394e-06, + "loss": 6.265054321289062, + "step": 39830 + }, + { + "epoch": 0.09735, + "grad_norm": 6.699621677398682, + "learning_rate": 3.0386868686868688e-06, + "loss": 6.304799270629883, + "step": 39835 + }, + { + "epoch": 0.0974, + "grad_norm": 7.302486896514893, + "learning_rate": 3.038434343434344e-06, + "loss": 6.262015533447266, + "step": 39840 + }, + { + "epoch": 0.09745, + "grad_norm": 7.259206295013428, + "learning_rate": 3.0381818181818185e-06, + "loss": 6.314931488037109, + "step": 39845 + }, + { + "epoch": 0.0975, + "grad_norm": 5.132086753845215, + "learning_rate": 3.037929292929293e-06, + "loss": 6.212421417236328, + "step": 39850 + }, + { + "epoch": 0.09755, + "grad_norm": 3.559826135635376, + "learning_rate": 3.0376767676767677e-06, + "loss": 6.272224426269531, + "step": 39855 + }, + { + "epoch": 0.0976, + "grad_norm": 7.799129486083984, + "learning_rate": 3.0374242424242428e-06, + "loss": 6.318041229248047, + "step": 39860 + }, + { + "epoch": 0.09765, + "grad_norm": 6.717422008514404, + "learning_rate": 3.0371717171717174e-06, + "loss": 6.272261047363282, + "step": 39865 + }, + { + "epoch": 0.0977, + "grad_norm": 4.4721245765686035, + "learning_rate": 3.036919191919192e-06, + "loss": 6.223075485229492, + "step": 39870 + }, + { + "epoch": 0.09775, + "grad_norm": 5.176158905029297, + "learning_rate": 3.0366666666666667e-06, + "loss": 6.252046203613281, + "step": 39875 + }, + { + "epoch": 0.0978, + "grad_norm": 5.7113871574401855, + "learning_rate": 3.0364141414141417e-06, + "loss": 6.276599884033203, + "step": 39880 + }, + { + "epoch": 0.09785, + "grad_norm": 8.806733131408691, + "learning_rate": 3.0361616161616164e-06, + "loss": 6.262837600708008, + "step": 39885 + }, + { + "epoch": 0.0979, + "grad_norm": 7.675717353820801, + "learning_rate": 3.035909090909091e-06, + "loss": 6.2345436096191404, + "step": 39890 + }, + { + "epoch": 0.09795, + "grad_norm": 5.5042500495910645, + "learning_rate": 3.0356565656565656e-06, + "loss": 6.307815933227539, + "step": 39895 + }, + { + "epoch": 0.098, + "grad_norm": 6.197714805603027, + "learning_rate": 3.0354040404040407e-06, + "loss": 6.277433776855469, + "step": 39900 + }, + { + "epoch": 0.09805, + "grad_norm": 8.494780540466309, + "learning_rate": 3.0351515151515153e-06, + "loss": 6.287798690795898, + "step": 39905 + }, + { + "epoch": 0.0981, + "grad_norm": 8.925405502319336, + "learning_rate": 3.03489898989899e-06, + "loss": 6.334698867797852, + "step": 39910 + }, + { + "epoch": 0.09815, + "grad_norm": 6.026486873626709, + "learning_rate": 3.0346464646464646e-06, + "loss": 6.285811996459961, + "step": 39915 + }, + { + "epoch": 0.0982, + "grad_norm": 5.018006801605225, + "learning_rate": 3.0343939393939396e-06, + "loss": 6.253402328491211, + "step": 39920 + }, + { + "epoch": 0.09825, + "grad_norm": 30.398101806640625, + "learning_rate": 3.0341414141414142e-06, + "loss": 6.214478302001953, + "step": 39925 + }, + { + "epoch": 0.0983, + "grad_norm": 8.109334945678711, + "learning_rate": 3.033888888888889e-06, + "loss": 6.242169952392578, + "step": 39930 + }, + { + "epoch": 0.09835, + "grad_norm": 4.3902268409729, + "learning_rate": 3.0336363636363644e-06, + "loss": 6.464027404785156, + "step": 39935 + }, + { + "epoch": 0.0984, + "grad_norm": 9.082077026367188, + "learning_rate": 3.0333838383838386e-06, + "loss": 6.246677017211914, + "step": 39940 + }, + { + "epoch": 0.09845, + "grad_norm": 4.724730491638184, + "learning_rate": 3.033131313131313e-06, + "loss": 6.377182388305664, + "step": 39945 + }, + { + "epoch": 0.0985, + "grad_norm": 8.617257118225098, + "learning_rate": 3.032878787878788e-06, + "loss": 6.171651077270508, + "step": 39950 + }, + { + "epoch": 0.09855, + "grad_norm": 6.759725093841553, + "learning_rate": 3.0326262626262633e-06, + "loss": 6.305452728271485, + "step": 39955 + }, + { + "epoch": 0.0986, + "grad_norm": 6.3425774574279785, + "learning_rate": 3.032373737373738e-06, + "loss": 6.298806762695312, + "step": 39960 + }, + { + "epoch": 0.09865, + "grad_norm": 5.258531093597412, + "learning_rate": 3.0321212121212126e-06, + "loss": 6.258492279052734, + "step": 39965 + }, + { + "epoch": 0.0987, + "grad_norm": 8.805098533630371, + "learning_rate": 3.0318686868686868e-06, + "loss": 6.243976593017578, + "step": 39970 + }, + { + "epoch": 0.09875, + "grad_norm": 7.223904609680176, + "learning_rate": 3.0316161616161622e-06, + "loss": 6.200222015380859, + "step": 39975 + }, + { + "epoch": 0.0988, + "grad_norm": 8.230591773986816, + "learning_rate": 3.031363636363637e-06, + "loss": 6.248282623291016, + "step": 39980 + }, + { + "epoch": 0.09885, + "grad_norm": 7.349647045135498, + "learning_rate": 3.0311111111111115e-06, + "loss": 6.236552047729492, + "step": 39985 + }, + { + "epoch": 0.0989, + "grad_norm": 7.409433841705322, + "learning_rate": 3.030858585858586e-06, + "loss": 6.286089706420898, + "step": 39990 + }, + { + "epoch": 0.09895, + "grad_norm": 4.738650321960449, + "learning_rate": 3.030606060606061e-06, + "loss": 6.2399028778076175, + "step": 39995 + }, + { + "epoch": 0.099, + "grad_norm": 4.862697601318359, + "learning_rate": 3.030353535353536e-06, + "loss": 6.311080551147461, + "step": 40000 + }, + { + "epoch": 0.09905, + "grad_norm": 5.479323387145996, + "learning_rate": 3.0301010101010104e-06, + "loss": 6.2537994384765625, + "step": 40005 + }, + { + "epoch": 0.0991, + "grad_norm": 7.93714714050293, + "learning_rate": 3.029848484848485e-06, + "loss": 6.282717895507813, + "step": 40010 + }, + { + "epoch": 0.09915, + "grad_norm": 17.208250045776367, + "learning_rate": 3.02959595959596e-06, + "loss": 6.340678024291992, + "step": 40015 + }, + { + "epoch": 0.0992, + "grad_norm": 7.450162887573242, + "learning_rate": 3.0293434343434348e-06, + "loss": 6.3354747772216795, + "step": 40020 + }, + { + "epoch": 0.09925, + "grad_norm": 8.217369079589844, + "learning_rate": 3.0290909090909094e-06, + "loss": 6.294911575317383, + "step": 40025 + }, + { + "epoch": 0.0993, + "grad_norm": 5.488741874694824, + "learning_rate": 3.028838383838384e-06, + "loss": 6.450810241699219, + "step": 40030 + }, + { + "epoch": 0.09935, + "grad_norm": 5.757836818695068, + "learning_rate": 3.028585858585859e-06, + "loss": 6.28453369140625, + "step": 40035 + }, + { + "epoch": 0.0994, + "grad_norm": 7.625567436218262, + "learning_rate": 3.0283333333333337e-06, + "loss": 6.213248062133789, + "step": 40040 + }, + { + "epoch": 0.09945, + "grad_norm": 25.471235275268555, + "learning_rate": 3.0280808080808083e-06, + "loss": 6.285023880004883, + "step": 40045 + }, + { + "epoch": 0.0995, + "grad_norm": 3.417393207550049, + "learning_rate": 3.027828282828283e-06, + "loss": 6.390966796875, + "step": 40050 + }, + { + "epoch": 0.09955, + "grad_norm": 5.66697883605957, + "learning_rate": 3.027575757575758e-06, + "loss": 6.223991394042969, + "step": 40055 + }, + { + "epoch": 0.0996, + "grad_norm": 8.43359088897705, + "learning_rate": 3.0273232323232326e-06, + "loss": 6.246201705932617, + "step": 40060 + }, + { + "epoch": 0.09965, + "grad_norm": 11.718748092651367, + "learning_rate": 3.0270707070707073e-06, + "loss": 6.316236114501953, + "step": 40065 + }, + { + "epoch": 0.0997, + "grad_norm": 8.034736633300781, + "learning_rate": 3.026818181818182e-06, + "loss": 6.293602752685547, + "step": 40070 + }, + { + "epoch": 0.09975, + "grad_norm": 19.3179874420166, + "learning_rate": 3.026565656565657e-06, + "loss": 6.197782135009765, + "step": 40075 + }, + { + "epoch": 0.0998, + "grad_norm": 8.18592643737793, + "learning_rate": 3.0263131313131316e-06, + "loss": 6.205689239501953, + "step": 40080 + }, + { + "epoch": 0.09985, + "grad_norm": 6.5794477462768555, + "learning_rate": 3.0260606060606062e-06, + "loss": 6.240242767333984, + "step": 40085 + }, + { + "epoch": 0.0999, + "grad_norm": 6.7191314697265625, + "learning_rate": 3.025808080808081e-06, + "loss": 6.369915008544922, + "step": 40090 + }, + { + "epoch": 0.09995, + "grad_norm": 6.726606845855713, + "learning_rate": 3.025555555555556e-06, + "loss": 6.358650207519531, + "step": 40095 + }, + { + "epoch": 0.1, + "grad_norm": 4.878878593444824, + "learning_rate": 3.0253030303030305e-06, + "loss": 6.292672729492187, + "step": 40100 + }, + { + "epoch": 0.10005, + "grad_norm": 16.77215003967285, + "learning_rate": 3.025050505050505e-06, + "loss": 6.33614501953125, + "step": 40105 + }, + { + "epoch": 0.1001, + "grad_norm": 5.844650745391846, + "learning_rate": 3.02479797979798e-06, + "loss": 6.270985412597656, + "step": 40110 + }, + { + "epoch": 0.10015, + "grad_norm": 4.5644049644470215, + "learning_rate": 3.024545454545455e-06, + "loss": 6.244332122802734, + "step": 40115 + }, + { + "epoch": 0.1002, + "grad_norm": 12.9856595993042, + "learning_rate": 3.0242929292929295e-06, + "loss": 6.414250183105469, + "step": 40120 + }, + { + "epoch": 0.10025, + "grad_norm": 7.032472133636475, + "learning_rate": 3.024040404040404e-06, + "loss": 6.248641586303711, + "step": 40125 + }, + { + "epoch": 0.1003, + "grad_norm": 4.975386619567871, + "learning_rate": 3.0237878787878787e-06, + "loss": 6.285332870483399, + "step": 40130 + }, + { + "epoch": 0.10035, + "grad_norm": 4.637630939483643, + "learning_rate": 3.023535353535354e-06, + "loss": 6.304057693481445, + "step": 40135 + }, + { + "epoch": 0.1004, + "grad_norm": 7.323705196380615, + "learning_rate": 3.0232828282828284e-06, + "loss": 6.252719116210938, + "step": 40140 + }, + { + "epoch": 0.10045, + "grad_norm": 4.6293230056762695, + "learning_rate": 3.023030303030303e-06, + "loss": 6.329254531860352, + "step": 40145 + }, + { + "epoch": 0.1005, + "grad_norm": 7.017992973327637, + "learning_rate": 3.0227777777777777e-06, + "loss": 6.273103713989258, + "step": 40150 + }, + { + "epoch": 0.10055, + "grad_norm": 6.718472957611084, + "learning_rate": 3.022525252525253e-06, + "loss": 6.323498153686524, + "step": 40155 + }, + { + "epoch": 0.1006, + "grad_norm": 8.068868637084961, + "learning_rate": 3.022272727272728e-06, + "loss": 6.267002868652344, + "step": 40160 + }, + { + "epoch": 0.10065, + "grad_norm": 6.103592395782471, + "learning_rate": 3.022020202020202e-06, + "loss": 6.2229759216308596, + "step": 40165 + }, + { + "epoch": 0.1007, + "grad_norm": 6.439410209655762, + "learning_rate": 3.0217676767676766e-06, + "loss": 6.244852828979492, + "step": 40170 + }, + { + "epoch": 0.10075, + "grad_norm": 4.778724193572998, + "learning_rate": 3.021515151515152e-06, + "loss": 6.281914138793946, + "step": 40175 + }, + { + "epoch": 0.1008, + "grad_norm": 6.921771049499512, + "learning_rate": 3.0212626262626267e-06, + "loss": 6.225162506103516, + "step": 40180 + }, + { + "epoch": 0.10085, + "grad_norm": 8.687201499938965, + "learning_rate": 3.0210101010101014e-06, + "loss": 6.248101425170899, + "step": 40185 + }, + { + "epoch": 0.1009, + "grad_norm": 4.578341007232666, + "learning_rate": 3.0207575757575756e-06, + "loss": 6.315703582763672, + "step": 40190 + }, + { + "epoch": 0.10095, + "grad_norm": 6.512423038482666, + "learning_rate": 3.020505050505051e-06, + "loss": 6.297991943359375, + "step": 40195 + }, + { + "epoch": 0.101, + "grad_norm": 20.48904037475586, + "learning_rate": 3.0202525252525257e-06, + "loss": 6.274640655517578, + "step": 40200 + }, + { + "epoch": 0.10105, + "grad_norm": 4.804588794708252, + "learning_rate": 3.0200000000000003e-06, + "loss": 6.26307373046875, + "step": 40205 + }, + { + "epoch": 0.1011, + "grad_norm": 5.951425552368164, + "learning_rate": 3.019747474747475e-06, + "loss": 6.450259399414063, + "step": 40210 + }, + { + "epoch": 0.10115, + "grad_norm": 6.497198104858398, + "learning_rate": 3.01949494949495e-06, + "loss": 6.26111068725586, + "step": 40215 + }, + { + "epoch": 0.1012, + "grad_norm": 5.306216239929199, + "learning_rate": 3.0192424242424246e-06, + "loss": 6.322530364990234, + "step": 40220 + }, + { + "epoch": 0.10125, + "grad_norm": 7.001226902008057, + "learning_rate": 3.0189898989898993e-06, + "loss": 6.263048553466797, + "step": 40225 + }, + { + "epoch": 0.1013, + "grad_norm": 8.86793041229248, + "learning_rate": 3.018737373737374e-06, + "loss": 6.325202560424804, + "step": 40230 + }, + { + "epoch": 0.10135, + "grad_norm": 22.28270149230957, + "learning_rate": 3.018484848484849e-06, + "loss": 6.2083282470703125, + "step": 40235 + }, + { + "epoch": 0.1014, + "grad_norm": 6.189478874206543, + "learning_rate": 3.0182323232323236e-06, + "loss": 6.3904670715332035, + "step": 40240 + }, + { + "epoch": 0.10145, + "grad_norm": 16.189926147460938, + "learning_rate": 3.017979797979798e-06, + "loss": 6.55665283203125, + "step": 40245 + }, + { + "epoch": 0.1015, + "grad_norm": 9.641158103942871, + "learning_rate": 3.017727272727273e-06, + "loss": 6.301003265380859, + "step": 40250 + }, + { + "epoch": 0.10155, + "grad_norm": 8.803508758544922, + "learning_rate": 3.017474747474748e-06, + "loss": 6.288997650146484, + "step": 40255 + }, + { + "epoch": 0.1016, + "grad_norm": 3.7549238204956055, + "learning_rate": 3.0172222222222225e-06, + "loss": 6.3120674133300785, + "step": 40260 + }, + { + "epoch": 0.10165, + "grad_norm": 4.841829776763916, + "learning_rate": 3.016969696969697e-06, + "loss": 6.243906402587891, + "step": 40265 + }, + { + "epoch": 0.1017, + "grad_norm": 8.047773361206055, + "learning_rate": 3.0167171717171718e-06, + "loss": 6.269142913818359, + "step": 40270 + }, + { + "epoch": 0.10175, + "grad_norm": 7.383278846740723, + "learning_rate": 3.016464646464647e-06, + "loss": 6.301046752929688, + "step": 40275 + }, + { + "epoch": 0.1018, + "grad_norm": 6.089845180511475, + "learning_rate": 3.0162121212121215e-06, + "loss": 6.273354721069336, + "step": 40280 + }, + { + "epoch": 0.10185, + "grad_norm": 5.913599014282227, + "learning_rate": 3.015959595959596e-06, + "loss": 6.306548309326172, + "step": 40285 + }, + { + "epoch": 0.1019, + "grad_norm": 5.626622676849365, + "learning_rate": 3.0157070707070707e-06, + "loss": 6.264913177490234, + "step": 40290 + }, + { + "epoch": 0.10195, + "grad_norm": 6.200212001800537, + "learning_rate": 3.0154545454545458e-06, + "loss": 6.268028640747071, + "step": 40295 + }, + { + "epoch": 0.102, + "grad_norm": 7.8918962478637695, + "learning_rate": 3.0152020202020204e-06, + "loss": 6.300220489501953, + "step": 40300 + }, + { + "epoch": 0.10205, + "grad_norm": 4.525073051452637, + "learning_rate": 3.014949494949495e-06, + "loss": 6.225251007080078, + "step": 40305 + }, + { + "epoch": 0.1021, + "grad_norm": 4.62253999710083, + "learning_rate": 3.0146969696969697e-06, + "loss": 6.231533813476562, + "step": 40310 + }, + { + "epoch": 0.10215, + "grad_norm": 4.348503112792969, + "learning_rate": 3.0144444444444447e-06, + "loss": 6.319445037841797, + "step": 40315 + }, + { + "epoch": 0.1022, + "grad_norm": 6.964783191680908, + "learning_rate": 3.0141919191919193e-06, + "loss": 6.260996246337891, + "step": 40320 + }, + { + "epoch": 0.10225, + "grad_norm": 9.668238639831543, + "learning_rate": 3.013939393939394e-06, + "loss": 6.277481460571289, + "step": 40325 + }, + { + "epoch": 0.1023, + "grad_norm": 4.093064785003662, + "learning_rate": 3.0136868686868686e-06, + "loss": 6.281262588500977, + "step": 40330 + }, + { + "epoch": 0.10235, + "grad_norm": 4.544749736785889, + "learning_rate": 3.0134343434343437e-06, + "loss": 6.257682800292969, + "step": 40335 + }, + { + "epoch": 0.1024, + "grad_norm": 7.640080451965332, + "learning_rate": 3.0131818181818183e-06, + "loss": 6.250306701660156, + "step": 40340 + }, + { + "epoch": 0.10245, + "grad_norm": 6.179773807525635, + "learning_rate": 3.012929292929293e-06, + "loss": 6.310747528076172, + "step": 40345 + }, + { + "epoch": 0.1025, + "grad_norm": 6.104367256164551, + "learning_rate": 3.0126767676767684e-06, + "loss": 6.3015289306640625, + "step": 40350 + }, + { + "epoch": 0.10255, + "grad_norm": 6.601818561553955, + "learning_rate": 3.0124242424242426e-06, + "loss": 6.239876556396484, + "step": 40355 + }, + { + "epoch": 0.1026, + "grad_norm": 5.260216236114502, + "learning_rate": 3.0121717171717172e-06, + "loss": 6.286800765991211, + "step": 40360 + }, + { + "epoch": 0.10265, + "grad_norm": 9.424042701721191, + "learning_rate": 3.011919191919192e-06, + "loss": 6.295162200927734, + "step": 40365 + }, + { + "epoch": 0.1027, + "grad_norm": 5.457647323608398, + "learning_rate": 3.0116666666666673e-06, + "loss": 6.253933715820312, + "step": 40370 + }, + { + "epoch": 0.10275, + "grad_norm": 5.727644443511963, + "learning_rate": 3.011414141414142e-06, + "loss": 6.262307739257812, + "step": 40375 + }, + { + "epoch": 0.1028, + "grad_norm": 4.150975227355957, + "learning_rate": 3.0111616161616166e-06, + "loss": 6.2860980987548825, + "step": 40380 + }, + { + "epoch": 0.10285, + "grad_norm": 7.042403697967529, + "learning_rate": 3.010909090909091e-06, + "loss": 6.284931945800781, + "step": 40385 + }, + { + "epoch": 0.1029, + "grad_norm": 5.513954162597656, + "learning_rate": 3.0106565656565663e-06, + "loss": 6.239775085449219, + "step": 40390 + }, + { + "epoch": 0.10295, + "grad_norm": 4.471090793609619, + "learning_rate": 3.010404040404041e-06, + "loss": 6.256489944458008, + "step": 40395 + }, + { + "epoch": 0.103, + "grad_norm": 10.35987663269043, + "learning_rate": 3.0101515151515155e-06, + "loss": 6.535841369628907, + "step": 40400 + }, + { + "epoch": 0.10305, + "grad_norm": 8.717995643615723, + "learning_rate": 3.00989898989899e-06, + "loss": 6.311105728149414, + "step": 40405 + }, + { + "epoch": 0.1031, + "grad_norm": 6.937499046325684, + "learning_rate": 3.0096464646464652e-06, + "loss": 6.215644073486328, + "step": 40410 + }, + { + "epoch": 0.10315, + "grad_norm": 7.145870685577393, + "learning_rate": 3.00939393939394e-06, + "loss": 6.431774139404297, + "step": 40415 + }, + { + "epoch": 0.1032, + "grad_norm": 5.85584831237793, + "learning_rate": 3.0091414141414145e-06, + "loss": 6.26512451171875, + "step": 40420 + }, + { + "epoch": 0.10325, + "grad_norm": 6.8029608726501465, + "learning_rate": 3.008888888888889e-06, + "loss": 6.374605560302735, + "step": 40425 + }, + { + "epoch": 0.1033, + "grad_norm": 7.486248970031738, + "learning_rate": 3.008636363636364e-06, + "loss": 6.239413452148438, + "step": 40430 + }, + { + "epoch": 0.10335, + "grad_norm": 4.869155406951904, + "learning_rate": 3.008383838383839e-06, + "loss": 6.300119781494141, + "step": 40435 + }, + { + "epoch": 0.1034, + "grad_norm": 4.470053672790527, + "learning_rate": 3.0081313131313134e-06, + "loss": 6.336081695556641, + "step": 40440 + }, + { + "epoch": 0.10345, + "grad_norm": 6.330890655517578, + "learning_rate": 3.007878787878788e-06, + "loss": 6.285746002197266, + "step": 40445 + }, + { + "epoch": 0.1035, + "grad_norm": 5.0657196044921875, + "learning_rate": 3.007626262626263e-06, + "loss": 6.268943023681641, + "step": 40450 + }, + { + "epoch": 0.10355, + "grad_norm": 5.9769206047058105, + "learning_rate": 3.0073737373737377e-06, + "loss": 6.297139739990234, + "step": 40455 + }, + { + "epoch": 0.1036, + "grad_norm": 9.325493812561035, + "learning_rate": 3.0071212121212124e-06, + "loss": 6.527535247802734, + "step": 40460 + }, + { + "epoch": 0.10365, + "grad_norm": 134.3438720703125, + "learning_rate": 3.006868686868687e-06, + "loss": 8.266242218017577, + "step": 40465 + }, + { + "epoch": 0.1037, + "grad_norm": 125.16313934326172, + "learning_rate": 3.006616161616162e-06, + "loss": 12.953028869628906, + "step": 40470 + }, + { + "epoch": 0.10375, + "grad_norm": 37.13949203491211, + "learning_rate": 3.0063636363636367e-06, + "loss": 10.4985107421875, + "step": 40475 + }, + { + "epoch": 0.1038, + "grad_norm": 16.651309967041016, + "learning_rate": 3.0061111111111113e-06, + "loss": 6.477317047119141, + "step": 40480 + }, + { + "epoch": 0.10385, + "grad_norm": 8.390119552612305, + "learning_rate": 3.005858585858586e-06, + "loss": 6.280329895019531, + "step": 40485 + }, + { + "epoch": 0.1039, + "grad_norm": 5.177037715911865, + "learning_rate": 3.005606060606061e-06, + "loss": 6.285473251342774, + "step": 40490 + }, + { + "epoch": 0.10395, + "grad_norm": 5.189109802246094, + "learning_rate": 3.0053535353535356e-06, + "loss": 6.261329269409179, + "step": 40495 + }, + { + "epoch": 0.104, + "grad_norm": 7.729437351226807, + "learning_rate": 3.0051010101010103e-06, + "loss": 6.243847274780274, + "step": 40500 + }, + { + "epoch": 0.10405, + "grad_norm": 4.976276397705078, + "learning_rate": 3.004848484848485e-06, + "loss": 6.289084625244141, + "step": 40505 + }, + { + "epoch": 0.1041, + "grad_norm": 11.201910972595215, + "learning_rate": 3.00459595959596e-06, + "loss": 6.3343353271484375, + "step": 40510 + }, + { + "epoch": 0.10415, + "grad_norm": 14.465672492980957, + "learning_rate": 3.0043434343434346e-06, + "loss": 6.304022216796875, + "step": 40515 + }, + { + "epoch": 0.1042, + "grad_norm": 7.24795389175415, + "learning_rate": 3.004090909090909e-06, + "loss": 6.275774383544922, + "step": 40520 + }, + { + "epoch": 0.10425, + "grad_norm": 13.336684226989746, + "learning_rate": 3.003838383838384e-06, + "loss": 6.267287063598633, + "step": 40525 + }, + { + "epoch": 0.1043, + "grad_norm": 9.539112091064453, + "learning_rate": 3.003585858585859e-06, + "loss": 6.259711456298828, + "step": 40530 + }, + { + "epoch": 0.10435, + "grad_norm": 10.171920776367188, + "learning_rate": 3.0033333333333335e-06, + "loss": 6.273975372314453, + "step": 40535 + }, + { + "epoch": 0.1044, + "grad_norm": 5.766279697418213, + "learning_rate": 3.003080808080808e-06, + "loss": 6.283254241943359, + "step": 40540 + }, + { + "epoch": 0.10445, + "grad_norm": 6.518184661865234, + "learning_rate": 3.0028282828282828e-06, + "loss": 6.280823135375977, + "step": 40545 + }, + { + "epoch": 0.1045, + "grad_norm": 7.85758113861084, + "learning_rate": 3.002575757575758e-06, + "loss": 6.287916564941407, + "step": 40550 + }, + { + "epoch": 0.10455, + "grad_norm": 7.479003429412842, + "learning_rate": 3.0023232323232325e-06, + "loss": 6.232364654541016, + "step": 40555 + }, + { + "epoch": 0.1046, + "grad_norm": 5.107433319091797, + "learning_rate": 3.002070707070707e-06, + "loss": 6.2816120147705075, + "step": 40560 + }, + { + "epoch": 0.10465, + "grad_norm": 6.287453651428223, + "learning_rate": 3.0018181818181817e-06, + "loss": 6.247831726074219, + "step": 40565 + }, + { + "epoch": 0.1047, + "grad_norm": 9.774673461914062, + "learning_rate": 3.001565656565657e-06, + "loss": 6.31121597290039, + "step": 40570 + }, + { + "epoch": 0.10475, + "grad_norm": 3.692631244659424, + "learning_rate": 3.001313131313132e-06, + "loss": 6.277284240722656, + "step": 40575 + }, + { + "epoch": 0.1048, + "grad_norm": 5.0820631980896, + "learning_rate": 3.001060606060606e-06, + "loss": 6.253063583374024, + "step": 40580 + }, + { + "epoch": 0.10485, + "grad_norm": 11.12437629699707, + "learning_rate": 3.0008080808080807e-06, + "loss": 6.2375740051269535, + "step": 40585 + }, + { + "epoch": 0.1049, + "grad_norm": 5.935394763946533, + "learning_rate": 3.000555555555556e-06, + "loss": 6.246023941040039, + "step": 40590 + }, + { + "epoch": 0.10495, + "grad_norm": 24.374509811401367, + "learning_rate": 3.0003030303030308e-06, + "loss": 6.248966979980469, + "step": 40595 + }, + { + "epoch": 0.105, + "grad_norm": 7.359996795654297, + "learning_rate": 3.0000505050505054e-06, + "loss": 6.256580352783203, + "step": 40600 + }, + { + "epoch": 0.10505, + "grad_norm": 9.23360824584961, + "learning_rate": 2.9997979797979796e-06, + "loss": 6.261281204223633, + "step": 40605 + }, + { + "epoch": 0.1051, + "grad_norm": 6.719620227813721, + "learning_rate": 2.999545454545455e-06, + "loss": 6.238925552368164, + "step": 40610 + }, + { + "epoch": 0.10515, + "grad_norm": 6.337646484375, + "learning_rate": 2.9992929292929297e-06, + "loss": 6.26183853149414, + "step": 40615 + }, + { + "epoch": 0.1052, + "grad_norm": 6.444962024688721, + "learning_rate": 2.9990404040404043e-06, + "loss": 6.259833145141601, + "step": 40620 + }, + { + "epoch": 0.10525, + "grad_norm": 18.569395065307617, + "learning_rate": 2.998787878787879e-06, + "loss": 6.209279632568359, + "step": 40625 + }, + { + "epoch": 0.1053, + "grad_norm": 4.989202499389648, + "learning_rate": 2.998535353535354e-06, + "loss": 6.237330627441406, + "step": 40630 + }, + { + "epoch": 0.10535, + "grad_norm": 3.8753609657287598, + "learning_rate": 2.9982828282828287e-06, + "loss": 6.2969917297363285, + "step": 40635 + }, + { + "epoch": 0.1054, + "grad_norm": 9.704370498657227, + "learning_rate": 2.9980303030303033e-06, + "loss": 6.222171020507813, + "step": 40640 + }, + { + "epoch": 0.10545, + "grad_norm": 7.0230207443237305, + "learning_rate": 2.997777777777778e-06, + "loss": 6.05952262878418, + "step": 40645 + }, + { + "epoch": 0.1055, + "grad_norm": 10.156947135925293, + "learning_rate": 2.997525252525253e-06, + "loss": 6.341531372070312, + "step": 40650 + }, + { + "epoch": 0.10555, + "grad_norm": 14.176620483398438, + "learning_rate": 2.9972727272727276e-06, + "loss": 6.273281097412109, + "step": 40655 + }, + { + "epoch": 0.1056, + "grad_norm": 8.913905143737793, + "learning_rate": 2.9970202020202022e-06, + "loss": 6.289741134643554, + "step": 40660 + }, + { + "epoch": 0.10565, + "grad_norm": 10.895167350769043, + "learning_rate": 2.996767676767677e-06, + "loss": 6.2671558380126955, + "step": 40665 + }, + { + "epoch": 0.1057, + "grad_norm": 6.0147857666015625, + "learning_rate": 2.996515151515152e-06, + "loss": 6.2519386291503904, + "step": 40670 + }, + { + "epoch": 0.10575, + "grad_norm": 6.228724956512451, + "learning_rate": 2.9962626262626265e-06, + "loss": 6.274525833129883, + "step": 40675 + }, + { + "epoch": 0.1058, + "grad_norm": 5.969265937805176, + "learning_rate": 2.996010101010101e-06, + "loss": 6.267035675048828, + "step": 40680 + }, + { + "epoch": 0.10585, + "grad_norm": 8.021136283874512, + "learning_rate": 2.995757575757576e-06, + "loss": 6.297406005859375, + "step": 40685 + }, + { + "epoch": 0.1059, + "grad_norm": 6.820622444152832, + "learning_rate": 2.995505050505051e-06, + "loss": 6.323248291015625, + "step": 40690 + }, + { + "epoch": 0.10595, + "grad_norm": 10.419938087463379, + "learning_rate": 2.9952525252525255e-06, + "loss": 6.284586334228516, + "step": 40695 + }, + { + "epoch": 0.106, + "grad_norm": 7.659506797790527, + "learning_rate": 2.995e-06, + "loss": 6.346948623657227, + "step": 40700 + }, + { + "epoch": 0.10605, + "grad_norm": 28.604604721069336, + "learning_rate": 2.9947474747474748e-06, + "loss": 6.3267333984375, + "step": 40705 + }, + { + "epoch": 0.1061, + "grad_norm": 3.9632394313812256, + "learning_rate": 2.99449494949495e-06, + "loss": 6.2607673645019535, + "step": 40710 + }, + { + "epoch": 0.10615, + "grad_norm": 4.21470832824707, + "learning_rate": 2.9942424242424244e-06, + "loss": 6.224674987792969, + "step": 40715 + }, + { + "epoch": 0.1062, + "grad_norm": 6.9980692863464355, + "learning_rate": 2.993989898989899e-06, + "loss": 6.231050109863281, + "step": 40720 + }, + { + "epoch": 0.10625, + "grad_norm": 6.107598781585693, + "learning_rate": 2.9937373737373737e-06, + "loss": 6.2468116760253904, + "step": 40725 + }, + { + "epoch": 0.1063, + "grad_norm": 7.791594982147217, + "learning_rate": 2.9934848484848488e-06, + "loss": 6.267155456542969, + "step": 40730 + }, + { + "epoch": 0.10635, + "grad_norm": 7.453476905822754, + "learning_rate": 2.9932323232323234e-06, + "loss": 6.256111526489258, + "step": 40735 + }, + { + "epoch": 0.1064, + "grad_norm": 8.638350486755371, + "learning_rate": 2.992979797979798e-06, + "loss": 6.422781372070313, + "step": 40740 + }, + { + "epoch": 0.10645, + "grad_norm": 9.034923553466797, + "learning_rate": 2.9927272727272726e-06, + "loss": 6.24482421875, + "step": 40745 + }, + { + "epoch": 0.1065, + "grad_norm": 12.864320755004883, + "learning_rate": 2.9924747474747477e-06, + "loss": 6.4788818359375, + "step": 40750 + }, + { + "epoch": 0.10655, + "grad_norm": 10.517550468444824, + "learning_rate": 2.9922222222222223e-06, + "loss": 6.341886901855469, + "step": 40755 + }, + { + "epoch": 0.1066, + "grad_norm": 14.767560005187988, + "learning_rate": 2.991969696969697e-06, + "loss": 6.200382232666016, + "step": 40760 + }, + { + "epoch": 0.10665, + "grad_norm": 7.320537567138672, + "learning_rate": 2.9917171717171716e-06, + "loss": 6.221676635742187, + "step": 40765 + }, + { + "epoch": 0.1067, + "grad_norm": 7.434189796447754, + "learning_rate": 2.9914646464646466e-06, + "loss": 6.2841846466064455, + "step": 40770 + }, + { + "epoch": 0.10675, + "grad_norm": 4.990092754364014, + "learning_rate": 2.9912121212121213e-06, + "loss": 6.324711608886719, + "step": 40775 + }, + { + "epoch": 0.1068, + "grad_norm": 4.967430114746094, + "learning_rate": 2.990959595959596e-06, + "loss": 6.264008331298828, + "step": 40780 + }, + { + "epoch": 0.10685, + "grad_norm": 20.42410659790039, + "learning_rate": 2.9907070707070714e-06, + "loss": 6.2788043975830075, + "step": 40785 + }, + { + "epoch": 0.1069, + "grad_norm": 6.302306652069092, + "learning_rate": 2.990454545454546e-06, + "loss": 6.290393829345703, + "step": 40790 + }, + { + "epoch": 0.10695, + "grad_norm": 6.929636001586914, + "learning_rate": 2.9902020202020206e-06, + "loss": 6.340483093261719, + "step": 40795 + }, + { + "epoch": 0.107, + "grad_norm": 7.211329936981201, + "learning_rate": 2.989949494949495e-06, + "loss": 6.228456115722656, + "step": 40800 + }, + { + "epoch": 0.10705, + "grad_norm": 12.614211082458496, + "learning_rate": 2.9896969696969703e-06, + "loss": 6.360259246826172, + "step": 40805 + }, + { + "epoch": 0.1071, + "grad_norm": 14.20513916015625, + "learning_rate": 2.989444444444445e-06, + "loss": 6.334272766113282, + "step": 40810 + }, + { + "epoch": 0.10715, + "grad_norm": 5.4767584800720215, + "learning_rate": 2.9891919191919196e-06, + "loss": 6.283755874633789, + "step": 40815 + }, + { + "epoch": 0.1072, + "grad_norm": 4.442662715911865, + "learning_rate": 2.988939393939394e-06, + "loss": 6.245004653930664, + "step": 40820 + }, + { + "epoch": 0.10725, + "grad_norm": 8.286430358886719, + "learning_rate": 2.9886868686868693e-06, + "loss": 6.25506820678711, + "step": 40825 + }, + { + "epoch": 0.1073, + "grad_norm": 4.576002597808838, + "learning_rate": 2.988434343434344e-06, + "loss": 6.280361175537109, + "step": 40830 + }, + { + "epoch": 0.10735, + "grad_norm": 7.373710632324219, + "learning_rate": 2.9881818181818185e-06, + "loss": 6.2281982421875, + "step": 40835 + }, + { + "epoch": 0.1074, + "grad_norm": 7.602756977081299, + "learning_rate": 2.987929292929293e-06, + "loss": 6.69635009765625, + "step": 40840 + }, + { + "epoch": 0.10745, + "grad_norm": 4.879395008087158, + "learning_rate": 2.987676767676768e-06, + "loss": 6.279949188232422, + "step": 40845 + }, + { + "epoch": 0.1075, + "grad_norm": 5.522468090057373, + "learning_rate": 2.987424242424243e-06, + "loss": 6.2714378356933596, + "step": 40850 + }, + { + "epoch": 0.10755, + "grad_norm": 5.0823822021484375, + "learning_rate": 2.9871717171717175e-06, + "loss": 6.273974990844726, + "step": 40855 + }, + { + "epoch": 0.1076, + "grad_norm": 7.435618877410889, + "learning_rate": 2.986919191919192e-06, + "loss": 6.257195663452149, + "step": 40860 + }, + { + "epoch": 0.10765, + "grad_norm": 6.0120673179626465, + "learning_rate": 2.986666666666667e-06, + "loss": 6.301453399658203, + "step": 40865 + }, + { + "epoch": 0.1077, + "grad_norm": 6.851010799407959, + "learning_rate": 2.9864141414141418e-06, + "loss": 6.370705413818359, + "step": 40870 + }, + { + "epoch": 0.10775, + "grad_norm": 2.761730432510376, + "learning_rate": 2.9861616161616164e-06, + "loss": 6.269339752197266, + "step": 40875 + }, + { + "epoch": 0.1078, + "grad_norm": 6.472357273101807, + "learning_rate": 2.985909090909091e-06, + "loss": 6.264884567260742, + "step": 40880 + }, + { + "epoch": 0.10785, + "grad_norm": 4.667497158050537, + "learning_rate": 2.985656565656566e-06, + "loss": 6.336279296875, + "step": 40885 + }, + { + "epoch": 0.1079, + "grad_norm": 4.179515361785889, + "learning_rate": 2.9854040404040407e-06, + "loss": 6.266117095947266, + "step": 40890 + }, + { + "epoch": 0.10795, + "grad_norm": 29.279041290283203, + "learning_rate": 2.9851515151515154e-06, + "loss": 6.178432846069336, + "step": 40895 + }, + { + "epoch": 0.108, + "grad_norm": 9.64975643157959, + "learning_rate": 2.98489898989899e-06, + "loss": 6.34957275390625, + "step": 40900 + }, + { + "epoch": 0.10805, + "grad_norm": 8.178918838500977, + "learning_rate": 2.984646464646465e-06, + "loss": 6.214247512817383, + "step": 40905 + }, + { + "epoch": 0.1081, + "grad_norm": 5.949940204620361, + "learning_rate": 2.9843939393939397e-06, + "loss": 6.307320404052734, + "step": 40910 + }, + { + "epoch": 0.10815, + "grad_norm": 4.296314716339111, + "learning_rate": 2.9841414141414143e-06, + "loss": 6.380503082275391, + "step": 40915 + }, + { + "epoch": 0.1082, + "grad_norm": 5.258572101593018, + "learning_rate": 2.983888888888889e-06, + "loss": 6.261359024047851, + "step": 40920 + }, + { + "epoch": 0.10825, + "grad_norm": 5.684201240539551, + "learning_rate": 2.983636363636364e-06, + "loss": 6.271492385864258, + "step": 40925 + }, + { + "epoch": 0.1083, + "grad_norm": 8.404999732971191, + "learning_rate": 2.9833838383838386e-06, + "loss": 6.271096038818359, + "step": 40930 + }, + { + "epoch": 0.10835, + "grad_norm": 5.682455539703369, + "learning_rate": 2.9831313131313132e-06, + "loss": 6.229798126220703, + "step": 40935 + }, + { + "epoch": 0.1084, + "grad_norm": 4.5564351081848145, + "learning_rate": 2.982878787878788e-06, + "loss": 6.2810111999511715, + "step": 40940 + }, + { + "epoch": 0.10845, + "grad_norm": 9.572443008422852, + "learning_rate": 2.982626262626263e-06, + "loss": 6.346748733520508, + "step": 40945 + }, + { + "epoch": 0.1085, + "grad_norm": 5.528713703155518, + "learning_rate": 2.9823737373737376e-06, + "loss": 6.271268844604492, + "step": 40950 + }, + { + "epoch": 0.10855, + "grad_norm": 4.9156036376953125, + "learning_rate": 2.982121212121212e-06, + "loss": 6.266257858276367, + "step": 40955 + }, + { + "epoch": 0.1086, + "grad_norm": 16.79425048828125, + "learning_rate": 2.981868686868687e-06, + "loss": 6.286772537231445, + "step": 40960 + }, + { + "epoch": 0.10865, + "grad_norm": 7.619675636291504, + "learning_rate": 2.981616161616162e-06, + "loss": 6.336900329589843, + "step": 40965 + }, + { + "epoch": 0.1087, + "grad_norm": 7.393255233764648, + "learning_rate": 2.9813636363636365e-06, + "loss": 6.228494262695312, + "step": 40970 + }, + { + "epoch": 0.10875, + "grad_norm": 8.764200210571289, + "learning_rate": 2.981111111111111e-06, + "loss": 6.292969512939453, + "step": 40975 + }, + { + "epoch": 0.1088, + "grad_norm": 6.330799102783203, + "learning_rate": 2.9808585858585858e-06, + "loss": 6.313798522949218, + "step": 40980 + }, + { + "epoch": 0.10885, + "grad_norm": 4.762684345245361, + "learning_rate": 2.9806060606060612e-06, + "loss": 6.279609680175781, + "step": 40985 + }, + { + "epoch": 0.1089, + "grad_norm": 4.448489189147949, + "learning_rate": 2.980353535353536e-06, + "loss": 6.248809051513672, + "step": 40990 + }, + { + "epoch": 0.10895, + "grad_norm": 6.324843883514404, + "learning_rate": 2.98010101010101e-06, + "loss": 6.2090202331542965, + "step": 40995 + }, + { + "epoch": 0.109, + "grad_norm": 10.512880325317383, + "learning_rate": 2.9798484848484847e-06, + "loss": 6.3197887420654295, + "step": 41000 + }, + { + "epoch": 0.10905, + "grad_norm": 4.574416160583496, + "learning_rate": 2.97959595959596e-06, + "loss": 6.2608287811279295, + "step": 41005 + }, + { + "epoch": 0.1091, + "grad_norm": 12.36335277557373, + "learning_rate": 2.979343434343435e-06, + "loss": 6.373162841796875, + "step": 41010 + }, + { + "epoch": 0.10915, + "grad_norm": 10.4263277053833, + "learning_rate": 2.9790909090909094e-06, + "loss": 6.241296005249024, + "step": 41015 + }, + { + "epoch": 0.1092, + "grad_norm": 7.446870803833008, + "learning_rate": 2.978838383838384e-06, + "loss": 6.312519073486328, + "step": 41020 + }, + { + "epoch": 0.10925, + "grad_norm": 6.928959369659424, + "learning_rate": 2.978585858585859e-06, + "loss": 6.255401992797852, + "step": 41025 + }, + { + "epoch": 0.1093, + "grad_norm": 4.91571044921875, + "learning_rate": 2.9783333333333338e-06, + "loss": 6.258394622802735, + "step": 41030 + }, + { + "epoch": 0.10935, + "grad_norm": 5.362354278564453, + "learning_rate": 2.9780808080808084e-06, + "loss": 6.264893341064453, + "step": 41035 + }, + { + "epoch": 0.1094, + "grad_norm": 6.303365707397461, + "learning_rate": 2.977828282828283e-06, + "loss": 6.251821136474609, + "step": 41040 + }, + { + "epoch": 0.10945, + "grad_norm": 6.251884460449219, + "learning_rate": 2.977575757575758e-06, + "loss": 6.248333358764649, + "step": 41045 + }, + { + "epoch": 0.1095, + "grad_norm": 5.371576309204102, + "learning_rate": 2.9773232323232327e-06, + "loss": 6.262422943115235, + "step": 41050 + }, + { + "epoch": 0.10955, + "grad_norm": 6.611239910125732, + "learning_rate": 2.9770707070707073e-06, + "loss": 6.267708587646484, + "step": 41055 + }, + { + "epoch": 0.1096, + "grad_norm": 5.9880194664001465, + "learning_rate": 2.976818181818182e-06, + "loss": 6.266776275634766, + "step": 41060 + }, + { + "epoch": 0.10965, + "grad_norm": 7.130743026733398, + "learning_rate": 2.976565656565657e-06, + "loss": 6.271404647827149, + "step": 41065 + }, + { + "epoch": 0.1097, + "grad_norm": 12.478859901428223, + "learning_rate": 2.9763131313131316e-06, + "loss": 6.298145294189453, + "step": 41070 + }, + { + "epoch": 0.10975, + "grad_norm": 9.258267402648926, + "learning_rate": 2.9760606060606063e-06, + "loss": 6.2506462097167965, + "step": 41075 + }, + { + "epoch": 0.1098, + "grad_norm": 5.856215476989746, + "learning_rate": 2.975808080808081e-06, + "loss": 6.214831161499023, + "step": 41080 + }, + { + "epoch": 0.10985, + "grad_norm": 5.476376056671143, + "learning_rate": 2.975555555555556e-06, + "loss": 6.36833610534668, + "step": 41085 + }, + { + "epoch": 0.1099, + "grad_norm": 6.68466854095459, + "learning_rate": 2.9753030303030306e-06, + "loss": 6.273912811279297, + "step": 41090 + }, + { + "epoch": 0.10995, + "grad_norm": 11.363049507141113, + "learning_rate": 2.9750505050505052e-06, + "loss": 6.247793960571289, + "step": 41095 + }, + { + "epoch": 0.11, + "grad_norm": 7.614119052886963, + "learning_rate": 2.97479797979798e-06, + "loss": 6.280935668945313, + "step": 41100 + }, + { + "epoch": 0.11005, + "grad_norm": 12.029210090637207, + "learning_rate": 2.974545454545455e-06, + "loss": 6.5172889709472654, + "step": 41105 + }, + { + "epoch": 0.1101, + "grad_norm": 8.118119239807129, + "learning_rate": 2.9742929292929295e-06, + "loss": 6.268307495117187, + "step": 41110 + }, + { + "epoch": 0.11015, + "grad_norm": 7.955708026885986, + "learning_rate": 2.974040404040404e-06, + "loss": 6.322783279418945, + "step": 41115 + }, + { + "epoch": 0.1102, + "grad_norm": 3.6563146114349365, + "learning_rate": 2.973787878787879e-06, + "loss": 6.265524291992188, + "step": 41120 + }, + { + "epoch": 0.11025, + "grad_norm": 6.1474761962890625, + "learning_rate": 2.973535353535354e-06, + "loss": 6.261041259765625, + "step": 41125 + }, + { + "epoch": 0.1103, + "grad_norm": 4.379037380218506, + "learning_rate": 2.9732828282828285e-06, + "loss": 6.292686843872071, + "step": 41130 + }, + { + "epoch": 0.11035, + "grad_norm": 16.48497772216797, + "learning_rate": 2.973030303030303e-06, + "loss": 6.535237121582031, + "step": 41135 + }, + { + "epoch": 0.1104, + "grad_norm": 5.66033411026001, + "learning_rate": 2.9727777777777777e-06, + "loss": 6.4000297546386715, + "step": 41140 + }, + { + "epoch": 0.11045, + "grad_norm": 4.6377644538879395, + "learning_rate": 2.972525252525253e-06, + "loss": 6.291164779663086, + "step": 41145 + }, + { + "epoch": 0.1105, + "grad_norm": 5.350574970245361, + "learning_rate": 2.9722727272727274e-06, + "loss": 6.247637557983398, + "step": 41150 + }, + { + "epoch": 0.11055, + "grad_norm": 6.493470191955566, + "learning_rate": 2.972020202020202e-06, + "loss": 6.254945373535156, + "step": 41155 + }, + { + "epoch": 0.1106, + "grad_norm": 5.607198715209961, + "learning_rate": 2.9717676767676767e-06, + "loss": 6.271080398559571, + "step": 41160 + }, + { + "epoch": 0.11065, + "grad_norm": 8.763639450073242, + "learning_rate": 2.9715151515151517e-06, + "loss": 6.272879028320313, + "step": 41165 + }, + { + "epoch": 0.1107, + "grad_norm": 5.549384593963623, + "learning_rate": 2.9712626262626264e-06, + "loss": 6.256103515625, + "step": 41170 + }, + { + "epoch": 0.11075, + "grad_norm": 8.347752571105957, + "learning_rate": 2.971010101010101e-06, + "loss": 6.290843963623047, + "step": 41175 + }, + { + "epoch": 0.1108, + "grad_norm": 4.552396297454834, + "learning_rate": 2.9707575757575756e-06, + "loss": 6.280599594116211, + "step": 41180 + }, + { + "epoch": 0.11085, + "grad_norm": 5.94397497177124, + "learning_rate": 2.9705050505050507e-06, + "loss": 6.238227844238281, + "step": 41185 + }, + { + "epoch": 0.1109, + "grad_norm": 7.0707197189331055, + "learning_rate": 2.9702525252525253e-06, + "loss": 6.239736938476563, + "step": 41190 + }, + { + "epoch": 0.11095, + "grad_norm": 6.7687907218933105, + "learning_rate": 2.97e-06, + "loss": 6.323059844970703, + "step": 41195 + }, + { + "epoch": 0.111, + "grad_norm": 6.979925155639648, + "learning_rate": 2.9697474747474754e-06, + "loss": 6.277816390991211, + "step": 41200 + }, + { + "epoch": 0.11105, + "grad_norm": 6.223848819732666, + "learning_rate": 2.96949494949495e-06, + "loss": 6.2793537139892575, + "step": 41205 + }, + { + "epoch": 0.1111, + "grad_norm": 5.624636173248291, + "learning_rate": 2.9692424242424247e-06, + "loss": 6.268921661376953, + "step": 41210 + }, + { + "epoch": 0.11115, + "grad_norm": 4.727057456970215, + "learning_rate": 2.968989898989899e-06, + "loss": 6.2523048400878904, + "step": 41215 + }, + { + "epoch": 0.1112, + "grad_norm": 6.495463848114014, + "learning_rate": 2.9687373737373744e-06, + "loss": 6.220867156982422, + "step": 41220 + }, + { + "epoch": 0.11125, + "grad_norm": 4.154056072235107, + "learning_rate": 2.968484848484849e-06, + "loss": 6.285371780395508, + "step": 41225 + }, + { + "epoch": 0.1113, + "grad_norm": 6.523233890533447, + "learning_rate": 2.9682323232323236e-06, + "loss": 6.296580123901367, + "step": 41230 + }, + { + "epoch": 0.11135, + "grad_norm": 6.064924716949463, + "learning_rate": 2.9679797979797983e-06, + "loss": 6.293346405029297, + "step": 41235 + }, + { + "epoch": 0.1114, + "grad_norm": 6.762385368347168, + "learning_rate": 2.9677272727272733e-06, + "loss": 6.289669799804687, + "step": 41240 + }, + { + "epoch": 0.11145, + "grad_norm": 6.701186180114746, + "learning_rate": 2.967474747474748e-06, + "loss": 6.2802589416503904, + "step": 41245 + }, + { + "epoch": 0.1115, + "grad_norm": 4.8078460693359375, + "learning_rate": 2.9672222222222226e-06, + "loss": 6.222413635253906, + "step": 41250 + }, + { + "epoch": 0.11155, + "grad_norm": 4.475780963897705, + "learning_rate": 2.966969696969697e-06, + "loss": 6.2957305908203125, + "step": 41255 + }, + { + "epoch": 0.1116, + "grad_norm": 8.48910903930664, + "learning_rate": 2.9667171717171722e-06, + "loss": 6.272172546386718, + "step": 41260 + }, + { + "epoch": 0.11165, + "grad_norm": 6.871008396148682, + "learning_rate": 2.966464646464647e-06, + "loss": 6.248432922363281, + "step": 41265 + }, + { + "epoch": 0.1117, + "grad_norm": 19.11674690246582, + "learning_rate": 2.9662121212121215e-06, + "loss": 6.322248077392578, + "step": 41270 + }, + { + "epoch": 0.11175, + "grad_norm": 8.00665283203125, + "learning_rate": 2.965959595959596e-06, + "loss": 6.262233734130859, + "step": 41275 + }, + { + "epoch": 0.1118, + "grad_norm": 5.737044334411621, + "learning_rate": 2.965707070707071e-06, + "loss": 6.261259460449219, + "step": 41280 + }, + { + "epoch": 0.11185, + "grad_norm": 8.313483238220215, + "learning_rate": 2.965454545454546e-06, + "loss": 6.264871978759766, + "step": 41285 + }, + { + "epoch": 0.1119, + "grad_norm": 5.187436103820801, + "learning_rate": 2.9652020202020205e-06, + "loss": 6.2812145233154295, + "step": 41290 + }, + { + "epoch": 0.11195, + "grad_norm": 4.891008377075195, + "learning_rate": 2.964949494949495e-06, + "loss": 6.293492126464844, + "step": 41295 + }, + { + "epoch": 0.112, + "grad_norm": 4.70589542388916, + "learning_rate": 2.96469696969697e-06, + "loss": 6.3165332794189455, + "step": 41300 + }, + { + "epoch": 0.11205, + "grad_norm": 7.696374416351318, + "learning_rate": 2.9644444444444448e-06, + "loss": 6.256259918212891, + "step": 41305 + }, + { + "epoch": 0.1121, + "grad_norm": 4.608224868774414, + "learning_rate": 2.9641919191919194e-06, + "loss": 6.285852432250977, + "step": 41310 + }, + { + "epoch": 0.11215, + "grad_norm": 6.0423126220703125, + "learning_rate": 2.963939393939394e-06, + "loss": 6.289660263061523, + "step": 41315 + }, + { + "epoch": 0.1122, + "grad_norm": 7.3712592124938965, + "learning_rate": 2.963686868686869e-06, + "loss": 6.33595085144043, + "step": 41320 + }, + { + "epoch": 0.11225, + "grad_norm": 7.778461456298828, + "learning_rate": 2.9634343434343437e-06, + "loss": 6.262926864624023, + "step": 41325 + }, + { + "epoch": 0.1123, + "grad_norm": 6.294922828674316, + "learning_rate": 2.9631818181818183e-06, + "loss": 6.232413101196289, + "step": 41330 + }, + { + "epoch": 0.11235, + "grad_norm": 8.397032737731934, + "learning_rate": 2.962929292929293e-06, + "loss": 6.295490646362305, + "step": 41335 + }, + { + "epoch": 0.1124, + "grad_norm": 6.530921936035156, + "learning_rate": 2.962676767676768e-06, + "loss": 6.268463516235352, + "step": 41340 + }, + { + "epoch": 0.11245, + "grad_norm": 34.06431198120117, + "learning_rate": 2.9624242424242427e-06, + "loss": 6.445970153808593, + "step": 41345 + }, + { + "epoch": 0.1125, + "grad_norm": 4.121753215789795, + "learning_rate": 2.9621717171717173e-06, + "loss": 6.258296203613281, + "step": 41350 + }, + { + "epoch": 0.11255, + "grad_norm": 3.7035129070281982, + "learning_rate": 2.961919191919192e-06, + "loss": 6.244090270996094, + "step": 41355 + }, + { + "epoch": 0.1126, + "grad_norm": 6.9883952140808105, + "learning_rate": 2.961666666666667e-06, + "loss": 6.2421222686767575, + "step": 41360 + }, + { + "epoch": 0.11265, + "grad_norm": 15.533695220947266, + "learning_rate": 2.9614141414141416e-06, + "loss": 6.309162139892578, + "step": 41365 + }, + { + "epoch": 0.1127, + "grad_norm": 4.674856662750244, + "learning_rate": 2.9611616161616162e-06, + "loss": 6.274088668823242, + "step": 41370 + }, + { + "epoch": 0.11275, + "grad_norm": 8.235374450683594, + "learning_rate": 2.960909090909091e-06, + "loss": 6.209796142578125, + "step": 41375 + }, + { + "epoch": 0.1128, + "grad_norm": 9.513147354125977, + "learning_rate": 2.960656565656566e-06, + "loss": 6.251120758056641, + "step": 41380 + }, + { + "epoch": 0.11285, + "grad_norm": 5.406252384185791, + "learning_rate": 2.9604040404040405e-06, + "loss": 6.2913658142089846, + "step": 41385 + }, + { + "epoch": 0.1129, + "grad_norm": 6.208230018615723, + "learning_rate": 2.960151515151515e-06, + "loss": 6.293059158325195, + "step": 41390 + }, + { + "epoch": 0.11295, + "grad_norm": 14.40453052520752, + "learning_rate": 2.95989898989899e-06, + "loss": 6.297216796875, + "step": 41395 + }, + { + "epoch": 0.113, + "grad_norm": 8.947781562805176, + "learning_rate": 2.9596464646464653e-06, + "loss": 6.4792327880859375, + "step": 41400 + }, + { + "epoch": 0.11305, + "grad_norm": 5.911376476287842, + "learning_rate": 2.95939393939394e-06, + "loss": 6.2596588134765625, + "step": 41405 + }, + { + "epoch": 0.1131, + "grad_norm": 9.886540412902832, + "learning_rate": 2.959141414141414e-06, + "loss": 6.3148548126220705, + "step": 41410 + }, + { + "epoch": 0.11315, + "grad_norm": 4.352113723754883, + "learning_rate": 2.9588888888888887e-06, + "loss": 6.285553741455078, + "step": 41415 + }, + { + "epoch": 0.1132, + "grad_norm": 5.89048957824707, + "learning_rate": 2.9586363636363642e-06, + "loss": 6.293347549438477, + "step": 41420 + }, + { + "epoch": 0.11325, + "grad_norm": 7.9286789894104, + "learning_rate": 2.958383838383839e-06, + "loss": 6.284070205688477, + "step": 41425 + }, + { + "epoch": 0.1133, + "grad_norm": 8.105696678161621, + "learning_rate": 2.9581313131313135e-06, + "loss": 6.216458511352539, + "step": 41430 + }, + { + "epoch": 0.11335, + "grad_norm": 8.600119590759277, + "learning_rate": 2.957878787878788e-06, + "loss": 6.25108757019043, + "step": 41435 + }, + { + "epoch": 0.1134, + "grad_norm": 6.105043888092041, + "learning_rate": 2.957626262626263e-06, + "loss": 6.260860824584961, + "step": 41440 + }, + { + "epoch": 0.11345, + "grad_norm": 33.616058349609375, + "learning_rate": 2.957373737373738e-06, + "loss": 6.410401916503906, + "step": 41445 + }, + { + "epoch": 0.1135, + "grad_norm": 9.411081314086914, + "learning_rate": 2.9571212121212124e-06, + "loss": 6.2671043395996096, + "step": 41450 + }, + { + "epoch": 0.11355, + "grad_norm": 6.475320339202881, + "learning_rate": 2.956868686868687e-06, + "loss": 6.258475112915039, + "step": 41455 + }, + { + "epoch": 0.1136, + "grad_norm": 5.441645622253418, + "learning_rate": 2.956616161616162e-06, + "loss": 6.327923583984375, + "step": 41460 + }, + { + "epoch": 0.11365, + "grad_norm": 7.256167888641357, + "learning_rate": 2.9563636363636367e-06, + "loss": 6.2333526611328125, + "step": 41465 + }, + { + "epoch": 0.1137, + "grad_norm": 5.314755439758301, + "learning_rate": 2.9561111111111114e-06, + "loss": 6.26744270324707, + "step": 41470 + }, + { + "epoch": 0.11375, + "grad_norm": 4.0301384925842285, + "learning_rate": 2.955858585858586e-06, + "loss": 6.282952880859375, + "step": 41475 + }, + { + "epoch": 0.1138, + "grad_norm": 9.508482933044434, + "learning_rate": 2.955606060606061e-06, + "loss": 6.235935211181641, + "step": 41480 + }, + { + "epoch": 0.11385, + "grad_norm": 5.513493537902832, + "learning_rate": 2.9553535353535357e-06, + "loss": 6.251705169677734, + "step": 41485 + }, + { + "epoch": 0.1139, + "grad_norm": 7.165191173553467, + "learning_rate": 2.9551010101010103e-06, + "loss": 6.244139862060547, + "step": 41490 + }, + { + "epoch": 0.11395, + "grad_norm": 16.954233169555664, + "learning_rate": 2.954848484848485e-06, + "loss": 6.326641845703125, + "step": 41495 + }, + { + "epoch": 0.114, + "grad_norm": 6.347146987915039, + "learning_rate": 2.95459595959596e-06, + "loss": 6.249903869628906, + "step": 41500 + }, + { + "epoch": 0.11405, + "grad_norm": 6.157090663909912, + "learning_rate": 2.9543434343434346e-06, + "loss": 6.218859100341797, + "step": 41505 + }, + { + "epoch": 0.1141, + "grad_norm": 6.450079441070557, + "learning_rate": 2.9540909090909093e-06, + "loss": 6.253480529785156, + "step": 41510 + }, + { + "epoch": 0.11415, + "grad_norm": 3.8873414993286133, + "learning_rate": 2.953838383838384e-06, + "loss": 6.235320281982422, + "step": 41515 + }, + { + "epoch": 0.1142, + "grad_norm": 5.781500339508057, + "learning_rate": 2.953585858585859e-06, + "loss": 6.228903961181641, + "step": 41520 + }, + { + "epoch": 0.11425, + "grad_norm": 25.64179039001465, + "learning_rate": 2.9533333333333336e-06, + "loss": 6.35697021484375, + "step": 41525 + }, + { + "epoch": 0.1143, + "grad_norm": 3.9164583683013916, + "learning_rate": 2.953080808080808e-06, + "loss": 6.266347885131836, + "step": 41530 + }, + { + "epoch": 0.11435, + "grad_norm": 13.64067554473877, + "learning_rate": 2.952828282828283e-06, + "loss": 6.24957504272461, + "step": 41535 + }, + { + "epoch": 0.1144, + "grad_norm": 8.292939186096191, + "learning_rate": 2.952575757575758e-06, + "loss": 6.218635177612304, + "step": 41540 + }, + { + "epoch": 0.11445, + "grad_norm": 3.032524347305298, + "learning_rate": 2.9523232323232325e-06, + "loss": 6.317592620849609, + "step": 41545 + }, + { + "epoch": 0.1145, + "grad_norm": 6.949008464813232, + "learning_rate": 2.952070707070707e-06, + "loss": 6.234265899658203, + "step": 41550 + }, + { + "epoch": 0.11455, + "grad_norm": 6.147146224975586, + "learning_rate": 2.9518181818181818e-06, + "loss": 6.3040321350097654, + "step": 41555 + }, + { + "epoch": 0.1146, + "grad_norm": 6.422920227050781, + "learning_rate": 2.951565656565657e-06, + "loss": 6.264558410644531, + "step": 41560 + }, + { + "epoch": 0.11465, + "grad_norm": 4.4102349281311035, + "learning_rate": 2.9513131313131315e-06, + "loss": 6.2358654022216795, + "step": 41565 + }, + { + "epoch": 0.1147, + "grad_norm": 6.700959205627441, + "learning_rate": 2.951060606060606e-06, + "loss": 6.298392486572266, + "step": 41570 + }, + { + "epoch": 0.11475, + "grad_norm": 6.390358924865723, + "learning_rate": 2.9508080808080807e-06, + "loss": 6.313025283813476, + "step": 41575 + }, + { + "epoch": 0.1148, + "grad_norm": 5.053467750549316, + "learning_rate": 2.9505555555555558e-06, + "loss": 6.289539337158203, + "step": 41580 + }, + { + "epoch": 0.11485, + "grad_norm": 7.006431579589844, + "learning_rate": 2.9503030303030304e-06, + "loss": 6.312524795532227, + "step": 41585 + }, + { + "epoch": 0.1149, + "grad_norm": 5.068919658660889, + "learning_rate": 2.950050505050505e-06, + "loss": 6.2761962890625, + "step": 41590 + }, + { + "epoch": 0.11495, + "grad_norm": 4.276952266693115, + "learning_rate": 2.9497979797979797e-06, + "loss": 6.298951721191406, + "step": 41595 + }, + { + "epoch": 0.115, + "grad_norm": 7.9876203536987305, + "learning_rate": 2.949545454545455e-06, + "loss": 6.236902236938477, + "step": 41600 + }, + { + "epoch": 0.11505, + "grad_norm": 6.537814617156982, + "learning_rate": 2.9492929292929293e-06, + "loss": 6.246965026855468, + "step": 41605 + }, + { + "epoch": 0.1151, + "grad_norm": 5.264881134033203, + "learning_rate": 2.949040404040404e-06, + "loss": 6.269857025146484, + "step": 41610 + }, + { + "epoch": 0.11515, + "grad_norm": 16.27280044555664, + "learning_rate": 2.9487878787878786e-06, + "loss": 6.279951477050782, + "step": 41615 + }, + { + "epoch": 0.1152, + "grad_norm": 4.170151710510254, + "learning_rate": 2.948535353535354e-06, + "loss": 6.259539794921875, + "step": 41620 + }, + { + "epoch": 0.11525, + "grad_norm": 5.9737701416015625, + "learning_rate": 2.9482828282828287e-06, + "loss": 6.24888801574707, + "step": 41625 + }, + { + "epoch": 0.1153, + "grad_norm": 19.045974731445312, + "learning_rate": 2.948030303030303e-06, + "loss": 6.406942749023438, + "step": 41630 + }, + { + "epoch": 0.11535, + "grad_norm": 31.222557067871094, + "learning_rate": 2.9477777777777784e-06, + "loss": 6.287809753417969, + "step": 41635 + }, + { + "epoch": 0.1154, + "grad_norm": 5.972186088562012, + "learning_rate": 2.947525252525253e-06, + "loss": 6.140472412109375, + "step": 41640 + }, + { + "epoch": 0.11545, + "grad_norm": 5.247162342071533, + "learning_rate": 2.9472727272727277e-06, + "loss": 6.250090408325195, + "step": 41645 + }, + { + "epoch": 0.1155, + "grad_norm": 9.633713722229004, + "learning_rate": 2.9470202020202023e-06, + "loss": 6.293495178222656, + "step": 41650 + }, + { + "epoch": 0.11555, + "grad_norm": 8.72830867767334, + "learning_rate": 2.9467676767676773e-06, + "loss": 6.391761398315429, + "step": 41655 + }, + { + "epoch": 0.1156, + "grad_norm": 7.226131439208984, + "learning_rate": 2.946515151515152e-06, + "loss": 6.2871246337890625, + "step": 41660 + }, + { + "epoch": 0.11565, + "grad_norm": 6.7605109214782715, + "learning_rate": 2.9462626262626266e-06, + "loss": 6.470735168457031, + "step": 41665 + }, + { + "epoch": 0.1157, + "grad_norm": 6.182495594024658, + "learning_rate": 2.9460101010101012e-06, + "loss": 6.246529769897461, + "step": 41670 + }, + { + "epoch": 0.11575, + "grad_norm": 10.815364837646484, + "learning_rate": 2.9457575757575763e-06, + "loss": 6.22394905090332, + "step": 41675 + }, + { + "epoch": 0.1158, + "grad_norm": 4.860632419586182, + "learning_rate": 2.945505050505051e-06, + "loss": 6.323815155029297, + "step": 41680 + }, + { + "epoch": 0.11585, + "grad_norm": 5.676327705383301, + "learning_rate": 2.9452525252525255e-06, + "loss": 6.338115310668945, + "step": 41685 + }, + { + "epoch": 0.1159, + "grad_norm": 10.705113410949707, + "learning_rate": 2.945e-06, + "loss": 6.285449600219726, + "step": 41690 + }, + { + "epoch": 0.11595, + "grad_norm": 6.833688735961914, + "learning_rate": 2.9447474747474752e-06, + "loss": 6.251067352294922, + "step": 41695 + }, + { + "epoch": 0.116, + "grad_norm": 6.066240310668945, + "learning_rate": 2.94449494949495e-06, + "loss": 6.268013381958008, + "step": 41700 + }, + { + "epoch": 0.11605, + "grad_norm": 7.623030662536621, + "learning_rate": 2.9442424242424245e-06, + "loss": 6.276050567626953, + "step": 41705 + }, + { + "epoch": 0.1161, + "grad_norm": 6.072610855102539, + "learning_rate": 2.943989898989899e-06, + "loss": 6.246738052368164, + "step": 41710 + }, + { + "epoch": 0.11615, + "grad_norm": 9.705352783203125, + "learning_rate": 2.943737373737374e-06, + "loss": 6.299085998535157, + "step": 41715 + }, + { + "epoch": 0.1162, + "grad_norm": 5.936763286590576, + "learning_rate": 2.943484848484849e-06, + "loss": 6.273356628417969, + "step": 41720 + }, + { + "epoch": 0.11625, + "grad_norm": 6.097559452056885, + "learning_rate": 2.9432323232323234e-06, + "loss": 6.246804428100586, + "step": 41725 + }, + { + "epoch": 0.1163, + "grad_norm": 6.697414398193359, + "learning_rate": 2.942979797979798e-06, + "loss": 6.297693252563477, + "step": 41730 + }, + { + "epoch": 0.11635, + "grad_norm": 3.742938756942749, + "learning_rate": 2.942727272727273e-06, + "loss": 6.267548370361328, + "step": 41735 + }, + { + "epoch": 0.1164, + "grad_norm": 5.218923568725586, + "learning_rate": 2.9424747474747478e-06, + "loss": 6.267625045776367, + "step": 41740 + }, + { + "epoch": 0.11645, + "grad_norm": 8.745288848876953, + "learning_rate": 2.9422222222222224e-06, + "loss": 6.240455627441406, + "step": 41745 + }, + { + "epoch": 0.1165, + "grad_norm": 6.21934175491333, + "learning_rate": 2.941969696969697e-06, + "loss": 6.2780109405517575, + "step": 41750 + }, + { + "epoch": 0.11655, + "grad_norm": 6.162660121917725, + "learning_rate": 2.941717171717172e-06, + "loss": 6.258321380615234, + "step": 41755 + }, + { + "epoch": 0.1166, + "grad_norm": 4.199395656585693, + "learning_rate": 2.9414646464646467e-06, + "loss": 6.2561805725097654, + "step": 41760 + }, + { + "epoch": 0.11665, + "grad_norm": 5.661691188812256, + "learning_rate": 2.9412121212121213e-06, + "loss": 6.29736328125, + "step": 41765 + }, + { + "epoch": 0.1167, + "grad_norm": 7.298620223999023, + "learning_rate": 2.940959595959596e-06, + "loss": 6.25826416015625, + "step": 41770 + }, + { + "epoch": 0.11675, + "grad_norm": 3.6840131282806396, + "learning_rate": 2.940707070707071e-06, + "loss": 6.258860015869141, + "step": 41775 + }, + { + "epoch": 0.1168, + "grad_norm": 3.9901351928710938, + "learning_rate": 2.9404545454545456e-06, + "loss": 6.275413131713867, + "step": 41780 + }, + { + "epoch": 0.11685, + "grad_norm": 7.205401420593262, + "learning_rate": 2.9402020202020203e-06, + "loss": 6.23487663269043, + "step": 41785 + }, + { + "epoch": 0.1169, + "grad_norm": 6.002083778381348, + "learning_rate": 2.939949494949495e-06, + "loss": 6.383166122436523, + "step": 41790 + }, + { + "epoch": 0.11695, + "grad_norm": 7.036518573760986, + "learning_rate": 2.93969696969697e-06, + "loss": 6.286370849609375, + "step": 41795 + }, + { + "epoch": 0.117, + "grad_norm": 4.9266557693481445, + "learning_rate": 2.9394444444444446e-06, + "loss": 6.287410736083984, + "step": 41800 + }, + { + "epoch": 0.11705, + "grad_norm": 6.005686283111572, + "learning_rate": 2.9391919191919192e-06, + "loss": 6.273128890991211, + "step": 41805 + }, + { + "epoch": 0.1171, + "grad_norm": 6.168753623962402, + "learning_rate": 2.938939393939394e-06, + "loss": 6.320136260986328, + "step": 41810 + }, + { + "epoch": 0.11715, + "grad_norm": 17.790475845336914, + "learning_rate": 2.9386868686868693e-06, + "loss": 6.0803672790527346, + "step": 41815 + }, + { + "epoch": 0.1172, + "grad_norm": 21.214426040649414, + "learning_rate": 2.938434343434344e-06, + "loss": 6.476937866210937, + "step": 41820 + }, + { + "epoch": 0.11725, + "grad_norm": 8.510736465454102, + "learning_rate": 2.938181818181818e-06, + "loss": 6.289985275268554, + "step": 41825 + }, + { + "epoch": 0.1173, + "grad_norm": 11.571453094482422, + "learning_rate": 2.9379292929292928e-06, + "loss": 6.371868133544922, + "step": 41830 + }, + { + "epoch": 0.11735, + "grad_norm": 6.012557029724121, + "learning_rate": 2.9376767676767683e-06, + "loss": 6.216759109497071, + "step": 41835 + }, + { + "epoch": 0.1174, + "grad_norm": 9.455918312072754, + "learning_rate": 2.937424242424243e-06, + "loss": 6.232325744628906, + "step": 41840 + }, + { + "epoch": 0.11745, + "grad_norm": 7.151858329772949, + "learning_rate": 2.9371717171717175e-06, + "loss": 6.270361328125, + "step": 41845 + }, + { + "epoch": 0.1175, + "grad_norm": 3.4009106159210205, + "learning_rate": 2.936919191919192e-06, + "loss": 6.274752426147461, + "step": 41850 + }, + { + "epoch": 0.11755, + "grad_norm": 7.662902355194092, + "learning_rate": 2.936666666666667e-06, + "loss": 6.269326400756836, + "step": 41855 + }, + { + "epoch": 0.1176, + "grad_norm": 7.758222579956055, + "learning_rate": 2.936414141414142e-06, + "loss": 6.3130756378173825, + "step": 41860 + }, + { + "epoch": 0.11765, + "grad_norm": 19.4472713470459, + "learning_rate": 2.9361616161616165e-06, + "loss": 7.126626586914062, + "step": 41865 + }, + { + "epoch": 0.1177, + "grad_norm": 7.449990749359131, + "learning_rate": 2.935909090909091e-06, + "loss": 6.3568672180175785, + "step": 41870 + }, + { + "epoch": 0.11775, + "grad_norm": 4.035237789154053, + "learning_rate": 2.935656565656566e-06, + "loss": 6.271065902709961, + "step": 41875 + }, + { + "epoch": 0.1178, + "grad_norm": 7.576226711273193, + "learning_rate": 2.9354040404040408e-06, + "loss": 6.330295562744141, + "step": 41880 + }, + { + "epoch": 0.11785, + "grad_norm": 6.36364221572876, + "learning_rate": 2.9351515151515154e-06, + "loss": 6.291706848144531, + "step": 41885 + }, + { + "epoch": 0.1179, + "grad_norm": 6.437422752380371, + "learning_rate": 2.93489898989899e-06, + "loss": 6.229768753051758, + "step": 41890 + }, + { + "epoch": 0.11795, + "grad_norm": 9.435164451599121, + "learning_rate": 2.934646464646465e-06, + "loss": 6.263710021972656, + "step": 41895 + }, + { + "epoch": 0.118, + "grad_norm": 5.994455337524414, + "learning_rate": 2.9343939393939397e-06, + "loss": 6.292213439941406, + "step": 41900 + }, + { + "epoch": 0.11805, + "grad_norm": 11.001198768615723, + "learning_rate": 2.9341414141414144e-06, + "loss": 6.254618453979492, + "step": 41905 + }, + { + "epoch": 0.1181, + "grad_norm": 6.369492530822754, + "learning_rate": 2.933888888888889e-06, + "loss": 6.310542297363281, + "step": 41910 + }, + { + "epoch": 0.11815, + "grad_norm": 6.553391456604004, + "learning_rate": 2.933636363636364e-06, + "loss": 6.50977783203125, + "step": 41915 + }, + { + "epoch": 0.1182, + "grad_norm": 5.327044486999512, + "learning_rate": 2.9333838383838387e-06, + "loss": 6.261212921142578, + "step": 41920 + }, + { + "epoch": 0.11825, + "grad_norm": 6.749001979827881, + "learning_rate": 2.9331313131313133e-06, + "loss": 6.28709602355957, + "step": 41925 + }, + { + "epoch": 0.1183, + "grad_norm": 6.690602779388428, + "learning_rate": 2.932878787878788e-06, + "loss": 6.257435989379883, + "step": 41930 + }, + { + "epoch": 0.11835, + "grad_norm": 5.989022254943848, + "learning_rate": 2.932626262626263e-06, + "loss": 6.247370910644531, + "step": 41935 + }, + { + "epoch": 0.1184, + "grad_norm": 6.763794422149658, + "learning_rate": 2.9323737373737376e-06, + "loss": 6.2763671875, + "step": 41940 + }, + { + "epoch": 0.11845, + "grad_norm": 7.133615493774414, + "learning_rate": 2.9321212121212122e-06, + "loss": 6.130401992797852, + "step": 41945 + }, + { + "epoch": 0.1185, + "grad_norm": 9.321901321411133, + "learning_rate": 2.931868686868687e-06, + "loss": 6.34447135925293, + "step": 41950 + }, + { + "epoch": 0.11855, + "grad_norm": 8.437309265136719, + "learning_rate": 2.931616161616162e-06, + "loss": 6.274111938476563, + "step": 41955 + }, + { + "epoch": 0.1186, + "grad_norm": 15.113554954528809, + "learning_rate": 2.9313636363636366e-06, + "loss": 6.318172836303711, + "step": 41960 + }, + { + "epoch": 0.11865, + "grad_norm": 5.277710437774658, + "learning_rate": 2.931111111111111e-06, + "loss": 6.405787658691406, + "step": 41965 + }, + { + "epoch": 0.1187, + "grad_norm": 3.614000082015991, + "learning_rate": 2.930858585858586e-06, + "loss": 6.2648475646972654, + "step": 41970 + }, + { + "epoch": 0.11875, + "grad_norm": 4.992995738983154, + "learning_rate": 2.930606060606061e-06, + "loss": 6.262630462646484, + "step": 41975 + }, + { + "epoch": 0.1188, + "grad_norm": 6.358795642852783, + "learning_rate": 2.9303535353535355e-06, + "loss": 6.277824401855469, + "step": 41980 + }, + { + "epoch": 0.11885, + "grad_norm": 5.795915126800537, + "learning_rate": 2.93010101010101e-06, + "loss": 6.29385986328125, + "step": 41985 + }, + { + "epoch": 0.1189, + "grad_norm": 6.629597187042236, + "learning_rate": 2.9298484848484848e-06, + "loss": 6.287817001342773, + "step": 41990 + }, + { + "epoch": 0.11895, + "grad_norm": 4.3954925537109375, + "learning_rate": 2.92959595959596e-06, + "loss": 6.245084381103515, + "step": 41995 + }, + { + "epoch": 0.119, + "grad_norm": 6.566995620727539, + "learning_rate": 2.9293434343434344e-06, + "loss": 6.122325897216797, + "step": 42000 + }, + { + "epoch": 0.11905, + "grad_norm": 9.632706642150879, + "learning_rate": 2.929090909090909e-06, + "loss": 6.304722595214844, + "step": 42005 + }, + { + "epoch": 0.1191, + "grad_norm": 6.31146240234375, + "learning_rate": 2.9288383838383837e-06, + "loss": 6.258993148803711, + "step": 42010 + }, + { + "epoch": 0.11915, + "grad_norm": 7.377710342407227, + "learning_rate": 2.928585858585859e-06, + "loss": 6.259601593017578, + "step": 42015 + }, + { + "epoch": 0.1192, + "grad_norm": 8.357134819030762, + "learning_rate": 2.9283333333333334e-06, + "loss": 6.3660888671875, + "step": 42020 + }, + { + "epoch": 0.11925, + "grad_norm": 28.266101837158203, + "learning_rate": 2.928080808080808e-06, + "loss": 6.514252471923828, + "step": 42025 + }, + { + "epoch": 0.1193, + "grad_norm": 13.816862106323242, + "learning_rate": 2.9278282828282826e-06, + "loss": 6.391886520385742, + "step": 42030 + }, + { + "epoch": 0.11935, + "grad_norm": 5.289782524108887, + "learning_rate": 2.927575757575758e-06, + "loss": 6.195812606811524, + "step": 42035 + }, + { + "epoch": 0.1194, + "grad_norm": 10.006327629089355, + "learning_rate": 2.9273232323232328e-06, + "loss": 6.298834991455078, + "step": 42040 + }, + { + "epoch": 0.11945, + "grad_norm": 11.424853324890137, + "learning_rate": 2.927070707070707e-06, + "loss": 6.314796066284179, + "step": 42045 + }, + { + "epoch": 0.1195, + "grad_norm": 10.174999237060547, + "learning_rate": 2.9268181818181816e-06, + "loss": 6.312127304077149, + "step": 42050 + }, + { + "epoch": 0.11955, + "grad_norm": 7.020429611206055, + "learning_rate": 2.926565656565657e-06, + "loss": 6.253873443603515, + "step": 42055 + }, + { + "epoch": 0.1196, + "grad_norm": 6.960992336273193, + "learning_rate": 2.9263131313131317e-06, + "loss": 6.2553253173828125, + "step": 42060 + }, + { + "epoch": 0.11965, + "grad_norm": 6.717005729675293, + "learning_rate": 2.9260606060606063e-06, + "loss": 6.431163024902344, + "step": 42065 + }, + { + "epoch": 0.1197, + "grad_norm": 8.205610275268555, + "learning_rate": 2.9258080808080814e-06, + "loss": 6.280915069580078, + "step": 42070 + }, + { + "epoch": 0.11975, + "grad_norm": 5.52952241897583, + "learning_rate": 2.925555555555556e-06, + "loss": 6.28996696472168, + "step": 42075 + }, + { + "epoch": 0.1198, + "grad_norm": 8.674248695373535, + "learning_rate": 2.9253030303030306e-06, + "loss": 6.2548988342285154, + "step": 42080 + }, + { + "epoch": 0.11985, + "grad_norm": 13.236615180969238, + "learning_rate": 2.9250505050505053e-06, + "loss": 6.253871154785156, + "step": 42085 + }, + { + "epoch": 0.1199, + "grad_norm": 12.444384574890137, + "learning_rate": 2.9247979797979803e-06, + "loss": 6.329557800292969, + "step": 42090 + }, + { + "epoch": 0.11995, + "grad_norm": 5.40335750579834, + "learning_rate": 2.924545454545455e-06, + "loss": 6.266738510131836, + "step": 42095 + }, + { + "epoch": 0.12, + "grad_norm": 4.244021892547607, + "learning_rate": 2.9242929292929296e-06, + "loss": 6.293515014648437, + "step": 42100 + }, + { + "epoch": 0.12005, + "grad_norm": 7.901262283325195, + "learning_rate": 2.9240404040404042e-06, + "loss": 6.311706161499023, + "step": 42105 + }, + { + "epoch": 0.1201, + "grad_norm": 7.905302047729492, + "learning_rate": 2.9237878787878793e-06, + "loss": 6.300086212158203, + "step": 42110 + }, + { + "epoch": 0.12015, + "grad_norm": 5.926037788391113, + "learning_rate": 2.923535353535354e-06, + "loss": 6.206169891357422, + "step": 42115 + }, + { + "epoch": 0.1202, + "grad_norm": 42.193485260009766, + "learning_rate": 2.9232828282828285e-06, + "loss": 6.160120010375977, + "step": 42120 + }, + { + "epoch": 0.12025, + "grad_norm": 6.718685626983643, + "learning_rate": 2.923030303030303e-06, + "loss": 6.2411338806152346, + "step": 42125 + }, + { + "epoch": 0.1203, + "grad_norm": 7.162345886230469, + "learning_rate": 2.9227777777777782e-06, + "loss": 6.216580581665039, + "step": 42130 + }, + { + "epoch": 0.12035, + "grad_norm": 16.545089721679688, + "learning_rate": 2.922525252525253e-06, + "loss": 6.337087631225586, + "step": 42135 + }, + { + "epoch": 0.1204, + "grad_norm": 12.938425064086914, + "learning_rate": 2.9222727272727275e-06, + "loss": 6.431513977050781, + "step": 42140 + }, + { + "epoch": 0.12045, + "grad_norm": 5.551322937011719, + "learning_rate": 2.922020202020202e-06, + "loss": 6.296406173706055, + "step": 42145 + }, + { + "epoch": 0.1205, + "grad_norm": 7.0052924156188965, + "learning_rate": 2.921767676767677e-06, + "loss": 6.245744705200195, + "step": 42150 + }, + { + "epoch": 0.12055, + "grad_norm": 3.3050875663757324, + "learning_rate": 2.921515151515152e-06, + "loss": 6.267864227294922, + "step": 42155 + }, + { + "epoch": 0.1206, + "grad_norm": 5.261967182159424, + "learning_rate": 2.9212626262626264e-06, + "loss": 6.262062072753906, + "step": 42160 + }, + { + "epoch": 0.12065, + "grad_norm": 8.408797264099121, + "learning_rate": 2.921010101010101e-06, + "loss": 6.371880340576172, + "step": 42165 + }, + { + "epoch": 0.1207, + "grad_norm": 7.791537284851074, + "learning_rate": 2.920757575757576e-06, + "loss": 6.2565967559814455, + "step": 42170 + }, + { + "epoch": 0.12075, + "grad_norm": 6.196427345275879, + "learning_rate": 2.9205050505050507e-06, + "loss": 6.281572341918945, + "step": 42175 + }, + { + "epoch": 0.1208, + "grad_norm": 4.010687351226807, + "learning_rate": 2.9202525252525254e-06, + "loss": 6.256117630004883, + "step": 42180 + }, + { + "epoch": 0.12085, + "grad_norm": 5.8414201736450195, + "learning_rate": 2.92e-06, + "loss": 6.291443634033203, + "step": 42185 + }, + { + "epoch": 0.1209, + "grad_norm": 8.217637062072754, + "learning_rate": 2.919747474747475e-06, + "loss": 6.283063507080078, + "step": 42190 + }, + { + "epoch": 0.12095, + "grad_norm": 12.896876335144043, + "learning_rate": 2.9194949494949497e-06, + "loss": 6.24914779663086, + "step": 42195 + }, + { + "epoch": 0.121, + "grad_norm": 7.494111061096191, + "learning_rate": 2.9192424242424243e-06, + "loss": 6.3273578643798825, + "step": 42200 + }, + { + "epoch": 0.12105, + "grad_norm": 5.507627964019775, + "learning_rate": 2.918989898989899e-06, + "loss": 6.276900100708008, + "step": 42205 + }, + { + "epoch": 0.1211, + "grad_norm": 7.411354064941406, + "learning_rate": 2.918737373737374e-06, + "loss": 6.290487670898438, + "step": 42210 + }, + { + "epoch": 0.12115, + "grad_norm": 12.585803985595703, + "learning_rate": 2.9184848484848486e-06, + "loss": 6.29024658203125, + "step": 42215 + }, + { + "epoch": 0.1212, + "grad_norm": 5.846058368682861, + "learning_rate": 2.9182323232323233e-06, + "loss": 6.242778778076172, + "step": 42220 + }, + { + "epoch": 0.12125, + "grad_norm": 9.46722412109375, + "learning_rate": 2.917979797979798e-06, + "loss": 6.259655380249024, + "step": 42225 + }, + { + "epoch": 0.1213, + "grad_norm": 6.361361026763916, + "learning_rate": 2.9177272727272734e-06, + "loss": 6.244113540649414, + "step": 42230 + }, + { + "epoch": 0.12135, + "grad_norm": 8.150136947631836, + "learning_rate": 2.917474747474748e-06, + "loss": 6.239772033691406, + "step": 42235 + }, + { + "epoch": 0.1214, + "grad_norm": 6.542417049407959, + "learning_rate": 2.917222222222222e-06, + "loss": 6.248226928710937, + "step": 42240 + }, + { + "epoch": 0.12145, + "grad_norm": 5.331295967102051, + "learning_rate": 2.916969696969697e-06, + "loss": 6.278302001953125, + "step": 42245 + }, + { + "epoch": 0.1215, + "grad_norm": 4.84158992767334, + "learning_rate": 2.9167171717171723e-06, + "loss": 6.2747657775878904, + "step": 42250 + }, + { + "epoch": 0.12155, + "grad_norm": 6.824895858764648, + "learning_rate": 2.916464646464647e-06, + "loss": 6.24006233215332, + "step": 42255 + }, + { + "epoch": 0.1216, + "grad_norm": 5.1547064781188965, + "learning_rate": 2.9162121212121216e-06, + "loss": 6.261720657348633, + "step": 42260 + }, + { + "epoch": 0.12165, + "grad_norm": 5.602167129516602, + "learning_rate": 2.915959595959596e-06, + "loss": 6.269976806640625, + "step": 42265 + }, + { + "epoch": 0.1217, + "grad_norm": 4.121480464935303, + "learning_rate": 2.9157070707070712e-06, + "loss": 6.303948974609375, + "step": 42270 + }, + { + "epoch": 0.12175, + "grad_norm": 3.7594988346099854, + "learning_rate": 2.915454545454546e-06, + "loss": 6.292327499389648, + "step": 42275 + }, + { + "epoch": 0.1218, + "grad_norm": 5.351687908172607, + "learning_rate": 2.9152020202020205e-06, + "loss": 6.250151443481445, + "step": 42280 + }, + { + "epoch": 0.12185, + "grad_norm": 3.6854746341705322, + "learning_rate": 2.914949494949495e-06, + "loss": 6.2632301330566404, + "step": 42285 + }, + { + "epoch": 0.1219, + "grad_norm": 7.980936050415039, + "learning_rate": 2.91469696969697e-06, + "loss": 6.290274429321289, + "step": 42290 + }, + { + "epoch": 0.12195, + "grad_norm": 6.478393077850342, + "learning_rate": 2.914444444444445e-06, + "loss": 6.2583869934082035, + "step": 42295 + }, + { + "epoch": 0.122, + "grad_norm": 6.88121223449707, + "learning_rate": 2.9141919191919195e-06, + "loss": 6.263861465454101, + "step": 42300 + }, + { + "epoch": 0.12205, + "grad_norm": 8.553267478942871, + "learning_rate": 2.913939393939394e-06, + "loss": 6.256953430175781, + "step": 42305 + }, + { + "epoch": 0.1221, + "grad_norm": 7.538891315460205, + "learning_rate": 2.913686868686869e-06, + "loss": 6.360808181762695, + "step": 42310 + }, + { + "epoch": 0.12215, + "grad_norm": 4.742193698883057, + "learning_rate": 2.9134343434343438e-06, + "loss": 6.293458938598633, + "step": 42315 + }, + { + "epoch": 0.1222, + "grad_norm": 5.849863052368164, + "learning_rate": 2.9131818181818184e-06, + "loss": 6.272338104248047, + "step": 42320 + }, + { + "epoch": 0.12225, + "grad_norm": 6.346260070800781, + "learning_rate": 2.912929292929293e-06, + "loss": 6.311685180664062, + "step": 42325 + }, + { + "epoch": 0.1223, + "grad_norm": 6.832108020782471, + "learning_rate": 2.912676767676768e-06, + "loss": 6.317210388183594, + "step": 42330 + }, + { + "epoch": 0.12235, + "grad_norm": 6.909374713897705, + "learning_rate": 2.9124242424242427e-06, + "loss": 6.219025039672852, + "step": 42335 + }, + { + "epoch": 0.1224, + "grad_norm": 12.676931381225586, + "learning_rate": 2.9121717171717173e-06, + "loss": 6.374499893188476, + "step": 42340 + }, + { + "epoch": 0.12245, + "grad_norm": 5.914567470550537, + "learning_rate": 2.911919191919192e-06, + "loss": 6.267864990234375, + "step": 42345 + }, + { + "epoch": 0.1225, + "grad_norm": 10.643523216247559, + "learning_rate": 2.911666666666667e-06, + "loss": 6.2559814453125, + "step": 42350 + }, + { + "epoch": 0.12255, + "grad_norm": 5.877878665924072, + "learning_rate": 2.9114141414141417e-06, + "loss": 6.268153381347656, + "step": 42355 + }, + { + "epoch": 0.1226, + "grad_norm": 25.16179847717285, + "learning_rate": 2.9111616161616163e-06, + "loss": 6.342661285400391, + "step": 42360 + }, + { + "epoch": 0.12265, + "grad_norm": 6.252614974975586, + "learning_rate": 2.910909090909091e-06, + "loss": 6.351363754272461, + "step": 42365 + }, + { + "epoch": 0.1227, + "grad_norm": 6.756246566772461, + "learning_rate": 2.910656565656566e-06, + "loss": 6.274284362792969, + "step": 42370 + }, + { + "epoch": 0.12275, + "grad_norm": 4.101792812347412, + "learning_rate": 2.9104040404040406e-06, + "loss": 6.2609600067138675, + "step": 42375 + }, + { + "epoch": 0.1228, + "grad_norm": 4.61412239074707, + "learning_rate": 2.9101515151515152e-06, + "loss": 6.223457717895508, + "step": 42380 + }, + { + "epoch": 0.12285, + "grad_norm": 19.20193862915039, + "learning_rate": 2.90989898989899e-06, + "loss": 6.25780143737793, + "step": 42385 + }, + { + "epoch": 0.1229, + "grad_norm": 4.445740699768066, + "learning_rate": 2.909646464646465e-06, + "loss": 6.270601272583008, + "step": 42390 + }, + { + "epoch": 0.12295, + "grad_norm": 7.418521881103516, + "learning_rate": 2.9093939393939395e-06, + "loss": 6.200340652465821, + "step": 42395 + }, + { + "epoch": 0.123, + "grad_norm": 10.031095504760742, + "learning_rate": 2.909141414141414e-06, + "loss": 6.2140625, + "step": 42400 + }, + { + "epoch": 0.12305, + "grad_norm": 14.830766677856445, + "learning_rate": 2.908888888888889e-06, + "loss": 6.303277206420899, + "step": 42405 + }, + { + "epoch": 0.1231, + "grad_norm": 10.013008117675781, + "learning_rate": 2.908636363636364e-06, + "loss": 6.286345672607422, + "step": 42410 + }, + { + "epoch": 0.12315, + "grad_norm": 5.236317157745361, + "learning_rate": 2.9083838383838385e-06, + "loss": 6.273377227783203, + "step": 42415 + }, + { + "epoch": 0.1232, + "grad_norm": 5.961149215698242, + "learning_rate": 2.908131313131313e-06, + "loss": 6.293456268310547, + "step": 42420 + }, + { + "epoch": 0.12325, + "grad_norm": 5.4007649421691895, + "learning_rate": 2.9078787878787877e-06, + "loss": 6.241150665283203, + "step": 42425 + }, + { + "epoch": 0.1233, + "grad_norm": 5.8289947509765625, + "learning_rate": 2.9076262626262632e-06, + "loss": 6.272627258300782, + "step": 42430 + }, + { + "epoch": 0.12335, + "grad_norm": 6.293877601623535, + "learning_rate": 2.9073737373737374e-06, + "loss": 6.2651409149169925, + "step": 42435 + }, + { + "epoch": 0.1234, + "grad_norm": 5.994367599487305, + "learning_rate": 2.907121212121212e-06, + "loss": 6.2451427459716795, + "step": 42440 + }, + { + "epoch": 0.12345, + "grad_norm": 6.879055500030518, + "learning_rate": 2.9068686868686867e-06, + "loss": 6.314593124389648, + "step": 42445 + }, + { + "epoch": 0.1235, + "grad_norm": 6.857323169708252, + "learning_rate": 2.906616161616162e-06, + "loss": 6.201730728149414, + "step": 42450 + }, + { + "epoch": 0.12355, + "grad_norm": 8.979195594787598, + "learning_rate": 2.906363636363637e-06, + "loss": 6.287280654907226, + "step": 42455 + }, + { + "epoch": 0.1236, + "grad_norm": 7.177506446838379, + "learning_rate": 2.9061111111111114e-06, + "loss": 6.215015029907226, + "step": 42460 + }, + { + "epoch": 0.12365, + "grad_norm": 6.497125625610352, + "learning_rate": 2.9058585858585856e-06, + "loss": 6.254578399658203, + "step": 42465 + }, + { + "epoch": 0.1237, + "grad_norm": 5.76339864730835, + "learning_rate": 2.905606060606061e-06, + "loss": 6.2757831573486325, + "step": 42470 + }, + { + "epoch": 0.12375, + "grad_norm": 7.075587749481201, + "learning_rate": 2.9053535353535357e-06, + "loss": 6.2665351867675785, + "step": 42475 + }, + { + "epoch": 0.1238, + "grad_norm": 8.224173545837402, + "learning_rate": 2.9051010101010104e-06, + "loss": 6.257423400878906, + "step": 42480 + }, + { + "epoch": 0.12385, + "grad_norm": 10.694587707519531, + "learning_rate": 2.9048484848484854e-06, + "loss": 6.286917495727539, + "step": 42485 + }, + { + "epoch": 0.1239, + "grad_norm": 4.870787143707275, + "learning_rate": 2.90459595959596e-06, + "loss": 6.2279212951660154, + "step": 42490 + }, + { + "epoch": 0.12395, + "grad_norm": 8.29523754119873, + "learning_rate": 2.9043434343434347e-06, + "loss": 6.261679077148438, + "step": 42495 + }, + { + "epoch": 0.124, + "grad_norm": 4.587533473968506, + "learning_rate": 2.9040909090909093e-06, + "loss": 6.295635986328125, + "step": 42500 + }, + { + "epoch": 0.12405, + "grad_norm": 7.804836273193359, + "learning_rate": 2.9038383838383844e-06, + "loss": 6.267850112915039, + "step": 42505 + }, + { + "epoch": 0.1241, + "grad_norm": 12.540488243103027, + "learning_rate": 2.903585858585859e-06, + "loss": 6.295806884765625, + "step": 42510 + }, + { + "epoch": 0.12415, + "grad_norm": 27.464706420898438, + "learning_rate": 2.9033333333333336e-06, + "loss": 5.858723449707031, + "step": 42515 + }, + { + "epoch": 0.1242, + "grad_norm": 10.51535701751709, + "learning_rate": 2.9030808080808083e-06, + "loss": 6.186760711669922, + "step": 42520 + }, + { + "epoch": 0.12425, + "grad_norm": 6.48067569732666, + "learning_rate": 2.9028282828282833e-06, + "loss": 6.308037567138672, + "step": 42525 + }, + { + "epoch": 0.1243, + "grad_norm": 8.069540023803711, + "learning_rate": 2.902575757575758e-06, + "loss": 6.321952056884766, + "step": 42530 + }, + { + "epoch": 0.12435, + "grad_norm": 3.4910924434661865, + "learning_rate": 2.9023232323232326e-06, + "loss": 6.2344623565673825, + "step": 42535 + }, + { + "epoch": 0.1244, + "grad_norm": 7.2858052253723145, + "learning_rate": 2.902070707070707e-06, + "loss": 6.262478637695312, + "step": 42540 + }, + { + "epoch": 0.12445, + "grad_norm": 12.337964057922363, + "learning_rate": 2.9018181818181823e-06, + "loss": 6.310026550292969, + "step": 42545 + }, + { + "epoch": 0.1245, + "grad_norm": 7.5035552978515625, + "learning_rate": 2.901565656565657e-06, + "loss": 6.210212707519531, + "step": 42550 + }, + { + "epoch": 0.12455, + "grad_norm": 5.102397441864014, + "learning_rate": 2.9013131313131315e-06, + "loss": 6.250746536254883, + "step": 42555 + }, + { + "epoch": 0.1246, + "grad_norm": 8.889419555664062, + "learning_rate": 2.901060606060606e-06, + "loss": 6.2247566223144535, + "step": 42560 + }, + { + "epoch": 0.12465, + "grad_norm": 7.707698345184326, + "learning_rate": 2.900808080808081e-06, + "loss": 6.2639415740966795, + "step": 42565 + }, + { + "epoch": 0.1247, + "grad_norm": 11.751856803894043, + "learning_rate": 2.900555555555556e-06, + "loss": 6.280557632446289, + "step": 42570 + }, + { + "epoch": 0.12475, + "grad_norm": 7.207385540008545, + "learning_rate": 2.9003030303030305e-06, + "loss": 6.276654434204102, + "step": 42575 + }, + { + "epoch": 0.1248, + "grad_norm": 4.261576175689697, + "learning_rate": 2.900050505050505e-06, + "loss": 6.337315368652344, + "step": 42580 + }, + { + "epoch": 0.12485, + "grad_norm": 7.735414505004883, + "learning_rate": 2.89979797979798e-06, + "loss": 6.297902297973633, + "step": 42585 + }, + { + "epoch": 0.1249, + "grad_norm": 8.187244415283203, + "learning_rate": 2.8995454545454548e-06, + "loss": 6.270076751708984, + "step": 42590 + }, + { + "epoch": 0.12495, + "grad_norm": 4.563602447509766, + "learning_rate": 2.8992929292929294e-06, + "loss": 6.249410247802734, + "step": 42595 + }, + { + "epoch": 0.125, + "grad_norm": 19.703453063964844, + "learning_rate": 2.899040404040404e-06, + "loss": 6.5523834228515625, + "step": 42600 + }, + { + "epoch": 0.12505, + "grad_norm": 7.7130279541015625, + "learning_rate": 2.898787878787879e-06, + "loss": 6.2471660614013675, + "step": 42605 + }, + { + "epoch": 0.1251, + "grad_norm": 4.6361188888549805, + "learning_rate": 2.8985353535353537e-06, + "loss": 6.252828216552734, + "step": 42610 + }, + { + "epoch": 0.12515, + "grad_norm": 5.752023220062256, + "learning_rate": 2.8982828282828283e-06, + "loss": 6.233910751342774, + "step": 42615 + }, + { + "epoch": 0.1252, + "grad_norm": 4.804875373840332, + "learning_rate": 2.898030303030303e-06, + "loss": 6.267916107177735, + "step": 42620 + }, + { + "epoch": 0.12525, + "grad_norm": 6.999718189239502, + "learning_rate": 2.8977777777777785e-06, + "loss": 6.3237968444824215, + "step": 42625 + }, + { + "epoch": 0.1253, + "grad_norm": 5.003927230834961, + "learning_rate": 2.8975252525252527e-06, + "loss": 6.356344985961914, + "step": 42630 + }, + { + "epoch": 0.12535, + "grad_norm": 4.552326202392578, + "learning_rate": 2.8972727272727273e-06, + "loss": 6.305149841308594, + "step": 42635 + }, + { + "epoch": 0.1254, + "grad_norm": 8.298811912536621, + "learning_rate": 2.897020202020202e-06, + "loss": 6.2338310241699215, + "step": 42640 + }, + { + "epoch": 0.12545, + "grad_norm": 7.080240726470947, + "learning_rate": 2.8967676767676774e-06, + "loss": 6.331567001342774, + "step": 42645 + }, + { + "epoch": 0.1255, + "grad_norm": 3.9822092056274414, + "learning_rate": 2.896515151515152e-06, + "loss": 6.257165908813477, + "step": 42650 + }, + { + "epoch": 0.12555, + "grad_norm": 7.006120681762695, + "learning_rate": 2.8962626262626262e-06, + "loss": 6.265024566650391, + "step": 42655 + }, + { + "epoch": 0.1256, + "grad_norm": 9.603386878967285, + "learning_rate": 2.896010101010101e-06, + "loss": 6.2429145812988285, + "step": 42660 + }, + { + "epoch": 0.12565, + "grad_norm": 7.18720006942749, + "learning_rate": 2.8957575757575763e-06, + "loss": 6.273042297363281, + "step": 42665 + }, + { + "epoch": 0.1257, + "grad_norm": 6.489053249359131, + "learning_rate": 2.895505050505051e-06, + "loss": 6.2080322265625, + "step": 42670 + }, + { + "epoch": 0.12575, + "grad_norm": 7.401553630828857, + "learning_rate": 2.8952525252525256e-06, + "loss": 6.263488006591797, + "step": 42675 + }, + { + "epoch": 0.1258, + "grad_norm": 9.740854263305664, + "learning_rate": 2.8950000000000002e-06, + "loss": 6.315792846679687, + "step": 42680 + }, + { + "epoch": 0.12585, + "grad_norm": 11.6298828125, + "learning_rate": 2.8947474747474753e-06, + "loss": 6.2214916229248045, + "step": 42685 + }, + { + "epoch": 0.1259, + "grad_norm": 5.739536285400391, + "learning_rate": 2.89449494949495e-06, + "loss": 6.31074104309082, + "step": 42690 + }, + { + "epoch": 0.12595, + "grad_norm": 5.459855079650879, + "learning_rate": 2.8942424242424245e-06, + "loss": 6.234065246582031, + "step": 42695 + }, + { + "epoch": 0.126, + "grad_norm": 6.4340667724609375, + "learning_rate": 2.893989898989899e-06, + "loss": 6.245785522460937, + "step": 42700 + }, + { + "epoch": 0.12605, + "grad_norm": 5.002427101135254, + "learning_rate": 2.8937373737373742e-06, + "loss": 6.272274017333984, + "step": 42705 + }, + { + "epoch": 0.1261, + "grad_norm": 4.923975944519043, + "learning_rate": 2.893484848484849e-06, + "loss": 6.262678527832032, + "step": 42710 + }, + { + "epoch": 0.12615, + "grad_norm": 10.005484580993652, + "learning_rate": 2.8932323232323235e-06, + "loss": 6.253449249267578, + "step": 42715 + }, + { + "epoch": 0.1262, + "grad_norm": 6.382939338684082, + "learning_rate": 2.892979797979798e-06, + "loss": 6.268442153930664, + "step": 42720 + }, + { + "epoch": 0.12625, + "grad_norm": 15.143803596496582, + "learning_rate": 2.892727272727273e-06, + "loss": 6.299002075195313, + "step": 42725 + }, + { + "epoch": 0.1263, + "grad_norm": 6.313310146331787, + "learning_rate": 2.892474747474748e-06, + "loss": 6.24136962890625, + "step": 42730 + }, + { + "epoch": 0.12635, + "grad_norm": 8.379565238952637, + "learning_rate": 2.8922222222222224e-06, + "loss": 6.236381530761719, + "step": 42735 + }, + { + "epoch": 0.1264, + "grad_norm": 6.219910621643066, + "learning_rate": 2.891969696969697e-06, + "loss": 6.506138610839844, + "step": 42740 + }, + { + "epoch": 0.12645, + "grad_norm": 8.371438026428223, + "learning_rate": 2.891717171717172e-06, + "loss": 6.537351989746094, + "step": 42745 + }, + { + "epoch": 0.1265, + "grad_norm": 21.726179122924805, + "learning_rate": 2.8914646464646467e-06, + "loss": 6.369923400878906, + "step": 42750 + }, + { + "epoch": 0.12655, + "grad_norm": 42.546897888183594, + "learning_rate": 2.8912121212121214e-06, + "loss": 6.532388305664062, + "step": 42755 + }, + { + "epoch": 0.1266, + "grad_norm": 7.587975025177002, + "learning_rate": 2.890959595959596e-06, + "loss": 6.272637939453125, + "step": 42760 + }, + { + "epoch": 0.12665, + "grad_norm": 10.134566307067871, + "learning_rate": 2.890707070707071e-06, + "loss": 6.26794319152832, + "step": 42765 + }, + { + "epoch": 0.1267, + "grad_norm": 8.621458053588867, + "learning_rate": 2.8904545454545457e-06, + "loss": 6.213787841796875, + "step": 42770 + }, + { + "epoch": 0.12675, + "grad_norm": 8.493025779724121, + "learning_rate": 2.8902020202020203e-06, + "loss": 6.256126403808594, + "step": 42775 + }, + { + "epoch": 0.1268, + "grad_norm": 5.358027935028076, + "learning_rate": 2.889949494949495e-06, + "loss": 6.300741577148438, + "step": 42780 + }, + { + "epoch": 0.12685, + "grad_norm": 8.285168647766113, + "learning_rate": 2.88969696969697e-06, + "loss": 6.281980514526367, + "step": 42785 + }, + { + "epoch": 0.1269, + "grad_norm": 7.218749523162842, + "learning_rate": 2.8894444444444446e-06, + "loss": 6.240383148193359, + "step": 42790 + }, + { + "epoch": 0.12695, + "grad_norm": 8.210326194763184, + "learning_rate": 2.8891919191919193e-06, + "loss": 6.2898612976074215, + "step": 42795 + }, + { + "epoch": 0.127, + "grad_norm": 9.779827117919922, + "learning_rate": 2.888939393939394e-06, + "loss": 6.190750503540039, + "step": 42800 + }, + { + "epoch": 0.12705, + "grad_norm": 6.643845081329346, + "learning_rate": 2.888686868686869e-06, + "loss": 6.288530731201172, + "step": 42805 + }, + { + "epoch": 0.1271, + "grad_norm": 5.463345050811768, + "learning_rate": 2.8884343434343436e-06, + "loss": 6.249415588378906, + "step": 42810 + }, + { + "epoch": 0.12715, + "grad_norm": 5.694880485534668, + "learning_rate": 2.8881818181818182e-06, + "loss": 6.263436126708984, + "step": 42815 + }, + { + "epoch": 0.1272, + "grad_norm": 8.100613594055176, + "learning_rate": 2.887929292929293e-06, + "loss": 6.303643417358399, + "step": 42820 + }, + { + "epoch": 0.12725, + "grad_norm": 5.663472652435303, + "learning_rate": 2.887676767676768e-06, + "loss": 6.318413925170899, + "step": 42825 + }, + { + "epoch": 0.1273, + "grad_norm": 5.596512794494629, + "learning_rate": 2.8874242424242425e-06, + "loss": 6.2732292175292965, + "step": 42830 + }, + { + "epoch": 0.12735, + "grad_norm": 10.1311674118042, + "learning_rate": 2.887171717171717e-06, + "loss": 6.269374847412109, + "step": 42835 + }, + { + "epoch": 0.1274, + "grad_norm": 10.639410018920898, + "learning_rate": 2.8869191919191918e-06, + "loss": 6.193820571899414, + "step": 42840 + }, + { + "epoch": 0.12745, + "grad_norm": 8.301587104797363, + "learning_rate": 2.8866666666666673e-06, + "loss": 6.382625579833984, + "step": 42845 + }, + { + "epoch": 0.1275, + "grad_norm": 5.8394341468811035, + "learning_rate": 2.8864141414141415e-06, + "loss": 6.246498870849609, + "step": 42850 + }, + { + "epoch": 0.12755, + "grad_norm": 5.935181140899658, + "learning_rate": 2.886161616161616e-06, + "loss": 6.228199768066406, + "step": 42855 + }, + { + "epoch": 0.1276, + "grad_norm": 8.786735534667969, + "learning_rate": 2.8859090909090907e-06, + "loss": 6.322859573364258, + "step": 42860 + }, + { + "epoch": 0.12765, + "grad_norm": 6.6526007652282715, + "learning_rate": 2.885656565656566e-06, + "loss": 6.2727306365966795, + "step": 42865 + }, + { + "epoch": 0.1277, + "grad_norm": 9.01892375946045, + "learning_rate": 2.885404040404041e-06, + "loss": 6.332581329345703, + "step": 42870 + }, + { + "epoch": 0.12775, + "grad_norm": 6.6025824546813965, + "learning_rate": 2.8851515151515155e-06, + "loss": 6.285790252685547, + "step": 42875 + }, + { + "epoch": 0.1278, + "grad_norm": 7.522231578826904, + "learning_rate": 2.8848989898989897e-06, + "loss": 6.2671455383300785, + "step": 42880 + }, + { + "epoch": 0.12785, + "grad_norm": 8.550835609436035, + "learning_rate": 2.884646464646465e-06, + "loss": 6.359270095825195, + "step": 42885 + }, + { + "epoch": 0.1279, + "grad_norm": 4.5121002197265625, + "learning_rate": 2.8843939393939398e-06, + "loss": 6.278555297851563, + "step": 42890 + }, + { + "epoch": 0.12795, + "grad_norm": 6.215314865112305, + "learning_rate": 2.8841414141414144e-06, + "loss": 6.223762893676758, + "step": 42895 + }, + { + "epoch": 0.128, + "grad_norm": 7.668094635009766, + "learning_rate": 2.883888888888889e-06, + "loss": 6.262394714355469, + "step": 42900 + }, + { + "epoch": 0.12805, + "grad_norm": 5.219274044036865, + "learning_rate": 2.883636363636364e-06, + "loss": 6.253418731689453, + "step": 42905 + }, + { + "epoch": 0.1281, + "grad_norm": 5.327474117279053, + "learning_rate": 2.8833838383838387e-06, + "loss": 6.253081512451172, + "step": 42910 + }, + { + "epoch": 0.12815, + "grad_norm": 8.691856384277344, + "learning_rate": 2.8831313131313134e-06, + "loss": 6.240176010131836, + "step": 42915 + }, + { + "epoch": 0.1282, + "grad_norm": 4.250524997711182, + "learning_rate": 2.8828787878787884e-06, + "loss": 6.312602233886719, + "step": 42920 + }, + { + "epoch": 0.12825, + "grad_norm": 7.032783508300781, + "learning_rate": 2.882626262626263e-06, + "loss": 6.265884780883789, + "step": 42925 + }, + { + "epoch": 0.1283, + "grad_norm": 13.736678123474121, + "learning_rate": 2.8823737373737377e-06, + "loss": 6.335506439208984, + "step": 42930 + }, + { + "epoch": 0.12835, + "grad_norm": 4.994131088256836, + "learning_rate": 2.8821212121212123e-06, + "loss": 6.273589706420898, + "step": 42935 + }, + { + "epoch": 0.1284, + "grad_norm": 5.487616539001465, + "learning_rate": 2.8818686868686874e-06, + "loss": 6.25526008605957, + "step": 42940 + }, + { + "epoch": 0.12845, + "grad_norm": 6.868844985961914, + "learning_rate": 2.881616161616162e-06, + "loss": 6.239013671875, + "step": 42945 + }, + { + "epoch": 0.1285, + "grad_norm": 6.135003566741943, + "learning_rate": 2.8813636363636366e-06, + "loss": 6.269113540649414, + "step": 42950 + }, + { + "epoch": 0.12855, + "grad_norm": 6.789272308349609, + "learning_rate": 2.8811111111111112e-06, + "loss": 6.209231948852539, + "step": 42955 + }, + { + "epoch": 0.1286, + "grad_norm": 15.948736190795898, + "learning_rate": 2.8808585858585863e-06, + "loss": 6.459947967529297, + "step": 42960 + }, + { + "epoch": 0.12865, + "grad_norm": 8.216059684753418, + "learning_rate": 2.880606060606061e-06, + "loss": 6.324349594116211, + "step": 42965 + }, + { + "epoch": 0.1287, + "grad_norm": 4.411581993103027, + "learning_rate": 2.8803535353535356e-06, + "loss": 6.23919677734375, + "step": 42970 + }, + { + "epoch": 0.12875, + "grad_norm": 3.372684955596924, + "learning_rate": 2.88010101010101e-06, + "loss": 6.270579147338867, + "step": 42975 + }, + { + "epoch": 0.1288, + "grad_norm": 26.52436065673828, + "learning_rate": 2.8798484848484852e-06, + "loss": 6.187003707885742, + "step": 42980 + }, + { + "epoch": 0.12885, + "grad_norm": 7.956799030303955, + "learning_rate": 2.87959595959596e-06, + "loss": 6.291221618652344, + "step": 42985 + }, + { + "epoch": 0.1289, + "grad_norm": 26.662446975708008, + "learning_rate": 2.8793434343434345e-06, + "loss": 6.454537963867187, + "step": 42990 + }, + { + "epoch": 0.12895, + "grad_norm": 5.597362518310547, + "learning_rate": 2.879090909090909e-06, + "loss": 6.2570140838623045, + "step": 42995 + }, + { + "epoch": 0.129, + "grad_norm": 8.650330543518066, + "learning_rate": 2.878838383838384e-06, + "loss": 6.311814880371093, + "step": 43000 + }, + { + "epoch": 0.12905, + "grad_norm": 5.824348449707031, + "learning_rate": 2.878585858585859e-06, + "loss": 6.2576416015625, + "step": 43005 + }, + { + "epoch": 0.1291, + "grad_norm": 18.598297119140625, + "learning_rate": 2.8783333333333334e-06, + "loss": 6.293525695800781, + "step": 43010 + }, + { + "epoch": 0.12915, + "grad_norm": 17.007883071899414, + "learning_rate": 2.878080808080808e-06, + "loss": 6.3335517883300785, + "step": 43015 + }, + { + "epoch": 0.1292, + "grad_norm": 12.123918533325195, + "learning_rate": 2.877828282828283e-06, + "loss": 6.426605224609375, + "step": 43020 + }, + { + "epoch": 0.12925, + "grad_norm": 6.5796637535095215, + "learning_rate": 2.8775757575757578e-06, + "loss": 6.3082275390625, + "step": 43025 + }, + { + "epoch": 0.1293, + "grad_norm": 8.567082405090332, + "learning_rate": 2.8773232323232324e-06, + "loss": 6.284790802001953, + "step": 43030 + }, + { + "epoch": 0.12935, + "grad_norm": 9.459152221679688, + "learning_rate": 2.877070707070707e-06, + "loss": 6.284445953369141, + "step": 43035 + }, + { + "epoch": 0.1294, + "grad_norm": 6.213819980621338, + "learning_rate": 2.8768181818181825e-06, + "loss": 6.214144515991211, + "step": 43040 + }, + { + "epoch": 0.12945, + "grad_norm": 6.97295618057251, + "learning_rate": 2.8765656565656567e-06, + "loss": 6.279450225830078, + "step": 43045 + }, + { + "epoch": 0.1295, + "grad_norm": 22.693767547607422, + "learning_rate": 2.8763131313131313e-06, + "loss": 6.290313720703125, + "step": 43050 + }, + { + "epoch": 0.12955, + "grad_norm": 21.894380569458008, + "learning_rate": 2.876060606060606e-06, + "loss": 6.350310516357422, + "step": 43055 + }, + { + "epoch": 0.1296, + "grad_norm": 4.333471298217773, + "learning_rate": 2.8758080808080814e-06, + "loss": 6.267122650146485, + "step": 43060 + }, + { + "epoch": 0.12965, + "grad_norm": 6.87057638168335, + "learning_rate": 2.875555555555556e-06, + "loss": 6.237315368652344, + "step": 43065 + }, + { + "epoch": 0.1297, + "grad_norm": 5.2339372634887695, + "learning_rate": 2.8753030303030303e-06, + "loss": 6.284799194335937, + "step": 43070 + }, + { + "epoch": 0.12975, + "grad_norm": 11.755865097045898, + "learning_rate": 2.875050505050505e-06, + "loss": 6.294019317626953, + "step": 43075 + }, + { + "epoch": 0.1298, + "grad_norm": 5.884405612945557, + "learning_rate": 2.8747979797979804e-06, + "loss": 6.279730224609375, + "step": 43080 + }, + { + "epoch": 0.12985, + "grad_norm": 14.990090370178223, + "learning_rate": 2.874545454545455e-06, + "loss": 6.4034782409667965, + "step": 43085 + }, + { + "epoch": 0.1299, + "grad_norm": 4.535803318023682, + "learning_rate": 2.8742929292929296e-06, + "loss": 6.332181549072265, + "step": 43090 + }, + { + "epoch": 0.12995, + "grad_norm": 6.985929489135742, + "learning_rate": 2.8740404040404043e-06, + "loss": 6.296395492553711, + "step": 43095 + }, + { + "epoch": 0.13, + "grad_norm": 8.484833717346191, + "learning_rate": 2.8737878787878793e-06, + "loss": 6.28063735961914, + "step": 43100 + }, + { + "epoch": 0.13005, + "grad_norm": 13.143287658691406, + "learning_rate": 2.873535353535354e-06, + "loss": 6.4234169006347654, + "step": 43105 + }, + { + "epoch": 0.1301, + "grad_norm": 5.3821001052856445, + "learning_rate": 2.8732828282828286e-06, + "loss": 6.255021667480468, + "step": 43110 + }, + { + "epoch": 0.13015, + "grad_norm": 5.540125846862793, + "learning_rate": 2.8730303030303032e-06, + "loss": 6.227041625976563, + "step": 43115 + }, + { + "epoch": 0.1302, + "grad_norm": 4.4096479415893555, + "learning_rate": 2.8727777777777783e-06, + "loss": 6.255789566040039, + "step": 43120 + }, + { + "epoch": 0.13025, + "grad_norm": 9.611748695373535, + "learning_rate": 2.872525252525253e-06, + "loss": 6.259996032714843, + "step": 43125 + }, + { + "epoch": 0.1303, + "grad_norm": 15.381868362426758, + "learning_rate": 2.8722727272727275e-06, + "loss": 6.343684387207031, + "step": 43130 + }, + { + "epoch": 0.13035, + "grad_norm": 10.241069793701172, + "learning_rate": 2.872020202020202e-06, + "loss": 6.306514739990234, + "step": 43135 + }, + { + "epoch": 0.1304, + "grad_norm": 7.329665184020996, + "learning_rate": 2.8717676767676772e-06, + "loss": 6.296849060058594, + "step": 43140 + }, + { + "epoch": 0.13045, + "grad_norm": 8.880321502685547, + "learning_rate": 2.871515151515152e-06, + "loss": 6.244744110107422, + "step": 43145 + }, + { + "epoch": 0.1305, + "grad_norm": 5.904425144195557, + "learning_rate": 2.8712626262626265e-06, + "loss": 6.27349967956543, + "step": 43150 + }, + { + "epoch": 0.13055, + "grad_norm": 8.924327850341797, + "learning_rate": 2.871010101010101e-06, + "loss": 6.236366271972656, + "step": 43155 + }, + { + "epoch": 0.1306, + "grad_norm": 7.5010480880737305, + "learning_rate": 2.870757575757576e-06, + "loss": 6.282142257690429, + "step": 43160 + }, + { + "epoch": 0.13065, + "grad_norm": 5.98451566696167, + "learning_rate": 2.870505050505051e-06, + "loss": 6.302898025512695, + "step": 43165 + }, + { + "epoch": 0.1307, + "grad_norm": 5.7592034339904785, + "learning_rate": 2.8702525252525254e-06, + "loss": 6.218171691894531, + "step": 43170 + }, + { + "epoch": 0.13075, + "grad_norm": 5.450937271118164, + "learning_rate": 2.87e-06, + "loss": 6.267374801635742, + "step": 43175 + }, + { + "epoch": 0.1308, + "grad_norm": 6.0445556640625, + "learning_rate": 2.869747474747475e-06, + "loss": 6.275907516479492, + "step": 43180 + }, + { + "epoch": 0.13085, + "grad_norm": 4.397013187408447, + "learning_rate": 2.8694949494949497e-06, + "loss": 6.2501873016357425, + "step": 43185 + }, + { + "epoch": 0.1309, + "grad_norm": 6.410189151763916, + "learning_rate": 2.8692424242424244e-06, + "loss": 6.294324493408203, + "step": 43190 + }, + { + "epoch": 0.13095, + "grad_norm": 4.815674781799316, + "learning_rate": 2.868989898989899e-06, + "loss": 6.217630386352539, + "step": 43195 + }, + { + "epoch": 0.131, + "grad_norm": 6.552621841430664, + "learning_rate": 2.868737373737374e-06, + "loss": 6.277267837524414, + "step": 43200 + }, + { + "epoch": 0.13105, + "grad_norm": 5.291956424713135, + "learning_rate": 2.8684848484848487e-06, + "loss": 6.259783935546875, + "step": 43205 + }, + { + "epoch": 0.1311, + "grad_norm": 7.579299449920654, + "learning_rate": 2.8682323232323233e-06, + "loss": 6.256838989257813, + "step": 43210 + }, + { + "epoch": 0.13115, + "grad_norm": 10.229508399963379, + "learning_rate": 2.867979797979798e-06, + "loss": 6.2678169250488285, + "step": 43215 + }, + { + "epoch": 0.1312, + "grad_norm": 6.355286598205566, + "learning_rate": 2.867727272727273e-06, + "loss": 6.3556571960449215, + "step": 43220 + }, + { + "epoch": 0.13125, + "grad_norm": 8.957408905029297, + "learning_rate": 2.8674747474747476e-06, + "loss": 6.273205947875977, + "step": 43225 + }, + { + "epoch": 0.1313, + "grad_norm": 6.60697078704834, + "learning_rate": 2.8672222222222223e-06, + "loss": 6.271319961547851, + "step": 43230 + }, + { + "epoch": 0.13135, + "grad_norm": 6.736981391906738, + "learning_rate": 2.866969696969697e-06, + "loss": 6.691302490234375, + "step": 43235 + }, + { + "epoch": 0.1314, + "grad_norm": 9.466843605041504, + "learning_rate": 2.866717171717172e-06, + "loss": 6.486256408691406, + "step": 43240 + }, + { + "epoch": 0.13145, + "grad_norm": 8.836398124694824, + "learning_rate": 2.8664646464646466e-06, + "loss": 6.220640563964844, + "step": 43245 + }, + { + "epoch": 0.1315, + "grad_norm": 6.768199920654297, + "learning_rate": 2.866212121212121e-06, + "loss": 6.382104873657227, + "step": 43250 + }, + { + "epoch": 0.13155, + "grad_norm": 8.878084182739258, + "learning_rate": 2.865959595959596e-06, + "loss": 6.279502868652344, + "step": 43255 + }, + { + "epoch": 0.1316, + "grad_norm": 4.339023590087891, + "learning_rate": 2.8657070707070713e-06, + "loss": 6.294828414916992, + "step": 43260 + }, + { + "epoch": 0.13165, + "grad_norm": 7.104442119598389, + "learning_rate": 2.8654545454545455e-06, + "loss": 6.244049453735352, + "step": 43265 + }, + { + "epoch": 0.1317, + "grad_norm": 7.406525135040283, + "learning_rate": 2.86520202020202e-06, + "loss": 6.252048492431641, + "step": 43270 + }, + { + "epoch": 0.13175, + "grad_norm": 25.285282135009766, + "learning_rate": 2.8649494949494948e-06, + "loss": 6.229248046875, + "step": 43275 + }, + { + "epoch": 0.1318, + "grad_norm": 7.923766613006592, + "learning_rate": 2.8646969696969702e-06, + "loss": 6.269764709472656, + "step": 43280 + }, + { + "epoch": 0.13185, + "grad_norm": 4.315817832946777, + "learning_rate": 2.864444444444445e-06, + "loss": 6.3016307830810545, + "step": 43285 + }, + { + "epoch": 0.1319, + "grad_norm": 10.706947326660156, + "learning_rate": 2.8641919191919195e-06, + "loss": 6.286434173583984, + "step": 43290 + }, + { + "epoch": 0.13195, + "grad_norm": 5.020844459533691, + "learning_rate": 2.8639393939393937e-06, + "loss": 6.243112564086914, + "step": 43295 + }, + { + "epoch": 0.132, + "grad_norm": 18.568330764770508, + "learning_rate": 2.863686868686869e-06, + "loss": 6.373126220703125, + "step": 43300 + }, + { + "epoch": 0.13205, + "grad_norm": 6.964751243591309, + "learning_rate": 2.863434343434344e-06, + "loss": 6.307568359375, + "step": 43305 + }, + { + "epoch": 0.1321, + "grad_norm": 7.609381675720215, + "learning_rate": 2.8631818181818185e-06, + "loss": 6.238526916503906, + "step": 43310 + }, + { + "epoch": 0.13215, + "grad_norm": 5.103451251983643, + "learning_rate": 2.862929292929293e-06, + "loss": 6.257978057861328, + "step": 43315 + }, + { + "epoch": 0.1322, + "grad_norm": 5.043303966522217, + "learning_rate": 2.862676767676768e-06, + "loss": 6.2865032196044925, + "step": 43320 + }, + { + "epoch": 0.13225, + "grad_norm": 7.471829891204834, + "learning_rate": 2.8624242424242428e-06, + "loss": 6.24681282043457, + "step": 43325 + }, + { + "epoch": 0.1323, + "grad_norm": 5.769717216491699, + "learning_rate": 2.8621717171717174e-06, + "loss": 6.235546112060547, + "step": 43330 + }, + { + "epoch": 0.13235, + "grad_norm": 4.684678077697754, + "learning_rate": 2.8619191919191924e-06, + "loss": 6.257871627807617, + "step": 43335 + }, + { + "epoch": 0.1324, + "grad_norm": 7.821010589599609, + "learning_rate": 2.861666666666667e-06, + "loss": 6.280548095703125, + "step": 43340 + }, + { + "epoch": 0.13245, + "grad_norm": 6.8559184074401855, + "learning_rate": 2.8614141414141417e-06, + "loss": 6.36663818359375, + "step": 43345 + }, + { + "epoch": 0.1325, + "grad_norm": 4.6742682456970215, + "learning_rate": 2.8611616161616163e-06, + "loss": 6.276481628417969, + "step": 43350 + }, + { + "epoch": 0.13255, + "grad_norm": 6.713963031768799, + "learning_rate": 2.8609090909090914e-06, + "loss": 6.242586517333985, + "step": 43355 + }, + { + "epoch": 0.1326, + "grad_norm": 11.108776092529297, + "learning_rate": 2.860656565656566e-06, + "loss": 6.253023147583008, + "step": 43360 + }, + { + "epoch": 0.13265, + "grad_norm": 4.8930840492248535, + "learning_rate": 2.8604040404040407e-06, + "loss": 6.236242294311523, + "step": 43365 + }, + { + "epoch": 0.1327, + "grad_norm": 5.486450672149658, + "learning_rate": 2.8601515151515153e-06, + "loss": 6.283148574829101, + "step": 43370 + }, + { + "epoch": 0.13275, + "grad_norm": 16.538646697998047, + "learning_rate": 2.8598989898989903e-06, + "loss": 6.187714385986328, + "step": 43375 + }, + { + "epoch": 0.1328, + "grad_norm": 7.170218467712402, + "learning_rate": 2.859646464646465e-06, + "loss": 6.289879989624024, + "step": 43380 + }, + { + "epoch": 0.13285, + "grad_norm": 9.803731918334961, + "learning_rate": 2.8593939393939396e-06, + "loss": 6.2450439453125, + "step": 43385 + }, + { + "epoch": 0.1329, + "grad_norm": 5.954226970672607, + "learning_rate": 2.8591414141414142e-06, + "loss": 6.2174324035644535, + "step": 43390 + }, + { + "epoch": 0.13295, + "grad_norm": 5.374699592590332, + "learning_rate": 2.8588888888888893e-06, + "loss": 6.26104507446289, + "step": 43395 + }, + { + "epoch": 0.133, + "grad_norm": 7.809597969055176, + "learning_rate": 2.858636363636364e-06, + "loss": 6.281192779541016, + "step": 43400 + }, + { + "epoch": 0.13305, + "grad_norm": 4.261511325836182, + "learning_rate": 2.8583838383838385e-06, + "loss": 6.2378791809082035, + "step": 43405 + }, + { + "epoch": 0.1331, + "grad_norm": 6.513619899749756, + "learning_rate": 2.858131313131313e-06, + "loss": 6.260833740234375, + "step": 43410 + }, + { + "epoch": 0.13315, + "grad_norm": 9.710037231445312, + "learning_rate": 2.8578787878787882e-06, + "loss": 6.354568862915039, + "step": 43415 + }, + { + "epoch": 0.1332, + "grad_norm": 4.6178388595581055, + "learning_rate": 2.857626262626263e-06, + "loss": 6.261651611328125, + "step": 43420 + }, + { + "epoch": 0.13325, + "grad_norm": 7.572020053863525, + "learning_rate": 2.8573737373737375e-06, + "loss": 6.233094024658203, + "step": 43425 + }, + { + "epoch": 0.1333, + "grad_norm": 7.258317470550537, + "learning_rate": 2.857121212121212e-06, + "loss": 6.2591194152832035, + "step": 43430 + }, + { + "epoch": 0.13335, + "grad_norm": 5.405412197113037, + "learning_rate": 2.856868686868687e-06, + "loss": 6.258555603027344, + "step": 43435 + }, + { + "epoch": 0.1334, + "grad_norm": 7.302793979644775, + "learning_rate": 2.856616161616162e-06, + "loss": 6.341430282592773, + "step": 43440 + }, + { + "epoch": 0.13345, + "grad_norm": 5.300051689147949, + "learning_rate": 2.8563636363636364e-06, + "loss": 6.321907043457031, + "step": 43445 + }, + { + "epoch": 0.1335, + "grad_norm": 6.299030303955078, + "learning_rate": 2.856111111111111e-06, + "loss": 6.242219161987305, + "step": 43450 + }, + { + "epoch": 0.13355, + "grad_norm": 7.227540969848633, + "learning_rate": 2.8558585858585865e-06, + "loss": 6.280513000488281, + "step": 43455 + }, + { + "epoch": 0.1336, + "grad_norm": 4.16887903213501, + "learning_rate": 2.8556060606060607e-06, + "loss": 6.279356384277344, + "step": 43460 + }, + { + "epoch": 0.13365, + "grad_norm": 6.142021179199219, + "learning_rate": 2.8553535353535354e-06, + "loss": 6.338402557373047, + "step": 43465 + }, + { + "epoch": 0.1337, + "grad_norm": 34.889923095703125, + "learning_rate": 2.85510101010101e-06, + "loss": 6.316434478759765, + "step": 43470 + }, + { + "epoch": 0.13375, + "grad_norm": 14.073229789733887, + "learning_rate": 2.8548484848484855e-06, + "loss": 6.268582153320312, + "step": 43475 + }, + { + "epoch": 0.1338, + "grad_norm": 3.796022891998291, + "learning_rate": 2.85459595959596e-06, + "loss": 6.248382568359375, + "step": 43480 + }, + { + "epoch": 0.13385, + "grad_norm": 4.540653228759766, + "learning_rate": 2.8543434343434343e-06, + "loss": 6.225812149047852, + "step": 43485 + }, + { + "epoch": 0.1339, + "grad_norm": 5.1803412437438965, + "learning_rate": 2.854090909090909e-06, + "loss": 6.137946319580078, + "step": 43490 + }, + { + "epoch": 0.13395, + "grad_norm": 4.075172424316406, + "learning_rate": 2.8538383838383844e-06, + "loss": 6.398261260986328, + "step": 43495 + }, + { + "epoch": 0.134, + "grad_norm": 5.732426166534424, + "learning_rate": 2.853585858585859e-06, + "loss": 6.265174102783203, + "step": 43500 + }, + { + "epoch": 0.13405, + "grad_norm": 8.545089721679688, + "learning_rate": 2.8533333333333337e-06, + "loss": 6.217965698242187, + "step": 43505 + }, + { + "epoch": 0.1341, + "grad_norm": 4.967952251434326, + "learning_rate": 2.8530808080808083e-06, + "loss": 6.259419631958008, + "step": 43510 + }, + { + "epoch": 0.13415, + "grad_norm": 8.858756065368652, + "learning_rate": 2.8528282828282834e-06, + "loss": 6.30622673034668, + "step": 43515 + }, + { + "epoch": 0.1342, + "grad_norm": 5.176233291625977, + "learning_rate": 2.852575757575758e-06, + "loss": 6.219108581542969, + "step": 43520 + }, + { + "epoch": 0.13425, + "grad_norm": 26.216751098632812, + "learning_rate": 2.8523232323232326e-06, + "loss": 6.069157409667969, + "step": 43525 + }, + { + "epoch": 0.1343, + "grad_norm": 27.284883499145508, + "learning_rate": 2.8520707070707073e-06, + "loss": 5.469076538085938, + "step": 43530 + }, + { + "epoch": 0.13435, + "grad_norm": 4.899468898773193, + "learning_rate": 2.8518181818181823e-06, + "loss": 6.1373443603515625, + "step": 43535 + }, + { + "epoch": 0.1344, + "grad_norm": 8.36385440826416, + "learning_rate": 2.851565656565657e-06, + "loss": 6.24847412109375, + "step": 43540 + }, + { + "epoch": 0.13445, + "grad_norm": 6.592554569244385, + "learning_rate": 2.8513131313131316e-06, + "loss": 6.235096740722656, + "step": 43545 + }, + { + "epoch": 0.1345, + "grad_norm": 6.8928446769714355, + "learning_rate": 2.851060606060606e-06, + "loss": 6.266709518432617, + "step": 43550 + }, + { + "epoch": 0.13455, + "grad_norm": 6.699801445007324, + "learning_rate": 2.8508080808080813e-06, + "loss": 6.322134399414063, + "step": 43555 + }, + { + "epoch": 0.1346, + "grad_norm": 22.859577178955078, + "learning_rate": 2.850555555555556e-06, + "loss": 6.396205139160156, + "step": 43560 + }, + { + "epoch": 0.13465, + "grad_norm": 6.703649520874023, + "learning_rate": 2.8503030303030305e-06, + "loss": 6.329948043823242, + "step": 43565 + }, + { + "epoch": 0.1347, + "grad_norm": 7.4208984375, + "learning_rate": 2.850050505050505e-06, + "loss": 6.243439865112305, + "step": 43570 + }, + { + "epoch": 0.13475, + "grad_norm": 7.553806781768799, + "learning_rate": 2.84979797979798e-06, + "loss": 6.189703369140625, + "step": 43575 + }, + { + "epoch": 0.1348, + "grad_norm": 6.758103847503662, + "learning_rate": 2.849545454545455e-06, + "loss": 6.276029968261719, + "step": 43580 + }, + { + "epoch": 0.13485, + "grad_norm": 2.949922561645508, + "learning_rate": 2.8492929292929295e-06, + "loss": 6.329407501220703, + "step": 43585 + }, + { + "epoch": 0.1349, + "grad_norm": 5.194447040557861, + "learning_rate": 2.849040404040404e-06, + "loss": 6.270747375488281, + "step": 43590 + }, + { + "epoch": 0.13495, + "grad_norm": 6.993348121643066, + "learning_rate": 2.848787878787879e-06, + "loss": 6.280782318115234, + "step": 43595 + }, + { + "epoch": 0.135, + "grad_norm": 3.5155789852142334, + "learning_rate": 2.8485353535353538e-06, + "loss": 6.278750228881836, + "step": 43600 + }, + { + "epoch": 0.13505, + "grad_norm": 5.948009490966797, + "learning_rate": 2.8482828282828284e-06, + "loss": 6.289763641357422, + "step": 43605 + }, + { + "epoch": 0.1351, + "grad_norm": 15.022008895874023, + "learning_rate": 2.848030303030303e-06, + "loss": 6.240082550048828, + "step": 43610 + }, + { + "epoch": 0.13515, + "grad_norm": 4.923147678375244, + "learning_rate": 2.847777777777778e-06, + "loss": 6.238047790527344, + "step": 43615 + }, + { + "epoch": 0.1352, + "grad_norm": 6.05237340927124, + "learning_rate": 2.8475252525252527e-06, + "loss": 6.246885299682617, + "step": 43620 + }, + { + "epoch": 0.13525, + "grad_norm": 5.735517501831055, + "learning_rate": 2.8472727272727273e-06, + "loss": 6.262055969238281, + "step": 43625 + }, + { + "epoch": 0.1353, + "grad_norm": 8.023652076721191, + "learning_rate": 2.847020202020202e-06, + "loss": 6.247505569458008, + "step": 43630 + }, + { + "epoch": 0.13535, + "grad_norm": 8.489407539367676, + "learning_rate": 2.846767676767677e-06, + "loss": 6.281596374511719, + "step": 43635 + }, + { + "epoch": 0.1354, + "grad_norm": 6.829041957855225, + "learning_rate": 2.8465151515151517e-06, + "loss": 6.219001388549804, + "step": 43640 + }, + { + "epoch": 0.13545, + "grad_norm": 7.7343831062316895, + "learning_rate": 2.8462626262626263e-06, + "loss": 6.241037368774414, + "step": 43645 + }, + { + "epoch": 0.1355, + "grad_norm": 4.630633354187012, + "learning_rate": 2.846010101010101e-06, + "loss": 6.275534439086914, + "step": 43650 + }, + { + "epoch": 0.13555, + "grad_norm": 15.093324661254883, + "learning_rate": 2.845757575757576e-06, + "loss": 6.3310546875, + "step": 43655 + }, + { + "epoch": 0.1356, + "grad_norm": 4.71070671081543, + "learning_rate": 2.8455050505050506e-06, + "loss": 6.337930297851562, + "step": 43660 + }, + { + "epoch": 0.13565, + "grad_norm": 5.804305553436279, + "learning_rate": 2.8452525252525252e-06, + "loss": 6.280965042114258, + "step": 43665 + }, + { + "epoch": 0.1357, + "grad_norm": 19.624473571777344, + "learning_rate": 2.845e-06, + "loss": 6.429391479492187, + "step": 43670 + }, + { + "epoch": 0.13575, + "grad_norm": 6.171222686767578, + "learning_rate": 2.8447474747474753e-06, + "loss": 6.239797210693359, + "step": 43675 + }, + { + "epoch": 0.1358, + "grad_norm": 8.432456016540527, + "learning_rate": 2.8444949494949495e-06, + "loss": 6.260105895996094, + "step": 43680 + }, + { + "epoch": 0.13585, + "grad_norm": 10.232135772705078, + "learning_rate": 2.844242424242424e-06, + "loss": 6.292079162597656, + "step": 43685 + }, + { + "epoch": 0.1359, + "grad_norm": 5.744802474975586, + "learning_rate": 2.843989898989899e-06, + "loss": 6.239906311035156, + "step": 43690 + }, + { + "epoch": 0.13595, + "grad_norm": 5.23682165145874, + "learning_rate": 2.8437373737373743e-06, + "loss": 6.2383781433105465, + "step": 43695 + }, + { + "epoch": 0.136, + "grad_norm": 5.2025675773620605, + "learning_rate": 2.843484848484849e-06, + "loss": 6.264087295532226, + "step": 43700 + }, + { + "epoch": 0.13605, + "grad_norm": 6.131991863250732, + "learning_rate": 2.8432323232323235e-06, + "loss": 6.255496978759766, + "step": 43705 + }, + { + "epoch": 0.1361, + "grad_norm": 3.643937110900879, + "learning_rate": 2.8429797979797978e-06, + "loss": 6.269324874877929, + "step": 43710 + }, + { + "epoch": 0.13615, + "grad_norm": 8.073681831359863, + "learning_rate": 2.8427272727272732e-06, + "loss": 6.278940200805664, + "step": 43715 + }, + { + "epoch": 0.1362, + "grad_norm": 5.550046443939209, + "learning_rate": 2.842474747474748e-06, + "loss": 6.26325798034668, + "step": 43720 + }, + { + "epoch": 0.13625, + "grad_norm": 6.735872745513916, + "learning_rate": 2.8422222222222225e-06, + "loss": 6.236701965332031, + "step": 43725 + }, + { + "epoch": 0.1363, + "grad_norm": 5.902424335479736, + "learning_rate": 2.841969696969697e-06, + "loss": 6.1923267364501955, + "step": 43730 + }, + { + "epoch": 0.13635, + "grad_norm": 6.914799213409424, + "learning_rate": 2.841717171717172e-06, + "loss": 6.261261749267578, + "step": 43735 + }, + { + "epoch": 0.1364, + "grad_norm": 4.581704139709473, + "learning_rate": 2.841464646464647e-06, + "loss": 6.228335571289063, + "step": 43740 + }, + { + "epoch": 0.13645, + "grad_norm": 5.931632041931152, + "learning_rate": 2.8412121212121214e-06, + "loss": 6.298046112060547, + "step": 43745 + }, + { + "epoch": 0.1365, + "grad_norm": 8.191365242004395, + "learning_rate": 2.840959595959596e-06, + "loss": 6.225928497314453, + "step": 43750 + }, + { + "epoch": 0.13655, + "grad_norm": 22.362194061279297, + "learning_rate": 2.840707070707071e-06, + "loss": 6.3614757537841795, + "step": 43755 + }, + { + "epoch": 0.1366, + "grad_norm": 6.169240951538086, + "learning_rate": 2.8404545454545457e-06, + "loss": 6.334828948974609, + "step": 43760 + }, + { + "epoch": 0.13665, + "grad_norm": 6.999136924743652, + "learning_rate": 2.8402020202020204e-06, + "loss": 6.2414695739746096, + "step": 43765 + }, + { + "epoch": 0.1367, + "grad_norm": 4.43180513381958, + "learning_rate": 2.8399494949494954e-06, + "loss": 6.292564010620117, + "step": 43770 + }, + { + "epoch": 0.13675, + "grad_norm": 6.282449722290039, + "learning_rate": 2.83969696969697e-06, + "loss": 6.222959899902344, + "step": 43775 + }, + { + "epoch": 0.1368, + "grad_norm": 8.183842658996582, + "learning_rate": 2.8394444444444447e-06, + "loss": 6.283376693725586, + "step": 43780 + }, + { + "epoch": 0.13685, + "grad_norm": 8.588669776916504, + "learning_rate": 2.8391919191919193e-06, + "loss": 6.217567062377929, + "step": 43785 + }, + { + "epoch": 0.1369, + "grad_norm": 5.36295747756958, + "learning_rate": 2.8389393939393944e-06, + "loss": 6.2753547668457035, + "step": 43790 + }, + { + "epoch": 0.13695, + "grad_norm": 29.703964233398438, + "learning_rate": 2.838686868686869e-06, + "loss": 6.470872497558593, + "step": 43795 + }, + { + "epoch": 0.137, + "grad_norm": 12.096829414367676, + "learning_rate": 2.8384343434343436e-06, + "loss": 6.343801879882813, + "step": 43800 + }, + { + "epoch": 0.13705, + "grad_norm": 5.230457782745361, + "learning_rate": 2.8381818181818183e-06, + "loss": 6.26167106628418, + "step": 43805 + }, + { + "epoch": 0.1371, + "grad_norm": 27.020553588867188, + "learning_rate": 2.8379292929292933e-06, + "loss": 6.407839965820313, + "step": 43810 + }, + { + "epoch": 0.13715, + "grad_norm": 3.595855474472046, + "learning_rate": 2.837676767676768e-06, + "loss": 6.400599670410156, + "step": 43815 + }, + { + "epoch": 0.1372, + "grad_norm": 6.759857177734375, + "learning_rate": 2.8374242424242426e-06, + "loss": 6.254929733276367, + "step": 43820 + }, + { + "epoch": 0.13725, + "grad_norm": 7.911201477050781, + "learning_rate": 2.837171717171717e-06, + "loss": 6.267362213134765, + "step": 43825 + }, + { + "epoch": 0.1373, + "grad_norm": 6.64960241317749, + "learning_rate": 2.8369191919191923e-06, + "loss": 6.244205474853516, + "step": 43830 + }, + { + "epoch": 0.13735, + "grad_norm": 5.265005588531494, + "learning_rate": 2.836666666666667e-06, + "loss": 6.278976821899414, + "step": 43835 + }, + { + "epoch": 0.1374, + "grad_norm": 7.2589521408081055, + "learning_rate": 2.8364141414141415e-06, + "loss": 6.274136352539062, + "step": 43840 + }, + { + "epoch": 0.13745, + "grad_norm": 9.822064399719238, + "learning_rate": 2.836161616161616e-06, + "loss": 6.264536285400391, + "step": 43845 + }, + { + "epoch": 0.1375, + "grad_norm": 7.016148567199707, + "learning_rate": 2.835909090909091e-06, + "loss": 6.244120788574219, + "step": 43850 + }, + { + "epoch": 0.13755, + "grad_norm": 6.746035575866699, + "learning_rate": 2.835656565656566e-06, + "loss": 6.430908203125, + "step": 43855 + }, + { + "epoch": 0.1376, + "grad_norm": 5.664775848388672, + "learning_rate": 2.8354040404040405e-06, + "loss": 6.287171936035156, + "step": 43860 + }, + { + "epoch": 0.13765, + "grad_norm": 3.7893972396850586, + "learning_rate": 2.835151515151515e-06, + "loss": 6.228302001953125, + "step": 43865 + }, + { + "epoch": 0.1377, + "grad_norm": 11.137739181518555, + "learning_rate": 2.8348989898989906e-06, + "loss": 6.367694473266601, + "step": 43870 + }, + { + "epoch": 0.13775, + "grad_norm": 7.342423439025879, + "learning_rate": 2.8346464646464648e-06, + "loss": 6.273491287231446, + "step": 43875 + }, + { + "epoch": 0.1378, + "grad_norm": 5.733502388000488, + "learning_rate": 2.8343939393939394e-06, + "loss": 6.263868713378907, + "step": 43880 + }, + { + "epoch": 0.13785, + "grad_norm": 4.293156147003174, + "learning_rate": 2.834141414141414e-06, + "loss": 6.2460487365722654, + "step": 43885 + }, + { + "epoch": 0.1379, + "grad_norm": 7.589475631713867, + "learning_rate": 2.8338888888888895e-06, + "loss": 6.3057201385498045, + "step": 43890 + }, + { + "epoch": 0.13795, + "grad_norm": 7.665335655212402, + "learning_rate": 2.833636363636364e-06, + "loss": 6.276919555664063, + "step": 43895 + }, + { + "epoch": 0.138, + "grad_norm": 5.666153907775879, + "learning_rate": 2.8333838383838388e-06, + "loss": 6.266910552978516, + "step": 43900 + }, + { + "epoch": 0.13805, + "grad_norm": 4.753661632537842, + "learning_rate": 2.833131313131313e-06, + "loss": 6.262953567504883, + "step": 43905 + }, + { + "epoch": 0.1381, + "grad_norm": 5.5510029792785645, + "learning_rate": 2.8328787878787885e-06, + "loss": 6.2601982116699215, + "step": 43910 + }, + { + "epoch": 0.13815, + "grad_norm": 7.07350492477417, + "learning_rate": 2.832626262626263e-06, + "loss": 6.294867706298828, + "step": 43915 + }, + { + "epoch": 0.1382, + "grad_norm": 6.252420902252197, + "learning_rate": 2.8323737373737377e-06, + "loss": 6.268021774291992, + "step": 43920 + }, + { + "epoch": 0.13825, + "grad_norm": 15.275386810302734, + "learning_rate": 2.8321212121212124e-06, + "loss": 6.308098602294922, + "step": 43925 + }, + { + "epoch": 0.1383, + "grad_norm": 8.324472427368164, + "learning_rate": 2.8318686868686874e-06, + "loss": 6.219491577148437, + "step": 43930 + }, + { + "epoch": 0.13835, + "grad_norm": 7.230158805847168, + "learning_rate": 2.831616161616162e-06, + "loss": 6.275179290771485, + "step": 43935 + }, + { + "epoch": 0.1384, + "grad_norm": 10.057366371154785, + "learning_rate": 2.8313636363636367e-06, + "loss": 6.395474243164062, + "step": 43940 + }, + { + "epoch": 0.13845, + "grad_norm": 9.991921424865723, + "learning_rate": 2.8311111111111113e-06, + "loss": 6.27286376953125, + "step": 43945 + }, + { + "epoch": 0.1385, + "grad_norm": 9.384007453918457, + "learning_rate": 2.8308585858585864e-06, + "loss": 6.326846694946289, + "step": 43950 + }, + { + "epoch": 0.13855, + "grad_norm": 4.692612648010254, + "learning_rate": 2.830606060606061e-06, + "loss": 6.251646423339844, + "step": 43955 + }, + { + "epoch": 0.1386, + "grad_norm": 5.658445358276367, + "learning_rate": 2.8303535353535356e-06, + "loss": 6.274729919433594, + "step": 43960 + }, + { + "epoch": 0.13865, + "grad_norm": 7.3480963706970215, + "learning_rate": 2.8301010101010102e-06, + "loss": 6.260699081420898, + "step": 43965 + }, + { + "epoch": 0.1387, + "grad_norm": 3.87876558303833, + "learning_rate": 2.8298484848484853e-06, + "loss": 6.279816436767578, + "step": 43970 + }, + { + "epoch": 0.13875, + "grad_norm": 9.42414665222168, + "learning_rate": 2.82959595959596e-06, + "loss": 6.250183486938477, + "step": 43975 + }, + { + "epoch": 0.1388, + "grad_norm": 5.117704391479492, + "learning_rate": 2.8293434343434346e-06, + "loss": 6.249322128295899, + "step": 43980 + }, + { + "epoch": 0.13885, + "grad_norm": 7.544601917266846, + "learning_rate": 2.829090909090909e-06, + "loss": 6.286181640625, + "step": 43985 + }, + { + "epoch": 0.1389, + "grad_norm": 6.675680637359619, + "learning_rate": 2.8288383838383842e-06, + "loss": 6.249143981933594, + "step": 43990 + }, + { + "epoch": 0.13895, + "grad_norm": 8.83263111114502, + "learning_rate": 2.828585858585859e-06, + "loss": 6.281089401245117, + "step": 43995 + }, + { + "epoch": 0.139, + "grad_norm": 7.1394853591918945, + "learning_rate": 2.8283333333333335e-06, + "loss": 6.245540618896484, + "step": 44000 + }, + { + "epoch": 0.13905, + "grad_norm": 5.778017044067383, + "learning_rate": 2.828080808080808e-06, + "loss": 6.2571464538574215, + "step": 44005 + }, + { + "epoch": 0.1391, + "grad_norm": 7.488250732421875, + "learning_rate": 2.827828282828283e-06, + "loss": 6.311445617675782, + "step": 44010 + }, + { + "epoch": 0.13915, + "grad_norm": 4.445948600769043, + "learning_rate": 2.827575757575758e-06, + "loss": 6.204874801635742, + "step": 44015 + }, + { + "epoch": 0.1392, + "grad_norm": 6.639547348022461, + "learning_rate": 2.8273232323232324e-06, + "loss": 6.298545074462891, + "step": 44020 + }, + { + "epoch": 0.13925, + "grad_norm": 6.445807456970215, + "learning_rate": 2.827070707070707e-06, + "loss": 6.284674072265625, + "step": 44025 + }, + { + "epoch": 0.1393, + "grad_norm": 5.879687786102295, + "learning_rate": 2.826818181818182e-06, + "loss": 6.254294967651367, + "step": 44030 + }, + { + "epoch": 0.13935, + "grad_norm": 5.651834964752197, + "learning_rate": 2.8265656565656568e-06, + "loss": 6.280343246459961, + "step": 44035 + }, + { + "epoch": 0.1394, + "grad_norm": 3.8625991344451904, + "learning_rate": 2.8263131313131314e-06, + "loss": 6.275337219238281, + "step": 44040 + }, + { + "epoch": 0.13945, + "grad_norm": 33.20541763305664, + "learning_rate": 2.826060606060606e-06, + "loss": 6.4258781433105465, + "step": 44045 + }, + { + "epoch": 0.1395, + "grad_norm": 7.0386643409729, + "learning_rate": 2.825808080808081e-06, + "loss": 6.372874450683594, + "step": 44050 + }, + { + "epoch": 0.13955, + "grad_norm": 4.617787837982178, + "learning_rate": 2.8255555555555557e-06, + "loss": 6.242399597167969, + "step": 44055 + }, + { + "epoch": 0.1396, + "grad_norm": 6.365588665008545, + "learning_rate": 2.8253030303030303e-06, + "loss": 6.31727294921875, + "step": 44060 + }, + { + "epoch": 0.13965, + "grad_norm": 5.55874490737915, + "learning_rate": 2.825050505050505e-06, + "loss": 6.27575798034668, + "step": 44065 + }, + { + "epoch": 0.1397, + "grad_norm": 9.544164657592773, + "learning_rate": 2.82479797979798e-06, + "loss": 6.305755996704102, + "step": 44070 + }, + { + "epoch": 0.13975, + "grad_norm": 5.957465171813965, + "learning_rate": 2.8245454545454546e-06, + "loss": 6.313508605957031, + "step": 44075 + }, + { + "epoch": 0.1398, + "grad_norm": 34.85055160522461, + "learning_rate": 2.8242929292929293e-06, + "loss": 6.5276947021484375, + "step": 44080 + }, + { + "epoch": 0.13985, + "grad_norm": 7.99599552154541, + "learning_rate": 2.824040404040404e-06, + "loss": 7.055690765380859, + "step": 44085 + }, + { + "epoch": 0.1399, + "grad_norm": 9.433111190795898, + "learning_rate": 2.8237878787878794e-06, + "loss": 6.232430648803711, + "step": 44090 + }, + { + "epoch": 0.13995, + "grad_norm": 7.656954765319824, + "learning_rate": 2.8235353535353536e-06, + "loss": 6.251575088500976, + "step": 44095 + }, + { + "epoch": 0.14, + "grad_norm": 6.092886447906494, + "learning_rate": 2.8232828282828282e-06, + "loss": 6.310784912109375, + "step": 44100 + }, + { + "epoch": 0.14005, + "grad_norm": 3.3574023246765137, + "learning_rate": 2.823030303030303e-06, + "loss": 6.236681365966797, + "step": 44105 + }, + { + "epoch": 0.1401, + "grad_norm": 6.0391387939453125, + "learning_rate": 2.8227777777777783e-06, + "loss": 6.2394248962402346, + "step": 44110 + }, + { + "epoch": 0.14015, + "grad_norm": 4.739085674285889, + "learning_rate": 2.822525252525253e-06, + "loss": 6.253959655761719, + "step": 44115 + }, + { + "epoch": 0.1402, + "grad_norm": 6.640931129455566, + "learning_rate": 2.8222727272727276e-06, + "loss": 6.326102828979492, + "step": 44120 + }, + { + "epoch": 0.14025, + "grad_norm": 5.8023457527160645, + "learning_rate": 2.822020202020202e-06, + "loss": 6.329736328125, + "step": 44125 + }, + { + "epoch": 0.1403, + "grad_norm": 6.25180196762085, + "learning_rate": 2.8217676767676773e-06, + "loss": 6.278166198730469, + "step": 44130 + }, + { + "epoch": 0.14035, + "grad_norm": 5.560831546783447, + "learning_rate": 2.821515151515152e-06, + "loss": 6.2579906463623045, + "step": 44135 + }, + { + "epoch": 0.1404, + "grad_norm": 6.91656494140625, + "learning_rate": 2.8212626262626265e-06, + "loss": 6.2966255187988285, + "step": 44140 + }, + { + "epoch": 0.14045, + "grad_norm": 5.392748832702637, + "learning_rate": 2.821010101010101e-06, + "loss": 6.342135620117188, + "step": 44145 + }, + { + "epoch": 0.1405, + "grad_norm": 5.052755355834961, + "learning_rate": 2.8207575757575762e-06, + "loss": 6.2383171081542965, + "step": 44150 + }, + { + "epoch": 0.14055, + "grad_norm": 7.55592679977417, + "learning_rate": 2.820505050505051e-06, + "loss": 6.303934478759766, + "step": 44155 + }, + { + "epoch": 0.1406, + "grad_norm": 7.580378532409668, + "learning_rate": 2.8202525252525255e-06, + "loss": 6.281298828125, + "step": 44160 + }, + { + "epoch": 0.14065, + "grad_norm": 6.166415691375732, + "learning_rate": 2.82e-06, + "loss": 6.3128711700439455, + "step": 44165 + }, + { + "epoch": 0.1407, + "grad_norm": 9.64521312713623, + "learning_rate": 2.819747474747475e-06, + "loss": 6.316741943359375, + "step": 44170 + }, + { + "epoch": 0.14075, + "grad_norm": 7.520144462585449, + "learning_rate": 2.81949494949495e-06, + "loss": 6.315768814086914, + "step": 44175 + }, + { + "epoch": 0.1408, + "grad_norm": 5.460630893707275, + "learning_rate": 2.8192424242424244e-06, + "loss": 6.33502311706543, + "step": 44180 + }, + { + "epoch": 0.14085, + "grad_norm": 4.530205726623535, + "learning_rate": 2.818989898989899e-06, + "loss": 6.318400573730469, + "step": 44185 + }, + { + "epoch": 0.1409, + "grad_norm": 56.43229293823242, + "learning_rate": 2.818737373737374e-06, + "loss": 6.42651138305664, + "step": 44190 + }, + { + "epoch": 0.14095, + "grad_norm": 8.896845817565918, + "learning_rate": 2.8184848484848487e-06, + "loss": 6.34825439453125, + "step": 44195 + }, + { + "epoch": 0.141, + "grad_norm": 5.216614723205566, + "learning_rate": 2.8182323232323234e-06, + "loss": 6.293082046508789, + "step": 44200 + }, + { + "epoch": 0.14105, + "grad_norm": 4.2130537033081055, + "learning_rate": 2.8179797979797984e-06, + "loss": 6.257293319702148, + "step": 44205 + }, + { + "epoch": 0.1411, + "grad_norm": 7.427875518798828, + "learning_rate": 2.817727272727273e-06, + "loss": 6.243085479736328, + "step": 44210 + }, + { + "epoch": 0.14115, + "grad_norm": 8.460680961608887, + "learning_rate": 2.8174747474747477e-06, + "loss": 6.284839630126953, + "step": 44215 + }, + { + "epoch": 0.1412, + "grad_norm": 4.569086074829102, + "learning_rate": 2.8172222222222223e-06, + "loss": 6.256906127929687, + "step": 44220 + }, + { + "epoch": 0.14125, + "grad_norm": 5.858251094818115, + "learning_rate": 2.8169696969696974e-06, + "loss": 6.220144653320313, + "step": 44225 + }, + { + "epoch": 0.1413, + "grad_norm": 18.291927337646484, + "learning_rate": 2.816717171717172e-06, + "loss": 6.3586170196533205, + "step": 44230 + }, + { + "epoch": 0.14135, + "grad_norm": 8.168474197387695, + "learning_rate": 2.8164646464646466e-06, + "loss": 6.332363891601562, + "step": 44235 + }, + { + "epoch": 0.1414, + "grad_norm": 12.21086597442627, + "learning_rate": 2.8162121212121213e-06, + "loss": 6.3088336944580075, + "step": 44240 + }, + { + "epoch": 0.14145, + "grad_norm": 18.750455856323242, + "learning_rate": 2.8159595959595963e-06, + "loss": 6.253476333618164, + "step": 44245 + }, + { + "epoch": 0.1415, + "grad_norm": 5.907544136047363, + "learning_rate": 2.815707070707071e-06, + "loss": 6.254354095458984, + "step": 44250 + }, + { + "epoch": 0.14155, + "grad_norm": 13.08189868927002, + "learning_rate": 2.8154545454545456e-06, + "loss": 6.286428833007813, + "step": 44255 + }, + { + "epoch": 0.1416, + "grad_norm": 20.21051597595215, + "learning_rate": 2.81520202020202e-06, + "loss": 6.662921142578125, + "step": 44260 + }, + { + "epoch": 0.14165, + "grad_norm": 5.372474670410156, + "learning_rate": 2.8149494949494952e-06, + "loss": 6.271969604492187, + "step": 44265 + }, + { + "epoch": 0.1417, + "grad_norm": 6.257988929748535, + "learning_rate": 2.81469696969697e-06, + "loss": 6.281594085693359, + "step": 44270 + }, + { + "epoch": 0.14175, + "grad_norm": 8.333292961120605, + "learning_rate": 2.8144444444444445e-06, + "loss": 6.3841194152832035, + "step": 44275 + }, + { + "epoch": 0.1418, + "grad_norm": 5.1260600090026855, + "learning_rate": 2.814191919191919e-06, + "loss": 6.2451835632324215, + "step": 44280 + }, + { + "epoch": 0.14185, + "grad_norm": 28.831279754638672, + "learning_rate": 2.8139393939393946e-06, + "loss": 6.322590637207031, + "step": 44285 + }, + { + "epoch": 0.1419, + "grad_norm": 5.287070274353027, + "learning_rate": 2.813686868686869e-06, + "loss": 6.284501266479492, + "step": 44290 + }, + { + "epoch": 0.14195, + "grad_norm": 5.87811803817749, + "learning_rate": 2.8134343434343435e-06, + "loss": 6.271545028686523, + "step": 44295 + }, + { + "epoch": 0.142, + "grad_norm": 5.718628406524658, + "learning_rate": 2.813181818181818e-06, + "loss": 6.2422119140625, + "step": 44300 + }, + { + "epoch": 0.14205, + "grad_norm": 4.514179706573486, + "learning_rate": 2.8129292929292936e-06, + "loss": 6.310243606567383, + "step": 44305 + }, + { + "epoch": 0.1421, + "grad_norm": 6.052227020263672, + "learning_rate": 2.812676767676768e-06, + "loss": 6.374269104003906, + "step": 44310 + }, + { + "epoch": 0.14215, + "grad_norm": 3.6946828365325928, + "learning_rate": 2.812424242424243e-06, + "loss": 6.288551330566406, + "step": 44315 + }, + { + "epoch": 0.1422, + "grad_norm": 6.229543685913086, + "learning_rate": 2.812171717171717e-06, + "loss": 6.262970352172852, + "step": 44320 + }, + { + "epoch": 0.14225, + "grad_norm": 5.616713047027588, + "learning_rate": 2.8119191919191925e-06, + "loss": 6.33880386352539, + "step": 44325 + }, + { + "epoch": 0.1423, + "grad_norm": 11.182408332824707, + "learning_rate": 2.811666666666667e-06, + "loss": 6.347768783569336, + "step": 44330 + }, + { + "epoch": 0.14235, + "grad_norm": 4.731259822845459, + "learning_rate": 2.8114141414141418e-06, + "loss": 6.225266647338867, + "step": 44335 + }, + { + "epoch": 0.1424, + "grad_norm": 6.6150431632995605, + "learning_rate": 2.8111616161616164e-06, + "loss": 6.262294006347656, + "step": 44340 + }, + { + "epoch": 0.14245, + "grad_norm": 6.48414421081543, + "learning_rate": 2.8109090909090914e-06, + "loss": 6.325629806518554, + "step": 44345 + }, + { + "epoch": 0.1425, + "grad_norm": 8.636800765991211, + "learning_rate": 2.810656565656566e-06, + "loss": 6.2910011291503904, + "step": 44350 + }, + { + "epoch": 0.14255, + "grad_norm": 4.018395900726318, + "learning_rate": 2.8104040404040407e-06, + "loss": 6.242158126831055, + "step": 44355 + }, + { + "epoch": 0.1426, + "grad_norm": 5.81597900390625, + "learning_rate": 2.8101515151515153e-06, + "loss": 6.283693313598633, + "step": 44360 + }, + { + "epoch": 0.14265, + "grad_norm": 17.631328582763672, + "learning_rate": 2.8098989898989904e-06, + "loss": 6.2839710235595705, + "step": 44365 + }, + { + "epoch": 0.1427, + "grad_norm": 5.150351524353027, + "learning_rate": 2.809646464646465e-06, + "loss": 6.33551025390625, + "step": 44370 + }, + { + "epoch": 0.14275, + "grad_norm": 4.469070911407471, + "learning_rate": 2.8093939393939397e-06, + "loss": 6.217398071289063, + "step": 44375 + }, + { + "epoch": 0.1428, + "grad_norm": 6.889886856079102, + "learning_rate": 2.8091414141414143e-06, + "loss": 6.255786895751953, + "step": 44380 + }, + { + "epoch": 0.14285, + "grad_norm": 5.906260967254639, + "learning_rate": 2.8088888888888893e-06, + "loss": 6.254908752441406, + "step": 44385 + }, + { + "epoch": 0.1429, + "grad_norm": 5.224206924438477, + "learning_rate": 2.808636363636364e-06, + "loss": 6.261692810058594, + "step": 44390 + }, + { + "epoch": 0.14295, + "grad_norm": 11.464712142944336, + "learning_rate": 2.8083838383838386e-06, + "loss": 6.2593341827392575, + "step": 44395 + }, + { + "epoch": 0.143, + "grad_norm": 7.688294887542725, + "learning_rate": 2.8081313131313132e-06, + "loss": 6.184561920166016, + "step": 44400 + }, + { + "epoch": 0.14305, + "grad_norm": 10.5582914352417, + "learning_rate": 2.8078787878787883e-06, + "loss": 6.454902648925781, + "step": 44405 + }, + { + "epoch": 0.1431, + "grad_norm": 6.947793483734131, + "learning_rate": 2.807626262626263e-06, + "loss": 6.266757202148438, + "step": 44410 + }, + { + "epoch": 0.14315, + "grad_norm": 5.236157417297363, + "learning_rate": 2.8073737373737375e-06, + "loss": 6.276475524902343, + "step": 44415 + }, + { + "epoch": 0.1432, + "grad_norm": 8.816290855407715, + "learning_rate": 2.807121212121212e-06, + "loss": 6.218918991088867, + "step": 44420 + }, + { + "epoch": 0.14325, + "grad_norm": 7.809131622314453, + "learning_rate": 2.8068686868686872e-06, + "loss": 6.2623847961425785, + "step": 44425 + }, + { + "epoch": 0.1433, + "grad_norm": 7.078592300415039, + "learning_rate": 2.806616161616162e-06, + "loss": 6.2383575439453125, + "step": 44430 + }, + { + "epoch": 0.14335, + "grad_norm": 4.458926677703857, + "learning_rate": 2.8063636363636365e-06, + "loss": 6.30372428894043, + "step": 44435 + }, + { + "epoch": 0.1434, + "grad_norm": 6.701879501342773, + "learning_rate": 2.806111111111111e-06, + "loss": 6.3138572692871096, + "step": 44440 + }, + { + "epoch": 0.14345, + "grad_norm": 5.674117088317871, + "learning_rate": 2.805858585858586e-06, + "loss": 6.270256042480469, + "step": 44445 + }, + { + "epoch": 0.1435, + "grad_norm": 6.647220611572266, + "learning_rate": 2.805606060606061e-06, + "loss": 6.221831893920898, + "step": 44450 + }, + { + "epoch": 0.14355, + "grad_norm": 6.186133861541748, + "learning_rate": 2.8053535353535354e-06, + "loss": 6.25794792175293, + "step": 44455 + }, + { + "epoch": 0.1436, + "grad_norm": 5.077815532684326, + "learning_rate": 2.80510101010101e-06, + "loss": 6.233437347412109, + "step": 44460 + }, + { + "epoch": 0.14365, + "grad_norm": 6.445928573608398, + "learning_rate": 2.804848484848485e-06, + "loss": 6.273016357421875, + "step": 44465 + }, + { + "epoch": 0.1437, + "grad_norm": 16.777536392211914, + "learning_rate": 2.8045959595959597e-06, + "loss": 6.276217651367188, + "step": 44470 + }, + { + "epoch": 0.14375, + "grad_norm": 5.216601848602295, + "learning_rate": 2.8043434343434344e-06, + "loss": 6.191600036621094, + "step": 44475 + }, + { + "epoch": 0.1438, + "grad_norm": 10.874481201171875, + "learning_rate": 2.804090909090909e-06, + "loss": 6.2490802764892575, + "step": 44480 + }, + { + "epoch": 0.14385, + "grad_norm": 6.110498905181885, + "learning_rate": 2.803838383838384e-06, + "loss": 6.217519378662109, + "step": 44485 + }, + { + "epoch": 0.1439, + "grad_norm": 5.402491569519043, + "learning_rate": 2.8035858585858587e-06, + "loss": 6.247758102416992, + "step": 44490 + }, + { + "epoch": 0.14395, + "grad_norm": 4.603033065795898, + "learning_rate": 2.8033333333333333e-06, + "loss": 6.290934753417969, + "step": 44495 + }, + { + "epoch": 0.144, + "grad_norm": 8.154340744018555, + "learning_rate": 2.803080808080808e-06, + "loss": 6.253243255615234, + "step": 44500 + }, + { + "epoch": 0.14405, + "grad_norm": 6.262698173522949, + "learning_rate": 2.8028282828282834e-06, + "loss": 6.277739715576172, + "step": 44505 + }, + { + "epoch": 0.1441, + "grad_norm": 6.730071067810059, + "learning_rate": 2.8025757575757576e-06, + "loss": 6.233470153808594, + "step": 44510 + }, + { + "epoch": 0.14415, + "grad_norm": 4.932652950286865, + "learning_rate": 2.8023232323232323e-06, + "loss": 6.273648071289062, + "step": 44515 + }, + { + "epoch": 0.1442, + "grad_norm": 5.77827787399292, + "learning_rate": 2.802070707070707e-06, + "loss": 6.235684585571289, + "step": 44520 + }, + { + "epoch": 0.14425, + "grad_norm": 17.231260299682617, + "learning_rate": 2.8018181818181824e-06, + "loss": 6.335435485839843, + "step": 44525 + }, + { + "epoch": 0.1443, + "grad_norm": 6.264203071594238, + "learning_rate": 2.801565656565657e-06, + "loss": 6.435466003417969, + "step": 44530 + }, + { + "epoch": 0.14435, + "grad_norm": 6.983163356781006, + "learning_rate": 2.8013131313131316e-06, + "loss": 6.279958343505859, + "step": 44535 + }, + { + "epoch": 0.1444, + "grad_norm": 5.431467533111572, + "learning_rate": 2.801060606060606e-06, + "loss": 6.256022262573242, + "step": 44540 + }, + { + "epoch": 0.14445, + "grad_norm": 5.568228721618652, + "learning_rate": 2.8008080808080813e-06, + "loss": 6.27398567199707, + "step": 44545 + }, + { + "epoch": 0.1445, + "grad_norm": 6.982312202453613, + "learning_rate": 2.800555555555556e-06, + "loss": 6.266593170166016, + "step": 44550 + }, + { + "epoch": 0.14455, + "grad_norm": 26.328989028930664, + "learning_rate": 2.8003030303030306e-06, + "loss": 6.467733764648438, + "step": 44555 + }, + { + "epoch": 0.1446, + "grad_norm": 6.364570140838623, + "learning_rate": 2.800050505050505e-06, + "loss": 6.356686401367187, + "step": 44560 + }, + { + "epoch": 0.14465, + "grad_norm": 7.304065227508545, + "learning_rate": 2.7997979797979803e-06, + "loss": 6.271440505981445, + "step": 44565 + }, + { + "epoch": 0.1447, + "grad_norm": 20.01658821105957, + "learning_rate": 2.799545454545455e-06, + "loss": 6.272675704956055, + "step": 44570 + }, + { + "epoch": 0.14475, + "grad_norm": 16.472362518310547, + "learning_rate": 2.7992929292929295e-06, + "loss": 6.170970153808594, + "step": 44575 + }, + { + "epoch": 0.1448, + "grad_norm": 11.524031639099121, + "learning_rate": 2.799040404040404e-06, + "loss": 6.035786437988281, + "step": 44580 + }, + { + "epoch": 0.14485, + "grad_norm": 5.667213439941406, + "learning_rate": 2.798787878787879e-06, + "loss": 6.240152359008789, + "step": 44585 + }, + { + "epoch": 0.1449, + "grad_norm": 6.9438652992248535, + "learning_rate": 2.798535353535354e-06, + "loss": 6.255217361450195, + "step": 44590 + }, + { + "epoch": 0.14495, + "grad_norm": 7.611233234405518, + "learning_rate": 2.7982828282828285e-06, + "loss": 6.296379852294922, + "step": 44595 + }, + { + "epoch": 0.145, + "grad_norm": 7.492669582366943, + "learning_rate": 2.798030303030303e-06, + "loss": 6.412486267089844, + "step": 44600 + }, + { + "epoch": 0.14505, + "grad_norm": 10.752496719360352, + "learning_rate": 2.797777777777778e-06, + "loss": 6.237070083618164, + "step": 44605 + }, + { + "epoch": 0.1451, + "grad_norm": 5.729997634887695, + "learning_rate": 2.7975252525252528e-06, + "loss": 6.244730377197266, + "step": 44610 + }, + { + "epoch": 0.14515, + "grad_norm": 8.387418746948242, + "learning_rate": 2.7972727272727274e-06, + "loss": 6.246953964233398, + "step": 44615 + }, + { + "epoch": 0.1452, + "grad_norm": 6.817490577697754, + "learning_rate": 2.7970202020202025e-06, + "loss": 6.255287551879883, + "step": 44620 + }, + { + "epoch": 0.14525, + "grad_norm": 5.772327423095703, + "learning_rate": 2.796767676767677e-06, + "loss": 6.314306640625, + "step": 44625 + }, + { + "epoch": 0.1453, + "grad_norm": 6.116434097290039, + "learning_rate": 2.7965151515151517e-06, + "loss": 6.363074493408203, + "step": 44630 + }, + { + "epoch": 0.14535, + "grad_norm": 5.503964424133301, + "learning_rate": 2.7962626262626263e-06, + "loss": 6.280364608764648, + "step": 44635 + }, + { + "epoch": 0.1454, + "grad_norm": 7.717550277709961, + "learning_rate": 2.7960101010101014e-06, + "loss": 6.2375938415527346, + "step": 44640 + }, + { + "epoch": 0.14545, + "grad_norm": 8.193074226379395, + "learning_rate": 2.795757575757576e-06, + "loss": 6.238637161254883, + "step": 44645 + }, + { + "epoch": 0.1455, + "grad_norm": 4.384008884429932, + "learning_rate": 2.7955050505050507e-06, + "loss": 6.2714179992675785, + "step": 44650 + }, + { + "epoch": 0.14555, + "grad_norm": 5.6202802658081055, + "learning_rate": 2.7952525252525253e-06, + "loss": 6.251432418823242, + "step": 44655 + }, + { + "epoch": 0.1456, + "grad_norm": 7.785285949707031, + "learning_rate": 2.7950000000000003e-06, + "loss": 6.265673828125, + "step": 44660 + }, + { + "epoch": 0.14565, + "grad_norm": 3.9858291149139404, + "learning_rate": 2.794747474747475e-06, + "loss": 6.301128387451172, + "step": 44665 + }, + { + "epoch": 0.1457, + "grad_norm": 5.879644393920898, + "learning_rate": 2.7944949494949496e-06, + "loss": 6.225313186645508, + "step": 44670 + }, + { + "epoch": 0.14575, + "grad_norm": 6.322900772094727, + "learning_rate": 2.7942424242424242e-06, + "loss": 6.228992462158203, + "step": 44675 + }, + { + "epoch": 0.1458, + "grad_norm": 9.002882957458496, + "learning_rate": 2.7939898989898993e-06, + "loss": 6.309248352050782, + "step": 44680 + }, + { + "epoch": 0.14585, + "grad_norm": 7.023865222930908, + "learning_rate": 2.793737373737374e-06, + "loss": 6.2896781921386715, + "step": 44685 + }, + { + "epoch": 0.1459, + "grad_norm": 4.218127250671387, + "learning_rate": 2.7934848484848485e-06, + "loss": 6.236215591430664, + "step": 44690 + }, + { + "epoch": 0.14595, + "grad_norm": 5.373611927032471, + "learning_rate": 2.793232323232323e-06, + "loss": 6.282855606079101, + "step": 44695 + }, + { + "epoch": 0.146, + "grad_norm": 9.039627075195312, + "learning_rate": 2.7929797979797987e-06, + "loss": 6.286446380615234, + "step": 44700 + }, + { + "epoch": 0.14605, + "grad_norm": 4.935218811035156, + "learning_rate": 2.792727272727273e-06, + "loss": 6.301695251464844, + "step": 44705 + }, + { + "epoch": 0.1461, + "grad_norm": 8.018901824951172, + "learning_rate": 2.7924747474747475e-06, + "loss": 6.2106067657470705, + "step": 44710 + }, + { + "epoch": 0.14615, + "grad_norm": 8.946569442749023, + "learning_rate": 2.792222222222222e-06, + "loss": 6.287466812133789, + "step": 44715 + }, + { + "epoch": 0.1462, + "grad_norm": 5.500690460205078, + "learning_rate": 2.7919696969696976e-06, + "loss": 6.291099548339844, + "step": 44720 + }, + { + "epoch": 0.14625, + "grad_norm": 8.342184066772461, + "learning_rate": 2.7917171717171722e-06, + "loss": 6.264703750610352, + "step": 44725 + }, + { + "epoch": 0.1463, + "grad_norm": 5.3524556159973145, + "learning_rate": 2.791464646464647e-06, + "loss": 6.3577880859375, + "step": 44730 + }, + { + "epoch": 0.14635, + "grad_norm": 6.888080596923828, + "learning_rate": 2.791212121212121e-06, + "loss": 6.269052505493164, + "step": 44735 + }, + { + "epoch": 0.1464, + "grad_norm": 6.409927845001221, + "learning_rate": 2.7909595959595965e-06, + "loss": 6.254109191894531, + "step": 44740 + }, + { + "epoch": 0.14645, + "grad_norm": 5.830942630767822, + "learning_rate": 2.790707070707071e-06, + "loss": 6.281002807617187, + "step": 44745 + }, + { + "epoch": 0.1465, + "grad_norm": 20.258390426635742, + "learning_rate": 2.790454545454546e-06, + "loss": 6.365029144287109, + "step": 44750 + }, + { + "epoch": 0.14655, + "grad_norm": 5.790291786193848, + "learning_rate": 2.7902020202020204e-06, + "loss": 6.329902267456054, + "step": 44755 + }, + { + "epoch": 0.1466, + "grad_norm": 15.369828224182129, + "learning_rate": 2.7899494949494955e-06, + "loss": 6.413082122802734, + "step": 44760 + }, + { + "epoch": 0.14665, + "grad_norm": 6.428067684173584, + "learning_rate": 2.78969696969697e-06, + "loss": 6.29041862487793, + "step": 44765 + }, + { + "epoch": 0.1467, + "grad_norm": 4.802469253540039, + "learning_rate": 2.7894444444444447e-06, + "loss": 6.334333801269532, + "step": 44770 + }, + { + "epoch": 0.14675, + "grad_norm": 4.5667572021484375, + "learning_rate": 2.7891919191919194e-06, + "loss": 6.219278335571289, + "step": 44775 + }, + { + "epoch": 0.1468, + "grad_norm": 8.347817420959473, + "learning_rate": 2.7889393939393944e-06, + "loss": 6.262254333496093, + "step": 44780 + }, + { + "epoch": 0.14685, + "grad_norm": 7.037924766540527, + "learning_rate": 2.788686868686869e-06, + "loss": 6.330924224853516, + "step": 44785 + }, + { + "epoch": 0.1469, + "grad_norm": 8.688403129577637, + "learning_rate": 2.7884343434343437e-06, + "loss": 6.229383850097657, + "step": 44790 + }, + { + "epoch": 0.14695, + "grad_norm": 7.913570880889893, + "learning_rate": 2.7881818181818183e-06, + "loss": 6.295010757446289, + "step": 44795 + }, + { + "epoch": 0.147, + "grad_norm": 5.322941780090332, + "learning_rate": 2.7879292929292934e-06, + "loss": 6.26745376586914, + "step": 44800 + }, + { + "epoch": 0.14705, + "grad_norm": 6.8106255531311035, + "learning_rate": 2.787676767676768e-06, + "loss": 6.211701965332031, + "step": 44805 + }, + { + "epoch": 0.1471, + "grad_norm": 4.671997547149658, + "learning_rate": 2.7874242424242426e-06, + "loss": 6.270697021484375, + "step": 44810 + }, + { + "epoch": 0.14715, + "grad_norm": 4.04005765914917, + "learning_rate": 2.7871717171717173e-06, + "loss": 6.2741447448730465, + "step": 44815 + }, + { + "epoch": 0.1472, + "grad_norm": 5.604843616485596, + "learning_rate": 2.7869191919191923e-06, + "loss": 6.248669052124024, + "step": 44820 + }, + { + "epoch": 0.14725, + "grad_norm": 4.368190765380859, + "learning_rate": 2.786666666666667e-06, + "loss": 6.251483154296875, + "step": 44825 + }, + { + "epoch": 0.1473, + "grad_norm": 6.3983941078186035, + "learning_rate": 2.7864141414141416e-06, + "loss": 6.185977554321289, + "step": 44830 + }, + { + "epoch": 0.14735, + "grad_norm": 6.676506519317627, + "learning_rate": 2.786161616161616e-06, + "loss": 6.332187271118164, + "step": 44835 + }, + { + "epoch": 0.1474, + "grad_norm": 21.463109970092773, + "learning_rate": 2.7859090909090913e-06, + "loss": 6.2434642791748045, + "step": 44840 + }, + { + "epoch": 0.14745, + "grad_norm": 35.744998931884766, + "learning_rate": 2.785656565656566e-06, + "loss": 5.6699878692626955, + "step": 44845 + }, + { + "epoch": 0.1475, + "grad_norm": 8.564871788024902, + "learning_rate": 2.7854040404040405e-06, + "loss": 6.3250732421875, + "step": 44850 + }, + { + "epoch": 0.14755, + "grad_norm": 6.605083465576172, + "learning_rate": 2.785151515151515e-06, + "loss": 6.260835266113281, + "step": 44855 + }, + { + "epoch": 0.1476, + "grad_norm": 29.167905807495117, + "learning_rate": 2.78489898989899e-06, + "loss": 6.301128768920899, + "step": 44860 + }, + { + "epoch": 0.14765, + "grad_norm": 4.641321182250977, + "learning_rate": 2.784646464646465e-06, + "loss": 6.249382781982422, + "step": 44865 + }, + { + "epoch": 0.1477, + "grad_norm": 6.320239543914795, + "learning_rate": 2.7843939393939395e-06, + "loss": 6.245568084716797, + "step": 44870 + }, + { + "epoch": 0.14775, + "grad_norm": 10.498394012451172, + "learning_rate": 2.784141414141414e-06, + "loss": 6.266356658935547, + "step": 44875 + }, + { + "epoch": 0.1478, + "grad_norm": 5.868678092956543, + "learning_rate": 2.783888888888889e-06, + "loss": 6.301435089111328, + "step": 44880 + }, + { + "epoch": 0.14785, + "grad_norm": 100.91871643066406, + "learning_rate": 2.7836363636363638e-06, + "loss": 5.306366729736328, + "step": 44885 + }, + { + "epoch": 0.1479, + "grad_norm": 4.730008602142334, + "learning_rate": 2.7833838383838384e-06, + "loss": 6.311387634277343, + "step": 44890 + }, + { + "epoch": 0.14795, + "grad_norm": 6.749942302703857, + "learning_rate": 2.783131313131313e-06, + "loss": 6.244385147094727, + "step": 44895 + }, + { + "epoch": 0.148, + "grad_norm": 10.032923698425293, + "learning_rate": 2.782878787878788e-06, + "loss": 6.280511474609375, + "step": 44900 + }, + { + "epoch": 0.14805, + "grad_norm": 10.292678833007812, + "learning_rate": 2.7826262626262627e-06, + "loss": 6.282645416259766, + "step": 44905 + }, + { + "epoch": 0.1481, + "grad_norm": 7.413251876831055, + "learning_rate": 2.7823737373737374e-06, + "loss": 6.226106262207031, + "step": 44910 + }, + { + "epoch": 0.14815, + "grad_norm": 7.957797527313232, + "learning_rate": 2.782121212121212e-06, + "loss": 6.280856323242188, + "step": 44915 + }, + { + "epoch": 0.1482, + "grad_norm": 12.615630149841309, + "learning_rate": 2.7818686868686875e-06, + "loss": 6.326515579223633, + "step": 44920 + }, + { + "epoch": 0.14825, + "grad_norm": 5.455124855041504, + "learning_rate": 2.7816161616161617e-06, + "loss": 6.368231582641601, + "step": 44925 + }, + { + "epoch": 0.1483, + "grad_norm": 5.302582263946533, + "learning_rate": 2.7813636363636363e-06, + "loss": 6.682402038574219, + "step": 44930 + }, + { + "epoch": 0.14835, + "grad_norm": 3.5725865364074707, + "learning_rate": 2.781111111111111e-06, + "loss": 6.2102008819580075, + "step": 44935 + }, + { + "epoch": 0.1484, + "grad_norm": 8.259992599487305, + "learning_rate": 2.7808585858585864e-06, + "loss": 6.2805938720703125, + "step": 44940 + }, + { + "epoch": 0.14845, + "grad_norm": 5.32001256942749, + "learning_rate": 2.780606060606061e-06, + "loss": 6.231832885742188, + "step": 44945 + }, + { + "epoch": 0.1485, + "grad_norm": 5.468841075897217, + "learning_rate": 2.7803535353535357e-06, + "loss": 6.260396575927734, + "step": 44950 + }, + { + "epoch": 0.14855, + "grad_norm": 3.866842746734619, + "learning_rate": 2.78010101010101e-06, + "loss": 6.229546737670899, + "step": 44955 + }, + { + "epoch": 0.1486, + "grad_norm": 4.696268558502197, + "learning_rate": 2.7798484848484854e-06, + "loss": 6.267987442016602, + "step": 44960 + }, + { + "epoch": 0.14865, + "grad_norm": 6.122270107269287, + "learning_rate": 2.77959595959596e-06, + "loss": 6.31391716003418, + "step": 44965 + }, + { + "epoch": 0.1487, + "grad_norm": 5.881770610809326, + "learning_rate": 2.7793434343434346e-06, + "loss": 6.283575439453125, + "step": 44970 + }, + { + "epoch": 0.14875, + "grad_norm": 6.949029445648193, + "learning_rate": 2.7790909090909092e-06, + "loss": 6.258554077148437, + "step": 44975 + }, + { + "epoch": 0.1488, + "grad_norm": 20.40878677368164, + "learning_rate": 2.7788383838383843e-06, + "loss": 6.2899833679199215, + "step": 44980 + }, + { + "epoch": 0.14885, + "grad_norm": 5.462978363037109, + "learning_rate": 2.778585858585859e-06, + "loss": 6.292649459838867, + "step": 44985 + }, + { + "epoch": 0.1489, + "grad_norm": 7.023738384246826, + "learning_rate": 2.7783333333333336e-06, + "loss": 6.259365081787109, + "step": 44990 + }, + { + "epoch": 0.14895, + "grad_norm": 7.815762042999268, + "learning_rate": 2.778080808080808e-06, + "loss": 6.219704437255859, + "step": 44995 + }, + { + "epoch": 0.149, + "grad_norm": 4.718075752258301, + "learning_rate": 2.7778282828282832e-06, + "loss": 6.204832458496094, + "step": 45000 + }, + { + "epoch": 0.14905, + "grad_norm": 11.00755786895752, + "learning_rate": 2.777575757575758e-06, + "loss": 6.2437389373779295, + "step": 45005 + }, + { + "epoch": 0.1491, + "grad_norm": 7.833898544311523, + "learning_rate": 2.7773232323232325e-06, + "loss": 6.253872299194336, + "step": 45010 + }, + { + "epoch": 0.14915, + "grad_norm": 7.990160942077637, + "learning_rate": 2.777070707070707e-06, + "loss": 6.246794128417969, + "step": 45015 + }, + { + "epoch": 0.1492, + "grad_norm": 9.865228652954102, + "learning_rate": 2.776818181818182e-06, + "loss": 6.284980773925781, + "step": 45020 + }, + { + "epoch": 0.14925, + "grad_norm": 7.4226226806640625, + "learning_rate": 2.776565656565657e-06, + "loss": 6.384543609619141, + "step": 45025 + }, + { + "epoch": 0.1493, + "grad_norm": 5.700085639953613, + "learning_rate": 2.7763131313131314e-06, + "loss": 6.2161602020263675, + "step": 45030 + }, + { + "epoch": 0.14935, + "grad_norm": 7.29028844833374, + "learning_rate": 2.776060606060606e-06, + "loss": 6.468390655517578, + "step": 45035 + }, + { + "epoch": 0.1494, + "grad_norm": 5.4389424324035645, + "learning_rate": 2.775808080808081e-06, + "loss": 6.229438400268554, + "step": 45040 + }, + { + "epoch": 0.14945, + "grad_norm": 7.321055889129639, + "learning_rate": 2.7755555555555558e-06, + "loss": 6.233223724365234, + "step": 45045 + }, + { + "epoch": 0.1495, + "grad_norm": 10.94199275970459, + "learning_rate": 2.7753030303030304e-06, + "loss": 6.245690155029297, + "step": 45050 + }, + { + "epoch": 0.14955, + "grad_norm": 6.342372417449951, + "learning_rate": 2.7750505050505054e-06, + "loss": 6.254891967773437, + "step": 45055 + }, + { + "epoch": 0.1496, + "grad_norm": 5.814186096191406, + "learning_rate": 2.77479797979798e-06, + "loss": 6.354615020751953, + "step": 45060 + }, + { + "epoch": 0.14965, + "grad_norm": 5.986862659454346, + "learning_rate": 2.7745454545454547e-06, + "loss": 6.300892639160156, + "step": 45065 + }, + { + "epoch": 0.1497, + "grad_norm": 4.279307842254639, + "learning_rate": 2.7742929292929293e-06, + "loss": 6.244779205322265, + "step": 45070 + }, + { + "epoch": 0.14975, + "grad_norm": 8.474696159362793, + "learning_rate": 2.7740404040404044e-06, + "loss": 6.253299331665039, + "step": 45075 + }, + { + "epoch": 0.1498, + "grad_norm": 11.64578914642334, + "learning_rate": 2.773787878787879e-06, + "loss": 6.338528823852539, + "step": 45080 + }, + { + "epoch": 0.14985, + "grad_norm": 10.351479530334473, + "learning_rate": 2.7735353535353536e-06, + "loss": 6.2660987854003904, + "step": 45085 + }, + { + "epoch": 0.1499, + "grad_norm": 8.286526679992676, + "learning_rate": 2.7732828282828283e-06, + "loss": 6.281661605834961, + "step": 45090 + }, + { + "epoch": 0.14995, + "grad_norm": 5.407909393310547, + "learning_rate": 2.7730303030303033e-06, + "loss": 6.250166320800782, + "step": 45095 + }, + { + "epoch": 0.15, + "grad_norm": 7.688942909240723, + "learning_rate": 2.772777777777778e-06, + "loss": 6.259043502807617, + "step": 45100 + }, + { + "epoch": 0.15005, + "grad_norm": 7.41702127456665, + "learning_rate": 2.7725252525252526e-06, + "loss": 6.289417266845703, + "step": 45105 + }, + { + "epoch": 0.1501, + "grad_norm": 4.245343208312988, + "learning_rate": 2.7722727272727272e-06, + "loss": 6.253791809082031, + "step": 45110 + }, + { + "epoch": 0.15015, + "grad_norm": 15.843767166137695, + "learning_rate": 2.7720202020202027e-06, + "loss": 6.558887481689453, + "step": 45115 + }, + { + "epoch": 0.1502, + "grad_norm": 6.3005170822143555, + "learning_rate": 2.771767676767677e-06, + "loss": 6.278690338134766, + "step": 45120 + }, + { + "epoch": 0.15025, + "grad_norm": 7.244434356689453, + "learning_rate": 2.7715151515151515e-06, + "loss": 6.247335052490234, + "step": 45125 + }, + { + "epoch": 0.1503, + "grad_norm": 7.250955581665039, + "learning_rate": 2.771262626262626e-06, + "loss": 6.279109191894531, + "step": 45130 + }, + { + "epoch": 0.15035, + "grad_norm": 7.080718994140625, + "learning_rate": 2.7710101010101016e-06, + "loss": 6.273427963256836, + "step": 45135 + }, + { + "epoch": 0.1504, + "grad_norm": 8.17448902130127, + "learning_rate": 2.7707575757575763e-06, + "loss": 6.266955947875976, + "step": 45140 + }, + { + "epoch": 0.15045, + "grad_norm": 4.050004959106445, + "learning_rate": 2.770505050505051e-06, + "loss": 6.2426399230957035, + "step": 45145 + }, + { + "epoch": 0.1505, + "grad_norm": 4.764939785003662, + "learning_rate": 2.770252525252525e-06, + "loss": 6.293728256225586, + "step": 45150 + }, + { + "epoch": 0.15055, + "grad_norm": 5.397923469543457, + "learning_rate": 2.7700000000000006e-06, + "loss": 6.292818069458008, + "step": 45155 + }, + { + "epoch": 0.1506, + "grad_norm": 6.992273807525635, + "learning_rate": 2.7697474747474752e-06, + "loss": 6.300243377685547, + "step": 45160 + }, + { + "epoch": 0.15065, + "grad_norm": 7.758240699768066, + "learning_rate": 2.76949494949495e-06, + "loss": 6.271379089355468, + "step": 45165 + }, + { + "epoch": 0.1507, + "grad_norm": 6.6182966232299805, + "learning_rate": 2.7692424242424245e-06, + "loss": 6.28007926940918, + "step": 45170 + }, + { + "epoch": 0.15075, + "grad_norm": 6.425936698913574, + "learning_rate": 2.7689898989898995e-06, + "loss": 6.2964935302734375, + "step": 45175 + }, + { + "epoch": 0.1508, + "grad_norm": 6.473394870758057, + "learning_rate": 2.768737373737374e-06, + "loss": 6.269863891601562, + "step": 45180 + }, + { + "epoch": 0.15085, + "grad_norm": 6.038826942443848, + "learning_rate": 2.7684848484848488e-06, + "loss": 6.304810333251953, + "step": 45185 + }, + { + "epoch": 0.1509, + "grad_norm": 6.641604900360107, + "learning_rate": 2.7682323232323234e-06, + "loss": 6.225019836425782, + "step": 45190 + }, + { + "epoch": 0.15095, + "grad_norm": 6.2642340660095215, + "learning_rate": 2.7679797979797985e-06, + "loss": 6.272534942626953, + "step": 45195 + }, + { + "epoch": 0.151, + "grad_norm": 9.334985733032227, + "learning_rate": 2.767727272727273e-06, + "loss": 6.2659423828125, + "step": 45200 + }, + { + "epoch": 0.15105, + "grad_norm": 6.215610504150391, + "learning_rate": 2.7674747474747477e-06, + "loss": 6.236957550048828, + "step": 45205 + }, + { + "epoch": 0.1511, + "grad_norm": 12.255465507507324, + "learning_rate": 2.7672222222222224e-06, + "loss": 6.172434234619141, + "step": 45210 + }, + { + "epoch": 0.15115, + "grad_norm": 5.875138759613037, + "learning_rate": 2.7669696969696974e-06, + "loss": 6.253817367553711, + "step": 45215 + }, + { + "epoch": 0.1512, + "grad_norm": 6.1511921882629395, + "learning_rate": 2.766717171717172e-06, + "loss": 6.229208755493164, + "step": 45220 + }, + { + "epoch": 0.15125, + "grad_norm": 8.65363597869873, + "learning_rate": 2.7664646464646467e-06, + "loss": 6.282279586791992, + "step": 45225 + }, + { + "epoch": 0.1513, + "grad_norm": 7.026503562927246, + "learning_rate": 2.7662121212121213e-06, + "loss": 6.198213195800781, + "step": 45230 + }, + { + "epoch": 0.15135, + "grad_norm": 6.766472339630127, + "learning_rate": 2.7659595959595964e-06, + "loss": 6.280776596069336, + "step": 45235 + }, + { + "epoch": 0.1514, + "grad_norm": 7.174882888793945, + "learning_rate": 2.765707070707071e-06, + "loss": 6.24532470703125, + "step": 45240 + }, + { + "epoch": 0.15145, + "grad_norm": 7.5785298347473145, + "learning_rate": 2.7654545454545456e-06, + "loss": 6.2318061828613285, + "step": 45245 + }, + { + "epoch": 0.1515, + "grad_norm": 4.757777690887451, + "learning_rate": 2.7652020202020203e-06, + "loss": 6.264457702636719, + "step": 45250 + }, + { + "epoch": 0.15155, + "grad_norm": 5.941581726074219, + "learning_rate": 2.7649494949494953e-06, + "loss": 6.250365447998047, + "step": 45255 + }, + { + "epoch": 0.1516, + "grad_norm": 6.180167198181152, + "learning_rate": 2.76469696969697e-06, + "loss": 6.3065650939941404, + "step": 45260 + }, + { + "epoch": 0.15165, + "grad_norm": 5.529297351837158, + "learning_rate": 2.7644444444444446e-06, + "loss": 6.312202072143554, + "step": 45265 + }, + { + "epoch": 0.1517, + "grad_norm": 12.882007598876953, + "learning_rate": 2.764191919191919e-06, + "loss": 6.265976333618164, + "step": 45270 + }, + { + "epoch": 0.15175, + "grad_norm": 8.22797966003418, + "learning_rate": 2.7639393939393942e-06, + "loss": 6.2194572448730465, + "step": 45275 + }, + { + "epoch": 0.1518, + "grad_norm": 13.162986755371094, + "learning_rate": 2.763686868686869e-06, + "loss": 6.185873413085938, + "step": 45280 + }, + { + "epoch": 0.15185, + "grad_norm": 67.87120819091797, + "learning_rate": 2.7634343434343435e-06, + "loss": 6.2225791931152346, + "step": 45285 + }, + { + "epoch": 0.1519, + "grad_norm": 5.333173751831055, + "learning_rate": 2.763181818181818e-06, + "loss": 6.284839630126953, + "step": 45290 + }, + { + "epoch": 0.15195, + "grad_norm": 11.018622398376465, + "learning_rate": 2.762929292929293e-06, + "loss": 6.264982604980469, + "step": 45295 + }, + { + "epoch": 0.152, + "grad_norm": 5.303316116333008, + "learning_rate": 2.762676767676768e-06, + "loss": 6.280719757080078, + "step": 45300 + }, + { + "epoch": 0.15205, + "grad_norm": 6.629040241241455, + "learning_rate": 2.7624242424242425e-06, + "loss": 6.29632797241211, + "step": 45305 + }, + { + "epoch": 0.1521, + "grad_norm": 26.659711837768555, + "learning_rate": 2.762171717171717e-06, + "loss": 6.596957397460938, + "step": 45310 + }, + { + "epoch": 0.15215, + "grad_norm": 8.190544128417969, + "learning_rate": 2.761919191919192e-06, + "loss": 6.350960159301758, + "step": 45315 + }, + { + "epoch": 0.1522, + "grad_norm": 6.476108551025391, + "learning_rate": 2.7616666666666668e-06, + "loss": 6.311851119995117, + "step": 45320 + }, + { + "epoch": 0.15225, + "grad_norm": 4.367987632751465, + "learning_rate": 2.7614141414141414e-06, + "loss": 6.323622131347657, + "step": 45325 + }, + { + "epoch": 0.1523, + "grad_norm": 6.251415729522705, + "learning_rate": 2.761161616161616e-06, + "loss": 6.227555847167968, + "step": 45330 + }, + { + "epoch": 0.15235, + "grad_norm": 7.247132301330566, + "learning_rate": 2.7609090909090915e-06, + "loss": 6.225238418579101, + "step": 45335 + }, + { + "epoch": 0.1524, + "grad_norm": 9.7341890335083, + "learning_rate": 2.760656565656566e-06, + "loss": 6.291847610473633, + "step": 45340 + }, + { + "epoch": 0.15245, + "grad_norm": 7.029014587402344, + "learning_rate": 2.7604040404040403e-06, + "loss": 6.259883880615234, + "step": 45345 + }, + { + "epoch": 0.1525, + "grad_norm": 6.426142692565918, + "learning_rate": 2.760151515151515e-06, + "loss": 6.2796272277832035, + "step": 45350 + }, + { + "epoch": 0.15255, + "grad_norm": 3.514996290206909, + "learning_rate": 2.7598989898989904e-06, + "loss": 6.342458724975586, + "step": 45355 + }, + { + "epoch": 0.1526, + "grad_norm": 4.9895429611206055, + "learning_rate": 2.759646464646465e-06, + "loss": 6.268963623046875, + "step": 45360 + }, + { + "epoch": 0.15265, + "grad_norm": 4.495156764984131, + "learning_rate": 2.7593939393939397e-06, + "loss": 6.231523895263672, + "step": 45365 + }, + { + "epoch": 0.1527, + "grad_norm": 5.451263904571533, + "learning_rate": 2.759141414141414e-06, + "loss": 6.2554584503173825, + "step": 45370 + }, + { + "epoch": 0.15275, + "grad_norm": 5.487541675567627, + "learning_rate": 2.7588888888888894e-06, + "loss": 6.2924652099609375, + "step": 45375 + }, + { + "epoch": 0.1528, + "grad_norm": 8.630091667175293, + "learning_rate": 2.758636363636364e-06, + "loss": 6.392219543457031, + "step": 45380 + }, + { + "epoch": 0.15285, + "grad_norm": 7.646829605102539, + "learning_rate": 2.7583838383838387e-06, + "loss": 6.255488586425781, + "step": 45385 + }, + { + "epoch": 0.1529, + "grad_norm": 6.81560754776001, + "learning_rate": 2.7581313131313133e-06, + "loss": 6.266620635986328, + "step": 45390 + }, + { + "epoch": 0.15295, + "grad_norm": 5.639686584472656, + "learning_rate": 2.7578787878787883e-06, + "loss": 6.168790817260742, + "step": 45395 + }, + { + "epoch": 0.153, + "grad_norm": 6.298264980316162, + "learning_rate": 2.757626262626263e-06, + "loss": 6.20983772277832, + "step": 45400 + }, + { + "epoch": 0.15305, + "grad_norm": 5.564199447631836, + "learning_rate": 2.7573737373737376e-06, + "loss": 6.249552917480469, + "step": 45405 + }, + { + "epoch": 0.1531, + "grad_norm": 10.35019588470459, + "learning_rate": 2.7571212121212122e-06, + "loss": 6.279130554199218, + "step": 45410 + }, + { + "epoch": 0.15315, + "grad_norm": 9.485368728637695, + "learning_rate": 2.7568686868686873e-06, + "loss": 6.275108718872071, + "step": 45415 + }, + { + "epoch": 0.1532, + "grad_norm": 6.720374584197998, + "learning_rate": 2.756616161616162e-06, + "loss": 6.238172912597657, + "step": 45420 + }, + { + "epoch": 0.15325, + "grad_norm": 6.255117416381836, + "learning_rate": 2.7563636363636365e-06, + "loss": 6.263439178466797, + "step": 45425 + }, + { + "epoch": 0.1533, + "grad_norm": 5.569790840148926, + "learning_rate": 2.756111111111111e-06, + "loss": 6.250357818603516, + "step": 45430 + }, + { + "epoch": 0.15335, + "grad_norm": 4.797764301300049, + "learning_rate": 2.7558585858585862e-06, + "loss": 6.244092559814453, + "step": 45435 + }, + { + "epoch": 0.1534, + "grad_norm": 6.796642780303955, + "learning_rate": 2.755606060606061e-06, + "loss": 6.285055541992188, + "step": 45440 + }, + { + "epoch": 0.15345, + "grad_norm": 6.612273693084717, + "learning_rate": 2.7553535353535355e-06, + "loss": 6.335058975219726, + "step": 45445 + }, + { + "epoch": 0.1535, + "grad_norm": 17.889570236206055, + "learning_rate": 2.75510101010101e-06, + "loss": 6.4569145202636715, + "step": 45450 + }, + { + "epoch": 0.15355, + "grad_norm": 7.3726806640625, + "learning_rate": 2.754848484848485e-06, + "loss": 6.290710830688477, + "step": 45455 + }, + { + "epoch": 0.1536, + "grad_norm": 9.082775115966797, + "learning_rate": 2.75459595959596e-06, + "loss": 6.3030242919921875, + "step": 45460 + }, + { + "epoch": 0.15365, + "grad_norm": 7.351465225219727, + "learning_rate": 2.7543434343434344e-06, + "loss": 6.260487365722656, + "step": 45465 + }, + { + "epoch": 0.1537, + "grad_norm": 6.87325382232666, + "learning_rate": 2.7540909090909095e-06, + "loss": 6.271580505371094, + "step": 45470 + }, + { + "epoch": 0.15375, + "grad_norm": 5.484936237335205, + "learning_rate": 2.753838383838384e-06, + "loss": 6.2407676696777346, + "step": 45475 + }, + { + "epoch": 0.1538, + "grad_norm": 6.882890224456787, + "learning_rate": 2.7535858585858587e-06, + "loss": 6.254702377319336, + "step": 45480 + }, + { + "epoch": 0.15385, + "grad_norm": 10.251642227172852, + "learning_rate": 2.7533333333333334e-06, + "loss": 6.294542694091797, + "step": 45485 + }, + { + "epoch": 0.1539, + "grad_norm": 4.068947792053223, + "learning_rate": 2.7530808080808084e-06, + "loss": 6.280735778808594, + "step": 45490 + }, + { + "epoch": 0.15395, + "grad_norm": 7.629263401031494, + "learning_rate": 2.752828282828283e-06, + "loss": 6.220434951782226, + "step": 45495 + }, + { + "epoch": 0.154, + "grad_norm": 26.64723014831543, + "learning_rate": 2.7525757575757577e-06, + "loss": 6.613409423828125, + "step": 45500 + }, + { + "epoch": 0.15405, + "grad_norm": 5.593696594238281, + "learning_rate": 2.7523232323232323e-06, + "loss": 6.669633483886718, + "step": 45505 + }, + { + "epoch": 0.1541, + "grad_norm": 4.921168804168701, + "learning_rate": 2.7520707070707074e-06, + "loss": 6.241437530517578, + "step": 45510 + }, + { + "epoch": 0.15415, + "grad_norm": 5.356301784515381, + "learning_rate": 2.751818181818182e-06, + "loss": 6.254882049560547, + "step": 45515 + }, + { + "epoch": 0.1542, + "grad_norm": 11.69173812866211, + "learning_rate": 2.7515656565656566e-06, + "loss": 6.300406646728516, + "step": 45520 + }, + { + "epoch": 0.15425, + "grad_norm": 7.191143035888672, + "learning_rate": 2.7513131313131313e-06, + "loss": 6.289567184448242, + "step": 45525 + }, + { + "epoch": 0.1543, + "grad_norm": 4.27197790145874, + "learning_rate": 2.7510606060606067e-06, + "loss": 6.267335510253906, + "step": 45530 + }, + { + "epoch": 0.15435, + "grad_norm": 4.36561918258667, + "learning_rate": 2.750808080808081e-06, + "loss": 6.295677947998047, + "step": 45535 + }, + { + "epoch": 0.1544, + "grad_norm": 16.01382827758789, + "learning_rate": 2.7505555555555556e-06, + "loss": 6.234916305541992, + "step": 45540 + }, + { + "epoch": 0.15445, + "grad_norm": 13.397002220153809, + "learning_rate": 2.75030303030303e-06, + "loss": 6.216877365112305, + "step": 45545 + }, + { + "epoch": 0.1545, + "grad_norm": 6.915647029876709, + "learning_rate": 2.7500505050505057e-06, + "loss": 6.292382431030274, + "step": 45550 + }, + { + "epoch": 0.15455, + "grad_norm": 7.948633670806885, + "learning_rate": 2.7497979797979803e-06, + "loss": 6.255560302734375, + "step": 45555 + }, + { + "epoch": 0.1546, + "grad_norm": 5.448237419128418, + "learning_rate": 2.749545454545455e-06, + "loss": 6.178861236572265, + "step": 45560 + }, + { + "epoch": 0.15465, + "grad_norm": 8.465738296508789, + "learning_rate": 2.749292929292929e-06, + "loss": 6.2208820343017575, + "step": 45565 + }, + { + "epoch": 0.1547, + "grad_norm": 5.620838642120361, + "learning_rate": 2.7490404040404046e-06, + "loss": 6.2233123779296875, + "step": 45570 + }, + { + "epoch": 0.15475, + "grad_norm": 8.690142631530762, + "learning_rate": 2.7487878787878793e-06, + "loss": 6.255314636230469, + "step": 45575 + }, + { + "epoch": 0.1548, + "grad_norm": 3.8793811798095703, + "learning_rate": 2.748535353535354e-06, + "loss": 6.253153991699219, + "step": 45580 + }, + { + "epoch": 0.15485, + "grad_norm": 13.073173522949219, + "learning_rate": 2.7482828282828285e-06, + "loss": 6.336008834838867, + "step": 45585 + }, + { + "epoch": 0.1549, + "grad_norm": 6.635429382324219, + "learning_rate": 2.7480303030303036e-06, + "loss": 6.266962051391602, + "step": 45590 + }, + { + "epoch": 0.15495, + "grad_norm": 48.43461608886719, + "learning_rate": 2.747777777777778e-06, + "loss": 6.5077972412109375, + "step": 45595 + }, + { + "epoch": 0.155, + "grad_norm": 6.610507965087891, + "learning_rate": 2.747525252525253e-06, + "loss": 6.36711311340332, + "step": 45600 + }, + { + "epoch": 0.15505, + "grad_norm": 6.2888078689575195, + "learning_rate": 2.7472727272727275e-06, + "loss": 6.234458541870117, + "step": 45605 + }, + { + "epoch": 0.1551, + "grad_norm": 6.085524559020996, + "learning_rate": 2.7470202020202025e-06, + "loss": 6.253709411621093, + "step": 45610 + }, + { + "epoch": 0.15515, + "grad_norm": 5.913668632507324, + "learning_rate": 2.746767676767677e-06, + "loss": 6.272125244140625, + "step": 45615 + }, + { + "epoch": 0.1552, + "grad_norm": 7.603267192840576, + "learning_rate": 2.7465151515151518e-06, + "loss": 6.2269947052001955, + "step": 45620 + }, + { + "epoch": 0.15525, + "grad_norm": 11.403824806213379, + "learning_rate": 2.7462626262626264e-06, + "loss": 6.269118881225586, + "step": 45625 + }, + { + "epoch": 0.1553, + "grad_norm": 9.85342025756836, + "learning_rate": 2.7460101010101015e-06, + "loss": 6.321148681640625, + "step": 45630 + }, + { + "epoch": 0.15535, + "grad_norm": 6.315896034240723, + "learning_rate": 2.745757575757576e-06, + "loss": 6.268572998046875, + "step": 45635 + }, + { + "epoch": 0.1554, + "grad_norm": 9.007213592529297, + "learning_rate": 2.7455050505050507e-06, + "loss": 6.246690368652343, + "step": 45640 + }, + { + "epoch": 0.15545, + "grad_norm": 6.744345188140869, + "learning_rate": 2.7452525252525253e-06, + "loss": 6.26294174194336, + "step": 45645 + }, + { + "epoch": 0.1555, + "grad_norm": 6.048826217651367, + "learning_rate": 2.7450000000000004e-06, + "loss": 6.2901763916015625, + "step": 45650 + }, + { + "epoch": 0.15555, + "grad_norm": 6.296490669250488, + "learning_rate": 2.744747474747475e-06, + "loss": 6.2590576171875, + "step": 45655 + }, + { + "epoch": 0.1556, + "grad_norm": 6.531980514526367, + "learning_rate": 2.7444949494949497e-06, + "loss": 6.221875, + "step": 45660 + }, + { + "epoch": 0.15565, + "grad_norm": 7.764468669891357, + "learning_rate": 2.7442424242424243e-06, + "loss": 6.314701843261719, + "step": 45665 + }, + { + "epoch": 0.1557, + "grad_norm": 29.59735870361328, + "learning_rate": 2.7439898989898993e-06, + "loss": 6.324686431884766, + "step": 45670 + }, + { + "epoch": 0.15575, + "grad_norm": 5.054245948791504, + "learning_rate": 2.743737373737374e-06, + "loss": 6.258861541748047, + "step": 45675 + }, + { + "epoch": 0.1558, + "grad_norm": 4.995138168334961, + "learning_rate": 2.7434848484848486e-06, + "loss": 6.239112472534179, + "step": 45680 + }, + { + "epoch": 0.15585, + "grad_norm": 4.692570686340332, + "learning_rate": 2.7432323232323232e-06, + "loss": 6.215349578857422, + "step": 45685 + }, + { + "epoch": 0.1559, + "grad_norm": 7.817834854125977, + "learning_rate": 2.7429797979797983e-06, + "loss": 6.267639923095703, + "step": 45690 + }, + { + "epoch": 0.15595, + "grad_norm": 15.695502281188965, + "learning_rate": 2.742727272727273e-06, + "loss": 6.249320602416992, + "step": 45695 + }, + { + "epoch": 0.156, + "grad_norm": 4.694500923156738, + "learning_rate": 2.7424747474747475e-06, + "loss": 6.323519134521485, + "step": 45700 + }, + { + "epoch": 0.15605, + "grad_norm": 3.49898362159729, + "learning_rate": 2.742222222222222e-06, + "loss": 6.261234283447266, + "step": 45705 + }, + { + "epoch": 0.1561, + "grad_norm": 5.940157413482666, + "learning_rate": 2.7419696969696972e-06, + "loss": 6.254181671142578, + "step": 45710 + }, + { + "epoch": 0.15615, + "grad_norm": 6.628899574279785, + "learning_rate": 2.741717171717172e-06, + "loss": 6.259916687011719, + "step": 45715 + }, + { + "epoch": 0.1562, + "grad_norm": 7.390396595001221, + "learning_rate": 2.7414646464646465e-06, + "loss": 6.349094390869141, + "step": 45720 + }, + { + "epoch": 0.15625, + "grad_norm": 5.810349941253662, + "learning_rate": 2.741212121212121e-06, + "loss": 6.248091125488282, + "step": 45725 + }, + { + "epoch": 0.1563, + "grad_norm": 8.089156150817871, + "learning_rate": 2.740959595959596e-06, + "loss": 6.272583389282227, + "step": 45730 + }, + { + "epoch": 0.15635, + "grad_norm": 5.500136852264404, + "learning_rate": 2.740707070707071e-06, + "loss": 6.26732063293457, + "step": 45735 + }, + { + "epoch": 0.1564, + "grad_norm": 6.426730632781982, + "learning_rate": 2.7404545454545454e-06, + "loss": 6.217781066894531, + "step": 45740 + }, + { + "epoch": 0.15645, + "grad_norm": 3.88439679145813, + "learning_rate": 2.74020202020202e-06, + "loss": 6.236204528808594, + "step": 45745 + }, + { + "epoch": 0.1565, + "grad_norm": 7.631826400756836, + "learning_rate": 2.7399494949494955e-06, + "loss": 6.250545501708984, + "step": 45750 + }, + { + "epoch": 0.15655, + "grad_norm": 21.547183990478516, + "learning_rate": 2.73969696969697e-06, + "loss": 6.709126281738281, + "step": 45755 + }, + { + "epoch": 0.1566, + "grad_norm": 5.165591239929199, + "learning_rate": 2.7394444444444444e-06, + "loss": 6.216460418701172, + "step": 45760 + }, + { + "epoch": 0.15665, + "grad_norm": 10.562091827392578, + "learning_rate": 2.739191919191919e-06, + "loss": 6.228884887695313, + "step": 45765 + }, + { + "epoch": 0.1567, + "grad_norm": 6.778519630432129, + "learning_rate": 2.7389393939393945e-06, + "loss": 6.656229400634766, + "step": 45770 + }, + { + "epoch": 0.15675, + "grad_norm": 8.265875816345215, + "learning_rate": 2.738686868686869e-06, + "loss": 6.351311111450196, + "step": 45775 + }, + { + "epoch": 0.1568, + "grad_norm": 5.699514865875244, + "learning_rate": 2.7384343434343437e-06, + "loss": 6.263597106933593, + "step": 45780 + }, + { + "epoch": 0.15685, + "grad_norm": 9.122086524963379, + "learning_rate": 2.738181818181818e-06, + "loss": 6.246063613891602, + "step": 45785 + }, + { + "epoch": 0.1569, + "grad_norm": 7.526129722595215, + "learning_rate": 2.7379292929292934e-06, + "loss": 6.285683441162109, + "step": 45790 + }, + { + "epoch": 0.15695, + "grad_norm": 5.7187819480896, + "learning_rate": 2.737676767676768e-06, + "loss": 6.271430206298828, + "step": 45795 + }, + { + "epoch": 0.157, + "grad_norm": 6.6965556144714355, + "learning_rate": 2.7374242424242427e-06, + "loss": 6.417866516113281, + "step": 45800 + }, + { + "epoch": 0.15705, + "grad_norm": 5.017265796661377, + "learning_rate": 2.7371717171717173e-06, + "loss": 6.306255340576172, + "step": 45805 + }, + { + "epoch": 0.1571, + "grad_norm": 5.243404388427734, + "learning_rate": 2.7369191919191924e-06, + "loss": 6.342928314208985, + "step": 45810 + }, + { + "epoch": 0.15715, + "grad_norm": 8.395263671875, + "learning_rate": 2.736666666666667e-06, + "loss": 6.263788223266602, + "step": 45815 + }, + { + "epoch": 0.1572, + "grad_norm": 4.96975564956665, + "learning_rate": 2.7364141414141416e-06, + "loss": 6.277923583984375, + "step": 45820 + }, + { + "epoch": 0.15725, + "grad_norm": 5.136043071746826, + "learning_rate": 2.7361616161616163e-06, + "loss": 6.234904479980469, + "step": 45825 + }, + { + "epoch": 0.1573, + "grad_norm": 4.559699535369873, + "learning_rate": 2.7359090909090913e-06, + "loss": 6.183169937133789, + "step": 45830 + }, + { + "epoch": 0.15735, + "grad_norm": 5.624218463897705, + "learning_rate": 2.735656565656566e-06, + "loss": 6.2541145324707035, + "step": 45835 + }, + { + "epoch": 0.1574, + "grad_norm": 6.570965766906738, + "learning_rate": 2.7354040404040406e-06, + "loss": 6.269226455688477, + "step": 45840 + }, + { + "epoch": 0.15745, + "grad_norm": 5.847921371459961, + "learning_rate": 2.735151515151515e-06, + "loss": 6.253045654296875, + "step": 45845 + }, + { + "epoch": 0.1575, + "grad_norm": 5.5157318115234375, + "learning_rate": 2.7348989898989903e-06, + "loss": 6.296728134155273, + "step": 45850 + }, + { + "epoch": 0.15755, + "grad_norm": 9.268404960632324, + "learning_rate": 2.734646464646465e-06, + "loss": 6.199578094482422, + "step": 45855 + }, + { + "epoch": 0.1576, + "grad_norm": 7.728217601776123, + "learning_rate": 2.7343939393939395e-06, + "loss": 6.265856170654297, + "step": 45860 + }, + { + "epoch": 0.15765, + "grad_norm": 3.7824366092681885, + "learning_rate": 2.734141414141414e-06, + "loss": 6.223073577880859, + "step": 45865 + }, + { + "epoch": 0.1577, + "grad_norm": 7.480978965759277, + "learning_rate": 2.733888888888889e-06, + "loss": 6.311048126220703, + "step": 45870 + }, + { + "epoch": 0.15775, + "grad_norm": 3.9733169078826904, + "learning_rate": 2.733636363636364e-06, + "loss": 6.292192840576172, + "step": 45875 + }, + { + "epoch": 0.1578, + "grad_norm": 5.505402088165283, + "learning_rate": 2.7333838383838385e-06, + "loss": 6.269226837158203, + "step": 45880 + }, + { + "epoch": 0.15785, + "grad_norm": 5.96746826171875, + "learning_rate": 2.733131313131313e-06, + "loss": 6.282860183715821, + "step": 45885 + }, + { + "epoch": 0.1579, + "grad_norm": 6.947137355804443, + "learning_rate": 2.732878787878788e-06, + "loss": 6.267567825317383, + "step": 45890 + }, + { + "epoch": 0.15795, + "grad_norm": 6.577126979827881, + "learning_rate": 2.7326262626262628e-06, + "loss": 6.30109977722168, + "step": 45895 + }, + { + "epoch": 0.158, + "grad_norm": 5.820128440856934, + "learning_rate": 2.7323737373737374e-06, + "loss": 6.259189224243164, + "step": 45900 + }, + { + "epoch": 0.15805, + "grad_norm": 5.726507663726807, + "learning_rate": 2.7321212121212125e-06, + "loss": 6.266120910644531, + "step": 45905 + }, + { + "epoch": 0.1581, + "grad_norm": 10.277961730957031, + "learning_rate": 2.731868686868687e-06, + "loss": 6.209300994873047, + "step": 45910 + }, + { + "epoch": 0.15815, + "grad_norm": 3.499379873275757, + "learning_rate": 2.7316161616161617e-06, + "loss": 6.3102569580078125, + "step": 45915 + }, + { + "epoch": 0.1582, + "grad_norm": 5.9250168800354, + "learning_rate": 2.7313636363636364e-06, + "loss": 6.300728607177734, + "step": 45920 + }, + { + "epoch": 0.15825, + "grad_norm": 4.585822582244873, + "learning_rate": 2.7311111111111114e-06, + "loss": 6.267549896240235, + "step": 45925 + }, + { + "epoch": 0.1583, + "grad_norm": 4.158531665802002, + "learning_rate": 2.730858585858586e-06, + "loss": 6.215413665771484, + "step": 45930 + }, + { + "epoch": 0.15835, + "grad_norm": 5.687535762786865, + "learning_rate": 2.7306060606060607e-06, + "loss": 6.2782642364501955, + "step": 45935 + }, + { + "epoch": 0.1584, + "grad_norm": 9.52270793914795, + "learning_rate": 2.7303535353535353e-06, + "loss": 6.329633331298828, + "step": 45940 + }, + { + "epoch": 0.15845, + "grad_norm": 5.664690971374512, + "learning_rate": 2.7301010101010108e-06, + "loss": 6.269956970214844, + "step": 45945 + }, + { + "epoch": 0.1585, + "grad_norm": 6.1131439208984375, + "learning_rate": 2.729848484848485e-06, + "loss": 6.26043472290039, + "step": 45950 + }, + { + "epoch": 0.15855, + "grad_norm": 7.068819522857666, + "learning_rate": 2.7295959595959596e-06, + "loss": 6.256476211547851, + "step": 45955 + }, + { + "epoch": 0.1586, + "grad_norm": 8.931595802307129, + "learning_rate": 2.7293434343434342e-06, + "loss": 6.278238677978516, + "step": 45960 + }, + { + "epoch": 0.15865, + "grad_norm": 7.492035865783691, + "learning_rate": 2.7290909090909097e-06, + "loss": 6.347361373901367, + "step": 45965 + }, + { + "epoch": 0.1587, + "grad_norm": 8.39216423034668, + "learning_rate": 2.7288383838383844e-06, + "loss": 6.2448680877685545, + "step": 45970 + }, + { + "epoch": 0.15875, + "grad_norm": 6.067298412322998, + "learning_rate": 2.728585858585859e-06, + "loss": 6.320822906494141, + "step": 45975 + }, + { + "epoch": 0.1588, + "grad_norm": 7.287589073181152, + "learning_rate": 2.728333333333333e-06, + "loss": 6.277625656127929, + "step": 45980 + }, + { + "epoch": 0.15885, + "grad_norm": 4.870453834533691, + "learning_rate": 2.7280808080808087e-06, + "loss": 6.280265808105469, + "step": 45985 + }, + { + "epoch": 0.1589, + "grad_norm": 5.409716606140137, + "learning_rate": 2.7278282828282833e-06, + "loss": 6.285784149169922, + "step": 45990 + }, + { + "epoch": 0.15895, + "grad_norm": 7.923301696777344, + "learning_rate": 2.727575757575758e-06, + "loss": 6.268531417846679, + "step": 45995 + }, + { + "epoch": 0.159, + "grad_norm": 7.195972919464111, + "learning_rate": 2.7273232323232326e-06, + "loss": 6.256218719482422, + "step": 46000 + }, + { + "epoch": 0.15905, + "grad_norm": 7.993651390075684, + "learning_rate": 2.7270707070707076e-06, + "loss": 6.295466613769531, + "step": 46005 + }, + { + "epoch": 0.1591, + "grad_norm": 16.022260665893555, + "learning_rate": 2.7268181818181822e-06, + "loss": 6.342257308959961, + "step": 46010 + }, + { + "epoch": 0.15915, + "grad_norm": 6.131389617919922, + "learning_rate": 2.726565656565657e-06, + "loss": 6.533112335205078, + "step": 46015 + }, + { + "epoch": 0.1592, + "grad_norm": 6.485421657562256, + "learning_rate": 2.7263131313131315e-06, + "loss": 6.297810363769531, + "step": 46020 + }, + { + "epoch": 0.15925, + "grad_norm": 3.9858853816986084, + "learning_rate": 2.7260606060606066e-06, + "loss": 6.256057357788086, + "step": 46025 + }, + { + "epoch": 0.1593, + "grad_norm": 5.856050491333008, + "learning_rate": 2.725808080808081e-06, + "loss": 6.294332885742188, + "step": 46030 + }, + { + "epoch": 0.15935, + "grad_norm": 6.426441669464111, + "learning_rate": 2.725555555555556e-06, + "loss": 6.292838287353516, + "step": 46035 + }, + { + "epoch": 0.1594, + "grad_norm": 7.87262487411499, + "learning_rate": 2.7253030303030304e-06, + "loss": 6.289400100708008, + "step": 46040 + }, + { + "epoch": 0.15945, + "grad_norm": 9.292779922485352, + "learning_rate": 2.7250505050505055e-06, + "loss": 6.225447082519532, + "step": 46045 + }, + { + "epoch": 0.1595, + "grad_norm": 6.177308082580566, + "learning_rate": 2.72479797979798e-06, + "loss": 6.246398162841797, + "step": 46050 + }, + { + "epoch": 0.15955, + "grad_norm": 6.297784805297852, + "learning_rate": 2.7245454545454548e-06, + "loss": 6.312096786499024, + "step": 46055 + }, + { + "epoch": 0.1596, + "grad_norm": 5.0504536628723145, + "learning_rate": 2.7242929292929294e-06, + "loss": 6.276942443847656, + "step": 46060 + }, + { + "epoch": 0.15965, + "grad_norm": 4.5579833984375, + "learning_rate": 2.7240404040404044e-06, + "loss": 6.248768615722656, + "step": 46065 + }, + { + "epoch": 0.1597, + "grad_norm": 10.091920852661133, + "learning_rate": 2.723787878787879e-06, + "loss": 6.246856689453125, + "step": 46070 + }, + { + "epoch": 0.15975, + "grad_norm": 4.116532325744629, + "learning_rate": 2.7235353535353537e-06, + "loss": 6.292824935913086, + "step": 46075 + }, + { + "epoch": 0.1598, + "grad_norm": 3.8468024730682373, + "learning_rate": 2.7232828282828283e-06, + "loss": 6.350613403320312, + "step": 46080 + }, + { + "epoch": 0.15985, + "grad_norm": 8.178323745727539, + "learning_rate": 2.7230303030303034e-06, + "loss": 6.271936416625977, + "step": 46085 + }, + { + "epoch": 0.1599, + "grad_norm": 5.0372114181518555, + "learning_rate": 2.722777777777778e-06, + "loss": 6.393745422363281, + "step": 46090 + }, + { + "epoch": 0.15995, + "grad_norm": 5.450539588928223, + "learning_rate": 2.7225252525252526e-06, + "loss": 6.283059692382812, + "step": 46095 + }, + { + "epoch": 0.16, + "grad_norm": 4.793132781982422, + "learning_rate": 2.7222727272727273e-06, + "loss": 6.287249755859375, + "step": 46100 + }, + { + "epoch": 0.16005, + "grad_norm": 25.666645050048828, + "learning_rate": 2.7220202020202023e-06, + "loss": 6.357717514038086, + "step": 46105 + }, + { + "epoch": 0.1601, + "grad_norm": 7.385717868804932, + "learning_rate": 2.721767676767677e-06, + "loss": 6.356494903564453, + "step": 46110 + }, + { + "epoch": 0.16015, + "grad_norm": 3.884598731994629, + "learning_rate": 2.7215151515151516e-06, + "loss": 6.232147598266602, + "step": 46115 + }, + { + "epoch": 0.1602, + "grad_norm": 8.309121131896973, + "learning_rate": 2.7212626262626262e-06, + "loss": 6.267416763305664, + "step": 46120 + }, + { + "epoch": 0.16025, + "grad_norm": 8.813039779663086, + "learning_rate": 2.7210101010101013e-06, + "loss": 6.277158737182617, + "step": 46125 + }, + { + "epoch": 0.1603, + "grad_norm": 6.706832408905029, + "learning_rate": 2.720757575757576e-06, + "loss": 6.2300361633300785, + "step": 46130 + }, + { + "epoch": 0.16035, + "grad_norm": 9.096871376037598, + "learning_rate": 2.7205050505050505e-06, + "loss": 6.253242492675781, + "step": 46135 + }, + { + "epoch": 0.1604, + "grad_norm": 5.244923114776611, + "learning_rate": 2.720252525252525e-06, + "loss": 6.246356201171875, + "step": 46140 + }, + { + "epoch": 0.16045, + "grad_norm": 5.208483695983887, + "learning_rate": 2.7200000000000002e-06, + "loss": 6.311319732666016, + "step": 46145 + }, + { + "epoch": 0.1605, + "grad_norm": 4.70627498626709, + "learning_rate": 2.719747474747475e-06, + "loss": 6.2824653625488285, + "step": 46150 + }, + { + "epoch": 0.16055, + "grad_norm": 3.743726968765259, + "learning_rate": 2.7194949494949495e-06, + "loss": 6.350189208984375, + "step": 46155 + }, + { + "epoch": 0.1606, + "grad_norm": 3.733832597732544, + "learning_rate": 2.719242424242424e-06, + "loss": 6.247168350219726, + "step": 46160 + }, + { + "epoch": 0.16065, + "grad_norm": 10.818426132202148, + "learning_rate": 2.7189898989898996e-06, + "loss": 6.2261615753173825, + "step": 46165 + }, + { + "epoch": 0.1607, + "grad_norm": 8.118481636047363, + "learning_rate": 2.7187373737373742e-06, + "loss": 6.248129653930664, + "step": 46170 + }, + { + "epoch": 0.16075, + "grad_norm": 6.7805094718933105, + "learning_rate": 2.7184848484848484e-06, + "loss": 6.222587966918946, + "step": 46175 + }, + { + "epoch": 0.1608, + "grad_norm": 8.526678085327148, + "learning_rate": 2.718232323232323e-06, + "loss": 6.325622177124023, + "step": 46180 + }, + { + "epoch": 0.16085, + "grad_norm": 5.2164106369018555, + "learning_rate": 2.7179797979797985e-06, + "loss": 6.2672370910644535, + "step": 46185 + }, + { + "epoch": 0.1609, + "grad_norm": 7.349819183349609, + "learning_rate": 2.717727272727273e-06, + "loss": 6.307279586791992, + "step": 46190 + }, + { + "epoch": 0.16095, + "grad_norm": 4.121012210845947, + "learning_rate": 2.7174747474747478e-06, + "loss": 6.305840301513672, + "step": 46195 + }, + { + "epoch": 0.161, + "grad_norm": 9.100900650024414, + "learning_rate": 2.717222222222222e-06, + "loss": 6.2936759948730465, + "step": 46200 + }, + { + "epoch": 0.16105, + "grad_norm": 5.641716957092285, + "learning_rate": 2.7169696969696975e-06, + "loss": 6.263376617431641, + "step": 46205 + }, + { + "epoch": 0.1611, + "grad_norm": 6.1295623779296875, + "learning_rate": 2.716717171717172e-06, + "loss": 6.286444473266601, + "step": 46210 + }, + { + "epoch": 0.16115, + "grad_norm": 7.149283409118652, + "learning_rate": 2.7164646464646467e-06, + "loss": 6.286502075195313, + "step": 46215 + }, + { + "epoch": 0.1612, + "grad_norm": 3.362788677215576, + "learning_rate": 2.7162121212121214e-06, + "loss": 6.389106750488281, + "step": 46220 + }, + { + "epoch": 0.16125, + "grad_norm": 6.165426254272461, + "learning_rate": 2.7159595959595964e-06, + "loss": 6.27380485534668, + "step": 46225 + }, + { + "epoch": 0.1613, + "grad_norm": 8.27341365814209, + "learning_rate": 2.715707070707071e-06, + "loss": 6.287337875366211, + "step": 46230 + }, + { + "epoch": 0.16135, + "grad_norm": 5.109869003295898, + "learning_rate": 2.7154545454545457e-06, + "loss": 6.27685775756836, + "step": 46235 + }, + { + "epoch": 0.1614, + "grad_norm": 3.7289345264434814, + "learning_rate": 2.7152020202020203e-06, + "loss": 6.239474487304688, + "step": 46240 + }, + { + "epoch": 0.16145, + "grad_norm": 14.128501892089844, + "learning_rate": 2.7149494949494954e-06, + "loss": 6.332586669921875, + "step": 46245 + }, + { + "epoch": 0.1615, + "grad_norm": 4.3774733543396, + "learning_rate": 2.71469696969697e-06, + "loss": 6.323312759399414, + "step": 46250 + }, + { + "epoch": 0.16155, + "grad_norm": 5.424648284912109, + "learning_rate": 2.7144444444444446e-06, + "loss": 6.408489227294922, + "step": 46255 + }, + { + "epoch": 0.1616, + "grad_norm": 4.015381336212158, + "learning_rate": 2.7141919191919192e-06, + "loss": 6.254777908325195, + "step": 46260 + }, + { + "epoch": 0.16165, + "grad_norm": 4.6576738357543945, + "learning_rate": 2.7139393939393943e-06, + "loss": 6.282418823242187, + "step": 46265 + }, + { + "epoch": 0.1617, + "grad_norm": 5.81601095199585, + "learning_rate": 2.713686868686869e-06, + "loss": 6.305488967895508, + "step": 46270 + }, + { + "epoch": 0.16175, + "grad_norm": 7.3689284324646, + "learning_rate": 2.7134343434343436e-06, + "loss": 6.216822814941406, + "step": 46275 + }, + { + "epoch": 0.1618, + "grad_norm": 5.484920978546143, + "learning_rate": 2.713181818181818e-06, + "loss": 6.2383983612060545, + "step": 46280 + }, + { + "epoch": 0.16185, + "grad_norm": 7.165423393249512, + "learning_rate": 2.7129292929292932e-06, + "loss": 6.4825439453125, + "step": 46285 + }, + { + "epoch": 0.1619, + "grad_norm": 7.157301902770996, + "learning_rate": 2.712676767676768e-06, + "loss": 6.36384162902832, + "step": 46290 + }, + { + "epoch": 0.16195, + "grad_norm": 11.404439926147461, + "learning_rate": 2.7124242424242425e-06, + "loss": 6.2334739685058596, + "step": 46295 + }, + { + "epoch": 0.162, + "grad_norm": 6.00426721572876, + "learning_rate": 2.712171717171717e-06, + "loss": 6.207920837402344, + "step": 46300 + }, + { + "epoch": 0.16205, + "grad_norm": 7.8412885665893555, + "learning_rate": 2.711919191919192e-06, + "loss": 6.265785980224609, + "step": 46305 + }, + { + "epoch": 0.1621, + "grad_norm": 5.582731246948242, + "learning_rate": 2.711666666666667e-06, + "loss": 6.303151321411133, + "step": 46310 + }, + { + "epoch": 0.16215, + "grad_norm": 7.075326919555664, + "learning_rate": 2.7114141414141415e-06, + "loss": 6.292263031005859, + "step": 46315 + }, + { + "epoch": 0.1622, + "grad_norm": 5.8795576095581055, + "learning_rate": 2.7111616161616165e-06, + "loss": 6.288729858398438, + "step": 46320 + }, + { + "epoch": 0.16225, + "grad_norm": 19.464229583740234, + "learning_rate": 2.710909090909091e-06, + "loss": 6.702177429199219, + "step": 46325 + }, + { + "epoch": 0.1623, + "grad_norm": 11.204289436340332, + "learning_rate": 2.7106565656565658e-06, + "loss": 6.297915267944336, + "step": 46330 + }, + { + "epoch": 0.16235, + "grad_norm": 4.657784938812256, + "learning_rate": 2.7104040404040404e-06, + "loss": 6.239188385009766, + "step": 46335 + }, + { + "epoch": 0.1624, + "grad_norm": 7.413614749908447, + "learning_rate": 2.7101515151515154e-06, + "loss": 6.263623809814453, + "step": 46340 + }, + { + "epoch": 0.16245, + "grad_norm": 6.949495792388916, + "learning_rate": 2.70989898989899e-06, + "loss": 6.19805679321289, + "step": 46345 + }, + { + "epoch": 0.1625, + "grad_norm": 11.199972152709961, + "learning_rate": 2.7096464646464647e-06, + "loss": 6.245381164550781, + "step": 46350 + }, + { + "epoch": 0.16255, + "grad_norm": 6.587199687957764, + "learning_rate": 2.7093939393939393e-06, + "loss": 6.240771484375, + "step": 46355 + }, + { + "epoch": 0.1626, + "grad_norm": 4.83115816116333, + "learning_rate": 2.709141414141415e-06, + "loss": 6.239324951171875, + "step": 46360 + }, + { + "epoch": 0.16265, + "grad_norm": 6.9347710609436035, + "learning_rate": 2.708888888888889e-06, + "loss": 6.276221084594726, + "step": 46365 + }, + { + "epoch": 0.1627, + "grad_norm": 7.538914203643799, + "learning_rate": 2.7086363636363637e-06, + "loss": 6.307289123535156, + "step": 46370 + }, + { + "epoch": 0.16275, + "grad_norm": 4.4879913330078125, + "learning_rate": 2.7083838383838383e-06, + "loss": 6.330704116821289, + "step": 46375 + }, + { + "epoch": 0.1628, + "grad_norm": 3.4831314086914062, + "learning_rate": 2.7081313131313138e-06, + "loss": 6.28766975402832, + "step": 46380 + }, + { + "epoch": 0.16285, + "grad_norm": 4.245772838592529, + "learning_rate": 2.7078787878787884e-06, + "loss": 6.267551422119141, + "step": 46385 + }, + { + "epoch": 0.1629, + "grad_norm": 6.916069984436035, + "learning_rate": 2.707626262626263e-06, + "loss": 6.199790954589844, + "step": 46390 + }, + { + "epoch": 0.16295, + "grad_norm": 5.316991329193115, + "learning_rate": 2.7073737373737372e-06, + "loss": 6.310803604125977, + "step": 46395 + }, + { + "epoch": 0.163, + "grad_norm": 7.9739227294921875, + "learning_rate": 2.7071212121212127e-06, + "loss": 6.299285888671875, + "step": 46400 + }, + { + "epoch": 0.16305, + "grad_norm": 15.130101203918457, + "learning_rate": 2.7068686868686873e-06, + "loss": 6.364262390136719, + "step": 46405 + }, + { + "epoch": 0.1631, + "grad_norm": 8.641922950744629, + "learning_rate": 2.706616161616162e-06, + "loss": 6.326145172119141, + "step": 46410 + }, + { + "epoch": 0.16315, + "grad_norm": 5.703354835510254, + "learning_rate": 2.7063636363636366e-06, + "loss": 6.321566772460938, + "step": 46415 + }, + { + "epoch": 0.1632, + "grad_norm": 6.1122145652771, + "learning_rate": 2.7061111111111116e-06, + "loss": 6.326084136962891, + "step": 46420 + }, + { + "epoch": 0.16325, + "grad_norm": 4.721333026885986, + "learning_rate": 2.7058585858585863e-06, + "loss": 6.24793701171875, + "step": 46425 + }, + { + "epoch": 0.1633, + "grad_norm": 8.024808883666992, + "learning_rate": 2.705606060606061e-06, + "loss": 6.275682830810547, + "step": 46430 + }, + { + "epoch": 0.16335, + "grad_norm": 6.1483588218688965, + "learning_rate": 2.7053535353535355e-06, + "loss": 6.275567626953125, + "step": 46435 + }, + { + "epoch": 0.1634, + "grad_norm": 7.213583469390869, + "learning_rate": 2.7051010101010106e-06, + "loss": 6.3659309387207035, + "step": 46440 + }, + { + "epoch": 0.16345, + "grad_norm": 7.2201337814331055, + "learning_rate": 2.7048484848484852e-06, + "loss": 6.255638885498047, + "step": 46445 + }, + { + "epoch": 0.1635, + "grad_norm": 8.284965515136719, + "learning_rate": 2.70459595959596e-06, + "loss": 6.267876815795899, + "step": 46450 + }, + { + "epoch": 0.16355, + "grad_norm": 5.463566303253174, + "learning_rate": 2.7043434343434345e-06, + "loss": 6.262792587280273, + "step": 46455 + }, + { + "epoch": 0.1636, + "grad_norm": 25.854286193847656, + "learning_rate": 2.7040909090909095e-06, + "loss": 6.397969818115234, + "step": 46460 + }, + { + "epoch": 0.16365, + "grad_norm": 6.65406608581543, + "learning_rate": 2.703838383838384e-06, + "loss": 6.343595886230469, + "step": 46465 + }, + { + "epoch": 0.1637, + "grad_norm": 4.4420294761657715, + "learning_rate": 2.703585858585859e-06, + "loss": 6.225080108642578, + "step": 46470 + }, + { + "epoch": 0.16375, + "grad_norm": 6.799612522125244, + "learning_rate": 2.7033333333333334e-06, + "loss": 6.2386474609375, + "step": 46475 + }, + { + "epoch": 0.1638, + "grad_norm": 6.069149017333984, + "learning_rate": 2.7030808080808085e-06, + "loss": 6.2604930877685545, + "step": 46480 + }, + { + "epoch": 0.16385, + "grad_norm": 11.114018440246582, + "learning_rate": 2.702828282828283e-06, + "loss": 6.295671844482422, + "step": 46485 + }, + { + "epoch": 0.1639, + "grad_norm": 4.317625999450684, + "learning_rate": 2.7025757575757577e-06, + "loss": 6.209845352172851, + "step": 46490 + }, + { + "epoch": 0.16395, + "grad_norm": 6.574362277984619, + "learning_rate": 2.7023232323232324e-06, + "loss": 6.254465484619141, + "step": 46495 + }, + { + "epoch": 0.164, + "grad_norm": 5.086489677429199, + "learning_rate": 2.7020707070707074e-06, + "loss": 6.3522483825683596, + "step": 46500 + }, + { + "epoch": 0.16405, + "grad_norm": 15.905435562133789, + "learning_rate": 2.701818181818182e-06, + "loss": 6.483385467529297, + "step": 46505 + }, + { + "epoch": 0.1641, + "grad_norm": 6.8352460861206055, + "learning_rate": 2.7015656565656567e-06, + "loss": 6.264405822753906, + "step": 46510 + }, + { + "epoch": 0.16415, + "grad_norm": 7.894382953643799, + "learning_rate": 2.7013131313131313e-06, + "loss": 6.279173278808594, + "step": 46515 + }, + { + "epoch": 0.1642, + "grad_norm": 7.49547004699707, + "learning_rate": 2.7010606060606064e-06, + "loss": 6.257052230834961, + "step": 46520 + }, + { + "epoch": 0.16425, + "grad_norm": 8.441426277160645, + "learning_rate": 2.700808080808081e-06, + "loss": 6.370332336425781, + "step": 46525 + }, + { + "epoch": 0.1643, + "grad_norm": 5.404785633087158, + "learning_rate": 2.7005555555555556e-06, + "loss": 6.328109359741211, + "step": 46530 + }, + { + "epoch": 0.16435, + "grad_norm": 5.773766994476318, + "learning_rate": 2.7003030303030303e-06, + "loss": 6.311983871459961, + "step": 46535 + }, + { + "epoch": 0.1644, + "grad_norm": 6.174339294433594, + "learning_rate": 2.7000505050505053e-06, + "loss": 6.2651123046875, + "step": 46540 + }, + { + "epoch": 0.16445, + "grad_norm": 8.440091133117676, + "learning_rate": 2.69979797979798e-06, + "loss": 6.231924438476563, + "step": 46545 + }, + { + "epoch": 0.1645, + "grad_norm": 7.178924560546875, + "learning_rate": 2.6995454545454546e-06, + "loss": 6.260216903686524, + "step": 46550 + }, + { + "epoch": 0.16455, + "grad_norm": 11.699836730957031, + "learning_rate": 2.699292929292929e-06, + "loss": 6.264885711669922, + "step": 46555 + }, + { + "epoch": 0.1646, + "grad_norm": 6.431806564331055, + "learning_rate": 2.6990404040404043e-06, + "loss": 6.3214256286621096, + "step": 46560 + }, + { + "epoch": 0.16465, + "grad_norm": 7.629232883453369, + "learning_rate": 2.698787878787879e-06, + "loss": 6.2335670471191404, + "step": 46565 + }, + { + "epoch": 0.1647, + "grad_norm": 5.159815788269043, + "learning_rate": 2.6985353535353535e-06, + "loss": 6.261320495605469, + "step": 46570 + }, + { + "epoch": 0.16475, + "grad_norm": 5.986253261566162, + "learning_rate": 2.698282828282828e-06, + "loss": 6.261339569091797, + "step": 46575 + }, + { + "epoch": 0.1648, + "grad_norm": 4.157566070556641, + "learning_rate": 2.6980303030303036e-06, + "loss": 6.247779846191406, + "step": 46580 + }, + { + "epoch": 0.16485, + "grad_norm": 10.076870918273926, + "learning_rate": 2.6977777777777783e-06, + "loss": 6.272740173339844, + "step": 46585 + }, + { + "epoch": 0.1649, + "grad_norm": 4.734520435333252, + "learning_rate": 2.6975252525252525e-06, + "loss": 6.220353317260742, + "step": 46590 + }, + { + "epoch": 0.16495, + "grad_norm": 8.064689636230469, + "learning_rate": 2.697272727272727e-06, + "loss": 6.181978607177735, + "step": 46595 + }, + { + "epoch": 0.165, + "grad_norm": 8.734370231628418, + "learning_rate": 2.6970202020202026e-06, + "loss": 6.249336242675781, + "step": 46600 + }, + { + "epoch": 0.16505, + "grad_norm": 8.201236724853516, + "learning_rate": 2.696767676767677e-06, + "loss": 6.211967849731446, + "step": 46605 + }, + { + "epoch": 0.1651, + "grad_norm": 4.407055854797363, + "learning_rate": 2.696515151515152e-06, + "loss": 6.322299194335938, + "step": 46610 + }, + { + "epoch": 0.16515, + "grad_norm": 8.702316284179688, + "learning_rate": 2.6962626262626265e-06, + "loss": 6.288990020751953, + "step": 46615 + }, + { + "epoch": 0.1652, + "grad_norm": 8.985153198242188, + "learning_rate": 2.6960101010101015e-06, + "loss": 6.2819053649902346, + "step": 46620 + }, + { + "epoch": 0.16525, + "grad_norm": 6.656138896942139, + "learning_rate": 2.695757575757576e-06, + "loss": 6.255428314208984, + "step": 46625 + }, + { + "epoch": 0.1653, + "grad_norm": 18.32538414001465, + "learning_rate": 2.6955050505050508e-06, + "loss": 6.693630981445312, + "step": 46630 + }, + { + "epoch": 0.16535, + "grad_norm": 4.716052055358887, + "learning_rate": 2.6952525252525254e-06, + "loss": 6.253234481811523, + "step": 46635 + }, + { + "epoch": 0.1654, + "grad_norm": 4.194809436798096, + "learning_rate": 2.6950000000000005e-06, + "loss": 6.312934875488281, + "step": 46640 + }, + { + "epoch": 0.16545, + "grad_norm": 10.009414672851562, + "learning_rate": 2.694747474747475e-06, + "loss": 6.450945281982422, + "step": 46645 + }, + { + "epoch": 0.1655, + "grad_norm": 7.179514408111572, + "learning_rate": 2.6944949494949497e-06, + "loss": 6.333229064941406, + "step": 46650 + }, + { + "epoch": 0.16555, + "grad_norm": 7.354435443878174, + "learning_rate": 2.6942424242424243e-06, + "loss": 6.249530410766601, + "step": 46655 + }, + { + "epoch": 0.1656, + "grad_norm": 5.606266498565674, + "learning_rate": 2.6939898989898994e-06, + "loss": 6.298655700683594, + "step": 46660 + }, + { + "epoch": 0.16565, + "grad_norm": 6.070713043212891, + "learning_rate": 2.693737373737374e-06, + "loss": 6.259365081787109, + "step": 46665 + }, + { + "epoch": 0.1657, + "grad_norm": 9.76517105102539, + "learning_rate": 2.6934848484848487e-06, + "loss": 6.239619445800781, + "step": 46670 + }, + { + "epoch": 0.16575, + "grad_norm": 8.144340515136719, + "learning_rate": 2.6932323232323233e-06, + "loss": 6.231914901733399, + "step": 46675 + }, + { + "epoch": 0.1658, + "grad_norm": 8.67623519897461, + "learning_rate": 2.6929797979797983e-06, + "loss": 6.251303482055664, + "step": 46680 + }, + { + "epoch": 0.16585, + "grad_norm": 4.442389011383057, + "learning_rate": 2.692727272727273e-06, + "loss": 6.243590545654297, + "step": 46685 + }, + { + "epoch": 0.1659, + "grad_norm": 7.291537284851074, + "learning_rate": 2.6924747474747476e-06, + "loss": 6.266853713989258, + "step": 46690 + }, + { + "epoch": 0.16595, + "grad_norm": 4.015828609466553, + "learning_rate": 2.6922222222222222e-06, + "loss": 6.2374114990234375, + "step": 46695 + }, + { + "epoch": 0.166, + "grad_norm": 5.816522598266602, + "learning_rate": 2.6919696969696973e-06, + "loss": 6.2614189147949215, + "step": 46700 + }, + { + "epoch": 0.16605, + "grad_norm": 4.077749729156494, + "learning_rate": 2.691717171717172e-06, + "loss": 6.258872222900391, + "step": 46705 + }, + { + "epoch": 0.1661, + "grad_norm": 7.331685543060303, + "learning_rate": 2.6914646464646465e-06, + "loss": 6.260650634765625, + "step": 46710 + }, + { + "epoch": 0.16615, + "grad_norm": 3.888369560241699, + "learning_rate": 2.691212121212121e-06, + "loss": 6.2425285339355465, + "step": 46715 + }, + { + "epoch": 0.1662, + "grad_norm": 4.465662956237793, + "learning_rate": 2.6909595959595962e-06, + "loss": 6.303583145141602, + "step": 46720 + }, + { + "epoch": 0.16625, + "grad_norm": 5.495327949523926, + "learning_rate": 2.690707070707071e-06, + "loss": 6.259243011474609, + "step": 46725 + }, + { + "epoch": 0.1663, + "grad_norm": 7.891727447509766, + "learning_rate": 2.6904545454545455e-06, + "loss": 6.472219848632813, + "step": 46730 + }, + { + "epoch": 0.16635, + "grad_norm": 3.5701961517333984, + "learning_rate": 2.69020202020202e-06, + "loss": 6.680817413330078, + "step": 46735 + }, + { + "epoch": 0.1664, + "grad_norm": 6.376168727874756, + "learning_rate": 2.689949494949495e-06, + "loss": 6.235052490234375, + "step": 46740 + }, + { + "epoch": 0.16645, + "grad_norm": 7.788154125213623, + "learning_rate": 2.68969696969697e-06, + "loss": 6.238928985595703, + "step": 46745 + }, + { + "epoch": 0.1665, + "grad_norm": 8.14344596862793, + "learning_rate": 2.6894444444444444e-06, + "loss": 6.212486648559571, + "step": 46750 + }, + { + "epoch": 0.16655, + "grad_norm": 7.93447732925415, + "learning_rate": 2.6891919191919195e-06, + "loss": 6.289857482910156, + "step": 46755 + }, + { + "epoch": 0.1666, + "grad_norm": 8.32631778717041, + "learning_rate": 2.688939393939394e-06, + "loss": 6.292717742919922, + "step": 46760 + }, + { + "epoch": 0.16665, + "grad_norm": 5.661523342132568, + "learning_rate": 2.6886868686868687e-06, + "loss": 6.230666732788086, + "step": 46765 + }, + { + "epoch": 0.1667, + "grad_norm": 4.273640155792236, + "learning_rate": 2.6884343434343434e-06, + "loss": 6.286236572265625, + "step": 46770 + }, + { + "epoch": 0.16675, + "grad_norm": 22.110660552978516, + "learning_rate": 2.688181818181819e-06, + "loss": 6.429768371582031, + "step": 46775 + }, + { + "epoch": 0.1668, + "grad_norm": 8.16692066192627, + "learning_rate": 2.6879292929292935e-06, + "loss": 6.442893981933594, + "step": 46780 + }, + { + "epoch": 0.16685, + "grad_norm": 9.477338790893555, + "learning_rate": 2.6876767676767677e-06, + "loss": 6.298275375366211, + "step": 46785 + }, + { + "epoch": 0.1669, + "grad_norm": 14.949170112609863, + "learning_rate": 2.6874242424242423e-06, + "loss": 6.299665832519532, + "step": 46790 + }, + { + "epoch": 0.16695, + "grad_norm": 4.480638027191162, + "learning_rate": 2.687171717171718e-06, + "loss": 6.282746887207031, + "step": 46795 + }, + { + "epoch": 0.167, + "grad_norm": 12.715507507324219, + "learning_rate": 2.6869191919191924e-06, + "loss": 6.395935440063477, + "step": 46800 + }, + { + "epoch": 0.16705, + "grad_norm": 13.247716903686523, + "learning_rate": 2.686666666666667e-06, + "loss": 6.3251182556152346, + "step": 46805 + }, + { + "epoch": 0.1671, + "grad_norm": 6.6491851806640625, + "learning_rate": 2.6864141414141413e-06, + "loss": 6.285381317138672, + "step": 46810 + }, + { + "epoch": 0.16715, + "grad_norm": 8.114096641540527, + "learning_rate": 2.6861616161616167e-06, + "loss": 6.209886169433593, + "step": 46815 + }, + { + "epoch": 0.1672, + "grad_norm": 6.088117599487305, + "learning_rate": 2.6859090909090914e-06, + "loss": 6.323033142089844, + "step": 46820 + }, + { + "epoch": 0.16725, + "grad_norm": 5.569652557373047, + "learning_rate": 2.685656565656566e-06, + "loss": 6.3071739196777346, + "step": 46825 + }, + { + "epoch": 0.1673, + "grad_norm": 5.376466274261475, + "learning_rate": 2.6854040404040406e-06, + "loss": 6.288654327392578, + "step": 46830 + }, + { + "epoch": 0.16735, + "grad_norm": 11.529086112976074, + "learning_rate": 2.6851515151515157e-06, + "loss": 6.221612167358399, + "step": 46835 + }, + { + "epoch": 0.1674, + "grad_norm": 4.539047718048096, + "learning_rate": 2.6848989898989903e-06, + "loss": 6.23243522644043, + "step": 46840 + }, + { + "epoch": 0.16745, + "grad_norm": 6.175563812255859, + "learning_rate": 2.684646464646465e-06, + "loss": 6.286183166503906, + "step": 46845 + }, + { + "epoch": 0.1675, + "grad_norm": 7.018819808959961, + "learning_rate": 2.6843939393939396e-06, + "loss": 6.285189437866211, + "step": 46850 + }, + { + "epoch": 0.16755, + "grad_norm": 5.559396266937256, + "learning_rate": 2.6841414141414146e-06, + "loss": 6.163778305053711, + "step": 46855 + }, + { + "epoch": 0.1676, + "grad_norm": 5.754761219024658, + "learning_rate": 2.6838888888888893e-06, + "loss": 6.241651153564453, + "step": 46860 + }, + { + "epoch": 0.16765, + "grad_norm": 6.274162769317627, + "learning_rate": 2.683636363636364e-06, + "loss": 6.232267761230469, + "step": 46865 + }, + { + "epoch": 0.1677, + "grad_norm": 6.256450653076172, + "learning_rate": 2.6833838383838385e-06, + "loss": 6.329586410522461, + "step": 46870 + }, + { + "epoch": 0.16775, + "grad_norm": 8.218653678894043, + "learning_rate": 2.6831313131313136e-06, + "loss": 6.260939025878907, + "step": 46875 + }, + { + "epoch": 0.1678, + "grad_norm": 4.546922206878662, + "learning_rate": 2.682878787878788e-06, + "loss": 6.252448272705078, + "step": 46880 + }, + { + "epoch": 0.16785, + "grad_norm": 7.145508289337158, + "learning_rate": 2.682626262626263e-06, + "loss": 6.233911514282227, + "step": 46885 + }, + { + "epoch": 0.1679, + "grad_norm": 6.507478713989258, + "learning_rate": 2.6823737373737375e-06, + "loss": 6.230224609375, + "step": 46890 + }, + { + "epoch": 0.16795, + "grad_norm": 3.6727824211120605, + "learning_rate": 2.6821212121212125e-06, + "loss": 6.29645004272461, + "step": 46895 + }, + { + "epoch": 0.168, + "grad_norm": 5.696251392364502, + "learning_rate": 2.681868686868687e-06, + "loss": 6.2632183074951175, + "step": 46900 + }, + { + "epoch": 0.16805, + "grad_norm": 7.772921085357666, + "learning_rate": 2.6816161616161618e-06, + "loss": 6.274506378173828, + "step": 46905 + }, + { + "epoch": 0.1681, + "grad_norm": 10.565302848815918, + "learning_rate": 2.6813636363636364e-06, + "loss": 6.259999847412109, + "step": 46910 + }, + { + "epoch": 0.16815, + "grad_norm": 7.947033405303955, + "learning_rate": 2.6811111111111115e-06, + "loss": 6.2491508483886715, + "step": 46915 + }, + { + "epoch": 0.1682, + "grad_norm": 4.8226542472839355, + "learning_rate": 2.680858585858586e-06, + "loss": 6.2375751495361325, + "step": 46920 + }, + { + "epoch": 0.16825, + "grad_norm": 6.458552837371826, + "learning_rate": 2.6806060606060607e-06, + "loss": 6.25087890625, + "step": 46925 + }, + { + "epoch": 0.1683, + "grad_norm": 7.137932300567627, + "learning_rate": 2.6803535353535354e-06, + "loss": 6.338753128051758, + "step": 46930 + }, + { + "epoch": 0.16835, + "grad_norm": 4.068889617919922, + "learning_rate": 2.6801010101010104e-06, + "loss": 6.486201477050781, + "step": 46935 + }, + { + "epoch": 0.1684, + "grad_norm": 10.795719146728516, + "learning_rate": 2.679848484848485e-06, + "loss": 6.220412063598633, + "step": 46940 + }, + { + "epoch": 0.16845, + "grad_norm": 5.937544345855713, + "learning_rate": 2.6795959595959597e-06, + "loss": 6.2291206359863285, + "step": 46945 + }, + { + "epoch": 0.1685, + "grad_norm": 6.560097694396973, + "learning_rate": 2.6793434343434343e-06, + "loss": 6.233093643188477, + "step": 46950 + }, + { + "epoch": 0.16855, + "grad_norm": 5.830186367034912, + "learning_rate": 2.6790909090909094e-06, + "loss": 6.2498291015625, + "step": 46955 + }, + { + "epoch": 0.1686, + "grad_norm": 3.865319013595581, + "learning_rate": 2.678838383838384e-06, + "loss": 6.269269561767578, + "step": 46960 + }, + { + "epoch": 0.16865, + "grad_norm": 10.453680038452148, + "learning_rate": 2.6785858585858586e-06, + "loss": 6.301636505126953, + "step": 46965 + }, + { + "epoch": 0.1687, + "grad_norm": 4.266781330108643, + "learning_rate": 2.6783333333333332e-06, + "loss": 6.250969314575196, + "step": 46970 + }, + { + "epoch": 0.16875, + "grad_norm": 6.557286262512207, + "learning_rate": 2.6780808080808083e-06, + "loss": 6.2304634094238285, + "step": 46975 + }, + { + "epoch": 0.1688, + "grad_norm": 6.170468807220459, + "learning_rate": 2.677828282828283e-06, + "loss": 6.268167495727539, + "step": 46980 + }, + { + "epoch": 0.16885, + "grad_norm": 5.088135719299316, + "learning_rate": 2.6775757575757576e-06, + "loss": 6.298971176147461, + "step": 46985 + }, + { + "epoch": 0.1689, + "grad_norm": 15.341100692749023, + "learning_rate": 2.677323232323232e-06, + "loss": 6.253636169433594, + "step": 46990 + }, + { + "epoch": 0.16895, + "grad_norm": 4.313477993011475, + "learning_rate": 2.6770707070707077e-06, + "loss": 6.227603912353516, + "step": 46995 + }, + { + "epoch": 0.169, + "grad_norm": 10.796445846557617, + "learning_rate": 2.6768181818181823e-06, + "loss": 6.346114730834961, + "step": 47000 + }, + { + "epoch": 0.16905, + "grad_norm": 6.610363960266113, + "learning_rate": 2.6765656565656565e-06, + "loss": 6.299123382568359, + "step": 47005 + }, + { + "epoch": 0.1691, + "grad_norm": 9.215063095092773, + "learning_rate": 2.676313131313131e-06, + "loss": 6.25313720703125, + "step": 47010 + }, + { + "epoch": 0.16915, + "grad_norm": 9.41675090789795, + "learning_rate": 2.6760606060606066e-06, + "loss": 6.277120971679688, + "step": 47015 + }, + { + "epoch": 0.1692, + "grad_norm": 4.320587635040283, + "learning_rate": 2.6758080808080812e-06, + "loss": 6.231455230712891, + "step": 47020 + }, + { + "epoch": 0.16925, + "grad_norm": 6.5948662757873535, + "learning_rate": 2.675555555555556e-06, + "loss": 6.247121429443359, + "step": 47025 + }, + { + "epoch": 0.1693, + "grad_norm": 5.852809906005859, + "learning_rate": 2.6753030303030305e-06, + "loss": 6.2626953125, + "step": 47030 + }, + { + "epoch": 0.16935, + "grad_norm": 4.573475360870361, + "learning_rate": 2.6750505050505056e-06, + "loss": 6.394488525390625, + "step": 47035 + }, + { + "epoch": 0.1694, + "grad_norm": 4.63215446472168, + "learning_rate": 2.67479797979798e-06, + "loss": 6.272662353515625, + "step": 47040 + }, + { + "epoch": 0.16945, + "grad_norm": 4.745767116546631, + "learning_rate": 2.674545454545455e-06, + "loss": 6.2595478057861325, + "step": 47045 + }, + { + "epoch": 0.1695, + "grad_norm": 8.48840618133545, + "learning_rate": 2.6742929292929294e-06, + "loss": 6.305591201782226, + "step": 47050 + }, + { + "epoch": 0.16955, + "grad_norm": 10.109371185302734, + "learning_rate": 2.6740404040404045e-06, + "loss": 6.535638427734375, + "step": 47055 + }, + { + "epoch": 0.1696, + "grad_norm": 9.948399543762207, + "learning_rate": 2.673787878787879e-06, + "loss": 6.260902023315429, + "step": 47060 + }, + { + "epoch": 0.16965, + "grad_norm": 4.2262797355651855, + "learning_rate": 2.6735353535353538e-06, + "loss": 6.267045211791992, + "step": 47065 + }, + { + "epoch": 0.1697, + "grad_norm": 6.319637775421143, + "learning_rate": 2.6732828282828284e-06, + "loss": 6.256875610351562, + "step": 47070 + }, + { + "epoch": 0.16975, + "grad_norm": 8.862424850463867, + "learning_rate": 2.6730303030303034e-06, + "loss": 6.333828353881836, + "step": 47075 + }, + { + "epoch": 0.1698, + "grad_norm": 6.296072483062744, + "learning_rate": 2.672777777777778e-06, + "loss": 6.265655517578125, + "step": 47080 + }, + { + "epoch": 0.16985, + "grad_norm": 6.1489739418029785, + "learning_rate": 2.6725252525252527e-06, + "loss": 6.265882873535157, + "step": 47085 + }, + { + "epoch": 0.1699, + "grad_norm": 3.8873496055603027, + "learning_rate": 2.6722727272727273e-06, + "loss": 6.249206161499023, + "step": 47090 + }, + { + "epoch": 0.16995, + "grad_norm": 7.093249797821045, + "learning_rate": 2.6720202020202024e-06, + "loss": 6.2395271301269535, + "step": 47095 + }, + { + "epoch": 0.17, + "grad_norm": 13.732516288757324, + "learning_rate": 2.671767676767677e-06, + "loss": 6.327323150634766, + "step": 47100 + }, + { + "epoch": 0.17005, + "grad_norm": 8.731586456298828, + "learning_rate": 2.6715151515151516e-06, + "loss": 6.333403015136719, + "step": 47105 + }, + { + "epoch": 0.1701, + "grad_norm": 6.988713264465332, + "learning_rate": 2.6712626262626263e-06, + "loss": 6.288128662109375, + "step": 47110 + }, + { + "epoch": 0.17015, + "grad_norm": 9.946455001831055, + "learning_rate": 2.6710101010101013e-06, + "loss": 6.334548568725586, + "step": 47115 + }, + { + "epoch": 0.1702, + "grad_norm": 6.224346160888672, + "learning_rate": 2.670757575757576e-06, + "loss": 6.272863388061523, + "step": 47120 + }, + { + "epoch": 0.17025, + "grad_norm": 4.754438877105713, + "learning_rate": 2.6705050505050506e-06, + "loss": 6.271454620361328, + "step": 47125 + }, + { + "epoch": 0.1703, + "grad_norm": 5.078529357910156, + "learning_rate": 2.6702525252525252e-06, + "loss": 6.243340301513672, + "step": 47130 + }, + { + "epoch": 0.17035, + "grad_norm": 42.64674377441406, + "learning_rate": 2.6700000000000003e-06, + "loss": 6.312604141235352, + "step": 47135 + }, + { + "epoch": 0.1704, + "grad_norm": 5.895768642425537, + "learning_rate": 2.669747474747475e-06, + "loss": 6.25867919921875, + "step": 47140 + }, + { + "epoch": 0.17045, + "grad_norm": 10.404007911682129, + "learning_rate": 2.6694949494949495e-06, + "loss": 6.248200988769531, + "step": 47145 + }, + { + "epoch": 0.1705, + "grad_norm": 7.134000301361084, + "learning_rate": 2.669242424242424e-06, + "loss": 6.308859252929688, + "step": 47150 + }, + { + "epoch": 0.17055, + "grad_norm": 6.813919544219971, + "learning_rate": 2.6689898989898992e-06, + "loss": 6.257285690307617, + "step": 47155 + }, + { + "epoch": 0.1706, + "grad_norm": 5.451106071472168, + "learning_rate": 2.668737373737374e-06, + "loss": 6.191630554199219, + "step": 47160 + }, + { + "epoch": 0.17065, + "grad_norm": 4.488504409790039, + "learning_rate": 2.6684848484848485e-06, + "loss": 6.240713119506836, + "step": 47165 + }, + { + "epoch": 0.1707, + "grad_norm": 6.545334339141846, + "learning_rate": 2.668232323232323e-06, + "loss": 6.299153900146484, + "step": 47170 + }, + { + "epoch": 0.17075, + "grad_norm": 4.643325328826904, + "learning_rate": 2.667979797979798e-06, + "loss": 6.243710327148437, + "step": 47175 + }, + { + "epoch": 0.1708, + "grad_norm": 7.252976894378662, + "learning_rate": 2.667727272727273e-06, + "loss": 6.241100311279297, + "step": 47180 + }, + { + "epoch": 0.17085, + "grad_norm": 4.4150071144104, + "learning_rate": 2.6674747474747474e-06, + "loss": 6.254134750366211, + "step": 47185 + }, + { + "epoch": 0.1709, + "grad_norm": 6.972575664520264, + "learning_rate": 2.667222222222223e-06, + "loss": 6.30244255065918, + "step": 47190 + }, + { + "epoch": 0.17095, + "grad_norm": 8.03272533416748, + "learning_rate": 2.6669696969696975e-06, + "loss": 6.239234161376953, + "step": 47195 + }, + { + "epoch": 0.171, + "grad_norm": 24.549503326416016, + "learning_rate": 2.6667171717171717e-06, + "loss": 6.2270454406738285, + "step": 47200 + }, + { + "epoch": 0.17105, + "grad_norm": 7.18546724319458, + "learning_rate": 2.6664646464646464e-06, + "loss": 6.268075561523437, + "step": 47205 + }, + { + "epoch": 0.1711, + "grad_norm": 6.794158935546875, + "learning_rate": 2.666212121212122e-06, + "loss": 6.334200286865235, + "step": 47210 + }, + { + "epoch": 0.17115, + "grad_norm": 4.1235737800598145, + "learning_rate": 2.6659595959595965e-06, + "loss": 6.249919128417969, + "step": 47215 + }, + { + "epoch": 0.1712, + "grad_norm": 8.385812759399414, + "learning_rate": 2.665707070707071e-06, + "loss": 6.322608566284179, + "step": 47220 + }, + { + "epoch": 0.17125, + "grad_norm": 7.377440929412842, + "learning_rate": 2.6654545454545453e-06, + "loss": 6.2116962432861325, + "step": 47225 + }, + { + "epoch": 0.1713, + "grad_norm": 6.202000617980957, + "learning_rate": 2.6652020202020208e-06, + "loss": 6.260379791259766, + "step": 47230 + }, + { + "epoch": 0.17135, + "grad_norm": 16.10968017578125, + "learning_rate": 2.6649494949494954e-06, + "loss": 6.648375701904297, + "step": 47235 + }, + { + "epoch": 0.1714, + "grad_norm": 13.456192016601562, + "learning_rate": 2.66469696969697e-06, + "loss": 6.298786926269531, + "step": 47240 + }, + { + "epoch": 0.17145, + "grad_norm": 5.7567219734191895, + "learning_rate": 2.6644444444444447e-06, + "loss": 6.217862319946289, + "step": 47245 + }, + { + "epoch": 0.1715, + "grad_norm": 6.193387985229492, + "learning_rate": 2.6641919191919197e-06, + "loss": 6.270679473876953, + "step": 47250 + }, + { + "epoch": 0.17155, + "grad_norm": 4.538349151611328, + "learning_rate": 2.6639393939393944e-06, + "loss": 6.29577751159668, + "step": 47255 + }, + { + "epoch": 0.1716, + "grad_norm": 13.8416109085083, + "learning_rate": 2.663686868686869e-06, + "loss": 6.667152404785156, + "step": 47260 + }, + { + "epoch": 0.17165, + "grad_norm": 20.935375213623047, + "learning_rate": 2.6634343434343436e-06, + "loss": 6.478862762451172, + "step": 47265 + }, + { + "epoch": 0.1717, + "grad_norm": 5.539295196533203, + "learning_rate": 2.6631818181818187e-06, + "loss": 6.275627899169922, + "step": 47270 + }, + { + "epoch": 0.17175, + "grad_norm": 27.027080535888672, + "learning_rate": 2.6629292929292933e-06, + "loss": 6.159566497802734, + "step": 47275 + }, + { + "epoch": 0.1718, + "grad_norm": 9.729592323303223, + "learning_rate": 2.662676767676768e-06, + "loss": 6.244743728637696, + "step": 47280 + }, + { + "epoch": 0.17185, + "grad_norm": 5.296539783477783, + "learning_rate": 2.6624242424242426e-06, + "loss": 6.275522613525391, + "step": 47285 + }, + { + "epoch": 0.1719, + "grad_norm": 5.13979959487915, + "learning_rate": 2.6621717171717176e-06, + "loss": 6.322090148925781, + "step": 47290 + }, + { + "epoch": 0.17195, + "grad_norm": 22.095827102661133, + "learning_rate": 2.6619191919191922e-06, + "loss": 6.305195617675781, + "step": 47295 + }, + { + "epoch": 0.172, + "grad_norm": 5.939340591430664, + "learning_rate": 2.661666666666667e-06, + "loss": 6.260313415527344, + "step": 47300 + }, + { + "epoch": 0.17205, + "grad_norm": 5.706669330596924, + "learning_rate": 2.6614141414141415e-06, + "loss": 6.224989318847657, + "step": 47305 + }, + { + "epoch": 0.1721, + "grad_norm": 5.8331451416015625, + "learning_rate": 2.6611616161616166e-06, + "loss": 6.268434143066406, + "step": 47310 + }, + { + "epoch": 0.17215, + "grad_norm": 5.756060600280762, + "learning_rate": 2.660909090909091e-06, + "loss": 6.254639053344727, + "step": 47315 + }, + { + "epoch": 0.1722, + "grad_norm": 9.055944442749023, + "learning_rate": 2.660656565656566e-06, + "loss": 6.298771667480469, + "step": 47320 + }, + { + "epoch": 0.17225, + "grad_norm": 4.253583908081055, + "learning_rate": 2.6604040404040405e-06, + "loss": 6.315514373779297, + "step": 47325 + }, + { + "epoch": 0.1723, + "grad_norm": 8.592488288879395, + "learning_rate": 2.6601515151515155e-06, + "loss": 6.379167938232422, + "step": 47330 + }, + { + "epoch": 0.17235, + "grad_norm": 8.748068809509277, + "learning_rate": 2.65989898989899e-06, + "loss": 6.275400543212891, + "step": 47335 + }, + { + "epoch": 0.1724, + "grad_norm": 5.0398783683776855, + "learning_rate": 2.6596464646464648e-06, + "loss": 6.249453735351563, + "step": 47340 + }, + { + "epoch": 0.17245, + "grad_norm": 15.184754371643066, + "learning_rate": 2.6593939393939394e-06, + "loss": 6.366634750366211, + "step": 47345 + }, + { + "epoch": 0.1725, + "grad_norm": 4.681080341339111, + "learning_rate": 2.6591414141414144e-06, + "loss": 6.28521957397461, + "step": 47350 + }, + { + "epoch": 0.17255, + "grad_norm": 6.658570766448975, + "learning_rate": 2.658888888888889e-06, + "loss": 6.268695449829101, + "step": 47355 + }, + { + "epoch": 0.1726, + "grad_norm": 9.570307731628418, + "learning_rate": 2.6586363636363637e-06, + "loss": 6.191267395019532, + "step": 47360 + }, + { + "epoch": 0.17265, + "grad_norm": 8.531479835510254, + "learning_rate": 2.6583838383838383e-06, + "loss": 6.233112335205078, + "step": 47365 + }, + { + "epoch": 0.1727, + "grad_norm": 3.9260778427124023, + "learning_rate": 2.6581313131313134e-06, + "loss": 6.279864501953125, + "step": 47370 + }, + { + "epoch": 0.17275, + "grad_norm": 9.470434188842773, + "learning_rate": 2.657878787878788e-06, + "loss": 6.262665176391602, + "step": 47375 + }, + { + "epoch": 0.1728, + "grad_norm": 8.866920471191406, + "learning_rate": 2.6576262626262627e-06, + "loss": 6.273202514648437, + "step": 47380 + }, + { + "epoch": 0.17285, + "grad_norm": 7.32393217086792, + "learning_rate": 2.6573737373737373e-06, + "loss": 6.3455760955810545, + "step": 47385 + }, + { + "epoch": 0.1729, + "grad_norm": 8.965706825256348, + "learning_rate": 2.6571212121212123e-06, + "loss": 6.332775115966797, + "step": 47390 + }, + { + "epoch": 0.17295, + "grad_norm": 8.936612129211426, + "learning_rate": 2.656868686868687e-06, + "loss": 6.296910095214844, + "step": 47395 + }, + { + "epoch": 0.173, + "grad_norm": 15.726349830627441, + "learning_rate": 2.6566161616161616e-06, + "loss": 6.271052551269531, + "step": 47400 + }, + { + "epoch": 0.17305, + "grad_norm": 7.828895568847656, + "learning_rate": 2.6563636363636362e-06, + "loss": 6.324835205078125, + "step": 47405 + }, + { + "epoch": 0.1731, + "grad_norm": 6.816806316375732, + "learning_rate": 2.6561111111111117e-06, + "loss": 6.238269805908203, + "step": 47410 + }, + { + "epoch": 0.17315, + "grad_norm": 4.814878463745117, + "learning_rate": 2.6558585858585863e-06, + "loss": 6.274610137939453, + "step": 47415 + }, + { + "epoch": 0.1732, + "grad_norm": 6.599291801452637, + "learning_rate": 2.6556060606060605e-06, + "loss": 6.359944534301758, + "step": 47420 + }, + { + "epoch": 0.17325, + "grad_norm": 5.71464204788208, + "learning_rate": 2.655353535353535e-06, + "loss": 6.2392009735107425, + "step": 47425 + }, + { + "epoch": 0.1733, + "grad_norm": 5.5507965087890625, + "learning_rate": 2.6551010101010106e-06, + "loss": 6.211863327026367, + "step": 47430 + }, + { + "epoch": 0.17335, + "grad_norm": 9.266764640808105, + "learning_rate": 2.6548484848484853e-06, + "loss": 6.271177291870117, + "step": 47435 + }, + { + "epoch": 0.1734, + "grad_norm": 15.166016578674316, + "learning_rate": 2.65459595959596e-06, + "loss": 6.304856872558593, + "step": 47440 + }, + { + "epoch": 0.17345, + "grad_norm": 26.23482322692871, + "learning_rate": 2.6543434343434345e-06, + "loss": 6.21984977722168, + "step": 47445 + }, + { + "epoch": 0.1735, + "grad_norm": 7.818333148956299, + "learning_rate": 2.6540909090909096e-06, + "loss": 6.1928855895996096, + "step": 47450 + }, + { + "epoch": 0.17355, + "grad_norm": 5.183565616607666, + "learning_rate": 2.6538383838383842e-06, + "loss": 6.249717712402344, + "step": 47455 + }, + { + "epoch": 0.1736, + "grad_norm": 8.456808090209961, + "learning_rate": 2.653585858585859e-06, + "loss": 6.2873188018798825, + "step": 47460 + }, + { + "epoch": 0.17365, + "grad_norm": 7.607513904571533, + "learning_rate": 2.6533333333333335e-06, + "loss": 6.278399276733398, + "step": 47465 + }, + { + "epoch": 0.1737, + "grad_norm": 6.025649070739746, + "learning_rate": 2.6530808080808085e-06, + "loss": 6.294619369506836, + "step": 47470 + }, + { + "epoch": 0.17375, + "grad_norm": 8.025557518005371, + "learning_rate": 2.652828282828283e-06, + "loss": 6.341694259643555, + "step": 47475 + }, + { + "epoch": 0.1738, + "grad_norm": 7.793490886688232, + "learning_rate": 2.652575757575758e-06, + "loss": 6.309343338012695, + "step": 47480 + }, + { + "epoch": 0.17385, + "grad_norm": 6.445230007171631, + "learning_rate": 2.6523232323232324e-06, + "loss": 6.265369033813476, + "step": 47485 + }, + { + "epoch": 0.1739, + "grad_norm": 6.140890121459961, + "learning_rate": 2.6520707070707075e-06, + "loss": 6.306983184814453, + "step": 47490 + }, + { + "epoch": 0.17395, + "grad_norm": 18.246091842651367, + "learning_rate": 2.651818181818182e-06, + "loss": 6.521483612060547, + "step": 47495 + }, + { + "epoch": 0.174, + "grad_norm": 5.236179351806641, + "learning_rate": 2.6515656565656567e-06, + "loss": 6.425864410400391, + "step": 47500 + }, + { + "epoch": 0.17405, + "grad_norm": 4.087677001953125, + "learning_rate": 2.6513131313131314e-06, + "loss": 6.268887329101562, + "step": 47505 + }, + { + "epoch": 0.1741, + "grad_norm": 3.5132699012756348, + "learning_rate": 2.6510606060606064e-06, + "loss": 6.265235900878906, + "step": 47510 + }, + { + "epoch": 0.17415, + "grad_norm": 10.034432411193848, + "learning_rate": 2.650808080808081e-06, + "loss": 6.271514129638672, + "step": 47515 + }, + { + "epoch": 0.1742, + "grad_norm": 6.0167694091796875, + "learning_rate": 2.6505555555555557e-06, + "loss": 6.255805969238281, + "step": 47520 + }, + { + "epoch": 0.17425, + "grad_norm": 6.136348724365234, + "learning_rate": 2.6503030303030303e-06, + "loss": 6.270484161376953, + "step": 47525 + }, + { + "epoch": 0.1743, + "grad_norm": 22.373666763305664, + "learning_rate": 2.6500505050505054e-06, + "loss": 6.498587799072266, + "step": 47530 + }, + { + "epoch": 0.17435, + "grad_norm": 7.57023286819458, + "learning_rate": 2.64979797979798e-06, + "loss": 6.264840698242187, + "step": 47535 + }, + { + "epoch": 0.1744, + "grad_norm": 4.978572368621826, + "learning_rate": 2.6495454545454546e-06, + "loss": 6.246053695678711, + "step": 47540 + }, + { + "epoch": 0.17445, + "grad_norm": 13.049735069274902, + "learning_rate": 2.6492929292929293e-06, + "loss": 6.270341491699218, + "step": 47545 + }, + { + "epoch": 0.1745, + "grad_norm": 7.1946306228637695, + "learning_rate": 2.6490404040404043e-06, + "loss": 6.203516006469727, + "step": 47550 + }, + { + "epoch": 0.17455, + "grad_norm": 5.335668563842773, + "learning_rate": 2.648787878787879e-06, + "loss": 6.271541976928711, + "step": 47555 + }, + { + "epoch": 0.1746, + "grad_norm": 5.738757610321045, + "learning_rate": 2.6485353535353536e-06, + "loss": 6.182346343994141, + "step": 47560 + }, + { + "epoch": 0.17465, + "grad_norm": 4.051938533782959, + "learning_rate": 2.648282828282828e-06, + "loss": 6.226968002319336, + "step": 47565 + }, + { + "epoch": 0.1747, + "grad_norm": 10.219626426696777, + "learning_rate": 2.6480303030303033e-06, + "loss": 6.222340393066406, + "step": 47570 + }, + { + "epoch": 0.17475, + "grad_norm": 21.511680603027344, + "learning_rate": 2.647777777777778e-06, + "loss": 6.275871658325196, + "step": 47575 + }, + { + "epoch": 0.1748, + "grad_norm": 6.837258815765381, + "learning_rate": 2.6475252525252525e-06, + "loss": 6.298134231567383, + "step": 47580 + }, + { + "epoch": 0.17485, + "grad_norm": 8.175602912902832, + "learning_rate": 2.647272727272727e-06, + "loss": 6.266039276123047, + "step": 47585 + }, + { + "epoch": 0.1749, + "grad_norm": 13.757307052612305, + "learning_rate": 2.647020202020202e-06, + "loss": 6.267093658447266, + "step": 47590 + }, + { + "epoch": 0.17495, + "grad_norm": 8.710346221923828, + "learning_rate": 2.646767676767677e-06, + "loss": 6.267892456054687, + "step": 47595 + }, + { + "epoch": 0.175, + "grad_norm": 5.32004451751709, + "learning_rate": 2.6465151515151515e-06, + "loss": 6.285144424438476, + "step": 47600 + }, + { + "epoch": 0.17505, + "grad_norm": 8.614721298217773, + "learning_rate": 2.646262626262627e-06, + "loss": 6.250714874267578, + "step": 47605 + }, + { + "epoch": 0.1751, + "grad_norm": 4.099207401275635, + "learning_rate": 2.6460101010101016e-06, + "loss": 6.250260925292968, + "step": 47610 + }, + { + "epoch": 0.17515, + "grad_norm": 4.783846855163574, + "learning_rate": 2.6457575757575758e-06, + "loss": 6.301868438720703, + "step": 47615 + }, + { + "epoch": 0.1752, + "grad_norm": 5.114558219909668, + "learning_rate": 2.6455050505050504e-06, + "loss": 6.2480918884277346, + "step": 47620 + }, + { + "epoch": 0.17525, + "grad_norm": 3.9396958351135254, + "learning_rate": 2.645252525252526e-06, + "loss": 6.2717853546142575, + "step": 47625 + }, + { + "epoch": 0.1753, + "grad_norm": 6.844432353973389, + "learning_rate": 2.6450000000000005e-06, + "loss": 6.2056629180908205, + "step": 47630 + }, + { + "epoch": 0.17535, + "grad_norm": 8.014008522033691, + "learning_rate": 2.644747474747475e-06, + "loss": 6.290700531005859, + "step": 47635 + }, + { + "epoch": 0.1754, + "grad_norm": 5.798371315002441, + "learning_rate": 2.6444949494949498e-06, + "loss": 6.264681243896485, + "step": 47640 + }, + { + "epoch": 0.17545, + "grad_norm": 7.012979030609131, + "learning_rate": 2.644242424242425e-06, + "loss": 6.238762664794922, + "step": 47645 + }, + { + "epoch": 0.1755, + "grad_norm": 3.5868847370147705, + "learning_rate": 2.6439898989898995e-06, + "loss": 6.246706008911133, + "step": 47650 + }, + { + "epoch": 0.17555, + "grad_norm": 7.368686676025391, + "learning_rate": 2.643737373737374e-06, + "loss": 6.236088562011719, + "step": 47655 + }, + { + "epoch": 0.1756, + "grad_norm": 5.073850631713867, + "learning_rate": 2.6434848484848487e-06, + "loss": 6.316257095336914, + "step": 47660 + }, + { + "epoch": 0.17565, + "grad_norm": 7.164087772369385, + "learning_rate": 2.6432323232323238e-06, + "loss": 6.295541763305664, + "step": 47665 + }, + { + "epoch": 0.1757, + "grad_norm": 7.024266242980957, + "learning_rate": 2.6429797979797984e-06, + "loss": 6.290009307861328, + "step": 47670 + }, + { + "epoch": 0.17575, + "grad_norm": 5.369235992431641, + "learning_rate": 2.642727272727273e-06, + "loss": 6.243041229248047, + "step": 47675 + }, + { + "epoch": 0.1758, + "grad_norm": 4.002133369445801, + "learning_rate": 2.6424747474747477e-06, + "loss": 6.2692512512207035, + "step": 47680 + }, + { + "epoch": 0.17585, + "grad_norm": 15.928533554077148, + "learning_rate": 2.6422222222222227e-06, + "loss": 6.305919647216797, + "step": 47685 + }, + { + "epoch": 0.1759, + "grad_norm": 10.939151763916016, + "learning_rate": 2.6419696969696973e-06, + "loss": 6.290536117553711, + "step": 47690 + }, + { + "epoch": 0.17595, + "grad_norm": 7.684718608856201, + "learning_rate": 2.641717171717172e-06, + "loss": 6.245788955688477, + "step": 47695 + }, + { + "epoch": 0.176, + "grad_norm": 5.038311958312988, + "learning_rate": 2.6414646464646466e-06, + "loss": 6.1863452911376955, + "step": 47700 + }, + { + "epoch": 0.17605, + "grad_norm": 7.494833469390869, + "learning_rate": 2.6412121212121217e-06, + "loss": 6.244598388671875, + "step": 47705 + }, + { + "epoch": 0.1761, + "grad_norm": 17.5210018157959, + "learning_rate": 2.6409595959595963e-06, + "loss": 6.240899276733399, + "step": 47710 + }, + { + "epoch": 0.17615, + "grad_norm": 7.9723405838012695, + "learning_rate": 2.640707070707071e-06, + "loss": 6.250740432739258, + "step": 47715 + }, + { + "epoch": 0.1762, + "grad_norm": 8.893933296203613, + "learning_rate": 2.6404545454545455e-06, + "loss": 6.285586547851563, + "step": 47720 + }, + { + "epoch": 0.17625, + "grad_norm": 7.768322944641113, + "learning_rate": 2.6402020202020206e-06, + "loss": 6.267386245727539, + "step": 47725 + }, + { + "epoch": 0.1763, + "grad_norm": 8.654402732849121, + "learning_rate": 2.6399494949494952e-06, + "loss": 6.249360656738281, + "step": 47730 + }, + { + "epoch": 0.17635, + "grad_norm": 72.4115219116211, + "learning_rate": 2.63969696969697e-06, + "loss": 5.806149291992187, + "step": 47735 + }, + { + "epoch": 0.1764, + "grad_norm": 18.25945472717285, + "learning_rate": 2.6394444444444445e-06, + "loss": 5.745714569091797, + "step": 47740 + }, + { + "epoch": 0.17645, + "grad_norm": 6.664707183837891, + "learning_rate": 2.6391919191919195e-06, + "loss": 6.279105758666992, + "step": 47745 + }, + { + "epoch": 0.1765, + "grad_norm": 22.607494354248047, + "learning_rate": 2.638939393939394e-06, + "loss": 6.290519714355469, + "step": 47750 + }, + { + "epoch": 0.17655, + "grad_norm": 11.0410795211792, + "learning_rate": 2.638686868686869e-06, + "loss": 6.274182891845703, + "step": 47755 + }, + { + "epoch": 0.1766, + "grad_norm": 5.112051963806152, + "learning_rate": 2.6384343434343434e-06, + "loss": 6.273715591430664, + "step": 47760 + }, + { + "epoch": 0.17665, + "grad_norm": 6.5331711769104, + "learning_rate": 2.6381818181818185e-06, + "loss": 6.234976577758789, + "step": 47765 + }, + { + "epoch": 0.1767, + "grad_norm": 10.753203392028809, + "learning_rate": 2.637929292929293e-06, + "loss": 6.2847434997558596, + "step": 47770 + }, + { + "epoch": 0.17675, + "grad_norm": 9.004714965820312, + "learning_rate": 2.6376767676767677e-06, + "loss": 6.215074920654297, + "step": 47775 + }, + { + "epoch": 0.1768, + "grad_norm": 10.99597454071045, + "learning_rate": 2.6374242424242424e-06, + "loss": 6.2553260803222654, + "step": 47780 + }, + { + "epoch": 0.17685, + "grad_norm": 7.867167949676514, + "learning_rate": 2.6371717171717174e-06, + "loss": 6.266901016235352, + "step": 47785 + }, + { + "epoch": 0.1769, + "grad_norm": 6.762842655181885, + "learning_rate": 2.636919191919192e-06, + "loss": 6.229890441894531, + "step": 47790 + }, + { + "epoch": 0.17695, + "grad_norm": 6.076344966888428, + "learning_rate": 2.6366666666666667e-06, + "loss": 6.268466186523438, + "step": 47795 + }, + { + "epoch": 0.177, + "grad_norm": 8.895609855651855, + "learning_rate": 2.6364141414141413e-06, + "loss": 6.218725967407226, + "step": 47800 + }, + { + "epoch": 0.17705, + "grad_norm": 4.337243556976318, + "learning_rate": 2.636161616161617e-06, + "loss": 6.226114654541016, + "step": 47805 + }, + { + "epoch": 0.1771, + "grad_norm": 5.147741317749023, + "learning_rate": 2.635909090909091e-06, + "loss": 6.255978012084961, + "step": 47810 + }, + { + "epoch": 0.17715, + "grad_norm": 3.7334115505218506, + "learning_rate": 2.6356565656565656e-06, + "loss": 6.24000129699707, + "step": 47815 + }, + { + "epoch": 0.1772, + "grad_norm": 7.9374470710754395, + "learning_rate": 2.6354040404040403e-06, + "loss": 6.294181442260742, + "step": 47820 + }, + { + "epoch": 0.17725, + "grad_norm": 3.8998446464538574, + "learning_rate": 2.6351515151515157e-06, + "loss": 6.281140518188477, + "step": 47825 + }, + { + "epoch": 0.1773, + "grad_norm": 6.497595310211182, + "learning_rate": 2.6348989898989904e-06, + "loss": 6.289561462402344, + "step": 47830 + }, + { + "epoch": 0.17735, + "grad_norm": 6.9055070877075195, + "learning_rate": 2.6346464646464646e-06, + "loss": 6.27686767578125, + "step": 47835 + }, + { + "epoch": 0.1774, + "grad_norm": 3.242454767227173, + "learning_rate": 2.634393939393939e-06, + "loss": 6.250998687744141, + "step": 47840 + }, + { + "epoch": 0.17745, + "grad_norm": 6.499072551727295, + "learning_rate": 2.6341414141414147e-06, + "loss": 6.2536975860595705, + "step": 47845 + }, + { + "epoch": 0.1775, + "grad_norm": 5.936182975769043, + "learning_rate": 2.6338888888888893e-06, + "loss": 6.256839752197266, + "step": 47850 + }, + { + "epoch": 0.17755, + "grad_norm": 5.262515068054199, + "learning_rate": 2.633636363636364e-06, + "loss": 6.232771301269532, + "step": 47855 + }, + { + "epoch": 0.1776, + "grad_norm": 7.631040573120117, + "learning_rate": 2.6333838383838386e-06, + "loss": 6.251808929443359, + "step": 47860 + }, + { + "epoch": 0.17765, + "grad_norm": 4.27992582321167, + "learning_rate": 2.6331313131313136e-06, + "loss": 6.2478477478027346, + "step": 47865 + }, + { + "epoch": 0.1777, + "grad_norm": 8.00022029876709, + "learning_rate": 2.6328787878787883e-06, + "loss": 6.295926284790039, + "step": 47870 + }, + { + "epoch": 0.17775, + "grad_norm": 8.023147583007812, + "learning_rate": 2.632626262626263e-06, + "loss": 6.24711799621582, + "step": 47875 + }, + { + "epoch": 0.1778, + "grad_norm": 5.588597774505615, + "learning_rate": 2.6323737373737375e-06, + "loss": 6.225086212158203, + "step": 47880 + }, + { + "epoch": 0.17785, + "grad_norm": 8.898357391357422, + "learning_rate": 2.6321212121212126e-06, + "loss": 6.28184814453125, + "step": 47885 + }, + { + "epoch": 0.1779, + "grad_norm": 7.23288106918335, + "learning_rate": 2.631868686868687e-06, + "loss": 6.312599563598633, + "step": 47890 + }, + { + "epoch": 0.17795, + "grad_norm": 6.0015339851379395, + "learning_rate": 2.631616161616162e-06, + "loss": 6.353037261962891, + "step": 47895 + }, + { + "epoch": 0.178, + "grad_norm": 3.8909544944763184, + "learning_rate": 2.6313636363636365e-06, + "loss": 6.299990463256836, + "step": 47900 + }, + { + "epoch": 0.17805, + "grad_norm": 6.664587497711182, + "learning_rate": 2.6311111111111115e-06, + "loss": 6.291679763793946, + "step": 47905 + }, + { + "epoch": 0.1781, + "grad_norm": 5.711031436920166, + "learning_rate": 2.630858585858586e-06, + "loss": 6.288218688964844, + "step": 47910 + }, + { + "epoch": 0.17815, + "grad_norm": 13.36122989654541, + "learning_rate": 2.6306060606060608e-06, + "loss": 6.329861450195312, + "step": 47915 + }, + { + "epoch": 0.1782, + "grad_norm": 6.93322229385376, + "learning_rate": 2.6303535353535354e-06, + "loss": 6.292606353759766, + "step": 47920 + }, + { + "epoch": 0.17825, + "grad_norm": 4.575633525848389, + "learning_rate": 2.6301010101010105e-06, + "loss": 6.467820739746093, + "step": 47925 + }, + { + "epoch": 0.1783, + "grad_norm": 4.939698696136475, + "learning_rate": 2.629848484848485e-06, + "loss": 6.218785095214844, + "step": 47930 + }, + { + "epoch": 0.17835, + "grad_norm": 5.220640182495117, + "learning_rate": 2.6295959595959597e-06, + "loss": 6.242573547363281, + "step": 47935 + }, + { + "epoch": 0.1784, + "grad_norm": 4.879406452178955, + "learning_rate": 2.6293434343434344e-06, + "loss": 6.219522094726562, + "step": 47940 + }, + { + "epoch": 0.17845, + "grad_norm": 5.922840118408203, + "learning_rate": 2.6290909090909094e-06, + "loss": 6.239421081542969, + "step": 47945 + }, + { + "epoch": 0.1785, + "grad_norm": 8.302436828613281, + "learning_rate": 2.628838383838384e-06, + "loss": 6.240216064453125, + "step": 47950 + }, + { + "epoch": 0.17855, + "grad_norm": 7.600788116455078, + "learning_rate": 2.6285858585858587e-06, + "loss": 6.28115234375, + "step": 47955 + }, + { + "epoch": 0.1786, + "grad_norm": 5.259443283081055, + "learning_rate": 2.6283333333333333e-06, + "loss": 6.241807556152343, + "step": 47960 + }, + { + "epoch": 0.17865, + "grad_norm": 5.600335597991943, + "learning_rate": 2.6280808080808084e-06, + "loss": 6.250723648071289, + "step": 47965 + }, + { + "epoch": 0.1787, + "grad_norm": 10.571996688842773, + "learning_rate": 2.627828282828283e-06, + "loss": 6.307792282104492, + "step": 47970 + }, + { + "epoch": 0.17875, + "grad_norm": 11.651870727539062, + "learning_rate": 2.6275757575757576e-06, + "loss": 6.31889762878418, + "step": 47975 + }, + { + "epoch": 0.1788, + "grad_norm": 9.045377731323242, + "learning_rate": 2.6273232323232322e-06, + "loss": 6.292393493652344, + "step": 47980 + }, + { + "epoch": 0.17885, + "grad_norm": 5.730259895324707, + "learning_rate": 2.6270707070707073e-06, + "loss": 6.235333251953125, + "step": 47985 + }, + { + "epoch": 0.1789, + "grad_norm": 5.916414260864258, + "learning_rate": 2.626818181818182e-06, + "loss": 6.281492614746094, + "step": 47990 + }, + { + "epoch": 0.17895, + "grad_norm": 7.37360143661499, + "learning_rate": 2.6265656565656566e-06, + "loss": 6.209481048583984, + "step": 47995 + }, + { + "epoch": 0.179, + "grad_norm": 6.093311309814453, + "learning_rate": 2.626313131313131e-06, + "loss": 6.235608291625977, + "step": 48000 + }, + { + "epoch": 0.17905, + "grad_norm": 5.324979782104492, + "learning_rate": 2.6260606060606062e-06, + "loss": 6.213168334960938, + "step": 48005 + }, + { + "epoch": 0.1791, + "grad_norm": 9.054213523864746, + "learning_rate": 2.625808080808081e-06, + "loss": 6.274770736694336, + "step": 48010 + }, + { + "epoch": 0.17915, + "grad_norm": 4.6502461433410645, + "learning_rate": 2.6255555555555555e-06, + "loss": 6.229012680053711, + "step": 48015 + }, + { + "epoch": 0.1792, + "grad_norm": 7.449853420257568, + "learning_rate": 2.62530303030303e-06, + "loss": 6.2473796844482425, + "step": 48020 + }, + { + "epoch": 0.17925, + "grad_norm": 7.092662811279297, + "learning_rate": 2.6250505050505056e-06, + "loss": 6.310564041137695, + "step": 48025 + }, + { + "epoch": 0.1793, + "grad_norm": 6.1560587882995605, + "learning_rate": 2.62479797979798e-06, + "loss": 6.515811157226563, + "step": 48030 + }, + { + "epoch": 0.17935, + "grad_norm": 8.912825584411621, + "learning_rate": 2.6245454545454544e-06, + "loss": 6.222552490234375, + "step": 48035 + }, + { + "epoch": 0.1794, + "grad_norm": 6.4607930183410645, + "learning_rate": 2.62429292929293e-06, + "loss": 6.275106048583984, + "step": 48040 + }, + { + "epoch": 0.17945, + "grad_norm": 8.48847484588623, + "learning_rate": 2.6240404040404046e-06, + "loss": 6.231845474243164, + "step": 48045 + }, + { + "epoch": 0.1795, + "grad_norm": 11.00533676147461, + "learning_rate": 2.623787878787879e-06, + "loss": 6.283255767822266, + "step": 48050 + }, + { + "epoch": 0.17955, + "grad_norm": 5.8433427810668945, + "learning_rate": 2.623535353535354e-06, + "loss": 6.317218017578125, + "step": 48055 + }, + { + "epoch": 0.1796, + "grad_norm": 7.158637046813965, + "learning_rate": 2.623282828282829e-06, + "loss": 6.296661758422852, + "step": 48060 + }, + { + "epoch": 0.17965, + "grad_norm": 6.191345691680908, + "learning_rate": 2.6230303030303035e-06, + "loss": 6.246175003051758, + "step": 48065 + }, + { + "epoch": 0.1797, + "grad_norm": 5.713347434997559, + "learning_rate": 2.622777777777778e-06, + "loss": 6.280545043945312, + "step": 48070 + }, + { + "epoch": 0.17975, + "grad_norm": 8.603072166442871, + "learning_rate": 2.6225252525252528e-06, + "loss": 6.317818069458008, + "step": 48075 + }, + { + "epoch": 0.1798, + "grad_norm": 7.589648246765137, + "learning_rate": 2.622272727272728e-06, + "loss": 6.278591537475586, + "step": 48080 + }, + { + "epoch": 0.17985, + "grad_norm": 6.885838508605957, + "learning_rate": 2.6220202020202024e-06, + "loss": 6.244407272338867, + "step": 48085 + }, + { + "epoch": 0.1799, + "grad_norm": 6.983613014221191, + "learning_rate": 2.621767676767677e-06, + "loss": 6.284003829956054, + "step": 48090 + }, + { + "epoch": 0.17995, + "grad_norm": 34.798831939697266, + "learning_rate": 2.6215151515151517e-06, + "loss": 6.452660369873047, + "step": 48095 + }, + { + "epoch": 0.18, + "grad_norm": 9.109298706054688, + "learning_rate": 2.6212626262626268e-06, + "loss": 6.2943168640136715, + "step": 48100 + }, + { + "epoch": 0.18005, + "grad_norm": 6.893949031829834, + "learning_rate": 2.6210101010101014e-06, + "loss": 6.289973449707031, + "step": 48105 + }, + { + "epoch": 0.1801, + "grad_norm": 9.77614974975586, + "learning_rate": 2.620757575757576e-06, + "loss": 6.2471466064453125, + "step": 48110 + }, + { + "epoch": 0.18015, + "grad_norm": 4.86616325378418, + "learning_rate": 2.6205050505050506e-06, + "loss": 6.267417907714844, + "step": 48115 + }, + { + "epoch": 0.1802, + "grad_norm": 12.917620658874512, + "learning_rate": 2.6202525252525257e-06, + "loss": 6.612276458740235, + "step": 48120 + }, + { + "epoch": 0.18025, + "grad_norm": 4.852736949920654, + "learning_rate": 2.6200000000000003e-06, + "loss": 6.272792053222656, + "step": 48125 + }, + { + "epoch": 0.1803, + "grad_norm": 11.241585731506348, + "learning_rate": 2.619747474747475e-06, + "loss": 6.44803466796875, + "step": 48130 + }, + { + "epoch": 0.18035, + "grad_norm": 65.67726135253906, + "learning_rate": 2.6194949494949496e-06, + "loss": 6.650630950927734, + "step": 48135 + }, + { + "epoch": 0.1804, + "grad_norm": 46.76616668701172, + "learning_rate": 2.6192424242424246e-06, + "loss": 8.337892150878906, + "step": 48140 + }, + { + "epoch": 0.18045, + "grad_norm": 17.641292572021484, + "learning_rate": 2.6189898989898993e-06, + "loss": 6.656027984619141, + "step": 48145 + }, + { + "epoch": 0.1805, + "grad_norm": 10.723069190979004, + "learning_rate": 2.618737373737374e-06, + "loss": 6.307731246948242, + "step": 48150 + }, + { + "epoch": 0.18055, + "grad_norm": 5.6367974281311035, + "learning_rate": 2.6184848484848485e-06, + "loss": 6.2702991485595705, + "step": 48155 + }, + { + "epoch": 0.1806, + "grad_norm": 12.778246879577637, + "learning_rate": 2.6182323232323236e-06, + "loss": 6.255522918701172, + "step": 48160 + }, + { + "epoch": 0.18065, + "grad_norm": 19.859859466552734, + "learning_rate": 2.6179797979797982e-06, + "loss": 6.6698249816894535, + "step": 48165 + }, + { + "epoch": 0.1807, + "grad_norm": 6.035888671875, + "learning_rate": 2.617727272727273e-06, + "loss": 6.259794235229492, + "step": 48170 + }, + { + "epoch": 0.18075, + "grad_norm": 6.837201118469238, + "learning_rate": 2.6174747474747475e-06, + "loss": 6.226263427734375, + "step": 48175 + }, + { + "epoch": 0.1808, + "grad_norm": 4.683717727661133, + "learning_rate": 2.6172222222222225e-06, + "loss": 6.279007339477539, + "step": 48180 + }, + { + "epoch": 0.18085, + "grad_norm": 7.638728141784668, + "learning_rate": 2.616969696969697e-06, + "loss": 6.294086074829101, + "step": 48185 + }, + { + "epoch": 0.1809, + "grad_norm": 3.691983938217163, + "learning_rate": 2.6167171717171718e-06, + "loss": 6.351461791992188, + "step": 48190 + }, + { + "epoch": 0.18095, + "grad_norm": 4.592685222625732, + "learning_rate": 2.6164646464646464e-06, + "loss": 6.273931503295898, + "step": 48195 + }, + { + "epoch": 0.181, + "grad_norm": 9.297545433044434, + "learning_rate": 2.6162121212121215e-06, + "loss": 6.280540084838867, + "step": 48200 + }, + { + "epoch": 0.18105, + "grad_norm": 4.770380973815918, + "learning_rate": 2.615959595959596e-06, + "loss": 6.232170104980469, + "step": 48205 + }, + { + "epoch": 0.1811, + "grad_norm": 4.011338710784912, + "learning_rate": 2.6157070707070707e-06, + "loss": 6.283312225341797, + "step": 48210 + }, + { + "epoch": 0.18115, + "grad_norm": 4.543745517730713, + "learning_rate": 2.6154545454545454e-06, + "loss": 6.274518585205078, + "step": 48215 + }, + { + "epoch": 0.1812, + "grad_norm": 8.880348205566406, + "learning_rate": 2.615202020202021e-06, + "loss": 6.232537460327149, + "step": 48220 + }, + { + "epoch": 0.18125, + "grad_norm": 5.506641387939453, + "learning_rate": 2.614949494949495e-06, + "loss": 6.287428665161133, + "step": 48225 + }, + { + "epoch": 0.1813, + "grad_norm": 5.396836757659912, + "learning_rate": 2.6146969696969697e-06, + "loss": 6.248798751831055, + "step": 48230 + }, + { + "epoch": 0.18135, + "grad_norm": 10.18353271484375, + "learning_rate": 2.6144444444444443e-06, + "loss": 6.225008010864258, + "step": 48235 + }, + { + "epoch": 0.1814, + "grad_norm": 6.2977375984191895, + "learning_rate": 2.6141919191919198e-06, + "loss": 6.2637794494628904, + "step": 48240 + }, + { + "epoch": 0.18145, + "grad_norm": 6.100552082061768, + "learning_rate": 2.6139393939393944e-06, + "loss": 6.2712348937988285, + "step": 48245 + }, + { + "epoch": 0.1815, + "grad_norm": 10.218465805053711, + "learning_rate": 2.6136868686868686e-06, + "loss": 6.251220703125, + "step": 48250 + }, + { + "epoch": 0.18155, + "grad_norm": 5.597082614898682, + "learning_rate": 2.6134343434343433e-06, + "loss": 6.24815673828125, + "step": 48255 + }, + { + "epoch": 0.1816, + "grad_norm": 9.717144012451172, + "learning_rate": 2.6131818181818187e-06, + "loss": 6.350579452514649, + "step": 48260 + }, + { + "epoch": 0.18165, + "grad_norm": 5.8371100425720215, + "learning_rate": 2.6129292929292934e-06, + "loss": 6.2830039978027346, + "step": 48265 + }, + { + "epoch": 0.1817, + "grad_norm": 5.892655372619629, + "learning_rate": 2.612676767676768e-06, + "loss": 6.258025741577148, + "step": 48270 + }, + { + "epoch": 0.18175, + "grad_norm": 4.0733466148376465, + "learning_rate": 2.6124242424242426e-06, + "loss": 6.2617546081542965, + "step": 48275 + }, + { + "epoch": 0.1818, + "grad_norm": 3.7014617919921875, + "learning_rate": 2.6121717171717177e-06, + "loss": 6.281090545654297, + "step": 48280 + }, + { + "epoch": 0.18185, + "grad_norm": 9.8246431350708, + "learning_rate": 2.6119191919191923e-06, + "loss": 6.260322189331054, + "step": 48285 + }, + { + "epoch": 0.1819, + "grad_norm": 5.4751811027526855, + "learning_rate": 2.611666666666667e-06, + "loss": 6.244245910644532, + "step": 48290 + }, + { + "epoch": 0.18195, + "grad_norm": 28.53630828857422, + "learning_rate": 2.6114141414141416e-06, + "loss": 6.1483509063720705, + "step": 48295 + }, + { + "epoch": 0.182, + "grad_norm": 7.886487007141113, + "learning_rate": 2.6111616161616166e-06, + "loss": 6.288107681274414, + "step": 48300 + }, + { + "epoch": 0.18205, + "grad_norm": 6.2996368408203125, + "learning_rate": 2.6109090909090912e-06, + "loss": 6.229745101928711, + "step": 48305 + }, + { + "epoch": 0.1821, + "grad_norm": 6.60714054107666, + "learning_rate": 2.610656565656566e-06, + "loss": 6.129868698120117, + "step": 48310 + }, + { + "epoch": 0.18215, + "grad_norm": 4.8839640617370605, + "learning_rate": 2.6104040404040405e-06, + "loss": 6.253520584106445, + "step": 48315 + }, + { + "epoch": 0.1822, + "grad_norm": 3.882784366607666, + "learning_rate": 2.6101515151515156e-06, + "loss": 6.239481735229492, + "step": 48320 + }, + { + "epoch": 0.18225, + "grad_norm": 6.165802955627441, + "learning_rate": 2.60989898989899e-06, + "loss": 6.2263236999511715, + "step": 48325 + }, + { + "epoch": 0.1823, + "grad_norm": 25.807262420654297, + "learning_rate": 2.609646464646465e-06, + "loss": 6.718295288085938, + "step": 48330 + }, + { + "epoch": 0.18235, + "grad_norm": 5.936855316162109, + "learning_rate": 2.6093939393939394e-06, + "loss": 6.258689880371094, + "step": 48335 + }, + { + "epoch": 0.1824, + "grad_norm": 7.943792819976807, + "learning_rate": 2.6091414141414145e-06, + "loss": 6.272266006469726, + "step": 48340 + }, + { + "epoch": 0.18245, + "grad_norm": 4.897097110748291, + "learning_rate": 2.608888888888889e-06, + "loss": 6.312567138671875, + "step": 48345 + }, + { + "epoch": 0.1825, + "grad_norm": 4.8942646980285645, + "learning_rate": 2.6086363636363638e-06, + "loss": 6.213748168945313, + "step": 48350 + }, + { + "epoch": 0.18255, + "grad_norm": 8.319792747497559, + "learning_rate": 2.6083838383838384e-06, + "loss": 6.236863327026367, + "step": 48355 + }, + { + "epoch": 0.1826, + "grad_norm": 6.477847099304199, + "learning_rate": 2.6081313131313134e-06, + "loss": 6.227033996582032, + "step": 48360 + }, + { + "epoch": 0.18265, + "grad_norm": 5.5258026123046875, + "learning_rate": 2.607878787878788e-06, + "loss": 6.288137817382813, + "step": 48365 + }, + { + "epoch": 0.1827, + "grad_norm": 8.185297012329102, + "learning_rate": 2.6076262626262627e-06, + "loss": 6.278008270263672, + "step": 48370 + }, + { + "epoch": 0.18275, + "grad_norm": 6.713562965393066, + "learning_rate": 2.6073737373737373e-06, + "loss": 6.2511962890625, + "step": 48375 + }, + { + "epoch": 0.1828, + "grad_norm": 36.011634826660156, + "learning_rate": 2.6071212121212124e-06, + "loss": 6.288155364990234, + "step": 48380 + }, + { + "epoch": 0.18285, + "grad_norm": 20.03618621826172, + "learning_rate": 2.606868686868687e-06, + "loss": 6.375435256958008, + "step": 48385 + }, + { + "epoch": 0.1829, + "grad_norm": 8.57990837097168, + "learning_rate": 2.6066161616161617e-06, + "loss": 6.29247817993164, + "step": 48390 + }, + { + "epoch": 0.18295, + "grad_norm": 4.2938761711120605, + "learning_rate": 2.6063636363636363e-06, + "loss": 6.230765151977539, + "step": 48395 + }, + { + "epoch": 0.183, + "grad_norm": 7.590606212615967, + "learning_rate": 2.6061111111111113e-06, + "loss": 6.2109733581542965, + "step": 48400 + }, + { + "epoch": 0.18305, + "grad_norm": 14.99771499633789, + "learning_rate": 2.605858585858586e-06, + "loss": 6.288570404052734, + "step": 48405 + }, + { + "epoch": 0.1831, + "grad_norm": 7.39285945892334, + "learning_rate": 2.6056060606060606e-06, + "loss": 6.246884536743164, + "step": 48410 + }, + { + "epoch": 0.18315, + "grad_norm": 8.00991439819336, + "learning_rate": 2.6053535353535352e-06, + "loss": 6.2502998352050785, + "step": 48415 + }, + { + "epoch": 0.1832, + "grad_norm": 6.57605504989624, + "learning_rate": 2.6051010101010103e-06, + "loss": 6.153263092041016, + "step": 48420 + }, + { + "epoch": 0.18325, + "grad_norm": 9.317729949951172, + "learning_rate": 2.604848484848485e-06, + "loss": 6.286091995239258, + "step": 48425 + }, + { + "epoch": 0.1833, + "grad_norm": 6.233064651489258, + "learning_rate": 2.6045959595959595e-06, + "loss": 6.195788955688476, + "step": 48430 + }, + { + "epoch": 0.18335, + "grad_norm": 5.572995185852051, + "learning_rate": 2.604343434343434e-06, + "loss": 6.2682548522949215, + "step": 48435 + }, + { + "epoch": 0.1834, + "grad_norm": 12.352928161621094, + "learning_rate": 2.6040909090909096e-06, + "loss": 6.3266864776611325, + "step": 48440 + }, + { + "epoch": 0.18345, + "grad_norm": 5.938622951507568, + "learning_rate": 2.603838383838384e-06, + "loss": 6.361819458007813, + "step": 48445 + }, + { + "epoch": 0.1835, + "grad_norm": 13.396903038024902, + "learning_rate": 2.6035858585858585e-06, + "loss": 6.351467895507812, + "step": 48450 + }, + { + "epoch": 0.18355, + "grad_norm": 6.301222324371338, + "learning_rate": 2.603333333333334e-06, + "loss": 6.244200134277344, + "step": 48455 + }, + { + "epoch": 0.1836, + "grad_norm": 5.913710117340088, + "learning_rate": 2.6030808080808086e-06, + "loss": 6.262540435791015, + "step": 48460 + }, + { + "epoch": 0.18365, + "grad_norm": 4.329402446746826, + "learning_rate": 2.6028282828282832e-06, + "loss": 6.223360443115235, + "step": 48465 + }, + { + "epoch": 0.1837, + "grad_norm": 8.29628849029541, + "learning_rate": 2.602575757575758e-06, + "loss": 6.300723266601563, + "step": 48470 + }, + { + "epoch": 0.18375, + "grad_norm": 24.32602882385254, + "learning_rate": 2.602323232323233e-06, + "loss": 6.20184326171875, + "step": 48475 + }, + { + "epoch": 0.1838, + "grad_norm": 7.647665023803711, + "learning_rate": 2.6020707070707075e-06, + "loss": 6.253891372680664, + "step": 48480 + }, + { + "epoch": 0.18385, + "grad_norm": 8.034605979919434, + "learning_rate": 2.601818181818182e-06, + "loss": 6.292695617675781, + "step": 48485 + }, + { + "epoch": 0.1839, + "grad_norm": 4.2255635261535645, + "learning_rate": 2.601565656565657e-06, + "loss": 6.339519119262695, + "step": 48490 + }, + { + "epoch": 0.18395, + "grad_norm": 5.973121166229248, + "learning_rate": 2.601313131313132e-06, + "loss": 6.2767284393310545, + "step": 48495 + }, + { + "epoch": 0.184, + "grad_norm": 9.747757911682129, + "learning_rate": 2.6010606060606065e-06, + "loss": 6.285752487182617, + "step": 48500 + }, + { + "epoch": 0.18405, + "grad_norm": 6.519881248474121, + "learning_rate": 2.600808080808081e-06, + "loss": 6.244038772583008, + "step": 48505 + }, + { + "epoch": 0.1841, + "grad_norm": 8.095598220825195, + "learning_rate": 2.6005555555555557e-06, + "loss": 6.23590316772461, + "step": 48510 + }, + { + "epoch": 0.18415, + "grad_norm": 5.66994571685791, + "learning_rate": 2.600303030303031e-06, + "loss": 6.281515121459961, + "step": 48515 + }, + { + "epoch": 0.1842, + "grad_norm": 7.038925647735596, + "learning_rate": 2.6000505050505054e-06, + "loss": 6.282519912719726, + "step": 48520 + }, + { + "epoch": 0.18425, + "grad_norm": 9.214323043823242, + "learning_rate": 2.59979797979798e-06, + "loss": 6.27685317993164, + "step": 48525 + }, + { + "epoch": 0.1843, + "grad_norm": 6.425102233886719, + "learning_rate": 2.5995454545454547e-06, + "loss": 6.279011917114258, + "step": 48530 + }, + { + "epoch": 0.18435, + "grad_norm": 8.823031425476074, + "learning_rate": 2.5992929292929297e-06, + "loss": 6.205877685546875, + "step": 48535 + }, + { + "epoch": 0.1844, + "grad_norm": 6.056334972381592, + "learning_rate": 2.5990404040404044e-06, + "loss": 6.2910816192626955, + "step": 48540 + }, + { + "epoch": 0.18445, + "grad_norm": 5.318397045135498, + "learning_rate": 2.598787878787879e-06, + "loss": 6.268881225585938, + "step": 48545 + }, + { + "epoch": 0.1845, + "grad_norm": 16.25691032409668, + "learning_rate": 2.5985353535353536e-06, + "loss": 6.356953811645508, + "step": 48550 + }, + { + "epoch": 0.18455, + "grad_norm": 6.1977739334106445, + "learning_rate": 2.5982828282828287e-06, + "loss": 6.282588958740234, + "step": 48555 + }, + { + "epoch": 0.1846, + "grad_norm": 5.8424506187438965, + "learning_rate": 2.5980303030303033e-06, + "loss": 6.255816268920898, + "step": 48560 + }, + { + "epoch": 0.18465, + "grad_norm": 3.963996171951294, + "learning_rate": 2.597777777777778e-06, + "loss": 6.286187744140625, + "step": 48565 + }, + { + "epoch": 0.1847, + "grad_norm": 43.519737243652344, + "learning_rate": 2.5975252525252526e-06, + "loss": 6.266797637939453, + "step": 48570 + }, + { + "epoch": 0.18475, + "grad_norm": 8.03644847869873, + "learning_rate": 2.5972727272727276e-06, + "loss": 6.253041076660156, + "step": 48575 + }, + { + "epoch": 0.1848, + "grad_norm": 4.326549053192139, + "learning_rate": 2.5970202020202023e-06, + "loss": 6.205309295654297, + "step": 48580 + }, + { + "epoch": 0.18485, + "grad_norm": 6.785407543182373, + "learning_rate": 2.596767676767677e-06, + "loss": 6.296359634399414, + "step": 48585 + }, + { + "epoch": 0.1849, + "grad_norm": 6.993212699890137, + "learning_rate": 2.5965151515151515e-06, + "loss": 6.291777038574219, + "step": 48590 + }, + { + "epoch": 0.18495, + "grad_norm": 6.141006946563721, + "learning_rate": 2.5962626262626266e-06, + "loss": 6.242097473144531, + "step": 48595 + }, + { + "epoch": 0.185, + "grad_norm": 7.309471130371094, + "learning_rate": 2.596010101010101e-06, + "loss": 6.263505554199218, + "step": 48600 + }, + { + "epoch": 0.18505, + "grad_norm": 4.708620548248291, + "learning_rate": 2.595757575757576e-06, + "loss": 6.265798950195313, + "step": 48605 + }, + { + "epoch": 0.1851, + "grad_norm": 18.27180290222168, + "learning_rate": 2.5955050505050505e-06, + "loss": 6.3953899383544925, + "step": 48610 + }, + { + "epoch": 0.18515, + "grad_norm": 4.59319543838501, + "learning_rate": 2.5952525252525255e-06, + "loss": 6.281650543212891, + "step": 48615 + }, + { + "epoch": 0.1852, + "grad_norm": 3.920062303543091, + "learning_rate": 2.595e-06, + "loss": 6.2684684753417965, + "step": 48620 + }, + { + "epoch": 0.18525, + "grad_norm": 15.268338203430176, + "learning_rate": 2.5947474747474748e-06, + "loss": 6.351996612548828, + "step": 48625 + }, + { + "epoch": 0.1853, + "grad_norm": 9.803231239318848, + "learning_rate": 2.5944949494949494e-06, + "loss": 6.17854118347168, + "step": 48630 + }, + { + "epoch": 0.18535, + "grad_norm": 6.423607349395752, + "learning_rate": 2.594242424242425e-06, + "loss": 6.273408126831055, + "step": 48635 + }, + { + "epoch": 0.1854, + "grad_norm": 8.787635803222656, + "learning_rate": 2.593989898989899e-06, + "loss": 6.407449340820312, + "step": 48640 + }, + { + "epoch": 0.18545, + "grad_norm": 6.539122581481934, + "learning_rate": 2.5937373737373737e-06, + "loss": 6.236711883544922, + "step": 48645 + }, + { + "epoch": 0.1855, + "grad_norm": 25.96674919128418, + "learning_rate": 2.5934848484848483e-06, + "loss": 6.244915771484375, + "step": 48650 + }, + { + "epoch": 0.18555, + "grad_norm": 4.660292148590088, + "learning_rate": 2.593232323232324e-06, + "loss": 6.27751579284668, + "step": 48655 + }, + { + "epoch": 0.1856, + "grad_norm": 4.730471611022949, + "learning_rate": 2.5929797979797985e-06, + "loss": 6.319283294677734, + "step": 48660 + }, + { + "epoch": 0.18565, + "grad_norm": 11.085516929626465, + "learning_rate": 2.5927272727272727e-06, + "loss": 6.183718872070313, + "step": 48665 + }, + { + "epoch": 0.1857, + "grad_norm": 4.9343390464782715, + "learning_rate": 2.5924747474747473e-06, + "loss": 6.312179946899414, + "step": 48670 + }, + { + "epoch": 0.18575, + "grad_norm": 5.6558685302734375, + "learning_rate": 2.5922222222222228e-06, + "loss": 6.224059677124023, + "step": 48675 + }, + { + "epoch": 0.1858, + "grad_norm": 7.1425933837890625, + "learning_rate": 2.5919696969696974e-06, + "loss": 6.267584991455078, + "step": 48680 + }, + { + "epoch": 0.18585, + "grad_norm": 6.397035121917725, + "learning_rate": 2.591717171717172e-06, + "loss": 6.314906311035156, + "step": 48685 + }, + { + "epoch": 0.1859, + "grad_norm": 13.54969596862793, + "learning_rate": 2.5914646464646467e-06, + "loss": 6.364657974243164, + "step": 48690 + }, + { + "epoch": 0.18595, + "grad_norm": 9.52370548248291, + "learning_rate": 2.5912121212121217e-06, + "loss": 6.350161361694336, + "step": 48695 + }, + { + "epoch": 0.186, + "grad_norm": 4.5291595458984375, + "learning_rate": 2.5909595959595963e-06, + "loss": 6.2265159606933596, + "step": 48700 + }, + { + "epoch": 0.18605, + "grad_norm": 9.520949363708496, + "learning_rate": 2.590707070707071e-06, + "loss": 6.258673477172851, + "step": 48705 + }, + { + "epoch": 0.1861, + "grad_norm": 5.476080894470215, + "learning_rate": 2.5904545454545456e-06, + "loss": 6.296039962768555, + "step": 48710 + }, + { + "epoch": 0.18615, + "grad_norm": 3.8783457279205322, + "learning_rate": 2.5902020202020207e-06, + "loss": 6.295009994506836, + "step": 48715 + }, + { + "epoch": 0.1862, + "grad_norm": 4.13353967666626, + "learning_rate": 2.5899494949494953e-06, + "loss": 6.317186737060547, + "step": 48720 + }, + { + "epoch": 0.18625, + "grad_norm": 6.12823486328125, + "learning_rate": 2.58969696969697e-06, + "loss": 6.2579090118408205, + "step": 48725 + }, + { + "epoch": 0.1863, + "grad_norm": 4.812850475311279, + "learning_rate": 2.5894444444444445e-06, + "loss": 6.283192443847656, + "step": 48730 + }, + { + "epoch": 0.18635, + "grad_norm": 10.12570571899414, + "learning_rate": 2.5891919191919196e-06, + "loss": 6.299571990966797, + "step": 48735 + }, + { + "epoch": 0.1864, + "grad_norm": 4.629065990447998, + "learning_rate": 2.5889393939393942e-06, + "loss": 6.2183067321777346, + "step": 48740 + }, + { + "epoch": 0.18645, + "grad_norm": 6.286792755126953, + "learning_rate": 2.588686868686869e-06, + "loss": 6.324052047729492, + "step": 48745 + }, + { + "epoch": 0.1865, + "grad_norm": 4.833723068237305, + "learning_rate": 2.5884343434343435e-06, + "loss": 6.2407478332519535, + "step": 48750 + }, + { + "epoch": 0.18655, + "grad_norm": 7.813973903656006, + "learning_rate": 2.5881818181818185e-06, + "loss": 6.248383331298828, + "step": 48755 + }, + { + "epoch": 0.1866, + "grad_norm": 6.6759934425354, + "learning_rate": 2.587929292929293e-06, + "loss": 6.267718505859375, + "step": 48760 + }, + { + "epoch": 0.18665, + "grad_norm": 5.854223728179932, + "learning_rate": 2.587676767676768e-06, + "loss": 6.195526123046875, + "step": 48765 + }, + { + "epoch": 0.1867, + "grad_norm": 7.827494144439697, + "learning_rate": 2.5874242424242424e-06, + "loss": 6.186255264282226, + "step": 48770 + }, + { + "epoch": 0.18675, + "grad_norm": 8.332564353942871, + "learning_rate": 2.5871717171717175e-06, + "loss": 6.27496109008789, + "step": 48775 + }, + { + "epoch": 0.1868, + "grad_norm": 7.343414783477783, + "learning_rate": 2.586919191919192e-06, + "loss": 6.236605072021485, + "step": 48780 + }, + { + "epoch": 0.18685, + "grad_norm": 3.538496732711792, + "learning_rate": 2.5866666666666667e-06, + "loss": 6.246809387207032, + "step": 48785 + }, + { + "epoch": 0.1869, + "grad_norm": 5.750917911529541, + "learning_rate": 2.5864141414141414e-06, + "loss": 6.2322853088378904, + "step": 48790 + }, + { + "epoch": 0.18695, + "grad_norm": 29.018627166748047, + "learning_rate": 2.5861616161616164e-06, + "loss": 6.637998962402344, + "step": 48795 + }, + { + "epoch": 0.187, + "grad_norm": 38.493988037109375, + "learning_rate": 2.585909090909091e-06, + "loss": 6.694502258300782, + "step": 48800 + }, + { + "epoch": 0.18705, + "grad_norm": 28.788293838500977, + "learning_rate": 2.5856565656565657e-06, + "loss": 6.569867706298828, + "step": 48805 + }, + { + "epoch": 0.1871, + "grad_norm": 9.71681022644043, + "learning_rate": 2.5854040404040403e-06, + "loss": 6.4670654296875, + "step": 48810 + }, + { + "epoch": 0.18715, + "grad_norm": 9.823171615600586, + "learning_rate": 2.5851515151515154e-06, + "loss": 6.251391220092773, + "step": 48815 + }, + { + "epoch": 0.1872, + "grad_norm": 5.7379865646362305, + "learning_rate": 2.58489898989899e-06, + "loss": 6.204817199707032, + "step": 48820 + }, + { + "epoch": 0.18725, + "grad_norm": 7.781379222869873, + "learning_rate": 2.5846464646464646e-06, + "loss": 6.227052307128906, + "step": 48825 + }, + { + "epoch": 0.1873, + "grad_norm": 4.968623161315918, + "learning_rate": 2.5843939393939393e-06, + "loss": 6.318147659301758, + "step": 48830 + }, + { + "epoch": 0.18735, + "grad_norm": 4.763797760009766, + "learning_rate": 2.5841414141414143e-06, + "loss": 6.189499282836914, + "step": 48835 + }, + { + "epoch": 0.1874, + "grad_norm": 4.019498825073242, + "learning_rate": 2.583888888888889e-06, + "loss": 6.268447494506836, + "step": 48840 + }, + { + "epoch": 0.18745, + "grad_norm": 6.574753284454346, + "learning_rate": 2.5836363636363636e-06, + "loss": 6.249187850952149, + "step": 48845 + }, + { + "epoch": 0.1875, + "grad_norm": 6.905210971832275, + "learning_rate": 2.583383838383838e-06, + "loss": 6.297005462646484, + "step": 48850 + }, + { + "epoch": 0.18755, + "grad_norm": 8.396756172180176, + "learning_rate": 2.5831313131313137e-06, + "loss": 6.25494613647461, + "step": 48855 + }, + { + "epoch": 0.1876, + "grad_norm": 7.540562152862549, + "learning_rate": 2.582878787878788e-06, + "loss": 6.191415405273437, + "step": 48860 + }, + { + "epoch": 0.18765, + "grad_norm": 5.578557014465332, + "learning_rate": 2.5826262626262625e-06, + "loss": 6.262314987182617, + "step": 48865 + }, + { + "epoch": 0.1877, + "grad_norm": 5.299802303314209, + "learning_rate": 2.582373737373737e-06, + "loss": 6.259005737304688, + "step": 48870 + }, + { + "epoch": 0.18775, + "grad_norm": 6.532639503479004, + "learning_rate": 2.5821212121212126e-06, + "loss": 6.274296569824219, + "step": 48875 + }, + { + "epoch": 0.1878, + "grad_norm": 11.265859603881836, + "learning_rate": 2.5818686868686873e-06, + "loss": 6.2865955352783205, + "step": 48880 + }, + { + "epoch": 0.18785, + "grad_norm": 5.160705089569092, + "learning_rate": 2.581616161616162e-06, + "loss": 6.209521102905273, + "step": 48885 + }, + { + "epoch": 0.1879, + "grad_norm": 4.39208459854126, + "learning_rate": 2.581363636363637e-06, + "loss": 6.231343841552734, + "step": 48890 + }, + { + "epoch": 0.18795, + "grad_norm": 7.619685173034668, + "learning_rate": 2.5811111111111116e-06, + "loss": 6.267190551757812, + "step": 48895 + }, + { + "epoch": 0.188, + "grad_norm": 9.34493350982666, + "learning_rate": 2.580858585858586e-06, + "loss": 6.260499572753906, + "step": 48900 + }, + { + "epoch": 0.18805, + "grad_norm": 10.23723316192627, + "learning_rate": 2.580606060606061e-06, + "loss": 6.2354591369628904, + "step": 48905 + }, + { + "epoch": 0.1881, + "grad_norm": 14.397795677185059, + "learning_rate": 2.580353535353536e-06, + "loss": 6.309638977050781, + "step": 48910 + }, + { + "epoch": 0.18815, + "grad_norm": 4.888641834259033, + "learning_rate": 2.5801010101010105e-06, + "loss": 6.306062316894531, + "step": 48915 + }, + { + "epoch": 0.1882, + "grad_norm": 5.830529689788818, + "learning_rate": 2.579848484848485e-06, + "loss": 6.29931869506836, + "step": 48920 + }, + { + "epoch": 0.18825, + "grad_norm": 9.750974655151367, + "learning_rate": 2.5795959595959598e-06, + "loss": 6.272991180419922, + "step": 48925 + }, + { + "epoch": 0.1883, + "grad_norm": 11.02366828918457, + "learning_rate": 2.579343434343435e-06, + "loss": 6.348286437988281, + "step": 48930 + }, + { + "epoch": 0.18835, + "grad_norm": 8.45097541809082, + "learning_rate": 2.5790909090909095e-06, + "loss": 6.479514312744141, + "step": 48935 + }, + { + "epoch": 0.1884, + "grad_norm": 6.713593482971191, + "learning_rate": 2.578838383838384e-06, + "loss": 6.27366943359375, + "step": 48940 + }, + { + "epoch": 0.18845, + "grad_norm": 12.236699104309082, + "learning_rate": 2.5785858585858587e-06, + "loss": 6.16339111328125, + "step": 48945 + }, + { + "epoch": 0.1885, + "grad_norm": 5.614632606506348, + "learning_rate": 2.5783333333333338e-06, + "loss": 6.242253112792969, + "step": 48950 + }, + { + "epoch": 0.18855, + "grad_norm": 5.477415084838867, + "learning_rate": 2.5780808080808084e-06, + "loss": 6.264701080322266, + "step": 48955 + }, + { + "epoch": 0.1886, + "grad_norm": 8.267935752868652, + "learning_rate": 2.577828282828283e-06, + "loss": 6.219635391235352, + "step": 48960 + }, + { + "epoch": 0.18865, + "grad_norm": 11.048696517944336, + "learning_rate": 2.5775757575757577e-06, + "loss": 6.2633613586425785, + "step": 48965 + }, + { + "epoch": 0.1887, + "grad_norm": 6.541975021362305, + "learning_rate": 2.5773232323232327e-06, + "loss": 6.261846542358398, + "step": 48970 + }, + { + "epoch": 0.18875, + "grad_norm": 4.8001275062561035, + "learning_rate": 2.5770707070707074e-06, + "loss": 6.269416046142578, + "step": 48975 + }, + { + "epoch": 0.1888, + "grad_norm": 10.730286598205566, + "learning_rate": 2.576818181818182e-06, + "loss": 6.248748016357422, + "step": 48980 + }, + { + "epoch": 0.18885, + "grad_norm": 3.4705069065093994, + "learning_rate": 2.5765656565656566e-06, + "loss": 6.3053031921386715, + "step": 48985 + }, + { + "epoch": 0.1889, + "grad_norm": 11.79560375213623, + "learning_rate": 2.5763131313131317e-06, + "loss": 6.349605941772461, + "step": 48990 + }, + { + "epoch": 0.18895, + "grad_norm": 6.676380634307861, + "learning_rate": 2.5760606060606063e-06, + "loss": 6.269178009033203, + "step": 48995 + }, + { + "epoch": 0.189, + "grad_norm": 5.1521782875061035, + "learning_rate": 2.575808080808081e-06, + "loss": 6.194595718383789, + "step": 49000 + }, + { + "epoch": 0.18905, + "grad_norm": 6.293644428253174, + "learning_rate": 2.5755555555555556e-06, + "loss": 6.325164031982422, + "step": 49005 + }, + { + "epoch": 0.1891, + "grad_norm": 4.515174388885498, + "learning_rate": 2.5753030303030306e-06, + "loss": 6.217018508911133, + "step": 49010 + }, + { + "epoch": 0.18915, + "grad_norm": 15.09038257598877, + "learning_rate": 2.5750505050505052e-06, + "loss": 6.277073669433594, + "step": 49015 + }, + { + "epoch": 0.1892, + "grad_norm": 4.879905700683594, + "learning_rate": 2.57479797979798e-06, + "loss": 6.241439437866211, + "step": 49020 + }, + { + "epoch": 0.18925, + "grad_norm": 9.150812149047852, + "learning_rate": 2.5745454545454545e-06, + "loss": 6.193593597412109, + "step": 49025 + }, + { + "epoch": 0.1893, + "grad_norm": 14.173181533813477, + "learning_rate": 2.5742929292929296e-06, + "loss": 6.223388671875, + "step": 49030 + }, + { + "epoch": 0.18935, + "grad_norm": 14.158151626586914, + "learning_rate": 2.574040404040404e-06, + "loss": 6.228081893920899, + "step": 49035 + }, + { + "epoch": 0.1894, + "grad_norm": 5.278214931488037, + "learning_rate": 2.573787878787879e-06, + "loss": 6.290943908691406, + "step": 49040 + }, + { + "epoch": 0.18945, + "grad_norm": 6.5858259201049805, + "learning_rate": 2.5735353535353534e-06, + "loss": 6.433800506591797, + "step": 49045 + }, + { + "epoch": 0.1895, + "grad_norm": 4.420543193817139, + "learning_rate": 2.573282828282829e-06, + "loss": 6.27868881225586, + "step": 49050 + }, + { + "epoch": 0.18955, + "grad_norm": 20.557491302490234, + "learning_rate": 2.573030303030303e-06, + "loss": 6.372946548461914, + "step": 49055 + }, + { + "epoch": 0.1896, + "grad_norm": 5.960613250732422, + "learning_rate": 2.5727777777777778e-06, + "loss": 6.292752075195312, + "step": 49060 + }, + { + "epoch": 0.18965, + "grad_norm": 5.148416996002197, + "learning_rate": 2.5725252525252524e-06, + "loss": 6.270134735107422, + "step": 49065 + }, + { + "epoch": 0.1897, + "grad_norm": 4.971664905548096, + "learning_rate": 2.572272727272728e-06, + "loss": 6.211388015747071, + "step": 49070 + }, + { + "epoch": 0.18975, + "grad_norm": 6.771578788757324, + "learning_rate": 2.5720202020202025e-06, + "loss": 6.269935226440429, + "step": 49075 + }, + { + "epoch": 0.1898, + "grad_norm": 7.280397415161133, + "learning_rate": 2.571767676767677e-06, + "loss": 6.2415016174316404, + "step": 49080 + }, + { + "epoch": 0.18985, + "grad_norm": 5.153993606567383, + "learning_rate": 2.5715151515151513e-06, + "loss": 6.25068244934082, + "step": 49085 + }, + { + "epoch": 0.1899, + "grad_norm": 5.687320709228516, + "learning_rate": 2.571262626262627e-06, + "loss": 6.194783020019531, + "step": 49090 + }, + { + "epoch": 0.18995, + "grad_norm": 9.53076171875, + "learning_rate": 2.5710101010101014e-06, + "loss": 6.244087982177734, + "step": 49095 + }, + { + "epoch": 0.19, + "grad_norm": 11.363621711730957, + "learning_rate": 2.570757575757576e-06, + "loss": 6.267411804199218, + "step": 49100 + }, + { + "epoch": 0.19005, + "grad_norm": 7.7662129402160645, + "learning_rate": 2.5705050505050507e-06, + "loss": 6.237572097778321, + "step": 49105 + }, + { + "epoch": 0.1901, + "grad_norm": 4.544632911682129, + "learning_rate": 2.5702525252525258e-06, + "loss": 6.2455902099609375, + "step": 49110 + }, + { + "epoch": 0.19015, + "grad_norm": 6.281473636627197, + "learning_rate": 2.5700000000000004e-06, + "loss": 6.268207550048828, + "step": 49115 + }, + { + "epoch": 0.1902, + "grad_norm": 8.69561767578125, + "learning_rate": 2.569747474747475e-06, + "loss": 6.330655288696289, + "step": 49120 + }, + { + "epoch": 0.19025, + "grad_norm": 8.793510437011719, + "learning_rate": 2.5694949494949496e-06, + "loss": 6.302120971679687, + "step": 49125 + }, + { + "epoch": 0.1903, + "grad_norm": 4.904294967651367, + "learning_rate": 2.5692424242424247e-06, + "loss": 6.290804672241211, + "step": 49130 + }, + { + "epoch": 0.19035, + "grad_norm": 10.867995262145996, + "learning_rate": 2.5689898989898993e-06, + "loss": 6.2886394500732425, + "step": 49135 + }, + { + "epoch": 0.1904, + "grad_norm": 10.549060821533203, + "learning_rate": 2.568737373737374e-06, + "loss": 6.656362915039063, + "step": 49140 + }, + { + "epoch": 0.19045, + "grad_norm": 6.009684085845947, + "learning_rate": 2.5684848484848486e-06, + "loss": 6.515086364746094, + "step": 49145 + }, + { + "epoch": 0.1905, + "grad_norm": 4.500693321228027, + "learning_rate": 2.5682323232323236e-06, + "loss": 6.407121276855468, + "step": 49150 + }, + { + "epoch": 0.19055, + "grad_norm": 8.462690353393555, + "learning_rate": 2.5679797979797983e-06, + "loss": 6.2667686462402346, + "step": 49155 + }, + { + "epoch": 0.1906, + "grad_norm": 8.697178840637207, + "learning_rate": 2.567727272727273e-06, + "loss": 6.270337677001953, + "step": 49160 + }, + { + "epoch": 0.19065, + "grad_norm": 4.600515365600586, + "learning_rate": 2.5674747474747475e-06, + "loss": 6.259711456298828, + "step": 49165 + }, + { + "epoch": 0.1907, + "grad_norm": 5.580930709838867, + "learning_rate": 2.5672222222222226e-06, + "loss": 6.185636520385742, + "step": 49170 + }, + { + "epoch": 0.19075, + "grad_norm": 6.207088470458984, + "learning_rate": 2.5669696969696972e-06, + "loss": 6.266794586181641, + "step": 49175 + }, + { + "epoch": 0.1908, + "grad_norm": 8.738142013549805, + "learning_rate": 2.566717171717172e-06, + "loss": 6.285282897949219, + "step": 49180 + }, + { + "epoch": 0.19085, + "grad_norm": 5.864974498748779, + "learning_rate": 2.5664646464646465e-06, + "loss": 6.264548110961914, + "step": 49185 + }, + { + "epoch": 0.1909, + "grad_norm": 5.345311641693115, + "learning_rate": 2.5662121212121215e-06, + "loss": 6.2092643737792965, + "step": 49190 + }, + { + "epoch": 0.19095, + "grad_norm": 3.3796541690826416, + "learning_rate": 2.565959595959596e-06, + "loss": 6.170139312744141, + "step": 49195 + }, + { + "epoch": 0.191, + "grad_norm": 4.290106773376465, + "learning_rate": 2.5657070707070708e-06, + "loss": 6.330483245849609, + "step": 49200 + }, + { + "epoch": 0.19105, + "grad_norm": 4.907315731048584, + "learning_rate": 2.5654545454545454e-06, + "loss": 6.236188125610352, + "step": 49205 + }, + { + "epoch": 0.1911, + "grad_norm": 8.493396759033203, + "learning_rate": 2.5652020202020205e-06, + "loss": 6.247052764892578, + "step": 49210 + }, + { + "epoch": 0.19115, + "grad_norm": 6.215777397155762, + "learning_rate": 2.564949494949495e-06, + "loss": 6.245053482055664, + "step": 49215 + }, + { + "epoch": 0.1912, + "grad_norm": 5.318109035491943, + "learning_rate": 2.5646969696969697e-06, + "loss": 6.218050384521485, + "step": 49220 + }, + { + "epoch": 0.19125, + "grad_norm": 5.583347320556641, + "learning_rate": 2.5644444444444444e-06, + "loss": 6.335743713378906, + "step": 49225 + }, + { + "epoch": 0.1913, + "grad_norm": 5.131632328033447, + "learning_rate": 2.5641919191919194e-06, + "loss": 6.503478240966797, + "step": 49230 + }, + { + "epoch": 0.19135, + "grad_norm": 11.268439292907715, + "learning_rate": 2.563939393939394e-06, + "loss": 6.234709167480469, + "step": 49235 + }, + { + "epoch": 0.1914, + "grad_norm": 19.993053436279297, + "learning_rate": 2.5636868686868687e-06, + "loss": 6.189196014404297, + "step": 49240 + }, + { + "epoch": 0.19145, + "grad_norm": 3.650047779083252, + "learning_rate": 2.5634343434343433e-06, + "loss": 6.158535003662109, + "step": 49245 + }, + { + "epoch": 0.1915, + "grad_norm": 10.079051971435547, + "learning_rate": 2.5631818181818184e-06, + "loss": 6.279978561401367, + "step": 49250 + }, + { + "epoch": 0.19155, + "grad_norm": 7.439229965209961, + "learning_rate": 2.562929292929293e-06, + "loss": 6.2404930114746096, + "step": 49255 + }, + { + "epoch": 0.1916, + "grad_norm": 6.238080024719238, + "learning_rate": 2.5626767676767676e-06, + "loss": 6.264157485961914, + "step": 49260 + }, + { + "epoch": 0.19165, + "grad_norm": 10.82448959350586, + "learning_rate": 2.5624242424242422e-06, + "loss": 6.33929214477539, + "step": 49265 + }, + { + "epoch": 0.1917, + "grad_norm": 3.8104515075683594, + "learning_rate": 2.5621717171717177e-06, + "loss": 6.252438354492187, + "step": 49270 + }, + { + "epoch": 0.19175, + "grad_norm": 5.194665431976318, + "learning_rate": 2.561919191919192e-06, + "loss": 6.245418930053711, + "step": 49275 + }, + { + "epoch": 0.1918, + "grad_norm": 4.629490852355957, + "learning_rate": 2.5616666666666666e-06, + "loss": 6.360482406616211, + "step": 49280 + }, + { + "epoch": 0.19185, + "grad_norm": 6.012112140655518, + "learning_rate": 2.561414141414141e-06, + "loss": 6.233753204345703, + "step": 49285 + }, + { + "epoch": 0.1919, + "grad_norm": 7.1700897216796875, + "learning_rate": 2.5611616161616167e-06, + "loss": 6.298054504394531, + "step": 49290 + }, + { + "epoch": 0.19195, + "grad_norm": 3.7842917442321777, + "learning_rate": 2.5609090909090913e-06, + "loss": 6.315502548217774, + "step": 49295 + }, + { + "epoch": 0.192, + "grad_norm": 5.015597820281982, + "learning_rate": 2.560656565656566e-06, + "loss": 6.244719696044922, + "step": 49300 + }, + { + "epoch": 0.19205, + "grad_norm": 5.807133197784424, + "learning_rate": 2.56040404040404e-06, + "loss": 6.268914794921875, + "step": 49305 + }, + { + "epoch": 0.1921, + "grad_norm": 8.493719100952148, + "learning_rate": 2.5601515151515156e-06, + "loss": 6.224559020996094, + "step": 49310 + }, + { + "epoch": 0.19215, + "grad_norm": 10.17265796661377, + "learning_rate": 2.5598989898989902e-06, + "loss": 6.392619705200195, + "step": 49315 + }, + { + "epoch": 0.1922, + "grad_norm": 4.521240234375, + "learning_rate": 2.559646464646465e-06, + "loss": 6.198482513427734, + "step": 49320 + }, + { + "epoch": 0.19225, + "grad_norm": 23.955596923828125, + "learning_rate": 2.55939393939394e-06, + "loss": 6.194322967529297, + "step": 49325 + }, + { + "epoch": 0.1923, + "grad_norm": 4.718942165374756, + "learning_rate": 2.5591414141414146e-06, + "loss": 6.292372512817383, + "step": 49330 + }, + { + "epoch": 0.19235, + "grad_norm": 5.672336101531982, + "learning_rate": 2.558888888888889e-06, + "loss": 6.235918426513672, + "step": 49335 + }, + { + "epoch": 0.1924, + "grad_norm": 14.888675689697266, + "learning_rate": 2.558636363636364e-06, + "loss": 6.3594318389892575, + "step": 49340 + }, + { + "epoch": 0.19245, + "grad_norm": 5.659474849700928, + "learning_rate": 2.558383838383839e-06, + "loss": 6.490545654296875, + "step": 49345 + }, + { + "epoch": 0.1925, + "grad_norm": 5.204984664916992, + "learning_rate": 2.5581313131313135e-06, + "loss": 6.255197525024414, + "step": 49350 + }, + { + "epoch": 0.19255, + "grad_norm": 6.772719860076904, + "learning_rate": 2.557878787878788e-06, + "loss": 6.287393188476562, + "step": 49355 + }, + { + "epoch": 0.1926, + "grad_norm": 8.988268852233887, + "learning_rate": 2.5576262626262628e-06, + "loss": 6.2579387664794925, + "step": 49360 + }, + { + "epoch": 0.19265, + "grad_norm": 5.236077785491943, + "learning_rate": 2.557373737373738e-06, + "loss": 6.256295013427734, + "step": 49365 + }, + { + "epoch": 0.1927, + "grad_norm": 12.332254409790039, + "learning_rate": 2.5571212121212124e-06, + "loss": 6.248375320434571, + "step": 49370 + }, + { + "epoch": 0.19275, + "grad_norm": 7.010597229003906, + "learning_rate": 2.556868686868687e-06, + "loss": 6.2750202178955075, + "step": 49375 + }, + { + "epoch": 0.1928, + "grad_norm": 4.9375481605529785, + "learning_rate": 2.5566161616161617e-06, + "loss": 6.319250106811523, + "step": 49380 + }, + { + "epoch": 0.19285, + "grad_norm": 15.469962120056152, + "learning_rate": 2.5563636363636368e-06, + "loss": 6.384063720703125, + "step": 49385 + }, + { + "epoch": 0.1929, + "grad_norm": 7.703574180603027, + "learning_rate": 2.5561111111111114e-06, + "loss": 6.241492080688476, + "step": 49390 + }, + { + "epoch": 0.19295, + "grad_norm": 4.531920909881592, + "learning_rate": 2.555858585858586e-06, + "loss": 6.29424819946289, + "step": 49395 + }, + { + "epoch": 0.193, + "grad_norm": 11.125548362731934, + "learning_rate": 2.5556060606060607e-06, + "loss": 6.317346572875977, + "step": 49400 + }, + { + "epoch": 0.19305, + "grad_norm": 6.369386672973633, + "learning_rate": 2.5553535353535357e-06, + "loss": 6.289251327514648, + "step": 49405 + }, + { + "epoch": 0.1931, + "grad_norm": 7.824663162231445, + "learning_rate": 2.5551010101010103e-06, + "loss": 6.236985778808593, + "step": 49410 + }, + { + "epoch": 0.19315, + "grad_norm": 5.468588829040527, + "learning_rate": 2.554848484848485e-06, + "loss": 6.2594562530517575, + "step": 49415 + }, + { + "epoch": 0.1932, + "grad_norm": 7.105429172515869, + "learning_rate": 2.5545959595959596e-06, + "loss": 6.276838302612305, + "step": 49420 + }, + { + "epoch": 0.19325, + "grad_norm": 4.1598005294799805, + "learning_rate": 2.5543434343434346e-06, + "loss": 6.246601867675781, + "step": 49425 + }, + { + "epoch": 0.1933, + "grad_norm": 5.277898788452148, + "learning_rate": 2.5540909090909093e-06, + "loss": 6.2564445495605465, + "step": 49430 + }, + { + "epoch": 0.19335, + "grad_norm": 5.050108909606934, + "learning_rate": 2.553838383838384e-06, + "loss": 6.229592514038086, + "step": 49435 + }, + { + "epoch": 0.1934, + "grad_norm": 8.038198471069336, + "learning_rate": 2.5535858585858585e-06, + "loss": 6.296820831298828, + "step": 49440 + }, + { + "epoch": 0.19345, + "grad_norm": 8.222665786743164, + "learning_rate": 2.5533333333333336e-06, + "loss": 6.2468517303466795, + "step": 49445 + }, + { + "epoch": 0.1935, + "grad_norm": 3.33221435546875, + "learning_rate": 2.5530808080808082e-06, + "loss": 6.259613037109375, + "step": 49450 + }, + { + "epoch": 0.19355, + "grad_norm": 6.035661697387695, + "learning_rate": 2.552828282828283e-06, + "loss": 6.253533935546875, + "step": 49455 + }, + { + "epoch": 0.1936, + "grad_norm": 7.573888301849365, + "learning_rate": 2.5525757575757575e-06, + "loss": 6.274067306518555, + "step": 49460 + }, + { + "epoch": 0.19365, + "grad_norm": 38.818241119384766, + "learning_rate": 2.552323232323233e-06, + "loss": 6.169465637207031, + "step": 49465 + }, + { + "epoch": 0.1937, + "grad_norm": 9.56222152709961, + "learning_rate": 2.552070707070707e-06, + "loss": 6.040264892578125, + "step": 49470 + }, + { + "epoch": 0.19375, + "grad_norm": 5.517727851867676, + "learning_rate": 2.551818181818182e-06, + "loss": 6.2547859191894535, + "step": 49475 + }, + { + "epoch": 0.1938, + "grad_norm": 6.0000834465026855, + "learning_rate": 2.5515656565656564e-06, + "loss": 6.285161972045898, + "step": 49480 + }, + { + "epoch": 0.19385, + "grad_norm": 4.462721824645996, + "learning_rate": 2.551313131313132e-06, + "loss": 6.353302001953125, + "step": 49485 + }, + { + "epoch": 0.1939, + "grad_norm": 4.639883518218994, + "learning_rate": 2.5510606060606065e-06, + "loss": 6.252019882202148, + "step": 49490 + }, + { + "epoch": 0.19395, + "grad_norm": 9.594871520996094, + "learning_rate": 2.550808080808081e-06, + "loss": 6.275057601928711, + "step": 49495 + }, + { + "epoch": 0.194, + "grad_norm": 6.619569778442383, + "learning_rate": 2.5505555555555554e-06, + "loss": 6.288486480712891, + "step": 49500 + }, + { + "epoch": 0.19405, + "grad_norm": 7.626273155212402, + "learning_rate": 2.550303030303031e-06, + "loss": 6.259918975830078, + "step": 49505 + }, + { + "epoch": 0.1941, + "grad_norm": 5.342676162719727, + "learning_rate": 2.5500505050505055e-06, + "loss": 6.2594043731689455, + "step": 49510 + }, + { + "epoch": 0.19415, + "grad_norm": 5.9844560623168945, + "learning_rate": 2.54979797979798e-06, + "loss": 6.283139419555664, + "step": 49515 + }, + { + "epoch": 0.1942, + "grad_norm": 7.267798900604248, + "learning_rate": 2.5495454545454547e-06, + "loss": 6.290557098388672, + "step": 49520 + }, + { + "epoch": 0.19425, + "grad_norm": 13.667284965515137, + "learning_rate": 2.54929292929293e-06, + "loss": 6.206590270996093, + "step": 49525 + }, + { + "epoch": 0.1943, + "grad_norm": 6.455989837646484, + "learning_rate": 2.5490404040404044e-06, + "loss": 6.237411880493164, + "step": 49530 + }, + { + "epoch": 0.19435, + "grad_norm": 3.722670555114746, + "learning_rate": 2.548787878787879e-06, + "loss": 6.2253467559814455, + "step": 49535 + }, + { + "epoch": 0.1944, + "grad_norm": 7.678994655609131, + "learning_rate": 2.5485353535353537e-06, + "loss": 6.228109359741211, + "step": 49540 + }, + { + "epoch": 0.19445, + "grad_norm": 8.735237121582031, + "learning_rate": 2.5482828282828287e-06, + "loss": 6.260719299316406, + "step": 49545 + }, + { + "epoch": 0.1945, + "grad_norm": 6.092301368713379, + "learning_rate": 2.5480303030303034e-06, + "loss": 6.247369384765625, + "step": 49550 + }, + { + "epoch": 0.19455, + "grad_norm": 4.378487586975098, + "learning_rate": 2.547777777777778e-06, + "loss": 6.306856536865235, + "step": 49555 + }, + { + "epoch": 0.1946, + "grad_norm": 6.51929235458374, + "learning_rate": 2.5475252525252526e-06, + "loss": 6.316536331176758, + "step": 49560 + }, + { + "epoch": 0.19465, + "grad_norm": 9.74860954284668, + "learning_rate": 2.5472727272727277e-06, + "loss": 6.305975723266601, + "step": 49565 + }, + { + "epoch": 0.1947, + "grad_norm": 7.420664310455322, + "learning_rate": 2.5470202020202023e-06, + "loss": 6.2628173828125, + "step": 49570 + }, + { + "epoch": 0.19475, + "grad_norm": 4.948880672454834, + "learning_rate": 2.546767676767677e-06, + "loss": 6.535305786132812, + "step": 49575 + }, + { + "epoch": 0.1948, + "grad_norm": 6.307788372039795, + "learning_rate": 2.5465151515151516e-06, + "loss": 6.331264495849609, + "step": 49580 + }, + { + "epoch": 0.19485, + "grad_norm": 5.2758283615112305, + "learning_rate": 2.5462626262626266e-06, + "loss": 6.233275604248047, + "step": 49585 + }, + { + "epoch": 0.1949, + "grad_norm": 4.821529865264893, + "learning_rate": 2.5460101010101013e-06, + "loss": 6.315261459350586, + "step": 49590 + }, + { + "epoch": 0.19495, + "grad_norm": 9.81965446472168, + "learning_rate": 2.545757575757576e-06, + "loss": 6.252927017211914, + "step": 49595 + }, + { + "epoch": 0.195, + "grad_norm": 5.461148262023926, + "learning_rate": 2.5455050505050505e-06, + "loss": 6.26063232421875, + "step": 49600 + }, + { + "epoch": 0.19505, + "grad_norm": 5.8232035636901855, + "learning_rate": 2.5452525252525256e-06, + "loss": 6.275896072387695, + "step": 49605 + }, + { + "epoch": 0.1951, + "grad_norm": 6.748569488525391, + "learning_rate": 2.545e-06, + "loss": 6.220322799682617, + "step": 49610 + }, + { + "epoch": 0.19515, + "grad_norm": 34.90372085571289, + "learning_rate": 2.544747474747475e-06, + "loss": 6.264942932128906, + "step": 49615 + }, + { + "epoch": 0.1952, + "grad_norm": 5.820657730102539, + "learning_rate": 2.5444949494949495e-06, + "loss": 6.239437866210937, + "step": 49620 + }, + { + "epoch": 0.19525, + "grad_norm": 21.731359481811523, + "learning_rate": 2.5442424242424245e-06, + "loss": 6.290864944458008, + "step": 49625 + }, + { + "epoch": 0.1953, + "grad_norm": 10.041280746459961, + "learning_rate": 2.543989898989899e-06, + "loss": 6.251887512207031, + "step": 49630 + }, + { + "epoch": 0.19535, + "grad_norm": 11.2418212890625, + "learning_rate": 2.5437373737373738e-06, + "loss": 6.233210754394531, + "step": 49635 + }, + { + "epoch": 0.1954, + "grad_norm": 7.633718967437744, + "learning_rate": 2.5434848484848484e-06, + "loss": 6.206011581420898, + "step": 49640 + }, + { + "epoch": 0.19545, + "grad_norm": 29.50637435913086, + "learning_rate": 2.5432323232323235e-06, + "loss": 6.41741714477539, + "step": 49645 + }, + { + "epoch": 0.1955, + "grad_norm": 5.431766510009766, + "learning_rate": 2.542979797979798e-06, + "loss": 6.306104278564453, + "step": 49650 + }, + { + "epoch": 0.19555, + "grad_norm": 8.060921669006348, + "learning_rate": 2.5427272727272727e-06, + "loss": 6.216228866577149, + "step": 49655 + }, + { + "epoch": 0.1956, + "grad_norm": 6.418784141540527, + "learning_rate": 2.5424747474747473e-06, + "loss": 6.258552169799804, + "step": 49660 + }, + { + "epoch": 0.19565, + "grad_norm": 4.755044460296631, + "learning_rate": 2.5422222222222224e-06, + "loss": 6.255119323730469, + "step": 49665 + }, + { + "epoch": 0.1957, + "grad_norm": 8.122811317443848, + "learning_rate": 2.541969696969697e-06, + "loss": 6.219739151000977, + "step": 49670 + }, + { + "epoch": 0.19575, + "grad_norm": 4.895333290100098, + "learning_rate": 2.5417171717171717e-06, + "loss": 6.2493537902832035, + "step": 49675 + }, + { + "epoch": 0.1958, + "grad_norm": 6.294668674468994, + "learning_rate": 2.5414646464646463e-06, + "loss": 6.246758270263672, + "step": 49680 + }, + { + "epoch": 0.19585, + "grad_norm": 14.956772804260254, + "learning_rate": 2.5412121212121218e-06, + "loss": 6.25451431274414, + "step": 49685 + }, + { + "epoch": 0.1959, + "grad_norm": 6.240623474121094, + "learning_rate": 2.540959595959596e-06, + "loss": 6.256995773315429, + "step": 49690 + }, + { + "epoch": 0.19595, + "grad_norm": 12.748623847961426, + "learning_rate": 2.5407070707070706e-06, + "loss": 6.294410705566406, + "step": 49695 + }, + { + "epoch": 0.196, + "grad_norm": 6.457271575927734, + "learning_rate": 2.5404545454545452e-06, + "loss": 6.252241134643555, + "step": 49700 + }, + { + "epoch": 0.19605, + "grad_norm": 7.037939071655273, + "learning_rate": 2.5402020202020207e-06, + "loss": 6.28576774597168, + "step": 49705 + }, + { + "epoch": 0.1961, + "grad_norm": 5.942524433135986, + "learning_rate": 2.5399494949494953e-06, + "loss": 6.274676513671875, + "step": 49710 + }, + { + "epoch": 0.19615, + "grad_norm": 4.092289447784424, + "learning_rate": 2.53969696969697e-06, + "loss": 6.314986801147461, + "step": 49715 + }, + { + "epoch": 0.1962, + "grad_norm": 8.213889122009277, + "learning_rate": 2.539444444444444e-06, + "loss": 6.342423629760742, + "step": 49720 + }, + { + "epoch": 0.19625, + "grad_norm": 9.967015266418457, + "learning_rate": 2.5391919191919197e-06, + "loss": 6.391808319091797, + "step": 49725 + }, + { + "epoch": 0.1963, + "grad_norm": 9.924222946166992, + "learning_rate": 2.5389393939393943e-06, + "loss": 6.271770477294922, + "step": 49730 + }, + { + "epoch": 0.19635, + "grad_norm": 28.80489158630371, + "learning_rate": 2.538686868686869e-06, + "loss": 6.265848922729492, + "step": 49735 + }, + { + "epoch": 0.1964, + "grad_norm": 5.889763832092285, + "learning_rate": 2.538434343434344e-06, + "loss": 6.28631706237793, + "step": 49740 + }, + { + "epoch": 0.19645, + "grad_norm": 7.259796619415283, + "learning_rate": 2.5381818181818186e-06, + "loss": 6.300747680664062, + "step": 49745 + }, + { + "epoch": 0.1965, + "grad_norm": 4.813076496124268, + "learning_rate": 2.5379292929292932e-06, + "loss": 6.257456970214844, + "step": 49750 + }, + { + "epoch": 0.19655, + "grad_norm": 4.39386510848999, + "learning_rate": 2.537676767676768e-06, + "loss": 6.288967895507812, + "step": 49755 + }, + { + "epoch": 0.1966, + "grad_norm": 5.40500020980835, + "learning_rate": 2.537424242424243e-06, + "loss": 6.373891448974609, + "step": 49760 + }, + { + "epoch": 0.19665, + "grad_norm": 6.475799083709717, + "learning_rate": 2.5371717171717175e-06, + "loss": 6.336884689331055, + "step": 49765 + }, + { + "epoch": 0.1967, + "grad_norm": 6.880368709564209, + "learning_rate": 2.536919191919192e-06, + "loss": 6.294986724853516, + "step": 49770 + }, + { + "epoch": 0.19675, + "grad_norm": 19.850482940673828, + "learning_rate": 2.536666666666667e-06, + "loss": 6.231388092041016, + "step": 49775 + }, + { + "epoch": 0.1968, + "grad_norm": 6.302379608154297, + "learning_rate": 2.536414141414142e-06, + "loss": 6.268606948852539, + "step": 49780 + }, + { + "epoch": 0.19685, + "grad_norm": 6.698851108551025, + "learning_rate": 2.5361616161616165e-06, + "loss": 6.219470596313476, + "step": 49785 + }, + { + "epoch": 0.1969, + "grad_norm": 22.631744384765625, + "learning_rate": 2.535909090909091e-06, + "loss": 6.480807495117188, + "step": 49790 + }, + { + "epoch": 0.19695, + "grad_norm": 5.3607869148254395, + "learning_rate": 2.5356565656565657e-06, + "loss": 6.281029891967774, + "step": 49795 + }, + { + "epoch": 0.197, + "grad_norm": 4.6973490715026855, + "learning_rate": 2.535404040404041e-06, + "loss": 6.255810546875, + "step": 49800 + }, + { + "epoch": 0.19705, + "grad_norm": 10.91834545135498, + "learning_rate": 2.5351515151515154e-06, + "loss": 6.178659820556641, + "step": 49805 + }, + { + "epoch": 0.1971, + "grad_norm": 5.362521171569824, + "learning_rate": 2.53489898989899e-06, + "loss": 6.197890853881836, + "step": 49810 + }, + { + "epoch": 0.19715, + "grad_norm": 7.690623760223389, + "learning_rate": 2.5346464646464647e-06, + "loss": 6.237416076660156, + "step": 49815 + }, + { + "epoch": 0.1972, + "grad_norm": 4.992671966552734, + "learning_rate": 2.5343939393939397e-06, + "loss": 6.240348815917969, + "step": 49820 + }, + { + "epoch": 0.19725, + "grad_norm": 6.229156494140625, + "learning_rate": 2.5341414141414144e-06, + "loss": 6.249267196655273, + "step": 49825 + }, + { + "epoch": 0.1973, + "grad_norm": 4.727314472198486, + "learning_rate": 2.533888888888889e-06, + "loss": 6.259444808959961, + "step": 49830 + }, + { + "epoch": 0.19735, + "grad_norm": 5.506601333618164, + "learning_rate": 2.5336363636363636e-06, + "loss": 6.199823379516602, + "step": 49835 + }, + { + "epoch": 0.1974, + "grad_norm": 7.88227653503418, + "learning_rate": 2.5333838383838387e-06, + "loss": 6.36942138671875, + "step": 49840 + }, + { + "epoch": 0.19745, + "grad_norm": 6.831554889678955, + "learning_rate": 2.5331313131313133e-06, + "loss": 6.245549011230469, + "step": 49845 + }, + { + "epoch": 0.1975, + "grad_norm": 3.877190589904785, + "learning_rate": 2.532878787878788e-06, + "loss": 6.237216186523438, + "step": 49850 + }, + { + "epoch": 0.19755, + "grad_norm": 4.887547492980957, + "learning_rate": 2.5326262626262626e-06, + "loss": 6.2291206359863285, + "step": 49855 + }, + { + "epoch": 0.1976, + "grad_norm": 6.2290754318237305, + "learning_rate": 2.5323737373737376e-06, + "loss": 6.2375, + "step": 49860 + }, + { + "epoch": 0.19765, + "grad_norm": 5.0437822341918945, + "learning_rate": 2.5321212121212123e-06, + "loss": 6.27685317993164, + "step": 49865 + }, + { + "epoch": 0.1977, + "grad_norm": 6.677088737487793, + "learning_rate": 2.531868686868687e-06, + "loss": 6.315046310424805, + "step": 49870 + }, + { + "epoch": 0.19775, + "grad_norm": 7.430237293243408, + "learning_rate": 2.5316161616161615e-06, + "loss": 6.248124694824218, + "step": 49875 + }, + { + "epoch": 0.1978, + "grad_norm": 6.285028457641602, + "learning_rate": 2.531363636363637e-06, + "loss": 6.247674179077149, + "step": 49880 + }, + { + "epoch": 0.19785, + "grad_norm": 7.107331275939941, + "learning_rate": 2.531111111111111e-06, + "loss": 6.260677337646484, + "step": 49885 + }, + { + "epoch": 0.1979, + "grad_norm": 4.4166154861450195, + "learning_rate": 2.530858585858586e-06, + "loss": 6.245711898803711, + "step": 49890 + }, + { + "epoch": 0.19795, + "grad_norm": 6.733027458190918, + "learning_rate": 2.5306060606060605e-06, + "loss": 6.308213806152343, + "step": 49895 + }, + { + "epoch": 0.198, + "grad_norm": 6.973963260650635, + "learning_rate": 2.530353535353536e-06, + "loss": 6.24494514465332, + "step": 49900 + }, + { + "epoch": 0.19805, + "grad_norm": 5.454674243927002, + "learning_rate": 2.5301010101010106e-06, + "loss": 6.277666473388672, + "step": 49905 + }, + { + "epoch": 0.1981, + "grad_norm": 4.718550682067871, + "learning_rate": 2.529848484848485e-06, + "loss": 6.293357849121094, + "step": 49910 + }, + { + "epoch": 0.19815, + "grad_norm": 69.0890884399414, + "learning_rate": 2.5295959595959594e-06, + "loss": 6.093275451660157, + "step": 49915 + }, + { + "epoch": 0.1982, + "grad_norm": 9.348984718322754, + "learning_rate": 2.529343434343435e-06, + "loss": 6.265186309814453, + "step": 49920 + }, + { + "epoch": 0.19825, + "grad_norm": 10.963966369628906, + "learning_rate": 2.5290909090909095e-06, + "loss": 6.320544052124023, + "step": 49925 + }, + { + "epoch": 0.1983, + "grad_norm": 6.6288957595825195, + "learning_rate": 2.528838383838384e-06, + "loss": 6.278413772583008, + "step": 49930 + }, + { + "epoch": 0.19835, + "grad_norm": 20.232759475708008, + "learning_rate": 2.5285858585858588e-06, + "loss": 6.292303466796875, + "step": 49935 + }, + { + "epoch": 0.1984, + "grad_norm": 5.470400333404541, + "learning_rate": 2.528333333333334e-06, + "loss": 6.231870651245117, + "step": 49940 + }, + { + "epoch": 0.19845, + "grad_norm": 7.617183208465576, + "learning_rate": 2.5280808080808085e-06, + "loss": 6.278086853027344, + "step": 49945 + }, + { + "epoch": 0.1985, + "grad_norm": 5.602214336395264, + "learning_rate": 2.527828282828283e-06, + "loss": 6.274223327636719, + "step": 49950 + }, + { + "epoch": 0.19855, + "grad_norm": 5.300981521606445, + "learning_rate": 2.5275757575757577e-06, + "loss": 6.283240509033203, + "step": 49955 + }, + { + "epoch": 0.1986, + "grad_norm": 10.157596588134766, + "learning_rate": 2.5273232323232328e-06, + "loss": 6.297488021850586, + "step": 49960 + }, + { + "epoch": 0.19865, + "grad_norm": 12.647420883178711, + "learning_rate": 2.5270707070707074e-06, + "loss": 6.51298828125, + "step": 49965 + }, + { + "epoch": 0.1987, + "grad_norm": 4.380114555358887, + "learning_rate": 2.526818181818182e-06, + "loss": 6.249011993408203, + "step": 49970 + }, + { + "epoch": 0.19875, + "grad_norm": 10.956653594970703, + "learning_rate": 2.5265656565656567e-06, + "loss": 6.285200881958008, + "step": 49975 + }, + { + "epoch": 0.1988, + "grad_norm": 6.14968729019165, + "learning_rate": 2.5263131313131317e-06, + "loss": 6.417530822753906, + "step": 49980 + }, + { + "epoch": 0.19885, + "grad_norm": 4.659569263458252, + "learning_rate": 2.5260606060606063e-06, + "loss": 6.2325592041015625, + "step": 49985 + }, + { + "epoch": 0.1989, + "grad_norm": 3.6402084827423096, + "learning_rate": 2.525808080808081e-06, + "loss": 6.277042007446289, + "step": 49990 + }, + { + "epoch": 0.19895, + "grad_norm": 4.528951644897461, + "learning_rate": 2.5255555555555556e-06, + "loss": 6.227789306640625, + "step": 49995 + }, + { + "epoch": 0.199, + "grad_norm": 4.44421911239624, + "learning_rate": 2.5253030303030307e-06, + "loss": 6.242911529541016, + "step": 50000 + }, + { + "epoch": 0.19905, + "grad_norm": 4.784400463104248, + "learning_rate": 2.5250505050505053e-06, + "loss": 6.225411605834961, + "step": 50005 + }, + { + "epoch": 0.1991, + "grad_norm": 6.0246357917785645, + "learning_rate": 2.52479797979798e-06, + "loss": 6.264725112915039, + "step": 50010 + }, + { + "epoch": 0.19915, + "grad_norm": 6.142419338226318, + "learning_rate": 2.5245454545454546e-06, + "loss": 6.271052551269531, + "step": 50015 + }, + { + "epoch": 0.1992, + "grad_norm": 4.694523811340332, + "learning_rate": 2.5242929292929296e-06, + "loss": 6.269665908813477, + "step": 50020 + }, + { + "epoch": 0.19925, + "grad_norm": 5.481181621551514, + "learning_rate": 2.5240404040404042e-06, + "loss": 6.294979858398437, + "step": 50025 + }, + { + "epoch": 0.1993, + "grad_norm": 5.57726526260376, + "learning_rate": 2.523787878787879e-06, + "loss": 6.281116104125976, + "step": 50030 + }, + { + "epoch": 0.19935, + "grad_norm": 5.455478191375732, + "learning_rate": 2.5235353535353535e-06, + "loss": 6.259362411499024, + "step": 50035 + }, + { + "epoch": 0.1994, + "grad_norm": 17.223485946655273, + "learning_rate": 2.5232828282828286e-06, + "loss": 6.644518280029297, + "step": 50040 + }, + { + "epoch": 0.19945, + "grad_norm": 4.775510787963867, + "learning_rate": 2.523030303030303e-06, + "loss": 6.271084976196289, + "step": 50045 + }, + { + "epoch": 0.1995, + "grad_norm": 7.860464096069336, + "learning_rate": 2.522777777777778e-06, + "loss": 6.2708477020263675, + "step": 50050 + }, + { + "epoch": 0.19955, + "grad_norm": 9.58796215057373, + "learning_rate": 2.5225252525252524e-06, + "loss": 6.262348937988281, + "step": 50055 + }, + { + "epoch": 0.1996, + "grad_norm": 7.631652355194092, + "learning_rate": 2.5222727272727275e-06, + "loss": 6.253146743774414, + "step": 50060 + }, + { + "epoch": 0.19965, + "grad_norm": 4.74073600769043, + "learning_rate": 2.522020202020202e-06, + "loss": 6.232496643066407, + "step": 50065 + }, + { + "epoch": 0.1997, + "grad_norm": 8.534119606018066, + "learning_rate": 2.5217676767676768e-06, + "loss": 6.2247779846191404, + "step": 50070 + }, + { + "epoch": 0.19975, + "grad_norm": 18.228424072265625, + "learning_rate": 2.5215151515151514e-06, + "loss": 6.537854766845703, + "step": 50075 + }, + { + "epoch": 0.1998, + "grad_norm": 6.15476131439209, + "learning_rate": 2.5212626262626264e-06, + "loss": 6.306629943847656, + "step": 50080 + }, + { + "epoch": 0.19985, + "grad_norm": 7.709009647369385, + "learning_rate": 2.521010101010101e-06, + "loss": 6.328121948242187, + "step": 50085 + }, + { + "epoch": 0.1999, + "grad_norm": 7.7438836097717285, + "learning_rate": 2.5207575757575757e-06, + "loss": 6.251179504394531, + "step": 50090 + }, + { + "epoch": 0.19995, + "grad_norm": 4.380277633666992, + "learning_rate": 2.5205050505050503e-06, + "loss": 6.264029693603516, + "step": 50095 + }, + { + "epoch": 0.2, + "grad_norm": 3.4444587230682373, + "learning_rate": 2.520252525252526e-06, + "loss": 6.27406005859375, + "step": 50100 + }, + { + "epoch": 0.20005, + "grad_norm": 5.817159652709961, + "learning_rate": 2.52e-06, + "loss": 6.274032974243164, + "step": 50105 + }, + { + "epoch": 0.2001, + "grad_norm": 9.877912521362305, + "learning_rate": 2.5197474747474746e-06, + "loss": 6.260358047485352, + "step": 50110 + }, + { + "epoch": 0.20015, + "grad_norm": 7.125256538391113, + "learning_rate": 2.5194949494949493e-06, + "loss": 6.244119262695312, + "step": 50115 + }, + { + "epoch": 0.2002, + "grad_norm": 5.224100112915039, + "learning_rate": 2.5192424242424248e-06, + "loss": 6.295536804199219, + "step": 50120 + }, + { + "epoch": 0.20025, + "grad_norm": 5.170662879943848, + "learning_rate": 2.5189898989898994e-06, + "loss": 6.305734252929687, + "step": 50125 + }, + { + "epoch": 0.2003, + "grad_norm": 3.760510206222534, + "learning_rate": 2.518737373737374e-06, + "loss": 6.305615234375, + "step": 50130 + }, + { + "epoch": 0.20035, + "grad_norm": 11.115021705627441, + "learning_rate": 2.5184848484848482e-06, + "loss": 6.411235809326172, + "step": 50135 + }, + { + "epoch": 0.2004, + "grad_norm": 4.338646411895752, + "learning_rate": 2.5182323232323237e-06, + "loss": 6.269055938720703, + "step": 50140 + }, + { + "epoch": 0.20045, + "grad_norm": 9.082942008972168, + "learning_rate": 2.5179797979797983e-06, + "loss": 6.286923217773437, + "step": 50145 + }, + { + "epoch": 0.2005, + "grad_norm": 9.44038200378418, + "learning_rate": 2.517727272727273e-06, + "loss": 6.258395767211914, + "step": 50150 + }, + { + "epoch": 0.20055, + "grad_norm": 6.797711372375488, + "learning_rate": 2.5174747474747476e-06, + "loss": 6.268379592895508, + "step": 50155 + }, + { + "epoch": 0.2006, + "grad_norm": 17.411474227905273, + "learning_rate": 2.5172222222222226e-06, + "loss": 6.335862731933593, + "step": 50160 + }, + { + "epoch": 0.20065, + "grad_norm": 4.963981628417969, + "learning_rate": 2.5169696969696973e-06, + "loss": 6.261465454101563, + "step": 50165 + }, + { + "epoch": 0.2007, + "grad_norm": 6.525044918060303, + "learning_rate": 2.516717171717172e-06, + "loss": 6.23322639465332, + "step": 50170 + }, + { + "epoch": 0.20075, + "grad_norm": 14.596953392028809, + "learning_rate": 2.516464646464647e-06, + "loss": 6.228923034667969, + "step": 50175 + }, + { + "epoch": 0.2008, + "grad_norm": 5.492651462554932, + "learning_rate": 2.5162121212121216e-06, + "loss": 6.173895263671875, + "step": 50180 + }, + { + "epoch": 0.20085, + "grad_norm": 16.341468811035156, + "learning_rate": 2.5159595959595962e-06, + "loss": 6.3403984069824215, + "step": 50185 + }, + { + "epoch": 0.2009, + "grad_norm": 11.532891273498535, + "learning_rate": 2.515707070707071e-06, + "loss": 6.2327827453613285, + "step": 50190 + }, + { + "epoch": 0.20095, + "grad_norm": 4.14927339553833, + "learning_rate": 2.515454545454546e-06, + "loss": 6.327689361572266, + "step": 50195 + }, + { + "epoch": 0.201, + "grad_norm": 6.413699626922607, + "learning_rate": 2.5152020202020205e-06, + "loss": 6.299884033203125, + "step": 50200 + }, + { + "epoch": 0.20105, + "grad_norm": 5.843972682952881, + "learning_rate": 2.514949494949495e-06, + "loss": 6.253699493408203, + "step": 50205 + }, + { + "epoch": 0.2011, + "grad_norm": 6.022891521453857, + "learning_rate": 2.5146969696969698e-06, + "loss": 6.304072570800781, + "step": 50210 + }, + { + "epoch": 0.20115, + "grad_norm": 8.609193801879883, + "learning_rate": 2.514444444444445e-06, + "loss": 6.188970947265625, + "step": 50215 + }, + { + "epoch": 0.2012, + "grad_norm": 12.187967300415039, + "learning_rate": 2.5141919191919195e-06, + "loss": 6.333774566650391, + "step": 50220 + }, + { + "epoch": 0.20125, + "grad_norm": 6.067849636077881, + "learning_rate": 2.513939393939394e-06, + "loss": 6.427268218994141, + "step": 50225 + }, + { + "epoch": 0.2013, + "grad_norm": 7.214718818664551, + "learning_rate": 2.5136868686868687e-06, + "loss": 6.29016227722168, + "step": 50230 + }, + { + "epoch": 0.20135, + "grad_norm": 12.508318901062012, + "learning_rate": 2.5134343434343438e-06, + "loss": 6.302031707763672, + "step": 50235 + }, + { + "epoch": 0.2014, + "grad_norm": 5.794668197631836, + "learning_rate": 2.5131818181818184e-06, + "loss": 6.268351745605469, + "step": 50240 + }, + { + "epoch": 0.20145, + "grad_norm": 7.039858818054199, + "learning_rate": 2.512929292929293e-06, + "loss": 6.320880126953125, + "step": 50245 + }, + { + "epoch": 0.2015, + "grad_norm": 6.126570701599121, + "learning_rate": 2.5126767676767677e-06, + "loss": 6.290330505371093, + "step": 50250 + }, + { + "epoch": 0.20155, + "grad_norm": 5.634411334991455, + "learning_rate": 2.5124242424242427e-06, + "loss": 6.280659866333008, + "step": 50255 + }, + { + "epoch": 0.2016, + "grad_norm": 7.395592212677002, + "learning_rate": 2.5121717171717174e-06, + "loss": 6.256629943847656, + "step": 50260 + }, + { + "epoch": 0.20165, + "grad_norm": 4.17498779296875, + "learning_rate": 2.511919191919192e-06, + "loss": 6.3099628448486325, + "step": 50265 + }, + { + "epoch": 0.2017, + "grad_norm": 11.847820281982422, + "learning_rate": 2.5116666666666666e-06, + "loss": 6.225931930541992, + "step": 50270 + }, + { + "epoch": 0.20175, + "grad_norm": 10.638266563415527, + "learning_rate": 2.5114141414141417e-06, + "loss": 6.287227630615234, + "step": 50275 + }, + { + "epoch": 0.2018, + "grad_norm": 6.0432305335998535, + "learning_rate": 2.5111616161616163e-06, + "loss": 6.241815185546875, + "step": 50280 + }, + { + "epoch": 0.20185, + "grad_norm": 4.520680904388428, + "learning_rate": 2.510909090909091e-06, + "loss": 6.288633728027344, + "step": 50285 + }, + { + "epoch": 0.2019, + "grad_norm": 7.6169047355651855, + "learning_rate": 2.5106565656565656e-06, + "loss": 6.242688751220703, + "step": 50290 + }, + { + "epoch": 0.20195, + "grad_norm": 12.426961898803711, + "learning_rate": 2.510404040404041e-06, + "loss": 6.249090576171875, + "step": 50295 + }, + { + "epoch": 0.202, + "grad_norm": 11.57026195526123, + "learning_rate": 2.5101515151515152e-06, + "loss": 6.283724975585938, + "step": 50300 + }, + { + "epoch": 0.20205, + "grad_norm": 6.877190113067627, + "learning_rate": 2.50989898989899e-06, + "loss": 6.290302658081055, + "step": 50305 + }, + { + "epoch": 0.2021, + "grad_norm": 4.7463507652282715, + "learning_rate": 2.5096464646464645e-06, + "loss": 6.263843536376953, + "step": 50310 + }, + { + "epoch": 0.20215, + "grad_norm": 8.984270095825195, + "learning_rate": 2.50939393939394e-06, + "loss": 6.2411754608154295, + "step": 50315 + }, + { + "epoch": 0.2022, + "grad_norm": 12.736248970031738, + "learning_rate": 2.5091414141414146e-06, + "loss": 6.2800437927246096, + "step": 50320 + }, + { + "epoch": 0.20225, + "grad_norm": 6.36100959777832, + "learning_rate": 2.5088888888888892e-06, + "loss": 6.247788619995117, + "step": 50325 + }, + { + "epoch": 0.2023, + "grad_norm": 6.488335609436035, + "learning_rate": 2.5086363636363635e-06, + "loss": 6.228033447265625, + "step": 50330 + }, + { + "epoch": 0.20235, + "grad_norm": 8.022052764892578, + "learning_rate": 2.508383838383839e-06, + "loss": 6.212002944946289, + "step": 50335 + }, + { + "epoch": 0.2024, + "grad_norm": 5.708883762359619, + "learning_rate": 2.5081313131313136e-06, + "loss": 6.280640411376953, + "step": 50340 + }, + { + "epoch": 0.20245, + "grad_norm": 13.014446258544922, + "learning_rate": 2.507878787878788e-06, + "loss": 6.265510559082031, + "step": 50345 + }, + { + "epoch": 0.2025, + "grad_norm": 8.831148147583008, + "learning_rate": 2.507626262626263e-06, + "loss": 6.246980667114258, + "step": 50350 + }, + { + "epoch": 0.20255, + "grad_norm": 7.502352714538574, + "learning_rate": 2.507373737373738e-06, + "loss": 6.313706970214843, + "step": 50355 + }, + { + "epoch": 0.2026, + "grad_norm": 7.295192241668701, + "learning_rate": 2.5071212121212125e-06, + "loss": 6.225182723999024, + "step": 50360 + }, + { + "epoch": 0.20265, + "grad_norm": 6.376360893249512, + "learning_rate": 2.506868686868687e-06, + "loss": 6.260831451416015, + "step": 50365 + }, + { + "epoch": 0.2027, + "grad_norm": 6.644468784332275, + "learning_rate": 2.5066161616161618e-06, + "loss": 6.256346893310547, + "step": 50370 + }, + { + "epoch": 0.20275, + "grad_norm": 3.9910199642181396, + "learning_rate": 2.506363636363637e-06, + "loss": 6.228023910522461, + "step": 50375 + }, + { + "epoch": 0.2028, + "grad_norm": 8.688261032104492, + "learning_rate": 2.5061111111111114e-06, + "loss": 6.345419311523438, + "step": 50380 + }, + { + "epoch": 0.20285, + "grad_norm": 7.819876670837402, + "learning_rate": 2.505858585858586e-06, + "loss": 6.260973358154297, + "step": 50385 + }, + { + "epoch": 0.2029, + "grad_norm": 8.700668334960938, + "learning_rate": 2.5056060606060607e-06, + "loss": 6.246576309204102, + "step": 50390 + }, + { + "epoch": 0.20295, + "grad_norm": 6.576988697052002, + "learning_rate": 2.5053535353535358e-06, + "loss": 6.207525634765625, + "step": 50395 + }, + { + "epoch": 0.203, + "grad_norm": 8.206652641296387, + "learning_rate": 2.5051010101010104e-06, + "loss": 6.298147201538086, + "step": 50400 + }, + { + "epoch": 0.20305, + "grad_norm": 7.315264701843262, + "learning_rate": 2.504848484848485e-06, + "loss": 6.272156143188477, + "step": 50405 + }, + { + "epoch": 0.2031, + "grad_norm": 96.8521957397461, + "learning_rate": 2.5045959595959596e-06, + "loss": 11.190609741210938, + "step": 50410 + }, + { + "epoch": 0.20315, + "grad_norm": 6.585971832275391, + "learning_rate": 2.5043434343434347e-06, + "loss": 6.300156021118164, + "step": 50415 + }, + { + "epoch": 0.2032, + "grad_norm": 8.244462013244629, + "learning_rate": 2.5040909090909093e-06, + "loss": 6.296827697753907, + "step": 50420 + }, + { + "epoch": 0.20325, + "grad_norm": 7.2557854652404785, + "learning_rate": 2.503838383838384e-06, + "loss": 6.2336265563964846, + "step": 50425 + }, + { + "epoch": 0.2033, + "grad_norm": 4.800219535827637, + "learning_rate": 2.5035858585858586e-06, + "loss": 6.263823699951172, + "step": 50430 + }, + { + "epoch": 0.20335, + "grad_norm": 5.132396221160889, + "learning_rate": 2.5033333333333336e-06, + "loss": 6.1454322814941404, + "step": 50435 + }, + { + "epoch": 0.2034, + "grad_norm": 11.72627067565918, + "learning_rate": 2.5030808080808083e-06, + "loss": 6.207251739501953, + "step": 50440 + }, + { + "epoch": 0.20345, + "grad_norm": 6.949639320373535, + "learning_rate": 2.502828282828283e-06, + "loss": 6.250994873046875, + "step": 50445 + }, + { + "epoch": 0.2035, + "grad_norm": 4.519877910614014, + "learning_rate": 2.5025757575757575e-06, + "loss": 6.224867248535157, + "step": 50450 + }, + { + "epoch": 0.20355, + "grad_norm": 33.779605865478516, + "learning_rate": 2.5023232323232326e-06, + "loss": 6.5008491516113285, + "step": 50455 + }, + { + "epoch": 0.2036, + "grad_norm": 36.74120330810547, + "learning_rate": 2.5020707070707072e-06, + "loss": 6.360050201416016, + "step": 50460 + }, + { + "epoch": 0.20365, + "grad_norm": 5.83580207824707, + "learning_rate": 2.501818181818182e-06, + "loss": 6.3456367492675785, + "step": 50465 + }, + { + "epoch": 0.2037, + "grad_norm": 4.592923641204834, + "learning_rate": 2.5015656565656565e-06, + "loss": 6.2611034393310545, + "step": 50470 + }, + { + "epoch": 0.20375, + "grad_norm": 21.383007049560547, + "learning_rate": 2.5013131313131315e-06, + "loss": 6.659938049316406, + "step": 50475 + }, + { + "epoch": 0.2038, + "grad_norm": 6.011013031005859, + "learning_rate": 2.501060606060606e-06, + "loss": 6.261945343017578, + "step": 50480 + }, + { + "epoch": 0.20385, + "grad_norm": 6.758711338043213, + "learning_rate": 2.500808080808081e-06, + "loss": 6.305209732055664, + "step": 50485 + }, + { + "epoch": 0.2039, + "grad_norm": 7.053555488586426, + "learning_rate": 2.5005555555555554e-06, + "loss": 6.265921783447266, + "step": 50490 + }, + { + "epoch": 0.20395, + "grad_norm": 16.356122970581055, + "learning_rate": 2.5003030303030305e-06, + "loss": 6.257657623291015, + "step": 50495 + }, + { + "epoch": 0.204, + "grad_norm": 24.292421340942383, + "learning_rate": 2.500050505050505e-06, + "loss": 6.384332275390625, + "step": 50500 + }, + { + "epoch": 0.20405, + "grad_norm": 6.64277982711792, + "learning_rate": 2.4997979797979797e-06, + "loss": 6.300903701782227, + "step": 50505 + }, + { + "epoch": 0.2041, + "grad_norm": 5.477458953857422, + "learning_rate": 2.499545454545455e-06, + "loss": 6.234635925292968, + "step": 50510 + }, + { + "epoch": 0.20415, + "grad_norm": 10.506377220153809, + "learning_rate": 2.4992929292929294e-06, + "loss": 6.220009231567383, + "step": 50515 + }, + { + "epoch": 0.2042, + "grad_norm": 6.875919818878174, + "learning_rate": 2.4990404040404045e-06, + "loss": 6.209540939331054, + "step": 50520 + }, + { + "epoch": 0.20425, + "grad_norm": 4.474767684936523, + "learning_rate": 2.4987878787878787e-06, + "loss": 6.2156318664550785, + "step": 50525 + }, + { + "epoch": 0.2043, + "grad_norm": 4.631478786468506, + "learning_rate": 2.4985353535353537e-06, + "loss": 6.167596054077149, + "step": 50530 + }, + { + "epoch": 0.20435, + "grad_norm": 5.7960710525512695, + "learning_rate": 2.4982828282828284e-06, + "loss": 6.253596496582031, + "step": 50535 + }, + { + "epoch": 0.2044, + "grad_norm": 5.214746952056885, + "learning_rate": 2.4980303030303034e-06, + "loss": 6.222603988647461, + "step": 50540 + }, + { + "epoch": 0.20445, + "grad_norm": 18.205684661865234, + "learning_rate": 2.497777777777778e-06, + "loss": 6.4908088684082035, + "step": 50545 + }, + { + "epoch": 0.2045, + "grad_norm": 20.864898681640625, + "learning_rate": 2.4975252525252527e-06, + "loss": 6.392955017089844, + "step": 50550 + }, + { + "epoch": 0.20455, + "grad_norm": 8.08456802368164, + "learning_rate": 2.4972727272727273e-06, + "loss": 6.257477569580078, + "step": 50555 + }, + { + "epoch": 0.2046, + "grad_norm": 9.643841743469238, + "learning_rate": 2.4970202020202024e-06, + "loss": 6.209708023071289, + "step": 50560 + }, + { + "epoch": 0.20465, + "grad_norm": 4.205894947052002, + "learning_rate": 2.496767676767677e-06, + "loss": 6.243091583251953, + "step": 50565 + }, + { + "epoch": 0.2047, + "grad_norm": 8.269043922424316, + "learning_rate": 2.4965151515151516e-06, + "loss": 6.257061386108399, + "step": 50570 + }, + { + "epoch": 0.20475, + "grad_norm": 5.522393226623535, + "learning_rate": 2.4962626262626263e-06, + "loss": 6.27593879699707, + "step": 50575 + }, + { + "epoch": 0.2048, + "grad_norm": 6.009525299072266, + "learning_rate": 2.4960101010101013e-06, + "loss": 6.243310928344727, + "step": 50580 + }, + { + "epoch": 0.20485, + "grad_norm": 6.506129264831543, + "learning_rate": 2.495757575757576e-06, + "loss": 6.27514762878418, + "step": 50585 + }, + { + "epoch": 0.2049, + "grad_norm": 6.060525417327881, + "learning_rate": 2.4955050505050506e-06, + "loss": 6.239144134521484, + "step": 50590 + }, + { + "epoch": 0.20495, + "grad_norm": 4.891116619110107, + "learning_rate": 2.4952525252525256e-06, + "loss": 6.254197692871093, + "step": 50595 + }, + { + "epoch": 0.205, + "grad_norm": 5.731975555419922, + "learning_rate": 2.4950000000000003e-06, + "loss": 6.246897888183594, + "step": 50600 + }, + { + "epoch": 0.20505, + "grad_norm": 4.666231632232666, + "learning_rate": 2.494747474747475e-06, + "loss": 6.256787109375, + "step": 50605 + }, + { + "epoch": 0.2051, + "grad_norm": 6.4136457443237305, + "learning_rate": 2.4944949494949495e-06, + "loss": 6.389812850952149, + "step": 50610 + }, + { + "epoch": 0.20515, + "grad_norm": 12.604668617248535, + "learning_rate": 2.4942424242424246e-06, + "loss": 6.246990966796875, + "step": 50615 + }, + { + "epoch": 0.2052, + "grad_norm": 4.499661445617676, + "learning_rate": 2.493989898989899e-06, + "loss": 6.249847412109375, + "step": 50620 + }, + { + "epoch": 0.20525, + "grad_norm": 6.092418193817139, + "learning_rate": 2.4937373737373742e-06, + "loss": 6.285489654541015, + "step": 50625 + }, + { + "epoch": 0.2053, + "grad_norm": 7.834766864776611, + "learning_rate": 2.493484848484849e-06, + "loss": 6.2256828308105465, + "step": 50630 + }, + { + "epoch": 0.20535, + "grad_norm": 15.215644836425781, + "learning_rate": 2.4932323232323235e-06, + "loss": 6.567056274414062, + "step": 50635 + }, + { + "epoch": 0.2054, + "grad_norm": 4.482730388641357, + "learning_rate": 2.492979797979798e-06, + "loss": 6.280728912353515, + "step": 50640 + }, + { + "epoch": 0.20545, + "grad_norm": 3.7118756771087646, + "learning_rate": 2.492727272727273e-06, + "loss": 6.252156066894531, + "step": 50645 + }, + { + "epoch": 0.2055, + "grad_norm": 5.24172306060791, + "learning_rate": 2.492474747474748e-06, + "loss": 6.268701171875, + "step": 50650 + }, + { + "epoch": 0.20555, + "grad_norm": 5.709250450134277, + "learning_rate": 2.4922222222222225e-06, + "loss": 6.260549163818359, + "step": 50655 + }, + { + "epoch": 0.2056, + "grad_norm": 6.374555587768555, + "learning_rate": 2.491969696969697e-06, + "loss": 6.287192153930664, + "step": 50660 + }, + { + "epoch": 0.20565, + "grad_norm": 4.0030035972595215, + "learning_rate": 2.491717171717172e-06, + "loss": 6.260825729370117, + "step": 50665 + }, + { + "epoch": 0.2057, + "grad_norm": 4.644779682159424, + "learning_rate": 2.4914646464646468e-06, + "loss": 6.174428939819336, + "step": 50670 + }, + { + "epoch": 0.20575, + "grad_norm": 10.596787452697754, + "learning_rate": 2.4912121212121214e-06, + "loss": 6.255480575561523, + "step": 50675 + }, + { + "epoch": 0.2058, + "grad_norm": 20.568246841430664, + "learning_rate": 2.490959595959596e-06, + "loss": 6.198371124267578, + "step": 50680 + }, + { + "epoch": 0.20585, + "grad_norm": 8.221068382263184, + "learning_rate": 2.490707070707071e-06, + "loss": 6.201399612426758, + "step": 50685 + }, + { + "epoch": 0.2059, + "grad_norm": 30.213520050048828, + "learning_rate": 2.4904545454545457e-06, + "loss": 6.450743103027344, + "step": 50690 + }, + { + "epoch": 0.20595, + "grad_norm": 5.987983226776123, + "learning_rate": 2.4902020202020203e-06, + "loss": 6.354723358154297, + "step": 50695 + }, + { + "epoch": 0.206, + "grad_norm": 9.869277954101562, + "learning_rate": 2.489949494949495e-06, + "loss": 6.248409271240234, + "step": 50700 + }, + { + "epoch": 0.20605, + "grad_norm": 4.571915149688721, + "learning_rate": 2.48969696969697e-06, + "loss": 6.2736351013183596, + "step": 50705 + }, + { + "epoch": 0.2061, + "grad_norm": 5.853895664215088, + "learning_rate": 2.4894444444444447e-06, + "loss": 6.267697525024414, + "step": 50710 + }, + { + "epoch": 0.20615, + "grad_norm": 4.332423210144043, + "learning_rate": 2.4891919191919193e-06, + "loss": 6.352606964111328, + "step": 50715 + }, + { + "epoch": 0.2062, + "grad_norm": 8.72915267944336, + "learning_rate": 2.488939393939394e-06, + "loss": 6.263322448730468, + "step": 50720 + }, + { + "epoch": 0.20625, + "grad_norm": 8.045281410217285, + "learning_rate": 2.488686868686869e-06, + "loss": 6.2755279541015625, + "step": 50725 + }, + { + "epoch": 0.2063, + "grad_norm": 5.083230972290039, + "learning_rate": 2.4884343434343436e-06, + "loss": 6.2021942138671875, + "step": 50730 + }, + { + "epoch": 0.20635, + "grad_norm": 4.313807487487793, + "learning_rate": 2.4881818181818187e-06, + "loss": 6.285644149780273, + "step": 50735 + }, + { + "epoch": 0.2064, + "grad_norm": 5.484350681304932, + "learning_rate": 2.4879292929292933e-06, + "loss": 6.231778717041015, + "step": 50740 + }, + { + "epoch": 0.20645, + "grad_norm": 7.026946544647217, + "learning_rate": 2.487676767676768e-06, + "loss": 6.2568622589111325, + "step": 50745 + }, + { + "epoch": 0.2065, + "grad_norm": 9.437230110168457, + "learning_rate": 2.4874242424242425e-06, + "loss": 6.249218368530274, + "step": 50750 + }, + { + "epoch": 0.20655, + "grad_norm": 10.734655380249023, + "learning_rate": 2.4871717171717176e-06, + "loss": 6.2982025146484375, + "step": 50755 + }, + { + "epoch": 0.2066, + "grad_norm": 7.496886253356934, + "learning_rate": 2.4869191919191922e-06, + "loss": 6.258639526367188, + "step": 50760 + }, + { + "epoch": 0.20665, + "grad_norm": 6.3916192054748535, + "learning_rate": 2.486666666666667e-06, + "loss": 6.256439971923828, + "step": 50765 + }, + { + "epoch": 0.2067, + "grad_norm": 7.533149242401123, + "learning_rate": 2.4864141414141415e-06, + "loss": 6.274566268920898, + "step": 50770 + }, + { + "epoch": 0.20675, + "grad_norm": 4.55153226852417, + "learning_rate": 2.4861616161616165e-06, + "loss": 6.246253585815429, + "step": 50775 + }, + { + "epoch": 0.2068, + "grad_norm": 3.6581223011016846, + "learning_rate": 2.485909090909091e-06, + "loss": 6.273342132568359, + "step": 50780 + }, + { + "epoch": 0.20685, + "grad_norm": 6.641258239746094, + "learning_rate": 2.485656565656566e-06, + "loss": 6.230439758300781, + "step": 50785 + }, + { + "epoch": 0.2069, + "grad_norm": 8.055048942565918, + "learning_rate": 2.4854040404040404e-06, + "loss": 6.323073196411133, + "step": 50790 + }, + { + "epoch": 0.20695, + "grad_norm": 5.384231090545654, + "learning_rate": 2.4851515151515155e-06, + "loss": 6.313836669921875, + "step": 50795 + }, + { + "epoch": 0.207, + "grad_norm": 6.543908596038818, + "learning_rate": 2.48489898989899e-06, + "loss": 6.248139953613281, + "step": 50800 + }, + { + "epoch": 0.20705, + "grad_norm": 11.802889823913574, + "learning_rate": 2.4846464646464647e-06, + "loss": 6.244521713256836, + "step": 50805 + }, + { + "epoch": 0.2071, + "grad_norm": 6.70557975769043, + "learning_rate": 2.4843939393939394e-06, + "loss": 6.264381408691406, + "step": 50810 + }, + { + "epoch": 0.20715, + "grad_norm": 17.66782569885254, + "learning_rate": 2.4841414141414144e-06, + "loss": 6.268556213378906, + "step": 50815 + }, + { + "epoch": 0.2072, + "grad_norm": 8.923881530761719, + "learning_rate": 2.483888888888889e-06, + "loss": 6.246881103515625, + "step": 50820 + }, + { + "epoch": 0.20725, + "grad_norm": 6.764798164367676, + "learning_rate": 2.4836363636363637e-06, + "loss": 6.260829162597656, + "step": 50825 + }, + { + "epoch": 0.2073, + "grad_norm": 4.728209018707275, + "learning_rate": 2.4833838383838383e-06, + "loss": 6.27118148803711, + "step": 50830 + }, + { + "epoch": 0.20735, + "grad_norm": 6.626766681671143, + "learning_rate": 2.4831313131313134e-06, + "loss": 6.240925216674805, + "step": 50835 + }, + { + "epoch": 0.2074, + "grad_norm": 7.254841327667236, + "learning_rate": 2.482878787878788e-06, + "loss": 6.233589172363281, + "step": 50840 + }, + { + "epoch": 0.20745, + "grad_norm": 6.887106418609619, + "learning_rate": 2.482626262626263e-06, + "loss": 6.3235939025878904, + "step": 50845 + }, + { + "epoch": 0.2075, + "grad_norm": 5.913443088531494, + "learning_rate": 2.4823737373737377e-06, + "loss": 6.2978981018066404, + "step": 50850 + }, + { + "epoch": 0.20755, + "grad_norm": 8.726728439331055, + "learning_rate": 2.4821212121212123e-06, + "loss": 6.237708663940429, + "step": 50855 + }, + { + "epoch": 0.2076, + "grad_norm": 3.2534782886505127, + "learning_rate": 2.481868686868687e-06, + "loss": 6.239460372924805, + "step": 50860 + }, + { + "epoch": 0.20765, + "grad_norm": 9.068036079406738, + "learning_rate": 2.481616161616162e-06, + "loss": 6.279609680175781, + "step": 50865 + }, + { + "epoch": 0.2077, + "grad_norm": 7.105849742889404, + "learning_rate": 2.4813636363636366e-06, + "loss": 6.244961547851562, + "step": 50870 + }, + { + "epoch": 0.20775, + "grad_norm": 5.342262268066406, + "learning_rate": 2.4811111111111113e-06, + "loss": 6.256070709228515, + "step": 50875 + }, + { + "epoch": 0.2078, + "grad_norm": 5.988504409790039, + "learning_rate": 2.480858585858586e-06, + "loss": 6.234971237182617, + "step": 50880 + }, + { + "epoch": 0.20785, + "grad_norm": 12.673774719238281, + "learning_rate": 2.480606060606061e-06, + "loss": 6.312339019775391, + "step": 50885 + }, + { + "epoch": 0.2079, + "grad_norm": 6.936028480529785, + "learning_rate": 2.4803535353535356e-06, + "loss": 6.251005172729492, + "step": 50890 + }, + { + "epoch": 0.20795, + "grad_norm": 6.15684175491333, + "learning_rate": 2.48010101010101e-06, + "loss": 6.479811096191407, + "step": 50895 + }, + { + "epoch": 0.208, + "grad_norm": 21.64484405517578, + "learning_rate": 2.479848484848485e-06, + "loss": 6.307085418701172, + "step": 50900 + }, + { + "epoch": 0.20805, + "grad_norm": 5.751492977142334, + "learning_rate": 2.47959595959596e-06, + "loss": 6.261022567749023, + "step": 50905 + }, + { + "epoch": 0.2081, + "grad_norm": 9.31032943725586, + "learning_rate": 2.4793434343434345e-06, + "loss": 6.1938323974609375, + "step": 50910 + }, + { + "epoch": 0.20815, + "grad_norm": 5.881419658660889, + "learning_rate": 2.479090909090909e-06, + "loss": 6.230329132080078, + "step": 50915 + }, + { + "epoch": 0.2082, + "grad_norm": 6.861217498779297, + "learning_rate": 2.4788383838383838e-06, + "loss": 6.243490219116211, + "step": 50920 + }, + { + "epoch": 0.20825, + "grad_norm": 7.396465301513672, + "learning_rate": 2.478585858585859e-06, + "loss": 6.320063781738281, + "step": 50925 + }, + { + "epoch": 0.2083, + "grad_norm": 5.599546432495117, + "learning_rate": 2.4783333333333335e-06, + "loss": 6.22918815612793, + "step": 50930 + }, + { + "epoch": 0.20835, + "grad_norm": 4.476082801818848, + "learning_rate": 2.4780808080808085e-06, + "loss": 6.213483428955078, + "step": 50935 + }, + { + "epoch": 0.2084, + "grad_norm": 6.848724842071533, + "learning_rate": 2.4778282828282827e-06, + "loss": 6.394439697265625, + "step": 50940 + }, + { + "epoch": 0.20845, + "grad_norm": 5.901665687561035, + "learning_rate": 2.4775757575757578e-06, + "loss": 6.208905029296875, + "step": 50945 + }, + { + "epoch": 0.2085, + "grad_norm": 6.262967586517334, + "learning_rate": 2.4773232323232324e-06, + "loss": 6.315032196044922, + "step": 50950 + }, + { + "epoch": 0.20855, + "grad_norm": 6.620224475860596, + "learning_rate": 2.4770707070707075e-06, + "loss": 6.262773895263672, + "step": 50955 + }, + { + "epoch": 0.2086, + "grad_norm": 5.9481730461120605, + "learning_rate": 2.476818181818182e-06, + "loss": 6.234036254882812, + "step": 50960 + }, + { + "epoch": 0.20865, + "grad_norm": 4.727889537811279, + "learning_rate": 2.4765656565656567e-06, + "loss": 6.2423759460449215, + "step": 50965 + }, + { + "epoch": 0.2087, + "grad_norm": 5.7111430168151855, + "learning_rate": 2.4763131313131314e-06, + "loss": 6.399767303466797, + "step": 50970 + }, + { + "epoch": 0.20875, + "grad_norm": 6.529165267944336, + "learning_rate": 2.4760606060606064e-06, + "loss": 6.234956741333008, + "step": 50975 + }, + { + "epoch": 0.2088, + "grad_norm": 5.659181118011475, + "learning_rate": 2.475808080808081e-06, + "loss": 6.260486602783203, + "step": 50980 + }, + { + "epoch": 0.20885, + "grad_norm": 7.417525768280029, + "learning_rate": 2.4755555555555557e-06, + "loss": 6.229229354858399, + "step": 50985 + }, + { + "epoch": 0.2089, + "grad_norm": 7.555321216583252, + "learning_rate": 2.4753030303030303e-06, + "loss": 6.253195190429688, + "step": 50990 + }, + { + "epoch": 0.20895, + "grad_norm": 3.240656614303589, + "learning_rate": 2.4750505050505053e-06, + "loss": 6.259796142578125, + "step": 50995 + }, + { + "epoch": 0.209, + "grad_norm": 5.363713264465332, + "learning_rate": 2.47479797979798e-06, + "loss": 6.255817031860351, + "step": 51000 + }, + { + "epoch": 0.20905, + "grad_norm": 8.100377082824707, + "learning_rate": 2.4745454545454546e-06, + "loss": 6.272492218017578, + "step": 51005 + }, + { + "epoch": 0.2091, + "grad_norm": 25.11182403564453, + "learning_rate": 2.4742929292929292e-06, + "loss": 6.583322143554687, + "step": 51010 + }, + { + "epoch": 0.20915, + "grad_norm": 7.402913570404053, + "learning_rate": 2.4740404040404043e-06, + "loss": 6.241371154785156, + "step": 51015 + }, + { + "epoch": 0.2092, + "grad_norm": 6.886812686920166, + "learning_rate": 2.473787878787879e-06, + "loss": 6.248114013671875, + "step": 51020 + }, + { + "epoch": 0.20925, + "grad_norm": 6.077034950256348, + "learning_rate": 2.4735353535353536e-06, + "loss": 6.217455291748047, + "step": 51025 + }, + { + "epoch": 0.2093, + "grad_norm": 3.740452289581299, + "learning_rate": 2.4732828282828286e-06, + "loss": 6.270792007446289, + "step": 51030 + }, + { + "epoch": 0.20935, + "grad_norm": 13.0534029006958, + "learning_rate": 2.4730303030303032e-06, + "loss": 6.279194259643555, + "step": 51035 + }, + { + "epoch": 0.2094, + "grad_norm": 4.478507041931152, + "learning_rate": 2.4727777777777783e-06, + "loss": 6.292996597290039, + "step": 51040 + }, + { + "epoch": 0.20945, + "grad_norm": 19.015886306762695, + "learning_rate": 2.472525252525253e-06, + "loss": 6.611051940917969, + "step": 51045 + }, + { + "epoch": 0.2095, + "grad_norm": 5.104238033294678, + "learning_rate": 2.4722727272727276e-06, + "loss": 6.262798309326172, + "step": 51050 + }, + { + "epoch": 0.20955, + "grad_norm": 6.318634510040283, + "learning_rate": 2.472020202020202e-06, + "loss": 6.2688743591308596, + "step": 51055 + }, + { + "epoch": 0.2096, + "grad_norm": 7.17677116394043, + "learning_rate": 2.4717676767676772e-06, + "loss": 6.235248947143555, + "step": 51060 + }, + { + "epoch": 0.20965, + "grad_norm": 7.401055812835693, + "learning_rate": 2.471515151515152e-06, + "loss": 6.332347106933594, + "step": 51065 + }, + { + "epoch": 0.2097, + "grad_norm": 7.4810709953308105, + "learning_rate": 2.4712626262626265e-06, + "loss": 6.318766784667969, + "step": 51070 + }, + { + "epoch": 0.20975, + "grad_norm": 6.1330742835998535, + "learning_rate": 2.471010101010101e-06, + "loss": 6.258554840087891, + "step": 51075 + }, + { + "epoch": 0.2098, + "grad_norm": 2.9578516483306885, + "learning_rate": 2.470757575757576e-06, + "loss": 6.234726333618164, + "step": 51080 + }, + { + "epoch": 0.20985, + "grad_norm": 6.655963897705078, + "learning_rate": 2.470505050505051e-06, + "loss": 6.262426376342773, + "step": 51085 + }, + { + "epoch": 0.2099, + "grad_norm": 5.589348793029785, + "learning_rate": 2.4702525252525254e-06, + "loss": 6.344485855102539, + "step": 51090 + }, + { + "epoch": 0.20995, + "grad_norm": 7.6157708168029785, + "learning_rate": 2.47e-06, + "loss": 6.286137390136719, + "step": 51095 + }, + { + "epoch": 0.21, + "grad_norm": 7.973703861236572, + "learning_rate": 2.469747474747475e-06, + "loss": 6.2888328552246096, + "step": 51100 + }, + { + "epoch": 0.21005, + "grad_norm": 7.350414276123047, + "learning_rate": 2.4694949494949498e-06, + "loss": 6.262303161621094, + "step": 51105 + }, + { + "epoch": 0.2101, + "grad_norm": 9.059775352478027, + "learning_rate": 2.4692424242424244e-06, + "loss": 6.247030639648438, + "step": 51110 + }, + { + "epoch": 0.21015, + "grad_norm": 5.57716178894043, + "learning_rate": 2.468989898989899e-06, + "loss": 6.314599609375, + "step": 51115 + }, + { + "epoch": 0.2102, + "grad_norm": 8.359626770019531, + "learning_rate": 2.468737373737374e-06, + "loss": 6.287981033325195, + "step": 51120 + }, + { + "epoch": 0.21025, + "grad_norm": 5.0562944412231445, + "learning_rate": 2.4684848484848487e-06, + "loss": 6.359325790405274, + "step": 51125 + }, + { + "epoch": 0.2103, + "grad_norm": 4.50576639175415, + "learning_rate": 2.4682323232323233e-06, + "loss": 6.225663757324218, + "step": 51130 + }, + { + "epoch": 0.21035, + "grad_norm": 5.423783779144287, + "learning_rate": 2.467979797979798e-06, + "loss": 6.23482666015625, + "step": 51135 + }, + { + "epoch": 0.2104, + "grad_norm": 6.113128185272217, + "learning_rate": 2.467727272727273e-06, + "loss": 6.283076477050781, + "step": 51140 + }, + { + "epoch": 0.21045, + "grad_norm": 7.281699180603027, + "learning_rate": 2.4674747474747476e-06, + "loss": 6.216949462890625, + "step": 51145 + }, + { + "epoch": 0.2105, + "grad_norm": 9.338159561157227, + "learning_rate": 2.4672222222222227e-06, + "loss": 6.239673233032226, + "step": 51150 + }, + { + "epoch": 0.21055, + "grad_norm": 7.933487892150879, + "learning_rate": 2.4669696969696973e-06, + "loss": 6.2519981384277346, + "step": 51155 + }, + { + "epoch": 0.2106, + "grad_norm": 5.633018493652344, + "learning_rate": 2.466717171717172e-06, + "loss": 6.278321838378906, + "step": 51160 + }, + { + "epoch": 0.21065, + "grad_norm": 8.894936561584473, + "learning_rate": 2.4664646464646466e-06, + "loss": 6.248413848876953, + "step": 51165 + }, + { + "epoch": 0.2107, + "grad_norm": 5.463344573974609, + "learning_rate": 2.4662121212121216e-06, + "loss": 6.240948867797852, + "step": 51170 + }, + { + "epoch": 0.21075, + "grad_norm": 20.715492248535156, + "learning_rate": 2.4659595959595963e-06, + "loss": 6.551706695556641, + "step": 51175 + }, + { + "epoch": 0.2108, + "grad_norm": 4.767124652862549, + "learning_rate": 2.465707070707071e-06, + "loss": 6.281942749023438, + "step": 51180 + }, + { + "epoch": 0.21085, + "grad_norm": 5.242769718170166, + "learning_rate": 2.4654545454545455e-06, + "loss": 6.229162979125976, + "step": 51185 + }, + { + "epoch": 0.2109, + "grad_norm": 7.9157633781433105, + "learning_rate": 2.4652020202020206e-06, + "loss": 6.250652313232422, + "step": 51190 + }, + { + "epoch": 0.21095, + "grad_norm": 7.005685806274414, + "learning_rate": 2.464949494949495e-06, + "loss": 6.306711959838867, + "step": 51195 + }, + { + "epoch": 0.211, + "grad_norm": 6.090155124664307, + "learning_rate": 2.46469696969697e-06, + "loss": 6.2252552032470705, + "step": 51200 + }, + { + "epoch": 0.21105, + "grad_norm": 6.868363857269287, + "learning_rate": 2.4644444444444445e-06, + "loss": 6.243553543090821, + "step": 51205 + }, + { + "epoch": 0.2111, + "grad_norm": 11.406401634216309, + "learning_rate": 2.4641919191919195e-06, + "loss": 6.052018356323242, + "step": 51210 + }, + { + "epoch": 0.21115, + "grad_norm": 13.65166187286377, + "learning_rate": 2.463939393939394e-06, + "loss": 6.246839141845703, + "step": 51215 + }, + { + "epoch": 0.2112, + "grad_norm": 3.9746711254119873, + "learning_rate": 2.4636868686868688e-06, + "loss": 6.2879890441894535, + "step": 51220 + }, + { + "epoch": 0.21125, + "grad_norm": 5.510758876800537, + "learning_rate": 2.4634343434343434e-06, + "loss": 6.283474349975586, + "step": 51225 + }, + { + "epoch": 0.2113, + "grad_norm": 6.260151386260986, + "learning_rate": 2.4631818181818185e-06, + "loss": 6.2638896942138675, + "step": 51230 + }, + { + "epoch": 0.21135, + "grad_norm": 5.294466495513916, + "learning_rate": 2.462929292929293e-06, + "loss": 6.231114196777344, + "step": 51235 + }, + { + "epoch": 0.2114, + "grad_norm": 3.597033739089966, + "learning_rate": 2.462676767676768e-06, + "loss": 6.245709228515625, + "step": 51240 + }, + { + "epoch": 0.21145, + "grad_norm": 3.557478666305542, + "learning_rate": 2.4624242424242424e-06, + "loss": 6.292256927490234, + "step": 51245 + }, + { + "epoch": 0.2115, + "grad_norm": 7.972006320953369, + "learning_rate": 2.4621717171717174e-06, + "loss": 6.264240264892578, + "step": 51250 + }, + { + "epoch": 0.21155, + "grad_norm": 5.154393672943115, + "learning_rate": 2.461919191919192e-06, + "loss": 6.22901496887207, + "step": 51255 + }, + { + "epoch": 0.2116, + "grad_norm": 3.7968223094940186, + "learning_rate": 2.461666666666667e-06, + "loss": 6.221169281005859, + "step": 51260 + }, + { + "epoch": 0.21165, + "grad_norm": 5.698702812194824, + "learning_rate": 2.4614141414141417e-06, + "loss": 6.278104019165039, + "step": 51265 + }, + { + "epoch": 0.2117, + "grad_norm": 7.324695587158203, + "learning_rate": 2.4611616161616164e-06, + "loss": 6.222004699707031, + "step": 51270 + }, + { + "epoch": 0.21175, + "grad_norm": 5.646127223968506, + "learning_rate": 2.460909090909091e-06, + "loss": 6.256063842773438, + "step": 51275 + }, + { + "epoch": 0.2118, + "grad_norm": 4.340987205505371, + "learning_rate": 2.460656565656566e-06, + "loss": 6.340274429321289, + "step": 51280 + }, + { + "epoch": 0.21185, + "grad_norm": 6.185873508453369, + "learning_rate": 2.4604040404040407e-06, + "loss": 6.247739791870117, + "step": 51285 + }, + { + "epoch": 0.2119, + "grad_norm": 6.869162559509277, + "learning_rate": 2.4601515151515153e-06, + "loss": 6.253234481811523, + "step": 51290 + }, + { + "epoch": 0.21195, + "grad_norm": 5.638926982879639, + "learning_rate": 2.45989898989899e-06, + "loss": 6.242322158813477, + "step": 51295 + }, + { + "epoch": 0.212, + "grad_norm": 10.032388687133789, + "learning_rate": 2.459646464646465e-06, + "loss": 6.2530677795410154, + "step": 51300 + }, + { + "epoch": 0.21205, + "grad_norm": 7.064962863922119, + "learning_rate": 2.4593939393939396e-06, + "loss": 6.274679946899414, + "step": 51305 + }, + { + "epoch": 0.2121, + "grad_norm": 5.170938014984131, + "learning_rate": 2.4591414141414142e-06, + "loss": 6.2827003479003904, + "step": 51310 + }, + { + "epoch": 0.21215, + "grad_norm": 15.785543441772461, + "learning_rate": 2.458888888888889e-06, + "loss": 6.293438720703125, + "step": 51315 + }, + { + "epoch": 0.2122, + "grad_norm": 6.064589500427246, + "learning_rate": 2.458636363636364e-06, + "loss": 6.233417510986328, + "step": 51320 + }, + { + "epoch": 0.21225, + "grad_norm": 14.839214324951172, + "learning_rate": 2.4583838383838386e-06, + "loss": 6.335691452026367, + "step": 51325 + }, + { + "epoch": 0.2123, + "grad_norm": 5.582024574279785, + "learning_rate": 2.458131313131313e-06, + "loss": 6.549031066894531, + "step": 51330 + }, + { + "epoch": 0.21235, + "grad_norm": 11.80196475982666, + "learning_rate": 2.457878787878788e-06, + "loss": 6.319637680053711, + "step": 51335 + }, + { + "epoch": 0.2124, + "grad_norm": 5.333680629730225, + "learning_rate": 2.457626262626263e-06, + "loss": 6.223167800903321, + "step": 51340 + }, + { + "epoch": 0.21245, + "grad_norm": 10.341134071350098, + "learning_rate": 2.4573737373737375e-06, + "loss": 6.210519409179687, + "step": 51345 + }, + { + "epoch": 0.2125, + "grad_norm": 8.239900588989258, + "learning_rate": 2.4571212121212126e-06, + "loss": 6.304873657226563, + "step": 51350 + }, + { + "epoch": 0.21255, + "grad_norm": 5.85414457321167, + "learning_rate": 2.4568686868686868e-06, + "loss": 6.266398620605469, + "step": 51355 + }, + { + "epoch": 0.2126, + "grad_norm": 6.342520713806152, + "learning_rate": 2.456616161616162e-06, + "loss": 6.341128540039063, + "step": 51360 + }, + { + "epoch": 0.21265, + "grad_norm": 4.657464027404785, + "learning_rate": 2.4563636363636364e-06, + "loss": 6.214262771606445, + "step": 51365 + }, + { + "epoch": 0.2127, + "grad_norm": 5.213290214538574, + "learning_rate": 2.4561111111111115e-06, + "loss": 6.292685317993164, + "step": 51370 + }, + { + "epoch": 0.21275, + "grad_norm": 5.39146089553833, + "learning_rate": 2.455858585858586e-06, + "loss": 6.293395233154297, + "step": 51375 + }, + { + "epoch": 0.2128, + "grad_norm": 8.82789134979248, + "learning_rate": 2.4556060606060608e-06, + "loss": 6.291364288330078, + "step": 51380 + }, + { + "epoch": 0.21285, + "grad_norm": 3.5243186950683594, + "learning_rate": 2.4553535353535354e-06, + "loss": 6.243863677978515, + "step": 51385 + }, + { + "epoch": 0.2129, + "grad_norm": 7.234767913818359, + "learning_rate": 2.4551010101010104e-06, + "loss": 6.2834014892578125, + "step": 51390 + }, + { + "epoch": 0.21295, + "grad_norm": 15.487224578857422, + "learning_rate": 2.454848484848485e-06, + "loss": 6.2790061950683596, + "step": 51395 + }, + { + "epoch": 0.213, + "grad_norm": 4.161523818969727, + "learning_rate": 2.4545959595959597e-06, + "loss": 6.226154708862305, + "step": 51400 + }, + { + "epoch": 0.21305, + "grad_norm": 5.875275611877441, + "learning_rate": 2.4543434343434343e-06, + "loss": 6.250581359863281, + "step": 51405 + }, + { + "epoch": 0.2131, + "grad_norm": 5.35794734954834, + "learning_rate": 2.4540909090909094e-06, + "loss": 6.220343399047851, + "step": 51410 + }, + { + "epoch": 0.21315, + "grad_norm": 21.896791458129883, + "learning_rate": 2.453838383838384e-06, + "loss": 6.2194969177246096, + "step": 51415 + }, + { + "epoch": 0.2132, + "grad_norm": 7.9488139152526855, + "learning_rate": 2.4535858585858586e-06, + "loss": 6.266121673583984, + "step": 51420 + }, + { + "epoch": 0.21325, + "grad_norm": 5.777406692504883, + "learning_rate": 2.4533333333333333e-06, + "loss": 6.204006195068359, + "step": 51425 + }, + { + "epoch": 0.2133, + "grad_norm": 4.49384880065918, + "learning_rate": 2.4530808080808083e-06, + "loss": 6.25079116821289, + "step": 51430 + }, + { + "epoch": 0.21335, + "grad_norm": 5.0816826820373535, + "learning_rate": 2.452828282828283e-06, + "loss": 6.264274978637696, + "step": 51435 + }, + { + "epoch": 0.2134, + "grad_norm": 12.778704643249512, + "learning_rate": 2.4525757575757576e-06, + "loss": 6.2124076843261715, + "step": 51440 + }, + { + "epoch": 0.21345, + "grad_norm": 5.872251510620117, + "learning_rate": 2.4523232323232326e-06, + "loss": 6.249198532104492, + "step": 51445 + }, + { + "epoch": 0.2135, + "grad_norm": 8.335023880004883, + "learning_rate": 2.4520707070707073e-06, + "loss": 6.246257781982422, + "step": 51450 + }, + { + "epoch": 0.21355, + "grad_norm": 9.092503547668457, + "learning_rate": 2.4518181818181823e-06, + "loss": 6.204987716674805, + "step": 51455 + }, + { + "epoch": 0.2136, + "grad_norm": 7.842629909515381, + "learning_rate": 2.451565656565657e-06, + "loss": 6.2819580078125, + "step": 51460 + }, + { + "epoch": 0.21365, + "grad_norm": 6.360104560852051, + "learning_rate": 2.4513131313131316e-06, + "loss": 6.198761749267578, + "step": 51465 + }, + { + "epoch": 0.2137, + "grad_norm": 7.053884029388428, + "learning_rate": 2.4510606060606062e-06, + "loss": 6.2600749969482425, + "step": 51470 + }, + { + "epoch": 0.21375, + "grad_norm": 6.185999870300293, + "learning_rate": 2.4508080808080813e-06, + "loss": 6.248574447631836, + "step": 51475 + }, + { + "epoch": 0.2138, + "grad_norm": 5.655125617980957, + "learning_rate": 2.450555555555556e-06, + "loss": 6.251945495605469, + "step": 51480 + }, + { + "epoch": 0.21385, + "grad_norm": 9.984302520751953, + "learning_rate": 2.4503030303030305e-06, + "loss": 6.272206878662109, + "step": 51485 + }, + { + "epoch": 0.2139, + "grad_norm": 19.93279266357422, + "learning_rate": 2.450050505050505e-06, + "loss": 6.152031326293946, + "step": 51490 + }, + { + "epoch": 0.21395, + "grad_norm": 4.629660606384277, + "learning_rate": 2.4497979797979802e-06, + "loss": 6.256863021850586, + "step": 51495 + }, + { + "epoch": 0.214, + "grad_norm": 10.875117301940918, + "learning_rate": 2.449545454545455e-06, + "loss": 6.296335601806641, + "step": 51500 + }, + { + "epoch": 0.21405, + "grad_norm": 4.486212253570557, + "learning_rate": 2.4492929292929295e-06, + "loss": 6.250394439697265, + "step": 51505 + }, + { + "epoch": 0.2141, + "grad_norm": 5.56361722946167, + "learning_rate": 2.449040404040404e-06, + "loss": 6.244961547851562, + "step": 51510 + }, + { + "epoch": 0.21415, + "grad_norm": 6.107804298400879, + "learning_rate": 2.448787878787879e-06, + "loss": 6.310741424560547, + "step": 51515 + }, + { + "epoch": 0.2142, + "grad_norm": 5.597900867462158, + "learning_rate": 2.448535353535354e-06, + "loss": 6.241750717163086, + "step": 51520 + }, + { + "epoch": 0.21425, + "grad_norm": 8.29653263092041, + "learning_rate": 2.4482828282828284e-06, + "loss": 6.281385803222657, + "step": 51525 + }, + { + "epoch": 0.2143, + "grad_norm": 6.49276876449585, + "learning_rate": 2.448030303030303e-06, + "loss": 6.250420379638672, + "step": 51530 + }, + { + "epoch": 0.21435, + "grad_norm": 6.147127151489258, + "learning_rate": 2.447777777777778e-06, + "loss": 6.234955596923828, + "step": 51535 + }, + { + "epoch": 0.2144, + "grad_norm": 5.759504795074463, + "learning_rate": 2.4475252525252527e-06, + "loss": 6.227988815307617, + "step": 51540 + }, + { + "epoch": 0.21445, + "grad_norm": 7.2107930183410645, + "learning_rate": 2.4472727272727274e-06, + "loss": 6.270477676391602, + "step": 51545 + }, + { + "epoch": 0.2145, + "grad_norm": 8.96046257019043, + "learning_rate": 2.447020202020202e-06, + "loss": 6.299123764038086, + "step": 51550 + }, + { + "epoch": 0.21455, + "grad_norm": 8.708113670349121, + "learning_rate": 2.446767676767677e-06, + "loss": 6.330586242675781, + "step": 51555 + }, + { + "epoch": 0.2146, + "grad_norm": 5.979678153991699, + "learning_rate": 2.4465151515151517e-06, + "loss": 6.247374725341797, + "step": 51560 + }, + { + "epoch": 0.21465, + "grad_norm": 5.504483699798584, + "learning_rate": 2.4462626262626267e-06, + "loss": 6.226418304443359, + "step": 51565 + }, + { + "epoch": 0.2147, + "grad_norm": 27.281719207763672, + "learning_rate": 2.4460101010101014e-06, + "loss": 6.505309295654297, + "step": 51570 + }, + { + "epoch": 0.21475, + "grad_norm": 6.117286205291748, + "learning_rate": 2.445757575757576e-06, + "loss": 6.261387634277344, + "step": 51575 + }, + { + "epoch": 0.2148, + "grad_norm": 7.863574028015137, + "learning_rate": 2.4455050505050506e-06, + "loss": 6.2833709716796875, + "step": 51580 + }, + { + "epoch": 0.21485, + "grad_norm": 5.184615135192871, + "learning_rate": 2.4452525252525257e-06, + "loss": 6.231716156005859, + "step": 51585 + }, + { + "epoch": 0.2149, + "grad_norm": 11.608134269714355, + "learning_rate": 2.4450000000000003e-06, + "loss": 6.277294158935547, + "step": 51590 + }, + { + "epoch": 0.21495, + "grad_norm": 9.80497932434082, + "learning_rate": 2.444747474747475e-06, + "loss": 6.220586776733398, + "step": 51595 + }, + { + "epoch": 0.215, + "grad_norm": 7.324535846710205, + "learning_rate": 2.4444949494949496e-06, + "loss": 6.406243896484375, + "step": 51600 + }, + { + "epoch": 0.21505, + "grad_norm": 5.4823102951049805, + "learning_rate": 2.4442424242424246e-06, + "loss": 6.274078369140625, + "step": 51605 + }, + { + "epoch": 0.2151, + "grad_norm": 7.361666202545166, + "learning_rate": 2.4439898989898993e-06, + "loss": 6.205318832397461, + "step": 51610 + }, + { + "epoch": 0.21515, + "grad_norm": 39.872467041015625, + "learning_rate": 2.443737373737374e-06, + "loss": 6.134758758544922, + "step": 51615 + }, + { + "epoch": 0.2152, + "grad_norm": 35.62089538574219, + "learning_rate": 2.4434848484848485e-06, + "loss": 5.657844161987304, + "step": 51620 + }, + { + "epoch": 0.21525, + "grad_norm": 57.202491760253906, + "learning_rate": 2.4432323232323236e-06, + "loss": 5.6944324493408205, + "step": 51625 + }, + { + "epoch": 0.2153, + "grad_norm": 7.114380836486816, + "learning_rate": 2.442979797979798e-06, + "loss": 6.331563186645508, + "step": 51630 + }, + { + "epoch": 0.21535, + "grad_norm": 10.373966217041016, + "learning_rate": 2.442727272727273e-06, + "loss": 6.255901718139649, + "step": 51635 + }, + { + "epoch": 0.2154, + "grad_norm": 9.035956382751465, + "learning_rate": 2.4424747474747475e-06, + "loss": 6.2159374237060545, + "step": 51640 + }, + { + "epoch": 0.21545, + "grad_norm": 7.673954486846924, + "learning_rate": 2.4422222222222225e-06, + "loss": 6.286244583129883, + "step": 51645 + }, + { + "epoch": 0.2155, + "grad_norm": 10.140018463134766, + "learning_rate": 2.441969696969697e-06, + "loss": 6.255821609497071, + "step": 51650 + }, + { + "epoch": 0.21555, + "grad_norm": 12.393857955932617, + "learning_rate": 2.441717171717172e-06, + "loss": 6.306755447387696, + "step": 51655 + }, + { + "epoch": 0.2156, + "grad_norm": 9.28051471710205, + "learning_rate": 2.4414646464646464e-06, + "loss": 6.286399078369141, + "step": 51660 + }, + { + "epoch": 0.21565, + "grad_norm": 6.818021297454834, + "learning_rate": 2.4412121212121215e-06, + "loss": 6.334869766235352, + "step": 51665 + }, + { + "epoch": 0.2157, + "grad_norm": 10.329705238342285, + "learning_rate": 2.440959595959596e-06, + "loss": 6.253346633911133, + "step": 51670 + }, + { + "epoch": 0.21575, + "grad_norm": 5.367230415344238, + "learning_rate": 2.440707070707071e-06, + "loss": 6.289541244506836, + "step": 51675 + }, + { + "epoch": 0.2158, + "grad_norm": 5.318551063537598, + "learning_rate": 2.4404545454545458e-06, + "loss": 6.436114501953125, + "step": 51680 + }, + { + "epoch": 0.21585, + "grad_norm": 7.016967296600342, + "learning_rate": 2.4402020202020204e-06, + "loss": 6.231676864624023, + "step": 51685 + }, + { + "epoch": 0.2159, + "grad_norm": 7.2251362800598145, + "learning_rate": 2.439949494949495e-06, + "loss": 6.268294143676758, + "step": 51690 + }, + { + "epoch": 0.21595, + "grad_norm": 8.76424503326416, + "learning_rate": 2.43969696969697e-06, + "loss": 6.219085693359375, + "step": 51695 + }, + { + "epoch": 0.216, + "grad_norm": 4.175989627838135, + "learning_rate": 2.4394444444444447e-06, + "loss": 6.244248962402343, + "step": 51700 + }, + { + "epoch": 0.21605, + "grad_norm": 8.37943172454834, + "learning_rate": 2.4391919191919193e-06, + "loss": 6.244679641723633, + "step": 51705 + }, + { + "epoch": 0.2161, + "grad_norm": 8.187246322631836, + "learning_rate": 2.438939393939394e-06, + "loss": 6.264329147338867, + "step": 51710 + }, + { + "epoch": 0.21615, + "grad_norm": 3.7950942516326904, + "learning_rate": 2.438686868686869e-06, + "loss": 6.211478042602539, + "step": 51715 + }, + { + "epoch": 0.2162, + "grad_norm": 5.600079536437988, + "learning_rate": 2.4384343434343437e-06, + "loss": 6.272982788085938, + "step": 51720 + }, + { + "epoch": 0.21625, + "grad_norm": 6.2233052253723145, + "learning_rate": 2.4381818181818183e-06, + "loss": 6.27648696899414, + "step": 51725 + }, + { + "epoch": 0.2163, + "grad_norm": 3.850778579711914, + "learning_rate": 2.437929292929293e-06, + "loss": 6.5286613464355465, + "step": 51730 + }, + { + "epoch": 0.21635, + "grad_norm": 7.182032585144043, + "learning_rate": 2.437676767676768e-06, + "loss": 6.2474933624267575, + "step": 51735 + }, + { + "epoch": 0.2164, + "grad_norm": 6.1254777908325195, + "learning_rate": 2.4374242424242426e-06, + "loss": 6.283548736572266, + "step": 51740 + }, + { + "epoch": 0.21645, + "grad_norm": 3.8990466594696045, + "learning_rate": 2.4371717171717172e-06, + "loss": 6.185603332519531, + "step": 51745 + }, + { + "epoch": 0.2165, + "grad_norm": 6.335047721862793, + "learning_rate": 2.436919191919192e-06, + "loss": 6.303973770141601, + "step": 51750 + }, + { + "epoch": 0.21655, + "grad_norm": 6.938802719116211, + "learning_rate": 2.436666666666667e-06, + "loss": 6.212868499755859, + "step": 51755 + }, + { + "epoch": 0.2166, + "grad_norm": 5.338647842407227, + "learning_rate": 2.4364141414141415e-06, + "loss": 6.2805023193359375, + "step": 51760 + }, + { + "epoch": 0.21665, + "grad_norm": 12.086352348327637, + "learning_rate": 2.4361616161616166e-06, + "loss": 6.531468200683594, + "step": 51765 + }, + { + "epoch": 0.2167, + "grad_norm": 8.061637878417969, + "learning_rate": 2.435909090909091e-06, + "loss": 6.243861389160156, + "step": 51770 + }, + { + "epoch": 0.21675, + "grad_norm": 3.9192330837249756, + "learning_rate": 2.435656565656566e-06, + "loss": 6.264580535888672, + "step": 51775 + }, + { + "epoch": 0.2168, + "grad_norm": 10.635513305664062, + "learning_rate": 2.4354040404040405e-06, + "loss": 6.211273574829102, + "step": 51780 + }, + { + "epoch": 0.21685, + "grad_norm": 14.31887435913086, + "learning_rate": 2.4351515151515155e-06, + "loss": 6.260458374023438, + "step": 51785 + }, + { + "epoch": 0.2169, + "grad_norm": 6.969208240509033, + "learning_rate": 2.43489898989899e-06, + "loss": 6.407927703857422, + "step": 51790 + }, + { + "epoch": 0.21695, + "grad_norm": 7.219388008117676, + "learning_rate": 2.434646464646465e-06, + "loss": 6.227739715576172, + "step": 51795 + }, + { + "epoch": 0.217, + "grad_norm": 4.3910417556762695, + "learning_rate": 2.4343939393939394e-06, + "loss": 6.304022598266601, + "step": 51800 + }, + { + "epoch": 0.21705, + "grad_norm": 5.578765869140625, + "learning_rate": 2.4341414141414145e-06, + "loss": 6.259788894653321, + "step": 51805 + }, + { + "epoch": 0.2171, + "grad_norm": 7.24212121963501, + "learning_rate": 2.433888888888889e-06, + "loss": 6.255804443359375, + "step": 51810 + }, + { + "epoch": 0.21715, + "grad_norm": 4.884197235107422, + "learning_rate": 2.4336363636363637e-06, + "loss": 6.180574035644531, + "step": 51815 + }, + { + "epoch": 0.2172, + "grad_norm": 10.879237174987793, + "learning_rate": 2.4333838383838384e-06, + "loss": 6.281976318359375, + "step": 51820 + }, + { + "epoch": 0.21725, + "grad_norm": 7.292664527893066, + "learning_rate": 2.4331313131313134e-06, + "loss": 6.325645446777344, + "step": 51825 + }, + { + "epoch": 0.2173, + "grad_norm": 5.065341472625732, + "learning_rate": 2.432878787878788e-06, + "loss": 6.342150115966797, + "step": 51830 + }, + { + "epoch": 0.21735, + "grad_norm": 3.2572689056396484, + "learning_rate": 2.4326262626262627e-06, + "loss": 6.239029312133789, + "step": 51835 + }, + { + "epoch": 0.2174, + "grad_norm": 5.8653740882873535, + "learning_rate": 2.4323737373737373e-06, + "loss": 6.242805480957031, + "step": 51840 + }, + { + "epoch": 0.21745, + "grad_norm": 5.021176338195801, + "learning_rate": 2.4321212121212124e-06, + "loss": 6.273922729492187, + "step": 51845 + }, + { + "epoch": 0.2175, + "grad_norm": 8.923537254333496, + "learning_rate": 2.431868686868687e-06, + "loss": 6.265521240234375, + "step": 51850 + }, + { + "epoch": 0.21755, + "grad_norm": 5.627609729766846, + "learning_rate": 2.4316161616161616e-06, + "loss": 6.260851669311523, + "step": 51855 + }, + { + "epoch": 0.2176, + "grad_norm": 4.166629314422607, + "learning_rate": 2.4313636363636363e-06, + "loss": 6.244822311401367, + "step": 51860 + }, + { + "epoch": 0.21765, + "grad_norm": 11.774360656738281, + "learning_rate": 2.4311111111111113e-06, + "loss": 6.187360000610352, + "step": 51865 + }, + { + "epoch": 0.2177, + "grad_norm": 4.543371200561523, + "learning_rate": 2.4308585858585864e-06, + "loss": 6.2107189178466795, + "step": 51870 + }, + { + "epoch": 0.21775, + "grad_norm": 10.893338203430176, + "learning_rate": 2.430606060606061e-06, + "loss": 6.232725524902344, + "step": 51875 + }, + { + "epoch": 0.2178, + "grad_norm": 4.246333599090576, + "learning_rate": 2.4303535353535356e-06, + "loss": 6.2673297882080075, + "step": 51880 + }, + { + "epoch": 0.21785, + "grad_norm": 4.192732334136963, + "learning_rate": 2.4301010101010103e-06, + "loss": 6.296896362304688, + "step": 51885 + }, + { + "epoch": 0.2179, + "grad_norm": 4.907535076141357, + "learning_rate": 2.4298484848484853e-06, + "loss": 6.224988555908203, + "step": 51890 + }, + { + "epoch": 0.21795, + "grad_norm": 6.952675819396973, + "learning_rate": 2.42959595959596e-06, + "loss": 6.221608734130859, + "step": 51895 + }, + { + "epoch": 0.218, + "grad_norm": 5.547224998474121, + "learning_rate": 2.4293434343434346e-06, + "loss": 6.257294464111328, + "step": 51900 + }, + { + "epoch": 0.21805, + "grad_norm": 5.8282904624938965, + "learning_rate": 2.429090909090909e-06, + "loss": 6.26077880859375, + "step": 51905 + }, + { + "epoch": 0.2181, + "grad_norm": 9.379003524780273, + "learning_rate": 2.4288383838383843e-06, + "loss": 6.447900390625, + "step": 51910 + }, + { + "epoch": 0.21815, + "grad_norm": 5.2447333335876465, + "learning_rate": 2.428585858585859e-06, + "loss": 6.2692218780517575, + "step": 51915 + }, + { + "epoch": 0.2182, + "grad_norm": 7.544928550720215, + "learning_rate": 2.4283333333333335e-06, + "loss": 6.275684356689453, + "step": 51920 + }, + { + "epoch": 0.21825, + "grad_norm": 4.871537685394287, + "learning_rate": 2.428080808080808e-06, + "loss": 6.2388160705566404, + "step": 51925 + }, + { + "epoch": 0.2183, + "grad_norm": 12.420343399047852, + "learning_rate": 2.427828282828283e-06, + "loss": 6.3106742858886715, + "step": 51930 + }, + { + "epoch": 0.21835, + "grad_norm": 8.969200134277344, + "learning_rate": 2.427575757575758e-06, + "loss": 6.325507354736328, + "step": 51935 + }, + { + "epoch": 0.2184, + "grad_norm": 6.964548110961914, + "learning_rate": 2.4273232323232325e-06, + "loss": 6.245747375488281, + "step": 51940 + }, + { + "epoch": 0.21845, + "grad_norm": 10.385884284973145, + "learning_rate": 2.427070707070707e-06, + "loss": 6.290007781982422, + "step": 51945 + }, + { + "epoch": 0.2185, + "grad_norm": 13.474695205688477, + "learning_rate": 2.426818181818182e-06, + "loss": 6.314355850219727, + "step": 51950 + }, + { + "epoch": 0.21855, + "grad_norm": 7.357687473297119, + "learning_rate": 2.4265656565656568e-06, + "loss": 6.257258605957031, + "step": 51955 + }, + { + "epoch": 0.2186, + "grad_norm": 4.997838020324707, + "learning_rate": 2.426313131313132e-06, + "loss": 6.281138610839844, + "step": 51960 + }, + { + "epoch": 0.21865, + "grad_norm": 3.8668034076690674, + "learning_rate": 2.426060606060606e-06, + "loss": 6.272480773925781, + "step": 51965 + }, + { + "epoch": 0.2187, + "grad_norm": 8.707681655883789, + "learning_rate": 2.425808080808081e-06, + "loss": 6.2568412780761715, + "step": 51970 + }, + { + "epoch": 0.21875, + "grad_norm": 4.933715343475342, + "learning_rate": 2.4255555555555557e-06, + "loss": 6.243733978271484, + "step": 51975 + }, + { + "epoch": 0.2188, + "grad_norm": 3.7529752254486084, + "learning_rate": 2.4253030303030308e-06, + "loss": 6.216053771972656, + "step": 51980 + }, + { + "epoch": 0.21885, + "grad_norm": 5.028703212738037, + "learning_rate": 2.4250505050505054e-06, + "loss": 6.387085723876953, + "step": 51985 + }, + { + "epoch": 0.2189, + "grad_norm": 7.808895111083984, + "learning_rate": 2.42479797979798e-06, + "loss": 6.236086654663086, + "step": 51990 + }, + { + "epoch": 0.21895, + "grad_norm": 7.691891193389893, + "learning_rate": 2.4245454545454547e-06, + "loss": 6.255646514892578, + "step": 51995 + }, + { + "epoch": 0.219, + "grad_norm": 6.964582920074463, + "learning_rate": 2.4242929292929297e-06, + "loss": 6.202505874633789, + "step": 52000 + }, + { + "epoch": 0.21905, + "grad_norm": 6.327816486358643, + "learning_rate": 2.4240404040404043e-06, + "loss": 6.228401184082031, + "step": 52005 + }, + { + "epoch": 0.2191, + "grad_norm": 7.0051589012146, + "learning_rate": 2.423787878787879e-06, + "loss": 6.273062133789063, + "step": 52010 + }, + { + "epoch": 0.21915, + "grad_norm": 3.8174264430999756, + "learning_rate": 2.4235353535353536e-06, + "loss": 6.198336791992188, + "step": 52015 + }, + { + "epoch": 0.2192, + "grad_norm": 4.746889591217041, + "learning_rate": 2.4232828282828287e-06, + "loss": 6.249980545043945, + "step": 52020 + }, + { + "epoch": 0.21925, + "grad_norm": 3.8145382404327393, + "learning_rate": 2.4230303030303033e-06, + "loss": 6.286892318725586, + "step": 52025 + }, + { + "epoch": 0.2193, + "grad_norm": 5.756411552429199, + "learning_rate": 2.422777777777778e-06, + "loss": 6.256526947021484, + "step": 52030 + }, + { + "epoch": 0.21935, + "grad_norm": 10.363317489624023, + "learning_rate": 2.4225252525252526e-06, + "loss": 6.2958831787109375, + "step": 52035 + }, + { + "epoch": 0.2194, + "grad_norm": 5.343479633331299, + "learning_rate": 2.4222727272727276e-06, + "loss": 6.311480331420898, + "step": 52040 + }, + { + "epoch": 0.21945, + "grad_norm": 12.020803451538086, + "learning_rate": 2.4220202020202022e-06, + "loss": 6.264813232421875, + "step": 52045 + }, + { + "epoch": 0.2195, + "grad_norm": 21.358219146728516, + "learning_rate": 2.421767676767677e-06, + "loss": 6.338143157958984, + "step": 52050 + }, + { + "epoch": 0.21955, + "grad_norm": 8.32059097290039, + "learning_rate": 2.4215151515151515e-06, + "loss": 6.26324462890625, + "step": 52055 + }, + { + "epoch": 0.2196, + "grad_norm": 9.86745548248291, + "learning_rate": 2.4212626262626265e-06, + "loss": 6.215025329589844, + "step": 52060 + }, + { + "epoch": 0.21965, + "grad_norm": 6.410556316375732, + "learning_rate": 2.421010101010101e-06, + "loss": 6.27424201965332, + "step": 52065 + }, + { + "epoch": 0.2197, + "grad_norm": 5.593894004821777, + "learning_rate": 2.4207575757575762e-06, + "loss": 6.30566177368164, + "step": 52070 + }, + { + "epoch": 0.21975, + "grad_norm": 4.042796611785889, + "learning_rate": 2.4205050505050504e-06, + "loss": 6.214342880249023, + "step": 52075 + }, + { + "epoch": 0.2198, + "grad_norm": 4.265280723571777, + "learning_rate": 2.4202525252525255e-06, + "loss": 6.262898635864258, + "step": 52080 + }, + { + "epoch": 0.21985, + "grad_norm": 6.81882905960083, + "learning_rate": 2.42e-06, + "loss": 6.1835895538330075, + "step": 52085 + }, + { + "epoch": 0.2199, + "grad_norm": 20.23203468322754, + "learning_rate": 2.419747474747475e-06, + "loss": 6.45819320678711, + "step": 52090 + }, + { + "epoch": 0.21995, + "grad_norm": 9.20993709564209, + "learning_rate": 2.41949494949495e-06, + "loss": 6.216003036499023, + "step": 52095 + }, + { + "epoch": 0.22, + "grad_norm": 4.597198486328125, + "learning_rate": 2.4192424242424244e-06, + "loss": 6.273167419433594, + "step": 52100 + }, + { + "epoch": 0.22005, + "grad_norm": 7.306369781494141, + "learning_rate": 2.418989898989899e-06, + "loss": 6.232064437866211, + "step": 52105 + }, + { + "epoch": 0.2201, + "grad_norm": 6.78074836730957, + "learning_rate": 2.418737373737374e-06, + "loss": 6.214913177490234, + "step": 52110 + }, + { + "epoch": 0.22015, + "grad_norm": 19.741369247436523, + "learning_rate": 2.4184848484848488e-06, + "loss": 6.3640399932861325, + "step": 52115 + }, + { + "epoch": 0.2202, + "grad_norm": 30.509815216064453, + "learning_rate": 2.4182323232323234e-06, + "loss": 6.3917686462402346, + "step": 52120 + }, + { + "epoch": 0.22025, + "grad_norm": 15.272809982299805, + "learning_rate": 2.417979797979798e-06, + "loss": 6.301815032958984, + "step": 52125 + }, + { + "epoch": 0.2203, + "grad_norm": 12.077404975891113, + "learning_rate": 2.417727272727273e-06, + "loss": 6.355253982543945, + "step": 52130 + }, + { + "epoch": 0.22035, + "grad_norm": 6.065465927124023, + "learning_rate": 2.4174747474747477e-06, + "loss": 6.260669708251953, + "step": 52135 + }, + { + "epoch": 0.2204, + "grad_norm": 8.035653114318848, + "learning_rate": 2.4172222222222223e-06, + "loss": 6.2587028503417965, + "step": 52140 + }, + { + "epoch": 0.22045, + "grad_norm": 49.724571228027344, + "learning_rate": 2.416969696969697e-06, + "loss": 6.473872375488281, + "step": 52145 + }, + { + "epoch": 0.2205, + "grad_norm": 7.193949222564697, + "learning_rate": 2.416717171717172e-06, + "loss": 6.229759979248047, + "step": 52150 + }, + { + "epoch": 0.22055, + "grad_norm": 5.63744592666626, + "learning_rate": 2.4164646464646466e-06, + "loss": 6.2224983215332035, + "step": 52155 + }, + { + "epoch": 0.2206, + "grad_norm": 6.566977024078369, + "learning_rate": 2.4162121212121213e-06, + "loss": 6.255902862548828, + "step": 52160 + }, + { + "epoch": 0.22065, + "grad_norm": 5.562075138092041, + "learning_rate": 2.415959595959596e-06, + "loss": 6.3541923522949215, + "step": 52165 + }, + { + "epoch": 0.2207, + "grad_norm": 5.391906261444092, + "learning_rate": 2.415707070707071e-06, + "loss": 6.262410354614258, + "step": 52170 + }, + { + "epoch": 0.22075, + "grad_norm": 13.744502067565918, + "learning_rate": 2.4154545454545456e-06, + "loss": 6.277798461914062, + "step": 52175 + }, + { + "epoch": 0.2208, + "grad_norm": 16.643953323364258, + "learning_rate": 2.4152020202020206e-06, + "loss": 6.292957305908203, + "step": 52180 + }, + { + "epoch": 0.22085, + "grad_norm": 7.645695209503174, + "learning_rate": 2.414949494949495e-06, + "loss": 6.3662971496582035, + "step": 52185 + }, + { + "epoch": 0.2209, + "grad_norm": 5.700942516326904, + "learning_rate": 2.41469696969697e-06, + "loss": 6.237003326416016, + "step": 52190 + }, + { + "epoch": 0.22095, + "grad_norm": 7.921265602111816, + "learning_rate": 2.4144444444444445e-06, + "loss": 6.292901229858399, + "step": 52195 + }, + { + "epoch": 0.221, + "grad_norm": 14.05720043182373, + "learning_rate": 2.4141919191919196e-06, + "loss": 6.388654327392578, + "step": 52200 + }, + { + "epoch": 0.22105, + "grad_norm": 26.146926879882812, + "learning_rate": 2.413939393939394e-06, + "loss": 6.324885559082031, + "step": 52205 + }, + { + "epoch": 0.2211, + "grad_norm": 4.943215847015381, + "learning_rate": 2.413686868686869e-06, + "loss": 6.1567119598388675, + "step": 52210 + }, + { + "epoch": 0.22115, + "grad_norm": 4.00844669342041, + "learning_rate": 2.4134343434343435e-06, + "loss": 6.226755523681641, + "step": 52215 + }, + { + "epoch": 0.2212, + "grad_norm": 17.918228149414062, + "learning_rate": 2.4131818181818185e-06, + "loss": 6.357913589477539, + "step": 52220 + }, + { + "epoch": 0.22125, + "grad_norm": 6.752430438995361, + "learning_rate": 2.412929292929293e-06, + "loss": 6.309234619140625, + "step": 52225 + }, + { + "epoch": 0.2213, + "grad_norm": 9.448173522949219, + "learning_rate": 2.4126767676767678e-06, + "loss": 6.20665168762207, + "step": 52230 + }, + { + "epoch": 0.22135, + "grad_norm": 5.233664512634277, + "learning_rate": 2.4124242424242424e-06, + "loss": 6.250830841064453, + "step": 52235 + }, + { + "epoch": 0.2214, + "grad_norm": 6.172515392303467, + "learning_rate": 2.4121717171717175e-06, + "loss": 6.280794906616211, + "step": 52240 + }, + { + "epoch": 0.22145, + "grad_norm": 5.997997760772705, + "learning_rate": 2.411919191919192e-06, + "loss": 6.246550750732422, + "step": 52245 + }, + { + "epoch": 0.2215, + "grad_norm": 5.694090843200684, + "learning_rate": 2.4116666666666667e-06, + "loss": 6.284852981567383, + "step": 52250 + }, + { + "epoch": 0.22155, + "grad_norm": 9.08346176147461, + "learning_rate": 2.4114141414141414e-06, + "loss": 6.272308349609375, + "step": 52255 + }, + { + "epoch": 0.2216, + "grad_norm": 8.893693923950195, + "learning_rate": 2.4111616161616164e-06, + "loss": 6.297735977172851, + "step": 52260 + }, + { + "epoch": 0.22165, + "grad_norm": 4.681769371032715, + "learning_rate": 2.410909090909091e-06, + "loss": 6.336763381958008, + "step": 52265 + }, + { + "epoch": 0.2217, + "grad_norm": 4.781570911407471, + "learning_rate": 2.4106565656565657e-06, + "loss": 6.288786315917969, + "step": 52270 + }, + { + "epoch": 0.22175, + "grad_norm": 8.420703887939453, + "learning_rate": 2.4104040404040403e-06, + "loss": 6.302719497680664, + "step": 52275 + }, + { + "epoch": 0.2218, + "grad_norm": 5.59239387512207, + "learning_rate": 2.4101515151515154e-06, + "loss": 6.2652019500732425, + "step": 52280 + }, + { + "epoch": 0.22185, + "grad_norm": 9.888558387756348, + "learning_rate": 2.40989898989899e-06, + "loss": 6.179604721069336, + "step": 52285 + }, + { + "epoch": 0.2219, + "grad_norm": 7.0468244552612305, + "learning_rate": 2.409646464646465e-06, + "loss": 6.2230377197265625, + "step": 52290 + }, + { + "epoch": 0.22195, + "grad_norm": 19.38671112060547, + "learning_rate": 2.4093939393939397e-06, + "loss": 6.278894424438477, + "step": 52295 + }, + { + "epoch": 0.222, + "grad_norm": 3.208070755004883, + "learning_rate": 2.4091414141414143e-06, + "loss": 6.273501205444336, + "step": 52300 + }, + { + "epoch": 0.22205, + "grad_norm": 6.409883499145508, + "learning_rate": 2.4088888888888894e-06, + "loss": 6.227059936523437, + "step": 52305 + }, + { + "epoch": 0.2221, + "grad_norm": 4.8205952644348145, + "learning_rate": 2.408636363636364e-06, + "loss": 6.272169494628907, + "step": 52310 + }, + { + "epoch": 0.22215, + "grad_norm": 4.420736789703369, + "learning_rate": 2.4083838383838386e-06, + "loss": 6.273876190185547, + "step": 52315 + }, + { + "epoch": 0.2222, + "grad_norm": 6.323145866394043, + "learning_rate": 2.4081313131313132e-06, + "loss": 6.275417327880859, + "step": 52320 + }, + { + "epoch": 0.22225, + "grad_norm": 6.058994293212891, + "learning_rate": 2.4078787878787883e-06, + "loss": 6.248202514648438, + "step": 52325 + }, + { + "epoch": 0.2223, + "grad_norm": 6.7446489334106445, + "learning_rate": 2.407626262626263e-06, + "loss": 6.2396892547607425, + "step": 52330 + }, + { + "epoch": 0.22235, + "grad_norm": 6.229366779327393, + "learning_rate": 2.4073737373737376e-06, + "loss": 6.284923553466797, + "step": 52335 + }, + { + "epoch": 0.2224, + "grad_norm": 7.116120338439941, + "learning_rate": 2.407121212121212e-06, + "loss": 6.239521026611328, + "step": 52340 + }, + { + "epoch": 0.22245, + "grad_norm": 7.445160388946533, + "learning_rate": 2.4068686868686872e-06, + "loss": 6.2539207458496096, + "step": 52345 + }, + { + "epoch": 0.2225, + "grad_norm": 7.2294602394104, + "learning_rate": 2.406616161616162e-06, + "loss": 6.21704330444336, + "step": 52350 + }, + { + "epoch": 0.22255, + "grad_norm": 6.60988187789917, + "learning_rate": 2.4063636363636365e-06, + "loss": 6.283073806762696, + "step": 52355 + }, + { + "epoch": 0.2226, + "grad_norm": 6.505133152008057, + "learning_rate": 2.406111111111111e-06, + "loss": 6.230160522460937, + "step": 52360 + }, + { + "epoch": 0.22265, + "grad_norm": 7.273616790771484, + "learning_rate": 2.405858585858586e-06, + "loss": 6.249753952026367, + "step": 52365 + }, + { + "epoch": 0.2227, + "grad_norm": 8.286860466003418, + "learning_rate": 2.405606060606061e-06, + "loss": 6.322494125366211, + "step": 52370 + }, + { + "epoch": 0.22275, + "grad_norm": 4.053256034851074, + "learning_rate": 2.405353535353536e-06, + "loss": 6.23491096496582, + "step": 52375 + }, + { + "epoch": 0.2228, + "grad_norm": 7.525416374206543, + "learning_rate": 2.40510101010101e-06, + "loss": 6.296028137207031, + "step": 52380 + }, + { + "epoch": 0.22285, + "grad_norm": 10.349153518676758, + "learning_rate": 2.404848484848485e-06, + "loss": 6.262926483154297, + "step": 52385 + }, + { + "epoch": 0.2229, + "grad_norm": 3.75951886177063, + "learning_rate": 2.4045959595959598e-06, + "loss": 6.235081481933594, + "step": 52390 + }, + { + "epoch": 0.22295, + "grad_norm": 6.216642379760742, + "learning_rate": 2.404343434343435e-06, + "loss": 6.787730407714844, + "step": 52395 + }, + { + "epoch": 0.223, + "grad_norm": 4.174787521362305, + "learning_rate": 2.4040909090909094e-06, + "loss": 6.245485305786133, + "step": 52400 + }, + { + "epoch": 0.22305, + "grad_norm": 6.476919651031494, + "learning_rate": 2.403838383838384e-06, + "loss": 6.24810676574707, + "step": 52405 + }, + { + "epoch": 0.2231, + "grad_norm": 4.582688808441162, + "learning_rate": 2.4035858585858587e-06, + "loss": 6.246949005126953, + "step": 52410 + }, + { + "epoch": 0.22315, + "grad_norm": 30.439302444458008, + "learning_rate": 2.4033333333333338e-06, + "loss": 6.451053619384766, + "step": 52415 + }, + { + "epoch": 0.2232, + "grad_norm": 6.949732303619385, + "learning_rate": 2.4030808080808084e-06, + "loss": 6.227011108398438, + "step": 52420 + }, + { + "epoch": 0.22325, + "grad_norm": 11.689817428588867, + "learning_rate": 2.402828282828283e-06, + "loss": 6.30840835571289, + "step": 52425 + }, + { + "epoch": 0.2233, + "grad_norm": 7.20681095123291, + "learning_rate": 2.4025757575757576e-06, + "loss": 6.332405853271484, + "step": 52430 + }, + { + "epoch": 0.22335, + "grad_norm": 5.264900207519531, + "learning_rate": 2.4023232323232327e-06, + "loss": 6.244171142578125, + "step": 52435 + }, + { + "epoch": 0.2234, + "grad_norm": 6.060609340667725, + "learning_rate": 2.4020707070707073e-06, + "loss": 6.253787231445313, + "step": 52440 + }, + { + "epoch": 0.22345, + "grad_norm": 7.827465057373047, + "learning_rate": 2.401818181818182e-06, + "loss": 6.194804763793945, + "step": 52445 + }, + { + "epoch": 0.2235, + "grad_norm": 6.772429466247559, + "learning_rate": 2.4015656565656566e-06, + "loss": 6.292319488525391, + "step": 52450 + }, + { + "epoch": 0.22355, + "grad_norm": 4.152464866638184, + "learning_rate": 2.4013131313131316e-06, + "loss": 6.315704345703125, + "step": 52455 + }, + { + "epoch": 0.2236, + "grad_norm": 4.157100200653076, + "learning_rate": 2.4010606060606063e-06, + "loss": 6.338651275634765, + "step": 52460 + }, + { + "epoch": 0.22365, + "grad_norm": 3.6980674266815186, + "learning_rate": 2.400808080808081e-06, + "loss": 6.241244888305664, + "step": 52465 + }, + { + "epoch": 0.2237, + "grad_norm": 10.671826362609863, + "learning_rate": 2.4005555555555555e-06, + "loss": 6.20008544921875, + "step": 52470 + }, + { + "epoch": 0.22375, + "grad_norm": 5.250607967376709, + "learning_rate": 2.4003030303030306e-06, + "loss": 6.218241119384766, + "step": 52475 + }, + { + "epoch": 0.2238, + "grad_norm": 10.552903175354004, + "learning_rate": 2.4000505050505052e-06, + "loss": 6.247449493408203, + "step": 52480 + }, + { + "epoch": 0.22385, + "grad_norm": 7.499432563781738, + "learning_rate": 2.3997979797979803e-06, + "loss": 6.285411834716797, + "step": 52485 + }, + { + "epoch": 0.2239, + "grad_norm": 14.826802253723145, + "learning_rate": 2.3995454545454545e-06, + "loss": 6.227261734008789, + "step": 52490 + }, + { + "epoch": 0.22395, + "grad_norm": 6.328614711761475, + "learning_rate": 2.3992929292929295e-06, + "loss": 6.244483184814453, + "step": 52495 + }, + { + "epoch": 0.224, + "grad_norm": 7.11382532119751, + "learning_rate": 2.399040404040404e-06, + "loss": 6.3098197937011715, + "step": 52500 + }, + { + "epoch": 0.22405, + "grad_norm": 9.61953067779541, + "learning_rate": 2.3987878787878792e-06, + "loss": 6.271946716308594, + "step": 52505 + }, + { + "epoch": 0.2241, + "grad_norm": 10.57318115234375, + "learning_rate": 2.398535353535354e-06, + "loss": 6.249549102783203, + "step": 52510 + }, + { + "epoch": 0.22415, + "grad_norm": 7.503575801849365, + "learning_rate": 2.3982828282828285e-06, + "loss": 6.266286849975586, + "step": 52515 + }, + { + "epoch": 0.2242, + "grad_norm": 15.080215454101562, + "learning_rate": 2.398030303030303e-06, + "loss": 6.271240997314453, + "step": 52520 + }, + { + "epoch": 0.22425, + "grad_norm": 7.887917995452881, + "learning_rate": 2.397777777777778e-06, + "loss": 6.234103012084961, + "step": 52525 + }, + { + "epoch": 0.2243, + "grad_norm": 5.501219272613525, + "learning_rate": 2.397525252525253e-06, + "loss": 6.294393920898438, + "step": 52530 + }, + { + "epoch": 0.22435, + "grad_norm": 4.195410251617432, + "learning_rate": 2.3972727272727274e-06, + "loss": 6.2273204803466795, + "step": 52535 + }, + { + "epoch": 0.2244, + "grad_norm": 8.947026252746582, + "learning_rate": 2.397020202020202e-06, + "loss": 6.2533424377441404, + "step": 52540 + }, + { + "epoch": 0.22445, + "grad_norm": 5.914705753326416, + "learning_rate": 2.396767676767677e-06, + "loss": 6.238822174072266, + "step": 52545 + }, + { + "epoch": 0.2245, + "grad_norm": 4.751138687133789, + "learning_rate": 2.3965151515151517e-06, + "loss": 6.259105682373047, + "step": 52550 + }, + { + "epoch": 0.22455, + "grad_norm": 6.736328601837158, + "learning_rate": 2.3962626262626264e-06, + "loss": 6.256004714965821, + "step": 52555 + }, + { + "epoch": 0.2246, + "grad_norm": 14.608474731445312, + "learning_rate": 2.396010101010101e-06, + "loss": 6.287939834594726, + "step": 52560 + }, + { + "epoch": 0.22465, + "grad_norm": 17.376588821411133, + "learning_rate": 2.395757575757576e-06, + "loss": 6.255207824707031, + "step": 52565 + }, + { + "epoch": 0.2247, + "grad_norm": 8.189092636108398, + "learning_rate": 2.3955050505050507e-06, + "loss": 6.239899063110352, + "step": 52570 + }, + { + "epoch": 0.22475, + "grad_norm": 14.042427062988281, + "learning_rate": 2.3952525252525253e-06, + "loss": 6.235666275024414, + "step": 52575 + }, + { + "epoch": 0.2248, + "grad_norm": 9.25808048248291, + "learning_rate": 2.395e-06, + "loss": 6.364173889160156, + "step": 52580 + }, + { + "epoch": 0.22485, + "grad_norm": 7.4218573570251465, + "learning_rate": 2.394747474747475e-06, + "loss": 6.29021987915039, + "step": 52585 + }, + { + "epoch": 0.2249, + "grad_norm": 4.790729999542236, + "learning_rate": 2.3944949494949496e-06, + "loss": 6.234141540527344, + "step": 52590 + }, + { + "epoch": 0.22495, + "grad_norm": 7.637439727783203, + "learning_rate": 2.3942424242424247e-06, + "loss": 6.238411331176758, + "step": 52595 + }, + { + "epoch": 0.225, + "grad_norm": 9.547316551208496, + "learning_rate": 2.393989898989899e-06, + "loss": 6.263449859619141, + "step": 52600 + }, + { + "epoch": 0.22505, + "grad_norm": 4.560067176818848, + "learning_rate": 2.393737373737374e-06, + "loss": 6.326532363891602, + "step": 52605 + }, + { + "epoch": 0.2251, + "grad_norm": 11.905479431152344, + "learning_rate": 2.3934848484848486e-06, + "loss": 6.2998603820800785, + "step": 52610 + }, + { + "epoch": 0.22515, + "grad_norm": 13.626678466796875, + "learning_rate": 2.3932323232323236e-06, + "loss": 6.165707778930664, + "step": 52615 + }, + { + "epoch": 0.2252, + "grad_norm": 6.242610931396484, + "learning_rate": 2.3929797979797983e-06, + "loss": 6.224074935913086, + "step": 52620 + }, + { + "epoch": 0.22525, + "grad_norm": 5.712303638458252, + "learning_rate": 2.392727272727273e-06, + "loss": 6.296954727172851, + "step": 52625 + }, + { + "epoch": 0.2253, + "grad_norm": 4.94373083114624, + "learning_rate": 2.3924747474747475e-06, + "loss": 6.256424331665039, + "step": 52630 + }, + { + "epoch": 0.22535, + "grad_norm": 6.344763278961182, + "learning_rate": 2.3922222222222226e-06, + "loss": 6.1864372253417965, + "step": 52635 + }, + { + "epoch": 0.2254, + "grad_norm": 5.548081398010254, + "learning_rate": 2.391969696969697e-06, + "loss": 6.2420166015625, + "step": 52640 + }, + { + "epoch": 0.22545, + "grad_norm": 4.895356178283691, + "learning_rate": 2.391717171717172e-06, + "loss": 6.2474109649658205, + "step": 52645 + }, + { + "epoch": 0.2255, + "grad_norm": 11.65735149383545, + "learning_rate": 2.3914646464646465e-06, + "loss": 6.27282485961914, + "step": 52650 + }, + { + "epoch": 0.22555, + "grad_norm": 42.26799011230469, + "learning_rate": 2.3912121212121215e-06, + "loss": 6.296435928344726, + "step": 52655 + }, + { + "epoch": 0.2256, + "grad_norm": 6.696413040161133, + "learning_rate": 2.390959595959596e-06, + "loss": 6.260096740722656, + "step": 52660 + }, + { + "epoch": 0.22565, + "grad_norm": 16.01081657409668, + "learning_rate": 2.3907070707070708e-06, + "loss": 6.362845611572266, + "step": 52665 + }, + { + "epoch": 0.2257, + "grad_norm": 6.042580604553223, + "learning_rate": 2.3904545454545454e-06, + "loss": 6.283415985107422, + "step": 52670 + }, + { + "epoch": 0.22575, + "grad_norm": 5.382635116577148, + "learning_rate": 2.3902020202020205e-06, + "loss": 6.203421401977539, + "step": 52675 + }, + { + "epoch": 0.2258, + "grad_norm": 6.98234748840332, + "learning_rate": 2.389949494949495e-06, + "loss": 6.241590881347657, + "step": 52680 + }, + { + "epoch": 0.22585, + "grad_norm": 5.9295220375061035, + "learning_rate": 2.3896969696969697e-06, + "loss": 6.2411048889160154, + "step": 52685 + }, + { + "epoch": 0.2259, + "grad_norm": 12.870237350463867, + "learning_rate": 2.3894444444444443e-06, + "loss": 6.284702301025391, + "step": 52690 + }, + { + "epoch": 0.22595, + "grad_norm": 5.940826892852783, + "learning_rate": 2.3891919191919194e-06, + "loss": 6.289900207519532, + "step": 52695 + }, + { + "epoch": 0.226, + "grad_norm": 6.892583847045898, + "learning_rate": 2.388939393939394e-06, + "loss": 6.264262390136719, + "step": 52700 + }, + { + "epoch": 0.22605, + "grad_norm": 4.7045817375183105, + "learning_rate": 2.388686868686869e-06, + "loss": 6.310009384155274, + "step": 52705 + }, + { + "epoch": 0.2261, + "grad_norm": 5.509156703948975, + "learning_rate": 2.3884343434343433e-06, + "loss": 6.217286682128906, + "step": 52710 + }, + { + "epoch": 0.22615, + "grad_norm": 5.08131742477417, + "learning_rate": 2.3881818181818183e-06, + "loss": 6.24029312133789, + "step": 52715 + }, + { + "epoch": 0.2262, + "grad_norm": 2.949183225631714, + "learning_rate": 2.3879292929292934e-06, + "loss": 6.287076568603515, + "step": 52720 + }, + { + "epoch": 0.22625, + "grad_norm": 4.732574462890625, + "learning_rate": 2.387676767676768e-06, + "loss": 6.259012603759766, + "step": 52725 + }, + { + "epoch": 0.2263, + "grad_norm": 6.7884416580200195, + "learning_rate": 2.3874242424242427e-06, + "loss": 6.093778991699219, + "step": 52730 + }, + { + "epoch": 0.22635, + "grad_norm": 5.899266719818115, + "learning_rate": 2.3871717171717173e-06, + "loss": 6.253596496582031, + "step": 52735 + }, + { + "epoch": 0.2264, + "grad_norm": 3.816175937652588, + "learning_rate": 2.3869191919191923e-06, + "loss": 6.228401565551758, + "step": 52740 + }, + { + "epoch": 0.22645, + "grad_norm": 6.019454479217529, + "learning_rate": 2.386666666666667e-06, + "loss": 6.255288696289062, + "step": 52745 + }, + { + "epoch": 0.2265, + "grad_norm": 3.8804025650024414, + "learning_rate": 2.3864141414141416e-06, + "loss": 6.24297866821289, + "step": 52750 + }, + { + "epoch": 0.22655, + "grad_norm": 4.743251800537109, + "learning_rate": 2.3861616161616162e-06, + "loss": 6.253774261474609, + "step": 52755 + }, + { + "epoch": 0.2266, + "grad_norm": 4.305018901824951, + "learning_rate": 2.3859090909090913e-06, + "loss": 6.274639129638672, + "step": 52760 + }, + { + "epoch": 0.22665, + "grad_norm": 3.2332372665405273, + "learning_rate": 2.385656565656566e-06, + "loss": 6.238309097290039, + "step": 52765 + }, + { + "epoch": 0.2267, + "grad_norm": 19.700927734375, + "learning_rate": 2.3854040404040405e-06, + "loss": 6.268733215332031, + "step": 52770 + }, + { + "epoch": 0.22675, + "grad_norm": 10.268705368041992, + "learning_rate": 2.385151515151515e-06, + "loss": 6.306632995605469, + "step": 52775 + }, + { + "epoch": 0.2268, + "grad_norm": 7.965517044067383, + "learning_rate": 2.3848989898989902e-06, + "loss": 6.271483612060547, + "step": 52780 + }, + { + "epoch": 0.22685, + "grad_norm": 9.208451271057129, + "learning_rate": 2.384646464646465e-06, + "loss": 6.544108581542969, + "step": 52785 + }, + { + "epoch": 0.2269, + "grad_norm": 6.381935119628906, + "learning_rate": 2.38439393939394e-06, + "loss": 6.268777847290039, + "step": 52790 + }, + { + "epoch": 0.22695, + "grad_norm": 5.593729496002197, + "learning_rate": 2.384141414141414e-06, + "loss": 6.272514724731446, + "step": 52795 + }, + { + "epoch": 0.227, + "grad_norm": 7.758678436279297, + "learning_rate": 2.383888888888889e-06, + "loss": 6.2687225341796875, + "step": 52800 + }, + { + "epoch": 0.22705, + "grad_norm": 6.1352667808532715, + "learning_rate": 2.383636363636364e-06, + "loss": 6.276731491088867, + "step": 52805 + }, + { + "epoch": 0.2271, + "grad_norm": 18.912921905517578, + "learning_rate": 2.383383838383839e-06, + "loss": 6.365979385375977, + "step": 52810 + }, + { + "epoch": 0.22715, + "grad_norm": 5.295742511749268, + "learning_rate": 2.3831313131313135e-06, + "loss": 6.232402420043945, + "step": 52815 + }, + { + "epoch": 0.2272, + "grad_norm": 6.725299835205078, + "learning_rate": 2.382878787878788e-06, + "loss": 6.249851226806641, + "step": 52820 + }, + { + "epoch": 0.22725, + "grad_norm": 8.051712036132812, + "learning_rate": 2.3826262626262627e-06, + "loss": 6.280692672729492, + "step": 52825 + }, + { + "epoch": 0.2273, + "grad_norm": 6.897154808044434, + "learning_rate": 2.382373737373738e-06, + "loss": 6.256839370727539, + "step": 52830 + }, + { + "epoch": 0.22735, + "grad_norm": 4.368690490722656, + "learning_rate": 2.3821212121212124e-06, + "loss": 6.1983589172363285, + "step": 52835 + }, + { + "epoch": 0.2274, + "grad_norm": 7.282412052154541, + "learning_rate": 2.381868686868687e-06, + "loss": 6.211429595947266, + "step": 52840 + }, + { + "epoch": 0.22745, + "grad_norm": 7.026226043701172, + "learning_rate": 2.3816161616161617e-06, + "loss": 6.24368896484375, + "step": 52845 + }, + { + "epoch": 0.2275, + "grad_norm": 15.75161075592041, + "learning_rate": 2.3813636363636367e-06, + "loss": 6.237217712402344, + "step": 52850 + }, + { + "epoch": 0.22755, + "grad_norm": 6.978920936584473, + "learning_rate": 2.3811111111111114e-06, + "loss": 6.2814075469970705, + "step": 52855 + }, + { + "epoch": 0.2276, + "grad_norm": 5.276544094085693, + "learning_rate": 2.380858585858586e-06, + "loss": 6.234728240966797, + "step": 52860 + }, + { + "epoch": 0.22765, + "grad_norm": 9.062911987304688, + "learning_rate": 2.3806060606060606e-06, + "loss": 6.330411911010742, + "step": 52865 + }, + { + "epoch": 0.2277, + "grad_norm": 6.460860729217529, + "learning_rate": 2.3803535353535357e-06, + "loss": 6.295930099487305, + "step": 52870 + }, + { + "epoch": 0.22775, + "grad_norm": 7.033974647521973, + "learning_rate": 2.3801010101010103e-06, + "loss": 6.249566650390625, + "step": 52875 + }, + { + "epoch": 0.2278, + "grad_norm": 5.7318010330200195, + "learning_rate": 2.379848484848485e-06, + "loss": 6.244935989379883, + "step": 52880 + }, + { + "epoch": 0.22785, + "grad_norm": 11.033978462219238, + "learning_rate": 2.3795959595959596e-06, + "loss": 6.241049194335938, + "step": 52885 + }, + { + "epoch": 0.2279, + "grad_norm": 8.877074241638184, + "learning_rate": 2.3793434343434346e-06, + "loss": 6.316382980346679, + "step": 52890 + }, + { + "epoch": 0.22795, + "grad_norm": 4.7265944480896, + "learning_rate": 2.3790909090909093e-06, + "loss": 6.270899963378906, + "step": 52895 + }, + { + "epoch": 0.228, + "grad_norm": 10.41481876373291, + "learning_rate": 2.3788383838383843e-06, + "loss": 6.263525009155273, + "step": 52900 + }, + { + "epoch": 0.22805, + "grad_norm": 14.487459182739258, + "learning_rate": 2.3785858585858585e-06, + "loss": 6.360616302490234, + "step": 52905 + }, + { + "epoch": 0.2281, + "grad_norm": 8.722671508789062, + "learning_rate": 2.3783333333333336e-06, + "loss": 6.2024188995361325, + "step": 52910 + }, + { + "epoch": 0.22815, + "grad_norm": 5.225551128387451, + "learning_rate": 2.378080808080808e-06, + "loss": 6.219288635253906, + "step": 52915 + }, + { + "epoch": 0.2282, + "grad_norm": 7.050472736358643, + "learning_rate": 2.3778282828282833e-06, + "loss": 6.2775623321533205, + "step": 52920 + }, + { + "epoch": 0.22825, + "grad_norm": 6.2340474128723145, + "learning_rate": 2.377575757575758e-06, + "loss": 6.271038818359375, + "step": 52925 + }, + { + "epoch": 0.2283, + "grad_norm": 22.0024471282959, + "learning_rate": 2.3773232323232325e-06, + "loss": 6.297608947753906, + "step": 52930 + }, + { + "epoch": 0.22835, + "grad_norm": 8.659248352050781, + "learning_rate": 2.377070707070707e-06, + "loss": 6.1948810577392575, + "step": 52935 + }, + { + "epoch": 0.2284, + "grad_norm": 7.3813629150390625, + "learning_rate": 2.376818181818182e-06, + "loss": 6.309517669677734, + "step": 52940 + }, + { + "epoch": 0.22845, + "grad_norm": 7.237553596496582, + "learning_rate": 2.376565656565657e-06, + "loss": 6.318824005126953, + "step": 52945 + }, + { + "epoch": 0.2285, + "grad_norm": 5.929116725921631, + "learning_rate": 2.3763131313131315e-06, + "loss": 6.292051696777344, + "step": 52950 + }, + { + "epoch": 0.22855, + "grad_norm": 5.5734405517578125, + "learning_rate": 2.376060606060606e-06, + "loss": 6.246417236328125, + "step": 52955 + }, + { + "epoch": 0.2286, + "grad_norm": 7.698760032653809, + "learning_rate": 2.375808080808081e-06, + "loss": 6.254170227050781, + "step": 52960 + }, + { + "epoch": 0.22865, + "grad_norm": 3.9026644229888916, + "learning_rate": 2.3755555555555558e-06, + "loss": 6.257820892333984, + "step": 52965 + }, + { + "epoch": 0.2287, + "grad_norm": 7.1406731605529785, + "learning_rate": 2.3753030303030304e-06, + "loss": 6.272229766845703, + "step": 52970 + }, + { + "epoch": 0.22875, + "grad_norm": 4.415365695953369, + "learning_rate": 2.375050505050505e-06, + "loss": 6.238120651245117, + "step": 52975 + }, + { + "epoch": 0.2288, + "grad_norm": 8.99929141998291, + "learning_rate": 2.37479797979798e-06, + "loss": 6.270860290527343, + "step": 52980 + }, + { + "epoch": 0.22885, + "grad_norm": 7.235668182373047, + "learning_rate": 2.3745454545454547e-06, + "loss": 6.243309783935547, + "step": 52985 + }, + { + "epoch": 0.2289, + "grad_norm": 3.673187732696533, + "learning_rate": 2.3742929292929293e-06, + "loss": 6.24022331237793, + "step": 52990 + }, + { + "epoch": 0.22895, + "grad_norm": 3.975358247756958, + "learning_rate": 2.374040404040404e-06, + "loss": 6.247119903564453, + "step": 52995 + }, + { + "epoch": 0.229, + "grad_norm": 22.765533447265625, + "learning_rate": 2.373787878787879e-06, + "loss": 6.247616958618164, + "step": 53000 + }, + { + "epoch": 0.22905, + "grad_norm": 4.613255023956299, + "learning_rate": 2.3735353535353537e-06, + "loss": 6.272881698608399, + "step": 53005 + }, + { + "epoch": 0.2291, + "grad_norm": 10.496294021606445, + "learning_rate": 2.3732828282828287e-06, + "loss": 6.2448783874511715, + "step": 53010 + }, + { + "epoch": 0.22915, + "grad_norm": 5.510524749755859, + "learning_rate": 2.373030303030303e-06, + "loss": 6.244981384277343, + "step": 53015 + }, + { + "epoch": 0.2292, + "grad_norm": 7.0647077560424805, + "learning_rate": 2.372777777777778e-06, + "loss": 6.289427185058594, + "step": 53020 + }, + { + "epoch": 0.22925, + "grad_norm": 6.648190975189209, + "learning_rate": 2.3725252525252526e-06, + "loss": 6.268463516235352, + "step": 53025 + }, + { + "epoch": 0.2293, + "grad_norm": 4.701155185699463, + "learning_rate": 2.3722727272727277e-06, + "loss": 6.218289184570312, + "step": 53030 + }, + { + "epoch": 0.22935, + "grad_norm": 11.808871269226074, + "learning_rate": 2.3720202020202023e-06, + "loss": 6.221478271484375, + "step": 53035 + }, + { + "epoch": 0.2294, + "grad_norm": 8.761188507080078, + "learning_rate": 2.371767676767677e-06, + "loss": 6.223453140258789, + "step": 53040 + }, + { + "epoch": 0.22945, + "grad_norm": 7.281553745269775, + "learning_rate": 2.3715151515151516e-06, + "loss": 6.233318710327149, + "step": 53045 + }, + { + "epoch": 0.2295, + "grad_norm": 7.76390266418457, + "learning_rate": 2.3712626262626266e-06, + "loss": 6.28691291809082, + "step": 53050 + }, + { + "epoch": 0.22955, + "grad_norm": 6.370750904083252, + "learning_rate": 2.3710101010101012e-06, + "loss": 6.213009643554687, + "step": 53055 + }, + { + "epoch": 0.2296, + "grad_norm": 7.755419731140137, + "learning_rate": 2.370757575757576e-06, + "loss": 6.260792541503906, + "step": 53060 + }, + { + "epoch": 0.22965, + "grad_norm": 8.515199661254883, + "learning_rate": 2.3705050505050505e-06, + "loss": 6.2456916809082035, + "step": 53065 + }, + { + "epoch": 0.2297, + "grad_norm": 6.36236572265625, + "learning_rate": 2.3702525252525255e-06, + "loss": 6.2869110107421875, + "step": 53070 + }, + { + "epoch": 0.22975, + "grad_norm": 8.818909645080566, + "learning_rate": 2.37e-06, + "loss": 6.225117874145508, + "step": 53075 + }, + { + "epoch": 0.2298, + "grad_norm": 5.314656734466553, + "learning_rate": 2.369747474747475e-06, + "loss": 6.240492248535157, + "step": 53080 + }, + { + "epoch": 0.22985, + "grad_norm": 21.82257652282715, + "learning_rate": 2.3694949494949494e-06, + "loss": 6.348095703125, + "step": 53085 + }, + { + "epoch": 0.2299, + "grad_norm": 5.875729560852051, + "learning_rate": 2.3692424242424245e-06, + "loss": 6.307929992675781, + "step": 53090 + }, + { + "epoch": 0.22995, + "grad_norm": 8.912537574768066, + "learning_rate": 2.368989898989899e-06, + "loss": 6.235069656372071, + "step": 53095 + }, + { + "epoch": 0.23, + "grad_norm": 17.402099609375, + "learning_rate": 2.3687373737373738e-06, + "loss": 6.496294403076172, + "step": 53100 + }, + { + "epoch": 0.23005, + "grad_norm": 8.835875511169434, + "learning_rate": 2.3684848484848484e-06, + "loss": 6.345256805419922, + "step": 53105 + }, + { + "epoch": 0.2301, + "grad_norm": 8.79249095916748, + "learning_rate": 2.3682323232323234e-06, + "loss": 6.302012252807617, + "step": 53110 + }, + { + "epoch": 0.23015, + "grad_norm": 7.064168930053711, + "learning_rate": 2.367979797979798e-06, + "loss": 6.245014572143555, + "step": 53115 + }, + { + "epoch": 0.2302, + "grad_norm": 6.717340469360352, + "learning_rate": 2.367727272727273e-06, + "loss": 6.2440650939941404, + "step": 53120 + }, + { + "epoch": 0.23025, + "grad_norm": 6.546894073486328, + "learning_rate": 2.3674747474747473e-06, + "loss": 6.0848442077636715, + "step": 53125 + }, + { + "epoch": 0.2303, + "grad_norm": 7.849869251251221, + "learning_rate": 2.3672222222222224e-06, + "loss": 6.210033416748047, + "step": 53130 + }, + { + "epoch": 0.23035, + "grad_norm": 8.853202819824219, + "learning_rate": 2.366969696969697e-06, + "loss": 6.308766937255859, + "step": 53135 + }, + { + "epoch": 0.2304, + "grad_norm": 8.410033226013184, + "learning_rate": 2.366717171717172e-06, + "loss": 6.237578964233398, + "step": 53140 + }, + { + "epoch": 0.23045, + "grad_norm": 5.213444709777832, + "learning_rate": 2.3664646464646467e-06, + "loss": 6.262342834472657, + "step": 53145 + }, + { + "epoch": 0.2305, + "grad_norm": 7.316669464111328, + "learning_rate": 2.3662121212121213e-06, + "loss": 6.256608581542968, + "step": 53150 + }, + { + "epoch": 0.23055, + "grad_norm": 9.157419204711914, + "learning_rate": 2.3659595959595964e-06, + "loss": 6.269996261596679, + "step": 53155 + }, + { + "epoch": 0.2306, + "grad_norm": 5.823645114898682, + "learning_rate": 2.365707070707071e-06, + "loss": 6.515411376953125, + "step": 53160 + }, + { + "epoch": 0.23065, + "grad_norm": 7.314699172973633, + "learning_rate": 2.3654545454545456e-06, + "loss": 6.3220161437988285, + "step": 53165 + }, + { + "epoch": 0.2307, + "grad_norm": 8.216435432434082, + "learning_rate": 2.3652020202020203e-06, + "loss": 6.295036315917969, + "step": 53170 + }, + { + "epoch": 0.23075, + "grad_norm": 7.999406337738037, + "learning_rate": 2.3649494949494953e-06, + "loss": 6.289308166503906, + "step": 53175 + }, + { + "epoch": 0.2308, + "grad_norm": 12.799994468688965, + "learning_rate": 2.36469696969697e-06, + "loss": 6.24447021484375, + "step": 53180 + }, + { + "epoch": 0.23085, + "grad_norm": 4.691068172454834, + "learning_rate": 2.3644444444444446e-06, + "loss": 6.273946380615234, + "step": 53185 + }, + { + "epoch": 0.2309, + "grad_norm": 7.560248851776123, + "learning_rate": 2.3641919191919192e-06, + "loss": 6.263804244995117, + "step": 53190 + }, + { + "epoch": 0.23095, + "grad_norm": 4.034327983856201, + "learning_rate": 2.3639393939393943e-06, + "loss": 6.273004531860352, + "step": 53195 + }, + { + "epoch": 0.231, + "grad_norm": 14.23069953918457, + "learning_rate": 2.363686868686869e-06, + "loss": 6.483370208740235, + "step": 53200 + }, + { + "epoch": 0.23105, + "grad_norm": 8.343323707580566, + "learning_rate": 2.363434343434344e-06, + "loss": 6.366194534301758, + "step": 53205 + }, + { + "epoch": 0.2311, + "grad_norm": 7.490577220916748, + "learning_rate": 2.363181818181818e-06, + "loss": 6.240438842773438, + "step": 53210 + }, + { + "epoch": 0.23115, + "grad_norm": 6.203300952911377, + "learning_rate": 2.362929292929293e-06, + "loss": 6.272561264038086, + "step": 53215 + }, + { + "epoch": 0.2312, + "grad_norm": 5.420987606048584, + "learning_rate": 2.362676767676768e-06, + "loss": 6.201140594482422, + "step": 53220 + }, + { + "epoch": 0.23125, + "grad_norm": 13.277322769165039, + "learning_rate": 2.362424242424243e-06, + "loss": 6.397774124145508, + "step": 53225 + }, + { + "epoch": 0.2313, + "grad_norm": 8.926644325256348, + "learning_rate": 2.3621717171717175e-06, + "loss": 6.6491546630859375, + "step": 53230 + }, + { + "epoch": 0.23135, + "grad_norm": 6.889772891998291, + "learning_rate": 2.361919191919192e-06, + "loss": 6.256970977783203, + "step": 53235 + }, + { + "epoch": 0.2314, + "grad_norm": 14.16237735748291, + "learning_rate": 2.3616666666666668e-06, + "loss": 6.280641555786133, + "step": 53240 + }, + { + "epoch": 0.23145, + "grad_norm": 8.60301399230957, + "learning_rate": 2.361414141414142e-06, + "loss": 6.255502319335937, + "step": 53245 + }, + { + "epoch": 0.2315, + "grad_norm": 4.302947044372559, + "learning_rate": 2.3611616161616165e-06, + "loss": 6.234688949584961, + "step": 53250 + }, + { + "epoch": 0.23155, + "grad_norm": 15.809090614318848, + "learning_rate": 2.360909090909091e-06, + "loss": 6.212442016601562, + "step": 53255 + }, + { + "epoch": 0.2316, + "grad_norm": 6.971460819244385, + "learning_rate": 2.3606565656565657e-06, + "loss": 6.226432800292969, + "step": 53260 + }, + { + "epoch": 0.23165, + "grad_norm": 7.485438823699951, + "learning_rate": 2.3604040404040408e-06, + "loss": 6.2315673828125, + "step": 53265 + }, + { + "epoch": 0.2317, + "grad_norm": 27.556230545043945, + "learning_rate": 2.3601515151515154e-06, + "loss": 6.384100341796875, + "step": 53270 + }, + { + "epoch": 0.23175, + "grad_norm": 10.860330581665039, + "learning_rate": 2.35989898989899e-06, + "loss": 6.253578948974609, + "step": 53275 + }, + { + "epoch": 0.2318, + "grad_norm": 5.014923095703125, + "learning_rate": 2.3596464646464647e-06, + "loss": 6.239463806152344, + "step": 53280 + }, + { + "epoch": 0.23185, + "grad_norm": 4.233177185058594, + "learning_rate": 2.3593939393939397e-06, + "loss": 6.257968139648438, + "step": 53285 + }, + { + "epoch": 0.2319, + "grad_norm": 5.430302619934082, + "learning_rate": 2.3591414141414144e-06, + "loss": 6.268344497680664, + "step": 53290 + }, + { + "epoch": 0.23195, + "grad_norm": 5.219926357269287, + "learning_rate": 2.358888888888889e-06, + "loss": 6.2741447448730465, + "step": 53295 + }, + { + "epoch": 0.232, + "grad_norm": 7.933003902435303, + "learning_rate": 2.3586363636363636e-06, + "loss": 6.268058395385742, + "step": 53300 + }, + { + "epoch": 0.23205, + "grad_norm": 9.07319164276123, + "learning_rate": 2.3583838383838387e-06, + "loss": 6.267370223999023, + "step": 53305 + }, + { + "epoch": 0.2321, + "grad_norm": 5.728250503540039, + "learning_rate": 2.3581313131313133e-06, + "loss": 6.198454284667969, + "step": 53310 + }, + { + "epoch": 0.23215, + "grad_norm": 4.031686305999756, + "learning_rate": 2.3578787878787884e-06, + "loss": 6.272827911376953, + "step": 53315 + }, + { + "epoch": 0.2322, + "grad_norm": 7.460416316986084, + "learning_rate": 2.3576262626262626e-06, + "loss": 6.270056533813476, + "step": 53320 + }, + { + "epoch": 0.23225, + "grad_norm": 5.062841892242432, + "learning_rate": 2.3573737373737376e-06, + "loss": 6.266344451904297, + "step": 53325 + }, + { + "epoch": 0.2323, + "grad_norm": 5.634907245635986, + "learning_rate": 2.3571212121212122e-06, + "loss": 6.27098388671875, + "step": 53330 + }, + { + "epoch": 0.23235, + "grad_norm": 36.617557525634766, + "learning_rate": 2.3568686868686873e-06, + "loss": 6.216738891601563, + "step": 53335 + }, + { + "epoch": 0.2324, + "grad_norm": 17.140655517578125, + "learning_rate": 2.356616161616162e-06, + "loss": 6.545231628417969, + "step": 53340 + }, + { + "epoch": 0.23245, + "grad_norm": 13.684148788452148, + "learning_rate": 2.3563636363636366e-06, + "loss": 6.297846984863281, + "step": 53345 + }, + { + "epoch": 0.2325, + "grad_norm": 4.586150646209717, + "learning_rate": 2.356111111111111e-06, + "loss": 6.223745727539063, + "step": 53350 + }, + { + "epoch": 0.23255, + "grad_norm": 5.163801193237305, + "learning_rate": 2.3558585858585862e-06, + "loss": 6.255415725708008, + "step": 53355 + }, + { + "epoch": 0.2326, + "grad_norm": 7.0720109939575195, + "learning_rate": 2.355606060606061e-06, + "loss": 6.270806884765625, + "step": 53360 + }, + { + "epoch": 0.23265, + "grad_norm": 4.6654791831970215, + "learning_rate": 2.3553535353535355e-06, + "loss": 6.296715545654297, + "step": 53365 + }, + { + "epoch": 0.2327, + "grad_norm": 4.055288791656494, + "learning_rate": 2.35510101010101e-06, + "loss": 6.220745849609375, + "step": 53370 + }, + { + "epoch": 0.23275, + "grad_norm": 4.538575649261475, + "learning_rate": 2.354848484848485e-06, + "loss": 6.284283828735352, + "step": 53375 + }, + { + "epoch": 0.2328, + "grad_norm": 6.011362552642822, + "learning_rate": 2.35459595959596e-06, + "loss": 6.260654449462891, + "step": 53380 + }, + { + "epoch": 0.23285, + "grad_norm": 6.445408821105957, + "learning_rate": 2.3543434343434344e-06, + "loss": 6.230744171142578, + "step": 53385 + }, + { + "epoch": 0.2329, + "grad_norm": 6.240857124328613, + "learning_rate": 2.354090909090909e-06, + "loss": 6.475697326660156, + "step": 53390 + }, + { + "epoch": 0.23295, + "grad_norm": 27.557514190673828, + "learning_rate": 2.353838383838384e-06, + "loss": 6.204234313964844, + "step": 53395 + }, + { + "epoch": 0.233, + "grad_norm": 5.340032577514648, + "learning_rate": 2.3535858585858588e-06, + "loss": 6.253090286254883, + "step": 53400 + }, + { + "epoch": 0.23305, + "grad_norm": 6.5885233879089355, + "learning_rate": 2.3533333333333334e-06, + "loss": 6.234671401977539, + "step": 53405 + }, + { + "epoch": 0.2331, + "grad_norm": 5.60505485534668, + "learning_rate": 2.353080808080808e-06, + "loss": 6.212288665771484, + "step": 53410 + }, + { + "epoch": 0.23315, + "grad_norm": 5.821695804595947, + "learning_rate": 2.352828282828283e-06, + "loss": 6.2543998718261715, + "step": 53415 + }, + { + "epoch": 0.2332, + "grad_norm": 5.7717390060424805, + "learning_rate": 2.3525757575757577e-06, + "loss": 6.273482131958008, + "step": 53420 + }, + { + "epoch": 0.23325, + "grad_norm": 5.381186485290527, + "learning_rate": 2.3523232323232328e-06, + "loss": 6.309925842285156, + "step": 53425 + }, + { + "epoch": 0.2333, + "grad_norm": 6.150279998779297, + "learning_rate": 2.352070707070707e-06, + "loss": 6.257486724853516, + "step": 53430 + }, + { + "epoch": 0.23335, + "grad_norm": 8.3312349319458, + "learning_rate": 2.351818181818182e-06, + "loss": 6.242471313476562, + "step": 53435 + }, + { + "epoch": 0.2334, + "grad_norm": 6.206791400909424, + "learning_rate": 2.3515656565656566e-06, + "loss": 6.236491394042969, + "step": 53440 + }, + { + "epoch": 0.23345, + "grad_norm": 13.355551719665527, + "learning_rate": 2.3513131313131317e-06, + "loss": 6.2409820556640625, + "step": 53445 + }, + { + "epoch": 0.2335, + "grad_norm": 9.038858413696289, + "learning_rate": 2.3510606060606063e-06, + "loss": 6.2145835876464846, + "step": 53450 + }, + { + "epoch": 0.23355, + "grad_norm": 4.17866849899292, + "learning_rate": 2.350808080808081e-06, + "loss": 6.226856994628906, + "step": 53455 + }, + { + "epoch": 0.2336, + "grad_norm": 7.830767631530762, + "learning_rate": 2.3505555555555556e-06, + "loss": 6.276983642578125, + "step": 53460 + }, + { + "epoch": 0.23365, + "grad_norm": 5.117328643798828, + "learning_rate": 2.3503030303030306e-06, + "loss": 6.231433486938476, + "step": 53465 + }, + { + "epoch": 0.2337, + "grad_norm": 7.067992210388184, + "learning_rate": 2.3500505050505053e-06, + "loss": 6.251094055175781, + "step": 53470 + }, + { + "epoch": 0.23375, + "grad_norm": 7.036153793334961, + "learning_rate": 2.34979797979798e-06, + "loss": 6.30317497253418, + "step": 53475 + }, + { + "epoch": 0.2338, + "grad_norm": 6.098345756530762, + "learning_rate": 2.3495454545454545e-06, + "loss": 6.250276184082031, + "step": 53480 + }, + { + "epoch": 0.23385, + "grad_norm": 10.543997764587402, + "learning_rate": 2.3492929292929296e-06, + "loss": 6.298635482788086, + "step": 53485 + }, + { + "epoch": 0.2339, + "grad_norm": 5.900421142578125, + "learning_rate": 2.3490404040404042e-06, + "loss": 6.36578254699707, + "step": 53490 + }, + { + "epoch": 0.23395, + "grad_norm": 8.256733894348145, + "learning_rate": 2.348787878787879e-06, + "loss": 6.274597930908203, + "step": 53495 + }, + { + "epoch": 0.234, + "grad_norm": 8.044977188110352, + "learning_rate": 2.3485353535353535e-06, + "loss": 6.297975158691406, + "step": 53500 + }, + { + "epoch": 0.23405, + "grad_norm": 5.961170673370361, + "learning_rate": 2.3482828282828285e-06, + "loss": 6.4507499694824215, + "step": 53505 + }, + { + "epoch": 0.2341, + "grad_norm": 6.538655757904053, + "learning_rate": 2.348030303030303e-06, + "loss": 6.283943939208984, + "step": 53510 + }, + { + "epoch": 0.23415, + "grad_norm": 6.557984828948975, + "learning_rate": 2.347777777777778e-06, + "loss": 6.237919616699219, + "step": 53515 + }, + { + "epoch": 0.2342, + "grad_norm": 14.916029930114746, + "learning_rate": 2.3475252525252524e-06, + "loss": 6.294883346557617, + "step": 53520 + }, + { + "epoch": 0.23425, + "grad_norm": 4.879173278808594, + "learning_rate": 2.3472727272727275e-06, + "loss": 6.272137069702149, + "step": 53525 + }, + { + "epoch": 0.2343, + "grad_norm": 8.087883949279785, + "learning_rate": 2.347020202020202e-06, + "loss": 6.2599845886230465, + "step": 53530 + }, + { + "epoch": 0.23435, + "grad_norm": 27.278026580810547, + "learning_rate": 2.346767676767677e-06, + "loss": 6.351028060913086, + "step": 53535 + }, + { + "epoch": 0.2344, + "grad_norm": 5.802356719970703, + "learning_rate": 2.346515151515152e-06, + "loss": 6.185101699829102, + "step": 53540 + }, + { + "epoch": 0.23445, + "grad_norm": 14.441225051879883, + "learning_rate": 2.3462626262626264e-06, + "loss": 6.327689743041992, + "step": 53545 + }, + { + "epoch": 0.2345, + "grad_norm": 10.661688804626465, + "learning_rate": 2.346010101010101e-06, + "loss": 6.228810119628906, + "step": 53550 + }, + { + "epoch": 0.23455, + "grad_norm": 6.834971904754639, + "learning_rate": 2.345757575757576e-06, + "loss": 6.219322586059571, + "step": 53555 + }, + { + "epoch": 0.2346, + "grad_norm": 5.088314056396484, + "learning_rate": 2.3455050505050507e-06, + "loss": 6.208656311035156, + "step": 53560 + }, + { + "epoch": 0.23465, + "grad_norm": 5.115019798278809, + "learning_rate": 2.3452525252525254e-06, + "loss": 6.2860267639160154, + "step": 53565 + }, + { + "epoch": 0.2347, + "grad_norm": 6.357446670532227, + "learning_rate": 2.345e-06, + "loss": 6.278659820556641, + "step": 53570 + }, + { + "epoch": 0.23475, + "grad_norm": 7.40872049331665, + "learning_rate": 2.344747474747475e-06, + "loss": 6.296005630493164, + "step": 53575 + }, + { + "epoch": 0.2348, + "grad_norm": 8.839702606201172, + "learning_rate": 2.3444949494949497e-06, + "loss": 6.209235382080078, + "step": 53580 + }, + { + "epoch": 0.23485, + "grad_norm": 4.300047397613525, + "learning_rate": 2.3442424242424243e-06, + "loss": 6.24438591003418, + "step": 53585 + }, + { + "epoch": 0.2349, + "grad_norm": 10.100625991821289, + "learning_rate": 2.3439898989898994e-06, + "loss": 6.413852691650391, + "step": 53590 + }, + { + "epoch": 0.23495, + "grad_norm": 10.618470191955566, + "learning_rate": 2.343737373737374e-06, + "loss": 6.210538864135742, + "step": 53595 + }, + { + "epoch": 0.235, + "grad_norm": 5.6654462814331055, + "learning_rate": 2.3434848484848486e-06, + "loss": 6.287140655517578, + "step": 53600 + }, + { + "epoch": 0.23505, + "grad_norm": 6.122907638549805, + "learning_rate": 2.3432323232323233e-06, + "loss": 6.261139678955078, + "step": 53605 + }, + { + "epoch": 0.2351, + "grad_norm": 6.306246757507324, + "learning_rate": 2.3429797979797983e-06, + "loss": 6.240013122558594, + "step": 53610 + }, + { + "epoch": 0.23515, + "grad_norm": 8.00345516204834, + "learning_rate": 2.342727272727273e-06, + "loss": 6.235994720458985, + "step": 53615 + }, + { + "epoch": 0.2352, + "grad_norm": 5.697434902191162, + "learning_rate": 2.342474747474748e-06, + "loss": 6.2341758728027346, + "step": 53620 + }, + { + "epoch": 0.23525, + "grad_norm": 5.042847156524658, + "learning_rate": 2.342222222222222e-06, + "loss": 6.25274429321289, + "step": 53625 + }, + { + "epoch": 0.2353, + "grad_norm": 7.294451713562012, + "learning_rate": 2.3419696969696972e-06, + "loss": 6.249192428588867, + "step": 53630 + }, + { + "epoch": 0.23535, + "grad_norm": 5.517917156219482, + "learning_rate": 2.341717171717172e-06, + "loss": 6.251516723632813, + "step": 53635 + }, + { + "epoch": 0.2354, + "grad_norm": 6.75472354888916, + "learning_rate": 2.341464646464647e-06, + "loss": 6.254238128662109, + "step": 53640 + }, + { + "epoch": 0.23545, + "grad_norm": 16.74461555480957, + "learning_rate": 2.3412121212121216e-06, + "loss": 6.557623291015625, + "step": 53645 + }, + { + "epoch": 0.2355, + "grad_norm": 10.20921516418457, + "learning_rate": 2.340959595959596e-06, + "loss": 6.428852844238281, + "step": 53650 + }, + { + "epoch": 0.23555, + "grad_norm": 5.756483554840088, + "learning_rate": 2.340707070707071e-06, + "loss": 6.304438781738281, + "step": 53655 + }, + { + "epoch": 0.2356, + "grad_norm": 8.824699401855469, + "learning_rate": 2.340454545454546e-06, + "loss": 6.268002700805664, + "step": 53660 + }, + { + "epoch": 0.23565, + "grad_norm": 6.253388404846191, + "learning_rate": 2.3402020202020205e-06, + "loss": 6.283495330810547, + "step": 53665 + }, + { + "epoch": 0.2357, + "grad_norm": 7.616441249847412, + "learning_rate": 2.339949494949495e-06, + "loss": 6.225893020629883, + "step": 53670 + }, + { + "epoch": 0.23575, + "grad_norm": 6.605254650115967, + "learning_rate": 2.3396969696969698e-06, + "loss": 6.310692977905274, + "step": 53675 + }, + { + "epoch": 0.2358, + "grad_norm": 9.558233261108398, + "learning_rate": 2.339444444444445e-06, + "loss": 6.255867004394531, + "step": 53680 + }, + { + "epoch": 0.23585, + "grad_norm": 4.679188251495361, + "learning_rate": 2.3391919191919195e-06, + "loss": 6.25818977355957, + "step": 53685 + }, + { + "epoch": 0.2359, + "grad_norm": 5.517607688903809, + "learning_rate": 2.338939393939394e-06, + "loss": 6.2270050048828125, + "step": 53690 + }, + { + "epoch": 0.23595, + "grad_norm": 3.0695221424102783, + "learning_rate": 2.3386868686868687e-06, + "loss": 6.223728179931641, + "step": 53695 + }, + { + "epoch": 0.236, + "grad_norm": 15.22093391418457, + "learning_rate": 2.3384343434343438e-06, + "loss": 6.23736343383789, + "step": 53700 + }, + { + "epoch": 0.23605, + "grad_norm": 4.818389892578125, + "learning_rate": 2.3381818181818184e-06, + "loss": 6.47191162109375, + "step": 53705 + }, + { + "epoch": 0.2361, + "grad_norm": 4.1582441329956055, + "learning_rate": 2.337929292929293e-06, + "loss": 6.293943786621094, + "step": 53710 + }, + { + "epoch": 0.23615, + "grad_norm": 5.113410949707031, + "learning_rate": 2.3376767676767677e-06, + "loss": 6.249391174316406, + "step": 53715 + }, + { + "epoch": 0.2362, + "grad_norm": 23.384199142456055, + "learning_rate": 2.3374242424242427e-06, + "loss": 6.253348922729492, + "step": 53720 + }, + { + "epoch": 0.23625, + "grad_norm": 4.60028076171875, + "learning_rate": 2.3371717171717173e-06, + "loss": 6.210304641723633, + "step": 53725 + }, + { + "epoch": 0.2363, + "grad_norm": 9.484696388244629, + "learning_rate": 2.3369191919191924e-06, + "loss": 6.265382385253906, + "step": 53730 + }, + { + "epoch": 0.23635, + "grad_norm": 7.537496089935303, + "learning_rate": 2.3366666666666666e-06, + "loss": 6.313232803344727, + "step": 53735 + }, + { + "epoch": 0.2364, + "grad_norm": 11.54015827178955, + "learning_rate": 2.3364141414141417e-06, + "loss": 6.268046569824219, + "step": 53740 + }, + { + "epoch": 0.23645, + "grad_norm": 4.382897853851318, + "learning_rate": 2.3361616161616163e-06, + "loss": 6.268429565429687, + "step": 53745 + }, + { + "epoch": 0.2365, + "grad_norm": 5.609687328338623, + "learning_rate": 2.3359090909090913e-06, + "loss": 6.334974670410157, + "step": 53750 + }, + { + "epoch": 0.23655, + "grad_norm": 8.48486328125, + "learning_rate": 2.335656565656566e-06, + "loss": 6.284505081176758, + "step": 53755 + }, + { + "epoch": 0.2366, + "grad_norm": 3.6077966690063477, + "learning_rate": 2.3354040404040406e-06, + "loss": 6.343404388427734, + "step": 53760 + }, + { + "epoch": 0.23665, + "grad_norm": 5.21568489074707, + "learning_rate": 2.3351515151515152e-06, + "loss": 6.256167221069336, + "step": 53765 + }, + { + "epoch": 0.2367, + "grad_norm": 5.782641410827637, + "learning_rate": 2.3348989898989903e-06, + "loss": 6.233061218261719, + "step": 53770 + }, + { + "epoch": 0.23675, + "grad_norm": 5.2553582191467285, + "learning_rate": 2.334646464646465e-06, + "loss": 6.2958229064941404, + "step": 53775 + }, + { + "epoch": 0.2368, + "grad_norm": 4.044824600219727, + "learning_rate": 2.3343939393939395e-06, + "loss": 6.273386383056641, + "step": 53780 + }, + { + "epoch": 0.23685, + "grad_norm": 17.71698570251465, + "learning_rate": 2.334141414141414e-06, + "loss": 6.630094909667969, + "step": 53785 + }, + { + "epoch": 0.2369, + "grad_norm": 7.396774768829346, + "learning_rate": 2.3338888888888892e-06, + "loss": 6.229325485229492, + "step": 53790 + }, + { + "epoch": 0.23695, + "grad_norm": 13.644354820251465, + "learning_rate": 2.333636363636364e-06, + "loss": 6.3495849609375, + "step": 53795 + }, + { + "epoch": 0.237, + "grad_norm": 7.941227912902832, + "learning_rate": 2.3333838383838385e-06, + "loss": 6.3047935485839846, + "step": 53800 + }, + { + "epoch": 0.23705, + "grad_norm": 10.639864921569824, + "learning_rate": 2.333131313131313e-06, + "loss": 6.283601379394531, + "step": 53805 + }, + { + "epoch": 0.2371, + "grad_norm": 6.333852291107178, + "learning_rate": 2.332878787878788e-06, + "loss": 6.273969650268555, + "step": 53810 + }, + { + "epoch": 0.23715, + "grad_norm": 4.345081806182861, + "learning_rate": 2.332626262626263e-06, + "loss": 6.215480041503906, + "step": 53815 + }, + { + "epoch": 0.2372, + "grad_norm": 4.324114799499512, + "learning_rate": 2.3323737373737374e-06, + "loss": 6.237178802490234, + "step": 53820 + }, + { + "epoch": 0.23725, + "grad_norm": 6.730421543121338, + "learning_rate": 2.332121212121212e-06, + "loss": 6.274043273925781, + "step": 53825 + }, + { + "epoch": 0.2373, + "grad_norm": 8.933131217956543, + "learning_rate": 2.331868686868687e-06, + "loss": 6.2575328826904295, + "step": 53830 + }, + { + "epoch": 0.23735, + "grad_norm": 8.134991645812988, + "learning_rate": 2.3316161616161617e-06, + "loss": 6.325914764404297, + "step": 53835 + }, + { + "epoch": 0.2374, + "grad_norm": 6.449033260345459, + "learning_rate": 2.331363636363637e-06, + "loss": 6.189609146118164, + "step": 53840 + }, + { + "epoch": 0.23745, + "grad_norm": 4.400453090667725, + "learning_rate": 2.331111111111111e-06, + "loss": 6.226021575927734, + "step": 53845 + }, + { + "epoch": 0.2375, + "grad_norm": 3.587913990020752, + "learning_rate": 2.330858585858586e-06, + "loss": 6.284579849243164, + "step": 53850 + }, + { + "epoch": 0.23755, + "grad_norm": 10.993630409240723, + "learning_rate": 2.3306060606060607e-06, + "loss": 6.247707366943359, + "step": 53855 + }, + { + "epoch": 0.2376, + "grad_norm": 4.112060070037842, + "learning_rate": 2.3303535353535357e-06, + "loss": 6.235470962524414, + "step": 53860 + }, + { + "epoch": 0.23765, + "grad_norm": 10.123368263244629, + "learning_rate": 2.3301010101010104e-06, + "loss": 6.396506118774414, + "step": 53865 + }, + { + "epoch": 0.2377, + "grad_norm": 7.985734939575195, + "learning_rate": 2.329848484848485e-06, + "loss": 6.266719818115234, + "step": 53870 + }, + { + "epoch": 0.23775, + "grad_norm": 10.179147720336914, + "learning_rate": 2.3295959595959596e-06, + "loss": 6.277497100830078, + "step": 53875 + }, + { + "epoch": 0.2378, + "grad_norm": 6.554091930389404, + "learning_rate": 2.3293434343434347e-06, + "loss": 6.2710823059082035, + "step": 53880 + }, + { + "epoch": 0.23785, + "grad_norm": 8.674412727355957, + "learning_rate": 2.3290909090909093e-06, + "loss": 6.227017974853515, + "step": 53885 + }, + { + "epoch": 0.2379, + "grad_norm": 4.430182933807373, + "learning_rate": 2.328838383838384e-06, + "loss": 6.258274841308594, + "step": 53890 + }, + { + "epoch": 0.23795, + "grad_norm": 7.172296524047852, + "learning_rate": 2.3285858585858586e-06, + "loss": 6.2916618347167965, + "step": 53895 + }, + { + "epoch": 0.238, + "grad_norm": 4.493840217590332, + "learning_rate": 2.3283333333333336e-06, + "loss": 6.270866394042969, + "step": 53900 + }, + { + "epoch": 0.23805, + "grad_norm": 4.622440814971924, + "learning_rate": 2.3280808080808083e-06, + "loss": 6.2221229553222654, + "step": 53905 + }, + { + "epoch": 0.2381, + "grad_norm": 11.331378936767578, + "learning_rate": 2.327828282828283e-06, + "loss": 6.302344512939453, + "step": 53910 + }, + { + "epoch": 0.23815, + "grad_norm": 5.214025020599365, + "learning_rate": 2.3275757575757575e-06, + "loss": 6.291595840454102, + "step": 53915 + }, + { + "epoch": 0.2382, + "grad_norm": 5.889056205749512, + "learning_rate": 2.3273232323232326e-06, + "loss": 6.242242431640625, + "step": 53920 + }, + { + "epoch": 0.23825, + "grad_norm": 11.176382064819336, + "learning_rate": 2.327070707070707e-06, + "loss": 6.241460800170898, + "step": 53925 + }, + { + "epoch": 0.2383, + "grad_norm": 14.163167953491211, + "learning_rate": 2.326818181818182e-06, + "loss": 6.21971549987793, + "step": 53930 + }, + { + "epoch": 0.23835, + "grad_norm": 18.547279357910156, + "learning_rate": 2.3265656565656565e-06, + "loss": 6.31804084777832, + "step": 53935 + }, + { + "epoch": 0.2384, + "grad_norm": 6.636751174926758, + "learning_rate": 2.3263131313131315e-06, + "loss": 6.249064636230469, + "step": 53940 + }, + { + "epoch": 0.23845, + "grad_norm": 8.776169776916504, + "learning_rate": 2.326060606060606e-06, + "loss": 6.2491310119628904, + "step": 53945 + }, + { + "epoch": 0.2385, + "grad_norm": 5.8105387687683105, + "learning_rate": 2.325808080808081e-06, + "loss": 6.212085342407226, + "step": 53950 + }, + { + "epoch": 0.23855, + "grad_norm": 3.9938108921051025, + "learning_rate": 2.325555555555556e-06, + "loss": 6.241356658935547, + "step": 53955 + }, + { + "epoch": 0.2386, + "grad_norm": 4.4737772941589355, + "learning_rate": 2.3253030303030305e-06, + "loss": 6.274858856201172, + "step": 53960 + }, + { + "epoch": 0.23865, + "grad_norm": 6.167301177978516, + "learning_rate": 2.325050505050505e-06, + "loss": 6.244707107543945, + "step": 53965 + }, + { + "epoch": 0.2387, + "grad_norm": 8.420236587524414, + "learning_rate": 2.32479797979798e-06, + "loss": 6.257106781005859, + "step": 53970 + }, + { + "epoch": 0.23875, + "grad_norm": 6.479395389556885, + "learning_rate": 2.3245454545454548e-06, + "loss": 6.24738655090332, + "step": 53975 + }, + { + "epoch": 0.2388, + "grad_norm": 3.7795615196228027, + "learning_rate": 2.3242929292929294e-06, + "loss": 6.205750274658203, + "step": 53980 + }, + { + "epoch": 0.23885, + "grad_norm": 6.135209083557129, + "learning_rate": 2.324040404040404e-06, + "loss": 6.252893447875977, + "step": 53985 + }, + { + "epoch": 0.2389, + "grad_norm": 5.759137153625488, + "learning_rate": 2.323787878787879e-06, + "loss": 6.234038925170898, + "step": 53990 + }, + { + "epoch": 0.23895, + "grad_norm": 6.266923427581787, + "learning_rate": 2.3235353535353537e-06, + "loss": 6.269160461425781, + "step": 53995 + }, + { + "epoch": 0.239, + "grad_norm": 10.378273963928223, + "learning_rate": 2.3232828282828283e-06, + "loss": 6.256836700439453, + "step": 54000 + }, + { + "epoch": 0.23905, + "grad_norm": 5.138885498046875, + "learning_rate": 2.3230303030303034e-06, + "loss": 6.201865005493164, + "step": 54005 + }, + { + "epoch": 0.2391, + "grad_norm": 8.255350112915039, + "learning_rate": 2.322777777777778e-06, + "loss": 6.258716583251953, + "step": 54010 + }, + { + "epoch": 0.23915, + "grad_norm": 5.332558631896973, + "learning_rate": 2.3225252525252527e-06, + "loss": 6.220664978027344, + "step": 54015 + }, + { + "epoch": 0.2392, + "grad_norm": 6.060151100158691, + "learning_rate": 2.3222727272727273e-06, + "loss": 6.260067367553711, + "step": 54020 + }, + { + "epoch": 0.23925, + "grad_norm": 17.02968978881836, + "learning_rate": 2.3220202020202023e-06, + "loss": 6.397225952148437, + "step": 54025 + }, + { + "epoch": 0.2393, + "grad_norm": 9.280436515808105, + "learning_rate": 2.321767676767677e-06, + "loss": 6.277406311035156, + "step": 54030 + }, + { + "epoch": 0.23935, + "grad_norm": 5.769432544708252, + "learning_rate": 2.321515151515152e-06, + "loss": 6.311225509643554, + "step": 54035 + }, + { + "epoch": 0.2394, + "grad_norm": 9.689005851745605, + "learning_rate": 2.3212626262626262e-06, + "loss": 6.30213737487793, + "step": 54040 + }, + { + "epoch": 0.23945, + "grad_norm": 4.2035722732543945, + "learning_rate": 2.3210101010101013e-06, + "loss": 6.334579849243164, + "step": 54045 + }, + { + "epoch": 0.2395, + "grad_norm": 4.162347316741943, + "learning_rate": 2.320757575757576e-06, + "loss": 6.26548957824707, + "step": 54050 + }, + { + "epoch": 0.23955, + "grad_norm": 6.0266547203063965, + "learning_rate": 2.320505050505051e-06, + "loss": 6.2528221130371096, + "step": 54055 + }, + { + "epoch": 0.2396, + "grad_norm": 11.734352111816406, + "learning_rate": 2.3202525252525256e-06, + "loss": 6.276518249511719, + "step": 54060 + }, + { + "epoch": 0.23965, + "grad_norm": 3.313575267791748, + "learning_rate": 2.3200000000000002e-06, + "loss": 6.252543258666992, + "step": 54065 + }, + { + "epoch": 0.2397, + "grad_norm": 10.135144233703613, + "learning_rate": 2.319747474747475e-06, + "loss": 6.369168090820312, + "step": 54070 + }, + { + "epoch": 0.23975, + "grad_norm": 8.298754692077637, + "learning_rate": 2.31949494949495e-06, + "loss": 6.187963485717773, + "step": 54075 + }, + { + "epoch": 0.2398, + "grad_norm": 5.034638404846191, + "learning_rate": 2.3192424242424245e-06, + "loss": 6.262112426757812, + "step": 54080 + }, + { + "epoch": 0.23985, + "grad_norm": 5.816622257232666, + "learning_rate": 2.318989898989899e-06, + "loss": 6.24847183227539, + "step": 54085 + }, + { + "epoch": 0.2399, + "grad_norm": 7.638916492462158, + "learning_rate": 2.318737373737374e-06, + "loss": 6.2224372863769535, + "step": 54090 + }, + { + "epoch": 0.23995, + "grad_norm": 7.559815406799316, + "learning_rate": 2.318484848484849e-06, + "loss": 6.254177856445312, + "step": 54095 + }, + { + "epoch": 0.24, + "grad_norm": 10.595671653747559, + "learning_rate": 2.3182323232323235e-06, + "loss": 6.266017913818359, + "step": 54100 + }, + { + "epoch": 0.24005, + "grad_norm": 7.086364269256592, + "learning_rate": 2.317979797979798e-06, + "loss": 6.2464958190917965, + "step": 54105 + }, + { + "epoch": 0.2401, + "grad_norm": 5.964311122894287, + "learning_rate": 2.3177272727272728e-06, + "loss": 6.279021453857422, + "step": 54110 + }, + { + "epoch": 0.24015, + "grad_norm": 3.789287805557251, + "learning_rate": 2.317474747474748e-06, + "loss": 6.216695022583008, + "step": 54115 + }, + { + "epoch": 0.2402, + "grad_norm": 4.747391223907471, + "learning_rate": 2.3172222222222224e-06, + "loss": 6.221460342407227, + "step": 54120 + }, + { + "epoch": 0.24025, + "grad_norm": 8.921984672546387, + "learning_rate": 2.316969696969697e-06, + "loss": 6.297597122192383, + "step": 54125 + }, + { + "epoch": 0.2403, + "grad_norm": 5.730370998382568, + "learning_rate": 2.3167171717171717e-06, + "loss": 6.310346984863282, + "step": 54130 + }, + { + "epoch": 0.24035, + "grad_norm": 7.733698844909668, + "learning_rate": 2.3164646464646467e-06, + "loss": 6.299485397338867, + "step": 54135 + }, + { + "epoch": 0.2404, + "grad_norm": 26.391876220703125, + "learning_rate": 2.3162121212121214e-06, + "loss": 6.545154571533203, + "step": 54140 + }, + { + "epoch": 0.24045, + "grad_norm": 6.179319381713867, + "learning_rate": 2.3159595959595964e-06, + "loss": 6.209276580810547, + "step": 54145 + }, + { + "epoch": 0.2405, + "grad_norm": 18.558542251586914, + "learning_rate": 2.3157070707070706e-06, + "loss": 6.238677978515625, + "step": 54150 + }, + { + "epoch": 0.24055, + "grad_norm": 4.286371231079102, + "learning_rate": 2.3154545454545457e-06, + "loss": 6.3641510009765625, + "step": 54155 + }, + { + "epoch": 0.2406, + "grad_norm": 5.454794883728027, + "learning_rate": 2.3152020202020203e-06, + "loss": 6.234812927246094, + "step": 54160 + }, + { + "epoch": 0.24065, + "grad_norm": 4.623608112335205, + "learning_rate": 2.3149494949494954e-06, + "loss": 6.214862823486328, + "step": 54165 + }, + { + "epoch": 0.2407, + "grad_norm": 5.216143608093262, + "learning_rate": 2.31469696969697e-06, + "loss": 6.253755569458008, + "step": 54170 + }, + { + "epoch": 0.24075, + "grad_norm": 7.523550510406494, + "learning_rate": 2.3144444444444446e-06, + "loss": 6.257445907592773, + "step": 54175 + }, + { + "epoch": 0.2408, + "grad_norm": 5.366828918457031, + "learning_rate": 2.3141919191919193e-06, + "loss": 6.2696186065673825, + "step": 54180 + }, + { + "epoch": 0.24085, + "grad_norm": 4.476797580718994, + "learning_rate": 2.3139393939393943e-06, + "loss": 6.229270935058594, + "step": 54185 + }, + { + "epoch": 0.2409, + "grad_norm": 3.682495355606079, + "learning_rate": 2.313686868686869e-06, + "loss": 6.291003799438476, + "step": 54190 + }, + { + "epoch": 0.24095, + "grad_norm": 7.527865886688232, + "learning_rate": 2.3134343434343436e-06, + "loss": 6.243564605712891, + "step": 54195 + }, + { + "epoch": 0.241, + "grad_norm": 7.06549596786499, + "learning_rate": 2.313181818181818e-06, + "loss": 6.218463134765625, + "step": 54200 + }, + { + "epoch": 0.24105, + "grad_norm": 7.657577991485596, + "learning_rate": 2.3129292929292933e-06, + "loss": 6.2290290832519535, + "step": 54205 + }, + { + "epoch": 0.2411, + "grad_norm": 6.490534782409668, + "learning_rate": 2.312676767676768e-06, + "loss": 6.260775756835938, + "step": 54210 + }, + { + "epoch": 0.24115, + "grad_norm": 5.2901082038879395, + "learning_rate": 2.3124242424242425e-06, + "loss": 6.22188720703125, + "step": 54215 + }, + { + "epoch": 0.2412, + "grad_norm": 23.15847396850586, + "learning_rate": 2.312171717171717e-06, + "loss": 6.292121124267578, + "step": 54220 + }, + { + "epoch": 0.24125, + "grad_norm": 7.512003421783447, + "learning_rate": 2.311919191919192e-06, + "loss": 6.248308563232422, + "step": 54225 + }, + { + "epoch": 0.2413, + "grad_norm": 6.429965972900391, + "learning_rate": 2.311666666666667e-06, + "loss": 6.257514190673828, + "step": 54230 + }, + { + "epoch": 0.24135, + "grad_norm": 7.338369369506836, + "learning_rate": 2.3114141414141415e-06, + "loss": 6.256681823730469, + "step": 54235 + }, + { + "epoch": 0.2414, + "grad_norm": 8.623291969299316, + "learning_rate": 2.311161616161616e-06, + "loss": 6.215118408203125, + "step": 54240 + }, + { + "epoch": 0.24145, + "grad_norm": 9.423702239990234, + "learning_rate": 2.310909090909091e-06, + "loss": 6.299012756347656, + "step": 54245 + }, + { + "epoch": 0.2415, + "grad_norm": 5.745853424072266, + "learning_rate": 2.3106565656565658e-06, + "loss": 6.433404541015625, + "step": 54250 + }, + { + "epoch": 0.24155, + "grad_norm": 5.300278663635254, + "learning_rate": 2.310404040404041e-06, + "loss": 6.253190994262695, + "step": 54255 + }, + { + "epoch": 0.2416, + "grad_norm": 7.08789587020874, + "learning_rate": 2.3101515151515155e-06, + "loss": 6.282626724243164, + "step": 54260 + }, + { + "epoch": 0.24165, + "grad_norm": 8.74560546875, + "learning_rate": 2.30989898989899e-06, + "loss": 6.2659858703613285, + "step": 54265 + }, + { + "epoch": 0.2417, + "grad_norm": 7.761630058288574, + "learning_rate": 2.3096464646464647e-06, + "loss": 6.365752410888672, + "step": 54270 + }, + { + "epoch": 0.24175, + "grad_norm": 6.183999061584473, + "learning_rate": 2.3093939393939398e-06, + "loss": 6.271831893920899, + "step": 54275 + }, + { + "epoch": 0.2418, + "grad_norm": 5.851568222045898, + "learning_rate": 2.3091414141414144e-06, + "loss": 6.210723114013672, + "step": 54280 + }, + { + "epoch": 0.24185, + "grad_norm": 8.729694366455078, + "learning_rate": 2.308888888888889e-06, + "loss": 6.269488143920898, + "step": 54285 + }, + { + "epoch": 0.2419, + "grad_norm": 5.708519458770752, + "learning_rate": 2.3086363636363637e-06, + "loss": 6.243638610839843, + "step": 54290 + }, + { + "epoch": 0.24195, + "grad_norm": 9.722355842590332, + "learning_rate": 2.3083838383838387e-06, + "loss": 6.2360282897949215, + "step": 54295 + }, + { + "epoch": 0.242, + "grad_norm": 5.225597381591797, + "learning_rate": 2.3081313131313134e-06, + "loss": 6.263617706298828, + "step": 54300 + }, + { + "epoch": 0.24205, + "grad_norm": 7.330676555633545, + "learning_rate": 2.307878787878788e-06, + "loss": 6.334558486938477, + "step": 54305 + }, + { + "epoch": 0.2421, + "grad_norm": 5.412632465362549, + "learning_rate": 2.3076262626262626e-06, + "loss": 6.2247966766357425, + "step": 54310 + }, + { + "epoch": 0.24215, + "grad_norm": 18.0510196685791, + "learning_rate": 2.3073737373737377e-06, + "loss": 6.2482868194580075, + "step": 54315 + }, + { + "epoch": 0.2422, + "grad_norm": 8.87410831451416, + "learning_rate": 2.3071212121212123e-06, + "loss": 6.212980651855469, + "step": 54320 + }, + { + "epoch": 0.24225, + "grad_norm": 10.447481155395508, + "learning_rate": 2.306868686868687e-06, + "loss": 6.241486740112305, + "step": 54325 + }, + { + "epoch": 0.2423, + "grad_norm": 6.136219024658203, + "learning_rate": 2.3066161616161616e-06, + "loss": 6.264598846435547, + "step": 54330 + }, + { + "epoch": 0.24235, + "grad_norm": 6.3508100509643555, + "learning_rate": 2.3063636363636366e-06, + "loss": 6.220231628417968, + "step": 54335 + }, + { + "epoch": 0.2424, + "grad_norm": 9.7012939453125, + "learning_rate": 2.3061111111111112e-06, + "loss": 6.2447151184082035, + "step": 54340 + }, + { + "epoch": 0.24245, + "grad_norm": 4.2761549949646, + "learning_rate": 2.305858585858586e-06, + "loss": 6.229434967041016, + "step": 54345 + }, + { + "epoch": 0.2425, + "grad_norm": 12.442429542541504, + "learning_rate": 2.3056060606060605e-06, + "loss": 6.236570739746094, + "step": 54350 + }, + { + "epoch": 0.24255, + "grad_norm": 3.438687562942505, + "learning_rate": 2.3053535353535356e-06, + "loss": 6.27539291381836, + "step": 54355 + }, + { + "epoch": 0.2426, + "grad_norm": 8.220053672790527, + "learning_rate": 2.30510101010101e-06, + "loss": 6.334363555908203, + "step": 54360 + }, + { + "epoch": 0.24265, + "grad_norm": 6.333807468414307, + "learning_rate": 2.3048484848484852e-06, + "loss": 6.330289840698242, + "step": 54365 + }, + { + "epoch": 0.2427, + "grad_norm": 3.922124147415161, + "learning_rate": 2.30459595959596e-06, + "loss": 6.2615306854248045, + "step": 54370 + }, + { + "epoch": 0.24275, + "grad_norm": 5.935579299926758, + "learning_rate": 2.3043434343434345e-06, + "loss": 6.34754638671875, + "step": 54375 + }, + { + "epoch": 0.2428, + "grad_norm": 3.636408805847168, + "learning_rate": 2.304090909090909e-06, + "loss": 6.253291320800781, + "step": 54380 + }, + { + "epoch": 0.24285, + "grad_norm": 23.25623321533203, + "learning_rate": 2.303838383838384e-06, + "loss": 6.307843780517578, + "step": 54385 + }, + { + "epoch": 0.2429, + "grad_norm": 6.810715675354004, + "learning_rate": 2.303585858585859e-06, + "loss": 6.284465026855469, + "step": 54390 + }, + { + "epoch": 0.24295, + "grad_norm": 6.5209879875183105, + "learning_rate": 2.3033333333333334e-06, + "loss": 6.227023315429688, + "step": 54395 + }, + { + "epoch": 0.243, + "grad_norm": 8.230334281921387, + "learning_rate": 2.303080808080808e-06, + "loss": 6.2622123718261715, + "step": 54400 + }, + { + "epoch": 0.24305, + "grad_norm": 6.233260154724121, + "learning_rate": 2.302828282828283e-06, + "loss": 6.231059646606445, + "step": 54405 + }, + { + "epoch": 0.2431, + "grad_norm": 5.023292541503906, + "learning_rate": 2.3025757575757578e-06, + "loss": 6.15326156616211, + "step": 54410 + }, + { + "epoch": 0.24315, + "grad_norm": 5.721960067749023, + "learning_rate": 2.3023232323232324e-06, + "loss": 6.274486541748047, + "step": 54415 + }, + { + "epoch": 0.2432, + "grad_norm": 5.227303504943848, + "learning_rate": 2.302070707070707e-06, + "loss": 6.331974029541016, + "step": 54420 + }, + { + "epoch": 0.24325, + "grad_norm": 13.070014953613281, + "learning_rate": 2.301818181818182e-06, + "loss": 6.0893512725830075, + "step": 54425 + }, + { + "epoch": 0.2433, + "grad_norm": 6.446201324462891, + "learning_rate": 2.3015656565656567e-06, + "loss": 6.331809997558594, + "step": 54430 + }, + { + "epoch": 0.24335, + "grad_norm": 4.327701091766357, + "learning_rate": 2.3013131313131313e-06, + "loss": 6.217610549926758, + "step": 54435 + }, + { + "epoch": 0.2434, + "grad_norm": 29.40936279296875, + "learning_rate": 2.3010606060606064e-06, + "loss": 6.458628082275391, + "step": 54440 + }, + { + "epoch": 0.24345, + "grad_norm": 5.174143314361572, + "learning_rate": 2.300808080808081e-06, + "loss": 6.273553466796875, + "step": 54445 + }, + { + "epoch": 0.2435, + "grad_norm": 6.280145168304443, + "learning_rate": 2.300555555555556e-06, + "loss": 6.265470886230469, + "step": 54450 + }, + { + "epoch": 0.24355, + "grad_norm": 8.580892562866211, + "learning_rate": 2.3003030303030303e-06, + "loss": 6.284563446044922, + "step": 54455 + }, + { + "epoch": 0.2436, + "grad_norm": 6.639371871948242, + "learning_rate": 2.3000505050505053e-06, + "loss": 6.4615318298339846, + "step": 54460 + }, + { + "epoch": 0.24365, + "grad_norm": 7.327179431915283, + "learning_rate": 2.29979797979798e-06, + "loss": 6.247771453857422, + "step": 54465 + }, + { + "epoch": 0.2437, + "grad_norm": 7.390702247619629, + "learning_rate": 2.299545454545455e-06, + "loss": 6.373773574829102, + "step": 54470 + }, + { + "epoch": 0.24375, + "grad_norm": 7.567170143127441, + "learning_rate": 2.2992929292929296e-06, + "loss": 6.244853210449219, + "step": 54475 + }, + { + "epoch": 0.2438, + "grad_norm": 11.274394035339355, + "learning_rate": 2.2990404040404043e-06, + "loss": 6.344989013671875, + "step": 54480 + }, + { + "epoch": 0.24385, + "grad_norm": 5.095001220703125, + "learning_rate": 2.298787878787879e-06, + "loss": 6.229573440551758, + "step": 54485 + }, + { + "epoch": 0.2439, + "grad_norm": 7.160693645477295, + "learning_rate": 2.298535353535354e-06, + "loss": 6.242762756347656, + "step": 54490 + }, + { + "epoch": 0.24395, + "grad_norm": 9.472740173339844, + "learning_rate": 2.2982828282828286e-06, + "loss": 6.302507019042968, + "step": 54495 + }, + { + "epoch": 0.244, + "grad_norm": 14.866138458251953, + "learning_rate": 2.2980303030303032e-06, + "loss": 6.247676849365234, + "step": 54500 + }, + { + "epoch": 0.24405, + "grad_norm": 19.42043685913086, + "learning_rate": 2.297777777777778e-06, + "loss": 6.277056503295898, + "step": 54505 + }, + { + "epoch": 0.2441, + "grad_norm": 5.575567722320557, + "learning_rate": 2.297525252525253e-06, + "loss": 6.284452819824219, + "step": 54510 + }, + { + "epoch": 0.24415, + "grad_norm": 7.007678508758545, + "learning_rate": 2.2972727272727275e-06, + "loss": 6.25257682800293, + "step": 54515 + }, + { + "epoch": 0.2442, + "grad_norm": 8.029012680053711, + "learning_rate": 2.297020202020202e-06, + "loss": 6.23291244506836, + "step": 54520 + }, + { + "epoch": 0.24425, + "grad_norm": 19.660436630249023, + "learning_rate": 2.296767676767677e-06, + "loss": 6.536753845214844, + "step": 54525 + }, + { + "epoch": 0.2443, + "grad_norm": 10.802935600280762, + "learning_rate": 2.296515151515152e-06, + "loss": 6.432315826416016, + "step": 54530 + }, + { + "epoch": 0.24435, + "grad_norm": 4.361486434936523, + "learning_rate": 2.2962626262626265e-06, + "loss": 6.2656597137451175, + "step": 54535 + }, + { + "epoch": 0.2444, + "grad_norm": 6.339912414550781, + "learning_rate": 2.296010101010101e-06, + "loss": 6.239645385742188, + "step": 54540 + }, + { + "epoch": 0.24445, + "grad_norm": 7.31729793548584, + "learning_rate": 2.2957575757575757e-06, + "loss": 6.264350509643554, + "step": 54545 + }, + { + "epoch": 0.2445, + "grad_norm": 7.358636379241943, + "learning_rate": 2.295505050505051e-06, + "loss": 6.184801864624023, + "step": 54550 + }, + { + "epoch": 0.24455, + "grad_norm": 13.089837074279785, + "learning_rate": 2.2952525252525254e-06, + "loss": 6.249306488037109, + "step": 54555 + }, + { + "epoch": 0.2446, + "grad_norm": 7.430058479309082, + "learning_rate": 2.2950000000000005e-06, + "loss": 6.288786315917969, + "step": 54560 + }, + { + "epoch": 0.24465, + "grad_norm": 8.623957633972168, + "learning_rate": 2.2947474747474747e-06, + "loss": 6.2592418670654295, + "step": 54565 + }, + { + "epoch": 0.2447, + "grad_norm": 10.623812675476074, + "learning_rate": 2.2944949494949497e-06, + "loss": 6.222797012329101, + "step": 54570 + }, + { + "epoch": 0.24475, + "grad_norm": 6.3067708015441895, + "learning_rate": 2.2942424242424244e-06, + "loss": 6.288557815551758, + "step": 54575 + }, + { + "epoch": 0.2448, + "grad_norm": 3.996670722961426, + "learning_rate": 2.2939898989898994e-06, + "loss": 6.3318336486816404, + "step": 54580 + }, + { + "epoch": 0.24485, + "grad_norm": 6.032015800476074, + "learning_rate": 2.293737373737374e-06, + "loss": 6.221044540405273, + "step": 54585 + }, + { + "epoch": 0.2449, + "grad_norm": 7.231252670288086, + "learning_rate": 2.2934848484848487e-06, + "loss": 6.2357124328613285, + "step": 54590 + }, + { + "epoch": 0.24495, + "grad_norm": 7.085239410400391, + "learning_rate": 2.2932323232323233e-06, + "loss": 6.276969909667969, + "step": 54595 + }, + { + "epoch": 0.245, + "grad_norm": 6.146199703216553, + "learning_rate": 2.2929797979797984e-06, + "loss": 6.214895629882813, + "step": 54600 + }, + { + "epoch": 5e-05, + "grad_norm": 8.667359352111816, + "learning_rate": 2.292727272727273e-06, + "loss": 6.2552745819091795, + "step": 54605 + }, + { + "epoch": 0.0001, + "grad_norm": 6.880889415740967, + "learning_rate": 2.2924747474747476e-06, + "loss": 6.187526702880859, + "step": 54610 + }, + { + "epoch": 0.00015, + "grad_norm": 8.492877006530762, + "learning_rate": 2.2922222222222223e-06, + "loss": 6.317396545410157, + "step": 54615 + }, + { + "epoch": 0.0002, + "grad_norm": 5.901414394378662, + "learning_rate": 2.2919696969696973e-06, + "loss": 6.271659088134766, + "step": 54620 + }, + { + "epoch": 0.00025, + "grad_norm": 15.037792205810547, + "learning_rate": 2.291717171717172e-06, + "loss": 6.252686309814453, + "step": 54625 + }, + { + "epoch": 0.0003, + "grad_norm": 3.866588830947876, + "learning_rate": 2.2914646464646466e-06, + "loss": 6.254892349243164, + "step": 54630 + }, + { + "epoch": 0.00035, + "grad_norm": 8.403800010681152, + "learning_rate": 2.291212121212121e-06, + "loss": 6.238437271118164, + "step": 54635 + }, + { + "epoch": 0.0004, + "grad_norm": 3.925560235977173, + "learning_rate": 2.2909595959595962e-06, + "loss": 6.294836044311523, + "step": 54640 + }, + { + "epoch": 0.00045, + "grad_norm": 8.383685111999512, + "learning_rate": 2.290707070707071e-06, + "loss": 6.299832153320312, + "step": 54645 + }, + { + "epoch": 0.0005, + "grad_norm": 4.139650821685791, + "learning_rate": 2.2904545454545455e-06, + "loss": 6.24766845703125, + "step": 54650 + }, + { + "epoch": 0.00055, + "grad_norm": 5.442991733551025, + "learning_rate": 2.29020202020202e-06, + "loss": 6.22370719909668, + "step": 54655 + }, + { + "epoch": 0.0006, + "grad_norm": 10.17952823638916, + "learning_rate": 2.289949494949495e-06, + "loss": 6.252803802490234, + "step": 54660 + }, + { + "epoch": 0.00065, + "grad_norm": 7.074005603790283, + "learning_rate": 2.28969696969697e-06, + "loss": 6.245901870727539, + "step": 54665 + }, + { + "epoch": 0.0007, + "grad_norm": 3.6935203075408936, + "learning_rate": 2.289444444444445e-06, + "loss": 6.276023101806641, + "step": 54670 + }, + { + "epoch": 0.00075, + "grad_norm": 7.216061115264893, + "learning_rate": 2.2891919191919195e-06, + "loss": 6.251096725463867, + "step": 54675 + }, + { + "epoch": 0.0008, + "grad_norm": 8.030790328979492, + "learning_rate": 2.288939393939394e-06, + "loss": 6.274227142333984, + "step": 54680 + }, + { + "epoch": 0.00085, + "grad_norm": 6.306556701660156, + "learning_rate": 2.2886868686868688e-06, + "loss": 6.23253059387207, + "step": 54685 + }, + { + "epoch": 0.0009, + "grad_norm": 8.118612289428711, + "learning_rate": 2.288434343434344e-06, + "loss": 6.273513412475586, + "step": 54690 + }, + { + "epoch": 0.00095, + "grad_norm": 3.2857518196105957, + "learning_rate": 2.2881818181818185e-06, + "loss": 6.238336181640625, + "step": 54695 + }, + { + "epoch": 0.001, + "grad_norm": 4.610288143157959, + "learning_rate": 2.287929292929293e-06, + "loss": 6.2268821716308596, + "step": 54700 + }, + { + "epoch": 0.00105, + "grad_norm": 5.977020740509033, + "learning_rate": 2.2876767676767677e-06, + "loss": 6.251573944091797, + "step": 54705 + }, + { + "epoch": 0.0011, + "grad_norm": 6.355082035064697, + "learning_rate": 2.2874242424242428e-06, + "loss": 6.228936004638672, + "step": 54710 + }, + { + "epoch": 0.00115, + "grad_norm": 4.595903396606445, + "learning_rate": 2.2871717171717174e-06, + "loss": 6.249454498291016, + "step": 54715 + }, + { + "epoch": 0.0012, + "grad_norm": 5.0032172203063965, + "learning_rate": 2.286919191919192e-06, + "loss": 6.277130889892578, + "step": 54720 + }, + { + "epoch": 0.00125, + "grad_norm": 3.5580525398254395, + "learning_rate": 2.2866666666666667e-06, + "loss": 6.218618392944336, + "step": 54725 + }, + { + "epoch": 0.0013, + "grad_norm": 3.637784242630005, + "learning_rate": 2.2864141414141417e-06, + "loss": 6.242452239990234, + "step": 54730 + }, + { + "epoch": 0.00135, + "grad_norm": 6.026608943939209, + "learning_rate": 2.2861616161616163e-06, + "loss": 6.044623565673828, + "step": 54735 + }, + { + "epoch": 0.0014, + "grad_norm": 5.174718379974365, + "learning_rate": 2.285909090909091e-06, + "loss": 6.195711517333985, + "step": 54740 + }, + { + "epoch": 0.00145, + "grad_norm": 8.587543487548828, + "learning_rate": 2.2856565656565656e-06, + "loss": 6.309786224365235, + "step": 54745 + }, + { + "epoch": 0.0015, + "grad_norm": 11.33362102508545, + "learning_rate": 2.2854040404040407e-06, + "loss": 6.267345809936524, + "step": 54750 + }, + { + "epoch": 0.00155, + "grad_norm": 14.85449504852295, + "learning_rate": 2.2851515151515153e-06, + "loss": 6.290382003784179, + "step": 54755 + }, + { + "epoch": 0.0016, + "grad_norm": 9.999930381774902, + "learning_rate": 2.28489898989899e-06, + "loss": 6.490119934082031, + "step": 54760 + }, + { + "epoch": 0.00165, + "grad_norm": 3.8619210720062256, + "learning_rate": 2.2846464646464645e-06, + "loss": 6.247728729248047, + "step": 54765 + }, + { + "epoch": 0.0017, + "grad_norm": 7.10304069519043, + "learning_rate": 2.2843939393939396e-06, + "loss": 6.165635681152343, + "step": 54770 + }, + { + "epoch": 0.00175, + "grad_norm": 12.169333457946777, + "learning_rate": 2.2841414141414142e-06, + "loss": 6.309274291992187, + "step": 54775 + }, + { + "epoch": 0.0018, + "grad_norm": 3.91489839553833, + "learning_rate": 2.2838888888888893e-06, + "loss": 6.2473876953125, + "step": 54780 + }, + { + "epoch": 0.00185, + "grad_norm": 9.755937576293945, + "learning_rate": 2.283636363636364e-06, + "loss": 6.266640853881836, + "step": 54785 + }, + { + "epoch": 0.0019, + "grad_norm": 6.3620734214782715, + "learning_rate": 2.2833838383838385e-06, + "loss": 6.2204734802246096, + "step": 54790 + }, + { + "epoch": 0.00195, + "grad_norm": 4.316466331481934, + "learning_rate": 2.283131313131313e-06, + "loss": 6.261576080322266, + "step": 54795 + }, + { + "epoch": 0.002, + "grad_norm": 11.780734062194824, + "learning_rate": 2.2828787878787882e-06, + "loss": 6.196191024780274, + "step": 54800 + }, + { + "epoch": 0.00205, + "grad_norm": 36.48588943481445, + "learning_rate": 2.282626262626263e-06, + "loss": 6.231214141845703, + "step": 54805 + }, + { + "epoch": 0.0021, + "grad_norm": 4.631005764007568, + "learning_rate": 2.2823737373737375e-06, + "loss": 6.23334846496582, + "step": 54810 + }, + { + "epoch": 0.00215, + "grad_norm": 3.7439708709716797, + "learning_rate": 2.282121212121212e-06, + "loss": 6.273107528686523, + "step": 54815 + }, + { + "epoch": 0.0022, + "grad_norm": 6.718963623046875, + "learning_rate": 2.281868686868687e-06, + "loss": 6.24505386352539, + "step": 54820 + }, + { + "epoch": 0.00225, + "grad_norm": 9.173001289367676, + "learning_rate": 2.281616161616162e-06, + "loss": 6.290366363525391, + "step": 54825 + }, + { + "epoch": 0.0023, + "grad_norm": 4.786609172821045, + "learning_rate": 2.2813636363636364e-06, + "loss": 6.249900054931641, + "step": 54830 + }, + { + "epoch": 0.00235, + "grad_norm": 5.17202091217041, + "learning_rate": 2.281111111111111e-06, + "loss": 6.218070983886719, + "step": 54835 + }, + { + "epoch": 0.0024, + "grad_norm": 5.247699737548828, + "learning_rate": 2.280858585858586e-06, + "loss": 6.2280220031738285, + "step": 54840 + }, + { + "epoch": 0.00245, + "grad_norm": 5.127541542053223, + "learning_rate": 2.2806060606060607e-06, + "loss": 6.248575210571289, + "step": 54845 + }, + { + "epoch": 0.0025, + "grad_norm": 5.5622429847717285, + "learning_rate": 2.2803535353535354e-06, + "loss": 6.245406723022461, + "step": 54850 + }, + { + "epoch": 0.00255, + "grad_norm": 6.496392250061035, + "learning_rate": 2.2801010101010104e-06, + "loss": 6.303318023681641, + "step": 54855 + }, + { + "epoch": 0.0026, + "grad_norm": 3.9946389198303223, + "learning_rate": 2.279848484848485e-06, + "loss": 6.261206817626953, + "step": 54860 + }, + { + "epoch": 0.00265, + "grad_norm": 4.9725341796875, + "learning_rate": 2.27959595959596e-06, + "loss": 6.255594635009766, + "step": 54865 + }, + { + "epoch": 0.0027, + "grad_norm": 6.890835762023926, + "learning_rate": 2.2793434343434343e-06, + "loss": 6.294471359252929, + "step": 54870 + }, + { + "epoch": 0.00275, + "grad_norm": 6.5957231521606445, + "learning_rate": 2.2790909090909094e-06, + "loss": 6.276836395263672, + "step": 54875 + }, + { + "epoch": 0.0028, + "grad_norm": 5.338305950164795, + "learning_rate": 2.278838383838384e-06, + "loss": 6.244186019897461, + "step": 54880 + }, + { + "epoch": 0.00285, + "grad_norm": 5.23325252532959, + "learning_rate": 2.278585858585859e-06, + "loss": 6.2466590881347654, + "step": 54885 + }, + { + "epoch": 0.0029, + "grad_norm": 14.115734100341797, + "learning_rate": 2.2783333333333337e-06, + "loss": 6.1939849853515625, + "step": 54890 + }, + { + "epoch": 0.00295, + "grad_norm": 6.165467739105225, + "learning_rate": 2.2780808080808083e-06, + "loss": 6.259896850585937, + "step": 54895 + }, + { + "epoch": 0.003, + "grad_norm": 5.721373558044434, + "learning_rate": 2.277828282828283e-06, + "loss": 6.272023391723633, + "step": 54900 + }, + { + "epoch": 0.00305, + "grad_norm": 6.757893085479736, + "learning_rate": 2.277575757575758e-06, + "loss": 6.258411407470703, + "step": 54905 + }, + { + "epoch": 0.0031, + "grad_norm": 18.8227596282959, + "learning_rate": 2.2773232323232326e-06, + "loss": 6.147814559936523, + "step": 54910 + }, + { + "epoch": 0.00315, + "grad_norm": 9.504530906677246, + "learning_rate": 2.2770707070707073e-06, + "loss": 6.20399169921875, + "step": 54915 + }, + { + "epoch": 0.0032, + "grad_norm": 3.660651445388794, + "learning_rate": 2.276818181818182e-06, + "loss": 6.205107116699219, + "step": 54920 + }, + { + "epoch": 0.00325, + "grad_norm": 6.010078430175781, + "learning_rate": 2.276565656565657e-06, + "loss": 6.2350013732910154, + "step": 54925 + }, + { + "epoch": 0.0033, + "grad_norm": 4.8154520988464355, + "learning_rate": 2.2763131313131316e-06, + "loss": 6.241425323486328, + "step": 54930 + }, + { + "epoch": 0.00335, + "grad_norm": 6.215099334716797, + "learning_rate": 2.276060606060606e-06, + "loss": 6.216873550415039, + "step": 54935 + }, + { + "epoch": 0.0034, + "grad_norm": 6.8554558753967285, + "learning_rate": 2.275808080808081e-06, + "loss": 6.360025405883789, + "step": 54940 + }, + { + "epoch": 0.00345, + "grad_norm": 6.5399580001831055, + "learning_rate": 2.275555555555556e-06, + "loss": 6.244036865234375, + "step": 54945 + }, + { + "epoch": 0.0035, + "grad_norm": 7.331899642944336, + "learning_rate": 2.2753030303030305e-06, + "loss": 6.255379104614258, + "step": 54950 + }, + { + "epoch": 0.00355, + "grad_norm": 24.243358612060547, + "learning_rate": 2.275050505050505e-06, + "loss": 6.247638320922851, + "step": 54955 + }, + { + "epoch": 0.0036, + "grad_norm": 11.918036460876465, + "learning_rate": 2.2747979797979798e-06, + "loss": 6.261985778808594, + "step": 54960 + }, + { + "epoch": 0.00365, + "grad_norm": 6.854541301727295, + "learning_rate": 2.274545454545455e-06, + "loss": 6.2419921875, + "step": 54965 + }, + { + "epoch": 0.0037, + "grad_norm": 5.312015056610107, + "learning_rate": 2.2742929292929295e-06, + "loss": 6.243400955200196, + "step": 54970 + }, + { + "epoch": 0.00375, + "grad_norm": 4.277090549468994, + "learning_rate": 2.2740404040404045e-06, + "loss": 6.242910385131836, + "step": 54975 + }, + { + "epoch": 0.0038, + "grad_norm": 8.733593940734863, + "learning_rate": 2.273787878787879e-06, + "loss": 6.3093524932861325, + "step": 54980 + }, + { + "epoch": 0.00385, + "grad_norm": 5.733173847198486, + "learning_rate": 2.2735353535353538e-06, + "loss": 6.249327087402344, + "step": 54985 + }, + { + "epoch": 0.0039, + "grad_norm": 30.900985717773438, + "learning_rate": 2.2732828282828284e-06, + "loss": 6.223883056640625, + "step": 54990 + }, + { + "epoch": 0.00395, + "grad_norm": 4.482702255249023, + "learning_rate": 2.2730303030303035e-06, + "loss": 6.2325695037841795, + "step": 54995 + }, + { + "epoch": 0.004, + "grad_norm": 15.063060760498047, + "learning_rate": 2.272777777777778e-06, + "loss": 6.30181655883789, + "step": 55000 + }, + { + "epoch": 0.00405, + "grad_norm": 7.808401107788086, + "learning_rate": 2.2725252525252527e-06, + "loss": 6.253874969482422, + "step": 55005 + }, + { + "epoch": 0.0041, + "grad_norm": 6.066341876983643, + "learning_rate": 2.2722727272727273e-06, + "loss": 6.277171325683594, + "step": 55010 + }, + { + "epoch": 0.00415, + "grad_norm": 6.820338726043701, + "learning_rate": 2.2720202020202024e-06, + "loss": 6.377825164794922, + "step": 55015 + }, + { + "epoch": 0.0042, + "grad_norm": 6.969101905822754, + "learning_rate": 2.271767676767677e-06, + "loss": 6.238267517089843, + "step": 55020 + }, + { + "epoch": 0.00425, + "grad_norm": 10.046394348144531, + "learning_rate": 2.2715151515151517e-06, + "loss": 6.310213088989258, + "step": 55025 + }, + { + "epoch": 0.0043, + "grad_norm": 5.784063816070557, + "learning_rate": 2.2712626262626263e-06, + "loss": 6.261535263061523, + "step": 55030 + }, + { + "epoch": 0.00435, + "grad_norm": 5.242814064025879, + "learning_rate": 2.2710101010101013e-06, + "loss": 6.240102386474609, + "step": 55035 + }, + { + "epoch": 0.0044, + "grad_norm": 3.766476631164551, + "learning_rate": 2.270757575757576e-06, + "loss": 6.252990341186523, + "step": 55040 + }, + { + "epoch": 0.00445, + "grad_norm": 4.9936628341674805, + "learning_rate": 2.2705050505050506e-06, + "loss": 6.229459762573242, + "step": 55045 + }, + { + "epoch": 0.0045, + "grad_norm": 4.488040447235107, + "learning_rate": 2.2702525252525252e-06, + "loss": 6.254853057861328, + "step": 55050 + }, + { + "epoch": 0.00455, + "grad_norm": 3.9554026126861572, + "learning_rate": 2.2700000000000003e-06, + "loss": 6.280983734130859, + "step": 55055 + }, + { + "epoch": 0.0046, + "grad_norm": 4.240971088409424, + "learning_rate": 2.269747474747475e-06, + "loss": 6.2050636291503904, + "step": 55060 + }, + { + "epoch": 0.00465, + "grad_norm": 8.210212707519531, + "learning_rate": 2.2694949494949495e-06, + "loss": 6.233924865722656, + "step": 55065 + }, + { + "epoch": 0.0047, + "grad_norm": 7.226136207580566, + "learning_rate": 2.269242424242424e-06, + "loss": 6.24578857421875, + "step": 55070 + }, + { + "epoch": 0.00475, + "grad_norm": 7.635437488555908, + "learning_rate": 2.2689898989898992e-06, + "loss": 6.230142593383789, + "step": 55075 + }, + { + "epoch": 0.0048, + "grad_norm": 10.491456031799316, + "learning_rate": 2.268737373737374e-06, + "loss": 6.246035766601563, + "step": 55080 + }, + { + "epoch": 0.00485, + "grad_norm": 7.606631755828857, + "learning_rate": 2.268484848484849e-06, + "loss": 6.160263442993164, + "step": 55085 + }, + { + "epoch": 0.0049, + "grad_norm": 5.03801965713501, + "learning_rate": 2.2682323232323235e-06, + "loss": 6.289277267456055, + "step": 55090 + }, + { + "epoch": 0.00495, + "grad_norm": 7.092830181121826, + "learning_rate": 2.267979797979798e-06, + "loss": 6.225572204589843, + "step": 55095 + }, + { + "epoch": 0.005, + "grad_norm": 4.373117446899414, + "learning_rate": 2.267727272727273e-06, + "loss": 6.2409004211425785, + "step": 55100 + }, + { + "epoch": 0.00505, + "grad_norm": 6.496281623840332, + "learning_rate": 2.267474747474748e-06, + "loss": 6.269579315185547, + "step": 55105 + }, + { + "epoch": 0.0051, + "grad_norm": 6.99586820602417, + "learning_rate": 2.2672222222222225e-06, + "loss": 6.27057113647461, + "step": 55110 + }, + { + "epoch": 0.00515, + "grad_norm": 8.136173248291016, + "learning_rate": 2.266969696969697e-06, + "loss": 6.259733963012695, + "step": 55115 + }, + { + "epoch": 0.0052, + "grad_norm": 6.117746829986572, + "learning_rate": 2.2667171717171718e-06, + "loss": 6.261005401611328, + "step": 55120 + }, + { + "epoch": 0.00525, + "grad_norm": 12.281745910644531, + "learning_rate": 2.266464646464647e-06, + "loss": 6.277224731445313, + "step": 55125 + }, + { + "epoch": 0.0053, + "grad_norm": 4.958805561065674, + "learning_rate": 2.2662121212121214e-06, + "loss": 6.234795379638672, + "step": 55130 + }, + { + "epoch": 0.00535, + "grad_norm": 5.982492446899414, + "learning_rate": 2.265959595959596e-06, + "loss": 6.258764266967773, + "step": 55135 + }, + { + "epoch": 0.0054, + "grad_norm": 5.139750003814697, + "learning_rate": 2.2657070707070707e-06, + "loss": 6.235709762573242, + "step": 55140 + }, + { + "epoch": 0.00545, + "grad_norm": 6.022611141204834, + "learning_rate": 2.2654545454545457e-06, + "loss": 6.272317504882812, + "step": 55145 + }, + { + "epoch": 0.0055, + "grad_norm": 8.309843063354492, + "learning_rate": 2.2652020202020204e-06, + "loss": 6.509901428222657, + "step": 55150 + }, + { + "epoch": 0.00555, + "grad_norm": 4.480137348175049, + "learning_rate": 2.264949494949495e-06, + "loss": 6.264294815063477, + "step": 55155 + }, + { + "epoch": 0.0056, + "grad_norm": 7.308412075042725, + "learning_rate": 2.2646969696969696e-06, + "loss": 6.247863006591797, + "step": 55160 + }, + { + "epoch": 0.00565, + "grad_norm": 5.223592281341553, + "learning_rate": 2.2644444444444447e-06, + "loss": 6.239296722412109, + "step": 55165 + }, + { + "epoch": 0.0057, + "grad_norm": 5.895315647125244, + "learning_rate": 2.2641919191919193e-06, + "loss": 6.262178802490235, + "step": 55170 + }, + { + "epoch": 0.00575, + "grad_norm": 5.936789512634277, + "learning_rate": 2.263939393939394e-06, + "loss": 6.267056274414062, + "step": 55175 + }, + { + "epoch": 0.0058, + "grad_norm": 5.548442840576172, + "learning_rate": 2.2636868686868686e-06, + "loss": 6.254130935668945, + "step": 55180 + }, + { + "epoch": 0.00585, + "grad_norm": 9.55578327178955, + "learning_rate": 2.2634343434343436e-06, + "loss": 6.218416595458985, + "step": 55185 + }, + { + "epoch": 0.0059, + "grad_norm": 8.633305549621582, + "learning_rate": 2.2631818181818183e-06, + "loss": 6.314426040649414, + "step": 55190 + }, + { + "epoch": 0.00595, + "grad_norm": 4.720498561859131, + "learning_rate": 2.2629292929292933e-06, + "loss": 6.327108764648438, + "step": 55195 + }, + { + "epoch": 0.006, + "grad_norm": 9.213533401489258, + "learning_rate": 2.262676767676768e-06, + "loss": 6.221530914306641, + "step": 55200 + }, + { + "epoch": 0.00605, + "grad_norm": 7.84896183013916, + "learning_rate": 2.2624242424242426e-06, + "loss": 6.228617858886719, + "step": 55205 + }, + { + "epoch": 0.0061, + "grad_norm": 7.087899684906006, + "learning_rate": 2.262171717171717e-06, + "loss": 6.324297332763672, + "step": 55210 + }, + { + "epoch": 0.00615, + "grad_norm": 5.860839366912842, + "learning_rate": 2.2619191919191923e-06, + "loss": 6.349237060546875, + "step": 55215 + }, + { + "epoch": 0.0062, + "grad_norm": 3.6862337589263916, + "learning_rate": 2.261666666666667e-06, + "loss": 6.229368209838867, + "step": 55220 + }, + { + "epoch": 0.00625, + "grad_norm": 4.4494853019714355, + "learning_rate": 2.2614141414141415e-06, + "loss": 6.269309997558594, + "step": 55225 + }, + { + "epoch": 0.0063, + "grad_norm": 6.226541996002197, + "learning_rate": 2.261161616161616e-06, + "loss": 6.693595886230469, + "step": 55230 + }, + { + "epoch": 0.00635, + "grad_norm": 6.027578353881836, + "learning_rate": 2.260909090909091e-06, + "loss": 6.184881591796875, + "step": 55235 + }, + { + "epoch": 0.0064, + "grad_norm": 7.537810325622559, + "learning_rate": 2.260656565656566e-06, + "loss": 6.232533645629883, + "step": 55240 + }, + { + "epoch": 0.00645, + "grad_norm": 15.059515953063965, + "learning_rate": 2.2604040404040405e-06, + "loss": 6.310016632080078, + "step": 55245 + }, + { + "epoch": 0.0065, + "grad_norm": 6.3501410484313965, + "learning_rate": 2.260151515151515e-06, + "loss": 6.276541900634766, + "step": 55250 + }, + { + "epoch": 0.00655, + "grad_norm": 5.2333526611328125, + "learning_rate": 2.25989898989899e-06, + "loss": 6.244926452636719, + "step": 55255 + }, + { + "epoch": 0.0066, + "grad_norm": 3.2637815475463867, + "learning_rate": 2.2596464646464648e-06, + "loss": 6.27104606628418, + "step": 55260 + }, + { + "epoch": 0.00665, + "grad_norm": 7.893517017364502, + "learning_rate": 2.2593939393939394e-06, + "loss": 6.241421508789062, + "step": 55265 + }, + { + "epoch": 0.0067, + "grad_norm": 6.872492790222168, + "learning_rate": 2.259141414141414e-06, + "loss": 6.296711730957031, + "step": 55270 + }, + { + "epoch": 0.00675, + "grad_norm": 5.399633407592773, + "learning_rate": 2.258888888888889e-06, + "loss": 6.246369171142578, + "step": 55275 + }, + { + "epoch": 0.0068, + "grad_norm": 5.301826477050781, + "learning_rate": 2.2586363636363637e-06, + "loss": 6.188702392578125, + "step": 55280 + }, + { + "epoch": 0.00685, + "grad_norm": 5.178252696990967, + "learning_rate": 2.2583838383838384e-06, + "loss": 6.296396636962891, + "step": 55285 + }, + { + "epoch": 0.0069, + "grad_norm": 7.981398582458496, + "learning_rate": 2.2581313131313134e-06, + "loss": 6.263945007324219, + "step": 55290 + }, + { + "epoch": 0.00695, + "grad_norm": 7.400506019592285, + "learning_rate": 2.257878787878788e-06, + "loss": 6.2022865295410154, + "step": 55295 + }, + { + "epoch": 0.007, + "grad_norm": 7.374297142028809, + "learning_rate": 2.257626262626263e-06, + "loss": 6.256303405761718, + "step": 55300 + }, + { + "epoch": 0.00705, + "grad_norm": 6.856837272644043, + "learning_rate": 2.2573737373737377e-06, + "loss": 6.224153137207031, + "step": 55305 + }, + { + "epoch": 0.0071, + "grad_norm": 18.192886352539062, + "learning_rate": 2.2571212121212124e-06, + "loss": 6.479226684570312, + "step": 55310 + }, + { + "epoch": 0.00715, + "grad_norm": 4.121739387512207, + "learning_rate": 2.256868686868687e-06, + "loss": 6.291316986083984, + "step": 55315 + }, + { + "epoch": 0.0072, + "grad_norm": 7.528702259063721, + "learning_rate": 2.256616161616162e-06, + "loss": 6.2385406494140625, + "step": 55320 + }, + { + "epoch": 0.00725, + "grad_norm": 18.970834732055664, + "learning_rate": 2.2563636363636367e-06, + "loss": 6.595360565185547, + "step": 55325 + }, + { + "epoch": 0.0073, + "grad_norm": 12.347230911254883, + "learning_rate": 2.2561111111111113e-06, + "loss": 6.4917236328125, + "step": 55330 + }, + { + "epoch": 0.00735, + "grad_norm": 29.93522071838379, + "learning_rate": 2.255858585858586e-06, + "loss": 6.388611602783203, + "step": 55335 + }, + { + "epoch": 0.0074, + "grad_norm": 25.18149757385254, + "learning_rate": 2.255606060606061e-06, + "loss": 6.376119995117188, + "step": 55340 + }, + { + "epoch": 0.00745, + "grad_norm": 15.759343147277832, + "learning_rate": 2.2553535353535356e-06, + "loss": 6.36231689453125, + "step": 55345 + }, + { + "epoch": 0.0075, + "grad_norm": 29.542295455932617, + "learning_rate": 2.2551010101010102e-06, + "loss": 6.331520462036133, + "step": 55350 + }, + { + "epoch": 0.00755, + "grad_norm": 16.19760513305664, + "learning_rate": 2.254848484848485e-06, + "loss": 6.247932052612304, + "step": 55355 + }, + { + "epoch": 0.0076, + "grad_norm": 29.239559173583984, + "learning_rate": 2.25459595959596e-06, + "loss": 6.1978614807128904, + "step": 55360 + }, + { + "epoch": 0.00765, + "grad_norm": 10.361992835998535, + "learning_rate": 2.2543434343434346e-06, + "loss": 6.30879020690918, + "step": 55365 + }, + { + "epoch": 0.0077, + "grad_norm": 7.1812214851379395, + "learning_rate": 2.254090909090909e-06, + "loss": 6.284302520751953, + "step": 55370 + }, + { + "epoch": 0.00775, + "grad_norm": 8.303197860717773, + "learning_rate": 2.253838383838384e-06, + "loss": 6.235615539550781, + "step": 55375 + }, + { + "epoch": 0.0078, + "grad_norm": 12.640412330627441, + "learning_rate": 2.253585858585859e-06, + "loss": 6.269161224365234, + "step": 55380 + }, + { + "epoch": 0.00785, + "grad_norm": 10.521970748901367, + "learning_rate": 2.2533333333333335e-06, + "loss": 6.394633483886719, + "step": 55385 + }, + { + "epoch": 0.0079, + "grad_norm": 11.708281517028809, + "learning_rate": 2.2530808080808086e-06, + "loss": 6.307267761230468, + "step": 55390 + }, + { + "epoch": 0.00795, + "grad_norm": 14.165722846984863, + "learning_rate": 2.252828282828283e-06, + "loss": 6.231996154785156, + "step": 55395 + }, + { + "epoch": 0.008, + "grad_norm": 9.04283618927002, + "learning_rate": 2.252575757575758e-06, + "loss": 6.2630775451660154, + "step": 55400 + }, + { + "epoch": 0.00805, + "grad_norm": 9.241861343383789, + "learning_rate": 2.2523232323232324e-06, + "loss": 6.0924335479736325, + "step": 55405 + }, + { + "epoch": 0.0081, + "grad_norm": 9.500019073486328, + "learning_rate": 2.2520707070707075e-06, + "loss": 6.289955139160156, + "step": 55410 + }, + { + "epoch": 0.00815, + "grad_norm": 11.915101051330566, + "learning_rate": 2.251818181818182e-06, + "loss": 6.45520248413086, + "step": 55415 + }, + { + "epoch": 0.0082, + "grad_norm": 8.25200366973877, + "learning_rate": 2.2515656565656568e-06, + "loss": 6.2834831237792965, + "step": 55420 + }, + { + "epoch": 0.00825, + "grad_norm": 9.403433799743652, + "learning_rate": 2.2513131313131314e-06, + "loss": 6.2515419006347654, + "step": 55425 + }, + { + "epoch": 0.0083, + "grad_norm": 5.849364280700684, + "learning_rate": 2.2510606060606064e-06, + "loss": 6.280702209472656, + "step": 55430 + }, + { + "epoch": 0.00835, + "grad_norm": 7.245185375213623, + "learning_rate": 2.250808080808081e-06, + "loss": 6.236693572998047, + "step": 55435 + }, + { + "epoch": 0.0084, + "grad_norm": 3.4506876468658447, + "learning_rate": 2.2505555555555557e-06, + "loss": 6.265388107299804, + "step": 55440 + }, + { + "epoch": 0.00845, + "grad_norm": 9.338947296142578, + "learning_rate": 2.2503030303030303e-06, + "loss": 6.3565937042236325, + "step": 55445 + }, + { + "epoch": 0.0085, + "grad_norm": 5.707555770874023, + "learning_rate": 2.2500505050505054e-06, + "loss": 6.234836578369141, + "step": 55450 + }, + { + "epoch": 0.00855, + "grad_norm": 6.283568859100342, + "learning_rate": 2.24979797979798e-06, + "loss": 6.243525695800781, + "step": 55455 + }, + { + "epoch": 0.0086, + "grad_norm": 4.828361988067627, + "learning_rate": 2.2495454545454546e-06, + "loss": 6.2716209411621096, + "step": 55460 + }, + { + "epoch": 0.00865, + "grad_norm": 7.324448108673096, + "learning_rate": 2.2492929292929293e-06, + "loss": 6.294651794433594, + "step": 55465 + }, + { + "epoch": 0.0087, + "grad_norm": 8.61438274383545, + "learning_rate": 2.2490404040404043e-06, + "loss": 6.2911731719970705, + "step": 55470 + }, + { + "epoch": 0.00875, + "grad_norm": 9.766899108886719, + "learning_rate": 2.248787878787879e-06, + "loss": 6.231574249267578, + "step": 55475 + }, + { + "epoch": 0.0088, + "grad_norm": 10.589253425598145, + "learning_rate": 2.2485353535353536e-06, + "loss": 6.292388534545898, + "step": 55480 + }, + { + "epoch": 0.00885, + "grad_norm": 4.112590312957764, + "learning_rate": 2.2482828282828282e-06, + "loss": 6.264006423950195, + "step": 55485 + }, + { + "epoch": 0.0089, + "grad_norm": 5.228659152984619, + "learning_rate": 2.2480303030303033e-06, + "loss": 6.473737335205078, + "step": 55490 + }, + { + "epoch": 0.00895, + "grad_norm": 6.604508876800537, + "learning_rate": 2.247777777777778e-06, + "loss": 6.28828125, + "step": 55495 + }, + { + "epoch": 0.009, + "grad_norm": 7.759131908416748, + "learning_rate": 2.247525252525253e-06, + "loss": 6.256314849853515, + "step": 55500 + }, + { + "epoch": 0.00905, + "grad_norm": 5.7659831047058105, + "learning_rate": 2.2472727272727276e-06, + "loss": 6.225281143188477, + "step": 55505 + }, + { + "epoch": 0.0091, + "grad_norm": 6.5819268226623535, + "learning_rate": 2.2470202020202022e-06, + "loss": 6.275871276855469, + "step": 55510 + }, + { + "epoch": 0.00915, + "grad_norm": 7.221209526062012, + "learning_rate": 2.246767676767677e-06, + "loss": 6.260999298095703, + "step": 55515 + }, + { + "epoch": 0.0092, + "grad_norm": 6.685068130493164, + "learning_rate": 2.246515151515152e-06, + "loss": 6.272079849243164, + "step": 55520 + }, + { + "epoch": 0.00925, + "grad_norm": 7.395543575286865, + "learning_rate": 2.2462626262626265e-06, + "loss": 6.416314697265625, + "step": 55525 + }, + { + "epoch": 0.0093, + "grad_norm": 8.722616195678711, + "learning_rate": 2.246010101010101e-06, + "loss": 6.357500839233398, + "step": 55530 + }, + { + "epoch": 0.00935, + "grad_norm": 10.637331008911133, + "learning_rate": 2.245757575757576e-06, + "loss": 6.405256652832032, + "step": 55535 + }, + { + "epoch": 0.0094, + "grad_norm": 5.426046848297119, + "learning_rate": 2.245505050505051e-06, + "loss": 6.270625305175781, + "step": 55540 + }, + { + "epoch": 0.00945, + "grad_norm": 6.7551140785217285, + "learning_rate": 2.2452525252525255e-06, + "loss": 6.2552742004394535, + "step": 55545 + }, + { + "epoch": 0.0095, + "grad_norm": 15.486772537231445, + "learning_rate": 2.245e-06, + "loss": 6.381095886230469, + "step": 55550 + }, + { + "epoch": 0.00955, + "grad_norm": 5.917387962341309, + "learning_rate": 2.2447474747474747e-06, + "loss": 6.270011138916016, + "step": 55555 + }, + { + "epoch": 0.0096, + "grad_norm": 9.036145210266113, + "learning_rate": 2.24449494949495e-06, + "loss": 6.293013000488282, + "step": 55560 + }, + { + "epoch": 0.00965, + "grad_norm": 5.255424976348877, + "learning_rate": 2.2442424242424244e-06, + "loss": 6.25639533996582, + "step": 55565 + }, + { + "epoch": 0.0097, + "grad_norm": 4.822597980499268, + "learning_rate": 2.243989898989899e-06, + "loss": 6.238325500488282, + "step": 55570 + }, + { + "epoch": 0.00975, + "grad_norm": 7.821551322937012, + "learning_rate": 2.2437373737373737e-06, + "loss": 6.439323425292969, + "step": 55575 + }, + { + "epoch": 0.0098, + "grad_norm": 22.266645431518555, + "learning_rate": 2.2434848484848487e-06, + "loss": 6.52354736328125, + "step": 55580 + }, + { + "epoch": 0.00985, + "grad_norm": 10.085411071777344, + "learning_rate": 2.2432323232323234e-06, + "loss": 6.192454528808594, + "step": 55585 + }, + { + "epoch": 0.0099, + "grad_norm": 26.464080810546875, + "learning_rate": 2.242979797979798e-06, + "loss": 6.354348373413086, + "step": 55590 + }, + { + "epoch": 0.00995, + "grad_norm": 4.733357906341553, + "learning_rate": 2.2427272727272726e-06, + "loss": 6.266166687011719, + "step": 55595 + }, + { + "epoch": 0.01, + "grad_norm": 5.584670543670654, + "learning_rate": 2.2424747474747477e-06, + "loss": 6.2719261169433596, + "step": 55600 + }, + { + "epoch": 0.01005, + "grad_norm": 4.149133682250977, + "learning_rate": 2.2422222222222223e-06, + "loss": 6.226016235351563, + "step": 55605 + }, + { + "epoch": 0.0101, + "grad_norm": 6.471023082733154, + "learning_rate": 2.2419696969696974e-06, + "loss": 6.262131881713867, + "step": 55610 + }, + { + "epoch": 0.01015, + "grad_norm": 8.406002044677734, + "learning_rate": 2.241717171717172e-06, + "loss": 6.327808380126953, + "step": 55615 + }, + { + "epoch": 0.0102, + "grad_norm": 6.3015899658203125, + "learning_rate": 2.2414646464646466e-06, + "loss": 6.301862335205078, + "step": 55620 + }, + { + "epoch": 0.01025, + "grad_norm": 5.128692626953125, + "learning_rate": 2.2412121212121213e-06, + "loss": 6.237133407592774, + "step": 55625 + }, + { + "epoch": 0.0103, + "grad_norm": 6.281396865844727, + "learning_rate": 2.2409595959595963e-06, + "loss": 6.281701278686524, + "step": 55630 + }, + { + "epoch": 0.01035, + "grad_norm": 6.0756635665893555, + "learning_rate": 2.240707070707071e-06, + "loss": 6.501734924316406, + "step": 55635 + }, + { + "epoch": 0.0104, + "grad_norm": 6.375938892364502, + "learning_rate": 2.2404545454545456e-06, + "loss": 6.380347442626953, + "step": 55640 + }, + { + "epoch": 0.01045, + "grad_norm": 8.579413414001465, + "learning_rate": 2.24020202020202e-06, + "loss": 6.219499969482422, + "step": 55645 + }, + { + "epoch": 0.0105, + "grad_norm": 6.860259532928467, + "learning_rate": 2.2399494949494952e-06, + "loss": 6.2419178009033205, + "step": 55650 + }, + { + "epoch": 0.01055, + "grad_norm": 4.61507511138916, + "learning_rate": 2.23969696969697e-06, + "loss": 6.303063201904297, + "step": 55655 + }, + { + "epoch": 0.0106, + "grad_norm": 4.355443477630615, + "learning_rate": 2.2394444444444445e-06, + "loss": 6.324828338623047, + "step": 55660 + }, + { + "epoch": 0.01065, + "grad_norm": 4.687447547912598, + "learning_rate": 2.239191919191919e-06, + "loss": 6.232057571411133, + "step": 55665 + }, + { + "epoch": 0.0107, + "grad_norm": 5.155239105224609, + "learning_rate": 2.238939393939394e-06, + "loss": 6.220396423339844, + "step": 55670 + }, + { + "epoch": 0.01075, + "grad_norm": 5.026395797729492, + "learning_rate": 2.238686868686869e-06, + "loss": 6.216888046264648, + "step": 55675 + }, + { + "epoch": 0.0108, + "grad_norm": 9.557104110717773, + "learning_rate": 2.2384343434343435e-06, + "loss": 6.288691711425781, + "step": 55680 + }, + { + "epoch": 0.01085, + "grad_norm": 5.355003356933594, + "learning_rate": 2.238181818181818e-06, + "loss": 6.280705261230469, + "step": 55685 + }, + { + "epoch": 0.0109, + "grad_norm": 4.7892327308654785, + "learning_rate": 2.237929292929293e-06, + "loss": 6.296241378784179, + "step": 55690 + }, + { + "epoch": 0.01095, + "grad_norm": 3.5528500080108643, + "learning_rate": 2.2376767676767678e-06, + "loss": 6.269623565673828, + "step": 55695 + }, + { + "epoch": 0.011, + "grad_norm": 5.978426456451416, + "learning_rate": 2.237424242424243e-06, + "loss": 6.2224475860595705, + "step": 55700 + }, + { + "epoch": 0.01105, + "grad_norm": 7.050121784210205, + "learning_rate": 2.237171717171717e-06, + "loss": 6.251303100585938, + "step": 55705 + }, + { + "epoch": 0.0111, + "grad_norm": 6.782392501831055, + "learning_rate": 2.236919191919192e-06, + "loss": 6.2935127258300785, + "step": 55710 + }, + { + "epoch": 0.01115, + "grad_norm": 4.797961235046387, + "learning_rate": 2.236666666666667e-06, + "loss": 6.249351882934571, + "step": 55715 + }, + { + "epoch": 0.0112, + "grad_norm": 6.292905807495117, + "learning_rate": 2.2364141414141418e-06, + "loss": 6.251496124267578, + "step": 55720 + }, + { + "epoch": 0.01125, + "grad_norm": 9.276315689086914, + "learning_rate": 2.2361616161616164e-06, + "loss": 6.2979389190673825, + "step": 55725 + }, + { + "epoch": 0.0113, + "grad_norm": 5.2532429695129395, + "learning_rate": 2.235909090909091e-06, + "loss": 6.247525787353515, + "step": 55730 + }, + { + "epoch": 0.01135, + "grad_norm": 6.802566051483154, + "learning_rate": 2.235656565656566e-06, + "loss": 6.259909439086914, + "step": 55735 + }, + { + "epoch": 0.0114, + "grad_norm": 6.939477443695068, + "learning_rate": 2.2354040404040407e-06, + "loss": 6.217877578735352, + "step": 55740 + }, + { + "epoch": 0.01145, + "grad_norm": 11.636287689208984, + "learning_rate": 2.2351515151515153e-06, + "loss": 6.433662414550781, + "step": 55745 + }, + { + "epoch": 0.0115, + "grad_norm": 4.105189800262451, + "learning_rate": 2.23489898989899e-06, + "loss": 6.259777069091797, + "step": 55750 + }, + { + "epoch": 0.01155, + "grad_norm": 10.7062349319458, + "learning_rate": 2.234646464646465e-06, + "loss": 6.321342468261719, + "step": 55755 + }, + { + "epoch": 0.0116, + "grad_norm": 10.434945106506348, + "learning_rate": 2.2343939393939397e-06, + "loss": 6.278896713256836, + "step": 55760 + }, + { + "epoch": 0.01165, + "grad_norm": 5.0144362449646, + "learning_rate": 2.2341414141414143e-06, + "loss": 6.278501892089844, + "step": 55765 + }, + { + "epoch": 0.0117, + "grad_norm": 8.33598518371582, + "learning_rate": 2.233888888888889e-06, + "loss": 6.28941764831543, + "step": 55770 + }, + { + "epoch": 0.01175, + "grad_norm": 4.891776084899902, + "learning_rate": 2.233636363636364e-06, + "loss": 6.269562530517578, + "step": 55775 + }, + { + "epoch": 0.0118, + "grad_norm": 4.617874622344971, + "learning_rate": 2.2333838383838386e-06, + "loss": 6.220915985107422, + "step": 55780 + }, + { + "epoch": 0.01185, + "grad_norm": 7.857678413391113, + "learning_rate": 2.2331313131313132e-06, + "loss": 6.255865478515625, + "step": 55785 + }, + { + "epoch": 0.0119, + "grad_norm": 6.629216194152832, + "learning_rate": 2.232878787878788e-06, + "loss": 6.301713562011718, + "step": 55790 + }, + { + "epoch": 0.01195, + "grad_norm": 5.192300796508789, + "learning_rate": 2.232626262626263e-06, + "loss": 6.269006729125977, + "step": 55795 + }, + { + "epoch": 0.012, + "grad_norm": 2.9285635948181152, + "learning_rate": 2.2323737373737375e-06, + "loss": 6.231029510498047, + "step": 55800 + }, + { + "epoch": 0.01205, + "grad_norm": 5.054631233215332, + "learning_rate": 2.2321212121212126e-06, + "loss": 6.344683074951172, + "step": 55805 + }, + { + "epoch": 0.0121, + "grad_norm": 5.0027079582214355, + "learning_rate": 2.2318686868686872e-06, + "loss": 6.271974182128906, + "step": 55810 + }, + { + "epoch": 0.01215, + "grad_norm": 5.288295269012451, + "learning_rate": 2.231616161616162e-06, + "loss": 6.337760543823242, + "step": 55815 + }, + { + "epoch": 0.0122, + "grad_norm": 4.7464776039123535, + "learning_rate": 2.2313636363636365e-06, + "loss": 6.184886169433594, + "step": 55820 + }, + { + "epoch": 0.01225, + "grad_norm": 8.326811790466309, + "learning_rate": 2.2311111111111115e-06, + "loss": 6.243676376342774, + "step": 55825 + }, + { + "epoch": 0.0123, + "grad_norm": 15.001068115234375, + "learning_rate": 2.230858585858586e-06, + "loss": 6.206618881225586, + "step": 55830 + }, + { + "epoch": 0.01235, + "grad_norm": 6.832383155822754, + "learning_rate": 2.230606060606061e-06, + "loss": 6.258468246459961, + "step": 55835 + }, + { + "epoch": 0.0124, + "grad_norm": 5.340137958526611, + "learning_rate": 2.2303535353535354e-06, + "loss": 6.2405647277832035, + "step": 55840 + }, + { + "epoch": 0.01245, + "grad_norm": 6.207499980926514, + "learning_rate": 2.2301010101010105e-06, + "loss": 6.231080627441406, + "step": 55845 + }, + { + "epoch": 0.0125, + "grad_norm": 8.055034637451172, + "learning_rate": 2.229848484848485e-06, + "loss": 6.21954116821289, + "step": 55850 + }, + { + "epoch": 0.01255, + "grad_norm": 6.74752950668335, + "learning_rate": 2.2295959595959597e-06, + "loss": 6.252195739746094, + "step": 55855 + }, + { + "epoch": 0.0126, + "grad_norm": 5.151163101196289, + "learning_rate": 2.2293434343434344e-06, + "loss": 6.4318092346191404, + "step": 55860 + }, + { + "epoch": 0.01265, + "grad_norm": 5.5406599044799805, + "learning_rate": 2.2290909090909094e-06, + "loss": 6.646670532226563, + "step": 55865 + }, + { + "epoch": 0.0127, + "grad_norm": 4.918658256530762, + "learning_rate": 2.228838383838384e-06, + "loss": 6.2828105926513675, + "step": 55870 + }, + { + "epoch": 0.01275, + "grad_norm": 7.724645614624023, + "learning_rate": 2.2285858585858587e-06, + "loss": 6.219248199462891, + "step": 55875 + }, + { + "epoch": 0.0128, + "grad_norm": 7.5981125831604, + "learning_rate": 2.2283333333333333e-06, + "loss": 6.3004802703857425, + "step": 55880 + }, + { + "epoch": 0.01285, + "grad_norm": 11.174755096435547, + "learning_rate": 2.2280808080808084e-06, + "loss": 6.2702068328857425, + "step": 55885 + }, + { + "epoch": 0.0129, + "grad_norm": 45.38349151611328, + "learning_rate": 2.227828282828283e-06, + "loss": 6.431885528564453, + "step": 55890 + }, + { + "epoch": 0.01295, + "grad_norm": 7.753589630126953, + "learning_rate": 2.2275757575757576e-06, + "loss": 6.277084732055664, + "step": 55895 + }, + { + "epoch": 0.013, + "grad_norm": 4.424330711364746, + "learning_rate": 2.2273232323232323e-06, + "loss": 6.2295490264892575, + "step": 55900 + }, + { + "epoch": 0.01305, + "grad_norm": 6.27789831161499, + "learning_rate": 2.2270707070707073e-06, + "loss": 6.246075439453125, + "step": 55905 + }, + { + "epoch": 0.0131, + "grad_norm": 5.17119836807251, + "learning_rate": 2.226818181818182e-06, + "loss": 6.237952804565429, + "step": 55910 + }, + { + "epoch": 0.01315, + "grad_norm": 6.317302227020264, + "learning_rate": 2.226565656565657e-06, + "loss": 6.2562202453613285, + "step": 55915 + }, + { + "epoch": 0.0132, + "grad_norm": 7.922659873962402, + "learning_rate": 2.2263131313131316e-06, + "loss": 6.387746810913086, + "step": 55920 + }, + { + "epoch": 0.01325, + "grad_norm": 6.001702785491943, + "learning_rate": 2.2260606060606063e-06, + "loss": 6.528140258789063, + "step": 55925 + }, + { + "epoch": 0.0133, + "grad_norm": 7.7512946128845215, + "learning_rate": 2.225808080808081e-06, + "loss": 6.261476135253906, + "step": 55930 + }, + { + "epoch": 0.01335, + "grad_norm": 4.93289041519165, + "learning_rate": 2.225555555555556e-06, + "loss": 6.275044250488281, + "step": 55935 + }, + { + "epoch": 0.0134, + "grad_norm": 4.640034198760986, + "learning_rate": 2.2253030303030306e-06, + "loss": 6.232272720336914, + "step": 55940 + }, + { + "epoch": 0.01345, + "grad_norm": 5.831015586853027, + "learning_rate": 2.225050505050505e-06, + "loss": 6.28984489440918, + "step": 55945 + }, + { + "epoch": 0.0135, + "grad_norm": 7.133537769317627, + "learning_rate": 2.22479797979798e-06, + "loss": 6.447408294677734, + "step": 55950 + }, + { + "epoch": 0.01355, + "grad_norm": 6.0780816078186035, + "learning_rate": 2.224545454545455e-06, + "loss": 6.3011024475097654, + "step": 55955 + }, + { + "epoch": 0.0136, + "grad_norm": 7.034844398498535, + "learning_rate": 2.2242929292929295e-06, + "loss": 6.297059631347656, + "step": 55960 + }, + { + "epoch": 0.01365, + "grad_norm": 30.152130126953125, + "learning_rate": 2.224040404040404e-06, + "loss": 6.282871246337891, + "step": 55965 + }, + { + "epoch": 0.0137, + "grad_norm": 8.641244888305664, + "learning_rate": 2.2237878787878788e-06, + "loss": 6.273617935180664, + "step": 55970 + }, + { + "epoch": 0.01375, + "grad_norm": 5.335292816162109, + "learning_rate": 2.223535353535354e-06, + "loss": 6.269273376464843, + "step": 55975 + }, + { + "epoch": 0.0138, + "grad_norm": 5.559218406677246, + "learning_rate": 2.2232828282828285e-06, + "loss": 6.357691955566406, + "step": 55980 + }, + { + "epoch": 0.01385, + "grad_norm": 4.955188751220703, + "learning_rate": 2.223030303030303e-06, + "loss": 6.247386932373047, + "step": 55985 + }, + { + "epoch": 0.0139, + "grad_norm": 6.906797409057617, + "learning_rate": 2.2227777777777777e-06, + "loss": 6.247916030883789, + "step": 55990 + }, + { + "epoch": 0.01395, + "grad_norm": 5.973461151123047, + "learning_rate": 2.2225252525252528e-06, + "loss": 6.2576850891113285, + "step": 55995 + }, + { + "epoch": 0.014, + "grad_norm": 5.548551082611084, + "learning_rate": 2.2222727272727274e-06, + "loss": 6.218695068359375, + "step": 56000 + }, + { + "epoch": 0.01405, + "grad_norm": 5.774709701538086, + "learning_rate": 2.222020202020202e-06, + "loss": 6.221891021728515, + "step": 56005 + }, + { + "epoch": 0.0141, + "grad_norm": 5.841799259185791, + "learning_rate": 2.2217676767676767e-06, + "loss": 6.248642349243164, + "step": 56010 + }, + { + "epoch": 0.01415, + "grad_norm": 4.387969970703125, + "learning_rate": 2.2215151515151517e-06, + "loss": 6.252950286865234, + "step": 56015 + }, + { + "epoch": 0.0142, + "grad_norm": 7.644568920135498, + "learning_rate": 2.2212626262626263e-06, + "loss": 6.225751495361328, + "step": 56020 + }, + { + "epoch": 0.01425, + "grad_norm": 4.468446731567383, + "learning_rate": 2.2210101010101014e-06, + "loss": 6.237131118774414, + "step": 56025 + }, + { + "epoch": 0.0143, + "grad_norm": 4.616331577301025, + "learning_rate": 2.220757575757576e-06, + "loss": 6.260491943359375, + "step": 56030 + }, + { + "epoch": 0.01435, + "grad_norm": 5.1265740394592285, + "learning_rate": 2.2205050505050507e-06, + "loss": 6.2943767547607425, + "step": 56035 + }, + { + "epoch": 0.0144, + "grad_norm": 27.995742797851562, + "learning_rate": 2.2202525252525253e-06, + "loss": 6.542456817626953, + "step": 56040 + }, + { + "epoch": 0.01445, + "grad_norm": 9.208803176879883, + "learning_rate": 2.2200000000000003e-06, + "loss": 6.234098052978515, + "step": 56045 + }, + { + "epoch": 0.0145, + "grad_norm": 8.574763298034668, + "learning_rate": 2.219747474747475e-06, + "loss": 6.272102737426758, + "step": 56050 + }, + { + "epoch": 0.01455, + "grad_norm": 6.889362335205078, + "learning_rate": 2.2194949494949496e-06, + "loss": 6.243094635009766, + "step": 56055 + }, + { + "epoch": 0.0146, + "grad_norm": 22.008548736572266, + "learning_rate": 2.2192424242424242e-06, + "loss": 6.314971923828125, + "step": 56060 + }, + { + "epoch": 0.01465, + "grad_norm": 5.1897664070129395, + "learning_rate": 2.2189898989898993e-06, + "loss": 6.275286483764648, + "step": 56065 + }, + { + "epoch": 0.0147, + "grad_norm": 6.433852195739746, + "learning_rate": 2.218737373737374e-06, + "loss": 6.227709197998047, + "step": 56070 + }, + { + "epoch": 0.01475, + "grad_norm": 5.240730285644531, + "learning_rate": 2.2184848484848485e-06, + "loss": 6.250267028808594, + "step": 56075 + }, + { + "epoch": 0.0148, + "grad_norm": 11.434518814086914, + "learning_rate": 2.218232323232323e-06, + "loss": 6.303483963012695, + "step": 56080 + }, + { + "epoch": 0.01485, + "grad_norm": 4.418013572692871, + "learning_rate": 2.2179797979797982e-06, + "loss": 6.251652526855469, + "step": 56085 + }, + { + "epoch": 0.0149, + "grad_norm": 7.154845714569092, + "learning_rate": 2.217727272727273e-06, + "loss": 6.255281066894531, + "step": 56090 + }, + { + "epoch": 0.01495, + "grad_norm": 5.689499855041504, + "learning_rate": 2.2174747474747475e-06, + "loss": 6.253896331787109, + "step": 56095 + }, + { + "epoch": 0.015, + "grad_norm": 5.953764915466309, + "learning_rate": 2.217222222222222e-06, + "loss": 6.242992401123047, + "step": 56100 + }, + { + "epoch": 0.01505, + "grad_norm": 6.862473964691162, + "learning_rate": 2.216969696969697e-06, + "loss": 6.245672225952148, + "step": 56105 + }, + { + "epoch": 0.0151, + "grad_norm": 9.366861343383789, + "learning_rate": 2.216717171717172e-06, + "loss": 6.2787025451660154, + "step": 56110 + }, + { + "epoch": 0.01515, + "grad_norm": 8.541157722473145, + "learning_rate": 2.216464646464647e-06, + "loss": 6.272380828857422, + "step": 56115 + }, + { + "epoch": 0.0152, + "grad_norm": 6.680261135101318, + "learning_rate": 2.216212121212121e-06, + "loss": 6.265886688232422, + "step": 56120 + }, + { + "epoch": 0.01525, + "grad_norm": 10.582525253295898, + "learning_rate": 2.215959595959596e-06, + "loss": 6.265020370483398, + "step": 56125 + }, + { + "epoch": 0.0153, + "grad_norm": 5.738116264343262, + "learning_rate": 2.2157070707070708e-06, + "loss": 6.304922103881836, + "step": 56130 + }, + { + "epoch": 0.01535, + "grad_norm": 7.566983222961426, + "learning_rate": 2.215454545454546e-06, + "loss": 6.217292785644531, + "step": 56135 + }, + { + "epoch": 0.0154, + "grad_norm": 5.794374942779541, + "learning_rate": 2.2152020202020204e-06, + "loss": 6.226314544677734, + "step": 56140 + }, + { + "epoch": 0.01545, + "grad_norm": 6.036230087280273, + "learning_rate": 2.214949494949495e-06, + "loss": 6.233723449707031, + "step": 56145 + }, + { + "epoch": 0.0155, + "grad_norm": 17.565690994262695, + "learning_rate": 2.21469696969697e-06, + "loss": 6.274483108520508, + "step": 56150 + }, + { + "epoch": 0.01555, + "grad_norm": 5.602835655212402, + "learning_rate": 2.2144444444444447e-06, + "loss": 6.270854568481445, + "step": 56155 + }, + { + "epoch": 0.0156, + "grad_norm": 6.423490524291992, + "learning_rate": 2.2141919191919194e-06, + "loss": 6.304653930664062, + "step": 56160 + }, + { + "epoch": 0.01565, + "grad_norm": 8.593656539916992, + "learning_rate": 2.213939393939394e-06, + "loss": 6.247600936889649, + "step": 56165 + }, + { + "epoch": 0.0157, + "grad_norm": 5.6598429679870605, + "learning_rate": 2.213686868686869e-06, + "loss": 6.231233215332031, + "step": 56170 + }, + { + "epoch": 0.01575, + "grad_norm": 12.528000831604004, + "learning_rate": 2.2134343434343437e-06, + "loss": 6.243989562988281, + "step": 56175 + }, + { + "epoch": 0.0158, + "grad_norm": 6.603438377380371, + "learning_rate": 2.2131818181818183e-06, + "loss": 6.285524368286133, + "step": 56180 + }, + { + "epoch": 0.01585, + "grad_norm": 8.53148078918457, + "learning_rate": 2.212929292929293e-06, + "loss": 6.275897598266601, + "step": 56185 + }, + { + "epoch": 0.0159, + "grad_norm": 5.651914596557617, + "learning_rate": 2.212676767676768e-06, + "loss": 6.342752456665039, + "step": 56190 + }, + { + "epoch": 0.01595, + "grad_norm": 15.179117202758789, + "learning_rate": 2.2124242424242426e-06, + "loss": 6.313951873779297, + "step": 56195 + }, + { + "epoch": 0.016, + "grad_norm": 4.815338611602783, + "learning_rate": 2.2121717171717173e-06, + "loss": 6.429928588867187, + "step": 56200 + }, + { + "epoch": 0.01605, + "grad_norm": 4.423083305358887, + "learning_rate": 2.211919191919192e-06, + "loss": 6.265618896484375, + "step": 56205 + }, + { + "epoch": 0.0161, + "grad_norm": 7.693796157836914, + "learning_rate": 2.211666666666667e-06, + "loss": 6.270309066772461, + "step": 56210 + }, + { + "epoch": 0.01615, + "grad_norm": 5.606104373931885, + "learning_rate": 2.2114141414141416e-06, + "loss": 6.202603149414062, + "step": 56215 + }, + { + "epoch": 0.0162, + "grad_norm": 5.449652671813965, + "learning_rate": 2.2111616161616166e-06, + "loss": 6.286528015136719, + "step": 56220 + }, + { + "epoch": 0.01625, + "grad_norm": 7.289516925811768, + "learning_rate": 2.2109090909090913e-06, + "loss": 6.264170837402344, + "step": 56225 + }, + { + "epoch": 0.0163, + "grad_norm": 6.239193916320801, + "learning_rate": 2.210656565656566e-06, + "loss": 6.237446212768555, + "step": 56230 + }, + { + "epoch": 0.01635, + "grad_norm": 5.507393836975098, + "learning_rate": 2.2104040404040405e-06, + "loss": 6.350254821777344, + "step": 56235 + }, + { + "epoch": 0.0164, + "grad_norm": 4.21250057220459, + "learning_rate": 2.2101515151515156e-06, + "loss": 6.491481781005859, + "step": 56240 + }, + { + "epoch": 0.01645, + "grad_norm": 8.710219383239746, + "learning_rate": 2.20989898989899e-06, + "loss": 6.3232063293457035, + "step": 56245 + }, + { + "epoch": 0.0165, + "grad_norm": 5.609013080596924, + "learning_rate": 2.209646464646465e-06, + "loss": 6.43717041015625, + "step": 56250 + }, + { + "epoch": 0.01655, + "grad_norm": 6.827110767364502, + "learning_rate": 2.2093939393939395e-06, + "loss": 6.288896942138672, + "step": 56255 + }, + { + "epoch": 0.0166, + "grad_norm": 5.624223232269287, + "learning_rate": 2.2091414141414145e-06, + "loss": 6.319085693359375, + "step": 56260 + }, + { + "epoch": 0.01665, + "grad_norm": 10.714980125427246, + "learning_rate": 2.208888888888889e-06, + "loss": 6.303820037841797, + "step": 56265 + }, + { + "epoch": 0.0167, + "grad_norm": 4.713624477386475, + "learning_rate": 2.2086363636363638e-06, + "loss": 6.207563018798828, + "step": 56270 + }, + { + "epoch": 0.01675, + "grad_norm": 5.169791221618652, + "learning_rate": 2.2083838383838384e-06, + "loss": 6.290684509277344, + "step": 56275 + }, + { + "epoch": 0.0168, + "grad_norm": 10.977018356323242, + "learning_rate": 2.2081313131313135e-06, + "loss": 6.305189514160157, + "step": 56280 + }, + { + "epoch": 0.01685, + "grad_norm": 6.148150444030762, + "learning_rate": 2.207878787878788e-06, + "loss": 6.214566040039062, + "step": 56285 + }, + { + "epoch": 0.0169, + "grad_norm": 6.305717945098877, + "learning_rate": 2.2076262626262627e-06, + "loss": 6.2659049987792965, + "step": 56290 + }, + { + "epoch": 0.01695, + "grad_norm": 4.725083351135254, + "learning_rate": 2.2073737373737374e-06, + "loss": 6.291797637939453, + "step": 56295 + }, + { + "epoch": 0.017, + "grad_norm": 7.99234676361084, + "learning_rate": 2.2071212121212124e-06, + "loss": 6.2130687713623045, + "step": 56300 + }, + { + "epoch": 0.01705, + "grad_norm": 27.747163772583008, + "learning_rate": 2.206868686868687e-06, + "loss": 6.392393493652344, + "step": 56305 + }, + { + "epoch": 0.0171, + "grad_norm": 11.946158409118652, + "learning_rate": 2.2066161616161617e-06, + "loss": 6.304953002929688, + "step": 56310 + }, + { + "epoch": 0.01715, + "grad_norm": 4.6901631355285645, + "learning_rate": 2.2063636363636363e-06, + "loss": 6.1656852722167965, + "step": 56315 + }, + { + "epoch": 0.0172, + "grad_norm": 7.018066883087158, + "learning_rate": 2.2061111111111114e-06, + "loss": 6.245234680175781, + "step": 56320 + }, + { + "epoch": 0.01725, + "grad_norm": 5.0930376052856445, + "learning_rate": 2.205858585858586e-06, + "loss": 6.253126525878907, + "step": 56325 + }, + { + "epoch": 0.0173, + "grad_norm": 8.263676643371582, + "learning_rate": 2.205606060606061e-06, + "loss": 6.267493057250976, + "step": 56330 + }, + { + "epoch": 0.01735, + "grad_norm": 29.04561996459961, + "learning_rate": 2.2053535353535357e-06, + "loss": 6.210452651977539, + "step": 56335 + }, + { + "epoch": 0.0174, + "grad_norm": 10.832197189331055, + "learning_rate": 2.2051010101010103e-06, + "loss": 6.315834045410156, + "step": 56340 + }, + { + "epoch": 0.01745, + "grad_norm": 32.904300689697266, + "learning_rate": 2.204848484848485e-06, + "loss": 6.831727600097656, + "step": 56345 + }, + { + "epoch": 0.0175, + "grad_norm": 5.386364936828613, + "learning_rate": 2.20459595959596e-06, + "loss": 6.264115524291992, + "step": 56350 + }, + { + "epoch": 0.01755, + "grad_norm": 13.3474760055542, + "learning_rate": 2.2043434343434346e-06, + "loss": 6.234984970092773, + "step": 56355 + }, + { + "epoch": 0.0176, + "grad_norm": 9.349204063415527, + "learning_rate": 2.2040909090909092e-06, + "loss": 6.629777526855468, + "step": 56360 + }, + { + "epoch": 0.01765, + "grad_norm": 4.664176940917969, + "learning_rate": 2.203838383838384e-06, + "loss": 6.251838302612304, + "step": 56365 + }, + { + "epoch": 0.0177, + "grad_norm": 9.667182922363281, + "learning_rate": 2.203585858585859e-06, + "loss": 6.334435272216797, + "step": 56370 + }, + { + "epoch": 0.01775, + "grad_norm": 5.434082508087158, + "learning_rate": 2.2033333333333336e-06, + "loss": 6.296847534179688, + "step": 56375 + }, + { + "epoch": 0.0178, + "grad_norm": 5.3119215965271, + "learning_rate": 2.203080808080808e-06, + "loss": 6.308899688720703, + "step": 56380 + }, + { + "epoch": 0.01785, + "grad_norm": 10.73472785949707, + "learning_rate": 2.202828282828283e-06, + "loss": 6.415345764160156, + "step": 56385 + }, + { + "epoch": 0.0179, + "grad_norm": 4.2962517738342285, + "learning_rate": 2.202575757575758e-06, + "loss": 6.258444213867188, + "step": 56390 + }, + { + "epoch": 0.01795, + "grad_norm": 6.252317905426025, + "learning_rate": 2.2023232323232325e-06, + "loss": 6.2463523864746096, + "step": 56395 + }, + { + "epoch": 0.018, + "grad_norm": 12.177088737487793, + "learning_rate": 2.202070707070707e-06, + "loss": 6.207799911499023, + "step": 56400 + }, + { + "epoch": 0.01805, + "grad_norm": 9.933431625366211, + "learning_rate": 2.2018181818181818e-06, + "loss": 6.2551513671875, + "step": 56405 + }, + { + "epoch": 0.0181, + "grad_norm": 7.736628532409668, + "learning_rate": 2.201565656565657e-06, + "loss": 6.27818717956543, + "step": 56410 + }, + { + "epoch": 0.01815, + "grad_norm": 5.777061939239502, + "learning_rate": 2.2013131313131314e-06, + "loss": 6.1745258331298825, + "step": 56415 + }, + { + "epoch": 0.0182, + "grad_norm": 5.971953868865967, + "learning_rate": 2.2010606060606065e-06, + "loss": 6.213777542114258, + "step": 56420 + }, + { + "epoch": 0.01825, + "grad_norm": 3.63030743598938, + "learning_rate": 2.2008080808080807e-06, + "loss": 6.220179748535156, + "step": 56425 + }, + { + "epoch": 0.0183, + "grad_norm": 11.09650707244873, + "learning_rate": 2.2005555555555558e-06, + "loss": 6.209419631958008, + "step": 56430 + }, + { + "epoch": 0.01835, + "grad_norm": 7.7327494621276855, + "learning_rate": 2.2003030303030304e-06, + "loss": 6.257767105102539, + "step": 56435 + }, + { + "epoch": 0.0184, + "grad_norm": 9.169635772705078, + "learning_rate": 2.2000505050505054e-06, + "loss": 6.2422138214111325, + "step": 56440 + }, + { + "epoch": 0.01845, + "grad_norm": 4.946480751037598, + "learning_rate": 2.19979797979798e-06, + "loss": 6.24376335144043, + "step": 56445 + }, + { + "epoch": 0.0185, + "grad_norm": 7.901193618774414, + "learning_rate": 2.1995454545454547e-06, + "loss": 6.2757526397705075, + "step": 56450 + }, + { + "epoch": 0.01855, + "grad_norm": 3.5459532737731934, + "learning_rate": 2.1992929292929293e-06, + "loss": 6.2063041687011715, + "step": 56455 + }, + { + "epoch": 0.0186, + "grad_norm": 5.003751277923584, + "learning_rate": 2.1990404040404044e-06, + "loss": 6.296712493896484, + "step": 56460 + }, + { + "epoch": 0.01865, + "grad_norm": 33.13979721069336, + "learning_rate": 2.198787878787879e-06, + "loss": 6.426461791992187, + "step": 56465 + }, + { + "epoch": 0.0187, + "grad_norm": 19.891019821166992, + "learning_rate": 2.1985353535353536e-06, + "loss": 6.456195831298828, + "step": 56470 + }, + { + "epoch": 0.01875, + "grad_norm": 19.02680206298828, + "learning_rate": 2.1982828282828283e-06, + "loss": 6.1930591583251955, + "step": 56475 + }, + { + "epoch": 0.0188, + "grad_norm": 24.68562126159668, + "learning_rate": 2.1980303030303033e-06, + "loss": 6.145984649658203, + "step": 56480 + }, + { + "epoch": 0.01885, + "grad_norm": 25.356266021728516, + "learning_rate": 2.197777777777778e-06, + "loss": 6.176475906372071, + "step": 56485 + }, + { + "epoch": 0.0189, + "grad_norm": 13.972722053527832, + "learning_rate": 2.1975252525252526e-06, + "loss": 6.368863677978515, + "step": 56490 + }, + { + "epoch": 0.01895, + "grad_norm": 8.342623710632324, + "learning_rate": 2.1972727272727272e-06, + "loss": 6.29973030090332, + "step": 56495 + }, + { + "epoch": 0.019, + "grad_norm": 5.124757289886475, + "learning_rate": 2.1970202020202023e-06, + "loss": 6.239696502685547, + "step": 56500 + }, + { + "epoch": 0.01905, + "grad_norm": 5.052002906799316, + "learning_rate": 2.196767676767677e-06, + "loss": 6.22376594543457, + "step": 56505 + }, + { + "epoch": 0.0191, + "grad_norm": 11.282360076904297, + "learning_rate": 2.1965151515151515e-06, + "loss": 6.353377151489258, + "step": 56510 + }, + { + "epoch": 0.01915, + "grad_norm": 8.631482124328613, + "learning_rate": 2.196262626262626e-06, + "loss": 6.233985519409179, + "step": 56515 + }, + { + "epoch": 0.0192, + "grad_norm": 8.084610939025879, + "learning_rate": 2.1960101010101012e-06, + "loss": 6.235418319702148, + "step": 56520 + }, + { + "epoch": 0.01925, + "grad_norm": 7.765193462371826, + "learning_rate": 2.195757575757576e-06, + "loss": 6.303272247314453, + "step": 56525 + }, + { + "epoch": 0.0193, + "grad_norm": 4.954274654388428, + "learning_rate": 2.195505050505051e-06, + "loss": 6.333013534545898, + "step": 56530 + }, + { + "epoch": 0.01935, + "grad_norm": 9.450386047363281, + "learning_rate": 2.195252525252525e-06, + "loss": 6.5044189453125, + "step": 56535 + }, + { + "epoch": 0.0194, + "grad_norm": 9.702848434448242, + "learning_rate": 2.195e-06, + "loss": 6.228793334960938, + "step": 56540 + }, + { + "epoch": 0.01945, + "grad_norm": 6.987534523010254, + "learning_rate": 2.194747474747475e-06, + "loss": 6.247286224365235, + "step": 56545 + }, + { + "epoch": 0.0195, + "grad_norm": 6.362093925476074, + "learning_rate": 2.19449494949495e-06, + "loss": 6.183530044555664, + "step": 56550 + }, + { + "epoch": 0.01955, + "grad_norm": 4.83483362197876, + "learning_rate": 2.1942424242424245e-06, + "loss": 6.26739730834961, + "step": 56555 + }, + { + "epoch": 0.0196, + "grad_norm": 7.113860607147217, + "learning_rate": 2.193989898989899e-06, + "loss": 6.250343704223633, + "step": 56560 + }, + { + "epoch": 0.01965, + "grad_norm": 6.9123735427856445, + "learning_rate": 2.193737373737374e-06, + "loss": 6.277646255493164, + "step": 56565 + }, + { + "epoch": 0.0197, + "grad_norm": 5.9693708419799805, + "learning_rate": 2.1934848484848488e-06, + "loss": 6.226507568359375, + "step": 56570 + }, + { + "epoch": 0.01975, + "grad_norm": 4.883331775665283, + "learning_rate": 2.1932323232323234e-06, + "loss": 6.173248291015625, + "step": 56575 + }, + { + "epoch": 0.0198, + "grad_norm": 28.732290267944336, + "learning_rate": 2.192979797979798e-06, + "loss": 6.212598419189453, + "step": 56580 + }, + { + "epoch": 0.01985, + "grad_norm": 10.63304615020752, + "learning_rate": 2.192727272727273e-06, + "loss": 6.310305404663086, + "step": 56585 + }, + { + "epoch": 0.0199, + "grad_norm": 4.618294715881348, + "learning_rate": 2.1924747474747477e-06, + "loss": 6.2559459686279295, + "step": 56590 + }, + { + "epoch": 0.01995, + "grad_norm": 9.302359580993652, + "learning_rate": 2.1922222222222224e-06, + "loss": 6.261070632934571, + "step": 56595 + }, + { + "epoch": 0.02, + "grad_norm": 6.732449531555176, + "learning_rate": 2.191969696969697e-06, + "loss": 6.282602691650391, + "step": 56600 + }, + { + "epoch": 0.02005, + "grad_norm": 7.4979047775268555, + "learning_rate": 2.191717171717172e-06, + "loss": 6.204848098754883, + "step": 56605 + }, + { + "epoch": 0.0201, + "grad_norm": 20.155841827392578, + "learning_rate": 2.1914646464646467e-06, + "loss": 6.303626632690429, + "step": 56610 + }, + { + "epoch": 0.02015, + "grad_norm": 4.66737699508667, + "learning_rate": 2.1912121212121213e-06, + "loss": 6.2649993896484375, + "step": 56615 + }, + { + "epoch": 0.0202, + "grad_norm": 5.1524338722229, + "learning_rate": 2.190959595959596e-06, + "loss": 6.2193553924560545, + "step": 56620 + }, + { + "epoch": 0.02025, + "grad_norm": 4.854858875274658, + "learning_rate": 2.190707070707071e-06, + "loss": 6.2004859924316404, + "step": 56625 + }, + { + "epoch": 0.0203, + "grad_norm": 13.123251914978027, + "learning_rate": 2.1904545454545456e-06, + "loss": 6.2335765838623045, + "step": 56630 + }, + { + "epoch": 0.02035, + "grad_norm": 7.020074367523193, + "learning_rate": 2.1902020202020207e-06, + "loss": 6.2836753845214846, + "step": 56635 + }, + { + "epoch": 0.0204, + "grad_norm": 5.617977619171143, + "learning_rate": 2.1899494949494953e-06, + "loss": 6.252784729003906, + "step": 56640 + }, + { + "epoch": 0.02045, + "grad_norm": 10.676392555236816, + "learning_rate": 2.18969696969697e-06, + "loss": 6.260383605957031, + "step": 56645 + }, + { + "epoch": 0.0205, + "grad_norm": 6.071321487426758, + "learning_rate": 2.1894444444444446e-06, + "loss": 6.223605728149414, + "step": 56650 + }, + { + "epoch": 0.02055, + "grad_norm": 4.9353814125061035, + "learning_rate": 2.1891919191919196e-06, + "loss": 6.367713546752929, + "step": 56655 + }, + { + "epoch": 0.0206, + "grad_norm": 7.123733997344971, + "learning_rate": 2.1889393939393942e-06, + "loss": 6.25396499633789, + "step": 56660 + }, + { + "epoch": 0.02065, + "grad_norm": 6.326788425445557, + "learning_rate": 2.188686868686869e-06, + "loss": 6.262447357177734, + "step": 56665 + }, + { + "epoch": 0.0207, + "grad_norm": 5.682342529296875, + "learning_rate": 2.1884343434343435e-06, + "loss": 6.3853801727294925, + "step": 56670 + }, + { + "epoch": 0.02075, + "grad_norm": 6.251222610473633, + "learning_rate": 2.1881818181818186e-06, + "loss": 6.232818603515625, + "step": 56675 + }, + { + "epoch": 0.0208, + "grad_norm": 5.737123012542725, + "learning_rate": 2.187929292929293e-06, + "loss": 6.166588592529297, + "step": 56680 + }, + { + "epoch": 0.02085, + "grad_norm": 6.462324142456055, + "learning_rate": 2.187676767676768e-06, + "loss": 6.266089630126953, + "step": 56685 + }, + { + "epoch": 0.0209, + "grad_norm": 6.380520820617676, + "learning_rate": 2.1874242424242425e-06, + "loss": 6.206441497802734, + "step": 56690 + }, + { + "epoch": 0.02095, + "grad_norm": 5.260365009307861, + "learning_rate": 2.1871717171717175e-06, + "loss": 6.311648559570313, + "step": 56695 + }, + { + "epoch": 0.021, + "grad_norm": 13.808819770812988, + "learning_rate": 2.186919191919192e-06, + "loss": 6.3949737548828125, + "step": 56700 + }, + { + "epoch": 0.02105, + "grad_norm": 4.725271224975586, + "learning_rate": 2.1866666666666668e-06, + "loss": 6.261779403686523, + "step": 56705 + }, + { + "epoch": 0.0211, + "grad_norm": 13.096083641052246, + "learning_rate": 2.1864141414141414e-06, + "loss": 6.346367645263672, + "step": 56710 + }, + { + "epoch": 0.02115, + "grad_norm": 16.146408081054688, + "learning_rate": 2.1861616161616164e-06, + "loss": 6.500582122802735, + "step": 56715 + }, + { + "epoch": 0.0212, + "grad_norm": 12.14456558227539, + "learning_rate": 2.185909090909091e-06, + "loss": 6.396576690673828, + "step": 56720 + }, + { + "epoch": 0.02125, + "grad_norm": 7.85613489151001, + "learning_rate": 2.1856565656565657e-06, + "loss": 6.2496498107910154, + "step": 56725 + }, + { + "epoch": 0.0213, + "grad_norm": 4.610645294189453, + "learning_rate": 2.1854040404040403e-06, + "loss": 6.258939743041992, + "step": 56730 + }, + { + "epoch": 0.02135, + "grad_norm": 7.149487018585205, + "learning_rate": 2.1851515151515154e-06, + "loss": 6.211525726318359, + "step": 56735 + }, + { + "epoch": 0.0214, + "grad_norm": 4.722102642059326, + "learning_rate": 2.18489898989899e-06, + "loss": 6.253692626953125, + "step": 56740 + }, + { + "epoch": 0.02145, + "grad_norm": 4.639364719390869, + "learning_rate": 2.184646464646465e-06, + "loss": 6.255459213256836, + "step": 56745 + }, + { + "epoch": 0.0215, + "grad_norm": 6.087833881378174, + "learning_rate": 2.1843939393939397e-06, + "loss": 6.307667541503906, + "step": 56750 + }, + { + "epoch": 0.02155, + "grad_norm": 6.794540882110596, + "learning_rate": 2.1841414141414143e-06, + "loss": 6.213315963745117, + "step": 56755 + }, + { + "epoch": 0.0216, + "grad_norm": 8.968896865844727, + "learning_rate": 2.183888888888889e-06, + "loss": 6.241004180908203, + "step": 56760 + }, + { + "epoch": 0.02165, + "grad_norm": 4.902349948883057, + "learning_rate": 2.183636363636364e-06, + "loss": 6.240460205078125, + "step": 56765 + }, + { + "epoch": 0.0217, + "grad_norm": 5.027188777923584, + "learning_rate": 2.1833838383838387e-06, + "loss": 6.2621612548828125, + "step": 56770 + }, + { + "epoch": 0.02175, + "grad_norm": 5.341808795928955, + "learning_rate": 2.1831313131313133e-06, + "loss": 6.233772277832031, + "step": 56775 + }, + { + "epoch": 0.0218, + "grad_norm": 4.725331783294678, + "learning_rate": 2.182878787878788e-06, + "loss": 6.235933685302735, + "step": 56780 + }, + { + "epoch": 0.02185, + "grad_norm": 6.237729549407959, + "learning_rate": 2.182626262626263e-06, + "loss": 6.258322143554688, + "step": 56785 + }, + { + "epoch": 0.0219, + "grad_norm": 4.94667387008667, + "learning_rate": 2.1823737373737376e-06, + "loss": 6.332482147216797, + "step": 56790 + }, + { + "epoch": 0.02195, + "grad_norm": 7.296596527099609, + "learning_rate": 2.1821212121212122e-06, + "loss": 6.374029922485351, + "step": 56795 + }, + { + "epoch": 0.022, + "grad_norm": 4.666719436645508, + "learning_rate": 2.181868686868687e-06, + "loss": 6.319889068603516, + "step": 56800 + }, + { + "epoch": 0.02205, + "grad_norm": 12.965262413024902, + "learning_rate": 2.181616161616162e-06, + "loss": 6.236655426025391, + "step": 56805 + }, + { + "epoch": 0.0221, + "grad_norm": 5.704078674316406, + "learning_rate": 2.1813636363636365e-06, + "loss": 6.268844985961914, + "step": 56810 + }, + { + "epoch": 0.02215, + "grad_norm": 7.981620788574219, + "learning_rate": 2.181111111111111e-06, + "loss": 6.221818161010742, + "step": 56815 + }, + { + "epoch": 0.0222, + "grad_norm": 8.233094215393066, + "learning_rate": 2.180858585858586e-06, + "loss": 6.247924041748047, + "step": 56820 + }, + { + "epoch": 0.02225, + "grad_norm": 4.245344638824463, + "learning_rate": 2.180606060606061e-06, + "loss": 6.228361129760742, + "step": 56825 + }, + { + "epoch": 0.0223, + "grad_norm": 5.694827079772949, + "learning_rate": 2.1803535353535355e-06, + "loss": 6.23225212097168, + "step": 56830 + }, + { + "epoch": 0.02235, + "grad_norm": 8.137443542480469, + "learning_rate": 2.1801010101010105e-06, + "loss": 6.299345016479492, + "step": 56835 + }, + { + "epoch": 0.0224, + "grad_norm": 6.5206828117370605, + "learning_rate": 2.1798484848484847e-06, + "loss": 6.269544219970703, + "step": 56840 + }, + { + "epoch": 0.02245, + "grad_norm": 41.435184478759766, + "learning_rate": 2.17959595959596e-06, + "loss": 6.655552673339844, + "step": 56845 + }, + { + "epoch": 0.0225, + "grad_norm": 10.843306541442871, + "learning_rate": 2.1793434343434344e-06, + "loss": 6.3352409362792965, + "step": 56850 + }, + { + "epoch": 0.02255, + "grad_norm": 3.8337149620056152, + "learning_rate": 2.1790909090909095e-06, + "loss": 6.231926345825196, + "step": 56855 + }, + { + "epoch": 0.0226, + "grad_norm": 6.825244426727295, + "learning_rate": 2.178838383838384e-06, + "loss": 6.279751586914062, + "step": 56860 + }, + { + "epoch": 0.02265, + "grad_norm": 4.636751174926758, + "learning_rate": 2.1785858585858587e-06, + "loss": 6.282017517089844, + "step": 56865 + }, + { + "epoch": 0.0227, + "grad_norm": 8.680952072143555, + "learning_rate": 2.1783333333333334e-06, + "loss": 6.2662353515625, + "step": 56870 + }, + { + "epoch": 0.02275, + "grad_norm": 34.41004943847656, + "learning_rate": 2.1780808080808084e-06, + "loss": 6.237017059326172, + "step": 56875 + }, + { + "epoch": 0.0228, + "grad_norm": 11.168266296386719, + "learning_rate": 2.177828282828283e-06, + "loss": 6.245069122314453, + "step": 56880 + }, + { + "epoch": 0.02285, + "grad_norm": 4.659790515899658, + "learning_rate": 2.1775757575757577e-06, + "loss": 6.251874542236328, + "step": 56885 + }, + { + "epoch": 0.0229, + "grad_norm": 26.789499282836914, + "learning_rate": 2.1773232323232323e-06, + "loss": 6.320080184936524, + "step": 56890 + }, + { + "epoch": 0.02295, + "grad_norm": 4.560754776000977, + "learning_rate": 2.1770707070707074e-06, + "loss": 6.398975372314453, + "step": 56895 + }, + { + "epoch": 0.023, + "grad_norm": 3.9939608573913574, + "learning_rate": 2.176818181818182e-06, + "loss": 6.2169548034667965, + "step": 56900 + }, + { + "epoch": 0.02305, + "grad_norm": 6.74412727355957, + "learning_rate": 2.1765656565656566e-06, + "loss": 6.235523986816406, + "step": 56905 + }, + { + "epoch": 0.0231, + "grad_norm": 5.620357513427734, + "learning_rate": 2.1763131313131313e-06, + "loss": 6.249933242797852, + "step": 56910 + }, + { + "epoch": 0.02315, + "grad_norm": 5.1259565353393555, + "learning_rate": 2.1760606060606063e-06, + "loss": 6.2476142883300785, + "step": 56915 + }, + { + "epoch": 0.0232, + "grad_norm": 6.593298435211182, + "learning_rate": 2.175808080808081e-06, + "loss": 6.28267822265625, + "step": 56920 + }, + { + "epoch": 0.02325, + "grad_norm": 4.657433032989502, + "learning_rate": 2.1755555555555556e-06, + "loss": 6.220175933837891, + "step": 56925 + }, + { + "epoch": 0.0233, + "grad_norm": 6.058197021484375, + "learning_rate": 2.17530303030303e-06, + "loss": 6.526991271972657, + "step": 56930 + }, + { + "epoch": 0.02335, + "grad_norm": 6.339434623718262, + "learning_rate": 2.1750505050505053e-06, + "loss": 6.349195861816407, + "step": 56935 + }, + { + "epoch": 0.0234, + "grad_norm": 5.389250755310059, + "learning_rate": 2.17479797979798e-06, + "loss": 6.232083129882812, + "step": 56940 + }, + { + "epoch": 0.02345, + "grad_norm": 5.055088520050049, + "learning_rate": 2.174545454545455e-06, + "loss": 6.231699371337891, + "step": 56945 + }, + { + "epoch": 0.0235, + "grad_norm": 6.338824272155762, + "learning_rate": 2.174292929292929e-06, + "loss": 6.251812744140625, + "step": 56950 + }, + { + "epoch": 0.02355, + "grad_norm": 4.331363201141357, + "learning_rate": 2.174040404040404e-06, + "loss": 6.251773834228516, + "step": 56955 + }, + { + "epoch": 0.0236, + "grad_norm": 6.418778896331787, + "learning_rate": 2.173787878787879e-06, + "loss": 6.249342346191407, + "step": 56960 + }, + { + "epoch": 0.02365, + "grad_norm": 4.898882865905762, + "learning_rate": 2.173535353535354e-06, + "loss": 6.273783493041992, + "step": 56965 + }, + { + "epoch": 0.0237, + "grad_norm": 5.059467792510986, + "learning_rate": 2.1732828282828285e-06, + "loss": 6.259314346313476, + "step": 56970 + }, + { + "epoch": 0.02375, + "grad_norm": 9.253665924072266, + "learning_rate": 2.173030303030303e-06, + "loss": 6.220629119873047, + "step": 56975 + }, + { + "epoch": 0.0238, + "grad_norm": 3.6291162967681885, + "learning_rate": 2.1727777777777778e-06, + "loss": 6.2479499816894535, + "step": 56980 + }, + { + "epoch": 0.02385, + "grad_norm": 5.295804023742676, + "learning_rate": 2.172525252525253e-06, + "loss": 6.2650402069091795, + "step": 56985 + }, + { + "epoch": 0.0239, + "grad_norm": 6.930663108825684, + "learning_rate": 2.1722727272727275e-06, + "loss": 6.296942520141601, + "step": 56990 + }, + { + "epoch": 0.02395, + "grad_norm": 5.940296173095703, + "learning_rate": 2.172020202020202e-06, + "loss": 6.2613975524902346, + "step": 56995 + }, + { + "epoch": 0.024, + "grad_norm": 7.201550483703613, + "learning_rate": 2.171767676767677e-06, + "loss": 6.259256744384766, + "step": 57000 + }, + { + "epoch": 5e-05, + "grad_norm": 4.282774925231934, + "learning_rate": 2.1715151515151518e-06, + "loss": 6.244738388061523, + "step": 57005 + }, + { + "epoch": 0.0001, + "grad_norm": 7.519387245178223, + "learning_rate": 2.1712626262626264e-06, + "loss": 6.25084114074707, + "step": 57010 + }, + { + "epoch": 0.00015, + "grad_norm": 5.746885299682617, + "learning_rate": 2.171010101010101e-06, + "loss": 6.2451011657714846, + "step": 57015 + }, + { + "epoch": 0.0002, + "grad_norm": 11.02363395690918, + "learning_rate": 2.170757575757576e-06, + "loss": 6.199062347412109, + "step": 57020 + }, + { + "epoch": 0.00025, + "grad_norm": 9.03878116607666, + "learning_rate": 2.1705050505050507e-06, + "loss": 6.316693115234375, + "step": 57025 + }, + { + "epoch": 0.0003, + "grad_norm": 9.672118186950684, + "learning_rate": 2.1702525252525253e-06, + "loss": 6.286570358276367, + "step": 57030 + }, + { + "epoch": 0.00035, + "grad_norm": 3.7820138931274414, + "learning_rate": 2.17e-06, + "loss": 6.212762832641602, + "step": 57035 + }, + { + "epoch": 0.0004, + "grad_norm": 5.979037761688232, + "learning_rate": 2.169747474747475e-06, + "loss": 6.207011413574219, + "step": 57040 + }, + { + "epoch": 0.00045, + "grad_norm": 5.479885101318359, + "learning_rate": 2.1694949494949497e-06, + "loss": 6.279594421386719, + "step": 57045 + }, + { + "epoch": 0.0005, + "grad_norm": 5.923830509185791, + "learning_rate": 2.1692424242424247e-06, + "loss": 6.2910301208496096, + "step": 57050 + }, + { + "epoch": 0.00055, + "grad_norm": 5.095530986785889, + "learning_rate": 2.1689898989898993e-06, + "loss": 6.247453689575195, + "step": 57055 + }, + { + "epoch": 0.0006, + "grad_norm": 6.011431694030762, + "learning_rate": 2.168737373737374e-06, + "loss": 6.269033050537109, + "step": 57060 + }, + { + "epoch": 0.00065, + "grad_norm": 5.517580032348633, + "learning_rate": 2.1684848484848486e-06, + "loss": 6.322472000122071, + "step": 57065 + }, + { + "epoch": 0.0007, + "grad_norm": 10.842967987060547, + "learning_rate": 2.1682323232323237e-06, + "loss": 6.285588073730469, + "step": 57070 + }, + { + "epoch": 0.00075, + "grad_norm": 5.932394027709961, + "learning_rate": 2.1679797979797983e-06, + "loss": 6.2316429138183596, + "step": 57075 + }, + { + "epoch": 0.0008, + "grad_norm": 9.306964874267578, + "learning_rate": 2.167727272727273e-06, + "loss": 6.346364593505859, + "step": 57080 + }, + { + "epoch": 0.00085, + "grad_norm": 7.195550918579102, + "learning_rate": 2.1674747474747475e-06, + "loss": 6.2651618957519535, + "step": 57085 + }, + { + "epoch": 0.0009, + "grad_norm": 4.79799222946167, + "learning_rate": 2.1672222222222226e-06, + "loss": 6.228447723388672, + "step": 57090 + }, + { + "epoch": 0.00095, + "grad_norm": 5.767879962921143, + "learning_rate": 2.1669696969696972e-06, + "loss": 6.300688552856445, + "step": 57095 + }, + { + "epoch": 0.001, + "grad_norm": 5.380273342132568, + "learning_rate": 2.166717171717172e-06, + "loss": 6.230257797241211, + "step": 57100 + }, + { + "epoch": 0.00105, + "grad_norm": 6.152207851409912, + "learning_rate": 2.1664646464646465e-06, + "loss": 6.254022216796875, + "step": 57105 + }, + { + "epoch": 0.0011, + "grad_norm": 6.509500980377197, + "learning_rate": 2.1662121212121215e-06, + "loss": 6.201196670532227, + "step": 57110 + }, + { + "epoch": 0.00115, + "grad_norm": 8.299946784973145, + "learning_rate": 2.165959595959596e-06, + "loss": 6.311287689208984, + "step": 57115 + }, + { + "epoch": 0.0012, + "grad_norm": 24.564090728759766, + "learning_rate": 2.165707070707071e-06, + "loss": 6.282321929931641, + "step": 57120 + }, + { + "epoch": 0.00125, + "grad_norm": 16.22191047668457, + "learning_rate": 2.1654545454545454e-06, + "loss": 6.515467834472656, + "step": 57125 + }, + { + "epoch": 0.0013, + "grad_norm": 24.314109802246094, + "learning_rate": 2.1652020202020205e-06, + "loss": 6.31835823059082, + "step": 57130 + }, + { + "epoch": 0.00135, + "grad_norm": 8.00788402557373, + "learning_rate": 2.164949494949495e-06, + "loss": 6.272206497192383, + "step": 57135 + }, + { + "epoch": 0.0014, + "grad_norm": 7.461885452270508, + "learning_rate": 2.16469696969697e-06, + "loss": 6.2249900817871096, + "step": 57140 + }, + { + "epoch": 0.00145, + "grad_norm": 6.63645076751709, + "learning_rate": 2.1644444444444444e-06, + "loss": 6.268244934082031, + "step": 57145 + }, + { + "epoch": 0.0015, + "grad_norm": 4.513003826141357, + "learning_rate": 2.1641919191919194e-06, + "loss": 6.2727302551269535, + "step": 57150 + }, + { + "epoch": 0.00155, + "grad_norm": 33.23722839355469, + "learning_rate": 2.163939393939394e-06, + "loss": 6.170813369750976, + "step": 57155 + }, + { + "epoch": 0.0016, + "grad_norm": 22.657512664794922, + "learning_rate": 2.163686868686869e-06, + "loss": 6.066714477539063, + "step": 57160 + }, + { + "epoch": 0.00165, + "grad_norm": 6.274256706237793, + "learning_rate": 2.1634343434343437e-06, + "loss": 6.2844280242919925, + "step": 57165 + }, + { + "epoch": 0.0017, + "grad_norm": 8.483368873596191, + "learning_rate": 2.1631818181818184e-06, + "loss": 6.244488906860352, + "step": 57170 + }, + { + "epoch": 0.00175, + "grad_norm": 7.16425895690918, + "learning_rate": 2.162929292929293e-06, + "loss": 6.271718215942383, + "step": 57175 + }, + { + "epoch": 0.0018, + "grad_norm": 5.100413799285889, + "learning_rate": 2.162676767676768e-06, + "loss": 6.33733901977539, + "step": 57180 + }, + { + "epoch": 0.00185, + "grad_norm": 5.884507179260254, + "learning_rate": 2.1624242424242427e-06, + "loss": 6.238667297363281, + "step": 57185 + }, + { + "epoch": 0.0019, + "grad_norm": 20.600208282470703, + "learning_rate": 2.1621717171717173e-06, + "loss": 6.451020812988281, + "step": 57190 + }, + { + "epoch": 0.00195, + "grad_norm": 6.312302589416504, + "learning_rate": 2.161919191919192e-06, + "loss": 6.260741424560547, + "step": 57195 + }, + { + "epoch": 0.002, + "grad_norm": 27.682859420776367, + "learning_rate": 2.161666666666667e-06, + "loss": 6.341499328613281, + "step": 57200 + }, + { + "epoch": 0.00205, + "grad_norm": 11.340911865234375, + "learning_rate": 2.1614141414141416e-06, + "loss": 6.229825592041015, + "step": 57205 + }, + { + "epoch": 0.0021, + "grad_norm": 6.9808220863342285, + "learning_rate": 2.1611616161616163e-06, + "loss": 6.210009765625, + "step": 57210 + }, + { + "epoch": 0.00215, + "grad_norm": 17.304174423217773, + "learning_rate": 2.160909090909091e-06, + "loss": 6.111972045898438, + "step": 57215 + }, + { + "epoch": 0.0022, + "grad_norm": 4.810727119445801, + "learning_rate": 2.160656565656566e-06, + "loss": 6.286716461181641, + "step": 57220 + }, + { + "epoch": 0.00225, + "grad_norm": 4.986473083496094, + "learning_rate": 2.1604040404040406e-06, + "loss": 6.255978393554687, + "step": 57225 + }, + { + "epoch": 0.0023, + "grad_norm": 6.781486988067627, + "learning_rate": 2.160151515151515e-06, + "loss": 6.233836364746094, + "step": 57230 + }, + { + "epoch": 0.00235, + "grad_norm": 7.4454569816589355, + "learning_rate": 2.15989898989899e-06, + "loss": 6.2422538757324215, + "step": 57235 + }, + { + "epoch": 0.0024, + "grad_norm": 9.683294296264648, + "learning_rate": 2.159646464646465e-06, + "loss": 6.337147521972656, + "step": 57240 + }, + { + "epoch": 0.00245, + "grad_norm": 8.377121925354004, + "learning_rate": 2.1593939393939395e-06, + "loss": 6.254204177856446, + "step": 57245 + }, + { + "epoch": 0.0025, + "grad_norm": 23.129545211791992, + "learning_rate": 2.1591414141414146e-06, + "loss": 6.298862075805664, + "step": 57250 + }, + { + "epoch": 0.00255, + "grad_norm": 4.146770477294922, + "learning_rate": 2.1588888888888888e-06, + "loss": 6.278744125366211, + "step": 57255 + }, + { + "epoch": 0.0026, + "grad_norm": 10.163594245910645, + "learning_rate": 2.158636363636364e-06, + "loss": 6.346676254272461, + "step": 57260 + }, + { + "epoch": 0.00265, + "grad_norm": 3.7849700450897217, + "learning_rate": 2.1583838383838385e-06, + "loss": 6.256533813476563, + "step": 57265 + }, + { + "epoch": 0.0027, + "grad_norm": 11.052412033081055, + "learning_rate": 2.1581313131313135e-06, + "loss": 6.335914611816406, + "step": 57270 + }, + { + "epoch": 0.00275, + "grad_norm": 7.940736293792725, + "learning_rate": 2.157878787878788e-06, + "loss": 6.355176544189453, + "step": 57275 + }, + { + "epoch": 0.0028, + "grad_norm": 8.346489906311035, + "learning_rate": 2.1576262626262628e-06, + "loss": 6.1874237060546875, + "step": 57280 + }, + { + "epoch": 0.00285, + "grad_norm": 18.960525512695312, + "learning_rate": 2.1573737373737374e-06, + "loss": 6.405329895019531, + "step": 57285 + }, + { + "epoch": 0.0029, + "grad_norm": 8.223164558410645, + "learning_rate": 2.1571212121212125e-06, + "loss": 6.30670394897461, + "step": 57290 + }, + { + "epoch": 0.00295, + "grad_norm": 4.434844493865967, + "learning_rate": 2.156868686868687e-06, + "loss": 6.2330169677734375, + "step": 57295 + }, + { + "epoch": 0.003, + "grad_norm": 7.404333591461182, + "learning_rate": 2.1566161616161617e-06, + "loss": 6.325947570800781, + "step": 57300 + }, + { + "epoch": 0.00305, + "grad_norm": 3.484861135482788, + "learning_rate": 2.1563636363636364e-06, + "loss": 6.250049591064453, + "step": 57305 + }, + { + "epoch": 0.0031, + "grad_norm": 4.014464378356934, + "learning_rate": 2.1561111111111114e-06, + "loss": 6.184513092041016, + "step": 57310 + }, + { + "epoch": 0.00315, + "grad_norm": 5.762004852294922, + "learning_rate": 2.155858585858586e-06, + "loss": 6.237563705444336, + "step": 57315 + }, + { + "epoch": 0.0032, + "grad_norm": 9.251988410949707, + "learning_rate": 2.1556060606060607e-06, + "loss": 6.189826965332031, + "step": 57320 + }, + { + "epoch": 0.00325, + "grad_norm": 4.959934234619141, + "learning_rate": 2.1553535353535353e-06, + "loss": 6.258472442626953, + "step": 57325 + }, + { + "epoch": 0.0033, + "grad_norm": 31.60756492614746, + "learning_rate": 2.1551010101010104e-06, + "loss": 6.291977310180664, + "step": 57330 + }, + { + "epoch": 0.00335, + "grad_norm": 14.957826614379883, + "learning_rate": 2.154848484848485e-06, + "loss": 6.498627471923828, + "step": 57335 + }, + { + "epoch": 0.0034, + "grad_norm": 35.1486701965332, + "learning_rate": 2.1545959595959596e-06, + "loss": 6.396542358398437, + "step": 57340 + }, + { + "epoch": 0.00345, + "grad_norm": 33.19749069213867, + "learning_rate": 2.1543434343434342e-06, + "loss": 6.316601943969727, + "step": 57345 + }, + { + "epoch": 0.0035, + "grad_norm": 33.894317626953125, + "learning_rate": 2.1540909090909093e-06, + "loss": 6.416358947753906, + "step": 57350 + }, + { + "epoch": 0.00355, + "grad_norm": 24.031370162963867, + "learning_rate": 2.153838383838384e-06, + "loss": 6.5346221923828125, + "step": 57355 + }, + { + "epoch": 0.0036, + "grad_norm": 19.11751365661621, + "learning_rate": 2.153585858585859e-06, + "loss": 6.402764129638672, + "step": 57360 + }, + { + "epoch": 0.00365, + "grad_norm": 18.106021881103516, + "learning_rate": 2.153333333333333e-06, + "loss": 6.374507141113281, + "step": 57365 + }, + { + "epoch": 0.0037, + "grad_norm": 6.729419231414795, + "learning_rate": 2.1530808080808082e-06, + "loss": 6.296858596801758, + "step": 57370 + }, + { + "epoch": 0.00375, + "grad_norm": 8.662023544311523, + "learning_rate": 2.152828282828283e-06, + "loss": 6.248391723632812, + "step": 57375 + }, + { + "epoch": 0.0038, + "grad_norm": 5.646495342254639, + "learning_rate": 2.152575757575758e-06, + "loss": 6.348509216308594, + "step": 57380 + }, + { + "epoch": 0.00385, + "grad_norm": 14.461926460266113, + "learning_rate": 2.1523232323232326e-06, + "loss": 6.283998107910156, + "step": 57385 + }, + { + "epoch": 0.0039, + "grad_norm": 6.2899556159973145, + "learning_rate": 2.152070707070707e-06, + "loss": 6.212150955200196, + "step": 57390 + }, + { + "epoch": 0.00395, + "grad_norm": 10.758445739746094, + "learning_rate": 2.151818181818182e-06, + "loss": 6.265097045898438, + "step": 57395 + }, + { + "epoch": 0.004, + "grad_norm": 9.28139591217041, + "learning_rate": 2.151565656565657e-06, + "loss": 6.262187194824219, + "step": 57400 + }, + { + "epoch": 0.00405, + "grad_norm": 8.636842727661133, + "learning_rate": 2.1513131313131315e-06, + "loss": 6.235008621215821, + "step": 57405 + }, + { + "epoch": 0.0041, + "grad_norm": 5.5772809982299805, + "learning_rate": 2.151060606060606e-06, + "loss": 6.237874603271484, + "step": 57410 + }, + { + "epoch": 0.00415, + "grad_norm": 5.217741012573242, + "learning_rate": 2.150808080808081e-06, + "loss": 6.21484146118164, + "step": 57415 + }, + { + "epoch": 0.0042, + "grad_norm": 12.52638053894043, + "learning_rate": 2.150555555555556e-06, + "loss": 6.247842407226562, + "step": 57420 + }, + { + "epoch": 0.00425, + "grad_norm": 16.30757713317871, + "learning_rate": 2.1503030303030304e-06, + "loss": 6.2397621154785154, + "step": 57425 + }, + { + "epoch": 0.0043, + "grad_norm": 9.998513221740723, + "learning_rate": 2.150050505050505e-06, + "loss": 6.2782642364501955, + "step": 57430 + }, + { + "epoch": 0.00435, + "grad_norm": 8.67658519744873, + "learning_rate": 2.14979797979798e-06, + "loss": 6.277956771850586, + "step": 57435 + }, + { + "epoch": 0.0044, + "grad_norm": 7.868230819702148, + "learning_rate": 2.1495454545454548e-06, + "loss": 6.296639633178711, + "step": 57440 + }, + { + "epoch": 0.00445, + "grad_norm": 7.605706214904785, + "learning_rate": 2.1492929292929294e-06, + "loss": 6.1597145080566404, + "step": 57445 + }, + { + "epoch": 0.0045, + "grad_norm": 4.166457176208496, + "learning_rate": 2.149040404040404e-06, + "loss": 6.206688308715821, + "step": 57450 + }, + { + "epoch": 0.00455, + "grad_norm": 9.350994110107422, + "learning_rate": 2.148787878787879e-06, + "loss": 6.327695083618164, + "step": 57455 + }, + { + "epoch": 0.0046, + "grad_norm": 6.832162857055664, + "learning_rate": 2.1485353535353537e-06, + "loss": 6.230829238891602, + "step": 57460 + }, + { + "epoch": 0.00465, + "grad_norm": 5.264383316040039, + "learning_rate": 2.1482828282828288e-06, + "loss": 6.267271041870117, + "step": 57465 + }, + { + "epoch": 0.0047, + "grad_norm": 5.63324499130249, + "learning_rate": 2.1480303030303034e-06, + "loss": 6.2340087890625, + "step": 57470 + }, + { + "epoch": 0.00475, + "grad_norm": 9.067317962646484, + "learning_rate": 2.147777777777778e-06, + "loss": 6.221051788330078, + "step": 57475 + }, + { + "epoch": 0.0048, + "grad_norm": 7.468384742736816, + "learning_rate": 2.1475252525252526e-06, + "loss": 6.279523086547852, + "step": 57480 + }, + { + "epoch": 0.00485, + "grad_norm": 6.490098476409912, + "learning_rate": 2.1472727272727277e-06, + "loss": 6.327327728271484, + "step": 57485 + }, + { + "epoch": 0.0049, + "grad_norm": 7.579957962036133, + "learning_rate": 2.1470202020202023e-06, + "loss": 6.2321319580078125, + "step": 57490 + }, + { + "epoch": 0.00495, + "grad_norm": 6.544208526611328, + "learning_rate": 2.146767676767677e-06, + "loss": 6.273623657226563, + "step": 57495 + }, + { + "epoch": 0.005, + "grad_norm": 8.996082305908203, + "learning_rate": 2.1465151515151516e-06, + "loss": 6.224722290039063, + "step": 57500 + }, + { + "epoch": 0.00505, + "grad_norm": 5.7146477699279785, + "learning_rate": 2.1462626262626266e-06, + "loss": 6.30357780456543, + "step": 57505 + }, + { + "epoch": 0.0051, + "grad_norm": 36.72578048706055, + "learning_rate": 2.1460101010101013e-06, + "loss": 6.402689361572266, + "step": 57510 + }, + { + "epoch": 0.00515, + "grad_norm": 5.255067825317383, + "learning_rate": 2.145757575757576e-06, + "loss": 6.368858337402344, + "step": 57515 + }, + { + "epoch": 0.0052, + "grad_norm": 13.248156547546387, + "learning_rate": 2.1455050505050505e-06, + "loss": 6.496542358398438, + "step": 57520 + }, + { + "epoch": 0.00525, + "grad_norm": 7.759362697601318, + "learning_rate": 2.1452525252525256e-06, + "loss": 6.242947387695312, + "step": 57525 + }, + { + "epoch": 0.0053, + "grad_norm": 6.109527587890625, + "learning_rate": 2.1450000000000002e-06, + "loss": 6.308911895751953, + "step": 57530 + }, + { + "epoch": 0.00535, + "grad_norm": 18.862545013427734, + "learning_rate": 2.144747474747475e-06, + "loss": 6.250395584106445, + "step": 57535 + }, + { + "epoch": 0.0054, + "grad_norm": 9.131087303161621, + "learning_rate": 2.1444949494949495e-06, + "loss": 6.23051643371582, + "step": 57540 + }, + { + "epoch": 0.00545, + "grad_norm": 7.014010906219482, + "learning_rate": 2.1442424242424245e-06, + "loss": 6.241117858886719, + "step": 57545 + }, + { + "epoch": 0.0055, + "grad_norm": 10.482648849487305, + "learning_rate": 2.143989898989899e-06, + "loss": 6.255389785766601, + "step": 57550 + }, + { + "epoch": 0.00555, + "grad_norm": 3.617630958557129, + "learning_rate": 2.1437373737373742e-06, + "loss": 6.214511871337891, + "step": 57555 + }, + { + "epoch": 0.0056, + "grad_norm": 6.260634422302246, + "learning_rate": 2.1434848484848484e-06, + "loss": 6.249582290649414, + "step": 57560 + }, + { + "epoch": 0.00565, + "grad_norm": 6.730203628540039, + "learning_rate": 2.1432323232323235e-06, + "loss": 6.240464401245117, + "step": 57565 + }, + { + "epoch": 0.0057, + "grad_norm": 7.097848892211914, + "learning_rate": 2.142979797979798e-06, + "loss": 6.223667144775391, + "step": 57570 + }, + { + "epoch": 0.00575, + "grad_norm": 4.867612838745117, + "learning_rate": 2.142727272727273e-06, + "loss": 6.212516784667969, + "step": 57575 + }, + { + "epoch": 0.0058, + "grad_norm": 6.892399787902832, + "learning_rate": 2.1424747474747478e-06, + "loss": 6.251478576660157, + "step": 57580 + }, + { + "epoch": 0.00585, + "grad_norm": 5.232946395874023, + "learning_rate": 2.1422222222222224e-06, + "loss": 6.237205886840821, + "step": 57585 + }, + { + "epoch": 0.0059, + "grad_norm": 3.583643913269043, + "learning_rate": 2.141969696969697e-06, + "loss": 6.220135879516602, + "step": 57590 + }, + { + "epoch": 0.00595, + "grad_norm": 11.475839614868164, + "learning_rate": 2.141717171717172e-06, + "loss": 6.235987854003906, + "step": 57595 + }, + { + "epoch": 0.006, + "grad_norm": 6.815097332000732, + "learning_rate": 2.1414646464646467e-06, + "loss": 6.2451423645019535, + "step": 57600 + }, + { + "epoch": 0.00605, + "grad_norm": 6.120882034301758, + "learning_rate": 2.1412121212121214e-06, + "loss": 6.2720947265625, + "step": 57605 + }, + { + "epoch": 0.0061, + "grad_norm": 5.324512004852295, + "learning_rate": 2.140959595959596e-06, + "loss": 6.269615936279297, + "step": 57610 + }, + { + "epoch": 0.00615, + "grad_norm": 5.380223751068115, + "learning_rate": 2.140707070707071e-06, + "loss": 6.263793182373047, + "step": 57615 + }, + { + "epoch": 0.0062, + "grad_norm": 7.598857879638672, + "learning_rate": 2.1404545454545457e-06, + "loss": 6.278217315673828, + "step": 57620 + }, + { + "epoch": 0.00625, + "grad_norm": 5.8030548095703125, + "learning_rate": 2.1402020202020203e-06, + "loss": 6.264385986328125, + "step": 57625 + }, + { + "epoch": 0.0063, + "grad_norm": 6.698049545288086, + "learning_rate": 2.139949494949495e-06, + "loss": 6.2402996063232425, + "step": 57630 + }, + { + "epoch": 0.00635, + "grad_norm": 5.1362152099609375, + "learning_rate": 2.13969696969697e-06, + "loss": 6.247291564941406, + "step": 57635 + }, + { + "epoch": 0.0064, + "grad_norm": 5.990663528442383, + "learning_rate": 2.1394444444444446e-06, + "loss": 6.228567886352539, + "step": 57640 + }, + { + "epoch": 0.00645, + "grad_norm": 4.494534015655518, + "learning_rate": 2.1391919191919192e-06, + "loss": 6.263867950439453, + "step": 57645 + }, + { + "epoch": 0.0065, + "grad_norm": 14.586382865905762, + "learning_rate": 2.138939393939394e-06, + "loss": 6.274836730957031, + "step": 57650 + }, + { + "epoch": 0.00655, + "grad_norm": 6.153763771057129, + "learning_rate": 2.138686868686869e-06, + "loss": 6.278524017333984, + "step": 57655 + }, + { + "epoch": 0.0066, + "grad_norm": 6.498415946960449, + "learning_rate": 2.1384343434343436e-06, + "loss": 6.265385437011719, + "step": 57660 + }, + { + "epoch": 0.00665, + "grad_norm": 4.083136558532715, + "learning_rate": 2.1381818181818186e-06, + "loss": 6.283138275146484, + "step": 57665 + }, + { + "epoch": 0.0067, + "grad_norm": 13.105978965759277, + "learning_rate": 2.137929292929293e-06, + "loss": 6.455508422851563, + "step": 57670 + }, + { + "epoch": 0.00675, + "grad_norm": 5.504289150238037, + "learning_rate": 2.137676767676768e-06, + "loss": 6.291826629638672, + "step": 57675 + }, + { + "epoch": 0.0068, + "grad_norm": 5.32451057434082, + "learning_rate": 2.1374242424242425e-06, + "loss": 6.410931396484375, + "step": 57680 + }, + { + "epoch": 0.00685, + "grad_norm": 6.495606422424316, + "learning_rate": 2.1371717171717176e-06, + "loss": 6.199198913574219, + "step": 57685 + }, + { + "epoch": 0.0069, + "grad_norm": 10.67115306854248, + "learning_rate": 2.136919191919192e-06, + "loss": 6.219937515258789, + "step": 57690 + }, + { + "epoch": 0.00695, + "grad_norm": 8.492120742797852, + "learning_rate": 2.136666666666667e-06, + "loss": 6.275556182861328, + "step": 57695 + }, + { + "epoch": 0.007, + "grad_norm": 8.735687255859375, + "learning_rate": 2.1364141414141415e-06, + "loss": 6.279151916503906, + "step": 57700 + }, + { + "epoch": 0.00705, + "grad_norm": 5.293882369995117, + "learning_rate": 2.1361616161616165e-06, + "loss": 6.2287555694580075, + "step": 57705 + }, + { + "epoch": 0.0071, + "grad_norm": 10.498445510864258, + "learning_rate": 2.135909090909091e-06, + "loss": 6.324429321289062, + "step": 57710 + }, + { + "epoch": 0.00715, + "grad_norm": 8.062755584716797, + "learning_rate": 2.1356565656565658e-06, + "loss": 6.288285827636718, + "step": 57715 + }, + { + "epoch": 0.0072, + "grad_norm": 4.20753812789917, + "learning_rate": 2.1354040404040404e-06, + "loss": 6.546878051757813, + "step": 57720 + }, + { + "epoch": 0.00725, + "grad_norm": 5.710077285766602, + "learning_rate": 2.1351515151515154e-06, + "loss": 6.2677734375, + "step": 57725 + }, + { + "epoch": 0.0073, + "grad_norm": 8.753872871398926, + "learning_rate": 2.13489898989899e-06, + "loss": 6.229185485839844, + "step": 57730 + }, + { + "epoch": 0.00735, + "grad_norm": 10.824677467346191, + "learning_rate": 2.1346464646464647e-06, + "loss": 6.245944213867188, + "step": 57735 + }, + { + "epoch": 0.0074, + "grad_norm": 5.482248783111572, + "learning_rate": 2.1343939393939393e-06, + "loss": 6.298693466186523, + "step": 57740 + }, + { + "epoch": 0.00745, + "grad_norm": 6.6611223220825195, + "learning_rate": 2.1341414141414144e-06, + "loss": 6.248198318481445, + "step": 57745 + }, + { + "epoch": 0.0075, + "grad_norm": 10.734625816345215, + "learning_rate": 2.133888888888889e-06, + "loss": 6.362401962280273, + "step": 57750 + }, + { + "epoch": 0.00755, + "grad_norm": 8.503034591674805, + "learning_rate": 2.1336363636363637e-06, + "loss": 6.232796859741211, + "step": 57755 + }, + { + "epoch": 0.0076, + "grad_norm": 12.369526863098145, + "learning_rate": 2.1333838383838383e-06, + "loss": 6.262522888183594, + "step": 57760 + }, + { + "epoch": 0.00765, + "grad_norm": 8.523037910461426, + "learning_rate": 2.1331313131313133e-06, + "loss": 6.255483245849609, + "step": 57765 + }, + { + "epoch": 0.0077, + "grad_norm": 5.391900539398193, + "learning_rate": 2.132878787878788e-06, + "loss": 6.300029754638672, + "step": 57770 + }, + { + "epoch": 0.00775, + "grad_norm": 7.900488376617432, + "learning_rate": 2.132626262626263e-06, + "loss": 6.26008415222168, + "step": 57775 + }, + { + "epoch": 0.0078, + "grad_norm": 5.793471336364746, + "learning_rate": 2.1323737373737372e-06, + "loss": 6.2571979522705075, + "step": 57780 + }, + { + "epoch": 0.00785, + "grad_norm": 3.9351823329925537, + "learning_rate": 2.1321212121212123e-06, + "loss": 6.242363739013672, + "step": 57785 + }, + { + "epoch": 0.0079, + "grad_norm": 6.076104164123535, + "learning_rate": 2.131868686868687e-06, + "loss": 6.226163101196289, + "step": 57790 + }, + { + "epoch": 0.00795, + "grad_norm": 5.415538787841797, + "learning_rate": 2.131616161616162e-06, + "loss": 6.226616287231446, + "step": 57795 + }, + { + "epoch": 0.008, + "grad_norm": 4.780411243438721, + "learning_rate": 2.1313636363636366e-06, + "loss": 6.226288223266602, + "step": 57800 + }, + { + "epoch": 0.00805, + "grad_norm": 4.696537971496582, + "learning_rate": 2.1311111111111112e-06, + "loss": 6.230506515502929, + "step": 57805 + }, + { + "epoch": 0.0081, + "grad_norm": 10.238042831420898, + "learning_rate": 2.130858585858586e-06, + "loss": 6.1916648864746096, + "step": 57810 + }, + { + "epoch": 0.00815, + "grad_norm": 7.5218024253845215, + "learning_rate": 2.130606060606061e-06, + "loss": 6.2723346710205075, + "step": 57815 + }, + { + "epoch": 0.0082, + "grad_norm": 5.094533443450928, + "learning_rate": 2.1303535353535355e-06, + "loss": 6.251858901977539, + "step": 57820 + }, + { + "epoch": 0.00825, + "grad_norm": 8.665769577026367, + "learning_rate": 2.13010101010101e-06, + "loss": 6.257060623168945, + "step": 57825 + }, + { + "epoch": 0.0083, + "grad_norm": 6.849853515625, + "learning_rate": 2.129848484848485e-06, + "loss": 6.204507827758789, + "step": 57830 + }, + { + "epoch": 0.00835, + "grad_norm": 7.253697395324707, + "learning_rate": 2.12959595959596e-06, + "loss": 6.188078308105469, + "step": 57835 + }, + { + "epoch": 0.0084, + "grad_norm": 13.0919771194458, + "learning_rate": 2.1293434343434345e-06, + "loss": 6.2707069396972654, + "step": 57840 + }, + { + "epoch": 0.00845, + "grad_norm": 11.882155418395996, + "learning_rate": 2.129090909090909e-06, + "loss": 6.1709442138671875, + "step": 57845 + }, + { + "epoch": 0.0085, + "grad_norm": 4.024233341217041, + "learning_rate": 2.128838383838384e-06, + "loss": 6.320576095581055, + "step": 57850 + }, + { + "epoch": 0.00855, + "grad_norm": 6.154964447021484, + "learning_rate": 2.128585858585859e-06, + "loss": 6.258798599243164, + "step": 57855 + }, + { + "epoch": 0.0086, + "grad_norm": 8.962190628051758, + "learning_rate": 2.128333333333334e-06, + "loss": 6.281869506835937, + "step": 57860 + }, + { + "epoch": 0.00865, + "grad_norm": 10.367720603942871, + "learning_rate": 2.128080808080808e-06, + "loss": 6.2227012634277346, + "step": 57865 + }, + { + "epoch": 0.0087, + "grad_norm": 4.704100608825684, + "learning_rate": 2.127828282828283e-06, + "loss": 6.238421630859375, + "step": 57870 + }, + { + "epoch": 0.00875, + "grad_norm": 11.986065864562988, + "learning_rate": 2.1275757575757577e-06, + "loss": 6.219827651977539, + "step": 57875 + }, + { + "epoch": 0.0088, + "grad_norm": 5.217957019805908, + "learning_rate": 2.127323232323233e-06, + "loss": 6.2715599060058596, + "step": 57880 + }, + { + "epoch": 0.00885, + "grad_norm": 4.87359619140625, + "learning_rate": 2.1270707070707074e-06, + "loss": 6.225852966308594, + "step": 57885 + }, + { + "epoch": 0.0089, + "grad_norm": 5.804010391235352, + "learning_rate": 2.126818181818182e-06, + "loss": 6.200912094116211, + "step": 57890 + }, + { + "epoch": 0.00895, + "grad_norm": 15.18005657196045, + "learning_rate": 2.1265656565656567e-06, + "loss": 6.240496826171875, + "step": 57895 + }, + { + "epoch": 0.009, + "grad_norm": 6.341934680938721, + "learning_rate": 2.1263131313131317e-06, + "loss": 6.22321891784668, + "step": 57900 + }, + { + "epoch": 0.00905, + "grad_norm": 5.750938892364502, + "learning_rate": 2.1260606060606064e-06, + "loss": 6.22126350402832, + "step": 57905 + }, + { + "epoch": 0.0091, + "grad_norm": 5.308298110961914, + "learning_rate": 2.125808080808081e-06, + "loss": 6.236571884155273, + "step": 57910 + }, + { + "epoch": 0.00915, + "grad_norm": 7.710617542266846, + "learning_rate": 2.1255555555555556e-06, + "loss": 6.209450149536133, + "step": 57915 + }, + { + "epoch": 0.0092, + "grad_norm": 4.5286173820495605, + "learning_rate": 2.1253030303030307e-06, + "loss": 6.262691879272461, + "step": 57920 + }, + { + "epoch": 0.00925, + "grad_norm": 18.392377853393555, + "learning_rate": 2.1250505050505053e-06, + "loss": 6.306187438964844, + "step": 57925 + }, + { + "epoch": 0.0093, + "grad_norm": 6.770992755889893, + "learning_rate": 2.12479797979798e-06, + "loss": 6.2508899688720705, + "step": 57930 + }, + { + "epoch": 0.00935, + "grad_norm": 4.592305660247803, + "learning_rate": 2.1245454545454546e-06, + "loss": 6.244648361206055, + "step": 57935 + }, + { + "epoch": 0.0094, + "grad_norm": 3.8710126876831055, + "learning_rate": 2.1242929292929296e-06, + "loss": 6.20844612121582, + "step": 57940 + }, + { + "epoch": 0.00945, + "grad_norm": 7.858886241912842, + "learning_rate": 2.1240404040404043e-06, + "loss": 6.272440338134766, + "step": 57945 + }, + { + "epoch": 0.0095, + "grad_norm": 6.074739456176758, + "learning_rate": 2.123787878787879e-06, + "loss": 6.236060333251953, + "step": 57950 + }, + { + "epoch": 0.00955, + "grad_norm": 78.62846374511719, + "learning_rate": 2.1235353535353535e-06, + "loss": 7.238417053222657, + "step": 57955 + }, + { + "epoch": 0.0096, + "grad_norm": 8.709741592407227, + "learning_rate": 2.1232828282828286e-06, + "loss": 7.625296020507813, + "step": 57960 + }, + { + "epoch": 0.00965, + "grad_norm": 5.981181621551514, + "learning_rate": 2.123030303030303e-06, + "loss": 6.3077842712402346, + "step": 57965 + }, + { + "epoch": 0.0097, + "grad_norm": 6.159051895141602, + "learning_rate": 2.1227777777777783e-06, + "loss": 6.213894271850586, + "step": 57970 + }, + { + "epoch": 0.00975, + "grad_norm": 6.19509220123291, + "learning_rate": 2.1225252525252525e-06, + "loss": 6.203979873657227, + "step": 57975 + }, + { + "epoch": 0.0098, + "grad_norm": 6.304594039916992, + "learning_rate": 2.1222727272727275e-06, + "loss": 6.24237060546875, + "step": 57980 + }, + { + "epoch": 0.00985, + "grad_norm": 7.9375386238098145, + "learning_rate": 2.122020202020202e-06, + "loss": 6.317525863647461, + "step": 57985 + }, + { + "epoch": 0.0099, + "grad_norm": 31.9854679107666, + "learning_rate": 2.121767676767677e-06, + "loss": 6.314503479003906, + "step": 57990 + }, + { + "epoch": 0.00995, + "grad_norm": 7.97206974029541, + "learning_rate": 2.121515151515152e-06, + "loss": 6.247580337524414, + "step": 57995 + }, + { + "epoch": 0.01, + "grad_norm": 4.957515239715576, + "learning_rate": 2.1212626262626265e-06, + "loss": 6.286428070068359, + "step": 58000 + }, + { + "epoch": 0.01005, + "grad_norm": 5.560095310211182, + "learning_rate": 2.121010101010101e-06, + "loss": 6.210926818847656, + "step": 58005 + }, + { + "epoch": 0.0101, + "grad_norm": 7.213435173034668, + "learning_rate": 2.120757575757576e-06, + "loss": 6.2536369323730465, + "step": 58010 + }, + { + "epoch": 0.01015, + "grad_norm": 7.462596416473389, + "learning_rate": 2.1205050505050508e-06, + "loss": 6.235035705566406, + "step": 58015 + }, + { + "epoch": 0.0102, + "grad_norm": 5.113105773925781, + "learning_rate": 2.1202525252525254e-06, + "loss": 6.2731201171875, + "step": 58020 + }, + { + "epoch": 0.01025, + "grad_norm": 4.3406171798706055, + "learning_rate": 2.12e-06, + "loss": 6.26531753540039, + "step": 58025 + }, + { + "epoch": 0.0103, + "grad_norm": 8.363198280334473, + "learning_rate": 2.119747474747475e-06, + "loss": 6.224143981933594, + "step": 58030 + }, + { + "epoch": 0.01035, + "grad_norm": 34.131385803222656, + "learning_rate": 2.1194949494949497e-06, + "loss": 6.3892566680908205, + "step": 58035 + }, + { + "epoch": 0.0104, + "grad_norm": 8.165680885314941, + "learning_rate": 2.1192424242424243e-06, + "loss": 6.258678436279297, + "step": 58040 + }, + { + "epoch": 0.01045, + "grad_norm": 6.1087493896484375, + "learning_rate": 2.118989898989899e-06, + "loss": 6.254599761962891, + "step": 58045 + }, + { + "epoch": 0.0105, + "grad_norm": 9.535125732421875, + "learning_rate": 2.118737373737374e-06, + "loss": 6.257398986816407, + "step": 58050 + }, + { + "epoch": 0.01055, + "grad_norm": 9.556593894958496, + "learning_rate": 2.1184848484848487e-06, + "loss": 6.262100601196289, + "step": 58055 + }, + { + "epoch": 0.0106, + "grad_norm": 8.248480796813965, + "learning_rate": 2.1182323232323233e-06, + "loss": 6.241403579711914, + "step": 58060 + }, + { + "epoch": 0.01065, + "grad_norm": 5.240483283996582, + "learning_rate": 2.117979797979798e-06, + "loss": 6.224145889282227, + "step": 58065 + }, + { + "epoch": 0.0107, + "grad_norm": 7.164853572845459, + "learning_rate": 2.117727272727273e-06, + "loss": 6.270367050170899, + "step": 58070 + }, + { + "epoch": 0.01075, + "grad_norm": 7.421360969543457, + "learning_rate": 2.1174747474747476e-06, + "loss": 6.282764434814453, + "step": 58075 + }, + { + "epoch": 0.0108, + "grad_norm": 9.64595890045166, + "learning_rate": 2.1172222222222227e-06, + "loss": 6.239479446411133, + "step": 58080 + }, + { + "epoch": 0.01085, + "grad_norm": 5.243997097015381, + "learning_rate": 2.116969696969697e-06, + "loss": 6.266201019287109, + "step": 58085 + }, + { + "epoch": 0.0109, + "grad_norm": 4.614142417907715, + "learning_rate": 2.116717171717172e-06, + "loss": 6.212181854248047, + "step": 58090 + }, + { + "epoch": 0.01095, + "grad_norm": 4.7479939460754395, + "learning_rate": 2.1164646464646465e-06, + "loss": 6.244168853759765, + "step": 58095 + }, + { + "epoch": 0.011, + "grad_norm": 5.097177982330322, + "learning_rate": 2.1162121212121216e-06, + "loss": 6.260212707519531, + "step": 58100 + }, + { + "epoch": 0.01105, + "grad_norm": 3.5909769535064697, + "learning_rate": 2.1159595959595962e-06, + "loss": 6.284008026123047, + "step": 58105 + }, + { + "epoch": 0.0111, + "grad_norm": 12.920626640319824, + "learning_rate": 2.115707070707071e-06, + "loss": 6.310934066772461, + "step": 58110 + }, + { + "epoch": 0.01115, + "grad_norm": 5.913266658782959, + "learning_rate": 2.1154545454545455e-06, + "loss": 6.272121429443359, + "step": 58115 + }, + { + "epoch": 0.0112, + "grad_norm": 9.860183715820312, + "learning_rate": 2.1152020202020205e-06, + "loss": 6.313437652587891, + "step": 58120 + }, + { + "epoch": 0.01125, + "grad_norm": 7.044949531555176, + "learning_rate": 2.114949494949495e-06, + "loss": 6.255780410766602, + "step": 58125 + }, + { + "epoch": 0.0113, + "grad_norm": 6.33245325088501, + "learning_rate": 2.11469696969697e-06, + "loss": 6.234459686279297, + "step": 58130 + }, + { + "epoch": 0.01135, + "grad_norm": 5.069886684417725, + "learning_rate": 2.1144444444444444e-06, + "loss": 6.256400680541992, + "step": 58135 + }, + { + "epoch": 0.0114, + "grad_norm": 5.122408866882324, + "learning_rate": 2.1141919191919195e-06, + "loss": 6.239034271240234, + "step": 58140 + }, + { + "epoch": 0.01145, + "grad_norm": 6.764098644256592, + "learning_rate": 2.113939393939394e-06, + "loss": 6.236656951904297, + "step": 58145 + }, + { + "epoch": 0.0115, + "grad_norm": 4.425897598266602, + "learning_rate": 2.1136868686868687e-06, + "loss": 6.210929870605469, + "step": 58150 + }, + { + "epoch": 0.01155, + "grad_norm": 4.856262683868408, + "learning_rate": 2.1134343434343434e-06, + "loss": 6.279885864257812, + "step": 58155 + }, + { + "epoch": 0.0116, + "grad_norm": 7.009607315063477, + "learning_rate": 2.1131818181818184e-06, + "loss": 6.253388977050781, + "step": 58160 + }, + { + "epoch": 0.01165, + "grad_norm": 6.373064041137695, + "learning_rate": 2.112929292929293e-06, + "loss": 6.24598274230957, + "step": 58165 + }, + { + "epoch": 0.0117, + "grad_norm": 6.512892246246338, + "learning_rate": 2.1126767676767677e-06, + "loss": 6.2370342254638675, + "step": 58170 + }, + { + "epoch": 0.01175, + "grad_norm": 4.857904434204102, + "learning_rate": 2.1124242424242423e-06, + "loss": 6.262361145019531, + "step": 58175 + }, + { + "epoch": 0.0118, + "grad_norm": 5.170569896697998, + "learning_rate": 2.1121717171717174e-06, + "loss": 6.220446395874023, + "step": 58180 + }, + { + "epoch": 0.01185, + "grad_norm": 4.993494987487793, + "learning_rate": 2.111919191919192e-06, + "loss": 6.241411590576172, + "step": 58185 + }, + { + "epoch": 0.0119, + "grad_norm": 7.719913959503174, + "learning_rate": 2.111666666666667e-06, + "loss": 6.237577819824219, + "step": 58190 + }, + { + "epoch": 0.01195, + "grad_norm": 6.527461051940918, + "learning_rate": 2.1114141414141413e-06, + "loss": 6.240265655517578, + "step": 58195 + }, + { + "epoch": 0.012, + "grad_norm": 3.570730209350586, + "learning_rate": 2.1111616161616163e-06, + "loss": 6.244887924194336, + "step": 58200 + }, + { + "epoch": 0.01205, + "grad_norm": 4.268143177032471, + "learning_rate": 2.110909090909091e-06, + "loss": 6.27551383972168, + "step": 58205 + }, + { + "epoch": 0.0121, + "grad_norm": 6.935873031616211, + "learning_rate": 2.110656565656566e-06, + "loss": 6.308805084228515, + "step": 58210 + }, + { + "epoch": 0.01215, + "grad_norm": 5.55388879776001, + "learning_rate": 2.1104040404040406e-06, + "loss": 6.294983673095703, + "step": 58215 + }, + { + "epoch": 0.0122, + "grad_norm": 5.8228607177734375, + "learning_rate": 2.1101515151515153e-06, + "loss": 6.289671325683594, + "step": 58220 + }, + { + "epoch": 0.01225, + "grad_norm": 6.290399074554443, + "learning_rate": 2.10989898989899e-06, + "loss": 6.179206085205078, + "step": 58225 + }, + { + "epoch": 0.0123, + "grad_norm": 3.5091724395751953, + "learning_rate": 2.109646464646465e-06, + "loss": 6.2284423828125, + "step": 58230 + }, + { + "epoch": 0.01235, + "grad_norm": 7.509869575500488, + "learning_rate": 2.1093939393939396e-06, + "loss": 6.189321899414063, + "step": 58235 + }, + { + "epoch": 0.0124, + "grad_norm": 6.210942268371582, + "learning_rate": 2.109141414141414e-06, + "loss": 6.221383666992187, + "step": 58240 + }, + { + "epoch": 0.01245, + "grad_norm": 8.037761688232422, + "learning_rate": 2.108888888888889e-06, + "loss": 6.250811767578125, + "step": 58245 + }, + { + "epoch": 0.0125, + "grad_norm": 5.191162109375, + "learning_rate": 2.108636363636364e-06, + "loss": 6.258404541015625, + "step": 58250 + }, + { + "epoch": 0.01255, + "grad_norm": 5.741734027862549, + "learning_rate": 2.1083838383838385e-06, + "loss": 6.246728897094727, + "step": 58255 + }, + { + "epoch": 0.0126, + "grad_norm": 3.6430931091308594, + "learning_rate": 2.108131313131313e-06, + "loss": 6.233056259155274, + "step": 58260 + }, + { + "epoch": 0.01265, + "grad_norm": 6.176042556762695, + "learning_rate": 2.1078787878787878e-06, + "loss": 6.229666900634766, + "step": 58265 + }, + { + "epoch": 0.0127, + "grad_norm": 4.598489761352539, + "learning_rate": 2.107626262626263e-06, + "loss": 6.271142196655274, + "step": 58270 + }, + { + "epoch": 0.01275, + "grad_norm": 4.0911688804626465, + "learning_rate": 2.107373737373738e-06, + "loss": 6.241697692871094, + "step": 58275 + }, + { + "epoch": 0.0128, + "grad_norm": 6.526788711547852, + "learning_rate": 2.107121212121212e-06, + "loss": 6.2447509765625, + "step": 58280 + }, + { + "epoch": 0.01285, + "grad_norm": 33.78144454956055, + "learning_rate": 2.106868686868687e-06, + "loss": 6.260301208496093, + "step": 58285 + }, + { + "epoch": 0.0129, + "grad_norm": 7.0569868087768555, + "learning_rate": 2.1066161616161618e-06, + "loss": 6.2584999084472654, + "step": 58290 + }, + { + "epoch": 0.01295, + "grad_norm": 5.797595024108887, + "learning_rate": 2.106363636363637e-06, + "loss": 6.242031478881836, + "step": 58295 + }, + { + "epoch": 0.013, + "grad_norm": 15.979517936706543, + "learning_rate": 2.1061111111111115e-06, + "loss": 6.3183849334716795, + "step": 58300 + }, + { + "epoch": 5e-05, + "grad_norm": 10.071053504943848, + "learning_rate": 2.105858585858586e-06, + "loss": 6.331989669799805, + "step": 58305 + }, + { + "epoch": 0.0001, + "grad_norm": 4.531308174133301, + "learning_rate": 2.1056060606060607e-06, + "loss": 6.259286499023437, + "step": 58310 + }, + { + "epoch": 0.00015, + "grad_norm": 8.129968643188477, + "learning_rate": 2.1053535353535358e-06, + "loss": 6.236580657958984, + "step": 58315 + }, + { + "epoch": 0.0002, + "grad_norm": 5.623079776763916, + "learning_rate": 2.1051010101010104e-06, + "loss": 6.240610122680664, + "step": 58320 + }, + { + "epoch": 0.00025, + "grad_norm": 5.000452995300293, + "learning_rate": 2.104848484848485e-06, + "loss": 6.316400146484375, + "step": 58325 + }, + { + "epoch": 0.0003, + "grad_norm": 6.52099084854126, + "learning_rate": 2.1045959595959597e-06, + "loss": 6.237596893310547, + "step": 58330 + }, + { + "epoch": 0.00035, + "grad_norm": 7.906565189361572, + "learning_rate": 2.1043434343434347e-06, + "loss": 6.243443298339844, + "step": 58335 + }, + { + "epoch": 0.0004, + "grad_norm": 5.749167442321777, + "learning_rate": 2.1040909090909094e-06, + "loss": 6.255088043212891, + "step": 58340 + }, + { + "epoch": 0.00045, + "grad_norm": 12.501587867736816, + "learning_rate": 2.103838383838384e-06, + "loss": 6.276029205322265, + "step": 58345 + }, + { + "epoch": 0.0005, + "grad_norm": 5.397604465484619, + "learning_rate": 2.1035858585858586e-06, + "loss": 6.204943084716797, + "step": 58350 + }, + { + "epoch": 0.00055, + "grad_norm": 3.538440704345703, + "learning_rate": 2.1033333333333337e-06, + "loss": 6.249106216430664, + "step": 58355 + }, + { + "epoch": 0.0006, + "grad_norm": 11.428462028503418, + "learning_rate": 2.1030808080808083e-06, + "loss": 6.31140251159668, + "step": 58360 + }, + { + "epoch": 0.00065, + "grad_norm": 7.811578750610352, + "learning_rate": 2.102828282828283e-06, + "loss": 6.223845672607422, + "step": 58365 + }, + { + "epoch": 0.0007, + "grad_norm": 10.911348342895508, + "learning_rate": 2.1025757575757576e-06, + "loss": 6.291919708251953, + "step": 58370 + }, + { + "epoch": 0.00075, + "grad_norm": 7.340371131896973, + "learning_rate": 2.1023232323232326e-06, + "loss": 6.2730049133300785, + "step": 58375 + }, + { + "epoch": 0.0008, + "grad_norm": 6.834494590759277, + "learning_rate": 2.1020707070707072e-06, + "loss": 6.244667816162109, + "step": 58380 + }, + { + "epoch": 0.00085, + "grad_norm": 5.782610893249512, + "learning_rate": 2.1018181818181823e-06, + "loss": 6.269546890258789, + "step": 58385 + }, + { + "epoch": 0.0009, + "grad_norm": 5.7828803062438965, + "learning_rate": 2.1015656565656565e-06, + "loss": 6.186442565917969, + "step": 58390 + }, + { + "epoch": 0.00095, + "grad_norm": 6.747575283050537, + "learning_rate": 2.1013131313131316e-06, + "loss": 6.262683868408203, + "step": 58395 + }, + { + "epoch": 0.001, + "grad_norm": 5.424884796142578, + "learning_rate": 2.101060606060606e-06, + "loss": 6.297396087646485, + "step": 58400 + }, + { + "epoch": 0.00105, + "grad_norm": 7.843175411224365, + "learning_rate": 2.1008080808080812e-06, + "loss": 6.238264465332032, + "step": 58405 + }, + { + "epoch": 0.0011, + "grad_norm": 5.421750545501709, + "learning_rate": 2.100555555555556e-06, + "loss": 6.199758911132813, + "step": 58410 + }, + { + "epoch": 0.00115, + "grad_norm": 6.446488857269287, + "learning_rate": 2.1003030303030305e-06, + "loss": 6.298728179931641, + "step": 58415 + }, + { + "epoch": 0.0012, + "grad_norm": 3.2627923488616943, + "learning_rate": 2.100050505050505e-06, + "loss": 6.24609489440918, + "step": 58420 + }, + { + "epoch": 0.00125, + "grad_norm": 6.473231315612793, + "learning_rate": 2.09979797979798e-06, + "loss": 6.23774299621582, + "step": 58425 + }, + { + "epoch": 0.0013, + "grad_norm": 8.408305168151855, + "learning_rate": 2.099545454545455e-06, + "loss": 6.31666259765625, + "step": 58430 + }, + { + "epoch": 0.00135, + "grad_norm": 4.442447662353516, + "learning_rate": 2.0992929292929294e-06, + "loss": 6.246646499633789, + "step": 58435 + }, + { + "epoch": 0.0014, + "grad_norm": 8.77422046661377, + "learning_rate": 2.099040404040404e-06, + "loss": 6.315263366699218, + "step": 58440 + }, + { + "epoch": 0.00145, + "grad_norm": 14.109367370605469, + "learning_rate": 2.098787878787879e-06, + "loss": 6.22675895690918, + "step": 58445 + }, + { + "epoch": 0.0015, + "grad_norm": 4.954206943511963, + "learning_rate": 2.0985353535353538e-06, + "loss": 6.265231323242188, + "step": 58450 + }, + { + "epoch": 0.00155, + "grad_norm": 11.917671203613281, + "learning_rate": 2.0982828282828284e-06, + "loss": 6.33629035949707, + "step": 58455 + }, + { + "epoch": 0.0016, + "grad_norm": 5.52129602432251, + "learning_rate": 2.098030303030303e-06, + "loss": 6.270717620849609, + "step": 58460 + }, + { + "epoch": 0.00165, + "grad_norm": 13.145471572875977, + "learning_rate": 2.097777777777778e-06, + "loss": 6.223827743530274, + "step": 58465 + }, + { + "epoch": 0.0017, + "grad_norm": 11.223716735839844, + "learning_rate": 2.0975252525252527e-06, + "loss": 6.274269866943359, + "step": 58470 + }, + { + "epoch": 0.00175, + "grad_norm": 4.794831275939941, + "learning_rate": 2.0972727272727273e-06, + "loss": 6.240202331542969, + "step": 58475 + }, + { + "epoch": 0.0018, + "grad_norm": 5.3662567138671875, + "learning_rate": 2.097020202020202e-06, + "loss": 6.256021118164062, + "step": 58480 + }, + { + "epoch": 0.00185, + "grad_norm": 6.130589962005615, + "learning_rate": 2.096767676767677e-06, + "loss": 6.226803207397461, + "step": 58485 + }, + { + "epoch": 0.0019, + "grad_norm": 5.712375164031982, + "learning_rate": 2.0965151515151516e-06, + "loss": 6.261801910400391, + "step": 58490 + }, + { + "epoch": 0.00195, + "grad_norm": 6.38789176940918, + "learning_rate": 2.0962626262626267e-06, + "loss": 6.222469329833984, + "step": 58495 + }, + { + "epoch": 0.002, + "grad_norm": 37.815147399902344, + "learning_rate": 2.096010101010101e-06, + "loss": 6.271954345703125, + "step": 58500 + }, + { + "epoch": 0.00205, + "grad_norm": 7.986257553100586, + "learning_rate": 2.095757575757576e-06, + "loss": 6.253636169433594, + "step": 58505 + }, + { + "epoch": 0.0021, + "grad_norm": 7.071159362792969, + "learning_rate": 2.0955050505050506e-06, + "loss": 6.305369186401367, + "step": 58510 + }, + { + "epoch": 0.00215, + "grad_norm": 7.555908203125, + "learning_rate": 2.0952525252525256e-06, + "loss": 6.225598907470703, + "step": 58515 + }, + { + "epoch": 0.0022, + "grad_norm": 3.803361177444458, + "learning_rate": 2.0950000000000003e-06, + "loss": 6.2151538848876955, + "step": 58520 + }, + { + "epoch": 0.00225, + "grad_norm": 6.78621244430542, + "learning_rate": 2.094747474747475e-06, + "loss": 6.266167068481446, + "step": 58525 + }, + { + "epoch": 0.0023, + "grad_norm": 6.25847864151001, + "learning_rate": 2.0944949494949495e-06, + "loss": 6.268407821655273, + "step": 58530 + }, + { + "epoch": 0.00235, + "grad_norm": 4.788536548614502, + "learning_rate": 2.0942424242424246e-06, + "loss": 6.2767993927001955, + "step": 58535 + }, + { + "epoch": 0.0024, + "grad_norm": 5.617190837860107, + "learning_rate": 2.0939898989898992e-06, + "loss": 6.296378707885742, + "step": 58540 + }, + { + "epoch": 0.00245, + "grad_norm": 6.182650566101074, + "learning_rate": 2.093737373737374e-06, + "loss": 6.2470146179199215, + "step": 58545 + }, + { + "epoch": 0.0025, + "grad_norm": 6.380931854248047, + "learning_rate": 2.0934848484848485e-06, + "loss": 6.2162425994873045, + "step": 58550 + }, + { + "epoch": 0.00255, + "grad_norm": 4.785590171813965, + "learning_rate": 2.0932323232323235e-06, + "loss": 6.225432968139648, + "step": 58555 + }, + { + "epoch": 0.0026, + "grad_norm": 4.8684587478637695, + "learning_rate": 2.092979797979798e-06, + "loss": 6.276217651367188, + "step": 58560 + }, + { + "epoch": 0.00265, + "grad_norm": 9.265609741210938, + "learning_rate": 2.092727272727273e-06, + "loss": 6.318246841430664, + "step": 58565 + }, + { + "epoch": 0.0027, + "grad_norm": 4.073276996612549, + "learning_rate": 2.0924747474747474e-06, + "loss": 6.27374382019043, + "step": 58570 + }, + { + "epoch": 0.00275, + "grad_norm": 4.098637104034424, + "learning_rate": 2.0922222222222225e-06, + "loss": 6.264242935180664, + "step": 58575 + }, + { + "epoch": 0.0028, + "grad_norm": 11.025843620300293, + "learning_rate": 2.091969696969697e-06, + "loss": 6.200717163085938, + "step": 58580 + }, + { + "epoch": 0.00285, + "grad_norm": 21.123376846313477, + "learning_rate": 2.0917171717171717e-06, + "loss": 6.673307800292969, + "step": 58585 + }, + { + "epoch": 0.0029, + "grad_norm": 3.5849268436431885, + "learning_rate": 2.0914646464646464e-06, + "loss": 6.2893516540527346, + "step": 58590 + }, + { + "epoch": 0.00295, + "grad_norm": 7.158766746520996, + "learning_rate": 2.0912121212121214e-06, + "loss": 6.263116836547852, + "step": 58595 + }, + { + "epoch": 0.003, + "grad_norm": 7.203574180603027, + "learning_rate": 2.090959595959596e-06, + "loss": 6.325869750976563, + "step": 58600 + }, + { + "epoch": 0.00305, + "grad_norm": 6.050680160522461, + "learning_rate": 2.090707070707071e-06, + "loss": 6.15042724609375, + "step": 58605 + }, + { + "epoch": 0.0031, + "grad_norm": 6.012096405029297, + "learning_rate": 2.0904545454545453e-06, + "loss": 6.265053558349609, + "step": 58610 + }, + { + "epoch": 0.00315, + "grad_norm": 13.423612594604492, + "learning_rate": 2.0902020202020204e-06, + "loss": 6.2467914581298825, + "step": 58615 + }, + { + "epoch": 0.0032, + "grad_norm": 6.9048357009887695, + "learning_rate": 2.089949494949495e-06, + "loss": 6.247209167480468, + "step": 58620 + }, + { + "epoch": 0.00325, + "grad_norm": 4.742342948913574, + "learning_rate": 2.08969696969697e-06, + "loss": 6.272213363647461, + "step": 58625 + }, + { + "epoch": 0.0033, + "grad_norm": 11.981206893920898, + "learning_rate": 2.0894444444444447e-06, + "loss": 6.285174560546875, + "step": 58630 + }, + { + "epoch": 0.00335, + "grad_norm": 3.941469669342041, + "learning_rate": 2.0891919191919193e-06, + "loss": 6.289917373657227, + "step": 58635 + }, + { + "epoch": 0.0034, + "grad_norm": 3.8885302543640137, + "learning_rate": 2.088939393939394e-06, + "loss": 6.273854827880859, + "step": 58640 + }, + { + "epoch": 0.00345, + "grad_norm": 7.319693565368652, + "learning_rate": 2.088686868686869e-06, + "loss": 6.4630859375, + "step": 58645 + }, + { + "epoch": 0.0035, + "grad_norm": 3.7721338272094727, + "learning_rate": 2.0884343434343436e-06, + "loss": 6.247396087646484, + "step": 58650 + }, + { + "epoch": 0.00355, + "grad_norm": 7.353837966918945, + "learning_rate": 2.0881818181818182e-06, + "loss": 6.337646484375, + "step": 58655 + }, + { + "epoch": 0.0036, + "grad_norm": 4.04203987121582, + "learning_rate": 2.087929292929293e-06, + "loss": 6.397121429443359, + "step": 58660 + }, + { + "epoch": 0.00365, + "grad_norm": 6.539156436920166, + "learning_rate": 2.087676767676768e-06, + "loss": 6.223913955688476, + "step": 58665 + }, + { + "epoch": 0.0037, + "grad_norm": 5.225399971008301, + "learning_rate": 2.0874242424242426e-06, + "loss": 6.295248413085938, + "step": 58670 + }, + { + "epoch": 0.00375, + "grad_norm": 13.436102867126465, + "learning_rate": 2.087171717171717e-06, + "loss": 6.444306182861328, + "step": 58675 + }, + { + "epoch": 0.0038, + "grad_norm": 4.631586074829102, + "learning_rate": 2.086919191919192e-06, + "loss": 6.268806457519531, + "step": 58680 + }, + { + "epoch": 0.00385, + "grad_norm": 4.335426330566406, + "learning_rate": 2.086666666666667e-06, + "loss": 6.221486663818359, + "step": 58685 + }, + { + "epoch": 0.0039, + "grad_norm": 7.3512163162231445, + "learning_rate": 2.0864141414141415e-06, + "loss": 6.259012985229492, + "step": 58690 + }, + { + "epoch": 0.00395, + "grad_norm": 7.603573799133301, + "learning_rate": 2.086161616161616e-06, + "loss": 6.288476181030274, + "step": 58695 + }, + { + "epoch": 0.004, + "grad_norm": 4.89739990234375, + "learning_rate": 2.085909090909091e-06, + "loss": 6.317535781860352, + "step": 58700 + }, + { + "epoch": 0.00405, + "grad_norm": 6.278373718261719, + "learning_rate": 2.085656565656566e-06, + "loss": 6.239259338378906, + "step": 58705 + }, + { + "epoch": 0.0041, + "grad_norm": 7.481472492218018, + "learning_rate": 2.085404040404041e-06, + "loss": 6.2266357421875, + "step": 58710 + }, + { + "epoch": 0.00415, + "grad_norm": 4.563352584838867, + "learning_rate": 2.0851515151515155e-06, + "loss": 6.293328857421875, + "step": 58715 + }, + { + "epoch": 0.0042, + "grad_norm": 5.56203031539917, + "learning_rate": 2.08489898989899e-06, + "loss": 6.221408081054688, + "step": 58720 + }, + { + "epoch": 0.00425, + "grad_norm": 21.003725051879883, + "learning_rate": 2.0846464646464648e-06, + "loss": 6.500498199462891, + "step": 58725 + }, + { + "epoch": 0.0043, + "grad_norm": 8.92598819732666, + "learning_rate": 2.08439393939394e-06, + "loss": 6.324872970581055, + "step": 58730 + }, + { + "epoch": 0.00435, + "grad_norm": 9.277141571044922, + "learning_rate": 2.0841414141414144e-06, + "loss": 6.2321723937988285, + "step": 58735 + }, + { + "epoch": 0.0044, + "grad_norm": 14.299290657043457, + "learning_rate": 2.083888888888889e-06, + "loss": 6.307971572875976, + "step": 58740 + }, + { + "epoch": 0.00445, + "grad_norm": 9.133995056152344, + "learning_rate": 2.0836363636363637e-06, + "loss": 6.245074462890625, + "step": 58745 + }, + { + "epoch": 0.0045, + "grad_norm": 8.481698036193848, + "learning_rate": 2.0833838383838388e-06, + "loss": 6.1005207061767575, + "step": 58750 + }, + { + "epoch": 0.00455, + "grad_norm": 4.731527805328369, + "learning_rate": 2.0831313131313134e-06, + "loss": 6.24229736328125, + "step": 58755 + }, + { + "epoch": 0.0046, + "grad_norm": 11.300670623779297, + "learning_rate": 2.082878787878788e-06, + "loss": 6.244376373291016, + "step": 58760 + }, + { + "epoch": 0.00465, + "grad_norm": 5.929791450500488, + "learning_rate": 2.0826262626262627e-06, + "loss": 6.259492874145508, + "step": 58765 + }, + { + "epoch": 0.0047, + "grad_norm": 6.689615726470947, + "learning_rate": 2.0823737373737377e-06, + "loss": 6.297813415527344, + "step": 58770 + }, + { + "epoch": 0.00475, + "grad_norm": 3.904517889022827, + "learning_rate": 2.0821212121212123e-06, + "loss": 6.177570724487305, + "step": 58775 + }, + { + "epoch": 0.0048, + "grad_norm": 6.369487762451172, + "learning_rate": 2.081868686868687e-06, + "loss": 6.2642356872558596, + "step": 58780 + }, + { + "epoch": 0.00485, + "grad_norm": 4.5872039794921875, + "learning_rate": 2.0816161616161616e-06, + "loss": 6.240995025634765, + "step": 58785 + }, + { + "epoch": 0.0049, + "grad_norm": 6.004894733428955, + "learning_rate": 2.0813636363636366e-06, + "loss": 6.245631408691406, + "step": 58790 + }, + { + "epoch": 0.00495, + "grad_norm": 6.2296366691589355, + "learning_rate": 2.0811111111111113e-06, + "loss": 6.2500263214111325, + "step": 58795 + }, + { + "epoch": 0.005, + "grad_norm": 6.170069217681885, + "learning_rate": 2.0808585858585863e-06, + "loss": 6.241983795166016, + "step": 58800 + }, + { + "epoch": 0.00505, + "grad_norm": 6.995090007781982, + "learning_rate": 2.0806060606060605e-06, + "loss": 6.239134979248047, + "step": 58805 + }, + { + "epoch": 0.0051, + "grad_norm": 5.230010509490967, + "learning_rate": 2.0803535353535356e-06, + "loss": 6.2425537109375, + "step": 58810 + }, + { + "epoch": 0.00515, + "grad_norm": 4.865457057952881, + "learning_rate": 2.0801010101010102e-06, + "loss": 6.296752548217773, + "step": 58815 + }, + { + "epoch": 0.0052, + "grad_norm": 6.243901252746582, + "learning_rate": 2.0798484848484853e-06, + "loss": 6.306088256835937, + "step": 58820 + }, + { + "epoch": 0.00525, + "grad_norm": 6.144627571105957, + "learning_rate": 2.07959595959596e-06, + "loss": 6.2522834777832035, + "step": 58825 + }, + { + "epoch": 0.0053, + "grad_norm": 5.954376697540283, + "learning_rate": 2.0793434343434345e-06, + "loss": 6.229249572753906, + "step": 58830 + }, + { + "epoch": 0.00535, + "grad_norm": 5.864498615264893, + "learning_rate": 2.079090909090909e-06, + "loss": 6.24625244140625, + "step": 58835 + }, + { + "epoch": 0.0054, + "grad_norm": 4.244873523712158, + "learning_rate": 2.0788383838383842e-06, + "loss": 6.246694183349609, + "step": 58840 + }, + { + "epoch": 0.00545, + "grad_norm": 4.151030540466309, + "learning_rate": 2.078585858585859e-06, + "loss": 6.250484848022461, + "step": 58845 + }, + { + "epoch": 0.0055, + "grad_norm": 7.175971508026123, + "learning_rate": 2.0783333333333335e-06, + "loss": 6.275516510009766, + "step": 58850 + }, + { + "epoch": 0.00555, + "grad_norm": 4.066742420196533, + "learning_rate": 2.078080808080808e-06, + "loss": 6.294928741455078, + "step": 58855 + }, + { + "epoch": 0.0056, + "grad_norm": 5.917944431304932, + "learning_rate": 2.077828282828283e-06, + "loss": 6.2820686340332035, + "step": 58860 + }, + { + "epoch": 0.00565, + "grad_norm": 8.397479057312012, + "learning_rate": 2.077575757575758e-06, + "loss": 6.257723236083985, + "step": 58865 + }, + { + "epoch": 0.0057, + "grad_norm": 6.1954803466796875, + "learning_rate": 2.0773232323232324e-06, + "loss": 6.28545913696289, + "step": 58870 + }, + { + "epoch": 0.00575, + "grad_norm": 4.7637739181518555, + "learning_rate": 2.077070707070707e-06, + "loss": 6.259957122802734, + "step": 58875 + }, + { + "epoch": 0.0058, + "grad_norm": 6.437526226043701, + "learning_rate": 2.076818181818182e-06, + "loss": 6.227023315429688, + "step": 58880 + }, + { + "epoch": 0.00585, + "grad_norm": 5.302072048187256, + "learning_rate": 2.0765656565656567e-06, + "loss": 6.227678680419922, + "step": 58885 + }, + { + "epoch": 0.0059, + "grad_norm": 14.1445951461792, + "learning_rate": 2.0763131313131314e-06, + "loss": 6.295816421508789, + "step": 58890 + }, + { + "epoch": 0.00595, + "grad_norm": 11.199939727783203, + "learning_rate": 2.076060606060606e-06, + "loss": 6.210978698730469, + "step": 58895 + }, + { + "epoch": 0.006, + "grad_norm": 7.514898300170898, + "learning_rate": 2.075808080808081e-06, + "loss": 6.242209625244141, + "step": 58900 + }, + { + "epoch": 0.00605, + "grad_norm": 14.117866516113281, + "learning_rate": 2.0755555555555557e-06, + "loss": 6.376760864257813, + "step": 58905 + }, + { + "epoch": 0.0061, + "grad_norm": 8.217406272888184, + "learning_rate": 2.0753030303030307e-06, + "loss": 6.203324508666992, + "step": 58910 + }, + { + "epoch": 0.00615, + "grad_norm": 7.745266437530518, + "learning_rate": 2.075050505050505e-06, + "loss": 6.230584716796875, + "step": 58915 + }, + { + "epoch": 0.0062, + "grad_norm": 5.548164367675781, + "learning_rate": 2.07479797979798e-06, + "loss": 6.29118537902832, + "step": 58920 + }, + { + "epoch": 0.00625, + "grad_norm": 10.940072059631348, + "learning_rate": 2.0745454545454546e-06, + "loss": 6.217774200439453, + "step": 58925 + }, + { + "epoch": 0.0063, + "grad_norm": 5.968781471252441, + "learning_rate": 2.0742929292929297e-06, + "loss": 6.280405044555664, + "step": 58930 + }, + { + "epoch": 0.00635, + "grad_norm": 8.195931434631348, + "learning_rate": 2.0740404040404043e-06, + "loss": 6.245719146728516, + "step": 58935 + }, + { + "epoch": 0.0064, + "grad_norm": 11.496380805969238, + "learning_rate": 2.073787878787879e-06, + "loss": 6.2779380798339846, + "step": 58940 + }, + { + "epoch": 0.00645, + "grad_norm": 7.541276931762695, + "learning_rate": 2.0735353535353536e-06, + "loss": 6.215398788452148, + "step": 58945 + }, + { + "epoch": 0.0065, + "grad_norm": 4.501926422119141, + "learning_rate": 2.0732828282828286e-06, + "loss": 6.245157623291016, + "step": 58950 + }, + { + "epoch": 0.00655, + "grad_norm": 8.668429374694824, + "learning_rate": 2.0730303030303033e-06, + "loss": 6.2467296600341795, + "step": 58955 + }, + { + "epoch": 0.0066, + "grad_norm": 7.481866836547852, + "learning_rate": 2.072777777777778e-06, + "loss": 6.214098358154297, + "step": 58960 + }, + { + "epoch": 0.00665, + "grad_norm": 7.55385684967041, + "learning_rate": 2.0725252525252525e-06, + "loss": 6.257595825195312, + "step": 58965 + }, + { + "epoch": 0.0067, + "grad_norm": 9.489137649536133, + "learning_rate": 2.0722727272727276e-06, + "loss": 6.227631378173828, + "step": 58970 + }, + { + "epoch": 0.00675, + "grad_norm": 4.820658206939697, + "learning_rate": 2.072020202020202e-06, + "loss": 6.22340087890625, + "step": 58975 + }, + { + "epoch": 0.0068, + "grad_norm": 5.687729835510254, + "learning_rate": 2.071767676767677e-06, + "loss": 6.225769805908203, + "step": 58980 + }, + { + "epoch": 0.00685, + "grad_norm": 10.89376449584961, + "learning_rate": 2.0715151515151515e-06, + "loss": 6.288202285766602, + "step": 58985 + }, + { + "epoch": 0.0069, + "grad_norm": 8.388337135314941, + "learning_rate": 2.0712626262626265e-06, + "loss": 6.239315414428711, + "step": 58990 + }, + { + "epoch": 0.00695, + "grad_norm": 5.8432722091674805, + "learning_rate": 2.071010101010101e-06, + "loss": 6.175540924072266, + "step": 58995 + }, + { + "epoch": 0.007, + "grad_norm": 6.630270957946777, + "learning_rate": 2.0707575757575758e-06, + "loss": 6.240454864501953, + "step": 59000 + }, + { + "epoch": 0.00705, + "grad_norm": 7.407249450683594, + "learning_rate": 2.0705050505050504e-06, + "loss": 6.261737823486328, + "step": 59005 + }, + { + "epoch": 0.0071, + "grad_norm": 6.996264457702637, + "learning_rate": 2.0702525252525255e-06, + "loss": 6.208383941650391, + "step": 59010 + }, + { + "epoch": 0.00715, + "grad_norm": 7.77965784072876, + "learning_rate": 2.07e-06, + "loss": 6.242526245117188, + "step": 59015 + }, + { + "epoch": 0.0072, + "grad_norm": 8.68140697479248, + "learning_rate": 2.069747474747475e-06, + "loss": 6.296956634521484, + "step": 59020 + }, + { + "epoch": 0.00725, + "grad_norm": 5.560882568359375, + "learning_rate": 2.0694949494949493e-06, + "loss": 6.243286895751953, + "step": 59025 + }, + { + "epoch": 0.0073, + "grad_norm": 8.774682998657227, + "learning_rate": 2.0692424242424244e-06, + "loss": 6.250191497802734, + "step": 59030 + }, + { + "epoch": 0.00735, + "grad_norm": 6.194063186645508, + "learning_rate": 2.068989898989899e-06, + "loss": 6.242560195922851, + "step": 59035 + }, + { + "epoch": 0.0074, + "grad_norm": 10.61329174041748, + "learning_rate": 2.068737373737374e-06, + "loss": 6.387549972534179, + "step": 59040 + }, + { + "epoch": 0.00745, + "grad_norm": 6.626562595367432, + "learning_rate": 2.0684848484848487e-06, + "loss": 6.2502586364746096, + "step": 59045 + }, + { + "epoch": 0.0075, + "grad_norm": 4.035065174102783, + "learning_rate": 2.0682323232323233e-06, + "loss": 6.232435607910157, + "step": 59050 + }, + { + "epoch": 0.00755, + "grad_norm": 7.419530391693115, + "learning_rate": 2.067979797979798e-06, + "loss": 6.246858215332031, + "step": 59055 + }, + { + "epoch": 0.0076, + "grad_norm": 6.5832319259643555, + "learning_rate": 2.067727272727273e-06, + "loss": 6.27789421081543, + "step": 59060 + }, + { + "epoch": 0.00765, + "grad_norm": 6.354876518249512, + "learning_rate": 2.0674747474747477e-06, + "loss": 6.240566635131836, + "step": 59065 + }, + { + "epoch": 0.0077, + "grad_norm": 4.257768154144287, + "learning_rate": 2.0672222222222223e-06, + "loss": 6.236518096923828, + "step": 59070 + }, + { + "epoch": 0.00775, + "grad_norm": 8.047410011291504, + "learning_rate": 2.066969696969697e-06, + "loss": 6.398063659667969, + "step": 59075 + }, + { + "epoch": 0.0078, + "grad_norm": 6.120869159698486, + "learning_rate": 2.066717171717172e-06, + "loss": 6.20064697265625, + "step": 59080 + }, + { + "epoch": 0.00785, + "grad_norm": 4.9740142822265625, + "learning_rate": 2.0664646464646466e-06, + "loss": 6.226462173461914, + "step": 59085 + }, + { + "epoch": 0.0079, + "grad_norm": 7.381185531616211, + "learning_rate": 2.0662121212121212e-06, + "loss": 6.277249908447265, + "step": 59090 + }, + { + "epoch": 0.00795, + "grad_norm": 7.203022480010986, + "learning_rate": 2.065959595959596e-06, + "loss": 6.244776916503906, + "step": 59095 + }, + { + "epoch": 0.008, + "grad_norm": 6.161643028259277, + "learning_rate": 2.065707070707071e-06, + "loss": 6.271998596191406, + "step": 59100 + }, + { + "epoch": 0.00805, + "grad_norm": 4.114317893981934, + "learning_rate": 2.0654545454545455e-06, + "loss": 6.339406585693359, + "step": 59105 + }, + { + "epoch": 0.0081, + "grad_norm": 5.319577217102051, + "learning_rate": 2.06520202020202e-06, + "loss": 6.258371353149414, + "step": 59110 + }, + { + "epoch": 0.00815, + "grad_norm": 7.645069599151611, + "learning_rate": 2.064949494949495e-06, + "loss": 6.185433578491211, + "step": 59115 + }, + { + "epoch": 0.0082, + "grad_norm": 5.884204387664795, + "learning_rate": 2.06469696969697e-06, + "loss": 6.262901306152344, + "step": 59120 + }, + { + "epoch": 0.00825, + "grad_norm": 5.214514255523682, + "learning_rate": 2.064444444444445e-06, + "loss": 6.195463943481445, + "step": 59125 + }, + { + "epoch": 0.0083, + "grad_norm": 7.237389087677002, + "learning_rate": 2.0641919191919195e-06, + "loss": 6.104991912841797, + "step": 59130 + }, + { + "epoch": 0.00835, + "grad_norm": 6.023920059204102, + "learning_rate": 2.063939393939394e-06, + "loss": 6.2403724670410154, + "step": 59135 + }, + { + "epoch": 0.0084, + "grad_norm": 5.039715766906738, + "learning_rate": 2.063686868686869e-06, + "loss": 6.185231399536133, + "step": 59140 + }, + { + "epoch": 0.00845, + "grad_norm": 9.01639175415039, + "learning_rate": 2.063434343434344e-06, + "loss": 6.261359024047851, + "step": 59145 + }, + { + "epoch": 0.0085, + "grad_norm": 5.853230953216553, + "learning_rate": 2.0631818181818185e-06, + "loss": 6.225215148925781, + "step": 59150 + }, + { + "epoch": 0.00855, + "grad_norm": 7.653721809387207, + "learning_rate": 2.062929292929293e-06, + "loss": 6.56225357055664, + "step": 59155 + }, + { + "epoch": 0.0086, + "grad_norm": 4.256361961364746, + "learning_rate": 2.0626767676767677e-06, + "loss": 6.247796630859375, + "step": 59160 + }, + { + "epoch": 0.00865, + "grad_norm": 3.34798002243042, + "learning_rate": 2.062424242424243e-06, + "loss": 6.281182098388672, + "step": 59165 + }, + { + "epoch": 0.0087, + "grad_norm": 11.940790176391602, + "learning_rate": 2.0621717171717174e-06, + "loss": 6.456704711914062, + "step": 59170 + }, + { + "epoch": 0.00875, + "grad_norm": 5.696875095367432, + "learning_rate": 2.061919191919192e-06, + "loss": 6.37960205078125, + "step": 59175 + }, + { + "epoch": 0.0088, + "grad_norm": 4.6442484855651855, + "learning_rate": 2.0616666666666667e-06, + "loss": 6.230566787719726, + "step": 59180 + }, + { + "epoch": 0.00885, + "grad_norm": 8.425728797912598, + "learning_rate": 2.0614141414141417e-06, + "loss": 6.189837646484375, + "step": 59185 + }, + { + "epoch": 0.0089, + "grad_norm": 8.15460205078125, + "learning_rate": 2.0611616161616164e-06, + "loss": 6.209268951416016, + "step": 59190 + }, + { + "epoch": 0.00895, + "grad_norm": 4.069056034088135, + "learning_rate": 2.060909090909091e-06, + "loss": 6.283362579345703, + "step": 59195 + }, + { + "epoch": 0.009, + "grad_norm": 7.074182033538818, + "learning_rate": 2.0606565656565656e-06, + "loss": 6.2827095031738285, + "step": 59200 + }, + { + "epoch": 0.00905, + "grad_norm": 23.030685424804688, + "learning_rate": 2.0604040404040407e-06, + "loss": 6.443669128417969, + "step": 59205 + }, + { + "epoch": 0.0091, + "grad_norm": 4.0687994956970215, + "learning_rate": 2.0601515151515153e-06, + "loss": 6.2302001953125, + "step": 59210 + }, + { + "epoch": 0.00915, + "grad_norm": 4.404995441436768, + "learning_rate": 2.0598989898989904e-06, + "loss": 6.183870697021485, + "step": 59215 + }, + { + "epoch": 0.0092, + "grad_norm": 6.84672212600708, + "learning_rate": 2.0596464646464646e-06, + "loss": 6.280952072143554, + "step": 59220 + }, + { + "epoch": 0.00925, + "grad_norm": 14.95130729675293, + "learning_rate": 2.0593939393939396e-06, + "loss": 6.221119689941406, + "step": 59225 + }, + { + "epoch": 0.0093, + "grad_norm": 5.483609676361084, + "learning_rate": 2.0591414141414143e-06, + "loss": 6.461077880859375, + "step": 59230 + }, + { + "epoch": 0.00935, + "grad_norm": 6.021291732788086, + "learning_rate": 2.0588888888888893e-06, + "loss": 6.2539722442626955, + "step": 59235 + }, + { + "epoch": 0.0094, + "grad_norm": 5.072850227355957, + "learning_rate": 2.058636363636364e-06, + "loss": 6.211588668823242, + "step": 59240 + }, + { + "epoch": 0.00945, + "grad_norm": 8.354129791259766, + "learning_rate": 2.0583838383838386e-06, + "loss": 6.215970230102539, + "step": 59245 + }, + { + "epoch": 0.0095, + "grad_norm": 5.599398612976074, + "learning_rate": 2.058131313131313e-06, + "loss": 6.245159530639649, + "step": 59250 + }, + { + "epoch": 0.00955, + "grad_norm": 13.706000328063965, + "learning_rate": 2.0578787878787883e-06, + "loss": 6.308541870117187, + "step": 59255 + }, + { + "epoch": 0.0096, + "grad_norm": 6.657070636749268, + "learning_rate": 2.057626262626263e-06, + "loss": 6.3773963928222654, + "step": 59260 + }, + { + "epoch": 0.00965, + "grad_norm": 12.861201286315918, + "learning_rate": 2.0573737373737375e-06, + "loss": 6.297513961791992, + "step": 59265 + }, + { + "epoch": 0.0097, + "grad_norm": 6.077773571014404, + "learning_rate": 2.057121212121212e-06, + "loss": 6.253102111816406, + "step": 59270 + }, + { + "epoch": 0.00975, + "grad_norm": 7.472360134124756, + "learning_rate": 2.056868686868687e-06, + "loss": 6.310331726074219, + "step": 59275 + }, + { + "epoch": 0.0098, + "grad_norm": 5.121665954589844, + "learning_rate": 2.056616161616162e-06, + "loss": 6.230461120605469, + "step": 59280 + }, + { + "epoch": 0.00985, + "grad_norm": 8.061515808105469, + "learning_rate": 2.0563636363636365e-06, + "loss": 6.265071868896484, + "step": 59285 + }, + { + "epoch": 0.0099, + "grad_norm": 8.860408782958984, + "learning_rate": 2.056111111111111e-06, + "loss": 6.211807632446289, + "step": 59290 + }, + { + "epoch": 0.00995, + "grad_norm": 24.444046020507812, + "learning_rate": 2.055858585858586e-06, + "loss": 6.369590377807617, + "step": 59295 + }, + { + "epoch": 0.01, + "grad_norm": 4.001605033874512, + "learning_rate": 2.0556060606060608e-06, + "loss": 6.312588882446289, + "step": 59300 + }, + { + "epoch": 0.01005, + "grad_norm": 6.2984724044799805, + "learning_rate": 2.0553535353535354e-06, + "loss": 6.410684204101562, + "step": 59305 + }, + { + "epoch": 0.0101, + "grad_norm": 8.05012321472168, + "learning_rate": 2.05510101010101e-06, + "loss": 6.2490699768066404, + "step": 59310 + }, + { + "epoch": 0.01015, + "grad_norm": 5.546839714050293, + "learning_rate": 2.054848484848485e-06, + "loss": 6.516550445556641, + "step": 59315 + }, + { + "epoch": 0.0102, + "grad_norm": 8.235722541809082, + "learning_rate": 2.0545959595959597e-06, + "loss": 6.2799217224121096, + "step": 59320 + }, + { + "epoch": 0.01025, + "grad_norm": 8.669271469116211, + "learning_rate": 2.0543434343434348e-06, + "loss": 6.226139831542969, + "step": 59325 + }, + { + "epoch": 0.0103, + "grad_norm": 11.2813081741333, + "learning_rate": 2.054090909090909e-06, + "loss": 6.320725631713867, + "step": 59330 + }, + { + "epoch": 0.01035, + "grad_norm": 18.08547019958496, + "learning_rate": 2.053838383838384e-06, + "loss": 6.248417663574219, + "step": 59335 + }, + { + "epoch": 0.0104, + "grad_norm": 5.3775835037231445, + "learning_rate": 2.0535858585858587e-06, + "loss": 6.2202411651611325, + "step": 59340 + }, + { + "epoch": 0.01045, + "grad_norm": 4.200712203979492, + "learning_rate": 2.0533333333333337e-06, + "loss": 6.254697036743164, + "step": 59345 + }, + { + "epoch": 0.0105, + "grad_norm": 5.73336124420166, + "learning_rate": 2.0530808080808084e-06, + "loss": 6.25636100769043, + "step": 59350 + }, + { + "epoch": 0.01055, + "grad_norm": 5.717238426208496, + "learning_rate": 2.052828282828283e-06, + "loss": 6.251474761962891, + "step": 59355 + }, + { + "epoch": 0.0106, + "grad_norm": 5.027848720550537, + "learning_rate": 2.0525757575757576e-06, + "loss": 6.381567001342773, + "step": 59360 + }, + { + "epoch": 0.01065, + "grad_norm": 5.138001441955566, + "learning_rate": 2.0523232323232327e-06, + "loss": 6.260155487060547, + "step": 59365 + }, + { + "epoch": 0.0107, + "grad_norm": 5.387721538543701, + "learning_rate": 2.0520707070707073e-06, + "loss": 6.319944763183594, + "step": 59370 + }, + { + "epoch": 0.01075, + "grad_norm": 6.613460063934326, + "learning_rate": 2.051818181818182e-06, + "loss": 6.251589965820313, + "step": 59375 + }, + { + "epoch": 0.0108, + "grad_norm": 11.720845222473145, + "learning_rate": 2.0515656565656566e-06, + "loss": 6.278641891479492, + "step": 59380 + }, + { + "epoch": 0.01085, + "grad_norm": 4.2058634757995605, + "learning_rate": 2.0513131313131316e-06, + "loss": 6.293550872802735, + "step": 59385 + }, + { + "epoch": 0.0109, + "grad_norm": 3.868006706237793, + "learning_rate": 2.0510606060606062e-06, + "loss": 6.299354553222656, + "step": 59390 + }, + { + "epoch": 0.01095, + "grad_norm": 4.243855953216553, + "learning_rate": 2.050808080808081e-06, + "loss": 6.268869781494141, + "step": 59395 + }, + { + "epoch": 0.011, + "grad_norm": 7.821079730987549, + "learning_rate": 2.0505555555555555e-06, + "loss": 6.215383911132813, + "step": 59400 + }, + { + "epoch": 0.01105, + "grad_norm": 4.728719234466553, + "learning_rate": 2.0503030303030306e-06, + "loss": 6.283706283569336, + "step": 59405 + }, + { + "epoch": 0.0111, + "grad_norm": 7.089285850524902, + "learning_rate": 2.050050505050505e-06, + "loss": 6.2631370544433596, + "step": 59410 + }, + { + "epoch": 0.01115, + "grad_norm": 5.649655818939209, + "learning_rate": 2.04979797979798e-06, + "loss": 6.2102203369140625, + "step": 59415 + }, + { + "epoch": 0.0112, + "grad_norm": 7.316986560821533, + "learning_rate": 2.0495454545454544e-06, + "loss": 6.271542739868164, + "step": 59420 + }, + { + "epoch": 0.01125, + "grad_norm": 10.58299446105957, + "learning_rate": 2.0492929292929295e-06, + "loss": 6.2690174102783205, + "step": 59425 + }, + { + "epoch": 0.0113, + "grad_norm": 7.133983612060547, + "learning_rate": 2.049040404040404e-06, + "loss": 6.2369026184082035, + "step": 59430 + }, + { + "epoch": 0.01135, + "grad_norm": 3.673866033554077, + "learning_rate": 2.048787878787879e-06, + "loss": 6.2385498046875, + "step": 59435 + }, + { + "epoch": 0.0114, + "grad_norm": 5.4545369148254395, + "learning_rate": 2.048535353535354e-06, + "loss": 6.269493865966797, + "step": 59440 + }, + { + "epoch": 0.01145, + "grad_norm": 4.063849925994873, + "learning_rate": 2.0482828282828284e-06, + "loss": 6.26872673034668, + "step": 59445 + }, + { + "epoch": 0.0115, + "grad_norm": 4.720810413360596, + "learning_rate": 2.048030303030303e-06, + "loss": 6.230175018310547, + "step": 59450 + }, + { + "epoch": 0.01155, + "grad_norm": 3.442251443862915, + "learning_rate": 2.047777777777778e-06, + "loss": 6.26927490234375, + "step": 59455 + }, + { + "epoch": 0.0116, + "grad_norm": 3.4552061557769775, + "learning_rate": 2.0475252525252528e-06, + "loss": 6.241130828857422, + "step": 59460 + }, + { + "epoch": 0.01165, + "grad_norm": 7.5036301612854, + "learning_rate": 2.0472727272727274e-06, + "loss": 6.283591461181641, + "step": 59465 + }, + { + "epoch": 0.0117, + "grad_norm": 6.505871295928955, + "learning_rate": 2.047020202020202e-06, + "loss": 6.247476196289062, + "step": 59470 + }, + { + "epoch": 0.01175, + "grad_norm": 4.837193965911865, + "learning_rate": 2.046767676767677e-06, + "loss": 6.295603561401367, + "step": 59475 + }, + { + "epoch": 0.0118, + "grad_norm": 7.26710844039917, + "learning_rate": 2.0465151515151517e-06, + "loss": 6.306903076171875, + "step": 59480 + }, + { + "epoch": 0.01185, + "grad_norm": 10.514891624450684, + "learning_rate": 2.0462626262626263e-06, + "loss": 6.236568832397461, + "step": 59485 + }, + { + "epoch": 0.0119, + "grad_norm": 7.005358695983887, + "learning_rate": 2.046010101010101e-06, + "loss": 6.236373519897461, + "step": 59490 + }, + { + "epoch": 0.01195, + "grad_norm": 8.819540023803711, + "learning_rate": 2.045757575757576e-06, + "loss": 6.158717346191406, + "step": 59495 + }, + { + "epoch": 0.012, + "grad_norm": 14.289708137512207, + "learning_rate": 2.0455050505050506e-06, + "loss": 6.3417106628417965, + "step": 59500 + }, + { + "epoch": 0.01205, + "grad_norm": 29.90252113342285, + "learning_rate": 2.0452525252525253e-06, + "loss": 6.445090484619141, + "step": 59505 + }, + { + "epoch": 0.0121, + "grad_norm": 4.061923980712891, + "learning_rate": 2.045e-06, + "loss": 6.270865631103516, + "step": 59510 + }, + { + "epoch": 0.01215, + "grad_norm": 4.928311347961426, + "learning_rate": 2.044747474747475e-06, + "loss": 6.197664642333985, + "step": 59515 + }, + { + "epoch": 0.0122, + "grad_norm": 7.304781913757324, + "learning_rate": 2.0444949494949496e-06, + "loss": 6.371374130249023, + "step": 59520 + }, + { + "epoch": 0.01225, + "grad_norm": 9.379595756530762, + "learning_rate": 2.0442424242424242e-06, + "loss": 6.230873870849609, + "step": 59525 + }, + { + "epoch": 0.0123, + "grad_norm": 9.393119812011719, + "learning_rate": 2.043989898989899e-06, + "loss": 6.2115520477294925, + "step": 59530 + }, + { + "epoch": 0.01235, + "grad_norm": 8.150581359863281, + "learning_rate": 2.043737373737374e-06, + "loss": 6.252452850341797, + "step": 59535 + }, + { + "epoch": 0.0124, + "grad_norm": 4.230960845947266, + "learning_rate": 2.0434848484848485e-06, + "loss": 6.222021865844726, + "step": 59540 + }, + { + "epoch": 0.01245, + "grad_norm": 7.788488864898682, + "learning_rate": 2.0432323232323236e-06, + "loss": 6.220973205566406, + "step": 59545 + }, + { + "epoch": 0.0125, + "grad_norm": 5.754029273986816, + "learning_rate": 2.0429797979797982e-06, + "loss": 6.228139495849609, + "step": 59550 + }, + { + "epoch": 0.01255, + "grad_norm": 16.65953826904297, + "learning_rate": 2.042727272727273e-06, + "loss": 6.35261344909668, + "step": 59555 + }, + { + "epoch": 0.0126, + "grad_norm": 7.600273132324219, + "learning_rate": 2.042474747474748e-06, + "loss": 6.2491302490234375, + "step": 59560 + }, + { + "epoch": 0.01265, + "grad_norm": 7.213146686553955, + "learning_rate": 2.0422222222222225e-06, + "loss": 6.26468505859375, + "step": 59565 + }, + { + "epoch": 0.0127, + "grad_norm": 10.1974458694458, + "learning_rate": 2.041969696969697e-06, + "loss": 6.288265228271484, + "step": 59570 + }, + { + "epoch": 0.01275, + "grad_norm": 8.215903282165527, + "learning_rate": 2.0417171717171718e-06, + "loss": 6.201254272460938, + "step": 59575 + }, + { + "epoch": 0.0128, + "grad_norm": 4.651272773742676, + "learning_rate": 2.041464646464647e-06, + "loss": 6.311289596557617, + "step": 59580 + }, + { + "epoch": 0.01285, + "grad_norm": 4.360549449920654, + "learning_rate": 2.0412121212121215e-06, + "loss": 6.23725700378418, + "step": 59585 + }, + { + "epoch": 0.0129, + "grad_norm": 8.401599884033203, + "learning_rate": 2.040959595959596e-06, + "loss": 6.222241973876953, + "step": 59590 + }, + { + "epoch": 0.01295, + "grad_norm": 8.613070487976074, + "learning_rate": 2.0407070707070707e-06, + "loss": 6.30540657043457, + "step": 59595 + }, + { + "epoch": 0.013, + "grad_norm": 7.509093761444092, + "learning_rate": 2.0404545454545458e-06, + "loss": 6.280400085449219, + "step": 59600 + }, + { + "epoch": 5e-05, + "grad_norm": 4.9458746910095215, + "learning_rate": 2.0402020202020204e-06, + "loss": 6.245373916625977, + "step": 59605 + }, + { + "epoch": 0.0001, + "grad_norm": 6.579072952270508, + "learning_rate": 2.039949494949495e-06, + "loss": 6.235141754150391, + "step": 59610 + }, + { + "epoch": 0.00015, + "grad_norm": 6.200655460357666, + "learning_rate": 2.0396969696969697e-06, + "loss": 6.201121139526367, + "step": 59615 + }, + { + "epoch": 0.0002, + "grad_norm": 6.340612888336182, + "learning_rate": 2.0394444444444447e-06, + "loss": 6.235136413574219, + "step": 59620 + }, + { + "epoch": 0.00025, + "grad_norm": 5.245672702789307, + "learning_rate": 2.0391919191919194e-06, + "loss": 6.287697601318359, + "step": 59625 + }, + { + "epoch": 0.0003, + "grad_norm": 3.7286078929901123, + "learning_rate": 2.0389393939393944e-06, + "loss": 6.259527587890625, + "step": 59630 + }, + { + "epoch": 0.00035, + "grad_norm": 5.604214191436768, + "learning_rate": 2.0386868686868686e-06, + "loss": 6.213122177124023, + "step": 59635 + }, + { + "epoch": 0.0004, + "grad_norm": 6.735153675079346, + "learning_rate": 2.0384343434343437e-06, + "loss": 6.250712966918945, + "step": 59640 + }, + { + "epoch": 0.00045, + "grad_norm": 5.005904197692871, + "learning_rate": 2.0381818181818183e-06, + "loss": 6.2330787658691404, + "step": 59645 + }, + { + "epoch": 0.0005, + "grad_norm": 5.3076348304748535, + "learning_rate": 2.0379292929292934e-06, + "loss": 6.229384994506836, + "step": 59650 + }, + { + "epoch": 0.00055, + "grad_norm": 6.4799323081970215, + "learning_rate": 2.037676767676768e-06, + "loss": 6.235152053833008, + "step": 59655 + }, + { + "epoch": 0.0006, + "grad_norm": 8.953072547912598, + "learning_rate": 2.0374242424242426e-06, + "loss": 6.2888744354248045, + "step": 59660 + }, + { + "epoch": 0.00065, + "grad_norm": 6.9857258796691895, + "learning_rate": 2.0371717171717172e-06, + "loss": 6.2419891357421875, + "step": 59665 + }, + { + "epoch": 0.0007, + "grad_norm": 16.383989334106445, + "learning_rate": 2.0369191919191923e-06, + "loss": 6.313602447509766, + "step": 59670 + }, + { + "epoch": 0.00075, + "grad_norm": 4.819504261016846, + "learning_rate": 2.036666666666667e-06, + "loss": 6.3113140106201175, + "step": 59675 + }, + { + "epoch": 0.0008, + "grad_norm": 4.399473667144775, + "learning_rate": 2.0364141414141416e-06, + "loss": 6.238159942626953, + "step": 59680 + }, + { + "epoch": 0.00085, + "grad_norm": 15.481772422790527, + "learning_rate": 2.036161616161616e-06, + "loss": 6.225191116333008, + "step": 59685 + }, + { + "epoch": 0.0009, + "grad_norm": 6.649672031402588, + "learning_rate": 2.0359090909090912e-06, + "loss": 6.225462341308594, + "step": 59690 + }, + { + "epoch": 0.00095, + "grad_norm": 3.5958218574523926, + "learning_rate": 2.035656565656566e-06, + "loss": 6.281636428833008, + "step": 59695 + }, + { + "epoch": 0.001, + "grad_norm": 8.453826904296875, + "learning_rate": 2.0354040404040405e-06, + "loss": 6.178199386596679, + "step": 59700 + }, + { + "epoch": 0.00105, + "grad_norm": 8.893611907958984, + "learning_rate": 2.035151515151515e-06, + "loss": 6.227024841308594, + "step": 59705 + }, + { + "epoch": 0.0011, + "grad_norm": 8.087532043457031, + "learning_rate": 2.03489898989899e-06, + "loss": 6.222898483276367, + "step": 59710 + }, + { + "epoch": 0.00115, + "grad_norm": 9.734390258789062, + "learning_rate": 2.034646464646465e-06, + "loss": 6.226521301269531, + "step": 59715 + }, + { + "epoch": 0.0012, + "grad_norm": 6.947019577026367, + "learning_rate": 2.0343939393939394e-06, + "loss": 6.249479675292969, + "step": 59720 + }, + { + "epoch": 0.00125, + "grad_norm": 6.1662821769714355, + "learning_rate": 2.034141414141414e-06, + "loss": 6.256335830688476, + "step": 59725 + }, + { + "epoch": 0.0013, + "grad_norm": 13.549443244934082, + "learning_rate": 2.033888888888889e-06, + "loss": 6.271659851074219, + "step": 59730 + }, + { + "epoch": 0.00135, + "grad_norm": 6.757068634033203, + "learning_rate": 2.0336363636363638e-06, + "loss": 6.226794052124023, + "step": 59735 + }, + { + "epoch": 0.0014, + "grad_norm": 4.839574337005615, + "learning_rate": 2.033383838383839e-06, + "loss": 6.226781845092773, + "step": 59740 + }, + { + "epoch": 0.00145, + "grad_norm": 7.421070098876953, + "learning_rate": 2.033131313131313e-06, + "loss": 6.244200134277344, + "step": 59745 + }, + { + "epoch": 0.0015, + "grad_norm": 5.935271263122559, + "learning_rate": 2.032878787878788e-06, + "loss": 6.2296100616455075, + "step": 59750 + }, + { + "epoch": 0.00155, + "grad_norm": 6.38646936416626, + "learning_rate": 2.0326262626262627e-06, + "loss": 6.279094314575195, + "step": 59755 + }, + { + "epoch": 0.0016, + "grad_norm": 5.865725040435791, + "learning_rate": 2.0323737373737378e-06, + "loss": 6.2385303497314455, + "step": 59760 + }, + { + "epoch": 0.00165, + "grad_norm": 9.36620044708252, + "learning_rate": 2.0321212121212124e-06, + "loss": 6.243671035766601, + "step": 59765 + }, + { + "epoch": 0.0017, + "grad_norm": 5.349783420562744, + "learning_rate": 2.031868686868687e-06, + "loss": 6.22540512084961, + "step": 59770 + }, + { + "epoch": 0.00175, + "grad_norm": 14.827681541442871, + "learning_rate": 2.0316161616161617e-06, + "loss": 6.603054046630859, + "step": 59775 + }, + { + "epoch": 0.0018, + "grad_norm": 10.38107967376709, + "learning_rate": 2.0313636363636367e-06, + "loss": 6.379862976074219, + "step": 59780 + }, + { + "epoch": 0.00185, + "grad_norm": 7.574892520904541, + "learning_rate": 2.0311111111111113e-06, + "loss": 6.2152149200439455, + "step": 59785 + }, + { + "epoch": 0.0019, + "grad_norm": 3.2589337825775146, + "learning_rate": 2.030858585858586e-06, + "loss": 6.238515090942383, + "step": 59790 + }, + { + "epoch": 0.00195, + "grad_norm": 8.448206901550293, + "learning_rate": 2.0306060606060606e-06, + "loss": 6.222703170776367, + "step": 59795 + }, + { + "epoch": 0.002, + "grad_norm": 8.218720436096191, + "learning_rate": 2.0303535353535356e-06, + "loss": 6.2609916687011715, + "step": 59800 + }, + { + "epoch": 0.00205, + "grad_norm": 4.718255519866943, + "learning_rate": 2.0301010101010103e-06, + "loss": 6.2771343231201175, + "step": 59805 + }, + { + "epoch": 0.0021, + "grad_norm": 6.30755615234375, + "learning_rate": 2.029848484848485e-06, + "loss": 6.275223922729492, + "step": 59810 + }, + { + "epoch": 0.00215, + "grad_norm": 6.164546966552734, + "learning_rate": 2.0295959595959595e-06, + "loss": 6.3953086853027346, + "step": 59815 + }, + { + "epoch": 0.0022, + "grad_norm": 5.780943393707275, + "learning_rate": 2.0293434343434346e-06, + "loss": 6.257404708862305, + "step": 59820 + }, + { + "epoch": 0.00225, + "grad_norm": 3.8344035148620605, + "learning_rate": 2.0290909090909092e-06, + "loss": 6.263419342041016, + "step": 59825 + }, + { + "epoch": 0.0023, + "grad_norm": 7.261663436889648, + "learning_rate": 2.028838383838384e-06, + "loss": 6.238826751708984, + "step": 59830 + }, + { + "epoch": 0.00235, + "grad_norm": 6.593562602996826, + "learning_rate": 2.0285858585858585e-06, + "loss": 6.257351684570312, + "step": 59835 + }, + { + "epoch": 0.0024, + "grad_norm": 12.700066566467285, + "learning_rate": 2.0283333333333335e-06, + "loss": 6.240587615966797, + "step": 59840 + }, + { + "epoch": 0.00245, + "grad_norm": 10.010307312011719, + "learning_rate": 2.028080808080808e-06, + "loss": 6.2245220184326175, + "step": 59845 + }, + { + "epoch": 0.0025, + "grad_norm": 8.966395378112793, + "learning_rate": 2.0278282828282832e-06, + "loss": 6.241418075561524, + "step": 59850 + }, + { + "epoch": 0.00255, + "grad_norm": 4.632090091705322, + "learning_rate": 2.027575757575758e-06, + "loss": 6.203256225585937, + "step": 59855 + }, + { + "epoch": 0.0026, + "grad_norm": 4.753121852874756, + "learning_rate": 2.0273232323232325e-06, + "loss": 6.282467651367187, + "step": 59860 + }, + { + "epoch": 0.00265, + "grad_norm": 7.422281265258789, + "learning_rate": 2.027070707070707e-06, + "loss": 6.284918975830078, + "step": 59865 + }, + { + "epoch": 0.0027, + "grad_norm": 4.985781192779541, + "learning_rate": 2.026818181818182e-06, + "loss": 6.249455261230469, + "step": 59870 + }, + { + "epoch": 0.00275, + "grad_norm": 6.608810901641846, + "learning_rate": 2.026565656565657e-06, + "loss": 6.2374622344970705, + "step": 59875 + }, + { + "epoch": 0.0028, + "grad_norm": 4.5697340965271, + "learning_rate": 2.0263131313131314e-06, + "loss": 6.282121276855468, + "step": 59880 + }, + { + "epoch": 0.00285, + "grad_norm": 12.852723121643066, + "learning_rate": 2.026060606060606e-06, + "loss": 6.432363128662109, + "step": 59885 + }, + { + "epoch": 0.0029, + "grad_norm": 4.338818073272705, + "learning_rate": 2.025808080808081e-06, + "loss": 6.270924758911133, + "step": 59890 + }, + { + "epoch": 0.00295, + "grad_norm": 6.760826587677002, + "learning_rate": 2.0255555555555557e-06, + "loss": 6.252292251586914, + "step": 59895 + }, + { + "epoch": 0.003, + "grad_norm": 77.43193817138672, + "learning_rate": 2.0253030303030304e-06, + "loss": 9.314897918701172, + "step": 59900 + }, + { + "epoch": 0.00305, + "grad_norm": 21.71402931213379, + "learning_rate": 2.025050505050505e-06, + "loss": 9.21207275390625, + "step": 59905 + }, + { + "epoch": 0.0031, + "grad_norm": 5.709657669067383, + "learning_rate": 2.02479797979798e-06, + "loss": 6.2602581024169925, + "step": 59910 + }, + { + "epoch": 0.00315, + "grad_norm": 5.010549545288086, + "learning_rate": 2.0245454545454547e-06, + "loss": 6.288776779174805, + "step": 59915 + }, + { + "epoch": 0.0032, + "grad_norm": 6.869956970214844, + "learning_rate": 2.0242929292929293e-06, + "loss": 6.2321117401123045, + "step": 59920 + }, + { + "epoch": 0.00325, + "grad_norm": 13.989686012268066, + "learning_rate": 2.024040404040404e-06, + "loss": 6.50732650756836, + "step": 59925 + }, + { + "epoch": 0.0033, + "grad_norm": 9.272558212280273, + "learning_rate": 2.023787878787879e-06, + "loss": 6.274212646484375, + "step": 59930 + }, + { + "epoch": 0.00335, + "grad_norm": 7.050143241882324, + "learning_rate": 2.0235353535353536e-06, + "loss": 6.311806106567383, + "step": 59935 + }, + { + "epoch": 0.0034, + "grad_norm": 7.0291924476623535, + "learning_rate": 2.0232828282828283e-06, + "loss": 6.214493179321289, + "step": 59940 + }, + { + "epoch": 0.00345, + "grad_norm": 5.257014751434326, + "learning_rate": 2.023030303030303e-06, + "loss": 6.243858337402344, + "step": 59945 + }, + { + "epoch": 0.0035, + "grad_norm": 5.125995635986328, + "learning_rate": 2.022777777777778e-06, + "loss": 6.2663532257080075, + "step": 59950 + }, + { + "epoch": 0.00355, + "grad_norm": 8.277807235717773, + "learning_rate": 2.0225252525252526e-06, + "loss": 6.26971435546875, + "step": 59955 + }, + { + "epoch": 0.0036, + "grad_norm": 4.126095771789551, + "learning_rate": 2.0222727272727276e-06, + "loss": 6.244985198974609, + "step": 59960 + }, + { + "epoch": 0.00365, + "grad_norm": 7.981186389923096, + "learning_rate": 2.0220202020202023e-06, + "loss": 6.218435668945313, + "step": 59965 + }, + { + "epoch": 0.0037, + "grad_norm": 8.124320983886719, + "learning_rate": 2.021767676767677e-06, + "loss": 6.247775268554688, + "step": 59970 + }, + { + "epoch": 0.00375, + "grad_norm": 8.51883316040039, + "learning_rate": 2.021515151515152e-06, + "loss": 6.274928283691406, + "step": 59975 + }, + { + "epoch": 0.0038, + "grad_norm": 6.059136390686035, + "learning_rate": 2.0212626262626266e-06, + "loss": 6.3264610290527346, + "step": 59980 + }, + { + "epoch": 0.00385, + "grad_norm": 7.581604480743408, + "learning_rate": 2.021010101010101e-06, + "loss": 6.245943450927735, + "step": 59985 + }, + { + "epoch": 0.0039, + "grad_norm": 16.726388931274414, + "learning_rate": 2.020757575757576e-06, + "loss": 6.241855621337891, + "step": 59990 + }, + { + "epoch": 0.00395, + "grad_norm": 7.465245246887207, + "learning_rate": 2.020505050505051e-06, + "loss": 6.260879135131836, + "step": 59995 + }, + { + "epoch": 0.004, + "grad_norm": 4.996988773345947, + "learning_rate": 2.0202525252525255e-06, + "loss": 6.261257934570312, + "step": 60000 + }, + { + "epoch": 0.00405, + "grad_norm": 6.171202659606934, + "learning_rate": 2.02e-06, + "loss": 6.222555923461914, + "step": 60005 + }, + { + "epoch": 0.0041, + "grad_norm": 7.252633094787598, + "learning_rate": 2.0197474747474748e-06, + "loss": 6.287104797363281, + "step": 60010 + }, + { + "epoch": 0.00415, + "grad_norm": 6.054281234741211, + "learning_rate": 2.01949494949495e-06, + "loss": 6.177817535400391, + "step": 60015 + }, + { + "epoch": 0.0042, + "grad_norm": 9.523404121398926, + "learning_rate": 2.0192424242424245e-06, + "loss": 6.288098907470703, + "step": 60020 + }, + { + "epoch": 0.00425, + "grad_norm": 12.537303924560547, + "learning_rate": 2.018989898989899e-06, + "loss": 6.329929351806641, + "step": 60025 + }, + { + "epoch": 0.0043, + "grad_norm": 11.161575317382812, + "learning_rate": 2.0187373737373737e-06, + "loss": 6.269992065429688, + "step": 60030 + }, + { + "epoch": 0.00435, + "grad_norm": 6.9387593269348145, + "learning_rate": 2.0184848484848488e-06, + "loss": 6.25155029296875, + "step": 60035 + }, + { + "epoch": 0.0044, + "grad_norm": 6.724871635437012, + "learning_rate": 2.0182323232323234e-06, + "loss": 6.301598739624024, + "step": 60040 + }, + { + "epoch": 0.00445, + "grad_norm": 4.521924018859863, + "learning_rate": 2.0179797979797985e-06, + "loss": 6.236788558959961, + "step": 60045 + }, + { + "epoch": 0.0045, + "grad_norm": 13.769444465637207, + "learning_rate": 2.0177272727272727e-06, + "loss": 6.416142272949219, + "step": 60050 + }, + { + "epoch": 0.00455, + "grad_norm": 10.463642120361328, + "learning_rate": 2.0174747474747477e-06, + "loss": 6.235598754882813, + "step": 60055 + }, + { + "epoch": 0.0046, + "grad_norm": 6.326048851013184, + "learning_rate": 2.0172222222222223e-06, + "loss": 6.173157501220703, + "step": 60060 + }, + { + "epoch": 0.00465, + "grad_norm": 6.822091102600098, + "learning_rate": 2.0169696969696974e-06, + "loss": 6.33012809753418, + "step": 60065 + }, + { + "epoch": 0.0047, + "grad_norm": 5.950543403625488, + "learning_rate": 2.016717171717172e-06, + "loss": 6.277599716186524, + "step": 60070 + }, + { + "epoch": 0.00475, + "grad_norm": 6.905148029327393, + "learning_rate": 2.0164646464646467e-06, + "loss": 6.243090057373047, + "step": 60075 + }, + { + "epoch": 0.0048, + "grad_norm": 8.327091217041016, + "learning_rate": 2.0162121212121213e-06, + "loss": 6.226247024536133, + "step": 60080 + }, + { + "epoch": 0.00485, + "grad_norm": 10.265803337097168, + "learning_rate": 2.0159595959595963e-06, + "loss": 6.230131530761719, + "step": 60085 + }, + { + "epoch": 0.0049, + "grad_norm": 6.534043788909912, + "learning_rate": 2.015707070707071e-06, + "loss": 6.281332397460938, + "step": 60090 + }, + { + "epoch": 0.00495, + "grad_norm": 8.848848342895508, + "learning_rate": 2.0154545454545456e-06, + "loss": 6.2816730499267575, + "step": 60095 + }, + { + "epoch": 0.005, + "grad_norm": 5.33677339553833, + "learning_rate": 2.0152020202020202e-06, + "loss": 6.262407684326172, + "step": 60100 + }, + { + "epoch": 0.00505, + "grad_norm": 4.994957447052002, + "learning_rate": 2.0149494949494953e-06, + "loss": 6.271898651123047, + "step": 60105 + }, + { + "epoch": 0.0051, + "grad_norm": 7.089867115020752, + "learning_rate": 2.01469696969697e-06, + "loss": 6.2675727844238285, + "step": 60110 + }, + { + "epoch": 0.00515, + "grad_norm": 6.446727275848389, + "learning_rate": 2.0144444444444445e-06, + "loss": 6.255917739868164, + "step": 60115 + }, + { + "epoch": 0.0052, + "grad_norm": 12.923054695129395, + "learning_rate": 2.014191919191919e-06, + "loss": 6.235004806518555, + "step": 60120 + }, + { + "epoch": 0.00525, + "grad_norm": 11.632373809814453, + "learning_rate": 2.0139393939393942e-06, + "loss": 6.225760269165039, + "step": 60125 + }, + { + "epoch": 0.0053, + "grad_norm": 5.69319486618042, + "learning_rate": 2.013686868686869e-06, + "loss": 6.265936279296875, + "step": 60130 + }, + { + "epoch": 0.00535, + "grad_norm": 3.9598515033721924, + "learning_rate": 2.0134343434343435e-06, + "loss": 6.250956344604492, + "step": 60135 + }, + { + "epoch": 0.0054, + "grad_norm": 6.504842281341553, + "learning_rate": 2.013181818181818e-06, + "loss": 6.25641975402832, + "step": 60140 + }, + { + "epoch": 0.00545, + "grad_norm": 15.156455039978027, + "learning_rate": 2.012929292929293e-06, + "loss": 6.238505554199219, + "step": 60145 + }, + { + "epoch": 0.0055, + "grad_norm": 6.301206588745117, + "learning_rate": 2.012676767676768e-06, + "loss": 6.34530029296875, + "step": 60150 + }, + { + "epoch": 0.00555, + "grad_norm": 7.3131279945373535, + "learning_rate": 2.012424242424243e-06, + "loss": 6.230226516723633, + "step": 60155 + }, + { + "epoch": 0.0056, + "grad_norm": 24.909421920776367, + "learning_rate": 2.0121717171717175e-06, + "loss": 6.2019702911376955, + "step": 60160 + }, + { + "epoch": 0.00565, + "grad_norm": 6.771926403045654, + "learning_rate": 2.011919191919192e-06, + "loss": 6.258347702026367, + "step": 60165 + }, + { + "epoch": 0.0057, + "grad_norm": 6.397648811340332, + "learning_rate": 2.0116666666666667e-06, + "loss": 6.244483566284179, + "step": 60170 + }, + { + "epoch": 0.00575, + "grad_norm": 6.347175598144531, + "learning_rate": 2.011414141414142e-06, + "loss": 6.259653472900391, + "step": 60175 + }, + { + "epoch": 0.0058, + "grad_norm": 11.093610763549805, + "learning_rate": 2.0111616161616164e-06, + "loss": 6.292001342773437, + "step": 60180 + }, + { + "epoch": 0.00585, + "grad_norm": 12.047823905944824, + "learning_rate": 2.010909090909091e-06, + "loss": 6.200966644287109, + "step": 60185 + }, + { + "epoch": 0.0059, + "grad_norm": 4.255692481994629, + "learning_rate": 2.0106565656565657e-06, + "loss": 6.215106201171875, + "step": 60190 + }, + { + "epoch": 0.00595, + "grad_norm": 15.39276123046875, + "learning_rate": 2.0104040404040407e-06, + "loss": 6.346302032470703, + "step": 60195 + }, + { + "epoch": 0.006, + "grad_norm": 4.610053062438965, + "learning_rate": 2.0101515151515154e-06, + "loss": 6.21270523071289, + "step": 60200 + }, + { + "epoch": 0.00605, + "grad_norm": 7.643107891082764, + "learning_rate": 2.00989898989899e-06, + "loss": 6.325513076782227, + "step": 60205 + }, + { + "epoch": 0.0061, + "grad_norm": 6.443765163421631, + "learning_rate": 2.0096464646464646e-06, + "loss": 6.24625244140625, + "step": 60210 + }, + { + "epoch": 0.00615, + "grad_norm": 6.429826736450195, + "learning_rate": 2.0093939393939397e-06, + "loss": 6.231423187255859, + "step": 60215 + }, + { + "epoch": 0.0062, + "grad_norm": 6.8534016609191895, + "learning_rate": 2.0091414141414143e-06, + "loss": 6.255816650390625, + "step": 60220 + }, + { + "epoch": 0.00625, + "grad_norm": 5.815697193145752, + "learning_rate": 2.008888888888889e-06, + "loss": 6.20636100769043, + "step": 60225 + }, + { + "epoch": 0.0063, + "grad_norm": 5.52397346496582, + "learning_rate": 2.0086363636363636e-06, + "loss": 6.208478927612305, + "step": 60230 + }, + { + "epoch": 0.00635, + "grad_norm": 7.683022499084473, + "learning_rate": 2.0083838383838386e-06, + "loss": 6.226814270019531, + "step": 60235 + }, + { + "epoch": 0.0064, + "grad_norm": 5.193235397338867, + "learning_rate": 2.0081313131313133e-06, + "loss": 6.231290054321289, + "step": 60240 + }, + { + "epoch": 0.00645, + "grad_norm": 4.641952991485596, + "learning_rate": 2.007878787878788e-06, + "loss": 6.4659889221191404, + "step": 60245 + }, + { + "epoch": 0.0065, + "grad_norm": 15.077449798583984, + "learning_rate": 2.0076262626262625e-06, + "loss": 6.231301116943359, + "step": 60250 + }, + { + "epoch": 0.00655, + "grad_norm": 9.206083297729492, + "learning_rate": 2.0073737373737376e-06, + "loss": 6.288860321044922, + "step": 60255 + }, + { + "epoch": 0.0066, + "grad_norm": 5.910830497741699, + "learning_rate": 2.007121212121212e-06, + "loss": 6.2178489685058596, + "step": 60260 + }, + { + "epoch": 0.00665, + "grad_norm": 5.643435001373291, + "learning_rate": 2.0068686868686873e-06, + "loss": 6.241171264648438, + "step": 60265 + }, + { + "epoch": 0.0067, + "grad_norm": 6.373255252838135, + "learning_rate": 2.006616161616162e-06, + "loss": 6.220059967041015, + "step": 60270 + }, + { + "epoch": 0.00675, + "grad_norm": 6.569882869720459, + "learning_rate": 2.0063636363636365e-06, + "loss": 6.289024734497071, + "step": 60275 + }, + { + "epoch": 0.0068, + "grad_norm": 7.0203022956848145, + "learning_rate": 2.006111111111111e-06, + "loss": 6.260668563842773, + "step": 60280 + }, + { + "epoch": 0.00685, + "grad_norm": 4.479996204376221, + "learning_rate": 2.005858585858586e-06, + "loss": 6.209384155273438, + "step": 60285 + }, + { + "epoch": 0.0069, + "grad_norm": 6.043213844299316, + "learning_rate": 2.005606060606061e-06, + "loss": 6.265098953247071, + "step": 60290 + }, + { + "epoch": 0.00695, + "grad_norm": 5.4271368980407715, + "learning_rate": 2.0053535353535355e-06, + "loss": 6.273579025268555, + "step": 60295 + }, + { + "epoch": 0.007, + "grad_norm": 6.797764301300049, + "learning_rate": 2.00510101010101e-06, + "loss": 6.22705307006836, + "step": 60300 + }, + { + "epoch": 0.00705, + "grad_norm": 9.559730529785156, + "learning_rate": 2.004848484848485e-06, + "loss": 6.228847503662109, + "step": 60305 + }, + { + "epoch": 0.0071, + "grad_norm": 5.022701263427734, + "learning_rate": 2.0045959595959598e-06, + "loss": 6.237430191040039, + "step": 60310 + }, + { + "epoch": 0.00715, + "grad_norm": 7.107255458831787, + "learning_rate": 2.0043434343434344e-06, + "loss": 6.243033981323242, + "step": 60315 + }, + { + "epoch": 0.0072, + "grad_norm": 6.131774425506592, + "learning_rate": 2.004090909090909e-06, + "loss": 6.221183776855469, + "step": 60320 + }, + { + "epoch": 0.00725, + "grad_norm": 11.75971508026123, + "learning_rate": 2.003838383838384e-06, + "loss": 6.243957901000977, + "step": 60325 + }, + { + "epoch": 0.0073, + "grad_norm": 7.2638959884643555, + "learning_rate": 2.0035858585858587e-06, + "loss": 6.22242431640625, + "step": 60330 + }, + { + "epoch": 0.00735, + "grad_norm": 7.119653224945068, + "learning_rate": 2.0033333333333334e-06, + "loss": 6.5706642150878904, + "step": 60335 + }, + { + "epoch": 0.0074, + "grad_norm": 4.83133602142334, + "learning_rate": 2.003080808080808e-06, + "loss": 6.252746963500977, + "step": 60340 + }, + { + "epoch": 0.00745, + "grad_norm": 5.236952304840088, + "learning_rate": 2.002828282828283e-06, + "loss": 6.4335884094238285, + "step": 60345 + }, + { + "epoch": 0.0075, + "grad_norm": 8.259407997131348, + "learning_rate": 2.0025757575757577e-06, + "loss": 6.218289947509765, + "step": 60350 + }, + { + "epoch": 0.00755, + "grad_norm": 2.9876673221588135, + "learning_rate": 2.0023232323232323e-06, + "loss": 6.292863845825195, + "step": 60355 + }, + { + "epoch": 0.0076, + "grad_norm": 5.527287006378174, + "learning_rate": 2.002070707070707e-06, + "loss": 6.3529094696044925, + "step": 60360 + }, + { + "epoch": 0.00765, + "grad_norm": 14.29595947265625, + "learning_rate": 2.001818181818182e-06, + "loss": 6.214306640625, + "step": 60365 + }, + { + "epoch": 0.0077, + "grad_norm": 7.4387688636779785, + "learning_rate": 2.0015656565656566e-06, + "loss": 6.2567626953125, + "step": 60370 + }, + { + "epoch": 0.00775, + "grad_norm": 10.032439231872559, + "learning_rate": 2.0013131313131317e-06, + "loss": 6.311246490478515, + "step": 60375 + }, + { + "epoch": 0.0078, + "grad_norm": 3.9964418411254883, + "learning_rate": 2.0010606060606063e-06, + "loss": 6.221828460693359, + "step": 60380 + }, + { + "epoch": 0.00785, + "grad_norm": 3.7931039333343506, + "learning_rate": 2.000808080808081e-06, + "loss": 6.2532707214355465, + "step": 60385 + }, + { + "epoch": 0.0079, + "grad_norm": 5.531356334686279, + "learning_rate": 2.0005555555555556e-06, + "loss": 6.284926986694336, + "step": 60390 + }, + { + "epoch": 0.00795, + "grad_norm": 5.465713024139404, + "learning_rate": 2.0003030303030306e-06, + "loss": 6.235190582275391, + "step": 60395 + }, + { + "epoch": 0.008, + "grad_norm": 26.469636917114258, + "learning_rate": 2.0000505050505052e-06, + "loss": 6.261493301391601, + "step": 60400 + }, + { + "epoch": 0.00805, + "grad_norm": 12.369901657104492, + "learning_rate": 1.99979797979798e-06, + "loss": 6.281419372558593, + "step": 60405 + }, + { + "epoch": 0.0081, + "grad_norm": 7.636369705200195, + "learning_rate": 1.999545454545455e-06, + "loss": 6.244049072265625, + "step": 60410 + }, + { + "epoch": 0.00815, + "grad_norm": 8.567362785339355, + "learning_rate": 1.9992929292929296e-06, + "loss": 6.239253234863281, + "step": 60415 + }, + { + "epoch": 0.0082, + "grad_norm": 7.124471187591553, + "learning_rate": 1.999040404040404e-06, + "loss": 6.256874847412109, + "step": 60420 + }, + { + "epoch": 0.00825, + "grad_norm": 9.46297550201416, + "learning_rate": 1.998787878787879e-06, + "loss": 6.2257530212402346, + "step": 60425 + }, + { + "epoch": 0.0083, + "grad_norm": 4.428560733795166, + "learning_rate": 1.998535353535354e-06, + "loss": 6.232695770263672, + "step": 60430 + }, + { + "epoch": 0.00835, + "grad_norm": 4.473817825317383, + "learning_rate": 1.9982828282828285e-06, + "loss": 6.25379524230957, + "step": 60435 + }, + { + "epoch": 0.0084, + "grad_norm": 5.506465435028076, + "learning_rate": 1.998030303030303e-06, + "loss": 6.293743896484375, + "step": 60440 + }, + { + "epoch": 0.00845, + "grad_norm": 5.7820000648498535, + "learning_rate": 1.9977777777777778e-06, + "loss": 6.2140850067138675, + "step": 60445 + }, + { + "epoch": 0.0085, + "grad_norm": 5.462398052215576, + "learning_rate": 1.997525252525253e-06, + "loss": 6.28991470336914, + "step": 60450 + }, + { + "epoch": 0.00855, + "grad_norm": 8.032393455505371, + "learning_rate": 1.9972727272727274e-06, + "loss": 6.2767189025878904, + "step": 60455 + }, + { + "epoch": 0.0086, + "grad_norm": 6.902390003204346, + "learning_rate": 1.9970202020202025e-06, + "loss": 6.20337142944336, + "step": 60460 + }, + { + "epoch": 0.00865, + "grad_norm": 6.40850305557251, + "learning_rate": 1.9967676767676767e-06, + "loss": 6.2323345184326175, + "step": 60465 + }, + { + "epoch": 0.0087, + "grad_norm": 5.9168477058410645, + "learning_rate": 1.9965151515151518e-06, + "loss": 6.231288146972656, + "step": 60470 + }, + { + "epoch": 0.00875, + "grad_norm": 5.216104030609131, + "learning_rate": 1.9962626262626264e-06, + "loss": 6.195757293701172, + "step": 60475 + }, + { + "epoch": 0.0088, + "grad_norm": 6.119329929351807, + "learning_rate": 1.9960101010101014e-06, + "loss": 6.369736099243164, + "step": 60480 + }, + { + "epoch": 0.00885, + "grad_norm": 6.043377876281738, + "learning_rate": 1.995757575757576e-06, + "loss": 6.215894317626953, + "step": 60485 + }, + { + "epoch": 0.0089, + "grad_norm": 5.906756401062012, + "learning_rate": 1.9955050505050507e-06, + "loss": 6.242370223999023, + "step": 60490 + }, + { + "epoch": 0.00895, + "grad_norm": 6.157674312591553, + "learning_rate": 1.9952525252525253e-06, + "loss": 6.296054840087891, + "step": 60495 + }, + { + "epoch": 0.009, + "grad_norm": 36.200233459472656, + "learning_rate": 1.9950000000000004e-06, + "loss": 6.289266967773438, + "step": 60500 + }, + { + "epoch": 0.00905, + "grad_norm": 6.483680248260498, + "learning_rate": 1.994747474747475e-06, + "loss": 6.228556823730469, + "step": 60505 + }, + { + "epoch": 0.0091, + "grad_norm": 5.807936668395996, + "learning_rate": 1.9944949494949496e-06, + "loss": 6.239947509765625, + "step": 60510 + }, + { + "epoch": 0.00915, + "grad_norm": 4.65435791015625, + "learning_rate": 1.9942424242424243e-06, + "loss": 6.181417083740234, + "step": 60515 + }, + { + "epoch": 0.0092, + "grad_norm": 17.837310791015625, + "learning_rate": 1.9939898989898993e-06, + "loss": 6.286280822753906, + "step": 60520 + }, + { + "epoch": 0.00925, + "grad_norm": 45.70423889160156, + "learning_rate": 1.993737373737374e-06, + "loss": 6.392487335205078, + "step": 60525 + }, + { + "epoch": 0.0093, + "grad_norm": 6.2581963539123535, + "learning_rate": 1.9934848484848486e-06, + "loss": 6.355695343017578, + "step": 60530 + }, + { + "epoch": 0.00935, + "grad_norm": 3.0929348468780518, + "learning_rate": 1.9932323232323232e-06, + "loss": 6.25744400024414, + "step": 60535 + }, + { + "epoch": 0.0094, + "grad_norm": 7.831854343414307, + "learning_rate": 1.9929797979797983e-06, + "loss": 6.222169494628906, + "step": 60540 + }, + { + "epoch": 0.00945, + "grad_norm": 5.140584468841553, + "learning_rate": 1.992727272727273e-06, + "loss": 6.266685485839844, + "step": 60545 + }, + { + "epoch": 0.0095, + "grad_norm": 5.776650905609131, + "learning_rate": 1.9924747474747475e-06, + "loss": 6.232190704345703, + "step": 60550 + }, + { + "epoch": 0.00955, + "grad_norm": 6.661998748779297, + "learning_rate": 1.992222222222222e-06, + "loss": 6.0201061248779295, + "step": 60555 + }, + { + "epoch": 0.0096, + "grad_norm": 8.122564315795898, + "learning_rate": 1.9919696969696972e-06, + "loss": 6.2887725830078125, + "step": 60560 + }, + { + "epoch": 0.00965, + "grad_norm": 11.944304466247559, + "learning_rate": 1.991717171717172e-06, + "loss": 6.307456207275391, + "step": 60565 + }, + { + "epoch": 0.0097, + "grad_norm": 10.974482536315918, + "learning_rate": 1.991464646464647e-06, + "loss": 6.268170928955078, + "step": 60570 + }, + { + "epoch": 0.00975, + "grad_norm": 12.80008602142334, + "learning_rate": 1.9912121212121215e-06, + "loss": 6.320352935791016, + "step": 60575 + }, + { + "epoch": 0.0098, + "grad_norm": 10.840353965759277, + "learning_rate": 1.990959595959596e-06, + "loss": 6.218272018432617, + "step": 60580 + }, + { + "epoch": 0.00985, + "grad_norm": 7.079646110534668, + "learning_rate": 1.9907070707070708e-06, + "loss": 6.2582744598388675, + "step": 60585 + }, + { + "epoch": 0.0099, + "grad_norm": 6.2472124099731445, + "learning_rate": 1.990454545454546e-06, + "loss": 6.276491928100586, + "step": 60590 + }, + { + "epoch": 0.00995, + "grad_norm": 4.6305365562438965, + "learning_rate": 1.9902020202020205e-06, + "loss": 6.297570037841797, + "step": 60595 + }, + { + "epoch": 0.01, + "grad_norm": 7.899741172790527, + "learning_rate": 1.989949494949495e-06, + "loss": 6.255580139160156, + "step": 60600 + }, + { + "epoch": 0.01005, + "grad_norm": 11.585744857788086, + "learning_rate": 1.9896969696969697e-06, + "loss": 6.269823455810547, + "step": 60605 + }, + { + "epoch": 0.0101, + "grad_norm": 8.503395080566406, + "learning_rate": 1.9894444444444448e-06, + "loss": 6.229752731323242, + "step": 60610 + }, + { + "epoch": 0.01015, + "grad_norm": 10.491551399230957, + "learning_rate": 1.9891919191919194e-06, + "loss": 6.226107788085938, + "step": 60615 + }, + { + "epoch": 0.0102, + "grad_norm": 4.6829833984375, + "learning_rate": 1.988939393939394e-06, + "loss": 6.230603790283203, + "step": 60620 + }, + { + "epoch": 0.01025, + "grad_norm": 6.6746320724487305, + "learning_rate": 1.9886868686868687e-06, + "loss": 6.268526458740235, + "step": 60625 + }, + { + "epoch": 0.0103, + "grad_norm": 5.729833126068115, + "learning_rate": 1.9884343434343437e-06, + "loss": 6.224689483642578, + "step": 60630 + }, + { + "epoch": 0.01035, + "grad_norm": 9.361841201782227, + "learning_rate": 1.9881818181818184e-06, + "loss": 6.19384994506836, + "step": 60635 + }, + { + "epoch": 0.0104, + "grad_norm": 6.529880523681641, + "learning_rate": 1.987929292929293e-06, + "loss": 6.556993103027343, + "step": 60640 + }, + { + "epoch": 0.01045, + "grad_norm": 7.6001973152160645, + "learning_rate": 1.9876767676767676e-06, + "loss": 6.283411026000977, + "step": 60645 + }, + { + "epoch": 0.0105, + "grad_norm": 6.009276390075684, + "learning_rate": 1.9874242424242427e-06, + "loss": 6.22357177734375, + "step": 60650 + }, + { + "epoch": 0.01055, + "grad_norm": 6.773976802825928, + "learning_rate": 1.9871717171717173e-06, + "loss": 6.256934356689453, + "step": 60655 + }, + { + "epoch": 0.0106, + "grad_norm": 4.642366409301758, + "learning_rate": 1.986919191919192e-06, + "loss": 6.23255615234375, + "step": 60660 + }, + { + "epoch": 0.01065, + "grad_norm": 6.0892014503479, + "learning_rate": 1.9866666666666666e-06, + "loss": 6.278923797607422, + "step": 60665 + }, + { + "epoch": 0.0107, + "grad_norm": 6.796353816986084, + "learning_rate": 1.9864141414141416e-06, + "loss": 6.269960021972656, + "step": 60670 + }, + { + "epoch": 0.01075, + "grad_norm": 8.000864028930664, + "learning_rate": 1.9861616161616162e-06, + "loss": 6.2492225646972654, + "step": 60675 + }, + { + "epoch": 0.0108, + "grad_norm": 8.959948539733887, + "learning_rate": 1.9859090909090913e-06, + "loss": 6.299065399169922, + "step": 60680 + }, + { + "epoch": 0.01085, + "grad_norm": 8.231047630310059, + "learning_rate": 1.985656565656566e-06, + "loss": 6.350974273681641, + "step": 60685 + }, + { + "epoch": 0.0109, + "grad_norm": 3.9421379566192627, + "learning_rate": 1.9854040404040406e-06, + "loss": 6.284710693359375, + "step": 60690 + }, + { + "epoch": 0.01095, + "grad_norm": 7.266407012939453, + "learning_rate": 1.985151515151515e-06, + "loss": 6.264046478271484, + "step": 60695 + }, + { + "epoch": 0.011, + "grad_norm": 4.170773029327393, + "learning_rate": 1.9848989898989902e-06, + "loss": 6.263513565063477, + "step": 60700 + }, + { + "epoch": 0.01105, + "grad_norm": 5.349092483520508, + "learning_rate": 1.984646464646465e-06, + "loss": 6.2103118896484375, + "step": 60705 + }, + { + "epoch": 0.0111, + "grad_norm": 5.523039817810059, + "learning_rate": 1.9843939393939395e-06, + "loss": 6.4494880676269535, + "step": 60710 + }, + { + "epoch": 0.01115, + "grad_norm": 8.66810131072998, + "learning_rate": 1.984141414141414e-06, + "loss": 6.268756484985351, + "step": 60715 + }, + { + "epoch": 0.0112, + "grad_norm": 8.47950267791748, + "learning_rate": 1.983888888888889e-06, + "loss": 6.22501220703125, + "step": 60720 + }, + { + "epoch": 0.01125, + "grad_norm": 5.457543849945068, + "learning_rate": 1.983636363636364e-06, + "loss": 6.204750823974609, + "step": 60725 + }, + { + "epoch": 0.0113, + "grad_norm": 4.667806625366211, + "learning_rate": 1.9833838383838384e-06, + "loss": 6.272332000732422, + "step": 60730 + }, + { + "epoch": 0.01135, + "grad_norm": 5.816122055053711, + "learning_rate": 1.983131313131313e-06, + "loss": 6.313468170166016, + "step": 60735 + }, + { + "epoch": 0.0114, + "grad_norm": 5.834235668182373, + "learning_rate": 1.982878787878788e-06, + "loss": 6.212045288085937, + "step": 60740 + }, + { + "epoch": 0.01145, + "grad_norm": 7.278931140899658, + "learning_rate": 1.9826262626262628e-06, + "loss": 6.240943908691406, + "step": 60745 + }, + { + "epoch": 0.0115, + "grad_norm": 7.393906593322754, + "learning_rate": 1.9823737373737374e-06, + "loss": 6.258908462524414, + "step": 60750 + }, + { + "epoch": 0.01155, + "grad_norm": 7.47499418258667, + "learning_rate": 1.982121212121212e-06, + "loss": 6.202984619140625, + "step": 60755 + }, + { + "epoch": 0.0116, + "grad_norm": 5.429882049560547, + "learning_rate": 1.981868686868687e-06, + "loss": 6.190528869628906, + "step": 60760 + }, + { + "epoch": 0.01165, + "grad_norm": 10.82950210571289, + "learning_rate": 1.9816161616161617e-06, + "loss": 6.340422821044922, + "step": 60765 + }, + { + "epoch": 0.0117, + "grad_norm": 6.817320823669434, + "learning_rate": 1.9813636363636363e-06, + "loss": 6.258853530883789, + "step": 60770 + }, + { + "epoch": 0.01175, + "grad_norm": 5.612744331359863, + "learning_rate": 1.981111111111111e-06, + "loss": 6.226914978027343, + "step": 60775 + }, + { + "epoch": 0.0118, + "grad_norm": 8.702081680297852, + "learning_rate": 1.980858585858586e-06, + "loss": 6.331951141357422, + "step": 60780 + }, + { + "epoch": 0.01185, + "grad_norm": 8.235336303710938, + "learning_rate": 1.9806060606060606e-06, + "loss": 6.283246612548828, + "step": 60785 + }, + { + "epoch": 0.0119, + "grad_norm": 6.59804630279541, + "learning_rate": 1.9803535353535357e-06, + "loss": 6.235300445556641, + "step": 60790 + }, + { + "epoch": 0.01195, + "grad_norm": 9.56743049621582, + "learning_rate": 1.9801010101010103e-06, + "loss": 6.216157531738281, + "step": 60795 + }, + { + "epoch": 0.012, + "grad_norm": 5.223670482635498, + "learning_rate": 1.979848484848485e-06, + "loss": 6.275536727905274, + "step": 60800 + }, + { + "epoch": 0.01205, + "grad_norm": 11.709803581237793, + "learning_rate": 1.9795959595959596e-06, + "loss": 6.273484802246093, + "step": 60805 + }, + { + "epoch": 0.0121, + "grad_norm": 5.715659141540527, + "learning_rate": 1.9793434343434346e-06, + "loss": 6.249721527099609, + "step": 60810 + }, + { + "epoch": 0.01215, + "grad_norm": 4.231480121612549, + "learning_rate": 1.9790909090909093e-06, + "loss": 6.277945327758789, + "step": 60815 + }, + { + "epoch": 0.0122, + "grad_norm": 8.180102348327637, + "learning_rate": 1.978838383838384e-06, + "loss": 6.236728668212891, + "step": 60820 + }, + { + "epoch": 0.01225, + "grad_norm": 5.081385612487793, + "learning_rate": 1.9785858585858585e-06, + "loss": 6.230796432495117, + "step": 60825 + }, + { + "epoch": 0.0123, + "grad_norm": 5.7273430824279785, + "learning_rate": 1.9783333333333336e-06, + "loss": 6.309064102172852, + "step": 60830 + }, + { + "epoch": 0.01235, + "grad_norm": 23.83836555480957, + "learning_rate": 1.9780808080808082e-06, + "loss": 6.239939498901367, + "step": 60835 + }, + { + "epoch": 0.0124, + "grad_norm": 6.262448787689209, + "learning_rate": 1.977828282828283e-06, + "loss": 6.277952194213867, + "step": 60840 + }, + { + "epoch": 0.01245, + "grad_norm": 6.221514701843262, + "learning_rate": 1.977575757575758e-06, + "loss": 6.244728469848633, + "step": 60845 + }, + { + "epoch": 0.0125, + "grad_norm": 6.298793792724609, + "learning_rate": 1.9773232323232325e-06, + "loss": 6.2583152770996096, + "step": 60850 + }, + { + "epoch": 0.01255, + "grad_norm": 7.83601713180542, + "learning_rate": 1.977070707070707e-06, + "loss": 6.282139587402344, + "step": 60855 + }, + { + "epoch": 0.0126, + "grad_norm": 27.3237361907959, + "learning_rate": 1.976818181818182e-06, + "loss": 6.40284423828125, + "step": 60860 + }, + { + "epoch": 0.01265, + "grad_norm": 18.165090560913086, + "learning_rate": 1.976565656565657e-06, + "loss": 6.237545394897461, + "step": 60865 + }, + { + "epoch": 0.0127, + "grad_norm": 5.933725357055664, + "learning_rate": 1.9763131313131315e-06, + "loss": 6.274195861816406, + "step": 60870 + }, + { + "epoch": 0.01275, + "grad_norm": 17.821800231933594, + "learning_rate": 1.9760606060606065e-06, + "loss": 6.346512985229492, + "step": 60875 + }, + { + "epoch": 0.0128, + "grad_norm": 3.730544090270996, + "learning_rate": 1.975808080808081e-06, + "loss": 6.273693084716797, + "step": 60880 + }, + { + "epoch": 0.01285, + "grad_norm": 13.370499610900879, + "learning_rate": 1.975555555555556e-06, + "loss": 6.332862854003906, + "step": 60885 + }, + { + "epoch": 0.0129, + "grad_norm": 3.9764621257781982, + "learning_rate": 1.9753030303030304e-06, + "loss": 6.2769218444824215, + "step": 60890 + }, + { + "epoch": 0.01295, + "grad_norm": 10.856285095214844, + "learning_rate": 1.9750505050505055e-06, + "loss": 6.279421997070313, + "step": 60895 + }, + { + "epoch": 0.013, + "grad_norm": 8.861839294433594, + "learning_rate": 1.97479797979798e-06, + "loss": 6.118195343017578, + "step": 60900 + }, + { + "epoch": 0.01305, + "grad_norm": 8.741432189941406, + "learning_rate": 1.9745454545454547e-06, + "loss": 6.212464904785156, + "step": 60905 + }, + { + "epoch": 0.0131, + "grad_norm": 10.367667198181152, + "learning_rate": 1.9742929292929294e-06, + "loss": 6.213652038574219, + "step": 60910 + }, + { + "epoch": 0.01315, + "grad_norm": 9.280802726745605, + "learning_rate": 1.9740404040404044e-06, + "loss": 6.267676544189453, + "step": 60915 + }, + { + "epoch": 0.0132, + "grad_norm": 6.423469066619873, + "learning_rate": 1.973787878787879e-06, + "loss": 6.259995651245117, + "step": 60920 + }, + { + "epoch": 0.01325, + "grad_norm": 6.7366180419921875, + "learning_rate": 1.9735353535353537e-06, + "loss": 7.04517822265625, + "step": 60925 + }, + { + "epoch": 0.0133, + "grad_norm": 22.47977066040039, + "learning_rate": 1.9732828282828283e-06, + "loss": 6.3927349090576175, + "step": 60930 + }, + { + "epoch": 0.01335, + "grad_norm": 8.344408988952637, + "learning_rate": 1.9730303030303034e-06, + "loss": 6.288350296020508, + "step": 60935 + }, + { + "epoch": 0.0134, + "grad_norm": 10.705971717834473, + "learning_rate": 1.972777777777778e-06, + "loss": 6.211843872070313, + "step": 60940 + }, + { + "epoch": 0.01345, + "grad_norm": 5.872666358947754, + "learning_rate": 1.9725252525252526e-06, + "loss": 6.271096038818359, + "step": 60945 + }, + { + "epoch": 0.0135, + "grad_norm": 5.434274673461914, + "learning_rate": 1.9722727272727273e-06, + "loss": 6.2392021179199215, + "step": 60950 + }, + { + "epoch": 0.01355, + "grad_norm": 5.090490341186523, + "learning_rate": 1.9720202020202023e-06, + "loss": 6.474132537841797, + "step": 60955 + }, + { + "epoch": 0.0136, + "grad_norm": 7.486021518707275, + "learning_rate": 1.971767676767677e-06, + "loss": 6.243103790283203, + "step": 60960 + }, + { + "epoch": 0.01365, + "grad_norm": 4.96299409866333, + "learning_rate": 1.9715151515151516e-06, + "loss": 6.221944427490234, + "step": 60965 + }, + { + "epoch": 0.0137, + "grad_norm": 5.648576736450195, + "learning_rate": 1.971262626262626e-06, + "loss": 6.304189300537109, + "step": 60970 + }, + { + "epoch": 0.01375, + "grad_norm": 4.215732574462891, + "learning_rate": 1.9710101010101013e-06, + "loss": 6.3655242919921875, + "step": 60975 + }, + { + "epoch": 0.0138, + "grad_norm": 7.619739532470703, + "learning_rate": 1.970757575757576e-06, + "loss": 6.271966552734375, + "step": 60980 + }, + { + "epoch": 0.01385, + "grad_norm": 8.520320892333984, + "learning_rate": 1.970505050505051e-06, + "loss": 6.250365829467773, + "step": 60985 + }, + { + "epoch": 0.0139, + "grad_norm": 6.148305416107178, + "learning_rate": 1.9702525252525256e-06, + "loss": 6.244662094116211, + "step": 60990 + }, + { + "epoch": 0.01395, + "grad_norm": 4.868682384490967, + "learning_rate": 1.97e-06, + "loss": 6.3282421112060545, + "step": 60995 + }, + { + "epoch": 0.014, + "grad_norm": 6.870163917541504, + "learning_rate": 1.969747474747475e-06, + "loss": 6.297433471679687, + "step": 61000 + }, + { + "epoch": 0.01405, + "grad_norm": 4.963321685791016, + "learning_rate": 1.96949494949495e-06, + "loss": 6.239634704589844, + "step": 61005 + }, + { + "epoch": 0.0141, + "grad_norm": 5.765824317932129, + "learning_rate": 1.9692424242424245e-06, + "loss": 6.259420013427734, + "step": 61010 + }, + { + "epoch": 0.01415, + "grad_norm": 9.140663146972656, + "learning_rate": 1.968989898989899e-06, + "loss": 6.230980682373047, + "step": 61015 + }, + { + "epoch": 0.0142, + "grad_norm": 29.48866844177246, + "learning_rate": 1.9687373737373738e-06, + "loss": 6.4918052673339846, + "step": 61020 + }, + { + "epoch": 0.01425, + "grad_norm": 17.52800178527832, + "learning_rate": 1.968484848484849e-06, + "loss": 6.206296920776367, + "step": 61025 + }, + { + "epoch": 0.0143, + "grad_norm": 4.271504878997803, + "learning_rate": 1.9682323232323235e-06, + "loss": 6.385227203369141, + "step": 61030 + }, + { + "epoch": 0.01435, + "grad_norm": 5.432065010070801, + "learning_rate": 1.967979797979798e-06, + "loss": 6.209176254272461, + "step": 61035 + }, + { + "epoch": 0.0144, + "grad_norm": 8.290299415588379, + "learning_rate": 1.9677272727272727e-06, + "loss": 6.303031539916992, + "step": 61040 + }, + { + "epoch": 0.01445, + "grad_norm": 4.586382865905762, + "learning_rate": 1.9674747474747478e-06, + "loss": 6.246053314208984, + "step": 61045 + }, + { + "epoch": 0.0145, + "grad_norm": 7.7480645179748535, + "learning_rate": 1.9672222222222224e-06, + "loss": 6.279686355590821, + "step": 61050 + }, + { + "epoch": 0.01455, + "grad_norm": 5.018340587615967, + "learning_rate": 1.966969696969697e-06, + "loss": 6.269371414184571, + "step": 61055 + }, + { + "epoch": 0.0146, + "grad_norm": 7.234313011169434, + "learning_rate": 1.9667171717171717e-06, + "loss": 6.343376541137696, + "step": 61060 + }, + { + "epoch": 0.01465, + "grad_norm": 7.07390832901001, + "learning_rate": 1.9664646464646467e-06, + "loss": 6.252316284179687, + "step": 61065 + }, + { + "epoch": 0.0147, + "grad_norm": 6.568362236022949, + "learning_rate": 1.9662121212121213e-06, + "loss": 6.241109466552734, + "step": 61070 + }, + { + "epoch": 0.01475, + "grad_norm": 6.508078098297119, + "learning_rate": 1.965959595959596e-06, + "loss": 6.238957214355469, + "step": 61075 + }, + { + "epoch": 0.0148, + "grad_norm": 6.145944118499756, + "learning_rate": 1.9657070707070706e-06, + "loss": 6.258496475219727, + "step": 61080 + }, + { + "epoch": 0.01485, + "grad_norm": 7.486818313598633, + "learning_rate": 1.9654545454545457e-06, + "loss": 6.2622119903564455, + "step": 61085 + }, + { + "epoch": 0.0149, + "grad_norm": 20.24607276916504, + "learning_rate": 1.9652020202020203e-06, + "loss": 6.274840545654297, + "step": 61090 + }, + { + "epoch": 0.01495, + "grad_norm": 7.916991710662842, + "learning_rate": 1.9649494949494953e-06, + "loss": 6.277845001220703, + "step": 61095 + }, + { + "epoch": 0.015, + "grad_norm": 6.320483684539795, + "learning_rate": 1.96469696969697e-06, + "loss": 6.196188354492188, + "step": 61100 + }, + { + "epoch": 0.01505, + "grad_norm": 8.552095413208008, + "learning_rate": 1.9644444444444446e-06, + "loss": 6.24039306640625, + "step": 61105 + }, + { + "epoch": 0.0151, + "grad_norm": 5.940351963043213, + "learning_rate": 1.9641919191919192e-06, + "loss": 6.195687484741211, + "step": 61110 + }, + { + "epoch": 0.01515, + "grad_norm": 4.1484270095825195, + "learning_rate": 1.9639393939393943e-06, + "loss": 6.259931945800782, + "step": 61115 + }, + { + "epoch": 0.0152, + "grad_norm": 8.740252494812012, + "learning_rate": 1.963686868686869e-06, + "loss": 6.240729904174804, + "step": 61120 + }, + { + "epoch": 0.01525, + "grad_norm": 18.98682975769043, + "learning_rate": 1.9634343434343435e-06, + "loss": 6.606785583496094, + "step": 61125 + }, + { + "epoch": 0.0153, + "grad_norm": 12.902613639831543, + "learning_rate": 1.963181818181818e-06, + "loss": 6.462968444824218, + "step": 61130 + }, + { + "epoch": 0.01535, + "grad_norm": 7.9222493171691895, + "learning_rate": 1.9629292929292932e-06, + "loss": 6.277954864501953, + "step": 61135 + }, + { + "epoch": 0.0154, + "grad_norm": 10.02670669555664, + "learning_rate": 1.962676767676768e-06, + "loss": 6.2491096496582035, + "step": 61140 + }, + { + "epoch": 0.01545, + "grad_norm": 3.3952555656433105, + "learning_rate": 1.9624242424242425e-06, + "loss": 6.2495983123779295, + "step": 61145 + }, + { + "epoch": 0.0155, + "grad_norm": 6.913630485534668, + "learning_rate": 1.962171717171717e-06, + "loss": 6.200589752197265, + "step": 61150 + }, + { + "epoch": 0.01555, + "grad_norm": 6.814145088195801, + "learning_rate": 1.961919191919192e-06, + "loss": 6.249624252319336, + "step": 61155 + }, + { + "epoch": 0.0156, + "grad_norm": 3.7733800411224365, + "learning_rate": 1.961666666666667e-06, + "loss": 6.282230377197266, + "step": 61160 + }, + { + "epoch": 0.01565, + "grad_norm": 6.1585259437561035, + "learning_rate": 1.9614141414141414e-06, + "loss": 6.226895141601562, + "step": 61165 + }, + { + "epoch": 0.0157, + "grad_norm": 5.8989949226379395, + "learning_rate": 1.961161616161616e-06, + "loss": 6.266678237915039, + "step": 61170 + }, + { + "epoch": 0.01575, + "grad_norm": 8.671382904052734, + "learning_rate": 1.960909090909091e-06, + "loss": 6.250029373168945, + "step": 61175 + }, + { + "epoch": 0.0158, + "grad_norm": 8.636626243591309, + "learning_rate": 1.9606565656565657e-06, + "loss": 6.351825714111328, + "step": 61180 + }, + { + "epoch": 0.01585, + "grad_norm": 12.288698196411133, + "learning_rate": 1.9604040404040404e-06, + "loss": 6.231764602661133, + "step": 61185 + }, + { + "epoch": 0.0159, + "grad_norm": 9.077890396118164, + "learning_rate": 1.960151515151515e-06, + "loss": 6.2196098327636715, + "step": 61190 + }, + { + "epoch": 0.01595, + "grad_norm": 15.452398300170898, + "learning_rate": 1.95989898989899e-06, + "loss": 6.2748157501220705, + "step": 61195 + }, + { + "epoch": 0.016, + "grad_norm": 5.283596515655518, + "learning_rate": 1.9596464646464647e-06, + "loss": 6.2949989318847654, + "step": 61200 + }, + { + "epoch": 0.01605, + "grad_norm": 9.215930938720703, + "learning_rate": 1.9593939393939397e-06, + "loss": 6.17376708984375, + "step": 61205 + }, + { + "epoch": 0.0161, + "grad_norm": 7.631320953369141, + "learning_rate": 1.9591414141414144e-06, + "loss": 6.206688308715821, + "step": 61210 + }, + { + "epoch": 0.01615, + "grad_norm": 4.491982936859131, + "learning_rate": 1.958888888888889e-06, + "loss": 6.205833816528321, + "step": 61215 + }, + { + "epoch": 0.0162, + "grad_norm": 9.624600410461426, + "learning_rate": 1.9586363636363636e-06, + "loss": 6.339756774902344, + "step": 61220 + }, + { + "epoch": 0.01625, + "grad_norm": 7.85897159576416, + "learning_rate": 1.9583838383838387e-06, + "loss": 6.315199661254883, + "step": 61225 + }, + { + "epoch": 0.0163, + "grad_norm": 5.664154529571533, + "learning_rate": 1.9581313131313133e-06, + "loss": 6.298531723022461, + "step": 61230 + }, + { + "epoch": 0.01635, + "grad_norm": 4.653364658355713, + "learning_rate": 1.957878787878788e-06, + "loss": 6.28577880859375, + "step": 61235 + }, + { + "epoch": 0.0164, + "grad_norm": 6.0546956062316895, + "learning_rate": 1.9576262626262626e-06, + "loss": 6.291125869750976, + "step": 61240 + }, + { + "epoch": 0.01645, + "grad_norm": 6.361539363861084, + "learning_rate": 1.9573737373737376e-06, + "loss": 6.23552360534668, + "step": 61245 + }, + { + "epoch": 0.0165, + "grad_norm": 9.9686861038208, + "learning_rate": 1.9571212121212123e-06, + "loss": 6.242179870605469, + "step": 61250 + }, + { + "epoch": 0.01655, + "grad_norm": 4.378689765930176, + "learning_rate": 1.956868686868687e-06, + "loss": 6.21802978515625, + "step": 61255 + }, + { + "epoch": 0.0166, + "grad_norm": 7.030879974365234, + "learning_rate": 1.956616161616162e-06, + "loss": 6.2537086486816404, + "step": 61260 + }, + { + "epoch": 0.01665, + "grad_norm": 12.64846134185791, + "learning_rate": 1.9563636363636366e-06, + "loss": 6.298160171508789, + "step": 61265 + }, + { + "epoch": 0.0167, + "grad_norm": 6.216583251953125, + "learning_rate": 1.956111111111111e-06, + "loss": 6.2561698913574215, + "step": 61270 + }, + { + "epoch": 0.01675, + "grad_norm": 5.1598687171936035, + "learning_rate": 1.955858585858586e-06, + "loss": 6.277424240112305, + "step": 61275 + }, + { + "epoch": 0.0168, + "grad_norm": 7.809713363647461, + "learning_rate": 1.955606060606061e-06, + "loss": 6.354208374023438, + "step": 61280 + }, + { + "epoch": 0.01685, + "grad_norm": 5.174133777618408, + "learning_rate": 1.9553535353535355e-06, + "loss": 6.214371871948242, + "step": 61285 + }, + { + "epoch": 0.0169, + "grad_norm": 3.9287097454071045, + "learning_rate": 1.9551010101010106e-06, + "loss": 6.266456985473633, + "step": 61290 + }, + { + "epoch": 0.01695, + "grad_norm": 7.26790714263916, + "learning_rate": 1.954848484848485e-06, + "loss": 6.2532798767089846, + "step": 61295 + }, + { + "epoch": 0.017, + "grad_norm": 7.2275285720825195, + "learning_rate": 1.95459595959596e-06, + "loss": 6.2603607177734375, + "step": 61300 + }, + { + "epoch": 0.01705, + "grad_norm": 3.835983991622925, + "learning_rate": 1.9543434343434345e-06, + "loss": 6.249977493286133, + "step": 61305 + }, + { + "epoch": 0.0171, + "grad_norm": 4.869104862213135, + "learning_rate": 1.9540909090909095e-06, + "loss": 6.226443481445313, + "step": 61310 + }, + { + "epoch": 0.01715, + "grad_norm": 6.6758503913879395, + "learning_rate": 1.953838383838384e-06, + "loss": 6.227153015136719, + "step": 61315 + }, + { + "epoch": 0.0172, + "grad_norm": 4.540431022644043, + "learning_rate": 1.9535858585858588e-06, + "loss": 6.252095031738281, + "step": 61320 + }, + { + "epoch": 0.01725, + "grad_norm": 4.527101039886475, + "learning_rate": 1.9533333333333334e-06, + "loss": 6.236965942382812, + "step": 61325 + }, + { + "epoch": 0.0173, + "grad_norm": 7.01650333404541, + "learning_rate": 1.9530808080808085e-06, + "loss": 6.2501380920410154, + "step": 61330 + }, + { + "epoch": 0.01735, + "grad_norm": 4.949934959411621, + "learning_rate": 1.952828282828283e-06, + "loss": 6.223410797119141, + "step": 61335 + }, + { + "epoch": 0.0174, + "grad_norm": 6.10227632522583, + "learning_rate": 1.9525757575757577e-06, + "loss": 6.129615783691406, + "step": 61340 + }, + { + "epoch": 0.01745, + "grad_norm": 5.5046210289001465, + "learning_rate": 1.9523232323232324e-06, + "loss": 6.286882400512695, + "step": 61345 + }, + { + "epoch": 0.0175, + "grad_norm": 5.89518404006958, + "learning_rate": 1.9520707070707074e-06, + "loss": 6.292240905761719, + "step": 61350 + }, + { + "epoch": 0.01755, + "grad_norm": 7.987174034118652, + "learning_rate": 1.951818181818182e-06, + "loss": 6.239162445068359, + "step": 61355 + }, + { + "epoch": 0.0176, + "grad_norm": 6.682633399963379, + "learning_rate": 1.9515656565656567e-06, + "loss": 6.278237533569336, + "step": 61360 + }, + { + "epoch": 0.01765, + "grad_norm": 5.755557060241699, + "learning_rate": 1.9513131313131313e-06, + "loss": 6.2776939392089846, + "step": 61365 + }, + { + "epoch": 0.0177, + "grad_norm": 6.745285987854004, + "learning_rate": 1.9510606060606063e-06, + "loss": 6.228536224365234, + "step": 61370 + }, + { + "epoch": 0.01775, + "grad_norm": 5.551852703094482, + "learning_rate": 1.950808080808081e-06, + "loss": 6.249359512329102, + "step": 61375 + }, + { + "epoch": 0.0178, + "grad_norm": 9.563072204589844, + "learning_rate": 1.9505555555555556e-06, + "loss": 6.31646957397461, + "step": 61380 + }, + { + "epoch": 0.01785, + "grad_norm": 3.599745750427246, + "learning_rate": 1.9503030303030302e-06, + "loss": 6.248042297363281, + "step": 61385 + }, + { + "epoch": 0.0179, + "grad_norm": 3.1189823150634766, + "learning_rate": 1.9500505050505053e-06, + "loss": 6.242288208007812, + "step": 61390 + }, + { + "epoch": 0.01795, + "grad_norm": 6.692440032958984, + "learning_rate": 1.94979797979798e-06, + "loss": 6.266823577880859, + "step": 61395 + }, + { + "epoch": 0.018, + "grad_norm": 4.841796875, + "learning_rate": 1.949545454545455e-06, + "loss": 6.245434188842774, + "step": 61400 + }, + { + "epoch": 0.01805, + "grad_norm": 5.50950813293457, + "learning_rate": 1.9492929292929296e-06, + "loss": 6.279673004150391, + "step": 61405 + }, + { + "epoch": 0.0181, + "grad_norm": 5.189558506011963, + "learning_rate": 1.9490404040404042e-06, + "loss": 6.215266418457031, + "step": 61410 + }, + { + "epoch": 0.01815, + "grad_norm": 42.00397872924805, + "learning_rate": 1.948787878787879e-06, + "loss": 6.1592857360839846, + "step": 61415 + }, + { + "epoch": 0.0182, + "grad_norm": 22.234539031982422, + "learning_rate": 1.948535353535354e-06, + "loss": 6.311231231689453, + "step": 61420 + }, + { + "epoch": 0.01825, + "grad_norm": 3.9721574783325195, + "learning_rate": 1.9482828282828286e-06, + "loss": 6.302267837524414, + "step": 61425 + }, + { + "epoch": 0.0183, + "grad_norm": 5.625781536102295, + "learning_rate": 1.948030303030303e-06, + "loss": 6.249305725097656, + "step": 61430 + }, + { + "epoch": 0.01835, + "grad_norm": 6.223180770874023, + "learning_rate": 1.947777777777778e-06, + "loss": 6.282767105102539, + "step": 61435 + }, + { + "epoch": 0.0184, + "grad_norm": 4.846621513366699, + "learning_rate": 1.947525252525253e-06, + "loss": 6.293905258178711, + "step": 61440 + }, + { + "epoch": 0.01845, + "grad_norm": 5.970860004425049, + "learning_rate": 1.9472727272727275e-06, + "loss": 6.286924743652344, + "step": 61445 + }, + { + "epoch": 0.0185, + "grad_norm": 4.048754692077637, + "learning_rate": 1.947020202020202e-06, + "loss": 6.2968284606933596, + "step": 61450 + }, + { + "epoch": 0.01855, + "grad_norm": 7.790341854095459, + "learning_rate": 1.9467676767676768e-06, + "loss": 6.321151351928711, + "step": 61455 + }, + { + "epoch": 0.0186, + "grad_norm": 3.7478649616241455, + "learning_rate": 1.946515151515152e-06, + "loss": 6.294407653808594, + "step": 61460 + }, + { + "epoch": 0.01865, + "grad_norm": 8.140721321105957, + "learning_rate": 1.9462626262626264e-06, + "loss": 6.205355072021485, + "step": 61465 + }, + { + "epoch": 0.0187, + "grad_norm": 24.883724212646484, + "learning_rate": 1.946010101010101e-06, + "loss": 6.281058883666992, + "step": 61470 + }, + { + "epoch": 0.01875, + "grad_norm": 6.2435126304626465, + "learning_rate": 1.9457575757575757e-06, + "loss": 6.257168197631836, + "step": 61475 + }, + { + "epoch": 0.0188, + "grad_norm": 3.840346097946167, + "learning_rate": 1.9455050505050508e-06, + "loss": 6.28880729675293, + "step": 61480 + }, + { + "epoch": 0.01885, + "grad_norm": 6.704296112060547, + "learning_rate": 1.9452525252525254e-06, + "loss": 6.2451332092285154, + "step": 61485 + }, + { + "epoch": 0.0189, + "grad_norm": 8.649197578430176, + "learning_rate": 1.945e-06, + "loss": 6.262692260742187, + "step": 61490 + }, + { + "epoch": 0.01895, + "grad_norm": 5.336084842681885, + "learning_rate": 1.9447474747474746e-06, + "loss": 6.256069183349609, + "step": 61495 + }, + { + "epoch": 0.019, + "grad_norm": 5.044567108154297, + "learning_rate": 1.9444949494949497e-06, + "loss": 6.313071441650391, + "step": 61500 + }, + { + "epoch": 0.01905, + "grad_norm": 3.126112699508667, + "learning_rate": 1.9442424242424243e-06, + "loss": 6.301910781860352, + "step": 61505 + }, + { + "epoch": 0.0191, + "grad_norm": 6.032655715942383, + "learning_rate": 1.9439898989898994e-06, + "loss": 6.250076675415039, + "step": 61510 + }, + { + "epoch": 0.01915, + "grad_norm": 14.7001314163208, + "learning_rate": 1.943737373737374e-06, + "loss": 6.245975494384766, + "step": 61515 + }, + { + "epoch": 0.0192, + "grad_norm": 5.747743606567383, + "learning_rate": 1.9434848484848486e-06, + "loss": 6.327332305908203, + "step": 61520 + }, + { + "epoch": 0.01925, + "grad_norm": 11.085129737854004, + "learning_rate": 1.9432323232323233e-06, + "loss": 6.2676513671875, + "step": 61525 + }, + { + "epoch": 0.0193, + "grad_norm": 7.937230110168457, + "learning_rate": 1.9429797979797983e-06, + "loss": 6.233176040649414, + "step": 61530 + }, + { + "epoch": 0.01935, + "grad_norm": 8.465858459472656, + "learning_rate": 1.942727272727273e-06, + "loss": 6.256004333496094, + "step": 61535 + }, + { + "epoch": 0.0194, + "grad_norm": 4.647256851196289, + "learning_rate": 1.9424747474747476e-06, + "loss": 6.235884094238282, + "step": 61540 + }, + { + "epoch": 0.01945, + "grad_norm": 10.896171569824219, + "learning_rate": 1.9422222222222222e-06, + "loss": 6.370201492309571, + "step": 61545 + }, + { + "epoch": 0.0195, + "grad_norm": 24.029809951782227, + "learning_rate": 1.9419696969696973e-06, + "loss": 6.283937072753906, + "step": 61550 + }, + { + "epoch": 0.01955, + "grad_norm": 5.491039276123047, + "learning_rate": 1.941717171717172e-06, + "loss": 6.304247283935547, + "step": 61555 + }, + { + "epoch": 0.0196, + "grad_norm": 8.935555458068848, + "learning_rate": 1.9414646464646465e-06, + "loss": 6.209046173095703, + "step": 61560 + }, + { + "epoch": 0.01965, + "grad_norm": 4.10166597366333, + "learning_rate": 1.941212121212121e-06, + "loss": 6.227637863159179, + "step": 61565 + }, + { + "epoch": 0.0197, + "grad_norm": 4.717437267303467, + "learning_rate": 1.9409595959595962e-06, + "loss": 6.253296661376953, + "step": 61570 + }, + { + "epoch": 0.01975, + "grad_norm": 4.183695316314697, + "learning_rate": 1.940707070707071e-06, + "loss": 6.2250110626220705, + "step": 61575 + }, + { + "epoch": 0.0198, + "grad_norm": 6.231771469116211, + "learning_rate": 1.9404545454545455e-06, + "loss": 6.271195602416992, + "step": 61580 + }, + { + "epoch": 0.01985, + "grad_norm": 8.122112274169922, + "learning_rate": 1.94020202020202e-06, + "loss": 6.250812149047851, + "step": 61585 + }, + { + "epoch": 0.0199, + "grad_norm": 9.013800621032715, + "learning_rate": 1.939949494949495e-06, + "loss": 6.282105255126953, + "step": 61590 + }, + { + "epoch": 0.01995, + "grad_norm": 8.199732780456543, + "learning_rate": 1.9396969696969698e-06, + "loss": 6.286434173583984, + "step": 61595 + }, + { + "epoch": 0.02, + "grad_norm": 5.709147930145264, + "learning_rate": 1.939444444444445e-06, + "loss": 6.214973068237304, + "step": 61600 + }, + { + "epoch": 0.02005, + "grad_norm": 6.143204689025879, + "learning_rate": 1.939191919191919e-06, + "loss": 6.274457931518555, + "step": 61605 + }, + { + "epoch": 0.0201, + "grad_norm": 5.981971263885498, + "learning_rate": 1.938939393939394e-06, + "loss": 6.22220458984375, + "step": 61610 + }, + { + "epoch": 0.02015, + "grad_norm": 4.69464635848999, + "learning_rate": 1.9386868686868687e-06, + "loss": 6.217979812622071, + "step": 61615 + }, + { + "epoch": 0.0202, + "grad_norm": 3.884500503540039, + "learning_rate": 1.9384343434343438e-06, + "loss": 6.194882202148437, + "step": 61620 + }, + { + "epoch": 0.02025, + "grad_norm": 6.779564380645752, + "learning_rate": 1.9381818181818184e-06, + "loss": 6.2675025939941404, + "step": 61625 + }, + { + "epoch": 0.0203, + "grad_norm": 9.418289184570312, + "learning_rate": 1.937929292929293e-06, + "loss": 6.2377464294433596, + "step": 61630 + }, + { + "epoch": 0.02035, + "grad_norm": 11.848189353942871, + "learning_rate": 1.9376767676767677e-06, + "loss": 6.436459350585937, + "step": 61635 + }, + { + "epoch": 0.0204, + "grad_norm": 6.030075550079346, + "learning_rate": 1.9374242424242427e-06, + "loss": 6.286392593383789, + "step": 61640 + }, + { + "epoch": 0.02045, + "grad_norm": 6.008823394775391, + "learning_rate": 1.9371717171717174e-06, + "loss": 6.292548751831054, + "step": 61645 + }, + { + "epoch": 0.0205, + "grad_norm": 5.7092509269714355, + "learning_rate": 1.936919191919192e-06, + "loss": 6.198352432250976, + "step": 61650 + }, + { + "epoch": 0.02055, + "grad_norm": 6.07267951965332, + "learning_rate": 1.9366666666666666e-06, + "loss": 6.279766845703125, + "step": 61655 + }, + { + "epoch": 0.0206, + "grad_norm": 5.346611976623535, + "learning_rate": 1.9364141414141417e-06, + "loss": 6.198014831542968, + "step": 61660 + }, + { + "epoch": 0.02065, + "grad_norm": 6.156179428100586, + "learning_rate": 1.9361616161616163e-06, + "loss": 6.219424438476563, + "step": 61665 + }, + { + "epoch": 0.0207, + "grad_norm": 7.8975982666015625, + "learning_rate": 1.935909090909091e-06, + "loss": 6.238116836547851, + "step": 61670 + }, + { + "epoch": 0.02075, + "grad_norm": 3.1565701961517334, + "learning_rate": 1.9356565656565656e-06, + "loss": 6.22462272644043, + "step": 61675 + }, + { + "epoch": 0.0208, + "grad_norm": 6.538504123687744, + "learning_rate": 1.9354040404040406e-06, + "loss": 6.307218170166015, + "step": 61680 + }, + { + "epoch": 0.02085, + "grad_norm": 4.47265625, + "learning_rate": 1.9351515151515152e-06, + "loss": 6.242021942138672, + "step": 61685 + }, + { + "epoch": 0.0209, + "grad_norm": 6.992912292480469, + "learning_rate": 1.93489898989899e-06, + "loss": 6.218651962280274, + "step": 61690 + }, + { + "epoch": 0.02095, + "grad_norm": 3.7009317874908447, + "learning_rate": 1.934646464646465e-06, + "loss": 6.3001960754394535, + "step": 61695 + }, + { + "epoch": 0.021, + "grad_norm": 6.0685343742370605, + "learning_rate": 1.9343939393939396e-06, + "loss": 6.245230484008789, + "step": 61700 + }, + { + "epoch": 0.02105, + "grad_norm": 5.606391429901123, + "learning_rate": 1.9341414141414146e-06, + "loss": 6.2077678680419925, + "step": 61705 + }, + { + "epoch": 0.0211, + "grad_norm": 8.75272274017334, + "learning_rate": 1.9338888888888892e-06, + "loss": 6.263013076782227, + "step": 61710 + }, + { + "epoch": 0.02115, + "grad_norm": 5.203914165496826, + "learning_rate": 1.933636363636364e-06, + "loss": 6.251709365844727, + "step": 61715 + }, + { + "epoch": 0.0212, + "grad_norm": 6.909201145172119, + "learning_rate": 1.9333838383838385e-06, + "loss": 6.2318061828613285, + "step": 61720 + }, + { + "epoch": 0.02125, + "grad_norm": 21.401166915893555, + "learning_rate": 1.9331313131313136e-06, + "loss": 6.20640983581543, + "step": 61725 + }, + { + "epoch": 0.0213, + "grad_norm": 8.283108711242676, + "learning_rate": 1.932878787878788e-06, + "loss": 6.262865829467773, + "step": 61730 + }, + { + "epoch": 0.02135, + "grad_norm": 8.976180076599121, + "learning_rate": 1.932626262626263e-06, + "loss": 6.19238510131836, + "step": 61735 + }, + { + "epoch": 0.0214, + "grad_norm": 5.278120040893555, + "learning_rate": 1.9323737373737374e-06, + "loss": 6.388739776611328, + "step": 61740 + }, + { + "epoch": 0.02145, + "grad_norm": 9.951393127441406, + "learning_rate": 1.9321212121212125e-06, + "loss": 6.289361572265625, + "step": 61745 + }, + { + "epoch": 0.0215, + "grad_norm": 6.602175712585449, + "learning_rate": 1.931868686868687e-06, + "loss": 6.238614654541015, + "step": 61750 + }, + { + "epoch": 0.02155, + "grad_norm": 6.3720784187316895, + "learning_rate": 1.9316161616161618e-06, + "loss": 6.279434585571289, + "step": 61755 + }, + { + "epoch": 0.0216, + "grad_norm": 4.6925482749938965, + "learning_rate": 1.9313636363636364e-06, + "loss": 6.260642242431641, + "step": 61760 + }, + { + "epoch": 0.02165, + "grad_norm": 5.205041408538818, + "learning_rate": 1.9311111111111114e-06, + "loss": 6.261301422119141, + "step": 61765 + }, + { + "epoch": 0.0217, + "grad_norm": 4.751651763916016, + "learning_rate": 1.930858585858586e-06, + "loss": 6.291161346435547, + "step": 61770 + }, + { + "epoch": 0.02175, + "grad_norm": 6.124937534332275, + "learning_rate": 1.9306060606060607e-06, + "loss": 6.288378524780273, + "step": 61775 + }, + { + "epoch": 0.0218, + "grad_norm": 9.878928184509277, + "learning_rate": 1.9303535353535353e-06, + "loss": 6.21301498413086, + "step": 61780 + }, + { + "epoch": 0.02185, + "grad_norm": 6.701279640197754, + "learning_rate": 1.9301010101010104e-06, + "loss": 6.218178176879883, + "step": 61785 + }, + { + "epoch": 0.0219, + "grad_norm": 6.244784355163574, + "learning_rate": 1.929848484848485e-06, + "loss": 6.279876708984375, + "step": 61790 + }, + { + "epoch": 0.02195, + "grad_norm": 6.256587028503418, + "learning_rate": 1.9295959595959596e-06, + "loss": 6.267554092407226, + "step": 61795 + }, + { + "epoch": 0.022, + "grad_norm": 6.190325736999512, + "learning_rate": 1.9293434343434343e-06, + "loss": 6.254549026489258, + "step": 61800 + }, + { + "epoch": 0.02205, + "grad_norm": 10.282642364501953, + "learning_rate": 1.9290909090909093e-06, + "loss": 6.226092910766601, + "step": 61805 + }, + { + "epoch": 0.0221, + "grad_norm": 14.925570487976074, + "learning_rate": 1.928838383838384e-06, + "loss": 6.397134399414062, + "step": 61810 + }, + { + "epoch": 0.02215, + "grad_norm": 6.977142810821533, + "learning_rate": 1.928585858585859e-06, + "loss": 6.220896911621094, + "step": 61815 + }, + { + "epoch": 0.0222, + "grad_norm": 4.9232869148254395, + "learning_rate": 1.9283333333333336e-06, + "loss": 6.319570159912109, + "step": 61820 + }, + { + "epoch": 0.02225, + "grad_norm": 3.727400064468384, + "learning_rate": 1.9280808080808083e-06, + "loss": 6.319313812255859, + "step": 61825 + }, + { + "epoch": 0.0223, + "grad_norm": 17.58816146850586, + "learning_rate": 1.927828282828283e-06, + "loss": 6.4946449279785154, + "step": 61830 + }, + { + "epoch": 0.02235, + "grad_norm": 10.620623588562012, + "learning_rate": 1.927575757575758e-06, + "loss": 6.3991554260253904, + "step": 61835 + }, + { + "epoch": 0.0224, + "grad_norm": 5.123876094818115, + "learning_rate": 1.9273232323232326e-06, + "loss": 6.226839828491211, + "step": 61840 + }, + { + "epoch": 0.02245, + "grad_norm": 5.374415874481201, + "learning_rate": 1.9270707070707072e-06, + "loss": 6.266827774047852, + "step": 61845 + }, + { + "epoch": 0.0225, + "grad_norm": 5.971323013305664, + "learning_rate": 1.926818181818182e-06, + "loss": 6.286631393432617, + "step": 61850 + }, + { + "epoch": 0.02255, + "grad_norm": 5.941018581390381, + "learning_rate": 1.926565656565657e-06, + "loss": 6.2928119659423825, + "step": 61855 + }, + { + "epoch": 0.0226, + "grad_norm": 6.759298801422119, + "learning_rate": 1.9263131313131315e-06, + "loss": 6.250281524658203, + "step": 61860 + }, + { + "epoch": 0.02265, + "grad_norm": 7.127414226531982, + "learning_rate": 1.926060606060606e-06, + "loss": 6.233768081665039, + "step": 61865 + }, + { + "epoch": 0.0227, + "grad_norm": 4.722720623016357, + "learning_rate": 1.925808080808081e-06, + "loss": 6.2406166076660154, + "step": 61870 + }, + { + "epoch": 0.02275, + "grad_norm": 8.772945404052734, + "learning_rate": 1.925555555555556e-06, + "loss": 6.26063232421875, + "step": 61875 + }, + { + "epoch": 0.0228, + "grad_norm": 7.427657604217529, + "learning_rate": 1.9253030303030305e-06, + "loss": 6.236722564697265, + "step": 61880 + }, + { + "epoch": 0.02285, + "grad_norm": 6.803843975067139, + "learning_rate": 1.925050505050505e-06, + "loss": 6.295931243896485, + "step": 61885 + }, + { + "epoch": 0.0229, + "grad_norm": 6.515902042388916, + "learning_rate": 1.9247979797979797e-06, + "loss": 6.273680114746094, + "step": 61890 + }, + { + "epoch": 0.02295, + "grad_norm": 5.2738447189331055, + "learning_rate": 1.924545454545455e-06, + "loss": 6.246062850952148, + "step": 61895 + }, + { + "epoch": 0.023, + "grad_norm": 6.175250053405762, + "learning_rate": 1.9242929292929294e-06, + "loss": 6.244352340698242, + "step": 61900 + }, + { + "epoch": 0.02305, + "grad_norm": 23.273672103881836, + "learning_rate": 1.924040404040404e-06, + "loss": 6.355327606201172, + "step": 61905 + }, + { + "epoch": 0.0231, + "grad_norm": 6.186550140380859, + "learning_rate": 1.9237878787878787e-06, + "loss": 6.255298614501953, + "step": 61910 + }, + { + "epoch": 0.02315, + "grad_norm": 4.951099872589111, + "learning_rate": 1.9235353535353537e-06, + "loss": 6.26000747680664, + "step": 61915 + }, + { + "epoch": 0.0232, + "grad_norm": 13.800759315490723, + "learning_rate": 1.9232828282828284e-06, + "loss": 6.232140350341797, + "step": 61920 + }, + { + "epoch": 0.02325, + "grad_norm": 7.828312397003174, + "learning_rate": 1.9230303030303034e-06, + "loss": 6.289051055908203, + "step": 61925 + }, + { + "epoch": 0.0233, + "grad_norm": 15.248344421386719, + "learning_rate": 1.922777777777778e-06, + "loss": 6.237822341918945, + "step": 61930 + }, + { + "epoch": 0.02335, + "grad_norm": 6.613580226898193, + "learning_rate": 1.9225252525252527e-06, + "loss": 6.359769058227539, + "step": 61935 + }, + { + "epoch": 0.0234, + "grad_norm": 8.175440788269043, + "learning_rate": 1.9222727272727273e-06, + "loss": 6.227716064453125, + "step": 61940 + }, + { + "epoch": 0.02345, + "grad_norm": 5.862253189086914, + "learning_rate": 1.9220202020202024e-06, + "loss": 6.290945434570313, + "step": 61945 + }, + { + "epoch": 0.0235, + "grad_norm": 3.361764669418335, + "learning_rate": 1.921767676767677e-06, + "loss": 6.27653923034668, + "step": 61950 + }, + { + "epoch": 0.02355, + "grad_norm": 4.757517337799072, + "learning_rate": 1.9215151515151516e-06, + "loss": 6.224477386474609, + "step": 61955 + }, + { + "epoch": 0.0236, + "grad_norm": 9.488749504089355, + "learning_rate": 1.9212626262626263e-06, + "loss": 6.205791091918945, + "step": 61960 + }, + { + "epoch": 0.02365, + "grad_norm": 4.83558988571167, + "learning_rate": 1.9210101010101013e-06, + "loss": 6.2749778747558596, + "step": 61965 + }, + { + "epoch": 0.0237, + "grad_norm": 4.518133640289307, + "learning_rate": 1.920757575757576e-06, + "loss": 6.2604621887207035, + "step": 61970 + }, + { + "epoch": 0.02375, + "grad_norm": 5.616275310516357, + "learning_rate": 1.9205050505050506e-06, + "loss": 6.260063171386719, + "step": 61975 + }, + { + "epoch": 0.0238, + "grad_norm": 6.206455230712891, + "learning_rate": 1.920252525252525e-06, + "loss": 6.232390975952148, + "step": 61980 + }, + { + "epoch": 0.02385, + "grad_norm": 12.338299751281738, + "learning_rate": 1.9200000000000003e-06, + "loss": 6.336439514160157, + "step": 61985 + }, + { + "epoch": 0.0239, + "grad_norm": 3.878108263015747, + "learning_rate": 1.919747474747475e-06, + "loss": 6.228158187866211, + "step": 61990 + }, + { + "epoch": 0.02395, + "grad_norm": 8.768754005432129, + "learning_rate": 1.9194949494949495e-06, + "loss": 6.261961364746094, + "step": 61995 + }, + { + "epoch": 0.024, + "grad_norm": 5.549461841583252, + "learning_rate": 1.919242424242424e-06, + "loss": 6.3027793884277346, + "step": 62000 + }, + { + "epoch": 0.02405, + "grad_norm": 7.1424880027771, + "learning_rate": 1.918989898989899e-06, + "loss": 6.263557434082031, + "step": 62005 + }, + { + "epoch": 0.0241, + "grad_norm": 5.786823749542236, + "learning_rate": 1.918737373737374e-06, + "loss": 6.2421833038330075, + "step": 62010 + }, + { + "epoch": 0.02415, + "grad_norm": 4.902639865875244, + "learning_rate": 1.918484848484849e-06, + "loss": 6.261465072631836, + "step": 62015 + }, + { + "epoch": 0.0242, + "grad_norm": 4.81596565246582, + "learning_rate": 1.918232323232323e-06, + "loss": 6.27205810546875, + "step": 62020 + }, + { + "epoch": 0.02425, + "grad_norm": 5.978924751281738, + "learning_rate": 1.917979797979798e-06, + "loss": 6.230600738525391, + "step": 62025 + }, + { + "epoch": 0.0243, + "grad_norm": 5.704242706298828, + "learning_rate": 1.9177272727272728e-06, + "loss": 6.257980728149414, + "step": 62030 + }, + { + "epoch": 0.02435, + "grad_norm": 7.736745357513428, + "learning_rate": 1.917474747474748e-06, + "loss": 6.3867240905761715, + "step": 62035 + }, + { + "epoch": 0.0244, + "grad_norm": 4.6141157150268555, + "learning_rate": 1.9172222222222225e-06, + "loss": 6.297271347045898, + "step": 62040 + }, + { + "epoch": 0.02445, + "grad_norm": 10.416067123413086, + "learning_rate": 1.916969696969697e-06, + "loss": 6.474153137207031, + "step": 62045 + }, + { + "epoch": 0.0245, + "grad_norm": 7.163963794708252, + "learning_rate": 1.9167171717171717e-06, + "loss": 6.230937576293945, + "step": 62050 + }, + { + "epoch": 0.02455, + "grad_norm": 12.32824993133545, + "learning_rate": 1.9164646464646468e-06, + "loss": 6.233685302734375, + "step": 62055 + }, + { + "epoch": 0.0246, + "grad_norm": 7.68446683883667, + "learning_rate": 1.9162121212121214e-06, + "loss": 6.288049697875977, + "step": 62060 + }, + { + "epoch": 0.02465, + "grad_norm": 3.817000150680542, + "learning_rate": 1.915959595959596e-06, + "loss": 6.283369445800782, + "step": 62065 + }, + { + "epoch": 0.0247, + "grad_norm": 5.948622703552246, + "learning_rate": 1.9157070707070707e-06, + "loss": 6.28637580871582, + "step": 62070 + }, + { + "epoch": 0.02475, + "grad_norm": 6.980443000793457, + "learning_rate": 1.9154545454545457e-06, + "loss": 6.259815979003906, + "step": 62075 + }, + { + "epoch": 0.0248, + "grad_norm": 4.461381435394287, + "learning_rate": 1.9152020202020203e-06, + "loss": 6.1970672607421875, + "step": 62080 + }, + { + "epoch": 0.02485, + "grad_norm": 5.8962626457214355, + "learning_rate": 1.914949494949495e-06, + "loss": 6.274631118774414, + "step": 62085 + }, + { + "epoch": 0.0249, + "grad_norm": 11.72916316986084, + "learning_rate": 1.9146969696969696e-06, + "loss": 6.232873916625977, + "step": 62090 + }, + { + "epoch": 0.02495, + "grad_norm": 5.8649678230285645, + "learning_rate": 1.9144444444444447e-06, + "loss": 6.29283332824707, + "step": 62095 + }, + { + "epoch": 0.025, + "grad_norm": 7.566601276397705, + "learning_rate": 1.9141919191919193e-06, + "loss": 6.226845550537109, + "step": 62100 + }, + { + "epoch": 0.02505, + "grad_norm": 11.646729469299316, + "learning_rate": 1.913939393939394e-06, + "loss": 6.047228622436523, + "step": 62105 + }, + { + "epoch": 0.0251, + "grad_norm": 6.043450355529785, + "learning_rate": 1.913686868686869e-06, + "loss": 6.258866500854492, + "step": 62110 + }, + { + "epoch": 0.02515, + "grad_norm": 7.806583404541016, + "learning_rate": 1.9134343434343436e-06, + "loss": 6.258141326904297, + "step": 62115 + }, + { + "epoch": 0.0252, + "grad_norm": 4.805337905883789, + "learning_rate": 1.9131818181818187e-06, + "loss": 6.216482543945313, + "step": 62120 + }, + { + "epoch": 0.02525, + "grad_norm": 9.091444969177246, + "learning_rate": 1.9129292929292933e-06, + "loss": 6.249955749511718, + "step": 62125 + }, + { + "epoch": 0.0253, + "grad_norm": 3.679234027862549, + "learning_rate": 1.912676767676768e-06, + "loss": 6.247993087768554, + "step": 62130 + }, + { + "epoch": 0.02535, + "grad_norm": 4.803818702697754, + "learning_rate": 1.9124242424242425e-06, + "loss": 6.244263458251953, + "step": 62135 + }, + { + "epoch": 0.0254, + "grad_norm": 4.430932998657227, + "learning_rate": 1.9121717171717176e-06, + "loss": 6.236671066284179, + "step": 62140 + }, + { + "epoch": 0.02545, + "grad_norm": 5.70927619934082, + "learning_rate": 1.9119191919191922e-06, + "loss": 6.215878677368164, + "step": 62145 + }, + { + "epoch": 0.0255, + "grad_norm": 16.420671463012695, + "learning_rate": 1.911666666666667e-06, + "loss": 6.205671310424805, + "step": 62150 + }, + { + "epoch": 0.02555, + "grad_norm": 10.058878898620605, + "learning_rate": 1.9114141414141415e-06, + "loss": 6.273883056640625, + "step": 62155 + }, + { + "epoch": 0.0256, + "grad_norm": 6.590727806091309, + "learning_rate": 1.9111616161616165e-06, + "loss": 6.223825073242187, + "step": 62160 + }, + { + "epoch": 0.02565, + "grad_norm": 6.853649139404297, + "learning_rate": 1.910909090909091e-06, + "loss": 6.245399093627929, + "step": 62165 + }, + { + "epoch": 0.0257, + "grad_norm": 7.075381755828857, + "learning_rate": 1.910656565656566e-06, + "loss": 6.255885314941406, + "step": 62170 + }, + { + "epoch": 0.02575, + "grad_norm": 5.533735752105713, + "learning_rate": 1.9104040404040404e-06, + "loss": 6.243045043945313, + "step": 62175 + }, + { + "epoch": 0.0258, + "grad_norm": 4.350753307342529, + "learning_rate": 1.9101515151515155e-06, + "loss": 6.237922668457031, + "step": 62180 + }, + { + "epoch": 0.02585, + "grad_norm": 5.734804153442383, + "learning_rate": 1.90989898989899e-06, + "loss": 6.225393676757813, + "step": 62185 + }, + { + "epoch": 0.0259, + "grad_norm": 12.700912475585938, + "learning_rate": 1.9096464646464647e-06, + "loss": 6.266473388671875, + "step": 62190 + }, + { + "epoch": 0.02595, + "grad_norm": 8.333916664123535, + "learning_rate": 1.9093939393939394e-06, + "loss": 6.253589248657226, + "step": 62195 + }, + { + "epoch": 0.026, + "grad_norm": 3.3213086128234863, + "learning_rate": 1.9091414141414144e-06, + "loss": 6.401548767089844, + "step": 62200 + }, + { + "epoch": 0.02605, + "grad_norm": 8.22468090057373, + "learning_rate": 1.908888888888889e-06, + "loss": 6.229007339477539, + "step": 62205 + }, + { + "epoch": 0.0261, + "grad_norm": 8.443292617797852, + "learning_rate": 1.9086363636363637e-06, + "loss": 6.28258171081543, + "step": 62210 + }, + { + "epoch": 0.02615, + "grad_norm": 15.681092262268066, + "learning_rate": 1.9083838383838383e-06, + "loss": 6.269416046142578, + "step": 62215 + }, + { + "epoch": 0.0262, + "grad_norm": 8.588384628295898, + "learning_rate": 1.9081313131313134e-06, + "loss": 6.3749542236328125, + "step": 62220 + }, + { + "epoch": 0.02625, + "grad_norm": 5.015449523925781, + "learning_rate": 1.907878787878788e-06, + "loss": 6.284757995605469, + "step": 62225 + }, + { + "epoch": 0.0263, + "grad_norm": 14.487648963928223, + "learning_rate": 1.907626262626263e-06, + "loss": 6.260013580322266, + "step": 62230 + }, + { + "epoch": 0.02635, + "grad_norm": 3.982177257537842, + "learning_rate": 1.9073737373737377e-06, + "loss": 6.285531616210937, + "step": 62235 + }, + { + "epoch": 0.0264, + "grad_norm": 25.296480178833008, + "learning_rate": 1.9071212121212123e-06, + "loss": 6.3536632537841795, + "step": 62240 + }, + { + "epoch": 0.02645, + "grad_norm": 10.046147346496582, + "learning_rate": 1.906868686868687e-06, + "loss": 6.2960655212402346, + "step": 62245 + }, + { + "epoch": 0.0265, + "grad_norm": 7.2062859535217285, + "learning_rate": 1.9066161616161618e-06, + "loss": 6.272810363769532, + "step": 62250 + }, + { + "epoch": 0.02655, + "grad_norm": 9.377452850341797, + "learning_rate": 1.9063636363636364e-06, + "loss": 6.228921508789062, + "step": 62255 + }, + { + "epoch": 0.0266, + "grad_norm": 8.327960968017578, + "learning_rate": 1.9061111111111113e-06, + "loss": 6.321055221557617, + "step": 62260 + }, + { + "epoch": 0.02665, + "grad_norm": 8.070571899414062, + "learning_rate": 1.9058585858585859e-06, + "loss": 6.349167251586914, + "step": 62265 + }, + { + "epoch": 0.0267, + "grad_norm": 13.41532039642334, + "learning_rate": 1.905606060606061e-06, + "loss": 6.371846771240234, + "step": 62270 + }, + { + "epoch": 0.02675, + "grad_norm": 6.4769439697265625, + "learning_rate": 1.9053535353535354e-06, + "loss": 6.222506713867188, + "step": 62275 + }, + { + "epoch": 0.0268, + "grad_norm": 13.056445121765137, + "learning_rate": 1.9051010101010104e-06, + "loss": 6.228475952148438, + "step": 62280 + }, + { + "epoch": 0.02685, + "grad_norm": 13.471928596496582, + "learning_rate": 1.904848484848485e-06, + "loss": 6.339588928222656, + "step": 62285 + }, + { + "epoch": 0.0269, + "grad_norm": 11.52112102508545, + "learning_rate": 1.9045959595959599e-06, + "loss": 6.219236755371094, + "step": 62290 + }, + { + "epoch": 0.02695, + "grad_norm": 3.216845750808716, + "learning_rate": 1.9043434343434345e-06, + "loss": 6.200608825683593, + "step": 62295 + }, + { + "epoch": 0.027, + "grad_norm": 15.345287322998047, + "learning_rate": 1.9040909090909094e-06, + "loss": 6.22989501953125, + "step": 62300 + }, + { + "epoch": 0.02705, + "grad_norm": 5.245137691497803, + "learning_rate": 1.903838383838384e-06, + "loss": 6.232751846313477, + "step": 62305 + }, + { + "epoch": 0.0271, + "grad_norm": 4.800722122192383, + "learning_rate": 1.9035858585858588e-06, + "loss": 6.330547714233399, + "step": 62310 + }, + { + "epoch": 0.02715, + "grad_norm": 6.387035369873047, + "learning_rate": 1.9033333333333335e-06, + "loss": 6.268454360961914, + "step": 62315 + }, + { + "epoch": 0.0272, + "grad_norm": 9.972704887390137, + "learning_rate": 1.9030808080808083e-06, + "loss": 6.3202354431152346, + "step": 62320 + }, + { + "epoch": 0.02725, + "grad_norm": 4.787247180938721, + "learning_rate": 1.902828282828283e-06, + "loss": 6.259056854248047, + "step": 62325 + }, + { + "epoch": 0.0273, + "grad_norm": 6.9118571281433105, + "learning_rate": 1.9025757575757578e-06, + "loss": 6.269126129150391, + "step": 62330 + }, + { + "epoch": 0.02735, + "grad_norm": 9.22292423248291, + "learning_rate": 1.9023232323232324e-06, + "loss": 6.571133422851562, + "step": 62335 + }, + { + "epoch": 0.0274, + "grad_norm": 14.658958435058594, + "learning_rate": 1.9020707070707072e-06, + "loss": 6.267678833007812, + "step": 62340 + }, + { + "epoch": 0.02745, + "grad_norm": 21.688621520996094, + "learning_rate": 1.9018181818181819e-06, + "loss": 6.1356555938720705, + "step": 62345 + }, + { + "epoch": 0.0275, + "grad_norm": 7.203467845916748, + "learning_rate": 1.9015656565656567e-06, + "loss": 6.215506744384766, + "step": 62350 + }, + { + "epoch": 0.02755, + "grad_norm": 6.4397125244140625, + "learning_rate": 1.9013131313131314e-06, + "loss": 6.233172607421875, + "step": 62355 + }, + { + "epoch": 0.0276, + "grad_norm": 8.97672176361084, + "learning_rate": 1.9010606060606062e-06, + "loss": 6.26298828125, + "step": 62360 + }, + { + "epoch": 0.02765, + "grad_norm": 5.140129089355469, + "learning_rate": 1.9008080808080808e-06, + "loss": 6.302192687988281, + "step": 62365 + }, + { + "epoch": 0.0277, + "grad_norm": 4.425889492034912, + "learning_rate": 1.9005555555555557e-06, + "loss": 6.221224975585938, + "step": 62370 + }, + { + "epoch": 0.02775, + "grad_norm": 7.122312545776367, + "learning_rate": 1.9003030303030303e-06, + "loss": 6.309427642822266, + "step": 62375 + }, + { + "epoch": 0.0278, + "grad_norm": 8.101231575012207, + "learning_rate": 1.9000505050505053e-06, + "loss": 6.253390121459961, + "step": 62380 + }, + { + "epoch": 0.02785, + "grad_norm": 6.043264389038086, + "learning_rate": 1.8997979797979798e-06, + "loss": 6.2268013000488285, + "step": 62385 + }, + { + "epoch": 0.0279, + "grad_norm": 14.180349349975586, + "learning_rate": 1.8995454545454548e-06, + "loss": 6.341179656982422, + "step": 62390 + }, + { + "epoch": 0.02795, + "grad_norm": 8.012643814086914, + "learning_rate": 1.8992929292929295e-06, + "loss": 6.3863780975341795, + "step": 62395 + }, + { + "epoch": 0.028, + "grad_norm": 5.554315567016602, + "learning_rate": 1.8990404040404043e-06, + "loss": 6.245582580566406, + "step": 62400 + }, + { + "epoch": 0.02805, + "grad_norm": 6.849372863769531, + "learning_rate": 1.898787878787879e-06, + "loss": 6.219215011596679, + "step": 62405 + }, + { + "epoch": 0.0281, + "grad_norm": 6.9014058113098145, + "learning_rate": 1.8985353535353538e-06, + "loss": 6.266943359375, + "step": 62410 + }, + { + "epoch": 0.02815, + "grad_norm": 9.870644569396973, + "learning_rate": 1.8982828282828284e-06, + "loss": 6.3021797180175785, + "step": 62415 + }, + { + "epoch": 0.0282, + "grad_norm": 12.132411003112793, + "learning_rate": 1.8980303030303032e-06, + "loss": 6.276427459716797, + "step": 62420 + }, + { + "epoch": 0.02825, + "grad_norm": 5.277702808380127, + "learning_rate": 1.8977777777777779e-06, + "loss": 6.2724853515625, + "step": 62425 + }, + { + "epoch": 0.0283, + "grad_norm": 8.306949615478516, + "learning_rate": 1.8975252525252527e-06, + "loss": 6.210828018188477, + "step": 62430 + }, + { + "epoch": 0.02835, + "grad_norm": 24.117225646972656, + "learning_rate": 1.8972727272727273e-06, + "loss": 6.303520965576172, + "step": 62435 + }, + { + "epoch": 0.0284, + "grad_norm": 7.112334251403809, + "learning_rate": 1.8970202020202022e-06, + "loss": 6.1880126953125, + "step": 62440 + }, + { + "epoch": 0.02845, + "grad_norm": 6.102401256561279, + "learning_rate": 1.8967676767676768e-06, + "loss": 6.229666900634766, + "step": 62445 + }, + { + "epoch": 0.0285, + "grad_norm": 9.191045761108398, + "learning_rate": 1.8965151515151517e-06, + "loss": 6.298749542236328, + "step": 62450 + }, + { + "epoch": 0.02855, + "grad_norm": 5.626814365386963, + "learning_rate": 1.8962626262626263e-06, + "loss": 6.327130126953125, + "step": 62455 + }, + { + "epoch": 0.0286, + "grad_norm": 4.8786725997924805, + "learning_rate": 1.8960101010101011e-06, + "loss": 6.213555526733399, + "step": 62460 + }, + { + "epoch": 0.02865, + "grad_norm": 5.205348491668701, + "learning_rate": 1.8957575757575758e-06, + "loss": 6.281430053710937, + "step": 62465 + }, + { + "epoch": 0.0287, + "grad_norm": 5.960262775421143, + "learning_rate": 1.8955050505050506e-06, + "loss": 6.287853622436524, + "step": 62470 + }, + { + "epoch": 0.02875, + "grad_norm": 9.148475646972656, + "learning_rate": 1.8952525252525252e-06, + "loss": 6.28929557800293, + "step": 62475 + }, + { + "epoch": 0.0288, + "grad_norm": 4.81479549407959, + "learning_rate": 1.895e-06, + "loss": 6.306608581542969, + "step": 62480 + }, + { + "epoch": 0.02885, + "grad_norm": 24.291471481323242, + "learning_rate": 1.8947474747474747e-06, + "loss": 6.324548721313477, + "step": 62485 + }, + { + "epoch": 0.0289, + "grad_norm": 25.420801162719727, + "learning_rate": 1.8944949494949498e-06, + "loss": 6.180773544311523, + "step": 62490 + }, + { + "epoch": 0.02895, + "grad_norm": 5.628326416015625, + "learning_rate": 1.8942424242424242e-06, + "loss": 6.304501342773437, + "step": 62495 + }, + { + "epoch": 0.029, + "grad_norm": 21.377071380615234, + "learning_rate": 1.8939898989898992e-06, + "loss": 6.275628662109375, + "step": 62500 + }, + { + "epoch": 0.02905, + "grad_norm": 5.3338847160339355, + "learning_rate": 1.8937373737373739e-06, + "loss": 6.238192749023438, + "step": 62505 + }, + { + "epoch": 0.0291, + "grad_norm": 4.034029960632324, + "learning_rate": 1.8934848484848487e-06, + "loss": 6.320311737060547, + "step": 62510 + }, + { + "epoch": 0.02915, + "grad_norm": 5.4108147621154785, + "learning_rate": 1.8932323232323233e-06, + "loss": 6.230154418945313, + "step": 62515 + }, + { + "epoch": 0.0292, + "grad_norm": 5.564615726470947, + "learning_rate": 1.8929797979797982e-06, + "loss": 6.25451545715332, + "step": 62520 + }, + { + "epoch": 0.02925, + "grad_norm": 6.226053237915039, + "learning_rate": 1.8927272727272728e-06, + "loss": 6.1721549987792965, + "step": 62525 + }, + { + "epoch": 0.0293, + "grad_norm": 6.799611568450928, + "learning_rate": 1.8924747474747476e-06, + "loss": 6.229994201660157, + "step": 62530 + }, + { + "epoch": 0.02935, + "grad_norm": 18.338869094848633, + "learning_rate": 1.8922222222222225e-06, + "loss": 6.423902893066407, + "step": 62535 + }, + { + "epoch": 0.0294, + "grad_norm": 6.119081497192383, + "learning_rate": 1.8919696969696971e-06, + "loss": 6.399499893188477, + "step": 62540 + }, + { + "epoch": 0.02945, + "grad_norm": 6.500056266784668, + "learning_rate": 1.891717171717172e-06, + "loss": 6.220116424560547, + "step": 62545 + }, + { + "epoch": 0.0295, + "grad_norm": 7.1745100021362305, + "learning_rate": 1.8914646464646466e-06, + "loss": 6.210031890869141, + "step": 62550 + }, + { + "epoch": 0.02955, + "grad_norm": 6.271444320678711, + "learning_rate": 1.8912121212121214e-06, + "loss": 6.271413421630859, + "step": 62555 + }, + { + "epoch": 0.0296, + "grad_norm": 4.670347690582275, + "learning_rate": 1.890959595959596e-06, + "loss": 6.313129043579101, + "step": 62560 + }, + { + "epoch": 0.02965, + "grad_norm": 5.4525604248046875, + "learning_rate": 1.890707070707071e-06, + "loss": 6.230620193481445, + "step": 62565 + }, + { + "epoch": 0.0297, + "grad_norm": 4.861306667327881, + "learning_rate": 1.8904545454545455e-06, + "loss": 6.2237693786621096, + "step": 62570 + }, + { + "epoch": 0.02975, + "grad_norm": 6.077636241912842, + "learning_rate": 1.8902020202020206e-06, + "loss": 6.28429946899414, + "step": 62575 + }, + { + "epoch": 0.0298, + "grad_norm": 6.289973258972168, + "learning_rate": 1.889949494949495e-06, + "loss": 6.346307754516602, + "step": 62580 + }, + { + "epoch": 0.02985, + "grad_norm": 4.6981611251831055, + "learning_rate": 1.88969696969697e-06, + "loss": 6.280269622802734, + "step": 62585 + }, + { + "epoch": 0.0299, + "grad_norm": 3.6391735076904297, + "learning_rate": 1.8894444444444447e-06, + "loss": 6.227191925048828, + "step": 62590 + }, + { + "epoch": 0.02995, + "grad_norm": 6.85783052444458, + "learning_rate": 1.8891919191919195e-06, + "loss": 6.243787384033203, + "step": 62595 + }, + { + "epoch": 0.03, + "grad_norm": 5.612940311431885, + "learning_rate": 1.8889393939393942e-06, + "loss": 6.195180511474609, + "step": 62600 + }, + { + "epoch": 0.03005, + "grad_norm": 3.9319005012512207, + "learning_rate": 1.888686868686869e-06, + "loss": 6.250684356689453, + "step": 62605 + }, + { + "epoch": 0.0301, + "grad_norm": 3.945385694503784, + "learning_rate": 1.8884343434343436e-06, + "loss": 6.196837997436523, + "step": 62610 + }, + { + "epoch": 0.03015, + "grad_norm": 5.286442279815674, + "learning_rate": 1.8881818181818185e-06, + "loss": 6.425250244140625, + "step": 62615 + }, + { + "epoch": 0.0302, + "grad_norm": 4.681535720825195, + "learning_rate": 1.887929292929293e-06, + "loss": 6.203900909423828, + "step": 62620 + }, + { + "epoch": 0.03025, + "grad_norm": 5.293543815612793, + "learning_rate": 1.887676767676768e-06, + "loss": 6.215904998779297, + "step": 62625 + }, + { + "epoch": 0.0303, + "grad_norm": 9.437519073486328, + "learning_rate": 1.8874242424242426e-06, + "loss": 6.252590560913086, + "step": 62630 + }, + { + "epoch": 0.03035, + "grad_norm": 5.709925651550293, + "learning_rate": 1.8871717171717174e-06, + "loss": 6.214181137084961, + "step": 62635 + }, + { + "epoch": 0.0304, + "grad_norm": 6.1027069091796875, + "learning_rate": 1.886919191919192e-06, + "loss": 6.235104751586914, + "step": 62640 + }, + { + "epoch": 0.03045, + "grad_norm": 5.396678447723389, + "learning_rate": 1.8866666666666669e-06, + "loss": 6.229944229125977, + "step": 62645 + }, + { + "epoch": 0.0305, + "grad_norm": 4.656377792358398, + "learning_rate": 1.8864141414141415e-06, + "loss": 6.266973876953125, + "step": 62650 + }, + { + "epoch": 0.03055, + "grad_norm": 4.172024250030518, + "learning_rate": 1.8861616161616164e-06, + "loss": 6.203564453125, + "step": 62655 + }, + { + "epoch": 0.0306, + "grad_norm": 4.6647443771362305, + "learning_rate": 1.885909090909091e-06, + "loss": 6.244805145263672, + "step": 62660 + }, + { + "epoch": 0.03065, + "grad_norm": 6.313098907470703, + "learning_rate": 1.8856565656565658e-06, + "loss": 6.248321533203125, + "step": 62665 + }, + { + "epoch": 0.0307, + "grad_norm": 4.372366905212402, + "learning_rate": 1.8854040404040405e-06, + "loss": 6.2128559112548825, + "step": 62670 + }, + { + "epoch": 0.03075, + "grad_norm": 4.608881950378418, + "learning_rate": 1.8851515151515153e-06, + "loss": 6.22448501586914, + "step": 62675 + }, + { + "epoch": 0.0308, + "grad_norm": 15.128547668457031, + "learning_rate": 1.88489898989899e-06, + "loss": 6.283994674682617, + "step": 62680 + }, + { + "epoch": 0.03085, + "grad_norm": 6.840599536895752, + "learning_rate": 1.884646464646465e-06, + "loss": 6.234212493896484, + "step": 62685 + }, + { + "epoch": 0.0309, + "grad_norm": 8.03896427154541, + "learning_rate": 1.8843939393939394e-06, + "loss": 6.2204429626464846, + "step": 62690 + }, + { + "epoch": 0.03095, + "grad_norm": 7.480104923248291, + "learning_rate": 1.8841414141414145e-06, + "loss": 6.209047317504883, + "step": 62695 + }, + { + "epoch": 0.031, + "grad_norm": 7.1753249168396, + "learning_rate": 1.883888888888889e-06, + "loss": 6.218749618530273, + "step": 62700 + }, + { + "epoch": 0.03105, + "grad_norm": 4.749782562255859, + "learning_rate": 1.883636363636364e-06, + "loss": 6.198015213012695, + "step": 62705 + }, + { + "epoch": 0.0311, + "grad_norm": 6.275830268859863, + "learning_rate": 1.8833838383838386e-06, + "loss": 6.227254104614258, + "step": 62710 + }, + { + "epoch": 0.03115, + "grad_norm": 4.785470962524414, + "learning_rate": 1.8831313131313134e-06, + "loss": 6.253419494628906, + "step": 62715 + }, + { + "epoch": 0.0312, + "grad_norm": 57.57500076293945, + "learning_rate": 1.882878787878788e-06, + "loss": 6.55755615234375, + "step": 62720 + }, + { + "epoch": 0.03125, + "grad_norm": 4.011620998382568, + "learning_rate": 1.8826262626262629e-06, + "loss": 6.287051773071289, + "step": 62725 + }, + { + "epoch": 0.0313, + "grad_norm": 3.9420838356018066, + "learning_rate": 1.8823737373737375e-06, + "loss": 6.226145172119141, + "step": 62730 + }, + { + "epoch": 0.03135, + "grad_norm": 5.443935871124268, + "learning_rate": 1.8821212121212123e-06, + "loss": 6.272207641601563, + "step": 62735 + }, + { + "epoch": 0.0314, + "grad_norm": 6.777082920074463, + "learning_rate": 1.881868686868687e-06, + "loss": 6.24189453125, + "step": 62740 + }, + { + "epoch": 0.03145, + "grad_norm": 5.9978928565979, + "learning_rate": 1.8816161616161618e-06, + "loss": 6.246139907836914, + "step": 62745 + }, + { + "epoch": 0.0315, + "grad_norm": 4.859372615814209, + "learning_rate": 1.8813636363636364e-06, + "loss": 6.218721389770508, + "step": 62750 + }, + { + "epoch": 0.03155, + "grad_norm": 8.483358383178711, + "learning_rate": 1.8811111111111113e-06, + "loss": 6.268097686767578, + "step": 62755 + }, + { + "epoch": 0.0316, + "grad_norm": 12.237682342529297, + "learning_rate": 1.880858585858586e-06, + "loss": 6.293423461914062, + "step": 62760 + }, + { + "epoch": 0.03165, + "grad_norm": 17.202882766723633, + "learning_rate": 1.8806060606060608e-06, + "loss": 6.500018310546875, + "step": 62765 + }, + { + "epoch": 0.0317, + "grad_norm": 9.674863815307617, + "learning_rate": 1.8803535353535354e-06, + "loss": 6.246653747558594, + "step": 62770 + }, + { + "epoch": 0.03175, + "grad_norm": 6.9159159660339355, + "learning_rate": 1.8801010101010102e-06, + "loss": 6.230746459960938, + "step": 62775 + }, + { + "epoch": 0.0318, + "grad_norm": 10.242659568786621, + "learning_rate": 1.8798484848484849e-06, + "loss": 6.255489349365234, + "step": 62780 + }, + { + "epoch": 0.03185, + "grad_norm": 8.988558769226074, + "learning_rate": 1.8795959595959597e-06, + "loss": 6.216098022460938, + "step": 62785 + }, + { + "epoch": 0.0319, + "grad_norm": 7.258554458618164, + "learning_rate": 1.8793434343434343e-06, + "loss": 6.1946971893310545, + "step": 62790 + }, + { + "epoch": 0.03195, + "grad_norm": 10.848084449768066, + "learning_rate": 1.8790909090909094e-06, + "loss": 6.237393188476562, + "step": 62795 + }, + { + "epoch": 0.032, + "grad_norm": 9.772246360778809, + "learning_rate": 1.8788383838383838e-06, + "loss": 6.249011611938476, + "step": 62800 + }, + { + "epoch": 0.03205, + "grad_norm": 5.0418171882629395, + "learning_rate": 1.8785858585858589e-06, + "loss": 6.456198120117188, + "step": 62805 + }, + { + "epoch": 0.0321, + "grad_norm": 6.0337090492248535, + "learning_rate": 1.8783333333333335e-06, + "loss": 6.241810989379883, + "step": 62810 + }, + { + "epoch": 0.03215, + "grad_norm": 7.385995388031006, + "learning_rate": 1.8780808080808083e-06, + "loss": 6.265116119384766, + "step": 62815 + }, + { + "epoch": 0.0322, + "grad_norm": 4.770933151245117, + "learning_rate": 1.877828282828283e-06, + "loss": 6.248974227905274, + "step": 62820 + }, + { + "epoch": 0.03225, + "grad_norm": 5.716039657592773, + "learning_rate": 1.8775757575757578e-06, + "loss": 6.214493179321289, + "step": 62825 + }, + { + "epoch": 0.0323, + "grad_norm": 6.895079135894775, + "learning_rate": 1.8773232323232324e-06, + "loss": 6.243717956542969, + "step": 62830 + }, + { + "epoch": 0.03235, + "grad_norm": 5.05888032913208, + "learning_rate": 1.8770707070707073e-06, + "loss": 6.331613540649414, + "step": 62835 + }, + { + "epoch": 0.0324, + "grad_norm": 6.510175704956055, + "learning_rate": 1.876818181818182e-06, + "loss": 6.2291419982910154, + "step": 62840 + }, + { + "epoch": 0.03245, + "grad_norm": 5.007889270782471, + "learning_rate": 1.8765656565656567e-06, + "loss": 6.247008514404297, + "step": 62845 + }, + { + "epoch": 0.0325, + "grad_norm": 9.776569366455078, + "learning_rate": 1.8763131313131314e-06, + "loss": 6.215446090698242, + "step": 62850 + }, + { + "epoch": 0.03255, + "grad_norm": 4.612044334411621, + "learning_rate": 1.8760606060606062e-06, + "loss": 6.270708084106445, + "step": 62855 + }, + { + "epoch": 0.0326, + "grad_norm": 5.462477684020996, + "learning_rate": 1.8758080808080808e-06, + "loss": 6.217986679077148, + "step": 62860 + }, + { + "epoch": 0.03265, + "grad_norm": 6.706149101257324, + "learning_rate": 1.8755555555555557e-06, + "loss": 6.257896423339844, + "step": 62865 + }, + { + "epoch": 0.0327, + "grad_norm": 7.255356311798096, + "learning_rate": 1.8753030303030303e-06, + "loss": 6.233326721191406, + "step": 62870 + }, + { + "epoch": 0.03275, + "grad_norm": 5.95625638961792, + "learning_rate": 1.8750505050505052e-06, + "loss": 6.228143310546875, + "step": 62875 + }, + { + "epoch": 0.0328, + "grad_norm": 4.806092739105225, + "learning_rate": 1.8747979797979798e-06, + "loss": 6.2368816375732425, + "step": 62880 + }, + { + "epoch": 0.03285, + "grad_norm": 36.272335052490234, + "learning_rate": 1.8745454545454546e-06, + "loss": 6.414154052734375, + "step": 62885 + }, + { + "epoch": 0.0329, + "grad_norm": 7.309157371520996, + "learning_rate": 1.8742929292929293e-06, + "loss": 6.314483642578125, + "step": 62890 + }, + { + "epoch": 0.03295, + "grad_norm": 6.959654331207275, + "learning_rate": 1.8740404040404043e-06, + "loss": 6.2446044921875, + "step": 62895 + }, + { + "epoch": 0.033, + "grad_norm": 4.979482173919678, + "learning_rate": 1.8737878787878787e-06, + "loss": 6.291908645629883, + "step": 62900 + }, + { + "epoch": 0.03305, + "grad_norm": 3.694979667663574, + "learning_rate": 1.8735353535353538e-06, + "loss": 6.343397903442383, + "step": 62905 + }, + { + "epoch": 0.0331, + "grad_norm": 4.921634674072266, + "learning_rate": 1.8732828282828282e-06, + "loss": 6.258416748046875, + "step": 62910 + }, + { + "epoch": 0.03315, + "grad_norm": 6.81943416595459, + "learning_rate": 1.8730303030303033e-06, + "loss": 6.21172866821289, + "step": 62915 + }, + { + "epoch": 0.0332, + "grad_norm": 4.89826774597168, + "learning_rate": 1.8727777777777779e-06, + "loss": 6.241236877441406, + "step": 62920 + }, + { + "epoch": 0.03325, + "grad_norm": 7.4008378982543945, + "learning_rate": 1.8725252525252527e-06, + "loss": 6.217368316650391, + "step": 62925 + }, + { + "epoch": 0.0333, + "grad_norm": 4.267000675201416, + "learning_rate": 1.8722727272727274e-06, + "loss": 6.297184753417969, + "step": 62930 + }, + { + "epoch": 0.03335, + "grad_norm": 6.468404293060303, + "learning_rate": 1.8720202020202022e-06, + "loss": 6.276628494262695, + "step": 62935 + }, + { + "epoch": 0.0334, + "grad_norm": 4.509921073913574, + "learning_rate": 1.8717676767676768e-06, + "loss": 6.271505355834961, + "step": 62940 + }, + { + "epoch": 0.03345, + "grad_norm": 9.127167701721191, + "learning_rate": 1.8715151515151517e-06, + "loss": 6.1982170104980465, + "step": 62945 + }, + { + "epoch": 0.0335, + "grad_norm": 6.066013336181641, + "learning_rate": 1.8712626262626263e-06, + "loss": 6.233052825927734, + "step": 62950 + }, + { + "epoch": 0.03355, + "grad_norm": 10.72216796875, + "learning_rate": 1.8710101010101012e-06, + "loss": 6.21356086730957, + "step": 62955 + }, + { + "epoch": 0.0336, + "grad_norm": 26.21099090576172, + "learning_rate": 1.8707575757575758e-06, + "loss": 6.305002593994141, + "step": 62960 + }, + { + "epoch": 0.03365, + "grad_norm": 9.450539588928223, + "learning_rate": 1.8705050505050506e-06, + "loss": 6.240253829956055, + "step": 62965 + }, + { + "epoch": 0.0337, + "grad_norm": 6.456004619598389, + "learning_rate": 1.8702525252525255e-06, + "loss": 6.281785583496093, + "step": 62970 + }, + { + "epoch": 0.03375, + "grad_norm": 4.762877464294434, + "learning_rate": 1.87e-06, + "loss": 6.226884460449218, + "step": 62975 + }, + { + "epoch": 0.0338, + "grad_norm": 5.89227819442749, + "learning_rate": 1.869747474747475e-06, + "loss": 6.247333526611328, + "step": 62980 + }, + { + "epoch": 0.03385, + "grad_norm": 10.57930850982666, + "learning_rate": 1.8694949494949496e-06, + "loss": 6.3080322265625, + "step": 62985 + }, + { + "epoch": 0.0339, + "grad_norm": 5.590902805328369, + "learning_rate": 1.8692424242424246e-06, + "loss": 6.243936157226562, + "step": 62990 + }, + { + "epoch": 0.03395, + "grad_norm": 6.116273880004883, + "learning_rate": 1.868989898989899e-06, + "loss": 6.260150909423828, + "step": 62995 + }, + { + "epoch": 0.034, + "grad_norm": 6.011617660522461, + "learning_rate": 1.868737373737374e-06, + "loss": 6.205790710449219, + "step": 63000 + }, + { + "epoch": 0.03405, + "grad_norm": 4.232112407684326, + "learning_rate": 1.8684848484848487e-06, + "loss": 6.211810302734375, + "step": 63005 + }, + { + "epoch": 0.0341, + "grad_norm": 6.675339221954346, + "learning_rate": 1.8682323232323236e-06, + "loss": 6.318603515625, + "step": 63010 + }, + { + "epoch": 0.03415, + "grad_norm": 5.134880542755127, + "learning_rate": 1.8679797979797982e-06, + "loss": 6.264231109619141, + "step": 63015 + }, + { + "epoch": 0.0342, + "grad_norm": 11.716522216796875, + "learning_rate": 1.867727272727273e-06, + "loss": 6.235802841186524, + "step": 63020 + }, + { + "epoch": 0.03425, + "grad_norm": 6.141246318817139, + "learning_rate": 1.8674747474747477e-06, + "loss": 6.33147964477539, + "step": 63025 + }, + { + "epoch": 0.0343, + "grad_norm": 5.0893168449401855, + "learning_rate": 1.8672222222222225e-06, + "loss": 6.264434814453125, + "step": 63030 + }, + { + "epoch": 0.03435, + "grad_norm": 5.155243873596191, + "learning_rate": 1.8669696969696971e-06, + "loss": 6.258856201171875, + "step": 63035 + }, + { + "epoch": 0.0344, + "grad_norm": 4.447329998016357, + "learning_rate": 1.866717171717172e-06, + "loss": 6.214199829101562, + "step": 63040 + }, + { + "epoch": 0.03445, + "grad_norm": 8.268938064575195, + "learning_rate": 1.8664646464646466e-06, + "loss": 6.273750686645508, + "step": 63045 + }, + { + "epoch": 0.0345, + "grad_norm": 8.447366714477539, + "learning_rate": 1.8662121212121215e-06, + "loss": 6.2320610046386715, + "step": 63050 + }, + { + "epoch": 0.03455, + "grad_norm": 7.9442644119262695, + "learning_rate": 1.865959595959596e-06, + "loss": 6.224609375, + "step": 63055 + }, + { + "epoch": 0.0346, + "grad_norm": 8.911898612976074, + "learning_rate": 1.865707070707071e-06, + "loss": 6.2461097717285154, + "step": 63060 + }, + { + "epoch": 0.03465, + "grad_norm": 6.631239414215088, + "learning_rate": 1.8654545454545456e-06, + "loss": 6.247247695922852, + "step": 63065 + }, + { + "epoch": 0.0347, + "grad_norm": 24.05006980895996, + "learning_rate": 1.8652020202020204e-06, + "loss": 6.347602462768554, + "step": 63070 + }, + { + "epoch": 0.03475, + "grad_norm": 7.583700656890869, + "learning_rate": 1.864949494949495e-06, + "loss": 6.314117813110352, + "step": 63075 + }, + { + "epoch": 0.0348, + "grad_norm": 9.594945907592773, + "learning_rate": 1.8646969696969699e-06, + "loss": 6.219723129272461, + "step": 63080 + }, + { + "epoch": 0.03485, + "grad_norm": 7.3650312423706055, + "learning_rate": 1.8644444444444445e-06, + "loss": 6.254695892333984, + "step": 63085 + }, + { + "epoch": 0.0349, + "grad_norm": 11.260332107543945, + "learning_rate": 1.8641919191919193e-06, + "loss": 6.249645614624024, + "step": 63090 + }, + { + "epoch": 0.03495, + "grad_norm": 6.17494010925293, + "learning_rate": 1.863939393939394e-06, + "loss": 6.2059883117675785, + "step": 63095 + }, + { + "epoch": 0.035, + "grad_norm": 13.92389965057373, + "learning_rate": 1.863686868686869e-06, + "loss": 6.422450256347656, + "step": 63100 + }, + { + "epoch": 0.03505, + "grad_norm": 5.565371513366699, + "learning_rate": 1.8634343434343434e-06, + "loss": 6.235791778564453, + "step": 63105 + }, + { + "epoch": 0.0351, + "grad_norm": 4.647841453552246, + "learning_rate": 1.8631818181818185e-06, + "loss": 6.238362884521484, + "step": 63110 + }, + { + "epoch": 0.03515, + "grad_norm": 40.24412536621094, + "learning_rate": 1.8629292929292931e-06, + "loss": 6.193016815185547, + "step": 63115 + }, + { + "epoch": 0.0352, + "grad_norm": 7.892206192016602, + "learning_rate": 1.862676767676768e-06, + "loss": 6.111701965332031, + "step": 63120 + }, + { + "epoch": 0.03525, + "grad_norm": 4.01322078704834, + "learning_rate": 1.8624242424242426e-06, + "loss": 6.228893661499024, + "step": 63125 + }, + { + "epoch": 0.0353, + "grad_norm": 5.386997699737549, + "learning_rate": 1.8621717171717174e-06, + "loss": 6.266762161254883, + "step": 63130 + }, + { + "epoch": 0.03535, + "grad_norm": 5.763922691345215, + "learning_rate": 1.861919191919192e-06, + "loss": 6.29063606262207, + "step": 63135 + }, + { + "epoch": 0.0354, + "grad_norm": 7.502102851867676, + "learning_rate": 1.861666666666667e-06, + "loss": 6.258273696899414, + "step": 63140 + }, + { + "epoch": 0.03545, + "grad_norm": 6.434737205505371, + "learning_rate": 1.8614141414141415e-06, + "loss": 6.277191925048828, + "step": 63145 + }, + { + "epoch": 0.0355, + "grad_norm": 11.850452423095703, + "learning_rate": 1.8611616161616164e-06, + "loss": 6.322178649902344, + "step": 63150 + }, + { + "epoch": 0.03555, + "grad_norm": 5.10305118560791, + "learning_rate": 1.860909090909091e-06, + "loss": 6.259673309326172, + "step": 63155 + }, + { + "epoch": 0.0356, + "grad_norm": 8.549970626831055, + "learning_rate": 1.8606565656565659e-06, + "loss": 6.19665412902832, + "step": 63160 + }, + { + "epoch": 0.03565, + "grad_norm": 9.004919052124023, + "learning_rate": 1.8604040404040405e-06, + "loss": 6.2287639617919925, + "step": 63165 + }, + { + "epoch": 0.0357, + "grad_norm": 4.158962726593018, + "learning_rate": 1.8601515151515153e-06, + "loss": 6.253522872924805, + "step": 63170 + }, + { + "epoch": 0.03575, + "grad_norm": 27.275623321533203, + "learning_rate": 1.85989898989899e-06, + "loss": 6.195326232910157, + "step": 63175 + }, + { + "epoch": 0.0358, + "grad_norm": 13.485187530517578, + "learning_rate": 1.8596464646464648e-06, + "loss": 5.685382461547851, + "step": 63180 + }, + { + "epoch": 0.03585, + "grad_norm": 8.101243019104004, + "learning_rate": 1.8593939393939394e-06, + "loss": 6.2543083190917965, + "step": 63185 + }, + { + "epoch": 0.0359, + "grad_norm": 8.586892127990723, + "learning_rate": 1.8591414141414143e-06, + "loss": 6.254184722900391, + "step": 63190 + }, + { + "epoch": 0.03595, + "grad_norm": 25.462453842163086, + "learning_rate": 1.858888888888889e-06, + "loss": 6.292184066772461, + "step": 63195 + }, + { + "epoch": 0.036, + "grad_norm": 4.922920227050781, + "learning_rate": 1.8586363636363637e-06, + "loss": 6.248078155517578, + "step": 63200 + }, + { + "epoch": 0.03605, + "grad_norm": 5.647204875946045, + "learning_rate": 1.8583838383838384e-06, + "loss": 6.29119644165039, + "step": 63205 + }, + { + "epoch": 0.0361, + "grad_norm": 6.2679123878479, + "learning_rate": 1.8581313131313134e-06, + "loss": 6.300991058349609, + "step": 63210 + }, + { + "epoch": 0.03615, + "grad_norm": 8.124344825744629, + "learning_rate": 1.8578787878787878e-06, + "loss": 6.225589370727539, + "step": 63215 + }, + { + "epoch": 0.0362, + "grad_norm": 6.75507116317749, + "learning_rate": 1.857626262626263e-06, + "loss": 6.252435302734375, + "step": 63220 + }, + { + "epoch": 0.03625, + "grad_norm": 8.823911666870117, + "learning_rate": 1.8573737373737375e-06, + "loss": 6.25610122680664, + "step": 63225 + }, + { + "epoch": 0.0363, + "grad_norm": 7.762730598449707, + "learning_rate": 1.8571212121212124e-06, + "loss": 6.233866119384766, + "step": 63230 + }, + { + "epoch": 0.03635, + "grad_norm": 5.88719367980957, + "learning_rate": 1.856868686868687e-06, + "loss": 6.268344116210938, + "step": 63235 + }, + { + "epoch": 0.0364, + "grad_norm": 6.02085018157959, + "learning_rate": 1.8566161616161618e-06, + "loss": 6.244473648071289, + "step": 63240 + }, + { + "epoch": 0.03645, + "grad_norm": 4.281991004943848, + "learning_rate": 1.8563636363636365e-06, + "loss": 6.239959716796875, + "step": 63245 + }, + { + "epoch": 0.0365, + "grad_norm": 7.133559226989746, + "learning_rate": 1.8561111111111113e-06, + "loss": 6.28869743347168, + "step": 63250 + }, + { + "epoch": 0.03655, + "grad_norm": 4.812272548675537, + "learning_rate": 1.855858585858586e-06, + "loss": 6.302893829345703, + "step": 63255 + }, + { + "epoch": 0.0366, + "grad_norm": 7.350673198699951, + "learning_rate": 1.8556060606060608e-06, + "loss": 6.230399322509766, + "step": 63260 + }, + { + "epoch": 0.03665, + "grad_norm": 7.8250041007995605, + "learning_rate": 1.8553535353535354e-06, + "loss": 6.2784278869628904, + "step": 63265 + }, + { + "epoch": 0.0367, + "grad_norm": 6.51397180557251, + "learning_rate": 1.8551010101010103e-06, + "loss": 6.272776794433594, + "step": 63270 + }, + { + "epoch": 0.03675, + "grad_norm": 4.36152982711792, + "learning_rate": 1.8548484848484849e-06, + "loss": 6.262687683105469, + "step": 63275 + }, + { + "epoch": 0.0368, + "grad_norm": 7.3797287940979, + "learning_rate": 1.8545959595959597e-06, + "loss": 6.252901458740235, + "step": 63280 + }, + { + "epoch": 0.03685, + "grad_norm": 5.69044303894043, + "learning_rate": 1.8543434343434344e-06, + "loss": 6.213308334350586, + "step": 63285 + }, + { + "epoch": 0.0369, + "grad_norm": 7.6013078689575195, + "learning_rate": 1.8540909090909092e-06, + "loss": 6.230357360839844, + "step": 63290 + }, + { + "epoch": 0.03695, + "grad_norm": 4.344671249389648, + "learning_rate": 1.8538383838383838e-06, + "loss": 6.209222030639649, + "step": 63295 + }, + { + "epoch": 0.037, + "grad_norm": 6.399798393249512, + "learning_rate": 1.8535858585858587e-06, + "loss": 6.282685852050781, + "step": 63300 + }, + { + "epoch": 0.03705, + "grad_norm": 3.9360508918762207, + "learning_rate": 1.8533333333333333e-06, + "loss": 6.259840393066407, + "step": 63305 + }, + { + "epoch": 0.0371, + "grad_norm": 4.420217037200928, + "learning_rate": 1.8530808080808084e-06, + "loss": 6.271533203125, + "step": 63310 + }, + { + "epoch": 0.03715, + "grad_norm": 8.077632904052734, + "learning_rate": 1.8528282828282828e-06, + "loss": 6.265077209472656, + "step": 63315 + }, + { + "epoch": 0.0372, + "grad_norm": 5.042235851287842, + "learning_rate": 1.8525757575757578e-06, + "loss": 6.266518783569336, + "step": 63320 + }, + { + "epoch": 0.03725, + "grad_norm": 6.203110694885254, + "learning_rate": 1.8523232323232325e-06, + "loss": 6.2779090881347654, + "step": 63325 + }, + { + "epoch": 0.0373, + "grad_norm": 5.600529670715332, + "learning_rate": 1.8520707070707073e-06, + "loss": 6.351722335815429, + "step": 63330 + }, + { + "epoch": 0.03735, + "grad_norm": 9.142404556274414, + "learning_rate": 1.851818181818182e-06, + "loss": 6.210244750976562, + "step": 63335 + }, + { + "epoch": 0.0374, + "grad_norm": 4.845542907714844, + "learning_rate": 1.8515656565656568e-06, + "loss": 6.304673767089843, + "step": 63340 + }, + { + "epoch": 0.03745, + "grad_norm": 11.03978443145752, + "learning_rate": 1.8513131313131314e-06, + "loss": 6.2466999053955075, + "step": 63345 + }, + { + "epoch": 0.0375, + "grad_norm": 5.555411338806152, + "learning_rate": 1.8510606060606062e-06, + "loss": 6.240317153930664, + "step": 63350 + }, + { + "epoch": 0.03755, + "grad_norm": 10.264180183410645, + "learning_rate": 1.8508080808080809e-06, + "loss": 6.212852859497071, + "step": 63355 + }, + { + "epoch": 0.0376, + "grad_norm": 4.319433212280273, + "learning_rate": 1.8505555555555557e-06, + "loss": 6.5056404113769535, + "step": 63360 + }, + { + "epoch": 0.03765, + "grad_norm": 5.881531715393066, + "learning_rate": 1.8503030303030303e-06, + "loss": 6.594321441650391, + "step": 63365 + }, + { + "epoch": 0.0377, + "grad_norm": 5.777106285095215, + "learning_rate": 1.8500505050505052e-06, + "loss": 6.17679443359375, + "step": 63370 + }, + { + "epoch": 0.03775, + "grad_norm": 5.252884864807129, + "learning_rate": 1.8497979797979798e-06, + "loss": 6.2729438781738285, + "step": 63375 + }, + { + "epoch": 0.0378, + "grad_norm": 23.662830352783203, + "learning_rate": 1.8495454545454547e-06, + "loss": 6.222146224975586, + "step": 63380 + }, + { + "epoch": 0.03785, + "grad_norm": 5.053994655609131, + "learning_rate": 1.8492929292929293e-06, + "loss": 6.255959320068359, + "step": 63385 + }, + { + "epoch": 0.0379, + "grad_norm": 31.04216766357422, + "learning_rate": 1.8490404040404041e-06, + "loss": 6.409464263916016, + "step": 63390 + }, + { + "epoch": 0.03795, + "grad_norm": 12.459811210632324, + "learning_rate": 1.848787878787879e-06, + "loss": 6.46009521484375, + "step": 63395 + }, + { + "epoch": 0.038, + "grad_norm": 9.44340705871582, + "learning_rate": 1.8485353535353536e-06, + "loss": 6.285673904418945, + "step": 63400 + }, + { + "epoch": 0.03805, + "grad_norm": 5.854964256286621, + "learning_rate": 1.8482828282828287e-06, + "loss": 6.196659088134766, + "step": 63405 + }, + { + "epoch": 0.0381, + "grad_norm": 9.129405975341797, + "learning_rate": 1.848030303030303e-06, + "loss": 6.244552993774414, + "step": 63410 + }, + { + "epoch": 0.03815, + "grad_norm": 5.18573522567749, + "learning_rate": 1.8477777777777781e-06, + "loss": 6.275113677978515, + "step": 63415 + }, + { + "epoch": 0.0382, + "grad_norm": 7.211594581604004, + "learning_rate": 1.8475252525252528e-06, + "loss": 6.051445388793946, + "step": 63420 + }, + { + "epoch": 0.03825, + "grad_norm": 5.058740615844727, + "learning_rate": 1.8472727272727276e-06, + "loss": 6.26842155456543, + "step": 63425 + }, + { + "epoch": 0.0383, + "grad_norm": 4.605823516845703, + "learning_rate": 1.8470202020202022e-06, + "loss": 6.278911972045899, + "step": 63430 + }, + { + "epoch": 0.03835, + "grad_norm": 19.718828201293945, + "learning_rate": 1.846767676767677e-06, + "loss": 6.151982116699219, + "step": 63435 + }, + { + "epoch": 0.0384, + "grad_norm": 5.91071081161499, + "learning_rate": 1.8465151515151517e-06, + "loss": 6.257181930541992, + "step": 63440 + }, + { + "epoch": 0.03845, + "grad_norm": 5.6441144943237305, + "learning_rate": 1.8462626262626265e-06, + "loss": 6.193684387207031, + "step": 63445 + }, + { + "epoch": 0.0385, + "grad_norm": 5.396775722503662, + "learning_rate": 1.8460101010101012e-06, + "loss": 6.242092514038086, + "step": 63450 + }, + { + "epoch": 0.03855, + "grad_norm": 3.399127960205078, + "learning_rate": 1.845757575757576e-06, + "loss": 6.200938034057617, + "step": 63455 + }, + { + "epoch": 0.0386, + "grad_norm": 6.382723331451416, + "learning_rate": 1.8455050505050507e-06, + "loss": 6.2448982238769535, + "step": 63460 + }, + { + "epoch": 0.03865, + "grad_norm": 5.355175495147705, + "learning_rate": 1.8452525252525255e-06, + "loss": 6.423387908935547, + "step": 63465 + }, + { + "epoch": 0.0387, + "grad_norm": 5.250028133392334, + "learning_rate": 1.8450000000000001e-06, + "loss": 6.259105682373047, + "step": 63470 + }, + { + "epoch": 0.03875, + "grad_norm": 3.5137619972229004, + "learning_rate": 1.844747474747475e-06, + "loss": 6.21685791015625, + "step": 63475 + }, + { + "epoch": 0.0388, + "grad_norm": 4.162325859069824, + "learning_rate": 1.8444949494949496e-06, + "loss": 6.228852081298828, + "step": 63480 + }, + { + "epoch": 0.03885, + "grad_norm": 5.770090103149414, + "learning_rate": 1.8442424242424244e-06, + "loss": 6.247181701660156, + "step": 63485 + }, + { + "epoch": 0.0389, + "grad_norm": 6.208181381225586, + "learning_rate": 1.843989898989899e-06, + "loss": 6.234351348876953, + "step": 63490 + }, + { + "epoch": 0.03895, + "grad_norm": 9.40956974029541, + "learning_rate": 1.843737373737374e-06, + "loss": 6.295174789428711, + "step": 63495 + }, + { + "epoch": 0.039, + "grad_norm": 10.740508079528809, + "learning_rate": 1.8434848484848485e-06, + "loss": 6.186486434936524, + "step": 63500 + }, + { + "epoch": 0.03905, + "grad_norm": 6.136538028717041, + "learning_rate": 1.8432323232323234e-06, + "loss": 6.228067779541016, + "step": 63505 + }, + { + "epoch": 0.0391, + "grad_norm": 4.480775833129883, + "learning_rate": 1.842979797979798e-06, + "loss": 6.21702880859375, + "step": 63510 + }, + { + "epoch": 0.03915, + "grad_norm": 5.7619099617004395, + "learning_rate": 1.842727272727273e-06, + "loss": 6.257749938964844, + "step": 63515 + }, + { + "epoch": 0.0392, + "grad_norm": 7.975964069366455, + "learning_rate": 1.8424747474747475e-06, + "loss": 6.258835983276367, + "step": 63520 + }, + { + "epoch": 0.03925, + "grad_norm": 6.819736003875732, + "learning_rate": 1.8422222222222225e-06, + "loss": 6.268622207641601, + "step": 63525 + }, + { + "epoch": 0.0393, + "grad_norm": 4.34967565536499, + "learning_rate": 1.8419696969696972e-06, + "loss": 6.2624870300292965, + "step": 63530 + }, + { + "epoch": 0.03935, + "grad_norm": 4.606088161468506, + "learning_rate": 1.841717171717172e-06, + "loss": 6.219048309326172, + "step": 63535 + }, + { + "epoch": 0.0394, + "grad_norm": 4.4782023429870605, + "learning_rate": 1.8414646464646466e-06, + "loss": 6.266913223266601, + "step": 63540 + }, + { + "epoch": 0.03945, + "grad_norm": 5.709232807159424, + "learning_rate": 1.8412121212121215e-06, + "loss": 6.317603302001953, + "step": 63545 + }, + { + "epoch": 0.0395, + "grad_norm": 7.272075176239014, + "learning_rate": 1.8409595959595961e-06, + "loss": 6.274281311035156, + "step": 63550 + }, + { + "epoch": 0.03955, + "grad_norm": 5.234487533569336, + "learning_rate": 1.840707070707071e-06, + "loss": 6.243783569335937, + "step": 63555 + }, + { + "epoch": 0.0396, + "grad_norm": 10.803768157958984, + "learning_rate": 1.8404545454545456e-06, + "loss": 6.030181121826172, + "step": 63560 + }, + { + "epoch": 0.03965, + "grad_norm": 8.406307220458984, + "learning_rate": 1.8402020202020204e-06, + "loss": 6.218347549438477, + "step": 63565 + }, + { + "epoch": 0.0397, + "grad_norm": 4.652546405792236, + "learning_rate": 1.839949494949495e-06, + "loss": 6.393054962158203, + "step": 63570 + }, + { + "epoch": 0.03975, + "grad_norm": 6.827479839324951, + "learning_rate": 1.83969696969697e-06, + "loss": 6.270752716064453, + "step": 63575 + }, + { + "epoch": 0.0398, + "grad_norm": 3.8859434127807617, + "learning_rate": 1.8394444444444445e-06, + "loss": 6.286027526855468, + "step": 63580 + }, + { + "epoch": 0.03985, + "grad_norm": 6.249242305755615, + "learning_rate": 1.8391919191919194e-06, + "loss": 6.272420883178711, + "step": 63585 + }, + { + "epoch": 0.0399, + "grad_norm": 12.077126502990723, + "learning_rate": 1.838939393939394e-06, + "loss": 6.253696441650391, + "step": 63590 + }, + { + "epoch": 0.03995, + "grad_norm": 4.366604328155518, + "learning_rate": 1.8386868686868688e-06, + "loss": 6.273829650878906, + "step": 63595 + }, + { + "epoch": 0.04, + "grad_norm": 9.498092651367188, + "learning_rate": 1.8384343434343435e-06, + "loss": 6.299504089355469, + "step": 63600 + }, + { + "epoch": 0.04005, + "grad_norm": 5.877297878265381, + "learning_rate": 1.8381818181818183e-06, + "loss": 6.194567108154297, + "step": 63605 + }, + { + "epoch": 0.0401, + "grad_norm": 5.387487411499023, + "learning_rate": 1.837929292929293e-06, + "loss": 6.269086074829102, + "step": 63610 + }, + { + "epoch": 0.04015, + "grad_norm": 6.667598724365234, + "learning_rate": 1.837676767676768e-06, + "loss": 6.226121520996093, + "step": 63615 + }, + { + "epoch": 0.0402, + "grad_norm": 6.030226707458496, + "learning_rate": 1.8374242424242424e-06, + "loss": 6.254964447021484, + "step": 63620 + }, + { + "epoch": 0.04025, + "grad_norm": 8.503873825073242, + "learning_rate": 1.8371717171717175e-06, + "loss": 6.4447174072265625, + "step": 63625 + }, + { + "epoch": 0.0403, + "grad_norm": 8.396950721740723, + "learning_rate": 1.8369191919191919e-06, + "loss": 6.23528938293457, + "step": 63630 + }, + { + "epoch": 0.04035, + "grad_norm": 5.751489639282227, + "learning_rate": 1.836666666666667e-06, + "loss": 6.297233581542969, + "step": 63635 + }, + { + "epoch": 0.0404, + "grad_norm": 11.038162231445312, + "learning_rate": 1.8364141414141416e-06, + "loss": 6.261130905151367, + "step": 63640 + }, + { + "epoch": 0.04045, + "grad_norm": 5.666700839996338, + "learning_rate": 1.8361616161616164e-06, + "loss": 6.242860794067383, + "step": 63645 + }, + { + "epoch": 0.0405, + "grad_norm": 5.689192771911621, + "learning_rate": 1.835909090909091e-06, + "loss": 6.276399230957031, + "step": 63650 + }, + { + "epoch": 0.04055, + "grad_norm": 8.541776657104492, + "learning_rate": 1.8356565656565659e-06, + "loss": 6.247968292236328, + "step": 63655 + }, + { + "epoch": 0.0406, + "grad_norm": 6.289704322814941, + "learning_rate": 1.8354040404040405e-06, + "loss": 6.264659118652344, + "step": 63660 + }, + { + "epoch": 0.04065, + "grad_norm": 7.209199905395508, + "learning_rate": 1.8351515151515154e-06, + "loss": 6.267370223999023, + "step": 63665 + }, + { + "epoch": 0.0407, + "grad_norm": 6.7269287109375, + "learning_rate": 1.83489898989899e-06, + "loss": 6.357455825805664, + "step": 63670 + }, + { + "epoch": 0.04075, + "grad_norm": 7.6590399742126465, + "learning_rate": 1.8346464646464648e-06, + "loss": 6.242164993286133, + "step": 63675 + }, + { + "epoch": 0.0408, + "grad_norm": 9.692299842834473, + "learning_rate": 1.8343939393939395e-06, + "loss": 6.131193923950195, + "step": 63680 + }, + { + "epoch": 0.04085, + "grad_norm": 6.345726490020752, + "learning_rate": 1.8341414141414143e-06, + "loss": 6.274262237548828, + "step": 63685 + }, + { + "epoch": 0.0409, + "grad_norm": 45.96640396118164, + "learning_rate": 1.833888888888889e-06, + "loss": 6.12349853515625, + "step": 63690 + }, + { + "epoch": 0.04095, + "grad_norm": 6.09083890914917, + "learning_rate": 1.8336363636363638e-06, + "loss": 6.1735984802246096, + "step": 63695 + }, + { + "epoch": 0.041, + "grad_norm": 5.969856262207031, + "learning_rate": 1.8333838383838384e-06, + "loss": 6.227943801879883, + "step": 63700 + }, + { + "epoch": 0.04105, + "grad_norm": 4.612977981567383, + "learning_rate": 1.8331313131313132e-06, + "loss": 6.214680099487305, + "step": 63705 + }, + { + "epoch": 0.0411, + "grad_norm": 8.186897277832031, + "learning_rate": 1.8328787878787879e-06, + "loss": 6.261192321777344, + "step": 63710 + }, + { + "epoch": 0.04115, + "grad_norm": 37.41847229003906, + "learning_rate": 1.8326262626262627e-06, + "loss": 6.22698860168457, + "step": 63715 + }, + { + "epoch": 0.0412, + "grad_norm": 6.990822792053223, + "learning_rate": 1.8323737373737373e-06, + "loss": 6.255609130859375, + "step": 63720 + }, + { + "epoch": 0.04125, + "grad_norm": 5.018374443054199, + "learning_rate": 1.8321212121212124e-06, + "loss": 6.270475006103515, + "step": 63725 + }, + { + "epoch": 0.0413, + "grad_norm": 19.334266662597656, + "learning_rate": 1.8318686868686868e-06, + "loss": 6.246289443969727, + "step": 63730 + }, + { + "epoch": 0.04135, + "grad_norm": 4.252907752990723, + "learning_rate": 1.8316161616161619e-06, + "loss": 6.2620796203613285, + "step": 63735 + }, + { + "epoch": 0.0414, + "grad_norm": 6.304240703582764, + "learning_rate": 1.8313636363636365e-06, + "loss": 6.291230773925781, + "step": 63740 + }, + { + "epoch": 0.04145, + "grad_norm": 9.268484115600586, + "learning_rate": 1.8311111111111113e-06, + "loss": 6.248701095581055, + "step": 63745 + }, + { + "epoch": 0.0415, + "grad_norm": 10.427882194519043, + "learning_rate": 1.830858585858586e-06, + "loss": 6.4011474609375, + "step": 63750 + }, + { + "epoch": 0.04155, + "grad_norm": 6.6828155517578125, + "learning_rate": 1.8306060606060608e-06, + "loss": 6.2243804931640625, + "step": 63755 + }, + { + "epoch": 0.0416, + "grad_norm": 5.97808313369751, + "learning_rate": 1.8303535353535354e-06, + "loss": 6.254096221923828, + "step": 63760 + }, + { + "epoch": 0.04165, + "grad_norm": 5.977655410766602, + "learning_rate": 1.8301010101010103e-06, + "loss": 6.243564605712891, + "step": 63765 + }, + { + "epoch": 0.0417, + "grad_norm": 5.0958356857299805, + "learning_rate": 1.829848484848485e-06, + "loss": 6.189931106567383, + "step": 63770 + }, + { + "epoch": 0.04175, + "grad_norm": 4.71998929977417, + "learning_rate": 1.8295959595959598e-06, + "loss": 6.277275085449219, + "step": 63775 + }, + { + "epoch": 0.0418, + "grad_norm": 6.286371231079102, + "learning_rate": 1.8293434343434344e-06, + "loss": 6.258329772949219, + "step": 63780 + }, + { + "epoch": 0.04185, + "grad_norm": 4.9238457679748535, + "learning_rate": 1.8290909090909092e-06, + "loss": 6.273722839355469, + "step": 63785 + }, + { + "epoch": 0.0419, + "grad_norm": 5.280450344085693, + "learning_rate": 1.8288383838383839e-06, + "loss": 6.239279937744141, + "step": 63790 + }, + { + "epoch": 0.04195, + "grad_norm": 7.784715175628662, + "learning_rate": 1.8285858585858587e-06, + "loss": 6.231131744384766, + "step": 63795 + }, + { + "epoch": 0.042, + "grad_norm": 3.2942988872528076, + "learning_rate": 1.8283333333333333e-06, + "loss": 6.2681537628173825, + "step": 63800 + }, + { + "epoch": 0.04205, + "grad_norm": 3.945326805114746, + "learning_rate": 1.8280808080808082e-06, + "loss": 6.232179260253906, + "step": 63805 + }, + { + "epoch": 0.0421, + "grad_norm": 8.162704467773438, + "learning_rate": 1.8278282828282828e-06, + "loss": 6.2393440246582035, + "step": 63810 + }, + { + "epoch": 0.04215, + "grad_norm": 26.146692276000977, + "learning_rate": 1.8275757575757576e-06, + "loss": 6.506771850585937, + "step": 63815 + }, + { + "epoch": 0.0422, + "grad_norm": 4.920234680175781, + "learning_rate": 1.8273232323232327e-06, + "loss": 6.247260284423828, + "step": 63820 + }, + { + "epoch": 0.04225, + "grad_norm": 5.24242639541626, + "learning_rate": 1.8270707070707071e-06, + "loss": 6.265586471557617, + "step": 63825 + }, + { + "epoch": 0.0423, + "grad_norm": 5.7620368003845215, + "learning_rate": 1.8268181818181822e-06, + "loss": 6.527190399169922, + "step": 63830 + }, + { + "epoch": 0.04235, + "grad_norm": 9.031364440917969, + "learning_rate": 1.8265656565656568e-06, + "loss": 6.3147529602050785, + "step": 63835 + }, + { + "epoch": 0.0424, + "grad_norm": 12.51961612701416, + "learning_rate": 1.8263131313131316e-06, + "loss": 6.3748432159423825, + "step": 63840 + }, + { + "epoch": 0.04245, + "grad_norm": 7.7886834144592285, + "learning_rate": 1.8260606060606063e-06, + "loss": 6.502082061767578, + "step": 63845 + }, + { + "epoch": 0.0425, + "grad_norm": 5.371231555938721, + "learning_rate": 1.8258080808080811e-06, + "loss": 6.253247833251953, + "step": 63850 + }, + { + "epoch": 0.04255, + "grad_norm": 11.773390769958496, + "learning_rate": 1.8255555555555557e-06, + "loss": 6.3622886657714846, + "step": 63855 + }, + { + "epoch": 0.0426, + "grad_norm": 6.088590145111084, + "learning_rate": 1.8253030303030306e-06, + "loss": 6.231707763671875, + "step": 63860 + }, + { + "epoch": 0.04265, + "grad_norm": 14.321440696716309, + "learning_rate": 1.8250505050505052e-06, + "loss": 6.861228179931641, + "step": 63865 + }, + { + "epoch": 0.0427, + "grad_norm": 8.052658081054688, + "learning_rate": 1.82479797979798e-06, + "loss": 6.253096008300782, + "step": 63870 + }, + { + "epoch": 0.04275, + "grad_norm": 4.610217094421387, + "learning_rate": 1.8245454545454547e-06, + "loss": 6.228322982788086, + "step": 63875 + }, + { + "epoch": 0.0428, + "grad_norm": 7.374529838562012, + "learning_rate": 1.8242929292929295e-06, + "loss": 6.220591354370117, + "step": 63880 + }, + { + "epoch": 0.04285, + "grad_norm": 7.82834529876709, + "learning_rate": 1.8240404040404042e-06, + "loss": 6.252062606811523, + "step": 63885 + }, + { + "epoch": 0.0429, + "grad_norm": 8.5219087600708, + "learning_rate": 1.823787878787879e-06, + "loss": 6.490788269042969, + "step": 63890 + }, + { + "epoch": 0.04295, + "grad_norm": 6.682433128356934, + "learning_rate": 1.8235353535353536e-06, + "loss": 6.367348098754883, + "step": 63895 + }, + { + "epoch": 0.043, + "grad_norm": 3.6663296222686768, + "learning_rate": 1.8232828282828285e-06, + "loss": 6.2537586212158205, + "step": 63900 + }, + { + "epoch": 0.04305, + "grad_norm": 7.389737129211426, + "learning_rate": 1.8230303030303031e-06, + "loss": 6.261312484741211, + "step": 63905 + }, + { + "epoch": 0.0431, + "grad_norm": 9.73507022857666, + "learning_rate": 1.822777777777778e-06, + "loss": 6.240570831298828, + "step": 63910 + }, + { + "epoch": 0.04315, + "grad_norm": 6.065658092498779, + "learning_rate": 1.8225252525252526e-06, + "loss": 6.279478454589844, + "step": 63915 + }, + { + "epoch": 0.0432, + "grad_norm": 6.460761547088623, + "learning_rate": 1.8222727272727274e-06, + "loss": 6.275661849975586, + "step": 63920 + }, + { + "epoch": 0.04325, + "grad_norm": 6.009379863739014, + "learning_rate": 1.822020202020202e-06, + "loss": 6.231656646728515, + "step": 63925 + }, + { + "epoch": 0.0433, + "grad_norm": 5.845779895782471, + "learning_rate": 1.821767676767677e-06, + "loss": 6.246223449707031, + "step": 63930 + }, + { + "epoch": 0.04335, + "grad_norm": 15.77898120880127, + "learning_rate": 1.8215151515151515e-06, + "loss": 6.459068298339844, + "step": 63935 + }, + { + "epoch": 0.0434, + "grad_norm": 4.352250576019287, + "learning_rate": 1.8212626262626266e-06, + "loss": 6.305323791503906, + "step": 63940 + }, + { + "epoch": 0.04345, + "grad_norm": 3.0947747230529785, + "learning_rate": 1.8210101010101012e-06, + "loss": 6.228583145141601, + "step": 63945 + }, + { + "epoch": 0.0435, + "grad_norm": 21.288347244262695, + "learning_rate": 1.820757575757576e-06, + "loss": 6.331330490112305, + "step": 63950 + }, + { + "epoch": 0.04355, + "grad_norm": 5.53897762298584, + "learning_rate": 1.8205050505050507e-06, + "loss": 6.266426467895508, + "step": 63955 + }, + { + "epoch": 0.0436, + "grad_norm": 6.8038554191589355, + "learning_rate": 1.8202525252525255e-06, + "loss": 6.313303375244141, + "step": 63960 + }, + { + "epoch": 0.04365, + "grad_norm": 5.390533447265625, + "learning_rate": 1.8200000000000002e-06, + "loss": 6.179523468017578, + "step": 63965 + }, + { + "epoch": 0.0437, + "grad_norm": 5.600951194763184, + "learning_rate": 1.819747474747475e-06, + "loss": 6.240968322753906, + "step": 63970 + }, + { + "epoch": 0.04375, + "grad_norm": 6.536344528198242, + "learning_rate": 1.8194949494949496e-06, + "loss": 6.294186401367187, + "step": 63975 + }, + { + "epoch": 0.0438, + "grad_norm": 11.76267147064209, + "learning_rate": 1.8192424242424245e-06, + "loss": 6.206294250488281, + "step": 63980 + }, + { + "epoch": 0.04385, + "grad_norm": 7.255908012390137, + "learning_rate": 1.818989898989899e-06, + "loss": 6.292045974731446, + "step": 63985 + }, + { + "epoch": 0.0439, + "grad_norm": 4.3932085037231445, + "learning_rate": 1.818737373737374e-06, + "loss": 6.284463500976562, + "step": 63990 + }, + { + "epoch": 0.04395, + "grad_norm": 6.843501567840576, + "learning_rate": 1.8184848484848486e-06, + "loss": 6.203104400634766, + "step": 63995 + }, + { + "epoch": 0.044, + "grad_norm": 9.345640182495117, + "learning_rate": 1.8182323232323234e-06, + "loss": 6.195814514160157, + "step": 64000 + }, + { + "epoch": 0.04405, + "grad_norm": 9.997307777404785, + "learning_rate": 1.817979797979798e-06, + "loss": 6.254281997680664, + "step": 64005 + }, + { + "epoch": 0.0441, + "grad_norm": 5.298280715942383, + "learning_rate": 1.8177272727272729e-06, + "loss": 6.314870834350586, + "step": 64010 + }, + { + "epoch": 0.04415, + "grad_norm": 13.183037757873535, + "learning_rate": 1.8174747474747475e-06, + "loss": 6.277528381347656, + "step": 64015 + }, + { + "epoch": 0.0442, + "grad_norm": 10.565498352050781, + "learning_rate": 1.8172222222222224e-06, + "loss": 6.254827880859375, + "step": 64020 + }, + { + "epoch": 0.04425, + "grad_norm": 5.355894088745117, + "learning_rate": 1.816969696969697e-06, + "loss": 6.264015960693359, + "step": 64025 + }, + { + "epoch": 0.0443, + "grad_norm": 8.776520729064941, + "learning_rate": 1.816717171717172e-06, + "loss": 6.2912445068359375, + "step": 64030 + }, + { + "epoch": 0.04435, + "grad_norm": 6.43766450881958, + "learning_rate": 1.8164646464646465e-06, + "loss": 6.267041015625, + "step": 64035 + }, + { + "epoch": 0.0444, + "grad_norm": 6.233709812164307, + "learning_rate": 1.8162121212121215e-06, + "loss": 6.387623596191406, + "step": 64040 + }, + { + "epoch": 0.04445, + "grad_norm": 9.299727439880371, + "learning_rate": 1.8159595959595961e-06, + "loss": 6.2385498046875, + "step": 64045 + }, + { + "epoch": 0.0445, + "grad_norm": 8.3668794631958, + "learning_rate": 1.815707070707071e-06, + "loss": 6.234900665283203, + "step": 64050 + }, + { + "epoch": 0.04455, + "grad_norm": 6.243688106536865, + "learning_rate": 1.8154545454545456e-06, + "loss": 6.203908157348633, + "step": 64055 + }, + { + "epoch": 0.0446, + "grad_norm": 7.142633438110352, + "learning_rate": 1.8152020202020205e-06, + "loss": 6.294619750976563, + "step": 64060 + }, + { + "epoch": 0.04465, + "grad_norm": 6.378704071044922, + "learning_rate": 1.814949494949495e-06, + "loss": 6.212623214721679, + "step": 64065 + }, + { + "epoch": 0.0447, + "grad_norm": 14.410196304321289, + "learning_rate": 1.81469696969697e-06, + "loss": 6.2584785461425785, + "step": 64070 + }, + { + "epoch": 0.04475, + "grad_norm": 4.522699356079102, + "learning_rate": 1.8144444444444446e-06, + "loss": 6.2280632019042965, + "step": 64075 + }, + { + "epoch": 0.0448, + "grad_norm": 4.692818641662598, + "learning_rate": 1.8141919191919194e-06, + "loss": 6.268125915527344, + "step": 64080 + }, + { + "epoch": 0.04485, + "grad_norm": 8.945298194885254, + "learning_rate": 1.813939393939394e-06, + "loss": 6.305958557128906, + "step": 64085 + }, + { + "epoch": 0.0449, + "grad_norm": 5.300865650177002, + "learning_rate": 1.8136868686868689e-06, + "loss": 6.22606201171875, + "step": 64090 + }, + { + "epoch": 0.04495, + "grad_norm": 6.501276969909668, + "learning_rate": 1.8134343434343435e-06, + "loss": 6.244099426269531, + "step": 64095 + }, + { + "epoch": 0.045, + "grad_norm": 7.3417534828186035, + "learning_rate": 1.8131818181818183e-06, + "loss": 6.259761810302734, + "step": 64100 + }, + { + "epoch": 0.04505, + "grad_norm": 4.4701642990112305, + "learning_rate": 1.812929292929293e-06, + "loss": 6.4082481384277346, + "step": 64105 + }, + { + "epoch": 0.0451, + "grad_norm": 6.463104724884033, + "learning_rate": 1.8126767676767678e-06, + "loss": 6.355242919921875, + "step": 64110 + }, + { + "epoch": 0.04515, + "grad_norm": 3.614912986755371, + "learning_rate": 1.8124242424242424e-06, + "loss": 6.241604614257812, + "step": 64115 + }, + { + "epoch": 0.0452, + "grad_norm": 5.286493301391602, + "learning_rate": 1.8121717171717173e-06, + "loss": 6.243497467041015, + "step": 64120 + }, + { + "epoch": 0.04525, + "grad_norm": 5.6884589195251465, + "learning_rate": 1.811919191919192e-06, + "loss": 6.219822692871094, + "step": 64125 + }, + { + "epoch": 0.0453, + "grad_norm": 6.172665596008301, + "learning_rate": 1.8116666666666668e-06, + "loss": 6.242216873168945, + "step": 64130 + }, + { + "epoch": 0.04535, + "grad_norm": 5.135211944580078, + "learning_rate": 1.8114141414141414e-06, + "loss": 6.2486015319824215, + "step": 64135 + }, + { + "epoch": 0.0454, + "grad_norm": 8.020879745483398, + "learning_rate": 1.8111616161616164e-06, + "loss": 6.220149230957031, + "step": 64140 + }, + { + "epoch": 0.04545, + "grad_norm": 3.277358055114746, + "learning_rate": 1.8109090909090909e-06, + "loss": 6.2524677276611325, + "step": 64145 + }, + { + "epoch": 0.0455, + "grad_norm": 5.319203853607178, + "learning_rate": 1.810656565656566e-06, + "loss": 6.243610382080078, + "step": 64150 + }, + { + "epoch": 0.04555, + "grad_norm": 9.518383026123047, + "learning_rate": 1.8104040404040405e-06, + "loss": 6.291757202148437, + "step": 64155 + }, + { + "epoch": 0.0456, + "grad_norm": 3.94065260887146, + "learning_rate": 1.8101515151515154e-06, + "loss": 6.229730224609375, + "step": 64160 + }, + { + "epoch": 0.04565, + "grad_norm": 6.425050258636475, + "learning_rate": 1.80989898989899e-06, + "loss": 6.257107925415039, + "step": 64165 + }, + { + "epoch": 0.0457, + "grad_norm": 4.495912551879883, + "learning_rate": 1.8096464646464649e-06, + "loss": 6.226162719726562, + "step": 64170 + }, + { + "epoch": 0.04575, + "grad_norm": 7.890367031097412, + "learning_rate": 1.8093939393939395e-06, + "loss": 6.243947219848633, + "step": 64175 + }, + { + "epoch": 0.0458, + "grad_norm": 5.029972553253174, + "learning_rate": 1.8091414141414143e-06, + "loss": 6.24165153503418, + "step": 64180 + }, + { + "epoch": 0.04585, + "grad_norm": 9.792916297912598, + "learning_rate": 1.808888888888889e-06, + "loss": 6.271401214599609, + "step": 64185 + }, + { + "epoch": 0.0459, + "grad_norm": 5.123444080352783, + "learning_rate": 1.8086363636363638e-06, + "loss": 6.258549499511719, + "step": 64190 + }, + { + "epoch": 0.04595, + "grad_norm": 7.586676597595215, + "learning_rate": 1.8083838383838384e-06, + "loss": 6.20000114440918, + "step": 64195 + }, + { + "epoch": 0.046, + "grad_norm": 6.342522144317627, + "learning_rate": 1.8081313131313133e-06, + "loss": 6.233256530761719, + "step": 64200 + }, + { + "epoch": 0.04605, + "grad_norm": 9.468435287475586, + "learning_rate": 1.807878787878788e-06, + "loss": 6.2350818634033205, + "step": 64205 + }, + { + "epoch": 0.0461, + "grad_norm": 5.433266639709473, + "learning_rate": 1.8076262626262627e-06, + "loss": 6.233349609375, + "step": 64210 + }, + { + "epoch": 0.04615, + "grad_norm": 10.761374473571777, + "learning_rate": 1.8073737373737374e-06, + "loss": 6.2744590759277346, + "step": 64215 + }, + { + "epoch": 0.0462, + "grad_norm": 6.138106822967529, + "learning_rate": 1.8071212121212122e-06, + "loss": 6.197789001464844, + "step": 64220 + }, + { + "epoch": 0.04625, + "grad_norm": 5.6526312828063965, + "learning_rate": 1.8068686868686868e-06, + "loss": 6.2651512145996096, + "step": 64225 + }, + { + "epoch": 0.0463, + "grad_norm": 5.2215471267700195, + "learning_rate": 1.8066161616161617e-06, + "loss": 6.234880065917968, + "step": 64230 + }, + { + "epoch": 0.04635, + "grad_norm": 7.518875598907471, + "learning_rate": 1.8063636363636363e-06, + "loss": 6.230785369873047, + "step": 64235 + }, + { + "epoch": 0.0464, + "grad_norm": 5.43435525894165, + "learning_rate": 1.8061111111111112e-06, + "loss": 6.298881149291992, + "step": 64240 + }, + { + "epoch": 0.04645, + "grad_norm": 26.36265754699707, + "learning_rate": 1.8058585858585862e-06, + "loss": 6.271054458618164, + "step": 64245 + }, + { + "epoch": 0.0465, + "grad_norm": 4.390528202056885, + "learning_rate": 1.8056060606060608e-06, + "loss": 6.243636703491211, + "step": 64250 + }, + { + "epoch": 0.04655, + "grad_norm": 8.808510780334473, + "learning_rate": 1.8053535353535357e-06, + "loss": 6.184375762939453, + "step": 64255 + }, + { + "epoch": 0.0466, + "grad_norm": 6.59709358215332, + "learning_rate": 1.8051010101010103e-06, + "loss": 6.256897354125977, + "step": 64260 + }, + { + "epoch": 0.04665, + "grad_norm": 4.84901762008667, + "learning_rate": 1.8048484848484852e-06, + "loss": 6.238007736206055, + "step": 64265 + }, + { + "epoch": 0.0467, + "grad_norm": 4.723090171813965, + "learning_rate": 1.8045959595959598e-06, + "loss": 6.255257797241211, + "step": 64270 + }, + { + "epoch": 0.04675, + "grad_norm": 4.052208423614502, + "learning_rate": 1.8043434343434346e-06, + "loss": 6.268461227416992, + "step": 64275 + }, + { + "epoch": 0.0468, + "grad_norm": 9.277946472167969, + "learning_rate": 1.8040909090909093e-06, + "loss": 6.264738845825195, + "step": 64280 + }, + { + "epoch": 0.04685, + "grad_norm": 6.915939807891846, + "learning_rate": 1.803838383838384e-06, + "loss": 6.256756591796875, + "step": 64285 + }, + { + "epoch": 0.0469, + "grad_norm": 7.7435712814331055, + "learning_rate": 1.8035858585858587e-06, + "loss": 6.212151718139649, + "step": 64290 + }, + { + "epoch": 0.04695, + "grad_norm": 5.358702182769775, + "learning_rate": 1.8033333333333336e-06, + "loss": 6.360283660888672, + "step": 64295 + }, + { + "epoch": 0.047, + "grad_norm": 8.968027114868164, + "learning_rate": 1.8030808080808082e-06, + "loss": 6.258599853515625, + "step": 64300 + }, + { + "epoch": 0.04705, + "grad_norm": 7.886824607849121, + "learning_rate": 1.802828282828283e-06, + "loss": 6.249900817871094, + "step": 64305 + }, + { + "epoch": 0.0471, + "grad_norm": 7.484749794006348, + "learning_rate": 1.8025757575757577e-06, + "loss": 6.251715469360351, + "step": 64310 + }, + { + "epoch": 0.04715, + "grad_norm": 7.379101276397705, + "learning_rate": 1.8023232323232325e-06, + "loss": 6.336040496826172, + "step": 64315 + }, + { + "epoch": 0.0472, + "grad_norm": 13.912994384765625, + "learning_rate": 1.8020707070707071e-06, + "loss": 6.260861587524414, + "step": 64320 + }, + { + "epoch": 0.04725, + "grad_norm": 6.15310001373291, + "learning_rate": 1.801818181818182e-06, + "loss": 6.194292831420898, + "step": 64325 + }, + { + "epoch": 0.0473, + "grad_norm": 18.302181243896484, + "learning_rate": 1.8015656565656566e-06, + "loss": 6.4917457580566404, + "step": 64330 + }, + { + "epoch": 0.04735, + "grad_norm": 12.668583869934082, + "learning_rate": 1.8013131313131317e-06, + "loss": 6.7390495300292965, + "step": 64335 + }, + { + "epoch": 0.0474, + "grad_norm": 7.250110626220703, + "learning_rate": 1.801060606060606e-06, + "loss": 6.350239181518555, + "step": 64340 + }, + { + "epoch": 0.04745, + "grad_norm": 7.809356212615967, + "learning_rate": 1.8008080808080811e-06, + "loss": 6.247915649414063, + "step": 64345 + }, + { + "epoch": 0.0475, + "grad_norm": 5.9174933433532715, + "learning_rate": 1.8005555555555556e-06, + "loss": 6.234493255615234, + "step": 64350 + }, + { + "epoch": 0.04755, + "grad_norm": 4.951122760772705, + "learning_rate": 1.8003030303030306e-06, + "loss": 6.236125564575195, + "step": 64355 + }, + { + "epoch": 0.0476, + "grad_norm": 7.015044212341309, + "learning_rate": 1.8000505050505052e-06, + "loss": 6.2691089630126955, + "step": 64360 + }, + { + "epoch": 0.04765, + "grad_norm": 13.557948112487793, + "learning_rate": 1.79979797979798e-06, + "loss": 6.274773406982422, + "step": 64365 + }, + { + "epoch": 0.0477, + "grad_norm": 7.5015411376953125, + "learning_rate": 1.7995454545454547e-06, + "loss": 6.234795379638672, + "step": 64370 + }, + { + "epoch": 0.04775, + "grad_norm": 6.1997456550598145, + "learning_rate": 1.7992929292929296e-06, + "loss": 6.273141860961914, + "step": 64375 + }, + { + "epoch": 0.0478, + "grad_norm": 7.205848693847656, + "learning_rate": 1.7990404040404042e-06, + "loss": 6.2300464630126955, + "step": 64380 + }, + { + "epoch": 0.04785, + "grad_norm": 9.958065032958984, + "learning_rate": 1.798787878787879e-06, + "loss": 6.235015487670898, + "step": 64385 + }, + { + "epoch": 0.0479, + "grad_norm": 6.007519721984863, + "learning_rate": 1.7985353535353537e-06, + "loss": 6.258592987060547, + "step": 64390 + }, + { + "epoch": 0.04795, + "grad_norm": 10.017556190490723, + "learning_rate": 1.7982828282828285e-06, + "loss": 6.286162185668945, + "step": 64395 + }, + { + "epoch": 0.048, + "grad_norm": 11.313971519470215, + "learning_rate": 1.7980303030303031e-06, + "loss": 6.287919235229492, + "step": 64400 + }, + { + "epoch": 0.04805, + "grad_norm": 8.539130210876465, + "learning_rate": 1.797777777777778e-06, + "loss": 6.370859909057617, + "step": 64405 + }, + { + "epoch": 0.0481, + "grad_norm": 8.193318367004395, + "learning_rate": 1.7975252525252526e-06, + "loss": 6.271310806274414, + "step": 64410 + }, + { + "epoch": 0.04815, + "grad_norm": 9.825521469116211, + "learning_rate": 1.7972727272727274e-06, + "loss": 6.2269134521484375, + "step": 64415 + }, + { + "epoch": 0.0482, + "grad_norm": 4.840420722961426, + "learning_rate": 1.797020202020202e-06, + "loss": 6.299693298339844, + "step": 64420 + }, + { + "epoch": 0.04825, + "grad_norm": 5.788722991943359, + "learning_rate": 1.796767676767677e-06, + "loss": 6.251481628417968, + "step": 64425 + }, + { + "epoch": 0.0483, + "grad_norm": 5.572360992431641, + "learning_rate": 1.7965151515151516e-06, + "loss": 6.306673812866211, + "step": 64430 + }, + { + "epoch": 0.04835, + "grad_norm": 8.961752891540527, + "learning_rate": 1.7962626262626264e-06, + "loss": 6.1793701171875, + "step": 64435 + }, + { + "epoch": 0.0484, + "grad_norm": 5.433196544647217, + "learning_rate": 1.796010101010101e-06, + "loss": 6.302726745605469, + "step": 64440 + }, + { + "epoch": 0.04845, + "grad_norm": 7.031136512756348, + "learning_rate": 1.795757575757576e-06, + "loss": 6.324901580810547, + "step": 64445 + }, + { + "epoch": 0.0485, + "grad_norm": 10.489356994628906, + "learning_rate": 1.7955050505050505e-06, + "loss": 6.272932052612305, + "step": 64450 + }, + { + "epoch": 0.04855, + "grad_norm": 4.883767604827881, + "learning_rate": 1.7952525252525255e-06, + "loss": 6.234714126586914, + "step": 64455 + }, + { + "epoch": 0.0486, + "grad_norm": 4.630354404449463, + "learning_rate": 1.7950000000000002e-06, + "loss": 6.268260192871094, + "step": 64460 + }, + { + "epoch": 0.04865, + "grad_norm": 8.103524208068848, + "learning_rate": 1.794747474747475e-06, + "loss": 6.27485237121582, + "step": 64465 + }, + { + "epoch": 0.0487, + "grad_norm": 10.122710227966309, + "learning_rate": 1.7944949494949497e-06, + "loss": 6.24609603881836, + "step": 64470 + }, + { + "epoch": 0.04875, + "grad_norm": 5.117050647735596, + "learning_rate": 1.7942424242424245e-06, + "loss": 6.234374237060547, + "step": 64475 + }, + { + "epoch": 0.0488, + "grad_norm": 4.391269683837891, + "learning_rate": 1.7939898989898991e-06, + "loss": 6.2415283203125, + "step": 64480 + }, + { + "epoch": 0.04885, + "grad_norm": 3.372833013534546, + "learning_rate": 1.793737373737374e-06, + "loss": 6.191271209716797, + "step": 64485 + }, + { + "epoch": 0.0489, + "grad_norm": 4.341271877288818, + "learning_rate": 1.7934848484848486e-06, + "loss": 6.318022537231445, + "step": 64490 + }, + { + "epoch": 0.04895, + "grad_norm": 3.68121600151062, + "learning_rate": 1.7932323232323234e-06, + "loss": 6.230024337768555, + "step": 64495 + }, + { + "epoch": 0.049, + "grad_norm": 4.742092609405518, + "learning_rate": 1.792979797979798e-06, + "loss": 6.307786560058593, + "step": 64500 + }, + { + "epoch": 0.04905, + "grad_norm": 7.395102024078369, + "learning_rate": 1.792727272727273e-06, + "loss": 6.228709411621094, + "step": 64505 + }, + { + "epoch": 0.0491, + "grad_norm": 7.171814918518066, + "learning_rate": 1.7924747474747475e-06, + "loss": 6.242545700073242, + "step": 64510 + }, + { + "epoch": 0.04915, + "grad_norm": 3.840628147125244, + "learning_rate": 1.7922222222222224e-06, + "loss": 6.245962524414063, + "step": 64515 + }, + { + "epoch": 0.0492, + "grad_norm": 6.538686752319336, + "learning_rate": 1.791969696969697e-06, + "loss": 6.270323944091797, + "step": 64520 + }, + { + "epoch": 0.04925, + "grad_norm": 3.508136034011841, + "learning_rate": 1.7917171717171719e-06, + "loss": 6.195792770385742, + "step": 64525 + }, + { + "epoch": 0.0493, + "grad_norm": 3.7954728603363037, + "learning_rate": 1.7914646464646465e-06, + "loss": 6.217453384399414, + "step": 64530 + }, + { + "epoch": 0.04935, + "grad_norm": 7.118030071258545, + "learning_rate": 1.7912121212121213e-06, + "loss": 6.234273910522461, + "step": 64535 + }, + { + "epoch": 0.0494, + "grad_norm": 10.035820007324219, + "learning_rate": 1.790959595959596e-06, + "loss": 6.249651336669922, + "step": 64540 + }, + { + "epoch": 0.04945, + "grad_norm": 6.003922939300537, + "learning_rate": 1.7907070707070708e-06, + "loss": 6.234181976318359, + "step": 64545 + }, + { + "epoch": 0.0495, + "grad_norm": 5.361344337463379, + "learning_rate": 1.7904545454545454e-06, + "loss": 6.226123809814453, + "step": 64550 + }, + { + "epoch": 0.04955, + "grad_norm": 8.818748474121094, + "learning_rate": 1.7902020202020205e-06, + "loss": 6.309692764282227, + "step": 64555 + }, + { + "epoch": 0.0496, + "grad_norm": 8.264819145202637, + "learning_rate": 1.789949494949495e-06, + "loss": 6.294614028930664, + "step": 64560 + }, + { + "epoch": 0.04965, + "grad_norm": 7.680489540100098, + "learning_rate": 1.78969696969697e-06, + "loss": 6.2266845703125, + "step": 64565 + }, + { + "epoch": 0.0497, + "grad_norm": 4.940861701965332, + "learning_rate": 1.7894444444444446e-06, + "loss": 6.219209671020508, + "step": 64570 + }, + { + "epoch": 0.04975, + "grad_norm": 11.48792552947998, + "learning_rate": 1.7891919191919194e-06, + "loss": 6.2937675476074215, + "step": 64575 + }, + { + "epoch": 0.0498, + "grad_norm": 5.042182922363281, + "learning_rate": 1.788939393939394e-06, + "loss": 6.223870468139649, + "step": 64580 + }, + { + "epoch": 0.04985, + "grad_norm": 5.191922664642334, + "learning_rate": 1.788686868686869e-06, + "loss": 6.2314308166503904, + "step": 64585 + }, + { + "epoch": 0.0499, + "grad_norm": 7.447678565979004, + "learning_rate": 1.7884343434343435e-06, + "loss": 6.356531143188477, + "step": 64590 + }, + { + "epoch": 0.04995, + "grad_norm": 10.372215270996094, + "learning_rate": 1.7881818181818184e-06, + "loss": 6.223954391479492, + "step": 64595 + }, + { + "epoch": 0.05, + "grad_norm": 8.507596015930176, + "learning_rate": 1.787929292929293e-06, + "loss": 6.296051025390625, + "step": 64600 + }, + { + "epoch": 0.05005, + "grad_norm": 46.37196731567383, + "learning_rate": 1.7876767676767678e-06, + "loss": 6.250182723999023, + "step": 64605 + }, + { + "epoch": 0.0501, + "grad_norm": 8.669857025146484, + "learning_rate": 1.7874242424242425e-06, + "loss": 6.303602981567383, + "step": 64610 + }, + { + "epoch": 0.05015, + "grad_norm": 7.901124000549316, + "learning_rate": 1.7871717171717173e-06, + "loss": 6.232662200927734, + "step": 64615 + }, + { + "epoch": 0.0502, + "grad_norm": 6.462088584899902, + "learning_rate": 1.786919191919192e-06, + "loss": 6.28046875, + "step": 64620 + }, + { + "epoch": 0.05025, + "grad_norm": 9.917712211608887, + "learning_rate": 1.7866666666666668e-06, + "loss": 6.199420547485351, + "step": 64625 + }, + { + "epoch": 0.0503, + "grad_norm": 5.8288421630859375, + "learning_rate": 1.7864141414141414e-06, + "loss": 6.223270034790039, + "step": 64630 + }, + { + "epoch": 0.05035, + "grad_norm": 7.006783962249756, + "learning_rate": 1.7861616161616163e-06, + "loss": 6.255004501342773, + "step": 64635 + }, + { + "epoch": 0.0504, + "grad_norm": 3.440261125564575, + "learning_rate": 1.7859090909090909e-06, + "loss": 6.243783950805664, + "step": 64640 + }, + { + "epoch": 0.05045, + "grad_norm": 5.6720356941223145, + "learning_rate": 1.7856565656565657e-06, + "loss": 6.235412216186523, + "step": 64645 + }, + { + "epoch": 0.0505, + "grad_norm": 6.531790256500244, + "learning_rate": 1.7854040404040404e-06, + "loss": 6.19392204284668, + "step": 64650 + }, + { + "epoch": 0.05055, + "grad_norm": 7.856037616729736, + "learning_rate": 1.7851515151515152e-06, + "loss": 6.303317260742188, + "step": 64655 + }, + { + "epoch": 0.0506, + "grad_norm": 16.065967559814453, + "learning_rate": 1.7848989898989898e-06, + "loss": 6.254555511474609, + "step": 64660 + }, + { + "epoch": 0.05065, + "grad_norm": 6.44582986831665, + "learning_rate": 1.7846464646464649e-06, + "loss": 6.324856185913086, + "step": 64665 + }, + { + "epoch": 0.0507, + "grad_norm": 6.935845375061035, + "learning_rate": 1.7843939393939397e-06, + "loss": 6.249081420898437, + "step": 64670 + }, + { + "epoch": 0.05075, + "grad_norm": 6.977933883666992, + "learning_rate": 1.7841414141414144e-06, + "loss": 6.298194885253906, + "step": 64675 + }, + { + "epoch": 0.0508, + "grad_norm": 6.822606086730957, + "learning_rate": 1.7838888888888892e-06, + "loss": 6.457970428466797, + "step": 64680 + }, + { + "epoch": 0.05085, + "grad_norm": 8.780726432800293, + "learning_rate": 1.7836363636363638e-06, + "loss": 6.256601715087891, + "step": 64685 + }, + { + "epoch": 0.0509, + "grad_norm": 4.779819965362549, + "learning_rate": 1.7833838383838387e-06, + "loss": 6.246327972412109, + "step": 64690 + }, + { + "epoch": 0.05095, + "grad_norm": 4.298603057861328, + "learning_rate": 1.7831313131313133e-06, + "loss": 6.262970352172852, + "step": 64695 + }, + { + "epoch": 0.051, + "grad_norm": 12.421082496643066, + "learning_rate": 1.7828787878787881e-06, + "loss": 6.24635009765625, + "step": 64700 + }, + { + "epoch": 0.05105, + "grad_norm": 4.790146350860596, + "learning_rate": 1.7826262626262628e-06, + "loss": 6.202412033081055, + "step": 64705 + }, + { + "epoch": 0.0511, + "grad_norm": 7.055522918701172, + "learning_rate": 1.7823737373737376e-06, + "loss": 6.1795799255371096, + "step": 64710 + }, + { + "epoch": 0.05115, + "grad_norm": 5.128937721252441, + "learning_rate": 1.7821212121212122e-06, + "loss": 6.235145568847656, + "step": 64715 + }, + { + "epoch": 0.0512, + "grad_norm": 6.688382148742676, + "learning_rate": 1.781868686868687e-06, + "loss": 6.40643310546875, + "step": 64720 + }, + { + "epoch": 0.05125, + "grad_norm": 27.739639282226562, + "learning_rate": 1.7816161616161617e-06, + "loss": 6.339942932128906, + "step": 64725 + }, + { + "epoch": 0.0513, + "grad_norm": 8.215283393859863, + "learning_rate": 1.7813636363636366e-06, + "loss": 6.243391418457032, + "step": 64730 + }, + { + "epoch": 0.05135, + "grad_norm": 3.289060354232788, + "learning_rate": 1.7811111111111112e-06, + "loss": 6.235636901855469, + "step": 64735 + }, + { + "epoch": 0.0514, + "grad_norm": 4.831718444824219, + "learning_rate": 1.780858585858586e-06, + "loss": 6.283943557739258, + "step": 64740 + }, + { + "epoch": 0.05145, + "grad_norm": 9.551619529724121, + "learning_rate": 1.7806060606060607e-06, + "loss": 6.217580413818359, + "step": 64745 + }, + { + "epoch": 0.0515, + "grad_norm": 19.049104690551758, + "learning_rate": 1.7803535353535357e-06, + "loss": 6.340091323852539, + "step": 64750 + }, + { + "epoch": 0.05155, + "grad_norm": 8.852360725402832, + "learning_rate": 1.7801010101010101e-06, + "loss": 6.2475738525390625, + "step": 64755 + }, + { + "epoch": 0.0516, + "grad_norm": 5.774298191070557, + "learning_rate": 1.7798484848484852e-06, + "loss": 6.2245330810546875, + "step": 64760 + }, + { + "epoch": 0.05165, + "grad_norm": 3.9098498821258545, + "learning_rate": 1.7795959595959598e-06, + "loss": 6.23168716430664, + "step": 64765 + }, + { + "epoch": 0.0517, + "grad_norm": 3.2955873012542725, + "learning_rate": 1.7793434343434347e-06, + "loss": 6.243663787841797, + "step": 64770 + }, + { + "epoch": 0.05175, + "grad_norm": 7.757964611053467, + "learning_rate": 1.7790909090909093e-06, + "loss": 6.195045089721679, + "step": 64775 + }, + { + "epoch": 0.0518, + "grad_norm": 7.411890983581543, + "learning_rate": 1.7788383838383841e-06, + "loss": 6.229795837402344, + "step": 64780 + }, + { + "epoch": 0.05185, + "grad_norm": 10.650171279907227, + "learning_rate": 1.7785858585858588e-06, + "loss": 6.2251228332519535, + "step": 64785 + }, + { + "epoch": 0.0519, + "grad_norm": 4.916946887969971, + "learning_rate": 1.7783333333333336e-06, + "loss": 6.3251087188720705, + "step": 64790 + }, + { + "epoch": 0.05195, + "grad_norm": 5.128292083740234, + "learning_rate": 1.7780808080808082e-06, + "loss": 6.239251708984375, + "step": 64795 + }, + { + "epoch": 0.052, + "grad_norm": 5.555354595184326, + "learning_rate": 1.777828282828283e-06, + "loss": 6.222351837158203, + "step": 64800 + }, + { + "epoch": 0.05205, + "grad_norm": 7.305614948272705, + "learning_rate": 1.7775757575757577e-06, + "loss": 6.300971221923828, + "step": 64805 + }, + { + "epoch": 0.0521, + "grad_norm": 9.236101150512695, + "learning_rate": 1.7773232323232325e-06, + "loss": 6.219646453857422, + "step": 64810 + }, + { + "epoch": 0.05215, + "grad_norm": 6.320587635040283, + "learning_rate": 1.7770707070707072e-06, + "loss": 6.224132919311524, + "step": 64815 + }, + { + "epoch": 0.0522, + "grad_norm": 7.06455659866333, + "learning_rate": 1.776818181818182e-06, + "loss": 6.315763854980469, + "step": 64820 + }, + { + "epoch": 0.05225, + "grad_norm": 5.493971824645996, + "learning_rate": 1.7765656565656566e-06, + "loss": 6.275391387939453, + "step": 64825 + }, + { + "epoch": 0.0523, + "grad_norm": 6.960247039794922, + "learning_rate": 1.7763131313131315e-06, + "loss": 6.245594024658203, + "step": 64830 + }, + { + "epoch": 0.05235, + "grad_norm": 4.273688316345215, + "learning_rate": 1.7760606060606061e-06, + "loss": 6.2541862487792965, + "step": 64835 + }, + { + "epoch": 0.0524, + "grad_norm": 3.0775346755981445, + "learning_rate": 1.775808080808081e-06, + "loss": 6.251230239868164, + "step": 64840 + }, + { + "epoch": 0.05245, + "grad_norm": 5.006857395172119, + "learning_rate": 1.7755555555555556e-06, + "loss": 6.285615158081055, + "step": 64845 + }, + { + "epoch": 0.0525, + "grad_norm": 6.971516132354736, + "learning_rate": 1.7753030303030304e-06, + "loss": 6.201743316650391, + "step": 64850 + }, + { + "epoch": 0.05255, + "grad_norm": 4.527109146118164, + "learning_rate": 1.775050505050505e-06, + "loss": 6.252779388427735, + "step": 64855 + }, + { + "epoch": 0.0526, + "grad_norm": 7.515388488769531, + "learning_rate": 1.7747979797979801e-06, + "loss": 6.404304504394531, + "step": 64860 + }, + { + "epoch": 0.05265, + "grad_norm": 6.0596466064453125, + "learning_rate": 1.7745454545454545e-06, + "loss": 6.242582702636719, + "step": 64865 + }, + { + "epoch": 0.0527, + "grad_norm": 9.957716941833496, + "learning_rate": 1.7742929292929296e-06, + "loss": 6.265680313110352, + "step": 64870 + }, + { + "epoch": 0.05275, + "grad_norm": 6.789843559265137, + "learning_rate": 1.7740404040404042e-06, + "loss": 6.240800476074218, + "step": 64875 + }, + { + "epoch": 0.0528, + "grad_norm": 6.143019199371338, + "learning_rate": 1.773787878787879e-06, + "loss": 6.20985107421875, + "step": 64880 + }, + { + "epoch": 0.05285, + "grad_norm": 6.8597869873046875, + "learning_rate": 1.7735353535353537e-06, + "loss": 6.245920944213867, + "step": 64885 + }, + { + "epoch": 0.0529, + "grad_norm": 8.366990089416504, + "learning_rate": 1.7732828282828285e-06, + "loss": 6.240082168579102, + "step": 64890 + }, + { + "epoch": 0.05295, + "grad_norm": 5.885533332824707, + "learning_rate": 1.7730303030303032e-06, + "loss": 6.244680786132813, + "step": 64895 + }, + { + "epoch": 0.053, + "grad_norm": 4.373715877532959, + "learning_rate": 1.772777777777778e-06, + "loss": 6.178395843505859, + "step": 64900 + }, + { + "epoch": 0.05305, + "grad_norm": 8.773508071899414, + "learning_rate": 1.7725252525252526e-06, + "loss": 6.263991928100586, + "step": 64905 + }, + { + "epoch": 0.0531, + "grad_norm": 9.34281063079834, + "learning_rate": 1.7722727272727275e-06, + "loss": 6.187401199340821, + "step": 64910 + }, + { + "epoch": 0.05315, + "grad_norm": 6.722169876098633, + "learning_rate": 1.7720202020202021e-06, + "loss": 6.251068115234375, + "step": 64915 + }, + { + "epoch": 0.0532, + "grad_norm": 7.094295501708984, + "learning_rate": 1.771767676767677e-06, + "loss": 6.327795791625976, + "step": 64920 + }, + { + "epoch": 0.05325, + "grad_norm": 4.591699123382568, + "learning_rate": 1.7715151515151516e-06, + "loss": 6.263811492919922, + "step": 64925 + }, + { + "epoch": 0.0533, + "grad_norm": 12.243279457092285, + "learning_rate": 1.7712626262626264e-06, + "loss": 6.455361175537109, + "step": 64930 + }, + { + "epoch": 0.05335, + "grad_norm": 4.386172771453857, + "learning_rate": 1.771010101010101e-06, + "loss": 6.241432571411133, + "step": 64935 + }, + { + "epoch": 0.0534, + "grad_norm": 4.945713520050049, + "learning_rate": 1.7707575757575759e-06, + "loss": 6.2217052459716795, + "step": 64940 + }, + { + "epoch": 0.05345, + "grad_norm": 7.2462286949157715, + "learning_rate": 1.7705050505050505e-06, + "loss": 6.26311149597168, + "step": 64945 + }, + { + "epoch": 0.0535, + "grad_norm": 5.382934093475342, + "learning_rate": 1.7702525252525254e-06, + "loss": 6.242133331298828, + "step": 64950 + }, + { + "epoch": 0.05355, + "grad_norm": 7.027083873748779, + "learning_rate": 1.77e-06, + "loss": 6.181192016601562, + "step": 64955 + }, + { + "epoch": 0.0536, + "grad_norm": 5.542324542999268, + "learning_rate": 1.7697474747474748e-06, + "loss": 6.302117156982422, + "step": 64960 + }, + { + "epoch": 0.05365, + "grad_norm": 4.798008441925049, + "learning_rate": 1.7694949494949495e-06, + "loss": 6.309562301635742, + "step": 64965 + }, + { + "epoch": 0.0537, + "grad_norm": 5.425313472747803, + "learning_rate": 1.7692424242424245e-06, + "loss": 6.211037445068359, + "step": 64970 + }, + { + "epoch": 0.05375, + "grad_norm": 7.120856761932373, + "learning_rate": 1.768989898989899e-06, + "loss": 6.229544830322266, + "step": 64975 + }, + { + "epoch": 0.0538, + "grad_norm": 5.4461774826049805, + "learning_rate": 1.768737373737374e-06, + "loss": 6.240694427490235, + "step": 64980 + }, + { + "epoch": 0.05385, + "grad_norm": 5.010530948638916, + "learning_rate": 1.7684848484848486e-06, + "loss": 6.267343902587891, + "step": 64985 + }, + { + "epoch": 0.0539, + "grad_norm": 4.043389797210693, + "learning_rate": 1.7682323232323235e-06, + "loss": 6.243431091308594, + "step": 64990 + }, + { + "epoch": 0.05395, + "grad_norm": 3.2319393157958984, + "learning_rate": 1.767979797979798e-06, + "loss": 6.226934814453125, + "step": 64995 + }, + { + "epoch": 0.054, + "grad_norm": 7.241064548492432, + "learning_rate": 1.767727272727273e-06, + "loss": 6.258535385131836, + "step": 65000 + }, + { + "epoch": 0.05405, + "grad_norm": 26.696273803710938, + "learning_rate": 1.7674747474747476e-06, + "loss": 6.2677146911621096, + "step": 65005 + }, + { + "epoch": 0.0541, + "grad_norm": 3.7986257076263428, + "learning_rate": 1.7672222222222224e-06, + "loss": 6.188557434082031, + "step": 65010 + }, + { + "epoch": 0.05415, + "grad_norm": 16.835372924804688, + "learning_rate": 1.766969696969697e-06, + "loss": 6.2698108673095705, + "step": 65015 + }, + { + "epoch": 0.0542, + "grad_norm": 10.266523361206055, + "learning_rate": 1.7667171717171719e-06, + "loss": 6.220892333984375, + "step": 65020 + }, + { + "epoch": 0.05425, + "grad_norm": 13.395267486572266, + "learning_rate": 1.7664646464646465e-06, + "loss": 6.302743530273437, + "step": 65025 + }, + { + "epoch": 0.0543, + "grad_norm": 12.57806396484375, + "learning_rate": 1.7662121212121214e-06, + "loss": 6.195790863037109, + "step": 65030 + }, + { + "epoch": 0.05435, + "grad_norm": 5.192023277282715, + "learning_rate": 1.765959595959596e-06, + "loss": 6.270148849487304, + "step": 65035 + }, + { + "epoch": 0.0544, + "grad_norm": 11.057901382446289, + "learning_rate": 1.7657070707070708e-06, + "loss": 6.31196174621582, + "step": 65040 + }, + { + "epoch": 0.05445, + "grad_norm": 7.735151290893555, + "learning_rate": 1.7654545454545455e-06, + "loss": 6.296978759765625, + "step": 65045 + }, + { + "epoch": 0.0545, + "grad_norm": 6.178502559661865, + "learning_rate": 1.7652020202020203e-06, + "loss": 6.253580093383789, + "step": 65050 + }, + { + "epoch": 0.05455, + "grad_norm": 5.599023342132568, + "learning_rate": 1.764949494949495e-06, + "loss": 6.229573059082031, + "step": 65055 + }, + { + "epoch": 0.0546, + "grad_norm": 5.815474987030029, + "learning_rate": 1.7646969696969698e-06, + "loss": 6.231867980957031, + "step": 65060 + }, + { + "epoch": 0.05465, + "grad_norm": 6.612547397613525, + "learning_rate": 1.7644444444444444e-06, + "loss": 6.216616821289063, + "step": 65065 + }, + { + "epoch": 0.0547, + "grad_norm": 4.367131233215332, + "learning_rate": 1.7641919191919192e-06, + "loss": 6.2545013427734375, + "step": 65070 + }, + { + "epoch": 0.05475, + "grad_norm": 17.22922706604004, + "learning_rate": 1.7639393939393939e-06, + "loss": 6.279743576049805, + "step": 65075 + }, + { + "epoch": 0.0548, + "grad_norm": 9.515551567077637, + "learning_rate": 1.763686868686869e-06, + "loss": 6.280702209472656, + "step": 65080 + }, + { + "epoch": 0.05485, + "grad_norm": 7.440774440765381, + "learning_rate": 1.7634343434343433e-06, + "loss": 6.259157943725586, + "step": 65085 + }, + { + "epoch": 0.0549, + "grad_norm": 4.269670009613037, + "learning_rate": 1.7631818181818184e-06, + "loss": 6.224879455566406, + "step": 65090 + }, + { + "epoch": 0.05495, + "grad_norm": 8.478686332702637, + "learning_rate": 1.7629292929292932e-06, + "loss": 6.230297470092774, + "step": 65095 + }, + { + "epoch": 0.055, + "grad_norm": 8.339715003967285, + "learning_rate": 1.7626767676767679e-06, + "loss": 6.378755187988281, + "step": 65100 + }, + { + "epoch": 0.05505, + "grad_norm": 6.377094745635986, + "learning_rate": 1.7624242424242427e-06, + "loss": 6.2145942687988285, + "step": 65105 + }, + { + "epoch": 0.0551, + "grad_norm": 15.606830596923828, + "learning_rate": 1.7621717171717173e-06, + "loss": 6.250661468505859, + "step": 65110 + }, + { + "epoch": 0.05515, + "grad_norm": 8.128774642944336, + "learning_rate": 1.7619191919191922e-06, + "loss": 6.256118392944336, + "step": 65115 + }, + { + "epoch": 0.0552, + "grad_norm": 8.280364036560059, + "learning_rate": 1.7616666666666668e-06, + "loss": 6.238312149047852, + "step": 65120 + }, + { + "epoch": 0.05525, + "grad_norm": 4.0668745040893555, + "learning_rate": 1.7614141414141417e-06, + "loss": 6.263299942016602, + "step": 65125 + }, + { + "epoch": 0.0553, + "grad_norm": 5.653567314147949, + "learning_rate": 1.7611616161616163e-06, + "loss": 6.199816131591797, + "step": 65130 + }, + { + "epoch": 0.05535, + "grad_norm": 5.870588779449463, + "learning_rate": 1.7609090909090911e-06, + "loss": 6.246640014648437, + "step": 65135 + }, + { + "epoch": 0.0554, + "grad_norm": 4.311883449554443, + "learning_rate": 1.7606565656565658e-06, + "loss": 6.349324417114258, + "step": 65140 + }, + { + "epoch": 0.05545, + "grad_norm": 9.075450897216797, + "learning_rate": 1.7604040404040406e-06, + "loss": 6.2041065216064455, + "step": 65145 + }, + { + "epoch": 0.0555, + "grad_norm": 35.29816436767578, + "learning_rate": 1.7601515151515152e-06, + "loss": 6.394267272949219, + "step": 65150 + }, + { + "epoch": 0.05555, + "grad_norm": 7.161290168762207, + "learning_rate": 1.75989898989899e-06, + "loss": 6.285271072387696, + "step": 65155 + }, + { + "epoch": 0.0556, + "grad_norm": 9.267369270324707, + "learning_rate": 1.7596464646464647e-06, + "loss": 6.280790328979492, + "step": 65160 + }, + { + "epoch": 0.05565, + "grad_norm": 4.378617763519287, + "learning_rate": 1.7593939393939398e-06, + "loss": 6.275582122802734, + "step": 65165 + }, + { + "epoch": 0.0557, + "grad_norm": 6.996663570404053, + "learning_rate": 1.7591414141414142e-06, + "loss": 6.250347900390625, + "step": 65170 + }, + { + "epoch": 0.05575, + "grad_norm": 7.621191024780273, + "learning_rate": 1.7588888888888892e-06, + "loss": 6.23578109741211, + "step": 65175 + }, + { + "epoch": 0.0558, + "grad_norm": 6.664196014404297, + "learning_rate": 1.7586363636363639e-06, + "loss": 6.2061004638671875, + "step": 65180 + }, + { + "epoch": 0.05585, + "grad_norm": 7.320015907287598, + "learning_rate": 1.7583838383838387e-06, + "loss": 6.263908767700196, + "step": 65185 + }, + { + "epoch": 0.0559, + "grad_norm": 7.301239490509033, + "learning_rate": 1.7581313131313133e-06, + "loss": 6.212914276123047, + "step": 65190 + }, + { + "epoch": 0.05595, + "grad_norm": 7.317206382751465, + "learning_rate": 1.7578787878787882e-06, + "loss": 6.229571533203125, + "step": 65195 + }, + { + "epoch": 0.056, + "grad_norm": 7.691757678985596, + "learning_rate": 1.7576262626262628e-06, + "loss": 6.2297813415527346, + "step": 65200 + }, + { + "epoch": 0.05605, + "grad_norm": 10.988706588745117, + "learning_rate": 1.7573737373737376e-06, + "loss": 6.23254508972168, + "step": 65205 + }, + { + "epoch": 0.0561, + "grad_norm": 3.1193418502807617, + "learning_rate": 1.7571212121212123e-06, + "loss": 6.251005554199219, + "step": 65210 + }, + { + "epoch": 0.05615, + "grad_norm": 7.678251266479492, + "learning_rate": 1.7568686868686871e-06, + "loss": 6.226293563842773, + "step": 65215 + }, + { + "epoch": 0.0562, + "grad_norm": 5.0608391761779785, + "learning_rate": 1.7566161616161617e-06, + "loss": 6.256377410888672, + "step": 65220 + }, + { + "epoch": 0.05625, + "grad_norm": 5.273802757263184, + "learning_rate": 1.7563636363636366e-06, + "loss": 6.245328521728515, + "step": 65225 + }, + { + "epoch": 0.0563, + "grad_norm": 6.416277885437012, + "learning_rate": 1.7561111111111112e-06, + "loss": 6.160545730590821, + "step": 65230 + }, + { + "epoch": 0.05635, + "grad_norm": 8.066812515258789, + "learning_rate": 1.755858585858586e-06, + "loss": 6.289083862304688, + "step": 65235 + }, + { + "epoch": 0.0564, + "grad_norm": 3.3713459968566895, + "learning_rate": 1.7556060606060607e-06, + "loss": 6.218203353881836, + "step": 65240 + }, + { + "epoch": 0.05645, + "grad_norm": 4.418837547302246, + "learning_rate": 1.7553535353535355e-06, + "loss": 6.217873382568359, + "step": 65245 + }, + { + "epoch": 0.0565, + "grad_norm": 4.481410980224609, + "learning_rate": 1.7551010101010102e-06, + "loss": 6.259193420410156, + "step": 65250 + }, + { + "epoch": 0.05655, + "grad_norm": 26.36863899230957, + "learning_rate": 1.754848484848485e-06, + "loss": 6.352720260620117, + "step": 65255 + }, + { + "epoch": 0.0566, + "grad_norm": 5.605569839477539, + "learning_rate": 1.7545959595959596e-06, + "loss": 6.3834785461425785, + "step": 65260 + }, + { + "epoch": 0.05665, + "grad_norm": 7.638155937194824, + "learning_rate": 1.7543434343434345e-06, + "loss": 6.2399452209472654, + "step": 65265 + }, + { + "epoch": 0.0567, + "grad_norm": 6.658874988555908, + "learning_rate": 1.754090909090909e-06, + "loss": 6.171012115478516, + "step": 65270 + }, + { + "epoch": 0.05675, + "grad_norm": 3.781588554382324, + "learning_rate": 1.7538383838383842e-06, + "loss": 6.243976593017578, + "step": 65275 + }, + { + "epoch": 0.0568, + "grad_norm": 4.342329025268555, + "learning_rate": 1.7535858585858586e-06, + "loss": 6.236565399169922, + "step": 65280 + }, + { + "epoch": 0.05685, + "grad_norm": 9.173303604125977, + "learning_rate": 1.7533333333333336e-06, + "loss": 6.224419403076172, + "step": 65285 + }, + { + "epoch": 0.0569, + "grad_norm": 4.541243553161621, + "learning_rate": 1.7530808080808083e-06, + "loss": 6.2473808288574215, + "step": 65290 + }, + { + "epoch": 0.05695, + "grad_norm": 5.377750873565674, + "learning_rate": 1.752828282828283e-06, + "loss": 6.243883514404297, + "step": 65295 + }, + { + "epoch": 0.057, + "grad_norm": 4.883563995361328, + "learning_rate": 1.7525757575757577e-06, + "loss": 6.2430267333984375, + "step": 65300 + }, + { + "epoch": 0.05705, + "grad_norm": 6.090480804443359, + "learning_rate": 1.7523232323232326e-06, + "loss": 6.260042953491211, + "step": 65305 + }, + { + "epoch": 0.0571, + "grad_norm": 7.658328056335449, + "learning_rate": 1.7520707070707072e-06, + "loss": 6.208308410644531, + "step": 65310 + }, + { + "epoch": 0.05715, + "grad_norm": 5.936210632324219, + "learning_rate": 1.751818181818182e-06, + "loss": 6.207574844360352, + "step": 65315 + }, + { + "epoch": 0.0572, + "grad_norm": 8.979191780090332, + "learning_rate": 1.7515656565656567e-06, + "loss": 6.3198081970214846, + "step": 65320 + }, + { + "epoch": 0.05725, + "grad_norm": 6.674270153045654, + "learning_rate": 1.7513131313131315e-06, + "loss": 6.221415328979492, + "step": 65325 + }, + { + "epoch": 0.0573, + "grad_norm": 6.2063140869140625, + "learning_rate": 1.7510606060606061e-06, + "loss": 6.206269836425781, + "step": 65330 + }, + { + "epoch": 0.05735, + "grad_norm": 7.175876617431641, + "learning_rate": 1.750808080808081e-06, + "loss": 6.304767990112305, + "step": 65335 + }, + { + "epoch": 0.0574, + "grad_norm": 12.570212364196777, + "learning_rate": 1.7505555555555556e-06, + "loss": 6.253631973266602, + "step": 65340 + }, + { + "epoch": 0.05745, + "grad_norm": 4.5413498878479, + "learning_rate": 1.7503030303030305e-06, + "loss": 6.283907318115235, + "step": 65345 + }, + { + "epoch": 0.0575, + "grad_norm": 7.086191654205322, + "learning_rate": 1.750050505050505e-06, + "loss": 6.265770721435547, + "step": 65350 + }, + { + "epoch": 0.05755, + "grad_norm": 8.42487621307373, + "learning_rate": 1.74979797979798e-06, + "loss": 6.163114547729492, + "step": 65355 + }, + { + "epoch": 0.0576, + "grad_norm": 6.911253929138184, + "learning_rate": 1.7495454545454546e-06, + "loss": 6.250620651245117, + "step": 65360 + }, + { + "epoch": 0.05765, + "grad_norm": 4.658714294433594, + "learning_rate": 1.7492929292929294e-06, + "loss": 6.232027816772461, + "step": 65365 + }, + { + "epoch": 0.0577, + "grad_norm": 14.145217895507812, + "learning_rate": 1.749040404040404e-06, + "loss": 6.276029205322265, + "step": 65370 + }, + { + "epoch": 0.05775, + "grad_norm": 7.01018762588501, + "learning_rate": 1.7487878787878789e-06, + "loss": 6.297161483764649, + "step": 65375 + }, + { + "epoch": 0.0578, + "grad_norm": 10.679825782775879, + "learning_rate": 1.7485353535353535e-06, + "loss": 6.214054870605469, + "step": 65380 + }, + { + "epoch": 0.05785, + "grad_norm": 7.313573837280273, + "learning_rate": 1.7482828282828286e-06, + "loss": 6.513581085205078, + "step": 65385 + }, + { + "epoch": 0.0579, + "grad_norm": 6.160538196563721, + "learning_rate": 1.748030303030303e-06, + "loss": 6.352527236938476, + "step": 65390 + }, + { + "epoch": 0.05795, + "grad_norm": 7.796149253845215, + "learning_rate": 1.747777777777778e-06, + "loss": 6.258735656738281, + "step": 65395 + }, + { + "epoch": 0.058, + "grad_norm": 6.484922885894775, + "learning_rate": 1.7475252525252527e-06, + "loss": 6.298869705200195, + "step": 65400 + }, + { + "epoch": 0.05805, + "grad_norm": 7.6498589515686035, + "learning_rate": 1.7472727272727275e-06, + "loss": 6.240570449829102, + "step": 65405 + }, + { + "epoch": 0.0581, + "grad_norm": 6.300982475280762, + "learning_rate": 1.7470202020202021e-06, + "loss": 6.2678680419921875, + "step": 65410 + }, + { + "epoch": 0.05815, + "grad_norm": 5.046743392944336, + "learning_rate": 1.746767676767677e-06, + "loss": 6.264728546142578, + "step": 65415 + }, + { + "epoch": 0.0582, + "grad_norm": 4.226310729980469, + "learning_rate": 1.7465151515151516e-06, + "loss": 6.252939605712891, + "step": 65420 + }, + { + "epoch": 0.05825, + "grad_norm": 6.321202278137207, + "learning_rate": 1.7462626262626264e-06, + "loss": 6.27430419921875, + "step": 65425 + }, + { + "epoch": 0.0583, + "grad_norm": 7.762344837188721, + "learning_rate": 1.746010101010101e-06, + "loss": 6.237644958496094, + "step": 65430 + }, + { + "epoch": 0.05835, + "grad_norm": 4.894748687744141, + "learning_rate": 1.745757575757576e-06, + "loss": 6.220959854125977, + "step": 65435 + }, + { + "epoch": 0.0584, + "grad_norm": 10.121949195861816, + "learning_rate": 1.7455050505050505e-06, + "loss": 6.313338088989258, + "step": 65440 + }, + { + "epoch": 0.05845, + "grad_norm": 4.319450378417969, + "learning_rate": 1.7452525252525254e-06, + "loss": 6.285614776611328, + "step": 65445 + }, + { + "epoch": 0.0585, + "grad_norm": 7.182220458984375, + "learning_rate": 1.745e-06, + "loss": 6.314968872070312, + "step": 65450 + }, + { + "epoch": 0.05855, + "grad_norm": 6.100467681884766, + "learning_rate": 1.7447474747474749e-06, + "loss": 6.242650985717773, + "step": 65455 + }, + { + "epoch": 0.0586, + "grad_norm": 6.266513347625732, + "learning_rate": 1.7444949494949495e-06, + "loss": 6.228600311279297, + "step": 65460 + }, + { + "epoch": 0.05865, + "grad_norm": 6.114872932434082, + "learning_rate": 1.7442424242424243e-06, + "loss": 6.176288604736328, + "step": 65465 + }, + { + "epoch": 0.0587, + "grad_norm": 7.8191328048706055, + "learning_rate": 1.743989898989899e-06, + "loss": 6.326560211181641, + "step": 65470 + }, + { + "epoch": 0.05875, + "grad_norm": 7.090770244598389, + "learning_rate": 1.7437373737373738e-06, + "loss": 6.207294464111328, + "step": 65475 + }, + { + "epoch": 0.0588, + "grad_norm": 6.865314483642578, + "learning_rate": 1.7434848484848484e-06, + "loss": 6.47171630859375, + "step": 65480 + }, + { + "epoch": 0.05885, + "grad_norm": 5.706386089324951, + "learning_rate": 1.7432323232323235e-06, + "loss": 6.232311248779297, + "step": 65485 + }, + { + "epoch": 0.0589, + "grad_norm": 12.546734809875488, + "learning_rate": 1.742979797979798e-06, + "loss": 6.256247329711914, + "step": 65490 + }, + { + "epoch": 0.05895, + "grad_norm": 4.040778160095215, + "learning_rate": 1.742727272727273e-06, + "loss": 6.242745208740234, + "step": 65495 + }, + { + "epoch": 0.059, + "grad_norm": 5.546571731567383, + "learning_rate": 1.7424747474747474e-06, + "loss": 6.260718154907226, + "step": 65500 + }, + { + "epoch": 0.05905, + "grad_norm": 4.6641764640808105, + "learning_rate": 1.7422222222222224e-06, + "loss": 6.275225830078125, + "step": 65505 + }, + { + "epoch": 0.0591, + "grad_norm": 6.5411906242370605, + "learning_rate": 1.741969696969697e-06, + "loss": 6.4850822448730465, + "step": 65510 + }, + { + "epoch": 0.05915, + "grad_norm": 6.374220371246338, + "learning_rate": 1.741717171717172e-06, + "loss": 6.337374877929688, + "step": 65515 + }, + { + "epoch": 0.0592, + "grad_norm": 11.634953498840332, + "learning_rate": 1.7414646464646465e-06, + "loss": 6.379816055297852, + "step": 65520 + }, + { + "epoch": 0.05925, + "grad_norm": 3.8672046661376953, + "learning_rate": 1.7412121212121214e-06, + "loss": 6.260409545898438, + "step": 65525 + }, + { + "epoch": 0.0593, + "grad_norm": 6.3221001625061035, + "learning_rate": 1.7409595959595962e-06, + "loss": 6.301274108886719, + "step": 65530 + }, + { + "epoch": 0.05935, + "grad_norm": 7.564828872680664, + "learning_rate": 1.7407070707070709e-06, + "loss": 6.263564682006836, + "step": 65535 + }, + { + "epoch": 0.0594, + "grad_norm": 5.422926902770996, + "learning_rate": 1.7404545454545457e-06, + "loss": 6.2330474853515625, + "step": 65540 + }, + { + "epoch": 0.05945, + "grad_norm": 6.944742202758789, + "learning_rate": 1.7402020202020203e-06, + "loss": 6.259048843383789, + "step": 65545 + }, + { + "epoch": 0.0595, + "grad_norm": 3.624966621398926, + "learning_rate": 1.7399494949494952e-06, + "loss": 6.29151611328125, + "step": 65550 + }, + { + "epoch": 0.05955, + "grad_norm": 4.643570423126221, + "learning_rate": 1.7396969696969698e-06, + "loss": 6.208872604370117, + "step": 65555 + }, + { + "epoch": 0.0596, + "grad_norm": 4.406294345855713, + "learning_rate": 1.7394444444444446e-06, + "loss": 6.257979202270508, + "step": 65560 + }, + { + "epoch": 0.05965, + "grad_norm": 4.049442768096924, + "learning_rate": 1.7391919191919193e-06, + "loss": 6.239189147949219, + "step": 65565 + }, + { + "epoch": 0.0597, + "grad_norm": 6.80618953704834, + "learning_rate": 1.7389393939393941e-06, + "loss": 6.26038703918457, + "step": 65570 + }, + { + "epoch": 0.05975, + "grad_norm": 5.416005611419678, + "learning_rate": 1.7386868686868687e-06, + "loss": 6.187258529663086, + "step": 65575 + }, + { + "epoch": 0.0598, + "grad_norm": 5.413612365722656, + "learning_rate": 1.7384343434343438e-06, + "loss": 6.286339569091797, + "step": 65580 + }, + { + "epoch": 0.05985, + "grad_norm": 5.797331809997559, + "learning_rate": 1.7381818181818182e-06, + "loss": 6.322195434570313, + "step": 65585 + }, + { + "epoch": 0.0599, + "grad_norm": 5.8523712158203125, + "learning_rate": 1.7379292929292933e-06, + "loss": 6.234060668945313, + "step": 65590 + }, + { + "epoch": 0.05995, + "grad_norm": 4.415982723236084, + "learning_rate": 1.737676767676768e-06, + "loss": 6.238933563232422, + "step": 65595 + }, + { + "epoch": 0.06, + "grad_norm": 9.12866497039795, + "learning_rate": 1.7374242424242427e-06, + "loss": 6.269498443603515, + "step": 65600 + }, + { + "epoch": 0.06005, + "grad_norm": 3.699002742767334, + "learning_rate": 1.7371717171717174e-06, + "loss": 6.229903793334961, + "step": 65605 + }, + { + "epoch": 0.0601, + "grad_norm": 5.03972053527832, + "learning_rate": 1.7369191919191922e-06, + "loss": 6.282897186279297, + "step": 65610 + }, + { + "epoch": 0.06015, + "grad_norm": 36.24827575683594, + "learning_rate": 1.7366666666666668e-06, + "loss": 6.4779106140136715, + "step": 65615 + }, + { + "epoch": 0.0602, + "grad_norm": 3.71773624420166, + "learning_rate": 1.7364141414141417e-06, + "loss": 6.387662124633789, + "step": 65620 + }, + { + "epoch": 0.06025, + "grad_norm": 5.850876808166504, + "learning_rate": 1.7361616161616163e-06, + "loss": 6.307433319091797, + "step": 65625 + }, + { + "epoch": 0.0603, + "grad_norm": 7.093226909637451, + "learning_rate": 1.7359090909090912e-06, + "loss": 6.208033752441406, + "step": 65630 + }, + { + "epoch": 0.06035, + "grad_norm": 4.391338348388672, + "learning_rate": 1.7356565656565658e-06, + "loss": 6.263829040527344, + "step": 65635 + }, + { + "epoch": 0.0604, + "grad_norm": 4.631786346435547, + "learning_rate": 1.7354040404040406e-06, + "loss": 6.26683464050293, + "step": 65640 + }, + { + "epoch": 0.06045, + "grad_norm": 5.970221996307373, + "learning_rate": 1.7351515151515153e-06, + "loss": 6.226055145263672, + "step": 65645 + }, + { + "epoch": 0.0605, + "grad_norm": 13.044900894165039, + "learning_rate": 1.73489898989899e-06, + "loss": 6.3273262023925785, + "step": 65650 + }, + { + "epoch": 0.06055, + "grad_norm": 6.4588847160339355, + "learning_rate": 1.7346464646464647e-06, + "loss": 6.234544372558593, + "step": 65655 + }, + { + "epoch": 0.0606, + "grad_norm": 9.346610069274902, + "learning_rate": 1.7343939393939396e-06, + "loss": 6.269529342651367, + "step": 65660 + }, + { + "epoch": 0.06065, + "grad_norm": 7.976192474365234, + "learning_rate": 1.7341414141414142e-06, + "loss": 6.3059333801269535, + "step": 65665 + }, + { + "epoch": 0.0607, + "grad_norm": 4.353762626647949, + "learning_rate": 1.733888888888889e-06, + "loss": 6.2515007019042965, + "step": 65670 + }, + { + "epoch": 0.06075, + "grad_norm": 4.377441883087158, + "learning_rate": 1.7336363636363637e-06, + "loss": 6.239535903930664, + "step": 65675 + }, + { + "epoch": 0.0608, + "grad_norm": 4.790865898132324, + "learning_rate": 1.7333838383838385e-06, + "loss": 6.2634765625, + "step": 65680 + }, + { + "epoch": 0.06085, + "grad_norm": 7.251501083374023, + "learning_rate": 1.7331313131313131e-06, + "loss": 6.2942657470703125, + "step": 65685 + }, + { + "epoch": 0.0609, + "grad_norm": 11.012249946594238, + "learning_rate": 1.7328787878787882e-06, + "loss": 6.391874313354492, + "step": 65690 + }, + { + "epoch": 0.06095, + "grad_norm": 8.633187294006348, + "learning_rate": 1.7326262626262626e-06, + "loss": 6.234037399291992, + "step": 65695 + }, + { + "epoch": 0.061, + "grad_norm": 7.09401273727417, + "learning_rate": 1.7323737373737377e-06, + "loss": 6.276063919067383, + "step": 65700 + }, + { + "epoch": 0.06105, + "grad_norm": 7.2318243980407715, + "learning_rate": 1.7321212121212123e-06, + "loss": 6.269033813476563, + "step": 65705 + }, + { + "epoch": 0.0611, + "grad_norm": 18.171354293823242, + "learning_rate": 1.7318686868686871e-06, + "loss": 6.276282501220703, + "step": 65710 + }, + { + "epoch": 0.06115, + "grad_norm": 14.97885799407959, + "learning_rate": 1.7316161616161618e-06, + "loss": 6.336403656005859, + "step": 65715 + }, + { + "epoch": 0.0612, + "grad_norm": 8.059917449951172, + "learning_rate": 1.7313636363636366e-06, + "loss": 6.2889350891113285, + "step": 65720 + }, + { + "epoch": 0.06125, + "grad_norm": 7.566070079803467, + "learning_rate": 1.7311111111111112e-06, + "loss": 6.192340469360351, + "step": 65725 + }, + { + "epoch": 0.0613, + "grad_norm": 7.504062175750732, + "learning_rate": 1.730858585858586e-06, + "loss": 6.248338317871093, + "step": 65730 + }, + { + "epoch": 0.06135, + "grad_norm": 5.292293548583984, + "learning_rate": 1.7306060606060607e-06, + "loss": 6.248657989501953, + "step": 65735 + }, + { + "epoch": 0.0614, + "grad_norm": 6.271351337432861, + "learning_rate": 1.7303535353535356e-06, + "loss": 6.277063369750977, + "step": 65740 + }, + { + "epoch": 0.06145, + "grad_norm": 4.8198347091674805, + "learning_rate": 1.7301010101010102e-06, + "loss": 6.46468505859375, + "step": 65745 + }, + { + "epoch": 0.0615, + "grad_norm": 6.489058971405029, + "learning_rate": 1.729848484848485e-06, + "loss": 6.2189079284667965, + "step": 65750 + }, + { + "epoch": 0.06155, + "grad_norm": 3.9785895347595215, + "learning_rate": 1.7295959595959597e-06, + "loss": 6.232281494140625, + "step": 65755 + }, + { + "epoch": 0.0616, + "grad_norm": 5.785003662109375, + "learning_rate": 1.7293434343434345e-06, + "loss": 6.297397613525391, + "step": 65760 + }, + { + "epoch": 0.06165, + "grad_norm": 6.839208602905273, + "learning_rate": 1.7290909090909091e-06, + "loss": 6.228233718872071, + "step": 65765 + }, + { + "epoch": 0.0617, + "grad_norm": 7.1684722900390625, + "learning_rate": 1.728838383838384e-06, + "loss": 6.230297470092774, + "step": 65770 + }, + { + "epoch": 0.06175, + "grad_norm": 4.118459701538086, + "learning_rate": 1.7285858585858586e-06, + "loss": 6.259757232666016, + "step": 65775 + }, + { + "epoch": 0.0618, + "grad_norm": 4.594665050506592, + "learning_rate": 1.7283333333333334e-06, + "loss": 6.220254516601562, + "step": 65780 + }, + { + "epoch": 0.06185, + "grad_norm": 5.249074459075928, + "learning_rate": 1.728080808080808e-06, + "loss": 6.252297592163086, + "step": 65785 + }, + { + "epoch": 0.0619, + "grad_norm": 5.774895668029785, + "learning_rate": 1.727828282828283e-06, + "loss": 6.252193450927734, + "step": 65790 + }, + { + "epoch": 0.06195, + "grad_norm": 5.827839374542236, + "learning_rate": 1.7275757575757575e-06, + "loss": 6.21380615234375, + "step": 65795 + }, + { + "epoch": 0.062, + "grad_norm": 7.02239990234375, + "learning_rate": 1.7273232323232326e-06, + "loss": 6.268426513671875, + "step": 65800 + }, + { + "epoch": 0.06205, + "grad_norm": 5.1170973777771, + "learning_rate": 1.727070707070707e-06, + "loss": 6.265458679199218, + "step": 65805 + }, + { + "epoch": 0.0621, + "grad_norm": 7.604434490203857, + "learning_rate": 1.726818181818182e-06, + "loss": 6.2361289978027346, + "step": 65810 + }, + { + "epoch": 0.06215, + "grad_norm": 18.040708541870117, + "learning_rate": 1.7265656565656567e-06, + "loss": 6.477741241455078, + "step": 65815 + }, + { + "epoch": 0.0622, + "grad_norm": 7.367584228515625, + "learning_rate": 1.7263131313131315e-06, + "loss": 6.198371124267578, + "step": 65820 + }, + { + "epoch": 0.06225, + "grad_norm": 6.7483696937561035, + "learning_rate": 1.7260606060606062e-06, + "loss": 6.214250946044922, + "step": 65825 + }, + { + "epoch": 0.0623, + "grad_norm": 6.799319267272949, + "learning_rate": 1.725808080808081e-06, + "loss": 6.236785507202148, + "step": 65830 + }, + { + "epoch": 0.06235, + "grad_norm": 7.582779884338379, + "learning_rate": 1.7255555555555556e-06, + "loss": 6.183013534545898, + "step": 65835 + }, + { + "epoch": 0.0624, + "grad_norm": 6.442776203155518, + "learning_rate": 1.7253030303030305e-06, + "loss": 6.247000122070313, + "step": 65840 + }, + { + "epoch": 0.06245, + "grad_norm": 5.221776962280273, + "learning_rate": 1.7250505050505051e-06, + "loss": 6.283657836914062, + "step": 65845 + }, + { + "epoch": 0.0625, + "grad_norm": 5.879793167114258, + "learning_rate": 1.72479797979798e-06, + "loss": 6.232629013061524, + "step": 65850 + }, + { + "epoch": 0.06255, + "grad_norm": 7.086514472961426, + "learning_rate": 1.7245454545454546e-06, + "loss": 6.2331787109375, + "step": 65855 + }, + { + "epoch": 0.0626, + "grad_norm": 6.874833106994629, + "learning_rate": 1.7242929292929294e-06, + "loss": 6.246557998657226, + "step": 65860 + }, + { + "epoch": 0.06265, + "grad_norm": 4.24851131439209, + "learning_rate": 1.724040404040404e-06, + "loss": 6.261996459960938, + "step": 65865 + }, + { + "epoch": 0.0627, + "grad_norm": 4.650578498840332, + "learning_rate": 1.723787878787879e-06, + "loss": 6.2733722686767575, + "step": 65870 + }, + { + "epoch": 0.06275, + "grad_norm": 5.402723789215088, + "learning_rate": 1.7235353535353535e-06, + "loss": 6.220689392089843, + "step": 65875 + }, + { + "epoch": 0.0628, + "grad_norm": 5.231682300567627, + "learning_rate": 1.7232828282828284e-06, + "loss": 6.240775299072266, + "step": 65880 + }, + { + "epoch": 0.06285, + "grad_norm": 8.935704231262207, + "learning_rate": 1.723030303030303e-06, + "loss": 6.225674057006836, + "step": 65885 + }, + { + "epoch": 0.0629, + "grad_norm": 6.771743297576904, + "learning_rate": 1.7227777777777778e-06, + "loss": 6.238433074951172, + "step": 65890 + }, + { + "epoch": 0.06295, + "grad_norm": 5.038820266723633, + "learning_rate": 1.7225252525252525e-06, + "loss": 6.178882598876953, + "step": 65895 + }, + { + "epoch": 0.063, + "grad_norm": 6.466598987579346, + "learning_rate": 1.7222727272727275e-06, + "loss": 6.270684814453125, + "step": 65900 + }, + { + "epoch": 0.06305, + "grad_norm": 7.088811874389648, + "learning_rate": 1.722020202020202e-06, + "loss": 6.267372894287109, + "step": 65905 + }, + { + "epoch": 0.0631, + "grad_norm": 9.013504028320312, + "learning_rate": 1.721767676767677e-06, + "loss": 6.227058792114258, + "step": 65910 + }, + { + "epoch": 0.06315, + "grad_norm": 8.17469310760498, + "learning_rate": 1.7215151515151516e-06, + "loss": 6.275911331176758, + "step": 65915 + }, + { + "epoch": 0.0632, + "grad_norm": 5.263009071350098, + "learning_rate": 1.7212626262626265e-06, + "loss": 6.216289520263672, + "step": 65920 + }, + { + "epoch": 0.06325, + "grad_norm": 13.907835006713867, + "learning_rate": 1.721010101010101e-06, + "loss": 6.2689697265625, + "step": 65925 + }, + { + "epoch": 0.0633, + "grad_norm": 4.986100196838379, + "learning_rate": 1.720757575757576e-06, + "loss": 6.2433006286621096, + "step": 65930 + }, + { + "epoch": 0.06335, + "grad_norm": 9.7167329788208, + "learning_rate": 1.7205050505050506e-06, + "loss": 6.226920318603516, + "step": 65935 + }, + { + "epoch": 0.0634, + "grad_norm": 4.485090732574463, + "learning_rate": 1.7202525252525254e-06, + "loss": 6.268840789794922, + "step": 65940 + }, + { + "epoch": 0.06345, + "grad_norm": 3.466092348098755, + "learning_rate": 1.72e-06, + "loss": 6.192888259887695, + "step": 65945 + }, + { + "epoch": 0.0635, + "grad_norm": 6.979863166809082, + "learning_rate": 1.7197474747474749e-06, + "loss": 6.253474426269531, + "step": 65950 + }, + { + "epoch": 0.06355, + "grad_norm": 8.60177230834961, + "learning_rate": 1.7194949494949497e-06, + "loss": 6.222371673583984, + "step": 65955 + }, + { + "epoch": 0.0636, + "grad_norm": 11.588777542114258, + "learning_rate": 1.7192424242424244e-06, + "loss": 6.342339324951172, + "step": 65960 + }, + { + "epoch": 0.06365, + "grad_norm": 6.186742305755615, + "learning_rate": 1.7189898989898992e-06, + "loss": 6.283105087280274, + "step": 65965 + }, + { + "epoch": 0.0637, + "grad_norm": 4.340980052947998, + "learning_rate": 1.7187373737373738e-06, + "loss": 6.229424285888672, + "step": 65970 + }, + { + "epoch": 0.06375, + "grad_norm": 7.2637939453125, + "learning_rate": 1.7184848484848487e-06, + "loss": 6.251953125, + "step": 65975 + }, + { + "epoch": 0.0638, + "grad_norm": 8.965249061584473, + "learning_rate": 1.7182323232323233e-06, + "loss": 6.260762786865234, + "step": 65980 + }, + { + "epoch": 0.06385, + "grad_norm": 6.000462055206299, + "learning_rate": 1.7179797979797981e-06, + "loss": 6.260291290283203, + "step": 65985 + }, + { + "epoch": 0.0639, + "grad_norm": 5.782944202423096, + "learning_rate": 1.7177272727272728e-06, + "loss": 6.2898406982421875, + "step": 65990 + }, + { + "epoch": 0.06395, + "grad_norm": 20.487947463989258, + "learning_rate": 1.7174747474747478e-06, + "loss": 6.473568725585937, + "step": 65995 + }, + { + "epoch": 0.064, + "grad_norm": 7.696946144104004, + "learning_rate": 1.7172222222222223e-06, + "loss": 6.259840393066407, + "step": 66000 + }, + { + "epoch": 0.06405, + "grad_norm": 7.381952285766602, + "learning_rate": 1.7169696969696973e-06, + "loss": 6.282158660888672, + "step": 66005 + }, + { + "epoch": 0.0641, + "grad_norm": 9.150415420532227, + "learning_rate": 1.716717171717172e-06, + "loss": 6.246146011352539, + "step": 66010 + }, + { + "epoch": 0.06415, + "grad_norm": 5.564603805541992, + "learning_rate": 1.7164646464646468e-06, + "loss": 6.253484725952148, + "step": 66015 + }, + { + "epoch": 0.0642, + "grad_norm": 3.568030834197998, + "learning_rate": 1.7162121212121214e-06, + "loss": 6.350770568847656, + "step": 66020 + }, + { + "epoch": 0.06425, + "grad_norm": 5.581572532653809, + "learning_rate": 1.7159595959595962e-06, + "loss": 6.2024494171142575, + "step": 66025 + }, + { + "epoch": 0.0643, + "grad_norm": 10.666000366210938, + "learning_rate": 1.7157070707070709e-06, + "loss": 6.3039299011230465, + "step": 66030 + }, + { + "epoch": 0.06435, + "grad_norm": 4.619931697845459, + "learning_rate": 1.7154545454545457e-06, + "loss": 6.2730560302734375, + "step": 66035 + }, + { + "epoch": 0.0644, + "grad_norm": 6.078108787536621, + "learning_rate": 1.7152020202020204e-06, + "loss": 6.292003631591797, + "step": 66040 + }, + { + "epoch": 0.06445, + "grad_norm": 5.237896919250488, + "learning_rate": 1.7149494949494952e-06, + "loss": 6.35555419921875, + "step": 66045 + }, + { + "epoch": 0.0645, + "grad_norm": 4.978615760803223, + "learning_rate": 1.7146969696969698e-06, + "loss": 6.234835433959961, + "step": 66050 + }, + { + "epoch": 0.06455, + "grad_norm": 4.210301876068115, + "learning_rate": 1.7144444444444447e-06, + "loss": 6.276388931274414, + "step": 66055 + }, + { + "epoch": 0.0646, + "grad_norm": 5.185657501220703, + "learning_rate": 1.7141919191919193e-06, + "loss": 6.259960556030274, + "step": 66060 + }, + { + "epoch": 0.06465, + "grad_norm": 6.630853652954102, + "learning_rate": 1.7139393939393941e-06, + "loss": 6.246440505981445, + "step": 66065 + }, + { + "epoch": 0.0647, + "grad_norm": 4.285782814025879, + "learning_rate": 1.7136868686868688e-06, + "loss": 6.221086120605468, + "step": 66070 + }, + { + "epoch": 0.06475, + "grad_norm": 28.705129623413086, + "learning_rate": 1.7134343434343436e-06, + "loss": 6.450157165527344, + "step": 66075 + }, + { + "epoch": 0.0648, + "grad_norm": 7.323063850402832, + "learning_rate": 1.7131818181818182e-06, + "loss": 6.220716094970703, + "step": 66080 + }, + { + "epoch": 0.06485, + "grad_norm": 4.700553894042969, + "learning_rate": 1.712929292929293e-06, + "loss": 6.247000122070313, + "step": 66085 + }, + { + "epoch": 0.0649, + "grad_norm": 27.80937957763672, + "learning_rate": 1.7126767676767677e-06, + "loss": 6.2338615417480465, + "step": 66090 + }, + { + "epoch": 0.06495, + "grad_norm": 5.437457084655762, + "learning_rate": 1.7124242424242426e-06, + "loss": 6.178628158569336, + "step": 66095 + }, + { + "epoch": 0.065, + "grad_norm": 8.313647270202637, + "learning_rate": 1.7121717171717172e-06, + "loss": 6.226594543457031, + "step": 66100 + }, + { + "epoch": 0.06505, + "grad_norm": 6.261960506439209, + "learning_rate": 1.7119191919191922e-06, + "loss": 6.223278427124024, + "step": 66105 + }, + { + "epoch": 0.0651, + "grad_norm": 4.416557788848877, + "learning_rate": 1.7116666666666667e-06, + "loss": 6.309904861450195, + "step": 66110 + }, + { + "epoch": 0.06515, + "grad_norm": 7.816929340362549, + "learning_rate": 1.7114141414141417e-06, + "loss": 6.214398956298828, + "step": 66115 + }, + { + "epoch": 0.0652, + "grad_norm": 11.177490234375, + "learning_rate": 1.7111616161616163e-06, + "loss": 6.467115783691407, + "step": 66120 + }, + { + "epoch": 0.06525, + "grad_norm": 5.12833309173584, + "learning_rate": 1.7109090909090912e-06, + "loss": 6.183420562744141, + "step": 66125 + }, + { + "epoch": 0.0653, + "grad_norm": 8.163956642150879, + "learning_rate": 1.7106565656565658e-06, + "loss": 6.2627616882324215, + "step": 66130 + }, + { + "epoch": 0.06535, + "grad_norm": 8.709395408630371, + "learning_rate": 1.7104040404040407e-06, + "loss": 6.258246612548828, + "step": 66135 + }, + { + "epoch": 0.0654, + "grad_norm": 7.616428852081299, + "learning_rate": 1.7101515151515153e-06, + "loss": 6.253038787841797, + "step": 66140 + }, + { + "epoch": 0.06545, + "grad_norm": 6.422046661376953, + "learning_rate": 1.7098989898989901e-06, + "loss": 6.259191513061523, + "step": 66145 + }, + { + "epoch": 0.0655, + "grad_norm": 3.589242935180664, + "learning_rate": 1.7096464646464648e-06, + "loss": 6.252895355224609, + "step": 66150 + }, + { + "epoch": 0.06555, + "grad_norm": 12.763039588928223, + "learning_rate": 1.7093939393939396e-06, + "loss": 6.225995635986328, + "step": 66155 + }, + { + "epoch": 0.0656, + "grad_norm": 6.4753241539001465, + "learning_rate": 1.7091414141414142e-06, + "loss": 6.292939758300781, + "step": 66160 + }, + { + "epoch": 0.06565, + "grad_norm": 9.756047248840332, + "learning_rate": 1.708888888888889e-06, + "loss": 6.248007965087891, + "step": 66165 + }, + { + "epoch": 0.0657, + "grad_norm": 4.294727802276611, + "learning_rate": 1.7086363636363637e-06, + "loss": 6.235165023803711, + "step": 66170 + }, + { + "epoch": 0.06575, + "grad_norm": 6.0751423835754395, + "learning_rate": 1.7083838383838385e-06, + "loss": 6.269194030761719, + "step": 66175 + }, + { + "epoch": 0.0658, + "grad_norm": 6.966557025909424, + "learning_rate": 1.7081313131313132e-06, + "loss": 6.297936248779297, + "step": 66180 + }, + { + "epoch": 0.06585, + "grad_norm": 5.369654655456543, + "learning_rate": 1.707878787878788e-06, + "loss": 6.212129211425781, + "step": 66185 + }, + { + "epoch": 0.0659, + "grad_norm": 7.206320285797119, + "learning_rate": 1.7076262626262626e-06, + "loss": 6.219408416748047, + "step": 66190 + }, + { + "epoch": 0.06595, + "grad_norm": 10.413665771484375, + "learning_rate": 1.7073737373737375e-06, + "loss": 6.363441467285156, + "step": 66195 + }, + { + "epoch": 0.066, + "grad_norm": 4.3494791984558105, + "learning_rate": 1.7071212121212121e-06, + "loss": 6.297170257568359, + "step": 66200 + }, + { + "epoch": 0.06605, + "grad_norm": 3.417548656463623, + "learning_rate": 1.7068686868686872e-06, + "loss": 6.247763061523438, + "step": 66205 + }, + { + "epoch": 0.0661, + "grad_norm": 8.006550788879395, + "learning_rate": 1.7066161616161616e-06, + "loss": 6.229637908935547, + "step": 66210 + }, + { + "epoch": 0.06615, + "grad_norm": 7.3339104652404785, + "learning_rate": 1.7063636363636366e-06, + "loss": 6.25540771484375, + "step": 66215 + }, + { + "epoch": 0.0662, + "grad_norm": 3.403244972229004, + "learning_rate": 1.706111111111111e-06, + "loss": 6.257078552246094, + "step": 66220 + }, + { + "epoch": 0.06625, + "grad_norm": 6.919339656829834, + "learning_rate": 1.7058585858585861e-06, + "loss": 6.2626396179199215, + "step": 66225 + }, + { + "epoch": 0.0663, + "grad_norm": 3.637018918991089, + "learning_rate": 1.7056060606060607e-06, + "loss": 6.322189712524414, + "step": 66230 + }, + { + "epoch": 0.06635, + "grad_norm": 6.079360008239746, + "learning_rate": 1.7053535353535356e-06, + "loss": 6.220242309570312, + "step": 66235 + }, + { + "epoch": 0.0664, + "grad_norm": 4.758529186248779, + "learning_rate": 1.7051010101010102e-06, + "loss": 6.227021408081055, + "step": 66240 + }, + { + "epoch": 0.06645, + "grad_norm": 7.0764546394348145, + "learning_rate": 1.704848484848485e-06, + "loss": 6.246488952636719, + "step": 66245 + }, + { + "epoch": 0.0665, + "grad_norm": 4.136918544769287, + "learning_rate": 1.7045959595959597e-06, + "loss": 6.2440849304199215, + "step": 66250 + }, + { + "epoch": 0.06655, + "grad_norm": 6.644164562225342, + "learning_rate": 1.7043434343434345e-06, + "loss": 6.182559967041016, + "step": 66255 + }, + { + "epoch": 0.0666, + "grad_norm": 5.308660984039307, + "learning_rate": 1.7040909090909092e-06, + "loss": 6.2308403015136715, + "step": 66260 + }, + { + "epoch": 0.06665, + "grad_norm": 6.7550435066223145, + "learning_rate": 1.703838383838384e-06, + "loss": 6.268856811523437, + "step": 66265 + }, + { + "epoch": 0.0667, + "grad_norm": 5.137763977050781, + "learning_rate": 1.7035858585858586e-06, + "loss": 6.244340515136718, + "step": 66270 + }, + { + "epoch": 0.06675, + "grad_norm": 6.59822416305542, + "learning_rate": 1.7033333333333335e-06, + "loss": 6.2509815216064455, + "step": 66275 + }, + { + "epoch": 0.0668, + "grad_norm": 5.4048590660095215, + "learning_rate": 1.703080808080808e-06, + "loss": 6.255007934570313, + "step": 66280 + }, + { + "epoch": 0.06685, + "grad_norm": 5.327803134918213, + "learning_rate": 1.702828282828283e-06, + "loss": 6.2181640625, + "step": 66285 + }, + { + "epoch": 0.0669, + "grad_norm": 5.488121032714844, + "learning_rate": 1.7025757575757576e-06, + "loss": 6.230437469482422, + "step": 66290 + }, + { + "epoch": 0.06695, + "grad_norm": 9.462759017944336, + "learning_rate": 1.7023232323232324e-06, + "loss": 6.269149398803711, + "step": 66295 + }, + { + "epoch": 0.067, + "grad_norm": 4.843019485473633, + "learning_rate": 1.702070707070707e-06, + "loss": 6.26152229309082, + "step": 66300 + }, + { + "epoch": 0.06705, + "grad_norm": 10.160429000854492, + "learning_rate": 1.7018181818181819e-06, + "loss": 6.258780670166016, + "step": 66305 + }, + { + "epoch": 0.0671, + "grad_norm": 7.003495693206787, + "learning_rate": 1.7015656565656565e-06, + "loss": 6.235566711425781, + "step": 66310 + }, + { + "epoch": 0.06715, + "grad_norm": 9.618766784667969, + "learning_rate": 1.7013131313131316e-06, + "loss": 6.219063949584961, + "step": 66315 + }, + { + "epoch": 0.0672, + "grad_norm": 3.714146852493286, + "learning_rate": 1.701060606060606e-06, + "loss": 6.386838912963867, + "step": 66320 + }, + { + "epoch": 0.06725, + "grad_norm": 9.136879920959473, + "learning_rate": 1.700808080808081e-06, + "loss": 6.2198020935058596, + "step": 66325 + }, + { + "epoch": 0.0673, + "grad_norm": 4.214871883392334, + "learning_rate": 1.7005555555555557e-06, + "loss": 6.258691787719727, + "step": 66330 + }, + { + "epoch": 0.06735, + "grad_norm": 3.588575839996338, + "learning_rate": 1.7003030303030305e-06, + "loss": 6.253984069824218, + "step": 66335 + }, + { + "epoch": 0.0674, + "grad_norm": 4.977000713348389, + "learning_rate": 1.7000505050505051e-06, + "loss": 6.451488494873047, + "step": 66340 + }, + { + "epoch": 0.06745, + "grad_norm": 10.638126373291016, + "learning_rate": 1.69979797979798e-06, + "loss": 6.196933746337891, + "step": 66345 + }, + { + "epoch": 0.0675, + "grad_norm": 4.7223100662231445, + "learning_rate": 1.6995454545454546e-06, + "loss": 6.228416442871094, + "step": 66350 + }, + { + "epoch": 0.06755, + "grad_norm": 5.724508285522461, + "learning_rate": 1.6992929292929295e-06, + "loss": 6.267296981811524, + "step": 66355 + }, + { + "epoch": 0.0676, + "grad_norm": 4.569919109344482, + "learning_rate": 1.699040404040404e-06, + "loss": 6.2398193359375, + "step": 66360 + }, + { + "epoch": 0.06765, + "grad_norm": 6.164245128631592, + "learning_rate": 1.698787878787879e-06, + "loss": 6.256383895874023, + "step": 66365 + }, + { + "epoch": 0.0677, + "grad_norm": 13.399935722351074, + "learning_rate": 1.6985353535353536e-06, + "loss": 6.2706748962402346, + "step": 66370 + }, + { + "epoch": 0.06775, + "grad_norm": 10.607918739318848, + "learning_rate": 1.6982828282828284e-06, + "loss": 6.229550170898437, + "step": 66375 + }, + { + "epoch": 0.0678, + "grad_norm": 20.17076301574707, + "learning_rate": 1.6980303030303032e-06, + "loss": 6.406351470947266, + "step": 66380 + }, + { + "epoch": 0.06785, + "grad_norm": 4.139901638031006, + "learning_rate": 1.6977777777777779e-06, + "loss": 6.244061279296875, + "step": 66385 + }, + { + "epoch": 0.0679, + "grad_norm": 10.404656410217285, + "learning_rate": 1.6975252525252527e-06, + "loss": 6.242138671875, + "step": 66390 + }, + { + "epoch": 0.06795, + "grad_norm": 5.628965377807617, + "learning_rate": 1.6972727272727273e-06, + "loss": 6.2847236633300785, + "step": 66395 + }, + { + "epoch": 0.068, + "grad_norm": 7.462181091308594, + "learning_rate": 1.6970202020202022e-06, + "loss": 6.219943237304688, + "step": 66400 + }, + { + "epoch": 0.06805, + "grad_norm": 15.120787620544434, + "learning_rate": 1.6967676767676768e-06, + "loss": 6.298888397216797, + "step": 66405 + }, + { + "epoch": 0.0681, + "grad_norm": 4.9216203689575195, + "learning_rate": 1.6965151515151519e-06, + "loss": 6.288260650634766, + "step": 66410 + }, + { + "epoch": 0.06815, + "grad_norm": 6.806882858276367, + "learning_rate": 1.6962626262626263e-06, + "loss": 6.248066329956055, + "step": 66415 + }, + { + "epoch": 0.0682, + "grad_norm": 7.01479959487915, + "learning_rate": 1.6960101010101013e-06, + "loss": 6.24238395690918, + "step": 66420 + }, + { + "epoch": 0.06825, + "grad_norm": 7.88714075088501, + "learning_rate": 1.695757575757576e-06, + "loss": 6.197238922119141, + "step": 66425 + }, + { + "epoch": 0.0683, + "grad_norm": 6.433613300323486, + "learning_rate": 1.6955050505050508e-06, + "loss": 6.174630737304687, + "step": 66430 + }, + { + "epoch": 0.06835, + "grad_norm": 7.741850852966309, + "learning_rate": 1.6952525252525254e-06, + "loss": 6.255828857421875, + "step": 66435 + }, + { + "epoch": 0.0684, + "grad_norm": 6.869352340698242, + "learning_rate": 1.6950000000000003e-06, + "loss": 6.211191940307617, + "step": 66440 + }, + { + "epoch": 0.06845, + "grad_norm": 15.96113109588623, + "learning_rate": 1.694747474747475e-06, + "loss": 6.153985595703125, + "step": 66445 + }, + { + "epoch": 0.0685, + "grad_norm": 6.816077709197998, + "learning_rate": 1.6944949494949498e-06, + "loss": 6.230862426757812, + "step": 66450 + }, + { + "epoch": 0.06855, + "grad_norm": 9.407057762145996, + "learning_rate": 1.6942424242424244e-06, + "loss": 6.252012634277344, + "step": 66455 + }, + { + "epoch": 0.0686, + "grad_norm": 6.543179035186768, + "learning_rate": 1.6939898989898992e-06, + "loss": 6.278553771972656, + "step": 66460 + }, + { + "epoch": 0.06865, + "grad_norm": 9.13317584991455, + "learning_rate": 1.6937373737373739e-06, + "loss": 6.257377624511719, + "step": 66465 + }, + { + "epoch": 0.0687, + "grad_norm": 4.451229095458984, + "learning_rate": 1.6934848484848487e-06, + "loss": 6.244658279418945, + "step": 66470 + }, + { + "epoch": 0.06875, + "grad_norm": 5.536858558654785, + "learning_rate": 1.6932323232323233e-06, + "loss": 6.278306579589843, + "step": 66475 + }, + { + "epoch": 0.0688, + "grad_norm": 9.214041709899902, + "learning_rate": 1.6929797979797982e-06, + "loss": 6.241621017456055, + "step": 66480 + }, + { + "epoch": 0.06885, + "grad_norm": 5.134233474731445, + "learning_rate": 1.6927272727272728e-06, + "loss": 6.220970535278321, + "step": 66485 + }, + { + "epoch": 0.0689, + "grad_norm": 13.066136360168457, + "learning_rate": 1.6924747474747476e-06, + "loss": 6.218753814697266, + "step": 66490 + }, + { + "epoch": 0.06895, + "grad_norm": 31.907691955566406, + "learning_rate": 1.6922222222222223e-06, + "loss": 6.224750137329101, + "step": 66495 + }, + { + "epoch": 0.069, + "grad_norm": 34.301876068115234, + "learning_rate": 1.6919696969696971e-06, + "loss": 6.295145416259766, + "step": 66500 + }, + { + "epoch": 0.06905, + "grad_norm": 7.682512283325195, + "learning_rate": 1.6917171717171718e-06, + "loss": 6.323597717285156, + "step": 66505 + }, + { + "epoch": 0.0691, + "grad_norm": 7.993558406829834, + "learning_rate": 1.6914646464646466e-06, + "loss": 6.23961067199707, + "step": 66510 + }, + { + "epoch": 0.06915, + "grad_norm": 27.40794563293457, + "learning_rate": 1.6912121212121212e-06, + "loss": 6.403021240234375, + "step": 66515 + }, + { + "epoch": 0.0692, + "grad_norm": 4.032140731811523, + "learning_rate": 1.6909595959595963e-06, + "loss": 6.583545684814453, + "step": 66520 + }, + { + "epoch": 0.06925, + "grad_norm": 12.52536392211914, + "learning_rate": 1.6907070707070707e-06, + "loss": 6.265705871582031, + "step": 66525 + }, + { + "epoch": 0.0693, + "grad_norm": 10.975342750549316, + "learning_rate": 1.6904545454545457e-06, + "loss": 6.256227111816406, + "step": 66530 + }, + { + "epoch": 0.06935, + "grad_norm": 5.752685546875, + "learning_rate": 1.6902020202020204e-06, + "loss": 6.281337738037109, + "step": 66535 + }, + { + "epoch": 0.0694, + "grad_norm": 6.6339521408081055, + "learning_rate": 1.6899494949494952e-06, + "loss": 6.216249465942383, + "step": 66540 + }, + { + "epoch": 0.06945, + "grad_norm": 7.913100242614746, + "learning_rate": 1.6896969696969699e-06, + "loss": 6.2172119140625, + "step": 66545 + }, + { + "epoch": 0.0695, + "grad_norm": 6.407020568847656, + "learning_rate": 1.6894444444444447e-06, + "loss": 6.247430419921875, + "step": 66550 + }, + { + "epoch": 0.06955, + "grad_norm": 6.047022819519043, + "learning_rate": 1.6891919191919193e-06, + "loss": 6.3256996154785154, + "step": 66555 + }, + { + "epoch": 0.0696, + "grad_norm": 4.796283721923828, + "learning_rate": 1.6889393939393942e-06, + "loss": 6.224968338012696, + "step": 66560 + }, + { + "epoch": 0.06965, + "grad_norm": 6.904263496398926, + "learning_rate": 1.6886868686868688e-06, + "loss": 6.255163955688476, + "step": 66565 + }, + { + "epoch": 0.0697, + "grad_norm": 4.9425129890441895, + "learning_rate": 1.6884343434343436e-06, + "loss": 6.244914245605469, + "step": 66570 + }, + { + "epoch": 0.06975, + "grad_norm": 5.1878132820129395, + "learning_rate": 1.6881818181818183e-06, + "loss": 6.311453247070313, + "step": 66575 + }, + { + "epoch": 0.0698, + "grad_norm": 13.060309410095215, + "learning_rate": 1.6879292929292931e-06, + "loss": 6.239046478271485, + "step": 66580 + }, + { + "epoch": 0.06985, + "grad_norm": 5.387986660003662, + "learning_rate": 1.6876767676767677e-06, + "loss": 6.245869827270508, + "step": 66585 + }, + { + "epoch": 0.0699, + "grad_norm": 4.043570518493652, + "learning_rate": 1.6874242424242426e-06, + "loss": 6.242410659790039, + "step": 66590 + }, + { + "epoch": 0.06995, + "grad_norm": 6.47554349899292, + "learning_rate": 1.6871717171717172e-06, + "loss": 6.258382415771484, + "step": 66595 + }, + { + "epoch": 0.07, + "grad_norm": 4.793996334075928, + "learning_rate": 1.686919191919192e-06, + "loss": 6.283049011230469, + "step": 66600 + }, + { + "epoch": 0.07005, + "grad_norm": 3.9591619968414307, + "learning_rate": 1.6866666666666667e-06, + "loss": 6.252975082397461, + "step": 66605 + }, + { + "epoch": 0.0701, + "grad_norm": 4.501852989196777, + "learning_rate": 1.6864141414141415e-06, + "loss": 6.249829864501953, + "step": 66610 + }, + { + "epoch": 0.07015, + "grad_norm": 4.239077091217041, + "learning_rate": 1.6861616161616162e-06, + "loss": 6.275090026855469, + "step": 66615 + }, + { + "epoch": 0.0702, + "grad_norm": 4.846503734588623, + "learning_rate": 1.6859090909090912e-06, + "loss": 6.250979232788086, + "step": 66620 + }, + { + "epoch": 0.07025, + "grad_norm": 6.763078689575195, + "learning_rate": 1.6856565656565656e-06, + "loss": 6.213971710205078, + "step": 66625 + }, + { + "epoch": 0.0703, + "grad_norm": 4.898061752319336, + "learning_rate": 1.6854040404040407e-06, + "loss": 6.226777648925781, + "step": 66630 + }, + { + "epoch": 0.07035, + "grad_norm": 7.829683780670166, + "learning_rate": 1.6851515151515153e-06, + "loss": 6.247608947753906, + "step": 66635 + }, + { + "epoch": 0.0704, + "grad_norm": 5.44594669342041, + "learning_rate": 1.6848989898989902e-06, + "loss": 6.258434677124024, + "step": 66640 + }, + { + "epoch": 0.07045, + "grad_norm": 9.771390914916992, + "learning_rate": 1.6846464646464648e-06, + "loss": 6.293168258666992, + "step": 66645 + }, + { + "epoch": 0.0705, + "grad_norm": 7.443203926086426, + "learning_rate": 1.6843939393939396e-06, + "loss": 6.201123809814453, + "step": 66650 + }, + { + "epoch": 0.07055, + "grad_norm": 5.766367435455322, + "learning_rate": 1.6841414141414143e-06, + "loss": 6.2608692169189455, + "step": 66655 + }, + { + "epoch": 0.0706, + "grad_norm": 7.212408542633057, + "learning_rate": 1.683888888888889e-06, + "loss": 6.2338512420654295, + "step": 66660 + }, + { + "epoch": 0.07065, + "grad_norm": 4.518867492675781, + "learning_rate": 1.6836363636363637e-06, + "loss": 6.270831298828125, + "step": 66665 + }, + { + "epoch": 0.0707, + "grad_norm": 6.354170799255371, + "learning_rate": 1.6833838383838386e-06, + "loss": 6.253330993652344, + "step": 66670 + }, + { + "epoch": 0.07075, + "grad_norm": 6.426168441772461, + "learning_rate": 1.6831313131313132e-06, + "loss": 6.2804912567138675, + "step": 66675 + }, + { + "epoch": 0.0708, + "grad_norm": 5.305918216705322, + "learning_rate": 1.682878787878788e-06, + "loss": 6.237419128417969, + "step": 66680 + }, + { + "epoch": 0.07085, + "grad_norm": 9.386476516723633, + "learning_rate": 1.6826262626262627e-06, + "loss": 6.260951995849609, + "step": 66685 + }, + { + "epoch": 0.0709, + "grad_norm": 6.991048336029053, + "learning_rate": 1.6823737373737375e-06, + "loss": 6.241711807250977, + "step": 66690 + }, + { + "epoch": 0.07095, + "grad_norm": 6.540029525756836, + "learning_rate": 1.6821212121212121e-06, + "loss": 6.2677978515625, + "step": 66695 + }, + { + "epoch": 0.071, + "grad_norm": 5.9120306968688965, + "learning_rate": 1.681868686868687e-06, + "loss": 6.240496444702148, + "step": 66700 + }, + { + "epoch": 0.07105, + "grad_norm": 21.944429397583008, + "learning_rate": 1.6816161616161616e-06, + "loss": 6.264336776733399, + "step": 66705 + }, + { + "epoch": 0.0711, + "grad_norm": 14.691611289978027, + "learning_rate": 1.6813636363636365e-06, + "loss": 6.195718002319336, + "step": 66710 + }, + { + "epoch": 0.07115, + "grad_norm": 7.642651081085205, + "learning_rate": 1.681111111111111e-06, + "loss": 6.270307922363282, + "step": 66715 + }, + { + "epoch": 0.0712, + "grad_norm": 5.809664249420166, + "learning_rate": 1.680858585858586e-06, + "loss": 6.2938690185546875, + "step": 66720 + }, + { + "epoch": 0.07125, + "grad_norm": 8.364645957946777, + "learning_rate": 1.6806060606060606e-06, + "loss": 6.257210540771484, + "step": 66725 + }, + { + "epoch": 0.0713, + "grad_norm": 3.95160174369812, + "learning_rate": 1.6803535353535356e-06, + "loss": 6.275844573974609, + "step": 66730 + }, + { + "epoch": 0.07135, + "grad_norm": 7.474793434143066, + "learning_rate": 1.68010101010101e-06, + "loss": 6.197529602050781, + "step": 66735 + }, + { + "epoch": 0.0714, + "grad_norm": 4.211397171020508, + "learning_rate": 1.679848484848485e-06, + "loss": 6.232733917236328, + "step": 66740 + }, + { + "epoch": 0.07145, + "grad_norm": 5.065145492553711, + "learning_rate": 1.6795959595959597e-06, + "loss": 6.227064895629883, + "step": 66745 + }, + { + "epoch": 0.0715, + "grad_norm": 6.64362096786499, + "learning_rate": 1.6793434343434346e-06, + "loss": 6.227158737182617, + "step": 66750 + }, + { + "epoch": 0.07155, + "grad_norm": 9.859370231628418, + "learning_rate": 1.6790909090909092e-06, + "loss": 6.220893478393554, + "step": 66755 + }, + { + "epoch": 0.0716, + "grad_norm": 5.385838985443115, + "learning_rate": 1.678838383838384e-06, + "loss": 6.206459808349609, + "step": 66760 + }, + { + "epoch": 0.07165, + "grad_norm": 5.009071350097656, + "learning_rate": 1.6785858585858587e-06, + "loss": 6.173466491699219, + "step": 66765 + }, + { + "epoch": 0.0717, + "grad_norm": 7.756752014160156, + "learning_rate": 1.6783333333333335e-06, + "loss": 6.262116241455078, + "step": 66770 + }, + { + "epoch": 0.07175, + "grad_norm": 6.852177143096924, + "learning_rate": 1.6780808080808081e-06, + "loss": 6.2273704528808596, + "step": 66775 + }, + { + "epoch": 0.0718, + "grad_norm": 11.542301177978516, + "learning_rate": 1.677828282828283e-06, + "loss": 6.205813980102539, + "step": 66780 + }, + { + "epoch": 0.07185, + "grad_norm": 6.170810222625732, + "learning_rate": 1.6775757575757576e-06, + "loss": 6.23189697265625, + "step": 66785 + }, + { + "epoch": 0.0719, + "grad_norm": 8.510496139526367, + "learning_rate": 1.6773232323232324e-06, + "loss": 6.444342041015625, + "step": 66790 + }, + { + "epoch": 0.07195, + "grad_norm": 3.7251713275909424, + "learning_rate": 1.677070707070707e-06, + "loss": 6.220070648193359, + "step": 66795 + }, + { + "epoch": 0.072, + "grad_norm": 7.442929267883301, + "learning_rate": 1.676818181818182e-06, + "loss": 6.274032974243164, + "step": 66800 + }, + { + "epoch": 0.07205, + "grad_norm": 5.154984951019287, + "learning_rate": 1.6765656565656568e-06, + "loss": 6.213645553588867, + "step": 66805 + }, + { + "epoch": 0.0721, + "grad_norm": 6.928219795227051, + "learning_rate": 1.6763131313131314e-06, + "loss": 6.344789123535156, + "step": 66810 + }, + { + "epoch": 0.07215, + "grad_norm": 11.991657257080078, + "learning_rate": 1.6760606060606062e-06, + "loss": 6.2474311828613285, + "step": 66815 + }, + { + "epoch": 0.0722, + "grad_norm": 4.950830936431885, + "learning_rate": 1.6758080808080809e-06, + "loss": 6.226139068603516, + "step": 66820 + }, + { + "epoch": 0.07225, + "grad_norm": 7.721171855926514, + "learning_rate": 1.675555555555556e-06, + "loss": 6.225967025756836, + "step": 66825 + }, + { + "epoch": 0.0723, + "grad_norm": 4.155689716339111, + "learning_rate": 1.6753030303030303e-06, + "loss": 6.245489501953125, + "step": 66830 + }, + { + "epoch": 0.07235, + "grad_norm": 6.7812700271606445, + "learning_rate": 1.6750505050505054e-06, + "loss": 6.233506774902343, + "step": 66835 + }, + { + "epoch": 0.0724, + "grad_norm": 5.097720146179199, + "learning_rate": 1.67479797979798e-06, + "loss": 6.284716415405273, + "step": 66840 + }, + { + "epoch": 0.07245, + "grad_norm": 4.343050003051758, + "learning_rate": 1.6745454545454549e-06, + "loss": 6.286292266845703, + "step": 66845 + }, + { + "epoch": 0.0725, + "grad_norm": 12.36262321472168, + "learning_rate": 1.6742929292929295e-06, + "loss": 6.268727874755859, + "step": 66850 + }, + { + "epoch": 0.07255, + "grad_norm": 8.473738670349121, + "learning_rate": 1.6740404040404043e-06, + "loss": 6.241419982910156, + "step": 66855 + }, + { + "epoch": 0.0726, + "grad_norm": 5.330711841583252, + "learning_rate": 1.673787878787879e-06, + "loss": 6.38854751586914, + "step": 66860 + }, + { + "epoch": 0.07265, + "grad_norm": 6.764120578765869, + "learning_rate": 1.6735353535353538e-06, + "loss": 6.2959941864013675, + "step": 66865 + }, + { + "epoch": 0.0727, + "grad_norm": 7.664856910705566, + "learning_rate": 1.6732828282828284e-06, + "loss": 6.248047256469727, + "step": 66870 + }, + { + "epoch": 0.07275, + "grad_norm": 8.716785430908203, + "learning_rate": 1.6730303030303033e-06, + "loss": 6.297762680053711, + "step": 66875 + }, + { + "epoch": 0.0728, + "grad_norm": 3.71866774559021, + "learning_rate": 1.672777777777778e-06, + "loss": 6.2310302734375, + "step": 66880 + }, + { + "epoch": 0.07285, + "grad_norm": 5.274337291717529, + "learning_rate": 1.6725252525252527e-06, + "loss": 6.286685943603516, + "step": 66885 + }, + { + "epoch": 0.0729, + "grad_norm": 8.777344703674316, + "learning_rate": 1.6722727272727274e-06, + "loss": 6.298732757568359, + "step": 66890 + }, + { + "epoch": 0.07295, + "grad_norm": 5.9917731285095215, + "learning_rate": 1.6720202020202022e-06, + "loss": 6.237001037597656, + "step": 66895 + }, + { + "epoch": 0.073, + "grad_norm": 5.673536777496338, + "learning_rate": 1.6717676767676768e-06, + "loss": 6.277872467041016, + "step": 66900 + }, + { + "epoch": 0.07305, + "grad_norm": 6.6186299324035645, + "learning_rate": 1.6715151515151517e-06, + "loss": 6.262302398681641, + "step": 66905 + }, + { + "epoch": 0.0731, + "grad_norm": 8.656669616699219, + "learning_rate": 1.6712626262626263e-06, + "loss": 6.228644180297851, + "step": 66910 + }, + { + "epoch": 0.07315, + "grad_norm": 7.859682083129883, + "learning_rate": 1.6710101010101012e-06, + "loss": 6.299396514892578, + "step": 66915 + }, + { + "epoch": 0.0732, + "grad_norm": 3.3357269763946533, + "learning_rate": 1.6707575757575758e-06, + "loss": 6.2257648468017575, + "step": 66920 + }, + { + "epoch": 0.07325, + "grad_norm": 13.270245552062988, + "learning_rate": 1.6705050505050508e-06, + "loss": 6.317365264892578, + "step": 66925 + }, + { + "epoch": 0.0733, + "grad_norm": 6.733044147491455, + "learning_rate": 1.6702525252525253e-06, + "loss": 6.261484527587891, + "step": 66930 + }, + { + "epoch": 0.07335, + "grad_norm": 4.925628185272217, + "learning_rate": 1.6700000000000003e-06, + "loss": 6.247397232055664, + "step": 66935 + }, + { + "epoch": 0.0734, + "grad_norm": 9.191264152526855, + "learning_rate": 1.6697474747474747e-06, + "loss": 6.267113113403321, + "step": 66940 + }, + { + "epoch": 0.07345, + "grad_norm": 7.5159525871276855, + "learning_rate": 1.6694949494949498e-06, + "loss": 6.296604156494141, + "step": 66945 + }, + { + "epoch": 0.0735, + "grad_norm": 6.917036056518555, + "learning_rate": 1.6692424242424244e-06, + "loss": 6.205605316162109, + "step": 66950 + }, + { + "epoch": 0.07355, + "grad_norm": 5.941437244415283, + "learning_rate": 1.6689898989898993e-06, + "loss": 6.298007202148438, + "step": 66955 + }, + { + "epoch": 0.0736, + "grad_norm": 7.841940879821777, + "learning_rate": 1.6687373737373739e-06, + "loss": 6.1930397033691404, + "step": 66960 + }, + { + "epoch": 0.07365, + "grad_norm": 4.034249782562256, + "learning_rate": 1.6684848484848487e-06, + "loss": 6.230327606201172, + "step": 66965 + }, + { + "epoch": 0.0737, + "grad_norm": 6.375181198120117, + "learning_rate": 1.6682323232323234e-06, + "loss": 6.3028308868408205, + "step": 66970 + }, + { + "epoch": 0.07375, + "grad_norm": 11.67187213897705, + "learning_rate": 1.6679797979797982e-06, + "loss": 6.3321693420410154, + "step": 66975 + }, + { + "epoch": 0.0738, + "grad_norm": 22.714027404785156, + "learning_rate": 1.6677272727272728e-06, + "loss": 6.354092407226562, + "step": 66980 + }, + { + "epoch": 0.07385, + "grad_norm": 8.630751609802246, + "learning_rate": 1.6674747474747477e-06, + "loss": 6.375128173828125, + "step": 66985 + }, + { + "epoch": 0.0739, + "grad_norm": 4.428469181060791, + "learning_rate": 1.6672222222222223e-06, + "loss": 6.217602920532227, + "step": 66990 + }, + { + "epoch": 0.07395, + "grad_norm": 7.888657569885254, + "learning_rate": 1.6669696969696971e-06, + "loss": 6.163916015625, + "step": 66995 + }, + { + "epoch": 0.074, + "grad_norm": 6.813203811645508, + "learning_rate": 1.6667171717171718e-06, + "loss": 6.254452896118164, + "step": 67000 + }, + { + "epoch": 0.07405, + "grad_norm": 7.165389537811279, + "learning_rate": 1.6664646464646466e-06, + "loss": 6.243295669555664, + "step": 67005 + }, + { + "epoch": 0.0741, + "grad_norm": 8.310712814331055, + "learning_rate": 1.6662121212121213e-06, + "loss": 6.208291625976562, + "step": 67010 + }, + { + "epoch": 0.07415, + "grad_norm": 4.837979793548584, + "learning_rate": 1.665959595959596e-06, + "loss": 6.2461082458496096, + "step": 67015 + }, + { + "epoch": 0.0742, + "grad_norm": 5.729977607727051, + "learning_rate": 1.6657070707070707e-06, + "loss": 6.267649078369141, + "step": 67020 + }, + { + "epoch": 0.07425, + "grad_norm": 28.752960205078125, + "learning_rate": 1.6654545454545456e-06, + "loss": 6.231096649169922, + "step": 67025 + }, + { + "epoch": 0.0743, + "grad_norm": 10.139350891113281, + "learning_rate": 1.6652020202020202e-06, + "loss": 6.281904602050782, + "step": 67030 + }, + { + "epoch": 0.07435, + "grad_norm": 13.142845153808594, + "learning_rate": 1.6649494949494952e-06, + "loss": 6.284098434448242, + "step": 67035 + }, + { + "epoch": 0.0744, + "grad_norm": 6.03406286239624, + "learning_rate": 1.6646969696969697e-06, + "loss": 6.246023941040039, + "step": 67040 + }, + { + "epoch": 0.07445, + "grad_norm": 6.210331439971924, + "learning_rate": 1.6644444444444447e-06, + "loss": 6.267349624633789, + "step": 67045 + }, + { + "epoch": 0.0745, + "grad_norm": 25.118425369262695, + "learning_rate": 1.6641919191919193e-06, + "loss": 6.402649688720703, + "step": 67050 + }, + { + "epoch": 0.07455, + "grad_norm": 6.314655780792236, + "learning_rate": 1.6639393939393942e-06, + "loss": 6.197834014892578, + "step": 67055 + }, + { + "epoch": 0.0746, + "grad_norm": 2.856656551361084, + "learning_rate": 1.6636868686868688e-06, + "loss": 6.204808044433594, + "step": 67060 + }, + { + "epoch": 0.07465, + "grad_norm": 4.676720142364502, + "learning_rate": 1.6634343434343437e-06, + "loss": 6.08953857421875, + "step": 67065 + }, + { + "epoch": 0.0747, + "grad_norm": 4.430919647216797, + "learning_rate": 1.6631818181818183e-06, + "loss": 6.305049896240234, + "step": 67070 + }, + { + "epoch": 0.07475, + "grad_norm": 6.612840175628662, + "learning_rate": 1.6629292929292931e-06, + "loss": 6.242228317260742, + "step": 67075 + }, + { + "epoch": 0.0748, + "grad_norm": 23.68415641784668, + "learning_rate": 1.6626767676767678e-06, + "loss": 6.260010147094727, + "step": 67080 + }, + { + "epoch": 0.07485, + "grad_norm": 8.681134223937988, + "learning_rate": 1.6624242424242426e-06, + "loss": 6.318877029418945, + "step": 67085 + }, + { + "epoch": 0.0749, + "grad_norm": 6.6279096603393555, + "learning_rate": 1.6621717171717172e-06, + "loss": 6.1865287780761715, + "step": 67090 + }, + { + "epoch": 0.07495, + "grad_norm": 7.408749580383301, + "learning_rate": 1.661919191919192e-06, + "loss": 6.218962860107422, + "step": 67095 + }, + { + "epoch": 0.075, + "grad_norm": 5.5011186599731445, + "learning_rate": 1.6616666666666667e-06, + "loss": 6.2669731140136715, + "step": 67100 + }, + { + "epoch": 0.07505, + "grad_norm": 6.862961292266846, + "learning_rate": 1.6614141414141416e-06, + "loss": 6.219792175292969, + "step": 67105 + }, + { + "epoch": 0.0751, + "grad_norm": 8.011595726013184, + "learning_rate": 1.6611616161616162e-06, + "loss": 6.267979431152344, + "step": 67110 + }, + { + "epoch": 0.07515, + "grad_norm": 5.4261250495910645, + "learning_rate": 1.660909090909091e-06, + "loss": 6.2546028137207035, + "step": 67115 + }, + { + "epoch": 0.0752, + "grad_norm": 7.062658786773682, + "learning_rate": 1.6606565656565657e-06, + "loss": 6.321611022949218, + "step": 67120 + }, + { + "epoch": 0.07525, + "grad_norm": 4.605218410491943, + "learning_rate": 1.6604040404040405e-06, + "loss": 6.292785263061523, + "step": 67125 + }, + { + "epoch": 0.0753, + "grad_norm": 4.593461513519287, + "learning_rate": 1.6601515151515151e-06, + "loss": 6.243962097167969, + "step": 67130 + }, + { + "epoch": 0.07535, + "grad_norm": 10.528093338012695, + "learning_rate": 1.65989898989899e-06, + "loss": 6.255412673950195, + "step": 67135 + }, + { + "epoch": 0.0754, + "grad_norm": 4.658772945404053, + "learning_rate": 1.6596464646464646e-06, + "loss": 6.269566345214844, + "step": 67140 + }, + { + "epoch": 0.07545, + "grad_norm": 10.081796646118164, + "learning_rate": 1.6593939393939397e-06, + "loss": 6.317112731933594, + "step": 67145 + }, + { + "epoch": 0.0755, + "grad_norm": 14.443259239196777, + "learning_rate": 1.659141414141414e-06, + "loss": 6.392361068725586, + "step": 67150 + }, + { + "epoch": 0.07555, + "grad_norm": 5.5970048904418945, + "learning_rate": 1.6588888888888891e-06, + "loss": 6.258982849121094, + "step": 67155 + }, + { + "epoch": 0.0756, + "grad_norm": 8.535996437072754, + "learning_rate": 1.6586363636363638e-06, + "loss": 6.231755065917969, + "step": 67160 + }, + { + "epoch": 0.07565, + "grad_norm": 27.695085525512695, + "learning_rate": 1.6583838383838386e-06, + "loss": 6.322100830078125, + "step": 67165 + }, + { + "epoch": 0.0757, + "grad_norm": 6.6866912841796875, + "learning_rate": 1.6581313131313132e-06, + "loss": 6.235567474365235, + "step": 67170 + }, + { + "epoch": 0.07575, + "grad_norm": 5.936610221862793, + "learning_rate": 1.657878787878788e-06, + "loss": 6.250206375122071, + "step": 67175 + }, + { + "epoch": 0.0758, + "grad_norm": 4.696446895599365, + "learning_rate": 1.6576262626262627e-06, + "loss": 6.255342102050781, + "step": 67180 + }, + { + "epoch": 0.07585, + "grad_norm": 14.66552734375, + "learning_rate": 1.6573737373737375e-06, + "loss": 8.99875717163086, + "step": 67185 + }, + { + "epoch": 0.0759, + "grad_norm": 5.719045639038086, + "learning_rate": 1.6571212121212122e-06, + "loss": 6.237542724609375, + "step": 67190 + }, + { + "epoch": 0.07595, + "grad_norm": 10.964690208435059, + "learning_rate": 1.656868686868687e-06, + "loss": 6.260063934326172, + "step": 67195 + }, + { + "epoch": 0.076, + "grad_norm": 4.6868181228637695, + "learning_rate": 1.6566161616161616e-06, + "loss": 6.257347869873047, + "step": 67200 + }, + { + "epoch": 0.07605, + "grad_norm": 4.5217366218566895, + "learning_rate": 1.6563636363636365e-06, + "loss": 6.205026245117187, + "step": 67205 + }, + { + "epoch": 0.0761, + "grad_norm": 6.182888507843018, + "learning_rate": 1.6561111111111111e-06, + "loss": 6.215607070922852, + "step": 67210 + }, + { + "epoch": 0.07615, + "grad_norm": 33.83673858642578, + "learning_rate": 1.655858585858586e-06, + "loss": 6.2854572296142575, + "step": 67215 + }, + { + "epoch": 0.0762, + "grad_norm": 4.649621486663818, + "learning_rate": 1.6556060606060606e-06, + "loss": 6.2342884063720705, + "step": 67220 + }, + { + "epoch": 0.07625, + "grad_norm": 11.680132865905762, + "learning_rate": 1.6553535353535354e-06, + "loss": 6.48589859008789, + "step": 67225 + }, + { + "epoch": 0.0763, + "grad_norm": 9.52846908569336, + "learning_rate": 1.6551010101010103e-06, + "loss": 6.261978530883789, + "step": 67230 + }, + { + "epoch": 0.07635, + "grad_norm": 18.70293617248535, + "learning_rate": 1.654848484848485e-06, + "loss": 6.326731872558594, + "step": 67235 + }, + { + "epoch": 0.0764, + "grad_norm": 4.197718143463135, + "learning_rate": 1.65459595959596e-06, + "loss": 6.465175628662109, + "step": 67240 + }, + { + "epoch": 0.07645, + "grad_norm": 4.910754203796387, + "learning_rate": 1.6543434343434344e-06, + "loss": 6.238689041137695, + "step": 67245 + }, + { + "epoch": 0.0765, + "grad_norm": 9.078868865966797, + "learning_rate": 1.6540909090909094e-06, + "loss": 6.269768905639649, + "step": 67250 + }, + { + "epoch": 0.07655, + "grad_norm": 5.23130464553833, + "learning_rate": 1.653838383838384e-06, + "loss": 6.211724090576172, + "step": 67255 + }, + { + "epoch": 0.0766, + "grad_norm": 7.957825660705566, + "learning_rate": 1.653585858585859e-06, + "loss": 6.274599075317383, + "step": 67260 + }, + { + "epoch": 0.07665, + "grad_norm": 37.13931655883789, + "learning_rate": 1.6533333333333335e-06, + "loss": 6.194308471679688, + "step": 67265 + }, + { + "epoch": 0.0767, + "grad_norm": 5.188248157501221, + "learning_rate": 1.6530808080808084e-06, + "loss": 6.229327392578125, + "step": 67270 + }, + { + "epoch": 0.07675, + "grad_norm": 5.43469762802124, + "learning_rate": 1.652828282828283e-06, + "loss": 6.197406768798828, + "step": 67275 + }, + { + "epoch": 0.0768, + "grad_norm": 7.046252250671387, + "learning_rate": 1.6525757575757578e-06, + "loss": 6.240939331054688, + "step": 67280 + }, + { + "epoch": 0.07685, + "grad_norm": 9.346805572509766, + "learning_rate": 1.6523232323232325e-06, + "loss": 6.445100402832031, + "step": 67285 + }, + { + "epoch": 0.0769, + "grad_norm": 8.126006126403809, + "learning_rate": 1.6520707070707073e-06, + "loss": 6.231577682495117, + "step": 67290 + }, + { + "epoch": 0.07695, + "grad_norm": 5.0931267738342285, + "learning_rate": 1.651818181818182e-06, + "loss": 6.2618263244628904, + "step": 67295 + }, + { + "epoch": 0.077, + "grad_norm": 5.816989898681641, + "learning_rate": 1.6515656565656568e-06, + "loss": 6.216603088378906, + "step": 67300 + }, + { + "epoch": 0.07705, + "grad_norm": 12.151991844177246, + "learning_rate": 1.6513131313131314e-06, + "loss": 6.282543182373047, + "step": 67305 + }, + { + "epoch": 0.0771, + "grad_norm": 8.20792293548584, + "learning_rate": 1.6510606060606063e-06, + "loss": 6.303852462768555, + "step": 67310 + }, + { + "epoch": 0.07715, + "grad_norm": 5.390141010284424, + "learning_rate": 1.6508080808080809e-06, + "loss": 6.220110702514648, + "step": 67315 + }, + { + "epoch": 0.0772, + "grad_norm": 4.785421371459961, + "learning_rate": 1.6505555555555557e-06, + "loss": 6.263191986083984, + "step": 67320 + }, + { + "epoch": 0.07725, + "grad_norm": 12.818017959594727, + "learning_rate": 1.6503030303030304e-06, + "loss": 6.275766754150391, + "step": 67325 + }, + { + "epoch": 0.0773, + "grad_norm": 6.268979549407959, + "learning_rate": 1.6500505050505052e-06, + "loss": 6.227426528930664, + "step": 67330 + }, + { + "epoch": 0.07735, + "grad_norm": 6.731168270111084, + "learning_rate": 1.6497979797979798e-06, + "loss": 6.281745910644531, + "step": 67335 + }, + { + "epoch": 0.0774, + "grad_norm": 10.57622241973877, + "learning_rate": 1.6495454545454549e-06, + "loss": 6.228261947631836, + "step": 67340 + }, + { + "epoch": 0.07745, + "grad_norm": 4.741379261016846, + "learning_rate": 1.6492929292929293e-06, + "loss": 6.260938262939453, + "step": 67345 + }, + { + "epoch": 0.0775, + "grad_norm": 4.93731689453125, + "learning_rate": 1.6490404040404044e-06, + "loss": 6.165606689453125, + "step": 67350 + }, + { + "epoch": 0.07755, + "grad_norm": 6.149819850921631, + "learning_rate": 1.648787878787879e-06, + "loss": 6.190977096557617, + "step": 67355 + }, + { + "epoch": 0.0776, + "grad_norm": 7.334464073181152, + "learning_rate": 1.6485353535353538e-06, + "loss": 6.259605407714844, + "step": 67360 + }, + { + "epoch": 0.07765, + "grad_norm": 10.363024711608887, + "learning_rate": 1.6482828282828285e-06, + "loss": 6.459387969970703, + "step": 67365 + }, + { + "epoch": 0.0777, + "grad_norm": 7.720767021179199, + "learning_rate": 1.6480303030303033e-06, + "loss": 6.257353973388672, + "step": 67370 + }, + { + "epoch": 0.07775, + "grad_norm": 4.660161972045898, + "learning_rate": 1.647777777777778e-06, + "loss": 6.334947967529297, + "step": 67375 + }, + { + "epoch": 0.0778, + "grad_norm": 8.98572826385498, + "learning_rate": 1.6475252525252528e-06, + "loss": 6.258035278320312, + "step": 67380 + }, + { + "epoch": 0.07785, + "grad_norm": 10.139760971069336, + "learning_rate": 1.6472727272727274e-06, + "loss": 6.245917129516601, + "step": 67385 + }, + { + "epoch": 0.0779, + "grad_norm": 8.263921737670898, + "learning_rate": 1.6470202020202022e-06, + "loss": 6.2987617492675785, + "step": 67390 + }, + { + "epoch": 0.07795, + "grad_norm": 7.515267372131348, + "learning_rate": 1.6467676767676769e-06, + "loss": 6.263603973388672, + "step": 67395 + }, + { + "epoch": 0.078, + "grad_norm": 6.685860633850098, + "learning_rate": 1.6465151515151517e-06, + "loss": 6.212256240844726, + "step": 67400 + }, + { + "epoch": 0.07805, + "grad_norm": 8.095151901245117, + "learning_rate": 1.6462626262626263e-06, + "loss": 6.253326416015625, + "step": 67405 + }, + { + "epoch": 0.0781, + "grad_norm": 5.389197826385498, + "learning_rate": 1.6460101010101012e-06, + "loss": 6.264118957519531, + "step": 67410 + }, + { + "epoch": 0.07815, + "grad_norm": 16.66035270690918, + "learning_rate": 1.6457575757575758e-06, + "loss": 6.29560661315918, + "step": 67415 + }, + { + "epoch": 0.0782, + "grad_norm": 4.174916744232178, + "learning_rate": 1.6455050505050507e-06, + "loss": 6.238037872314453, + "step": 67420 + }, + { + "epoch": 0.07825, + "grad_norm": 6.3450493812561035, + "learning_rate": 1.6452525252525253e-06, + "loss": 6.39105224609375, + "step": 67425 + }, + { + "epoch": 0.0783, + "grad_norm": 5.370755195617676, + "learning_rate": 1.6450000000000001e-06, + "loss": 6.2310333251953125, + "step": 67430 + }, + { + "epoch": 0.07835, + "grad_norm": 8.252110481262207, + "learning_rate": 1.6447474747474748e-06, + "loss": 6.224236297607422, + "step": 67435 + }, + { + "epoch": 0.0784, + "grad_norm": 44.491153717041016, + "learning_rate": 1.6444949494949496e-06, + "loss": 6.402571105957032, + "step": 67440 + }, + { + "epoch": 0.07845, + "grad_norm": 7.144503593444824, + "learning_rate": 1.6442424242424242e-06, + "loss": 6.46932373046875, + "step": 67445 + }, + { + "epoch": 0.0785, + "grad_norm": 5.997300148010254, + "learning_rate": 1.6439898989898993e-06, + "loss": 6.2170360565185545, + "step": 67450 + }, + { + "epoch": 0.07855, + "grad_norm": 6.4436235427856445, + "learning_rate": 1.6437373737373737e-06, + "loss": 6.195291137695312, + "step": 67455 + }, + { + "epoch": 0.0786, + "grad_norm": 4.463476181030273, + "learning_rate": 1.6434848484848488e-06, + "loss": 6.303199005126953, + "step": 67460 + }, + { + "epoch": 0.07865, + "grad_norm": 7.484311580657959, + "learning_rate": 1.6432323232323234e-06, + "loss": 6.261862945556641, + "step": 67465 + }, + { + "epoch": 0.0787, + "grad_norm": 13.429766654968262, + "learning_rate": 1.6429797979797982e-06, + "loss": 6.272409439086914, + "step": 67470 + }, + { + "epoch": 0.07875, + "grad_norm": 6.682587146759033, + "learning_rate": 1.6427272727272729e-06, + "loss": 6.299173355102539, + "step": 67475 + }, + { + "epoch": 0.0788, + "grad_norm": 7.4914774894714355, + "learning_rate": 1.6424747474747477e-06, + "loss": 6.2360893249511715, + "step": 67480 + }, + { + "epoch": 0.07885, + "grad_norm": 12.158146858215332, + "learning_rate": 1.6422222222222223e-06, + "loss": 6.504476165771484, + "step": 67485 + }, + { + "epoch": 0.0789, + "grad_norm": 8.626891136169434, + "learning_rate": 1.6419696969696972e-06, + "loss": 6.404395294189453, + "step": 67490 + }, + { + "epoch": 0.07895, + "grad_norm": 5.1805877685546875, + "learning_rate": 1.6417171717171718e-06, + "loss": 6.2689208984375, + "step": 67495 + }, + { + "epoch": 0.079, + "grad_norm": 4.457931995391846, + "learning_rate": 1.6414646464646466e-06, + "loss": 6.252556610107422, + "step": 67500 + }, + { + "epoch": 0.07905, + "grad_norm": 9.858596801757812, + "learning_rate": 1.6412121212121213e-06, + "loss": 6.243936920166016, + "step": 67505 + }, + { + "epoch": 0.0791, + "grad_norm": 6.137274265289307, + "learning_rate": 1.6409595959595961e-06, + "loss": 6.229312896728516, + "step": 67510 + }, + { + "epoch": 0.07915, + "grad_norm": 45.86907196044922, + "learning_rate": 1.6407070707070707e-06, + "loss": 6.087805938720703, + "step": 67515 + }, + { + "epoch": 0.0792, + "grad_norm": 35.95911407470703, + "learning_rate": 1.6404545454545456e-06, + "loss": 5.7133544921875, + "step": 67520 + }, + { + "epoch": 0.07925, + "grad_norm": 43.87601089477539, + "learning_rate": 1.6402020202020202e-06, + "loss": 5.9341270446777346, + "step": 67525 + }, + { + "epoch": 0.0793, + "grad_norm": 8.438127517700195, + "learning_rate": 1.639949494949495e-06, + "loss": 6.205067825317383, + "step": 67530 + }, + { + "epoch": 0.07935, + "grad_norm": 8.508034706115723, + "learning_rate": 1.6396969696969697e-06, + "loss": 6.235186004638672, + "step": 67535 + }, + { + "epoch": 0.0794, + "grad_norm": 23.292116165161133, + "learning_rate": 1.6394444444444445e-06, + "loss": 6.414584350585938, + "step": 67540 + }, + { + "epoch": 0.07945, + "grad_norm": 6.286035537719727, + "learning_rate": 1.6391919191919192e-06, + "loss": 6.278558349609375, + "step": 67545 + }, + { + "epoch": 0.0795, + "grad_norm": 6.789996147155762, + "learning_rate": 1.638939393939394e-06, + "loss": 6.256460952758789, + "step": 67550 + }, + { + "epoch": 0.07955, + "grad_norm": 4.980437278747559, + "learning_rate": 1.6386868686868686e-06, + "loss": 6.24859619140625, + "step": 67555 + }, + { + "epoch": 0.0796, + "grad_norm": 8.48459243774414, + "learning_rate": 1.6384343434343437e-06, + "loss": 6.210050582885742, + "step": 67560 + }, + { + "epoch": 0.07965, + "grad_norm": 7.922573089599609, + "learning_rate": 1.6381818181818181e-06, + "loss": 6.266993713378906, + "step": 67565 + }, + { + "epoch": 0.0797, + "grad_norm": 11.659849166870117, + "learning_rate": 1.6379292929292932e-06, + "loss": 6.237688446044922, + "step": 67570 + }, + { + "epoch": 0.07975, + "grad_norm": 14.246847152709961, + "learning_rate": 1.6376767676767678e-06, + "loss": 6.814814758300781, + "step": 67575 + }, + { + "epoch": 0.0798, + "grad_norm": 11.328825950622559, + "learning_rate": 1.6374242424242426e-06, + "loss": 6.440885925292969, + "step": 67580 + }, + { + "epoch": 0.07985, + "grad_norm": 16.534137725830078, + "learning_rate": 1.6371717171717173e-06, + "loss": 6.310224914550782, + "step": 67585 + }, + { + "epoch": 0.0799, + "grad_norm": 6.2736992835998535, + "learning_rate": 1.6369191919191921e-06, + "loss": 6.302394866943359, + "step": 67590 + }, + { + "epoch": 0.07995, + "grad_norm": 14.068726539611816, + "learning_rate": 1.6366666666666667e-06, + "loss": 6.337668991088867, + "step": 67595 + }, + { + "epoch": 0.08, + "grad_norm": 11.29350757598877, + "learning_rate": 1.6364141414141416e-06, + "loss": 6.255840301513672, + "step": 67600 + }, + { + "epoch": 0.08005, + "grad_norm": 6.99368953704834, + "learning_rate": 1.6361616161616162e-06, + "loss": 6.277493286132812, + "step": 67605 + }, + { + "epoch": 0.0801, + "grad_norm": 6.596593856811523, + "learning_rate": 1.635909090909091e-06, + "loss": 6.200252532958984, + "step": 67610 + }, + { + "epoch": 0.08015, + "grad_norm": 5.134659767150879, + "learning_rate": 1.6356565656565657e-06, + "loss": 6.270723724365235, + "step": 67615 + }, + { + "epoch": 0.0802, + "grad_norm": 9.081636428833008, + "learning_rate": 1.6354040404040405e-06, + "loss": 6.252311325073242, + "step": 67620 + }, + { + "epoch": 0.08025, + "grad_norm": 28.274370193481445, + "learning_rate": 1.6351515151515152e-06, + "loss": 6.210406875610351, + "step": 67625 + }, + { + "epoch": 0.0803, + "grad_norm": 5.705901145935059, + "learning_rate": 1.63489898989899e-06, + "loss": 6.2922523498535154, + "step": 67630 + }, + { + "epoch": 0.08035, + "grad_norm": 3.9479448795318604, + "learning_rate": 1.6346464646464646e-06, + "loss": 6.27076416015625, + "step": 67635 + }, + { + "epoch": 0.0804, + "grad_norm": 5.289205551147461, + "learning_rate": 1.6343939393939395e-06, + "loss": 6.220604324340821, + "step": 67640 + }, + { + "epoch": 0.08045, + "grad_norm": 3.978760004043579, + "learning_rate": 1.634141414141414e-06, + "loss": 6.177287673950195, + "step": 67645 + }, + { + "epoch": 0.0805, + "grad_norm": 19.25391387939453, + "learning_rate": 1.633888888888889e-06, + "loss": 6.2040962219238285, + "step": 67650 + }, + { + "epoch": 0.08055, + "grad_norm": 5.032575607299805, + "learning_rate": 1.6336363636363636e-06, + "loss": 6.228739166259766, + "step": 67655 + }, + { + "epoch": 0.0806, + "grad_norm": 19.557016372680664, + "learning_rate": 1.6333838383838384e-06, + "loss": 6.3084465026855465, + "step": 67660 + }, + { + "epoch": 0.08065, + "grad_norm": 3.839205026626587, + "learning_rate": 1.6331313131313135e-06, + "loss": 6.22178955078125, + "step": 67665 + }, + { + "epoch": 0.0807, + "grad_norm": 10.260281562805176, + "learning_rate": 1.632878787878788e-06, + "loss": 6.220943450927734, + "step": 67670 + }, + { + "epoch": 0.08075, + "grad_norm": 6.086826324462891, + "learning_rate": 1.632626262626263e-06, + "loss": 6.242675018310547, + "step": 67675 + }, + { + "epoch": 0.0808, + "grad_norm": 8.19084358215332, + "learning_rate": 1.6323737373737376e-06, + "loss": 6.176053619384765, + "step": 67680 + }, + { + "epoch": 0.08085, + "grad_norm": 6.042530536651611, + "learning_rate": 1.6321212121212124e-06, + "loss": 6.259477615356445, + "step": 67685 + }, + { + "epoch": 0.0809, + "grad_norm": 12.969033241271973, + "learning_rate": 1.631868686868687e-06, + "loss": 6.343133544921875, + "step": 67690 + }, + { + "epoch": 0.08095, + "grad_norm": 5.366542339324951, + "learning_rate": 1.6316161616161619e-06, + "loss": 6.232950592041016, + "step": 67695 + }, + { + "epoch": 0.081, + "grad_norm": 4.220341682434082, + "learning_rate": 1.6313636363636365e-06, + "loss": 6.2344825744628904, + "step": 67700 + }, + { + "epoch": 0.08105, + "grad_norm": 5.814554691314697, + "learning_rate": 1.6311111111111114e-06, + "loss": 6.263970184326172, + "step": 67705 + }, + { + "epoch": 0.0811, + "grad_norm": 4.872402191162109, + "learning_rate": 1.630858585858586e-06, + "loss": 6.1936088562011715, + "step": 67710 + }, + { + "epoch": 0.08115, + "grad_norm": 11.441375732421875, + "learning_rate": 1.6306060606060608e-06, + "loss": 6.247540283203125, + "step": 67715 + }, + { + "epoch": 0.0812, + "grad_norm": 6.263543128967285, + "learning_rate": 1.6303535353535355e-06, + "loss": 6.252691650390625, + "step": 67720 + }, + { + "epoch": 0.08125, + "grad_norm": 6.189016342163086, + "learning_rate": 1.6301010101010103e-06, + "loss": 6.234823608398438, + "step": 67725 + }, + { + "epoch": 0.0813, + "grad_norm": 4.7466630935668945, + "learning_rate": 1.629848484848485e-06, + "loss": 6.248161697387696, + "step": 67730 + }, + { + "epoch": 0.08135, + "grad_norm": 9.343341827392578, + "learning_rate": 1.6295959595959598e-06, + "loss": 6.277152252197266, + "step": 67735 + }, + { + "epoch": 0.0814, + "grad_norm": 5.7494330406188965, + "learning_rate": 1.6293434343434344e-06, + "loss": 6.22405776977539, + "step": 67740 + }, + { + "epoch": 0.08145, + "grad_norm": 5.2661237716674805, + "learning_rate": 1.6290909090909092e-06, + "loss": 6.223161315917968, + "step": 67745 + }, + { + "epoch": 0.0815, + "grad_norm": 7.264105319976807, + "learning_rate": 1.6288383838383839e-06, + "loss": 6.235430908203125, + "step": 67750 + }, + { + "epoch": 0.08155, + "grad_norm": 4.009241104125977, + "learning_rate": 1.628585858585859e-06, + "loss": 6.277658081054687, + "step": 67755 + }, + { + "epoch": 0.0816, + "grad_norm": 6.422910690307617, + "learning_rate": 1.6283333333333333e-06, + "loss": 6.268106842041016, + "step": 67760 + }, + { + "epoch": 0.08165, + "grad_norm": 6.200218200683594, + "learning_rate": 1.6280808080808084e-06, + "loss": 6.2800758361816404, + "step": 67765 + }, + { + "epoch": 0.0817, + "grad_norm": 5.410836219787598, + "learning_rate": 1.627828282828283e-06, + "loss": 6.216603088378906, + "step": 67770 + }, + { + "epoch": 0.08175, + "grad_norm": 5.310351848602295, + "learning_rate": 1.6275757575757579e-06, + "loss": 6.266691207885742, + "step": 67775 + }, + { + "epoch": 0.0818, + "grad_norm": 6.013910293579102, + "learning_rate": 1.6273232323232325e-06, + "loss": 6.26541748046875, + "step": 67780 + }, + { + "epoch": 0.08185, + "grad_norm": 7.738881587982178, + "learning_rate": 1.6270707070707073e-06, + "loss": 6.274266052246094, + "step": 67785 + }, + { + "epoch": 0.0819, + "grad_norm": 6.8991498947143555, + "learning_rate": 1.626818181818182e-06, + "loss": 6.216093826293945, + "step": 67790 + }, + { + "epoch": 0.08195, + "grad_norm": 6.685734748840332, + "learning_rate": 1.6265656565656568e-06, + "loss": 6.254594421386718, + "step": 67795 + }, + { + "epoch": 0.082, + "grad_norm": 8.719515800476074, + "learning_rate": 1.6263131313131314e-06, + "loss": 6.259923934936523, + "step": 67800 + }, + { + "epoch": 0.08205, + "grad_norm": 38.41505813598633, + "learning_rate": 1.6260606060606063e-06, + "loss": 6.183220672607422, + "step": 67805 + }, + { + "epoch": 0.0821, + "grad_norm": 5.735619068145752, + "learning_rate": 1.625808080808081e-06, + "loss": 6.151051330566406, + "step": 67810 + }, + { + "epoch": 0.08215, + "grad_norm": 3.9512507915496826, + "learning_rate": 1.6255555555555558e-06, + "loss": 6.205488967895508, + "step": 67815 + }, + { + "epoch": 0.0822, + "grad_norm": 7.2785725593566895, + "learning_rate": 1.6253030303030304e-06, + "loss": 6.221299362182617, + "step": 67820 + }, + { + "epoch": 0.08225, + "grad_norm": 7.386477947235107, + "learning_rate": 1.6250505050505052e-06, + "loss": 6.242499160766601, + "step": 67825 + }, + { + "epoch": 0.0823, + "grad_norm": 7.744307994842529, + "learning_rate": 1.6247979797979799e-06, + "loss": 6.227522277832032, + "step": 67830 + }, + { + "epoch": 0.08235, + "grad_norm": 8.094497680664062, + "learning_rate": 1.6245454545454547e-06, + "loss": 6.257695007324219, + "step": 67835 + }, + { + "epoch": 0.0824, + "grad_norm": 13.343533515930176, + "learning_rate": 1.6242929292929293e-06, + "loss": 6.269753265380859, + "step": 67840 + }, + { + "epoch": 0.08245, + "grad_norm": 4.233196258544922, + "learning_rate": 1.6240404040404042e-06, + "loss": 6.280826187133789, + "step": 67845 + }, + { + "epoch": 0.0825, + "grad_norm": 6.104916572570801, + "learning_rate": 1.6237878787878788e-06, + "loss": 6.266438293457031, + "step": 67850 + }, + { + "epoch": 0.08255, + "grad_norm": 6.73159122467041, + "learning_rate": 1.6235353535353536e-06, + "loss": 6.26457633972168, + "step": 67855 + }, + { + "epoch": 0.0826, + "grad_norm": 6.955192565917969, + "learning_rate": 1.6232828282828283e-06, + "loss": 6.222341918945313, + "step": 67860 + }, + { + "epoch": 0.08265, + "grad_norm": 7.125829696655273, + "learning_rate": 1.6230303030303033e-06, + "loss": 6.241864013671875, + "step": 67865 + }, + { + "epoch": 0.0827, + "grad_norm": 7.97471809387207, + "learning_rate": 1.6227777777777777e-06, + "loss": 6.241533279418945, + "step": 67870 + }, + { + "epoch": 0.08275, + "grad_norm": 6.865375518798828, + "learning_rate": 1.6225252525252528e-06, + "loss": 6.271086883544922, + "step": 67875 + }, + { + "epoch": 0.0828, + "grad_norm": 4.725345611572266, + "learning_rate": 1.6222727272727274e-06, + "loss": 6.365765380859375, + "step": 67880 + }, + { + "epoch": 0.08285, + "grad_norm": 5.113654136657715, + "learning_rate": 1.6220202020202023e-06, + "loss": 6.249844741821289, + "step": 67885 + }, + { + "epoch": 0.0829, + "grad_norm": 4.696580410003662, + "learning_rate": 1.621767676767677e-06, + "loss": 6.205767059326172, + "step": 67890 + }, + { + "epoch": 0.08295, + "grad_norm": 6.746333122253418, + "learning_rate": 1.6215151515151517e-06, + "loss": 6.199056243896484, + "step": 67895 + }, + { + "epoch": 0.083, + "grad_norm": 6.460727691650391, + "learning_rate": 1.6212626262626264e-06, + "loss": 6.2305351257324215, + "step": 67900 + }, + { + "epoch": 0.08305, + "grad_norm": 8.3560209274292, + "learning_rate": 1.6210101010101012e-06, + "loss": 6.305005645751953, + "step": 67905 + }, + { + "epoch": 0.0831, + "grad_norm": 3.7669503688812256, + "learning_rate": 1.6207575757575758e-06, + "loss": 6.19129638671875, + "step": 67910 + }, + { + "epoch": 0.08315, + "grad_norm": 4.863406181335449, + "learning_rate": 1.6205050505050507e-06, + "loss": 6.325352478027344, + "step": 67915 + }, + { + "epoch": 0.0832, + "grad_norm": 4.625027656555176, + "learning_rate": 1.6202525252525253e-06, + "loss": 6.234782791137695, + "step": 67920 + }, + { + "epoch": 0.08325, + "grad_norm": 8.135788917541504, + "learning_rate": 1.6200000000000002e-06, + "loss": 6.199491500854492, + "step": 67925 + }, + { + "epoch": 0.0833, + "grad_norm": 7.9138712882995605, + "learning_rate": 1.6197474747474748e-06, + "loss": 6.204254913330078, + "step": 67930 + }, + { + "epoch": 0.08335, + "grad_norm": 4.428237438201904, + "learning_rate": 1.6194949494949496e-06, + "loss": 6.261589813232422, + "step": 67935 + }, + { + "epoch": 0.0834, + "grad_norm": 6.827216148376465, + "learning_rate": 1.6192424242424243e-06, + "loss": 6.253746795654297, + "step": 67940 + }, + { + "epoch": 0.08345, + "grad_norm": 9.646376609802246, + "learning_rate": 1.618989898989899e-06, + "loss": 6.249897003173828, + "step": 67945 + }, + { + "epoch": 0.0835, + "grad_norm": 9.245662689208984, + "learning_rate": 1.6187373737373737e-06, + "loss": 6.230661010742187, + "step": 67950 + }, + { + "epoch": 0.08355, + "grad_norm": 5.914920330047607, + "learning_rate": 1.6184848484848486e-06, + "loss": 6.253987884521484, + "step": 67955 + }, + { + "epoch": 0.0836, + "grad_norm": 5.798128604888916, + "learning_rate": 1.6182323232323232e-06, + "loss": 6.204825210571289, + "step": 67960 + }, + { + "epoch": 0.08365, + "grad_norm": 5.583381175994873, + "learning_rate": 1.617979797979798e-06, + "loss": 6.254814529418946, + "step": 67965 + }, + { + "epoch": 0.0837, + "grad_norm": 5.474242210388184, + "learning_rate": 1.6177272727272727e-06, + "loss": 6.243137359619141, + "step": 67970 + }, + { + "epoch": 0.08375, + "grad_norm": 5.4115071296691895, + "learning_rate": 1.6174747474747477e-06, + "loss": 6.231884765625, + "step": 67975 + }, + { + "epoch": 0.0838, + "grad_norm": 4.392685413360596, + "learning_rate": 1.6172222222222221e-06, + "loss": 6.2547649383544925, + "step": 67980 + }, + { + "epoch": 0.08385, + "grad_norm": 11.952957153320312, + "learning_rate": 1.6169696969696972e-06, + "loss": 6.326251220703125, + "step": 67985 + }, + { + "epoch": 0.0839, + "grad_norm": 30.120391845703125, + "learning_rate": 1.6167171717171718e-06, + "loss": 6.737517547607422, + "step": 67990 + }, + { + "epoch": 0.08395, + "grad_norm": 6.2516889572143555, + "learning_rate": 1.6164646464646467e-06, + "loss": 6.276971054077149, + "step": 67995 + }, + { + "epoch": 0.084, + "grad_norm": 11.981853485107422, + "learning_rate": 1.6162121212121213e-06, + "loss": 6.296961975097656, + "step": 68000 + }, + { + "epoch": 0.08405, + "grad_norm": 4.134936809539795, + "learning_rate": 1.6159595959595961e-06, + "loss": 6.213412094116211, + "step": 68005 + }, + { + "epoch": 0.0841, + "grad_norm": 8.800566673278809, + "learning_rate": 1.6157070707070708e-06, + "loss": 6.263444519042968, + "step": 68010 + }, + { + "epoch": 0.08415, + "grad_norm": 4.907958984375, + "learning_rate": 1.6154545454545456e-06, + "loss": 6.201774597167969, + "step": 68015 + }, + { + "epoch": 0.0842, + "grad_norm": 8.365675926208496, + "learning_rate": 1.6152020202020202e-06, + "loss": 6.259011840820312, + "step": 68020 + }, + { + "epoch": 0.08425, + "grad_norm": 5.120132923126221, + "learning_rate": 1.614949494949495e-06, + "loss": 6.371106719970703, + "step": 68025 + }, + { + "epoch": 0.0843, + "grad_norm": 7.107611656188965, + "learning_rate": 1.6146969696969697e-06, + "loss": 6.295449829101562, + "step": 68030 + }, + { + "epoch": 0.08435, + "grad_norm": 9.592951774597168, + "learning_rate": 1.6144444444444446e-06, + "loss": 6.232204437255859, + "step": 68035 + }, + { + "epoch": 0.0844, + "grad_norm": 4.881063461303711, + "learning_rate": 1.6141919191919192e-06, + "loss": 6.241677856445312, + "step": 68040 + }, + { + "epoch": 0.08445, + "grad_norm": 4.004124641418457, + "learning_rate": 1.613939393939394e-06, + "loss": 6.252657699584961, + "step": 68045 + }, + { + "epoch": 0.0845, + "grad_norm": 13.783756256103516, + "learning_rate": 1.6136868686868687e-06, + "loss": 6.363603210449218, + "step": 68050 + }, + { + "epoch": 0.08455, + "grad_norm": 5.782992362976074, + "learning_rate": 1.6134343434343435e-06, + "loss": 6.261353302001953, + "step": 68055 + }, + { + "epoch": 0.0846, + "grad_norm": 4.230885028839111, + "learning_rate": 1.6131818181818181e-06, + "loss": 6.235014343261719, + "step": 68060 + }, + { + "epoch": 0.08465, + "grad_norm": 8.719497680664062, + "learning_rate": 1.612929292929293e-06, + "loss": 6.269380950927735, + "step": 68065 + }, + { + "epoch": 0.0847, + "grad_norm": 8.370138168334961, + "learning_rate": 1.6126767676767676e-06, + "loss": 6.274061584472657, + "step": 68070 + }, + { + "epoch": 0.08475, + "grad_norm": 7.458622932434082, + "learning_rate": 1.6124242424242427e-06, + "loss": 6.273218154907227, + "step": 68075 + }, + { + "epoch": 0.0848, + "grad_norm": 7.374997138977051, + "learning_rate": 1.612171717171717e-06, + "loss": 6.178070068359375, + "step": 68080 + }, + { + "epoch": 0.08485, + "grad_norm": 7.19040060043335, + "learning_rate": 1.6119191919191921e-06, + "loss": 6.238426971435547, + "step": 68085 + }, + { + "epoch": 0.0849, + "grad_norm": 8.296574592590332, + "learning_rate": 1.611666666666667e-06, + "loss": 6.231276321411133, + "step": 68090 + }, + { + "epoch": 0.08495, + "grad_norm": 5.938658237457275, + "learning_rate": 1.6114141414141416e-06, + "loss": 6.241914367675781, + "step": 68095 + }, + { + "epoch": 0.085, + "grad_norm": 5.810720443725586, + "learning_rate": 1.6111616161616164e-06, + "loss": 6.276242065429687, + "step": 68100 + }, + { + "epoch": 0.08505, + "grad_norm": 151.32887268066406, + "learning_rate": 1.610909090909091e-06, + "loss": 11.071710205078125, + "step": 68105 + }, + { + "epoch": 0.0851, + "grad_norm": 16.99557876586914, + "learning_rate": 1.610656565656566e-06, + "loss": 7.40106430053711, + "step": 68110 + }, + { + "epoch": 0.08515, + "grad_norm": 10.015318870544434, + "learning_rate": 1.6104040404040406e-06, + "loss": 6.2759651184082035, + "step": 68115 + }, + { + "epoch": 0.0852, + "grad_norm": 8.900857925415039, + "learning_rate": 1.6101515151515154e-06, + "loss": 6.267348098754883, + "step": 68120 + }, + { + "epoch": 0.08525, + "grad_norm": 5.3333892822265625, + "learning_rate": 1.60989898989899e-06, + "loss": 6.2515113830566404, + "step": 68125 + }, + { + "epoch": 0.0853, + "grad_norm": 5.67011022567749, + "learning_rate": 1.6096464646464649e-06, + "loss": 6.236592102050781, + "step": 68130 + }, + { + "epoch": 0.08535, + "grad_norm": 4.393640518188477, + "learning_rate": 1.6093939393939395e-06, + "loss": 6.330816268920898, + "step": 68135 + }, + { + "epoch": 0.0854, + "grad_norm": 3.089141845703125, + "learning_rate": 1.6091414141414143e-06, + "loss": 6.288617324829102, + "step": 68140 + }, + { + "epoch": 0.08545, + "grad_norm": 4.862539291381836, + "learning_rate": 1.608888888888889e-06, + "loss": 6.20807113647461, + "step": 68145 + }, + { + "epoch": 0.0855, + "grad_norm": 6.387592315673828, + "learning_rate": 1.6086363636363638e-06, + "loss": 6.217916870117188, + "step": 68150 + }, + { + "epoch": 0.08555, + "grad_norm": 7.905552387237549, + "learning_rate": 1.6083838383838384e-06, + "loss": 6.247480773925782, + "step": 68155 + }, + { + "epoch": 0.0856, + "grad_norm": 9.374300956726074, + "learning_rate": 1.6081313131313133e-06, + "loss": 6.256856918334961, + "step": 68160 + }, + { + "epoch": 0.08565, + "grad_norm": 7.862767696380615, + "learning_rate": 1.607878787878788e-06, + "loss": 6.246783447265625, + "step": 68165 + }, + { + "epoch": 0.0857, + "grad_norm": 4.794373512268066, + "learning_rate": 1.607626262626263e-06, + "loss": 6.2922004699707035, + "step": 68170 + }, + { + "epoch": 0.08575, + "grad_norm": 5.987009048461914, + "learning_rate": 1.6073737373737374e-06, + "loss": 6.3222503662109375, + "step": 68175 + }, + { + "epoch": 0.0858, + "grad_norm": 3.5684049129486084, + "learning_rate": 1.6071212121212124e-06, + "loss": 6.473400115966797, + "step": 68180 + }, + { + "epoch": 0.08585, + "grad_norm": 7.307270526885986, + "learning_rate": 1.606868686868687e-06, + "loss": 6.212144470214843, + "step": 68185 + }, + { + "epoch": 0.0859, + "grad_norm": 5.619901180267334, + "learning_rate": 1.606616161616162e-06, + "loss": 6.220479202270508, + "step": 68190 + }, + { + "epoch": 0.08595, + "grad_norm": 6.72964334487915, + "learning_rate": 1.6063636363636365e-06, + "loss": 6.217216873168946, + "step": 68195 + }, + { + "epoch": 0.086, + "grad_norm": 7.209021091461182, + "learning_rate": 1.6061111111111114e-06, + "loss": 6.1976478576660154, + "step": 68200 + }, + { + "epoch": 0.08605, + "grad_norm": 3.866325855255127, + "learning_rate": 1.605858585858586e-06, + "loss": 6.243569183349609, + "step": 68205 + }, + { + "epoch": 0.0861, + "grad_norm": 10.057393074035645, + "learning_rate": 1.6056060606060609e-06, + "loss": 6.238461685180664, + "step": 68210 + }, + { + "epoch": 0.08615, + "grad_norm": 5.648272514343262, + "learning_rate": 1.6053535353535355e-06, + "loss": 6.257833480834961, + "step": 68215 + }, + { + "epoch": 0.0862, + "grad_norm": 6.872942924499512, + "learning_rate": 1.6051010101010103e-06, + "loss": 6.287327575683594, + "step": 68220 + }, + { + "epoch": 0.08625, + "grad_norm": 13.237266540527344, + "learning_rate": 1.604848484848485e-06, + "loss": 6.299374771118164, + "step": 68225 + }, + { + "epoch": 0.0863, + "grad_norm": 11.033956527709961, + "learning_rate": 1.6045959595959598e-06, + "loss": 6.280892181396484, + "step": 68230 + }, + { + "epoch": 0.08635, + "grad_norm": 5.178877353668213, + "learning_rate": 1.6043434343434344e-06, + "loss": 6.232608795166016, + "step": 68235 + }, + { + "epoch": 0.0864, + "grad_norm": 5.69475793838501, + "learning_rate": 1.6040909090909093e-06, + "loss": 6.264961242675781, + "step": 68240 + }, + { + "epoch": 0.08645, + "grad_norm": 4.788723468780518, + "learning_rate": 1.603838383838384e-06, + "loss": 6.195264053344727, + "step": 68245 + }, + { + "epoch": 0.0865, + "grad_norm": 9.114925384521484, + "learning_rate": 1.6035858585858587e-06, + "loss": 6.239858627319336, + "step": 68250 + }, + { + "epoch": 0.08655, + "grad_norm": 14.334339141845703, + "learning_rate": 1.6033333333333334e-06, + "loss": 6.577363586425781, + "step": 68255 + }, + { + "epoch": 0.0866, + "grad_norm": 6.625946998596191, + "learning_rate": 1.6030808080808082e-06, + "loss": 6.212545013427734, + "step": 68260 + }, + { + "epoch": 0.08665, + "grad_norm": 4.336483478546143, + "learning_rate": 1.6028282828282828e-06, + "loss": 6.269819641113282, + "step": 68265 + }, + { + "epoch": 0.0867, + "grad_norm": 5.978705883026123, + "learning_rate": 1.6025757575757577e-06, + "loss": 6.2618976593017575, + "step": 68270 + }, + { + "epoch": 0.08675, + "grad_norm": 26.40206527709961, + "learning_rate": 1.6023232323232323e-06, + "loss": 6.491594696044922, + "step": 68275 + }, + { + "epoch": 0.0868, + "grad_norm": 22.59023666381836, + "learning_rate": 1.6020707070707074e-06, + "loss": 6.407736968994141, + "step": 68280 + }, + { + "epoch": 0.08685, + "grad_norm": 26.13314437866211, + "learning_rate": 1.6018181818181818e-06, + "loss": 6.1435096740722654, + "step": 68285 + }, + { + "epoch": 0.0869, + "grad_norm": 16.604387283325195, + "learning_rate": 1.6015656565656568e-06, + "loss": 6.056850433349609, + "step": 68290 + }, + { + "epoch": 0.08695, + "grad_norm": 26.665193557739258, + "learning_rate": 1.6013131313131315e-06, + "loss": 6.155484390258789, + "step": 68295 + }, + { + "epoch": 0.087, + "grad_norm": 14.265118598937988, + "learning_rate": 1.6010606060606063e-06, + "loss": 6.132965850830078, + "step": 68300 + }, + { + "epoch": 0.08705, + "grad_norm": 26.1540584564209, + "learning_rate": 1.600808080808081e-06, + "loss": 6.121370697021485, + "step": 68305 + }, + { + "epoch": 0.0871, + "grad_norm": 20.219104766845703, + "learning_rate": 1.6005555555555558e-06, + "loss": 6.069096374511719, + "step": 68310 + }, + { + "epoch": 0.08715, + "grad_norm": 21.884010314941406, + "learning_rate": 1.6003030303030304e-06, + "loss": 6.075076293945313, + "step": 68315 + }, + { + "epoch": 0.0872, + "grad_norm": 15.429051399230957, + "learning_rate": 1.6000505050505053e-06, + "loss": 6.049326705932617, + "step": 68320 + }, + { + "epoch": 0.08725, + "grad_norm": 18.19685173034668, + "learning_rate": 1.5997979797979799e-06, + "loss": 6.085511016845703, + "step": 68325 + }, + { + "epoch": 0.0873, + "grad_norm": 12.808303833007812, + "learning_rate": 1.5995454545454547e-06, + "loss": 6.103668975830078, + "step": 68330 + }, + { + "epoch": 0.08735, + "grad_norm": 13.808426856994629, + "learning_rate": 1.5992929292929294e-06, + "loss": 6.40851058959961, + "step": 68335 + }, + { + "epoch": 0.0874, + "grad_norm": 9.506705284118652, + "learning_rate": 1.5990404040404042e-06, + "loss": 6.273345565795898, + "step": 68340 + }, + { + "epoch": 0.08745, + "grad_norm": 36.01426315307617, + "learning_rate": 1.5987878787878788e-06, + "loss": 6.269451904296875, + "step": 68345 + }, + { + "epoch": 0.0875, + "grad_norm": 14.356122016906738, + "learning_rate": 1.5985353535353537e-06, + "loss": 6.3302257537841795, + "step": 68350 + }, + { + "epoch": 0.08755, + "grad_norm": 10.59303092956543, + "learning_rate": 1.5982828282828283e-06, + "loss": 6.314650344848633, + "step": 68355 + }, + { + "epoch": 0.0876, + "grad_norm": 9.102739334106445, + "learning_rate": 1.5980303030303031e-06, + "loss": 6.252481842041016, + "step": 68360 + }, + { + "epoch": 0.08765, + "grad_norm": 6.962002277374268, + "learning_rate": 1.5977777777777778e-06, + "loss": 6.3080394744873045, + "step": 68365 + }, + { + "epoch": 0.0877, + "grad_norm": 8.317675590515137, + "learning_rate": 1.5975252525252526e-06, + "loss": 6.266812515258789, + "step": 68370 + }, + { + "epoch": 0.08775, + "grad_norm": 8.927763938903809, + "learning_rate": 1.5972727272727272e-06, + "loss": 6.259712219238281, + "step": 68375 + }, + { + "epoch": 0.0878, + "grad_norm": 9.100605964660645, + "learning_rate": 1.597020202020202e-06, + "loss": 6.276482772827149, + "step": 68380 + }, + { + "epoch": 0.08785, + "grad_norm": 7.157580852508545, + "learning_rate": 1.5967676767676767e-06, + "loss": 6.272844314575195, + "step": 68385 + }, + { + "epoch": 0.0879, + "grad_norm": 6.666101932525635, + "learning_rate": 1.5965151515151518e-06, + "loss": 6.267860412597656, + "step": 68390 + }, + { + "epoch": 0.08795, + "grad_norm": 12.995580673217773, + "learning_rate": 1.5962626262626262e-06, + "loss": 6.283257293701172, + "step": 68395 + }, + { + "epoch": 0.088, + "grad_norm": 4.958277225494385, + "learning_rate": 1.5960101010101012e-06, + "loss": 6.256583023071289, + "step": 68400 + }, + { + "epoch": 0.08805, + "grad_norm": 12.124619483947754, + "learning_rate": 1.5957575757575759e-06, + "loss": 6.263058471679687, + "step": 68405 + }, + { + "epoch": 0.0881, + "grad_norm": 11.106489181518555, + "learning_rate": 1.5955050505050507e-06, + "loss": 6.250572586059571, + "step": 68410 + }, + { + "epoch": 0.08815, + "grad_norm": 4.97368049621582, + "learning_rate": 1.5952525252525253e-06, + "loss": 6.242839050292969, + "step": 68415 + }, + { + "epoch": 0.0882, + "grad_norm": 8.500083923339844, + "learning_rate": 1.5950000000000002e-06, + "loss": 6.280374526977539, + "step": 68420 + }, + { + "epoch": 0.08825, + "grad_norm": 5.624425888061523, + "learning_rate": 1.5947474747474748e-06, + "loss": 6.228078460693359, + "step": 68425 + }, + { + "epoch": 0.0883, + "grad_norm": 12.68785572052002, + "learning_rate": 1.5944949494949497e-06, + "loss": 6.244724273681641, + "step": 68430 + }, + { + "epoch": 0.08835, + "grad_norm": 8.59717082977295, + "learning_rate": 1.5942424242424243e-06, + "loss": 6.265054321289062, + "step": 68435 + }, + { + "epoch": 0.0884, + "grad_norm": 6.976657390594482, + "learning_rate": 1.5939898989898991e-06, + "loss": 6.247876739501953, + "step": 68440 + }, + { + "epoch": 0.08845, + "grad_norm": 6.365911960601807, + "learning_rate": 1.5937373737373738e-06, + "loss": 6.3568778991699215, + "step": 68445 + }, + { + "epoch": 0.0885, + "grad_norm": 5.773349761962891, + "learning_rate": 1.5934848484848486e-06, + "loss": 6.24682502746582, + "step": 68450 + }, + { + "epoch": 0.08855, + "grad_norm": 16.435997009277344, + "learning_rate": 1.5932323232323232e-06, + "loss": 6.250936889648438, + "step": 68455 + }, + { + "epoch": 0.0886, + "grad_norm": 5.544093608856201, + "learning_rate": 1.592979797979798e-06, + "loss": 6.239647293090821, + "step": 68460 + }, + { + "epoch": 0.08865, + "grad_norm": 6.701617240905762, + "learning_rate": 1.5927272727272727e-06, + "loss": 6.264475631713867, + "step": 68465 + }, + { + "epoch": 0.0887, + "grad_norm": 6.3103814125061035, + "learning_rate": 1.5924747474747475e-06, + "loss": 6.210774612426758, + "step": 68470 + }, + { + "epoch": 0.08875, + "grad_norm": 6.796063423156738, + "learning_rate": 1.5922222222222222e-06, + "loss": 6.264931488037109, + "step": 68475 + }, + { + "epoch": 0.0888, + "grad_norm": 7.362947940826416, + "learning_rate": 1.591969696969697e-06, + "loss": 6.2067218780517575, + "step": 68480 + }, + { + "epoch": 0.08885, + "grad_norm": 6.112558364868164, + "learning_rate": 1.5917171717171716e-06, + "loss": 6.233968353271484, + "step": 68485 + }, + { + "epoch": 0.0889, + "grad_norm": 6.19677734375, + "learning_rate": 1.5914646464646467e-06, + "loss": 6.2453468322753904, + "step": 68490 + }, + { + "epoch": 0.08895, + "grad_norm": 4.654987335205078, + "learning_rate": 1.5912121212121211e-06, + "loss": 6.220082092285156, + "step": 68495 + }, + { + "epoch": 0.089, + "grad_norm": 8.37671947479248, + "learning_rate": 1.5909595959595962e-06, + "loss": 6.387126159667969, + "step": 68500 + }, + { + "epoch": 0.08905, + "grad_norm": 5.295370101928711, + "learning_rate": 1.5907070707070708e-06, + "loss": 6.215462112426758, + "step": 68505 + }, + { + "epoch": 0.0891, + "grad_norm": 5.464320659637451, + "learning_rate": 1.5904545454545456e-06, + "loss": 6.228319549560547, + "step": 68510 + }, + { + "epoch": 0.08915, + "grad_norm": 7.002796649932861, + "learning_rate": 1.5902020202020205e-06, + "loss": 6.266805267333984, + "step": 68515 + }, + { + "epoch": 0.0892, + "grad_norm": 6.574508190155029, + "learning_rate": 1.5899494949494951e-06, + "loss": 6.256491851806641, + "step": 68520 + }, + { + "epoch": 0.08925, + "grad_norm": 6.124186992645264, + "learning_rate": 1.58969696969697e-06, + "loss": 6.240212631225586, + "step": 68525 + }, + { + "epoch": 0.0893, + "grad_norm": 8.4375638961792, + "learning_rate": 1.5894444444444446e-06, + "loss": 6.260652160644531, + "step": 68530 + }, + { + "epoch": 0.08935, + "grad_norm": 8.720924377441406, + "learning_rate": 1.5891919191919194e-06, + "loss": 6.432191467285156, + "step": 68535 + }, + { + "epoch": 0.0894, + "grad_norm": 7.317401885986328, + "learning_rate": 1.588939393939394e-06, + "loss": 6.268520355224609, + "step": 68540 + }, + { + "epoch": 0.08945, + "grad_norm": 7.07523775100708, + "learning_rate": 1.588686868686869e-06, + "loss": 6.237063598632813, + "step": 68545 + }, + { + "epoch": 0.0895, + "grad_norm": 8.23422622680664, + "learning_rate": 1.5884343434343435e-06, + "loss": 6.217866134643555, + "step": 68550 + }, + { + "epoch": 0.08955, + "grad_norm": 17.404226303100586, + "learning_rate": 1.5881818181818184e-06, + "loss": 6.1899574279785154, + "step": 68555 + }, + { + "epoch": 0.0896, + "grad_norm": 6.881229877471924, + "learning_rate": 1.587929292929293e-06, + "loss": 6.245463180541992, + "step": 68560 + }, + { + "epoch": 0.08965, + "grad_norm": 5.454588890075684, + "learning_rate": 1.5876767676767678e-06, + "loss": 6.248381042480469, + "step": 68565 + }, + { + "epoch": 0.0897, + "grad_norm": 13.943465232849121, + "learning_rate": 1.5874242424242425e-06, + "loss": 6.270164489746094, + "step": 68570 + }, + { + "epoch": 0.08975, + "grad_norm": 6.053116798400879, + "learning_rate": 1.5871717171717173e-06, + "loss": 6.251766204833984, + "step": 68575 + }, + { + "epoch": 0.0898, + "grad_norm": 4.380888938903809, + "learning_rate": 1.586919191919192e-06, + "loss": 6.22996940612793, + "step": 68580 + }, + { + "epoch": 0.08985, + "grad_norm": 6.1960062980651855, + "learning_rate": 1.586666666666667e-06, + "loss": 6.296883392333984, + "step": 68585 + }, + { + "epoch": 0.0899, + "grad_norm": 3.6194231510162354, + "learning_rate": 1.5864141414141414e-06, + "loss": 6.210314559936523, + "step": 68590 + }, + { + "epoch": 0.08995, + "grad_norm": 5.913259506225586, + "learning_rate": 1.5861616161616165e-06, + "loss": 6.273317337036133, + "step": 68595 + }, + { + "epoch": 0.09, + "grad_norm": 12.532811164855957, + "learning_rate": 1.5859090909090911e-06, + "loss": 6.221103286743164, + "step": 68600 + }, + { + "epoch": 0.09005, + "grad_norm": 18.542972564697266, + "learning_rate": 1.585656565656566e-06, + "loss": 6.2378288269042965, + "step": 68605 + }, + { + "epoch": 0.0901, + "grad_norm": 7.933225631713867, + "learning_rate": 1.5854040404040406e-06, + "loss": 6.192073059082031, + "step": 68610 + }, + { + "epoch": 0.09015, + "grad_norm": 6.513733863830566, + "learning_rate": 1.5851515151515154e-06, + "loss": 6.260355758666992, + "step": 68615 + }, + { + "epoch": 0.0902, + "grad_norm": 4.8691511154174805, + "learning_rate": 1.58489898989899e-06, + "loss": 6.198682022094727, + "step": 68620 + }, + { + "epoch": 0.09025, + "grad_norm": 5.949094772338867, + "learning_rate": 1.5846464646464649e-06, + "loss": 6.274376296997071, + "step": 68625 + }, + { + "epoch": 0.0903, + "grad_norm": 8.66055679321289, + "learning_rate": 1.5843939393939395e-06, + "loss": 6.227044296264649, + "step": 68630 + }, + { + "epoch": 0.09035, + "grad_norm": 6.357010841369629, + "learning_rate": 1.5841414141414144e-06, + "loss": 6.382799911499023, + "step": 68635 + }, + { + "epoch": 0.0904, + "grad_norm": 8.037514686584473, + "learning_rate": 1.583888888888889e-06, + "loss": 6.2481330871582035, + "step": 68640 + }, + { + "epoch": 0.09045, + "grad_norm": 11.522111892700195, + "learning_rate": 1.5836363636363638e-06, + "loss": 6.26739273071289, + "step": 68645 + }, + { + "epoch": 0.0905, + "grad_norm": 5.609579563140869, + "learning_rate": 1.5833838383838385e-06, + "loss": 6.270120620727539, + "step": 68650 + }, + { + "epoch": 0.09055, + "grad_norm": 7.151195049285889, + "learning_rate": 1.5831313131313133e-06, + "loss": 6.283375549316406, + "step": 68655 + }, + { + "epoch": 0.0906, + "grad_norm": 7.717036724090576, + "learning_rate": 1.582878787878788e-06, + "loss": 6.2354789733886715, + "step": 68660 + }, + { + "epoch": 0.09065, + "grad_norm": 3.9953665733337402, + "learning_rate": 1.5826262626262628e-06, + "loss": 6.205415725708008, + "step": 68665 + }, + { + "epoch": 0.0907, + "grad_norm": 4.387796878814697, + "learning_rate": 1.5823737373737374e-06, + "loss": 6.31265869140625, + "step": 68670 + }, + { + "epoch": 0.09075, + "grad_norm": 6.127048492431641, + "learning_rate": 1.5821212121212123e-06, + "loss": 6.244026184082031, + "step": 68675 + }, + { + "epoch": 0.0908, + "grad_norm": 4.865087509155273, + "learning_rate": 1.5818686868686869e-06, + "loss": 6.262338638305664, + "step": 68680 + }, + { + "epoch": 0.09085, + "grad_norm": 7.786529064178467, + "learning_rate": 1.5816161616161617e-06, + "loss": 6.33027458190918, + "step": 68685 + }, + { + "epoch": 0.0909, + "grad_norm": 6.761791706085205, + "learning_rate": 1.5813636363636364e-06, + "loss": 6.169318389892578, + "step": 68690 + }, + { + "epoch": 0.09095, + "grad_norm": 5.355432033538818, + "learning_rate": 1.5811111111111114e-06, + "loss": 6.262015533447266, + "step": 68695 + }, + { + "epoch": 0.091, + "grad_norm": 5.922513008117676, + "learning_rate": 1.5808585858585858e-06, + "loss": 6.254376983642578, + "step": 68700 + }, + { + "epoch": 0.09105, + "grad_norm": 8.729522705078125, + "learning_rate": 1.5806060606060609e-06, + "loss": 6.223418045043945, + "step": 68705 + }, + { + "epoch": 0.0911, + "grad_norm": 3.676426649093628, + "learning_rate": 1.5803535353535355e-06, + "loss": 6.30638427734375, + "step": 68710 + }, + { + "epoch": 0.09115, + "grad_norm": 9.454465866088867, + "learning_rate": 1.5801010101010104e-06, + "loss": 6.411592864990235, + "step": 68715 + }, + { + "epoch": 0.0912, + "grad_norm": 4.840556621551514, + "learning_rate": 1.579848484848485e-06, + "loss": 6.348005294799805, + "step": 68720 + }, + { + "epoch": 0.09125, + "grad_norm": 16.931516647338867, + "learning_rate": 1.5795959595959598e-06, + "loss": 6.183093643188476, + "step": 68725 + }, + { + "epoch": 0.0913, + "grad_norm": 9.347898483276367, + "learning_rate": 1.5793434343434345e-06, + "loss": 6.230922698974609, + "step": 68730 + }, + { + "epoch": 0.09135, + "grad_norm": 6.540523529052734, + "learning_rate": 1.5790909090909093e-06, + "loss": 6.198273468017578, + "step": 68735 + }, + { + "epoch": 0.0914, + "grad_norm": 4.645453453063965, + "learning_rate": 1.578838383838384e-06, + "loss": 6.195700836181641, + "step": 68740 + }, + { + "epoch": 0.09145, + "grad_norm": 4.387323379516602, + "learning_rate": 1.5785858585858588e-06, + "loss": 6.2355201721191404, + "step": 68745 + }, + { + "epoch": 0.0915, + "grad_norm": 6.623274326324463, + "learning_rate": 1.5783333333333334e-06, + "loss": 6.2223461151123045, + "step": 68750 + }, + { + "epoch": 0.09155, + "grad_norm": 7.770120143890381, + "learning_rate": 1.5780808080808082e-06, + "loss": 6.2152351379394535, + "step": 68755 + }, + { + "epoch": 0.0916, + "grad_norm": 6.8864545822143555, + "learning_rate": 1.5778282828282829e-06, + "loss": 6.23809928894043, + "step": 68760 + }, + { + "epoch": 0.09165, + "grad_norm": 6.643836498260498, + "learning_rate": 1.5775757575757577e-06, + "loss": 6.253174591064453, + "step": 68765 + }, + { + "epoch": 0.0917, + "grad_norm": 9.366877555847168, + "learning_rate": 1.5773232323232323e-06, + "loss": 6.289954757690429, + "step": 68770 + }, + { + "epoch": 0.09175, + "grad_norm": 6.247757911682129, + "learning_rate": 1.5770707070707072e-06, + "loss": 6.291299438476562, + "step": 68775 + }, + { + "epoch": 0.0918, + "grad_norm": 7.713843822479248, + "learning_rate": 1.5768181818181818e-06, + "loss": 6.2397197723388675, + "step": 68780 + }, + { + "epoch": 0.09185, + "grad_norm": 14.358726501464844, + "learning_rate": 1.5765656565656567e-06, + "loss": 6.2458351135253904, + "step": 68785 + }, + { + "epoch": 0.0919, + "grad_norm": 5.7580037117004395, + "learning_rate": 1.5763131313131313e-06, + "loss": 6.252772521972656, + "step": 68790 + }, + { + "epoch": 0.09195, + "grad_norm": 21.128204345703125, + "learning_rate": 1.5760606060606063e-06, + "loss": 6.3734485626220705, + "step": 68795 + }, + { + "epoch": 0.092, + "grad_norm": 6.48899507522583, + "learning_rate": 1.5758080808080808e-06, + "loss": 6.303300094604492, + "step": 68800 + }, + { + "epoch": 0.09205, + "grad_norm": 4.846275806427002, + "learning_rate": 1.5755555555555558e-06, + "loss": 6.260122680664063, + "step": 68805 + }, + { + "epoch": 0.0921, + "grad_norm": 11.505905151367188, + "learning_rate": 1.5753030303030302e-06, + "loss": 6.274589920043946, + "step": 68810 + }, + { + "epoch": 0.09215, + "grad_norm": 4.502528667449951, + "learning_rate": 1.5750505050505053e-06, + "loss": 6.2397407531738285, + "step": 68815 + }, + { + "epoch": 0.0922, + "grad_norm": 6.448880195617676, + "learning_rate": 1.57479797979798e-06, + "loss": 6.243462371826172, + "step": 68820 + }, + { + "epoch": 0.09225, + "grad_norm": 7.630986213684082, + "learning_rate": 1.5745454545454548e-06, + "loss": 6.258782958984375, + "step": 68825 + }, + { + "epoch": 0.0923, + "grad_norm": 5.937536716461182, + "learning_rate": 1.5742929292929294e-06, + "loss": 6.215673828125, + "step": 68830 + }, + { + "epoch": 0.09235, + "grad_norm": 30.121519088745117, + "learning_rate": 1.5740404040404042e-06, + "loss": 5.91575927734375, + "step": 68835 + }, + { + "epoch": 0.0924, + "grad_norm": 7.7958221435546875, + "learning_rate": 1.5737878787878789e-06, + "loss": 6.109455871582031, + "step": 68840 + }, + { + "epoch": 0.09245, + "grad_norm": 4.327955722808838, + "learning_rate": 1.5735353535353537e-06, + "loss": 6.232059097290039, + "step": 68845 + }, + { + "epoch": 0.0925, + "grad_norm": 5.208034038543701, + "learning_rate": 1.5732828282828283e-06, + "loss": 6.241994476318359, + "step": 68850 + }, + { + "epoch": 0.09255, + "grad_norm": 5.370757579803467, + "learning_rate": 1.5730303030303032e-06, + "loss": 6.280300903320312, + "step": 68855 + }, + { + "epoch": 0.0926, + "grad_norm": 10.526167869567871, + "learning_rate": 1.5727777777777778e-06, + "loss": 6.341094207763672, + "step": 68860 + }, + { + "epoch": 0.09265, + "grad_norm": 5.429749488830566, + "learning_rate": 1.5725252525252526e-06, + "loss": 6.261759948730469, + "step": 68865 + }, + { + "epoch": 0.0927, + "grad_norm": 7.9871392250061035, + "learning_rate": 1.5722727272727273e-06, + "loss": 6.189188766479492, + "step": 68870 + }, + { + "epoch": 0.09275, + "grad_norm": 5.685506343841553, + "learning_rate": 1.5720202020202021e-06, + "loss": 6.265463256835938, + "step": 68875 + }, + { + "epoch": 0.0928, + "grad_norm": 10.339866638183594, + "learning_rate": 1.5717676767676767e-06, + "loss": 6.44752197265625, + "step": 68880 + }, + { + "epoch": 0.09285, + "grad_norm": 6.541537761688232, + "learning_rate": 1.5715151515151516e-06, + "loss": 6.215811157226563, + "step": 68885 + }, + { + "epoch": 0.0929, + "grad_norm": 9.742391586303711, + "learning_rate": 1.5712626262626262e-06, + "loss": 6.21392936706543, + "step": 68890 + }, + { + "epoch": 0.09295, + "grad_norm": 5.193240165710449, + "learning_rate": 1.571010101010101e-06, + "loss": 6.264768981933594, + "step": 68895 + }, + { + "epoch": 0.093, + "grad_norm": 7.804476261138916, + "learning_rate": 1.5707575757575757e-06, + "loss": 6.27020263671875, + "step": 68900 + }, + { + "epoch": 0.09305, + "grad_norm": 6.259206295013428, + "learning_rate": 1.5705050505050507e-06, + "loss": 6.234945678710938, + "step": 68905 + }, + { + "epoch": 0.0931, + "grad_norm": 5.775605201721191, + "learning_rate": 1.5702525252525252e-06, + "loss": 6.318234252929687, + "step": 68910 + }, + { + "epoch": 0.09315, + "grad_norm": 9.140390396118164, + "learning_rate": 1.5700000000000002e-06, + "loss": 6.24393310546875, + "step": 68915 + }, + { + "epoch": 0.0932, + "grad_norm": 6.06035852432251, + "learning_rate": 1.5697474747474748e-06, + "loss": 6.2165069580078125, + "step": 68920 + }, + { + "epoch": 0.09325, + "grad_norm": 13.126267433166504, + "learning_rate": 1.5694949494949497e-06, + "loss": 6.313214111328125, + "step": 68925 + }, + { + "epoch": 0.0933, + "grad_norm": 5.6190056800842285, + "learning_rate": 1.5692424242424243e-06, + "loss": 6.277804183959961, + "step": 68930 + }, + { + "epoch": 0.09335, + "grad_norm": 6.24449348449707, + "learning_rate": 1.5689898989898992e-06, + "loss": 6.225328826904297, + "step": 68935 + }, + { + "epoch": 0.0934, + "grad_norm": 21.911251068115234, + "learning_rate": 1.568737373737374e-06, + "loss": 6.470682525634766, + "step": 68940 + }, + { + "epoch": 0.09345, + "grad_norm": 8.606542587280273, + "learning_rate": 1.5684848484848486e-06, + "loss": 6.349967956542969, + "step": 68945 + }, + { + "epoch": 0.0935, + "grad_norm": 20.68255043029785, + "learning_rate": 1.5682323232323235e-06, + "loss": 6.416899108886719, + "step": 68950 + }, + { + "epoch": 0.09355, + "grad_norm": 8.022112846374512, + "learning_rate": 1.567979797979798e-06, + "loss": 6.262191390991211, + "step": 68955 + }, + { + "epoch": 0.0936, + "grad_norm": 6.331380367279053, + "learning_rate": 1.567727272727273e-06, + "loss": 6.210697174072266, + "step": 68960 + }, + { + "epoch": 0.09365, + "grad_norm": 6.862239360809326, + "learning_rate": 1.5674747474747476e-06, + "loss": 6.24051513671875, + "step": 68965 + }, + { + "epoch": 0.0937, + "grad_norm": 8.143112182617188, + "learning_rate": 1.5672222222222224e-06, + "loss": 6.2192729949951175, + "step": 68970 + }, + { + "epoch": 0.09375, + "grad_norm": 6.938131332397461, + "learning_rate": 1.566969696969697e-06, + "loss": 6.278463745117188, + "step": 68975 + }, + { + "epoch": 0.0938, + "grad_norm": 5.573713302612305, + "learning_rate": 1.5667171717171719e-06, + "loss": 6.248586654663086, + "step": 68980 + }, + { + "epoch": 0.09385, + "grad_norm": 23.201200485229492, + "learning_rate": 1.5664646464646465e-06, + "loss": 6.304859924316406, + "step": 68985 + }, + { + "epoch": 0.0939, + "grad_norm": 5.411651611328125, + "learning_rate": 1.5662121212121214e-06, + "loss": 6.28824462890625, + "step": 68990 + }, + { + "epoch": 0.09395, + "grad_norm": 4.493564605712891, + "learning_rate": 1.565959595959596e-06, + "loss": 6.228548049926758, + "step": 68995 + }, + { + "epoch": 0.094, + "grad_norm": 7.408254623413086, + "learning_rate": 1.565707070707071e-06, + "loss": 6.254468154907227, + "step": 69000 + }, + { + "epoch": 0.09405, + "grad_norm": 8.597015380859375, + "learning_rate": 1.5654545454545455e-06, + "loss": 6.22870101928711, + "step": 69005 + }, + { + "epoch": 0.0941, + "grad_norm": 15.089723587036133, + "learning_rate": 1.5652020202020205e-06, + "loss": 6.226176452636719, + "step": 69010 + }, + { + "epoch": 0.09415, + "grad_norm": 4.853477954864502, + "learning_rate": 1.5649494949494951e-06, + "loss": 6.196156311035156, + "step": 69015 + }, + { + "epoch": 0.0942, + "grad_norm": 6.0251874923706055, + "learning_rate": 1.56469696969697e-06, + "loss": 6.281474304199219, + "step": 69020 + }, + { + "epoch": 0.09425, + "grad_norm": 8.83232593536377, + "learning_rate": 1.5644444444444446e-06, + "loss": 6.216189575195313, + "step": 69025 + }, + { + "epoch": 0.0943, + "grad_norm": 7.530549049377441, + "learning_rate": 1.5641919191919195e-06, + "loss": 6.42522964477539, + "step": 69030 + }, + { + "epoch": 0.09435, + "grad_norm": 7.5517072677612305, + "learning_rate": 1.563939393939394e-06, + "loss": 6.221974563598633, + "step": 69035 + }, + { + "epoch": 0.0944, + "grad_norm": 7.171329021453857, + "learning_rate": 1.563686868686869e-06, + "loss": 6.265129852294922, + "step": 69040 + }, + { + "epoch": 0.09445, + "grad_norm": 8.784139633178711, + "learning_rate": 1.5634343434343436e-06, + "loss": 6.237677764892578, + "step": 69045 + }, + { + "epoch": 0.0945, + "grad_norm": 5.32128381729126, + "learning_rate": 1.5631818181818184e-06, + "loss": 6.203376007080078, + "step": 69050 + }, + { + "epoch": 0.09455, + "grad_norm": 5.802401542663574, + "learning_rate": 1.562929292929293e-06, + "loss": 6.246008682250976, + "step": 69055 + }, + { + "epoch": 0.0946, + "grad_norm": 12.16514778137207, + "learning_rate": 1.5626767676767679e-06, + "loss": 6.267401123046875, + "step": 69060 + }, + { + "epoch": 0.09465, + "grad_norm": 7.889964580535889, + "learning_rate": 1.5624242424242425e-06, + "loss": 6.286418533325195, + "step": 69065 + }, + { + "epoch": 0.0947, + "grad_norm": 4.569300651550293, + "learning_rate": 1.5621717171717173e-06, + "loss": 6.2231201171875, + "step": 69070 + }, + { + "epoch": 0.09475, + "grad_norm": 7.496580600738525, + "learning_rate": 1.561919191919192e-06, + "loss": 6.252500534057617, + "step": 69075 + }, + { + "epoch": 0.0948, + "grad_norm": 4.501032829284668, + "learning_rate": 1.5616666666666668e-06, + "loss": 6.236304473876953, + "step": 69080 + }, + { + "epoch": 0.09485, + "grad_norm": 7.12131929397583, + "learning_rate": 1.5614141414141415e-06, + "loss": 6.193370056152344, + "step": 69085 + }, + { + "epoch": 0.0949, + "grad_norm": 6.259496688842773, + "learning_rate": 1.5611616161616163e-06, + "loss": 6.22106819152832, + "step": 69090 + }, + { + "epoch": 0.09495, + "grad_norm": 6.167606353759766, + "learning_rate": 1.560909090909091e-06, + "loss": 6.191121292114258, + "step": 69095 + }, + { + "epoch": 0.095, + "grad_norm": 6.5063676834106445, + "learning_rate": 1.5606565656565658e-06, + "loss": 6.37084732055664, + "step": 69100 + }, + { + "epoch": 0.09505, + "grad_norm": 3.8654844760894775, + "learning_rate": 1.5604040404040404e-06, + "loss": 6.204423522949218, + "step": 69105 + }, + { + "epoch": 0.0951, + "grad_norm": 22.27290916442871, + "learning_rate": 1.5601515151515154e-06, + "loss": 6.134803009033203, + "step": 69110 + }, + { + "epoch": 0.09515, + "grad_norm": 5.565456867218018, + "learning_rate": 1.5598989898989899e-06, + "loss": 6.212638854980469, + "step": 69115 + }, + { + "epoch": 0.0952, + "grad_norm": 5.206862926483154, + "learning_rate": 1.559646464646465e-06, + "loss": 6.230635452270508, + "step": 69120 + }, + { + "epoch": 0.09525, + "grad_norm": 4.795496463775635, + "learning_rate": 1.5593939393939395e-06, + "loss": 6.236833572387695, + "step": 69125 + }, + { + "epoch": 0.0953, + "grad_norm": 7.388526916503906, + "learning_rate": 1.5591414141414144e-06, + "loss": 6.265694427490234, + "step": 69130 + }, + { + "epoch": 0.09535, + "grad_norm": 8.104926109313965, + "learning_rate": 1.558888888888889e-06, + "loss": 6.241702270507813, + "step": 69135 + }, + { + "epoch": 0.0954, + "grad_norm": 9.066976547241211, + "learning_rate": 1.5586363636363639e-06, + "loss": 6.333129119873047, + "step": 69140 + }, + { + "epoch": 0.09545, + "grad_norm": 5.110625267028809, + "learning_rate": 1.5583838383838385e-06, + "loss": 6.2337791442871096, + "step": 69145 + }, + { + "epoch": 0.0955, + "grad_norm": 4.712457180023193, + "learning_rate": 1.5581313131313133e-06, + "loss": 6.196755218505859, + "step": 69150 + }, + { + "epoch": 0.09555, + "grad_norm": 6.81787633895874, + "learning_rate": 1.557878787878788e-06, + "loss": 6.3087211608886715, + "step": 69155 + }, + { + "epoch": 0.0956, + "grad_norm": 7.548593521118164, + "learning_rate": 1.5576262626262628e-06, + "loss": 6.194660949707031, + "step": 69160 + }, + { + "epoch": 0.09565, + "grad_norm": 4.7881178855896, + "learning_rate": 1.5573737373737374e-06, + "loss": 6.247665023803711, + "step": 69165 + }, + { + "epoch": 0.0957, + "grad_norm": 8.401731491088867, + "learning_rate": 1.5571212121212123e-06, + "loss": 6.203215789794922, + "step": 69170 + }, + { + "epoch": 0.09575, + "grad_norm": 5.976311206817627, + "learning_rate": 1.556868686868687e-06, + "loss": 6.251618576049805, + "step": 69175 + }, + { + "epoch": 0.0958, + "grad_norm": 19.481719970703125, + "learning_rate": 1.5566161616161618e-06, + "loss": 6.323868179321289, + "step": 69180 + }, + { + "epoch": 0.09585, + "grad_norm": 4.660898685455322, + "learning_rate": 1.5563636363636364e-06, + "loss": 6.218047332763672, + "step": 69185 + }, + { + "epoch": 0.0959, + "grad_norm": 8.999588966369629, + "learning_rate": 1.5561111111111112e-06, + "loss": 6.276861953735351, + "step": 69190 + }, + { + "epoch": 0.09595, + "grad_norm": 6.649381637573242, + "learning_rate": 1.5558585858585859e-06, + "loss": 6.21825942993164, + "step": 69195 + }, + { + "epoch": 0.096, + "grad_norm": 27.80484962463379, + "learning_rate": 1.5556060606060607e-06, + "loss": 6.443971252441406, + "step": 69200 + }, + { + "epoch": 0.09605, + "grad_norm": 5.671781063079834, + "learning_rate": 1.5553535353535353e-06, + "loss": 6.266683959960938, + "step": 69205 + }, + { + "epoch": 0.0961, + "grad_norm": 5.005762100219727, + "learning_rate": 1.5551010101010104e-06, + "loss": 5.43610725402832, + "step": 69210 + }, + { + "epoch": 0.09615, + "grad_norm": 3.879923105239868, + "learning_rate": 1.5548484848484848e-06, + "loss": 6.271680450439453, + "step": 69215 + }, + { + "epoch": 0.0962, + "grad_norm": 8.611238479614258, + "learning_rate": 1.5545959595959599e-06, + "loss": 6.2193351745605465, + "step": 69220 + }, + { + "epoch": 0.09625, + "grad_norm": 6.423185348510742, + "learning_rate": 1.5543434343434345e-06, + "loss": 6.246839904785157, + "step": 69225 + }, + { + "epoch": 0.0963, + "grad_norm": 8.52085018157959, + "learning_rate": 1.5540909090909093e-06, + "loss": 6.327392959594727, + "step": 69230 + }, + { + "epoch": 0.09635, + "grad_norm": 19.9050235748291, + "learning_rate": 1.553838383838384e-06, + "loss": 6.276440811157227, + "step": 69235 + }, + { + "epoch": 0.0964, + "grad_norm": 12.463805198669434, + "learning_rate": 1.5535858585858588e-06, + "loss": 6.3173164367675785, + "step": 69240 + }, + { + "epoch": 0.09645, + "grad_norm": 4.923677921295166, + "learning_rate": 1.5533333333333334e-06, + "loss": 6.237506866455078, + "step": 69245 + }, + { + "epoch": 0.0965, + "grad_norm": 6.614983558654785, + "learning_rate": 1.5530808080808083e-06, + "loss": 6.18414535522461, + "step": 69250 + }, + { + "epoch": 0.09655, + "grad_norm": 6.551353931427002, + "learning_rate": 1.552828282828283e-06, + "loss": 6.233306503295898, + "step": 69255 + }, + { + "epoch": 0.0966, + "grad_norm": 6.107916355133057, + "learning_rate": 1.5525757575757577e-06, + "loss": 6.256178665161133, + "step": 69260 + }, + { + "epoch": 0.09665, + "grad_norm": 7.06215763092041, + "learning_rate": 1.5523232323232324e-06, + "loss": 6.200793838500976, + "step": 69265 + }, + { + "epoch": 0.0967, + "grad_norm": 4.70161247253418, + "learning_rate": 1.5520707070707072e-06, + "loss": 6.273701858520508, + "step": 69270 + }, + { + "epoch": 0.09675, + "grad_norm": 6.288102626800537, + "learning_rate": 1.5518181818181818e-06, + "loss": 6.302139663696289, + "step": 69275 + }, + { + "epoch": 0.0968, + "grad_norm": 4.877311706542969, + "learning_rate": 1.5515656565656567e-06, + "loss": 6.188449859619141, + "step": 69280 + }, + { + "epoch": 0.09685, + "grad_norm": 10.349947929382324, + "learning_rate": 1.5513131313131313e-06, + "loss": 6.236978530883789, + "step": 69285 + }, + { + "epoch": 0.0969, + "grad_norm": 5.052997589111328, + "learning_rate": 1.5510606060606062e-06, + "loss": 6.257381439208984, + "step": 69290 + }, + { + "epoch": 0.09695, + "grad_norm": 16.070690155029297, + "learning_rate": 1.5508080808080808e-06, + "loss": 6.248753356933594, + "step": 69295 + }, + { + "epoch": 0.097, + "grad_norm": 6.382606506347656, + "learning_rate": 1.5505555555555556e-06, + "loss": 6.3302864074707035, + "step": 69300 + }, + { + "epoch": 0.09705, + "grad_norm": 4.3332905769348145, + "learning_rate": 1.5503030303030303e-06, + "loss": 6.267464447021484, + "step": 69305 + }, + { + "epoch": 0.0971, + "grad_norm": 4.829068183898926, + "learning_rate": 1.550050505050505e-06, + "loss": 6.24278564453125, + "step": 69310 + }, + { + "epoch": 0.09715, + "grad_norm": 5.522424697875977, + "learning_rate": 1.5497979797979797e-06, + "loss": 6.206704711914062, + "step": 69315 + }, + { + "epoch": 0.0972, + "grad_norm": 23.22768783569336, + "learning_rate": 1.5495454545454548e-06, + "loss": 6.517229461669922, + "step": 69320 + }, + { + "epoch": 0.09725, + "grad_norm": 6.282406806945801, + "learning_rate": 1.5492929292929292e-06, + "loss": 6.289273452758789, + "step": 69325 + }, + { + "epoch": 0.0973, + "grad_norm": 7.1454997062683105, + "learning_rate": 1.5490404040404043e-06, + "loss": 6.20696907043457, + "step": 69330 + }, + { + "epoch": 0.09735, + "grad_norm": 6.620607852935791, + "learning_rate": 1.5487878787878789e-06, + "loss": 6.2759040832519535, + "step": 69335 + }, + { + "epoch": 0.0974, + "grad_norm": 8.895538330078125, + "learning_rate": 1.5485353535353537e-06, + "loss": 6.258265686035156, + "step": 69340 + }, + { + "epoch": 0.09745, + "grad_norm": 3.758849620819092, + "learning_rate": 1.5482828282828284e-06, + "loss": 6.257617568969726, + "step": 69345 + }, + { + "epoch": 0.0975, + "grad_norm": 4.745532035827637, + "learning_rate": 1.5480303030303032e-06, + "loss": 6.2366992950439455, + "step": 69350 + }, + { + "epoch": 0.09755, + "grad_norm": 8.403188705444336, + "learning_rate": 1.5477777777777778e-06, + "loss": 6.220742416381836, + "step": 69355 + }, + { + "epoch": 0.0976, + "grad_norm": 4.889970302581787, + "learning_rate": 1.5475252525252527e-06, + "loss": 6.217706298828125, + "step": 69360 + }, + { + "epoch": 0.09765, + "grad_norm": 6.993582725524902, + "learning_rate": 1.5472727272727275e-06, + "loss": 6.199949645996094, + "step": 69365 + }, + { + "epoch": 0.0977, + "grad_norm": 6.398688316345215, + "learning_rate": 1.5470202020202021e-06, + "loss": 6.280363464355469, + "step": 69370 + }, + { + "epoch": 0.09775, + "grad_norm": 5.875310897827148, + "learning_rate": 1.546767676767677e-06, + "loss": 6.249153900146484, + "step": 69375 + }, + { + "epoch": 0.0978, + "grad_norm": 9.45569133758545, + "learning_rate": 1.5465151515151516e-06, + "loss": 6.228491973876953, + "step": 69380 + }, + { + "epoch": 0.09785, + "grad_norm": 3.9134020805358887, + "learning_rate": 1.5462626262626265e-06, + "loss": 6.251824951171875, + "step": 69385 + }, + { + "epoch": 0.0979, + "grad_norm": 5.167562961578369, + "learning_rate": 1.546010101010101e-06, + "loss": 6.257137298583984, + "step": 69390 + }, + { + "epoch": 0.09795, + "grad_norm": 4.09098482131958, + "learning_rate": 1.545757575757576e-06, + "loss": 6.171733856201172, + "step": 69395 + }, + { + "epoch": 0.098, + "grad_norm": 6.145762920379639, + "learning_rate": 1.5455050505050506e-06, + "loss": 6.23004264831543, + "step": 69400 + }, + { + "epoch": 0.09805, + "grad_norm": 9.674710273742676, + "learning_rate": 1.5452525252525254e-06, + "loss": 6.234002304077149, + "step": 69405 + }, + { + "epoch": 0.0981, + "grad_norm": 10.149322509765625, + "learning_rate": 1.545e-06, + "loss": 6.394666290283203, + "step": 69410 + }, + { + "epoch": 0.09815, + "grad_norm": 6.266510009765625, + "learning_rate": 1.544747474747475e-06, + "loss": 6.24141845703125, + "step": 69415 + }, + { + "epoch": 0.0982, + "grad_norm": 71.31550598144531, + "learning_rate": 1.5444949494949495e-06, + "loss": 6.983908843994141, + "step": 69420 + }, + { + "epoch": 0.09825, + "grad_norm": 77.48998260498047, + "learning_rate": 1.5442424242424246e-06, + "loss": 8.883917999267577, + "step": 69425 + }, + { + "epoch": 0.0983, + "grad_norm": 13.741813659667969, + "learning_rate": 1.5439898989898992e-06, + "loss": 7.029902648925781, + "step": 69430 + }, + { + "epoch": 0.09835, + "grad_norm": 13.597463607788086, + "learning_rate": 1.543737373737374e-06, + "loss": 6.341259002685547, + "step": 69435 + }, + { + "epoch": 0.0984, + "grad_norm": 4.150789737701416, + "learning_rate": 1.5434848484848487e-06, + "loss": 6.241429138183594, + "step": 69440 + }, + { + "epoch": 0.09845, + "grad_norm": 6.996358394622803, + "learning_rate": 1.5432323232323235e-06, + "loss": 6.283261489868164, + "step": 69445 + }, + { + "epoch": 0.0985, + "grad_norm": 4.047050952911377, + "learning_rate": 1.5429797979797981e-06, + "loss": 6.275844955444336, + "step": 69450 + }, + { + "epoch": 0.09855, + "grad_norm": 7.229933261871338, + "learning_rate": 1.542727272727273e-06, + "loss": 6.273773956298828, + "step": 69455 + }, + { + "epoch": 0.0986, + "grad_norm": 5.943408966064453, + "learning_rate": 1.5424747474747476e-06, + "loss": 6.272219848632813, + "step": 69460 + }, + { + "epoch": 0.09865, + "grad_norm": 6.835803031921387, + "learning_rate": 1.5422222222222224e-06, + "loss": 6.349821090698242, + "step": 69465 + }, + { + "epoch": 0.0987, + "grad_norm": 5.371696949005127, + "learning_rate": 1.541969696969697e-06, + "loss": 6.240107727050781, + "step": 69470 + }, + { + "epoch": 0.09875, + "grad_norm": 6.303291320800781, + "learning_rate": 1.541717171717172e-06, + "loss": 6.322772216796875, + "step": 69475 + }, + { + "epoch": 0.0988, + "grad_norm": 9.931221961975098, + "learning_rate": 1.5414646464646465e-06, + "loss": 6.245140075683594, + "step": 69480 + }, + { + "epoch": 0.09885, + "grad_norm": 3.734388589859009, + "learning_rate": 1.5412121212121214e-06, + "loss": 6.221798706054687, + "step": 69485 + }, + { + "epoch": 0.0989, + "grad_norm": 15.286189079284668, + "learning_rate": 1.540959595959596e-06, + "loss": 6.324143981933593, + "step": 69490 + }, + { + "epoch": 0.09895, + "grad_norm": 11.956453323364258, + "learning_rate": 1.5407070707070709e-06, + "loss": 6.620227813720703, + "step": 69495 + }, + { + "epoch": 0.099, + "grad_norm": 9.132294654846191, + "learning_rate": 1.5404545454545455e-06, + "loss": 6.261430358886718, + "step": 69500 + }, + { + "epoch": 0.09905, + "grad_norm": 7.009271144866943, + "learning_rate": 1.5402020202020203e-06, + "loss": 6.271954345703125, + "step": 69505 + }, + { + "epoch": 0.0991, + "grad_norm": 8.70576000213623, + "learning_rate": 1.539949494949495e-06, + "loss": 6.270662689208985, + "step": 69510 + }, + { + "epoch": 0.09915, + "grad_norm": 5.163009166717529, + "learning_rate": 1.53969696969697e-06, + "loss": 6.244068145751953, + "step": 69515 + }, + { + "epoch": 0.0992, + "grad_norm": 4.413712501525879, + "learning_rate": 1.5394444444444444e-06, + "loss": 6.259499359130859, + "step": 69520 + }, + { + "epoch": 0.09925, + "grad_norm": 8.057535171508789, + "learning_rate": 1.5391919191919195e-06, + "loss": 6.22387466430664, + "step": 69525 + }, + { + "epoch": 0.0993, + "grad_norm": 4.452139377593994, + "learning_rate": 1.538939393939394e-06, + "loss": 6.242102813720703, + "step": 69530 + }, + { + "epoch": 0.09935, + "grad_norm": 10.684853553771973, + "learning_rate": 1.538686868686869e-06, + "loss": 6.229332351684571, + "step": 69535 + }, + { + "epoch": 0.0994, + "grad_norm": 4.867793083190918, + "learning_rate": 1.5384343434343436e-06, + "loss": 6.2237060546875, + "step": 69540 + }, + { + "epoch": 0.09945, + "grad_norm": 4.437867641448975, + "learning_rate": 1.5381818181818184e-06, + "loss": 6.257070922851563, + "step": 69545 + }, + { + "epoch": 0.0995, + "grad_norm": 5.311295509338379, + "learning_rate": 1.537929292929293e-06, + "loss": 6.271135330200195, + "step": 69550 + }, + { + "epoch": 0.09955, + "grad_norm": 31.813199996948242, + "learning_rate": 1.537676767676768e-06, + "loss": 6.204911422729492, + "step": 69555 + }, + { + "epoch": 0.0996, + "grad_norm": 6.300601959228516, + "learning_rate": 1.5374242424242425e-06, + "loss": 6.249200057983399, + "step": 69560 + }, + { + "epoch": 0.09965, + "grad_norm": 13.126708984375, + "learning_rate": 1.5371717171717174e-06, + "loss": 6.368363952636718, + "step": 69565 + }, + { + "epoch": 0.0997, + "grad_norm": 3.4197113513946533, + "learning_rate": 1.536919191919192e-06, + "loss": 6.322563934326172, + "step": 69570 + }, + { + "epoch": 0.09975, + "grad_norm": 5.326809406280518, + "learning_rate": 1.5366666666666668e-06, + "loss": 6.25750617980957, + "step": 69575 + }, + { + "epoch": 0.0998, + "grad_norm": 6.891108512878418, + "learning_rate": 1.5364141414141415e-06, + "loss": 6.266494369506836, + "step": 69580 + }, + { + "epoch": 0.09985, + "grad_norm": 9.919321060180664, + "learning_rate": 1.5361616161616163e-06, + "loss": 6.223246765136719, + "step": 69585 + }, + { + "epoch": 0.0999, + "grad_norm": 5.455216884613037, + "learning_rate": 1.535909090909091e-06, + "loss": 6.286400985717774, + "step": 69590 + }, + { + "epoch": 0.09995, + "grad_norm": 14.548954963684082, + "learning_rate": 1.5356565656565658e-06, + "loss": 6.534386444091797, + "step": 69595 + }, + { + "epoch": 0.1, + "grad_norm": 6.654651165008545, + "learning_rate": 1.5354040404040404e-06, + "loss": 6.256783294677734, + "step": 69600 + }, + { + "epoch": 0.10005, + "grad_norm": 3.6224820613861084, + "learning_rate": 1.5351515151515153e-06, + "loss": 6.227585983276367, + "step": 69605 + }, + { + "epoch": 0.1001, + "grad_norm": 6.38872766494751, + "learning_rate": 1.5348989898989899e-06, + "loss": 6.225975799560547, + "step": 69610 + }, + { + "epoch": 0.10015, + "grad_norm": 7.598637580871582, + "learning_rate": 1.5346464646464647e-06, + "loss": 6.2436668395996096, + "step": 69615 + }, + { + "epoch": 0.1002, + "grad_norm": 13.28370189666748, + "learning_rate": 1.5343939393939394e-06, + "loss": 6.191681671142578, + "step": 69620 + }, + { + "epoch": 0.10025, + "grad_norm": 10.03581714630127, + "learning_rate": 1.5341414141414144e-06, + "loss": 6.2676544189453125, + "step": 69625 + }, + { + "epoch": 0.1003, + "grad_norm": 4.692815780639648, + "learning_rate": 1.5338888888888888e-06, + "loss": 6.281380462646484, + "step": 69630 + }, + { + "epoch": 0.10035, + "grad_norm": 5.545220375061035, + "learning_rate": 1.5336363636363639e-06, + "loss": 6.230376052856445, + "step": 69635 + }, + { + "epoch": 0.1004, + "grad_norm": 4.22117805480957, + "learning_rate": 1.5333838383838385e-06, + "loss": 6.256169128417969, + "step": 69640 + }, + { + "epoch": 0.10045, + "grad_norm": 8.224137306213379, + "learning_rate": 1.5331313131313134e-06, + "loss": 6.205984497070313, + "step": 69645 + }, + { + "epoch": 0.1005, + "grad_norm": 9.192310333251953, + "learning_rate": 1.532878787878788e-06, + "loss": 6.2722118377685545, + "step": 69650 + }, + { + "epoch": 0.10055, + "grad_norm": 5.609637260437012, + "learning_rate": 1.5326262626262628e-06, + "loss": 6.214276885986328, + "step": 69655 + }, + { + "epoch": 0.1006, + "grad_norm": 3.1007955074310303, + "learning_rate": 1.5323737373737375e-06, + "loss": 6.21006965637207, + "step": 69660 + }, + { + "epoch": 0.10065, + "grad_norm": 5.235879898071289, + "learning_rate": 1.5321212121212123e-06, + "loss": 6.214688873291015, + "step": 69665 + }, + { + "epoch": 0.1007, + "grad_norm": 12.221334457397461, + "learning_rate": 1.531868686868687e-06, + "loss": 6.382823944091797, + "step": 69670 + }, + { + "epoch": 0.10075, + "grad_norm": 4.948221206665039, + "learning_rate": 1.5316161616161618e-06, + "loss": 6.1910865783691404, + "step": 69675 + }, + { + "epoch": 0.1008, + "grad_norm": 5.922194957733154, + "learning_rate": 1.5313636363636364e-06, + "loss": 6.260441589355469, + "step": 69680 + }, + { + "epoch": 0.10085, + "grad_norm": 5.265747547149658, + "learning_rate": 1.5311111111111113e-06, + "loss": 6.2380516052246096, + "step": 69685 + }, + { + "epoch": 0.1009, + "grad_norm": 5.622743606567383, + "learning_rate": 1.5308585858585859e-06, + "loss": 6.206553268432617, + "step": 69690 + }, + { + "epoch": 0.10095, + "grad_norm": 8.155200004577637, + "learning_rate": 1.5306060606060607e-06, + "loss": 6.221061706542969, + "step": 69695 + }, + { + "epoch": 0.101, + "grad_norm": 7.319873809814453, + "learning_rate": 1.5303535353535354e-06, + "loss": 6.256492996215821, + "step": 69700 + }, + { + "epoch": 0.10105, + "grad_norm": 3.62444806098938, + "learning_rate": 1.5301010101010102e-06, + "loss": 6.274919509887695, + "step": 69705 + }, + { + "epoch": 0.1011, + "grad_norm": 22.72197151184082, + "learning_rate": 1.5298484848484848e-06, + "loss": 6.317089080810547, + "step": 69710 + }, + { + "epoch": 0.10115, + "grad_norm": 8.26749324798584, + "learning_rate": 1.5295959595959597e-06, + "loss": 6.277611160278321, + "step": 69715 + }, + { + "epoch": 0.1012, + "grad_norm": 5.37979793548584, + "learning_rate": 1.5293434343434343e-06, + "loss": 6.262963104248047, + "step": 69720 + }, + { + "epoch": 0.10125, + "grad_norm": 8.211739540100098, + "learning_rate": 1.5290909090909091e-06, + "loss": 6.197469711303711, + "step": 69725 + }, + { + "epoch": 0.1013, + "grad_norm": 6.4922261238098145, + "learning_rate": 1.5288383838383838e-06, + "loss": 6.273396682739258, + "step": 69730 + }, + { + "epoch": 0.10135, + "grad_norm": 6.28837776184082, + "learning_rate": 1.5285858585858588e-06, + "loss": 6.2328941345214846, + "step": 69735 + }, + { + "epoch": 0.1014, + "grad_norm": 5.55908727645874, + "learning_rate": 1.5283333333333332e-06, + "loss": 6.200650787353515, + "step": 69740 + }, + { + "epoch": 0.10145, + "grad_norm": 7.9614739418029785, + "learning_rate": 1.5280808080808083e-06, + "loss": 6.222938919067383, + "step": 69745 + }, + { + "epoch": 0.1015, + "grad_norm": 6.5946044921875, + "learning_rate": 1.527828282828283e-06, + "loss": 6.250992202758789, + "step": 69750 + }, + { + "epoch": 0.10155, + "grad_norm": 7.185013294219971, + "learning_rate": 1.5275757575757578e-06, + "loss": 6.223256683349609, + "step": 69755 + }, + { + "epoch": 0.1016, + "grad_norm": 6.706727027893066, + "learning_rate": 1.5273232323232324e-06, + "loss": 6.295187377929688, + "step": 69760 + }, + { + "epoch": 0.10165, + "grad_norm": 11.28437328338623, + "learning_rate": 1.5270707070707072e-06, + "loss": 6.425630187988281, + "step": 69765 + }, + { + "epoch": 0.1017, + "grad_norm": 16.563880920410156, + "learning_rate": 1.5268181818181819e-06, + "loss": 6.262357711791992, + "step": 69770 + }, + { + "epoch": 0.10175, + "grad_norm": 5.872164726257324, + "learning_rate": 1.5265656565656567e-06, + "loss": 6.242399597167969, + "step": 69775 + }, + { + "epoch": 0.1018, + "grad_norm": 12.3408842086792, + "learning_rate": 1.5263131313131313e-06, + "loss": 6.25868034362793, + "step": 69780 + }, + { + "epoch": 0.10185, + "grad_norm": 14.229727745056152, + "learning_rate": 1.5260606060606062e-06, + "loss": 6.237813186645508, + "step": 69785 + }, + { + "epoch": 0.1019, + "grad_norm": 4.4432692527771, + "learning_rate": 1.525808080808081e-06, + "loss": 6.237071228027344, + "step": 69790 + }, + { + "epoch": 0.10195, + "grad_norm": 8.864755630493164, + "learning_rate": 1.5255555555555557e-06, + "loss": 6.243339157104492, + "step": 69795 + }, + { + "epoch": 0.102, + "grad_norm": 14.311020851135254, + "learning_rate": 1.5253030303030305e-06, + "loss": 6.239898681640625, + "step": 69800 + }, + { + "epoch": 0.10205, + "grad_norm": 4.2846999168396, + "learning_rate": 1.5250505050505051e-06, + "loss": 6.184924697875976, + "step": 69805 + }, + { + "epoch": 0.1021, + "grad_norm": 12.436625480651855, + "learning_rate": 1.52479797979798e-06, + "loss": 6.177059555053711, + "step": 69810 + }, + { + "epoch": 0.10215, + "grad_norm": 6.003546714782715, + "learning_rate": 1.5245454545454546e-06, + "loss": 6.2401268005371096, + "step": 69815 + }, + { + "epoch": 0.1022, + "grad_norm": 6.579974174499512, + "learning_rate": 1.5242929292929294e-06, + "loss": 6.202879333496094, + "step": 69820 + }, + { + "epoch": 0.10225, + "grad_norm": 4.236875057220459, + "learning_rate": 1.524040404040404e-06, + "loss": 6.247172546386719, + "step": 69825 + }, + { + "epoch": 0.1023, + "grad_norm": 4.880104064941406, + "learning_rate": 1.5237878787878791e-06, + "loss": 6.290971755981445, + "step": 69830 + }, + { + "epoch": 0.10235, + "grad_norm": 5.129511833190918, + "learning_rate": 1.5235353535353535e-06, + "loss": 6.255743408203125, + "step": 69835 + }, + { + "epoch": 0.1024, + "grad_norm": 10.137799263000488, + "learning_rate": 1.5232828282828286e-06, + "loss": 6.195932388305664, + "step": 69840 + }, + { + "epoch": 0.10245, + "grad_norm": 7.059858322143555, + "learning_rate": 1.5230303030303032e-06, + "loss": 6.194368743896485, + "step": 69845 + }, + { + "epoch": 0.1025, + "grad_norm": 8.526978492736816, + "learning_rate": 1.522777777777778e-06, + "loss": 6.185575103759765, + "step": 69850 + }, + { + "epoch": 0.10255, + "grad_norm": 13.95495891571045, + "learning_rate": 1.5225252525252527e-06, + "loss": 6.270240402221679, + "step": 69855 + }, + { + "epoch": 0.1026, + "grad_norm": 20.566669464111328, + "learning_rate": 1.5222727272727275e-06, + "loss": 6.252448272705078, + "step": 69860 + }, + { + "epoch": 0.10265, + "grad_norm": 4.166781902313232, + "learning_rate": 1.5220202020202022e-06, + "loss": 6.259589004516601, + "step": 69865 + }, + { + "epoch": 0.1027, + "grad_norm": 5.2048659324646, + "learning_rate": 1.521767676767677e-06, + "loss": 6.215940856933594, + "step": 69870 + }, + { + "epoch": 0.10275, + "grad_norm": 5.139145374298096, + "learning_rate": 1.5215151515151516e-06, + "loss": 6.316371154785156, + "step": 69875 + }, + { + "epoch": 0.1028, + "grad_norm": 11.298568725585938, + "learning_rate": 1.5212626262626265e-06, + "loss": 6.198626327514648, + "step": 69880 + }, + { + "epoch": 0.10285, + "grad_norm": 6.460776329040527, + "learning_rate": 1.5210101010101011e-06, + "loss": 6.267860412597656, + "step": 69885 + }, + { + "epoch": 0.1029, + "grad_norm": 69.19715881347656, + "learning_rate": 1.520757575757576e-06, + "loss": 6.182583999633789, + "step": 69890 + }, + { + "epoch": 0.10295, + "grad_norm": 5.489862442016602, + "learning_rate": 1.5205050505050506e-06, + "loss": 6.133612442016601, + "step": 69895 + }, + { + "epoch": 0.103, + "grad_norm": 5.957542419433594, + "learning_rate": 1.5202525252525254e-06, + "loss": 6.254172897338867, + "step": 69900 + }, + { + "epoch": 0.10305, + "grad_norm": 3.876161813735962, + "learning_rate": 1.52e-06, + "loss": 6.251986312866211, + "step": 69905 + }, + { + "epoch": 0.1031, + "grad_norm": 7.069336891174316, + "learning_rate": 1.519747474747475e-06, + "loss": 6.240657806396484, + "step": 69910 + }, + { + "epoch": 0.10315, + "grad_norm": 5.402816295623779, + "learning_rate": 1.5194949494949495e-06, + "loss": 6.236772918701172, + "step": 69915 + }, + { + "epoch": 0.1032, + "grad_norm": 9.022480964660645, + "learning_rate": 1.5192424242424244e-06, + "loss": 6.247328186035157, + "step": 69920 + }, + { + "epoch": 0.10325, + "grad_norm": 8.963666915893555, + "learning_rate": 1.518989898989899e-06, + "loss": 6.244709777832031, + "step": 69925 + }, + { + "epoch": 0.1033, + "grad_norm": 5.964870452880859, + "learning_rate": 1.518737373737374e-06, + "loss": 6.248283004760742, + "step": 69930 + }, + { + "epoch": 0.10335, + "grad_norm": 31.1531925201416, + "learning_rate": 1.5184848484848485e-06, + "loss": 5.874058532714844, + "step": 69935 + }, + { + "epoch": 0.1034, + "grad_norm": 24.827714920043945, + "learning_rate": 1.5182323232323235e-06, + "loss": 5.656063842773437, + "step": 69940 + }, + { + "epoch": 0.10345, + "grad_norm": 11.647584915161133, + "learning_rate": 1.5179797979797982e-06, + "loss": 6.228829193115234, + "step": 69945 + }, + { + "epoch": 0.1035, + "grad_norm": 7.142101764678955, + "learning_rate": 1.517727272727273e-06, + "loss": 6.236428833007812, + "step": 69950 + }, + { + "epoch": 0.10355, + "grad_norm": 9.438726425170898, + "learning_rate": 1.5174747474747476e-06, + "loss": 6.201677322387695, + "step": 69955 + }, + { + "epoch": 0.1036, + "grad_norm": 9.632033348083496, + "learning_rate": 1.5172222222222225e-06, + "loss": 6.2188568115234375, + "step": 69960 + }, + { + "epoch": 0.10365, + "grad_norm": 4.930743217468262, + "learning_rate": 1.516969696969697e-06, + "loss": 6.300019454956055, + "step": 69965 + }, + { + "epoch": 0.1037, + "grad_norm": 5.744776248931885, + "learning_rate": 1.516717171717172e-06, + "loss": 6.24951400756836, + "step": 69970 + }, + { + "epoch": 0.10375, + "grad_norm": 5.7224860191345215, + "learning_rate": 1.5164646464646466e-06, + "loss": 6.24515380859375, + "step": 69975 + }, + { + "epoch": 0.1038, + "grad_norm": 8.35798454284668, + "learning_rate": 1.5162121212121214e-06, + "loss": 6.258012771606445, + "step": 69980 + }, + { + "epoch": 0.10385, + "grad_norm": 5.971210479736328, + "learning_rate": 1.515959595959596e-06, + "loss": 6.200835418701172, + "step": 69985 + }, + { + "epoch": 0.1039, + "grad_norm": 11.250112533569336, + "learning_rate": 1.5157070707070709e-06, + "loss": 6.311390686035156, + "step": 69990 + }, + { + "epoch": 0.10395, + "grad_norm": 4.787052154541016, + "learning_rate": 1.5154545454545455e-06, + "loss": 6.196207427978516, + "step": 69995 + }, + { + "epoch": 0.104, + "grad_norm": 9.09445858001709, + "learning_rate": 1.5152020202020204e-06, + "loss": 6.250798034667969, + "step": 70000 + }, + { + "epoch": 0.10405, + "grad_norm": 5.368104457855225, + "learning_rate": 1.514949494949495e-06, + "loss": 6.260558319091797, + "step": 70005 + }, + { + "epoch": 0.1041, + "grad_norm": 4.585999011993408, + "learning_rate": 1.5146969696969698e-06, + "loss": 6.2481689453125, + "step": 70010 + }, + { + "epoch": 0.10415, + "grad_norm": 6.250848293304443, + "learning_rate": 1.5144444444444445e-06, + "loss": 6.2637981414794925, + "step": 70015 + }, + { + "epoch": 0.1042, + "grad_norm": 7.508022785186768, + "learning_rate": 1.5141919191919193e-06, + "loss": 6.189240264892578, + "step": 70020 + }, + { + "epoch": 0.10425, + "grad_norm": 17.536020278930664, + "learning_rate": 1.513939393939394e-06, + "loss": 6.260718536376953, + "step": 70025 + }, + { + "epoch": 0.1043, + "grad_norm": 34.615455627441406, + "learning_rate": 1.5136868686868688e-06, + "loss": 6.429454803466797, + "step": 70030 + }, + { + "epoch": 0.10435, + "grad_norm": 6.022301197052002, + "learning_rate": 1.5134343434343434e-06, + "loss": 6.373382186889648, + "step": 70035 + }, + { + "epoch": 0.1044, + "grad_norm": 11.31711196899414, + "learning_rate": 1.5131818181818185e-06, + "loss": 6.301255416870117, + "step": 70040 + }, + { + "epoch": 0.10445, + "grad_norm": 14.024144172668457, + "learning_rate": 1.5129292929292929e-06, + "loss": 6.362357330322266, + "step": 70045 + }, + { + "epoch": 0.1045, + "grad_norm": 6.217692852020264, + "learning_rate": 1.512676767676768e-06, + "loss": 6.294585418701172, + "step": 70050 + }, + { + "epoch": 0.10455, + "grad_norm": 6.578646659851074, + "learning_rate": 1.5124242424242426e-06, + "loss": 6.211361694335937, + "step": 70055 + }, + { + "epoch": 0.1046, + "grad_norm": 6.838810443878174, + "learning_rate": 1.5121717171717174e-06, + "loss": 6.222134399414062, + "step": 70060 + }, + { + "epoch": 0.10465, + "grad_norm": 7.00046443939209, + "learning_rate": 1.511919191919192e-06, + "loss": 6.473004913330078, + "step": 70065 + }, + { + "epoch": 0.1047, + "grad_norm": 4.078529357910156, + "learning_rate": 1.5116666666666669e-06, + "loss": 6.304496002197266, + "step": 70070 + }, + { + "epoch": 0.10475, + "grad_norm": 6.784806728363037, + "learning_rate": 1.5114141414141415e-06, + "loss": 6.255331420898438, + "step": 70075 + }, + { + "epoch": 0.1048, + "grad_norm": 7.417270183563232, + "learning_rate": 1.5111616161616163e-06, + "loss": 6.251804351806641, + "step": 70080 + }, + { + "epoch": 0.10485, + "grad_norm": 4.264366626739502, + "learning_rate": 1.510909090909091e-06, + "loss": 6.276866149902344, + "step": 70085 + }, + { + "epoch": 0.1049, + "grad_norm": 7.064784526824951, + "learning_rate": 1.5106565656565658e-06, + "loss": 6.274673080444336, + "step": 70090 + }, + { + "epoch": 0.10495, + "grad_norm": 9.293214797973633, + "learning_rate": 1.5104040404040404e-06, + "loss": 6.228495025634766, + "step": 70095 + }, + { + "epoch": 0.105, + "grad_norm": 8.082324028015137, + "learning_rate": 1.5101515151515153e-06, + "loss": 6.273787307739258, + "step": 70100 + }, + { + "epoch": 0.10505, + "grad_norm": 5.533097267150879, + "learning_rate": 1.50989898989899e-06, + "loss": 6.306704330444336, + "step": 70105 + }, + { + "epoch": 0.1051, + "grad_norm": 7.885391712188721, + "learning_rate": 1.5096464646464648e-06, + "loss": 6.281864166259766, + "step": 70110 + }, + { + "epoch": 0.10515, + "grad_norm": 6.018885612487793, + "learning_rate": 1.5093939393939394e-06, + "loss": 6.255643844604492, + "step": 70115 + }, + { + "epoch": 0.1052, + "grad_norm": 18.803895950317383, + "learning_rate": 1.5091414141414142e-06, + "loss": 6.230621719360352, + "step": 70120 + }, + { + "epoch": 0.10525, + "grad_norm": 8.603285789489746, + "learning_rate": 1.5088888888888889e-06, + "loss": 6.378117370605469, + "step": 70125 + }, + { + "epoch": 0.1053, + "grad_norm": 6.0321125984191895, + "learning_rate": 1.5086363636363637e-06, + "loss": 6.221832656860352, + "step": 70130 + }, + { + "epoch": 0.10535, + "grad_norm": 7.258693218231201, + "learning_rate": 1.5083838383838383e-06, + "loss": 6.233095169067383, + "step": 70135 + }, + { + "epoch": 0.1054, + "grad_norm": 6.24540376663208, + "learning_rate": 1.5081313131313132e-06, + "loss": 6.213459777832031, + "step": 70140 + }, + { + "epoch": 0.10545, + "grad_norm": 4.382788181304932, + "learning_rate": 1.5078787878787878e-06, + "loss": 6.264875793457032, + "step": 70145 + }, + { + "epoch": 0.1055, + "grad_norm": 11.932379722595215, + "learning_rate": 1.5076262626262629e-06, + "loss": 6.2314403533935545, + "step": 70150 + }, + { + "epoch": 0.10555, + "grad_norm": 4.716244220733643, + "learning_rate": 1.5073737373737373e-06, + "loss": 6.27198486328125, + "step": 70155 + }, + { + "epoch": 0.1056, + "grad_norm": 4.40574836730957, + "learning_rate": 1.5071212121212123e-06, + "loss": 6.2579795837402346, + "step": 70160 + }, + { + "epoch": 0.10565, + "grad_norm": 5.340152263641357, + "learning_rate": 1.506868686868687e-06, + "loss": 6.2458240509033205, + "step": 70165 + }, + { + "epoch": 0.1057, + "grad_norm": 4.740099906921387, + "learning_rate": 1.5066161616161618e-06, + "loss": 6.248078155517578, + "step": 70170 + }, + { + "epoch": 0.10575, + "grad_norm": 4.984585762023926, + "learning_rate": 1.5063636363636364e-06, + "loss": 6.259487152099609, + "step": 70175 + }, + { + "epoch": 0.1058, + "grad_norm": 4.907613277435303, + "learning_rate": 1.5061111111111113e-06, + "loss": 6.2829231262207035, + "step": 70180 + }, + { + "epoch": 0.10585, + "grad_norm": 5.620975017547607, + "learning_rate": 1.505858585858586e-06, + "loss": 6.215739822387695, + "step": 70185 + }, + { + "epoch": 0.1059, + "grad_norm": 4.859480857849121, + "learning_rate": 1.5056060606060608e-06, + "loss": 6.25788688659668, + "step": 70190 + }, + { + "epoch": 0.10595, + "grad_norm": 3.7855327129364014, + "learning_rate": 1.5053535353535354e-06, + "loss": 6.2956794738769535, + "step": 70195 + }, + { + "epoch": 0.106, + "grad_norm": 3.811877489089966, + "learning_rate": 1.5051010101010102e-06, + "loss": 6.246413040161133, + "step": 70200 + }, + { + "epoch": 0.10605, + "grad_norm": 7.213291168212891, + "learning_rate": 1.5048484848484849e-06, + "loss": 6.240888214111328, + "step": 70205 + }, + { + "epoch": 0.1061, + "grad_norm": 9.880549430847168, + "learning_rate": 1.5045959595959597e-06, + "loss": 6.287513732910156, + "step": 70210 + }, + { + "epoch": 0.10615, + "grad_norm": 5.620789527893066, + "learning_rate": 1.5043434343434343e-06, + "loss": 6.481846618652344, + "step": 70215 + }, + { + "epoch": 0.1062, + "grad_norm": 5.59331750869751, + "learning_rate": 1.5040909090909092e-06, + "loss": 6.250838088989258, + "step": 70220 + }, + { + "epoch": 0.10625, + "grad_norm": 6.5511651039123535, + "learning_rate": 1.503838383838384e-06, + "loss": 6.294349288940429, + "step": 70225 + }, + { + "epoch": 0.1063, + "grad_norm": 4.873459815979004, + "learning_rate": 1.5035858585858586e-06, + "loss": 6.269921875, + "step": 70230 + }, + { + "epoch": 0.10635, + "grad_norm": 4.741708755493164, + "learning_rate": 1.5033333333333337e-06, + "loss": 6.257433700561523, + "step": 70235 + }, + { + "epoch": 0.1064, + "grad_norm": 5.410181045532227, + "learning_rate": 1.5030808080808081e-06, + "loss": 6.243133544921875, + "step": 70240 + }, + { + "epoch": 0.10645, + "grad_norm": 9.414806365966797, + "learning_rate": 1.5028282828282832e-06, + "loss": 6.222256851196289, + "step": 70245 + }, + { + "epoch": 0.1065, + "grad_norm": 6.543602466583252, + "learning_rate": 1.5025757575757576e-06, + "loss": 6.291792678833008, + "step": 70250 + }, + { + "epoch": 0.10655, + "grad_norm": 3.5766642093658447, + "learning_rate": 1.5023232323232326e-06, + "loss": 6.241476440429688, + "step": 70255 + }, + { + "epoch": 0.1066, + "grad_norm": 8.665578842163086, + "learning_rate": 1.5020707070707073e-06, + "loss": 6.312579345703125, + "step": 70260 + }, + { + "epoch": 0.10665, + "grad_norm": 5.953514099121094, + "learning_rate": 1.5018181818181821e-06, + "loss": 6.224444198608398, + "step": 70265 + }, + { + "epoch": 0.1067, + "grad_norm": 5.600226402282715, + "learning_rate": 1.5015656565656567e-06, + "loss": 6.226136016845703, + "step": 70270 + }, + { + "epoch": 0.10675, + "grad_norm": 10.065235137939453, + "learning_rate": 1.5013131313131316e-06, + "loss": 6.260222625732422, + "step": 70275 + }, + { + "epoch": 0.1068, + "grad_norm": 6.075634479522705, + "learning_rate": 1.5010606060606062e-06, + "loss": 6.26611442565918, + "step": 70280 + }, + { + "epoch": 0.10685, + "grad_norm": 27.269681930541992, + "learning_rate": 1.500808080808081e-06, + "loss": 6.2349193572998045, + "step": 70285 + }, + { + "epoch": 0.1069, + "grad_norm": 4.279699325561523, + "learning_rate": 1.5005555555555557e-06, + "loss": 6.099803161621094, + "step": 70290 + }, + { + "epoch": 0.10695, + "grad_norm": 4.364034175872803, + "learning_rate": 1.5003030303030305e-06, + "loss": 6.223847961425781, + "step": 70295 + }, + { + "epoch": 0.107, + "grad_norm": 4.29464054107666, + "learning_rate": 1.5000505050505052e-06, + "loss": 6.224812316894531, + "step": 70300 + }, + { + "epoch": 0.10705, + "grad_norm": 5.289552211761475, + "learning_rate": 1.49979797979798e-06, + "loss": 6.48115234375, + "step": 70305 + }, + { + "epoch": 0.1071, + "grad_norm": 6.428898811340332, + "learning_rate": 1.4995454545454546e-06, + "loss": 6.244331359863281, + "step": 70310 + }, + { + "epoch": 0.10715, + "grad_norm": 7.897966384887695, + "learning_rate": 1.4992929292929295e-06, + "loss": 6.285530090332031, + "step": 70315 + }, + { + "epoch": 0.1072, + "grad_norm": 6.52786922454834, + "learning_rate": 1.499040404040404e-06, + "loss": 6.23895263671875, + "step": 70320 + }, + { + "epoch": 0.10725, + "grad_norm": 6.497035980224609, + "learning_rate": 1.498787878787879e-06, + "loss": 6.375001525878906, + "step": 70325 + }, + { + "epoch": 0.1073, + "grad_norm": 6.014400005340576, + "learning_rate": 1.4985353535353536e-06, + "loss": 6.259087371826172, + "step": 70330 + }, + { + "epoch": 0.10735, + "grad_norm": 5.667745113372803, + "learning_rate": 1.4982828282828284e-06, + "loss": 6.236745071411133, + "step": 70335 + }, + { + "epoch": 0.1074, + "grad_norm": 4.16525411605835, + "learning_rate": 1.498030303030303e-06, + "loss": 6.264295196533203, + "step": 70340 + }, + { + "epoch": 0.10745, + "grad_norm": 6.932337284088135, + "learning_rate": 1.497777777777778e-06, + "loss": 6.223941421508789, + "step": 70345 + }, + { + "epoch": 0.1075, + "grad_norm": 9.45105266571045, + "learning_rate": 1.4975252525252525e-06, + "loss": 6.227922058105468, + "step": 70350 + }, + { + "epoch": 0.10755, + "grad_norm": 21.06622314453125, + "learning_rate": 1.4972727272727276e-06, + "loss": 6.470458984375, + "step": 70355 + }, + { + "epoch": 0.1076, + "grad_norm": 5.836840629577637, + "learning_rate": 1.4970202020202022e-06, + "loss": 6.355976486206055, + "step": 70360 + }, + { + "epoch": 0.10765, + "grad_norm": 4.516486644744873, + "learning_rate": 1.496767676767677e-06, + "loss": 6.216770935058594, + "step": 70365 + }, + { + "epoch": 0.1077, + "grad_norm": 4.557652473449707, + "learning_rate": 1.4965151515151517e-06, + "loss": 6.274875640869141, + "step": 70370 + }, + { + "epoch": 0.10775, + "grad_norm": 9.080934524536133, + "learning_rate": 1.4962626262626265e-06, + "loss": 6.243246459960938, + "step": 70375 + }, + { + "epoch": 0.1078, + "grad_norm": 7.43522310256958, + "learning_rate": 1.4960101010101011e-06, + "loss": 6.246138000488282, + "step": 70380 + }, + { + "epoch": 0.10785, + "grad_norm": 4.300600051879883, + "learning_rate": 1.495757575757576e-06, + "loss": 6.185092544555664, + "step": 70385 + }, + { + "epoch": 0.1079, + "grad_norm": 5.872352123260498, + "learning_rate": 1.4955050505050506e-06, + "loss": 6.276237869262696, + "step": 70390 + }, + { + "epoch": 0.10795, + "grad_norm": 4.333263874053955, + "learning_rate": 1.4952525252525255e-06, + "loss": 6.316579818725586, + "step": 70395 + }, + { + "epoch": 0.108, + "grad_norm": 11.968606948852539, + "learning_rate": 1.495e-06, + "loss": 6.255261993408203, + "step": 70400 + }, + { + "epoch": 0.10805, + "grad_norm": 5.893119812011719, + "learning_rate": 1.494747474747475e-06, + "loss": 6.229133224487304, + "step": 70405 + }, + { + "epoch": 0.1081, + "grad_norm": 5.888654708862305, + "learning_rate": 1.4944949494949496e-06, + "loss": 6.242646789550781, + "step": 70410 + }, + { + "epoch": 0.10815, + "grad_norm": 16.648193359375, + "learning_rate": 1.4942424242424244e-06, + "loss": 6.233001327514648, + "step": 70415 + }, + { + "epoch": 0.1082, + "grad_norm": 9.83410930633545, + "learning_rate": 1.493989898989899e-06, + "loss": 6.295920562744141, + "step": 70420 + }, + { + "epoch": 0.10825, + "grad_norm": 6.0635247230529785, + "learning_rate": 1.4937373737373739e-06, + "loss": 6.281613159179687, + "step": 70425 + }, + { + "epoch": 0.1083, + "grad_norm": 32.05974578857422, + "learning_rate": 1.4934848484848485e-06, + "loss": 6.253609466552734, + "step": 70430 + }, + { + "epoch": 0.10835, + "grad_norm": 16.697751998901367, + "learning_rate": 1.4932323232323233e-06, + "loss": 6.2254383087158205, + "step": 70435 + }, + { + "epoch": 0.1084, + "grad_norm": 8.260332107543945, + "learning_rate": 1.492979797979798e-06, + "loss": 6.218616104125976, + "step": 70440 + }, + { + "epoch": 0.10845, + "grad_norm": 6.301198482513428, + "learning_rate": 1.4927272727272728e-06, + "loss": 6.277152252197266, + "step": 70445 + }, + { + "epoch": 0.1085, + "grad_norm": 5.945717811584473, + "learning_rate": 1.4924747474747474e-06, + "loss": 6.333709716796875, + "step": 70450 + }, + { + "epoch": 0.10855, + "grad_norm": 6.007282257080078, + "learning_rate": 1.4922222222222225e-06, + "loss": 6.22431640625, + "step": 70455 + }, + { + "epoch": 0.1086, + "grad_norm": 5.968386173248291, + "learning_rate": 1.491969696969697e-06, + "loss": 6.233551788330078, + "step": 70460 + }, + { + "epoch": 0.10865, + "grad_norm": 6.2929463386535645, + "learning_rate": 1.491717171717172e-06, + "loss": 6.270417785644531, + "step": 70465 + }, + { + "epoch": 0.1087, + "grad_norm": 5.647006034851074, + "learning_rate": 1.4914646464646466e-06, + "loss": 6.379016494750976, + "step": 70470 + }, + { + "epoch": 0.10875, + "grad_norm": 4.676347255706787, + "learning_rate": 1.4912121212121214e-06, + "loss": 6.289689636230468, + "step": 70475 + }, + { + "epoch": 0.1088, + "grad_norm": 3.9319701194763184, + "learning_rate": 1.490959595959596e-06, + "loss": 6.2204734802246096, + "step": 70480 + }, + { + "epoch": 0.10885, + "grad_norm": 4.88107442855835, + "learning_rate": 1.490707070707071e-06, + "loss": 6.258384323120117, + "step": 70485 + }, + { + "epoch": 0.1089, + "grad_norm": 5.679380416870117, + "learning_rate": 1.4904545454545455e-06, + "loss": 6.26208267211914, + "step": 70490 + }, + { + "epoch": 0.10895, + "grad_norm": 6.2144060134887695, + "learning_rate": 1.4902020202020204e-06, + "loss": 6.224525070190429, + "step": 70495 + }, + { + "epoch": 0.109, + "grad_norm": 6.1950225830078125, + "learning_rate": 1.489949494949495e-06, + "loss": 6.236910629272461, + "step": 70500 + }, + { + "epoch": 0.10905, + "grad_norm": 8.069609642028809, + "learning_rate": 1.4896969696969699e-06, + "loss": 6.255545806884766, + "step": 70505 + }, + { + "epoch": 0.1091, + "grad_norm": 7.013514995574951, + "learning_rate": 1.4894444444444445e-06, + "loss": 6.290047836303711, + "step": 70510 + }, + { + "epoch": 0.10915, + "grad_norm": 5.9338884353637695, + "learning_rate": 1.4891919191919193e-06, + "loss": 6.232958984375, + "step": 70515 + }, + { + "epoch": 0.1092, + "grad_norm": 4.7337870597839355, + "learning_rate": 1.488939393939394e-06, + "loss": 6.205607604980469, + "step": 70520 + }, + { + "epoch": 0.10925, + "grad_norm": 8.574862480163574, + "learning_rate": 1.4886868686868688e-06, + "loss": 6.464659881591797, + "step": 70525 + }, + { + "epoch": 0.1093, + "grad_norm": 4.819967269897461, + "learning_rate": 1.4884343434343434e-06, + "loss": 6.26697006225586, + "step": 70530 + }, + { + "epoch": 0.10935, + "grad_norm": 52.89642333984375, + "learning_rate": 1.4881818181818183e-06, + "loss": 6.4767303466796875, + "step": 70535 + }, + { + "epoch": 0.1094, + "grad_norm": 6.329042911529541, + "learning_rate": 1.487929292929293e-06, + "loss": 6.4414527893066404, + "step": 70540 + }, + { + "epoch": 0.10945, + "grad_norm": 5.913768291473389, + "learning_rate": 1.4876767676767677e-06, + "loss": 6.24035873413086, + "step": 70545 + }, + { + "epoch": 0.1095, + "grad_norm": 4.436302661895752, + "learning_rate": 1.4874242424242424e-06, + "loss": 6.189162063598633, + "step": 70550 + }, + { + "epoch": 0.10955, + "grad_norm": 7.437015056610107, + "learning_rate": 1.4871717171717172e-06, + "loss": 6.264532852172851, + "step": 70555 + }, + { + "epoch": 0.1096, + "grad_norm": 6.148346424102783, + "learning_rate": 1.4869191919191918e-06, + "loss": 6.223948669433594, + "step": 70560 + }, + { + "epoch": 0.10965, + "grad_norm": 6.309460639953613, + "learning_rate": 1.486666666666667e-06, + "loss": 6.328600311279297, + "step": 70565 + }, + { + "epoch": 0.1097, + "grad_norm": 12.29411792755127, + "learning_rate": 1.4864141414141413e-06, + "loss": 6.255525970458985, + "step": 70570 + }, + { + "epoch": 0.10975, + "grad_norm": 6.789039134979248, + "learning_rate": 1.4861616161616164e-06, + "loss": 6.246724700927734, + "step": 70575 + }, + { + "epoch": 0.1098, + "grad_norm": 8.433144569396973, + "learning_rate": 1.485909090909091e-06, + "loss": 6.219697952270508, + "step": 70580 + }, + { + "epoch": 0.10985, + "grad_norm": 8.98473072052002, + "learning_rate": 1.4856565656565658e-06, + "loss": 6.347524642944336, + "step": 70585 + }, + { + "epoch": 0.1099, + "grad_norm": 8.299501419067383, + "learning_rate": 1.4854040404040405e-06, + "loss": 6.263444900512695, + "step": 70590 + }, + { + "epoch": 0.10995, + "grad_norm": 7.714624404907227, + "learning_rate": 1.4851515151515153e-06, + "loss": 6.297417068481446, + "step": 70595 + }, + { + "epoch": 0.11, + "grad_norm": 11.265871047973633, + "learning_rate": 1.48489898989899e-06, + "loss": 6.252170562744141, + "step": 70600 + }, + { + "epoch": 0.11005, + "grad_norm": 10.227030754089355, + "learning_rate": 1.4846464646464648e-06, + "loss": 6.235006332397461, + "step": 70605 + }, + { + "epoch": 0.1101, + "grad_norm": 4.458352565765381, + "learning_rate": 1.4843939393939394e-06, + "loss": 6.2093955993652346, + "step": 70610 + }, + { + "epoch": 0.11015, + "grad_norm": 5.629148006439209, + "learning_rate": 1.4841414141414143e-06, + "loss": 6.168504333496093, + "step": 70615 + }, + { + "epoch": 0.1102, + "grad_norm": 7.8775200843811035, + "learning_rate": 1.4838888888888889e-06, + "loss": 6.245716857910156, + "step": 70620 + }, + { + "epoch": 0.11025, + "grad_norm": 6.965467929840088, + "learning_rate": 1.4836363636363637e-06, + "loss": 6.25240478515625, + "step": 70625 + }, + { + "epoch": 0.1103, + "grad_norm": 10.880308151245117, + "learning_rate": 1.4833838383838384e-06, + "loss": 6.2130992889404295, + "step": 70630 + }, + { + "epoch": 0.11035, + "grad_norm": 6.548719882965088, + "learning_rate": 1.4831313131313132e-06, + "loss": 6.271269607543945, + "step": 70635 + }, + { + "epoch": 0.1104, + "grad_norm": 5.457833290100098, + "learning_rate": 1.4828787878787878e-06, + "loss": 6.216322326660157, + "step": 70640 + }, + { + "epoch": 0.11045, + "grad_norm": 6.130603313446045, + "learning_rate": 1.4826262626262627e-06, + "loss": 6.261547470092774, + "step": 70645 + }, + { + "epoch": 0.1105, + "grad_norm": 4.87970495223999, + "learning_rate": 1.4823737373737377e-06, + "loss": 6.277933502197266, + "step": 70650 + }, + { + "epoch": 0.11055, + "grad_norm": 6.199944972991943, + "learning_rate": 1.4821212121212122e-06, + "loss": 6.264662170410157, + "step": 70655 + }, + { + "epoch": 0.1106, + "grad_norm": 4.307426929473877, + "learning_rate": 1.4818686868686872e-06, + "loss": 6.255156326293945, + "step": 70660 + }, + { + "epoch": 0.11065, + "grad_norm": 18.038227081298828, + "learning_rate": 1.4816161616161618e-06, + "loss": 6.241727066040039, + "step": 70665 + }, + { + "epoch": 0.1107, + "grad_norm": 6.070144176483154, + "learning_rate": 1.4813636363636367e-06, + "loss": 6.213169097900391, + "step": 70670 + }, + { + "epoch": 0.11075, + "grad_norm": 6.119583606719971, + "learning_rate": 1.4811111111111113e-06, + "loss": 6.243610382080078, + "step": 70675 + }, + { + "epoch": 0.1108, + "grad_norm": 5.817990779876709, + "learning_rate": 1.4808585858585861e-06, + "loss": 6.266510391235352, + "step": 70680 + }, + { + "epoch": 0.11085, + "grad_norm": 3.7423250675201416, + "learning_rate": 1.4806060606060608e-06, + "loss": 6.195258331298828, + "step": 70685 + }, + { + "epoch": 0.1109, + "grad_norm": 13.172792434692383, + "learning_rate": 1.4803535353535356e-06, + "loss": 6.250706481933594, + "step": 70690 + }, + { + "epoch": 0.11095, + "grad_norm": 7.8013916015625, + "learning_rate": 1.4801010101010103e-06, + "loss": 6.248471450805664, + "step": 70695 + }, + { + "epoch": 0.111, + "grad_norm": 6.031282424926758, + "learning_rate": 1.479848484848485e-06, + "loss": 6.208718109130859, + "step": 70700 + }, + { + "epoch": 0.11105, + "grad_norm": 8.499100685119629, + "learning_rate": 1.4795959595959597e-06, + "loss": 6.2614189147949215, + "step": 70705 + }, + { + "epoch": 0.1111, + "grad_norm": 7.5123066902160645, + "learning_rate": 1.4793434343434346e-06, + "loss": 6.273057556152343, + "step": 70710 + }, + { + "epoch": 0.11115, + "grad_norm": 9.178064346313477, + "learning_rate": 1.4790909090909092e-06, + "loss": 6.281016159057617, + "step": 70715 + }, + { + "epoch": 0.1112, + "grad_norm": 6.169647216796875, + "learning_rate": 1.478838383838384e-06, + "loss": 6.265370559692383, + "step": 70720 + }, + { + "epoch": 0.11125, + "grad_norm": 5.66239595413208, + "learning_rate": 1.4785858585858587e-06, + "loss": 6.289680099487304, + "step": 70725 + }, + { + "epoch": 0.1113, + "grad_norm": 6.531017303466797, + "learning_rate": 1.4783333333333335e-06, + "loss": 6.30152587890625, + "step": 70730 + }, + { + "epoch": 0.11135, + "grad_norm": 11.30678653717041, + "learning_rate": 1.4780808080808081e-06, + "loss": 6.2258861541748045, + "step": 70735 + }, + { + "epoch": 0.1114, + "grad_norm": 5.696952819824219, + "learning_rate": 1.477828282828283e-06, + "loss": 6.205899810791015, + "step": 70740 + }, + { + "epoch": 0.11145, + "grad_norm": 4.309878349304199, + "learning_rate": 1.4775757575757576e-06, + "loss": 6.254526901245117, + "step": 70745 + }, + { + "epoch": 0.1115, + "grad_norm": 6.054539203643799, + "learning_rate": 1.4773232323232325e-06, + "loss": 6.5326080322265625, + "step": 70750 + }, + { + "epoch": 0.11155, + "grad_norm": 6.533455848693848, + "learning_rate": 1.477070707070707e-06, + "loss": 6.2250518798828125, + "step": 70755 + }, + { + "epoch": 0.1116, + "grad_norm": 10.897772789001465, + "learning_rate": 1.4768181818181821e-06, + "loss": 6.2970024108886715, + "step": 70760 + }, + { + "epoch": 0.11165, + "grad_norm": 15.450627326965332, + "learning_rate": 1.4765656565656566e-06, + "loss": 6.097810745239258, + "step": 70765 + }, + { + "epoch": 0.1117, + "grad_norm": 4.3769025802612305, + "learning_rate": 1.4763131313131316e-06, + "loss": 6.230551910400391, + "step": 70770 + }, + { + "epoch": 0.11175, + "grad_norm": 19.72295570373535, + "learning_rate": 1.4760606060606062e-06, + "loss": 6.429962921142578, + "step": 70775 + }, + { + "epoch": 0.1118, + "grad_norm": 29.51087188720703, + "learning_rate": 1.475808080808081e-06, + "loss": 6.465242004394531, + "step": 70780 + }, + { + "epoch": 0.11185, + "grad_norm": 5.867867469787598, + "learning_rate": 1.4755555555555557e-06, + "loss": 6.276731872558594, + "step": 70785 + }, + { + "epoch": 0.1119, + "grad_norm": 5.2450175285339355, + "learning_rate": 1.4753030303030306e-06, + "loss": 6.228615951538086, + "step": 70790 + }, + { + "epoch": 0.11195, + "grad_norm": 4.43710994720459, + "learning_rate": 1.4750505050505052e-06, + "loss": 6.243564605712891, + "step": 70795 + }, + { + "epoch": 0.112, + "grad_norm": 6.230121612548828, + "learning_rate": 1.47479797979798e-06, + "loss": 6.205290222167969, + "step": 70800 + }, + { + "epoch": 0.11205, + "grad_norm": 3.9443254470825195, + "learning_rate": 1.4745454545454547e-06, + "loss": 6.311504364013672, + "step": 70805 + }, + { + "epoch": 0.1121, + "grad_norm": 6.32754373550415, + "learning_rate": 1.4742929292929295e-06, + "loss": 6.260771942138672, + "step": 70810 + }, + { + "epoch": 0.11215, + "grad_norm": 4.344845294952393, + "learning_rate": 1.4740404040404041e-06, + "loss": 6.210549545288086, + "step": 70815 + }, + { + "epoch": 0.1122, + "grad_norm": 5.034313678741455, + "learning_rate": 1.473787878787879e-06, + "loss": 6.189772033691407, + "step": 70820 + }, + { + "epoch": 0.11225, + "grad_norm": 5.114178657531738, + "learning_rate": 1.4735353535353536e-06, + "loss": 6.271826934814453, + "step": 70825 + }, + { + "epoch": 0.1123, + "grad_norm": 16.961441040039062, + "learning_rate": 1.4732828282828284e-06, + "loss": 6.240067672729492, + "step": 70830 + }, + { + "epoch": 0.11235, + "grad_norm": 8.579511642456055, + "learning_rate": 1.473030303030303e-06, + "loss": 6.273058319091797, + "step": 70835 + }, + { + "epoch": 0.1124, + "grad_norm": 5.582240104675293, + "learning_rate": 1.472777777777778e-06, + "loss": 6.2580726623535154, + "step": 70840 + }, + { + "epoch": 0.11245, + "grad_norm": 12.315756797790527, + "learning_rate": 1.4725252525252525e-06, + "loss": 6.173306274414062, + "step": 70845 + }, + { + "epoch": 0.1125, + "grad_norm": 3.9696338176727295, + "learning_rate": 1.4722727272727274e-06, + "loss": 6.190219879150391, + "step": 70850 + }, + { + "epoch": 0.11255, + "grad_norm": 4.551172733306885, + "learning_rate": 1.472020202020202e-06, + "loss": 6.204149627685547, + "step": 70855 + }, + { + "epoch": 0.1126, + "grad_norm": 6.222223281860352, + "learning_rate": 1.4717676767676769e-06, + "loss": 6.212909317016601, + "step": 70860 + }, + { + "epoch": 0.11265, + "grad_norm": 7.588503360748291, + "learning_rate": 1.4715151515151515e-06, + "loss": 6.198088073730469, + "step": 70865 + }, + { + "epoch": 0.1127, + "grad_norm": 4.820215702056885, + "learning_rate": 1.4712626262626265e-06, + "loss": 6.254140472412109, + "step": 70870 + }, + { + "epoch": 0.11275, + "grad_norm": 4.541482448577881, + "learning_rate": 1.471010101010101e-06, + "loss": 6.165190124511719, + "step": 70875 + }, + { + "epoch": 0.1128, + "grad_norm": 5.472412586212158, + "learning_rate": 1.470757575757576e-06, + "loss": 6.279804992675781, + "step": 70880 + }, + { + "epoch": 0.11285, + "grad_norm": 5.102203369140625, + "learning_rate": 1.4705050505050506e-06, + "loss": 6.303050994873047, + "step": 70885 + }, + { + "epoch": 0.1129, + "grad_norm": 7.649402618408203, + "learning_rate": 1.4702525252525255e-06, + "loss": 6.228931427001953, + "step": 70890 + }, + { + "epoch": 0.11295, + "grad_norm": 4.232516765594482, + "learning_rate": 1.4700000000000001e-06, + "loss": 6.222789764404297, + "step": 70895 + }, + { + "epoch": 0.113, + "grad_norm": 4.21560001373291, + "learning_rate": 1.469747474747475e-06, + "loss": 6.234303665161133, + "step": 70900 + }, + { + "epoch": 0.11305, + "grad_norm": 7.938162326812744, + "learning_rate": 1.4694949494949496e-06, + "loss": 6.247964096069336, + "step": 70905 + }, + { + "epoch": 0.1131, + "grad_norm": 13.286309242248535, + "learning_rate": 1.4692424242424244e-06, + "loss": 6.366983413696289, + "step": 70910 + }, + { + "epoch": 0.11315, + "grad_norm": 6.743062973022461, + "learning_rate": 1.468989898989899e-06, + "loss": 6.444520568847656, + "step": 70915 + }, + { + "epoch": 0.1132, + "grad_norm": 5.393292427062988, + "learning_rate": 1.468737373737374e-06, + "loss": 6.247224044799805, + "step": 70920 + }, + { + "epoch": 0.11325, + "grad_norm": 8.649447441101074, + "learning_rate": 1.4684848484848485e-06, + "loss": 6.244340896606445, + "step": 70925 + }, + { + "epoch": 0.1133, + "grad_norm": 4.490907192230225, + "learning_rate": 1.4682323232323234e-06, + "loss": 6.1954193115234375, + "step": 70930 + }, + { + "epoch": 0.11335, + "grad_norm": 4.730749607086182, + "learning_rate": 1.467979797979798e-06, + "loss": 6.199177169799805, + "step": 70935 + }, + { + "epoch": 0.1134, + "grad_norm": 11.80495834350586, + "learning_rate": 1.4677272727272728e-06, + "loss": 6.297029876708985, + "step": 70940 + }, + { + "epoch": 0.11345, + "grad_norm": 7.061036586761475, + "learning_rate": 1.4674747474747475e-06, + "loss": 6.222843933105469, + "step": 70945 + }, + { + "epoch": 0.1135, + "grad_norm": 4.385884761810303, + "learning_rate": 1.4672222222222223e-06, + "loss": 6.249789810180664, + "step": 70950 + }, + { + "epoch": 0.11355, + "grad_norm": 8.127381324768066, + "learning_rate": 1.466969696969697e-06, + "loss": 6.27716064453125, + "step": 70955 + }, + { + "epoch": 0.1136, + "grad_norm": 4.742341041564941, + "learning_rate": 1.4667171717171718e-06, + "loss": 6.255127716064453, + "step": 70960 + }, + { + "epoch": 0.11365, + "grad_norm": 5.915189266204834, + "learning_rate": 1.4664646464646464e-06, + "loss": 6.250969696044922, + "step": 70965 + }, + { + "epoch": 0.1137, + "grad_norm": 5.168898582458496, + "learning_rate": 1.4662121212121213e-06, + "loss": 6.227506256103515, + "step": 70970 + }, + { + "epoch": 0.11375, + "grad_norm": 5.928437232971191, + "learning_rate": 1.4659595959595959e-06, + "loss": 6.228416442871094, + "step": 70975 + }, + { + "epoch": 0.1138, + "grad_norm": 4.894220352172852, + "learning_rate": 1.465707070707071e-06, + "loss": 6.210292816162109, + "step": 70980 + }, + { + "epoch": 0.11385, + "grad_norm": 16.99139404296875, + "learning_rate": 1.4654545454545454e-06, + "loss": 6.321816635131836, + "step": 70985 + }, + { + "epoch": 0.1139, + "grad_norm": 4.162569046020508, + "learning_rate": 1.4652020202020204e-06, + "loss": 6.242947387695312, + "step": 70990 + }, + { + "epoch": 0.11395, + "grad_norm": 7.3562211990356445, + "learning_rate": 1.464949494949495e-06, + "loss": 6.239608383178711, + "step": 70995 + }, + { + "epoch": 0.114, + "grad_norm": 6.449595928192139, + "learning_rate": 1.4646969696969699e-06, + "loss": 6.2353355407714846, + "step": 71000 + }, + { + "epoch": 0.11405, + "grad_norm": 17.703411102294922, + "learning_rate": 1.4644444444444445e-06, + "loss": 6.301509857177734, + "step": 71005 + }, + { + "epoch": 0.1141, + "grad_norm": 17.145145416259766, + "learning_rate": 1.4641919191919194e-06, + "loss": 6.287225723266602, + "step": 71010 + }, + { + "epoch": 0.11415, + "grad_norm": 17.487895965576172, + "learning_rate": 1.463939393939394e-06, + "loss": 6.280493927001953, + "step": 71015 + }, + { + "epoch": 0.1142, + "grad_norm": 6.6910881996154785, + "learning_rate": 1.4636868686868688e-06, + "loss": 6.229396820068359, + "step": 71020 + }, + { + "epoch": 0.11425, + "grad_norm": 5.5057373046875, + "learning_rate": 1.4634343434343435e-06, + "loss": 6.2261192321777346, + "step": 71025 + }, + { + "epoch": 0.1143, + "grad_norm": 11.558438301086426, + "learning_rate": 1.4631818181818183e-06, + "loss": 6.278601455688476, + "step": 71030 + }, + { + "epoch": 0.11435, + "grad_norm": 4.008595943450928, + "learning_rate": 1.462929292929293e-06, + "loss": 6.220378112792969, + "step": 71035 + }, + { + "epoch": 0.1144, + "grad_norm": 6.240907192230225, + "learning_rate": 1.4626767676767678e-06, + "loss": 6.298085784912109, + "step": 71040 + }, + { + "epoch": 0.11445, + "grad_norm": 7.405116558074951, + "learning_rate": 1.4624242424242424e-06, + "loss": 6.216365814208984, + "step": 71045 + }, + { + "epoch": 0.1145, + "grad_norm": 8.802513122558594, + "learning_rate": 1.4621717171717172e-06, + "loss": 6.241999816894531, + "step": 71050 + }, + { + "epoch": 0.11455, + "grad_norm": 4.959086894989014, + "learning_rate": 1.4619191919191919e-06, + "loss": 6.202229309082031, + "step": 71055 + }, + { + "epoch": 0.1146, + "grad_norm": 8.905279159545898, + "learning_rate": 1.4616666666666667e-06, + "loss": 6.264311981201172, + "step": 71060 + }, + { + "epoch": 0.11465, + "grad_norm": 6.940439701080322, + "learning_rate": 1.4614141414141413e-06, + "loss": 6.252835083007812, + "step": 71065 + }, + { + "epoch": 0.1147, + "grad_norm": 4.582200527191162, + "learning_rate": 1.4611616161616162e-06, + "loss": 6.2541454315185545, + "step": 71070 + }, + { + "epoch": 0.11475, + "grad_norm": 5.846879482269287, + "learning_rate": 1.4609090909090912e-06, + "loss": 6.299633407592774, + "step": 71075 + }, + { + "epoch": 0.1148, + "grad_norm": 6.64246129989624, + "learning_rate": 1.4606565656565659e-06, + "loss": 6.242847442626953, + "step": 71080 + }, + { + "epoch": 0.11485, + "grad_norm": 6.720762252807617, + "learning_rate": 1.4604040404040407e-06, + "loss": 6.27467041015625, + "step": 71085 + }, + { + "epoch": 0.1149, + "grad_norm": 4.488288402557373, + "learning_rate": 1.4601515151515153e-06, + "loss": 6.2323486328125, + "step": 71090 + }, + { + "epoch": 0.11495, + "grad_norm": 4.855941295623779, + "learning_rate": 1.4598989898989902e-06, + "loss": 6.19652214050293, + "step": 71095 + }, + { + "epoch": 0.115, + "grad_norm": 23.835634231567383, + "learning_rate": 1.4596464646464648e-06, + "loss": 6.456216430664062, + "step": 71100 + }, + { + "epoch": 0.11505, + "grad_norm": 5.500720024108887, + "learning_rate": 1.4593939393939397e-06, + "loss": 6.254848480224609, + "step": 71105 + }, + { + "epoch": 0.1151, + "grad_norm": 4.77895450592041, + "learning_rate": 1.4591414141414143e-06, + "loss": 6.28772201538086, + "step": 71110 + }, + { + "epoch": 0.11515, + "grad_norm": 6.911376476287842, + "learning_rate": 1.4588888888888891e-06, + "loss": 6.27319221496582, + "step": 71115 + }, + { + "epoch": 0.1152, + "grad_norm": 5.526822090148926, + "learning_rate": 1.4586363636363638e-06, + "loss": 6.242013168334961, + "step": 71120 + }, + { + "epoch": 0.11525, + "grad_norm": 4.670149803161621, + "learning_rate": 1.4583838383838386e-06, + "loss": 6.197670745849609, + "step": 71125 + }, + { + "epoch": 0.1153, + "grad_norm": 7.348355770111084, + "learning_rate": 1.4581313131313132e-06, + "loss": 6.241608047485352, + "step": 71130 + }, + { + "epoch": 0.11535, + "grad_norm": 5.692392826080322, + "learning_rate": 1.457878787878788e-06, + "loss": 6.2594757080078125, + "step": 71135 + }, + { + "epoch": 0.1154, + "grad_norm": 6.052067756652832, + "learning_rate": 1.4576262626262627e-06, + "loss": 6.228694152832031, + "step": 71140 + }, + { + "epoch": 0.11545, + "grad_norm": 9.309746742248535, + "learning_rate": 1.4573737373737375e-06, + "loss": 6.254579162597656, + "step": 71145 + }, + { + "epoch": 0.1155, + "grad_norm": 9.342081069946289, + "learning_rate": 1.4571212121212122e-06, + "loss": 6.380626678466797, + "step": 71150 + }, + { + "epoch": 0.11555, + "grad_norm": 4.293792724609375, + "learning_rate": 1.456868686868687e-06, + "loss": 6.2431079864501955, + "step": 71155 + }, + { + "epoch": 0.1156, + "grad_norm": 4.151412010192871, + "learning_rate": 1.4566161616161617e-06, + "loss": 6.245188140869141, + "step": 71160 + }, + { + "epoch": 0.11565, + "grad_norm": 4.770872592926025, + "learning_rate": 1.4563636363636365e-06, + "loss": 6.2585704803466795, + "step": 71165 + }, + { + "epoch": 0.1157, + "grad_norm": 5.462607383728027, + "learning_rate": 1.4561111111111111e-06, + "loss": 6.263034439086914, + "step": 71170 + }, + { + "epoch": 0.11575, + "grad_norm": 5.07378625869751, + "learning_rate": 1.4558585858585862e-06, + "loss": 6.2819366455078125, + "step": 71175 + }, + { + "epoch": 0.1158, + "grad_norm": 4.520764350891113, + "learning_rate": 1.4556060606060606e-06, + "loss": 6.269296646118164, + "step": 71180 + }, + { + "epoch": 0.11585, + "grad_norm": 8.329793930053711, + "learning_rate": 1.4553535353535356e-06, + "loss": 6.255178451538086, + "step": 71185 + }, + { + "epoch": 0.1159, + "grad_norm": 5.227603912353516, + "learning_rate": 1.4551010101010103e-06, + "loss": 6.267551422119141, + "step": 71190 + }, + { + "epoch": 0.11595, + "grad_norm": 4.839012622833252, + "learning_rate": 1.4548484848484851e-06, + "loss": 6.279519271850586, + "step": 71195 + }, + { + "epoch": 0.116, + "grad_norm": 8.156819343566895, + "learning_rate": 1.4545959595959597e-06, + "loss": 6.2913970947265625, + "step": 71200 + }, + { + "epoch": 0.11605, + "grad_norm": 8.790789604187012, + "learning_rate": 1.4543434343434346e-06, + "loss": 6.233060836791992, + "step": 71205 + }, + { + "epoch": 0.1161, + "grad_norm": 5.6531901359558105, + "learning_rate": 1.4540909090909092e-06, + "loss": 6.315775299072266, + "step": 71210 + }, + { + "epoch": 0.11615, + "grad_norm": 4.299149990081787, + "learning_rate": 1.453838383838384e-06, + "loss": 6.226066970825196, + "step": 71215 + }, + { + "epoch": 0.1162, + "grad_norm": 6.813946723937988, + "learning_rate": 1.4535858585858587e-06, + "loss": 6.263469314575195, + "step": 71220 + }, + { + "epoch": 0.11625, + "grad_norm": 4.879310131072998, + "learning_rate": 1.4533333333333335e-06, + "loss": 6.392726898193359, + "step": 71225 + }, + { + "epoch": 0.1163, + "grad_norm": 11.26491641998291, + "learning_rate": 1.4530808080808082e-06, + "loss": 6.344464874267578, + "step": 71230 + }, + { + "epoch": 0.11635, + "grad_norm": 12.988669395446777, + "learning_rate": 1.452828282828283e-06, + "loss": 6.217463684082031, + "step": 71235 + }, + { + "epoch": 0.1164, + "grad_norm": 5.648284912109375, + "learning_rate": 1.4525757575757576e-06, + "loss": 6.240857315063477, + "step": 71240 + }, + { + "epoch": 0.11645, + "grad_norm": 5.77839994430542, + "learning_rate": 1.4523232323232325e-06, + "loss": 6.2349601745605465, + "step": 71245 + }, + { + "epoch": 0.1165, + "grad_norm": 8.21295166015625, + "learning_rate": 1.4520707070707071e-06, + "loss": 6.2339519500732425, + "step": 71250 + }, + { + "epoch": 0.11655, + "grad_norm": 6.027764320373535, + "learning_rate": 1.451818181818182e-06, + "loss": 6.217894744873047, + "step": 71255 + }, + { + "epoch": 0.1166, + "grad_norm": 6.005073547363281, + "learning_rate": 1.4515656565656566e-06, + "loss": 6.221229934692383, + "step": 71260 + }, + { + "epoch": 0.11665, + "grad_norm": 5.556330680847168, + "learning_rate": 1.4513131313131314e-06, + "loss": 6.35010986328125, + "step": 71265 + }, + { + "epoch": 0.1167, + "grad_norm": 7.194943904876709, + "learning_rate": 1.451060606060606e-06, + "loss": 6.242879486083984, + "step": 71270 + }, + { + "epoch": 0.11675, + "grad_norm": 7.847644805908203, + "learning_rate": 1.450808080808081e-06, + "loss": 6.217774200439453, + "step": 71275 + }, + { + "epoch": 0.1168, + "grad_norm": 12.432095527648926, + "learning_rate": 1.4505555555555555e-06, + "loss": 6.310239028930664, + "step": 71280 + }, + { + "epoch": 0.11685, + "grad_norm": 8.951979637145996, + "learning_rate": 1.4503030303030306e-06, + "loss": 6.221516799926758, + "step": 71285 + }, + { + "epoch": 0.1169, + "grad_norm": 32.71767807006836, + "learning_rate": 1.450050505050505e-06, + "loss": 6.232900619506836, + "step": 71290 + }, + { + "epoch": 0.11695, + "grad_norm": 4.789072036743164, + "learning_rate": 1.44979797979798e-06, + "loss": 6.220142364501953, + "step": 71295 + }, + { + "epoch": 0.117, + "grad_norm": 13.722853660583496, + "learning_rate": 1.4495454545454547e-06, + "loss": 6.261393356323242, + "step": 71300 + }, + { + "epoch": 0.11705, + "grad_norm": 6.538764476776123, + "learning_rate": 1.4492929292929295e-06, + "loss": 6.193209838867188, + "step": 71305 + }, + { + "epoch": 0.1171, + "grad_norm": 21.733257293701172, + "learning_rate": 1.4490404040404042e-06, + "loss": 6.200273895263672, + "step": 71310 + }, + { + "epoch": 0.11715, + "grad_norm": 7.157898426055908, + "learning_rate": 1.448787878787879e-06, + "loss": 6.228910827636719, + "step": 71315 + }, + { + "epoch": 0.1172, + "grad_norm": 5.489356517791748, + "learning_rate": 1.4485353535353536e-06, + "loss": 6.244960784912109, + "step": 71320 + }, + { + "epoch": 0.11725, + "grad_norm": 18.78152847290039, + "learning_rate": 1.4482828282828285e-06, + "loss": 6.2358348846435545, + "step": 71325 + }, + { + "epoch": 0.1173, + "grad_norm": 5.586100101470947, + "learning_rate": 1.448030303030303e-06, + "loss": 6.281199645996094, + "step": 71330 + }, + { + "epoch": 0.11735, + "grad_norm": 7.718406677246094, + "learning_rate": 1.447777777777778e-06, + "loss": 6.257496643066406, + "step": 71335 + }, + { + "epoch": 0.1174, + "grad_norm": 5.159696102142334, + "learning_rate": 1.4475252525252526e-06, + "loss": 6.281306457519531, + "step": 71340 + }, + { + "epoch": 0.11745, + "grad_norm": 6.560358047485352, + "learning_rate": 1.4472727272727274e-06, + "loss": 6.254804992675782, + "step": 71345 + }, + { + "epoch": 0.1175, + "grad_norm": 7.071283340454102, + "learning_rate": 1.447020202020202e-06, + "loss": 6.470374298095703, + "step": 71350 + }, + { + "epoch": 0.11755, + "grad_norm": 4.781947612762451, + "learning_rate": 1.4467676767676769e-06, + "loss": 6.231656646728515, + "step": 71355 + }, + { + "epoch": 0.1176, + "grad_norm": 28.44536018371582, + "learning_rate": 1.4465151515151515e-06, + "loss": 6.391431427001953, + "step": 71360 + }, + { + "epoch": 0.11765, + "grad_norm": 12.774090766906738, + "learning_rate": 1.4462626262626264e-06, + "loss": 6.249874496459961, + "step": 71365 + }, + { + "epoch": 0.1177, + "grad_norm": 5.1287360191345215, + "learning_rate": 1.446010101010101e-06, + "loss": 6.229756927490234, + "step": 71370 + }, + { + "epoch": 0.11775, + "grad_norm": 7.840236663818359, + "learning_rate": 1.4457575757575758e-06, + "loss": 6.2183074951171875, + "step": 71375 + }, + { + "epoch": 0.1178, + "grad_norm": 8.650823593139648, + "learning_rate": 1.4455050505050505e-06, + "loss": 6.23829460144043, + "step": 71380 + }, + { + "epoch": 0.11785, + "grad_norm": 6.975605487823486, + "learning_rate": 1.4452525252525255e-06, + "loss": 6.20633544921875, + "step": 71385 + }, + { + "epoch": 0.1179, + "grad_norm": 20.962249755859375, + "learning_rate": 1.445e-06, + "loss": 6.29403076171875, + "step": 71390 + }, + { + "epoch": 0.11795, + "grad_norm": 8.74927043914795, + "learning_rate": 1.444747474747475e-06, + "loss": 6.220177459716797, + "step": 71395 + }, + { + "epoch": 0.118, + "grad_norm": 7.122379302978516, + "learning_rate": 1.4444949494949494e-06, + "loss": 6.235001754760742, + "step": 71400 + }, + { + "epoch": 0.11805, + "grad_norm": 5.646695137023926, + "learning_rate": 1.4442424242424245e-06, + "loss": 6.278347015380859, + "step": 71405 + }, + { + "epoch": 0.1181, + "grad_norm": 4.741393089294434, + "learning_rate": 1.443989898989899e-06, + "loss": 6.260182571411133, + "step": 71410 + }, + { + "epoch": 0.11815, + "grad_norm": 4.368388652801514, + "learning_rate": 1.443737373737374e-06, + "loss": 6.293814086914063, + "step": 71415 + }, + { + "epoch": 0.1182, + "grad_norm": 19.20926284790039, + "learning_rate": 1.4434848484848486e-06, + "loss": 6.278135681152344, + "step": 71420 + }, + { + "epoch": 0.11825, + "grad_norm": 9.371469497680664, + "learning_rate": 1.4432323232323234e-06, + "loss": 6.213376998901367, + "step": 71425 + }, + { + "epoch": 0.1183, + "grad_norm": 10.20363712310791, + "learning_rate": 1.442979797979798e-06, + "loss": 6.325283050537109, + "step": 71430 + }, + { + "epoch": 0.11835, + "grad_norm": 4.765652656555176, + "learning_rate": 1.4427272727272729e-06, + "loss": 6.2411041259765625, + "step": 71435 + }, + { + "epoch": 0.1184, + "grad_norm": 7.490548133850098, + "learning_rate": 1.4424747474747475e-06, + "loss": 6.234325408935547, + "step": 71440 + }, + { + "epoch": 0.11845, + "grad_norm": 3.6883738040924072, + "learning_rate": 1.4422222222222223e-06, + "loss": 6.259643173217773, + "step": 71445 + }, + { + "epoch": 0.1185, + "grad_norm": 6.604689598083496, + "learning_rate": 1.441969696969697e-06, + "loss": 6.2473602294921875, + "step": 71450 + }, + { + "epoch": 0.11855, + "grad_norm": 6.283584117889404, + "learning_rate": 1.4417171717171718e-06, + "loss": 6.25169792175293, + "step": 71455 + }, + { + "epoch": 0.1186, + "grad_norm": 6.663431644439697, + "learning_rate": 1.4414646464646464e-06, + "loss": 6.244150543212891, + "step": 71460 + }, + { + "epoch": 0.11865, + "grad_norm": 7.8146538734436035, + "learning_rate": 1.4412121212121213e-06, + "loss": 6.239147186279297, + "step": 71465 + }, + { + "epoch": 0.1187, + "grad_norm": 8.228196144104004, + "learning_rate": 1.440959595959596e-06, + "loss": 6.2452037811279295, + "step": 71470 + }, + { + "epoch": 0.11875, + "grad_norm": 5.554755687713623, + "learning_rate": 1.4407070707070708e-06, + "loss": 6.219847869873047, + "step": 71475 + }, + { + "epoch": 0.1188, + "grad_norm": 4.2726240158081055, + "learning_rate": 1.4404545454545454e-06, + "loss": 6.294058227539063, + "step": 71480 + }, + { + "epoch": 0.11885, + "grad_norm": 6.243851184844971, + "learning_rate": 1.4402020202020202e-06, + "loss": 6.276213073730469, + "step": 71485 + }, + { + "epoch": 0.1189, + "grad_norm": 13.441274642944336, + "learning_rate": 1.4399494949494949e-06, + "loss": 6.236750793457031, + "step": 71490 + }, + { + "epoch": 0.11895, + "grad_norm": 5.370758533477783, + "learning_rate": 1.43969696969697e-06, + "loss": 6.18463363647461, + "step": 71495 + }, + { + "epoch": 0.119, + "grad_norm": 6.423685073852539, + "learning_rate": 1.4394444444444448e-06, + "loss": 6.267454147338867, + "step": 71500 + }, + { + "epoch": 0.11905, + "grad_norm": 7.8532304763793945, + "learning_rate": 1.4391919191919194e-06, + "loss": 6.22725830078125, + "step": 71505 + }, + { + "epoch": 0.1191, + "grad_norm": 4.662537097930908, + "learning_rate": 1.4389393939393942e-06, + "loss": 6.2709697723388675, + "step": 71510 + }, + { + "epoch": 0.11915, + "grad_norm": 11.405319213867188, + "learning_rate": 1.4386868686868689e-06, + "loss": 6.257378005981446, + "step": 71515 + }, + { + "epoch": 0.1192, + "grad_norm": 4.9941840171813965, + "learning_rate": 1.4384343434343437e-06, + "loss": 6.242971801757813, + "step": 71520 + }, + { + "epoch": 0.11925, + "grad_norm": 6.947277545928955, + "learning_rate": 1.4381818181818183e-06, + "loss": 6.355160522460937, + "step": 71525 + }, + { + "epoch": 0.1193, + "grad_norm": 8.209263801574707, + "learning_rate": 1.4379292929292932e-06, + "loss": 6.184441375732422, + "step": 71530 + }, + { + "epoch": 0.11935, + "grad_norm": 12.91999626159668, + "learning_rate": 1.4376767676767678e-06, + "loss": 6.240282821655273, + "step": 71535 + }, + { + "epoch": 0.1194, + "grad_norm": 12.266441345214844, + "learning_rate": 1.4374242424242426e-06, + "loss": 6.297610473632813, + "step": 71540 + }, + { + "epoch": 0.11945, + "grad_norm": 4.840099334716797, + "learning_rate": 1.4371717171717173e-06, + "loss": 6.241071701049805, + "step": 71545 + }, + { + "epoch": 0.1195, + "grad_norm": 6.3402628898620605, + "learning_rate": 1.4369191919191921e-06, + "loss": 6.310507965087891, + "step": 71550 + }, + { + "epoch": 0.11955, + "grad_norm": 4.889016151428223, + "learning_rate": 1.4366666666666667e-06, + "loss": 6.2960365295410154, + "step": 71555 + }, + { + "epoch": 0.1196, + "grad_norm": 9.210515022277832, + "learning_rate": 1.4364141414141416e-06, + "loss": 6.256860733032227, + "step": 71560 + }, + { + "epoch": 0.11965, + "grad_norm": 8.864142417907715, + "learning_rate": 1.4361616161616162e-06, + "loss": 6.341326522827148, + "step": 71565 + }, + { + "epoch": 0.1197, + "grad_norm": 9.634050369262695, + "learning_rate": 1.435909090909091e-06, + "loss": 6.237086486816406, + "step": 71570 + }, + { + "epoch": 0.11975, + "grad_norm": 4.480681896209717, + "learning_rate": 1.4356565656565657e-06, + "loss": 6.218888854980468, + "step": 71575 + }, + { + "epoch": 0.1198, + "grad_norm": 4.425445556640625, + "learning_rate": 1.4354040404040405e-06, + "loss": 6.185700225830078, + "step": 71580 + }, + { + "epoch": 0.11985, + "grad_norm": 7.560326099395752, + "learning_rate": 1.4351515151515152e-06, + "loss": 6.272945785522461, + "step": 71585 + }, + { + "epoch": 0.1199, + "grad_norm": 4.585119724273682, + "learning_rate": 1.4348989898989902e-06, + "loss": 6.287757110595703, + "step": 71590 + }, + { + "epoch": 0.11995, + "grad_norm": 7.771923065185547, + "learning_rate": 1.4346464646464646e-06, + "loss": 6.308366394042968, + "step": 71595 + }, + { + "epoch": 0.12, + "grad_norm": 3.8172333240509033, + "learning_rate": 1.4343939393939397e-06, + "loss": 6.282509231567383, + "step": 71600 + }, + { + "epoch": 0.12005, + "grad_norm": 3.626612901687622, + "learning_rate": 1.4341414141414143e-06, + "loss": 6.318154144287109, + "step": 71605 + }, + { + "epoch": 0.1201, + "grad_norm": 5.258589267730713, + "learning_rate": 1.4338888888888892e-06, + "loss": 6.234099197387695, + "step": 71610 + }, + { + "epoch": 0.12015, + "grad_norm": 6.448572635650635, + "learning_rate": 1.4336363636363638e-06, + "loss": 6.229687118530274, + "step": 71615 + }, + { + "epoch": 0.1202, + "grad_norm": 5.872189998626709, + "learning_rate": 1.4333838383838386e-06, + "loss": 6.234915161132813, + "step": 71620 + }, + { + "epoch": 0.12025, + "grad_norm": 5.39528226852417, + "learning_rate": 1.4331313131313133e-06, + "loss": 6.238816452026367, + "step": 71625 + }, + { + "epoch": 0.1203, + "grad_norm": 7.770577907562256, + "learning_rate": 1.432878787878788e-06, + "loss": 6.185610580444336, + "step": 71630 + }, + { + "epoch": 0.12035, + "grad_norm": 6.648695468902588, + "learning_rate": 1.4326262626262627e-06, + "loss": 6.2485710144042965, + "step": 71635 + }, + { + "epoch": 0.1204, + "grad_norm": 3.9885382652282715, + "learning_rate": 1.4323737373737376e-06, + "loss": 6.185882186889648, + "step": 71640 + }, + { + "epoch": 0.12045, + "grad_norm": 7.999271869659424, + "learning_rate": 1.4321212121212122e-06, + "loss": 6.212902069091797, + "step": 71645 + }, + { + "epoch": 0.1205, + "grad_norm": 8.893942832946777, + "learning_rate": 1.431868686868687e-06, + "loss": 6.251136016845703, + "step": 71650 + }, + { + "epoch": 0.12055, + "grad_norm": 6.432363510131836, + "learning_rate": 1.4316161616161617e-06, + "loss": 6.241813278198242, + "step": 71655 + }, + { + "epoch": 0.1206, + "grad_norm": 10.815011024475098, + "learning_rate": 1.4313636363636365e-06, + "loss": 6.2720191955566404, + "step": 71660 + }, + { + "epoch": 0.12065, + "grad_norm": 7.441836833953857, + "learning_rate": 1.4311111111111111e-06, + "loss": 6.241923141479492, + "step": 71665 + }, + { + "epoch": 0.1207, + "grad_norm": 6.550032138824463, + "learning_rate": 1.430858585858586e-06, + "loss": 6.213164901733398, + "step": 71670 + }, + { + "epoch": 0.12075, + "grad_norm": 6.643069267272949, + "learning_rate": 1.4306060606060606e-06, + "loss": 6.420645141601563, + "step": 71675 + }, + { + "epoch": 0.1208, + "grad_norm": 9.30480670928955, + "learning_rate": 1.4303535353535355e-06, + "loss": 6.288536834716797, + "step": 71680 + }, + { + "epoch": 0.12085, + "grad_norm": 6.92040491104126, + "learning_rate": 1.43010101010101e-06, + "loss": 6.243875885009766, + "step": 71685 + }, + { + "epoch": 0.1209, + "grad_norm": 5.930427074432373, + "learning_rate": 1.429848484848485e-06, + "loss": 6.455677795410156, + "step": 71690 + }, + { + "epoch": 0.12095, + "grad_norm": 4.108961582183838, + "learning_rate": 1.4295959595959596e-06, + "loss": 6.2149810791015625, + "step": 71695 + }, + { + "epoch": 0.121, + "grad_norm": 8.15344524383545, + "learning_rate": 1.4293434343434346e-06, + "loss": 6.306789779663086, + "step": 71700 + }, + { + "epoch": 0.12105, + "grad_norm": 5.950042724609375, + "learning_rate": 1.429090909090909e-06, + "loss": 6.246378326416016, + "step": 71705 + }, + { + "epoch": 0.1211, + "grad_norm": 5.294959545135498, + "learning_rate": 1.428838383838384e-06, + "loss": 6.336148834228515, + "step": 71710 + }, + { + "epoch": 0.12115, + "grad_norm": 7.722880840301514, + "learning_rate": 1.4285858585858587e-06, + "loss": 6.262268829345703, + "step": 71715 + }, + { + "epoch": 0.1212, + "grad_norm": 9.48990249633789, + "learning_rate": 1.4283333333333336e-06, + "loss": 6.415673828125, + "step": 71720 + }, + { + "epoch": 0.12125, + "grad_norm": 7.858924388885498, + "learning_rate": 1.4280808080808082e-06, + "loss": 6.241584396362304, + "step": 71725 + }, + { + "epoch": 0.1213, + "grad_norm": 18.259157180786133, + "learning_rate": 1.427828282828283e-06, + "loss": 6.465480041503906, + "step": 71730 + }, + { + "epoch": 0.12135, + "grad_norm": 5.568859100341797, + "learning_rate": 1.4275757575757577e-06, + "loss": 6.239472579956055, + "step": 71735 + }, + { + "epoch": 0.1214, + "grad_norm": 4.406759262084961, + "learning_rate": 1.4273232323232325e-06, + "loss": 6.19481201171875, + "step": 71740 + }, + { + "epoch": 0.12145, + "grad_norm": 4.438705921173096, + "learning_rate": 1.4270707070707071e-06, + "loss": 6.228238677978515, + "step": 71745 + }, + { + "epoch": 0.1215, + "grad_norm": 4.7827253341674805, + "learning_rate": 1.426818181818182e-06, + "loss": 6.249240112304688, + "step": 71750 + }, + { + "epoch": 0.12155, + "grad_norm": 4.186526775360107, + "learning_rate": 1.4265656565656566e-06, + "loss": 6.224688720703125, + "step": 71755 + }, + { + "epoch": 0.1216, + "grad_norm": 3.9088683128356934, + "learning_rate": 1.4263131313131315e-06, + "loss": 6.2279609680175785, + "step": 71760 + }, + { + "epoch": 0.12165, + "grad_norm": 4.037386894226074, + "learning_rate": 1.426060606060606e-06, + "loss": 6.276984786987304, + "step": 71765 + }, + { + "epoch": 0.1217, + "grad_norm": 6.331262588500977, + "learning_rate": 1.425808080808081e-06, + "loss": 6.231372833251953, + "step": 71770 + }, + { + "epoch": 0.12175, + "grad_norm": 5.777124404907227, + "learning_rate": 1.4255555555555556e-06, + "loss": 6.275795364379883, + "step": 71775 + }, + { + "epoch": 0.1218, + "grad_norm": 7.851014137268066, + "learning_rate": 1.4253030303030304e-06, + "loss": 6.260978698730469, + "step": 71780 + }, + { + "epoch": 0.12185, + "grad_norm": 5.365261077880859, + "learning_rate": 1.425050505050505e-06, + "loss": 6.336936187744141, + "step": 71785 + }, + { + "epoch": 0.1219, + "grad_norm": 7.13517951965332, + "learning_rate": 1.4247979797979799e-06, + "loss": 6.244535064697265, + "step": 71790 + }, + { + "epoch": 0.12195, + "grad_norm": 21.6882381439209, + "learning_rate": 1.4245454545454545e-06, + "loss": 6.267034912109375, + "step": 71795 + }, + { + "epoch": 0.122, + "grad_norm": 7.338829040527344, + "learning_rate": 1.4242929292929296e-06, + "loss": 6.199608612060547, + "step": 71800 + }, + { + "epoch": 0.12205, + "grad_norm": 5.843225955963135, + "learning_rate": 1.424040404040404e-06, + "loss": 6.245959854125976, + "step": 71805 + }, + { + "epoch": 0.1221, + "grad_norm": 8.186197280883789, + "learning_rate": 1.423787878787879e-06, + "loss": 6.268339538574219, + "step": 71810 + }, + { + "epoch": 0.12215, + "grad_norm": 5.99219274520874, + "learning_rate": 1.4235353535353537e-06, + "loss": 6.229582595825195, + "step": 71815 + }, + { + "epoch": 0.1222, + "grad_norm": 6.359896659851074, + "learning_rate": 1.4232828282828285e-06, + "loss": 6.274512863159179, + "step": 71820 + }, + { + "epoch": 0.12225, + "grad_norm": 5.278909206390381, + "learning_rate": 1.4230303030303031e-06, + "loss": 6.249585723876953, + "step": 71825 + }, + { + "epoch": 0.1223, + "grad_norm": 6.480034828186035, + "learning_rate": 1.422777777777778e-06, + "loss": 6.246062850952148, + "step": 71830 + }, + { + "epoch": 0.12235, + "grad_norm": 5.373158931732178, + "learning_rate": 1.4225252525252526e-06, + "loss": 6.236580657958984, + "step": 71835 + }, + { + "epoch": 0.1224, + "grad_norm": 26.370162963867188, + "learning_rate": 1.4222727272727274e-06, + "loss": 6.921978759765625, + "step": 71840 + }, + { + "epoch": 0.12245, + "grad_norm": 15.679486274719238, + "learning_rate": 1.422020202020202e-06, + "loss": 6.238547515869141, + "step": 71845 + }, + { + "epoch": 0.1225, + "grad_norm": 5.1182942390441895, + "learning_rate": 1.421767676767677e-06, + "loss": 6.270463562011718, + "step": 71850 + }, + { + "epoch": 0.12255, + "grad_norm": 6.9262003898620605, + "learning_rate": 1.4215151515151515e-06, + "loss": 6.198942565917969, + "step": 71855 + }, + { + "epoch": 0.1226, + "grad_norm": 29.73260498046875, + "learning_rate": 1.4212626262626264e-06, + "loss": 6.40916748046875, + "step": 71860 + }, + { + "epoch": 0.12265, + "grad_norm": 4.349701881408691, + "learning_rate": 1.421010101010101e-06, + "loss": 6.421334838867187, + "step": 71865 + }, + { + "epoch": 0.1227, + "grad_norm": 10.244588851928711, + "learning_rate": 1.4207575757575759e-06, + "loss": 6.248141098022461, + "step": 71870 + }, + { + "epoch": 0.12275, + "grad_norm": 4.586117267608643, + "learning_rate": 1.4205050505050505e-06, + "loss": 6.294564437866211, + "step": 71875 + }, + { + "epoch": 0.1228, + "grad_norm": 18.98235321044922, + "learning_rate": 1.4202525252525253e-06, + "loss": 6.349617004394531, + "step": 71880 + }, + { + "epoch": 0.12285, + "grad_norm": 11.611150741577148, + "learning_rate": 1.42e-06, + "loss": 6.464691162109375, + "step": 71885 + }, + { + "epoch": 0.1229, + "grad_norm": 6.093522548675537, + "learning_rate": 1.4197474747474748e-06, + "loss": 6.257992935180664, + "step": 71890 + }, + { + "epoch": 0.12295, + "grad_norm": 3.9871013164520264, + "learning_rate": 1.4194949494949494e-06, + "loss": 6.249969863891602, + "step": 71895 + }, + { + "epoch": 0.123, + "grad_norm": 5.888080596923828, + "learning_rate": 1.4192424242424243e-06, + "loss": 6.215484619140625, + "step": 71900 + }, + { + "epoch": 0.12305, + "grad_norm": 7.12352180480957, + "learning_rate": 1.418989898989899e-06, + "loss": 6.226937866210937, + "step": 71905 + }, + { + "epoch": 0.1231, + "grad_norm": 5.5171732902526855, + "learning_rate": 1.418737373737374e-06, + "loss": 6.271125793457031, + "step": 71910 + }, + { + "epoch": 0.12315, + "grad_norm": 6.6646857261657715, + "learning_rate": 1.4184848484848484e-06, + "loss": 6.31456298828125, + "step": 71915 + }, + { + "epoch": 0.1232, + "grad_norm": 3.6664698123931885, + "learning_rate": 1.4182323232323234e-06, + "loss": 6.264922332763672, + "step": 71920 + }, + { + "epoch": 0.12325, + "grad_norm": 5.391177177429199, + "learning_rate": 1.4179797979797983e-06, + "loss": 6.2572998046875, + "step": 71925 + }, + { + "epoch": 0.1233, + "grad_norm": 5.691713333129883, + "learning_rate": 1.417727272727273e-06, + "loss": 6.282867050170898, + "step": 71930 + }, + { + "epoch": 0.12335, + "grad_norm": 6.288618564605713, + "learning_rate": 1.4174747474747477e-06, + "loss": 6.258311462402344, + "step": 71935 + }, + { + "epoch": 0.1234, + "grad_norm": 8.255109786987305, + "learning_rate": 1.4172222222222224e-06, + "loss": 6.266722106933594, + "step": 71940 + }, + { + "epoch": 0.12345, + "grad_norm": 5.730734825134277, + "learning_rate": 1.4169696969696972e-06, + "loss": 6.2532917022705075, + "step": 71945 + }, + { + "epoch": 0.1235, + "grad_norm": 5.736021041870117, + "learning_rate": 1.4167171717171718e-06, + "loss": 6.244854354858399, + "step": 71950 + }, + { + "epoch": 0.12355, + "grad_norm": 6.226949691772461, + "learning_rate": 1.4164646464646467e-06, + "loss": 6.192862319946289, + "step": 71955 + }, + { + "epoch": 0.1236, + "grad_norm": 12.296841621398926, + "learning_rate": 1.4162121212121213e-06, + "loss": 6.231365585327149, + "step": 71960 + }, + { + "epoch": 0.12365, + "grad_norm": 4.853231430053711, + "learning_rate": 1.4159595959595962e-06, + "loss": 6.208079147338867, + "step": 71965 + }, + { + "epoch": 0.1237, + "grad_norm": 3.827458620071411, + "learning_rate": 1.4157070707070708e-06, + "loss": 6.17347297668457, + "step": 71970 + }, + { + "epoch": 0.12375, + "grad_norm": 4.6262407302856445, + "learning_rate": 1.4154545454545456e-06, + "loss": 6.229492568969727, + "step": 71975 + }, + { + "epoch": 0.1238, + "grad_norm": 10.92652702331543, + "learning_rate": 1.4152020202020203e-06, + "loss": 6.339496994018555, + "step": 71980 + }, + { + "epoch": 0.12385, + "grad_norm": 4.707934379577637, + "learning_rate": 1.414949494949495e-06, + "loss": 6.2349090576171875, + "step": 71985 + }, + { + "epoch": 0.1239, + "grad_norm": 9.398394584655762, + "learning_rate": 1.4146969696969697e-06, + "loss": 6.231025695800781, + "step": 71990 + }, + { + "epoch": 0.12395, + "grad_norm": 6.140611171722412, + "learning_rate": 1.4144444444444446e-06, + "loss": 6.368376541137695, + "step": 71995 + }, + { + "epoch": 0.124, + "grad_norm": 4.217563629150391, + "learning_rate": 1.4141919191919192e-06, + "loss": 6.248024368286133, + "step": 72000 + }, + { + "epoch": 0.12405, + "grad_norm": 3.8126609325408936, + "learning_rate": 1.4139393939393943e-06, + "loss": 6.285043716430664, + "step": 72005 + }, + { + "epoch": 0.1241, + "grad_norm": 5.866466045379639, + "learning_rate": 1.4136868686868687e-06, + "loss": 6.2802375793457035, + "step": 72010 + }, + { + "epoch": 0.12415, + "grad_norm": 5.2998223304748535, + "learning_rate": 1.4134343434343437e-06, + "loss": 6.43383560180664, + "step": 72015 + }, + { + "epoch": 0.1242, + "grad_norm": 4.858412265777588, + "learning_rate": 1.4131818181818184e-06, + "loss": 6.265129089355469, + "step": 72020 + }, + { + "epoch": 0.12425, + "grad_norm": 9.119839668273926, + "learning_rate": 1.4129292929292932e-06, + "loss": 6.255317687988281, + "step": 72025 + }, + { + "epoch": 0.1243, + "grad_norm": 36.799049377441406, + "learning_rate": 1.4126767676767678e-06, + "loss": 6.411750030517578, + "step": 72030 + }, + { + "epoch": 0.12435, + "grad_norm": 6.8954548835754395, + "learning_rate": 1.4124242424242427e-06, + "loss": 6.221443939208984, + "step": 72035 + }, + { + "epoch": 0.1244, + "grad_norm": 6.533575057983398, + "learning_rate": 1.4121717171717173e-06, + "loss": 6.19360122680664, + "step": 72040 + }, + { + "epoch": 0.12445, + "grad_norm": 7.317163944244385, + "learning_rate": 1.4119191919191921e-06, + "loss": 6.274861907958984, + "step": 72045 + }, + { + "epoch": 0.1245, + "grad_norm": 11.244245529174805, + "learning_rate": 1.4116666666666668e-06, + "loss": 6.237692260742188, + "step": 72050 + }, + { + "epoch": 0.12455, + "grad_norm": 3.197624444961548, + "learning_rate": 1.4114141414141416e-06, + "loss": 6.270331573486328, + "step": 72055 + }, + { + "epoch": 0.1246, + "grad_norm": 4.1028852462768555, + "learning_rate": 1.4111616161616162e-06, + "loss": 6.220381546020508, + "step": 72060 + }, + { + "epoch": 0.12465, + "grad_norm": 6.338580131530762, + "learning_rate": 1.410909090909091e-06, + "loss": 6.225308227539062, + "step": 72065 + }, + { + "epoch": 0.1247, + "grad_norm": 30.337923049926758, + "learning_rate": 1.4106565656565657e-06, + "loss": 6.311801147460938, + "step": 72070 + }, + { + "epoch": 0.12475, + "grad_norm": 11.155892372131348, + "learning_rate": 1.4104040404040406e-06, + "loss": 6.405140686035156, + "step": 72075 + }, + { + "epoch": 0.1248, + "grad_norm": 7.488796234130859, + "learning_rate": 1.4101515151515152e-06, + "loss": 6.224909973144531, + "step": 72080 + }, + { + "epoch": 0.12485, + "grad_norm": 3.2704975605010986, + "learning_rate": 1.40989898989899e-06, + "loss": 6.21942367553711, + "step": 72085 + }, + { + "epoch": 0.1249, + "grad_norm": 20.555065155029297, + "learning_rate": 1.4096464646464647e-06, + "loss": 6.187798309326172, + "step": 72090 + }, + { + "epoch": 0.12495, + "grad_norm": 6.089480400085449, + "learning_rate": 1.4093939393939395e-06, + "loss": 6.119944000244141, + "step": 72095 + }, + { + "epoch": 0.125, + "grad_norm": 5.306990623474121, + "learning_rate": 1.4091414141414141e-06, + "loss": 6.237059783935547, + "step": 72100 + }, + { + "epoch": 0.12505, + "grad_norm": 10.853933334350586, + "learning_rate": 1.4088888888888892e-06, + "loss": 6.420098876953125, + "step": 72105 + }, + { + "epoch": 0.1251, + "grad_norm": 3.9129140377044678, + "learning_rate": 1.4086363636363636e-06, + "loss": 6.258989715576172, + "step": 72110 + }, + { + "epoch": 0.12515, + "grad_norm": 5.526532173156738, + "learning_rate": 1.4083838383838387e-06, + "loss": 6.178235244750977, + "step": 72115 + }, + { + "epoch": 0.1252, + "grad_norm": 4.4771623611450195, + "learning_rate": 1.408131313131313e-06, + "loss": 6.215015029907226, + "step": 72120 + }, + { + "epoch": 0.12525, + "grad_norm": 3.578934907913208, + "learning_rate": 1.4078787878787881e-06, + "loss": 6.223296356201172, + "step": 72125 + }, + { + "epoch": 0.1253, + "grad_norm": 12.12261962890625, + "learning_rate": 1.4076262626262628e-06, + "loss": 6.2312877655029295, + "step": 72130 + }, + { + "epoch": 0.12535, + "grad_norm": 5.044617652893066, + "learning_rate": 1.4073737373737376e-06, + "loss": 6.237131500244141, + "step": 72135 + }, + { + "epoch": 0.1254, + "grad_norm": 5.204591274261475, + "learning_rate": 1.4071212121212122e-06, + "loss": 6.219819259643555, + "step": 72140 + }, + { + "epoch": 0.12545, + "grad_norm": 4.932890892028809, + "learning_rate": 1.406868686868687e-06, + "loss": 6.310665893554687, + "step": 72145 + }, + { + "epoch": 0.1255, + "grad_norm": 7.415680408477783, + "learning_rate": 1.4066161616161617e-06, + "loss": 6.277514266967773, + "step": 72150 + }, + { + "epoch": 0.12555, + "grad_norm": 24.326496124267578, + "learning_rate": 1.4063636363636365e-06, + "loss": 6.3669075012207035, + "step": 72155 + }, + { + "epoch": 0.1256, + "grad_norm": 7.035928249359131, + "learning_rate": 1.4061111111111112e-06, + "loss": 6.2217552185058596, + "step": 72160 + }, + { + "epoch": 0.12565, + "grad_norm": 6.705284595489502, + "learning_rate": 1.405858585858586e-06, + "loss": 6.266395568847656, + "step": 72165 + }, + { + "epoch": 0.1257, + "grad_norm": 6.855554580688477, + "learning_rate": 1.4056060606060606e-06, + "loss": 6.257292938232422, + "step": 72170 + }, + { + "epoch": 0.12575, + "grad_norm": 9.023209571838379, + "learning_rate": 1.4053535353535355e-06, + "loss": 6.2199546813964846, + "step": 72175 + }, + { + "epoch": 0.1258, + "grad_norm": 5.44822883605957, + "learning_rate": 1.4051010101010101e-06, + "loss": 6.250267410278321, + "step": 72180 + }, + { + "epoch": 0.12585, + "grad_norm": 8.598494529724121, + "learning_rate": 1.404848484848485e-06, + "loss": 6.234655380249023, + "step": 72185 + }, + { + "epoch": 0.1259, + "grad_norm": 3.4351987838745117, + "learning_rate": 1.4045959595959596e-06, + "loss": 6.2310539245605465, + "step": 72190 + }, + { + "epoch": 0.12595, + "grad_norm": 5.722133636474609, + "learning_rate": 1.4043434343434344e-06, + "loss": 6.253060913085937, + "step": 72195 + }, + { + "epoch": 0.126, + "grad_norm": 6.864473819732666, + "learning_rate": 1.404090909090909e-06, + "loss": 6.248149871826172, + "step": 72200 + }, + { + "epoch": 0.12605, + "grad_norm": 10.702364921569824, + "learning_rate": 1.403838383838384e-06, + "loss": 6.255168914794922, + "step": 72205 + }, + { + "epoch": 0.1261, + "grad_norm": 5.489292144775391, + "learning_rate": 1.4035858585858585e-06, + "loss": 6.210247039794922, + "step": 72210 + }, + { + "epoch": 0.12615, + "grad_norm": 10.728789329528809, + "learning_rate": 1.4033333333333336e-06, + "loss": 6.244375991821289, + "step": 72215 + }, + { + "epoch": 0.1262, + "grad_norm": 6.850706100463867, + "learning_rate": 1.403080808080808e-06, + "loss": 6.215954208374024, + "step": 72220 + }, + { + "epoch": 0.12625, + "grad_norm": 7.330436706542969, + "learning_rate": 1.402828282828283e-06, + "loss": 6.238434600830078, + "step": 72225 + }, + { + "epoch": 0.1263, + "grad_norm": 4.053848743438721, + "learning_rate": 1.4025757575757577e-06, + "loss": 6.261651611328125, + "step": 72230 + }, + { + "epoch": 0.12635, + "grad_norm": 3.9731969833374023, + "learning_rate": 1.4023232323232325e-06, + "loss": 6.226219177246094, + "step": 72235 + }, + { + "epoch": 0.1264, + "grad_norm": 7.083467960357666, + "learning_rate": 1.4020707070707072e-06, + "loss": 6.2873176574707035, + "step": 72240 + }, + { + "epoch": 0.12645, + "grad_norm": 10.503536224365234, + "learning_rate": 1.401818181818182e-06, + "loss": 6.2407981872558596, + "step": 72245 + }, + { + "epoch": 0.1265, + "grad_norm": 8.793343544006348, + "learning_rate": 1.4015656565656566e-06, + "loss": 6.259902572631836, + "step": 72250 + }, + { + "epoch": 0.12655, + "grad_norm": 3.399928569793701, + "learning_rate": 1.4013131313131315e-06, + "loss": 6.2589881896972654, + "step": 72255 + }, + { + "epoch": 0.1266, + "grad_norm": 6.475004196166992, + "learning_rate": 1.4010606060606061e-06, + "loss": 6.258908081054687, + "step": 72260 + }, + { + "epoch": 0.12665, + "grad_norm": 5.519937515258789, + "learning_rate": 1.400808080808081e-06, + "loss": 6.2570854187011715, + "step": 72265 + }, + { + "epoch": 0.1267, + "grad_norm": 5.833618640899658, + "learning_rate": 1.4005555555555556e-06, + "loss": 6.251493453979492, + "step": 72270 + }, + { + "epoch": 0.12675, + "grad_norm": 5.362236976623535, + "learning_rate": 1.4003030303030304e-06, + "loss": 6.221570205688477, + "step": 72275 + }, + { + "epoch": 0.1268, + "grad_norm": 7.923679351806641, + "learning_rate": 1.400050505050505e-06, + "loss": 6.251823806762696, + "step": 72280 + }, + { + "epoch": 0.12685, + "grad_norm": 5.246730804443359, + "learning_rate": 1.39979797979798e-06, + "loss": 6.314226531982422, + "step": 72285 + }, + { + "epoch": 0.1269, + "grad_norm": 8.028165817260742, + "learning_rate": 1.3995454545454545e-06, + "loss": 6.320392608642578, + "step": 72290 + }, + { + "epoch": 0.12695, + "grad_norm": 5.170856952667236, + "learning_rate": 1.3992929292929294e-06, + "loss": 6.219726181030273, + "step": 72295 + }, + { + "epoch": 0.127, + "grad_norm": 22.987180709838867, + "learning_rate": 1.399040404040404e-06, + "loss": 6.125537490844726, + "step": 72300 + }, + { + "epoch": 0.12705, + "grad_norm": 5.122769832611084, + "learning_rate": 1.3987878787878788e-06, + "loss": 6.258256912231445, + "step": 72305 + }, + { + "epoch": 0.1271, + "grad_norm": 5.855654239654541, + "learning_rate": 1.3985353535353535e-06, + "loss": 6.2168231964111325, + "step": 72310 + }, + { + "epoch": 0.12715, + "grad_norm": 8.071866035461426, + "learning_rate": 1.3982828282828283e-06, + "loss": 6.3894775390625, + "step": 72315 + }, + { + "epoch": 0.1272, + "grad_norm": 8.481955528259277, + "learning_rate": 1.398030303030303e-06, + "loss": 6.0714881896972654, + "step": 72320 + }, + { + "epoch": 0.12725, + "grad_norm": 5.004131317138672, + "learning_rate": 1.397777777777778e-06, + "loss": 6.246303558349609, + "step": 72325 + }, + { + "epoch": 0.1273, + "grad_norm": 6.7849955558776855, + "learning_rate": 1.3975252525252524e-06, + "loss": 6.242625427246094, + "step": 72330 + }, + { + "epoch": 0.12735, + "grad_norm": 6.456030368804932, + "learning_rate": 1.3972727272727275e-06, + "loss": 6.2738494873046875, + "step": 72335 + }, + { + "epoch": 0.1274, + "grad_norm": 6.3647332191467285, + "learning_rate": 1.397020202020202e-06, + "loss": 6.243589782714844, + "step": 72340 + }, + { + "epoch": 0.12745, + "grad_norm": 5.3074846267700195, + "learning_rate": 1.396767676767677e-06, + "loss": 6.381671524047851, + "step": 72345 + }, + { + "epoch": 0.1275, + "grad_norm": 5.02237606048584, + "learning_rate": 1.3965151515151518e-06, + "loss": 6.2368114471435545, + "step": 72350 + }, + { + "epoch": 0.12755, + "grad_norm": 16.84322738647461, + "learning_rate": 1.3962626262626264e-06, + "loss": 6.266755676269531, + "step": 72355 + }, + { + "epoch": 0.1276, + "grad_norm": 6.845759868621826, + "learning_rate": 1.3960101010101013e-06, + "loss": 6.273494720458984, + "step": 72360 + }, + { + "epoch": 0.12765, + "grad_norm": 4.188724517822266, + "learning_rate": 1.3957575757575759e-06, + "loss": 6.210995483398437, + "step": 72365 + }, + { + "epoch": 0.1277, + "grad_norm": 6.261929035186768, + "learning_rate": 1.3955050505050507e-06, + "loss": 6.278929901123047, + "step": 72370 + }, + { + "epoch": 0.12775, + "grad_norm": 6.094764709472656, + "learning_rate": 1.3952525252525254e-06, + "loss": 6.225909805297851, + "step": 72375 + }, + { + "epoch": 0.1278, + "grad_norm": 6.5658745765686035, + "learning_rate": 1.3950000000000002e-06, + "loss": 6.232949066162109, + "step": 72380 + }, + { + "epoch": 0.12785, + "grad_norm": 5.110970497131348, + "learning_rate": 1.3947474747474748e-06, + "loss": 6.213413238525391, + "step": 72385 + }, + { + "epoch": 0.1279, + "grad_norm": 4.757972240447998, + "learning_rate": 1.3944949494949497e-06, + "loss": 6.2453155517578125, + "step": 72390 + }, + { + "epoch": 0.12795, + "grad_norm": 5.742959499359131, + "learning_rate": 1.3942424242424243e-06, + "loss": 6.235582733154297, + "step": 72395 + }, + { + "epoch": 0.128, + "grad_norm": 10.714353561401367, + "learning_rate": 1.3939898989898991e-06, + "loss": 6.282502746582031, + "step": 72400 + }, + { + "epoch": 0.12805, + "grad_norm": 6.665566444396973, + "learning_rate": 1.3937373737373738e-06, + "loss": 6.291911315917969, + "step": 72405 + }, + { + "epoch": 0.1281, + "grad_norm": 6.1664838790893555, + "learning_rate": 1.3934848484848486e-06, + "loss": 6.2572486877441404, + "step": 72410 + }, + { + "epoch": 0.12815, + "grad_norm": 5.6946940422058105, + "learning_rate": 1.3932323232323232e-06, + "loss": 6.306580352783203, + "step": 72415 + }, + { + "epoch": 0.1282, + "grad_norm": 14.182703018188477, + "learning_rate": 1.3929797979797983e-06, + "loss": 6.226580810546875, + "step": 72420 + }, + { + "epoch": 0.12825, + "grad_norm": 7.50028133392334, + "learning_rate": 1.3927272727272727e-06, + "loss": 6.236914825439453, + "step": 72425 + }, + { + "epoch": 0.1283, + "grad_norm": 6.661437034606934, + "learning_rate": 1.3924747474747478e-06, + "loss": 6.251095962524414, + "step": 72430 + }, + { + "epoch": 0.12835, + "grad_norm": 6.541402339935303, + "learning_rate": 1.3922222222222224e-06, + "loss": 6.249695205688477, + "step": 72435 + }, + { + "epoch": 0.1284, + "grad_norm": 6.236366271972656, + "learning_rate": 1.3919696969696972e-06, + "loss": 6.27355728149414, + "step": 72440 + }, + { + "epoch": 0.12845, + "grad_norm": 7.59915828704834, + "learning_rate": 1.3917171717171719e-06, + "loss": 6.2630363464355465, + "step": 72445 + }, + { + "epoch": 0.1285, + "grad_norm": 5.5180535316467285, + "learning_rate": 1.3914646464646467e-06, + "loss": 6.376476287841797, + "step": 72450 + }, + { + "epoch": 0.12855, + "grad_norm": 9.418651580810547, + "learning_rate": 1.3912121212121213e-06, + "loss": 6.540553283691406, + "step": 72455 + }, + { + "epoch": 0.1286, + "grad_norm": 4.526059627532959, + "learning_rate": 1.3909595959595962e-06, + "loss": 6.23864631652832, + "step": 72460 + }, + { + "epoch": 0.12865, + "grad_norm": 5.205795764923096, + "learning_rate": 1.3907070707070708e-06, + "loss": 6.24950065612793, + "step": 72465 + }, + { + "epoch": 0.1287, + "grad_norm": 8.2130126953125, + "learning_rate": 1.3904545454545457e-06, + "loss": 6.2514801025390625, + "step": 72470 + }, + { + "epoch": 0.12875, + "grad_norm": 4.840183734893799, + "learning_rate": 1.3902020202020203e-06, + "loss": 6.209715270996094, + "step": 72475 + }, + { + "epoch": 0.1288, + "grad_norm": 9.862961769104004, + "learning_rate": 1.3899494949494951e-06, + "loss": 6.24706916809082, + "step": 72480 + }, + { + "epoch": 0.12885, + "grad_norm": 6.986170768737793, + "learning_rate": 1.3896969696969698e-06, + "loss": 6.25708236694336, + "step": 72485 + }, + { + "epoch": 0.1289, + "grad_norm": 8.381758689880371, + "learning_rate": 1.3894444444444446e-06, + "loss": 6.185386657714844, + "step": 72490 + }, + { + "epoch": 0.12895, + "grad_norm": 15.985708236694336, + "learning_rate": 1.3891919191919192e-06, + "loss": 6.333415985107422, + "step": 72495 + }, + { + "epoch": 0.129, + "grad_norm": 10.815374374389648, + "learning_rate": 1.388939393939394e-06, + "loss": 6.410923767089844, + "step": 72500 + }, + { + "epoch": 0.12905, + "grad_norm": 8.081852912902832, + "learning_rate": 1.3886868686868687e-06, + "loss": 6.258322143554688, + "step": 72505 + }, + { + "epoch": 0.1291, + "grad_norm": 8.83304214477539, + "learning_rate": 1.3884343434343435e-06, + "loss": 6.296475982666015, + "step": 72510 + }, + { + "epoch": 0.12915, + "grad_norm": 6.673840045928955, + "learning_rate": 1.3881818181818182e-06, + "loss": 6.286724090576172, + "step": 72515 + }, + { + "epoch": 0.1292, + "grad_norm": 7.893888473510742, + "learning_rate": 1.3879292929292932e-06, + "loss": 6.265949249267578, + "step": 72520 + }, + { + "epoch": 0.12925, + "grad_norm": 6.000682353973389, + "learning_rate": 1.3876767676767676e-06, + "loss": 6.235721588134766, + "step": 72525 + }, + { + "epoch": 0.1293, + "grad_norm": 10.931361198425293, + "learning_rate": 1.3874242424242427e-06, + "loss": 6.259165191650391, + "step": 72530 + }, + { + "epoch": 0.12935, + "grad_norm": 6.72264289855957, + "learning_rate": 1.3871717171717173e-06, + "loss": 6.227452087402344, + "step": 72535 + }, + { + "epoch": 0.1294, + "grad_norm": 13.313909530639648, + "learning_rate": 1.3869191919191922e-06, + "loss": 6.259217071533203, + "step": 72540 + }, + { + "epoch": 0.12945, + "grad_norm": 3.630506753921509, + "learning_rate": 1.3866666666666668e-06, + "loss": 6.263875579833984, + "step": 72545 + }, + { + "epoch": 0.1295, + "grad_norm": 5.036264896392822, + "learning_rate": 1.3864141414141416e-06, + "loss": 6.206753921508789, + "step": 72550 + }, + { + "epoch": 0.12955, + "grad_norm": 8.125991821289062, + "learning_rate": 1.3861616161616163e-06, + "loss": 6.246722793579101, + "step": 72555 + }, + { + "epoch": 0.1296, + "grad_norm": 6.688732624053955, + "learning_rate": 1.3859090909090911e-06, + "loss": 6.28233528137207, + "step": 72560 + }, + { + "epoch": 0.12965, + "grad_norm": 51.457664489746094, + "learning_rate": 1.3856565656565657e-06, + "loss": 6.065206909179688, + "step": 72565 + }, + { + "epoch": 0.1297, + "grad_norm": 9.461919784545898, + "learning_rate": 1.3854040404040406e-06, + "loss": 6.1694896697998045, + "step": 72570 + }, + { + "epoch": 0.12975, + "grad_norm": 5.528608322143555, + "learning_rate": 1.3851515151515152e-06, + "loss": 6.210044097900391, + "step": 72575 + }, + { + "epoch": 0.1298, + "grad_norm": 4.704505920410156, + "learning_rate": 1.38489898989899e-06, + "loss": 6.3333690643310545, + "step": 72580 + }, + { + "epoch": 0.12985, + "grad_norm": 7.546390533447266, + "learning_rate": 1.3846464646464647e-06, + "loss": 6.295734024047851, + "step": 72585 + }, + { + "epoch": 0.1299, + "grad_norm": 7.683620452880859, + "learning_rate": 1.3843939393939395e-06, + "loss": 6.227569580078125, + "step": 72590 + }, + { + "epoch": 0.12995, + "grad_norm": 4.8859405517578125, + "learning_rate": 1.3841414141414142e-06, + "loss": 6.239406967163086, + "step": 72595 + }, + { + "epoch": 0.13, + "grad_norm": 5.372814655303955, + "learning_rate": 1.383888888888889e-06, + "loss": 6.2107086181640625, + "step": 72600 + }, + { + "epoch": 0.13005, + "grad_norm": 15.786569595336914, + "learning_rate": 1.3836363636363636e-06, + "loss": 6.3422698974609375, + "step": 72605 + }, + { + "epoch": 0.1301, + "grad_norm": 9.528112411499023, + "learning_rate": 1.3833838383838385e-06, + "loss": 6.246278381347656, + "step": 72610 + }, + { + "epoch": 0.13015, + "grad_norm": 7.70271635055542, + "learning_rate": 1.383131313131313e-06, + "loss": 6.20422248840332, + "step": 72615 + }, + { + "epoch": 0.1302, + "grad_norm": 5.875172138214111, + "learning_rate": 1.382878787878788e-06, + "loss": 6.237479400634766, + "step": 72620 + }, + { + "epoch": 0.13025, + "grad_norm": 5.771132946014404, + "learning_rate": 1.3826262626262626e-06, + "loss": 6.406166839599609, + "step": 72625 + }, + { + "epoch": 0.1303, + "grad_norm": 12.704976081848145, + "learning_rate": 1.3823737373737376e-06, + "loss": 6.307921600341797, + "step": 72630 + }, + { + "epoch": 0.13035, + "grad_norm": 7.132180213928223, + "learning_rate": 1.382121212121212e-06, + "loss": 6.251139068603516, + "step": 72635 + }, + { + "epoch": 0.1304, + "grad_norm": 6.395718097686768, + "learning_rate": 1.381868686868687e-06, + "loss": 6.2231090545654295, + "step": 72640 + }, + { + "epoch": 0.13045, + "grad_norm": 8.936473846435547, + "learning_rate": 1.3816161616161617e-06, + "loss": 6.260891723632812, + "step": 72645 + }, + { + "epoch": 0.1305, + "grad_norm": 8.47281551361084, + "learning_rate": 1.3813636363636366e-06, + "loss": 6.226327133178711, + "step": 72650 + }, + { + "epoch": 0.13055, + "grad_norm": 6.023569107055664, + "learning_rate": 1.3811111111111112e-06, + "loss": 6.269731521606445, + "step": 72655 + }, + { + "epoch": 0.1306, + "grad_norm": 3.470802068710327, + "learning_rate": 1.380858585858586e-06, + "loss": 6.2533203125, + "step": 72660 + }, + { + "epoch": 0.13065, + "grad_norm": 7.493227005004883, + "learning_rate": 1.3806060606060607e-06, + "loss": 6.248664474487304, + "step": 72665 + }, + { + "epoch": 0.1307, + "grad_norm": 5.8954644203186035, + "learning_rate": 1.3803535353535355e-06, + "loss": 6.234171676635742, + "step": 72670 + }, + { + "epoch": 0.13075, + "grad_norm": 5.330089569091797, + "learning_rate": 1.3801010101010101e-06, + "loss": 6.2779075622558596, + "step": 72675 + }, + { + "epoch": 0.1308, + "grad_norm": 10.058738708496094, + "learning_rate": 1.379848484848485e-06, + "loss": 6.22771110534668, + "step": 72680 + }, + { + "epoch": 0.13085, + "grad_norm": 9.101061820983887, + "learning_rate": 1.3795959595959596e-06, + "loss": 6.254739761352539, + "step": 72685 + }, + { + "epoch": 0.1309, + "grad_norm": 5.231633186340332, + "learning_rate": 1.3793434343434345e-06, + "loss": 6.2850791931152346, + "step": 72690 + }, + { + "epoch": 0.13095, + "grad_norm": 9.290593147277832, + "learning_rate": 1.379090909090909e-06, + "loss": 6.273253631591797, + "step": 72695 + }, + { + "epoch": 0.131, + "grad_norm": 4.7962446212768555, + "learning_rate": 1.378838383838384e-06, + "loss": 6.229969787597656, + "step": 72700 + }, + { + "epoch": 0.13105, + "grad_norm": 4.139087677001953, + "learning_rate": 1.3785858585858586e-06, + "loss": 6.22882308959961, + "step": 72705 + }, + { + "epoch": 0.1311, + "grad_norm": 6.12857723236084, + "learning_rate": 1.3783333333333334e-06, + "loss": 6.291384506225586, + "step": 72710 + }, + { + "epoch": 0.13115, + "grad_norm": 4.479878902435303, + "learning_rate": 1.378080808080808e-06, + "loss": 6.226400375366211, + "step": 72715 + }, + { + "epoch": 0.1312, + "grad_norm": 6.684912204742432, + "learning_rate": 1.3778282828282829e-06, + "loss": 6.275428771972656, + "step": 72720 + }, + { + "epoch": 0.13125, + "grad_norm": 7.383899688720703, + "learning_rate": 1.3775757575757575e-06, + "loss": 6.2771247863769535, + "step": 72725 + }, + { + "epoch": 0.1313, + "grad_norm": 8.74825668334961, + "learning_rate": 1.3773232323232324e-06, + "loss": 6.217302703857422, + "step": 72730 + }, + { + "epoch": 0.13135, + "grad_norm": 6.341443061828613, + "learning_rate": 1.377070707070707e-06, + "loss": 6.269826889038086, + "step": 72735 + }, + { + "epoch": 0.1314, + "grad_norm": 5.203768730163574, + "learning_rate": 1.376818181818182e-06, + "loss": 6.212256622314453, + "step": 72740 + }, + { + "epoch": 0.13145, + "grad_norm": 7.050826549530029, + "learning_rate": 1.3765656565656565e-06, + "loss": 6.256029510498047, + "step": 72745 + }, + { + "epoch": 0.1315, + "grad_norm": 5.185737609863281, + "learning_rate": 1.3763131313131315e-06, + "loss": 6.249605560302735, + "step": 72750 + }, + { + "epoch": 0.13155, + "grad_norm": 4.140324592590332, + "learning_rate": 1.3760606060606061e-06, + "loss": 6.23271484375, + "step": 72755 + }, + { + "epoch": 0.1316, + "grad_norm": 7.317927837371826, + "learning_rate": 1.375808080808081e-06, + "loss": 6.207856369018555, + "step": 72760 + }, + { + "epoch": 0.13165, + "grad_norm": 7.565467357635498, + "learning_rate": 1.3755555555555556e-06, + "loss": 6.2340232849121096, + "step": 72765 + }, + { + "epoch": 0.1317, + "grad_norm": 10.388609886169434, + "learning_rate": 1.3753030303030305e-06, + "loss": 6.545552825927734, + "step": 72770 + }, + { + "epoch": 0.13175, + "grad_norm": 5.506117820739746, + "learning_rate": 1.375050505050505e-06, + "loss": 6.2742431640625, + "step": 72775 + }, + { + "epoch": 0.1318, + "grad_norm": 3.480760097503662, + "learning_rate": 1.37479797979798e-06, + "loss": 6.261568450927735, + "step": 72780 + }, + { + "epoch": 0.13185, + "grad_norm": 4.11122465133667, + "learning_rate": 1.3745454545454548e-06, + "loss": 6.253939437866211, + "step": 72785 + }, + { + "epoch": 0.1319, + "grad_norm": 7.283763408660889, + "learning_rate": 1.3742929292929294e-06, + "loss": 6.298431015014648, + "step": 72790 + }, + { + "epoch": 0.13195, + "grad_norm": 5.662075519561768, + "learning_rate": 1.3740404040404042e-06, + "loss": 6.24890022277832, + "step": 72795 + }, + { + "epoch": 0.132, + "grad_norm": 4.857743740081787, + "learning_rate": 1.3737878787878789e-06, + "loss": 6.233623886108399, + "step": 72800 + }, + { + "epoch": 0.13205, + "grad_norm": 4.271862506866455, + "learning_rate": 1.3735353535353537e-06, + "loss": 6.201395034790039, + "step": 72805 + }, + { + "epoch": 0.1321, + "grad_norm": 8.710576057434082, + "learning_rate": 1.3732828282828283e-06, + "loss": 6.271302795410156, + "step": 72810 + }, + { + "epoch": 0.13215, + "grad_norm": 9.012434005737305, + "learning_rate": 1.3730303030303032e-06, + "loss": 6.223396682739258, + "step": 72815 + }, + { + "epoch": 0.1322, + "grad_norm": 5.0282206535339355, + "learning_rate": 1.3727777777777778e-06, + "loss": 6.236809921264649, + "step": 72820 + }, + { + "epoch": 0.13225, + "grad_norm": 9.327211380004883, + "learning_rate": 1.3725252525252529e-06, + "loss": 6.219329452514648, + "step": 72825 + }, + { + "epoch": 0.1323, + "grad_norm": 6.08135461807251, + "learning_rate": 1.3722727272727273e-06, + "loss": 6.252198028564453, + "step": 72830 + }, + { + "epoch": 0.13235, + "grad_norm": 6.384705066680908, + "learning_rate": 1.3720202020202023e-06, + "loss": 6.2236991882324215, + "step": 72835 + }, + { + "epoch": 0.1324, + "grad_norm": 6.933772087097168, + "learning_rate": 1.3717676767676768e-06, + "loss": 6.262277603149414, + "step": 72840 + }, + { + "epoch": 0.13245, + "grad_norm": 35.953975677490234, + "learning_rate": 1.3715151515151518e-06, + "loss": 6.4270469665527346, + "step": 72845 + }, + { + "epoch": 0.1325, + "grad_norm": 4.956327438354492, + "learning_rate": 1.3712626262626264e-06, + "loss": 6.389732742309571, + "step": 72850 + }, + { + "epoch": 0.13255, + "grad_norm": 9.515737533569336, + "learning_rate": 1.3710101010101013e-06, + "loss": 6.217837524414063, + "step": 72855 + }, + { + "epoch": 0.1326, + "grad_norm": 4.65161657333374, + "learning_rate": 1.370757575757576e-06, + "loss": 6.294412994384766, + "step": 72860 + }, + { + "epoch": 0.13265, + "grad_norm": 7.4156646728515625, + "learning_rate": 1.3705050505050508e-06, + "loss": 6.230988693237305, + "step": 72865 + }, + { + "epoch": 0.1327, + "grad_norm": 5.166014194488525, + "learning_rate": 1.3702525252525254e-06, + "loss": 6.204397583007813, + "step": 72870 + }, + { + "epoch": 0.13275, + "grad_norm": 9.361371040344238, + "learning_rate": 1.3700000000000002e-06, + "loss": 6.2670635223388675, + "step": 72875 + }, + { + "epoch": 0.1328, + "grad_norm": 7.538749694824219, + "learning_rate": 1.3697474747474749e-06, + "loss": 6.29464111328125, + "step": 72880 + }, + { + "epoch": 0.13285, + "grad_norm": 5.463902950286865, + "learning_rate": 1.3694949494949497e-06, + "loss": 6.229369354248047, + "step": 72885 + }, + { + "epoch": 0.1329, + "grad_norm": 6.553383827209473, + "learning_rate": 1.3692424242424243e-06, + "loss": 6.2796882629394535, + "step": 72890 + }, + { + "epoch": 0.13295, + "grad_norm": 7.817630767822266, + "learning_rate": 1.3689898989898992e-06, + "loss": 6.275544738769531, + "step": 72895 + }, + { + "epoch": 0.133, + "grad_norm": 26.85154151916504, + "learning_rate": 1.3687373737373738e-06, + "loss": 6.331230163574219, + "step": 72900 + }, + { + "epoch": 0.13305, + "grad_norm": 8.225223541259766, + "learning_rate": 1.3684848484848486e-06, + "loss": 6.191698455810547, + "step": 72905 + }, + { + "epoch": 0.1331, + "grad_norm": 5.194640636444092, + "learning_rate": 1.3682323232323233e-06, + "loss": 6.240132522583008, + "step": 72910 + }, + { + "epoch": 0.13315, + "grad_norm": 4.686760902404785, + "learning_rate": 1.3679797979797981e-06, + "loss": 6.244041442871094, + "step": 72915 + }, + { + "epoch": 0.1332, + "grad_norm": 5.384839057922363, + "learning_rate": 1.3677272727272727e-06, + "loss": 6.250349807739258, + "step": 72920 + }, + { + "epoch": 0.13325, + "grad_norm": 9.061654090881348, + "learning_rate": 1.3674747474747476e-06, + "loss": 6.209395217895508, + "step": 72925 + }, + { + "epoch": 0.1333, + "grad_norm": 8.45060920715332, + "learning_rate": 1.3672222222222222e-06, + "loss": 6.246502685546875, + "step": 72930 + }, + { + "epoch": 0.13335, + "grad_norm": 5.823925018310547, + "learning_rate": 1.3669696969696973e-06, + "loss": 6.216043853759766, + "step": 72935 + }, + { + "epoch": 0.1334, + "grad_norm": 12.005875587463379, + "learning_rate": 1.3667171717171717e-06, + "loss": 5.941276550292969, + "step": 72940 + }, + { + "epoch": 0.13345, + "grad_norm": 8.181265830993652, + "learning_rate": 1.3664646464646467e-06, + "loss": 6.248302459716797, + "step": 72945 + }, + { + "epoch": 0.1335, + "grad_norm": 6.3638105392456055, + "learning_rate": 1.3662121212121214e-06, + "loss": 6.268737030029297, + "step": 72950 + }, + { + "epoch": 0.13355, + "grad_norm": 7.701712608337402, + "learning_rate": 1.3659595959595962e-06, + "loss": 6.219850540161133, + "step": 72955 + }, + { + "epoch": 0.1336, + "grad_norm": 4.749985218048096, + "learning_rate": 1.3657070707070708e-06, + "loss": 6.241619491577149, + "step": 72960 + }, + { + "epoch": 0.13365, + "grad_norm": 3.8939242362976074, + "learning_rate": 1.3654545454545457e-06, + "loss": 6.237386703491211, + "step": 72965 + }, + { + "epoch": 0.1337, + "grad_norm": 9.173443794250488, + "learning_rate": 1.3652020202020203e-06, + "loss": 6.26617660522461, + "step": 72970 + }, + { + "epoch": 0.13375, + "grad_norm": 5.842432975769043, + "learning_rate": 1.3649494949494952e-06, + "loss": 6.283150100708008, + "step": 72975 + }, + { + "epoch": 0.1338, + "grad_norm": 5.2501935958862305, + "learning_rate": 1.3646969696969698e-06, + "loss": 6.238656234741211, + "step": 72980 + }, + { + "epoch": 0.13385, + "grad_norm": 6.967891693115234, + "learning_rate": 1.3644444444444446e-06, + "loss": 6.179389190673828, + "step": 72985 + }, + { + "epoch": 0.1339, + "grad_norm": 4.3066277503967285, + "learning_rate": 1.3641919191919193e-06, + "loss": 6.260377502441406, + "step": 72990 + }, + { + "epoch": 0.13395, + "grad_norm": 5.237133026123047, + "learning_rate": 1.363939393939394e-06, + "loss": 6.387936019897461, + "step": 72995 + }, + { + "epoch": 0.134, + "grad_norm": 8.366695404052734, + "learning_rate": 1.3636868686868687e-06, + "loss": 6.223817443847656, + "step": 73000 + }, + { + "epoch": 0.13405, + "grad_norm": 7.382944107055664, + "learning_rate": 1.3634343434343436e-06, + "loss": 6.256778335571289, + "step": 73005 + }, + { + "epoch": 0.1341, + "grad_norm": 6.667216777801514, + "learning_rate": 1.3631818181818182e-06, + "loss": 6.333994674682617, + "step": 73010 + }, + { + "epoch": 0.13415, + "grad_norm": 6.298126697540283, + "learning_rate": 1.362929292929293e-06, + "loss": 6.2571868896484375, + "step": 73015 + }, + { + "epoch": 0.1342, + "grad_norm": 6.680832386016846, + "learning_rate": 1.3626767676767677e-06, + "loss": 6.358585357666016, + "step": 73020 + }, + { + "epoch": 0.13425, + "grad_norm": 9.931838035583496, + "learning_rate": 1.3624242424242425e-06, + "loss": 6.223495864868164, + "step": 73025 + }, + { + "epoch": 0.1343, + "grad_norm": 7.14206600189209, + "learning_rate": 1.3621717171717171e-06, + "loss": 6.333016967773437, + "step": 73030 + }, + { + "epoch": 0.13435, + "grad_norm": 8.270692825317383, + "learning_rate": 1.361919191919192e-06, + "loss": 6.230085754394532, + "step": 73035 + }, + { + "epoch": 0.1344, + "grad_norm": 6.4614787101745605, + "learning_rate": 1.3616666666666666e-06, + "loss": 6.266476058959961, + "step": 73040 + }, + { + "epoch": 0.13445, + "grad_norm": 9.27800464630127, + "learning_rate": 1.3614141414141417e-06, + "loss": 6.246361541748047, + "step": 73045 + }, + { + "epoch": 0.1345, + "grad_norm": 4.5928192138671875, + "learning_rate": 1.361161616161616e-06, + "loss": 6.20712890625, + "step": 73050 + }, + { + "epoch": 0.13455, + "grad_norm": 8.179418563842773, + "learning_rate": 1.3609090909090911e-06, + "loss": 6.270842742919922, + "step": 73055 + }, + { + "epoch": 0.1346, + "grad_norm": 5.08419132232666, + "learning_rate": 1.3606565656565658e-06, + "loss": 6.237959671020508, + "step": 73060 + }, + { + "epoch": 0.13465, + "grad_norm": 7.4774956703186035, + "learning_rate": 1.3604040404040406e-06, + "loss": 6.375712585449219, + "step": 73065 + }, + { + "epoch": 0.1347, + "grad_norm": 4.5160322189331055, + "learning_rate": 1.3601515151515152e-06, + "loss": 6.2828834533691404, + "step": 73070 + }, + { + "epoch": 0.13475, + "grad_norm": 7.862586498260498, + "learning_rate": 1.35989898989899e-06, + "loss": 6.253034591674805, + "step": 73075 + }, + { + "epoch": 0.1348, + "grad_norm": 4.30304479598999, + "learning_rate": 1.3596464646464647e-06, + "loss": 6.2132720947265625, + "step": 73080 + }, + { + "epoch": 0.13485, + "grad_norm": 6.612369060516357, + "learning_rate": 1.3593939393939396e-06, + "loss": 6.248345947265625, + "step": 73085 + }, + { + "epoch": 0.1349, + "grad_norm": 5.4304022789001465, + "learning_rate": 1.3591414141414142e-06, + "loss": 6.197782516479492, + "step": 73090 + }, + { + "epoch": 0.13495, + "grad_norm": 4.830604553222656, + "learning_rate": 1.358888888888889e-06, + "loss": 6.2087360382080075, + "step": 73095 + }, + { + "epoch": 0.135, + "grad_norm": 6.688281536102295, + "learning_rate": 1.3586363636363637e-06, + "loss": 6.266600036621094, + "step": 73100 + }, + { + "epoch": 0.13505, + "grad_norm": 8.854203224182129, + "learning_rate": 1.3583838383838385e-06, + "loss": 6.289669799804687, + "step": 73105 + }, + { + "epoch": 0.1351, + "grad_norm": 10.642318725585938, + "learning_rate": 1.3581313131313131e-06, + "loss": 6.1978302001953125, + "step": 73110 + }, + { + "epoch": 0.13515, + "grad_norm": 6.373115539550781, + "learning_rate": 1.357878787878788e-06, + "loss": 6.295624923706055, + "step": 73115 + }, + { + "epoch": 0.1352, + "grad_norm": 7.464424133300781, + "learning_rate": 1.3576262626262626e-06, + "loss": 6.2277679443359375, + "step": 73120 + }, + { + "epoch": 0.13525, + "grad_norm": 3.4082019329071045, + "learning_rate": 1.3573737373737374e-06, + "loss": 6.250430679321289, + "step": 73125 + }, + { + "epoch": 0.1353, + "grad_norm": 5.6862382888793945, + "learning_rate": 1.357121212121212e-06, + "loss": 6.235698318481445, + "step": 73130 + }, + { + "epoch": 0.13535, + "grad_norm": 6.83771276473999, + "learning_rate": 1.356868686868687e-06, + "loss": 6.2441150665283205, + "step": 73135 + }, + { + "epoch": 0.1354, + "grad_norm": 5.06077241897583, + "learning_rate": 1.3566161616161615e-06, + "loss": 6.423397064208984, + "step": 73140 + }, + { + "epoch": 0.13545, + "grad_norm": 3.357405424118042, + "learning_rate": 1.3563636363636364e-06, + "loss": 6.270118713378906, + "step": 73145 + }, + { + "epoch": 0.1355, + "grad_norm": 10.386279106140137, + "learning_rate": 1.356111111111111e-06, + "loss": 6.261636352539062, + "step": 73150 + }, + { + "epoch": 0.13555, + "grad_norm": 26.646148681640625, + "learning_rate": 1.355858585858586e-06, + "loss": 6.277619934082031, + "step": 73155 + }, + { + "epoch": 0.1356, + "grad_norm": 13.87376880645752, + "learning_rate": 1.3556060606060605e-06, + "loss": 6.344699859619141, + "step": 73160 + }, + { + "epoch": 0.13565, + "grad_norm": 8.655750274658203, + "learning_rate": 1.3553535353535355e-06, + "loss": 6.38487548828125, + "step": 73165 + }, + { + "epoch": 0.1357, + "grad_norm": 7.310064315795898, + "learning_rate": 1.3551010101010102e-06, + "loss": 6.3625740051269535, + "step": 73170 + }, + { + "epoch": 0.13575, + "grad_norm": 4.5229411125183105, + "learning_rate": 1.354848484848485e-06, + "loss": 6.384629821777343, + "step": 73175 + }, + { + "epoch": 0.1358, + "grad_norm": 22.610515594482422, + "learning_rate": 1.3545959595959596e-06, + "loss": 6.280409240722657, + "step": 73180 + }, + { + "epoch": 0.13585, + "grad_norm": 3.5349323749542236, + "learning_rate": 1.3543434343434345e-06, + "loss": 6.2950386047363285, + "step": 73185 + }, + { + "epoch": 0.1359, + "grad_norm": 5.151086807250977, + "learning_rate": 1.3540909090909091e-06, + "loss": 6.242147064208984, + "step": 73190 + }, + { + "epoch": 0.13595, + "grad_norm": 5.791029930114746, + "learning_rate": 1.353838383838384e-06, + "loss": 6.245421981811523, + "step": 73195 + }, + { + "epoch": 0.136, + "grad_norm": 4.607745170593262, + "learning_rate": 1.3535858585858586e-06, + "loss": 6.227019500732422, + "step": 73200 + }, + { + "epoch": 0.13605, + "grad_norm": 5.286259174346924, + "learning_rate": 1.3533333333333334e-06, + "loss": 6.205660247802735, + "step": 73205 + }, + { + "epoch": 0.1361, + "grad_norm": 21.317546844482422, + "learning_rate": 1.3530808080808083e-06, + "loss": 6.2813720703125, + "step": 73210 + }, + { + "epoch": 0.13615, + "grad_norm": 4.3780741691589355, + "learning_rate": 1.352828282828283e-06, + "loss": 6.248403167724609, + "step": 73215 + }, + { + "epoch": 0.1362, + "grad_norm": 6.0962724685668945, + "learning_rate": 1.3525757575757577e-06, + "loss": 6.345193099975586, + "step": 73220 + }, + { + "epoch": 0.13625, + "grad_norm": 5.974603652954102, + "learning_rate": 1.3523232323232324e-06, + "loss": 6.268743896484375, + "step": 73225 + }, + { + "epoch": 0.1363, + "grad_norm": 3.796064615249634, + "learning_rate": 1.3520707070707072e-06, + "loss": 6.240907287597656, + "step": 73230 + }, + { + "epoch": 0.13635, + "grad_norm": 7.526639461517334, + "learning_rate": 1.3518181818181819e-06, + "loss": 6.262704467773437, + "step": 73235 + }, + { + "epoch": 0.1364, + "grad_norm": 4.527552604675293, + "learning_rate": 1.351565656565657e-06, + "loss": 6.267513275146484, + "step": 73240 + }, + { + "epoch": 0.13645, + "grad_norm": 8.73568058013916, + "learning_rate": 1.3513131313131313e-06, + "loss": 6.266496276855468, + "step": 73245 + }, + { + "epoch": 0.1365, + "grad_norm": 7.444570541381836, + "learning_rate": 1.3510606060606064e-06, + "loss": 6.216794967651367, + "step": 73250 + }, + { + "epoch": 0.13655, + "grad_norm": 4.441771507263184, + "learning_rate": 1.350808080808081e-06, + "loss": 6.191824340820313, + "step": 73255 + }, + { + "epoch": 0.1366, + "grad_norm": 8.344087600708008, + "learning_rate": 1.3505555555555558e-06, + "loss": 6.231110000610352, + "step": 73260 + }, + { + "epoch": 0.13665, + "grad_norm": 6.372521877288818, + "learning_rate": 1.3503030303030305e-06, + "loss": 6.23822250366211, + "step": 73265 + }, + { + "epoch": 0.1367, + "grad_norm": 9.813756942749023, + "learning_rate": 1.3500505050505053e-06, + "loss": 6.271350860595703, + "step": 73270 + }, + { + "epoch": 0.13675, + "grad_norm": 6.108236789703369, + "learning_rate": 1.34979797979798e-06, + "loss": 6.277891159057617, + "step": 73275 + }, + { + "epoch": 0.1368, + "grad_norm": 35.1893424987793, + "learning_rate": 1.3495454545454548e-06, + "loss": 6.543667602539062, + "step": 73280 + }, + { + "epoch": 0.13685, + "grad_norm": 5.630121231079102, + "learning_rate": 1.3492929292929294e-06, + "loss": 6.28214111328125, + "step": 73285 + }, + { + "epoch": 0.1369, + "grad_norm": 6.299350738525391, + "learning_rate": 1.3490404040404043e-06, + "loss": 6.254913330078125, + "step": 73290 + }, + { + "epoch": 0.13695, + "grad_norm": 7.9402594566345215, + "learning_rate": 1.3487878787878789e-06, + "loss": 6.294940948486328, + "step": 73295 + }, + { + "epoch": 0.137, + "grad_norm": 8.553919792175293, + "learning_rate": 1.3485353535353537e-06, + "loss": 6.220746231079102, + "step": 73300 + }, + { + "epoch": 0.13705, + "grad_norm": 4.59849214553833, + "learning_rate": 1.3482828282828284e-06, + "loss": 6.212496185302735, + "step": 73305 + }, + { + "epoch": 0.1371, + "grad_norm": 4.942038059234619, + "learning_rate": 1.3480303030303032e-06, + "loss": 6.264511489868164, + "step": 73310 + }, + { + "epoch": 0.13715, + "grad_norm": 6.425468444824219, + "learning_rate": 1.3477777777777778e-06, + "loss": 6.246620559692383, + "step": 73315 + }, + { + "epoch": 0.1372, + "grad_norm": 3.790377140045166, + "learning_rate": 1.3475252525252527e-06, + "loss": 6.262419891357422, + "step": 73320 + }, + { + "epoch": 0.13725, + "grad_norm": 7.888794898986816, + "learning_rate": 1.3472727272727273e-06, + "loss": 6.237712097167969, + "step": 73325 + }, + { + "epoch": 0.1373, + "grad_norm": 4.971283912658691, + "learning_rate": 1.3470202020202022e-06, + "loss": 6.2602588653564455, + "step": 73330 + }, + { + "epoch": 0.13735, + "grad_norm": 5.420119762420654, + "learning_rate": 1.3467676767676768e-06, + "loss": 6.204121398925781, + "step": 73335 + }, + { + "epoch": 0.1374, + "grad_norm": 4.486352443695068, + "learning_rate": 1.3465151515151516e-06, + "loss": 6.201401138305664, + "step": 73340 + }, + { + "epoch": 0.13745, + "grad_norm": 69.30490112304688, + "learning_rate": 1.3462626262626263e-06, + "loss": 6.206978607177734, + "step": 73345 + }, + { + "epoch": 0.1375, + "grad_norm": 6.274879455566406, + "learning_rate": 1.3460101010101013e-06, + "loss": 6.244609451293945, + "step": 73350 + }, + { + "epoch": 0.13755, + "grad_norm": 7.753452777862549, + "learning_rate": 1.3457575757575757e-06, + "loss": 6.302691650390625, + "step": 73355 + }, + { + "epoch": 0.1376, + "grad_norm": 5.339166164398193, + "learning_rate": 1.3455050505050508e-06, + "loss": 6.274420166015625, + "step": 73360 + }, + { + "epoch": 0.13765, + "grad_norm": 5.253957271575928, + "learning_rate": 1.3452525252525254e-06, + "loss": 6.256266784667969, + "step": 73365 + }, + { + "epoch": 0.1377, + "grad_norm": 4.833682537078857, + "learning_rate": 1.3450000000000003e-06, + "loss": 6.266374588012695, + "step": 73370 + }, + { + "epoch": 0.13775, + "grad_norm": 3.7455716133117676, + "learning_rate": 1.3447474747474749e-06, + "loss": 6.216480255126953, + "step": 73375 + }, + { + "epoch": 0.1378, + "grad_norm": 5.7371087074279785, + "learning_rate": 1.3444949494949497e-06, + "loss": 6.1899982452392575, + "step": 73380 + }, + { + "epoch": 0.13785, + "grad_norm": 4.410851955413818, + "learning_rate": 1.3442424242424244e-06, + "loss": 6.249266052246094, + "step": 73385 + }, + { + "epoch": 0.1379, + "grad_norm": 6.361946105957031, + "learning_rate": 1.3439898989898992e-06, + "loss": 6.239887237548828, + "step": 73390 + }, + { + "epoch": 0.13795, + "grad_norm": 4.492264747619629, + "learning_rate": 1.3437373737373738e-06, + "loss": 6.288278579711914, + "step": 73395 + }, + { + "epoch": 0.138, + "grad_norm": 7.287191390991211, + "learning_rate": 1.3434848484848487e-06, + "loss": 6.279750823974609, + "step": 73400 + }, + { + "epoch": 0.13805, + "grad_norm": 4.9743781089782715, + "learning_rate": 1.3432323232323233e-06, + "loss": 6.257644271850586, + "step": 73405 + }, + { + "epoch": 0.1381, + "grad_norm": 7.8515543937683105, + "learning_rate": 1.3429797979797981e-06, + "loss": 6.199366760253906, + "step": 73410 + }, + { + "epoch": 0.13815, + "grad_norm": 4.441071033477783, + "learning_rate": 1.3427272727272728e-06, + "loss": 6.24821662902832, + "step": 73415 + }, + { + "epoch": 0.1382, + "grad_norm": 4.8543171882629395, + "learning_rate": 1.3424747474747476e-06, + "loss": 6.172284698486328, + "step": 73420 + }, + { + "epoch": 0.13825, + "grad_norm": 6.004489421844482, + "learning_rate": 1.3422222222222222e-06, + "loss": 6.274761962890625, + "step": 73425 + }, + { + "epoch": 0.1383, + "grad_norm": 5.118751049041748, + "learning_rate": 1.341969696969697e-06, + "loss": 6.255103302001953, + "step": 73430 + }, + { + "epoch": 0.13835, + "grad_norm": 5.31057071685791, + "learning_rate": 1.3417171717171717e-06, + "loss": 6.232338714599609, + "step": 73435 + }, + { + "epoch": 0.1384, + "grad_norm": 7.726137161254883, + "learning_rate": 1.3414646464646466e-06, + "loss": 6.227620697021484, + "step": 73440 + }, + { + "epoch": 0.13845, + "grad_norm": 4.280829429626465, + "learning_rate": 1.3412121212121212e-06, + "loss": 6.227680206298828, + "step": 73445 + }, + { + "epoch": 0.1385, + "grad_norm": 8.216300964355469, + "learning_rate": 1.340959595959596e-06, + "loss": 6.239097213745117, + "step": 73450 + }, + { + "epoch": 0.13855, + "grad_norm": 10.146086692810059, + "learning_rate": 1.3407070707070707e-06, + "loss": 6.173473358154297, + "step": 73455 + }, + { + "epoch": 0.1386, + "grad_norm": 8.489233016967773, + "learning_rate": 1.3404545454545457e-06, + "loss": 6.296357727050781, + "step": 73460 + }, + { + "epoch": 0.13865, + "grad_norm": 6.186124324798584, + "learning_rate": 1.3402020202020201e-06, + "loss": 6.292958068847656, + "step": 73465 + }, + { + "epoch": 0.1387, + "grad_norm": 23.340131759643555, + "learning_rate": 1.3399494949494952e-06, + "loss": 6.378070831298828, + "step": 73470 + }, + { + "epoch": 0.13875, + "grad_norm": 12.585243225097656, + "learning_rate": 1.3396969696969698e-06, + "loss": 6.450328063964844, + "step": 73475 + }, + { + "epoch": 0.1388, + "grad_norm": 6.686207294464111, + "learning_rate": 1.3394444444444447e-06, + "loss": 6.293222045898437, + "step": 73480 + }, + { + "epoch": 0.13885, + "grad_norm": 8.617496490478516, + "learning_rate": 1.3391919191919193e-06, + "loss": 6.284915161132813, + "step": 73485 + }, + { + "epoch": 0.1389, + "grad_norm": 3.9316906929016113, + "learning_rate": 1.3389393939393941e-06, + "loss": 6.323502731323242, + "step": 73490 + }, + { + "epoch": 0.13895, + "grad_norm": 8.19398307800293, + "learning_rate": 1.3386868686868688e-06, + "loss": 6.231022644042969, + "step": 73495 + }, + { + "epoch": 0.139, + "grad_norm": 11.954316139221191, + "learning_rate": 1.3384343434343436e-06, + "loss": 6.241648864746094, + "step": 73500 + }, + { + "epoch": 0.13905, + "grad_norm": 6.8280205726623535, + "learning_rate": 1.3381818181818182e-06, + "loss": 6.241720962524414, + "step": 73505 + }, + { + "epoch": 0.1391, + "grad_norm": 3.8131206035614014, + "learning_rate": 1.337929292929293e-06, + "loss": 6.228635787963867, + "step": 73510 + }, + { + "epoch": 0.13915, + "grad_norm": 9.422626495361328, + "learning_rate": 1.3376767676767677e-06, + "loss": 6.235861968994141, + "step": 73515 + }, + { + "epoch": 0.1392, + "grad_norm": 9.601048469543457, + "learning_rate": 1.3374242424242425e-06, + "loss": 6.206102752685547, + "step": 73520 + }, + { + "epoch": 0.13925, + "grad_norm": 5.662851333618164, + "learning_rate": 1.3371717171717172e-06, + "loss": 6.2627513885498045, + "step": 73525 + }, + { + "epoch": 0.1393, + "grad_norm": 4.675796985626221, + "learning_rate": 1.336919191919192e-06, + "loss": 6.243603515625, + "step": 73530 + }, + { + "epoch": 0.13935, + "grad_norm": 7.792404651641846, + "learning_rate": 1.3366666666666666e-06, + "loss": 6.231024169921875, + "step": 73535 + }, + { + "epoch": 0.1394, + "grad_norm": 7.13101863861084, + "learning_rate": 1.3364141414141415e-06, + "loss": 6.227274322509766, + "step": 73540 + }, + { + "epoch": 0.13945, + "grad_norm": 8.325708389282227, + "learning_rate": 1.3361616161616161e-06, + "loss": 6.199253082275391, + "step": 73545 + }, + { + "epoch": 0.1395, + "grad_norm": 22.67593765258789, + "learning_rate": 1.335909090909091e-06, + "loss": 6.2513469696044925, + "step": 73550 + }, + { + "epoch": 0.13955, + "grad_norm": 7.867340564727783, + "learning_rate": 1.3356565656565656e-06, + "loss": 6.271105194091797, + "step": 73555 + }, + { + "epoch": 0.1396, + "grad_norm": 6.703165054321289, + "learning_rate": 1.3354040404040404e-06, + "loss": 6.234305572509766, + "step": 73560 + }, + { + "epoch": 0.13965, + "grad_norm": 3.7976365089416504, + "learning_rate": 1.335151515151515e-06, + "loss": 6.260285949707031, + "step": 73565 + }, + { + "epoch": 0.1397, + "grad_norm": 5.37935733795166, + "learning_rate": 1.3348989898989901e-06, + "loss": 6.217185974121094, + "step": 73570 + }, + { + "epoch": 0.13975, + "grad_norm": 3.9553515911102295, + "learning_rate": 1.3346464646464645e-06, + "loss": 6.232958602905273, + "step": 73575 + }, + { + "epoch": 0.1398, + "grad_norm": 3.7671024799346924, + "learning_rate": 1.3343939393939396e-06, + "loss": 6.264215087890625, + "step": 73580 + }, + { + "epoch": 0.13985, + "grad_norm": 3.578019380569458, + "learning_rate": 1.3341414141414142e-06, + "loss": 6.218351745605469, + "step": 73585 + }, + { + "epoch": 0.1399, + "grad_norm": 8.56920337677002, + "learning_rate": 1.333888888888889e-06, + "loss": 6.291695022583008, + "step": 73590 + }, + { + "epoch": 0.13995, + "grad_norm": 2.995694398880005, + "learning_rate": 1.3336363636363637e-06, + "loss": 6.18297119140625, + "step": 73595 + }, + { + "epoch": 0.14, + "grad_norm": 14.819070816040039, + "learning_rate": 1.3333838383838385e-06, + "loss": 6.290894317626953, + "step": 73600 + }, + { + "epoch": 0.14005, + "grad_norm": 12.887091636657715, + "learning_rate": 1.3331313131313132e-06, + "loss": 6.425175476074219, + "step": 73605 + }, + { + "epoch": 0.1401, + "grad_norm": 8.207342147827148, + "learning_rate": 1.332878787878788e-06, + "loss": 6.219371795654297, + "step": 73610 + }, + { + "epoch": 0.14015, + "grad_norm": 6.039576530456543, + "learning_rate": 1.3326262626262626e-06, + "loss": 6.207020568847656, + "step": 73615 + }, + { + "epoch": 0.1402, + "grad_norm": 6.13785982131958, + "learning_rate": 1.3323737373737375e-06, + "loss": 6.252142333984375, + "step": 73620 + }, + { + "epoch": 0.14025, + "grad_norm": 34.80143356323242, + "learning_rate": 1.332121212121212e-06, + "loss": 6.586344909667969, + "step": 73625 + }, + { + "epoch": 0.1403, + "grad_norm": 23.786672592163086, + "learning_rate": 1.331868686868687e-06, + "loss": 6.559537506103515, + "step": 73630 + }, + { + "epoch": 0.14035, + "grad_norm": 16.94866180419922, + "learning_rate": 1.3316161616161618e-06, + "loss": 6.345255279541016, + "step": 73635 + }, + { + "epoch": 0.1404, + "grad_norm": 18.91353416442871, + "learning_rate": 1.3313636363636364e-06, + "loss": 6.342918014526367, + "step": 73640 + }, + { + "epoch": 0.14045, + "grad_norm": 25.381467819213867, + "learning_rate": 1.3311111111111113e-06, + "loss": 6.423371887207031, + "step": 73645 + }, + { + "epoch": 0.1405, + "grad_norm": 12.307013511657715, + "learning_rate": 1.3308585858585859e-06, + "loss": 6.344001007080078, + "step": 73650 + }, + { + "epoch": 0.14055, + "grad_norm": 8.266462326049805, + "learning_rate": 1.330606060606061e-06, + "loss": 6.2265678405761715, + "step": 73655 + }, + { + "epoch": 0.1406, + "grad_norm": 5.943678379058838, + "learning_rate": 1.3303535353535354e-06, + "loss": 6.250637817382812, + "step": 73660 + }, + { + "epoch": 0.14065, + "grad_norm": 7.901583671569824, + "learning_rate": 1.3301010101010104e-06, + "loss": 6.252055358886719, + "step": 73665 + }, + { + "epoch": 0.1407, + "grad_norm": 4.218603610992432, + "learning_rate": 1.329848484848485e-06, + "loss": 6.370100021362305, + "step": 73670 + }, + { + "epoch": 0.14075, + "grad_norm": 10.783609390258789, + "learning_rate": 1.3295959595959599e-06, + "loss": 6.224441146850586, + "step": 73675 + }, + { + "epoch": 0.1408, + "grad_norm": 6.30511474609375, + "learning_rate": 1.3293434343434345e-06, + "loss": 6.234968566894532, + "step": 73680 + }, + { + "epoch": 0.14085, + "grad_norm": 8.472932815551758, + "learning_rate": 1.3290909090909094e-06, + "loss": 6.224680709838867, + "step": 73685 + }, + { + "epoch": 0.1409, + "grad_norm": 7.523307800292969, + "learning_rate": 1.328838383838384e-06, + "loss": 6.235917663574218, + "step": 73690 + }, + { + "epoch": 0.14095, + "grad_norm": 8.326972007751465, + "learning_rate": 1.3285858585858588e-06, + "loss": 6.249770736694336, + "step": 73695 + }, + { + "epoch": 0.141, + "grad_norm": 7.83673095703125, + "learning_rate": 1.3283333333333335e-06, + "loss": 6.252391052246094, + "step": 73700 + }, + { + "epoch": 0.14105, + "grad_norm": 7.4674272537231445, + "learning_rate": 1.3280808080808083e-06, + "loss": 6.236809921264649, + "step": 73705 + }, + { + "epoch": 0.1411, + "grad_norm": 24.767810821533203, + "learning_rate": 1.327828282828283e-06, + "loss": 6.17261962890625, + "step": 73710 + }, + { + "epoch": 0.14115, + "grad_norm": 6.128482818603516, + "learning_rate": 1.3275757575757578e-06, + "loss": 6.22806396484375, + "step": 73715 + }, + { + "epoch": 0.1412, + "grad_norm": 4.962475776672363, + "learning_rate": 1.3273232323232324e-06, + "loss": 6.261818313598633, + "step": 73720 + }, + { + "epoch": 0.14125, + "grad_norm": 5.520827770233154, + "learning_rate": 1.3270707070707072e-06, + "loss": 6.228826904296875, + "step": 73725 + }, + { + "epoch": 0.1413, + "grad_norm": 10.732525825500488, + "learning_rate": 1.3268181818181819e-06, + "loss": 6.232879257202148, + "step": 73730 + }, + { + "epoch": 0.14135, + "grad_norm": 10.992622375488281, + "learning_rate": 1.3265656565656567e-06, + "loss": 6.324156951904297, + "step": 73735 + }, + { + "epoch": 0.1414, + "grad_norm": 7.495684623718262, + "learning_rate": 1.3263131313131313e-06, + "loss": 6.240663146972656, + "step": 73740 + }, + { + "epoch": 0.14145, + "grad_norm": 4.494860649108887, + "learning_rate": 1.3260606060606062e-06, + "loss": 6.303411865234375, + "step": 73745 + }, + { + "epoch": 0.1415, + "grad_norm": 23.42270851135254, + "learning_rate": 1.3258080808080808e-06, + "loss": 6.353924179077149, + "step": 73750 + }, + { + "epoch": 0.14155, + "grad_norm": 5.879036903381348, + "learning_rate": 1.3255555555555557e-06, + "loss": 6.26049575805664, + "step": 73755 + }, + { + "epoch": 0.1416, + "grad_norm": 4.420217990875244, + "learning_rate": 1.3253030303030303e-06, + "loss": 6.267494964599609, + "step": 73760 + }, + { + "epoch": 0.14165, + "grad_norm": 6.871709823608398, + "learning_rate": 1.3250505050505053e-06, + "loss": 6.239924621582031, + "step": 73765 + }, + { + "epoch": 0.1417, + "grad_norm": 4.9247965812683105, + "learning_rate": 1.3247979797979798e-06, + "loss": 6.213812255859375, + "step": 73770 + }, + { + "epoch": 0.14175, + "grad_norm": 7.739094257354736, + "learning_rate": 1.3245454545454548e-06, + "loss": 6.274115371704101, + "step": 73775 + }, + { + "epoch": 0.1418, + "grad_norm": 7.140951633453369, + "learning_rate": 1.3242929292929294e-06, + "loss": 6.233832550048828, + "step": 73780 + }, + { + "epoch": 0.14185, + "grad_norm": 9.079277992248535, + "learning_rate": 1.3240404040404043e-06, + "loss": 6.221986770629883, + "step": 73785 + }, + { + "epoch": 0.1419, + "grad_norm": 6.001097202301025, + "learning_rate": 1.323787878787879e-06, + "loss": 6.267258071899414, + "step": 73790 + }, + { + "epoch": 0.14195, + "grad_norm": 4.21389102935791, + "learning_rate": 1.3235353535353538e-06, + "loss": 6.415662384033203, + "step": 73795 + }, + { + "epoch": 0.142, + "grad_norm": 10.187236785888672, + "learning_rate": 1.3232828282828284e-06, + "loss": 6.337351989746094, + "step": 73800 + }, + { + "epoch": 0.14205, + "grad_norm": 31.104305267333984, + "learning_rate": 1.3230303030303032e-06, + "loss": 6.249983596801758, + "step": 73805 + }, + { + "epoch": 0.1421, + "grad_norm": 22.743877410888672, + "learning_rate": 1.3227777777777779e-06, + "loss": 6.3596752166748045, + "step": 73810 + }, + { + "epoch": 0.14215, + "grad_norm": 14.80178165435791, + "learning_rate": 1.3225252525252527e-06, + "loss": 6.599275207519531, + "step": 73815 + }, + { + "epoch": 0.1422, + "grad_norm": 11.075322151184082, + "learning_rate": 1.3222727272727273e-06, + "loss": 6.335784912109375, + "step": 73820 + }, + { + "epoch": 0.14225, + "grad_norm": 8.723320960998535, + "learning_rate": 1.3220202020202022e-06, + "loss": 6.238345336914063, + "step": 73825 + }, + { + "epoch": 0.1423, + "grad_norm": 7.232884883880615, + "learning_rate": 1.3217676767676768e-06, + "loss": 6.216961669921875, + "step": 73830 + }, + { + "epoch": 0.14235, + "grad_norm": 7.156980991363525, + "learning_rate": 1.3215151515151517e-06, + "loss": 6.26635856628418, + "step": 73835 + }, + { + "epoch": 0.1424, + "grad_norm": 7.010166645050049, + "learning_rate": 1.3212626262626263e-06, + "loss": 6.204489135742188, + "step": 73840 + }, + { + "epoch": 0.14245, + "grad_norm": 7.105006217956543, + "learning_rate": 1.3210101010101011e-06, + "loss": 6.283420562744141, + "step": 73845 + }, + { + "epoch": 0.1425, + "grad_norm": 5.642064094543457, + "learning_rate": 1.3207575757575758e-06, + "loss": 6.254133224487305, + "step": 73850 + }, + { + "epoch": 0.14255, + "grad_norm": 6.170275688171387, + "learning_rate": 1.3205050505050506e-06, + "loss": 6.24780044555664, + "step": 73855 + }, + { + "epoch": 0.1426, + "grad_norm": 6.233284950256348, + "learning_rate": 1.3202525252525252e-06, + "loss": 6.253822708129883, + "step": 73860 + }, + { + "epoch": 0.14265, + "grad_norm": 5.106185436248779, + "learning_rate": 1.32e-06, + "loss": 6.26630744934082, + "step": 73865 + }, + { + "epoch": 0.1427, + "grad_norm": 4.562084674835205, + "learning_rate": 1.3197474747474747e-06, + "loss": 6.272969055175781, + "step": 73870 + }, + { + "epoch": 0.14275, + "grad_norm": 9.973880767822266, + "learning_rate": 1.3194949494949498e-06, + "loss": 6.2316947937011715, + "step": 73875 + }, + { + "epoch": 0.1428, + "grad_norm": 6.611664295196533, + "learning_rate": 1.3192424242424242e-06, + "loss": 6.28462028503418, + "step": 73880 + }, + { + "epoch": 0.14285, + "grad_norm": 6.152750015258789, + "learning_rate": 1.3189898989898992e-06, + "loss": 6.2198341369628904, + "step": 73885 + }, + { + "epoch": 0.1429, + "grad_norm": 7.919829368591309, + "learning_rate": 1.3187373737373739e-06, + "loss": 6.228375244140625, + "step": 73890 + }, + { + "epoch": 0.14295, + "grad_norm": 5.2195281982421875, + "learning_rate": 1.3184848484848487e-06, + "loss": 6.343362045288086, + "step": 73895 + }, + { + "epoch": 0.143, + "grad_norm": 9.82302474975586, + "learning_rate": 1.3182323232323233e-06, + "loss": 6.231008148193359, + "step": 73900 + }, + { + "epoch": 0.14305, + "grad_norm": 12.215896606445312, + "learning_rate": 1.3179797979797982e-06, + "loss": 6.005696105957031, + "step": 73905 + }, + { + "epoch": 0.1431, + "grad_norm": 4.350798606872559, + "learning_rate": 1.3177272727272728e-06, + "loss": 6.26783561706543, + "step": 73910 + }, + { + "epoch": 0.14315, + "grad_norm": 25.52348518371582, + "learning_rate": 1.3174747474747476e-06, + "loss": 6.282317733764648, + "step": 73915 + }, + { + "epoch": 0.1432, + "grad_norm": 7.981392860412598, + "learning_rate": 1.3172222222222223e-06, + "loss": 6.2885276794433596, + "step": 73920 + }, + { + "epoch": 0.14325, + "grad_norm": 8.465792655944824, + "learning_rate": 1.3169696969696971e-06, + "loss": 6.231646347045898, + "step": 73925 + }, + { + "epoch": 0.1433, + "grad_norm": 5.38322639465332, + "learning_rate": 1.3167171717171717e-06, + "loss": 6.2197013854980465, + "step": 73930 + }, + { + "epoch": 0.14335, + "grad_norm": 7.899281024932861, + "learning_rate": 1.3164646464646466e-06, + "loss": 6.239177703857422, + "step": 73935 + }, + { + "epoch": 0.1434, + "grad_norm": 8.81231689453125, + "learning_rate": 1.3162121212121212e-06, + "loss": 6.207391357421875, + "step": 73940 + }, + { + "epoch": 0.14345, + "grad_norm": 4.281449317932129, + "learning_rate": 1.315959595959596e-06, + "loss": 6.251656341552734, + "step": 73945 + }, + { + "epoch": 0.1435, + "grad_norm": 8.219447135925293, + "learning_rate": 1.3157070707070707e-06, + "loss": 6.211940765380859, + "step": 73950 + }, + { + "epoch": 0.14355, + "grad_norm": 3.5438432693481445, + "learning_rate": 1.3154545454545455e-06, + "loss": 6.261522674560547, + "step": 73955 + }, + { + "epoch": 0.1436, + "grad_norm": 5.224743366241455, + "learning_rate": 1.3152020202020202e-06, + "loss": 6.23126220703125, + "step": 73960 + }, + { + "epoch": 0.14365, + "grad_norm": 7.891627788543701, + "learning_rate": 1.314949494949495e-06, + "loss": 6.308998870849609, + "step": 73965 + }, + { + "epoch": 0.1437, + "grad_norm": 10.626019477844238, + "learning_rate": 1.3146969696969696e-06, + "loss": 6.393842697143555, + "step": 73970 + }, + { + "epoch": 0.14375, + "grad_norm": 6.220195770263672, + "learning_rate": 1.3144444444444447e-06, + "loss": 6.230384445190429, + "step": 73975 + }, + { + "epoch": 0.1438, + "grad_norm": 8.449676513671875, + "learning_rate": 1.314191919191919e-06, + "loss": 6.235114669799804, + "step": 73980 + }, + { + "epoch": 0.14385, + "grad_norm": 5.803347587585449, + "learning_rate": 1.3139393939393942e-06, + "loss": 6.26820182800293, + "step": 73985 + }, + { + "epoch": 0.1439, + "grad_norm": 7.329825401306152, + "learning_rate": 1.3136868686868686e-06, + "loss": 6.3360542297363285, + "step": 73990 + }, + { + "epoch": 0.14395, + "grad_norm": 4.179161071777344, + "learning_rate": 1.3134343434343436e-06, + "loss": 6.223100280761718, + "step": 73995 + }, + { + "epoch": 0.144, + "grad_norm": 6.306048393249512, + "learning_rate": 1.3131818181818183e-06, + "loss": 6.249840545654297, + "step": 74000 + }, + { + "epoch": 0.14405, + "grad_norm": 6.038132667541504, + "learning_rate": 1.312929292929293e-06, + "loss": 6.22032356262207, + "step": 74005 + }, + { + "epoch": 0.1441, + "grad_norm": 11.504322052001953, + "learning_rate": 1.3126767676767677e-06, + "loss": 6.327765655517578, + "step": 74010 + }, + { + "epoch": 0.14415, + "grad_norm": 6.935719966888428, + "learning_rate": 1.3124242424242426e-06, + "loss": 6.234482192993164, + "step": 74015 + }, + { + "epoch": 0.1442, + "grad_norm": 12.291118621826172, + "learning_rate": 1.3121717171717172e-06, + "loss": 6.229669570922852, + "step": 74020 + }, + { + "epoch": 0.14425, + "grad_norm": 4.314820289611816, + "learning_rate": 1.311919191919192e-06, + "loss": 6.196693420410156, + "step": 74025 + }, + { + "epoch": 0.1443, + "grad_norm": 4.835911273956299, + "learning_rate": 1.3116666666666667e-06, + "loss": 6.251676177978515, + "step": 74030 + }, + { + "epoch": 0.14435, + "grad_norm": 5.568008899688721, + "learning_rate": 1.3114141414141415e-06, + "loss": 6.219872283935547, + "step": 74035 + }, + { + "epoch": 0.1444, + "grad_norm": 8.831846237182617, + "learning_rate": 1.3111616161616161e-06, + "loss": 6.2275947570800785, + "step": 74040 + }, + { + "epoch": 0.14445, + "grad_norm": 5.046711444854736, + "learning_rate": 1.310909090909091e-06, + "loss": 6.253678894042968, + "step": 74045 + }, + { + "epoch": 0.1445, + "grad_norm": 6.639548301696777, + "learning_rate": 1.3106565656565656e-06, + "loss": 6.204153442382813, + "step": 74050 + }, + { + "epoch": 0.14455, + "grad_norm": 4.518559455871582, + "learning_rate": 1.3104040404040405e-06, + "loss": 6.212227249145508, + "step": 74055 + }, + { + "epoch": 0.1446, + "grad_norm": 11.805069923400879, + "learning_rate": 1.3101515151515153e-06, + "loss": 6.241442108154297, + "step": 74060 + }, + { + "epoch": 0.14465, + "grad_norm": 5.295022010803223, + "learning_rate": 1.30989898989899e-06, + "loss": 6.257531356811524, + "step": 74065 + }, + { + "epoch": 0.1447, + "grad_norm": 12.453039169311523, + "learning_rate": 1.309646464646465e-06, + "loss": 6.221036529541015, + "step": 74070 + }, + { + "epoch": 0.14475, + "grad_norm": 5.757079124450684, + "learning_rate": 1.3093939393939394e-06, + "loss": 6.243160247802734, + "step": 74075 + }, + { + "epoch": 0.1448, + "grad_norm": 9.539419174194336, + "learning_rate": 1.3091414141414145e-06, + "loss": 6.349324035644531, + "step": 74080 + }, + { + "epoch": 0.14485, + "grad_norm": 5.553004264831543, + "learning_rate": 1.308888888888889e-06, + "loss": 6.362334060668945, + "step": 74085 + }, + { + "epoch": 0.1449, + "grad_norm": 4.831832408905029, + "learning_rate": 1.308636363636364e-06, + "loss": 6.270175933837891, + "step": 74090 + }, + { + "epoch": 0.14495, + "grad_norm": 5.539151191711426, + "learning_rate": 1.3083838383838386e-06, + "loss": 6.23582649230957, + "step": 74095 + }, + { + "epoch": 0.145, + "grad_norm": 4.593319892883301, + "learning_rate": 1.3081313131313134e-06, + "loss": 6.225848770141601, + "step": 74100 + }, + { + "epoch": 0.14505, + "grad_norm": 4.725855827331543, + "learning_rate": 1.307878787878788e-06, + "loss": 6.225731277465821, + "step": 74105 + }, + { + "epoch": 0.1451, + "grad_norm": 17.21245002746582, + "learning_rate": 1.3076262626262629e-06, + "loss": 6.292733001708984, + "step": 74110 + }, + { + "epoch": 0.14515, + "grad_norm": 4.472686290740967, + "learning_rate": 1.3073737373737375e-06, + "loss": 6.3415687561035154, + "step": 74115 + }, + { + "epoch": 0.1452, + "grad_norm": 5.940283298492432, + "learning_rate": 1.3071212121212123e-06, + "loss": 6.273468017578125, + "step": 74120 + }, + { + "epoch": 0.14525, + "grad_norm": 6.287174701690674, + "learning_rate": 1.306868686868687e-06, + "loss": 6.167076110839844, + "step": 74125 + }, + { + "epoch": 0.1453, + "grad_norm": 7.678295612335205, + "learning_rate": 1.3066161616161618e-06, + "loss": 6.231556701660156, + "step": 74130 + }, + { + "epoch": 0.14535, + "grad_norm": 5.749528884887695, + "learning_rate": 1.3063636363636364e-06, + "loss": 6.257829666137695, + "step": 74135 + }, + { + "epoch": 0.1454, + "grad_norm": 3.6789820194244385, + "learning_rate": 1.3061111111111113e-06, + "loss": 6.206572341918945, + "step": 74140 + }, + { + "epoch": 0.14545, + "grad_norm": 9.07838249206543, + "learning_rate": 1.305858585858586e-06, + "loss": 6.249381637573242, + "step": 74145 + }, + { + "epoch": 0.1455, + "grad_norm": 6.990270614624023, + "learning_rate": 1.3056060606060608e-06, + "loss": 6.203200912475586, + "step": 74150 + }, + { + "epoch": 0.14555, + "grad_norm": 11.976143836975098, + "learning_rate": 1.3053535353535354e-06, + "loss": 6.197963714599609, + "step": 74155 + }, + { + "epoch": 0.1456, + "grad_norm": 8.093676567077637, + "learning_rate": 1.3051010101010102e-06, + "loss": 6.2532508850097654, + "step": 74160 + }, + { + "epoch": 0.14565, + "grad_norm": 7.428822040557861, + "learning_rate": 1.3048484848484849e-06, + "loss": 6.2108406066894535, + "step": 74165 + }, + { + "epoch": 0.1457, + "grad_norm": 10.163280487060547, + "learning_rate": 1.3045959595959597e-06, + "loss": 6.269666290283203, + "step": 74170 + }, + { + "epoch": 0.14575, + "grad_norm": 4.856110572814941, + "learning_rate": 1.3043434343434343e-06, + "loss": 6.275127410888672, + "step": 74175 + }, + { + "epoch": 0.1458, + "grad_norm": 8.046445846557617, + "learning_rate": 1.3040909090909094e-06, + "loss": 6.348670959472656, + "step": 74180 + }, + { + "epoch": 0.14585, + "grad_norm": 6.830883979797363, + "learning_rate": 1.3038383838383838e-06, + "loss": 6.251253890991211, + "step": 74185 + }, + { + "epoch": 0.1459, + "grad_norm": 4.199123382568359, + "learning_rate": 1.3035858585858589e-06, + "loss": 6.211019515991211, + "step": 74190 + }, + { + "epoch": 0.14595, + "grad_norm": 7.766753673553467, + "learning_rate": 1.3033333333333335e-06, + "loss": 6.207057952880859, + "step": 74195 + }, + { + "epoch": 0.146, + "grad_norm": 4.514311790466309, + "learning_rate": 1.3030808080808083e-06, + "loss": 6.226253509521484, + "step": 74200 + }, + { + "epoch": 0.14605, + "grad_norm": 6.786512851715088, + "learning_rate": 1.302828282828283e-06, + "loss": 6.232072830200195, + "step": 74205 + }, + { + "epoch": 0.1461, + "grad_norm": 15.933206558227539, + "learning_rate": 1.3025757575757578e-06, + "loss": 6.234319686889648, + "step": 74210 + }, + { + "epoch": 0.14615, + "grad_norm": 6.21903133392334, + "learning_rate": 1.3023232323232324e-06, + "loss": 6.2156730651855465, + "step": 74215 + }, + { + "epoch": 0.1462, + "grad_norm": 6.269929885864258, + "learning_rate": 1.3020707070707073e-06, + "loss": 6.34631462097168, + "step": 74220 + }, + { + "epoch": 0.14625, + "grad_norm": 7.663226127624512, + "learning_rate": 1.301818181818182e-06, + "loss": 6.26288070678711, + "step": 74225 + }, + { + "epoch": 0.1463, + "grad_norm": 7.080150604248047, + "learning_rate": 1.3015656565656567e-06, + "loss": 6.288679122924805, + "step": 74230 + }, + { + "epoch": 0.14635, + "grad_norm": 5.012781620025635, + "learning_rate": 1.3013131313131314e-06, + "loss": 6.212924575805664, + "step": 74235 + }, + { + "epoch": 0.1464, + "grad_norm": 41.74115753173828, + "learning_rate": 1.3010606060606062e-06, + "loss": 6.238952255249023, + "step": 74240 + }, + { + "epoch": 0.14645, + "grad_norm": 9.361504554748535, + "learning_rate": 1.3008080808080808e-06, + "loss": 6.247830581665039, + "step": 74245 + }, + { + "epoch": 0.1465, + "grad_norm": 4.5163187980651855, + "learning_rate": 1.3005555555555557e-06, + "loss": 6.259066772460938, + "step": 74250 + }, + { + "epoch": 0.14655, + "grad_norm": 11.529528617858887, + "learning_rate": 1.3003030303030303e-06, + "loss": 6.2200878143310545, + "step": 74255 + }, + { + "epoch": 0.1466, + "grad_norm": 6.6402668952941895, + "learning_rate": 1.3000505050505052e-06, + "loss": 6.211861419677734, + "step": 74260 + }, + { + "epoch": 0.14665, + "grad_norm": 4.822423934936523, + "learning_rate": 1.2997979797979798e-06, + "loss": 6.2390602111816404, + "step": 74265 + }, + { + "epoch": 0.1467, + "grad_norm": 7.06641149520874, + "learning_rate": 1.2995454545454546e-06, + "loss": 6.20814094543457, + "step": 74270 + }, + { + "epoch": 0.14675, + "grad_norm": 5.341720104217529, + "learning_rate": 1.2992929292929293e-06, + "loss": 6.223938369750977, + "step": 74275 + }, + { + "epoch": 0.1468, + "grad_norm": 3.9533658027648926, + "learning_rate": 1.2990404040404041e-06, + "loss": 6.259819793701172, + "step": 74280 + }, + { + "epoch": 0.14685, + "grad_norm": 4.059379577636719, + "learning_rate": 1.2987878787878787e-06, + "loss": 6.158832550048828, + "step": 74285 + }, + { + "epoch": 0.1469, + "grad_norm": 8.408429145812988, + "learning_rate": 1.2985353535353538e-06, + "loss": 6.287986373901367, + "step": 74290 + }, + { + "epoch": 0.14695, + "grad_norm": 5.930466651916504, + "learning_rate": 1.2982828282828282e-06, + "loss": 6.222241973876953, + "step": 74295 + }, + { + "epoch": 0.147, + "grad_norm": 6.936233043670654, + "learning_rate": 1.2980303030303033e-06, + "loss": 6.244640350341797, + "step": 74300 + }, + { + "epoch": 0.14705, + "grad_norm": 8.908565521240234, + "learning_rate": 1.2977777777777779e-06, + "loss": 6.321146392822266, + "step": 74305 + }, + { + "epoch": 0.1471, + "grad_norm": 15.211065292358398, + "learning_rate": 1.2975252525252527e-06, + "loss": 6.202307891845703, + "step": 74310 + }, + { + "epoch": 0.14715, + "grad_norm": 11.278511047363281, + "learning_rate": 1.2972727272727274e-06, + "loss": 6.2487953186035154, + "step": 74315 + }, + { + "epoch": 0.1472, + "grad_norm": 4.312129020690918, + "learning_rate": 1.2970202020202022e-06, + "loss": 6.225859832763672, + "step": 74320 + }, + { + "epoch": 0.14725, + "grad_norm": 21.812089920043945, + "learning_rate": 1.2967676767676768e-06, + "loss": 6.280328750610352, + "step": 74325 + }, + { + "epoch": 0.1473, + "grad_norm": 7.79986572265625, + "learning_rate": 1.2965151515151517e-06, + "loss": 6.2068023681640625, + "step": 74330 + }, + { + "epoch": 0.14735, + "grad_norm": 7.714255332946777, + "learning_rate": 1.2962626262626263e-06, + "loss": 6.217417144775391, + "step": 74335 + }, + { + "epoch": 0.1474, + "grad_norm": 4.751977443695068, + "learning_rate": 1.2960101010101012e-06, + "loss": 6.255190658569336, + "step": 74340 + }, + { + "epoch": 0.14745, + "grad_norm": 7.427833080291748, + "learning_rate": 1.2957575757575758e-06, + "loss": 6.262841796875, + "step": 74345 + }, + { + "epoch": 0.1475, + "grad_norm": 9.20028305053711, + "learning_rate": 1.2955050505050506e-06, + "loss": 6.186980819702148, + "step": 74350 + }, + { + "epoch": 0.14755, + "grad_norm": 5.387282371520996, + "learning_rate": 1.2952525252525253e-06, + "loss": 6.241214370727539, + "step": 74355 + }, + { + "epoch": 0.1476, + "grad_norm": 4.229618549346924, + "learning_rate": 1.295e-06, + "loss": 6.2285308837890625, + "step": 74360 + }, + { + "epoch": 0.14765, + "grad_norm": 6.258855819702148, + "learning_rate": 1.2947474747474747e-06, + "loss": 6.202434158325195, + "step": 74365 + }, + { + "epoch": 0.1477, + "grad_norm": 2.904984951019287, + "learning_rate": 1.2944949494949496e-06, + "loss": 6.244039916992188, + "step": 74370 + }, + { + "epoch": 0.14775, + "grad_norm": 5.980227470397949, + "learning_rate": 1.2942424242424242e-06, + "loss": 6.184892272949218, + "step": 74375 + }, + { + "epoch": 0.1478, + "grad_norm": 6.676224708557129, + "learning_rate": 1.293989898989899e-06, + "loss": 6.237839126586914, + "step": 74380 + }, + { + "epoch": 0.14785, + "grad_norm": 6.899206161499023, + "learning_rate": 1.2937373737373737e-06, + "loss": 6.2760498046875, + "step": 74385 + }, + { + "epoch": 0.1479, + "grad_norm": 5.673489093780518, + "learning_rate": 1.2934848484848487e-06, + "loss": 6.2575233459472654, + "step": 74390 + }, + { + "epoch": 0.14795, + "grad_norm": 3.8072524070739746, + "learning_rate": 1.2932323232323231e-06, + "loss": 6.181300354003906, + "step": 74395 + }, + { + "epoch": 0.148, + "grad_norm": 6.405351638793945, + "learning_rate": 1.2929797979797982e-06, + "loss": 6.247571182250977, + "step": 74400 + }, + { + "epoch": 0.14805, + "grad_norm": 4.62186861038208, + "learning_rate": 1.2927272727272728e-06, + "loss": 6.246406173706054, + "step": 74405 + }, + { + "epoch": 0.1481, + "grad_norm": 5.682870864868164, + "learning_rate": 1.2924747474747477e-06, + "loss": 6.309776306152344, + "step": 74410 + }, + { + "epoch": 0.14815, + "grad_norm": 26.960039138793945, + "learning_rate": 1.2922222222222223e-06, + "loss": 6.625910949707031, + "step": 74415 + }, + { + "epoch": 0.1482, + "grad_norm": 8.070480346679688, + "learning_rate": 1.2919696969696971e-06, + "loss": 6.239234924316406, + "step": 74420 + }, + { + "epoch": 0.14825, + "grad_norm": 3.950868606567383, + "learning_rate": 1.2917171717171718e-06, + "loss": 6.244194412231446, + "step": 74425 + }, + { + "epoch": 0.1483, + "grad_norm": 6.946744918823242, + "learning_rate": 1.2914646464646466e-06, + "loss": 6.248828506469726, + "step": 74430 + }, + { + "epoch": 0.14835, + "grad_norm": 7.807821750640869, + "learning_rate": 1.2912121212121212e-06, + "loss": 6.195366668701172, + "step": 74435 + }, + { + "epoch": 0.1484, + "grad_norm": 3.9510111808776855, + "learning_rate": 1.290959595959596e-06, + "loss": 6.226460266113281, + "step": 74440 + }, + { + "epoch": 0.14845, + "grad_norm": 5.523468494415283, + "learning_rate": 1.2907070707070707e-06, + "loss": 6.26825180053711, + "step": 74445 + }, + { + "epoch": 0.1485, + "grad_norm": 5.2713117599487305, + "learning_rate": 1.2904545454545456e-06, + "loss": 6.210486602783203, + "step": 74450 + }, + { + "epoch": 0.14855, + "grad_norm": 7.53066873550415, + "learning_rate": 1.2902020202020202e-06, + "loss": 6.207552337646485, + "step": 74455 + }, + { + "epoch": 0.1486, + "grad_norm": 4.097397804260254, + "learning_rate": 1.289949494949495e-06, + "loss": 6.211825561523438, + "step": 74460 + }, + { + "epoch": 0.14865, + "grad_norm": 9.648951530456543, + "learning_rate": 1.2896969696969697e-06, + "loss": 6.214399337768555, + "step": 74465 + }, + { + "epoch": 0.1487, + "grad_norm": 5.74350118637085, + "learning_rate": 1.2894444444444445e-06, + "loss": 6.246177673339844, + "step": 74470 + }, + { + "epoch": 0.14875, + "grad_norm": 7.364799976348877, + "learning_rate": 1.2891919191919191e-06, + "loss": 6.161995697021484, + "step": 74475 + }, + { + "epoch": 0.1488, + "grad_norm": 5.476169109344482, + "learning_rate": 1.288939393939394e-06, + "loss": 6.2545623779296875, + "step": 74480 + }, + { + "epoch": 0.14885, + "grad_norm": 10.190523147583008, + "learning_rate": 1.288686868686869e-06, + "loss": 6.278118515014649, + "step": 74485 + }, + { + "epoch": 0.1489, + "grad_norm": 3.4314637184143066, + "learning_rate": 1.2884343434343434e-06, + "loss": 6.2302490234375, + "step": 74490 + }, + { + "epoch": 0.14895, + "grad_norm": 5.03079080581665, + "learning_rate": 1.2881818181818185e-06, + "loss": 6.2854057312011715, + "step": 74495 + }, + { + "epoch": 0.149, + "grad_norm": 5.025050640106201, + "learning_rate": 1.2879292929292931e-06, + "loss": 6.273344039916992, + "step": 74500 + }, + { + "epoch": 0.14905, + "grad_norm": 7.986606121063232, + "learning_rate": 1.287676767676768e-06, + "loss": 6.249858093261719, + "step": 74505 + }, + { + "epoch": 0.1491, + "grad_norm": 6.2098236083984375, + "learning_rate": 1.2874242424242426e-06, + "loss": 6.422475433349609, + "step": 74510 + }, + { + "epoch": 0.14915, + "grad_norm": 11.08008098602295, + "learning_rate": 1.2871717171717174e-06, + "loss": 6.289669036865234, + "step": 74515 + }, + { + "epoch": 0.1492, + "grad_norm": 5.182950019836426, + "learning_rate": 1.286919191919192e-06, + "loss": 6.2461200714111325, + "step": 74520 + }, + { + "epoch": 0.14925, + "grad_norm": 8.169476509094238, + "learning_rate": 1.286666666666667e-06, + "loss": 6.2734527587890625, + "step": 74525 + }, + { + "epoch": 0.1493, + "grad_norm": 6.361490726470947, + "learning_rate": 1.2864141414141415e-06, + "loss": 6.264346313476563, + "step": 74530 + }, + { + "epoch": 0.14935, + "grad_norm": 5.887649059295654, + "learning_rate": 1.2861616161616164e-06, + "loss": 6.23408088684082, + "step": 74535 + }, + { + "epoch": 0.1494, + "grad_norm": 6.784523010253906, + "learning_rate": 1.285909090909091e-06, + "loss": 6.242623901367187, + "step": 74540 + }, + { + "epoch": 0.14945, + "grad_norm": 6.6938300132751465, + "learning_rate": 1.2856565656565659e-06, + "loss": 6.173602294921875, + "step": 74545 + }, + { + "epoch": 0.1495, + "grad_norm": 4.31292200088501, + "learning_rate": 1.2854040404040405e-06, + "loss": 6.234366607666016, + "step": 74550 + }, + { + "epoch": 0.14955, + "grad_norm": 6.607089519500732, + "learning_rate": 1.2851515151515153e-06, + "loss": 6.227011871337891, + "step": 74555 + }, + { + "epoch": 0.1496, + "grad_norm": 4.630942344665527, + "learning_rate": 1.28489898989899e-06, + "loss": 6.222422027587891, + "step": 74560 + }, + { + "epoch": 0.14965, + "grad_norm": 7.1147284507751465, + "learning_rate": 1.2846464646464648e-06, + "loss": 6.2253883361816404, + "step": 74565 + }, + { + "epoch": 0.1497, + "grad_norm": 4.46334981918335, + "learning_rate": 1.2843939393939394e-06, + "loss": 6.207757568359375, + "step": 74570 + }, + { + "epoch": 0.14975, + "grad_norm": 3.3613367080688477, + "learning_rate": 1.2841414141414143e-06, + "loss": 6.242367935180664, + "step": 74575 + }, + { + "epoch": 0.1498, + "grad_norm": 30.29077911376953, + "learning_rate": 1.283888888888889e-06, + "loss": 5.836056518554687, + "step": 74580 + }, + { + "epoch": 0.14985, + "grad_norm": 4.033308029174805, + "learning_rate": 1.2836363636363637e-06, + "loss": 6.113925170898438, + "step": 74585 + }, + { + "epoch": 0.1499, + "grad_norm": 7.289294242858887, + "learning_rate": 1.2833838383838384e-06, + "loss": 6.26716423034668, + "step": 74590 + }, + { + "epoch": 0.14995, + "grad_norm": 4.874955177307129, + "learning_rate": 1.2831313131313134e-06, + "loss": 6.289202117919922, + "step": 74595 + }, + { + "epoch": 0.15, + "grad_norm": 7.75226354598999, + "learning_rate": 1.2828787878787878e-06, + "loss": 6.218993759155273, + "step": 74600 + }, + { + "epoch": 0.15005, + "grad_norm": 6.137247085571289, + "learning_rate": 1.282626262626263e-06, + "loss": 6.358692932128906, + "step": 74605 + }, + { + "epoch": 0.1501, + "grad_norm": 7.086844444274902, + "learning_rate": 1.2823737373737375e-06, + "loss": 6.284283065795899, + "step": 74610 + }, + { + "epoch": 0.15015, + "grad_norm": 3.559983015060425, + "learning_rate": 1.2821212121212124e-06, + "loss": 6.376381683349609, + "step": 74615 + }, + { + "epoch": 0.1502, + "grad_norm": 6.99554967880249, + "learning_rate": 1.281868686868687e-06, + "loss": 6.225765991210937, + "step": 74620 + }, + { + "epoch": 0.15025, + "grad_norm": 5.8353681564331055, + "learning_rate": 1.2816161616161618e-06, + "loss": 6.219741439819336, + "step": 74625 + }, + { + "epoch": 0.1503, + "grad_norm": 17.080291748046875, + "learning_rate": 1.2813636363636365e-06, + "loss": 6.307320022583008, + "step": 74630 + }, + { + "epoch": 0.15035, + "grad_norm": 5.472774028778076, + "learning_rate": 1.2811111111111113e-06, + "loss": 6.199253082275391, + "step": 74635 + }, + { + "epoch": 0.1504, + "grad_norm": 17.022594451904297, + "learning_rate": 1.280858585858586e-06, + "loss": 6.385768890380859, + "step": 74640 + }, + { + "epoch": 0.15045, + "grad_norm": 25.243450164794922, + "learning_rate": 1.2806060606060608e-06, + "loss": 6.245241928100586, + "step": 74645 + }, + { + "epoch": 0.1505, + "grad_norm": 9.694743156433105, + "learning_rate": 1.2803535353535354e-06, + "loss": 6.262911987304688, + "step": 74650 + }, + { + "epoch": 0.15055, + "grad_norm": 6.3824262619018555, + "learning_rate": 1.2801010101010103e-06, + "loss": 6.297955703735352, + "step": 74655 + }, + { + "epoch": 0.1506, + "grad_norm": 10.676584243774414, + "learning_rate": 1.2798484848484849e-06, + "loss": 6.253322601318359, + "step": 74660 + }, + { + "epoch": 0.15065, + "grad_norm": 8.847744941711426, + "learning_rate": 1.2795959595959597e-06, + "loss": 6.187360763549805, + "step": 74665 + }, + { + "epoch": 0.1507, + "grad_norm": 4.388944625854492, + "learning_rate": 1.2793434343434344e-06, + "loss": 6.3659912109375, + "step": 74670 + }, + { + "epoch": 0.15075, + "grad_norm": 6.938973426818848, + "learning_rate": 1.2790909090909092e-06, + "loss": 6.243964385986328, + "step": 74675 + }, + { + "epoch": 0.1508, + "grad_norm": 4.024846076965332, + "learning_rate": 1.2788383838383838e-06, + "loss": 6.244544219970703, + "step": 74680 + }, + { + "epoch": 0.15085, + "grad_norm": 4.780511856079102, + "learning_rate": 1.2785858585858587e-06, + "loss": 6.243486022949218, + "step": 74685 + }, + { + "epoch": 0.1509, + "grad_norm": 4.625631332397461, + "learning_rate": 1.2783333333333333e-06, + "loss": 6.230573272705078, + "step": 74690 + }, + { + "epoch": 0.15095, + "grad_norm": 10.096856117248535, + "learning_rate": 1.2780808080808084e-06, + "loss": 6.414005279541016, + "step": 74695 + }, + { + "epoch": 0.151, + "grad_norm": 11.864567756652832, + "learning_rate": 1.2778282828282828e-06, + "loss": 6.22706298828125, + "step": 74700 + }, + { + "epoch": 0.15105, + "grad_norm": 5.36466121673584, + "learning_rate": 1.2775757575757578e-06, + "loss": 6.189449691772461, + "step": 74705 + }, + { + "epoch": 0.1511, + "grad_norm": 8.950313568115234, + "learning_rate": 1.2773232323232322e-06, + "loss": 6.156805419921875, + "step": 74710 + }, + { + "epoch": 0.15115, + "grad_norm": 9.387650489807129, + "learning_rate": 1.2770707070707073e-06, + "loss": 6.24068603515625, + "step": 74715 + }, + { + "epoch": 0.1512, + "grad_norm": 6.565792560577393, + "learning_rate": 1.276818181818182e-06, + "loss": 6.226278686523438, + "step": 74720 + }, + { + "epoch": 0.15125, + "grad_norm": 5.9832634925842285, + "learning_rate": 1.2765656565656568e-06, + "loss": 6.271955871582032, + "step": 74725 + }, + { + "epoch": 0.1513, + "grad_norm": 5.024960994720459, + "learning_rate": 1.2763131313131314e-06, + "loss": 6.253292846679687, + "step": 74730 + }, + { + "epoch": 0.15135, + "grad_norm": 5.508500576019287, + "learning_rate": 1.2760606060606062e-06, + "loss": 6.219696426391602, + "step": 74735 + }, + { + "epoch": 0.1514, + "grad_norm": 7.980085849761963, + "learning_rate": 1.2758080808080809e-06, + "loss": 6.1957275390625, + "step": 74740 + }, + { + "epoch": 0.15145, + "grad_norm": 3.7758705615997314, + "learning_rate": 1.2755555555555557e-06, + "loss": 6.26617317199707, + "step": 74745 + }, + { + "epoch": 0.1515, + "grad_norm": 7.0287699699401855, + "learning_rate": 1.2753030303030303e-06, + "loss": 6.212626266479492, + "step": 74750 + }, + { + "epoch": 0.15155, + "grad_norm": 6.7096662521362305, + "learning_rate": 1.2750505050505052e-06, + "loss": 6.28082046508789, + "step": 74755 + }, + { + "epoch": 0.1516, + "grad_norm": 5.706987380981445, + "learning_rate": 1.2747979797979798e-06, + "loss": 6.254047775268555, + "step": 74760 + }, + { + "epoch": 0.15165, + "grad_norm": 7.194350242614746, + "learning_rate": 1.2745454545454547e-06, + "loss": 6.345429992675781, + "step": 74765 + }, + { + "epoch": 0.1517, + "grad_norm": 6.433564186096191, + "learning_rate": 1.2742929292929293e-06, + "loss": 6.255047607421875, + "step": 74770 + }, + { + "epoch": 0.15175, + "grad_norm": 8.580489158630371, + "learning_rate": 1.2740404040404041e-06, + "loss": 6.2576904296875, + "step": 74775 + }, + { + "epoch": 0.1518, + "grad_norm": 5.910364151000977, + "learning_rate": 1.2737878787878788e-06, + "loss": 6.226593399047852, + "step": 74780 + }, + { + "epoch": 0.15185, + "grad_norm": 7.927070617675781, + "learning_rate": 1.2735353535353536e-06, + "loss": 6.295431518554688, + "step": 74785 + }, + { + "epoch": 0.1519, + "grad_norm": 4.653357982635498, + "learning_rate": 1.2732828282828282e-06, + "loss": 6.242361831665039, + "step": 74790 + }, + { + "epoch": 0.15195, + "grad_norm": 6.908787250518799, + "learning_rate": 1.273030303030303e-06, + "loss": 6.239910507202149, + "step": 74795 + }, + { + "epoch": 0.152, + "grad_norm": 10.292915344238281, + "learning_rate": 1.2727777777777777e-06, + "loss": 6.23939208984375, + "step": 74800 + }, + { + "epoch": 0.15205, + "grad_norm": 8.111412048339844, + "learning_rate": 1.2725252525252528e-06, + "loss": 6.225950622558594, + "step": 74805 + }, + { + "epoch": 0.1521, + "grad_norm": 19.816299438476562, + "learning_rate": 1.2722727272727272e-06, + "loss": 6.511268615722656, + "step": 74810 + }, + { + "epoch": 0.15215, + "grad_norm": 14.500628471374512, + "learning_rate": 1.2720202020202022e-06, + "loss": 6.217486190795898, + "step": 74815 + }, + { + "epoch": 0.1522, + "grad_norm": 6.350764274597168, + "learning_rate": 1.2717676767676769e-06, + "loss": 6.250115203857422, + "step": 74820 + }, + { + "epoch": 0.15225, + "grad_norm": 5.852832794189453, + "learning_rate": 1.2715151515151517e-06, + "loss": 6.237650680541992, + "step": 74825 + }, + { + "epoch": 0.1523, + "grad_norm": 7.506080627441406, + "learning_rate": 1.2712626262626263e-06, + "loss": 6.232112121582031, + "step": 74830 + }, + { + "epoch": 0.15235, + "grad_norm": 5.394845485687256, + "learning_rate": 1.2710101010101012e-06, + "loss": 6.256331253051758, + "step": 74835 + }, + { + "epoch": 0.1524, + "grad_norm": 6.1077656745910645, + "learning_rate": 1.2707575757575758e-06, + "loss": 6.499471282958984, + "step": 74840 + }, + { + "epoch": 0.15245, + "grad_norm": 4.592828750610352, + "learning_rate": 1.2705050505050507e-06, + "loss": 6.232889938354492, + "step": 74845 + }, + { + "epoch": 0.1525, + "grad_norm": 8.370278358459473, + "learning_rate": 1.2702525252525253e-06, + "loss": 6.243658065795898, + "step": 74850 + }, + { + "epoch": 0.15255, + "grad_norm": 4.292181968688965, + "learning_rate": 1.2700000000000001e-06, + "loss": 6.23565444946289, + "step": 74855 + }, + { + "epoch": 0.1526, + "grad_norm": 7.669984817504883, + "learning_rate": 1.2697474747474748e-06, + "loss": 6.241493225097656, + "step": 74860 + }, + { + "epoch": 0.15265, + "grad_norm": 4.792873859405518, + "learning_rate": 1.2694949494949496e-06, + "loss": 6.224595260620117, + "step": 74865 + }, + { + "epoch": 0.1527, + "grad_norm": 4.767852306365967, + "learning_rate": 1.2692424242424242e-06, + "loss": 6.189799499511719, + "step": 74870 + }, + { + "epoch": 0.15275, + "grad_norm": 5.572659015655518, + "learning_rate": 1.268989898989899e-06, + "loss": 6.2597393035888675, + "step": 74875 + }, + { + "epoch": 0.1528, + "grad_norm": 5.424083709716797, + "learning_rate": 1.2687373737373737e-06, + "loss": 6.2391925811767575, + "step": 74880 + }, + { + "epoch": 0.15285, + "grad_norm": 6.843721389770508, + "learning_rate": 1.2684848484848485e-06, + "loss": 6.241059494018555, + "step": 74885 + }, + { + "epoch": 0.1529, + "grad_norm": 9.97791576385498, + "learning_rate": 1.2682323232323232e-06, + "loss": 6.252522659301758, + "step": 74890 + }, + { + "epoch": 0.15295, + "grad_norm": 6.367930889129639, + "learning_rate": 1.267979797979798e-06, + "loss": 6.247344970703125, + "step": 74895 + }, + { + "epoch": 0.153, + "grad_norm": 6.479358673095703, + "learning_rate": 1.2677272727272726e-06, + "loss": 6.256669998168945, + "step": 74900 + }, + { + "epoch": 0.15305, + "grad_norm": 5.146621227264404, + "learning_rate": 1.2674747474747475e-06, + "loss": 6.206320953369141, + "step": 74905 + }, + { + "epoch": 0.1531, + "grad_norm": 4.834164142608643, + "learning_rate": 1.2672222222222225e-06, + "loss": 6.250431823730469, + "step": 74910 + }, + { + "epoch": 0.15315, + "grad_norm": 6.928816795349121, + "learning_rate": 1.2669696969696972e-06, + "loss": 6.274456405639649, + "step": 74915 + }, + { + "epoch": 0.1532, + "grad_norm": 3.4220941066741943, + "learning_rate": 1.266717171717172e-06, + "loss": 6.2398529052734375, + "step": 74920 + }, + { + "epoch": 0.15325, + "grad_norm": 4.344491958618164, + "learning_rate": 1.2664646464646466e-06, + "loss": 6.229390716552734, + "step": 74925 + }, + { + "epoch": 0.1533, + "grad_norm": 4.2248406410217285, + "learning_rate": 1.2662121212121215e-06, + "loss": 6.234172058105469, + "step": 74930 + }, + { + "epoch": 0.15335, + "grad_norm": 6.012477874755859, + "learning_rate": 1.2659595959595961e-06, + "loss": 6.2517860412597654, + "step": 74935 + }, + { + "epoch": 0.1534, + "grad_norm": 7.300714492797852, + "learning_rate": 1.265707070707071e-06, + "loss": 6.251566314697266, + "step": 74940 + }, + { + "epoch": 0.15345, + "grad_norm": 7.4501872062683105, + "learning_rate": 1.2654545454545456e-06, + "loss": 6.290587615966797, + "step": 74945 + }, + { + "epoch": 0.1535, + "grad_norm": 4.589632511138916, + "learning_rate": 1.2652020202020204e-06, + "loss": 6.190826416015625, + "step": 74950 + }, + { + "epoch": 0.15355, + "grad_norm": 4.946479320526123, + "learning_rate": 1.264949494949495e-06, + "loss": 6.236514663696289, + "step": 74955 + }, + { + "epoch": 0.1536, + "grad_norm": 5.142756938934326, + "learning_rate": 1.26469696969697e-06, + "loss": 6.2325996398925785, + "step": 74960 + }, + { + "epoch": 0.15365, + "grad_norm": 4.485238552093506, + "learning_rate": 1.2644444444444445e-06, + "loss": 6.239675903320313, + "step": 74965 + }, + { + "epoch": 0.1537, + "grad_norm": 4.692289352416992, + "learning_rate": 1.2641919191919194e-06, + "loss": 6.25774040222168, + "step": 74970 + }, + { + "epoch": 0.15375, + "grad_norm": 6.025549411773682, + "learning_rate": 1.263939393939394e-06, + "loss": 6.225696563720703, + "step": 74975 + }, + { + "epoch": 0.1538, + "grad_norm": 3.6170618534088135, + "learning_rate": 1.2636868686868688e-06, + "loss": 6.316873168945312, + "step": 74980 + }, + { + "epoch": 0.15385, + "grad_norm": 3.4421112537384033, + "learning_rate": 1.2634343434343435e-06, + "loss": 6.224048233032226, + "step": 74985 + }, + { + "epoch": 0.1539, + "grad_norm": 4.818371772766113, + "learning_rate": 1.2631818181818183e-06, + "loss": 6.249916839599609, + "step": 74990 + }, + { + "epoch": 0.15395, + "grad_norm": 7.8996806144714355, + "learning_rate": 1.262929292929293e-06, + "loss": 6.234967422485352, + "step": 74995 + }, + { + "epoch": 0.154, + "grad_norm": 12.915905952453613, + "learning_rate": 1.2626767676767678e-06, + "loss": 6.253430557250977, + "step": 75000 + }, + { + "epoch": 0.15405, + "grad_norm": 3.7189345359802246, + "learning_rate": 1.2624242424242424e-06, + "loss": 6.248134613037109, + "step": 75005 + }, + { + "epoch": 0.1541, + "grad_norm": 7.279516220092773, + "learning_rate": 1.2621717171717175e-06, + "loss": 6.223016357421875, + "step": 75010 + }, + { + "epoch": 0.15415, + "grad_norm": 3.941697835922241, + "learning_rate": 1.2619191919191919e-06, + "loss": 6.216687393188477, + "step": 75015 + }, + { + "epoch": 0.1542, + "grad_norm": 6.274088382720947, + "learning_rate": 1.261666666666667e-06, + "loss": 6.2390399932861325, + "step": 75020 + }, + { + "epoch": 0.15425, + "grad_norm": 26.748149871826172, + "learning_rate": 1.2614141414141416e-06, + "loss": 6.416621398925781, + "step": 75025 + }, + { + "epoch": 0.1543, + "grad_norm": 6.6277289390563965, + "learning_rate": 1.2611616161616164e-06, + "loss": 6.308944320678711, + "step": 75030 + }, + { + "epoch": 0.15435, + "grad_norm": 9.954639434814453, + "learning_rate": 1.260909090909091e-06, + "loss": 6.2475227355957035, + "step": 75035 + }, + { + "epoch": 0.1544, + "grad_norm": 8.239768028259277, + "learning_rate": 1.2606565656565659e-06, + "loss": 6.241039657592774, + "step": 75040 + }, + { + "epoch": 0.15445, + "grad_norm": 7.1581220626831055, + "learning_rate": 1.2604040404040405e-06, + "loss": 6.144541931152344, + "step": 75045 + }, + { + "epoch": 0.1545, + "grad_norm": 4.033621788024902, + "learning_rate": 1.2601515151515154e-06, + "loss": 6.237398529052735, + "step": 75050 + }, + { + "epoch": 0.15455, + "grad_norm": 5.034806728363037, + "learning_rate": 1.25989898989899e-06, + "loss": 6.21448974609375, + "step": 75055 + }, + { + "epoch": 0.1546, + "grad_norm": 4.100320339202881, + "learning_rate": 1.2596464646464648e-06, + "loss": 6.4805137634277346, + "step": 75060 + }, + { + "epoch": 0.15465, + "grad_norm": 6.154018402099609, + "learning_rate": 1.2593939393939395e-06, + "loss": 6.233946990966797, + "step": 75065 + }, + { + "epoch": 0.1547, + "grad_norm": 5.0249223709106445, + "learning_rate": 1.2591414141414143e-06, + "loss": 6.200268173217774, + "step": 75070 + }, + { + "epoch": 0.15475, + "grad_norm": 6.929437160491943, + "learning_rate": 1.258888888888889e-06, + "loss": 6.344448852539062, + "step": 75075 + }, + { + "epoch": 0.1548, + "grad_norm": 4.010641098022461, + "learning_rate": 1.2586363636363638e-06, + "loss": 6.2711738586425785, + "step": 75080 + }, + { + "epoch": 0.15485, + "grad_norm": 5.071040153503418, + "learning_rate": 1.2583838383838384e-06, + "loss": 6.312607955932617, + "step": 75085 + }, + { + "epoch": 0.1549, + "grad_norm": 5.151876449584961, + "learning_rate": 1.2581313131313132e-06, + "loss": 6.20647087097168, + "step": 75090 + }, + { + "epoch": 0.15495, + "grad_norm": 7.823906898498535, + "learning_rate": 1.2578787878787879e-06, + "loss": 6.183932495117188, + "step": 75095 + }, + { + "epoch": 0.155, + "grad_norm": 14.30170726776123, + "learning_rate": 1.2576262626262627e-06, + "loss": 6.331748199462891, + "step": 75100 + }, + { + "epoch": 0.15505, + "grad_norm": 8.86341667175293, + "learning_rate": 1.2573737373737373e-06, + "loss": 6.24580192565918, + "step": 75105 + }, + { + "epoch": 0.1551, + "grad_norm": 5.205596923828125, + "learning_rate": 1.2571212121212124e-06, + "loss": 6.241753005981446, + "step": 75110 + }, + { + "epoch": 0.15515, + "grad_norm": 6.331380367279053, + "learning_rate": 1.2568686868686868e-06, + "loss": 6.252550506591797, + "step": 75115 + }, + { + "epoch": 0.1552, + "grad_norm": 3.7262752056121826, + "learning_rate": 1.2566161616161619e-06, + "loss": 6.266852569580078, + "step": 75120 + }, + { + "epoch": 0.15525, + "grad_norm": 4.395182132720947, + "learning_rate": 1.2563636363636365e-06, + "loss": 6.216812515258789, + "step": 75125 + }, + { + "epoch": 0.1553, + "grad_norm": 13.03410530090332, + "learning_rate": 1.2561111111111113e-06, + "loss": 6.362335968017578, + "step": 75130 + }, + { + "epoch": 0.15535, + "grad_norm": 5.9682745933532715, + "learning_rate": 1.255858585858586e-06, + "loss": 6.251123046875, + "step": 75135 + }, + { + "epoch": 0.1554, + "grad_norm": 4.440389156341553, + "learning_rate": 1.2556060606060608e-06, + "loss": 6.259073638916016, + "step": 75140 + }, + { + "epoch": 0.15545, + "grad_norm": 7.720395565032959, + "learning_rate": 1.2553535353535354e-06, + "loss": 6.225209426879883, + "step": 75145 + }, + { + "epoch": 0.1555, + "grad_norm": 5.1239237785339355, + "learning_rate": 1.2551010101010103e-06, + "loss": 6.322224426269531, + "step": 75150 + }, + { + "epoch": 0.15555, + "grad_norm": 5.256804466247559, + "learning_rate": 1.254848484848485e-06, + "loss": 6.242914199829102, + "step": 75155 + }, + { + "epoch": 0.1556, + "grad_norm": 3.724416732788086, + "learning_rate": 1.2545959595959598e-06, + "loss": 6.20997314453125, + "step": 75160 + }, + { + "epoch": 0.15565, + "grad_norm": 4.241456031799316, + "learning_rate": 1.2543434343434344e-06, + "loss": 6.258034515380859, + "step": 75165 + }, + { + "epoch": 0.1557, + "grad_norm": 5.17391300201416, + "learning_rate": 1.2540909090909092e-06, + "loss": 6.255418014526367, + "step": 75170 + }, + { + "epoch": 0.15575, + "grad_norm": 7.823019981384277, + "learning_rate": 1.2538383838383839e-06, + "loss": 6.248666000366211, + "step": 75175 + }, + { + "epoch": 0.1558, + "grad_norm": 7.084842205047607, + "learning_rate": 1.2535858585858587e-06, + "loss": 6.230002212524414, + "step": 75180 + }, + { + "epoch": 0.15585, + "grad_norm": 4.352348804473877, + "learning_rate": 1.2533333333333333e-06, + "loss": 6.217587661743164, + "step": 75185 + }, + { + "epoch": 0.1559, + "grad_norm": 11.321301460266113, + "learning_rate": 1.2530808080808082e-06, + "loss": 6.258500671386718, + "step": 75190 + }, + { + "epoch": 0.15595, + "grad_norm": 5.917731761932373, + "learning_rate": 1.2528282828282828e-06, + "loss": 6.182617950439453, + "step": 75195 + }, + { + "epoch": 0.156, + "grad_norm": 5.34178352355957, + "learning_rate": 1.2525757575757576e-06, + "loss": 6.193733215332031, + "step": 75200 + }, + { + "epoch": 0.15605, + "grad_norm": 3.9569003582000732, + "learning_rate": 1.2523232323232323e-06, + "loss": 6.219124603271484, + "step": 75205 + }, + { + "epoch": 0.1561, + "grad_norm": 6.134114742279053, + "learning_rate": 1.2520707070707071e-06, + "loss": 6.235329437255859, + "step": 75210 + }, + { + "epoch": 0.15615, + "grad_norm": 3.5082311630249023, + "learning_rate": 1.2518181818181817e-06, + "loss": 6.25323257446289, + "step": 75215 + }, + { + "epoch": 0.1562, + "grad_norm": 5.687015533447266, + "learning_rate": 1.2515656565656568e-06, + "loss": 6.238995361328125, + "step": 75220 + }, + { + "epoch": 0.15625, + "grad_norm": 4.618686199188232, + "learning_rate": 1.2513131313131312e-06, + "loss": 6.228168487548828, + "step": 75225 + }, + { + "epoch": 0.1563, + "grad_norm": 5.97711181640625, + "learning_rate": 1.2510606060606063e-06, + "loss": 6.242482757568359, + "step": 75230 + }, + { + "epoch": 0.15635, + "grad_norm": 5.377412796020508, + "learning_rate": 1.250808080808081e-06, + "loss": 6.239083099365234, + "step": 75235 + }, + { + "epoch": 0.1564, + "grad_norm": 6.805724620819092, + "learning_rate": 1.2505555555555557e-06, + "loss": 6.207192993164062, + "step": 75240 + }, + { + "epoch": 0.15645, + "grad_norm": 3.9508800506591797, + "learning_rate": 1.2503030303030304e-06, + "loss": 6.23319091796875, + "step": 75245 + }, + { + "epoch": 0.1565, + "grad_norm": 4.93553352355957, + "learning_rate": 1.2500505050505052e-06, + "loss": 6.215253067016602, + "step": 75250 + }, + { + "epoch": 0.15655, + "grad_norm": 7.821374893188477, + "learning_rate": 1.2497979797979798e-06, + "loss": 6.2839813232421875, + "step": 75255 + }, + { + "epoch": 0.1566, + "grad_norm": 5.350115776062012, + "learning_rate": 1.2495454545454547e-06, + "loss": 6.235452270507812, + "step": 75260 + }, + { + "epoch": 0.15665, + "grad_norm": 5.858108043670654, + "learning_rate": 1.2492929292929293e-06, + "loss": 6.271259307861328, + "step": 75265 + }, + { + "epoch": 0.1567, + "grad_norm": 7.262343406677246, + "learning_rate": 1.2490404040404042e-06, + "loss": 6.220214080810547, + "step": 75270 + }, + { + "epoch": 0.15675, + "grad_norm": 4.674764156341553, + "learning_rate": 1.248787878787879e-06, + "loss": 6.229149627685547, + "step": 75275 + }, + { + "epoch": 0.1568, + "grad_norm": 4.135441780090332, + "learning_rate": 1.2485353535353536e-06, + "loss": 6.249447250366211, + "step": 75280 + }, + { + "epoch": 0.15685, + "grad_norm": 6.471755504608154, + "learning_rate": 1.2482828282828285e-06, + "loss": 6.234306716918946, + "step": 75285 + }, + { + "epoch": 0.1569, + "grad_norm": 5.9411139488220215, + "learning_rate": 1.2480303030303031e-06, + "loss": 6.235723876953125, + "step": 75290 + }, + { + "epoch": 0.15695, + "grad_norm": 4.427250385284424, + "learning_rate": 1.247777777777778e-06, + "loss": 6.2395984649658205, + "step": 75295 + }, + { + "epoch": 0.157, + "grad_norm": 8.796195030212402, + "learning_rate": 1.2475252525252526e-06, + "loss": 6.330513000488281, + "step": 75300 + }, + { + "epoch": 0.15705, + "grad_norm": 3.294217348098755, + "learning_rate": 1.2472727272727274e-06, + "loss": 6.230996322631836, + "step": 75305 + }, + { + "epoch": 0.1571, + "grad_norm": 6.297418117523193, + "learning_rate": 1.247020202020202e-06, + "loss": 6.24590835571289, + "step": 75310 + }, + { + "epoch": 0.15715, + "grad_norm": 7.116874694824219, + "learning_rate": 1.2467676767676769e-06, + "loss": 6.273774719238281, + "step": 75315 + }, + { + "epoch": 0.1572, + "grad_norm": 6.6390604972839355, + "learning_rate": 1.2465151515151515e-06, + "loss": 6.283566665649414, + "step": 75320 + }, + { + "epoch": 0.15725, + "grad_norm": 6.156033515930176, + "learning_rate": 1.2462626262626264e-06, + "loss": 6.202934265136719, + "step": 75325 + }, + { + "epoch": 0.1573, + "grad_norm": 7.8700032234191895, + "learning_rate": 1.2460101010101012e-06, + "loss": 6.2407279968261715, + "step": 75330 + }, + { + "epoch": 0.15735, + "grad_norm": 5.160825729370117, + "learning_rate": 1.2457575757575758e-06, + "loss": 6.370338821411133, + "step": 75335 + }, + { + "epoch": 0.1574, + "grad_norm": 4.943718433380127, + "learning_rate": 1.2455050505050507e-06, + "loss": 6.240385055541992, + "step": 75340 + }, + { + "epoch": 0.15745, + "grad_norm": 5.646724224090576, + "learning_rate": 1.2452525252525253e-06, + "loss": 6.261104583740234, + "step": 75345 + }, + { + "epoch": 0.1575, + "grad_norm": 4.028902053833008, + "learning_rate": 1.2450000000000002e-06, + "loss": 6.274745941162109, + "step": 75350 + }, + { + "epoch": 0.15755, + "grad_norm": 4.139111518859863, + "learning_rate": 1.2447474747474748e-06, + "loss": 6.199967956542968, + "step": 75355 + }, + { + "epoch": 0.1576, + "grad_norm": 11.311842918395996, + "learning_rate": 1.2444949494949496e-06, + "loss": 6.29931640625, + "step": 75360 + }, + { + "epoch": 0.15765, + "grad_norm": 4.872209072113037, + "learning_rate": 1.2442424242424243e-06, + "loss": 6.20692024230957, + "step": 75365 + }, + { + "epoch": 0.1577, + "grad_norm": 4.883072853088379, + "learning_rate": 1.243989898989899e-06, + "loss": 6.2300464630126955, + "step": 75370 + }, + { + "epoch": 0.15775, + "grad_norm": 5.619246006011963, + "learning_rate": 1.2437373737373737e-06, + "loss": 6.26843376159668, + "step": 75375 + }, + { + "epoch": 0.1578, + "grad_norm": 5.810131072998047, + "learning_rate": 1.2434848484848486e-06, + "loss": 6.241746520996093, + "step": 75380 + }, + { + "epoch": 0.15785, + "grad_norm": 3.557060718536377, + "learning_rate": 1.2432323232323234e-06, + "loss": 6.259650039672851, + "step": 75385 + }, + { + "epoch": 0.1579, + "grad_norm": 4.624415874481201, + "learning_rate": 1.242979797979798e-06, + "loss": 6.2498424530029295, + "step": 75390 + }, + { + "epoch": 0.15795, + "grad_norm": 3.6395368576049805, + "learning_rate": 1.2427272727272729e-06, + "loss": 6.293640899658203, + "step": 75395 + }, + { + "epoch": 0.158, + "grad_norm": 5.772538661956787, + "learning_rate": 1.2424747474747475e-06, + "loss": 6.2561485290527346, + "step": 75400 + }, + { + "epoch": 0.15805, + "grad_norm": 5.7110595703125, + "learning_rate": 1.2422222222222224e-06, + "loss": 6.252012634277344, + "step": 75405 + }, + { + "epoch": 0.1581, + "grad_norm": 6.649394989013672, + "learning_rate": 1.241969696969697e-06, + "loss": 6.20811653137207, + "step": 75410 + }, + { + "epoch": 0.15815, + "grad_norm": 4.594396591186523, + "learning_rate": 1.2417171717171718e-06, + "loss": 6.228930282592773, + "step": 75415 + }, + { + "epoch": 0.1582, + "grad_norm": 6.914183616638184, + "learning_rate": 1.2414646464646465e-06, + "loss": 6.260160064697265, + "step": 75420 + }, + { + "epoch": 0.15825, + "grad_norm": 3.7778615951538086, + "learning_rate": 1.2412121212121213e-06, + "loss": 6.213476181030273, + "step": 75425 + }, + { + "epoch": 0.1583, + "grad_norm": 10.568780899047852, + "learning_rate": 1.240959595959596e-06, + "loss": 6.3797870635986325, + "step": 75430 + }, + { + "epoch": 0.15835, + "grad_norm": 11.425265312194824, + "learning_rate": 1.2407070707070708e-06, + "loss": 6.238298797607422, + "step": 75435 + }, + { + "epoch": 0.1584, + "grad_norm": 8.472023010253906, + "learning_rate": 1.2404545454545456e-06, + "loss": 6.24048080444336, + "step": 75440 + }, + { + "epoch": 0.15845, + "grad_norm": 4.381643295288086, + "learning_rate": 1.2402020202020202e-06, + "loss": 6.25023193359375, + "step": 75445 + }, + { + "epoch": 0.1585, + "grad_norm": 16.300722122192383, + "learning_rate": 1.239949494949495e-06, + "loss": 6.254934692382813, + "step": 75450 + }, + { + "epoch": 0.15855, + "grad_norm": 9.558006286621094, + "learning_rate": 1.2396969696969697e-06, + "loss": 6.260816192626953, + "step": 75455 + }, + { + "epoch": 0.1586, + "grad_norm": 12.093559265136719, + "learning_rate": 1.2394444444444446e-06, + "loss": 6.308939743041992, + "step": 75460 + }, + { + "epoch": 0.15865, + "grad_norm": 4.8466339111328125, + "learning_rate": 1.2391919191919192e-06, + "loss": 6.202334594726563, + "step": 75465 + }, + { + "epoch": 0.1587, + "grad_norm": 5.133594512939453, + "learning_rate": 1.238939393939394e-06, + "loss": 6.237519454956055, + "step": 75470 + }, + { + "epoch": 0.15875, + "grad_norm": 16.94546890258789, + "learning_rate": 1.2386868686868687e-06, + "loss": 6.280222702026367, + "step": 75475 + }, + { + "epoch": 0.1588, + "grad_norm": 5.964803695678711, + "learning_rate": 1.2384343434343435e-06, + "loss": 6.259177398681641, + "step": 75480 + }, + { + "epoch": 0.15885, + "grad_norm": 6.220442771911621, + "learning_rate": 1.2381818181818183e-06, + "loss": 6.221588897705078, + "step": 75485 + }, + { + "epoch": 0.1589, + "grad_norm": 8.469977378845215, + "learning_rate": 1.237929292929293e-06, + "loss": 6.223221969604492, + "step": 75490 + }, + { + "epoch": 0.15895, + "grad_norm": 4.975347995758057, + "learning_rate": 1.2376767676767678e-06, + "loss": 6.267742538452149, + "step": 75495 + }, + { + "epoch": 0.159, + "grad_norm": 5.534213066101074, + "learning_rate": 1.2374242424242424e-06, + "loss": 6.253791809082031, + "step": 75500 + }, + { + "epoch": 0.15905, + "grad_norm": 4.86947774887085, + "learning_rate": 1.2371717171717173e-06, + "loss": 6.224187850952148, + "step": 75505 + }, + { + "epoch": 0.1591, + "grad_norm": 4.8647613525390625, + "learning_rate": 1.236919191919192e-06, + "loss": 6.248656463623047, + "step": 75510 + }, + { + "epoch": 0.15915, + "grad_norm": 4.665765285491943, + "learning_rate": 1.2366666666666668e-06, + "loss": 6.249026489257813, + "step": 75515 + }, + { + "epoch": 0.1592, + "grad_norm": 6.106312274932861, + "learning_rate": 1.2364141414141414e-06, + "loss": 6.208988952636719, + "step": 75520 + }, + { + "epoch": 0.15925, + "grad_norm": 4.368300437927246, + "learning_rate": 1.2361616161616162e-06, + "loss": 6.200542449951172, + "step": 75525 + }, + { + "epoch": 0.1593, + "grad_norm": 6.332970142364502, + "learning_rate": 1.2359090909090909e-06, + "loss": 6.1809131622314455, + "step": 75530 + }, + { + "epoch": 0.15935, + "grad_norm": 5.8734130859375, + "learning_rate": 1.2356565656565657e-06, + "loss": 6.215363693237305, + "step": 75535 + }, + { + "epoch": 0.1594, + "grad_norm": 9.698541641235352, + "learning_rate": 1.2354040404040405e-06, + "loss": 6.241461944580078, + "step": 75540 + }, + { + "epoch": 0.15945, + "grad_norm": 4.7526655197143555, + "learning_rate": 1.2351515151515152e-06, + "loss": 6.16010856628418, + "step": 75545 + }, + { + "epoch": 0.1595, + "grad_norm": 9.28890609741211, + "learning_rate": 1.23489898989899e-06, + "loss": 6.265209197998047, + "step": 75550 + }, + { + "epoch": 0.15955, + "grad_norm": 5.223910808563232, + "learning_rate": 1.2346464646464649e-06, + "loss": 6.209152603149414, + "step": 75555 + }, + { + "epoch": 0.1596, + "grad_norm": 6.150954246520996, + "learning_rate": 1.2343939393939395e-06, + "loss": 6.231588745117188, + "step": 75560 + }, + { + "epoch": 0.15965, + "grad_norm": 7.107594013214111, + "learning_rate": 1.2341414141414143e-06, + "loss": 6.218454742431641, + "step": 75565 + }, + { + "epoch": 0.1597, + "grad_norm": 4.206393241882324, + "learning_rate": 1.233888888888889e-06, + "loss": 6.276154327392578, + "step": 75570 + }, + { + "epoch": 0.15975, + "grad_norm": 7.003544807434082, + "learning_rate": 1.2336363636363638e-06, + "loss": 6.240028381347656, + "step": 75575 + }, + { + "epoch": 0.1598, + "grad_norm": 5.300146102905273, + "learning_rate": 1.2333838383838386e-06, + "loss": 6.2784576416015625, + "step": 75580 + }, + { + "epoch": 0.15985, + "grad_norm": 9.84379768371582, + "learning_rate": 1.2331313131313133e-06, + "loss": 6.3011116027832035, + "step": 75585 + }, + { + "epoch": 0.1599, + "grad_norm": 4.619462013244629, + "learning_rate": 1.2328787878787881e-06, + "loss": 6.242176818847656, + "step": 75590 + }, + { + "epoch": 0.15995, + "grad_norm": 21.64238929748535, + "learning_rate": 1.2326262626262627e-06, + "loss": 6.534483337402344, + "step": 75595 + }, + { + "epoch": 0.16, + "grad_norm": 34.567569732666016, + "learning_rate": 1.2323737373737376e-06, + "loss": 6.214157485961914, + "step": 75600 + }, + { + "epoch": 0.16005, + "grad_norm": 4.574034690856934, + "learning_rate": 1.2321212121212122e-06, + "loss": 6.2265571594238285, + "step": 75605 + }, + { + "epoch": 0.1601, + "grad_norm": 5.816732406616211, + "learning_rate": 1.231868686868687e-06, + "loss": 6.252611923217773, + "step": 75610 + }, + { + "epoch": 0.16015, + "grad_norm": 5.197467803955078, + "learning_rate": 1.2316161616161617e-06, + "loss": 6.204755783081055, + "step": 75615 + }, + { + "epoch": 0.1602, + "grad_norm": 8.0764741897583, + "learning_rate": 1.2313636363636365e-06, + "loss": 6.151495361328125, + "step": 75620 + }, + { + "epoch": 0.16025, + "grad_norm": 4.342720031738281, + "learning_rate": 1.2311111111111112e-06, + "loss": 6.2311866760253904, + "step": 75625 + }, + { + "epoch": 0.1603, + "grad_norm": 10.79515266418457, + "learning_rate": 1.230858585858586e-06, + "loss": 6.209868240356445, + "step": 75630 + }, + { + "epoch": 0.16035, + "grad_norm": 3.531212329864502, + "learning_rate": 1.2306060606060608e-06, + "loss": 6.184176254272461, + "step": 75635 + }, + { + "epoch": 0.1604, + "grad_norm": 5.105765342712402, + "learning_rate": 1.2303535353535355e-06, + "loss": 6.2170257568359375, + "step": 75640 + }, + { + "epoch": 0.16045, + "grad_norm": 3.314887523651123, + "learning_rate": 1.2301010101010103e-06, + "loss": 6.207878494262696, + "step": 75645 + }, + { + "epoch": 0.1605, + "grad_norm": 4.504886627197266, + "learning_rate": 1.229848484848485e-06, + "loss": 6.236207580566406, + "step": 75650 + }, + { + "epoch": 0.16055, + "grad_norm": 7.077663898468018, + "learning_rate": 1.2295959595959598e-06, + "loss": 6.218576049804687, + "step": 75655 + }, + { + "epoch": 0.1606, + "grad_norm": 5.024385929107666, + "learning_rate": 1.2293434343434344e-06, + "loss": 6.226555252075196, + "step": 75660 + }, + { + "epoch": 0.16065, + "grad_norm": 2.9647343158721924, + "learning_rate": 1.2290909090909093e-06, + "loss": 6.278777313232422, + "step": 75665 + }, + { + "epoch": 0.1607, + "grad_norm": 8.324501991271973, + "learning_rate": 1.2288383838383839e-06, + "loss": 6.353342437744141, + "step": 75670 + }, + { + "epoch": 0.16075, + "grad_norm": 3.7377865314483643, + "learning_rate": 1.2285858585858587e-06, + "loss": 6.188668060302734, + "step": 75675 + }, + { + "epoch": 0.1608, + "grad_norm": 5.959318161010742, + "learning_rate": 1.2283333333333334e-06, + "loss": 6.213443756103516, + "step": 75680 + }, + { + "epoch": 0.16085, + "grad_norm": 6.945539474487305, + "learning_rate": 1.2280808080808082e-06, + "loss": 6.34049072265625, + "step": 75685 + }, + { + "epoch": 0.1609, + "grad_norm": 5.659703254699707, + "learning_rate": 1.227828282828283e-06, + "loss": 6.219380950927734, + "step": 75690 + }, + { + "epoch": 0.16095, + "grad_norm": 5.713063716888428, + "learning_rate": 1.2275757575757577e-06, + "loss": 6.241762161254883, + "step": 75695 + }, + { + "epoch": 0.161, + "grad_norm": 6.939210891723633, + "learning_rate": 1.2273232323232325e-06, + "loss": 6.228340911865234, + "step": 75700 + }, + { + "epoch": 0.16105, + "grad_norm": 8.688322067260742, + "learning_rate": 1.2270707070707071e-06, + "loss": 6.220810317993164, + "step": 75705 + }, + { + "epoch": 0.1611, + "grad_norm": 6.199443340301514, + "learning_rate": 1.226818181818182e-06, + "loss": 6.224296569824219, + "step": 75710 + }, + { + "epoch": 0.16115, + "grad_norm": 6.372860431671143, + "learning_rate": 1.2265656565656566e-06, + "loss": 6.326523971557617, + "step": 75715 + }, + { + "epoch": 0.1612, + "grad_norm": 6.2038421630859375, + "learning_rate": 1.2263131313131315e-06, + "loss": 6.237415313720703, + "step": 75720 + }, + { + "epoch": 0.16125, + "grad_norm": 3.666438102722168, + "learning_rate": 1.226060606060606e-06, + "loss": 6.2288330078125, + "step": 75725 + }, + { + "epoch": 0.1613, + "grad_norm": 4.810835361480713, + "learning_rate": 1.225808080808081e-06, + "loss": 6.2471153259277346, + "step": 75730 + }, + { + "epoch": 0.16135, + "grad_norm": 4.745327472686768, + "learning_rate": 1.2255555555555556e-06, + "loss": 6.207925796508789, + "step": 75735 + }, + { + "epoch": 0.1614, + "grad_norm": 6.035501480102539, + "learning_rate": 1.2253030303030304e-06, + "loss": 6.243111801147461, + "step": 75740 + }, + { + "epoch": 0.16145, + "grad_norm": 5.04922342300415, + "learning_rate": 1.2250505050505052e-06, + "loss": 6.239986801147461, + "step": 75745 + }, + { + "epoch": 0.1615, + "grad_norm": 6.267117500305176, + "learning_rate": 1.2247979797979799e-06, + "loss": 6.227577209472656, + "step": 75750 + }, + { + "epoch": 0.16155, + "grad_norm": 5.060290813446045, + "learning_rate": 1.2245454545454547e-06, + "loss": 6.2534538269042965, + "step": 75755 + }, + { + "epoch": 0.1616, + "grad_norm": 18.71457290649414, + "learning_rate": 1.2242929292929293e-06, + "loss": 6.332928466796875, + "step": 75760 + }, + { + "epoch": 0.16165, + "grad_norm": 5.184547424316406, + "learning_rate": 1.2240404040404042e-06, + "loss": 6.307101058959961, + "step": 75765 + }, + { + "epoch": 0.1617, + "grad_norm": 6.999083995819092, + "learning_rate": 1.2237878787878788e-06, + "loss": 6.183119201660157, + "step": 75770 + }, + { + "epoch": 0.16175, + "grad_norm": 6.046182155609131, + "learning_rate": 1.2235353535353537e-06, + "loss": 6.2597404479980465, + "step": 75775 + }, + { + "epoch": 0.1618, + "grad_norm": 5.406234264373779, + "learning_rate": 1.2232828282828283e-06, + "loss": 6.27038345336914, + "step": 75780 + }, + { + "epoch": 0.16185, + "grad_norm": 5.902841567993164, + "learning_rate": 1.2230303030303031e-06, + "loss": 6.188706970214843, + "step": 75785 + }, + { + "epoch": 0.1619, + "grad_norm": 11.259592056274414, + "learning_rate": 1.2227777777777778e-06, + "loss": 6.3180595397949215, + "step": 75790 + }, + { + "epoch": 0.16195, + "grad_norm": 6.817213535308838, + "learning_rate": 1.2225252525252526e-06, + "loss": 6.230636215209961, + "step": 75795 + }, + { + "epoch": 0.162, + "grad_norm": 4.135263919830322, + "learning_rate": 1.2222727272727274e-06, + "loss": 6.284294891357422, + "step": 75800 + }, + { + "epoch": 0.16205, + "grad_norm": 3.5220115184783936, + "learning_rate": 1.222020202020202e-06, + "loss": 6.226583480834961, + "step": 75805 + }, + { + "epoch": 0.1621, + "grad_norm": 5.2956862449646, + "learning_rate": 1.221767676767677e-06, + "loss": 6.245886611938476, + "step": 75810 + }, + { + "epoch": 0.16215, + "grad_norm": 6.754693984985352, + "learning_rate": 1.2215151515151516e-06, + "loss": 6.224676132202148, + "step": 75815 + }, + { + "epoch": 0.1622, + "grad_norm": 4.568908214569092, + "learning_rate": 1.2212626262626264e-06, + "loss": 6.194143676757813, + "step": 75820 + }, + { + "epoch": 0.16225, + "grad_norm": 5.778822422027588, + "learning_rate": 1.221010101010101e-06, + "loss": 6.176654434204101, + "step": 75825 + }, + { + "epoch": 0.1623, + "grad_norm": 5.099380016326904, + "learning_rate": 1.2207575757575759e-06, + "loss": 6.236127090454102, + "step": 75830 + }, + { + "epoch": 0.16235, + "grad_norm": 4.714526653289795, + "learning_rate": 1.2205050505050505e-06, + "loss": 6.243751525878906, + "step": 75835 + }, + { + "epoch": 0.1624, + "grad_norm": 5.741721153259277, + "learning_rate": 1.2202525252525253e-06, + "loss": 6.1920616149902346, + "step": 75840 + }, + { + "epoch": 0.16245, + "grad_norm": 16.085254669189453, + "learning_rate": 1.2200000000000002e-06, + "loss": 6.427898406982422, + "step": 75845 + }, + { + "epoch": 0.1625, + "grad_norm": 5.73773717880249, + "learning_rate": 1.2197474747474748e-06, + "loss": 6.2380859375, + "step": 75850 + }, + { + "epoch": 0.16255, + "grad_norm": 7.83579683303833, + "learning_rate": 1.2194949494949496e-06, + "loss": 6.244665145874023, + "step": 75855 + }, + { + "epoch": 0.1626, + "grad_norm": 21.109460830688477, + "learning_rate": 1.2192424242424243e-06, + "loss": 6.249995422363281, + "step": 75860 + }, + { + "epoch": 0.16265, + "grad_norm": 6.65559196472168, + "learning_rate": 1.2189898989898991e-06, + "loss": 6.2860759735107425, + "step": 75865 + }, + { + "epoch": 0.1627, + "grad_norm": 4.089727878570557, + "learning_rate": 1.2187373737373738e-06, + "loss": 6.2269126892089846, + "step": 75870 + }, + { + "epoch": 0.16275, + "grad_norm": 6.1708550453186035, + "learning_rate": 1.2184848484848486e-06, + "loss": 6.2152565002441404, + "step": 75875 + }, + { + "epoch": 0.1628, + "grad_norm": 4.102262496948242, + "learning_rate": 1.2182323232323232e-06, + "loss": 6.2602794647216795, + "step": 75880 + }, + { + "epoch": 0.16285, + "grad_norm": 8.303638458251953, + "learning_rate": 1.217979797979798e-06, + "loss": 6.354499435424804, + "step": 75885 + }, + { + "epoch": 0.1629, + "grad_norm": 6.004108428955078, + "learning_rate": 1.2177272727272727e-06, + "loss": 6.288310623168945, + "step": 75890 + }, + { + "epoch": 0.16295, + "grad_norm": 5.171757221221924, + "learning_rate": 1.2174747474747475e-06, + "loss": 6.1981040954589846, + "step": 75895 + }, + { + "epoch": 0.163, + "grad_norm": 17.573617935180664, + "learning_rate": 1.2172222222222224e-06, + "loss": 6.3806205749511715, + "step": 75900 + }, + { + "epoch": 0.16305, + "grad_norm": 5.227954387664795, + "learning_rate": 1.216969696969697e-06, + "loss": 6.214947509765625, + "step": 75905 + }, + { + "epoch": 0.1631, + "grad_norm": 4.339335918426514, + "learning_rate": 1.2167171717171719e-06, + "loss": 6.292198181152344, + "step": 75910 + }, + { + "epoch": 0.16315, + "grad_norm": 7.022764682769775, + "learning_rate": 1.2164646464646465e-06, + "loss": 6.246692657470703, + "step": 75915 + }, + { + "epoch": 0.1632, + "grad_norm": 7.414557933807373, + "learning_rate": 1.2162121212121213e-06, + "loss": 6.249967193603515, + "step": 75920 + }, + { + "epoch": 0.16325, + "grad_norm": 5.16168212890625, + "learning_rate": 1.215959595959596e-06, + "loss": 6.212811660766602, + "step": 75925 + }, + { + "epoch": 0.1633, + "grad_norm": 7.420509338378906, + "learning_rate": 1.2157070707070708e-06, + "loss": 6.153585815429688, + "step": 75930 + }, + { + "epoch": 0.16335, + "grad_norm": 9.485564231872559, + "learning_rate": 1.2154545454545454e-06, + "loss": 6.284300231933594, + "step": 75935 + }, + { + "epoch": 0.1634, + "grad_norm": 5.3045244216918945, + "learning_rate": 1.2152020202020203e-06, + "loss": 6.2874092102050785, + "step": 75940 + }, + { + "epoch": 0.16345, + "grad_norm": 4.440707683563232, + "learning_rate": 1.214949494949495e-06, + "loss": 6.234646987915039, + "step": 75945 + }, + { + "epoch": 0.1635, + "grad_norm": 5.709773063659668, + "learning_rate": 1.2146969696969697e-06, + "loss": 6.208148574829101, + "step": 75950 + }, + { + "epoch": 0.16355, + "grad_norm": 14.392989158630371, + "learning_rate": 1.2144444444444446e-06, + "loss": 6.255464172363281, + "step": 75955 + }, + { + "epoch": 0.1636, + "grad_norm": 3.3113880157470703, + "learning_rate": 1.2141919191919192e-06, + "loss": 6.257605743408203, + "step": 75960 + }, + { + "epoch": 0.16365, + "grad_norm": 4.209521770477295, + "learning_rate": 1.213939393939394e-06, + "loss": 6.233726501464844, + "step": 75965 + }, + { + "epoch": 0.1637, + "grad_norm": 7.040538787841797, + "learning_rate": 1.2136868686868687e-06, + "loss": 6.497767639160156, + "step": 75970 + }, + { + "epoch": 0.16375, + "grad_norm": 7.275787830352783, + "learning_rate": 1.2134343434343435e-06, + "loss": 6.241238403320312, + "step": 75975 + }, + { + "epoch": 0.1638, + "grad_norm": 5.314579486846924, + "learning_rate": 1.2131818181818184e-06, + "loss": 6.237210845947265, + "step": 75980 + }, + { + "epoch": 0.16385, + "grad_norm": 5.956376552581787, + "learning_rate": 1.212929292929293e-06, + "loss": 6.2295997619628904, + "step": 75985 + }, + { + "epoch": 0.1639, + "grad_norm": 5.258864879608154, + "learning_rate": 1.2126767676767678e-06, + "loss": 6.2080738067626955, + "step": 75990 + }, + { + "epoch": 0.16395, + "grad_norm": 5.162792682647705, + "learning_rate": 1.2124242424242427e-06, + "loss": 6.243452072143555, + "step": 75995 + }, + { + "epoch": 0.164, + "grad_norm": 7.038429260253906, + "learning_rate": 1.2121717171717173e-06, + "loss": 6.297326278686524, + "step": 76000 + }, + { + "epoch": 0.16405, + "grad_norm": 6.952173233032227, + "learning_rate": 1.2119191919191922e-06, + "loss": 6.199296569824218, + "step": 76005 + }, + { + "epoch": 0.1641, + "grad_norm": 6.2600417137146, + "learning_rate": 1.2116666666666668e-06, + "loss": 6.231483840942383, + "step": 76010 + }, + { + "epoch": 0.16415, + "grad_norm": 25.13971710205078, + "learning_rate": 1.2114141414141416e-06, + "loss": 6.3986766815185545, + "step": 76015 + }, + { + "epoch": 0.1642, + "grad_norm": 5.963688850402832, + "learning_rate": 1.2111616161616163e-06, + "loss": 6.2738292694091795, + "step": 76020 + }, + { + "epoch": 0.16425, + "grad_norm": 5.791244029998779, + "learning_rate": 1.210909090909091e-06, + "loss": 6.245751953125, + "step": 76025 + }, + { + "epoch": 0.1643, + "grad_norm": 5.052264213562012, + "learning_rate": 1.2106565656565657e-06, + "loss": 6.186773681640625, + "step": 76030 + }, + { + "epoch": 0.16435, + "grad_norm": 6.530547142028809, + "learning_rate": 1.2104040404040406e-06, + "loss": 6.1919807434082035, + "step": 76035 + }, + { + "epoch": 0.1644, + "grad_norm": 21.545804977416992, + "learning_rate": 1.2101515151515152e-06, + "loss": 6.571453094482422, + "step": 76040 + }, + { + "epoch": 0.16445, + "grad_norm": 6.939615249633789, + "learning_rate": 1.20989898989899e-06, + "loss": 6.2610626220703125, + "step": 76045 + }, + { + "epoch": 0.1645, + "grad_norm": 10.541024208068848, + "learning_rate": 1.2096464646464649e-06, + "loss": 6.377774810791015, + "step": 76050 + }, + { + "epoch": 0.16455, + "grad_norm": 18.062576293945312, + "learning_rate": 1.2093939393939395e-06, + "loss": 6.223469161987305, + "step": 76055 + }, + { + "epoch": 0.1646, + "grad_norm": 4.13922119140625, + "learning_rate": 1.2091414141414144e-06, + "loss": 6.208523559570312, + "step": 76060 + }, + { + "epoch": 0.16465, + "grad_norm": 11.57026195526123, + "learning_rate": 1.208888888888889e-06, + "loss": 6.371451568603516, + "step": 76065 + }, + { + "epoch": 0.1647, + "grad_norm": 6.082940101623535, + "learning_rate": 1.2086363636363638e-06, + "loss": 6.247600555419922, + "step": 76070 + }, + { + "epoch": 0.16475, + "grad_norm": 6.433895111083984, + "learning_rate": 1.2083838383838385e-06, + "loss": 6.3032268524169925, + "step": 76075 + }, + { + "epoch": 0.1648, + "grad_norm": 6.996480464935303, + "learning_rate": 1.2081313131313133e-06, + "loss": 6.218159103393555, + "step": 76080 + }, + { + "epoch": 0.16485, + "grad_norm": 9.57541275024414, + "learning_rate": 1.207878787878788e-06, + "loss": 6.219036102294922, + "step": 76085 + }, + { + "epoch": 0.1649, + "grad_norm": 5.245524883270264, + "learning_rate": 1.2076262626262628e-06, + "loss": 6.216851043701172, + "step": 76090 + }, + { + "epoch": 0.16495, + "grad_norm": 5.830862045288086, + "learning_rate": 1.2073737373737374e-06, + "loss": 6.202058410644531, + "step": 76095 + }, + { + "epoch": 0.165, + "grad_norm": 6.034179210662842, + "learning_rate": 1.2071212121212122e-06, + "loss": 6.207172775268555, + "step": 76100 + }, + { + "epoch": 0.16505, + "grad_norm": 5.014467239379883, + "learning_rate": 1.206868686868687e-06, + "loss": 6.268409347534179, + "step": 76105 + }, + { + "epoch": 0.1651, + "grad_norm": 6.297733306884766, + "learning_rate": 1.2066161616161617e-06, + "loss": 6.203469085693359, + "step": 76110 + }, + { + "epoch": 0.16515, + "grad_norm": 15.821343421936035, + "learning_rate": 1.2063636363636366e-06, + "loss": 6.2624259948730465, + "step": 76115 + }, + { + "epoch": 0.1652, + "grad_norm": 7.744136333465576, + "learning_rate": 1.2061111111111112e-06, + "loss": 6.236600112915039, + "step": 76120 + }, + { + "epoch": 0.16525, + "grad_norm": 6.48860502243042, + "learning_rate": 1.205858585858586e-06, + "loss": 6.262626266479492, + "step": 76125 + }, + { + "epoch": 0.1653, + "grad_norm": 8.276586532592773, + "learning_rate": 1.2056060606060607e-06, + "loss": 6.246722412109375, + "step": 76130 + }, + { + "epoch": 0.16535, + "grad_norm": 9.970539093017578, + "learning_rate": 1.2053535353535355e-06, + "loss": 6.221017456054687, + "step": 76135 + }, + { + "epoch": 0.1654, + "grad_norm": 6.051907539367676, + "learning_rate": 1.2051010101010101e-06, + "loss": 6.203687286376953, + "step": 76140 + }, + { + "epoch": 0.16545, + "grad_norm": 5.3925652503967285, + "learning_rate": 1.204848484848485e-06, + "loss": 6.244287109375, + "step": 76145 + }, + { + "epoch": 0.1655, + "grad_norm": 7.337137222290039, + "learning_rate": 1.2045959595959596e-06, + "loss": 6.175638198852539, + "step": 76150 + }, + { + "epoch": 0.16555, + "grad_norm": 5.947591781616211, + "learning_rate": 1.2043434343434344e-06, + "loss": 6.234101867675781, + "step": 76155 + }, + { + "epoch": 0.1656, + "grad_norm": 12.142390251159668, + "learning_rate": 1.2040909090909093e-06, + "loss": 6.264815139770508, + "step": 76160 + }, + { + "epoch": 0.16565, + "grad_norm": 5.5345139503479, + "learning_rate": 1.203838383838384e-06, + "loss": 6.248451232910156, + "step": 76165 + }, + { + "epoch": 0.1657, + "grad_norm": 5.947760581970215, + "learning_rate": 1.2035858585858588e-06, + "loss": 6.379930877685547, + "step": 76170 + }, + { + "epoch": 0.16575, + "grad_norm": 8.020411491394043, + "learning_rate": 1.2033333333333334e-06, + "loss": 6.211217880249023, + "step": 76175 + }, + { + "epoch": 0.1658, + "grad_norm": 5.970745086669922, + "learning_rate": 1.2030808080808082e-06, + "loss": 6.253725051879883, + "step": 76180 + }, + { + "epoch": 0.16585, + "grad_norm": 9.724008560180664, + "learning_rate": 1.2028282828282829e-06, + "loss": 6.2963825225830075, + "step": 76185 + }, + { + "epoch": 0.1659, + "grad_norm": 6.96956729888916, + "learning_rate": 1.2025757575757577e-06, + "loss": 6.22994384765625, + "step": 76190 + }, + { + "epoch": 0.16595, + "grad_norm": 10.932524681091309, + "learning_rate": 1.2023232323232323e-06, + "loss": 6.239582824707031, + "step": 76195 + }, + { + "epoch": 0.166, + "grad_norm": 5.800020217895508, + "learning_rate": 1.2020707070707072e-06, + "loss": 6.260361862182617, + "step": 76200 + }, + { + "epoch": 0.16605, + "grad_norm": 14.612014770507812, + "learning_rate": 1.201818181818182e-06, + "loss": 6.257643508911133, + "step": 76205 + }, + { + "epoch": 0.1661, + "grad_norm": 4.958982467651367, + "learning_rate": 1.2015656565656566e-06, + "loss": 6.233529663085937, + "step": 76210 + }, + { + "epoch": 0.16615, + "grad_norm": 13.169255256652832, + "learning_rate": 1.2013131313131315e-06, + "loss": 6.308760070800782, + "step": 76215 + }, + { + "epoch": 0.1662, + "grad_norm": 5.949330806732178, + "learning_rate": 1.2010606060606061e-06, + "loss": 6.219233703613281, + "step": 76220 + }, + { + "epoch": 0.16625, + "grad_norm": 4.841281890869141, + "learning_rate": 1.200808080808081e-06, + "loss": 6.220286178588867, + "step": 76225 + }, + { + "epoch": 0.1663, + "grad_norm": 5.23755407333374, + "learning_rate": 1.2005555555555556e-06, + "loss": 6.18877067565918, + "step": 76230 + }, + { + "epoch": 0.16635, + "grad_norm": 8.817583084106445, + "learning_rate": 1.2003030303030304e-06, + "loss": 6.231939315795898, + "step": 76235 + }, + { + "epoch": 0.1664, + "grad_norm": 5.3878631591796875, + "learning_rate": 1.200050505050505e-06, + "loss": 6.252736282348633, + "step": 76240 + }, + { + "epoch": 0.16645, + "grad_norm": 4.349515438079834, + "learning_rate": 1.19979797979798e-06, + "loss": 6.2482139587402346, + "step": 76245 + }, + { + "epoch": 0.1665, + "grad_norm": 8.36505126953125, + "learning_rate": 1.1995454545454545e-06, + "loss": 6.291033554077148, + "step": 76250 + }, + { + "epoch": 0.16655, + "grad_norm": 6.003873348236084, + "learning_rate": 1.1992929292929294e-06, + "loss": 6.246479415893555, + "step": 76255 + }, + { + "epoch": 0.1666, + "grad_norm": 8.506495475769043, + "learning_rate": 1.1990404040404042e-06, + "loss": 6.259516906738281, + "step": 76260 + }, + { + "epoch": 0.16665, + "grad_norm": 12.457499504089355, + "learning_rate": 1.1987878787878788e-06, + "loss": 6.272107315063477, + "step": 76265 + }, + { + "epoch": 0.1667, + "grad_norm": 5.8012871742248535, + "learning_rate": 1.1985353535353537e-06, + "loss": 6.201502990722656, + "step": 76270 + }, + { + "epoch": 0.16675, + "grad_norm": 5.135997772216797, + "learning_rate": 1.1982828282828283e-06, + "loss": 6.238021469116211, + "step": 76275 + }, + { + "epoch": 0.1668, + "grad_norm": 25.800588607788086, + "learning_rate": 1.1980303030303032e-06, + "loss": 6.51892318725586, + "step": 76280 + }, + { + "epoch": 0.16685, + "grad_norm": 6.832269191741943, + "learning_rate": 1.1977777777777778e-06, + "loss": 6.230094909667969, + "step": 76285 + }, + { + "epoch": 0.1669, + "grad_norm": 7.044804573059082, + "learning_rate": 1.1975252525252526e-06, + "loss": 6.2927001953125, + "step": 76290 + }, + { + "epoch": 0.16695, + "grad_norm": 5.469159126281738, + "learning_rate": 1.1972727272727273e-06, + "loss": 6.198987579345703, + "step": 76295 + }, + { + "epoch": 0.167, + "grad_norm": 5.4324564933776855, + "learning_rate": 1.197020202020202e-06, + "loss": 6.2489501953125, + "step": 76300 + }, + { + "epoch": 0.16705, + "grad_norm": 28.08213233947754, + "learning_rate": 1.1967676767676767e-06, + "loss": 6.2841541290283205, + "step": 76305 + }, + { + "epoch": 0.1671, + "grad_norm": 4.397571086883545, + "learning_rate": 1.1965151515151516e-06, + "loss": 6.224627685546875, + "step": 76310 + }, + { + "epoch": 0.16715, + "grad_norm": 4.2860026359558105, + "learning_rate": 1.1962626262626264e-06, + "loss": 6.250120544433594, + "step": 76315 + }, + { + "epoch": 0.1672, + "grad_norm": 5.710602283477783, + "learning_rate": 1.196010101010101e-06, + "loss": 6.195205307006836, + "step": 76320 + }, + { + "epoch": 0.16725, + "grad_norm": 14.549528121948242, + "learning_rate": 1.1957575757575759e-06, + "loss": 6.277894973754883, + "step": 76325 + }, + { + "epoch": 0.1673, + "grad_norm": 6.0468645095825195, + "learning_rate": 1.1955050505050505e-06, + "loss": 6.366886138916016, + "step": 76330 + }, + { + "epoch": 0.16735, + "grad_norm": 10.532063484191895, + "learning_rate": 1.1952525252525254e-06, + "loss": 6.2227325439453125, + "step": 76335 + }, + { + "epoch": 0.1674, + "grad_norm": 22.290809631347656, + "learning_rate": 1.195e-06, + "loss": 6.279832077026367, + "step": 76340 + }, + { + "epoch": 0.16745, + "grad_norm": 5.825928211212158, + "learning_rate": 1.1947474747474748e-06, + "loss": 6.246927642822266, + "step": 76345 + }, + { + "epoch": 0.1675, + "grad_norm": 4.07521915435791, + "learning_rate": 1.1944949494949495e-06, + "loss": 6.216015243530274, + "step": 76350 + }, + { + "epoch": 0.16755, + "grad_norm": 9.26401138305664, + "learning_rate": 1.1942424242424243e-06, + "loss": 6.287821197509766, + "step": 76355 + }, + { + "epoch": 0.1676, + "grad_norm": 11.581019401550293, + "learning_rate": 1.193989898989899e-06, + "loss": 6.231879043579101, + "step": 76360 + }, + { + "epoch": 0.16765, + "grad_norm": 12.815722465515137, + "learning_rate": 1.1937373737373738e-06, + "loss": 6.084149932861328, + "step": 76365 + }, + { + "epoch": 0.1677, + "grad_norm": 4.553281307220459, + "learning_rate": 1.1934848484848486e-06, + "loss": 6.297398376464844, + "step": 76370 + }, + { + "epoch": 0.16775, + "grad_norm": 8.311574935913086, + "learning_rate": 1.1932323232323233e-06, + "loss": 6.216790771484375, + "step": 76375 + }, + { + "epoch": 0.1678, + "grad_norm": 8.547215461730957, + "learning_rate": 1.192979797979798e-06, + "loss": 6.226951980590821, + "step": 76380 + }, + { + "epoch": 0.16785, + "grad_norm": 5.446493625640869, + "learning_rate": 1.1927272727272727e-06, + "loss": 6.248435974121094, + "step": 76385 + }, + { + "epoch": 0.1679, + "grad_norm": 5.994565010070801, + "learning_rate": 1.1924747474747476e-06, + "loss": 6.284016799926758, + "step": 76390 + }, + { + "epoch": 0.16795, + "grad_norm": 8.918450355529785, + "learning_rate": 1.1922222222222222e-06, + "loss": 6.243867111206055, + "step": 76395 + }, + { + "epoch": 0.168, + "grad_norm": 7.715800762176514, + "learning_rate": 1.191969696969697e-06, + "loss": 6.2330268859863285, + "step": 76400 + }, + { + "epoch": 0.16805, + "grad_norm": 7.681880950927734, + "learning_rate": 1.1917171717171719e-06, + "loss": 6.245293426513672, + "step": 76405 + }, + { + "epoch": 0.1681, + "grad_norm": 6.321917533874512, + "learning_rate": 1.1914646464646467e-06, + "loss": 6.348214340209961, + "step": 76410 + }, + { + "epoch": 0.16815, + "grad_norm": 4.439499855041504, + "learning_rate": 1.1912121212121214e-06, + "loss": 6.272935485839843, + "step": 76415 + }, + { + "epoch": 0.1682, + "grad_norm": 7.301117420196533, + "learning_rate": 1.1909595959595962e-06, + "loss": 6.231130981445313, + "step": 76420 + }, + { + "epoch": 0.16825, + "grad_norm": 5.0750508308410645, + "learning_rate": 1.1907070707070708e-06, + "loss": 6.222492218017578, + "step": 76425 + }, + { + "epoch": 0.1683, + "grad_norm": 6.881435871124268, + "learning_rate": 1.1904545454545457e-06, + "loss": 6.303968811035157, + "step": 76430 + }, + { + "epoch": 0.16835, + "grad_norm": 10.987617492675781, + "learning_rate": 1.1902020202020203e-06, + "loss": 6.2170154571533205, + "step": 76435 + }, + { + "epoch": 0.1684, + "grad_norm": 3.8712854385375977, + "learning_rate": 1.1899494949494951e-06, + "loss": 6.250242614746094, + "step": 76440 + }, + { + "epoch": 0.16845, + "grad_norm": 4.825461387634277, + "learning_rate": 1.1896969696969698e-06, + "loss": 6.272250747680664, + "step": 76445 + }, + { + "epoch": 0.1685, + "grad_norm": 6.567546367645264, + "learning_rate": 1.1894444444444446e-06, + "loss": 6.228774642944336, + "step": 76450 + }, + { + "epoch": 0.16855, + "grad_norm": 4.955061912536621, + "learning_rate": 1.1891919191919192e-06, + "loss": 6.215934371948242, + "step": 76455 + }, + { + "epoch": 0.1686, + "grad_norm": 8.251968383789062, + "learning_rate": 1.188939393939394e-06, + "loss": 6.231398391723633, + "step": 76460 + }, + { + "epoch": 0.16865, + "grad_norm": 6.296323299407959, + "learning_rate": 1.188686868686869e-06, + "loss": 6.2507881164550785, + "step": 76465 + }, + { + "epoch": 0.1687, + "grad_norm": 6.05072021484375, + "learning_rate": 1.1884343434343436e-06, + "loss": 6.185202789306641, + "step": 76470 + }, + { + "epoch": 0.16875, + "grad_norm": 40.84956359863281, + "learning_rate": 1.1881818181818184e-06, + "loss": 6.212310791015625, + "step": 76475 + }, + { + "epoch": 0.1688, + "grad_norm": 4.7977094650268555, + "learning_rate": 1.187929292929293e-06, + "loss": 6.2153068542480465, + "step": 76480 + }, + { + "epoch": 0.16885, + "grad_norm": 4.49822998046875, + "learning_rate": 1.1876767676767679e-06, + "loss": 6.450070190429687, + "step": 76485 + }, + { + "epoch": 0.1689, + "grad_norm": 5.724848747253418, + "learning_rate": 1.1874242424242425e-06, + "loss": 6.277370452880859, + "step": 76490 + }, + { + "epoch": 0.16895, + "grad_norm": 5.26506233215332, + "learning_rate": 1.1871717171717173e-06, + "loss": 6.2194068908691404, + "step": 76495 + }, + { + "epoch": 0.169, + "grad_norm": 6.052298545837402, + "learning_rate": 1.186919191919192e-06, + "loss": 6.345171356201172, + "step": 76500 + }, + { + "epoch": 0.16905, + "grad_norm": 9.596378326416016, + "learning_rate": 1.1866666666666668e-06, + "loss": 6.236267471313477, + "step": 76505 + }, + { + "epoch": 0.1691, + "grad_norm": 3.99934720993042, + "learning_rate": 1.1864141414141414e-06, + "loss": 6.231280517578125, + "step": 76510 + }, + { + "epoch": 0.16915, + "grad_norm": 11.7384614944458, + "learning_rate": 1.1861616161616163e-06, + "loss": 6.232776641845703, + "step": 76515 + }, + { + "epoch": 0.1692, + "grad_norm": 5.669408798217773, + "learning_rate": 1.1859090909090911e-06, + "loss": 6.120367813110351, + "step": 76520 + }, + { + "epoch": 0.16925, + "grad_norm": 3.2827038764953613, + "learning_rate": 1.1856565656565658e-06, + "loss": 6.194318389892578, + "step": 76525 + }, + { + "epoch": 0.1693, + "grad_norm": 8.520268440246582, + "learning_rate": 1.1854040404040406e-06, + "loss": 6.285604476928711, + "step": 76530 + }, + { + "epoch": 0.16935, + "grad_norm": 5.127617359161377, + "learning_rate": 1.1851515151515152e-06, + "loss": 6.23932113647461, + "step": 76535 + }, + { + "epoch": 0.1694, + "grad_norm": 12.674568176269531, + "learning_rate": 1.18489898989899e-06, + "loss": 6.279071426391601, + "step": 76540 + }, + { + "epoch": 0.16945, + "grad_norm": 7.22168493270874, + "learning_rate": 1.1846464646464647e-06, + "loss": 6.272966766357422, + "step": 76545 + }, + { + "epoch": 0.1695, + "grad_norm": 3.203972578048706, + "learning_rate": 1.1843939393939395e-06, + "loss": 6.19160270690918, + "step": 76550 + }, + { + "epoch": 0.16955, + "grad_norm": 4.238882541656494, + "learning_rate": 1.1841414141414142e-06, + "loss": 6.225872802734375, + "step": 76555 + }, + { + "epoch": 0.1696, + "grad_norm": 7.414513111114502, + "learning_rate": 1.183888888888889e-06, + "loss": 6.298076629638672, + "step": 76560 + }, + { + "epoch": 0.16965, + "grad_norm": 4.938249111175537, + "learning_rate": 1.1836363636363639e-06, + "loss": 6.240488433837891, + "step": 76565 + }, + { + "epoch": 0.1697, + "grad_norm": 3.616589307785034, + "learning_rate": 1.1833838383838385e-06, + "loss": 6.232953643798828, + "step": 76570 + }, + { + "epoch": 0.16975, + "grad_norm": 4.65211820602417, + "learning_rate": 1.1831313131313133e-06, + "loss": 6.24490966796875, + "step": 76575 + }, + { + "epoch": 0.1698, + "grad_norm": 6.107354640960693, + "learning_rate": 1.182878787878788e-06, + "loss": 6.231362533569336, + "step": 76580 + }, + { + "epoch": 0.16985, + "grad_norm": 7.121214866638184, + "learning_rate": 1.1826262626262628e-06, + "loss": 6.230127334594727, + "step": 76585 + }, + { + "epoch": 0.1699, + "grad_norm": 8.680512428283691, + "learning_rate": 1.1823737373737374e-06, + "loss": 6.2316131591796875, + "step": 76590 + }, + { + "epoch": 0.16995, + "grad_norm": 4.794097900390625, + "learning_rate": 1.1821212121212123e-06, + "loss": 6.240266799926758, + "step": 76595 + }, + { + "epoch": 0.17, + "grad_norm": 7.495255470275879, + "learning_rate": 1.181868686868687e-06, + "loss": 6.243625640869141, + "step": 76600 + }, + { + "epoch": 0.17005, + "grad_norm": 6.412196159362793, + "learning_rate": 1.1816161616161617e-06, + "loss": 6.2037109375, + "step": 76605 + }, + { + "epoch": 0.1701, + "grad_norm": 5.605950832366943, + "learning_rate": 1.1813636363636364e-06, + "loss": 6.25317153930664, + "step": 76610 + }, + { + "epoch": 0.17015, + "grad_norm": 4.36215877532959, + "learning_rate": 1.1811111111111112e-06, + "loss": 6.252906799316406, + "step": 76615 + }, + { + "epoch": 0.1702, + "grad_norm": 3.4501256942749023, + "learning_rate": 1.180858585858586e-06, + "loss": 6.206050872802734, + "step": 76620 + }, + { + "epoch": 0.17025, + "grad_norm": 12.606247901916504, + "learning_rate": 1.1806060606060607e-06, + "loss": 6.738040924072266, + "step": 76625 + }, + { + "epoch": 0.1703, + "grad_norm": 7.6188788414001465, + "learning_rate": 1.1803535353535355e-06, + "loss": 6.255937576293945, + "step": 76630 + }, + { + "epoch": 0.17035, + "grad_norm": 8.408783912658691, + "learning_rate": 1.1801010101010102e-06, + "loss": 6.244535446166992, + "step": 76635 + }, + { + "epoch": 0.1704, + "grad_norm": 8.019062042236328, + "learning_rate": 1.179848484848485e-06, + "loss": 6.229003143310547, + "step": 76640 + }, + { + "epoch": 0.17045, + "grad_norm": 3.8503150939941406, + "learning_rate": 1.1795959595959596e-06, + "loss": 6.319132995605469, + "step": 76645 + }, + { + "epoch": 0.1705, + "grad_norm": 5.162674903869629, + "learning_rate": 1.1793434343434345e-06, + "loss": 6.2445625305175785, + "step": 76650 + }, + { + "epoch": 0.17055, + "grad_norm": 5.049015522003174, + "learning_rate": 1.179090909090909e-06, + "loss": 6.198622512817383, + "step": 76655 + }, + { + "epoch": 0.1706, + "grad_norm": 31.913400650024414, + "learning_rate": 1.178838383838384e-06, + "loss": 6.275890731811524, + "step": 76660 + }, + { + "epoch": 0.17065, + "grad_norm": 9.81215763092041, + "learning_rate": 1.1785858585858586e-06, + "loss": 6.231233215332031, + "step": 76665 + }, + { + "epoch": 0.1707, + "grad_norm": 4.243008136749268, + "learning_rate": 1.1783333333333334e-06, + "loss": 6.280393981933594, + "step": 76670 + }, + { + "epoch": 0.17075, + "grad_norm": 4.132779121398926, + "learning_rate": 1.1780808080808083e-06, + "loss": 6.244886016845703, + "step": 76675 + }, + { + "epoch": 0.1708, + "grad_norm": 5.672957897186279, + "learning_rate": 1.1778282828282829e-06, + "loss": 6.232676696777344, + "step": 76680 + }, + { + "epoch": 0.17085, + "grad_norm": 5.93626070022583, + "learning_rate": 1.1775757575757577e-06, + "loss": 6.20739517211914, + "step": 76685 + }, + { + "epoch": 0.1709, + "grad_norm": 12.082473754882812, + "learning_rate": 1.1773232323232324e-06, + "loss": 6.502204895019531, + "step": 76690 + }, + { + "epoch": 0.17095, + "grad_norm": 6.949464797973633, + "learning_rate": 1.1770707070707072e-06, + "loss": 6.3496040344238285, + "step": 76695 + }, + { + "epoch": 0.171, + "grad_norm": 12.701355934143066, + "learning_rate": 1.1768181818181818e-06, + "loss": 6.215681457519532, + "step": 76700 + }, + { + "epoch": 0.17105, + "grad_norm": 6.45787239074707, + "learning_rate": 1.1765656565656567e-06, + "loss": 6.254242706298828, + "step": 76705 + }, + { + "epoch": 0.1711, + "grad_norm": 8.286921501159668, + "learning_rate": 1.1763131313131313e-06, + "loss": 6.220455932617187, + "step": 76710 + }, + { + "epoch": 0.17115, + "grad_norm": 10.692482948303223, + "learning_rate": 1.1760606060606061e-06, + "loss": 6.195799255371094, + "step": 76715 + }, + { + "epoch": 0.1712, + "grad_norm": 4.472867965698242, + "learning_rate": 1.1758080808080808e-06, + "loss": 6.270844650268555, + "step": 76720 + }, + { + "epoch": 0.17125, + "grad_norm": 4.633749485015869, + "learning_rate": 1.1755555555555556e-06, + "loss": 6.478636932373047, + "step": 76725 + }, + { + "epoch": 0.1713, + "grad_norm": 7.7024922370910645, + "learning_rate": 1.1753030303030305e-06, + "loss": 6.277113723754883, + "step": 76730 + }, + { + "epoch": 0.17135, + "grad_norm": 11.417915344238281, + "learning_rate": 1.175050505050505e-06, + "loss": 6.338034057617188, + "step": 76735 + }, + { + "epoch": 0.1714, + "grad_norm": 7.251706600189209, + "learning_rate": 1.17479797979798e-06, + "loss": 6.2490089416503904, + "step": 76740 + }, + { + "epoch": 0.17145, + "grad_norm": 4.929230690002441, + "learning_rate": 1.1745454545454546e-06, + "loss": 6.24151840209961, + "step": 76745 + }, + { + "epoch": 0.1715, + "grad_norm": 5.1977081298828125, + "learning_rate": 1.1742929292929294e-06, + "loss": 6.244397354125977, + "step": 76750 + }, + { + "epoch": 0.17155, + "grad_norm": 5.573616981506348, + "learning_rate": 1.174040404040404e-06, + "loss": 6.222430801391601, + "step": 76755 + }, + { + "epoch": 0.1716, + "grad_norm": 7.442543983459473, + "learning_rate": 1.1737878787878789e-06, + "loss": 6.229808807373047, + "step": 76760 + }, + { + "epoch": 0.17165, + "grad_norm": 28.578575134277344, + "learning_rate": 1.1735353535353535e-06, + "loss": 6.238621520996094, + "step": 76765 + }, + { + "epoch": 0.1717, + "grad_norm": 26.518896102905273, + "learning_rate": 1.1732828282828283e-06, + "loss": 6.32861213684082, + "step": 76770 + }, + { + "epoch": 0.17175, + "grad_norm": 19.20452117919922, + "learning_rate": 1.173030303030303e-06, + "loss": 6.205448913574219, + "step": 76775 + }, + { + "epoch": 0.1718, + "grad_norm": 49.408836364746094, + "learning_rate": 1.1727777777777778e-06, + "loss": 6.169350814819336, + "step": 76780 + }, + { + "epoch": 0.17185, + "grad_norm": 7.77352237701416, + "learning_rate": 1.1725252525252527e-06, + "loss": 6.2123558044433596, + "step": 76785 + }, + { + "epoch": 0.1719, + "grad_norm": 4.605600357055664, + "learning_rate": 1.1722727272727273e-06, + "loss": 6.241158294677734, + "step": 76790 + }, + { + "epoch": 0.17195, + "grad_norm": 7.824213981628418, + "learning_rate": 1.1720202020202021e-06, + "loss": 6.258676910400391, + "step": 76795 + }, + { + "epoch": 0.172, + "grad_norm": 7.159731864929199, + "learning_rate": 1.1717676767676768e-06, + "loss": 6.232947540283203, + "step": 76800 + }, + { + "epoch": 0.001, + "grad_norm": 5.325935363769531, + "learning_rate": 1.166717171717172e-06, + "loss": 6.277135009765625, + "step": 76900 + }, + { + "epoch": 0.002, + "grad_norm": 5.067817687988281, + "learning_rate": 1.1616666666666668e-06, + "loss": 6.306599731445313, + "step": 77000 + }, + { + "epoch": 0.003, + "grad_norm": 7.431005477905273, + "learning_rate": 1.1566161616161618e-06, + "loss": 6.321148681640625, + "step": 77100 + }, + { + "epoch": 0.004, + "grad_norm": 5.885525703430176, + "learning_rate": 1.1515656565656567e-06, + "loss": 6.304764404296875, + "step": 77200 + }, + { + "epoch": 0.005, + "grad_norm": 6.6994123458862305, + "learning_rate": 1.1465151515151516e-06, + "loss": 6.290416259765625, + "step": 77300 + }, + { + "epoch": 0.006, + "grad_norm": 3.146827220916748, + "learning_rate": 1.1414646464646466e-06, + "loss": 6.262575073242187, + "step": 77400 + }, + { + "epoch": 0.007, + "grad_norm": 7.762009143829346, + "learning_rate": 1.1364141414141415e-06, + "loss": 6.272303466796875, + "step": 77500 + }, + { + "epoch": 0.008, + "grad_norm": 5.467002868652344, + "learning_rate": 1.1313636363636364e-06, + "loss": 6.28575439453125, + "step": 77600 + }, + { + "epoch": 0.009, + "grad_norm": 4.156159400939941, + "learning_rate": 1.1263131313131316e-06, + "loss": 6.2598809814453125, + "step": 77700 + }, + { + "epoch": 0.01, + "grad_norm": 6.027379035949707, + "learning_rate": 1.1212626262626263e-06, + "loss": 6.280023193359375, + "step": 77800 + }, + { + "epoch": 0.011, + "grad_norm": 4.681583404541016, + "learning_rate": 1.1162121212121212e-06, + "loss": 6.289010620117187, + "step": 77900 + }, + { + "epoch": 0.012, + "grad_norm": 4.746392726898193, + "learning_rate": 1.1111616161616162e-06, + "loss": 6.28618896484375, + "step": 78000 + }, + { + "epoch": 0.0001, + "grad_norm": 13.831293106079102, + "learning_rate": 1.8e-07, + "loss": 6.25738754272461, + "step": 78010 + }, + { + "epoch": 0.0002, + "grad_norm": 5.434852600097656, + "learning_rate": 3.8e-07, + "loss": 6.229875564575195, + "step": 78020 + }, + { + "epoch": 0.0003, + "grad_norm": 5.03108549118042, + "learning_rate": 5.8e-07, + "loss": 6.280242919921875, + "step": 78030 + }, + { + "epoch": 0.0004, + "grad_norm": 3.0562851428985596, + "learning_rate": 7.8e-07, + "loss": 6.255479049682617, + "step": 78040 + }, + { + "epoch": 0.0005, + "grad_norm": 9.858650207519531, + "learning_rate": 9.8e-07, + "loss": 6.231929016113281, + "step": 78050 + }, + { + "epoch": 0.0006, + "grad_norm": 8.13047981262207, + "learning_rate": 1.18e-06, + "loss": 6.249365234375, + "step": 78060 + }, + { + "epoch": 0.0007, + "grad_norm": 10.772915840148926, + "learning_rate": 1.3800000000000001e-06, + "loss": 6.239860153198242, + "step": 78070 + }, + { + "epoch": 0.0008, + "grad_norm": 6.823290824890137, + "learning_rate": 1.5800000000000003e-06, + "loss": 6.212490844726562, + "step": 78080 + }, + { + "epoch": 0.0009, + "grad_norm": 6.4095916748046875, + "learning_rate": 1.7800000000000001e-06, + "loss": 6.222204971313476, + "step": 78090 + }, + { + "epoch": 0.001, + "grad_norm": 8.364444732666016, + "learning_rate": 1.98e-06, + "loss": 6.278558349609375, + "step": 78100 + }, + { + "epoch": 0.0011, + "grad_norm": 8.836404800415039, + "learning_rate": 2.1800000000000003e-06, + "loss": 6.294901275634766, + "step": 78110 + }, + { + "epoch": 0.0012, + "grad_norm": 9.267115592956543, + "learning_rate": 2.38e-06, + "loss": 6.21533203125, + "step": 78120 + }, + { + "epoch": 0.0013, + "grad_norm": 16.759416580200195, + "learning_rate": 2.5800000000000003e-06, + "loss": 6.2719074249267575, + "step": 78130 + }, + { + "epoch": 0.0014, + "grad_norm": 15.809864044189453, + "learning_rate": 2.78e-06, + "loss": 6.266093444824219, + "step": 78140 + }, + { + "epoch": 0.0015, + "grad_norm": 7.359900951385498, + "learning_rate": 2.9800000000000003e-06, + "loss": 6.182052230834961, + "step": 78150 + }, + { + "epoch": 0.0016, + "grad_norm": 13.689974784851074, + "learning_rate": 3.1800000000000005e-06, + "loss": 6.214759826660156, + "step": 78160 + }, + { + "epoch": 0.0017, + "grad_norm": 9.414170265197754, + "learning_rate": 3.38e-06, + "loss": 6.211700439453125, + "step": 78170 + }, + { + "epoch": 0.0018, + "grad_norm": 17.625696182250977, + "learning_rate": 3.58e-06, + "loss": 6.208622741699219, + "step": 78180 + }, + { + "epoch": 0.0019, + "grad_norm": 32.35793685913086, + "learning_rate": 3.7800000000000002e-06, + "loss": 6.312331771850586, + "step": 78190 + }, + { + "epoch": 0.002, + "grad_norm": 20.288366317749023, + "learning_rate": 3.98e-06, + "loss": 6.270192718505859, + "step": 78200 + }, + { + "epoch": 0.0021, + "grad_norm": 41.83295440673828, + "learning_rate": 4.18e-06, + "loss": 6.264197921752929, + "step": 78210 + }, + { + "epoch": 0.0022, + "grad_norm": 34.18258285522461, + "learning_rate": 4.38e-06, + "loss": 6.217342376708984, + "step": 78220 + }, + { + "epoch": 0.0023, + "grad_norm": 22.293800354003906, + "learning_rate": 4.58e-06, + "loss": 6.176754379272461, + "step": 78230 + }, + { + "epoch": 0.0024, + "grad_norm": 18.186948776245117, + "learning_rate": 4.780000000000001e-06, + "loss": 6.1969348907470705, + "step": 78240 + }, + { + "epoch": 0.0025, + "grad_norm": 36.656288146972656, + "learning_rate": 4.98e-06, + "loss": 6.2761798858642575, + "step": 78250 + }, + { + "epoch": 0.0026, + "grad_norm": 23.73198127746582, + "learning_rate": 5.18e-06, + "loss": 6.220414352416992, + "step": 78260 + }, + { + "epoch": 0.0027, + "grad_norm": 32.153228759765625, + "learning_rate": 5.38e-06, + "loss": 6.238127136230469, + "step": 78270 + }, + { + "epoch": 0.0028, + "grad_norm": 19.463003158569336, + "learning_rate": 5.580000000000001e-06, + "loss": 6.192630004882813, + "step": 78280 + }, + { + "epoch": 0.0029, + "grad_norm": 22.468446731567383, + "learning_rate": 5.78e-06, + "loss": 6.315469741821289, + "step": 78290 + }, + { + "epoch": 0.003, + "grad_norm": 17.94868278503418, + "learning_rate": 5.98e-06, + "loss": 6.3200019836425785, + "step": 78300 + }, + { + "epoch": 0.0031, + "grad_norm": 13.334260940551758, + "learning_rate": 6.18e-06, + "loss": 6.465155029296875, + "step": 78310 + }, + { + "epoch": 0.0032, + "grad_norm": 11.829285621643066, + "learning_rate": 6.38e-06, + "loss": 6.187746810913086, + "step": 78320 + }, + { + "epoch": 0.0033, + "grad_norm": 19.58742332458496, + "learning_rate": 6.58e-06, + "loss": 6.174218368530274, + "step": 78330 + }, + { + "epoch": 0.0034, + "grad_norm": 14.360065460205078, + "learning_rate": 6.78e-06, + "loss": 6.165006256103515, + "step": 78340 + }, + { + "epoch": 0.0035, + "grad_norm": 19.357784271240234, + "learning_rate": 6.98e-06, + "loss": 6.176294326782227, + "step": 78350 + }, + { + "epoch": 0.0036, + "grad_norm": 23.641145706176758, + "learning_rate": 7.180000000000001e-06, + "loss": 6.137590408325195, + "step": 78360 + }, + { + "epoch": 0.0037, + "grad_norm": 17.24037742614746, + "learning_rate": 7.3800000000000005e-06, + "loss": 6.153422546386719, + "step": 78370 + }, + { + "epoch": 0.0038, + "grad_norm": 18.96773338317871, + "learning_rate": 7.580000000000001e-06, + "loss": 6.136513137817383, + "step": 78380 + }, + { + "epoch": 0.0039, + "grad_norm": 14.598422050476074, + "learning_rate": 7.78e-06, + "loss": 6.105740737915039, + "step": 78390 + }, + { + "epoch": 0.004, + "grad_norm": 14.752056121826172, + "learning_rate": 7.98e-06, + "loss": 6.095166778564453, + "step": 78400 + }, + { + "epoch": 0.0041, + "grad_norm": 20.05882453918457, + "learning_rate": 8.18e-06, + "loss": 6.087274551391602, + "step": 78410 + }, + { + "epoch": 0.0042, + "grad_norm": 13.778268814086914, + "learning_rate": 8.380000000000001e-06, + "loss": 6.104154968261719, + "step": 78420 + }, + { + "epoch": 0.0043, + "grad_norm": 16.199426651000977, + "learning_rate": 8.580000000000001e-06, + "loss": 6.146556854248047, + "step": 78430 + }, + { + "epoch": 0.0044, + "grad_norm": 19.096878051757812, + "learning_rate": 8.78e-06, + "loss": 6.066572952270508, + "step": 78440 + }, + { + "epoch": 0.0045, + "grad_norm": 18.036277770996094, + "learning_rate": 8.98e-06, + "loss": 6.07025146484375, + "step": 78450 + }, + { + "epoch": 0.0046, + "grad_norm": 10.683009147644043, + "learning_rate": 9.180000000000002e-06, + "loss": 6.0315605163574215, + "step": 78460 + }, + { + "epoch": 0.0047, + "grad_norm": 14.032135963439941, + "learning_rate": 9.38e-06, + "loss": 6.014869308471679, + "step": 78470 + }, + { + "epoch": 0.0048, + "grad_norm": 23.035322189331055, + "learning_rate": 9.58e-06, + "loss": 6.018888092041015, + "step": 78480 + }, + { + "epoch": 0.0049, + "grad_norm": 13.094988822937012, + "learning_rate": 9.78e-06, + "loss": 6.195376205444336, + "step": 78490 + }, + { + "epoch": 0.005, + "grad_norm": 29.933177947998047, + "learning_rate": 9.980000000000001e-06, + "loss": 5.993812179565429, + "step": 78500 + }, + { + "epoch": 0.0051, + "grad_norm": 18.486473083496094, + "learning_rate": 1.018e-05, + "loss": 5.963929748535156, + "step": 78510 + }, + { + "epoch": 0.0052, + "grad_norm": 14.718317031860352, + "learning_rate": 1.038e-05, + "loss": 6.0145305633544925, + "step": 78520 + }, + { + "epoch": 0.0053, + "grad_norm": 24.83466339111328, + "learning_rate": 1.058e-05, + "loss": 5.9802391052246096, + "step": 78530 + }, + { + "epoch": 0.0054, + "grad_norm": 16.267728805541992, + "learning_rate": 1.0780000000000002e-05, + "loss": 5.929384231567383, + "step": 78540 + }, + { + "epoch": 0.0055, + "grad_norm": 11.732959747314453, + "learning_rate": 1.098e-05, + "loss": 5.956810379028321, + "step": 78550 + }, + { + "epoch": 0.0056, + "grad_norm": 18.43738555908203, + "learning_rate": 1.118e-05, + "loss": 5.968051910400391, + "step": 78560 + }, + { + "epoch": 0.0057, + "grad_norm": 12.559771537780762, + "learning_rate": 1.1380000000000001e-05, + "loss": 5.905082321166992, + "step": 78570 + }, + { + "epoch": 0.0058, + "grad_norm": 10.343229293823242, + "learning_rate": 1.1580000000000001e-05, + "loss": 5.8938743591308596, + "step": 78580 + }, + { + "epoch": 0.0059, + "grad_norm": 17.656749725341797, + "learning_rate": 1.178e-05, + "loss": 5.901334762573242, + "step": 78590 + }, + { + "epoch": 0.006, + "grad_norm": 13.118258476257324, + "learning_rate": 1.198e-05, + "loss": 5.881685256958008, + "step": 78600 + }, + { + "epoch": 0.0061, + "grad_norm": 15.699453353881836, + "learning_rate": 1.2180000000000002e-05, + "loss": 5.842811203002929, + "step": 78610 + }, + { + "epoch": 0.0062, + "grad_norm": 21.073495864868164, + "learning_rate": 1.238e-05, + "loss": 5.902508926391602, + "step": 78620 + }, + { + "epoch": 0.0063, + "grad_norm": 10.76048755645752, + "learning_rate": 1.258e-05, + "loss": 5.860686111450195, + "step": 78630 + }, + { + "epoch": 0.0064, + "grad_norm": 14.35180377960205, + "learning_rate": 1.278e-05, + "loss": 5.944111251831055, + "step": 78640 + }, + { + "epoch": 0.0065, + "grad_norm": 11.1992826461792, + "learning_rate": 1.2980000000000001e-05, + "loss": 5.802405166625976, + "step": 78650 + }, + { + "epoch": 0.0066, + "grad_norm": 9.87505054473877, + "learning_rate": 1.3180000000000001e-05, + "loss": 5.7846027374267575, + "step": 78660 + }, + { + "epoch": 0.0067, + "grad_norm": 12.658112525939941, + "learning_rate": 1.338e-05, + "loss": 5.7684375762939455, + "step": 78670 + }, + { + "epoch": 0.0068, + "grad_norm": 8.843621253967285, + "learning_rate": 1.358e-05, + "loss": 5.746451187133789, + "step": 78680 + }, + { + "epoch": 0.0069, + "grad_norm": 12.071161270141602, + "learning_rate": 1.3780000000000002e-05, + "loss": 5.739550018310547, + "step": 78690 + }, + { + "epoch": 0.007, + "grad_norm": 9.72649097442627, + "learning_rate": 1.3980000000000002e-05, + "loss": 5.704967498779297, + "step": 78700 + }, + { + "epoch": 0.0071, + "grad_norm": 15.297441482543945, + "learning_rate": 1.4180000000000001e-05, + "loss": 5.662594223022461, + "step": 78710 + }, + { + "epoch": 0.0072, + "grad_norm": 11.910374641418457, + "learning_rate": 1.4380000000000001e-05, + "loss": 5.727904510498047, + "step": 78720 + }, + { + "epoch": 0.0073, + "grad_norm": 20.780237197875977, + "learning_rate": 1.4580000000000003e-05, + "loss": 5.76818962097168, + "step": 78730 + }, + { + "epoch": 0.0074, + "grad_norm": 9.636930465698242, + "learning_rate": 1.4779999999999999e-05, + "loss": 5.669594573974609, + "step": 78740 + }, + { + "epoch": 0.0075, + "grad_norm": 8.19430160522461, + "learning_rate": 1.4979999999999999e-05, + "loss": 5.655058288574219, + "step": 78750 + }, + { + "epoch": 0.0076, + "grad_norm": 6.069611072540283, + "learning_rate": 1.518e-05, + "loss": 5.619614791870117, + "step": 78760 + }, + { + "epoch": 0.0077, + "grad_norm": 7.102042198181152, + "learning_rate": 1.538e-05, + "loss": 5.658396911621094, + "step": 78770 + }, + { + "epoch": 0.0078, + "grad_norm": 6.038002014160156, + "learning_rate": 1.558e-05, + "loss": 5.757386016845703, + "step": 78780 + }, + { + "epoch": 0.0079, + "grad_norm": 9.522271156311035, + "learning_rate": 1.578e-05, + "loss": 5.695059204101563, + "step": 78790 + }, + { + "epoch": 0.008, + "grad_norm": 7.115524768829346, + "learning_rate": 1.598e-05, + "loss": 5.577466583251953, + "step": 78800 + }, + { + "epoch": 0.0081, + "grad_norm": 6.765868663787842, + "learning_rate": 1.618e-05, + "loss": 5.541515350341797, + "step": 78810 + }, + { + "epoch": 0.0082, + "grad_norm": 10.673751831054688, + "learning_rate": 1.6380000000000002e-05, + "loss": 5.608538436889648, + "step": 78820 + }, + { + "epoch": 0.0083, + "grad_norm": 10.56566047668457, + "learning_rate": 1.658e-05, + "loss": 5.5947223663330075, + "step": 78830 + }, + { + "epoch": 0.0084, + "grad_norm": 7.5465264320373535, + "learning_rate": 1.6780000000000002e-05, + "loss": 5.577526473999024, + "step": 78840 + }, + { + "epoch": 0.0085, + "grad_norm": 7.476527214050293, + "learning_rate": 1.698e-05, + "loss": 5.548984146118164, + "step": 78850 + }, + { + "epoch": 0.0086, + "grad_norm": 7.920779228210449, + "learning_rate": 1.718e-05, + "loss": 5.509591293334961, + "step": 78860 + }, + { + "epoch": 0.0087, + "grad_norm": 8.084773063659668, + "learning_rate": 1.7380000000000003e-05, + "loss": 5.495907592773437, + "step": 78870 + }, + { + "epoch": 0.0088, + "grad_norm": 4.4232988357543945, + "learning_rate": 1.758e-05, + "loss": 5.467477798461914, + "step": 78880 + }, + { + "epoch": 0.0089, + "grad_norm": 6.381575107574463, + "learning_rate": 1.7780000000000003e-05, + "loss": 5.4616954803466795, + "step": 78890 + }, + { + "epoch": 0.009, + "grad_norm": 5.088339805603027, + "learning_rate": 1.798e-05, + "loss": 5.458164215087891, + "step": 78900 + }, + { + "epoch": 0.0091, + "grad_norm": 7.627932548522949, + "learning_rate": 1.818e-05, + "loss": 5.469063949584961, + "step": 78910 + }, + { + "epoch": 0.0092, + "grad_norm": 5.625033855438232, + "learning_rate": 1.838e-05, + "loss": 5.4588066101074215, + "step": 78920 + }, + { + "epoch": 0.0093, + "grad_norm": 5.196907043457031, + "learning_rate": 1.858e-05, + "loss": 5.425547027587891, + "step": 78930 + }, + { + "epoch": 0.0094, + "grad_norm": 7.5594587326049805, + "learning_rate": 1.878e-05, + "loss": 5.421227645874024, + "step": 78940 + }, + { + "epoch": 0.0095, + "grad_norm": 4.04423713684082, + "learning_rate": 1.898e-05, + "loss": 5.523548126220703, + "step": 78950 + }, + { + "epoch": 0.0096, + "grad_norm": 4.898789405822754, + "learning_rate": 1.918e-05, + "loss": 5.413890075683594, + "step": 78960 + }, + { + "epoch": 0.0097, + "grad_norm": 5.981982707977295, + "learning_rate": 1.938e-05, + "loss": 5.390898895263672, + "step": 78970 + }, + { + "epoch": 0.0098, + "grad_norm": 4.433288097381592, + "learning_rate": 1.9580000000000002e-05, + "loss": 5.394657897949219, + "step": 78980 + }, + { + "epoch": 0.0099, + "grad_norm": 5.7409257888793945, + "learning_rate": 1.978e-05, + "loss": 5.352289199829102, + "step": 78990 + }, + { + "epoch": 0.01, + "grad_norm": 4.7127485275268555, + "learning_rate": 1.9980000000000002e-05, + "loss": 5.387149047851563, + "step": 79000 + }, + { + "epoch": 0.0101, + "grad_norm": 5.740267276763916, + "learning_rate": 2.0180000000000003e-05, + "loss": 5.416493225097656, + "step": 79010 + }, + { + "epoch": 0.0102, + "grad_norm": 4.055177211761475, + "learning_rate": 2.038e-05, + "loss": 5.553731155395508, + "step": 79020 + }, + { + "epoch": 0.0103, + "grad_norm": 4.2837042808532715, + "learning_rate": 2.0580000000000003e-05, + "loss": 5.319791793823242, + "step": 79030 + }, + { + "epoch": 0.0104, + "grad_norm": 4.059365749359131, + "learning_rate": 2.078e-05, + "loss": 5.374584197998047, + "step": 79040 + }, + { + "epoch": 0.0105, + "grad_norm": 3.626437187194824, + "learning_rate": 2.098e-05, + "loss": 5.287915802001953, + "step": 79050 + }, + { + "epoch": 0.0106, + "grad_norm": 4.021815299987793, + "learning_rate": 2.118e-05, + "loss": 5.300275421142578, + "step": 79060 + }, + { + "epoch": 0.0107, + "grad_norm": 3.0267510414123535, + "learning_rate": 2.138e-05, + "loss": 5.306292724609375, + "step": 79070 + }, + { + "epoch": 0.0108, + "grad_norm": 3.8944857120513916, + "learning_rate": 2.158e-05, + "loss": 5.257094192504883, + "step": 79080 + }, + { + "epoch": 0.0109, + "grad_norm": 3.8396737575531006, + "learning_rate": 2.178e-05, + "loss": 5.258983993530274, + "step": 79090 + }, + { + "epoch": 0.011, + "grad_norm": 3.4545974731445312, + "learning_rate": 2.198e-05, + "loss": 5.271467971801758, + "step": 79100 + }, + { + "epoch": 0.0111, + "grad_norm": 3.3376893997192383, + "learning_rate": 2.218e-05, + "loss": 5.253792953491211, + "step": 79110 + }, + { + "epoch": 0.0112, + "grad_norm": 3.1432063579559326, + "learning_rate": 2.2380000000000003e-05, + "loss": 5.2273712158203125, + "step": 79120 + }, + { + "epoch": 0.0113, + "grad_norm": 2.61570405960083, + "learning_rate": 2.258e-05, + "loss": 5.188290023803711, + "step": 79130 + }, + { + "epoch": 0.0114, + "grad_norm": 2.953009605407715, + "learning_rate": 2.2780000000000002e-05, + "loss": 5.230261993408203, + "step": 79140 + }, + { + "epoch": 0.0115, + "grad_norm": 2.9995856285095215, + "learning_rate": 2.298e-05, + "loss": 5.192085266113281, + "step": 79150 + }, + { + "epoch": 0.0116, + "grad_norm": 2.939575672149658, + "learning_rate": 2.318e-05, + "loss": 5.265590667724609, + "step": 79160 + }, + { + "epoch": 0.0117, + "grad_norm": 2.654491901397705, + "learning_rate": 2.3380000000000003e-05, + "loss": 5.221822738647461, + "step": 79170 + }, + { + "epoch": 0.0118, + "grad_norm": 2.7023849487304688, + "learning_rate": 2.358e-05, + "loss": 5.260878372192383, + "step": 79180 + }, + { + "epoch": 0.0119, + "grad_norm": 2.9579830169677734, + "learning_rate": 2.3780000000000003e-05, + "loss": 5.188859176635742, + "step": 79190 + }, + { + "epoch": 0.012, + "grad_norm": 3.2710068225860596, + "learning_rate": 2.398e-05, + "loss": 5.186108779907227, + "step": 79200 + }, + { + "epoch": 0.0121, + "grad_norm": 2.8521430492401123, + "learning_rate": 2.418e-05, + "loss": 5.196657180786133, + "step": 79210 + }, + { + "epoch": 0.0122, + "grad_norm": 2.42059063911438, + "learning_rate": 2.438e-05, + "loss": 5.1253715515136715, + "step": 79220 + }, + { + "epoch": 0.0123, + "grad_norm": 2.6970036029815674, + "learning_rate": 2.4580000000000002e-05, + "loss": 5.09541130065918, + "step": 79230 + }, + { + "epoch": 0.0124, + "grad_norm": 2.1887121200561523, + "learning_rate": 2.478e-05, + "loss": 5.107755279541015, + "step": 79240 + }, + { + "epoch": 0.0125, + "grad_norm": 2.876920700073242, + "learning_rate": 2.498e-05, + "loss": 5.083759689331055, + "step": 79250 + }, + { + "epoch": 0.0126, + "grad_norm": 2.6807138919830322, + "learning_rate": 2.5180000000000003e-05, + "loss": 5.092090225219726, + "step": 79260 + }, + { + "epoch": 0.0127, + "grad_norm": 2.785169839859009, + "learning_rate": 2.5380000000000004e-05, + "loss": 5.085588455200195, + "step": 79270 + }, + { + "epoch": 0.0128, + "grad_norm": 2.68437123298645, + "learning_rate": 2.5580000000000002e-05, + "loss": 5.0093029022216795, + "step": 79280 + }, + { + "epoch": 0.0129, + "grad_norm": 2.302216053009033, + "learning_rate": 2.5779999999999997e-05, + "loss": 5.091044235229492, + "step": 79290 + }, + { + "epoch": 0.013, + "grad_norm": 2.686721086502075, + "learning_rate": 2.598e-05, + "loss": 5.021673965454101, + "step": 79300 + }, + { + "epoch": 0.0131, + "grad_norm": 2.0559897422790527, + "learning_rate": 2.618e-05, + "loss": 5.0074462890625, + "step": 79310 + }, + { + "epoch": 0.0132, + "grad_norm": 2.309727191925049, + "learning_rate": 2.6379999999999998e-05, + "loss": 5.061210632324219, + "step": 79320 + }, + { + "epoch": 0.0133, + "grad_norm": 2.9470717906951904, + "learning_rate": 2.658e-05, + "loss": 5.051780319213867, + "step": 79330 + }, + { + "epoch": 0.0134, + "grad_norm": 2.3843889236450195, + "learning_rate": 2.678e-05, + "loss": 4.9680931091308596, + "step": 79340 + }, + { + "epoch": 0.0135, + "grad_norm": 2.084409236907959, + "learning_rate": 2.698e-05, + "loss": 5.002963638305664, + "step": 79350 + }, + { + "epoch": 0.0136, + "grad_norm": 2.152895212173462, + "learning_rate": 2.718e-05, + "loss": 4.969459152221679, + "step": 79360 + }, + { + "epoch": 0.0137, + "grad_norm": 1.047629952430725, + "learning_rate": 2.738e-05, + "loss": 4.947771835327148, + "step": 79370 + }, + { + "epoch": 0.0138, + "grad_norm": 2.1405746936798096, + "learning_rate": 2.758e-05, + "loss": 4.985189819335938, + "step": 79380 + }, + { + "epoch": 0.0139, + "grad_norm": 2.1960415840148926, + "learning_rate": 2.778e-05, + "loss": 4.9476886749267575, + "step": 79390 + }, + { + "epoch": 0.014, + "grad_norm": 2.6127655506134033, + "learning_rate": 2.798e-05, + "loss": 4.921721649169922, + "step": 79400 + }, + { + "epoch": 0.0141, + "grad_norm": 1.6091228723526, + "learning_rate": 2.818e-05, + "loss": 5.143603515625, + "step": 79410 + }, + { + "epoch": 0.0142, + "grad_norm": 2.266418695449829, + "learning_rate": 2.8380000000000003e-05, + "loss": 5.016165161132813, + "step": 79420 + }, + { + "epoch": 0.0143, + "grad_norm": 1.9079009294509888, + "learning_rate": 2.858e-05, + "loss": 4.955899810791015, + "step": 79430 + }, + { + "epoch": 0.0144, + "grad_norm": 2.2210869789123535, + "learning_rate": 2.8780000000000002e-05, + "loss": 4.938759231567383, + "step": 79440 + }, + { + "epoch": 0.0145, + "grad_norm": 1.86758553981781, + "learning_rate": 2.898e-05, + "loss": 5.025225830078125, + "step": 79450 + }, + { + "epoch": 0.0146, + "grad_norm": 2.2474615573883057, + "learning_rate": 2.9180000000000002e-05, + "loss": 4.910765838623047, + "step": 79460 + }, + { + "epoch": 0.0147, + "grad_norm": 2.309957265853882, + "learning_rate": 2.9380000000000003e-05, + "loss": 4.8738445281982425, + "step": 79470 + }, + { + "epoch": 0.0148, + "grad_norm": 2.262937545776367, + "learning_rate": 2.958e-05, + "loss": 4.943482971191406, + "step": 79480 + }, + { + "epoch": 0.0149, + "grad_norm": 2.256162643432617, + "learning_rate": 2.9780000000000003e-05, + "loss": 5.068452835083008, + "step": 79490 + }, + { + "epoch": 0.015, + "grad_norm": 2.54862380027771, + "learning_rate": 2.998e-05, + "loss": 4.863506317138672, + "step": 79500 + }, + { + "epoch": 0.0151, + "grad_norm": 2.26631236076355, + "learning_rate": 3.0180000000000002e-05, + "loss": 4.840765762329101, + "step": 79510 + }, + { + "epoch": 0.0152, + "grad_norm": 1.5525401830673218, + "learning_rate": 3.0380000000000004e-05, + "loss": 4.899321365356445, + "step": 79520 + }, + { + "epoch": 0.0153, + "grad_norm": 2.2222964763641357, + "learning_rate": 3.058e-05, + "loss": 4.904487228393554, + "step": 79530 + }, + { + "epoch": 0.0154, + "grad_norm": 1.6886237859725952, + "learning_rate": 3.078e-05, + "loss": 4.864575958251953, + "step": 79540 + }, + { + "epoch": 0.0155, + "grad_norm": 1.7053600549697876, + "learning_rate": 3.0980000000000005e-05, + "loss": 4.789885711669922, + "step": 79550 + }, + { + "epoch": 0.0156, + "grad_norm": 1.458892822265625, + "learning_rate": 3.118e-05, + "loss": 4.851237106323242, + "step": 79560 + }, + { + "epoch": 0.0157, + "grad_norm": 1.9349397420883179, + "learning_rate": 3.138e-05, + "loss": 4.818837738037109, + "step": 79570 + }, + { + "epoch": 0.0158, + "grad_norm": 1.6734633445739746, + "learning_rate": 3.1580000000000006e-05, + "loss": 4.823519515991211, + "step": 79580 + }, + { + "epoch": 0.0159, + "grad_norm": 1.900466799736023, + "learning_rate": 3.1780000000000004e-05, + "loss": 4.830980682373047, + "step": 79590 + }, + { + "epoch": 0.016, + "grad_norm": 1.594581127166748, + "learning_rate": 3.198e-05, + "loss": 4.932279968261719, + "step": 79600 + }, + { + "epoch": 0.0161, + "grad_norm": 1.965193748474121, + "learning_rate": 3.218e-05, + "loss": 4.807279586791992, + "step": 79610 + }, + { + "epoch": 0.0162, + "grad_norm": 1.4386441707611084, + "learning_rate": 3.238e-05, + "loss": 4.813835144042969, + "step": 79620 + }, + { + "epoch": 0.0163, + "grad_norm": 1.7240893840789795, + "learning_rate": 3.2579999999999996e-05, + "loss": 4.7933910369873045, + "step": 79630 + }, + { + "epoch": 0.0164, + "grad_norm": 1.8781183958053589, + "learning_rate": 3.278e-05, + "loss": 4.788759994506836, + "step": 79640 + }, + { + "epoch": 0.0165, + "grad_norm": 1.3734517097473145, + "learning_rate": 3.298e-05, + "loss": 4.784089660644531, + "step": 79650 + }, + { + "epoch": 0.0166, + "grad_norm": 1.4845818281173706, + "learning_rate": 3.318e-05, + "loss": 4.775547790527344, + "step": 79660 + }, + { + "epoch": 0.0167, + "grad_norm": 1.5989508628845215, + "learning_rate": 3.338e-05, + "loss": 4.774301528930664, + "step": 79670 + }, + { + "epoch": 0.0168, + "grad_norm": 1.451206088066101, + "learning_rate": 3.358e-05, + "loss": 4.7411552429199215, + "step": 79680 + }, + { + "epoch": 0.0169, + "grad_norm": 1.2605071067810059, + "learning_rate": 3.378e-05, + "loss": 4.754336547851563, + "step": 79690 + }, + { + "epoch": 0.017, + "grad_norm": 1.235495924949646, + "learning_rate": 3.398e-05, + "loss": 4.744180297851562, + "step": 79700 + }, + { + "epoch": 0.0171, + "grad_norm": 1.4865126609802246, + "learning_rate": 3.418e-05, + "loss": 4.724196243286133, + "step": 79710 + }, + { + "epoch": 0.0172, + "grad_norm": 1.600272297859192, + "learning_rate": 3.438e-05, + "loss": 4.686580657958984, + "step": 79720 + }, + { + "epoch": 0.0173, + "grad_norm": 1.8734424114227295, + "learning_rate": 3.4580000000000004e-05, + "loss": 4.817763137817383, + "step": 79730 + }, + { + "epoch": 0.0174, + "grad_norm": 1.618775725364685, + "learning_rate": 3.478e-05, + "loss": 4.701865005493164, + "step": 79740 + }, + { + "epoch": 0.0175, + "grad_norm": 1.9350478649139404, + "learning_rate": 3.498e-05, + "loss": 4.791823196411133, + "step": 79750 + }, + { + "epoch": 0.0176, + "grad_norm": 1.5198490619659424, + "learning_rate": 3.518e-05, + "loss": 4.727080917358398, + "step": 79760 + }, + { + "epoch": 0.0177, + "grad_norm": 1.2485250234603882, + "learning_rate": 3.5380000000000003e-05, + "loss": 4.729285430908203, + "step": 79770 + }, + { + "epoch": 0.0178, + "grad_norm": 1.1380257606506348, + "learning_rate": 3.558e-05, + "loss": 4.681850433349609, + "step": 79780 + }, + { + "epoch": 0.0179, + "grad_norm": 1.163130521774292, + "learning_rate": 3.578e-05, + "loss": 4.684491729736328, + "step": 79790 + }, + { + "epoch": 0.018, + "grad_norm": 1.2136390209197998, + "learning_rate": 3.5980000000000004e-05, + "loss": 4.697042083740234, + "step": 79800 + }, + { + "epoch": 0.0181, + "grad_norm": 1.0268884897232056, + "learning_rate": 3.618e-05, + "loss": 4.675926208496094, + "step": 79810 + }, + { + "epoch": 0.0182, + "grad_norm": 1.3107571601867676, + "learning_rate": 3.638e-05, + "loss": 4.70428581237793, + "step": 79820 + }, + { + "epoch": 0.0183, + "grad_norm": 1.5012598037719727, + "learning_rate": 3.6580000000000006e-05, + "loss": 4.683891296386719, + "step": 79830 + }, + { + "epoch": 0.0184, + "grad_norm": 1.068357229232788, + "learning_rate": 3.6780000000000004e-05, + "loss": 4.661652755737305, + "step": 79840 + }, + { + "epoch": 0.0185, + "grad_norm": 1.4554474353790283, + "learning_rate": 3.698e-05, + "loss": 4.630062484741211, + "step": 79850 + }, + { + "epoch": 0.0186, + "grad_norm": 1.7133673429489136, + "learning_rate": 3.7180000000000007e-05, + "loss": 4.651305770874023, + "step": 79860 + }, + { + "epoch": 0.0187, + "grad_norm": 1.2922152280807495, + "learning_rate": 3.7380000000000005e-05, + "loss": 4.711663436889649, + "step": 79870 + }, + { + "epoch": 0.0188, + "grad_norm": 1.199976921081543, + "learning_rate": 3.758e-05, + "loss": 4.695935440063477, + "step": 79880 + }, + { + "epoch": 0.0189, + "grad_norm": 2.0232207775115967, + "learning_rate": 3.778000000000001e-05, + "loss": 4.5120391845703125, + "step": 79890 + }, + { + "epoch": 0.019, + "grad_norm": 1.2053391933441162, + "learning_rate": 3.7980000000000006e-05, + "loss": 4.6756591796875, + "step": 79900 + }, + { + "epoch": 0.0191, + "grad_norm": 1.392480731010437, + "learning_rate": 3.818e-05, + "loss": 4.598100280761718, + "step": 79910 + }, + { + "epoch": 0.0192, + "grad_norm": 1.1502047777175903, + "learning_rate": 3.838e-05, + "loss": 4.620033645629883, + "step": 79920 + }, + { + "epoch": 0.0193, + "grad_norm": 1.3657559156417847, + "learning_rate": 3.858e-05, + "loss": 4.627785110473633, + "step": 79930 + }, + { + "epoch": 0.0194, + "grad_norm": 1.410475730895996, + "learning_rate": 3.878e-05, + "loss": 4.702437210083008, + "step": 79940 + }, + { + "epoch": 0.0195, + "grad_norm": 1.2301191091537476, + "learning_rate": 3.898e-05, + "loss": 4.578351974487305, + "step": 79950 + }, + { + "epoch": 0.0196, + "grad_norm": 1.2482020854949951, + "learning_rate": 3.918e-05, + "loss": 4.633525466918945, + "step": 79960 + }, + { + "epoch": 0.0197, + "grad_norm": 0.9870690107345581, + "learning_rate": 3.938e-05, + "loss": 4.618231964111328, + "step": 79970 + }, + { + "epoch": 0.0198, + "grad_norm": 1.1585794687271118, + "learning_rate": 3.958e-05, + "loss": 4.550857925415039, + "step": 79980 + }, + { + "epoch": 0.0199, + "grad_norm": 0.9988259077072144, + "learning_rate": 3.978e-05, + "loss": 4.6564281463623045, + "step": 79990 + }, + { + "epoch": 0.02, + "grad_norm": 1.2768689393997192, + "learning_rate": 3.998e-05, + "loss": 4.589435195922851, + "step": 80000 + }, + { + "epoch": 0.0201, + "grad_norm": 1.2740956544876099, + "learning_rate": 4.018e-05, + "loss": 4.628123092651367, + "step": 80010 + }, + { + "epoch": 0.0202, + "grad_norm": 1.1608917713165283, + "learning_rate": 4.038e-05, + "loss": 4.567636871337891, + "step": 80020 + }, + { + "epoch": 0.0203, + "grad_norm": 1.2257567644119263, + "learning_rate": 4.058e-05, + "loss": 4.533962249755859, + "step": 80030 + }, + { + "epoch": 0.0204, + "grad_norm": 1.0351650714874268, + "learning_rate": 4.078e-05, + "loss": 4.524802398681641, + "step": 80040 + }, + { + "epoch": 0.0205, + "grad_norm": 1.0720527172088623, + "learning_rate": 4.0980000000000004e-05, + "loss": 4.528472900390625, + "step": 80050 + }, + { + "epoch": 0.0206, + "grad_norm": 2.390462636947632, + "learning_rate": 4.118e-05, + "loss": 4.653088760375977, + "step": 80060 + }, + { + "epoch": 0.0207, + "grad_norm": 1.2235627174377441, + "learning_rate": 4.138e-05, + "loss": 4.677774047851562, + "step": 80070 + }, + { + "epoch": 0.0208, + "grad_norm": 1.0535306930541992, + "learning_rate": 4.1580000000000005e-05, + "loss": 4.528578567504883, + "step": 80080 + }, + { + "epoch": 0.0209, + "grad_norm": 1.0980952978134155, + "learning_rate": 4.178e-05, + "loss": 4.540675354003906, + "step": 80090 + }, + { + "epoch": 0.021, + "grad_norm": 1.059409499168396, + "learning_rate": 4.198e-05, + "loss": 4.4876453399658205, + "step": 80100 + }, + { + "epoch": 0.0211, + "grad_norm": 1.1138412952423096, + "learning_rate": 4.2180000000000006e-05, + "loss": 4.4658466339111325, + "step": 80110 + }, + { + "epoch": 0.0212, + "grad_norm": 0.6996028423309326, + "learning_rate": 4.2380000000000004e-05, + "loss": 4.5030670166015625, + "step": 80120 + }, + { + "epoch": 0.0213, + "grad_norm": 2.4578969478607178, + "learning_rate": 4.258e-05, + "loss": 4.695986557006836, + "step": 80130 + }, + { + "epoch": 0.0214, + "grad_norm": 1.130741834640503, + "learning_rate": 4.278e-05, + "loss": 4.564279937744141, + "step": 80140 + }, + { + "epoch": 0.0215, + "grad_norm": 0.8312556147575378, + "learning_rate": 4.2980000000000005e-05, + "loss": 4.525263977050781, + "step": 80150 + }, + { + "epoch": 0.0216, + "grad_norm": 1.0220922231674194, + "learning_rate": 4.318e-05, + "loss": 4.473982238769532, + "step": 80160 + }, + { + "epoch": 0.0217, + "grad_norm": 1.0151786804199219, + "learning_rate": 4.338e-05, + "loss": 4.471885681152344, + "step": 80170 + }, + { + "epoch": 0.0218, + "grad_norm": 1.0880709886550903, + "learning_rate": 4.3580000000000006e-05, + "loss": 4.504767990112304, + "step": 80180 + }, + { + "epoch": 0.0219, + "grad_norm": 1.179359793663025, + "learning_rate": 4.3780000000000004e-05, + "loss": 4.528125, + "step": 80190 + }, + { + "epoch": 0.022, + "grad_norm": 0.9086615443229675, + "learning_rate": 4.398e-05, + "loss": 4.479424285888672, + "step": 80200 + }, + { + "epoch": 0.0221, + "grad_norm": 1.033979892730713, + "learning_rate": 4.418000000000001e-05, + "loss": 4.429480743408203, + "step": 80210 + }, + { + "epoch": 0.0222, + "grad_norm": 0.9205300807952881, + "learning_rate": 4.438e-05, + "loss": 4.485737609863281, + "step": 80220 + }, + { + "epoch": 0.0223, + "grad_norm": 0.9911152124404907, + "learning_rate": 4.458e-05, + "loss": 4.425294494628906, + "step": 80230 + }, + { + "epoch": 0.0224, + "grad_norm": 1.069217562675476, + "learning_rate": 4.478e-05, + "loss": 4.466315841674804, + "step": 80240 + }, + { + "epoch": 0.0225, + "grad_norm": 1.0082817077636719, + "learning_rate": 4.498e-05, + "loss": 4.445558166503906, + "step": 80250 + }, + { + "epoch": 0.0226, + "grad_norm": 1.190942406654358, + "learning_rate": 4.518e-05, + "loss": 4.48295783996582, + "step": 80260 + }, + { + "epoch": 0.0227, + "grad_norm": 0.8903585076332092, + "learning_rate": 4.538e-05, + "loss": 4.452038955688477, + "step": 80270 + }, + { + "epoch": 0.0228, + "grad_norm": 0.8489766120910645, + "learning_rate": 4.558e-05, + "loss": 4.419961547851562, + "step": 80280 + }, + { + "epoch": 0.0229, + "grad_norm": 0.9620883464813232, + "learning_rate": 4.578e-05, + "loss": 4.362897109985352, + "step": 80290 + }, + { + "epoch": 0.023, + "grad_norm": 0.8962896466255188, + "learning_rate": 4.5980000000000004e-05, + "loss": 4.362208557128906, + "step": 80300 + }, + { + "epoch": 0.0231, + "grad_norm": 1.035569667816162, + "learning_rate": 4.618e-05, + "loss": 4.370485305786133, + "step": 80310 + }, + { + "epoch": 0.0232, + "grad_norm": 0.9185439348220825, + "learning_rate": 4.638e-05, + "loss": 4.3609672546386715, + "step": 80320 + }, + { + "epoch": 0.0233, + "grad_norm": 0.9876886010169983, + "learning_rate": 4.6580000000000005e-05, + "loss": 4.39827880859375, + "step": 80330 + }, + { + "epoch": 0.0234, + "grad_norm": 0.9136462211608887, + "learning_rate": 4.678e-05, + "loss": 4.345404815673828, + "step": 80340 + }, + { + "epoch": 0.0235, + "grad_norm": 0.8449466824531555, + "learning_rate": 4.698e-05, + "loss": 4.4219707489013675, + "step": 80350 + }, + { + "epoch": 0.0236, + "grad_norm": 0.7947878837585449, + "learning_rate": 4.718e-05, + "loss": 4.331117248535156, + "step": 80360 + }, + { + "epoch": 0.0237, + "grad_norm": 0.992650032043457, + "learning_rate": 4.7380000000000004e-05, + "loss": 4.31458625793457, + "step": 80370 + }, + { + "epoch": 0.0238, + "grad_norm": 0.8988213539123535, + "learning_rate": 4.758e-05, + "loss": 4.340858078002929, + "step": 80380 + }, + { + "epoch": 0.0239, + "grad_norm": 0.8121524453163147, + "learning_rate": 4.778e-05, + "loss": 4.315187454223633, + "step": 80390 + }, + { + "epoch": 0.024, + "grad_norm": 0.8794443011283875, + "learning_rate": 4.7980000000000005e-05, + "loss": 4.3045696258544925, + "step": 80400 + }, + { + "epoch": 0.0241, + "grad_norm": 0.9218288660049438, + "learning_rate": 4.818e-05, + "loss": 4.339737319946289, + "step": 80410 + }, + { + "epoch": 0.0242, + "grad_norm": 0.8059577345848083, + "learning_rate": 4.838e-05, + "loss": 4.305084228515625, + "step": 80420 + }, + { + "epoch": 0.0243, + "grad_norm": 0.7854894995689392, + "learning_rate": 4.8580000000000006e-05, + "loss": 4.430810165405274, + "step": 80430 + }, + { + "epoch": 0.0244, + "grad_norm": 1.1295255422592163, + "learning_rate": 4.8780000000000004e-05, + "loss": 4.328108596801758, + "step": 80440 + }, + { + "epoch": 0.0245, + "grad_norm": 0.9596011638641357, + "learning_rate": 4.898e-05, + "loss": 4.30256462097168, + "step": 80450 + }, + { + "epoch": 0.0246, + "grad_norm": 0.8583745360374451, + "learning_rate": 4.918000000000001e-05, + "loss": 4.290711975097656, + "step": 80460 + }, + { + "epoch": 0.0247, + "grad_norm": 0.8017030954360962, + "learning_rate": 4.9380000000000005e-05, + "loss": 4.3108875274658205, + "step": 80470 + }, + { + "epoch": 0.0248, + "grad_norm": 0.7690845727920532, + "learning_rate": 4.958e-05, + "loss": 4.357697677612305, + "step": 80480 + }, + { + "epoch": 0.0249, + "grad_norm": 0.7710899114608765, + "learning_rate": 4.978e-05, + "loss": 4.2502796173095705, + "step": 80490 + }, + { + "epoch": 0.025, + "grad_norm": 1.1364080905914307, + "learning_rate": 4.9980000000000006e-05, + "loss": 4.317300796508789, + "step": 80500 + }, + { + "epoch": 0.0251, + "grad_norm": 0.880591869354248, + "learning_rate": 5.0180000000000004e-05, + "loss": 4.450421142578125, + "step": 80510 + }, + { + "epoch": 0.0252, + "grad_norm": 0.8420453071594238, + "learning_rate": 5.038e-05, + "loss": 4.29888687133789, + "step": 80520 + }, + { + "epoch": 0.0253, + "grad_norm": 0.7620976567268372, + "learning_rate": 5.058000000000001e-05, + "loss": 4.342173004150391, + "step": 80530 + }, + { + "epoch": 0.0254, + "grad_norm": 0.5715026259422302, + "learning_rate": 5.0780000000000005e-05, + "loss": 4.267873001098633, + "step": 80540 + }, + { + "epoch": 0.0255, + "grad_norm": 0.7940792441368103, + "learning_rate": 5.098e-05, + "loss": 4.267649841308594, + "step": 80550 + }, + { + "epoch": 0.0256, + "grad_norm": 0.8055289387702942, + "learning_rate": 5.118000000000001e-05, + "loss": 4.2085529327392575, + "step": 80560 + }, + { + "epoch": 0.0257, + "grad_norm": 0.7041337490081787, + "learning_rate": 5.1380000000000006e-05, + "loss": 4.229782485961914, + "step": 80570 + }, + { + "epoch": 0.0258, + "grad_norm": 0.7647186517715454, + "learning_rate": 5.1580000000000004e-05, + "loss": 4.323853302001953, + "step": 80580 + }, + { + "epoch": 0.0259, + "grad_norm": 0.7459456920623779, + "learning_rate": 5.178000000000001e-05, + "loss": 4.243249893188477, + "step": 80590 + }, + { + "epoch": 0.026, + "grad_norm": 0.7966719269752502, + "learning_rate": 5.198000000000001e-05, + "loss": 4.219022369384765, + "step": 80600 + }, + { + "epoch": 0.0261, + "grad_norm": 0.7073616981506348, + "learning_rate": 5.2180000000000005e-05, + "loss": 4.22697868347168, + "step": 80610 + }, + { + "epoch": 0.0262, + "grad_norm": 0.6936001777648926, + "learning_rate": 5.238000000000001e-05, + "loss": 4.236738586425782, + "step": 80620 + }, + { + "epoch": 0.0263, + "grad_norm": 0.6609569191932678, + "learning_rate": 5.258000000000001e-05, + "loss": 4.200273513793945, + "step": 80630 + }, + { + "epoch": 0.0264, + "grad_norm": 0.7582675218582153, + "learning_rate": 5.2780000000000006e-05, + "loss": 4.173809432983399, + "step": 80640 + }, + { + "epoch": 0.0265, + "grad_norm": 0.7489715218544006, + "learning_rate": 5.2980000000000004e-05, + "loss": 4.227204895019531, + "step": 80650 + }, + { + "epoch": 0.0266, + "grad_norm": 0.7459937334060669, + "learning_rate": 5.318000000000001e-05, + "loss": 4.191170120239258, + "step": 80660 + }, + { + "epoch": 0.0267, + "grad_norm": 0.6550440788269043, + "learning_rate": 5.338000000000001e-05, + "loss": 4.188927078247071, + "step": 80670 + }, + { + "epoch": 0.0268, + "grad_norm": 0.7738357186317444, + "learning_rate": 5.3580000000000005e-05, + "loss": 4.23632926940918, + "step": 80680 + }, + { + "epoch": 0.0269, + "grad_norm": 1.2643016576766968, + "learning_rate": 5.378e-05, + "loss": 4.218930435180664, + "step": 80690 + }, + { + "epoch": 0.027, + "grad_norm": 0.6486037969589233, + "learning_rate": 5.3979999999999995e-05, + "loss": 4.199253845214844, + "step": 80700 + }, + { + "epoch": 0.0271, + "grad_norm": 0.7528240084648132, + "learning_rate": 5.418e-05, + "loss": 4.211904144287109, + "step": 80710 + }, + { + "epoch": 0.0272, + "grad_norm": 0.8509882688522339, + "learning_rate": 5.438e-05, + "loss": 4.229808044433594, + "step": 80720 + }, + { + "epoch": 0.0273, + "grad_norm": 0.7237697839736938, + "learning_rate": 5.4579999999999996e-05, + "loss": 4.2085823059082035, + "step": 80730 + }, + { + "epoch": 0.0274, + "grad_norm": 0.7488872408866882, + "learning_rate": 5.478e-05, + "loss": 4.204967498779297, + "step": 80740 + }, + { + "epoch": 0.0275, + "grad_norm": 0.6420933604240417, + "learning_rate": 5.498e-05, + "loss": 4.146570205688477, + "step": 80750 + }, + { + "epoch": 0.0276, + "grad_norm": 0.6691610813140869, + "learning_rate": 5.518e-05, + "loss": 4.1503242492675785, + "step": 80760 + }, + { + "epoch": 0.0277, + "grad_norm": 0.6334725022315979, + "learning_rate": 5.538e-05, + "loss": 4.162997436523438, + "step": 80770 + }, + { + "epoch": 0.0278, + "grad_norm": 0.6345768570899963, + "learning_rate": 5.558e-05, + "loss": 4.1868431091308596, + "step": 80780 + }, + { + "epoch": 0.0279, + "grad_norm": 0.6303321123123169, + "learning_rate": 5.578e-05, + "loss": 4.147438430786133, + "step": 80790 + }, + { + "epoch": 0.028, + "grad_norm": 0.7453981637954712, + "learning_rate": 5.5979999999999996e-05, + "loss": 4.15161361694336, + "step": 80800 + }, + { + "epoch": 0.0281, + "grad_norm": 0.6000621318817139, + "learning_rate": 5.618e-05, + "loss": 4.302061080932617, + "step": 80810 + }, + { + "epoch": 0.0282, + "grad_norm": 0.6002620458602905, + "learning_rate": 5.638e-05, + "loss": 4.141644287109375, + "step": 80820 + }, + { + "epoch": 0.0283, + "grad_norm": 0.6249469518661499, + "learning_rate": 5.658e-05, + "loss": 4.155448150634766, + "step": 80830 + }, + { + "epoch": 0.0284, + "grad_norm": 0.609454333782196, + "learning_rate": 5.678e-05, + "loss": 4.173176956176758, + "step": 80840 + }, + { + "epoch": 0.0285, + "grad_norm": 0.5503066778182983, + "learning_rate": 5.698e-05, + "loss": 4.133391571044922, + "step": 80850 + }, + { + "epoch": 0.0286, + "grad_norm": 0.6895385980606079, + "learning_rate": 5.718e-05, + "loss": 4.163289260864258, + "step": 80860 + }, + { + "epoch": 0.0287, + "grad_norm": 0.5655317902565002, + "learning_rate": 5.738e-05, + "loss": 4.108301162719727, + "step": 80870 + }, + { + "epoch": 0.0288, + "grad_norm": 0.521626353263855, + "learning_rate": 5.758e-05, + "loss": 4.163860702514649, + "step": 80880 + }, + { + "epoch": 0.0289, + "grad_norm": 0.5978989601135254, + "learning_rate": 5.778e-05, + "loss": 4.084605407714844, + "step": 80890 + }, + { + "epoch": 0.029, + "grad_norm": 0.947877049446106, + "learning_rate": 5.7980000000000004e-05, + "loss": 4.201071929931641, + "step": 80900 + }, + { + "epoch": 0.0291, + "grad_norm": 0.6038442850112915, + "learning_rate": 5.818e-05, + "loss": 4.14214859008789, + "step": 80910 + }, + { + "epoch": 0.0292, + "grad_norm": 0.7941854596138, + "learning_rate": 5.838e-05, + "loss": 4.263940811157227, + "step": 80920 + }, + { + "epoch": 0.0293, + "grad_norm": 0.9320460557937622, + "learning_rate": 5.858e-05, + "loss": 4.203144836425781, + "step": 80930 + }, + { + "epoch": 0.0294, + "grad_norm": 0.657222330570221, + "learning_rate": 5.878e-05, + "loss": 4.157551574707031, + "step": 80940 + }, + { + "epoch": 0.0295, + "grad_norm": 0.5000120997428894, + "learning_rate": 5.898e-05, + "loss": 4.146945190429688, + "step": 80950 + }, + { + "epoch": 0.0296, + "grad_norm": 0.5449489951133728, + "learning_rate": 5.918e-05, + "loss": 4.212858963012695, + "step": 80960 + }, + { + "epoch": 0.0297, + "grad_norm": 0.5274266004562378, + "learning_rate": 5.9380000000000004e-05, + "loss": 4.057695770263672, + "step": 80970 + }, + { + "epoch": 0.0298, + "grad_norm": 0.5422614812850952, + "learning_rate": 5.958e-05, + "loss": 4.125976943969727, + "step": 80980 + }, + { + "epoch": 0.0299, + "grad_norm": 0.5549547672271729, + "learning_rate": 5.978e-05, + "loss": 4.0906017303466795, + "step": 80990 + }, + { + "epoch": 0.03, + "grad_norm": 0.6117221117019653, + "learning_rate": 5.9980000000000005e-05, + "loss": 4.112210845947265, + "step": 81000 + }, + { + "epoch": 0.0301, + "grad_norm": 0.5994063019752502, + "learning_rate": 6.018e-05, + "loss": 4.135273361206055, + "step": 81010 + }, + { + "epoch": 0.0302, + "grad_norm": 0.6089306473731995, + "learning_rate": 6.038e-05, + "loss": 4.110384368896485, + "step": 81020 + }, + { + "epoch": 0.0303, + "grad_norm": 0.5926423668861389, + "learning_rate": 6.0580000000000006e-05, + "loss": 4.0928184509277346, + "step": 81030 + }, + { + "epoch": 0.0304, + "grad_norm": 0.5345453023910522, + "learning_rate": 6.0780000000000004e-05, + "loss": 4.1174976348876955, + "step": 81040 + }, + { + "epoch": 0.0305, + "grad_norm": 0.5773014426231384, + "learning_rate": 6.098e-05, + "loss": 4.119912719726562, + "step": 81050 + }, + { + "epoch": 0.0306, + "grad_norm": 0.4978563189506531, + "learning_rate": 6.118000000000001e-05, + "loss": 4.133348846435547, + "step": 81060 + }, + { + "epoch": 0.0307, + "grad_norm": 0.8470102548599243, + "learning_rate": 6.138e-05, + "loss": 4.13293228149414, + "step": 81070 + }, + { + "epoch": 0.0308, + "grad_norm": 0.4249403774738312, + "learning_rate": 6.158e-05, + "loss": 4.089142990112305, + "step": 81080 + }, + { + "epoch": 0.0309, + "grad_norm": 0.5307182669639587, + "learning_rate": 6.178000000000001e-05, + "loss": 4.092873001098633, + "step": 81090 + }, + { + "epoch": 0.031, + "grad_norm": 0.5584889054298401, + "learning_rate": 6.198e-05, + "loss": 4.068823623657226, + "step": 81100 + }, + { + "epoch": 0.0311, + "grad_norm": 0.4920558035373688, + "learning_rate": 6.218e-05, + "loss": 4.0644794464111325, + "step": 81110 + }, + { + "epoch": 0.0312, + "grad_norm": 0.5747891664505005, + "learning_rate": 6.238000000000001e-05, + "loss": 4.061798858642578, + "step": 81120 + }, + { + "epoch": 0.0313, + "grad_norm": 0.5392170548439026, + "learning_rate": 6.258e-05, + "loss": 4.061770248413086, + "step": 81130 + }, + { + "epoch": 0.0314, + "grad_norm": 0.6029335260391235, + "learning_rate": 6.278e-05, + "loss": 4.085165405273438, + "step": 81140 + }, + { + "epoch": 0.0315, + "grad_norm": 1.3268107175827026, + "learning_rate": 6.298000000000001e-05, + "loss": 4.160947799682617, + "step": 81150 + }, + { + "epoch": 0.0316, + "grad_norm": 0.5485433340072632, + "learning_rate": 6.318e-05, + "loss": 4.145301437377929, + "step": 81160 + }, + { + "epoch": 0.0317, + "grad_norm": 0.5348362326622009, + "learning_rate": 6.338e-05, + "loss": 4.184476470947265, + "step": 81170 + }, + { + "epoch": 0.0318, + "grad_norm": 0.5437711477279663, + "learning_rate": 6.358000000000001e-05, + "loss": 4.0518444061279295, + "step": 81180 + }, + { + "epoch": 0.0319, + "grad_norm": 0.49510905146598816, + "learning_rate": 6.378e-05, + "loss": 4.085231018066406, + "step": 81190 + }, + { + "epoch": 0.032, + "grad_norm": 0.8949711918830872, + "learning_rate": 6.398000000000001e-05, + "loss": 4.088314819335937, + "step": 81200 + }, + { + "epoch": 0.0321, + "grad_norm": 0.5574071407318115, + "learning_rate": 6.418000000000001e-05, + "loss": 4.094241714477539, + "step": 81210 + }, + { + "epoch": 0.0322, + "grad_norm": 0.5345049500465393, + "learning_rate": 6.438e-05, + "loss": 4.084363174438477, + "step": 81220 + }, + { + "epoch": 0.0323, + "grad_norm": 0.46691396832466125, + "learning_rate": 6.458000000000001e-05, + "loss": 4.304480743408203, + "step": 81230 + }, + { + "epoch": 0.0324, + "grad_norm": 0.46952077746391296, + "learning_rate": 6.478000000000001e-05, + "loss": 4.041556930541992, + "step": 81240 + }, + { + "epoch": 0.0325, + "grad_norm": 0.5418161153793335, + "learning_rate": 6.498e-05, + "loss": 4.048797988891602, + "step": 81250 + }, + { + "epoch": 0.0326, + "grad_norm": 0.5095402002334595, + "learning_rate": 6.518000000000001e-05, + "loss": 3.977817916870117, + "step": 81260 + }, + { + "epoch": 0.0327, + "grad_norm": 1.460627555847168, + "learning_rate": 6.538000000000001e-05, + "loss": 4.230980682373047, + "step": 81270 + }, + { + "epoch": 0.0328, + "grad_norm": 0.5157870650291443, + "learning_rate": 6.558e-05, + "loss": 4.002996826171875, + "step": 81280 + }, + { + "epoch": 0.0329, + "grad_norm": 0.4919586181640625, + "learning_rate": 6.578000000000001e-05, + "loss": 4.109578704833984, + "step": 81290 + }, + { + "epoch": 0.033, + "grad_norm": 0.509157657623291, + "learning_rate": 6.598e-05, + "loss": 4.053997421264649, + "step": 81300 + }, + { + "epoch": 0.0331, + "grad_norm": 0.5989805459976196, + "learning_rate": 6.618e-05, + "loss": 4.0417320251464846, + "step": 81310 + }, + { + "epoch": 0.0332, + "grad_norm": 1.7693849802017212, + "learning_rate": 6.638e-05, + "loss": 4.178015518188476, + "step": 81320 + }, + { + "epoch": 0.0333, + "grad_norm": 0.6040340662002563, + "learning_rate": 6.658e-05, + "loss": 4.081357192993164, + "step": 81330 + }, + { + "epoch": 0.0334, + "grad_norm": 0.4969209134578705, + "learning_rate": 6.678e-05, + "loss": 4.078896713256836, + "step": 81340 + }, + { + "epoch": 0.0335, + "grad_norm": 0.4945206046104431, + "learning_rate": 6.698e-05, + "loss": 4.1484428405761715, + "step": 81350 + }, + { + "epoch": 0.0336, + "grad_norm": 0.6357508301734924, + "learning_rate": 6.718e-05, + "loss": 4.072774124145508, + "step": 81360 + }, + { + "epoch": 0.0337, + "grad_norm": 0.46380069851875305, + "learning_rate": 6.738e-05, + "loss": 4.012380981445313, + "step": 81370 + }, + { + "epoch": 0.0338, + "grad_norm": 0.4587346911430359, + "learning_rate": 6.758e-05, + "loss": 4.029714584350586, + "step": 81380 + }, + { + "epoch": 0.0339, + "grad_norm": 0.5019038319587708, + "learning_rate": 6.778e-05, + "loss": 3.995611572265625, + "step": 81390 + }, + { + "epoch": 0.034, + "grad_norm": 0.5282730460166931, + "learning_rate": 6.798e-05, + "loss": 4.0609893798828125, + "step": 81400 + }, + { + "epoch": 0.0341, + "grad_norm": 0.5124421119689941, + "learning_rate": 6.818e-05, + "loss": 4.021018600463867, + "step": 81410 + }, + { + "epoch": 0.0342, + "grad_norm": 0.4271531403064728, + "learning_rate": 6.838e-05, + "loss": 4.050865173339844, + "step": 81420 + }, + { + "epoch": 0.0343, + "grad_norm": 1.2954230308532715, + "learning_rate": 6.858e-05, + "loss": 4.144805526733398, + "step": 81430 + }, + { + "epoch": 0.0344, + "grad_norm": 0.49326351284980774, + "learning_rate": 6.878e-05, + "loss": 4.0962272644042965, + "step": 81440 + }, + { + "epoch": 0.0345, + "grad_norm": 0.49173876643180847, + "learning_rate": 6.898e-05, + "loss": 4.036347198486328, + "step": 81450 + }, + { + "epoch": 0.0346, + "grad_norm": 0.4872412085533142, + "learning_rate": 6.918e-05, + "loss": 4.052567672729492, + "step": 81460 + }, + { + "epoch": 0.0347, + "grad_norm": 0.4957573115825653, + "learning_rate": 6.938e-05, + "loss": 4.03974609375, + "step": 81470 + }, + { + "epoch": 0.0348, + "grad_norm": 0.43150800466537476, + "learning_rate": 6.958e-05, + "loss": 4.010758590698242, + "step": 81480 + }, + { + "epoch": 0.0349, + "grad_norm": 0.5539997220039368, + "learning_rate": 6.978e-05, + "loss": 4.126621246337891, + "step": 81490 + }, + { + "epoch": 0.035, + "grad_norm": 0.5765202641487122, + "learning_rate": 6.998e-05, + "loss": 4.027452850341797, + "step": 81500 + }, + { + "epoch": 0.0351, + "grad_norm": 0.4617144763469696, + "learning_rate": 7.018e-05, + "loss": 4.038814926147461, + "step": 81510 + }, + { + "epoch": 0.0352, + "grad_norm": 0.4162423014640808, + "learning_rate": 7.038e-05, + "loss": 3.9821941375732424, + "step": 81520 + }, + { + "epoch": 0.0353, + "grad_norm": 0.4452921450138092, + "learning_rate": 7.058e-05, + "loss": 3.968626022338867, + "step": 81530 + }, + { + "epoch": 0.0354, + "grad_norm": 0.4633454382419586, + "learning_rate": 7.078e-05, + "loss": 4.009642791748047, + "step": 81540 + }, + { + "epoch": 0.0355, + "grad_norm": 0.7989187836647034, + "learning_rate": 7.098e-05, + "loss": 4.045684051513672, + "step": 81550 + }, + { + "epoch": 0.0356, + "grad_norm": 0.47016459703445435, + "learning_rate": 7.118e-05, + "loss": 4.043623733520508, + "step": 81560 + }, + { + "epoch": 0.0357, + "grad_norm": 0.47574982047080994, + "learning_rate": 7.138e-05, + "loss": 3.994187927246094, + "step": 81570 + }, + { + "epoch": 0.0358, + "grad_norm": 0.5035045742988586, + "learning_rate": 7.158e-05, + "loss": 3.9976734161376952, + "step": 81580 + }, + { + "epoch": 0.0359, + "grad_norm": 0.6078383922576904, + "learning_rate": 7.178000000000001e-05, + "loss": 3.960103225708008, + "step": 81590 + }, + { + "epoch": 0.036, + "grad_norm": 0.48050999641418457, + "learning_rate": 7.198e-05, + "loss": 4.0539703369140625, + "step": 81600 + }, + { + "epoch": 0.0361, + "grad_norm": 0.5049411058425903, + "learning_rate": 7.218e-05, + "loss": 3.973519134521484, + "step": 81610 + }, + { + "epoch": 0.0362, + "grad_norm": 0.9177631735801697, + "learning_rate": 7.238000000000001e-05, + "loss": 3.903715133666992, + "step": 81620 + }, + { + "epoch": 0.0363, + "grad_norm": 0.46053746342658997, + "learning_rate": 7.258e-05, + "loss": 4.01729736328125, + "step": 81630 + }, + { + "epoch": 0.0364, + "grad_norm": 0.4118608832359314, + "learning_rate": 7.278e-05, + "loss": 4.006989288330078, + "step": 81640 + }, + { + "epoch": 0.0365, + "grad_norm": 0.4604043960571289, + "learning_rate": 7.298000000000001e-05, + "loss": 4.026253509521484, + "step": 81650 + }, + { + "epoch": 0.0366, + "grad_norm": 0.45775970816612244, + "learning_rate": 7.318e-05, + "loss": 3.9580989837646485, + "step": 81660 + }, + { + "epoch": 0.0367, + "grad_norm": 0.4291290044784546, + "learning_rate": 7.338e-05, + "loss": 3.9802600860595705, + "step": 81670 + }, + { + "epoch": 0.0368, + "grad_norm": 0.4874412417411804, + "learning_rate": 7.358000000000001e-05, + "loss": 3.9674762725830077, + "step": 81680 + }, + { + "epoch": 0.0369, + "grad_norm": 0.4603731334209442, + "learning_rate": 7.378e-05, + "loss": 3.9625270843505858, + "step": 81690 + }, + { + "epoch": 0.037, + "grad_norm": 0.5156533122062683, + "learning_rate": 7.398e-05, + "loss": 4.097967147827148, + "step": 81700 + }, + { + "epoch": 0.0371, + "grad_norm": 0.4164431393146515, + "learning_rate": 7.418000000000001e-05, + "loss": 3.9871395111083983, + "step": 81710 + }, + { + "epoch": 0.0372, + "grad_norm": 0.4676928222179413, + "learning_rate": 7.438e-05, + "loss": 4.0619956970214846, + "step": 81720 + }, + { + "epoch": 0.0373, + "grad_norm": 0.826423704624176, + "learning_rate": 7.458000000000001e-05, + "loss": 4.190798568725586, + "step": 81730 + }, + { + "epoch": 0.0374, + "grad_norm": 0.43880799412727356, + "learning_rate": 7.478e-05, + "loss": 4.040071868896485, + "step": 81740 + }, + { + "epoch": 0.0375, + "grad_norm": 0.5205581188201904, + "learning_rate": 7.498e-05, + "loss": 4.016611480712891, + "step": 81750 + }, + { + "epoch": 0.0376, + "grad_norm": 0.40337318181991577, + "learning_rate": 7.518000000000001e-05, + "loss": 3.9768943786621094, + "step": 81760 + }, + { + "epoch": 0.0377, + "grad_norm": 0.4057261645793915, + "learning_rate": 7.538e-05, + "loss": 3.982502746582031, + "step": 81770 + }, + { + "epoch": 0.0378, + "grad_norm": 0.44077205657958984, + "learning_rate": 7.558e-05, + "loss": 3.9662776947021485, + "step": 81780 + }, + { + "epoch": 0.0379, + "grad_norm": 0.5806800723075867, + "learning_rate": 7.578000000000001e-05, + "loss": 3.9394832611083985, + "step": 81790 + }, + { + "epoch": 0.038, + "grad_norm": 0.5396292209625244, + "learning_rate": 7.598e-05, + "loss": 3.9664424896240233, + "step": 81800 + }, + { + "epoch": 0.0381, + "grad_norm": 0.507144570350647, + "learning_rate": 7.618e-05, + "loss": 3.957942581176758, + "step": 81810 + }, + { + "epoch": 0.0382, + "grad_norm": 0.42543837428092957, + "learning_rate": 7.638000000000001e-05, + "loss": 3.9445827484130858, + "step": 81820 + }, + { + "epoch": 0.0383, + "grad_norm": 0.4694370627403259, + "learning_rate": 7.658e-05, + "loss": 3.954279327392578, + "step": 81830 + }, + { + "epoch": 0.0384, + "grad_norm": 0.4709033966064453, + "learning_rate": 7.678000000000001e-05, + "loss": 4.024324798583985, + "step": 81840 + }, + { + "epoch": 0.0385, + "grad_norm": 0.5160669684410095, + "learning_rate": 7.698000000000001e-05, + "loss": 3.923431396484375, + "step": 81850 + }, + { + "epoch": 0.0386, + "grad_norm": 0.4147569239139557, + "learning_rate": 7.718e-05, + "loss": 3.978494644165039, + "step": 81860 + }, + { + "epoch": 0.0387, + "grad_norm": 0.46357303857803345, + "learning_rate": 7.738000000000001e-05, + "loss": 4.160784149169922, + "step": 81870 + }, + { + "epoch": 0.0388, + "grad_norm": 0.4416487514972687, + "learning_rate": 7.758000000000001e-05, + "loss": 3.9569442749023436, + "step": 81880 + }, + { + "epoch": 0.0389, + "grad_norm": 0.45184236764907837, + "learning_rate": 7.778e-05, + "loss": 3.963978958129883, + "step": 81890 + }, + { + "epoch": 0.039, + "grad_norm": 0.40221789479255676, + "learning_rate": 7.798000000000001e-05, + "loss": 3.951943588256836, + "step": 81900 + }, + { + "epoch": 0.0391, + "grad_norm": 0.5833235383033752, + "learning_rate": 7.818000000000001e-05, + "loss": 3.9903884887695313, + "step": 81910 + }, + { + "epoch": 0.0392, + "grad_norm": 0.46128684282302856, + "learning_rate": 7.838e-05, + "loss": 4.169551849365234, + "step": 81920 + }, + { + "epoch": 0.0393, + "grad_norm": 0.40567469596862793, + "learning_rate": 7.858000000000001e-05, + "loss": 3.9475753784179686, + "step": 81930 + }, + { + "epoch": 0.0394, + "grad_norm": 0.41714417934417725, + "learning_rate": 7.878e-05, + "loss": 4.037763977050782, + "step": 81940 + }, + { + "epoch": 0.0395, + "grad_norm": 0.4033423364162445, + "learning_rate": 7.897999999999999e-05, + "loss": 3.949198913574219, + "step": 81950 + }, + { + "epoch": 0.0396, + "grad_norm": 0.8075945973396301, + "learning_rate": 7.918e-05, + "loss": 3.959520721435547, + "step": 81960 + }, + { + "epoch": 0.0397, + "grad_norm": 0.4296705424785614, + "learning_rate": 7.938e-05, + "loss": 3.9887752532958984, + "step": 81970 + }, + { + "epoch": 0.0398, + "grad_norm": 0.4820793867111206, + "learning_rate": 7.958e-05, + "loss": 3.9300987243652346, + "step": 81980 + }, + { + "epoch": 0.0399, + "grad_norm": 0.4734731912612915, + "learning_rate": 7.978e-05, + "loss": 3.9688289642333983, + "step": 81990 + }, + { + "epoch": 0.04, + "grad_norm": 0.376831978559494, + "learning_rate": 7.998e-05, + "loss": 4.0510505676269535, + "step": 82000 + }, + { + "epoch": 0.0401, + "grad_norm": 0.44370701909065247, + "learning_rate": 8.018e-05, + "loss": 3.900652313232422, + "step": 82010 + }, + { + "epoch": 0.0402, + "grad_norm": 0.7983126640319824, + "learning_rate": 8.038e-05, + "loss": 4.005221939086914, + "step": 82020 + }, + { + "epoch": 0.0403, + "grad_norm": 0.4299812912940979, + "learning_rate": 8.058e-05, + "loss": 4.020475006103515, + "step": 82030 + }, + { + "epoch": 0.0404, + "grad_norm": 0.43184319138526917, + "learning_rate": 8.078e-05, + "loss": 3.9040550231933593, + "step": 82040 + }, + { + "epoch": 0.0405, + "grad_norm": 0.40197867155075073, + "learning_rate": 8.098e-05, + "loss": 3.943069076538086, + "step": 82050 + }, + { + "epoch": 0.0406, + "grad_norm": 0.44560980796813965, + "learning_rate": 8.118e-05, + "loss": 3.8903118133544923, + "step": 82060 + }, + { + "epoch": 0.0407, + "grad_norm": 0.4123702049255371, + "learning_rate": 8.138e-05, + "loss": 3.931021881103516, + "step": 82070 + }, + { + "epoch": 0.0408, + "grad_norm": 0.5029538869857788, + "learning_rate": 8.158e-05, + "loss": 4.023634719848633, + "step": 82080 + }, + { + "epoch": 0.0409, + "grad_norm": 0.4140770137310028, + "learning_rate": 8.178e-05, + "loss": 3.93249626159668, + "step": 82090 + }, + { + "epoch": 0.041, + "grad_norm": 0.4393298923969269, + "learning_rate": 8.198e-05, + "loss": 3.9117626190185546, + "step": 82100 + }, + { + "epoch": 0.0411, + "grad_norm": 0.40576064586639404, + "learning_rate": 8.218e-05, + "loss": 3.92786865234375, + "step": 82110 + }, + { + "epoch": 0.0412, + "grad_norm": 0.40594494342803955, + "learning_rate": 8.238000000000001e-05, + "loss": 4.013692474365234, + "step": 82120 + }, + { + "epoch": 0.0413, + "grad_norm": 0.40767937898635864, + "learning_rate": 8.258e-05, + "loss": 3.9411151885986326, + "step": 82130 + }, + { + "epoch": 0.0414, + "grad_norm": 0.6238659024238586, + "learning_rate": 8.278e-05, + "loss": 3.9228561401367186, + "step": 82140 + }, + { + "epoch": 0.0415, + "grad_norm": 0.5880590081214905, + "learning_rate": 8.298000000000001e-05, + "loss": 3.9516670227050783, + "step": 82150 + }, + { + "epoch": 0.0416, + "grad_norm": 0.41273123025894165, + "learning_rate": 8.318e-05, + "loss": 4.215232849121094, + "step": 82160 + }, + { + "epoch": 0.0417, + "grad_norm": 0.4204077422618866, + "learning_rate": 8.338e-05, + "loss": 3.947635269165039, + "step": 82170 + }, + { + "epoch": 0.0418, + "grad_norm": 0.40033769607543945, + "learning_rate": 8.358e-05, + "loss": 3.884442901611328, + "step": 82180 + }, + { + "epoch": 0.0419, + "grad_norm": 0.4656597673892975, + "learning_rate": 8.378e-05, + "loss": 3.9488754272460938, + "step": 82190 + }, + { + "epoch": 0.042, + "grad_norm": 0.4394247829914093, + "learning_rate": 8.398e-05, + "loss": 3.9214859008789062, + "step": 82200 + }, + { + "epoch": 0.0421, + "grad_norm": 0.6469634175300598, + "learning_rate": 8.418e-05, + "loss": 3.9825435638427735, + "step": 82210 + }, + { + "epoch": 0.0422, + "grad_norm": 0.6021825075149536, + "learning_rate": 8.438e-05, + "loss": 3.95635871887207, + "step": 82220 + }, + { + "epoch": 0.0423, + "grad_norm": 0.410918653011322, + "learning_rate": 8.458e-05, + "loss": 3.955471420288086, + "step": 82230 + }, + { + "epoch": 0.0424, + "grad_norm": 0.45376157760620117, + "learning_rate": 8.478e-05, + "loss": 4.01763916015625, + "step": 82240 + }, + { + "epoch": 0.0425, + "grad_norm": 0.44720911979675293, + "learning_rate": 8.498e-05, + "loss": 3.8624122619628904, + "step": 82250 + }, + { + "epoch": 0.0426, + "grad_norm": 0.36790111660957336, + "learning_rate": 8.518000000000001e-05, + "loss": 4.033926010131836, + "step": 82260 + }, + { + "epoch": 0.0427, + "grad_norm": 0.4077184796333313, + "learning_rate": 8.538e-05, + "loss": 3.863504409790039, + "step": 82270 + }, + { + "epoch": 0.0428, + "grad_norm": 0.34015464782714844, + "learning_rate": 8.558e-05, + "loss": 3.885137176513672, + "step": 82280 + }, + { + "epoch": 0.0429, + "grad_norm": 0.39179831743240356, + "learning_rate": 8.578000000000001e-05, + "loss": 3.9212169647216797, + "step": 82290 + }, + { + "epoch": 0.043, + "grad_norm": 0.4270918071269989, + "learning_rate": 8.598e-05, + "loss": 3.957785415649414, + "step": 82300 + }, + { + "epoch": 0.0431, + "grad_norm": 0.4346376657485962, + "learning_rate": 8.618e-05, + "loss": 3.8960060119628905, + "step": 82310 + }, + { + "epoch": 0.0432, + "grad_norm": 0.4100809097290039, + "learning_rate": 8.638000000000001e-05, + "loss": 3.9174163818359373, + "step": 82320 + }, + { + "epoch": 0.0433, + "grad_norm": 0.3941136598587036, + "learning_rate": 8.658e-05, + "loss": 3.893391418457031, + "step": 82330 + }, + { + "epoch": 0.0434, + "grad_norm": 0.3876273036003113, + "learning_rate": 8.678e-05, + "loss": 3.882611083984375, + "step": 82340 + }, + { + "epoch": 0.0435, + "grad_norm": 0.38060447573661804, + "learning_rate": 8.698000000000001e-05, + "loss": 3.881389617919922, + "step": 82350 + }, + { + "epoch": 0.0436, + "grad_norm": 0.38053205609321594, + "learning_rate": 8.718e-05, + "loss": 3.8683727264404295, + "step": 82360 + }, + { + "epoch": 0.0437, + "grad_norm": 0.3874657154083252, + "learning_rate": 8.738000000000001e-05, + "loss": 3.8612483978271483, + "step": 82370 + }, + { + "epoch": 0.0438, + "grad_norm": 0.3973087966442108, + "learning_rate": 8.758000000000001e-05, + "loss": 3.896382141113281, + "step": 82380 + }, + { + "epoch": 0.0439, + "grad_norm": 0.41932356357574463, + "learning_rate": 8.778e-05, + "loss": 3.9018890380859377, + "step": 82390 + }, + { + "epoch": 0.044, + "grad_norm": 0.3679087460041046, + "learning_rate": 8.798000000000001e-05, + "loss": 3.8719455718994142, + "step": 82400 + }, + { + "epoch": 0.0441, + "grad_norm": 0.5245869755744934, + "learning_rate": 8.818000000000001e-05, + "loss": 3.877519989013672, + "step": 82410 + }, + { + "epoch": 0.0442, + "grad_norm": 0.36421987414360046, + "learning_rate": 8.838e-05, + "loss": 3.901009750366211, + "step": 82420 + }, + { + "epoch": 0.0443, + "grad_norm": 0.38611918687820435, + "learning_rate": 8.858000000000001e-05, + "loss": 3.9322650909423826, + "step": 82430 + }, + { + "epoch": 0.0444, + "grad_norm": 0.3976812958717346, + "learning_rate": 8.878000000000001e-05, + "loss": 3.9007942199707033, + "step": 82440 + }, + { + "epoch": 0.0445, + "grad_norm": 0.3621211349964142, + "learning_rate": 8.898e-05, + "loss": 3.8961814880371093, + "step": 82450 + }, + { + "epoch": 0.0446, + "grad_norm": 0.3616512715816498, + "learning_rate": 8.918000000000001e-05, + "loss": 3.878189468383789, + "step": 82460 + }, + { + "epoch": 0.0447, + "grad_norm": 0.3793681859970093, + "learning_rate": 8.938e-05, + "loss": 3.8516616821289062, + "step": 82470 + }, + { + "epoch": 0.0448, + "grad_norm": 0.958914041519165, + "learning_rate": 8.958e-05, + "loss": 3.9125953674316407, + "step": 82480 + }, + { + "epoch": 0.0449, + "grad_norm": 0.41370779275894165, + "learning_rate": 8.978000000000001e-05, + "loss": 3.8809314727783204, + "step": 82490 + }, + { + "epoch": 0.045, + "grad_norm": 0.36686602234840393, + "learning_rate": 8.998e-05, + "loss": 3.833428955078125, + "step": 82500 + }, + { + "epoch": 0.0451, + "grad_norm": 0.3825756907463074, + "learning_rate": 9.018000000000001e-05, + "loss": 3.847615051269531, + "step": 82510 + }, + { + "epoch": 0.0452, + "grad_norm": 0.4120357930660248, + "learning_rate": 9.038000000000001e-05, + "loss": 3.8996334075927734, + "step": 82520 + }, + { + "epoch": 0.0453, + "grad_norm": 0.343305766582489, + "learning_rate": 9.058e-05, + "loss": 3.8599334716796876, + "step": 82530 + }, + { + "epoch": 0.0454, + "grad_norm": 0.41744810342788696, + "learning_rate": 9.078000000000001e-05, + "loss": 3.866754913330078, + "step": 82540 + }, + { + "epoch": 0.0455, + "grad_norm": 0.39350342750549316, + "learning_rate": 9.098000000000001e-05, + "loss": 3.8460845947265625, + "step": 82550 + }, + { + "epoch": 0.0456, + "grad_norm": 0.3759637176990509, + "learning_rate": 9.118e-05, + "loss": 3.8823848724365235, + "step": 82560 + }, + { + "epoch": 0.0457, + "grad_norm": 0.35090872645378113, + "learning_rate": 9.138e-05, + "loss": 3.854581832885742, + "step": 82570 + }, + { + "epoch": 0.0458, + "grad_norm": 0.35352253913879395, + "learning_rate": 9.158e-05, + "loss": 3.8543167114257812, + "step": 82580 + }, + { + "epoch": 0.0459, + "grad_norm": 0.3800620436668396, + "learning_rate": 9.178e-05, + "loss": 3.878927993774414, + "step": 82590 + }, + { + "epoch": 0.046, + "grad_norm": 0.3791212737560272, + "learning_rate": 9.198e-05, + "loss": 3.8281883239746093, + "step": 82600 + }, + { + "epoch": 0.0461, + "grad_norm": 1.0095129013061523, + "learning_rate": 9.218e-05, + "loss": 4.113484191894531, + "step": 82610 + }, + { + "epoch": 0.0462, + "grad_norm": 0.3651430904865265, + "learning_rate": 9.238e-05, + "loss": 3.845316696166992, + "step": 82620 + }, + { + "epoch": 0.0463, + "grad_norm": 0.3488781452178955, + "learning_rate": 9.258e-05, + "loss": 3.8417816162109375, + "step": 82630 + }, + { + "epoch": 0.0464, + "grad_norm": 0.4021349251270294, + "learning_rate": 9.278e-05, + "loss": 3.951266860961914, + "step": 82640 + }, + { + "epoch": 0.0465, + "grad_norm": 0.419025182723999, + "learning_rate": 9.298e-05, + "loss": 3.8597225189208983, + "step": 82650 + }, + { + "epoch": 0.0466, + "grad_norm": 0.3755001127719879, + "learning_rate": 9.318e-05, + "loss": 3.8688735961914062, + "step": 82660 + }, + { + "epoch": 0.0467, + "grad_norm": 0.3632712662220001, + "learning_rate": 9.338e-05, + "loss": 3.9300357818603517, + "step": 82670 + }, + { + "epoch": 0.0468, + "grad_norm": 0.3945075273513794, + "learning_rate": 9.358e-05, + "loss": 4.023001861572266, + "step": 82680 + }, + { + "epoch": 0.0469, + "grad_norm": 0.347078412771225, + "learning_rate": 9.378e-05, + "loss": 3.81383056640625, + "step": 82690 + }, + { + "epoch": 0.047, + "grad_norm": 0.5212072134017944, + "learning_rate": 9.398e-05, + "loss": 3.8905261993408202, + "step": 82700 + }, + { + "epoch": 0.0471, + "grad_norm": 0.47846928238868713, + "learning_rate": 9.418e-05, + "loss": 4.062021255493164, + "step": 82710 + }, + { + "epoch": 0.0472, + "grad_norm": 0.4495738446712494, + "learning_rate": 9.438e-05, + "loss": 4.018693923950195, + "step": 82720 + }, + { + "epoch": 0.0473, + "grad_norm": 0.41616198420524597, + "learning_rate": 9.458e-05, + "loss": 3.880020523071289, + "step": 82730 + }, + { + "epoch": 0.0474, + "grad_norm": 0.3985685408115387, + "learning_rate": 9.478e-05, + "loss": 3.8657894134521484, + "step": 82740 + }, + { + "epoch": 0.0475, + "grad_norm": 0.3556722402572632, + "learning_rate": 9.498e-05, + "loss": 3.835987854003906, + "step": 82750 + }, + { + "epoch": 0.0476, + "grad_norm": 0.3475450277328491, + "learning_rate": 9.518000000000001e-05, + "loss": 3.8452220916748048, + "step": 82760 + }, + { + "epoch": 0.0477, + "grad_norm": 0.3749247193336487, + "learning_rate": 9.538e-05, + "loss": 3.932608413696289, + "step": 82770 + }, + { + "epoch": 0.0478, + "grad_norm": 0.32564833760261536, + "learning_rate": 9.558e-05, + "loss": 3.8859230041503907, + "step": 82780 + }, + { + "epoch": 0.0479, + "grad_norm": 0.377262145280838, + "learning_rate": 9.578000000000001e-05, + "loss": 4.021604537963867, + "step": 82790 + }, + { + "epoch": 0.048, + "grad_norm": 0.37888863682746887, + "learning_rate": 9.598e-05, + "loss": 3.866642379760742, + "step": 82800 + }, + { + "epoch": 0.0481, + "grad_norm": 0.38174378871917725, + "learning_rate": 9.618e-05, + "loss": 3.9002532958984375, + "step": 82810 + }, + { + "epoch": 0.0482, + "grad_norm": 0.37359318137168884, + "learning_rate": 9.638000000000001e-05, + "loss": 3.8445838928222655, + "step": 82820 + }, + { + "epoch": 0.0483, + "grad_norm": 0.4153497517108917, + "learning_rate": 9.658e-05, + "loss": 3.9124683380126952, + "step": 82830 + }, + { + "epoch": 0.0484, + "grad_norm": 0.3534516394138336, + "learning_rate": 9.678e-05, + "loss": 3.9404430389404297, + "step": 82840 + }, + { + "epoch": 0.0485, + "grad_norm": 0.40927091240882874, + "learning_rate": 9.698000000000001e-05, + "loss": 4.034648132324219, + "step": 82850 + }, + { + "epoch": 0.0486, + "grad_norm": 0.350938081741333, + "learning_rate": 9.718e-05, + "loss": 3.812015914916992, + "step": 82860 + }, + { + "epoch": 0.0487, + "grad_norm": 0.39179927110671997, + "learning_rate": 9.738e-05, + "loss": 3.871914291381836, + "step": 82870 + }, + { + "epoch": 0.0488, + "grad_norm": 0.3421719968318939, + "learning_rate": 9.758000000000001e-05, + "loss": 3.804059600830078, + "step": 82880 + }, + { + "epoch": 0.0489, + "grad_norm": 0.3892348110675812, + "learning_rate": 9.778e-05, + "loss": 3.846315383911133, + "step": 82890 + }, + { + "epoch": 0.049, + "grad_norm": 0.8134501576423645, + "learning_rate": 9.798000000000001e-05, + "loss": 3.850412368774414, + "step": 82900 + }, + { + "epoch": 0.0491, + "grad_norm": 0.3270565867424011, + "learning_rate": 9.818000000000001e-05, + "loss": 3.897083282470703, + "step": 82910 + }, + { + "epoch": 0.0492, + "grad_norm": 0.35217463970184326, + "learning_rate": 9.838e-05, + "loss": 3.834426498413086, + "step": 82920 + }, + { + "epoch": 0.0493, + "grad_norm": 0.3205115795135498, + "learning_rate": 9.858000000000001e-05, + "loss": 3.8739059448242186, + "step": 82930 + }, + { + "epoch": 0.0494, + "grad_norm": 0.32530784606933594, + "learning_rate": 9.878e-05, + "loss": 3.8487995147705076, + "step": 82940 + }, + { + "epoch": 0.0495, + "grad_norm": 0.3924853205680847, + "learning_rate": 9.898e-05, + "loss": 3.7641490936279296, + "step": 82950 + }, + { + "epoch": 0.0496, + "grad_norm": 0.3617713749408722, + "learning_rate": 9.918000000000001e-05, + "loss": 3.8098236083984376, + "step": 82960 + }, + { + "epoch": 0.0497, + "grad_norm": 0.3259013891220093, + "learning_rate": 9.938e-05, + "loss": 3.9314403533935547, + "step": 82970 + }, + { + "epoch": 0.0498, + "grad_norm": 0.4144577085971832, + "learning_rate": 9.958e-05, + "loss": 3.8905261993408202, + "step": 82980 + }, + { + "epoch": 0.0499, + "grad_norm": 0.3937422037124634, + "learning_rate": 9.978000000000001e-05, + "loss": 3.8521678924560545, + "step": 82990 + }, + { + "epoch": 0.05, + "grad_norm": 0.3902900218963623, + "learning_rate": 9.998e-05, + "loss": 3.8728492736816404, + "step": 83000 + }, + { + "epoch": 0.0501, + "grad_norm": 0.39842963218688965, + "learning_rate": 9.999999778549045e-05, + "loss": 3.8664478302001952, + "step": 83010 + }, + { + "epoch": 0.0502, + "grad_norm": 0.31621137261390686, + "learning_rate": 9.999999013039593e-05, + "loss": 3.925592041015625, + "step": 83020 + }, + { + "epoch": 0.0503, + "grad_norm": 0.3774428963661194, + "learning_rate": 9.999997700737766e-05, + "loss": 3.6988426208496095, + "step": 83030 + }, + { + "epoch": 0.0504, + "grad_norm": 0.3514353334903717, + "learning_rate": 9.999995841643709e-05, + "loss": 3.8097213745117187, + "step": 83040 + }, + { + "epoch": 0.0505, + "grad_norm": 0.3591354787349701, + "learning_rate": 9.999993435757623e-05, + "loss": 3.8139583587646486, + "step": 83050 + }, + { + "epoch": 0.0506, + "grad_norm": 0.3420144319534302, + "learning_rate": 9.999990483079773e-05, + "loss": 3.8276302337646486, + "step": 83060 + }, + { + "epoch": 0.0507, + "grad_norm": 0.38361331820487976, + "learning_rate": 9.999986983610481e-05, + "loss": 3.811387634277344, + "step": 83070 + }, + { + "epoch": 0.0508, + "grad_norm": 0.34372514486312866, + "learning_rate": 9.99998293735013e-05, + "loss": 3.814420700073242, + "step": 83080 + }, + { + "epoch": 0.0509, + "grad_norm": 0.3869839310646057, + "learning_rate": 9.999978344299161e-05, + "loss": 3.822507858276367, + "step": 83090 + }, + { + "epoch": 0.051, + "grad_norm": 0.6987540125846863, + "learning_rate": 9.99997320445808e-05, + "loss": 3.7858028411865234, + "step": 83100 + }, + { + "epoch": 0.0511, + "grad_norm": 0.3535923361778259, + "learning_rate": 9.999967517827444e-05, + "loss": 3.8200477600097655, + "step": 83110 + }, + { + "epoch": 0.0512, + "grad_norm": 0.36568525433540344, + "learning_rate": 9.999961284407879e-05, + "loss": 3.765528106689453, + "step": 83120 + }, + { + "epoch": 0.0513, + "grad_norm": 0.327122300863266, + "learning_rate": 9.999954504200067e-05, + "loss": 3.8417179107666017, + "step": 83130 + }, + { + "epoch": 0.0514, + "grad_norm": 0.38184818625450134, + "learning_rate": 9.999947177204744e-05, + "loss": 3.8148113250732423, + "step": 83140 + }, + { + "epoch": 0.0515, + "grad_norm": 0.35110288858413696, + "learning_rate": 9.999939303422718e-05, + "loss": 3.859242248535156, + "step": 83150 + }, + { + "epoch": 0.0516, + "grad_norm": 0.4850228726863861, + "learning_rate": 9.999930882854847e-05, + "loss": 3.819898223876953, + "step": 83160 + }, + { + "epoch": 0.0517, + "grad_norm": 0.3513251841068268, + "learning_rate": 9.999921915502051e-05, + "loss": 3.798270416259766, + "step": 83170 + }, + { + "epoch": 0.0518, + "grad_norm": 0.3239874243736267, + "learning_rate": 9.99991240136531e-05, + "loss": 3.8538772583007814, + "step": 83180 + }, + { + "epoch": 0.0519, + "grad_norm": 0.30293792486190796, + "learning_rate": 9.999902340445668e-05, + "loss": 3.8319358825683594, + "step": 83190 + }, + { + "epoch": 0.052, + "grad_norm": 0.3121660351753235, + "learning_rate": 9.999891732744224e-05, + "loss": 3.810728073120117, + "step": 83200 + }, + { + "epoch": 0.0001, + "grad_norm": 0.46172550320625305, + "learning_rate": 9.999880578262135e-05, + "loss": 3.8486099243164062, + "step": 83210 + }, + { + "epoch": 0.0002, + "grad_norm": 0.35218456387519836, + "learning_rate": 9.999868877000624e-05, + "loss": 3.7945110321044924, + "step": 83220 + }, + { + "epoch": 0.0003, + "grad_norm": 0.3150595426559448, + "learning_rate": 9.99985662896097e-05, + "loss": 3.7959964752197264, + "step": 83230 + }, + { + "epoch": 0.0004, + "grad_norm": 0.2930697500705719, + "learning_rate": 9.999843834144513e-05, + "loss": 3.8008277893066404, + "step": 83240 + }, + { + "epoch": 0.0005, + "grad_norm": 0.3913096785545349, + "learning_rate": 9.99983049255265e-05, + "loss": 3.816920852661133, + "step": 83250 + }, + { + "epoch": 0.0006, + "grad_norm": 0.43855613470077515, + "learning_rate": 9.999816604186843e-05, + "loss": 3.8061267852783205, + "step": 83260 + }, + { + "epoch": 0.0007, + "grad_norm": 0.3215405344963074, + "learning_rate": 9.999802169048609e-05, + "loss": 3.762989807128906, + "step": 83270 + }, + { + "epoch": 0.0008, + "grad_norm": 0.3363588750362396, + "learning_rate": 9.999787187139527e-05, + "loss": 3.768034744262695, + "step": 83280 + }, + { + "epoch": 0.0009, + "grad_norm": 0.3151419460773468, + "learning_rate": 9.999771658461234e-05, + "loss": 3.7999534606933594, + "step": 83290 + }, + { + "epoch": 0.001, + "grad_norm": 0.3272475302219391, + "learning_rate": 9.999755583015431e-05, + "loss": 3.7911468505859376, + "step": 83300 + }, + { + "epoch": 0.0011, + "grad_norm": 0.31459152698516846, + "learning_rate": 9.999738960803874e-05, + "loss": 3.8385593414306642, + "step": 83310 + }, + { + "epoch": 0.0012, + "grad_norm": 0.30471497774124146, + "learning_rate": 9.99972179182838e-05, + "loss": 3.7527996063232423, + "step": 83320 + }, + { + "epoch": 0.0013, + "grad_norm": 0.8856930732727051, + "learning_rate": 9.99970407609083e-05, + "loss": 3.772340774536133, + "step": 83330 + }, + { + "epoch": 0.0014, + "grad_norm": 0.37569352984428406, + "learning_rate": 9.999685813593159e-05, + "loss": 3.840856170654297, + "step": 83340 + }, + { + "epoch": 0.0015, + "grad_norm": 0.3128896653652191, + "learning_rate": 9.999667004337362e-05, + "loss": 3.820966339111328, + "step": 83350 + }, + { + "epoch": 0.0016, + "grad_norm": 0.2925649583339691, + "learning_rate": 9.9996476483255e-05, + "loss": 3.806324768066406, + "step": 83360 + }, + { + "epoch": 0.0017, + "grad_norm": 0.3298606872558594, + "learning_rate": 9.999627745559688e-05, + "loss": 3.8656845092773438, + "step": 83370 + }, + { + "epoch": 0.0018, + "grad_norm": 0.3136289119720459, + "learning_rate": 9.999607296042101e-05, + "loss": 3.8158058166503905, + "step": 83380 + }, + { + "epoch": 0.0019, + "grad_norm": 0.9002659916877747, + "learning_rate": 9.99958629977498e-05, + "loss": 3.8666664123535157, + "step": 83390 + }, + { + "epoch": 0.002, + "grad_norm": 0.2898136377334595, + "learning_rate": 9.999564756760615e-05, + "loss": 3.8743629455566406, + "step": 83400 + }, + { + "epoch": 0.0021, + "grad_norm": 0.3114927411079407, + "learning_rate": 9.999542667001366e-05, + "loss": 3.882855987548828, + "step": 83410 + }, + { + "epoch": 0.0022, + "grad_norm": 0.30287209153175354, + "learning_rate": 9.999520030499647e-05, + "loss": 3.7960723876953124, + "step": 83420 + }, + { + "epoch": 0.0023, + "grad_norm": 0.2935043275356293, + "learning_rate": 9.999496847257936e-05, + "loss": 3.737273025512695, + "step": 83430 + }, + { + "epoch": 0.0024, + "grad_norm": 0.3218196630477905, + "learning_rate": 9.999473117278764e-05, + "loss": 3.784800720214844, + "step": 83440 + }, + { + "epoch": 0.0025, + "grad_norm": 0.3353395462036133, + "learning_rate": 9.999448840564731e-05, + "loss": 3.8490245819091795, + "step": 83450 + }, + { + "epoch": 0.0026, + "grad_norm": 0.33304092288017273, + "learning_rate": 9.999424017118488e-05, + "loss": 3.796077346801758, + "step": 83460 + }, + { + "epoch": 0.0027, + "grad_norm": 0.34534889459609985, + "learning_rate": 9.999398646942751e-05, + "loss": 3.7440380096435546, + "step": 83470 + }, + { + "epoch": 0.0028, + "grad_norm": 0.30867987871170044, + "learning_rate": 9.999372730040296e-05, + "loss": 3.7291751861572267, + "step": 83480 + }, + { + "epoch": 0.0029, + "grad_norm": 0.8935909271240234, + "learning_rate": 9.999346266413953e-05, + "loss": 3.7540428161621096, + "step": 83490 + }, + { + "epoch": 0.003, + "grad_norm": 0.3775537610054016, + "learning_rate": 9.99931925606662e-05, + "loss": 3.9341556549072267, + "step": 83500 + }, + { + "epoch": 0.0031, + "grad_norm": 0.3054729402065277, + "learning_rate": 9.99929169900125e-05, + "loss": 4.22179946899414, + "step": 83510 + }, + { + "epoch": 0.0032, + "grad_norm": 0.3387799859046936, + "learning_rate": 9.999263595220855e-05, + "loss": 3.8072837829589843, + "step": 83520 + }, + { + "epoch": 0.0033, + "grad_norm": 0.32923126220703125, + "learning_rate": 9.99923494472851e-05, + "loss": 3.7745723724365234, + "step": 83530 + }, + { + "epoch": 0.0034, + "grad_norm": 0.29864582419395447, + "learning_rate": 9.999205747527348e-05, + "loss": 3.7472164154052736, + "step": 83540 + }, + { + "epoch": 0.0035, + "grad_norm": 0.31445086002349854, + "learning_rate": 9.999176003620561e-05, + "loss": 3.7745201110839846, + "step": 83550 + }, + { + "epoch": 0.0036, + "grad_norm": 0.330960750579834, + "learning_rate": 9.999145713011405e-05, + "loss": 3.766396713256836, + "step": 83560 + }, + { + "epoch": 0.0037, + "grad_norm": 0.32975828647613525, + "learning_rate": 9.999114875703186e-05, + "loss": 3.7721385955810547, + "step": 83570 + }, + { + "epoch": 0.0038, + "grad_norm": 0.31975796818733215, + "learning_rate": 9.999083491699281e-05, + "loss": 3.7845413208007814, + "step": 83580 + }, + { + "epoch": 0.0039, + "grad_norm": 0.2991958260536194, + "learning_rate": 9.999051561003123e-05, + "loss": 3.7527462005615235, + "step": 83590 + }, + { + "epoch": 0.004, + "grad_norm": 0.2936054766178131, + "learning_rate": 9.999019083618202e-05, + "loss": 3.7372978210449217, + "step": 83600 + }, + { + "epoch": 0.0041, + "grad_norm": 0.30992016196250916, + "learning_rate": 9.99898605954807e-05, + "loss": 3.7773033142089845, + "step": 83610 + }, + { + "epoch": 0.0042, + "grad_norm": 0.31956759095191956, + "learning_rate": 9.998952488796338e-05, + "loss": 3.7358421325683593, + "step": 83620 + }, + { + "epoch": 0.0043, + "grad_norm": 0.2954537868499756, + "learning_rate": 9.998918371366676e-05, + "loss": 3.8497447967529297, + "step": 83630 + }, + { + "epoch": 0.0044, + "grad_norm": 0.33330878615379333, + "learning_rate": 9.99888370726282e-05, + "loss": 3.753360366821289, + "step": 83640 + }, + { + "epoch": 0.0045, + "grad_norm": 0.3561699092388153, + "learning_rate": 9.998848496488556e-05, + "loss": 3.7192745208740234, + "step": 83650 + }, + { + "epoch": 0.0046, + "grad_norm": 0.3320558965206146, + "learning_rate": 9.998812739047736e-05, + "loss": 3.7962955474853515, + "step": 83660 + }, + { + "epoch": 0.0047, + "grad_norm": 0.3007565140724182, + "learning_rate": 9.99877643494427e-05, + "loss": 3.728927230834961, + "step": 83670 + }, + { + "epoch": 0.0048, + "grad_norm": 0.3343304395675659, + "learning_rate": 9.998739584182128e-05, + "loss": 3.776163864135742, + "step": 83680 + }, + { + "epoch": 0.0049, + "grad_norm": 0.29734089970588684, + "learning_rate": 9.998702186765342e-05, + "loss": 3.9177711486816404, + "step": 83690 + }, + { + "epoch": 0.005, + "grad_norm": 0.31020456552505493, + "learning_rate": 9.998664242698e-05, + "loss": 3.7417606353759765, + "step": 83700 + }, + { + "epoch": 0.0051, + "grad_norm": 0.29213470220565796, + "learning_rate": 9.998625751984251e-05, + "loss": 3.729521560668945, + "step": 83710 + }, + { + "epoch": 0.0052, + "grad_norm": 0.2952626347541809, + "learning_rate": 9.998586714628307e-05, + "loss": 3.7422054290771483, + "step": 83720 + }, + { + "epoch": 0.0053, + "grad_norm": 0.6679181456565857, + "learning_rate": 9.998547130634432e-05, + "loss": 3.7184337615966796, + "step": 83730 + }, + { + "epoch": 0.0054, + "grad_norm": 0.29027095437049866, + "learning_rate": 9.99850700000696e-05, + "loss": 3.6971817016601562, + "step": 83740 + }, + { + "epoch": 0.0055, + "grad_norm": 0.30800989270210266, + "learning_rate": 9.998466322750278e-05, + "loss": 3.7443538665771485, + "step": 83750 + }, + { + "epoch": 0.0056, + "grad_norm": 0.3017495274543762, + "learning_rate": 9.998425098868834e-05, + "loss": 3.7538970947265624, + "step": 83760 + }, + { + "epoch": 0.0057, + "grad_norm": 0.31099507212638855, + "learning_rate": 9.998383328367136e-05, + "loss": 3.6968109130859377, + "step": 83770 + }, + { + "epoch": 0.0058, + "grad_norm": 0.30337584018707275, + "learning_rate": 9.99834101124975e-05, + "loss": 3.7189136505126954, + "step": 83780 + }, + { + "epoch": 0.0059, + "grad_norm": 0.29351165890693665, + "learning_rate": 9.998298147521309e-05, + "loss": 3.7206035614013673, + "step": 83790 + }, + { + "epoch": 0.006, + "grad_norm": 0.2851601839065552, + "learning_rate": 9.998254737186496e-05, + "loss": 3.7244026184082033, + "step": 83800 + }, + { + "epoch": 0.0061, + "grad_norm": 0.2841717302799225, + "learning_rate": 9.99821078025006e-05, + "loss": 3.696475601196289, + "step": 83810 + }, + { + "epoch": 0.0062, + "grad_norm": 0.31163260340690613, + "learning_rate": 9.998166276716807e-05, + "loss": 3.830350875854492, + "step": 83820 + }, + { + "epoch": 0.0063, + "grad_norm": 0.31767481565475464, + "learning_rate": 9.998121226591606e-05, + "loss": 3.758163833618164, + "step": 83830 + }, + { + "epoch": 0.0064, + "grad_norm": 0.3415278196334839, + "learning_rate": 9.998075629879382e-05, + "loss": 3.830966567993164, + "step": 83840 + }, + { + "epoch": 0.0065, + "grad_norm": 0.41317543387413025, + "learning_rate": 9.99802948658512e-05, + "loss": 3.706676483154297, + "step": 83850 + }, + { + "epoch": 0.0066, + "grad_norm": 0.28475648164749146, + "learning_rate": 9.99798279671387e-05, + "loss": 3.707737350463867, + "step": 83860 + }, + { + "epoch": 0.0067, + "grad_norm": 0.30963894724845886, + "learning_rate": 9.997935560270734e-05, + "loss": 3.709725570678711, + "step": 83870 + }, + { + "epoch": 0.0068, + "grad_norm": 0.27574118971824646, + "learning_rate": 9.997887777260879e-05, + "loss": 3.7120189666748047, + "step": 83880 + }, + { + "epoch": 0.0069, + "grad_norm": 0.2835499048233032, + "learning_rate": 9.997839447689532e-05, + "loss": 3.7362274169921874, + "step": 83890 + }, + { + "epoch": 0.007, + "grad_norm": 0.3679351806640625, + "learning_rate": 9.997790571561978e-05, + "loss": 3.7187286376953126, + "step": 83900 + }, + { + "epoch": 0.0071, + "grad_norm": 0.29465362429618835, + "learning_rate": 9.99774114888356e-05, + "loss": 3.6762458801269533, + "step": 83910 + }, + { + "epoch": 0.0072, + "grad_norm": 0.30970558524131775, + "learning_rate": 9.997691179659684e-05, + "loss": 3.745528793334961, + "step": 83920 + }, + { + "epoch": 0.0073, + "grad_norm": 0.3203109800815582, + "learning_rate": 9.997640663895815e-05, + "loss": 3.799913024902344, + "step": 83930 + }, + { + "epoch": 0.0074, + "grad_norm": 0.3300760090351105, + "learning_rate": 9.997589601597477e-05, + "loss": 3.7185848236083983, + "step": 83940 + }, + { + "epoch": 0.0075, + "grad_norm": 0.28454458713531494, + "learning_rate": 9.997537992770252e-05, + "loss": 3.7427799224853517, + "step": 83950 + }, + { + "epoch": 0.0076, + "grad_norm": 0.2869153320789337, + "learning_rate": 9.997485837419788e-05, + "loss": 3.6875835418701173, + "step": 83960 + }, + { + "epoch": 0.0077, + "grad_norm": 0.2666051983833313, + "learning_rate": 9.997433135551786e-05, + "loss": 3.710926055908203, + "step": 83970 + }, + { + "epoch": 0.0078, + "grad_norm": 0.7562700510025024, + "learning_rate": 9.997379887172009e-05, + "loss": 3.8051422119140623, + "step": 83980 + }, + { + "epoch": 0.0079, + "grad_norm": 0.3042979836463928, + "learning_rate": 9.997326092286281e-05, + "loss": 3.786056137084961, + "step": 83990 + }, + { + "epoch": 0.008, + "grad_norm": 0.32059091329574585, + "learning_rate": 9.997271750900486e-05, + "loss": 3.7323928833007813, + "step": 84000 + }, + { + "epoch": 0.0081, + "grad_norm": 0.43642181158065796, + "learning_rate": 9.997216863020565e-05, + "loss": 3.683271026611328, + "step": 84010 + }, + { + "epoch": 0.0082, + "grad_norm": 0.4332754611968994, + "learning_rate": 9.99716142865252e-05, + "loss": 3.710392379760742, + "step": 84020 + }, + { + "epoch": 0.0083, + "grad_norm": 0.3230162262916565, + "learning_rate": 9.997105447802415e-05, + "loss": 3.790265655517578, + "step": 84030 + }, + { + "epoch": 0.0084, + "grad_norm": 0.2865377962589264, + "learning_rate": 9.997048920476373e-05, + "loss": 3.7654045104980467, + "step": 84040 + }, + { + "epoch": 0.0085, + "grad_norm": 0.2923087477684021, + "learning_rate": 9.996991846680572e-05, + "loss": 3.7558765411376953, + "step": 84050 + }, + { + "epoch": 0.0086, + "grad_norm": 0.27676334977149963, + "learning_rate": 9.996934226421257e-05, + "loss": 3.7240447998046875, + "step": 84060 + }, + { + "epoch": 0.0087, + "grad_norm": 0.29819369316101074, + "learning_rate": 9.996876059704726e-05, + "loss": 3.696995162963867, + "step": 84070 + }, + { + "epoch": 0.0088, + "grad_norm": 0.43039318919181824, + "learning_rate": 9.996817346537343e-05, + "loss": 3.6725696563720702, + "step": 84080 + }, + { + "epoch": 0.0089, + "grad_norm": 0.3873271346092224, + "learning_rate": 9.996758086925526e-05, + "loss": 3.6867134094238283, + "step": 84090 + }, + { + "epoch": 0.009, + "grad_norm": 0.291673481464386, + "learning_rate": 9.996698280875759e-05, + "loss": 3.7313922882080077, + "step": 84100 + }, + { + "epoch": 0.0091, + "grad_norm": 0.4599123001098633, + "learning_rate": 9.99663792839458e-05, + "loss": 3.7317237854003906, + "step": 84110 + }, + { + "epoch": 0.0092, + "grad_norm": 0.36091652512550354, + "learning_rate": 9.99657702948859e-05, + "loss": 3.692718505859375, + "step": 84120 + }, + { + "epoch": 0.0093, + "grad_norm": 0.2885626256465912, + "learning_rate": 9.996515584164448e-05, + "loss": 3.709298324584961, + "step": 84130 + }, + { + "epoch": 0.0094, + "grad_norm": 0.2739655673503876, + "learning_rate": 9.996453592428873e-05, + "loss": 3.667826461791992, + "step": 84140 + }, + { + "epoch": 0.0095, + "grad_norm": 0.2908301055431366, + "learning_rate": 9.996391054288646e-05, + "loss": 3.874862289428711, + "step": 84150 + }, + { + "epoch": 0.0096, + "grad_norm": 0.2993263900279999, + "learning_rate": 9.996327969750605e-05, + "loss": 3.706760787963867, + "step": 84160 + }, + { + "epoch": 0.0097, + "grad_norm": 0.29502788186073303, + "learning_rate": 9.996264338821649e-05, + "loss": 3.6855545043945312, + "step": 84170 + }, + { + "epoch": 0.0098, + "grad_norm": 0.27505671977996826, + "learning_rate": 9.996200161508735e-05, + "loss": 3.6944915771484377, + "step": 84180 + }, + { + "epoch": 0.0099, + "grad_norm": 0.2615220844745636, + "learning_rate": 9.996135437818885e-05, + "loss": 3.7221439361572264, + "step": 84190 + }, + { + "epoch": 0.01, + "grad_norm": 0.29790231585502625, + "learning_rate": 9.996070167759175e-05, + "loss": 3.7267841339111327, + "step": 84200 + }, + { + "epoch": 0.0101, + "grad_norm": 0.3563947081565857, + "learning_rate": 9.996004351336743e-05, + "loss": 3.8453121185302734, + "step": 84210 + }, + { + "epoch": 0.0102, + "grad_norm": 1.035010576248169, + "learning_rate": 9.995937988558785e-05, + "loss": 3.9560173034667967, + "step": 84220 + }, + { + "epoch": 0.0103, + "grad_norm": 0.26476454734802246, + "learning_rate": 9.995871079432561e-05, + "loss": 3.6924465179443358, + "step": 84230 + }, + { + "epoch": 0.0104, + "grad_norm": 0.28808432817459106, + "learning_rate": 9.995803623965389e-05, + "loss": 3.7619529724121095, + "step": 84240 + }, + { + "epoch": 0.0105, + "grad_norm": 0.27497121691703796, + "learning_rate": 9.995735622164641e-05, + "loss": 3.6973804473876952, + "step": 84250 + }, + { + "epoch": 0.0106, + "grad_norm": 0.2922205924987793, + "learning_rate": 9.995667074037758e-05, + "loss": 3.7086257934570312, + "step": 84260 + }, + { + "epoch": 0.0107, + "grad_norm": 0.28231361508369446, + "learning_rate": 9.995597979592232e-05, + "loss": 3.738058090209961, + "step": 84270 + }, + { + "epoch": 0.0108, + "grad_norm": 0.2753177583217621, + "learning_rate": 9.995528338835625e-05, + "loss": 3.6708652496337892, + "step": 84280 + }, + { + "epoch": 0.0109, + "grad_norm": 0.3010140359401703, + "learning_rate": 9.995458151775547e-05, + "loss": 3.7018722534179687, + "step": 84290 + }, + { + "epoch": 0.011, + "grad_norm": 0.2673659324645996, + "learning_rate": 9.995387418419677e-05, + "loss": 3.6982131958007813, + "step": 84300 + }, + { + "epoch": 0.0111, + "grad_norm": 0.3174901008605957, + "learning_rate": 9.99531613877575e-05, + "loss": 3.708171081542969, + "step": 84310 + }, + { + "epoch": 0.0112, + "grad_norm": 0.37919145822525024, + "learning_rate": 9.995244312851559e-05, + "loss": 3.7034980773925783, + "step": 84320 + }, + { + "epoch": 0.0113, + "grad_norm": 0.33328044414520264, + "learning_rate": 9.995171940654961e-05, + "loss": 3.6426422119140627, + "step": 84330 + }, + { + "epoch": 0.0114, + "grad_norm": 0.2768639326095581, + "learning_rate": 9.995099022193871e-05, + "loss": 3.688552474975586, + "step": 84340 + }, + { + "epoch": 0.0115, + "grad_norm": 0.29498782753944397, + "learning_rate": 9.995025557476261e-05, + "loss": 3.659234619140625, + "step": 84350 + }, + { + "epoch": 0.0116, + "grad_norm": 0.29603710770606995, + "learning_rate": 9.994951546510165e-05, + "loss": 3.7908111572265626, + "step": 84360 + }, + { + "epoch": 0.0117, + "grad_norm": 0.3008792996406555, + "learning_rate": 9.994876989303679e-05, + "loss": 3.7032970428466796, + "step": 84370 + }, + { + "epoch": 0.0118, + "grad_norm": 0.36400842666625977, + "learning_rate": 9.994801885864955e-05, + "loss": 3.799905014038086, + "step": 84380 + }, + { + "epoch": 0.0119, + "grad_norm": 0.3740883767604828, + "learning_rate": 9.994726236202205e-05, + "loss": 3.721433639526367, + "step": 84390 + }, + { + "epoch": 0.012, + "grad_norm": 0.26394209265708923, + "learning_rate": 9.994650040323704e-05, + "loss": 3.6681087493896483, + "step": 84400 + }, + { + "epoch": 0.0121, + "grad_norm": 0.28201553225517273, + "learning_rate": 9.994573298237784e-05, + "loss": 3.6220928192138673, + "step": 84410 + }, + { + "epoch": 0.0122, + "grad_norm": 0.29811936616897583, + "learning_rate": 9.994496009952837e-05, + "loss": 3.670298767089844, + "step": 84420 + }, + { + "epoch": 0.0123, + "grad_norm": 0.29378166794776917, + "learning_rate": 9.994418175477316e-05, + "loss": 3.6430587768554688, + "step": 84430 + }, + { + "epoch": 0.0124, + "grad_norm": 0.2813373804092407, + "learning_rate": 9.994339794819733e-05, + "loss": 3.6950450897216798, + "step": 84440 + }, + { + "epoch": 0.0125, + "grad_norm": 0.26766225695610046, + "learning_rate": 9.994260867988658e-05, + "loss": 3.687444305419922, + "step": 84450 + }, + { + "epoch": 0.0126, + "grad_norm": 0.2912333905696869, + "learning_rate": 9.994181394992723e-05, + "loss": 3.6485137939453125, + "step": 84460 + }, + { + "epoch": 0.0127, + "grad_norm": 0.29468369483947754, + "learning_rate": 9.994101375840618e-05, + "loss": 3.6847896575927734, + "step": 84470 + }, + { + "epoch": 0.0128, + "grad_norm": 0.30274367332458496, + "learning_rate": 9.994020810541098e-05, + "loss": 3.6330875396728515, + "step": 84480 + }, + { + "epoch": 0.0129, + "grad_norm": 0.3261053264141083, + "learning_rate": 9.99393969910297e-05, + "loss": 3.7124881744384766, + "step": 84490 + }, + { + "epoch": 0.013, + "grad_norm": 0.2950016260147095, + "learning_rate": 9.993858041535104e-05, + "loss": 3.651884841918945, + "step": 84500 + }, + { + "epoch": 0.0131, + "grad_norm": 0.3526657819747925, + "learning_rate": 9.99377583784643e-05, + "loss": 3.6653316497802733, + "step": 84510 + }, + { + "epoch": 0.0132, + "grad_norm": 0.28628677129745483, + "learning_rate": 9.993693088045939e-05, + "loss": 3.7038524627685545, + "step": 84520 + }, + { + "epoch": 0.0133, + "grad_norm": 0.2856554090976715, + "learning_rate": 9.99360979214268e-05, + "loss": 3.6831943511962892, + "step": 84530 + }, + { + "epoch": 0.0134, + "grad_norm": 0.2904079854488373, + "learning_rate": 9.99352595014576e-05, + "loss": 3.63916130065918, + "step": 84540 + }, + { + "epoch": 0.0135, + "grad_norm": 0.3895551562309265, + "learning_rate": 9.993441562064354e-05, + "loss": 3.6735130310058595, + "step": 84550 + }, + { + "epoch": 0.0136, + "grad_norm": 0.2685251235961914, + "learning_rate": 9.993356627907685e-05, + "loss": 3.6408214569091797, + "step": 84560 + }, + { + "epoch": 0.0137, + "grad_norm": 0.26372188329696655, + "learning_rate": 9.99327114768504e-05, + "loss": 3.6400081634521486, + "step": 84570 + }, + { + "epoch": 0.0138, + "grad_norm": 0.2654428780078888, + "learning_rate": 9.99318512140577e-05, + "loss": 3.648508071899414, + "step": 84580 + }, + { + "epoch": 0.0139, + "grad_norm": 0.2707081735134125, + "learning_rate": 9.993098549079284e-05, + "loss": 3.610399627685547, + "step": 84590 + }, + { + "epoch": 0.014, + "grad_norm": 0.25929567217826843, + "learning_rate": 9.993011430715047e-05, + "loss": 3.6582550048828124, + "step": 84600 + }, + { + "epoch": 0.0141, + "grad_norm": 0.28501084446907043, + "learning_rate": 9.992923766322586e-05, + "loss": 3.8640674591064452, + "step": 84610 + }, + { + "epoch": 0.0142, + "grad_norm": 0.27245280146598816, + "learning_rate": 9.99283555591149e-05, + "loss": 3.7064876556396484, + "step": 84620 + }, + { + "epoch": 0.0143, + "grad_norm": 0.26817578077316284, + "learning_rate": 9.992746799491404e-05, + "loss": 3.6717796325683594, + "step": 84630 + }, + { + "epoch": 0.0144, + "grad_norm": 0.28869614005088806, + "learning_rate": 9.992657497072033e-05, + "loss": 3.661438751220703, + "step": 84640 + }, + { + "epoch": 0.0145, + "grad_norm": 0.25756171345710754, + "learning_rate": 9.992567648663147e-05, + "loss": 3.7627632141113283, + "step": 84650 + }, + { + "epoch": 0.0146, + "grad_norm": 0.2554946541786194, + "learning_rate": 9.992477254274568e-05, + "loss": 3.6389511108398436, + "step": 84660 + }, + { + "epoch": 0.0147, + "grad_norm": 0.27790117263793945, + "learning_rate": 9.992386313916183e-05, + "loss": 3.614088439941406, + "step": 84670 + }, + { + "epoch": 0.0148, + "grad_norm": 0.6109986305236816, + "learning_rate": 9.992294827597934e-05, + "loss": 3.703929138183594, + "step": 84680 + }, + { + "epoch": 0.0149, + "grad_norm": 0.2710428833961487, + "learning_rate": 9.992202795329831e-05, + "loss": 3.7939647674560546, + "step": 84690 + }, + { + "epoch": 0.015, + "grad_norm": 0.27565139532089233, + "learning_rate": 9.992110217121936e-05, + "loss": 3.629970169067383, + "step": 84700 + }, + { + "epoch": 0.0151, + "grad_norm": 0.27539974451065063, + "learning_rate": 9.992017092984372e-05, + "loss": 3.619001770019531, + "step": 84710 + }, + { + "epoch": 0.0152, + "grad_norm": 0.2647361755371094, + "learning_rate": 9.991923422927326e-05, + "loss": 3.6917633056640624, + "step": 84720 + }, + { + "epoch": 0.0153, + "grad_norm": 0.6230190992355347, + "learning_rate": 9.991829206961037e-05, + "loss": 3.7478443145751954, + "step": 84730 + }, + { + "epoch": 0.0154, + "grad_norm": 0.2780240774154663, + "learning_rate": 9.991734445095813e-05, + "loss": 3.6476226806640626, + "step": 84740 + }, + { + "epoch": 0.0155, + "grad_norm": 0.35595566034317017, + "learning_rate": 9.991639137342015e-05, + "loss": 3.573978042602539, + "step": 84750 + }, + { + "epoch": 0.0156, + "grad_norm": 0.2836577594280243, + "learning_rate": 9.991543283710064e-05, + "loss": 3.617045593261719, + "step": 84760 + }, + { + "epoch": 0.0157, + "grad_norm": 0.2492760419845581, + "learning_rate": 9.991446884210445e-05, + "loss": 3.6304271697998045, + "step": 84770 + }, + { + "epoch": 0.0158, + "grad_norm": 0.2547227740287781, + "learning_rate": 9.9913499388537e-05, + "loss": 3.6432247161865234, + "step": 84780 + }, + { + "epoch": 0.0159, + "grad_norm": 0.27947524189949036, + "learning_rate": 9.99125244765043e-05, + "loss": 3.6694393157958984, + "step": 84790 + }, + { + "epoch": 0.016, + "grad_norm": 0.2819245755672455, + "learning_rate": 9.991154410611296e-05, + "loss": 3.7544319152832033, + "step": 84800 + }, + { + "epoch": 0.0161, + "grad_norm": 0.26809099316596985, + "learning_rate": 9.99105582774702e-05, + "loss": 3.6334564208984377, + "step": 84810 + }, + { + "epoch": 0.0162, + "grad_norm": 0.25060704350471497, + "learning_rate": 9.990956699068384e-05, + "loss": 3.63934440612793, + "step": 84820 + }, + { + "epoch": 0.0163, + "grad_norm": 0.26129117608070374, + "learning_rate": 9.990857024586224e-05, + "loss": 3.6837406158447266, + "step": 84830 + }, + { + "epoch": 0.0164, + "grad_norm": 0.4481086730957031, + "learning_rate": 9.990756804311446e-05, + "loss": 3.6479557037353514, + "step": 84840 + }, + { + "epoch": 0.0165, + "grad_norm": 0.2535252273082733, + "learning_rate": 9.990656038255006e-05, + "loss": 3.6568538665771486, + "step": 84850 + }, + { + "epoch": 0.0166, + "grad_norm": 0.2449161857366562, + "learning_rate": 9.990554726427926e-05, + "loss": 3.6333213806152345, + "step": 84860 + }, + { + "epoch": 0.0167, + "grad_norm": 0.2439567595720291, + "learning_rate": 9.990452868841284e-05, + "loss": 3.656516265869141, + "step": 84870 + }, + { + "epoch": 0.0168, + "grad_norm": 0.26403185725212097, + "learning_rate": 9.99035046550622e-05, + "loss": 3.6358219146728517, + "step": 84880 + }, + { + "epoch": 0.0169, + "grad_norm": 0.8884915113449097, + "learning_rate": 9.99024751643393e-05, + "loss": 3.634407806396484, + "step": 84890 + }, + { + "epoch": 0.017, + "grad_norm": 0.25160226225852966, + "learning_rate": 9.990144021635677e-05, + "loss": 3.6189918518066406, + "step": 84900 + }, + { + "epoch": 0.0171, + "grad_norm": 0.287718802690506, + "learning_rate": 9.990039981122775e-05, + "loss": 3.6347091674804686, + "step": 84910 + }, + { + "epoch": 0.0172, + "grad_norm": 0.26645761728286743, + "learning_rate": 9.989935394906602e-05, + "loss": 3.5592464447021483, + "step": 84920 + }, + { + "epoch": 0.0173, + "grad_norm": 0.26977407932281494, + "learning_rate": 9.989830262998598e-05, + "loss": 3.738728713989258, + "step": 84930 + }, + { + "epoch": 0.0174, + "grad_norm": 0.36819988489151, + "learning_rate": 9.989724585410259e-05, + "loss": 3.626963806152344, + "step": 84940 + }, + { + "epoch": 0.0175, + "grad_norm": 0.49660632014274597, + "learning_rate": 9.989618362153139e-05, + "loss": 3.7604835510253904, + "step": 84950 + }, + { + "epoch": 0.0176, + "grad_norm": 0.28116080164909363, + "learning_rate": 9.989511593238859e-05, + "loss": 3.634185791015625, + "step": 84960 + }, + { + "epoch": 0.0177, + "grad_norm": 0.26776161789894104, + "learning_rate": 9.98940427867909e-05, + "loss": 3.652395248413086, + "step": 84970 + }, + { + "epoch": 0.0178, + "grad_norm": 0.2534007132053375, + "learning_rate": 9.989296418485573e-05, + "loss": 3.5961162567138674, + "step": 84980 + }, + { + "epoch": 0.0179, + "grad_norm": 0.2513788044452667, + "learning_rate": 9.989188012670101e-05, + "loss": 3.6286182403564453, + "step": 84990 + }, + { + "epoch": 0.018, + "grad_norm": 0.26208066940307617, + "learning_rate": 9.989079061244528e-05, + "loss": 3.5902149200439455, + "step": 85000 + }, + { + "epoch": 0.0181, + "grad_norm": 0.2678416073322296, + "learning_rate": 9.988969564220769e-05, + "loss": 3.611722946166992, + "step": 85010 + }, + { + "epoch": 0.0182, + "grad_norm": 0.258638471364975, + "learning_rate": 9.988859521610801e-05, + "loss": 3.706229019165039, + "step": 85020 + }, + { + "epoch": 0.0183, + "grad_norm": 0.2703403830528259, + "learning_rate": 9.988748933426656e-05, + "loss": 3.632783126831055, + "step": 85030 + }, + { + "epoch": 0.0184, + "grad_norm": 0.2524788975715637, + "learning_rate": 9.988637799680428e-05, + "loss": 3.630057144165039, + "step": 85040 + }, + { + "epoch": 0.0185, + "grad_norm": 0.2823765277862549, + "learning_rate": 9.98852612038427e-05, + "loss": 3.5970684051513673, + "step": 85050 + }, + { + "epoch": 0.0186, + "grad_norm": 0.40357911586761475, + "learning_rate": 9.988413895550397e-05, + "loss": 3.627879333496094, + "step": 85060 + }, + { + "epoch": 0.0187, + "grad_norm": 0.254033625125885, + "learning_rate": 9.98830112519108e-05, + "loss": 3.6379791259765626, + "step": 85070 + }, + { + "epoch": 0.0188, + "grad_norm": 0.2334320992231369, + "learning_rate": 9.98818780931865e-05, + "loss": 3.6307395935058593, + "step": 85080 + }, + { + "epoch": 0.0189, + "grad_norm": 0.559700071811676, + "learning_rate": 9.988073947945502e-05, + "loss": 3.5570709228515627, + "step": 85090 + }, + { + "epoch": 0.019, + "grad_norm": 0.24874722957611084, + "learning_rate": 9.987959541084087e-05, + "loss": 3.6313430786132814, + "step": 85100 + }, + { + "epoch": 0.0191, + "grad_norm": 0.27919065952301025, + "learning_rate": 9.987844588746915e-05, + "loss": 3.5931961059570314, + "step": 85110 + }, + { + "epoch": 0.0192, + "grad_norm": 0.26230403780937195, + "learning_rate": 9.987729090946558e-05, + "loss": 3.6434871673583986, + "step": 85120 + }, + { + "epoch": 0.0193, + "grad_norm": 0.3103668689727783, + "learning_rate": 9.987613047695647e-05, + "loss": 3.6431617736816406, + "step": 85130 + }, + { + "epoch": 0.0194, + "grad_norm": 0.2713069021701813, + "learning_rate": 9.987496459006871e-05, + "loss": 3.7358371734619142, + "step": 85140 + }, + { + "epoch": 0.0195, + "grad_norm": 0.25538644194602966, + "learning_rate": 9.987379324892982e-05, + "loss": 3.6248268127441405, + "step": 85150 + }, + { + "epoch": 0.0196, + "grad_norm": 0.33541756868362427, + "learning_rate": 9.987261645366788e-05, + "loss": 3.661859130859375, + "step": 85160 + }, + { + "epoch": 0.0197, + "grad_norm": 0.2498832643032074, + "learning_rate": 9.987143420441158e-05, + "loss": 3.6815727233886717, + "step": 85170 + }, + { + "epoch": 0.0198, + "grad_norm": 0.2820783257484436, + "learning_rate": 9.987024650129022e-05, + "loss": 3.5976947784423827, + "step": 85180 + }, + { + "epoch": 0.0199, + "grad_norm": 0.29067307710647583, + "learning_rate": 9.986905334443368e-05, + "loss": 3.6827850341796875, + "step": 85190 + }, + { + "epoch": 0.02, + "grad_norm": 0.24741661548614502, + "learning_rate": 9.986785473397245e-05, + "loss": 3.6277320861816404, + "step": 85200 + }, + { + "epoch": 0.0201, + "grad_norm": 0.27294591069221497, + "learning_rate": 9.98666506700376e-05, + "loss": 3.6579833984375, + "step": 85210 + }, + { + "epoch": 0.0202, + "grad_norm": 0.2656424045562744, + "learning_rate": 9.986544115276081e-05, + "loss": 3.627397918701172, + "step": 85220 + }, + { + "epoch": 0.0203, + "grad_norm": 0.2507568597793579, + "learning_rate": 9.986422618227433e-05, + "loss": 3.6089473724365235, + "step": 85230 + }, + { + "epoch": 0.0204, + "grad_norm": 0.25992894172668457, + "learning_rate": 9.986300575871106e-05, + "loss": 3.6093997955322266, + "step": 85240 + }, + { + "epoch": 0.0205, + "grad_norm": 0.2580110728740692, + "learning_rate": 9.986177988220444e-05, + "loss": 3.602360153198242, + "step": 85250 + }, + { + "epoch": 0.0206, + "grad_norm": 0.44160109758377075, + "learning_rate": 9.986054855288856e-05, + "loss": 3.6124210357666016, + "step": 85260 + }, + { + "epoch": 0.0207, + "grad_norm": 0.28597763180732727, + "learning_rate": 9.985931177089802e-05, + "loss": 3.369567108154297, + "step": 85270 + }, + { + "epoch": 0.0208, + "grad_norm": 0.2390611469745636, + "learning_rate": 9.985806953636814e-05, + "loss": 3.574873352050781, + "step": 85280 + }, + { + "epoch": 0.0209, + "grad_norm": 0.2689356803894043, + "learning_rate": 9.985682184943471e-05, + "loss": 3.6195514678955076, + "step": 85290 + }, + { + "epoch": 0.021, + "grad_norm": 0.3069749176502228, + "learning_rate": 9.98555687102342e-05, + "loss": 3.5628311157226564, + "step": 85300 + }, + { + "epoch": 0.0211, + "grad_norm": 0.25516900420188904, + "learning_rate": 9.985431011890367e-05, + "loss": 3.5898296356201174, + "step": 85310 + }, + { + "epoch": 0.0212, + "grad_norm": 0.2481095790863037, + "learning_rate": 9.985304607558075e-05, + "loss": 3.6141582489013673, + "step": 85320 + }, + { + "epoch": 0.0213, + "grad_norm": 0.819419801235199, + "learning_rate": 9.985177658040364e-05, + "loss": 3.8181838989257812, + "step": 85330 + }, + { + "epoch": 0.0214, + "grad_norm": 0.2710549831390381, + "learning_rate": 9.985050163351119e-05, + "loss": 3.7206100463867187, + "step": 85340 + }, + { + "epoch": 0.0215, + "grad_norm": 0.24863991141319275, + "learning_rate": 9.984922123504286e-05, + "loss": 3.6582103729248048, + "step": 85350 + }, + { + "epoch": 0.0216, + "grad_norm": 0.2624618411064148, + "learning_rate": 9.984793538513862e-05, + "loss": 3.6053421020507814, + "step": 85360 + }, + { + "epoch": 0.0217, + "grad_norm": 0.28069108724594116, + "learning_rate": 9.984664408393912e-05, + "loss": 3.6144382476806642, + "step": 85370 + }, + { + "epoch": 0.0218, + "grad_norm": 0.2532116174697876, + "learning_rate": 9.984534733158556e-05, + "loss": 3.6202327728271486, + "step": 85380 + }, + { + "epoch": 0.0219, + "grad_norm": 0.29506364464759827, + "learning_rate": 9.984404512821977e-05, + "loss": 3.702600860595703, + "step": 85390 + }, + { + "epoch": 0.022, + "grad_norm": 0.25815752148628235, + "learning_rate": 9.984273747398411e-05, + "loss": 3.656900405883789, + "step": 85400 + }, + { + "epoch": 0.0221, + "grad_norm": 0.2533004581928253, + "learning_rate": 9.984142436902165e-05, + "loss": 3.607746124267578, + "step": 85410 + }, + { + "epoch": 0.0222, + "grad_norm": 0.2563793361186981, + "learning_rate": 9.984010581347596e-05, + "loss": 3.665967559814453, + "step": 85420 + }, + { + "epoch": 0.0223, + "grad_norm": 0.2633318603038788, + "learning_rate": 9.983878180749121e-05, + "loss": 3.5977550506591798, + "step": 85430 + }, + { + "epoch": 0.0224, + "grad_norm": 0.2543111741542816, + "learning_rate": 9.983745235121222e-05, + "loss": 3.620417022705078, + "step": 85440 + }, + { + "epoch": 0.0225, + "grad_norm": 0.31046542525291443, + "learning_rate": 9.983611744478438e-05, + "loss": 3.611802673339844, + "step": 85450 + }, + { + "epoch": 0.0226, + "grad_norm": 0.32984763383865356, + "learning_rate": 9.983477708835365e-05, + "loss": 3.659274673461914, + "step": 85460 + }, + { + "epoch": 0.0227, + "grad_norm": 0.2382606565952301, + "learning_rate": 9.983343128206664e-05, + "loss": 3.6407955169677733, + "step": 85470 + }, + { + "epoch": 0.0228, + "grad_norm": 0.2767845690250397, + "learning_rate": 9.983208002607049e-05, + "loss": 3.59202880859375, + "step": 85480 + }, + { + "epoch": 0.0229, + "grad_norm": 0.26981160044670105, + "learning_rate": 9.9830723320513e-05, + "loss": 3.5599910736083986, + "step": 85490 + }, + { + "epoch": 0.023, + "grad_norm": 0.281143456697464, + "learning_rate": 9.982936116554254e-05, + "loss": 3.5864818572998045, + "step": 85500 + }, + { + "epoch": 0.0231, + "grad_norm": 0.2885102927684784, + "learning_rate": 9.982799356130803e-05, + "loss": 3.6041526794433594, + "step": 85510 + }, + { + "epoch": 0.0232, + "grad_norm": 0.30228304862976074, + "learning_rate": 9.982662050795908e-05, + "loss": 3.591915512084961, + "step": 85520 + }, + { + "epoch": 0.0233, + "grad_norm": 0.25424811244010925, + "learning_rate": 9.982524200564583e-05, + "loss": 3.6255348205566404, + "step": 85530 + }, + { + "epoch": 0.0234, + "grad_norm": 0.2461751252412796, + "learning_rate": 9.982385805451901e-05, + "loss": 3.600880813598633, + "step": 85540 + }, + { + "epoch": 0.0235, + "grad_norm": 0.2418268918991089, + "learning_rate": 9.982246865472998e-05, + "loss": 3.6520408630371093, + "step": 85550 + }, + { + "epoch": 0.0236, + "grad_norm": 0.24845528602600098, + "learning_rate": 9.982107380643069e-05, + "loss": 3.5574569702148438, + "step": 85560 + }, + { + "epoch": 0.0237, + "grad_norm": 0.25059717893600464, + "learning_rate": 9.981967350977368e-05, + "loss": 3.5402393341064453, + "step": 85570 + }, + { + "epoch": 0.0238, + "grad_norm": 0.28324198722839355, + "learning_rate": 9.981826776491208e-05, + "loss": 3.595504379272461, + "step": 85580 + }, + { + "epoch": 0.0239, + "grad_norm": 0.24451854825019836, + "learning_rate": 9.98168565719996e-05, + "loss": 3.5850383758544924, + "step": 85590 + }, + { + "epoch": 0.024, + "grad_norm": 0.267659068107605, + "learning_rate": 9.98154399311906e-05, + "loss": 3.578251266479492, + "step": 85600 + }, + { + "epoch": 0.0241, + "grad_norm": 0.35833561420440674, + "learning_rate": 9.981401784263997e-05, + "loss": 3.620841217041016, + "step": 85610 + }, + { + "epoch": 0.0242, + "grad_norm": 0.2442755103111267, + "learning_rate": 9.981259030650326e-05, + "loss": 3.587302017211914, + "step": 85620 + }, + { + "epoch": 0.0243, + "grad_norm": 0.24890415370464325, + "learning_rate": 9.981115732293655e-05, + "loss": 3.6900665283203127, + "step": 85630 + }, + { + "epoch": 0.0244, + "grad_norm": 0.419906884431839, + "learning_rate": 9.980971889209659e-05, + "loss": 3.609457015991211, + "step": 85640 + }, + { + "epoch": 0.0245, + "grad_norm": 0.24704444408416748, + "learning_rate": 9.980827501414064e-05, + "loss": 3.5770389556884767, + "step": 85650 + }, + { + "epoch": 0.0246, + "grad_norm": 0.27113986015319824, + "learning_rate": 9.980682568922663e-05, + "loss": 3.579428863525391, + "step": 85660 + }, + { + "epoch": 0.0247, + "grad_norm": 0.2433699667453766, + "learning_rate": 9.980537091751304e-05, + "loss": 3.6096595764160155, + "step": 85670 + }, + { + "epoch": 0.0248, + "grad_norm": 0.25338035821914673, + "learning_rate": 9.980391069915897e-05, + "loss": 3.6539871215820314, + "step": 85680 + }, + { + "epoch": 0.0249, + "grad_norm": 0.26990896463394165, + "learning_rate": 9.98024450343241e-05, + "loss": 3.551648712158203, + "step": 85690 + }, + { + "epoch": 0.025, + "grad_norm": 0.6481966972351074, + "learning_rate": 9.980097392316872e-05, + "loss": 3.6198158264160156, + "step": 85700 + }, + { + "epoch": 0.0251, + "grad_norm": 0.26027655601501465, + "learning_rate": 9.97994973658537e-05, + "loss": 3.7159801483154298, + "step": 85710 + }, + { + "epoch": 0.0252, + "grad_norm": 0.23775680363178253, + "learning_rate": 9.979801536254054e-05, + "loss": 3.5569076538085938, + "step": 85720 + }, + { + "epoch": 0.0253, + "grad_norm": 0.2288324236869812, + "learning_rate": 9.979652791339127e-05, + "loss": 3.6577377319335938, + "step": 85730 + }, + { + "epoch": 0.0254, + "grad_norm": 0.23314149677753448, + "learning_rate": 9.97950350185686e-05, + "loss": 3.582255554199219, + "step": 85740 + }, + { + "epoch": 0.0255, + "grad_norm": 0.2392662763595581, + "learning_rate": 9.979353667823574e-05, + "loss": 3.577046203613281, + "step": 85750 + }, + { + "epoch": 0.0256, + "grad_norm": 0.3036603629589081, + "learning_rate": 9.979203289255658e-05, + "loss": 3.534611129760742, + "step": 85760 + }, + { + "epoch": 0.0257, + "grad_norm": 0.2220892608165741, + "learning_rate": 9.979052366169557e-05, + "loss": 3.5335983276367187, + "step": 85770 + }, + { + "epoch": 0.0258, + "grad_norm": 0.25794705748558044, + "learning_rate": 9.978900898581775e-05, + "loss": 3.6444496154785155, + "step": 85780 + }, + { + "epoch": 0.0259, + "grad_norm": 0.2427547127008438, + "learning_rate": 9.978748886508875e-05, + "loss": 3.5649723052978515, + "step": 85790 + }, + { + "epoch": 0.026, + "grad_norm": 0.24454070627689362, + "learning_rate": 9.978596329967484e-05, + "loss": 3.541699981689453, + "step": 85800 + }, + { + "epoch": 0.0261, + "grad_norm": 0.2416403740644455, + "learning_rate": 9.978443228974284e-05, + "loss": 3.5596855163574217, + "step": 85810 + }, + { + "epoch": 0.0262, + "grad_norm": 0.23428606986999512, + "learning_rate": 9.978289583546015e-05, + "loss": 3.577880859375, + "step": 85820 + }, + { + "epoch": 0.0263, + "grad_norm": 0.2251688688993454, + "learning_rate": 9.978135393699484e-05, + "loss": 3.5454475402832033, + "step": 85830 + }, + { + "epoch": 0.0264, + "grad_norm": 0.2377568632364273, + "learning_rate": 9.977980659451548e-05, + "loss": 3.524850845336914, + "step": 85840 + }, + { + "epoch": 0.0265, + "grad_norm": 0.2254606932401657, + "learning_rate": 9.977825380819135e-05, + "loss": 3.572825622558594, + "step": 85850 + }, + { + "epoch": 0.0266, + "grad_norm": 0.2635759115219116, + "learning_rate": 9.97766955781922e-05, + "loss": 3.543880081176758, + "step": 85860 + }, + { + "epoch": 0.0267, + "grad_norm": 0.23378437757492065, + "learning_rate": 9.977513190468848e-05, + "loss": 3.5434852600097657, + "step": 85870 + }, + { + "epoch": 0.0268, + "grad_norm": 0.2603974938392639, + "learning_rate": 9.977356278785116e-05, + "loss": 3.587119293212891, + "step": 85880 + }, + { + "epoch": 0.0269, + "grad_norm": 0.3638036847114563, + "learning_rate": 9.977198822785184e-05, + "loss": 3.5810420989990233, + "step": 85890 + }, + { + "epoch": 0.027, + "grad_norm": 0.2505592107772827, + "learning_rate": 9.977040822486273e-05, + "loss": 3.519091033935547, + "step": 85900 + }, + { + "epoch": 0.0271, + "grad_norm": 0.27783986926078796, + "learning_rate": 9.97688227790566e-05, + "loss": 3.562078857421875, + "step": 85910 + }, + { + "epoch": 0.0272, + "grad_norm": 0.27582547068595886, + "learning_rate": 9.976723189060684e-05, + "loss": 3.5725261688232424, + "step": 85920 + }, + { + "epoch": 0.0273, + "grad_norm": 0.2812955677509308, + "learning_rate": 9.976563555968742e-05, + "loss": 3.586712646484375, + "step": 85930 + }, + { + "epoch": 0.0274, + "grad_norm": 0.2693924605846405, + "learning_rate": 9.976403378647292e-05, + "loss": 3.5260692596435548, + "step": 85940 + }, + { + "epoch": 0.0275, + "grad_norm": 0.23856335878372192, + "learning_rate": 9.97624265711385e-05, + "loss": 3.5269500732421877, + "step": 85950 + }, + { + "epoch": 0.0276, + "grad_norm": 0.25507020950317383, + "learning_rate": 9.976081391385993e-05, + "loss": 3.538066101074219, + "step": 85960 + }, + { + "epoch": 0.0277, + "grad_norm": 0.26610663533210754, + "learning_rate": 9.975919581481356e-05, + "loss": 3.543822479248047, + "step": 85970 + }, + { + "epoch": 0.0278, + "grad_norm": 0.2360590398311615, + "learning_rate": 9.975757227417634e-05, + "loss": 3.5951602935791014, + "step": 85980 + }, + { + "epoch": 0.0279, + "grad_norm": 0.23227424919605255, + "learning_rate": 9.975594329212586e-05, + "loss": 3.53214111328125, + "step": 85990 + }, + { + "epoch": 0.028, + "grad_norm": 0.2758643925189972, + "learning_rate": 9.97543088688402e-05, + "loss": 3.5416709899902346, + "step": 86000 + }, + { + "epoch": 0.0281, + "grad_norm": 0.2786068916320801, + "learning_rate": 9.975266900449814e-05, + "loss": 3.6856075286865235, + "step": 86010 + }, + { + "epoch": 0.0282, + "grad_norm": 0.24467229843139648, + "learning_rate": 9.975102369927898e-05, + "loss": 3.542380142211914, + "step": 86020 + }, + { + "epoch": 0.0283, + "grad_norm": 0.23049572110176086, + "learning_rate": 9.974937295336269e-05, + "loss": 3.5651481628417967, + "step": 86030 + }, + { + "epoch": 0.0284, + "grad_norm": 0.2629784345626831, + "learning_rate": 9.974771676692975e-05, + "loss": 3.5652305603027346, + "step": 86040 + }, + { + "epoch": 0.0285, + "grad_norm": 0.23925773799419403, + "learning_rate": 9.974605514016131e-05, + "loss": 3.544325256347656, + "step": 86050 + }, + { + "epoch": 0.0286, + "grad_norm": 0.2569584548473358, + "learning_rate": 9.974438807323907e-05, + "loss": 3.5688503265380858, + "step": 86060 + }, + { + "epoch": 0.0287, + "grad_norm": 0.23051214218139648, + "learning_rate": 9.974271556634535e-05, + "loss": 3.523692321777344, + "step": 86070 + }, + { + "epoch": 0.0288, + "grad_norm": 0.2549886107444763, + "learning_rate": 9.974103761966302e-05, + "loss": 3.589580535888672, + "step": 86080 + }, + { + "epoch": 0.0289, + "grad_norm": 0.22411562502384186, + "learning_rate": 9.973935423337563e-05, + "loss": 3.4966278076171875, + "step": 86090 + }, + { + "epoch": 0.029, + "grad_norm": 0.4035455584526062, + "learning_rate": 9.973766540766722e-05, + "loss": 3.628371810913086, + "step": 86100 + }, + { + "epoch": 0.0291, + "grad_norm": 0.2180011123418808, + "learning_rate": 9.97359711427225e-05, + "loss": 3.559170150756836, + "step": 86110 + }, + { + "epoch": 0.0292, + "grad_norm": 0.26745229959487915, + "learning_rate": 9.973427143872677e-05, + "loss": 3.652248764038086, + "step": 86120 + }, + { + "epoch": 0.0293, + "grad_norm": 0.3266768157482147, + "learning_rate": 9.973256629586589e-05, + "loss": 3.612881088256836, + "step": 86130 + }, + { + "epoch": 0.0294, + "grad_norm": 0.3141908347606659, + "learning_rate": 9.973085571432632e-05, + "loss": 3.577619171142578, + "step": 86140 + }, + { + "epoch": 0.0295, + "grad_norm": 0.23842748999595642, + "learning_rate": 9.972913969429513e-05, + "loss": 3.545775604248047, + "step": 86150 + }, + { + "epoch": 0.0296, + "grad_norm": 0.22997666895389557, + "learning_rate": 9.972741823596e-05, + "loss": 3.6512195587158205, + "step": 86160 + }, + { + "epoch": 0.0297, + "grad_norm": 0.2464122325181961, + "learning_rate": 9.972569133950917e-05, + "loss": 3.4714424133300783, + "step": 86170 + }, + { + "epoch": 0.0298, + "grad_norm": 0.23178745806217194, + "learning_rate": 9.972395900513151e-05, + "loss": 3.5572746276855467, + "step": 86180 + }, + { + "epoch": 0.0299, + "grad_norm": 0.23654168844223022, + "learning_rate": 9.972222123301645e-05, + "loss": 3.515637969970703, + "step": 86190 + }, + { + "epoch": 0.03, + "grad_norm": 0.276481568813324, + "learning_rate": 9.972047802335403e-05, + "loss": 3.5499847412109373, + "step": 86200 + }, + { + "epoch": 0.0301, + "grad_norm": 0.24733297526836395, + "learning_rate": 9.971872937633488e-05, + "loss": 3.5223976135253907, + "step": 86210 + }, + { + "epoch": 0.0302, + "grad_norm": 0.24473869800567627, + "learning_rate": 9.971697529215024e-05, + "loss": 3.552435302734375, + "step": 86220 + }, + { + "epoch": 0.0303, + "grad_norm": 0.2503977417945862, + "learning_rate": 9.971521577099192e-05, + "loss": 3.5326679229736326, + "step": 86230 + }, + { + "epoch": 0.0304, + "grad_norm": 0.28221395611763, + "learning_rate": 9.971345081305236e-05, + "loss": 3.571624755859375, + "step": 86240 + }, + { + "epoch": 0.0305, + "grad_norm": 0.27032190561294556, + "learning_rate": 9.971168041852456e-05, + "loss": 3.559336471557617, + "step": 86250 + }, + { + "epoch": 0.0306, + "grad_norm": 0.23588159680366516, + "learning_rate": 9.970990458760215e-05, + "loss": 3.5758243560791017, + "step": 86260 + }, + { + "epoch": 0.0307, + "grad_norm": 0.3419370651245117, + "learning_rate": 9.970812332047929e-05, + "loss": 3.5643283843994142, + "step": 86270 + }, + { + "epoch": 0.0308, + "grad_norm": 0.24446982145309448, + "learning_rate": 9.97063366173508e-05, + "loss": 3.530550003051758, + "step": 86280 + }, + { + "epoch": 0.0309, + "grad_norm": 0.22315742075443268, + "learning_rate": 9.970454447841207e-05, + "loss": 3.540903854370117, + "step": 86290 + }, + { + "epoch": 0.031, + "grad_norm": 0.2406078726053238, + "learning_rate": 9.970274690385909e-05, + "loss": 3.519917297363281, + "step": 86300 + }, + { + "epoch": 0.0311, + "grad_norm": 0.2340644747018814, + "learning_rate": 9.970094389388844e-05, + "loss": 3.495412063598633, + "step": 86310 + }, + { + "epoch": 0.0312, + "grad_norm": 0.26140597462654114, + "learning_rate": 9.969913544869728e-05, + "loss": 3.516475296020508, + "step": 86320 + }, + { + "epoch": 0.0313, + "grad_norm": 0.23784679174423218, + "learning_rate": 9.96973215684834e-05, + "loss": 3.5184513092041017, + "step": 86330 + }, + { + "epoch": 0.0314, + "grad_norm": 0.26336389780044556, + "learning_rate": 9.969550225344513e-05, + "loss": 3.5311885833740235, + "step": 86340 + }, + { + "epoch": 0.0315, + "grad_norm": 0.7982680201530457, + "learning_rate": 9.969367750378147e-05, + "loss": 3.6185916900634765, + "step": 86350 + }, + { + "epoch": 0.0316, + "grad_norm": 0.24621133506298065, + "learning_rate": 9.969184731969194e-05, + "loss": 3.5918624877929686, + "step": 86360 + }, + { + "epoch": 0.0317, + "grad_norm": 0.2201436460018158, + "learning_rate": 9.96900117013767e-05, + "loss": 3.6284595489501954, + "step": 86370 + }, + { + "epoch": 0.0318, + "grad_norm": 0.26922062039375305, + "learning_rate": 9.96881706490365e-05, + "loss": 3.5191715240478514, + "step": 86380 + }, + { + "epoch": 0.0319, + "grad_norm": 0.23400968313217163, + "learning_rate": 9.968632416287265e-05, + "loss": 3.5420841217041015, + "step": 86390 + }, + { + "epoch": 0.032, + "grad_norm": 0.3328185975551605, + "learning_rate": 9.96844722430871e-05, + "loss": 3.5460227966308593, + "step": 86400 + }, + { + "epoch": 0.0321, + "grad_norm": 0.24629555642604828, + "learning_rate": 9.968261488988235e-05, + "loss": 3.566570281982422, + "step": 86410 + }, + { + "epoch": 0.0322, + "grad_norm": 0.22251945734024048, + "learning_rate": 9.968075210346155e-05, + "loss": 3.551888275146484, + "step": 86420 + }, + { + "epoch": 0.0323, + "grad_norm": 0.22824624180793762, + "learning_rate": 9.967888388402839e-05, + "loss": 3.7954971313476564, + "step": 86430 + }, + { + "epoch": 0.0324, + "grad_norm": 0.23136557638645172, + "learning_rate": 9.967701023178717e-05, + "loss": 3.493439483642578, + "step": 86440 + }, + { + "epoch": 0.0325, + "grad_norm": 0.2427946925163269, + "learning_rate": 9.967513114694282e-05, + "loss": 3.519550323486328, + "step": 86450 + }, + { + "epoch": 0.0326, + "grad_norm": 0.22986049950122833, + "learning_rate": 9.967324662970079e-05, + "loss": 3.4548366546630858, + "step": 86460 + }, + { + "epoch": 0.0327, + "grad_norm": 0.44554460048675537, + "learning_rate": 9.96713566802672e-05, + "loss": 3.587781524658203, + "step": 86470 + }, + { + "epoch": 0.0328, + "grad_norm": 0.24687790870666504, + "learning_rate": 9.966946129884873e-05, + "loss": 3.4787353515625, + "step": 86480 + }, + { + "epoch": 0.0329, + "grad_norm": 0.2708691656589508, + "learning_rate": 9.966756048565265e-05, + "loss": 3.6029510498046875, + "step": 86490 + }, + { + "epoch": 0.033, + "grad_norm": 0.22812286019325256, + "learning_rate": 9.966565424088681e-05, + "loss": 3.5425640106201173, + "step": 86500 + }, + { + "epoch": 0.0331, + "grad_norm": 0.257814884185791, + "learning_rate": 9.96637425647597e-05, + "loss": 3.5223087310791015, + "step": 86510 + }, + { + "epoch": 0.0332, + "grad_norm": 0.7189636826515198, + "learning_rate": 9.966182545748038e-05, + "loss": 3.658791732788086, + "step": 86520 + }, + { + "epoch": 0.0333, + "grad_norm": 0.2598377466201782, + "learning_rate": 9.96599029192585e-05, + "loss": 3.5704761505126954, + "step": 86530 + }, + { + "epoch": 0.0334, + "grad_norm": 0.21975110471248627, + "learning_rate": 9.965797495030428e-05, + "loss": 3.563149642944336, + "step": 86540 + }, + { + "epoch": 0.0335, + "grad_norm": 0.23634259402751923, + "learning_rate": 9.96560415508286e-05, + "loss": 3.6047389984130858, + "step": 86550 + }, + { + "epoch": 0.0336, + "grad_norm": 0.30092036724090576, + "learning_rate": 9.965410272104286e-05, + "loss": 3.55379638671875, + "step": 86560 + }, + { + "epoch": 0.0337, + "grad_norm": 0.2408142387866974, + "learning_rate": 9.96521584611591e-05, + "loss": 3.5009265899658204, + "step": 86570 + }, + { + "epoch": 0.0338, + "grad_norm": 0.24401724338531494, + "learning_rate": 9.965020877138994e-05, + "loss": 3.532696533203125, + "step": 86580 + }, + { + "epoch": 0.0339, + "grad_norm": 0.236811101436615, + "learning_rate": 9.964825365194861e-05, + "loss": 3.4810935974121096, + "step": 86590 + }, + { + "epoch": 0.034, + "grad_norm": 0.2461588978767395, + "learning_rate": 9.96462931030489e-05, + "loss": 3.5590286254882812, + "step": 86600 + }, + { + "epoch": 0.0341, + "grad_norm": 0.24463453888893127, + "learning_rate": 9.96443271249052e-05, + "loss": 3.5136062622070314, + "step": 86610 + }, + { + "epoch": 0.0342, + "grad_norm": 0.22821012139320374, + "learning_rate": 9.964235571773255e-05, + "loss": 3.549204635620117, + "step": 86620 + }, + { + "epoch": 0.0343, + "grad_norm": 0.7006849050521851, + "learning_rate": 9.96403788817465e-05, + "loss": 3.646626663208008, + "step": 86630 + }, + { + "epoch": 0.0344, + "grad_norm": 0.2429393231868744, + "learning_rate": 9.963839661716325e-05, + "loss": 3.589604949951172, + "step": 86640 + }, + { + "epoch": 0.0345, + "grad_norm": 0.23724322021007538, + "learning_rate": 9.963640892419958e-05, + "loss": 3.5419536590576173, + "step": 86650 + }, + { + "epoch": 0.0346, + "grad_norm": 0.2366449385881424, + "learning_rate": 9.963441580307286e-05, + "loss": 3.5712677001953126, + "step": 86660 + }, + { + "epoch": 0.0347, + "grad_norm": 0.22230412065982819, + "learning_rate": 9.963241725400104e-05, + "loss": 3.550762939453125, + "step": 86670 + }, + { + "epoch": 0.0348, + "grad_norm": 0.22035905718803406, + "learning_rate": 9.963041327720271e-05, + "loss": 3.5128196716308593, + "step": 86680 + }, + { + "epoch": 0.0349, + "grad_norm": 0.2889842987060547, + "learning_rate": 9.962840387289697e-05, + "loss": 3.6475540161132813, + "step": 86690 + }, + { + "epoch": 0.035, + "grad_norm": 0.22476686537265778, + "learning_rate": 9.962638904130363e-05, + "loss": 3.539365768432617, + "step": 86700 + }, + { + "epoch": 0.0351, + "grad_norm": 0.22089125216007233, + "learning_rate": 9.962436878264298e-05, + "loss": 3.558451461791992, + "step": 86710 + }, + { + "epoch": 0.0352, + "grad_norm": 0.22724896669387817, + "learning_rate": 9.962234309713598e-05, + "loss": 3.5054359436035156, + "step": 86720 + }, + { + "epoch": 0.0353, + "grad_norm": 0.22698794305324554, + "learning_rate": 9.962031198500414e-05, + "loss": 3.488138198852539, + "step": 86730 + }, + { + "epoch": 0.0354, + "grad_norm": 0.22052790224552155, + "learning_rate": 9.961827544646958e-05, + "loss": 3.5264102935791017, + "step": 86740 + }, + { + "epoch": 0.0355, + "grad_norm": 0.5088785290718079, + "learning_rate": 9.961623348175501e-05, + "loss": 3.5621829986572267, + "step": 86750 + }, + { + "epoch": 0.0356, + "grad_norm": 0.24433596432209015, + "learning_rate": 9.961418609108377e-05, + "loss": 3.5696880340576174, + "step": 86760 + }, + { + "epoch": 0.0357, + "grad_norm": 0.23283378779888153, + "learning_rate": 9.961213327467971e-05, + "loss": 3.5053569793701174, + "step": 86770 + }, + { + "epoch": 0.0358, + "grad_norm": 0.2503364086151123, + "learning_rate": 9.961007503276736e-05, + "loss": 3.5167388916015625, + "step": 86780 + }, + { + "epoch": 0.0359, + "grad_norm": 0.3051312267780304, + "learning_rate": 9.960801136557179e-05, + "loss": 3.473704147338867, + "step": 86790 + }, + { + "epoch": 0.036, + "grad_norm": 0.22353413701057434, + "learning_rate": 9.960594227331866e-05, + "loss": 3.5780208587646483, + "step": 86800 + }, + { + "epoch": 0.0361, + "grad_norm": 0.24655623733997345, + "learning_rate": 9.960386775623429e-05, + "loss": 3.4981124877929686, + "step": 86810 + }, + { + "epoch": 0.0362, + "grad_norm": 0.37959155440330505, + "learning_rate": 9.96017878145455e-05, + "loss": 3.454939270019531, + "step": 86820 + }, + { + "epoch": 0.0363, + "grad_norm": 0.2530515789985657, + "learning_rate": 9.959970244847977e-05, + "loss": 3.5425491333007812, + "step": 86830 + }, + { + "epoch": 0.0364, + "grad_norm": 0.235835000872612, + "learning_rate": 9.959761165826518e-05, + "loss": 3.5380516052246094, + "step": 86840 + }, + { + "epoch": 0.0365, + "grad_norm": 0.2573254406452179, + "learning_rate": 9.959551544413033e-05, + "loss": 3.565522003173828, + "step": 86850 + }, + { + "epoch": 0.0366, + "grad_norm": 0.24530521035194397, + "learning_rate": 9.959341380630448e-05, + "loss": 3.4831092834472654, + "step": 86860 + }, + { + "epoch": 0.0367, + "grad_norm": 0.2265908420085907, + "learning_rate": 9.959130674501746e-05, + "loss": 3.512775421142578, + "step": 86870 + }, + { + "epoch": 0.0368, + "grad_norm": 0.24352923035621643, + "learning_rate": 9.958919426049968e-05, + "loss": 3.5084068298339846, + "step": 86880 + }, + { + "epoch": 0.0369, + "grad_norm": 0.2197597771883011, + "learning_rate": 9.958707635298219e-05, + "loss": 3.475159454345703, + "step": 86890 + }, + { + "epoch": 0.037, + "grad_norm": 0.27145445346832275, + "learning_rate": 9.958495302269657e-05, + "loss": 3.629647445678711, + "step": 86900 + }, + { + "epoch": 0.0371, + "grad_norm": 0.23333457112312317, + "learning_rate": 9.958282426987503e-05, + "loss": 3.5136219024658204, + "step": 86910 + }, + { + "epoch": 0.0372, + "grad_norm": 0.26160719990730286, + "learning_rate": 9.95806900947504e-05, + "loss": 3.589425277709961, + "step": 86920 + }, + { + "epoch": 0.0373, + "grad_norm": 0.4414494037628174, + "learning_rate": 9.957855049755604e-05, + "loss": 3.7182918548583985, + "step": 86930 + }, + { + "epoch": 0.0374, + "grad_norm": 0.2377568632364273, + "learning_rate": 9.957640547852593e-05, + "loss": 3.574993896484375, + "step": 86940 + }, + { + "epoch": 0.0375, + "grad_norm": 0.2676723599433899, + "learning_rate": 9.957425503789466e-05, + "loss": 3.5500152587890623, + "step": 86950 + }, + { + "epoch": 0.0376, + "grad_norm": 0.22574037313461304, + "learning_rate": 9.957209917589738e-05, + "loss": 3.502276611328125, + "step": 86960 + }, + { + "epoch": 0.0377, + "grad_norm": 0.2214985191822052, + "learning_rate": 9.956993789276987e-05, + "loss": 3.5094379425048827, + "step": 86970 + }, + { + "epoch": 0.0378, + "grad_norm": 0.2247961014509201, + "learning_rate": 9.956777118874847e-05, + "loss": 3.494683837890625, + "step": 86980 + }, + { + "epoch": 0.0379, + "grad_norm": 0.25474363565444946, + "learning_rate": 9.956559906407016e-05, + "loss": 3.475168991088867, + "step": 86990 + }, + { + "epoch": 0.038, + "grad_norm": 0.2989141345024109, + "learning_rate": 9.956342151897245e-05, + "loss": 3.501174545288086, + "step": 87000 + }, + { + "epoch": 0.0381, + "grad_norm": 0.25852909684181213, + "learning_rate": 9.956123855369346e-05, + "loss": 3.489072799682617, + "step": 87010 + }, + { + "epoch": 0.0382, + "grad_norm": 0.21059463918209076, + "learning_rate": 9.955905016847196e-05, + "loss": 3.486780548095703, + "step": 87020 + }, + { + "epoch": 0.0383, + "grad_norm": 0.22944959998130798, + "learning_rate": 9.955685636354723e-05, + "loss": 3.4915592193603517, + "step": 87030 + }, + { + "epoch": 0.0384, + "grad_norm": 0.24829331040382385, + "learning_rate": 9.95546571391592e-05, + "loss": 3.537678909301758, + "step": 87040 + }, + { + "epoch": 0.0385, + "grad_norm": 0.253560334444046, + "learning_rate": 9.955245249554837e-05, + "loss": 3.4627197265625, + "step": 87050 + }, + { + "epoch": 0.0386, + "grad_norm": 0.22625349462032318, + "learning_rate": 9.955024243295582e-05, + "loss": 3.526144790649414, + "step": 87060 + }, + { + "epoch": 0.0387, + "grad_norm": 0.23981168866157532, + "learning_rate": 9.954802695162328e-05, + "loss": 3.651128387451172, + "step": 87070 + }, + { + "epoch": 0.0388, + "grad_norm": 0.21188385784626007, + "learning_rate": 9.954580605179302e-05, + "loss": 3.4992820739746096, + "step": 87080 + }, + { + "epoch": 0.0389, + "grad_norm": 0.20997042953968048, + "learning_rate": 9.954357973370788e-05, + "loss": 3.5104774475097655, + "step": 87090 + }, + { + "epoch": 0.039, + "grad_norm": 0.21936026215553284, + "learning_rate": 9.954134799761135e-05, + "loss": 3.483306884765625, + "step": 87100 + }, + { + "epoch": 0.0391, + "grad_norm": 0.6412197351455688, + "learning_rate": 9.953911084374748e-05, + "loss": 3.5444759368896483, + "step": 87110 + }, + { + "epoch": 0.0392, + "grad_norm": 0.22256293892860413, + "learning_rate": 9.953686827236093e-05, + "loss": 3.674502944946289, + "step": 87120 + }, + { + "epoch": 0.0393, + "grad_norm": 0.2200121432542801, + "learning_rate": 9.953462028369695e-05, + "loss": 3.4882282257080077, + "step": 87130 + }, + { + "epoch": 0.0394, + "grad_norm": 0.2311324030160904, + "learning_rate": 9.953236687800136e-05, + "loss": 3.572439956665039, + "step": 87140 + }, + { + "epoch": 0.0395, + "grad_norm": 0.21785826981067657, + "learning_rate": 9.95301080555206e-05, + "loss": 3.502328872680664, + "step": 87150 + }, + { + "epoch": 0.0396, + "grad_norm": 0.38882070779800415, + "learning_rate": 9.952784381650171e-05, + "loss": 3.5151954650878907, + "step": 87160 + }, + { + "epoch": 0.0397, + "grad_norm": 0.2375527024269104, + "learning_rate": 9.952557416119226e-05, + "loss": 3.5366649627685547, + "step": 87170 + }, + { + "epoch": 0.0398, + "grad_norm": 0.22945114970207214, + "learning_rate": 9.95232990898405e-05, + "loss": 3.479144287109375, + "step": 87180 + }, + { + "epoch": 0.0399, + "grad_norm": 0.2675630450248718, + "learning_rate": 9.95210186026952e-05, + "loss": 3.524378204345703, + "step": 87190 + }, + { + "epoch": 0.04, + "grad_norm": 0.22728347778320312, + "learning_rate": 9.951873270000576e-05, + "loss": 3.618131637573242, + "step": 87200 + }, + { + "epoch": 0.0401, + "grad_norm": 0.22647036612033844, + "learning_rate": 9.951644138202216e-05, + "loss": 3.4421878814697267, + "step": 87210 + }, + { + "epoch": 0.0402, + "grad_norm": 0.3725104033946991, + "learning_rate": 9.951414464899498e-05, + "loss": 3.5570526123046875, + "step": 87220 + }, + { + "epoch": 0.0403, + "grad_norm": 0.2510637640953064, + "learning_rate": 9.951184250117538e-05, + "loss": 3.573494720458984, + "step": 87230 + }, + { + "epoch": 0.0404, + "grad_norm": 0.23112894594669342, + "learning_rate": 9.950953493881513e-05, + "loss": 3.4580966949462892, + "step": 87240 + }, + { + "epoch": 0.0405, + "grad_norm": 0.22407910227775574, + "learning_rate": 9.950722196216658e-05, + "loss": 3.4951072692871095, + "step": 87250 + }, + { + "epoch": 0.0406, + "grad_norm": 0.24626241624355316, + "learning_rate": 9.950490357148265e-05, + "loss": 3.441891098022461, + "step": 87260 + }, + { + "epoch": 0.0407, + "grad_norm": 0.21892742812633514, + "learning_rate": 9.950257976701692e-05, + "loss": 3.4867233276367187, + "step": 87270 + }, + { + "epoch": 0.0408, + "grad_norm": 0.23128166794776917, + "learning_rate": 9.950025054902348e-05, + "loss": 3.5898468017578127, + "step": 87280 + }, + { + "epoch": 0.0409, + "grad_norm": 0.22768433392047882, + "learning_rate": 9.949791591775706e-05, + "loss": 3.4650142669677733, + "step": 87290 + }, + { + "epoch": 0.041, + "grad_norm": 0.242142453789711, + "learning_rate": 9.949557587347298e-05, + "loss": 3.4743362426757813, + "step": 87300 + }, + { + "epoch": 0.0411, + "grad_norm": 0.21424978971481323, + "learning_rate": 9.949323041642713e-05, + "loss": 3.492284393310547, + "step": 87310 + }, + { + "epoch": 0.0412, + "grad_norm": 0.22114643454551697, + "learning_rate": 9.949087954687602e-05, + "loss": 3.566326141357422, + "step": 87320 + }, + { + "epoch": 0.0413, + "grad_norm": 0.23026612401008606, + "learning_rate": 9.948852326507672e-05, + "loss": 3.509130096435547, + "step": 87330 + }, + { + "epoch": 0.0414, + "grad_norm": 0.2993336319923401, + "learning_rate": 9.948616157128694e-05, + "loss": 3.496174621582031, + "step": 87340 + }, + { + "epoch": 0.0415, + "grad_norm": 0.3403513431549072, + "learning_rate": 9.948379446576493e-05, + "loss": 3.512033462524414, + "step": 87350 + }, + { + "epoch": 0.0416, + "grad_norm": 0.23015788197517395, + "learning_rate": 9.948142194876952e-05, + "loss": 3.763461685180664, + "step": 87360 + }, + { + "epoch": 0.0417, + "grad_norm": 0.22674298286437988, + "learning_rate": 9.947904402056024e-05, + "loss": 3.518315887451172, + "step": 87370 + }, + { + "epoch": 0.0418, + "grad_norm": 0.20918603241443634, + "learning_rate": 9.947666068139708e-05, + "loss": 3.457122802734375, + "step": 87380 + }, + { + "epoch": 0.0419, + "grad_norm": 0.26207005977630615, + "learning_rate": 9.947427193154071e-05, + "loss": 3.5162277221679688, + "step": 87390 + }, + { + "epoch": 0.042, + "grad_norm": 0.21584054827690125, + "learning_rate": 9.947187777125233e-05, + "loss": 3.466419219970703, + "step": 87400 + }, + { + "epoch": 0.0421, + "grad_norm": 0.27594462037086487, + "learning_rate": 9.946947820079377e-05, + "loss": 3.5102783203125, + "step": 87410 + }, + { + "epoch": 0.0422, + "grad_norm": 0.3398813307285309, + "learning_rate": 9.946707322042747e-05, + "loss": 3.5125961303710938, + "step": 87420 + }, + { + "epoch": 0.0423, + "grad_norm": 0.2285033017396927, + "learning_rate": 9.94646628304164e-05, + "loss": 3.528242492675781, + "step": 87430 + }, + { + "epoch": 0.0424, + "grad_norm": 0.24180272221565247, + "learning_rate": 9.946224703102418e-05, + "loss": 3.5903446197509767, + "step": 87440 + }, + { + "epoch": 0.0425, + "grad_norm": 0.22291679680347443, + "learning_rate": 9.945982582251498e-05, + "loss": 3.431362533569336, + "step": 87450 + }, + { + "epoch": 0.0426, + "grad_norm": 0.2241559773683548, + "learning_rate": 9.94573992051536e-05, + "loss": 3.5814159393310545, + "step": 87460 + }, + { + "epoch": 0.0427, + "grad_norm": 0.22420759499073029, + "learning_rate": 9.94549671792054e-05, + "loss": 3.4340133666992188, + "step": 87470 + }, + { + "epoch": 0.0428, + "grad_norm": 0.20814333856105804, + "learning_rate": 9.945252974493635e-05, + "loss": 3.461866760253906, + "step": 87480 + }, + { + "epoch": 0.0429, + "grad_norm": 0.2102765589952469, + "learning_rate": 9.9450086902613e-05, + "loss": 3.4968128204345703, + "step": 87490 + }, + { + "epoch": 0.043, + "grad_norm": 0.23011274635791779, + "learning_rate": 9.944763865250248e-05, + "loss": 3.539672088623047, + "step": 87500 + }, + { + "epoch": 0.0431, + "grad_norm": 0.2450559288263321, + "learning_rate": 9.944518499487254e-05, + "loss": 3.4776374816894533, + "step": 87510 + }, + { + "epoch": 0.0432, + "grad_norm": 0.23029664158821106, + "learning_rate": 9.944272592999151e-05, + "loss": 3.5025753021240233, + "step": 87520 + }, + { + "epoch": 0.0433, + "grad_norm": 0.20505572855472565, + "learning_rate": 9.94402614581283e-05, + "loss": 3.465119552612305, + "step": 87530 + }, + { + "epoch": 0.0434, + "grad_norm": 0.2184097021818161, + "learning_rate": 9.943779157955244e-05, + "loss": 3.46063346862793, + "step": 87540 + }, + { + "epoch": 0.0435, + "grad_norm": 0.2131258249282837, + "learning_rate": 9.943531629453403e-05, + "loss": 3.4603450775146483, + "step": 87550 + }, + { + "epoch": 0.0436, + "grad_norm": 0.2167542576789856, + "learning_rate": 9.943283560334375e-05, + "loss": 3.452219772338867, + "step": 87560 + }, + { + "epoch": 0.0437, + "grad_norm": 0.20982196927070618, + "learning_rate": 9.943034950625288e-05, + "loss": 3.446381378173828, + "step": 87570 + }, + { + "epoch": 0.0438, + "grad_norm": 0.2265927493572235, + "learning_rate": 9.942785800353332e-05, + "loss": 3.483041763305664, + "step": 87580 + }, + { + "epoch": 0.0439, + "grad_norm": 0.22275805473327637, + "learning_rate": 9.942536109545751e-05, + "loss": 3.4848876953125, + "step": 87590 + }, + { + "epoch": 0.044, + "grad_norm": 0.2150101214647293, + "learning_rate": 9.942285878229853e-05, + "loss": 3.449690246582031, + "step": 87600 + }, + { + "epoch": 0.0441, + "grad_norm": 0.31510916352272034, + "learning_rate": 9.942035106433001e-05, + "loss": 3.4738346099853517, + "step": 87610 + }, + { + "epoch": 0.0442, + "grad_norm": 0.20170903205871582, + "learning_rate": 9.94178379418262e-05, + "loss": 3.484848403930664, + "step": 87620 + }, + { + "epoch": 0.0443, + "grad_norm": 0.202318474650383, + "learning_rate": 9.941531941506194e-05, + "loss": 3.5212066650390623, + "step": 87630 + }, + { + "epoch": 0.0444, + "grad_norm": 0.20829206705093384, + "learning_rate": 9.941279548431263e-05, + "loss": 3.492949676513672, + "step": 87640 + }, + { + "epoch": 0.0445, + "grad_norm": 0.20682312548160553, + "learning_rate": 9.941026614985431e-05, + "loss": 3.4830909729003907, + "step": 87650 + }, + { + "epoch": 0.0446, + "grad_norm": 0.20790083706378937, + "learning_rate": 9.940773141196357e-05, + "loss": 3.4723243713378906, + "step": 87660 + }, + { + "epoch": 0.0447, + "grad_norm": 0.24451112747192383, + "learning_rate": 9.94051912709176e-05, + "loss": 3.44329948425293, + "step": 87670 + }, + { + "epoch": 0.0448, + "grad_norm": 0.6788707971572876, + "learning_rate": 9.940264572699421e-05, + "loss": 3.4924007415771485, + "step": 87680 + }, + { + "epoch": 0.0449, + "grad_norm": 0.22288651764392853, + "learning_rate": 9.940009478047174e-05, + "loss": 3.4692554473876953, + "step": 87690 + }, + { + "epoch": 0.045, + "grad_norm": 0.20806677639484406, + "learning_rate": 9.939753843162918e-05, + "loss": 3.4302738189697264, + "step": 87700 + }, + { + "epoch": 0.0451, + "grad_norm": 0.1970839500427246, + "learning_rate": 9.939497668074609e-05, + "loss": 3.4425384521484377, + "step": 87710 + }, + { + "epoch": 0.0452, + "grad_norm": 0.22695882618427277, + "learning_rate": 9.93924095281026e-05, + "loss": 3.4967575073242188, + "step": 87720 + }, + { + "epoch": 0.0453, + "grad_norm": 0.2068215310573578, + "learning_rate": 9.938983697397948e-05, + "loss": 3.457621383666992, + "step": 87730 + }, + { + "epoch": 0.0454, + "grad_norm": 0.20516575872898102, + "learning_rate": 9.938725901865805e-05, + "loss": 3.4575443267822266, + "step": 87740 + }, + { + "epoch": 0.0455, + "grad_norm": 0.20642898976802826, + "learning_rate": 9.93846756624202e-05, + "loss": 3.443154525756836, + "step": 87750 + }, + { + "epoch": 0.0456, + "grad_norm": 0.2216077744960785, + "learning_rate": 9.938208690554849e-05, + "loss": 3.475957489013672, + "step": 87760 + }, + { + "epoch": 0.0457, + "grad_norm": 0.2133660465478897, + "learning_rate": 9.9379492748326e-05, + "loss": 3.4443634033203123, + "step": 87770 + }, + { + "epoch": 0.0458, + "grad_norm": 0.21034245193004608, + "learning_rate": 9.937689319103641e-05, + "loss": 3.4486026763916016, + "step": 87780 + }, + { + "epoch": 0.0459, + "grad_norm": 0.23072350025177002, + "learning_rate": 9.937428823396404e-05, + "loss": 3.4670520782470704, + "step": 87790 + }, + { + "epoch": 0.046, + "grad_norm": 0.20785468816757202, + "learning_rate": 9.937167787739372e-05, + "loss": 3.422760772705078, + "step": 87800 + }, + { + "epoch": 0.0461, + "grad_norm": 0.42528074979782104, + "learning_rate": 9.936906212161095e-05, + "loss": 3.6702789306640624, + "step": 87810 + }, + { + "epoch": 0.0462, + "grad_norm": 0.21889372169971466, + "learning_rate": 9.936644096690176e-05, + "loss": 3.437454605102539, + "step": 87820 + }, + { + "epoch": 0.0463, + "grad_norm": 0.21360132098197937, + "learning_rate": 9.936381441355282e-05, + "loss": 3.435292434692383, + "step": 87830 + }, + { + "epoch": 0.0464, + "grad_norm": 0.22827357053756714, + "learning_rate": 9.936118246185136e-05, + "loss": 3.555126953125, + "step": 87840 + }, + { + "epoch": 0.0465, + "grad_norm": 0.2259804755449295, + "learning_rate": 9.935854511208518e-05, + "loss": 3.4523799896240233, + "step": 87850 + }, + { + "epoch": 0.0466, + "grad_norm": 0.21691113710403442, + "learning_rate": 9.935590236454272e-05, + "loss": 3.46997184753418, + "step": 87860 + }, + { + "epoch": 0.0467, + "grad_norm": 0.2235109806060791, + "learning_rate": 9.935325421951298e-05, + "loss": 3.5263381958007813, + "step": 87870 + }, + { + "epoch": 0.0468, + "grad_norm": 0.22141925990581512, + "learning_rate": 9.935060067728557e-05, + "loss": 3.5978321075439452, + "step": 87880 + }, + { + "epoch": 0.0469, + "grad_norm": 0.20492106676101685, + "learning_rate": 9.934794173815067e-05, + "loss": 3.4131378173828124, + "step": 87890 + }, + { + "epoch": 0.047, + "grad_norm": 0.274261474609375, + "learning_rate": 9.934527740239906e-05, + "loss": 3.4911231994628906, + "step": 87900 + }, + { + "epoch": 0.0471, + "grad_norm": 0.3009234666824341, + "learning_rate": 9.934260767032209e-05, + "loss": 3.6233985900878904, + "step": 87910 + }, + { + "epoch": 0.0472, + "grad_norm": 0.2513240575790405, + "learning_rate": 9.933993254221172e-05, + "loss": 3.591939926147461, + "step": 87920 + }, + { + "epoch": 0.0473, + "grad_norm": 0.23563043773174286, + "learning_rate": 9.933725201836053e-05, + "loss": 3.4712120056152345, + "step": 87930 + }, + { + "epoch": 0.0474, + "grad_norm": 0.22870992124080658, + "learning_rate": 9.933456609906162e-05, + "loss": 3.462660217285156, + "step": 87940 + }, + { + "epoch": 0.0475, + "grad_norm": 0.21629232168197632, + "learning_rate": 9.933187478460875e-05, + "loss": 3.425070953369141, + "step": 87950 + }, + { + "epoch": 0.0476, + "grad_norm": 0.2081223428249359, + "learning_rate": 9.93291780752962e-05, + "loss": 3.4479732513427734, + "step": 87960 + }, + { + "epoch": 0.0477, + "grad_norm": 0.22758755087852478, + "learning_rate": 9.932647597141893e-05, + "loss": 3.5144393920898436, + "step": 87970 + }, + { + "epoch": 0.0478, + "grad_norm": 0.2109268307685852, + "learning_rate": 9.932376847327239e-05, + "loss": 3.4865749359130858, + "step": 87980 + }, + { + "epoch": 0.0479, + "grad_norm": 0.2091103196144104, + "learning_rate": 9.932105558115268e-05, + "loss": 3.605680465698242, + "step": 87990 + }, + { + "epoch": 0.048, + "grad_norm": 0.2202194482088089, + "learning_rate": 9.931833729535651e-05, + "loss": 3.4654556274414063, + "step": 88000 + }, + { + "epoch": 0.0481, + "grad_norm": 0.22847074270248413, + "learning_rate": 9.931561361618111e-05, + "loss": 3.497611236572266, + "step": 88010 + }, + { + "epoch": 0.0482, + "grad_norm": 0.22244277596473694, + "learning_rate": 9.931288454392435e-05, + "loss": 3.4481185913085937, + "step": 88020 + }, + { + "epoch": 0.0483, + "grad_norm": 0.25382542610168457, + "learning_rate": 9.931015007888467e-05, + "loss": 3.521778869628906, + "step": 88030 + }, + { + "epoch": 0.0484, + "grad_norm": 0.21427449584007263, + "learning_rate": 9.930741022136112e-05, + "loss": 3.547662353515625, + "step": 88040 + }, + { + "epoch": 0.0485, + "grad_norm": 0.27043306827545166, + "learning_rate": 9.930466497165333e-05, + "loss": 3.637647247314453, + "step": 88050 + }, + { + "epoch": 0.0486, + "grad_norm": 0.20680159330368042, + "learning_rate": 9.93019143300615e-05, + "loss": 3.4027156829833984, + "step": 88060 + }, + { + "epoch": 0.0487, + "grad_norm": 0.22643111646175385, + "learning_rate": 9.929915829688644e-05, + "loss": 3.474656677246094, + "step": 88070 + }, + { + "epoch": 0.0488, + "grad_norm": 0.20598763227462769, + "learning_rate": 9.929639687242955e-05, + "loss": 3.3988388061523436, + "step": 88080 + }, + { + "epoch": 0.0489, + "grad_norm": 0.22102606296539307, + "learning_rate": 9.929363005699281e-05, + "loss": 3.441686248779297, + "step": 88090 + }, + { + "epoch": 0.049, + "grad_norm": 0.4055846631526947, + "learning_rate": 9.92908578508788e-05, + "loss": 3.42834358215332, + "step": 88100 + }, + { + "epoch": 0.0491, + "grad_norm": 0.20581355690956116, + "learning_rate": 9.928808025439069e-05, + "loss": 3.498126983642578, + "step": 88110 + }, + { + "epoch": 0.0492, + "grad_norm": 0.21253280341625214, + "learning_rate": 9.928529726783223e-05, + "loss": 3.4334564208984375, + "step": 88120 + }, + { + "epoch": 0.0493, + "grad_norm": 0.21126846969127655, + "learning_rate": 9.928250889150774e-05, + "loss": 3.4784435272216796, + "step": 88130 + }, + { + "epoch": 0.0494, + "grad_norm": 0.2041010558605194, + "learning_rate": 9.92797151257222e-05, + "loss": 3.4565383911132814, + "step": 88140 + }, + { + "epoch": 0.0495, + "grad_norm": 0.22381795942783356, + "learning_rate": 9.927691597078108e-05, + "loss": 3.3681774139404297, + "step": 88150 + }, + { + "epoch": 0.0496, + "grad_norm": 0.2129427045583725, + "learning_rate": 9.927411142699053e-05, + "loss": 3.4187793731689453, + "step": 88160 + }, + { + "epoch": 0.0497, + "grad_norm": 0.1992781162261963, + "learning_rate": 9.927130149465725e-05, + "loss": 3.5202369689941406, + "step": 88170 + }, + { + "epoch": 0.0498, + "grad_norm": 0.22106146812438965, + "learning_rate": 9.92684861740885e-05, + "loss": 3.4938732147216798, + "step": 88180 + }, + { + "epoch": 0.0499, + "grad_norm": 0.22755417227745056, + "learning_rate": 9.926566546559217e-05, + "loss": 3.4571441650390624, + "step": 88190 + }, + { + "epoch": 0.05, + "grad_norm": 0.21116143465042114, + "learning_rate": 9.926283936947673e-05, + "loss": 3.47540397644043, + "step": 88200 + }, + { + "epoch": 0.0501, + "grad_norm": 0.25135543942451477, + "learning_rate": 9.926000788605126e-05, + "loss": 3.474293518066406, + "step": 88210 + }, + { + "epoch": 0.0502, + "grad_norm": 0.20247307419776917, + "learning_rate": 9.92571710156254e-05, + "loss": 3.5368934631347657, + "step": 88220 + }, + { + "epoch": 0.0503, + "grad_norm": 0.2370595782995224, + "learning_rate": 9.925432875850936e-05, + "loss": 3.299351119995117, + "step": 88230 + }, + { + "epoch": 0.0504, + "grad_norm": 0.20980019867420197, + "learning_rate": 9.925148111501396e-05, + "loss": 3.419571304321289, + "step": 88240 + }, + { + "epoch": 0.0505, + "grad_norm": 0.20460277795791626, + "learning_rate": 9.924862808545066e-05, + "loss": 3.421742630004883, + "step": 88250 + }, + { + "epoch": 0.0506, + "grad_norm": 0.20013706386089325, + "learning_rate": 9.924576967013141e-05, + "loss": 3.433887481689453, + "step": 88260 + }, + { + "epoch": 0.0507, + "grad_norm": 0.20746369659900665, + "learning_rate": 9.924290586936887e-05, + "loss": 3.420815277099609, + "step": 88270 + }, + { + "epoch": 0.0508, + "grad_norm": 0.20271070301532745, + "learning_rate": 9.924003668347614e-05, + "loss": 3.431641387939453, + "step": 88280 + }, + { + "epoch": 0.0509, + "grad_norm": 0.24390657246112823, + "learning_rate": 9.923716211276704e-05, + "loss": 3.4343593597412108, + "step": 88290 + }, + { + "epoch": 0.051, + "grad_norm": 0.3958902955055237, + "learning_rate": 9.923428215755594e-05, + "loss": 3.3996536254882814, + "step": 88300 + }, + { + "epoch": 0.0511, + "grad_norm": 0.21826477348804474, + "learning_rate": 9.923139681815775e-05, + "loss": 3.4292205810546874, + "step": 88310 + }, + { + "epoch": 0.0512, + "grad_norm": 0.23290973901748657, + "learning_rate": 9.922850609488801e-05, + "loss": 3.3791458129882814, + "step": 88320 + }, + { + "epoch": 0.0513, + "grad_norm": 0.20755083858966827, + "learning_rate": 9.922560998806287e-05, + "loss": 3.458829879760742, + "step": 88330 + }, + { + "epoch": 0.0514, + "grad_norm": 0.2211775928735733, + "learning_rate": 9.922270849799905e-05, + "loss": 3.4258502960205077, + "step": 88340 + }, + { + "epoch": 0.0515, + "grad_norm": 0.2246459573507309, + "learning_rate": 9.92198016250138e-05, + "loss": 3.46429443359375, + "step": 88350 + }, + { + "epoch": 0.0516, + "grad_norm": 0.4560513496398926, + "learning_rate": 9.921688936942506e-05, + "loss": 3.4339221954345702, + "step": 88360 + }, + { + "epoch": 0.0517, + "grad_norm": 0.25246477127075195, + "learning_rate": 9.921397173155129e-05, + "loss": 3.412601089477539, + "step": 88370 + }, + { + "epoch": 0.0518, + "grad_norm": 0.20820581912994385, + "learning_rate": 9.921104871171157e-05, + "loss": 3.484527587890625, + "step": 88380 + }, + { + "epoch": 0.0519, + "grad_norm": 0.19367246329784393, + "learning_rate": 9.920812031022554e-05, + "loss": 3.4511947631835938, + "step": 88390 + }, + { + "epoch": 0.052, + "grad_norm": 0.20343661308288574, + "learning_rate": 9.920518652741348e-05, + "loss": 3.4330039978027345, + "step": 88400 + }, + { + "epoch": 0.0521, + "grad_norm": 0.2045159488916397, + "learning_rate": 9.920224736359618e-05, + "loss": 3.475534439086914, + "step": 88410 + }, + { + "epoch": 0.0522, + "grad_norm": 0.1953175961971283, + "learning_rate": 9.91993028190951e-05, + "loss": 3.4895450592041017, + "step": 88420 + }, + { + "epoch": 0.0523, + "grad_norm": 0.2111949473619461, + "learning_rate": 9.919635289423222e-05, + "loss": 3.459346389770508, + "step": 88430 + }, + { + "epoch": 0.0524, + "grad_norm": 0.2062598615884781, + "learning_rate": 9.919339758933015e-05, + "loss": 3.4337753295898437, + "step": 88440 + }, + { + "epoch": 0.0525, + "grad_norm": 1.005130648612976, + "learning_rate": 9.919043690471209e-05, + "loss": 3.572843551635742, + "step": 88450 + }, + { + "epoch": 0.0526, + "grad_norm": 132.48765563964844, + "learning_rate": 9.91874708407018e-05, + "loss": 5.462657165527344, + "step": 88460 + }, + { + "epoch": 0.0527, + "grad_norm": 0.21032750606536865, + "learning_rate": 9.918449939762367e-05, + "loss": 4.512516784667969, + "step": 88470 + }, + { + "epoch": 0.0528, + "grad_norm": 0.25138649344444275, + "learning_rate": 9.91815225758026e-05, + "loss": 3.5258323669433596, + "step": 88480 + }, + { + "epoch": 0.0529, + "grad_norm": 0.23238541185855865, + "learning_rate": 9.917854037556419e-05, + "loss": 3.4861698150634766, + "step": 88490 + }, + { + "epoch": 0.053, + "grad_norm": 0.20848235487937927, + "learning_rate": 9.917555279723454e-05, + "loss": 3.5034629821777346, + "step": 88500 + }, + { + "epoch": 0.0531, + "grad_norm": 0.20651061832904816, + "learning_rate": 9.917255984114036e-05, + "loss": 3.4337642669677733, + "step": 88510 + }, + { + "epoch": 0.0532, + "grad_norm": 0.2084576040506363, + "learning_rate": 9.916956150760896e-05, + "loss": 3.466422271728516, + "step": 88520 + }, + { + "epoch": 0.0533, + "grad_norm": 0.22980253398418427, + "learning_rate": 9.916655779696826e-05, + "loss": 3.5865554809570312, + "step": 88530 + }, + { + "epoch": 0.0534, + "grad_norm": 0.20767848193645477, + "learning_rate": 9.916354870954671e-05, + "loss": 3.4570602416992187, + "step": 88540 + }, + { + "epoch": 0.0535, + "grad_norm": 0.639073371887207, + "learning_rate": 9.91605342456734e-05, + "loss": 3.6030319213867186, + "step": 88550 + }, + { + "epoch": 0.0536, + "grad_norm": 0.21950949728488922, + "learning_rate": 9.915751440567795e-05, + "loss": 3.6912841796875, + "step": 88560 + }, + { + "epoch": 0.0537, + "grad_norm": 0.20814180374145508, + "learning_rate": 9.915448918989066e-05, + "loss": 3.5825736999511717, + "step": 88570 + }, + { + "epoch": 0.0538, + "grad_norm": 0.2894248366355896, + "learning_rate": 9.915145859864232e-05, + "loss": 3.4874401092529297, + "step": 88580 + }, + { + "epoch": 0.0539, + "grad_norm": 0.24874542653560638, + "learning_rate": 9.914842263226437e-05, + "loss": 3.465639114379883, + "step": 88590 + }, + { + "epoch": 0.054, + "grad_norm": 0.21626344323158264, + "learning_rate": 9.914538129108882e-05, + "loss": 3.5141986846923827, + "step": 88600 + }, + { + "epoch": 0.0541, + "grad_norm": 0.23507332801818848, + "learning_rate": 9.914233457544825e-05, + "loss": 3.4884784698486326, + "step": 88610 + }, + { + "epoch": 0.0542, + "grad_norm": 0.2227034717798233, + "learning_rate": 9.913928248567586e-05, + "loss": 3.517100143432617, + "step": 88620 + }, + { + "epoch": 0.0543, + "grad_norm": 0.2536813020706177, + "learning_rate": 9.913622502210542e-05, + "loss": 3.5024185180664062, + "step": 88630 + }, + { + "epoch": 0.0544, + "grad_norm": 0.23898369073867798, + "learning_rate": 9.913316218507128e-05, + "loss": 3.558736038208008, + "step": 88640 + }, + { + "epoch": 0.0545, + "grad_norm": 0.20069561898708344, + "learning_rate": 9.91300939749084e-05, + "loss": 3.495846176147461, + "step": 88650 + }, + { + "epoch": 0.0546, + "grad_norm": 0.2289477437734604, + "learning_rate": 9.91270203919523e-05, + "loss": 3.4999679565429687, + "step": 88660 + }, + { + "epoch": 0.0547, + "grad_norm": 0.2105262726545334, + "learning_rate": 9.912394143653912e-05, + "loss": 3.6118770599365235, + "step": 88670 + }, + { + "epoch": 0.0548, + "grad_norm": 0.21185249090194702, + "learning_rate": 9.912085710900555e-05, + "loss": 3.4327251434326174, + "step": 88680 + }, + { + "epoch": 0.0549, + "grad_norm": 0.2270280420780182, + "learning_rate": 9.911776740968892e-05, + "loss": 3.4859664916992186, + "step": 88690 + }, + { + "epoch": 0.055, + "grad_norm": 0.7453796863555908, + "learning_rate": 9.911467233892709e-05, + "loss": 3.525126266479492, + "step": 88700 + }, + { + "epoch": 0.0551, + "grad_norm": 0.19970841705799103, + "learning_rate": 9.911157189705853e-05, + "loss": 3.518052673339844, + "step": 88710 + }, + { + "epoch": 0.0552, + "grad_norm": 0.5951544046401978, + "learning_rate": 9.910846608442229e-05, + "loss": 3.5432334899902345, + "step": 88720 + }, + { + "epoch": 0.0553, + "grad_norm": 0.205495685338974, + "learning_rate": 9.910535490135805e-05, + "loss": 3.4707004547119142, + "step": 88730 + }, + { + "epoch": 0.0554, + "grad_norm": 0.19855575263500214, + "learning_rate": 9.910223834820603e-05, + "loss": 3.466890335083008, + "step": 88740 + }, + { + "epoch": 0.0555, + "grad_norm": 0.20748327672481537, + "learning_rate": 9.909911642530703e-05, + "loss": 3.473844528198242, + "step": 88750 + }, + { + "epoch": 0.0556, + "grad_norm": 0.22381797432899475, + "learning_rate": 9.909598913300249e-05, + "loss": 3.482311248779297, + "step": 88760 + }, + { + "epoch": 0.0557, + "grad_norm": 0.2077081948518753, + "learning_rate": 9.909285647163438e-05, + "loss": 3.442440414428711, + "step": 88770 + }, + { + "epoch": 0.0558, + "grad_norm": 0.20445998013019562, + "learning_rate": 9.908971844154531e-05, + "loss": 3.4935592651367187, + "step": 88780 + }, + { + "epoch": 0.0559, + "grad_norm": 0.24528709053993225, + "learning_rate": 9.908657504307843e-05, + "loss": 3.4737823486328123, + "step": 88790 + }, + { + "epoch": 0.056, + "grad_norm": 0.22450390458106995, + "learning_rate": 9.908342627657751e-05, + "loss": 3.480276870727539, + "step": 88800 + }, + { + "epoch": 0.0561, + "grad_norm": 0.2046712189912796, + "learning_rate": 9.908027214238689e-05, + "loss": 3.5056232452392577, + "step": 88810 + }, + { + "epoch": 0.0562, + "grad_norm": 0.20232227444648743, + "learning_rate": 9.90771126408515e-05, + "loss": 3.4712188720703123, + "step": 88820 + }, + { + "epoch": 0.0563, + "grad_norm": 0.19787070155143738, + "learning_rate": 9.907394777231685e-05, + "loss": 3.4717727661132813, + "step": 88830 + }, + { + "epoch": 0.0564, + "grad_norm": 0.4233787953853607, + "learning_rate": 9.907077753712905e-05, + "loss": 3.4647403717041017, + "step": 88840 + }, + { + "epoch": 0.0565, + "grad_norm": 0.21045099198818207, + "learning_rate": 9.906760193563482e-05, + "loss": 3.4679080963134767, + "step": 88850 + }, + { + "epoch": 0.0566, + "grad_norm": 0.2026880532503128, + "learning_rate": 9.906442096818139e-05, + "loss": 3.452913284301758, + "step": 88860 + }, + { + "epoch": 0.0567, + "grad_norm": 0.2141169011592865, + "learning_rate": 9.906123463511665e-05, + "loss": 2.6859405517578123, + "step": 88870 + }, + { + "epoch": 0.0568, + "grad_norm": 0.21389293670654297, + "learning_rate": 9.905804293678907e-05, + "loss": 3.496937942504883, + "step": 88880 + }, + { + "epoch": 0.0569, + "grad_norm": 0.6384546160697937, + "learning_rate": 9.905484587354766e-05, + "loss": 3.5529857635498048, + "step": 88890 + }, + { + "epoch": 0.057, + "grad_norm": 0.20130573213100433, + "learning_rate": 9.905164344574205e-05, + "loss": 3.4789676666259766, + "step": 88900 + }, + { + "epoch": 0.0571, + "grad_norm": 0.20364037156105042, + "learning_rate": 9.904843565372248e-05, + "loss": 3.5134410858154297, + "step": 88910 + }, + { + "epoch": 0.0572, + "grad_norm": 0.21930386126041412, + "learning_rate": 9.904522249783972e-05, + "loss": 3.4699546813964846, + "step": 88920 + }, + { + "epoch": 0.0573, + "grad_norm": 0.21080081164836884, + "learning_rate": 9.904200397844517e-05, + "loss": 3.4079925537109377, + "step": 88930 + }, + { + "epoch": 0.0574, + "grad_norm": 0.19659695029258728, + "learning_rate": 9.903878009589078e-05, + "loss": 3.514387512207031, + "step": 88940 + }, + { + "epoch": 0.0575, + "grad_norm": 0.2739630341529846, + "learning_rate": 9.903555085052915e-05, + "loss": 3.4711139678955076, + "step": 88950 + }, + { + "epoch": 0.0576, + "grad_norm": 0.18696947395801544, + "learning_rate": 9.903231624271338e-05, + "loss": 3.4844993591308593, + "step": 88960 + }, + { + "epoch": 0.0577, + "grad_norm": 0.1995149701833725, + "learning_rate": 9.902907627279724e-05, + "loss": 3.4629627227783204, + "step": 88970 + }, + { + "epoch": 0.0578, + "grad_norm": 0.196527898311615, + "learning_rate": 9.902583094113504e-05, + "loss": 3.4632965087890626, + "step": 88980 + }, + { + "epoch": 0.0579, + "grad_norm": 0.18903584778308868, + "learning_rate": 9.902258024808168e-05, + "loss": 3.4840362548828123, + "step": 88990 + }, + { + "epoch": 0.058, + "grad_norm": 0.20126968622207642, + "learning_rate": 9.901932419399264e-05, + "loss": 3.4569473266601562, + "step": 89000 + }, + { + "epoch": 0.0581, + "grad_norm": 0.25105592608451843, + "learning_rate": 9.9016062779224e-05, + "loss": 3.4798568725585937, + "step": 89010 + }, + { + "epoch": 0.0582, + "grad_norm": 0.21018150448799133, + "learning_rate": 9.901279600413242e-05, + "loss": 3.4552234649658202, + "step": 89020 + }, + { + "epoch": 0.0583, + "grad_norm": 0.20367887616157532, + "learning_rate": 9.900952386907518e-05, + "loss": 3.47275390625, + "step": 89030 + }, + { + "epoch": 0.0584, + "grad_norm": 0.25491175055503845, + "learning_rate": 9.90062463744101e-05, + "loss": 3.491483688354492, + "step": 89040 + }, + { + "epoch": 0.0585, + "grad_norm": 0.26060357689857483, + "learning_rate": 9.900296352049558e-05, + "loss": 3.4821800231933593, + "step": 89050 + }, + { + "epoch": 0.0586, + "grad_norm": 0.20182396471500397, + "learning_rate": 9.899967530769065e-05, + "loss": 3.4740638732910156, + "step": 89060 + }, + { + "epoch": 0.0587, + "grad_norm": 0.19438311457633972, + "learning_rate": 9.899638173635489e-05, + "loss": 3.4584377288818358, + "step": 89070 + }, + { + "epoch": 0.0588, + "grad_norm": 0.20572009682655334, + "learning_rate": 9.899308280684849e-05, + "loss": 3.7154422760009767, + "step": 89080 + }, + { + "epoch": 0.0589, + "grad_norm": 0.21264798939228058, + "learning_rate": 9.898977851953222e-05, + "loss": 3.4521839141845705, + "step": 89090 + }, + { + "epoch": 0.059, + "grad_norm": 0.48729193210601807, + "learning_rate": 9.898646887476741e-05, + "loss": 3.3992000579833985, + "step": 89100 + }, + { + "epoch": 0.0591, + "grad_norm": 0.22591347992420197, + "learning_rate": 9.898315387291603e-05, + "loss": 3.573691558837891, + "step": 89110 + }, + { + "epoch": 0.0592, + "grad_norm": 0.2098514288663864, + "learning_rate": 9.89798335143406e-05, + "loss": 3.4540946960449217, + "step": 89120 + }, + { + "epoch": 0.0593, + "grad_norm": 0.20766131579875946, + "learning_rate": 9.897650779940419e-05, + "loss": 3.499449920654297, + "step": 89130 + }, + { + "epoch": 0.0594, + "grad_norm": 0.31043943762779236, + "learning_rate": 9.897317672847054e-05, + "loss": 3.5835922241210936, + "step": 89140 + }, + { + "epoch": 0.0595, + "grad_norm": 0.21313293278217316, + "learning_rate": 9.89698403019039e-05, + "loss": 3.4728450775146484, + "step": 89150 + }, + { + "epoch": 0.0596, + "grad_norm": 0.19958889484405518, + "learning_rate": 9.896649852006917e-05, + "loss": 3.477406692504883, + "step": 89160 + }, + { + "epoch": 0.0597, + "grad_norm": 0.22063732147216797, + "learning_rate": 9.896315138333177e-05, + "loss": 3.5126262664794923, + "step": 89170 + }, + { + "epoch": 0.0598, + "grad_norm": 0.32085853815078735, + "learning_rate": 9.895979889205774e-05, + "loss": 3.4631683349609377, + "step": 89180 + }, + { + "epoch": 0.0599, + "grad_norm": 0.21332105994224548, + "learning_rate": 9.895644104661372e-05, + "loss": 3.4485774993896485, + "step": 89190 + }, + { + "epoch": 0.06, + "grad_norm": 0.21000173687934875, + "learning_rate": 9.895307784736691e-05, + "loss": 3.4593437194824217, + "step": 89200 + }, + { + "epoch": 0.0601, + "grad_norm": 0.24599437415599823, + "learning_rate": 9.894970929468512e-05, + "loss": 3.542616271972656, + "step": 89210 + }, + { + "epoch": 0.0602, + "grad_norm": 0.22962863743305206, + "learning_rate": 9.89463353889367e-05, + "loss": 3.553028869628906, + "step": 89220 + }, + { + "epoch": 0.0603, + "grad_norm": 0.20635321736335754, + "learning_rate": 9.894295613049065e-05, + "loss": 3.4743122100830077, + "step": 89230 + }, + { + "epoch": 0.0604, + "grad_norm": 0.2056771069765091, + "learning_rate": 9.893957151971649e-05, + "loss": 3.4551544189453125, + "step": 89240 + }, + { + "epoch": 0.0605, + "grad_norm": 1.0362017154693604, + "learning_rate": 9.893618155698436e-05, + "loss": 3.7936565399169924, + "step": 89250 + }, + { + "epoch": 0.0606, + "grad_norm": 0.20664022862911224, + "learning_rate": 9.8932786242665e-05, + "loss": 3.432172393798828, + "step": 89260 + }, + { + "epoch": 0.0607, + "grad_norm": 0.1923878937959671, + "learning_rate": 9.89293855771297e-05, + "loss": 3.435908889770508, + "step": 89270 + }, + { + "epoch": 0.0608, + "grad_norm": 0.2042771279811859, + "learning_rate": 9.892597956075036e-05, + "loss": 3.499740982055664, + "step": 89280 + }, + { + "epoch": 0.0609, + "grad_norm": 0.26855891942977905, + "learning_rate": 9.892256819389947e-05, + "loss": 3.441214370727539, + "step": 89290 + }, + { + "epoch": 0.061, + "grad_norm": 0.19968263804912567, + "learning_rate": 9.891915147695006e-05, + "loss": 3.495225524902344, + "step": 89300 + }, + { + "epoch": 0.0611, + "grad_norm": 0.19805912673473358, + "learning_rate": 9.891572941027577e-05, + "loss": 3.5245033264160157, + "step": 89310 + }, + { + "epoch": 0.0612, + "grad_norm": 0.2031104415655136, + "learning_rate": 9.89123019942509e-05, + "loss": 3.5029041290283205, + "step": 89320 + }, + { + "epoch": 0.0613, + "grad_norm": 0.20210763812065125, + "learning_rate": 9.89088692292502e-05, + "loss": 3.5004878997802735, + "step": 89330 + }, + { + "epoch": 0.0614, + "grad_norm": 0.19427543878555298, + "learning_rate": 9.89054311156491e-05, + "loss": 3.4038616180419923, + "step": 89340 + }, + { + "epoch": 0.0615, + "grad_norm": 0.19454139471054077, + "learning_rate": 9.890198765382357e-05, + "loss": 3.4228302001953126, + "step": 89350 + }, + { + "epoch": 0.0616, + "grad_norm": 0.25822871923446655, + "learning_rate": 9.889853884415021e-05, + "loss": 3.397611618041992, + "step": 89360 + }, + { + "epoch": 0.0617, + "grad_norm": 0.18997600674629211, + "learning_rate": 9.889508468700614e-05, + "loss": 3.3981906890869142, + "step": 89370 + }, + { + "epoch": 0.0618, + "grad_norm": 0.5811297297477722, + "learning_rate": 9.889162518276915e-05, + "loss": 3.376690673828125, + "step": 89380 + }, + { + "epoch": 0.0619, + "grad_norm": 0.19297108054161072, + "learning_rate": 9.888816033181752e-05, + "loss": 3.426951217651367, + "step": 89390 + }, + { + "epoch": 0.062, + "grad_norm": 0.20577505230903625, + "learning_rate": 9.888469013453018e-05, + "loss": 3.4298816680908204, + "step": 89400 + }, + { + "epoch": 0.0621, + "grad_norm": 0.2044234722852707, + "learning_rate": 9.888121459128663e-05, + "loss": 3.451419448852539, + "step": 89410 + }, + { + "epoch": 0.0622, + "grad_norm": 0.1926313042640686, + "learning_rate": 9.887773370246693e-05, + "loss": 3.441177749633789, + "step": 89420 + }, + { + "epoch": 0.0623, + "grad_norm": 0.21021787822246552, + "learning_rate": 9.887424746845177e-05, + "loss": 3.4494297027587892, + "step": 89430 + }, + { + "epoch": 0.0624, + "grad_norm": 0.19469882547855377, + "learning_rate": 9.887075588962239e-05, + "loss": 3.4548404693603514, + "step": 89440 + }, + { + "epoch": 0.0625, + "grad_norm": 0.20585650205612183, + "learning_rate": 9.88672589663606e-05, + "loss": 3.4229782104492186, + "step": 89450 + }, + { + "epoch": 0.0626, + "grad_norm": 0.21273331344127655, + "learning_rate": 9.886375669904886e-05, + "loss": 3.459269332885742, + "step": 89460 + }, + { + "epoch": 0.0627, + "grad_norm": 0.19937758147716522, + "learning_rate": 9.886024908807014e-05, + "loss": 3.3936458587646485, + "step": 89470 + }, + { + "epoch": 0.0628, + "grad_norm": 0.3472966253757477, + "learning_rate": 9.885673613380806e-05, + "loss": 3.417217254638672, + "step": 89480 + }, + { + "epoch": 0.0629, + "grad_norm": 0.2839251160621643, + "learning_rate": 9.885321783664676e-05, + "loss": 3.575532150268555, + "step": 89490 + }, + { + "epoch": 0.063, + "grad_norm": 0.2279869168996811, + "learning_rate": 9.884969419697101e-05, + "loss": 3.464560699462891, + "step": 89500 + }, + { + "epoch": 0.0631, + "grad_norm": 0.1959521472454071, + "learning_rate": 9.884616521516614e-05, + "loss": 3.4132770538330077, + "step": 89510 + }, + { + "epoch": 0.0632, + "grad_norm": 0.21481133997440338, + "learning_rate": 9.88426308916181e-05, + "loss": 3.4634910583496095, + "step": 89520 + }, + { + "epoch": 0.0633, + "grad_norm": 0.18974684178829193, + "learning_rate": 9.883909122671335e-05, + "loss": 3.427521514892578, + "step": 89530 + }, + { + "epoch": 0.0634, + "grad_norm": 0.5635640025138855, + "learning_rate": 9.883554622083904e-05, + "loss": 3.3842185974121093, + "step": 89540 + }, + { + "epoch": 0.0635, + "grad_norm": 0.20399244129657745, + "learning_rate": 9.88319958743828e-05, + "loss": 3.539202117919922, + "step": 89550 + }, + { + "epoch": 0.0636, + "grad_norm": 0.21917104721069336, + "learning_rate": 9.882844018773291e-05, + "loss": 3.453915023803711, + "step": 89560 + }, + { + "epoch": 0.0637, + "grad_norm": 0.1964418590068817, + "learning_rate": 9.882487916127823e-05, + "loss": 3.4556228637695314, + "step": 89570 + }, + { + "epoch": 0.0638, + "grad_norm": 1.2727577686309814, + "learning_rate": 9.882131279540815e-05, + "loss": 3.4827877044677735, + "step": 89580 + }, + { + "epoch": 0.0639, + "grad_norm": 0.19889576733112335, + "learning_rate": 9.881774109051271e-05, + "loss": 3.4498165130615233, + "step": 89590 + }, + { + "epoch": 0.064, + "grad_norm": 0.21468499302864075, + "learning_rate": 9.881416404698252e-05, + "loss": 3.4394134521484374, + "step": 89600 + }, + { + "epoch": 0.0641, + "grad_norm": 0.2047942727804184, + "learning_rate": 9.881058166520873e-05, + "loss": 3.4363807678222655, + "step": 89610 + }, + { + "epoch": 0.0642, + "grad_norm": 0.18500663340091705, + "learning_rate": 9.880699394558311e-05, + "loss": 3.457814407348633, + "step": 89620 + }, + { + "epoch": 0.0643, + "grad_norm": 0.36493927240371704, + "learning_rate": 9.880340088849801e-05, + "loss": 3.471601104736328, + "step": 89630 + }, + { + "epoch": 0.0644, + "grad_norm": 0.200027734041214, + "learning_rate": 9.879980249434637e-05, + "loss": 3.425244903564453, + "step": 89640 + }, + { + "epoch": 0.0645, + "grad_norm": 0.19922411441802979, + "learning_rate": 9.879619876352168e-05, + "loss": 3.4450130462646484, + "step": 89650 + }, + { + "epoch": 0.0646, + "grad_norm": 0.2062893509864807, + "learning_rate": 9.879258969641809e-05, + "loss": 3.455621337890625, + "step": 89660 + }, + { + "epoch": 0.0647, + "grad_norm": 0.1936301589012146, + "learning_rate": 9.878897529343023e-05, + "loss": 3.4043205261230467, + "step": 89670 + }, + { + "epoch": 0.0648, + "grad_norm": 0.19777792692184448, + "learning_rate": 9.878535555495338e-05, + "loss": 3.4060714721679686, + "step": 89680 + }, + { + "epoch": 0.0649, + "grad_norm": 0.1945926994085312, + "learning_rate": 9.87817304813834e-05, + "loss": 3.421062469482422, + "step": 89690 + }, + { + "epoch": 0.065, + "grad_norm": 0.21797285974025726, + "learning_rate": 9.877810007311671e-05, + "loss": 3.4285659790039062, + "step": 89700 + }, + { + "epoch": 0.0651, + "grad_norm": 0.18840435147285461, + "learning_rate": 9.877446433055035e-05, + "loss": 3.4509166717529296, + "step": 89710 + }, + { + "epoch": 0.0652, + "grad_norm": 0.18497011065483093, + "learning_rate": 9.877082325408191e-05, + "loss": 3.4519290924072266, + "step": 89720 + }, + { + "epoch": 0.0653, + "grad_norm": 0.22163893282413483, + "learning_rate": 9.876717684410954e-05, + "loss": 3.5065166473388674, + "step": 89730 + }, + { + "epoch": 0.0654, + "grad_norm": 0.23105868697166443, + "learning_rate": 9.876352510103204e-05, + "loss": 3.613412094116211, + "step": 89740 + }, + { + "epoch": 0.0655, + "grad_norm": 0.20272648334503174, + "learning_rate": 9.875986802524875e-05, + "loss": 3.527901458740234, + "step": 89750 + }, + { + "epoch": 0.0656, + "grad_norm": 0.20436367392539978, + "learning_rate": 9.87562056171596e-05, + "loss": 3.466903305053711, + "step": 89760 + }, + { + "epoch": 0.0657, + "grad_norm": 0.19602878391742706, + "learning_rate": 9.875253787716511e-05, + "loss": 3.4349361419677735, + "step": 89770 + }, + { + "epoch": 0.0658, + "grad_norm": 0.19002887606620789, + "learning_rate": 9.874886480566637e-05, + "loss": 3.4590431213378907, + "step": 89780 + }, + { + "epoch": 0.0659, + "grad_norm": 0.23066462576389313, + "learning_rate": 9.874518640306507e-05, + "loss": 3.474501037597656, + "step": 89790 + }, + { + "epoch": 0.066, + "grad_norm": 0.19918841123580933, + "learning_rate": 9.874150266976347e-05, + "loss": 3.413235092163086, + "step": 89800 + }, + { + "epoch": 0.0661, + "grad_norm": 0.20216597616672516, + "learning_rate": 9.873781360616443e-05, + "loss": 3.451231002807617, + "step": 89810 + }, + { + "epoch": 0.0662, + "grad_norm": 0.19771383702754974, + "learning_rate": 9.873411921267137e-05, + "loss": 3.4356189727783204, + "step": 89820 + }, + { + "epoch": 0.0663, + "grad_norm": 0.2315620481967926, + "learning_rate": 9.873041948968829e-05, + "loss": 3.392162322998047, + "step": 89830 + }, + { + "epoch": 0.0664, + "grad_norm": 0.22000086307525635, + "learning_rate": 9.872671443761981e-05, + "loss": 3.425168991088867, + "step": 89840 + }, + { + "epoch": 0.0665, + "grad_norm": 0.20106548070907593, + "learning_rate": 9.872300405687109e-05, + "loss": 3.432635498046875, + "step": 89850 + }, + { + "epoch": 0.0666, + "grad_norm": 0.22975106537342072, + "learning_rate": 9.871928834784792e-05, + "loss": 3.477445602416992, + "step": 89860 + }, + { + "epoch": 0.0667, + "grad_norm": 0.20586711168289185, + "learning_rate": 9.871556731095661e-05, + "loss": 3.4187599182128907, + "step": 89870 + }, + { + "epoch": 0.0668, + "grad_norm": 0.22815658152103424, + "learning_rate": 9.871184094660411e-05, + "loss": 3.3873096466064454, + "step": 89880 + }, + { + "epoch": 0.0669, + "grad_norm": 0.2067597210407257, + "learning_rate": 9.870810925519791e-05, + "loss": 3.645707702636719, + "step": 89890 + }, + { + "epoch": 0.067, + "grad_norm": 0.23676487803459167, + "learning_rate": 9.870437223714612e-05, + "loss": 3.4409839630126955, + "step": 89900 + }, + { + "epoch": 0.0671, + "grad_norm": 0.2584167718887329, + "learning_rate": 9.87006298928574e-05, + "loss": 3.398544692993164, + "step": 89910 + }, + { + "epoch": 0.0672, + "grad_norm": 0.19814462959766388, + "learning_rate": 9.869688222274103e-05, + "loss": 3.439470672607422, + "step": 89920 + }, + { + "epoch": 0.0673, + "grad_norm": 0.21089524030685425, + "learning_rate": 9.869312922720681e-05, + "loss": 3.395713043212891, + "step": 89930 + }, + { + "epoch": 0.0674, + "grad_norm": 0.24018466472625732, + "learning_rate": 9.868937090666521e-05, + "loss": 3.4173484802246095, + "step": 89940 + }, + { + "epoch": 0.0675, + "grad_norm": 0.18835599720478058, + "learning_rate": 9.86856072615272e-05, + "loss": 3.4421661376953123, + "step": 89950 + }, + { + "epoch": 0.0676, + "grad_norm": 0.19058310985565186, + "learning_rate": 9.868183829220438e-05, + "loss": 3.4404422760009767, + "step": 89960 + }, + { + "epoch": 0.0677, + "grad_norm": 0.20740528404712677, + "learning_rate": 9.867806399910893e-05, + "loss": 3.4856842041015623, + "step": 89970 + }, + { + "epoch": 0.0678, + "grad_norm": 0.39437851309776306, + "learning_rate": 9.867428438265356e-05, + "loss": 3.558710479736328, + "step": 89980 + }, + { + "epoch": 0.0679, + "grad_norm": 0.18865805864334106, + "learning_rate": 9.867049944325165e-05, + "loss": 3.468341827392578, + "step": 89990 + }, + { + "epoch": 0.068, + "grad_norm": 0.1895010620355606, + "learning_rate": 9.86667091813171e-05, + "loss": 3.4364364624023436, + "step": 90000 + }, + { + "epoch": 0.0681, + "grad_norm": 0.1845843642950058, + "learning_rate": 9.866291359726438e-05, + "loss": 3.4180324554443358, + "step": 90010 + }, + { + "epoch": 0.0682, + "grad_norm": 0.2081768661737442, + "learning_rate": 9.865911269150861e-05, + "loss": 3.278183364868164, + "step": 90020 + }, + { + "epoch": 0.0683, + "grad_norm": 0.18075361847877502, + "learning_rate": 9.865530646446544e-05, + "loss": 3.4177787780761717, + "step": 90030 + }, + { + "epoch": 0.0684, + "grad_norm": 0.1949615180492401, + "learning_rate": 9.86514949165511e-05, + "loss": 3.418138122558594, + "step": 90040 + }, + { + "epoch": 0.0685, + "grad_norm": 0.1982610523700714, + "learning_rate": 9.864767804818243e-05, + "loss": 3.377317428588867, + "step": 90050 + }, + { + "epoch": 0.0686, + "grad_norm": 0.1965378075838089, + "learning_rate": 9.86438558597768e-05, + "loss": 3.4394294738769533, + "step": 90060 + }, + { + "epoch": 0.0687, + "grad_norm": 0.21472881734371185, + "learning_rate": 9.864002835175225e-05, + "loss": 3.4632644653320312, + "step": 90070 + }, + { + "epoch": 0.0688, + "grad_norm": 0.20160451531410217, + "learning_rate": 9.863619552452734e-05, + "loss": 3.417496109008789, + "step": 90080 + }, + { + "epoch": 0.0689, + "grad_norm": 0.18697671592235565, + "learning_rate": 9.863235737852119e-05, + "loss": 3.421751022338867, + "step": 90090 + }, + { + "epoch": 0.069, + "grad_norm": 0.21384471654891968, + "learning_rate": 9.862851391415356e-05, + "loss": 3.3702251434326174, + "step": 90100 + }, + { + "epoch": 0.0691, + "grad_norm": 0.36784687638282776, + "learning_rate": 9.862466513184477e-05, + "loss": 3.455644989013672, + "step": 90110 + }, + { + "epoch": 0.0692, + "grad_norm": 0.19213269650936127, + "learning_rate": 9.86208110320157e-05, + "loss": 3.4436874389648438, + "step": 90120 + }, + { + "epoch": 0.0693, + "grad_norm": 0.191935196518898, + "learning_rate": 9.861695161508784e-05, + "loss": 3.370574951171875, + "step": 90130 + }, + { + "epoch": 0.0694, + "grad_norm": 0.20935216546058655, + "learning_rate": 9.861308688148324e-05, + "loss": 3.6008441925048826, + "step": 90140 + }, + { + "epoch": 0.0695, + "grad_norm": 0.23210465908050537, + "learning_rate": 9.860921683162455e-05, + "loss": 3.421033477783203, + "step": 90150 + }, + { + "epoch": 0.0696, + "grad_norm": 0.1882653534412384, + "learning_rate": 9.860534146593499e-05, + "loss": 3.5439300537109375, + "step": 90160 + }, + { + "epoch": 0.0697, + "grad_norm": 0.18368054926395416, + "learning_rate": 9.860146078483836e-05, + "loss": 3.3756973266601564, + "step": 90170 + }, + { + "epoch": 0.0698, + "grad_norm": 0.22780048847198486, + "learning_rate": 9.859757478875905e-05, + "loss": 3.4124114990234373, + "step": 90180 + }, + { + "epoch": 0.0699, + "grad_norm": 0.1933293342590332, + "learning_rate": 9.859368347812204e-05, + "loss": 3.4204635620117188, + "step": 90190 + }, + { + "epoch": 0.07, + "grad_norm": 0.18966281414031982, + "learning_rate": 9.858978685335285e-05, + "loss": 3.493378448486328, + "step": 90200 + }, + { + "epoch": 0.0701, + "grad_norm": 0.22090333700180054, + "learning_rate": 9.858588491487763e-05, + "loss": 3.4145050048828125, + "step": 90210 + }, + { + "epoch": 0.0702, + "grad_norm": 0.19326356053352356, + "learning_rate": 9.858197766312308e-05, + "loss": 4.895836257934571, + "step": 90220 + }, + { + "epoch": 0.0703, + "grad_norm": 0.419099360704422, + "learning_rate": 9.857806509851649e-05, + "loss": 3.441783905029297, + "step": 90230 + }, + { + "epoch": 0.0704, + "grad_norm": 0.29411375522613525, + "learning_rate": 9.857414722148574e-05, + "loss": 3.450041961669922, + "step": 90240 + }, + { + "epoch": 0.0705, + "grad_norm": 0.2423461526632309, + "learning_rate": 9.857022403245928e-05, + "loss": 3.418796157836914, + "step": 90250 + }, + { + "epoch": 0.0706, + "grad_norm": 0.2009509950876236, + "learning_rate": 9.856629553186615e-05, + "loss": 3.424629974365234, + "step": 90260 + }, + { + "epoch": 0.0707, + "grad_norm": 0.21068136394023895, + "learning_rate": 9.856236172013595e-05, + "loss": 3.4472522735595703, + "step": 90270 + }, + { + "epoch": 0.0708, + "grad_norm": 0.1944015771150589, + "learning_rate": 9.85584225976989e-05, + "loss": 3.4631675720214843, + "step": 90280 + }, + { + "epoch": 0.0709, + "grad_norm": 0.19520260393619537, + "learning_rate": 9.855447816498575e-05, + "loss": 3.5742561340332033, + "step": 90290 + }, + { + "epoch": 0.071, + "grad_norm": 0.20172785222530365, + "learning_rate": 9.855052842242787e-05, + "loss": 3.441641998291016, + "step": 90300 + }, + { + "epoch": 0.0711, + "grad_norm": 0.5770493149757385, + "learning_rate": 9.85465733704572e-05, + "loss": 3.434587860107422, + "step": 90310 + }, + { + "epoch": 0.0712, + "grad_norm": 0.1912987232208252, + "learning_rate": 9.854261300950624e-05, + "loss": 3.4274738311767576, + "step": 90320 + }, + { + "epoch": 0.0713, + "grad_norm": 0.2012673318386078, + "learning_rate": 9.853864734000813e-05, + "loss": 3.358982467651367, + "step": 90330 + }, + { + "epoch": 0.0714, + "grad_norm": 0.1996285766363144, + "learning_rate": 9.85346763623965e-05, + "loss": 3.4198928833007813, + "step": 90340 + }, + { + "epoch": 0.0715, + "grad_norm": 0.2435326874256134, + "learning_rate": 9.853070007710564e-05, + "loss": 3.4828147888183594, + "step": 90350 + }, + { + "epoch": 0.0716, + "grad_norm": 0.20343773066997528, + "learning_rate": 9.85267184845704e-05, + "loss": 3.4680549621582033, + "step": 90360 + }, + { + "epoch": 0.0717, + "grad_norm": 0.20360995829105377, + "learning_rate": 9.852273158522616e-05, + "loss": 3.404336166381836, + "step": 90370 + }, + { + "epoch": 0.0718, + "grad_norm": 0.18316473066806793, + "learning_rate": 9.851873937950896e-05, + "loss": 3.427193450927734, + "step": 90380 + }, + { + "epoch": 0.0719, + "grad_norm": 0.18323542177677155, + "learning_rate": 9.851474186785537e-05, + "loss": 3.4293724060058595, + "step": 90390 + }, + { + "epoch": 0.072, + "grad_norm": 0.24065449833869934, + "learning_rate": 9.851073905070254e-05, + "loss": 3.412984085083008, + "step": 90400 + }, + { + "epoch": 0.0721, + "grad_norm": 0.2167995721101761, + "learning_rate": 9.850673092848824e-05, + "loss": 3.4718666076660156, + "step": 90410 + }, + { + "epoch": 0.0722, + "grad_norm": 0.22016695141792297, + "learning_rate": 9.850271750165077e-05, + "loss": 3.462350845336914, + "step": 90420 + }, + { + "epoch": 0.0723, + "grad_norm": 0.20022708177566528, + "learning_rate": 9.849869877062902e-05, + "loss": 3.3929302215576174, + "step": 90430 + }, + { + "epoch": 0.0724, + "grad_norm": 0.20021797716617584, + "learning_rate": 9.849467473586252e-05, + "loss": 3.4043853759765623, + "step": 90440 + }, + { + "epoch": 0.0725, + "grad_norm": 0.2045396864414215, + "learning_rate": 9.849064539779127e-05, + "loss": 3.4112117767333983, + "step": 90450 + }, + { + "epoch": 0.0726, + "grad_norm": 0.18425671756267548, + "learning_rate": 9.848661075685594e-05, + "loss": 3.3883522033691404, + "step": 90460 + }, + { + "epoch": 0.0727, + "grad_norm": 0.2002735584974289, + "learning_rate": 9.848257081349778e-05, + "loss": 3.425012969970703, + "step": 90470 + }, + { + "epoch": 0.0728, + "grad_norm": 0.21939072012901306, + "learning_rate": 9.847852556815856e-05, + "loss": 3.3874881744384764, + "step": 90480 + }, + { + "epoch": 0.0729, + "grad_norm": 0.19874972105026245, + "learning_rate": 9.847447502128067e-05, + "loss": 3.4318378448486326, + "step": 90490 + }, + { + "epoch": 0.073, + "grad_norm": 0.17558015882968903, + "learning_rate": 9.847041917330708e-05, + "loss": 3.414885711669922, + "step": 90500 + }, + { + "epoch": 0.0731, + "grad_norm": 0.20712341368198395, + "learning_rate": 9.846635802468132e-05, + "loss": 3.4001956939697267, + "step": 90510 + }, + { + "epoch": 0.0732, + "grad_norm": 0.18562646210193634, + "learning_rate": 9.84622915758475e-05, + "loss": 3.454481506347656, + "step": 90520 + }, + { + "epoch": 0.0733, + "grad_norm": 0.1891176700592041, + "learning_rate": 9.845821982725034e-05, + "loss": 3.424183654785156, + "step": 90530 + }, + { + "epoch": 0.0734, + "grad_norm": 0.20412865281105042, + "learning_rate": 9.845414277933514e-05, + "loss": 3.4339012145996093, + "step": 90540 + }, + { + "epoch": 0.0735, + "grad_norm": 0.20076261460781097, + "learning_rate": 9.845006043254771e-05, + "loss": 3.4416248321533205, + "step": 90550 + }, + { + "epoch": 0.0736, + "grad_norm": 0.18903033435344696, + "learning_rate": 9.844597278733451e-05, + "loss": 3.4262290954589845, + "step": 90560 + }, + { + "epoch": 0.0737, + "grad_norm": 0.18829245865345, + "learning_rate": 9.844187984414259e-05, + "loss": 3.420502471923828, + "step": 90570 + }, + { + "epoch": 0.0738, + "grad_norm": 0.22221332788467407, + "learning_rate": 9.84377816034195e-05, + "loss": 3.5758430480957033, + "step": 90580 + }, + { + "epoch": 0.0739, + "grad_norm": 0.1879892498254776, + "learning_rate": 9.843367806561345e-05, + "loss": 3.4141063690185547, + "step": 90590 + }, + { + "epoch": 0.074, + "grad_norm": 0.20494823157787323, + "learning_rate": 9.842956923117317e-05, + "loss": 3.3604499816894533, + "step": 90600 + }, + { + "epoch": 0.0741, + "grad_norm": 0.1852206140756607, + "learning_rate": 9.842545510054802e-05, + "loss": 3.445057678222656, + "step": 90610 + }, + { + "epoch": 0.0742, + "grad_norm": 0.19173751771450043, + "learning_rate": 9.842133567418792e-05, + "loss": 3.4444602966308593, + "step": 90620 + }, + { + "epoch": 0.0743, + "grad_norm": 0.1993899941444397, + "learning_rate": 9.841721095254333e-05, + "loss": 3.4150882720947267, + "step": 90630 + }, + { + "epoch": 0.0744, + "grad_norm": 0.2048618048429489, + "learning_rate": 9.841308093606537e-05, + "loss": 3.4006935119628907, + "step": 90640 + }, + { + "epoch": 0.0745, + "grad_norm": 0.18062923848628998, + "learning_rate": 9.840894562520565e-05, + "loss": 3.4288841247558595, + "step": 90650 + }, + { + "epoch": 0.0746, + "grad_norm": 0.24513165652751923, + "learning_rate": 9.840480502041642e-05, + "loss": 3.5283134460449217, + "step": 90660 + }, + { + "epoch": 0.0747, + "grad_norm": 0.1878131628036499, + "learning_rate": 9.840065912215049e-05, + "loss": 3.3753379821777343, + "step": 90670 + }, + { + "epoch": 0.0748, + "grad_norm": 0.1954878568649292, + "learning_rate": 9.839650793086124e-05, + "loss": 3.397724914550781, + "step": 90680 + }, + { + "epoch": 0.0749, + "grad_norm": 0.21396121382713318, + "learning_rate": 9.839235144700265e-05, + "loss": 3.4670635223388673, + "step": 90690 + }, + { + "epoch": 0.075, + "grad_norm": 0.21549062430858612, + "learning_rate": 9.838818967102926e-05, + "loss": 3.418809509277344, + "step": 90700 + }, + { + "epoch": 0.0751, + "grad_norm": 0.2641301155090332, + "learning_rate": 9.83840226033962e-05, + "loss": 3.415201187133789, + "step": 90710 + }, + { + "epoch": 0.0752, + "grad_norm": 0.22600533068180084, + "learning_rate": 9.837985024455918e-05, + "loss": 3.3877792358398438, + "step": 90720 + }, + { + "epoch": 0.0753, + "grad_norm": 0.20542959868907928, + "learning_rate": 9.837567259497447e-05, + "loss": 3.4186309814453124, + "step": 90730 + }, + { + "epoch": 0.0754, + "grad_norm": 0.28535255789756775, + "learning_rate": 9.837148965509894e-05, + "loss": 3.335541534423828, + "step": 90740 + }, + { + "epoch": 0.0755, + "grad_norm": 0.19924986362457275, + "learning_rate": 9.836730142539001e-05, + "loss": 3.414875030517578, + "step": 90750 + }, + { + "epoch": 0.0756, + "grad_norm": 0.1855117231607437, + "learning_rate": 9.836310790630574e-05, + "loss": 3.437949371337891, + "step": 90760 + }, + { + "epoch": 0.0757, + "grad_norm": 0.19032162427902222, + "learning_rate": 9.83589090983047e-05, + "loss": 3.4283119201660157, + "step": 90770 + }, + { + "epoch": 0.0758, + "grad_norm": 0.19951468706130981, + "learning_rate": 9.835470500184605e-05, + "loss": 3.373621368408203, + "step": 90780 + }, + { + "epoch": 0.0759, + "grad_norm": 0.19003558158874512, + "learning_rate": 9.835049561738957e-05, + "loss": 3.379435729980469, + "step": 90790 + }, + { + "epoch": 0.076, + "grad_norm": 0.18255220353603363, + "learning_rate": 9.834628094539558e-05, + "loss": 3.436986541748047, + "step": 90800 + }, + { + "epoch": 0.0761, + "grad_norm": 0.234188973903656, + "learning_rate": 9.834206098632499e-05, + "loss": 3.3922462463378906, + "step": 90810 + }, + { + "epoch": 0.0762, + "grad_norm": 0.187027707695961, + "learning_rate": 9.833783574063931e-05, + "loss": 3.442804718017578, + "step": 90820 + }, + { + "epoch": 0.0763, + "grad_norm": 0.19435922801494598, + "learning_rate": 9.833360520880058e-05, + "loss": 3.391123962402344, + "step": 90830 + }, + { + "epoch": 0.0764, + "grad_norm": 0.1894882619380951, + "learning_rate": 9.832936939127144e-05, + "loss": 3.4382129669189454, + "step": 90840 + }, + { + "epoch": 0.0765, + "grad_norm": 0.19001539051532745, + "learning_rate": 9.832512828851515e-05, + "loss": 3.4043079376220704, + "step": 90850 + }, + { + "epoch": 0.0766, + "grad_norm": 0.1797163188457489, + "learning_rate": 9.832088190099546e-05, + "loss": 3.437387466430664, + "step": 90860 + }, + { + "epoch": 0.0767, + "grad_norm": 0.2064702957868576, + "learning_rate": 9.831663022917679e-05, + "loss": 3.425634765625, + "step": 90870 + }, + { + "epoch": 0.0768, + "grad_norm": 0.18764592707157135, + "learning_rate": 9.831237327352407e-05, + "loss": 3.383989715576172, + "step": 90880 + }, + { + "epoch": 0.0769, + "grad_norm": 0.18248462677001953, + "learning_rate": 9.830811103450286e-05, + "loss": 3.404180145263672, + "step": 90890 + }, + { + "epoch": 0.077, + "grad_norm": 0.19625085592269897, + "learning_rate": 9.830384351257924e-05, + "loss": 3.4502777099609374, + "step": 90900 + }, + { + "epoch": 0.0771, + "grad_norm": 0.19390007853507996, + "learning_rate": 9.829957070821993e-05, + "loss": 3.4019561767578126, + "step": 90910 + }, + { + "epoch": 0.0772, + "grad_norm": 0.18367496132850647, + "learning_rate": 9.829529262189218e-05, + "loss": 3.3525634765625, + "step": 90920 + }, + { + "epoch": 0.0773, + "grad_norm": 0.18571564555168152, + "learning_rate": 9.829100925406385e-05, + "loss": 3.4157615661621095, + "step": 90930 + }, + { + "epoch": 0.0774, + "grad_norm": 0.1928042620420456, + "learning_rate": 9.828672060520333e-05, + "loss": 3.3647953033447267, + "step": 90940 + }, + { + "epoch": 0.0775, + "grad_norm": 0.18328942358493805, + "learning_rate": 9.828242667577966e-05, + "loss": 3.413312530517578, + "step": 90950 + }, + { + "epoch": 0.0776, + "grad_norm": 0.45585140585899353, + "learning_rate": 9.82781274662624e-05, + "loss": 3.4098072052001953, + "step": 90960 + }, + { + "epoch": 0.0777, + "grad_norm": 0.34254154562950134, + "learning_rate": 9.82738229771217e-05, + "loss": 3.339917755126953, + "step": 90970 + }, + { + "epoch": 0.0778, + "grad_norm": 0.18308515846729279, + "learning_rate": 9.826951320882829e-05, + "loss": 3.412471389770508, + "step": 90980 + }, + { + "epoch": 0.0779, + "grad_norm": 0.23055846989154816, + "learning_rate": 9.826519816185351e-05, + "loss": 3.430379104614258, + "step": 90990 + }, + { + "epoch": 0.078, + "grad_norm": 0.19235859811306, + "learning_rate": 9.826087783666921e-05, + "loss": 3.391558837890625, + "step": 91000 + }, + { + "epoch": 0.0781, + "grad_norm": 0.19561542570590973, + "learning_rate": 9.825655223374787e-05, + "loss": 3.3945308685302735, + "step": 91010 + }, + { + "epoch": 0.0782, + "grad_norm": 0.20887531340122223, + "learning_rate": 9.825222135356253e-05, + "loss": 3.507613754272461, + "step": 91020 + }, + { + "epoch": 0.0783, + "grad_norm": 0.1942916065454483, + "learning_rate": 9.82478851965868e-05, + "loss": 3.4066715240478516, + "step": 91030 + }, + { + "epoch": 0.0784, + "grad_norm": 0.1907833367586136, + "learning_rate": 9.82435437632949e-05, + "loss": 3.414319610595703, + "step": 91040 + }, + { + "epoch": 0.0785, + "grad_norm": 0.18842460215091705, + "learning_rate": 9.823919705416158e-05, + "loss": 3.3979476928710937, + "step": 91050 + }, + { + "epoch": 0.0786, + "grad_norm": 0.47371453046798706, + "learning_rate": 9.82348450696622e-05, + "loss": 3.4853992462158203, + "step": 91060 + }, + { + "epoch": 0.0787, + "grad_norm": 0.18634769320487976, + "learning_rate": 9.823048781027268e-05, + "loss": 3.444872283935547, + "step": 91070 + }, + { + "epoch": 0.0788, + "grad_norm": 0.1946692317724228, + "learning_rate": 9.822612527646953e-05, + "loss": 3.4461708068847656, + "step": 91080 + }, + { + "epoch": 0.0789, + "grad_norm": 0.20968157052993774, + "learning_rate": 9.822175746872984e-05, + "loss": 3.373087692260742, + "step": 91090 + }, + { + "epoch": 0.079, + "grad_norm": 0.20163120329380035, + "learning_rate": 9.821738438753123e-05, + "loss": 3.436847686767578, + "step": 91100 + }, + { + "epoch": 0.0791, + "grad_norm": 0.18406334519386292, + "learning_rate": 9.821300603335196e-05, + "loss": 3.3830215454101564, + "step": 91110 + }, + { + "epoch": 0.0792, + "grad_norm": 0.2000827193260193, + "learning_rate": 9.820862240667085e-05, + "loss": 3.3901039123535157, + "step": 91120 + }, + { + "epoch": 0.0793, + "grad_norm": 0.18200770020484924, + "learning_rate": 9.820423350796726e-05, + "loss": 3.4010009765625, + "step": 91130 + }, + { + "epoch": 0.0794, + "grad_norm": 0.25358057022094727, + "learning_rate": 9.819983933772118e-05, + "loss": 3.396565246582031, + "step": 91140 + }, + { + "epoch": 0.0795, + "grad_norm": 0.193947896361351, + "learning_rate": 9.819543989641314e-05, + "loss": 3.3812702178955076, + "step": 91150 + }, + { + "epoch": 0.0796, + "grad_norm": 0.2066369205713272, + "learning_rate": 9.819103518452423e-05, + "loss": 3.363048553466797, + "step": 91160 + }, + { + "epoch": 0.0797, + "grad_norm": 0.1875719130039215, + "learning_rate": 9.818662520253618e-05, + "loss": 3.391843795776367, + "step": 91170 + }, + { + "epoch": 0.0798, + "grad_norm": 7.719047546386719, + "learning_rate": 9.818220995093126e-05, + "loss": 4.655821228027344, + "step": 91180 + }, + { + "epoch": 0.0799, + "grad_norm": 0.19423134624958038, + "learning_rate": 9.817778943019228e-05, + "loss": 3.5906097412109377, + "step": 91190 + }, + { + "epoch": 0.08, + "grad_norm": 0.21337127685546875, + "learning_rate": 9.81733636408027e-05, + "loss": 3.4511482238769533, + "step": 91200 + }, + { + "epoch": 0.0801, + "grad_norm": 0.2380789965391159, + "learning_rate": 9.816893258324649e-05, + "loss": 3.387167739868164, + "step": 91210 + }, + { + "epoch": 0.0802, + "grad_norm": 0.20199312269687653, + "learning_rate": 9.816449625800823e-05, + "loss": 3.427529144287109, + "step": 91220 + }, + { + "epoch": 0.0803, + "grad_norm": 0.4359970688819885, + "learning_rate": 9.816005466557308e-05, + "loss": 3.3455387115478517, + "step": 91230 + }, + { + "epoch": 0.0804, + "grad_norm": 0.1914917677640915, + "learning_rate": 9.815560780642674e-05, + "loss": 3.3834487915039064, + "step": 91240 + }, + { + "epoch": 0.0805, + "grad_norm": 0.23227998614311218, + "learning_rate": 9.815115568105555e-05, + "loss": 3.476776885986328, + "step": 91250 + }, + { + "epoch": 0.0806, + "grad_norm": 0.19104789197444916, + "learning_rate": 9.814669828994638e-05, + "loss": 3.4379226684570314, + "step": 91260 + }, + { + "epoch": 0.0807, + "grad_norm": 0.2065754234790802, + "learning_rate": 9.814223563358665e-05, + "loss": 3.4074939727783202, + "step": 91270 + }, + { + "epoch": 0.0808, + "grad_norm": 0.22207500040531158, + "learning_rate": 9.813776771246443e-05, + "loss": 3.4396095275878906, + "step": 91280 + }, + { + "epoch": 0.0809, + "grad_norm": 0.20681488513946533, + "learning_rate": 9.813329452706829e-05, + "loss": 3.3754486083984374, + "step": 91290 + }, + { + "epoch": 0.081, + "grad_norm": 0.19995920360088348, + "learning_rate": 9.812881607788744e-05, + "loss": 3.4267017364501955, + "step": 91300 + }, + { + "epoch": 0.0811, + "grad_norm": 0.1884300857782364, + "learning_rate": 9.812433236541163e-05, + "loss": 3.4264190673828123, + "step": 91310 + }, + { + "epoch": 0.0812, + "grad_norm": 0.2227810025215149, + "learning_rate": 9.811984339013116e-05, + "loss": 3.4063602447509767, + "step": 91320 + }, + { + "epoch": 0.0813, + "grad_norm": 0.19623860716819763, + "learning_rate": 9.811534915253698e-05, + "loss": 3.4120952606201174, + "step": 91330 + }, + { + "epoch": 0.0814, + "grad_norm": 0.20103465020656586, + "learning_rate": 9.811084965312056e-05, + "loss": 3.3859752655029296, + "step": 91340 + }, + { + "epoch": 0.0815, + "grad_norm": 0.20172545313835144, + "learning_rate": 9.810634489237396e-05, + "loss": 3.345873260498047, + "step": 91350 + }, + { + "epoch": 0.0816, + "grad_norm": 0.21904966235160828, + "learning_rate": 9.81018348707898e-05, + "loss": 3.457351303100586, + "step": 91360 + }, + { + "epoch": 0.0817, + "grad_norm": 0.1877533346414566, + "learning_rate": 9.809731958886131e-05, + "loss": 3.430813217163086, + "step": 91370 + }, + { + "epoch": 0.0818, + "grad_norm": 0.1886226236820221, + "learning_rate": 9.809279904708224e-05, + "loss": 3.4863864898681642, + "step": 91380 + }, + { + "epoch": 0.0819, + "grad_norm": 0.19434700906276703, + "learning_rate": 9.808827324594699e-05, + "loss": 3.388488006591797, + "step": 91390 + }, + { + "epoch": 0.082, + "grad_norm": 0.19085317850112915, + "learning_rate": 9.808374218595046e-05, + "loss": 3.5107711791992187, + "step": 91400 + }, + { + "epoch": 0.0821, + "grad_norm": 0.23095102608203888, + "learning_rate": 9.80792058675882e-05, + "loss": 3.4256153106689453, + "step": 91410 + }, + { + "epoch": 0.0822, + "grad_norm": 0.19960041344165802, + "learning_rate": 9.807466429135627e-05, + "loss": 3.402443695068359, + "step": 91420 + }, + { + "epoch": 0.0823, + "grad_norm": 0.2082933634519577, + "learning_rate": 9.807011745775132e-05, + "loss": 3.4014442443847654, + "step": 91430 + }, + { + "epoch": 0.0824, + "grad_norm": 0.21152393519878387, + "learning_rate": 9.806556536727061e-05, + "loss": 3.3851043701171877, + "step": 91440 + }, + { + "epoch": 0.0825, + "grad_norm": 0.18621787428855896, + "learning_rate": 9.806100802041193e-05, + "loss": 3.3793067932128906, + "step": 91450 + }, + { + "epoch": 0.0826, + "grad_norm": 0.19067880511283875, + "learning_rate": 9.805644541767368e-05, + "loss": 3.4126476287841796, + "step": 91460 + }, + { + "epoch": 0.0827, + "grad_norm": 0.20056810975074768, + "learning_rate": 9.805187755955478e-05, + "loss": 3.4147029876708985, + "step": 91470 + }, + { + "epoch": 0.0828, + "grad_norm": 0.19175231456756592, + "learning_rate": 9.804730444655483e-05, + "loss": 3.35157470703125, + "step": 91480 + }, + { + "epoch": 0.0829, + "grad_norm": 0.195384681224823, + "learning_rate": 9.804272607917388e-05, + "loss": 3.4343708038330076, + "step": 91490 + }, + { + "epoch": 0.083, + "grad_norm": 0.19017109274864197, + "learning_rate": 9.803814245791265e-05, + "loss": 3.3935638427734376, + "step": 91500 + }, + { + "epoch": 0.0831, + "grad_norm": 0.18711380660533905, + "learning_rate": 9.803355358327239e-05, + "loss": 3.4113079071044923, + "step": 91510 + }, + { + "epoch": 0.0832, + "grad_norm": 0.21106573939323425, + "learning_rate": 9.802895945575492e-05, + "loss": 3.428888702392578, + "step": 91520 + }, + { + "epoch": 0.0833, + "grad_norm": 0.21212129294872284, + "learning_rate": 9.802436007586266e-05, + "loss": 3.4689876556396486, + "step": 91530 + }, + { + "epoch": 0.0834, + "grad_norm": 0.19798506796360016, + "learning_rate": 9.801975544409858e-05, + "loss": 3.4709835052490234, + "step": 91540 + }, + { + "epoch": 0.0835, + "grad_norm": 0.2003561407327652, + "learning_rate": 9.801514556096625e-05, + "loss": 3.387255096435547, + "step": 91550 + }, + { + "epoch": 0.0836, + "grad_norm": 0.2079688161611557, + "learning_rate": 9.801053042696977e-05, + "loss": 3.5063541412353514, + "step": 91560 + }, + { + "epoch": 0.0837, + "grad_norm": 0.19824376702308655, + "learning_rate": 9.800591004261388e-05, + "loss": 3.3946697235107424, + "step": 91570 + }, + { + "epoch": 0.0838, + "grad_norm": 0.1988406479358673, + "learning_rate": 9.800128440840385e-05, + "loss": 3.401607894897461, + "step": 91580 + }, + { + "epoch": 0.0839, + "grad_norm": 0.2218780666589737, + "learning_rate": 9.799665352484552e-05, + "loss": 3.6584468841552735, + "step": 91590 + }, + { + "epoch": 0.084, + "grad_norm": 0.21064074337482452, + "learning_rate": 9.799201739244532e-05, + "loss": 3.4322872161865234, + "step": 91600 + }, + { + "epoch": 0.0841, + "grad_norm": 0.2188245803117752, + "learning_rate": 9.798737601171025e-05, + "loss": 3.650586700439453, + "step": 91610 + }, + { + "epoch": 0.0842, + "grad_norm": 0.19057540595531464, + "learning_rate": 9.79827293831479e-05, + "loss": 3.4100948333740235, + "step": 91620 + }, + { + "epoch": 0.0843, + "grad_norm": 0.2076670378446579, + "learning_rate": 9.797807750726638e-05, + "loss": 3.4359912872314453, + "step": 91630 + }, + { + "epoch": 0.0844, + "grad_norm": 0.18836377561092377, + "learning_rate": 9.797342038457446e-05, + "loss": 3.4130393981933596, + "step": 91640 + }, + { + "epoch": 0.0845, + "grad_norm": 0.1922067105770111, + "learning_rate": 9.796875801558141e-05, + "loss": 3.4421764373779298, + "step": 91650 + }, + { + "epoch": 0.0846, + "grad_norm": 0.17354799807071686, + "learning_rate": 9.79640904007971e-05, + "loss": 3.433587646484375, + "step": 91660 + }, + { + "epoch": 0.0847, + "grad_norm": 0.19191983342170715, + "learning_rate": 9.795941754073199e-05, + "loss": 3.4083648681640626, + "step": 91670 + }, + { + "epoch": 0.0848, + "grad_norm": 0.1727205365896225, + "learning_rate": 9.795473943589705e-05, + "loss": 3.433949279785156, + "step": 91680 + }, + { + "epoch": 0.0849, + "grad_norm": 0.1995992213487625, + "learning_rate": 9.795005608680394e-05, + "loss": 3.4083507537841795, + "step": 91690 + }, + { + "epoch": 0.085, + "grad_norm": 0.33368152379989624, + "learning_rate": 9.794536749396477e-05, + "loss": 3.451213836669922, + "step": 91700 + }, + { + "epoch": 0.0851, + "grad_norm": 0.1926344335079193, + "learning_rate": 9.79406736578923e-05, + "loss": 3.4025295257568358, + "step": 91710 + }, + { + "epoch": 0.0852, + "grad_norm": 0.18497197329998016, + "learning_rate": 9.793597457909984e-05, + "loss": 3.3778240203857424, + "step": 91720 + }, + { + "epoch": 0.0853, + "grad_norm": 0.2649877071380615, + "learning_rate": 9.793127025810127e-05, + "loss": 3.505254364013672, + "step": 91730 + }, + { + "epoch": 0.0854, + "grad_norm": 0.20104698836803436, + "learning_rate": 9.792656069541104e-05, + "loss": 3.401994323730469, + "step": 91740 + }, + { + "epoch": 0.0855, + "grad_norm": 0.1970488578081131, + "learning_rate": 9.79218458915442e-05, + "loss": 3.4050521850585938, + "step": 91750 + }, + { + "epoch": 0.0856, + "grad_norm": 1.1522005796432495, + "learning_rate": 9.791712584701634e-05, + "loss": 3.4115131378173826, + "step": 91760 + }, + { + "epoch": 0.0857, + "grad_norm": 2.9208922386169434, + "learning_rate": 9.791240056234364e-05, + "loss": 3.506179428100586, + "step": 91770 + }, + { + "epoch": 0.0858, + "grad_norm": 4.161956787109375, + "learning_rate": 9.790767003804283e-05, + "loss": 3.7007461547851563, + "step": 91780 + }, + { + "epoch": 0.0859, + "grad_norm": 0.2534559667110443, + "learning_rate": 9.790293427463126e-05, + "loss": 3.6764793395996094, + "step": 91790 + }, + { + "epoch": 0.086, + "grad_norm": 0.2456006109714508, + "learning_rate": 9.789819327262684e-05, + "loss": 3.574969482421875, + "step": 91800 + }, + { + "epoch": 0.0861, + "grad_norm": 0.2428002804517746, + "learning_rate": 9.7893447032548e-05, + "loss": 3.4407573699951173, + "step": 91810 + }, + { + "epoch": 0.0862, + "grad_norm": 0.20644572377204895, + "learning_rate": 9.78886955549138e-05, + "loss": 3.3847957611083985, + "step": 91820 + }, + { + "epoch": 0.0863, + "grad_norm": 0.20137767493724823, + "learning_rate": 9.788393884024387e-05, + "loss": 3.4309871673583983, + "step": 91830 + }, + { + "epoch": 0.0864, + "grad_norm": 0.4157596230506897, + "learning_rate": 9.787917688905836e-05, + "loss": 3.5784957885742186, + "step": 91840 + }, + { + "epoch": 0.0865, + "grad_norm": 0.19170531630516052, + "learning_rate": 9.787440970187807e-05, + "loss": 3.429454803466797, + "step": 91850 + }, + { + "epoch": 0.0866, + "grad_norm": 0.18199092149734497, + "learning_rate": 9.786963727922429e-05, + "loss": 3.458285903930664, + "step": 91860 + }, + { + "epoch": 0.0867, + "grad_norm": 0.17982378602027893, + "learning_rate": 9.786485962161897e-05, + "loss": 3.581888961791992, + "step": 91870 + }, + { + "epoch": 0.0868, + "grad_norm": 0.37853315472602844, + "learning_rate": 9.786007672958455e-05, + "loss": 3.5339317321777344, + "step": 91880 + }, + { + "epoch": 0.0869, + "grad_norm": 0.18710732460021973, + "learning_rate": 9.78552886036441e-05, + "loss": 3.3405525207519533, + "step": 91890 + }, + { + "epoch": 0.087, + "grad_norm": 0.1895432472229004, + "learning_rate": 9.785049524432124e-05, + "loss": 3.5724555969238283, + "step": 91900 + }, + { + "epoch": 0.0871, + "grad_norm": 0.23891156911849976, + "learning_rate": 9.784569665214016e-05, + "loss": 3.4014656066894533, + "step": 91910 + }, + { + "epoch": 0.0872, + "grad_norm": 0.49472784996032715, + "learning_rate": 9.784089282762563e-05, + "loss": 3.476654052734375, + "step": 91920 + }, + { + "epoch": 0.0873, + "grad_norm": 0.19059666991233826, + "learning_rate": 9.7836083771303e-05, + "loss": 3.4351242065429686, + "step": 91930 + }, + { + "epoch": 0.0874, + "grad_norm": 0.20039673149585724, + "learning_rate": 9.783126948369817e-05, + "loss": 3.4712753295898438, + "step": 91940 + }, + { + "epoch": 0.0875, + "grad_norm": 0.19425639510154724, + "learning_rate": 9.78264499653376e-05, + "loss": 3.3690380096435546, + "step": 91950 + }, + { + "epoch": 0.0876, + "grad_norm": 0.18458005785942078, + "learning_rate": 9.782162521674838e-05, + "loss": 3.3809600830078126, + "step": 91960 + }, + { + "epoch": 0.0877, + "grad_norm": 0.19268442690372467, + "learning_rate": 9.781679523845812e-05, + "loss": 3.4067996978759765, + "step": 91970 + }, + { + "epoch": 0.0878, + "grad_norm": 0.20264291763305664, + "learning_rate": 9.781196003099502e-05, + "loss": 3.404836654663086, + "step": 91980 + }, + { + "epoch": 0.0879, + "grad_norm": 0.1768999546766281, + "learning_rate": 9.780711959488786e-05, + "loss": 3.3836597442626952, + "step": 91990 + }, + { + "epoch": 0.088, + "grad_norm": 0.18540772795677185, + "learning_rate": 9.780227393066599e-05, + "loss": 3.409617233276367, + "step": 92000 + }, + { + "epoch": 0.0881, + "grad_norm": 0.21679256856441498, + "learning_rate": 9.77974230388593e-05, + "loss": 3.4451221466064452, + "step": 92010 + }, + { + "epoch": 0.0882, + "grad_norm": 0.5126044750213623, + "learning_rate": 9.779256691999829e-05, + "loss": 2.9811859130859375, + "step": 92020 + }, + { + "epoch": 0.0883, + "grad_norm": 0.20593369007110596, + "learning_rate": 9.778770557461403e-05, + "loss": 3.456888198852539, + "step": 92030 + }, + { + "epoch": 0.0884, + "grad_norm": 0.19467945396900177, + "learning_rate": 9.778283900323812e-05, + "loss": 3.4368019104003906, + "step": 92040 + }, + { + "epoch": 0.0885, + "grad_norm": 0.18081435561180115, + "learning_rate": 9.777796720640277e-05, + "loss": 3.419713592529297, + "step": 92050 + }, + { + "epoch": 0.0886, + "grad_norm": 0.17966784536838531, + "learning_rate": 9.777309018464078e-05, + "loss": 3.3850425720214843, + "step": 92060 + }, + { + "epoch": 0.0887, + "grad_norm": 0.22639235854148865, + "learning_rate": 9.776820793848547e-05, + "loss": 3.4650577545166015, + "step": 92070 + }, + { + "epoch": 0.0888, + "grad_norm": 0.29963475465774536, + "learning_rate": 9.776332046847075e-05, + "loss": 3.481368637084961, + "step": 92080 + }, + { + "epoch": 0.0889, + "grad_norm": 0.18343707919120789, + "learning_rate": 9.775842777513111e-05, + "loss": 3.3530738830566404, + "step": 92090 + }, + { + "epoch": 0.089, + "grad_norm": 0.1991959661245346, + "learning_rate": 9.775352985900163e-05, + "loss": 3.404874801635742, + "step": 92100 + }, + { + "epoch": 0.0891, + "grad_norm": 0.1778908520936966, + "learning_rate": 9.774862672061791e-05, + "loss": 3.404584503173828, + "step": 92110 + }, + { + "epoch": 0.0892, + "grad_norm": 0.19873136281967163, + "learning_rate": 9.774371836051616e-05, + "loss": 3.3428462982177733, + "step": 92120 + }, + { + "epoch": 0.0893, + "grad_norm": 0.1868468075990677, + "learning_rate": 9.773880477923315e-05, + "loss": 3.36285400390625, + "step": 92130 + }, + { + "epoch": 0.0894, + "grad_norm": 0.18620771169662476, + "learning_rate": 9.773388597730623e-05, + "loss": 3.368159866333008, + "step": 92140 + }, + { + "epoch": 0.0895, + "grad_norm": 0.19430547952651978, + "learning_rate": 9.77289619552733e-05, + "loss": 3.508283996582031, + "step": 92150 + }, + { + "epoch": 0.0896, + "grad_norm": 0.18186146020889282, + "learning_rate": 9.772403271367285e-05, + "loss": 3.3873424530029297, + "step": 92160 + }, + { + "epoch": 0.0897, + "grad_norm": 0.1978245973587036, + "learning_rate": 9.771909825304396e-05, + "loss": 3.442005920410156, + "step": 92170 + }, + { + "epoch": 0.0898, + "grad_norm": 0.1792907863855362, + "learning_rate": 9.771415857392619e-05, + "loss": 3.4279964447021483, + "step": 92180 + }, + { + "epoch": 0.0899, + "grad_norm": 0.18308980762958527, + "learning_rate": 9.770921367685978e-05, + "loss": 3.383203125, + "step": 92190 + }, + { + "epoch": 0.09, + "grad_norm": 0.18515586853027344, + "learning_rate": 9.770426356238551e-05, + "loss": 3.3613250732421873, + "step": 92200 + }, + { + "epoch": 0.0901, + "grad_norm": 0.18211492896080017, + "learning_rate": 9.769930823104469e-05, + "loss": 3.39209098815918, + "step": 92210 + }, + { + "epoch": 0.0902, + "grad_norm": 0.19500291347503662, + "learning_rate": 9.769434768337926e-05, + "loss": 3.404861831665039, + "step": 92220 + }, + { + "epoch": 0.0903, + "grad_norm": 0.40389484167099, + "learning_rate": 9.768938191993164e-05, + "loss": 3.416990280151367, + "step": 92230 + }, + { + "epoch": 0.0904, + "grad_norm": 0.1787511706352234, + "learning_rate": 9.768441094124494e-05, + "loss": 3.4527652740478514, + "step": 92240 + }, + { + "epoch": 0.0905, + "grad_norm": 0.18241560459136963, + "learning_rate": 9.767943474786275e-05, + "loss": 3.4092899322509767, + "step": 92250 + }, + { + "epoch": 0.0906, + "grad_norm": 0.20309799909591675, + "learning_rate": 9.767445334032923e-05, + "loss": 3.3670639038085937, + "step": 92260 + }, + { + "epoch": 0.0907, + "grad_norm": 0.20976105332374573, + "learning_rate": 9.766946671918919e-05, + "loss": 3.4671154022216797, + "step": 92270 + }, + { + "epoch": 0.0908, + "grad_norm": 0.37315070629119873, + "learning_rate": 9.766447488498796e-05, + "loss": 3.3924598693847656, + "step": 92280 + }, + { + "epoch": 0.0909, + "grad_norm": 0.18292881548404694, + "learning_rate": 9.765947783827139e-05, + "loss": 3.367724609375, + "step": 92290 + }, + { + "epoch": 0.091, + "grad_norm": 0.20175138115882874, + "learning_rate": 9.765447557958599e-05, + "loss": 3.439516067504883, + "step": 92300 + }, + { + "epoch": 0.0911, + "grad_norm": 0.18270353972911835, + "learning_rate": 9.764946810947879e-05, + "loss": 3.3930484771728517, + "step": 92310 + }, + { + "epoch": 0.0912, + "grad_norm": 0.21533581614494324, + "learning_rate": 9.764445542849738e-05, + "loss": 3.4076217651367187, + "step": 92320 + }, + { + "epoch": 0.0913, + "grad_norm": 0.16901718080043793, + "learning_rate": 9.763943753718998e-05, + "loss": 3.363730621337891, + "step": 92330 + }, + { + "epoch": 0.0914, + "grad_norm": 0.17504799365997314, + "learning_rate": 9.76344144361053e-05, + "loss": 3.4189586639404297, + "step": 92340 + }, + { + "epoch": 0.0915, + "grad_norm": 0.17356206476688385, + "learning_rate": 9.762938612579269e-05, + "loss": 3.3613044738769533, + "step": 92350 + }, + { + "epoch": 0.0916, + "grad_norm": 0.20273666083812714, + "learning_rate": 9.762435260680202e-05, + "loss": 3.393584060668945, + "step": 92360 + }, + { + "epoch": 0.0917, + "grad_norm": 0.17738497257232666, + "learning_rate": 9.761931387968373e-05, + "loss": 3.366605758666992, + "step": 92370 + }, + { + "epoch": 0.0918, + "grad_norm": 0.18805056810379028, + "learning_rate": 9.76142699449889e-05, + "loss": 3.3506305694580076, + "step": 92380 + }, + { + "epoch": 0.0919, + "grad_norm": 0.1840905100107193, + "learning_rate": 9.760922080326908e-05, + "loss": 3.377168655395508, + "step": 92390 + }, + { + "epoch": 0.092, + "grad_norm": 0.1923864334821701, + "learning_rate": 9.760416645507644e-05, + "loss": 3.3742027282714844, + "step": 92400 + }, + { + "epoch": 0.0921, + "grad_norm": 0.18857623636722565, + "learning_rate": 9.759910690096375e-05, + "loss": 3.3752307891845703, + "step": 92410 + }, + { + "epoch": 0.0922, + "grad_norm": 0.18799597024917603, + "learning_rate": 9.759404214148429e-05, + "loss": 3.400809478759766, + "step": 92420 + }, + { + "epoch": 0.0923, + "grad_norm": 0.18187573552131653, + "learning_rate": 9.758897217719191e-05, + "loss": 3.378226089477539, + "step": 92430 + }, + { + "epoch": 0.0924, + "grad_norm": 0.17371349036693573, + "learning_rate": 9.758389700864113e-05, + "loss": 3.366255187988281, + "step": 92440 + }, + { + "epoch": 0.0925, + "grad_norm": 0.18528704345226288, + "learning_rate": 9.757881663638688e-05, + "loss": 3.350115203857422, + "step": 92450 + }, + { + "epoch": 0.0926, + "grad_norm": 0.18509893119335175, + "learning_rate": 9.757373106098478e-05, + "loss": 3.369429016113281, + "step": 92460 + }, + { + "epoch": 0.0927, + "grad_norm": 0.17606227099895477, + "learning_rate": 9.756864028299097e-05, + "loss": 3.365740203857422, + "step": 92470 + }, + { + "epoch": 0.0928, + "grad_norm": 0.19974029064178467, + "learning_rate": 9.75635443029622e-05, + "loss": 3.3666618347167967, + "step": 92480 + }, + { + "epoch": 0.0929, + "grad_norm": 0.35590195655822754, + "learning_rate": 9.755844312145572e-05, + "loss": 3.3563751220703124, + "step": 92490 + }, + { + "epoch": 0.093, + "grad_norm": 0.1815875768661499, + "learning_rate": 9.755333673902941e-05, + "loss": 3.366680908203125, + "step": 92500 + }, + { + "epoch": 0.0931, + "grad_norm": 0.17167527973651886, + "learning_rate": 9.75482251562417e-05, + "loss": 3.3464385986328127, + "step": 92510 + }, + { + "epoch": 0.0932, + "grad_norm": 0.1908465325832367, + "learning_rate": 9.754310837365155e-05, + "loss": 3.351943588256836, + "step": 92520 + }, + { + "epoch": 0.0933, + "grad_norm": 0.17142222821712494, + "learning_rate": 9.753798639181856e-05, + "loss": 3.3770423889160157, + "step": 92530 + }, + { + "epoch": 0.0934, + "grad_norm": 0.19346436858177185, + "learning_rate": 9.753285921130286e-05, + "loss": 3.3747467041015624, + "step": 92540 + }, + { + "epoch": 0.0935, + "grad_norm": 0.1873231679201126, + "learning_rate": 9.752772683266512e-05, + "loss": 3.374437713623047, + "step": 92550 + }, + { + "epoch": 0.0936, + "grad_norm": 0.18630506098270416, + "learning_rate": 9.752258925646665e-05, + "loss": 3.3352733612060548, + "step": 92560 + }, + { + "epoch": 0.0937, + "grad_norm": 0.19445307552814484, + "learning_rate": 9.751744648326926e-05, + "loss": 3.2858631134033205, + "step": 92570 + }, + { + "epoch": 0.0938, + "grad_norm": 0.1763097196817398, + "learning_rate": 9.751229851363536e-05, + "loss": 3.3674556732177736, + "step": 92580 + }, + { + "epoch": 0.0939, + "grad_norm": 0.18313275277614594, + "learning_rate": 9.750714534812793e-05, + "loss": 3.3698997497558594, + "step": 92590 + }, + { + "epoch": 0.094, + "grad_norm": 0.18662159144878387, + "learning_rate": 9.750198698731053e-05, + "loss": 3.352142333984375, + "step": 92600 + }, + { + "epoch": 0.0941, + "grad_norm": 0.21142643690109253, + "learning_rate": 9.749682343174722e-05, + "loss": 3.5436946868896486, + "step": 92610 + }, + { + "epoch": 0.0942, + "grad_norm": 0.39172062277793884, + "learning_rate": 9.749165468200272e-05, + "loss": 3.412789154052734, + "step": 92620 + }, + { + "epoch": 0.0943, + "grad_norm": 0.17983540892601013, + "learning_rate": 9.748648073864229e-05, + "loss": 3.3842884063720704, + "step": 92630 + }, + { + "epoch": 0.0944, + "grad_norm": 0.1777448058128357, + "learning_rate": 9.748130160223168e-05, + "loss": 3.426255798339844, + "step": 92640 + }, + { + "epoch": 0.0945, + "grad_norm": 0.1973676085472107, + "learning_rate": 9.747611727333734e-05, + "loss": 3.295685577392578, + "step": 92650 + }, + { + "epoch": 0.0946, + "grad_norm": 1.7789175510406494, + "learning_rate": 9.74709277525262e-05, + "loss": 3.3180915832519533, + "step": 92660 + }, + { + "epoch": 0.0947, + "grad_norm": 0.2238033413887024, + "learning_rate": 9.746573304036576e-05, + "loss": 3.3654510498046877, + "step": 92670 + }, + { + "epoch": 0.0948, + "grad_norm": 0.2121528834104538, + "learning_rate": 9.746053313742412e-05, + "loss": 3.39679069519043, + "step": 92680 + }, + { + "epoch": 0.0949, + "grad_norm": 0.1789523810148239, + "learning_rate": 9.745532804426994e-05, + "loss": 3.330720901489258, + "step": 92690 + }, + { + "epoch": 0.095, + "grad_norm": 0.4916650056838989, + "learning_rate": 9.745011776147242e-05, + "loss": 3.4212265014648438, + "step": 92700 + }, + { + "epoch": 0.0951, + "grad_norm": 0.18469475209712982, + "learning_rate": 9.744490228960138e-05, + "loss": 3.4230377197265627, + "step": 92710 + }, + { + "epoch": 0.0952, + "grad_norm": 0.1820952594280243, + "learning_rate": 9.743968162922713e-05, + "loss": 3.357303237915039, + "step": 92720 + }, + { + "epoch": 0.0953, + "grad_norm": 0.17372813820838928, + "learning_rate": 9.743445578092064e-05, + "loss": 3.4083492279052736, + "step": 92730 + }, + { + "epoch": 0.0954, + "grad_norm": 0.19119414687156677, + "learning_rate": 9.742922474525338e-05, + "loss": 3.3719551086425783, + "step": 92740 + }, + { + "epoch": 0.0955, + "grad_norm": 0.1976037174463272, + "learning_rate": 9.742398852279741e-05, + "loss": 3.4511878967285154, + "step": 92750 + }, + { + "epoch": 0.0956, + "grad_norm": 0.17340926826000214, + "learning_rate": 9.741874711412535e-05, + "loss": 3.4062644958496096, + "step": 92760 + }, + { + "epoch": 0.0957, + "grad_norm": 0.17307507991790771, + "learning_rate": 9.741350051981042e-05, + "loss": 3.325326156616211, + "step": 92770 + }, + { + "epoch": 0.0958, + "grad_norm": 0.21087615191936493, + "learning_rate": 9.740824874042633e-05, + "loss": 3.3633487701416014, + "step": 92780 + }, + { + "epoch": 0.0959, + "grad_norm": 0.18066388368606567, + "learning_rate": 9.740299177654746e-05, + "loss": 3.3623706817626955, + "step": 92790 + }, + { + "epoch": 0.096, + "grad_norm": 0.18083637952804565, + "learning_rate": 9.739772962874867e-05, + "loss": 3.4319232940673827, + "step": 92800 + }, + { + "epoch": 0.0961, + "grad_norm": 0.179342120885849, + "learning_rate": 9.739246229760541e-05, + "loss": 3.3491634368896483, + "step": 92810 + }, + { + "epoch": 0.0962, + "grad_norm": 0.18278174102306366, + "learning_rate": 9.738718978369376e-05, + "loss": 3.3342872619628907, + "step": 92820 + }, + { + "epoch": 0.0963, + "grad_norm": 0.18882253766059875, + "learning_rate": 9.738191208759025e-05, + "loss": 3.408319091796875, + "step": 92830 + }, + { + "epoch": 0.0964, + "grad_norm": 0.16867266595363617, + "learning_rate": 9.73766292098721e-05, + "loss": 3.3429012298583984, + "step": 92840 + }, + { + "epoch": 0.0965, + "grad_norm": 0.1763424277305603, + "learning_rate": 9.737134115111699e-05, + "loss": 3.3400306701660156, + "step": 92850 + }, + { + "epoch": 0.0966, + "grad_norm": 0.19429665803909302, + "learning_rate": 9.736604791190323e-05, + "loss": 3.3200363159179687, + "step": 92860 + }, + { + "epoch": 0.0967, + "grad_norm": 0.19003814458847046, + "learning_rate": 9.73607494928097e-05, + "loss": 3.396249008178711, + "step": 92870 + }, + { + "epoch": 0.0968, + "grad_norm": 0.19364269077777863, + "learning_rate": 9.735544589441581e-05, + "loss": 3.41319580078125, + "step": 92880 + }, + { + "epoch": 0.0969, + "grad_norm": 0.18898577988147736, + "learning_rate": 9.735013711730154e-05, + "loss": 3.3353824615478516, + "step": 92890 + }, + { + "epoch": 0.097, + "grad_norm": 0.2528945207595825, + "learning_rate": 9.734482316204747e-05, + "loss": 3.408232498168945, + "step": 92900 + }, + { + "epoch": 0.0971, + "grad_norm": 0.1808372437953949, + "learning_rate": 9.733950402923473e-05, + "loss": 3.3661766052246094, + "step": 92910 + }, + { + "epoch": 0.0972, + "grad_norm": 0.18153300881385803, + "learning_rate": 9.7334179719445e-05, + "loss": 3.341472625732422, + "step": 92920 + }, + { + "epoch": 0.0973, + "grad_norm": 0.18229012191295624, + "learning_rate": 9.732885023326053e-05, + "loss": 3.342691421508789, + "step": 92930 + }, + { + "epoch": 0.0974, + "grad_norm": 0.186013862490654, + "learning_rate": 9.732351557126418e-05, + "loss": 3.3142879486083983, + "step": 92940 + }, + { + "epoch": 0.0975, + "grad_norm": 0.1875489503145218, + "learning_rate": 9.731817573403929e-05, + "loss": 3.42895393371582, + "step": 92950 + }, + { + "epoch": 0.0976, + "grad_norm": 0.1888951063156128, + "learning_rate": 9.731283072216985e-05, + "loss": 3.3856414794921874, + "step": 92960 + }, + { + "epoch": 0.0977, + "grad_norm": 0.1919674128293991, + "learning_rate": 9.730748053624039e-05, + "loss": 4.216233444213867, + "step": 92970 + }, + { + "epoch": 0.0978, + "grad_norm": 0.1826237291097641, + "learning_rate": 9.730212517683598e-05, + "loss": 3.3683616638183596, + "step": 92980 + }, + { + "epoch": 0.0979, + "grad_norm": 0.18626046180725098, + "learning_rate": 9.729676464454228e-05, + "loss": 3.5407230377197267, + "step": 92990 + }, + { + "epoch": 0.098, + "grad_norm": 0.17354334890842438, + "learning_rate": 9.72913989399455e-05, + "loss": 3.362946319580078, + "step": 93000 + }, + { + "epoch": 0.0981, + "grad_norm": 0.2029949277639389, + "learning_rate": 9.728602806363242e-05, + "loss": 3.3592864990234377, + "step": 93010 + }, + { + "epoch": 0.0982, + "grad_norm": 0.18062716722488403, + "learning_rate": 9.728065201619043e-05, + "loss": 3.334847640991211, + "step": 93020 + }, + { + "epoch": 0.0983, + "grad_norm": 0.1901557296514511, + "learning_rate": 9.727527079820742e-05, + "loss": 3.3312763214111327, + "step": 93030 + }, + { + "epoch": 0.0984, + "grad_norm": 0.17883121967315674, + "learning_rate": 9.726988441027186e-05, + "loss": 3.331074523925781, + "step": 93040 + }, + { + "epoch": 0.0985, + "grad_norm": 0.17224442958831787, + "learning_rate": 9.726449285297281e-05, + "loss": 3.3487995147705076, + "step": 93050 + }, + { + "epoch": 0.0986, + "grad_norm": 0.1863522231578827, + "learning_rate": 9.72590961268999e-05, + "loss": 3.313360595703125, + "step": 93060 + }, + { + "epoch": 0.0987, + "grad_norm": 0.18949440121650696, + "learning_rate": 9.725369423264328e-05, + "loss": 3.3923789978027346, + "step": 93070 + }, + { + "epoch": 0.0988, + "grad_norm": 0.187246173620224, + "learning_rate": 9.72482871707937e-05, + "loss": 3.3525440216064455, + "step": 93080 + }, + { + "epoch": 0.0989, + "grad_norm": 0.18266661465168, + "learning_rate": 9.724287494194247e-05, + "loss": 3.3351070404052736, + "step": 93090 + }, + { + "epoch": 0.099, + "grad_norm": 0.30355510115623474, + "learning_rate": 9.723745754668147e-05, + "loss": 3.394586944580078, + "step": 93100 + }, + { + "epoch": 0.0991, + "grad_norm": 0.1980743408203125, + "learning_rate": 9.723203498560313e-05, + "loss": 3.390087890625, + "step": 93110 + }, + { + "epoch": 0.0992, + "grad_norm": 0.18260569870471954, + "learning_rate": 9.722660725930046e-05, + "loss": 3.4523963928222656, + "step": 93120 + }, + { + "epoch": 0.0993, + "grad_norm": 0.20429344475269318, + "learning_rate": 9.722117436836702e-05, + "loss": 3.314269256591797, + "step": 93130 + }, + { + "epoch": 0.0994, + "grad_norm": 0.1995691955089569, + "learning_rate": 9.721573631339696e-05, + "loss": 3.387729263305664, + "step": 93140 + }, + { + "epoch": 0.0995, + "grad_norm": 0.18795126676559448, + "learning_rate": 9.721029309498494e-05, + "loss": 3.3713035583496094, + "step": 93150 + }, + { + "epoch": 0.0996, + "grad_norm": 0.19957448542118073, + "learning_rate": 9.720484471372627e-05, + "loss": 3.3358295440673826, + "step": 93160 + }, + { + "epoch": 0.0997, + "grad_norm": 0.18129251897335052, + "learning_rate": 9.719939117021673e-05, + "loss": 3.3180885314941406, + "step": 93170 + }, + { + "epoch": 0.0998, + "grad_norm": 0.18430814146995544, + "learning_rate": 9.719393246505275e-05, + "loss": 3.360474395751953, + "step": 93180 + }, + { + "epoch": 0.0999, + "grad_norm": 0.17876079678535461, + "learning_rate": 9.718846859883128e-05, + "loss": 3.507733917236328, + "step": 93190 + }, + { + "epoch": 0.1, + "grad_norm": 0.18751008808612823, + "learning_rate": 9.718299957214982e-05, + "loss": 3.346788787841797, + "step": 93200 + }, + { + "epoch": 0.1001, + "grad_norm": 0.19816718995571136, + "learning_rate": 9.717752538560646e-05, + "loss": 3.3703990936279298, + "step": 93210 + }, + { + "epoch": 0.1002, + "grad_norm": 0.18306848406791687, + "learning_rate": 9.717204603979986e-05, + "loss": 3.3657554626464843, + "step": 93220 + }, + { + "epoch": 0.1003, + "grad_norm": 0.18021681904792786, + "learning_rate": 9.716656153532922e-05, + "loss": 3.4062759399414064, + "step": 93230 + }, + { + "epoch": 0.1004, + "grad_norm": 0.17957623302936554, + "learning_rate": 9.716107187279434e-05, + "loss": 3.330896759033203, + "step": 93240 + }, + { + "epoch": 0.1005, + "grad_norm": 0.17668591439723969, + "learning_rate": 9.715557705279555e-05, + "loss": 3.3385238647460938, + "step": 93250 + }, + { + "epoch": 0.1006, + "grad_norm": 0.18595214188098907, + "learning_rate": 9.715007707593372e-05, + "loss": 3.3697303771972655, + "step": 93260 + }, + { + "epoch": 0.1007, + "grad_norm": 0.196992889046669, + "learning_rate": 9.714457194281036e-05, + "loss": 3.4267856597900392, + "step": 93270 + }, + { + "epoch": 0.1008, + "grad_norm": 0.18735450506210327, + "learning_rate": 9.713906165402751e-05, + "loss": 3.3501232147216795, + "step": 93280 + }, + { + "epoch": 0.1009, + "grad_norm": 0.18659374117851257, + "learning_rate": 9.713354621018774e-05, + "loss": 3.3423126220703123, + "step": 93290 + }, + { + "epoch": 0.101, + "grad_norm": 0.18845805525779724, + "learning_rate": 9.712802561189422e-05, + "loss": 3.3063350677490235, + "step": 93300 + }, + { + "epoch": 0.1011, + "grad_norm": 0.18705794215202332, + "learning_rate": 9.712249985975069e-05, + "loss": 3.2908042907714843, + "step": 93310 + }, + { + "epoch": 0.1012, + "grad_norm": 0.1941978633403778, + "learning_rate": 9.71169689543614e-05, + "loss": 3.337903594970703, + "step": 93320 + }, + { + "epoch": 0.1013, + "grad_norm": 0.1861061453819275, + "learning_rate": 9.711143289633123e-05, + "loss": 3.4102420806884766, + "step": 93330 + }, + { + "epoch": 0.1014, + "grad_norm": 0.17489460110664368, + "learning_rate": 9.710589168626561e-05, + "loss": 3.286606216430664, + "step": 93340 + }, + { + "epoch": 0.1015, + "grad_norm": 0.18955348432064056, + "learning_rate": 9.710034532477048e-05, + "loss": 3.3659664154052735, + "step": 93350 + }, + { + "epoch": 0.1016, + "grad_norm": 0.17220398783683777, + "learning_rate": 9.709479381245239e-05, + "loss": 3.3339153289794923, + "step": 93360 + }, + { + "epoch": 0.1017, + "grad_norm": 0.17763367295265198, + "learning_rate": 9.708923714991847e-05, + "loss": 3.3459075927734374, + "step": 93370 + }, + { + "epoch": 0.1018, + "grad_norm": 0.19728371500968933, + "learning_rate": 9.708367533777638e-05, + "loss": 3.3036819458007813, + "step": 93380 + }, + { + "epoch": 0.1019, + "grad_norm": 0.1780911237001419, + "learning_rate": 9.707810837663431e-05, + "loss": 3.3681625366210937, + "step": 93390 + }, + { + "epoch": 0.102, + "grad_norm": 0.18082532286643982, + "learning_rate": 9.707253626710113e-05, + "loss": 3.460093688964844, + "step": 93400 + }, + { + "epoch": 6.666666666666667e-05, + "grad_norm": 0.23884116113185883, + "learning_rate": 9.924185445979839e-05, + "loss": 3.3800148010253905, + "step": 93410 + }, + { + "epoch": 0.00013333333333333334, + "grad_norm": 0.1810702085494995, + "learning_rate": 9.923994095120614e-05, + "loss": 3.329336166381836, + "step": 93420 + }, + { + "epoch": 0.0002, + "grad_norm": 0.1797095537185669, + "learning_rate": 9.923802504936681e-05, + "loss": 3.326512908935547, + "step": 93430 + }, + { + "epoch": 0.0002666666666666667, + "grad_norm": 0.18862873315811157, + "learning_rate": 9.92361067543735e-05, + "loss": 3.342056655883789, + "step": 93440 + }, + { + "epoch": 0.0003333333333333333, + "grad_norm": 0.6451561450958252, + "learning_rate": 9.923418606631948e-05, + "loss": 3.361593246459961, + "step": 93450 + }, + { + "epoch": 0.0004, + "grad_norm": 0.289739727973938, + "learning_rate": 9.923226298529809e-05, + "loss": 3.3539966583251952, + "step": 93460 + }, + { + "epoch": 0.00046666666666666666, + "grad_norm": 0.18954837322235107, + "learning_rate": 9.923033751140277e-05, + "loss": 3.3025569915771484, + "step": 93470 + }, + { + "epoch": 0.0005333333333333334, + "grad_norm": 0.1752583235502243, + "learning_rate": 9.922840964472715e-05, + "loss": 3.312456512451172, + "step": 93480 + }, + { + "epoch": 0.0006, + "grad_norm": 0.17407698929309845, + "learning_rate": 9.92264793853649e-05, + "loss": 3.3547943115234373, + "step": 93490 + }, + { + "epoch": 0.0006666666666666666, + "grad_norm": 0.1975732445716858, + "learning_rate": 9.922454673340986e-05, + "loss": 3.3439411163330077, + "step": 93500 + }, + { + "epoch": 0.0007333333333333333, + "grad_norm": 0.1941983848810196, + "learning_rate": 9.922261168895595e-05, + "loss": 3.371200942993164, + "step": 93510 + }, + { + "epoch": 0.0008, + "grad_norm": 0.16999144852161407, + "learning_rate": 9.922067425209722e-05, + "loss": 3.308665084838867, + "step": 93520 + }, + { + "epoch": 0.0008666666666666666, + "grad_norm": 0.2301211655139923, + "learning_rate": 9.921873442292784e-05, + "loss": 3.3197856903076173, + "step": 93530 + }, + { + "epoch": 0.0009333333333333333, + "grad_norm": 0.23400846123695374, + "learning_rate": 9.92167922015421e-05, + "loss": 3.373531723022461, + "step": 93540 + }, + { + "epoch": 0.001, + "grad_norm": 0.17699263989925385, + "learning_rate": 9.921484758803439e-05, + "loss": 3.3788005828857424, + "step": 93550 + }, + { + "epoch": 0.0010666666666666667, + "grad_norm": 0.1765851378440857, + "learning_rate": 9.921290058249921e-05, + "loss": 3.3627555847167967, + "step": 93560 + }, + { + "epoch": 0.0011333333333333334, + "grad_norm": 0.17661263048648834, + "learning_rate": 9.921095118503123e-05, + "loss": 3.425292205810547, + "step": 93570 + }, + { + "epoch": 0.0012, + "grad_norm": 0.17981427907943726, + "learning_rate": 9.920899939572518e-05, + "loss": 3.3673065185546873, + "step": 93580 + }, + { + "epoch": 0.0012666666666666666, + "grad_norm": 0.6728806495666504, + "learning_rate": 9.920704521467592e-05, + "loss": 3.4234394073486327, + "step": 93590 + }, + { + "epoch": 0.0013333333333333333, + "grad_norm": 0.1776372343301773, + "learning_rate": 9.920508864197842e-05, + "loss": 3.4393409729003905, + "step": 93600 + }, + { + "epoch": 0.0014, + "grad_norm": 0.19894006848335266, + "learning_rate": 9.92031296777278e-05, + "loss": 3.4410015106201173, + "step": 93610 + }, + { + "epoch": 0.0014666666666666667, + "grad_norm": 0.16888518631458282, + "learning_rate": 9.920116832201926e-05, + "loss": 3.349628448486328, + "step": 93620 + }, + { + "epoch": 0.0015333333333333334, + "grad_norm": 0.17417480051517487, + "learning_rate": 9.919920457494815e-05, + "loss": 3.3013282775878907, + "step": 93630 + }, + { + "epoch": 0.0016, + "grad_norm": 0.18335992097854614, + "learning_rate": 9.919723843660989e-05, + "loss": 3.3443565368652344, + "step": 93640 + }, + { + "epoch": 0.0016666666666666668, + "grad_norm": 0.2004677951335907, + "learning_rate": 9.919526990710004e-05, + "loss": 3.3677940368652344, + "step": 93650 + }, + { + "epoch": 0.0017333333333333333, + "grad_norm": 0.19556932151317596, + "learning_rate": 9.91932989865143e-05, + "loss": 3.3638206481933595, + "step": 93660 + }, + { + "epoch": 0.0018, + "grad_norm": 0.18939654529094696, + "learning_rate": 9.919132567494844e-05, + "loss": 3.3001548767089846, + "step": 93670 + }, + { + "epoch": 0.0018666666666666666, + "grad_norm": 0.1811266988515854, + "learning_rate": 9.918934997249838e-05, + "loss": 3.2876422882080076, + "step": 93680 + }, + { + "epoch": 0.0019333333333333333, + "grad_norm": 0.4066402316093445, + "learning_rate": 9.918737187926014e-05, + "loss": 3.3092254638671874, + "step": 93690 + }, + { + "epoch": 0.002, + "grad_norm": 0.21160003542900085, + "learning_rate": 9.918539139532989e-05, + "loss": 3.462291717529297, + "step": 93700 + }, + { + "epoch": 0.0020666666666666667, + "grad_norm": 0.1905018538236618, + "learning_rate": 9.918340852080388e-05, + "loss": 3.77709846496582, + "step": 93710 + }, + { + "epoch": 0.0021333333333333334, + "grad_norm": 0.19303730130195618, + "learning_rate": 9.918142325577846e-05, + "loss": 3.3699062347412108, + "step": 93720 + }, + { + "epoch": 0.0022, + "grad_norm": 0.18092261254787445, + "learning_rate": 9.917943560035015e-05, + "loss": 3.334912109375, + "step": 93730 + }, + { + "epoch": 0.002266666666666667, + "grad_norm": 0.1827220916748047, + "learning_rate": 9.917744555461552e-05, + "loss": 3.313478469848633, + "step": 93740 + }, + { + "epoch": 0.0023333333333333335, + "grad_norm": 0.1845168024301529, + "learning_rate": 9.917545311867134e-05, + "loss": 3.33974609375, + "step": 93750 + }, + { + "epoch": 0.0024, + "grad_norm": 0.17826545238494873, + "learning_rate": 9.917345829261442e-05, + "loss": 3.3377723693847656, + "step": 93760 + }, + { + "epoch": 0.0024666666666666665, + "grad_norm": 0.19547930359840393, + "learning_rate": 9.917146107654172e-05, + "loss": 3.340500259399414, + "step": 93770 + }, + { + "epoch": 0.002533333333333333, + "grad_norm": 0.18329651653766632, + "learning_rate": 9.916946147055033e-05, + "loss": 3.359639358520508, + "step": 93780 + }, + { + "epoch": 0.0026, + "grad_norm": 0.16862143576145172, + "learning_rate": 9.916745947473743e-05, + "loss": 3.327963638305664, + "step": 93790 + }, + { + "epoch": 0.0026666666666666666, + "grad_norm": 0.175947368144989, + "learning_rate": 9.91654550892003e-05, + "loss": 3.313471221923828, + "step": 93800 + }, + { + "epoch": 0.0027333333333333333, + "grad_norm": 0.1774461269378662, + "learning_rate": 9.916344831403639e-05, + "loss": 3.3586143493652343, + "step": 93810 + }, + { + "epoch": 0.0028, + "grad_norm": 0.1899004727602005, + "learning_rate": 9.916143914934321e-05, + "loss": 3.311175537109375, + "step": 93820 + }, + { + "epoch": 0.0028666666666666667, + "grad_norm": 0.173585444688797, + "learning_rate": 9.915942759521846e-05, + "loss": 3.4240989685058594, + "step": 93830 + }, + { + "epoch": 0.0029333333333333334, + "grad_norm": 0.20002110302448273, + "learning_rate": 9.915741365175986e-05, + "loss": 3.3285961151123047, + "step": 93840 + }, + { + "epoch": 0.003, + "grad_norm": 0.18498854339122772, + "learning_rate": 9.915539731906531e-05, + "loss": 3.295103073120117, + "step": 93850 + }, + { + "epoch": 0.0030666666666666668, + "grad_norm": 0.1948019415140152, + "learning_rate": 9.915337859723283e-05, + "loss": 3.380606842041016, + "step": 93860 + }, + { + "epoch": 0.0031333333333333335, + "grad_norm": 0.1792999804019928, + "learning_rate": 9.915135748636053e-05, + "loss": 3.3080848693847655, + "step": 93870 + }, + { + "epoch": 0.0032, + "grad_norm": 0.31143638491630554, + "learning_rate": 9.914933398654663e-05, + "loss": 3.3654293060302733, + "step": 93880 + }, + { + "epoch": 0.003266666666666667, + "grad_norm": 0.17813043296337128, + "learning_rate": 9.914730809788948e-05, + "loss": 3.4882228851318358, + "step": 93890 + }, + { + "epoch": 0.0033333333333333335, + "grad_norm": 0.18024154007434845, + "learning_rate": 9.914527982048755e-05, + "loss": 3.3255115509033204, + "step": 93900 + }, + { + "epoch": 0.0034, + "grad_norm": 0.17511488497257233, + "learning_rate": 9.914324915443943e-05, + "loss": 3.31469841003418, + "step": 93910 + }, + { + "epoch": 0.0034666666666666665, + "grad_norm": 0.18209953606128693, + "learning_rate": 9.914121609984381e-05, + "loss": 3.3325576782226562, + "step": 93920 + }, + { + "epoch": 0.003533333333333333, + "grad_norm": 0.3169401288032532, + "learning_rate": 9.913918065679951e-05, + "loss": 3.3089973449707033, + "step": 93930 + }, + { + "epoch": 0.0036, + "grad_norm": 0.1825665384531021, + "learning_rate": 9.913714282540546e-05, + "loss": 3.278433609008789, + "step": 93940 + }, + { + "epoch": 0.0036666666666666666, + "grad_norm": 0.1918283849954605, + "learning_rate": 9.91351026057607e-05, + "loss": 3.331926727294922, + "step": 93950 + }, + { + "epoch": 0.0037333333333333333, + "grad_norm": 0.18794241547584534, + "learning_rate": 9.91330599979644e-05, + "loss": 3.3395641326904295, + "step": 93960 + }, + { + "epoch": 0.0038, + "grad_norm": 0.19009187817573547, + "learning_rate": 9.913101500211584e-05, + "loss": 3.288629913330078, + "step": 93970 + }, + { + "epoch": 0.0038666666666666667, + "grad_norm": 0.1893099546432495, + "learning_rate": 9.912896761831439e-05, + "loss": 3.3114650726318358, + "step": 93980 + }, + { + "epoch": 0.003933333333333333, + "grad_norm": 0.18053309619426727, + "learning_rate": 9.912691784665958e-05, + "loss": 3.3053428649902346, + "step": 93990 + }, + { + "epoch": 0.004, + "grad_norm": 0.1659596711397171, + "learning_rate": 9.912486568725106e-05, + "loss": 3.3179306030273437, + "step": 94000 + }, + { + "epoch": 0.004066666666666666, + "grad_norm": 0.17590172588825226, + "learning_rate": 9.912281114018852e-05, + "loss": 3.2968406677246094, + "step": 94010 + }, + { + "epoch": 0.0041333333333333335, + "grad_norm": 0.18330837786197662, + "learning_rate": 9.912075420557187e-05, + "loss": 3.432546615600586, + "step": 94020 + }, + { + "epoch": 0.0042, + "grad_norm": 0.22175633907318115, + "learning_rate": 9.911869488350105e-05, + "loss": 3.3505619049072264, + "step": 94030 + }, + { + "epoch": 0.004266666666666667, + "grad_norm": 0.21470962464809418, + "learning_rate": 9.911663317407616e-05, + "loss": 3.4385066986083985, + "step": 94040 + }, + { + "epoch": 0.004333333333333333, + "grad_norm": 0.20280104875564575, + "learning_rate": 9.911456907739742e-05, + "loss": 3.3007743835449217, + "step": 94050 + }, + { + "epoch": 0.0044, + "grad_norm": 0.19475992023944855, + "learning_rate": 9.911250259356512e-05, + "loss": 3.3073230743408204, + "step": 94060 + }, + { + "epoch": 0.0044666666666666665, + "grad_norm": 0.1866377592086792, + "learning_rate": 9.911043372267975e-05, + "loss": 3.31383056640625, + "step": 94070 + }, + { + "epoch": 0.004533333333333334, + "grad_norm": 0.17593887448310852, + "learning_rate": 9.910836246484183e-05, + "loss": 3.3178169250488283, + "step": 94080 + }, + { + "epoch": 0.0046, + "grad_norm": 0.17992326617240906, + "learning_rate": 9.910628882015202e-05, + "loss": 3.340241622924805, + "step": 94090 + }, + { + "epoch": 0.004666666666666667, + "grad_norm": 0.2113184630870819, + "learning_rate": 9.910421278871115e-05, + "loss": 3.327886962890625, + "step": 94100 + }, + { + "epoch": 0.004733333333333333, + "grad_norm": 0.17677998542785645, + "learning_rate": 9.910213437062009e-05, + "loss": 3.2789817810058595, + "step": 94110 + }, + { + "epoch": 0.0048, + "grad_norm": 0.19653072953224182, + "learning_rate": 9.910005356597985e-05, + "loss": 3.349150466918945, + "step": 94120 + }, + { + "epoch": 0.004866666666666667, + "grad_norm": 0.20082801580429077, + "learning_rate": 9.909797037489161e-05, + "loss": 3.411514663696289, + "step": 94130 + }, + { + "epoch": 0.004933333333333333, + "grad_norm": 0.19444863498210907, + "learning_rate": 9.909588479745657e-05, + "loss": 3.324434280395508, + "step": 94140 + }, + { + "epoch": 0.005, + "grad_norm": 0.17367985844612122, + "learning_rate": 9.909379683377612e-05, + "loss": 3.355208969116211, + "step": 94150 + }, + { + "epoch": 0.005066666666666666, + "grad_norm": 0.17224730551242828, + "learning_rate": 9.909170648395173e-05, + "loss": 3.298339080810547, + "step": 94160 + }, + { + "epoch": 0.0051333333333333335, + "grad_norm": 0.16703574359416962, + "learning_rate": 9.908961374808506e-05, + "loss": 3.318088912963867, + "step": 94170 + }, + { + "epoch": 0.0052, + "grad_norm": 0.18954472243785858, + "learning_rate": 9.908751862627773e-05, + "loss": 3.3607192993164063, + "step": 94180 + }, + { + "epoch": 0.005266666666666667, + "grad_norm": 0.19603408873081207, + "learning_rate": 9.908542111863164e-05, + "loss": 3.362942123413086, + "step": 94190 + }, + { + "epoch": 0.005333333333333333, + "grad_norm": 0.18754155933856964, + "learning_rate": 9.90833212252487e-05, + "loss": 3.3472526550292967, + "step": 94200 + }, + { + "epoch": 0.0054, + "grad_norm": 0.25193914771080017, + "learning_rate": 9.908121894623099e-05, + "loss": 3.3018863677978514, + "step": 94210 + }, + { + "epoch": 0.0054666666666666665, + "grad_norm": 0.3001921474933624, + "learning_rate": 9.907911428168068e-05, + "loss": 3.3268943786621095, + "step": 94220 + }, + { + "epoch": 0.005533333333333334, + "grad_norm": 0.18549001216888428, + "learning_rate": 9.907700723170008e-05, + "loss": 3.4141212463378907, + "step": 94230 + }, + { + "epoch": 0.0056, + "grad_norm": 0.18449144065380096, + "learning_rate": 9.907489779639159e-05, + "loss": 3.369432067871094, + "step": 94240 + }, + { + "epoch": 0.005666666666666667, + "grad_norm": 0.18486620485782623, + "learning_rate": 9.907278597585772e-05, + "loss": 3.375998306274414, + "step": 94250 + }, + { + "epoch": 0.005733333333333333, + "grad_norm": 0.19077368080615997, + "learning_rate": 9.907067177020115e-05, + "loss": 3.3388916015625, + "step": 94260 + }, + { + "epoch": 0.0058, + "grad_norm": 0.18349787592887878, + "learning_rate": 9.906855517952461e-05, + "loss": 3.3072734832763673, + "step": 94270 + }, + { + "epoch": 0.005866666666666667, + "grad_norm": 0.20034363865852356, + "learning_rate": 9.906643620393098e-05, + "loss": 3.293721389770508, + "step": 94280 + }, + { + "epoch": 0.005933333333333333, + "grad_norm": 0.2265128344297409, + "learning_rate": 9.906431484352325e-05, + "loss": 3.3093029022216798, + "step": 94290 + }, + { + "epoch": 0.006, + "grad_norm": 0.18591931462287903, + "learning_rate": 9.906219109840454e-05, + "loss": 3.356502151489258, + "step": 94300 + }, + { + "epoch": 0.006066666666666666, + "grad_norm": 0.28109297156333923, + "learning_rate": 9.906006496867805e-05, + "loss": 3.3576793670654297, + "step": 94310 + }, + { + "epoch": 0.0061333333333333335, + "grad_norm": 0.20066532492637634, + "learning_rate": 9.905793645444713e-05, + "loss": 3.318279266357422, + "step": 94320 + }, + { + "epoch": 0.0062, + "grad_norm": 0.18576478958129883, + "learning_rate": 9.905580555581524e-05, + "loss": 3.33787841796875, + "step": 94330 + }, + { + "epoch": 0.006266666666666667, + "grad_norm": 0.16647537052631378, + "learning_rate": 9.905367227288593e-05, + "loss": 3.285923385620117, + "step": 94340 + }, + { + "epoch": 0.006333333333333333, + "grad_norm": 0.22623594105243683, + "learning_rate": 9.90515366057629e-05, + "loss": 3.4958683013916017, + "step": 94350 + }, + { + "epoch": 0.0064, + "grad_norm": 0.18707327544689178, + "learning_rate": 9.904939855454995e-05, + "loss": 3.3304195404052734, + "step": 94360 + }, + { + "epoch": 0.006466666666666667, + "grad_norm": 0.17339293658733368, + "learning_rate": 9.904725811935101e-05, + "loss": 3.315867233276367, + "step": 94370 + }, + { + "epoch": 0.006533333333333334, + "grad_norm": 0.17200003564357758, + "learning_rate": 9.904511530027008e-05, + "loss": 3.318442153930664, + "step": 94380 + }, + { + "epoch": 0.0066, + "grad_norm": 0.17675364017486572, + "learning_rate": 9.904297009741134e-05, + "loss": 3.35558967590332, + "step": 94390 + }, + { + "epoch": 0.006666666666666667, + "grad_norm": 0.18250051140785217, + "learning_rate": 9.904082251087903e-05, + "loss": 3.3598953247070313, + "step": 94400 + }, + { + "epoch": 0.006733333333333333, + "grad_norm": 0.19653673470020294, + "learning_rate": 9.903867254077755e-05, + "loss": 3.4689495086669924, + "step": 94410 + }, + { + "epoch": 0.0068, + "grad_norm": 0.2662406861782074, + "learning_rate": 9.90365201872114e-05, + "loss": 3.595398712158203, + "step": 94420 + }, + { + "epoch": 0.006866666666666667, + "grad_norm": 0.16970592737197876, + "learning_rate": 9.903436545028517e-05, + "loss": 3.3170955657958983, + "step": 94430 + }, + { + "epoch": 0.006933333333333333, + "grad_norm": 0.17550423741340637, + "learning_rate": 9.903220833010363e-05, + "loss": 3.378022384643555, + "step": 94440 + }, + { + "epoch": 0.007, + "grad_norm": 0.20462466776371002, + "learning_rate": 9.903004882677156e-05, + "loss": 3.333335113525391, + "step": 94450 + }, + { + "epoch": 0.007066666666666666, + "grad_norm": 0.1875610500574112, + "learning_rate": 9.902788694039397e-05, + "loss": 3.336885452270508, + "step": 94460 + }, + { + "epoch": 0.0071333333333333335, + "grad_norm": 0.19485868513584137, + "learning_rate": 9.902572267107593e-05, + "loss": 3.3707595825195313, + "step": 94470 + }, + { + "epoch": 0.0072, + "grad_norm": 0.18921299278736115, + "learning_rate": 9.902355601892261e-05, + "loss": 3.3032760620117188, + "step": 94480 + }, + { + "epoch": 0.007266666666666667, + "grad_norm": 0.17286232113838196, + "learning_rate": 9.902138698403935e-05, + "loss": 3.337356948852539, + "step": 94490 + }, + { + "epoch": 0.007333333333333333, + "grad_norm": 0.17969980835914612, + "learning_rate": 9.901921556653154e-05, + "loss": 3.326616668701172, + "step": 94500 + }, + { + "epoch": 0.0074, + "grad_norm": 0.1836596429347992, + "learning_rate": 9.901704176650474e-05, + "loss": 3.345718765258789, + "step": 94510 + }, + { + "epoch": 0.007466666666666667, + "grad_norm": 0.28890863060951233, + "learning_rate": 9.901486558406459e-05, + "loss": 3.3318859100341798, + "step": 94520 + }, + { + "epoch": 0.007533333333333334, + "grad_norm": 0.22125136852264404, + "learning_rate": 9.901268701931688e-05, + "loss": 3.2769920349121096, + "step": 94530 + }, + { + "epoch": 0.0076, + "grad_norm": 0.17763900756835938, + "learning_rate": 9.901050607236749e-05, + "loss": 3.3155086517333983, + "step": 94540 + }, + { + "epoch": 0.007666666666666666, + "grad_norm": 0.17545229196548462, + "learning_rate": 9.90083227433224e-05, + "loss": 3.291212463378906, + "step": 94550 + }, + { + "epoch": 0.007733333333333333, + "grad_norm": 0.19482333958148956, + "learning_rate": 9.900613703228773e-05, + "loss": 3.4341697692871094, + "step": 94560 + }, + { + "epoch": 0.0078, + "grad_norm": 0.1826552450656891, + "learning_rate": 9.900394893936978e-05, + "loss": 3.3326797485351562, + "step": 94570 + }, + { + "epoch": 0.007866666666666666, + "grad_norm": 0.20640699565410614, + "learning_rate": 9.900175846467481e-05, + "loss": 3.432382583618164, + "step": 94580 + }, + { + "epoch": 0.007933333333333334, + "grad_norm": 0.2610240578651428, + "learning_rate": 9.899956560830934e-05, + "loss": 3.3577571868896485, + "step": 94590 + }, + { + "epoch": 0.008, + "grad_norm": 0.16333413124084473, + "learning_rate": 9.899737037037993e-05, + "loss": 3.300018310546875, + "step": 94600 + }, + { + "epoch": 0.008066666666666666, + "grad_norm": 0.20294003188610077, + "learning_rate": 9.899517275099328e-05, + "loss": 3.2580745697021483, + "step": 94610 + }, + { + "epoch": 0.008133333333333333, + "grad_norm": 0.18176016211509705, + "learning_rate": 9.89929727502562e-05, + "loss": 3.307281494140625, + "step": 94620 + }, + { + "epoch": 0.0082, + "grad_norm": 0.17436489462852478, + "learning_rate": 9.899077036827564e-05, + "loss": 3.2848716735839845, + "step": 94630 + }, + { + "epoch": 0.008266666666666667, + "grad_norm": 0.17697912454605103, + "learning_rate": 9.898856560515864e-05, + "loss": 3.339537811279297, + "step": 94640 + }, + { + "epoch": 0.008333333333333333, + "grad_norm": 0.19742830097675323, + "learning_rate": 9.898635846101231e-05, + "loss": 3.327779006958008, + "step": 94650 + }, + { + "epoch": 0.0084, + "grad_norm": 0.19468797743320465, + "learning_rate": 9.8984148935944e-05, + "loss": 3.291094970703125, + "step": 94660 + }, + { + "epoch": 0.008466666666666667, + "grad_norm": 0.1805829405784607, + "learning_rate": 9.898193703006103e-05, + "loss": 3.3276084899902343, + "step": 94670 + }, + { + "epoch": 0.008533333333333334, + "grad_norm": 0.19013074040412903, + "learning_rate": 9.897972274347096e-05, + "loss": 3.283792495727539, + "step": 94680 + }, + { + "epoch": 0.0086, + "grad_norm": 0.20892280340194702, + "learning_rate": 9.897750607628138e-05, + "loss": 3.3556156158447266, + "step": 94690 + }, + { + "epoch": 0.008666666666666666, + "grad_norm": 0.19025927782058716, + "learning_rate": 9.897528702860006e-05, + "loss": 3.296834182739258, + "step": 94700 + }, + { + "epoch": 0.008733333333333333, + "grad_norm": 0.22958727180957794, + "learning_rate": 9.897306560053483e-05, + "loss": 3.3185523986816405, + "step": 94710 + }, + { + "epoch": 0.0088, + "grad_norm": 0.17499449849128723, + "learning_rate": 9.897084179219367e-05, + "loss": 3.348261260986328, + "step": 94720 + }, + { + "epoch": 0.008866666666666667, + "grad_norm": 0.17943352460861206, + "learning_rate": 9.896861560368465e-05, + "loss": 3.331198883056641, + "step": 94730 + }, + { + "epoch": 0.008933333333333333, + "grad_norm": 0.17205707728862762, + "learning_rate": 9.896638703511598e-05, + "loss": 3.2859996795654296, + "step": 94740 + }, + { + "epoch": 0.009, + "grad_norm": 0.2334224134683609, + "learning_rate": 9.8964156086596e-05, + "loss": 3.322832489013672, + "step": 94750 + }, + { + "epoch": 0.009066666666666667, + "grad_norm": 0.17514783143997192, + "learning_rate": 9.896192275823311e-05, + "loss": 3.2868194580078125, + "step": 94760 + }, + { + "epoch": 0.009133333333333334, + "grad_norm": 0.1885979026556015, + "learning_rate": 9.895968705013586e-05, + "loss": 3.2959720611572267, + "step": 94770 + }, + { + "epoch": 0.0092, + "grad_norm": 0.1811433583498001, + "learning_rate": 9.895744896241295e-05, + "loss": 3.303547668457031, + "step": 94780 + }, + { + "epoch": 0.009266666666666666, + "grad_norm": 0.1689879596233368, + "learning_rate": 9.89552084951731e-05, + "loss": 3.261520004272461, + "step": 94790 + }, + { + "epoch": 0.009333333333333334, + "grad_norm": 0.18238626420497894, + "learning_rate": 9.895296564852528e-05, + "loss": 3.320184326171875, + "step": 94800 + }, + { + "epoch": 0.0094, + "grad_norm": 0.1867680549621582, + "learning_rate": 9.895072042257842e-05, + "loss": 3.52550048828125, + "step": 94810 + }, + { + "epoch": 0.009466666666666667, + "grad_norm": 0.33512115478515625, + "learning_rate": 9.894847281744171e-05, + "loss": 3.3579990386962892, + "step": 94820 + }, + { + "epoch": 0.009533333333333333, + "grad_norm": 0.17731863260269165, + "learning_rate": 9.894622283322436e-05, + "loss": 3.3288284301757813, + "step": 94830 + }, + { + "epoch": 0.0096, + "grad_norm": 0.18413913249969482, + "learning_rate": 9.894397047003574e-05, + "loss": 3.3153564453125, + "step": 94840 + }, + { + "epoch": 0.009666666666666667, + "grad_norm": 0.1749851256608963, + "learning_rate": 9.894171572798532e-05, + "loss": 3.431722640991211, + "step": 94850 + }, + { + "epoch": 0.009733333333333333, + "grad_norm": 0.1735619306564331, + "learning_rate": 9.893945860718268e-05, + "loss": 3.296839141845703, + "step": 94860 + }, + { + "epoch": 0.0098, + "grad_norm": 0.2793469727039337, + "learning_rate": 9.893719910773753e-05, + "loss": 3.2742992401123048, + "step": 94870 + }, + { + "epoch": 0.009866666666666666, + "grad_norm": 0.3187127411365509, + "learning_rate": 9.89349372297597e-05, + "loss": 3.3660449981689453, + "step": 94880 + }, + { + "epoch": 0.009933333333333334, + "grad_norm": 0.18183879554271698, + "learning_rate": 9.893267297335914e-05, + "loss": 3.43750114440918, + "step": 94890 + }, + { + "epoch": 0.01, + "grad_norm": 0.2009332776069641, + "learning_rate": 9.893040633864585e-05, + "loss": 3.2829734802246096, + "step": 94900 + }, + { + "epoch": 0.010066666666666666, + "grad_norm": 0.1801930069923401, + "learning_rate": 9.892813732573004e-05, + "loss": 3.284302520751953, + "step": 94910 + }, + { + "epoch": 0.010133333333333333, + "grad_norm": 0.18241249024868011, + "learning_rate": 9.892586593472198e-05, + "loss": 3.3415699005126953, + "step": 94920 + }, + { + "epoch": 0.0102, + "grad_norm": 0.3710581958293915, + "learning_rate": 9.892359216573206e-05, + "loss": 3.4112239837646485, + "step": 94930 + }, + { + "epoch": 0.010266666666666667, + "grad_norm": 0.18051566183567047, + "learning_rate": 9.89213160188708e-05, + "loss": 3.3054786682128907, + "step": 94940 + }, + { + "epoch": 0.010333333333333333, + "grad_norm": 0.2034343034029007, + "learning_rate": 9.891903749424884e-05, + "loss": 3.242872619628906, + "step": 94950 + }, + { + "epoch": 0.0104, + "grad_norm": 0.17827722430229187, + "learning_rate": 9.891675659197692e-05, + "loss": 3.274610900878906, + "step": 94960 + }, + { + "epoch": 0.010466666666666668, + "grad_norm": 0.17230671644210815, + "learning_rate": 9.89144733121659e-05, + "loss": 3.288874053955078, + "step": 94970 + }, + { + "epoch": 0.010533333333333334, + "grad_norm": 0.18677431344985962, + "learning_rate": 9.891218765492673e-05, + "loss": 3.2957088470458986, + "step": 94980 + }, + { + "epoch": 0.0106, + "grad_norm": 0.18135879933834076, + "learning_rate": 9.890989962037053e-05, + "loss": 3.335614776611328, + "step": 94990 + }, + { + "epoch": 0.010666666666666666, + "grad_norm": 0.20933423936367035, + "learning_rate": 9.890760920860853e-05, + "loss": 3.4230594635009766, + "step": 95000 + }, + { + "epoch": 0.010733333333333333, + "grad_norm": 0.17838552594184875, + "learning_rate": 9.8905316419752e-05, + "loss": 3.292716217041016, + "step": 95010 + }, + { + "epoch": 0.0108, + "grad_norm": 0.17149464786052704, + "learning_rate": 9.890302125391239e-05, + "loss": 3.3067623138427735, + "step": 95020 + }, + { + "epoch": 0.010866666666666667, + "grad_norm": 0.1759299635887146, + "learning_rate": 9.89007237112013e-05, + "loss": 3.3522308349609373, + "step": 95030 + }, + { + "epoch": 0.010933333333333333, + "grad_norm": 0.22994306683540344, + "learning_rate": 9.889842379173035e-05, + "loss": 3.314341735839844, + "step": 95040 + }, + { + "epoch": 0.011, + "grad_norm": 0.17042219638824463, + "learning_rate": 9.889612149561132e-05, + "loss": 3.3260879516601562, + "step": 95050 + }, + { + "epoch": 0.011066666666666667, + "grad_norm": 0.16258983314037323, + "learning_rate": 9.889381682295616e-05, + "loss": 3.3029441833496094, + "step": 95060 + }, + { + "epoch": 0.011133333333333334, + "grad_norm": 0.1779240071773529, + "learning_rate": 9.889150977387685e-05, + "loss": 3.324973297119141, + "step": 95070 + }, + { + "epoch": 0.0112, + "grad_norm": 0.17037154734134674, + "learning_rate": 9.88892003484855e-05, + "loss": 3.30736083984375, + "step": 95080 + }, + { + "epoch": 0.011266666666666666, + "grad_norm": 0.16942942142486572, + "learning_rate": 9.88868885468944e-05, + "loss": 3.3094932556152346, + "step": 95090 + }, + { + "epoch": 0.011333333333333334, + "grad_norm": 0.1768324077129364, + "learning_rate": 9.888457436921591e-05, + "loss": 3.2872940063476563, + "step": 95100 + }, + { + "epoch": 0.0114, + "grad_norm": 0.1966913938522339, + "learning_rate": 9.888225781556248e-05, + "loss": 3.3080883026123047, + "step": 95110 + }, + { + "epoch": 0.011466666666666667, + "grad_norm": 0.18909914791584015, + "learning_rate": 9.887993888604672e-05, + "loss": 3.2323551177978516, + "step": 95120 + }, + { + "epoch": 0.011533333333333333, + "grad_norm": 0.18365263938903809, + "learning_rate": 9.887761758078135e-05, + "loss": 3.4146305084228517, + "step": 95130 + }, + { + "epoch": 0.0116, + "grad_norm": 0.1877048909664154, + "learning_rate": 9.887529389987916e-05, + "loss": 3.305406951904297, + "step": 95140 + }, + { + "epoch": 0.011666666666666667, + "grad_norm": 0.3084896504878998, + "learning_rate": 9.887296784345313e-05, + "loss": 3.4423686981201174, + "step": 95150 + }, + { + "epoch": 0.011733333333333333, + "grad_norm": 0.18165603280067444, + "learning_rate": 9.887063941161627e-05, + "loss": 3.3031070709228514, + "step": 95160 + }, + { + "epoch": 0.0118, + "grad_norm": 0.18081210553646088, + "learning_rate": 9.88683086044818e-05, + "loss": 3.3319812774658204, + "step": 95170 + }, + { + "epoch": 0.011866666666666666, + "grad_norm": 0.17833514511585236, + "learning_rate": 9.886597542216296e-05, + "loss": 3.2685691833496096, + "step": 95180 + }, + { + "epoch": 0.011933333333333334, + "grad_norm": 0.16370858252048492, + "learning_rate": 9.886363986477318e-05, + "loss": 3.3038703918457033, + "step": 95190 + }, + { + "epoch": 0.012, + "grad_norm": 0.17662851512432098, + "learning_rate": 9.886130193242598e-05, + "loss": 3.2671272277832033, + "step": 95200 + }, + { + "epoch": 0.012066666666666667, + "grad_norm": 0.18252894282341003, + "learning_rate": 9.885896162523497e-05, + "loss": 3.2824729919433593, + "step": 95210 + }, + { + "epoch": 0.012133333333333333, + "grad_norm": 0.18103516101837158, + "learning_rate": 9.885661894331392e-05, + "loss": 3.3852798461914064, + "step": 95220 + }, + { + "epoch": 0.0122, + "grad_norm": 0.19042804837226868, + "learning_rate": 9.885427388677669e-05, + "loss": 3.31328125, + "step": 95230 + }, + { + "epoch": 0.012266666666666667, + "grad_norm": 0.17944425344467163, + "learning_rate": 9.885192645573725e-05, + "loss": 3.311440277099609, + "step": 95240 + }, + { + "epoch": 0.012333333333333333, + "grad_norm": 0.201541930437088, + "learning_rate": 9.884957665030967e-05, + "loss": 3.2813186645507812, + "step": 95250 + }, + { + "epoch": 0.0124, + "grad_norm": 0.2572249472141266, + "learning_rate": 9.884722447060821e-05, + "loss": 3.3072628021240233, + "step": 95260 + }, + { + "epoch": 0.012466666666666666, + "grad_norm": 0.1739029437303543, + "learning_rate": 9.884486991674716e-05, + "loss": 3.3076007843017576, + "step": 95270 + }, + { + "epoch": 0.012533333333333334, + "grad_norm": 0.16840247809886932, + "learning_rate": 9.884251298884097e-05, + "loss": 3.289551544189453, + "step": 95280 + }, + { + "epoch": 0.0126, + "grad_norm": 0.46884384751319885, + "learning_rate": 9.884015368700421e-05, + "loss": 3.246815490722656, + "step": 95290 + }, + { + "epoch": 0.012666666666666666, + "grad_norm": 0.18215042352676392, + "learning_rate": 9.883779201135152e-05, + "loss": 3.2991146087646483, + "step": 95300 + }, + { + "epoch": 0.012733333333333333, + "grad_norm": 0.17488481104373932, + "learning_rate": 9.883542796199772e-05, + "loss": 3.2775726318359375, + "step": 95310 + }, + { + "epoch": 0.0128, + "grad_norm": 0.19219952821731567, + "learning_rate": 9.883306153905768e-05, + "loss": 3.325973892211914, + "step": 95320 + }, + { + "epoch": 0.012866666666666667, + "grad_norm": 0.1894197165966034, + "learning_rate": 9.883069274264644e-05, + "loss": 3.3251853942871095, + "step": 95330 + }, + { + "epoch": 0.012933333333333333, + "grad_norm": 0.1857243925333023, + "learning_rate": 9.882832157287912e-05, + "loss": 3.4228897094726562, + "step": 95340 + }, + { + "epoch": 0.013, + "grad_norm": 0.17456172406673431, + "learning_rate": 9.882594802987097e-05, + "loss": 3.3135948181152344, + "step": 95350 + }, + { + "epoch": 0.013066666666666667, + "grad_norm": 0.2624697685241699, + "learning_rate": 9.882357211373737e-05, + "loss": 3.3483440399169924, + "step": 95360 + }, + { + "epoch": 0.013133333333333334, + "grad_norm": 0.17772123217582703, + "learning_rate": 9.882119382459377e-05, + "loss": 3.3698734283447265, + "step": 95370 + }, + { + "epoch": 0.0132, + "grad_norm": 0.19826465845108032, + "learning_rate": 9.881881316255579e-05, + "loss": 3.2755046844482423, + "step": 95380 + }, + { + "epoch": 0.013266666666666666, + "grad_norm": 0.22985410690307617, + "learning_rate": 9.881643012773911e-05, + "loss": 3.370331573486328, + "step": 95390 + }, + { + "epoch": 0.013333333333333334, + "grad_norm": 0.17841237783432007, + "learning_rate": 9.881404472025959e-05, + "loss": 3.3155677795410154, + "step": 95400 + }, + { + "epoch": 0.0134, + "grad_norm": 0.1878955215215683, + "learning_rate": 9.881165694023313e-05, + "loss": 3.3456363677978516, + "step": 95410 + }, + { + "epoch": 0.013466666666666667, + "grad_norm": 0.19409941136837006, + "learning_rate": 9.880926678777583e-05, + "loss": 3.317278289794922, + "step": 95420 + }, + { + "epoch": 0.013533333333333333, + "grad_norm": 0.17708846926689148, + "learning_rate": 9.880687426300382e-05, + "loss": 3.303171920776367, + "step": 95430 + }, + { + "epoch": 0.0136, + "grad_norm": 0.1773548275232315, + "learning_rate": 9.880447936603341e-05, + "loss": 3.3032371520996096, + "step": 95440 + }, + { + "epoch": 0.013666666666666667, + "grad_norm": 0.1756131947040558, + "learning_rate": 9.8802082096981e-05, + "loss": 3.287733459472656, + "step": 95450 + }, + { + "epoch": 0.013733333333333334, + "grad_norm": 0.30191096663475037, + "learning_rate": 9.87996824559631e-05, + "loss": 3.2999664306640626, + "step": 95460 + }, + { + "epoch": 0.0138, + "grad_norm": 0.18450628221035004, + "learning_rate": 9.879728044309633e-05, + "loss": 3.071738624572754, + "step": 95470 + }, + { + "epoch": 0.013866666666666666, + "grad_norm": 0.1781858205795288, + "learning_rate": 9.879487605849744e-05, + "loss": 3.263467025756836, + "step": 95480 + }, + { + "epoch": 0.013933333333333334, + "grad_norm": 0.18029209971427917, + "learning_rate": 9.879246930228331e-05, + "loss": 3.30255126953125, + "step": 95490 + }, + { + "epoch": 0.014, + "grad_norm": 0.21638089418411255, + "learning_rate": 9.879006017457093e-05, + "loss": 3.2586524963378904, + "step": 95500 + }, + { + "epoch": 0.014066666666666667, + "grad_norm": 0.1768297553062439, + "learning_rate": 9.878764867547733e-05, + "loss": 3.2848979949951174, + "step": 95510 + }, + { + "epoch": 0.014133333333333333, + "grad_norm": 0.17254656553268433, + "learning_rate": 9.87852348051198e-05, + "loss": 3.302748107910156, + "step": 95520 + }, + { + "epoch": 0.0142, + "grad_norm": 0.6188946962356567, + "learning_rate": 9.87828185636156e-05, + "loss": 3.504010772705078, + "step": 95530 + }, + { + "epoch": 0.014266666666666667, + "grad_norm": 0.19448859989643097, + "learning_rate": 9.87803999510822e-05, + "loss": 3.4139453887939455, + "step": 95540 + }, + { + "epoch": 0.014333333333333333, + "grad_norm": 0.16873855888843536, + "learning_rate": 9.877797896763715e-05, + "loss": 3.35058708190918, + "step": 95550 + }, + { + "epoch": 0.0144, + "grad_norm": 0.18354268372058868, + "learning_rate": 9.877555561339808e-05, + "loss": 3.2953872680664062, + "step": 95560 + }, + { + "epoch": 0.014466666666666666, + "grad_norm": 0.1896948516368866, + "learning_rate": 9.877312988848283e-05, + "loss": 3.30643310546875, + "step": 95570 + }, + { + "epoch": 0.014533333333333334, + "grad_norm": 0.16989552974700928, + "learning_rate": 9.877070179300929e-05, + "loss": 3.312907409667969, + "step": 95580 + }, + { + "epoch": 0.0146, + "grad_norm": 0.20215757191181183, + "learning_rate": 9.876827132709544e-05, + "loss": 3.397999572753906, + "step": 95590 + }, + { + "epoch": 0.014666666666666666, + "grad_norm": 0.1792881041765213, + "learning_rate": 9.876583849085945e-05, + "loss": 3.35510139465332, + "step": 95600 + }, + { + "epoch": 0.014733333333333333, + "grad_norm": 0.17055252194404602, + "learning_rate": 9.876340328441953e-05, + "loss": 3.309208297729492, + "step": 95610 + }, + { + "epoch": 0.0148, + "grad_norm": 0.18660378456115723, + "learning_rate": 9.876096570789406e-05, + "loss": 3.36682014465332, + "step": 95620 + }, + { + "epoch": 0.014866666666666667, + "grad_norm": 0.17412392795085907, + "learning_rate": 9.875852576140152e-05, + "loss": 3.2986637115478517, + "step": 95630 + }, + { + "epoch": 0.014933333333333333, + "grad_norm": 0.17900195717811584, + "learning_rate": 9.875608344506047e-05, + "loss": 3.3119670867919924, + "step": 95640 + }, + { + "epoch": 0.015, + "grad_norm": 0.21265865862369537, + "learning_rate": 9.875363875898967e-05, + "loss": 3.315450668334961, + "step": 95650 + }, + { + "epoch": 0.015066666666666667, + "grad_norm": 0.22314360737800598, + "learning_rate": 9.87511917033079e-05, + "loss": 3.3607814788818358, + "step": 95660 + }, + { + "epoch": 0.015133333333333334, + "grad_norm": 0.16587868332862854, + "learning_rate": 9.874874227813408e-05, + "loss": 3.3494476318359374, + "step": 95670 + }, + { + "epoch": 0.0152, + "grad_norm": 0.1699143946170807, + "learning_rate": 9.874629048358732e-05, + "loss": 3.292432403564453, + "step": 95680 + }, + { + "epoch": 0.015266666666666666, + "grad_norm": 0.18086805939674377, + "learning_rate": 9.874383631978672e-05, + "loss": 3.264809799194336, + "step": 95690 + }, + { + "epoch": 0.015333333333333332, + "grad_norm": 0.1822335124015808, + "learning_rate": 9.874137978685163e-05, + "loss": 3.290924835205078, + "step": 95700 + }, + { + "epoch": 0.0154, + "grad_norm": 0.1908615529537201, + "learning_rate": 9.873892088490139e-05, + "loss": 3.30347900390625, + "step": 95710 + }, + { + "epoch": 0.015466666666666667, + "grad_norm": 0.2221079021692276, + "learning_rate": 9.873645961405553e-05, + "loss": 3.2931243896484377, + "step": 95720 + }, + { + "epoch": 0.015533333333333333, + "grad_norm": 0.1830497831106186, + "learning_rate": 9.87339959744337e-05, + "loss": 3.335132598876953, + "step": 95730 + }, + { + "epoch": 0.0156, + "grad_norm": 0.17524121701717377, + "learning_rate": 9.87315299661556e-05, + "loss": 3.3073925018310546, + "step": 95740 + }, + { + "epoch": 0.015666666666666666, + "grad_norm": 0.23278890550136566, + "learning_rate": 9.872906158934113e-05, + "loss": 3.365728759765625, + "step": 95750 + }, + { + "epoch": 0.015733333333333332, + "grad_norm": 0.16816304624080658, + "learning_rate": 9.872659084411024e-05, + "loss": 3.274354934692383, + "step": 95760 + }, + { + "epoch": 0.0158, + "grad_norm": 0.18601669371128082, + "learning_rate": 9.872411773058301e-05, + "loss": 3.257576751708984, + "step": 95770 + }, + { + "epoch": 0.015866666666666668, + "grad_norm": 0.19619005918502808, + "learning_rate": 9.872164224887965e-05, + "loss": 3.307495880126953, + "step": 95780 + }, + { + "epoch": 0.015933333333333334, + "grad_norm": 0.17162080109119415, + "learning_rate": 9.871916439912048e-05, + "loss": 3.300556945800781, + "step": 95790 + }, + { + "epoch": 0.016, + "grad_norm": 0.18524855375289917, + "learning_rate": 9.871668418142596e-05, + "loss": 3.2894412994384767, + "step": 95800 + }, + { + "epoch": 0.016066666666666667, + "grad_norm": 0.17640995979309082, + "learning_rate": 9.871420159591657e-05, + "loss": 3.337086868286133, + "step": 95810 + }, + { + "epoch": 0.016133333333333333, + "grad_norm": 0.17858226597309113, + "learning_rate": 9.871171664271307e-05, + "loss": 3.300934982299805, + "step": 95820 + }, + { + "epoch": 0.0162, + "grad_norm": 0.1793578416109085, + "learning_rate": 9.870922932193613e-05, + "loss": 3.3977169036865233, + "step": 95830 + }, + { + "epoch": 0.016266666666666665, + "grad_norm": 0.2984354794025421, + "learning_rate": 9.870673963370671e-05, + "loss": 3.323026657104492, + "step": 95840 + }, + { + "epoch": 0.01633333333333333, + "grad_norm": 0.17054139077663422, + "learning_rate": 9.870424757814582e-05, + "loss": 3.2917125701904295, + "step": 95850 + }, + { + "epoch": 0.0164, + "grad_norm": 0.19262677431106567, + "learning_rate": 9.870175315537455e-05, + "loss": 3.2933650970458985, + "step": 95860 + }, + { + "epoch": 0.016466666666666668, + "grad_norm": 0.1748715490102768, + "learning_rate": 9.869925636551416e-05, + "loss": 3.3293682098388673, + "step": 95870 + }, + { + "epoch": 0.016533333333333334, + "grad_norm": 0.18712183833122253, + "learning_rate": 9.8696757208686e-05, + "loss": 3.3780658721923826, + "step": 95880 + }, + { + "epoch": 0.0166, + "grad_norm": 0.18202783167362213, + "learning_rate": 9.869425568501153e-05, + "loss": 3.271680450439453, + "step": 95890 + }, + { + "epoch": 0.016666666666666666, + "grad_norm": 1.044325590133667, + "learning_rate": 9.869175179461237e-05, + "loss": 3.340764617919922, + "step": 95900 + }, + { + "epoch": 0.016733333333333333, + "grad_norm": 0.20773835480213165, + "learning_rate": 9.868924553761016e-05, + "loss": 3.4200855255126954, + "step": 95910 + }, + { + "epoch": 0.0168, + "grad_norm": 0.16914063692092896, + "learning_rate": 9.868673691412675e-05, + "loss": 3.2760951995849608, + "step": 95920 + }, + { + "epoch": 0.016866666666666665, + "grad_norm": 0.16904033720493317, + "learning_rate": 9.868422592428406e-05, + "loss": 3.3798789978027344, + "step": 95930 + }, + { + "epoch": 0.016933333333333335, + "grad_norm": 0.18988659977912903, + "learning_rate": 9.868171256820413e-05, + "loss": 3.305398178100586, + "step": 95940 + }, + { + "epoch": 0.017, + "grad_norm": 0.1735127717256546, + "learning_rate": 9.867919684600915e-05, + "loss": 3.2971805572509765, + "step": 95950 + }, + { + "epoch": 0.017066666666666667, + "grad_norm": 0.2005293071269989, + "learning_rate": 9.867667875782134e-05, + "loss": 3.255040740966797, + "step": 95960 + }, + { + "epoch": 0.017133333333333334, + "grad_norm": 0.16650255024433136, + "learning_rate": 9.867415830376312e-05, + "loss": 3.2578804016113283, + "step": 95970 + }, + { + "epoch": 0.0172, + "grad_norm": 0.17943383753299713, + "learning_rate": 9.867163548395699e-05, + "loss": 3.371163177490234, + "step": 95980 + }, + { + "epoch": 0.017266666666666666, + "grad_norm": 0.19685940444469452, + "learning_rate": 9.866911029852558e-05, + "loss": 3.2909446716308595, + "step": 95990 + }, + { + "epoch": 0.017333333333333333, + "grad_norm": 0.18330642580986023, + "learning_rate": 9.86665827475916e-05, + "loss": 3.2641216278076173, + "step": 96000 + }, + { + "epoch": 0.0174, + "grad_norm": 0.17347083985805511, + "learning_rate": 9.866405283127792e-05, + "loss": 3.281438446044922, + "step": 96010 + }, + { + "epoch": 0.017466666666666665, + "grad_norm": 0.1751173883676529, + "learning_rate": 9.866152054970749e-05, + "loss": 3.301289367675781, + "step": 96020 + }, + { + "epoch": 0.017533333333333335, + "grad_norm": 0.17057064175605774, + "learning_rate": 9.865898590300339e-05, + "loss": 3.273762512207031, + "step": 96030 + }, + { + "epoch": 0.0176, + "grad_norm": 0.17978739738464355, + "learning_rate": 9.865644889128882e-05, + "loss": 3.2453006744384765, + "step": 96040 + }, + { + "epoch": 0.017666666666666667, + "grad_norm": 0.1722906231880188, + "learning_rate": 9.865390951468707e-05, + "loss": 3.3022560119628905, + "step": 96050 + }, + { + "epoch": 0.017733333333333334, + "grad_norm": 0.19035929441452026, + "learning_rate": 9.865136777332159e-05, + "loss": 3.2703315734863283, + "step": 96060 + }, + { + "epoch": 0.0178, + "grad_norm": 0.16702836751937866, + "learning_rate": 9.86488236673159e-05, + "loss": 3.2737606048583983, + "step": 96070 + }, + { + "epoch": 0.017866666666666666, + "grad_norm": 0.19415424764156342, + "learning_rate": 9.864627719679367e-05, + "loss": 3.307981491088867, + "step": 96080 + }, + { + "epoch": 0.017933333333333332, + "grad_norm": 0.228297621011734, + "learning_rate": 9.864372836187863e-05, + "loss": 3.3129226684570314, + "step": 96090 + }, + { + "epoch": 0.018, + "grad_norm": 0.16902372241020203, + "learning_rate": 9.864117716269472e-05, + "loss": 3.2420616149902344, + "step": 96100 + }, + { + "epoch": 0.01806666666666667, + "grad_norm": 0.6224579811096191, + "learning_rate": 9.863862359936588e-05, + "loss": 3.294084930419922, + "step": 96110 + }, + { + "epoch": 0.018133333333333335, + "grad_norm": 0.1981768161058426, + "learning_rate": 9.863606767201627e-05, + "loss": 3.297636795043945, + "step": 96120 + }, + { + "epoch": 0.0182, + "grad_norm": 0.2109135091304779, + "learning_rate": 9.86335093807701e-05, + "loss": 3.315656280517578, + "step": 96130 + }, + { + "epoch": 0.018266666666666667, + "grad_norm": 0.1875918209552765, + "learning_rate": 9.863094872575171e-05, + "loss": 3.252819061279297, + "step": 96140 + }, + { + "epoch": 0.018333333333333333, + "grad_norm": 0.1724959909915924, + "learning_rate": 9.862838570708555e-05, + "loss": 3.256865692138672, + "step": 96150 + }, + { + "epoch": 0.0184, + "grad_norm": 0.16943472623825073, + "learning_rate": 9.86258203248962e-05, + "loss": 3.26270751953125, + "step": 96160 + }, + { + "epoch": 0.018466666666666666, + "grad_norm": 0.19248346984386444, + "learning_rate": 9.862325257930835e-05, + "loss": 3.2748409271240235, + "step": 96170 + }, + { + "epoch": 0.018533333333333332, + "grad_norm": 0.16681864857673645, + "learning_rate": 9.86206824704468e-05, + "loss": 3.3326370239257814, + "step": 96180 + }, + { + "epoch": 0.0186, + "grad_norm": 0.1863364279270172, + "learning_rate": 9.861810999843646e-05, + "loss": 3.261034393310547, + "step": 96190 + }, + { + "epoch": 0.018666666666666668, + "grad_norm": 0.20690210163593292, + "learning_rate": 9.861553516340238e-05, + "loss": 3.271436309814453, + "step": 96200 + }, + { + "epoch": 0.018733333333333334, + "grad_norm": 0.2135525941848755, + "learning_rate": 9.86129579654697e-05, + "loss": 3.410662078857422, + "step": 96210 + }, + { + "epoch": 0.0188, + "grad_norm": 0.1737658530473709, + "learning_rate": 9.861037840476367e-05, + "loss": 3.2775169372558595, + "step": 96220 + }, + { + "epoch": 0.018866666666666667, + "grad_norm": 0.17441917955875397, + "learning_rate": 9.860779648140966e-05, + "loss": 3.2998497009277346, + "step": 96230 + }, + { + "epoch": 0.018933333333333333, + "grad_norm": 0.18172554671764374, + "learning_rate": 9.86052121955332e-05, + "loss": 3.297883987426758, + "step": 96240 + }, + { + "epoch": 0.019, + "grad_norm": 0.17077256739139557, + "learning_rate": 9.860262554725985e-05, + "loss": 3.2799350738525392, + "step": 96250 + }, + { + "epoch": 0.019066666666666666, + "grad_norm": 0.19180095195770264, + "learning_rate": 9.860003653671536e-05, + "loss": 3.301884078979492, + "step": 96260 + }, + { + "epoch": 0.019133333333333332, + "grad_norm": 0.1603042632341385, + "learning_rate": 9.859744516402556e-05, + "loss": 3.2587127685546875, + "step": 96270 + }, + { + "epoch": 0.0192, + "grad_norm": 0.17812122404575348, + "learning_rate": 9.85948514293164e-05, + "loss": 3.3267353057861326, + "step": 96280 + }, + { + "epoch": 0.019266666666666668, + "grad_norm": 0.17311446368694305, + "learning_rate": 9.859225533271392e-05, + "loss": 3.2371036529541017, + "step": 96290 + }, + { + "epoch": 0.019333333333333334, + "grad_norm": 0.28521353006362915, + "learning_rate": 9.858965687434433e-05, + "loss": 3.3698219299316405, + "step": 96300 + }, + { + "epoch": 0.0194, + "grad_norm": 0.16383810341358185, + "learning_rate": 9.858705605433394e-05, + "loss": 3.297876739501953, + "step": 96310 + }, + { + "epoch": 0.019466666666666667, + "grad_norm": 0.1993236094713211, + "learning_rate": 9.858445287280914e-05, + "loss": 3.3776966094970704, + "step": 96320 + }, + { + "epoch": 0.019533333333333333, + "grad_norm": 0.2206273227930069, + "learning_rate": 9.858184732989644e-05, + "loss": 3.3449222564697267, + "step": 96330 + }, + { + "epoch": 0.0196, + "grad_norm": 0.2204829752445221, + "learning_rate": 9.857923942572249e-05, + "loss": 3.316659164428711, + "step": 96340 + }, + { + "epoch": 0.019666666666666666, + "grad_norm": 0.17319221794605255, + "learning_rate": 9.857662916041403e-05, + "loss": 3.2661727905273437, + "step": 96350 + }, + { + "epoch": 0.019733333333333332, + "grad_norm": 0.17619538307189941, + "learning_rate": 9.857401653409797e-05, + "loss": 3.3971385955810547, + "step": 96360 + }, + { + "epoch": 0.0198, + "grad_norm": 0.18193510174751282, + "learning_rate": 9.857140154690125e-05, + "loss": 3.214316558837891, + "step": 96370 + }, + { + "epoch": 0.019866666666666668, + "grad_norm": 0.17997746169567108, + "learning_rate": 9.8568784198951e-05, + "loss": 3.2955223083496095, + "step": 96380 + }, + { + "epoch": 0.019933333333333334, + "grad_norm": 0.17562949657440186, + "learning_rate": 9.856616449037441e-05, + "loss": 3.256550979614258, + "step": 96390 + }, + { + "epoch": 0.02, + "grad_norm": 0.20674411952495575, + "learning_rate": 9.856354242129882e-05, + "loss": 3.295366668701172, + "step": 96400 + }, + { + "epoch": 0.020066666666666667, + "grad_norm": 0.18968091905117035, + "learning_rate": 9.856091799185167e-05, + "loss": 3.2614601135253904, + "step": 96410 + }, + { + "epoch": 0.020133333333333333, + "grad_norm": 0.1776019036769867, + "learning_rate": 9.855829120216052e-05, + "loss": 3.287786865234375, + "step": 96420 + }, + { + "epoch": 0.0202, + "grad_norm": 0.178305521607399, + "learning_rate": 9.855566205235302e-05, + "loss": 3.273548126220703, + "step": 96430 + }, + { + "epoch": 0.020266666666666665, + "grad_norm": 0.21143251657485962, + "learning_rate": 9.8553030542557e-05, + "loss": 3.3206150054931642, + "step": 96440 + }, + { + "epoch": 0.02033333333333333, + "grad_norm": 0.23750467598438263, + "learning_rate": 9.855039667290031e-05, + "loss": 3.2994831085205076, + "step": 96450 + }, + { + "epoch": 0.0204, + "grad_norm": 0.17703913152217865, + "learning_rate": 9.854776044351102e-05, + "loss": 3.3224281311035155, + "step": 96460 + }, + { + "epoch": 0.020466666666666668, + "grad_norm": 0.19667363166809082, + "learning_rate": 9.854512185451723e-05, + "loss": 3.2969070434570313, + "step": 96470 + }, + { + "epoch": 0.020533333333333334, + "grad_norm": 0.18414267897605896, + "learning_rate": 9.854248090604717e-05, + "loss": 3.274586486816406, + "step": 96480 + }, + { + "epoch": 0.0206, + "grad_norm": 0.16035401821136475, + "learning_rate": 9.853983759822922e-05, + "loss": 3.2824153900146484, + "step": 96490 + }, + { + "epoch": 0.020666666666666667, + "grad_norm": 0.1844106912612915, + "learning_rate": 9.853719193119187e-05, + "loss": 3.2654266357421875, + "step": 96500 + }, + { + "epoch": 0.020733333333333333, + "grad_norm": 0.17156948149204254, + "learning_rate": 9.853454390506366e-05, + "loss": 3.2423839569091797, + "step": 96510 + }, + { + "epoch": 0.0208, + "grad_norm": 0.18604516983032227, + "learning_rate": 9.853189351997337e-05, + "loss": 3.261323928833008, + "step": 96520 + }, + { + "epoch": 0.020866666666666665, + "grad_norm": 0.1923554688692093, + "learning_rate": 9.852924077604975e-05, + "loss": 3.2637489318847654, + "step": 96530 + }, + { + "epoch": 0.020933333333333335, + "grad_norm": 0.20938719809055328, + "learning_rate": 9.852658567342176e-05, + "loss": 3.2766326904296874, + "step": 96540 + }, + { + "epoch": 0.021, + "grad_norm": 0.4662324786186218, + "learning_rate": 9.852392821221845e-05, + "loss": 3.360521697998047, + "step": 96550 + }, + { + "epoch": 0.021066666666666668, + "grad_norm": 0.19333145022392273, + "learning_rate": 9.852126839256897e-05, + "loss": 3.3452281951904297, + "step": 96560 + }, + { + "epoch": 0.021133333333333334, + "grad_norm": 0.1705482453107834, + "learning_rate": 9.851860621460261e-05, + "loss": 3.3705890655517576, + "step": 96570 + }, + { + "epoch": 0.0212, + "grad_norm": 0.18221737444400787, + "learning_rate": 9.851594167844877e-05, + "loss": 3.2715606689453125, + "step": 96580 + }, + { + "epoch": 0.021266666666666666, + "grad_norm": 0.17935097217559814, + "learning_rate": 9.851327478423695e-05, + "loss": 3.282718276977539, + "step": 96590 + }, + { + "epoch": 0.021333333333333333, + "grad_norm": 0.23905660212039948, + "learning_rate": 9.851060553209674e-05, + "loss": 3.2937461853027346, + "step": 96600 + }, + { + "epoch": 0.0214, + "grad_norm": 0.19128486514091492, + "learning_rate": 9.850793392215791e-05, + "loss": 3.3169071197509767, + "step": 96610 + }, + { + "epoch": 0.021466666666666665, + "grad_norm": 0.18178348243236542, + "learning_rate": 9.850525995455031e-05, + "loss": 3.2965282440185546, + "step": 96620 + }, + { + "epoch": 0.021533333333333335, + "grad_norm": 0.19232600927352905, + "learning_rate": 9.85025836294039e-05, + "loss": 3.539946746826172, + "step": 96630 + }, + { + "epoch": 0.0216, + "grad_norm": 0.16844213008880615, + "learning_rate": 9.849990494684876e-05, + "loss": 3.2449432373046876, + "step": 96640 + }, + { + "epoch": 0.021666666666666667, + "grad_norm": 0.18924476206302643, + "learning_rate": 9.849722390701507e-05, + "loss": 3.26831169128418, + "step": 96650 + }, + { + "epoch": 0.021733333333333334, + "grad_norm": 0.18746110796928406, + "learning_rate": 9.849454051003316e-05, + "loss": 3.2014331817626953, + "step": 96660 + }, + { + "epoch": 0.0218, + "grad_norm": 0.35532718896865845, + "learning_rate": 9.849185475603343e-05, + "loss": 3.301473617553711, + "step": 96670 + }, + { + "epoch": 0.021866666666666666, + "grad_norm": 0.18043048679828644, + "learning_rate": 9.848916664514642e-05, + "loss": 3.2310462951660157, + "step": 96680 + }, + { + "epoch": 0.021933333333333332, + "grad_norm": 0.20617325603961945, + "learning_rate": 9.848647617750282e-05, + "loss": 3.3535171508789063, + "step": 96690 + }, + { + "epoch": 0.022, + "grad_norm": 0.1715431809425354, + "learning_rate": 9.848378335323337e-05, + "loss": 3.294017791748047, + "step": 96700 + }, + { + "epoch": 0.022066666666666665, + "grad_norm": 0.19726496934890747, + "learning_rate": 9.848108817246893e-05, + "loss": 3.2674190521240236, + "step": 96710 + }, + { + "epoch": 0.022133333333333335, + "grad_norm": 0.6339850425720215, + "learning_rate": 9.847839063534052e-05, + "loss": 3.409013366699219, + "step": 96720 + }, + { + "epoch": 0.0222, + "grad_norm": 0.19208569824695587, + "learning_rate": 9.847569074197926e-05, + "loss": 3.3215023040771485, + "step": 96730 + }, + { + "epoch": 0.022266666666666667, + "grad_norm": 0.17342953383922577, + "learning_rate": 9.847298849251636e-05, + "loss": 3.3145851135253905, + "step": 96740 + }, + { + "epoch": 0.022333333333333334, + "grad_norm": 0.20888015627861023, + "learning_rate": 9.847028388708315e-05, + "loss": 3.3417320251464844, + "step": 96750 + }, + { + "epoch": 0.0224, + "grad_norm": 0.2142053097486496, + "learning_rate": 9.84675769258111e-05, + "loss": 3.3021236419677735, + "step": 96760 + }, + { + "epoch": 0.022466666666666666, + "grad_norm": 0.18173189461231232, + "learning_rate": 9.846486760883178e-05, + "loss": 3.253681182861328, + "step": 96770 + }, + { + "epoch": 0.022533333333333332, + "grad_norm": 0.17558440566062927, + "learning_rate": 9.846215593627688e-05, + "loss": 3.289437484741211, + "step": 96780 + }, + { + "epoch": 0.0226, + "grad_norm": 0.2008294314146042, + "learning_rate": 9.845944190827816e-05, + "loss": 3.2319561004638673, + "step": 96790 + }, + { + "epoch": 0.02266666666666667, + "grad_norm": 0.17281505465507507, + "learning_rate": 9.845672552496757e-05, + "loss": 3.3158058166503905, + "step": 96800 + }, + { + "epoch": 0.022733333333333335, + "grad_norm": 0.18016014993190765, + "learning_rate": 9.845400678647713e-05, + "loss": 3.2637481689453125, + "step": 96810 + }, + { + "epoch": 0.0228, + "grad_norm": 0.18374957144260406, + "learning_rate": 9.845128569293896e-05, + "loss": 3.301416778564453, + "step": 96820 + }, + { + "epoch": 0.022866666666666667, + "grad_norm": 0.46992143988609314, + "learning_rate": 9.844856224448535e-05, + "loss": 3.3992855072021486, + "step": 96830 + }, + { + "epoch": 0.022933333333333333, + "grad_norm": 0.18637172877788544, + "learning_rate": 9.844583644124863e-05, + "loss": 3.3441650390625, + "step": 96840 + }, + { + "epoch": 0.023, + "grad_norm": 0.1776258498430252, + "learning_rate": 9.844310828336131e-05, + "loss": 3.2976318359375, + "step": 96850 + }, + { + "epoch": 0.023066666666666666, + "grad_norm": 0.1745828539133072, + "learning_rate": 9.844037777095598e-05, + "loss": 3.330161285400391, + "step": 96860 + }, + { + "epoch": 0.023133333333333332, + "grad_norm": 0.17255713045597076, + "learning_rate": 9.843764490416535e-05, + "loss": 3.309195709228516, + "step": 96870 + }, + { + "epoch": 0.0232, + "grad_norm": 0.16927070915699005, + "learning_rate": 9.843490968312227e-05, + "loss": 3.266865539550781, + "step": 96880 + }, + { + "epoch": 0.023266666666666668, + "grad_norm": 0.2754387855529785, + "learning_rate": 9.843217210795967e-05, + "loss": 3.3902004241943358, + "step": 96890 + }, + { + "epoch": 0.023333333333333334, + "grad_norm": 0.17090770602226257, + "learning_rate": 9.84294321788106e-05, + "loss": 3.2992183685302736, + "step": 96900 + }, + { + "epoch": 0.0234, + "grad_norm": 0.17596754431724548, + "learning_rate": 9.842668989580823e-05, + "loss": 3.3228870391845704, + "step": 96910 + }, + { + "epoch": 0.023466666666666667, + "grad_norm": 0.1785922646522522, + "learning_rate": 9.842394525908585e-05, + "loss": 3.267321014404297, + "step": 96920 + }, + { + "epoch": 0.023533333333333333, + "grad_norm": 0.17085394263267517, + "learning_rate": 9.842119826877684e-05, + "loss": 3.2503940582275392, + "step": 96930 + }, + { + "epoch": 0.0236, + "grad_norm": 0.17844471335411072, + "learning_rate": 9.841844892501475e-05, + "loss": 3.288075637817383, + "step": 96940 + }, + { + "epoch": 0.023666666666666666, + "grad_norm": 0.39548274874687195, + "learning_rate": 9.841569722793318e-05, + "loss": 3.3248531341552736, + "step": 96950 + }, + { + "epoch": 0.023733333333333332, + "grad_norm": 0.19228176772594452, + "learning_rate": 9.84129431776659e-05, + "loss": 3.334400177001953, + "step": 96960 + }, + { + "epoch": 0.0238, + "grad_norm": 0.18282705545425415, + "learning_rate": 9.841018677434675e-05, + "loss": 3.2637924194335937, + "step": 96970 + }, + { + "epoch": 0.023866666666666668, + "grad_norm": 0.21609315276145935, + "learning_rate": 9.840742801810969e-05, + "loss": 3.280503845214844, + "step": 96980 + }, + { + "epoch": 0.023933333333333334, + "grad_norm": 0.21218739449977875, + "learning_rate": 9.840466690908883e-05, + "loss": 3.2296401977539064, + "step": 96990 + }, + { + "epoch": 0.024, + "grad_norm": 0.1719816029071808, + "learning_rate": 9.840190344741835e-05, + "loss": 3.3426589965820312, + "step": 97000 + }, + { + "epoch": 0.024066666666666667, + "grad_norm": 0.2127007097005844, + "learning_rate": 9.839913763323257e-05, + "loss": 3.264970397949219, + "step": 97010 + }, + { + "epoch": 0.024133333333333333, + "grad_norm": 0.30556029081344604, + "learning_rate": 9.839636946666595e-05, + "loss": 3.250416564941406, + "step": 97020 + }, + { + "epoch": 0.0242, + "grad_norm": 0.18546099960803986, + "learning_rate": 9.839359894785298e-05, + "loss": 3.3084335327148438, + "step": 97030 + }, + { + "epoch": 0.024266666666666666, + "grad_norm": 0.17222745716571808, + "learning_rate": 9.839082607692835e-05, + "loss": 3.307392120361328, + "step": 97040 + }, + { + "epoch": 0.024333333333333332, + "grad_norm": 0.17940282821655273, + "learning_rate": 9.838805085402682e-05, + "loss": 3.334792709350586, + "step": 97050 + }, + { + "epoch": 0.0244, + "grad_norm": 0.19173620641231537, + "learning_rate": 9.838527327928329e-05, + "loss": 3.249428558349609, + "step": 97060 + }, + { + "epoch": 0.024466666666666668, + "grad_norm": 0.17394386231899261, + "learning_rate": 9.838249335283274e-05, + "loss": 3.281302642822266, + "step": 97070 + }, + { + "epoch": 0.024533333333333334, + "grad_norm": 0.26132726669311523, + "learning_rate": 9.837971107481032e-05, + "loss": 3.278681182861328, + "step": 97080 + }, + { + "epoch": 0.0246, + "grad_norm": 0.16971342265605927, + "learning_rate": 9.837692644535122e-05, + "loss": 3.243194580078125, + "step": 97090 + }, + { + "epoch": 0.024666666666666667, + "grad_norm": 0.2282569855451584, + "learning_rate": 9.83741394645908e-05, + "loss": 3.400950241088867, + "step": 97100 + }, + { + "epoch": 0.024733333333333333, + "grad_norm": 0.17214009165763855, + "learning_rate": 9.837135013266452e-05, + "loss": 3.279013442993164, + "step": 97110 + }, + { + "epoch": 0.0248, + "grad_norm": 0.21752393245697021, + "learning_rate": 9.836855844970796e-05, + "loss": 3.3558197021484375, + "step": 97120 + }, + { + "epoch": 0.024866666666666665, + "grad_norm": 0.280020147562027, + "learning_rate": 9.836576441585678e-05, + "loss": 3.4853542327880858, + "step": 97130 + }, + { + "epoch": 0.02493333333333333, + "grad_norm": 0.19022777676582336, + "learning_rate": 9.836296803124681e-05, + "loss": 3.349714660644531, + "step": 97140 + }, + { + "epoch": 0.025, + "grad_norm": 0.2115618735551834, + "learning_rate": 9.836016929601395e-05, + "loss": 3.3191879272460936, + "step": 97150 + }, + { + "epoch": 0.025066666666666668, + "grad_norm": 0.1767677515745163, + "learning_rate": 9.835736821029424e-05, + "loss": 3.280506134033203, + "step": 97160 + }, + { + "epoch": 0.025133333333333334, + "grad_norm": 0.17728517949581146, + "learning_rate": 9.83545647742238e-05, + "loss": 3.2797454833984374, + "step": 97170 + }, + { + "epoch": 0.0252, + "grad_norm": 0.1814766824245453, + "learning_rate": 9.835175898793891e-05, + "loss": 3.2685367584228517, + "step": 97180 + }, + { + "epoch": 0.025266666666666666, + "grad_norm": 0.18908093869686127, + "learning_rate": 9.834895085157593e-05, + "loss": 3.2472068786621096, + "step": 97190 + }, + { + "epoch": 0.025333333333333333, + "grad_norm": 0.2210550308227539, + "learning_rate": 9.834614036527135e-05, + "loss": 3.2720165252685547, + "step": 97200 + }, + { + "epoch": 0.0254, + "grad_norm": 0.19722270965576172, + "learning_rate": 9.834332752916177e-05, + "loss": 3.259355163574219, + "step": 97210 + }, + { + "epoch": 0.025466666666666665, + "grad_norm": 0.16931837797164917, + "learning_rate": 9.83405123433839e-05, + "loss": 3.2631553649902343, + "step": 97220 + }, + { + "epoch": 0.025533333333333335, + "grad_norm": 0.18998655676841736, + "learning_rate": 9.833769480807458e-05, + "loss": 3.263739013671875, + "step": 97230 + }, + { + "epoch": 0.0256, + "grad_norm": 0.19349588453769684, + "learning_rate": 9.833487492337074e-05, + "loss": 3.3015823364257812, + "step": 97240 + }, + { + "epoch": 0.025666666666666667, + "grad_norm": 0.18287824094295502, + "learning_rate": 9.833205268940946e-05, + "loss": 3.237411880493164, + "step": 97250 + }, + { + "epoch": 0.025733333333333334, + "grad_norm": 0.178482323884964, + "learning_rate": 9.832922810632788e-05, + "loss": 3.3037979125976564, + "step": 97260 + }, + { + "epoch": 0.0258, + "grad_norm": 0.18428294360637665, + "learning_rate": 9.832640117426329e-05, + "loss": 3.387994384765625, + "step": 97270 + }, + { + "epoch": 0.025866666666666666, + "grad_norm": 0.17614108324050903, + "learning_rate": 9.832357189335312e-05, + "loss": 3.272378158569336, + "step": 97280 + }, + { + "epoch": 0.025933333333333333, + "grad_norm": 0.17259962856769562, + "learning_rate": 9.832074026373485e-05, + "loss": 3.2859027862548826, + "step": 97290 + }, + { + "epoch": 0.026, + "grad_norm": 0.17983047664165497, + "learning_rate": 9.831790628554612e-05, + "loss": 3.2565536499023438, + "step": 97300 + }, + { + "epoch": 0.026066666666666665, + "grad_norm": 0.4274856746196747, + "learning_rate": 9.831506995892468e-05, + "loss": 3.314905548095703, + "step": 97310 + }, + { + "epoch": 0.026133333333333335, + "grad_norm": 0.18535709381103516, + "learning_rate": 9.831223128400839e-05, + "loss": 3.448250961303711, + "step": 97320 + }, + { + "epoch": 0.0262, + "grad_norm": 0.18264222145080566, + "learning_rate": 9.830939026093519e-05, + "loss": 3.2620162963867188, + "step": 97330 + }, + { + "epoch": 0.026266666666666667, + "grad_norm": 0.1973845511674881, + "learning_rate": 9.830654688984319e-05, + "loss": 3.342450714111328, + "step": 97340 + }, + { + "epoch": 0.026333333333333334, + "grad_norm": 0.1834082305431366, + "learning_rate": 9.830370117087058e-05, + "loss": 3.280224609375, + "step": 97350 + }, + { + "epoch": 0.0264, + "grad_norm": 0.3118092715740204, + "learning_rate": 9.830085310415568e-05, + "loss": 3.2928386688232423, + "step": 97360 + }, + { + "epoch": 0.026466666666666666, + "grad_norm": 0.17951811850070953, + "learning_rate": 9.82980026898369e-05, + "loss": 3.31390495300293, + "step": 97370 + }, + { + "epoch": 0.026533333333333332, + "grad_norm": 0.1795995682477951, + "learning_rate": 9.829514992805282e-05, + "loss": 3.2633735656738283, + "step": 97380 + }, + { + "epoch": 0.0266, + "grad_norm": 0.21821215748786926, + "learning_rate": 9.829229481894205e-05, + "loss": 3.306035614013672, + "step": 97390 + }, + { + "epoch": 0.02666666666666667, + "grad_norm": 0.16634097695350647, + "learning_rate": 9.828943736264338e-05, + "loss": 3.401674270629883, + "step": 97400 + }, + { + "epoch": 0.026733333333333335, + "grad_norm": 0.180075541138649, + "learning_rate": 9.828657755929568e-05, + "loss": 3.2222694396972655, + "step": 97410 + }, + { + "epoch": 0.0268, + "grad_norm": 0.2949139475822449, + "learning_rate": 9.828371540903795e-05, + "loss": 3.3412994384765624, + "step": 97420 + }, + { + "epoch": 0.026866666666666667, + "grad_norm": 0.1877976804971695, + "learning_rate": 9.828085091200934e-05, + "loss": 3.348612976074219, + "step": 97430 + }, + { + "epoch": 0.026933333333333333, + "grad_norm": 0.18689630925655365, + "learning_rate": 9.827798406834903e-05, + "loss": 3.2390911102294924, + "step": 97440 + }, + { + "epoch": 0.027, + "grad_norm": 0.17235687375068665, + "learning_rate": 9.827511487819637e-05, + "loss": 3.2734306335449217, + "step": 97450 + }, + { + "epoch": 0.027066666666666666, + "grad_norm": 0.1967061161994934, + "learning_rate": 9.827224334169082e-05, + "loss": 3.222152328491211, + "step": 97460 + }, + { + "epoch": 0.027133333333333332, + "grad_norm": 0.17321935296058655, + "learning_rate": 9.826936945897194e-05, + "loss": 3.2674915313720705, + "step": 97470 + }, + { + "epoch": 0.0272, + "grad_norm": 0.20779746770858765, + "learning_rate": 9.826649323017942e-05, + "loss": 3.376055145263672, + "step": 97480 + }, + { + "epoch": 0.027266666666666668, + "grad_norm": 0.16816017031669617, + "learning_rate": 9.826361465545304e-05, + "loss": 3.237366485595703, + "step": 97490 + }, + { + "epoch": 0.027333333333333334, + "grad_norm": 0.19941453635692596, + "learning_rate": 9.826073373493274e-05, + "loss": 3.257229232788086, + "step": 97500 + }, + { + "epoch": 0.0274, + "grad_norm": 0.1703978329896927, + "learning_rate": 9.825785046875853e-05, + "loss": 3.277573013305664, + "step": 97510 + }, + { + "epoch": 0.027466666666666667, + "grad_norm": 0.19833381474018097, + "learning_rate": 9.825496485707053e-05, + "loss": 3.347207260131836, + "step": 97520 + }, + { + "epoch": 0.027533333333333333, + "grad_norm": 0.17550747096538544, + "learning_rate": 9.825207690000899e-05, + "loss": 3.296492004394531, + "step": 97530 + }, + { + "epoch": 0.0276, + "grad_norm": 0.27345529198646545, + "learning_rate": 9.824918659771432e-05, + "loss": 3.2871162414550783, + "step": 97540 + }, + { + "epoch": 0.027666666666666666, + "grad_norm": 0.29795271158218384, + "learning_rate": 9.824629395032694e-05, + "loss": 3.295195388793945, + "step": 97550 + }, + { + "epoch": 0.027733333333333332, + "grad_norm": 0.183814138174057, + "learning_rate": 9.824339895798748e-05, + "loss": 3.553427886962891, + "step": 97560 + }, + { + "epoch": 0.0278, + "grad_norm": 0.17548970878124237, + "learning_rate": 9.824050162083666e-05, + "loss": 3.3051216125488283, + "step": 97570 + }, + { + "epoch": 0.027866666666666668, + "grad_norm": 0.16515232622623444, + "learning_rate": 9.823760193901526e-05, + "loss": 3.2436309814453126, + "step": 97580 + }, + { + "epoch": 0.027933333333333334, + "grad_norm": 0.2029179185628891, + "learning_rate": 9.823469991266425e-05, + "loss": 3.302735137939453, + "step": 97590 + }, + { + "epoch": 0.028, + "grad_norm": 0.17405098676681519, + "learning_rate": 9.823179554192467e-05, + "loss": 3.262088394165039, + "step": 97600 + }, + { + "epoch": 0.028066666666666667, + "grad_norm": 0.19372440874576569, + "learning_rate": 9.822888882693766e-05, + "loss": 3.2843780517578125, + "step": 97610 + }, + { + "epoch": 0.028133333333333333, + "grad_norm": 0.23452669382095337, + "learning_rate": 9.822597976784454e-05, + "loss": 3.2969493865966797, + "step": 97620 + }, + { + "epoch": 0.0282, + "grad_norm": 0.18343618512153625, + "learning_rate": 9.822306836478668e-05, + "loss": 3.319362258911133, + "step": 97630 + }, + { + "epoch": 0.028266666666666666, + "grad_norm": 0.17934341728687286, + "learning_rate": 9.822015461790557e-05, + "loss": 3.384661102294922, + "step": 97640 + }, + { + "epoch": 0.028333333333333332, + "grad_norm": 0.18613353371620178, + "learning_rate": 9.821723852734284e-05, + "loss": 3.2224586486816404, + "step": 97650 + }, + { + "epoch": 0.0284, + "grad_norm": 0.18379195034503937, + "learning_rate": 9.821432009324024e-05, + "loss": 3.3694995880126952, + "step": 97660 + }, + { + "epoch": 0.028466666666666668, + "grad_norm": 0.17349113523960114, + "learning_rate": 9.82113993157396e-05, + "loss": 3.2225875854492188, + "step": 97670 + }, + { + "epoch": 0.028533333333333334, + "grad_norm": 0.17406898736953735, + "learning_rate": 9.820847619498287e-05, + "loss": 3.254006576538086, + "step": 97680 + }, + { + "epoch": 0.0286, + "grad_norm": 0.17342984676361084, + "learning_rate": 9.820555073111215e-05, + "loss": 3.29078369140625, + "step": 97690 + }, + { + "epoch": 0.028666666666666667, + "grad_norm": 0.1848634034395218, + "learning_rate": 9.820262292426961e-05, + "loss": 3.331317138671875, + "step": 97700 + }, + { + "epoch": 0.028733333333333333, + "grad_norm": 0.20564039051532745, + "learning_rate": 9.819969277459758e-05, + "loss": 3.2730697631835937, + "step": 97710 + }, + { + "epoch": 0.0288, + "grad_norm": 0.1929074078798294, + "learning_rate": 9.819676028223843e-05, + "loss": 3.2990367889404295, + "step": 97720 + }, + { + "epoch": 0.028866666666666665, + "grad_norm": 0.16757896542549133, + "learning_rate": 9.819382544733473e-05, + "loss": 3.2539649963378907, + "step": 97730 + }, + { + "epoch": 0.028933333333333332, + "grad_norm": 0.1770271509885788, + "learning_rate": 9.819088827002911e-05, + "loss": 3.257424163818359, + "step": 97740 + }, + { + "epoch": 0.029, + "grad_norm": 0.171797513961792, + "learning_rate": 9.818794875046433e-05, + "loss": 3.252732849121094, + "step": 97750 + }, + { + "epoch": 0.029066666666666668, + "grad_norm": 0.18020294606685638, + "learning_rate": 9.818500688878325e-05, + "loss": 3.249001312255859, + "step": 97760 + }, + { + "epoch": 0.029133333333333334, + "grad_norm": 0.1717831939458847, + "learning_rate": 9.818206268512889e-05, + "loss": 3.240615463256836, + "step": 97770 + }, + { + "epoch": 0.0292, + "grad_norm": 0.1852504014968872, + "learning_rate": 9.81791161396443e-05, + "loss": 3.275537872314453, + "step": 97780 + }, + { + "epoch": 0.029266666666666667, + "grad_norm": 0.18798433244228363, + "learning_rate": 9.817616725247271e-05, + "loss": 3.279724884033203, + "step": 97790 + }, + { + "epoch": 0.029333333333333333, + "grad_norm": 0.170902818441391, + "learning_rate": 9.817321602375749e-05, + "loss": 3.2416305541992188, + "step": 97800 + }, + { + "epoch": 0.0294, + "grad_norm": 0.29535529017448425, + "learning_rate": 9.817026245364202e-05, + "loss": 3.2759784698486327, + "step": 97810 + }, + { + "epoch": 0.029466666666666665, + "grad_norm": 0.1640680432319641, + "learning_rate": 9.816730654226989e-05, + "loss": 3.2819137573242188, + "step": 97820 + }, + { + "epoch": 0.029533333333333335, + "grad_norm": 0.167726069688797, + "learning_rate": 9.816434828978475e-05, + "loss": 3.318017578125, + "step": 97830 + }, + { + "epoch": 0.0296, + "grad_norm": 0.17128388583660126, + "learning_rate": 9.816138769633041e-05, + "loss": 3.2910152435302735, + "step": 97840 + }, + { + "epoch": 0.029666666666666668, + "grad_norm": 0.16860997676849365, + "learning_rate": 9.815842476205073e-05, + "loss": 3.280717468261719, + "step": 97850 + }, + { + "epoch": 0.029733333333333334, + "grad_norm": 0.1708105504512787, + "learning_rate": 9.815545948708975e-05, + "loss": 3.270613098144531, + "step": 97860 + }, + { + "epoch": 0.0298, + "grad_norm": 0.206083744764328, + "learning_rate": 9.815249187159157e-05, + "loss": 3.245461273193359, + "step": 97870 + }, + { + "epoch": 0.029866666666666666, + "grad_norm": 0.5008456110954285, + "learning_rate": 9.814952191570043e-05, + "loss": 3.281878662109375, + "step": 97880 + }, + { + "epoch": 0.029933333333333333, + "grad_norm": 0.17353175580501556, + "learning_rate": 9.814654961956071e-05, + "loss": 3.2671180725097657, + "step": 97890 + }, + { + "epoch": 0.03, + "grad_norm": 0.17023390531539917, + "learning_rate": 9.814357498331686e-05, + "loss": 3.234853744506836, + "step": 97900 + }, + { + "epoch": 0.030066666666666665, + "grad_norm": 0.169632226228714, + "learning_rate": 9.814059800711342e-05, + "loss": 3.2465129852294923, + "step": 97910 + }, + { + "epoch": 0.030133333333333335, + "grad_norm": 0.1844622939825058, + "learning_rate": 9.813761869109514e-05, + "loss": 3.2994529724121096, + "step": 97920 + }, + { + "epoch": 0.0302, + "grad_norm": 0.1755056083202362, + "learning_rate": 9.81346370354068e-05, + "loss": 3.2644458770751954, + "step": 97930 + }, + { + "epoch": 0.030266666666666667, + "grad_norm": 0.1691884994506836, + "learning_rate": 9.813165304019332e-05, + "loss": 3.25904541015625, + "step": 97940 + }, + { + "epoch": 0.030333333333333334, + "grad_norm": 0.16703984141349792, + "learning_rate": 9.812866670559972e-05, + "loss": 3.2493362426757812, + "step": 97950 + }, + { + "epoch": 0.0304, + "grad_norm": 0.1741284281015396, + "learning_rate": 9.812567803177118e-05, + "loss": 3.2779766082763673, + "step": 97960 + }, + { + "epoch": 0.030466666666666666, + "grad_norm": 0.17830073833465576, + "learning_rate": 9.812268701885292e-05, + "loss": 3.2409645080566407, + "step": 97970 + }, + { + "epoch": 0.030533333333333332, + "grad_norm": 0.17422054708003998, + "learning_rate": 9.811969366699036e-05, + "loss": 3.2536251068115236, + "step": 97980 + }, + { + "epoch": 0.0306, + "grad_norm": 0.19274964928627014, + "learning_rate": 9.811669797632894e-05, + "loss": 3.2655517578125, + "step": 97990 + }, + { + "epoch": 0.030666666666666665, + "grad_norm": 0.17302416265010834, + "learning_rate": 9.811369994701432e-05, + "loss": 3.2253952026367188, + "step": 98000 + }, + { + "epoch": 0.030733333333333335, + "grad_norm": 0.4719087481498718, + "learning_rate": 9.811069957919215e-05, + "loss": 3.461981201171875, + "step": 98010 + }, + { + "epoch": 0.0308, + "grad_norm": 0.1768861711025238, + "learning_rate": 9.81076968730083e-05, + "loss": 3.2404296875, + "step": 98020 + }, + { + "epoch": 0.030866666666666667, + "grad_norm": 0.16990917921066284, + "learning_rate": 9.81046918286087e-05, + "loss": 3.241153335571289, + "step": 98030 + }, + { + "epoch": 0.030933333333333334, + "grad_norm": 0.19152289628982544, + "learning_rate": 9.810168444613943e-05, + "loss": 3.3589752197265623, + "step": 98040 + }, + { + "epoch": 0.031, + "grad_norm": 0.18609067797660828, + "learning_rate": 9.809867472574664e-05, + "loss": 3.257870101928711, + "step": 98050 + }, + { + "epoch": 0.031066666666666666, + "grad_norm": 0.17444655299186707, + "learning_rate": 9.809566266757659e-05, + "loss": 3.2758457183837892, + "step": 98060 + }, + { + "epoch": 0.031133333333333332, + "grad_norm": 0.17285019159317017, + "learning_rate": 9.809264827177573e-05, + "loss": 3.3304428100585937, + "step": 98070 + }, + { + "epoch": 0.0312, + "grad_norm": 0.18882529437541962, + "learning_rate": 9.808963153849053e-05, + "loss": 3.394305419921875, + "step": 98080 + }, + { + "epoch": 0.031266666666666665, + "grad_norm": 0.17193898558616638, + "learning_rate": 9.808661246786764e-05, + "loss": 3.2217021942138673, + "step": 98090 + }, + { + "epoch": 0.03133333333333333, + "grad_norm": 0.3053176701068878, + "learning_rate": 9.808359106005375e-05, + "loss": 3.2994102478027343, + "step": 98100 + }, + { + "epoch": 0.0314, + "grad_norm": 0.2545721232891083, + "learning_rate": 9.808056731519578e-05, + "loss": 3.4273590087890624, + "step": 98110 + }, + { + "epoch": 0.031466666666666664, + "grad_norm": 0.21139168739318848, + "learning_rate": 9.807754123344066e-05, + "loss": 3.3934867858886717, + "step": 98120 + }, + { + "epoch": 0.03153333333333333, + "grad_norm": 0.18390384316444397, + "learning_rate": 9.807451281493546e-05, + "loss": 3.2765480041503907, + "step": 98130 + }, + { + "epoch": 0.0316, + "grad_norm": 0.19271546602249146, + "learning_rate": 9.807148205982739e-05, + "loss": 3.2702873229980467, + "step": 98140 + }, + { + "epoch": 0.03166666666666667, + "grad_norm": 0.17550913989543915, + "learning_rate": 9.806844896826375e-05, + "loss": 3.2331939697265626, + "step": 98150 + }, + { + "epoch": 0.031733333333333336, + "grad_norm": 0.16754864156246185, + "learning_rate": 9.806541354039198e-05, + "loss": 3.255461883544922, + "step": 98160 + }, + { + "epoch": 0.0318, + "grad_norm": 0.18904612958431244, + "learning_rate": 9.806237577635957e-05, + "loss": 3.3160018920898438, + "step": 98170 + }, + { + "epoch": 0.03186666666666667, + "grad_norm": 0.1907319277524948, + "learning_rate": 9.80593356763142e-05, + "loss": 3.298981475830078, + "step": 98180 + }, + { + "epoch": 0.031933333333333334, + "grad_norm": 0.18088862299919128, + "learning_rate": 9.805629324040362e-05, + "loss": 3.391067123413086, + "step": 98190 + }, + { + "epoch": 0.032, + "grad_norm": 0.17617207765579224, + "learning_rate": 9.805324846877571e-05, + "loss": 3.275006103515625, + "step": 98200 + }, + { + "epoch": 0.03206666666666667, + "grad_norm": 0.18246592581272125, + "learning_rate": 9.805020136157845e-05, + "loss": 3.3093185424804688, + "step": 98210 + }, + { + "epoch": 0.03213333333333333, + "grad_norm": 0.18703772127628326, + "learning_rate": 9.804715191895993e-05, + "loss": 3.25781135559082, + "step": 98220 + }, + { + "epoch": 0.0322, + "grad_norm": 0.20908094942569733, + "learning_rate": 9.80441001410684e-05, + "loss": 3.3305374145507813, + "step": 98230 + }, + { + "epoch": 0.032266666666666666, + "grad_norm": 0.17210617661476135, + "learning_rate": 9.804104602805216e-05, + "loss": 3.357967758178711, + "step": 98240 + }, + { + "epoch": 0.03233333333333333, + "grad_norm": 0.21255500614643097, + "learning_rate": 9.803798958005964e-05, + "loss": 3.448545455932617, + "step": 98250 + }, + { + "epoch": 0.0324, + "grad_norm": 0.1681114137172699, + "learning_rate": 9.803493079723942e-05, + "loss": 3.2114273071289063, + "step": 98260 + }, + { + "epoch": 0.032466666666666665, + "grad_norm": 0.18503600358963013, + "learning_rate": 9.803186967974017e-05, + "loss": 3.2827198028564455, + "step": 98270 + }, + { + "epoch": 0.03253333333333333, + "grad_norm": 0.1767207384109497, + "learning_rate": 9.802880622771064e-05, + "loss": 3.2071170806884766, + "step": 98280 + }, + { + "epoch": 0.0326, + "grad_norm": 0.18326839804649353, + "learning_rate": 9.802574044129977e-05, + "loss": 3.250045394897461, + "step": 98290 + }, + { + "epoch": 0.03266666666666666, + "grad_norm": 0.2833355963230133, + "learning_rate": 9.802267232065654e-05, + "loss": 3.2193408966064454, + "step": 98300 + }, + { + "epoch": 0.032733333333333337, + "grad_norm": 0.16877010464668274, + "learning_rate": 9.801960186593008e-05, + "loss": 3.314044189453125, + "step": 98310 + }, + { + "epoch": 0.0328, + "grad_norm": 0.17521549761295319, + "learning_rate": 9.801652907726963e-05, + "loss": 3.2444175720214843, + "step": 98320 + }, + { + "epoch": 0.03286666666666667, + "grad_norm": 0.16487357020378113, + "learning_rate": 9.801345395482453e-05, + "loss": 3.2919239044189452, + "step": 98330 + }, + { + "epoch": 0.032933333333333335, + "grad_norm": 0.1780952364206314, + "learning_rate": 9.801037649874423e-05, + "loss": 3.2732372283935547, + "step": 98340 + }, + { + "epoch": 0.033, + "grad_norm": 0.17559459805488586, + "learning_rate": 9.800729670917834e-05, + "loss": 3.1832195281982423, + "step": 98350 + }, + { + "epoch": 0.03306666666666667, + "grad_norm": 0.17208252847194672, + "learning_rate": 9.800421458627652e-05, + "loss": 3.235249710083008, + "step": 98360 + }, + { + "epoch": 0.033133333333333334, + "grad_norm": 0.17462903261184692, + "learning_rate": 9.800113013018859e-05, + "loss": 3.3320262908935545, + "step": 98370 + }, + { + "epoch": 0.0332, + "grad_norm": 0.18300378322601318, + "learning_rate": 9.799804334106445e-05, + "loss": 3.308759307861328, + "step": 98380 + }, + { + "epoch": 0.03326666666666667, + "grad_norm": 0.19771522283554077, + "learning_rate": 9.799495421905415e-05, + "loss": 3.2756847381591796, + "step": 98390 + }, + { + "epoch": 0.03333333333333333, + "grad_norm": 0.17585442960262299, + "learning_rate": 9.799186276430784e-05, + "loss": 3.2883045196533205, + "step": 98400 + }, + { + "epoch": 0.0334, + "grad_norm": 0.206253781914711, + "learning_rate": 9.798876897697575e-05, + "loss": 3.290831756591797, + "step": 98410 + }, + { + "epoch": 0.033466666666666665, + "grad_norm": 0.16387739777565002, + "learning_rate": 9.798567285720824e-05, + "loss": 3.354664993286133, + "step": 98420 + }, + { + "epoch": 0.03353333333333333, + "grad_norm": 0.19100114703178406, + "learning_rate": 9.798257440515583e-05, + "loss": 3.122268486022949, + "step": 98430 + }, + { + "epoch": 0.0336, + "grad_norm": 0.17117644846439362, + "learning_rate": 9.797947362096908e-05, + "loss": 3.236927032470703, + "step": 98440 + }, + { + "epoch": 0.033666666666666664, + "grad_norm": 0.17490828037261963, + "learning_rate": 9.797637050479874e-05, + "loss": 3.240927886962891, + "step": 98450 + }, + { + "epoch": 0.03373333333333333, + "grad_norm": 0.16964900493621826, + "learning_rate": 9.797326505679561e-05, + "loss": 3.251250076293945, + "step": 98460 + }, + { + "epoch": 0.0338, + "grad_norm": 0.16967755556106567, + "learning_rate": 9.797015727711062e-05, + "loss": 3.238653564453125, + "step": 98470 + }, + { + "epoch": 0.03386666666666667, + "grad_norm": 0.1623520851135254, + "learning_rate": 9.796704716589483e-05, + "loss": 3.2489269256591795, + "step": 98480 + }, + { + "epoch": 0.033933333333333336, + "grad_norm": 0.20352095365524292, + "learning_rate": 9.79639347232994e-05, + "loss": 3.250835418701172, + "step": 98490 + }, + { + "epoch": 0.034, + "grad_norm": 0.3543427586555481, + "learning_rate": 9.796081994947562e-05, + "loss": 3.218608093261719, + "step": 98500 + }, + { + "epoch": 0.03406666666666667, + "grad_norm": 0.18736295402050018, + "learning_rate": 9.795770284457484e-05, + "loss": 3.247442626953125, + "step": 98510 + }, + { + "epoch": 0.034133333333333335, + "grad_norm": 0.19531603157520294, + "learning_rate": 9.795458340874862e-05, + "loss": 3.199906921386719, + "step": 98520 + }, + { + "epoch": 0.0342, + "grad_norm": 0.17216753959655762, + "learning_rate": 9.795146164214852e-05, + "loss": 3.2789901733398437, + "step": 98530 + }, + { + "epoch": 0.03426666666666667, + "grad_norm": 0.194754496216774, + "learning_rate": 9.794833754492631e-05, + "loss": 3.245064926147461, + "step": 98540 + }, + { + "epoch": 0.034333333333333334, + "grad_norm": 0.18367083370685577, + "learning_rate": 9.794521111723383e-05, + "loss": 3.2830333709716797, + "step": 98550 + }, + { + "epoch": 0.0344, + "grad_norm": 0.18726469576358795, + "learning_rate": 9.7942082359223e-05, + "loss": 3.25042724609375, + "step": 98560 + }, + { + "epoch": 0.034466666666666666, + "grad_norm": 0.2196962982416153, + "learning_rate": 9.793895127104593e-05, + "loss": 3.230865478515625, + "step": 98570 + }, + { + "epoch": 0.03453333333333333, + "grad_norm": 0.17977425456047058, + "learning_rate": 9.793581785285479e-05, + "loss": 3.307497024536133, + "step": 98580 + }, + { + "epoch": 0.0346, + "grad_norm": 0.16143395006656647, + "learning_rate": 9.793268210480188e-05, + "loss": 3.2704841613769533, + "step": 98590 + }, + { + "epoch": 0.034666666666666665, + "grad_norm": 0.16726738214492798, + "learning_rate": 9.79295440270396e-05, + "loss": 3.2557395935058593, + "step": 98600 + }, + { + "epoch": 0.03473333333333333, + "grad_norm": 0.16997326910495758, + "learning_rate": 9.792640361972046e-05, + "loss": 3.2679821014404298, + "step": 98610 + }, + { + "epoch": 0.0348, + "grad_norm": 0.16356004774570465, + "learning_rate": 9.792326088299712e-05, + "loss": 3.284455490112305, + "step": 98620 + }, + { + "epoch": 0.034866666666666664, + "grad_norm": 0.170103058218956, + "learning_rate": 9.792011581702232e-05, + "loss": 3.252399444580078, + "step": 98630 + }, + { + "epoch": 0.03493333333333333, + "grad_norm": 0.1742527335882187, + "learning_rate": 9.791696842194893e-05, + "loss": 3.2271186828613283, + "step": 98640 + }, + { + "epoch": 0.035, + "grad_norm": 0.6446268558502197, + "learning_rate": 9.791381869792991e-05, + "loss": 3.3293128967285157, + "step": 98650 + }, + { + "epoch": 0.03506666666666667, + "grad_norm": 39.17057418823242, + "learning_rate": 9.791066664511836e-05, + "loss": 3.686031723022461, + "step": 98660 + }, + { + "epoch": 0.035133333333333336, + "grad_norm": 0.17636185884475708, + "learning_rate": 9.790751226366748e-05, + "loss": 3.563568115234375, + "step": 98670 + }, + { + "epoch": 0.0352, + "grad_norm": 0.18186932802200317, + "learning_rate": 9.790435555373056e-05, + "loss": 3.3218921661376952, + "step": 98680 + }, + { + "epoch": 0.03526666666666667, + "grad_norm": 0.21274332702159882, + "learning_rate": 9.790119651546109e-05, + "loss": 3.2742443084716797, + "step": 98690 + }, + { + "epoch": 0.035333333333333335, + "grad_norm": 0.174941286444664, + "learning_rate": 9.789803514901253e-05, + "loss": 3.296372985839844, + "step": 98700 + }, + { + "epoch": 0.0354, + "grad_norm": 0.1739869862794876, + "learning_rate": 9.78948714545386e-05, + "loss": 3.2192203521728517, + "step": 98710 + }, + { + "epoch": 0.03546666666666667, + "grad_norm": 0.17834685742855072, + "learning_rate": 9.789170543219304e-05, + "loss": 3.2558483123779296, + "step": 98720 + }, + { + "epoch": 0.03553333333333333, + "grad_norm": 0.206222802400589, + "learning_rate": 9.788853708212973e-05, + "loss": 3.3721622467041015, + "step": 98730 + }, + { + "epoch": 0.0356, + "grad_norm": 0.17301476001739502, + "learning_rate": 9.788536640450266e-05, + "loss": 3.2472774505615236, + "step": 98740 + }, + { + "epoch": 0.035666666666666666, + "grad_norm": 0.45429491996765137, + "learning_rate": 9.788219339946597e-05, + "loss": 3.3903213500976563, + "step": 98750 + }, + { + "epoch": 0.03573333333333333, + "grad_norm": 0.1824956238269806, + "learning_rate": 9.787901806717382e-05, + "loss": 3.4000503540039064, + "step": 98760 + }, + { + "epoch": 0.0358, + "grad_norm": 0.18622639775276184, + "learning_rate": 9.787584040778059e-05, + "loss": 3.3709068298339844, + "step": 98770 + }, + { + "epoch": 0.035866666666666665, + "grad_norm": 0.23192453384399414, + "learning_rate": 9.787266042144073e-05, + "loss": 3.282719039916992, + "step": 98780 + }, + { + "epoch": 0.03593333333333333, + "grad_norm": 0.21189405024051666, + "learning_rate": 9.786947810830877e-05, + "loss": 3.2575965881347657, + "step": 98790 + }, + { + "epoch": 0.036, + "grad_norm": 0.16998529434204102, + "learning_rate": 9.78662934685394e-05, + "loss": 3.3001567840576174, + "step": 98800 + }, + { + "epoch": 0.036066666666666664, + "grad_norm": 0.1905965656042099, + "learning_rate": 9.78631065022874e-05, + "loss": 3.2835887908935546, + "step": 98810 + }, + { + "epoch": 0.03613333333333334, + "grad_norm": 0.1866782009601593, + "learning_rate": 9.785991720970768e-05, + "loss": 3.258963775634766, + "step": 98820 + }, + { + "epoch": 0.0362, + "grad_norm": 0.20994064211845398, + "learning_rate": 9.785672559095522e-05, + "loss": 3.290869140625, + "step": 98830 + }, + { + "epoch": 0.03626666666666667, + "grad_norm": 0.19615857303142548, + "learning_rate": 9.785353164618518e-05, + "loss": 3.3500701904296877, + "step": 98840 + }, + { + "epoch": 0.036333333333333336, + "grad_norm": 0.18557967245578766, + "learning_rate": 9.785033537555279e-05, + "loss": 3.2891918182373048, + "step": 98850 + }, + { + "epoch": 0.0364, + "grad_norm": 0.1871853917837143, + "learning_rate": 9.784713677921339e-05, + "loss": 3.2973468780517576, + "step": 98860 + }, + { + "epoch": 0.03646666666666667, + "grad_norm": 0.17302048206329346, + "learning_rate": 9.784393585732246e-05, + "loss": 3.4115058898925783, + "step": 98870 + }, + { + "epoch": 0.036533333333333334, + "grad_norm": 0.17155492305755615, + "learning_rate": 9.784073261003554e-05, + "loss": 3.232875442504883, + "step": 98880 + }, + { + "epoch": 0.0366, + "grad_norm": 0.17680023610591888, + "learning_rate": 9.783752703750835e-05, + "loss": 3.2858150482177733, + "step": 98890 + }, + { + "epoch": 0.03666666666666667, + "grad_norm": 0.38103726506233215, + "learning_rate": 9.783431913989672e-05, + "loss": 3.3151512145996094, + "step": 98900 + }, + { + "epoch": 0.03673333333333333, + "grad_norm": 0.17033500969409943, + "learning_rate": 9.783110891735649e-05, + "loss": 3.3134212493896484, + "step": 98910 + }, + { + "epoch": 0.0368, + "grad_norm": 0.32085010409355164, + "learning_rate": 9.782789637004377e-05, + "loss": 3.3363590240478516, + "step": 98920 + }, + { + "epoch": 0.036866666666666666, + "grad_norm": 0.1768287569284439, + "learning_rate": 9.782468149811465e-05, + "loss": 3.262644958496094, + "step": 98930 + }, + { + "epoch": 0.03693333333333333, + "grad_norm": 0.16690543293952942, + "learning_rate": 9.78214643017254e-05, + "loss": 3.265006256103516, + "step": 98940 + }, + { + "epoch": 0.037, + "grad_norm": 0.192119300365448, + "learning_rate": 9.781824478103239e-05, + "loss": 3.266382598876953, + "step": 98950 + }, + { + "epoch": 0.037066666666666664, + "grad_norm": 0.2594771683216095, + "learning_rate": 9.781502293619209e-05, + "loss": 3.2803314208984373, + "step": 98960 + }, + { + "epoch": 0.03713333333333333, + "grad_norm": 0.1708441972732544, + "learning_rate": 9.781179876736112e-05, + "loss": 3.240060043334961, + "step": 98970 + }, + { + "epoch": 0.0372, + "grad_norm": 0.17498089373111725, + "learning_rate": 9.780857227469615e-05, + "loss": 3.2860763549804686, + "step": 98980 + }, + { + "epoch": 0.03726666666666666, + "grad_norm": 0.2036733627319336, + "learning_rate": 9.780534345835403e-05, + "loss": 3.26831169128418, + "step": 98990 + }, + { + "epoch": 0.037333333333333336, + "grad_norm": 0.1790372133255005, + "learning_rate": 9.780211231849169e-05, + "loss": 3.275978851318359, + "step": 99000 + }, + { + "epoch": 0.0374, + "grad_norm": 0.17050567269325256, + "learning_rate": 9.779887885526615e-05, + "loss": 3.3000232696533205, + "step": 99010 + }, + { + "epoch": 0.03746666666666667, + "grad_norm": 0.16958197951316833, + "learning_rate": 9.77956430688346e-05, + "loss": 3.2716331481933594, + "step": 99020 + }, + { + "epoch": 0.037533333333333335, + "grad_norm": 0.16724438965320587, + "learning_rate": 9.77924049593543e-05, + "loss": 3.2675609588623047, + "step": 99030 + }, + { + "epoch": 0.0376, + "grad_norm": 0.40795180201530457, + "learning_rate": 9.778916452698262e-05, + "loss": 3.263105773925781, + "step": 99040 + }, + { + "epoch": 0.03766666666666667, + "grad_norm": 0.18080182373523712, + "learning_rate": 9.778592177187709e-05, + "loss": 3.2700611114501954, + "step": 99050 + }, + { + "epoch": 0.037733333333333334, + "grad_norm": 0.17046846449375153, + "learning_rate": 9.778267669419527e-05, + "loss": 3.2558292388916015, + "step": 99060 + }, + { + "epoch": 0.0378, + "grad_norm": 0.18747955560684204, + "learning_rate": 9.777942929409494e-05, + "loss": 2.492174530029297, + "step": 99070 + }, + { + "epoch": 0.037866666666666667, + "grad_norm": 0.1856488585472107, + "learning_rate": 9.777617957173389e-05, + "loss": 3.2958297729492188, + "step": 99080 + }, + { + "epoch": 0.03793333333333333, + "grad_norm": 0.37177687883377075, + "learning_rate": 9.77729275272701e-05, + "loss": 3.34619140625, + "step": 99090 + }, + { + "epoch": 0.038, + "grad_norm": 0.17065183818340302, + "learning_rate": 9.776967316086161e-05, + "loss": 3.271536636352539, + "step": 99100 + }, + { + "epoch": 0.038066666666666665, + "grad_norm": 0.17875687777996063, + "learning_rate": 9.77664164726666e-05, + "loss": 3.3070842742919924, + "step": 99110 + }, + { + "epoch": 0.03813333333333333, + "grad_norm": 0.18231187760829926, + "learning_rate": 9.776315746284337e-05, + "loss": 3.2656009674072264, + "step": 99120 + }, + { + "epoch": 0.0382, + "grad_norm": 0.17906862497329712, + "learning_rate": 9.77598961315503e-05, + "loss": 3.202284240722656, + "step": 99130 + }, + { + "epoch": 0.038266666666666664, + "grad_norm": 0.18302953243255615, + "learning_rate": 9.77566324789459e-05, + "loss": 3.3089393615722655, + "step": 99140 + }, + { + "epoch": 0.03833333333333333, + "grad_norm": 0.19927139580249786, + "learning_rate": 9.775336650518885e-05, + "loss": 3.269145965576172, + "step": 99150 + }, + { + "epoch": 0.0384, + "grad_norm": 0.16326425969600677, + "learning_rate": 9.775009821043782e-05, + "loss": 3.2830223083496093, + "step": 99160 + }, + { + "epoch": 0.03846666666666667, + "grad_norm": 0.16461174190044403, + "learning_rate": 9.77468275948517e-05, + "loss": 3.264435958862305, + "step": 99170 + }, + { + "epoch": 0.038533333333333336, + "grad_norm": 0.1599767953157425, + "learning_rate": 9.774355465858945e-05, + "loss": 3.2696392059326174, + "step": 99180 + }, + { + "epoch": 0.0386, + "grad_norm": 0.16991545259952545, + "learning_rate": 9.774027940181012e-05, + "loss": 3.2862030029296876, + "step": 99190 + }, + { + "epoch": 0.03866666666666667, + "grad_norm": 0.18080934882164001, + "learning_rate": 9.773700182467293e-05, + "loss": 3.2592262268066405, + "step": 99200 + }, + { + "epoch": 0.038733333333333335, + "grad_norm": 0.2046908438205719, + "learning_rate": 9.773372192733719e-05, + "loss": 3.2872055053710936, + "step": 99210 + }, + { + "epoch": 0.0388, + "grad_norm": 0.17246995866298676, + "learning_rate": 9.773043970996228e-05, + "loss": 3.258968734741211, + "step": 99220 + }, + { + "epoch": 0.03886666666666667, + "grad_norm": 0.19133548438549042, + "learning_rate": 9.772715517270777e-05, + "loss": 3.27637939453125, + "step": 99230 + }, + { + "epoch": 0.038933333333333334, + "grad_norm": 0.2158520221710205, + "learning_rate": 9.772386831573325e-05, + "loss": 3.2942764282226564, + "step": 99240 + }, + { + "epoch": 0.039, + "grad_norm": 0.21807768940925598, + "learning_rate": 9.77205791391985e-05, + "loss": 3.2854068756103514, + "step": 99250 + }, + { + "epoch": 0.039066666666666666, + "grad_norm": 0.16833236813545227, + "learning_rate": 9.771728764326342e-05, + "loss": 3.276194763183594, + "step": 99260 + }, + { + "epoch": 0.03913333333333333, + "grad_norm": 0.17520995438098907, + "learning_rate": 9.771399382808792e-05, + "loss": 3.261427307128906, + "step": 99270 + }, + { + "epoch": 0.0392, + "grad_norm": 0.17581094801425934, + "learning_rate": 9.771069769383215e-05, + "loss": 3.5046459197998048, + "step": 99280 + }, + { + "epoch": 0.039266666666666665, + "grad_norm": 0.18122568726539612, + "learning_rate": 9.77073992406563e-05, + "loss": 3.2565387725830077, + "step": 99290 + }, + { + "epoch": 0.03933333333333333, + "grad_norm": 0.37729185819625854, + "learning_rate": 9.770409846872066e-05, + "loss": 3.1957118988037108, + "step": 99300 + }, + { + "epoch": 0.0394, + "grad_norm": 0.17428770661354065, + "learning_rate": 9.770079537818571e-05, + "loss": 3.3543926239013673, + "step": 99310 + }, + { + "epoch": 0.039466666666666664, + "grad_norm": 0.17761975526809692, + "learning_rate": 9.769748996921193e-05, + "loss": 3.257668304443359, + "step": 99320 + }, + { + "epoch": 0.03953333333333333, + "grad_norm": 0.1800096035003662, + "learning_rate": 9.769418224196002e-05, + "loss": 3.300911712646484, + "step": 99330 + }, + { + "epoch": 0.0396, + "grad_norm": 0.2689484655857086, + "learning_rate": 9.769087219659076e-05, + "loss": 3.3651599884033203, + "step": 99340 + }, + { + "epoch": 0.03966666666666667, + "grad_norm": 0.17387427389621735, + "learning_rate": 9.768755983326498e-05, + "loss": 3.2739315032958984, + "step": 99350 + }, + { + "epoch": 0.039733333333333336, + "grad_norm": 0.17243529856204987, + "learning_rate": 9.768424515214371e-05, + "loss": 3.2814456939697267, + "step": 99360 + }, + { + "epoch": 0.0398, + "grad_norm": 0.20176899433135986, + "learning_rate": 9.768092815338805e-05, + "loss": 3.322185516357422, + "step": 99370 + }, + { + "epoch": 0.03986666666666667, + "grad_norm": 0.23582318425178528, + "learning_rate": 9.767760883715922e-05, + "loss": 3.261928176879883, + "step": 99380 + }, + { + "epoch": 0.039933333333333335, + "grad_norm": 0.19562694430351257, + "learning_rate": 9.767428720361854e-05, + "loss": 3.2505977630615233, + "step": 99390 + }, + { + "epoch": 0.04, + "grad_norm": 0.17756372690200806, + "learning_rate": 9.767096325292746e-05, + "loss": 3.2659202575683595, + "step": 99400 + }, + { + "epoch": 0.04006666666666667, + "grad_norm": 0.18170756101608276, + "learning_rate": 9.766763698524755e-05, + "loss": 3.3498966217041017, + "step": 99410 + }, + { + "epoch": 0.04013333333333333, + "grad_norm": 0.20219586789608002, + "learning_rate": 9.766430840074046e-05, + "loss": 3.3617340087890626, + "step": 99420 + }, + { + "epoch": 0.0402, + "grad_norm": 0.173574760556221, + "learning_rate": 9.766097749956797e-05, + "loss": 3.281106948852539, + "step": 99430 + }, + { + "epoch": 0.040266666666666666, + "grad_norm": 0.18152421712875366, + "learning_rate": 9.765764428189197e-05, + "loss": 3.259428787231445, + "step": 99440 + }, + { + "epoch": 0.04033333333333333, + "grad_norm": 0.46602529287338257, + "learning_rate": 9.765430874787451e-05, + "loss": 3.582122802734375, + "step": 99450 + }, + { + "epoch": 0.0404, + "grad_norm": 0.18315796554088593, + "learning_rate": 9.765097089767766e-05, + "loss": 3.236460876464844, + "step": 99460 + }, + { + "epoch": 0.040466666666666665, + "grad_norm": 0.17144827544689178, + "learning_rate": 9.764763073146368e-05, + "loss": 3.23839111328125, + "step": 99470 + }, + { + "epoch": 0.04053333333333333, + "grad_norm": 0.1747443825006485, + "learning_rate": 9.764428824939491e-05, + "loss": 3.3034347534179687, + "step": 99480 + }, + { + "epoch": 0.0406, + "grad_norm": 0.23577247560024261, + "learning_rate": 9.764094345163379e-05, + "loss": 3.244404602050781, + "step": 99490 + }, + { + "epoch": 0.04066666666666666, + "grad_norm": 0.17645429074764252, + "learning_rate": 9.763759633834292e-05, + "loss": 3.2939071655273438, + "step": 99500 + }, + { + "epoch": 0.04073333333333334, + "grad_norm": 0.17181840538978577, + "learning_rate": 9.763424690968495e-05, + "loss": 3.331418991088867, + "step": 99510 + }, + { + "epoch": 0.0408, + "grad_norm": 0.1802951693534851, + "learning_rate": 9.76308951658227e-05, + "loss": 3.2890907287597657, + "step": 99520 + }, + { + "epoch": 0.04086666666666667, + "grad_norm": 0.16721050441265106, + "learning_rate": 9.762754110691907e-05, + "loss": 3.3039627075195312, + "step": 99530 + }, + { + "epoch": 0.040933333333333335, + "grad_norm": 0.16665437817573547, + "learning_rate": 9.762418473313707e-05, + "loss": 3.2102699279785156, + "step": 99540 + }, + { + "epoch": 0.041, + "grad_norm": 0.1678561121225357, + "learning_rate": 9.762082604463985e-05, + "loss": 3.2288372039794924, + "step": 99550 + }, + { + "epoch": 0.04106666666666667, + "grad_norm": 0.1796877533197403, + "learning_rate": 9.761746504159064e-05, + "loss": 3.2023204803466796, + "step": 99560 + }, + { + "epoch": 0.041133333333333334, + "grad_norm": 0.1648438274860382, + "learning_rate": 9.76141017241528e-05, + "loss": 3.204525375366211, + "step": 99570 + }, + { + "epoch": 0.0412, + "grad_norm": 0.4592151939868927, + "learning_rate": 9.761073609248981e-05, + "loss": 3.1854263305664063, + "step": 99580 + }, + { + "epoch": 0.04126666666666667, + "grad_norm": 0.16881054639816284, + "learning_rate": 9.760736814676523e-05, + "loss": 3.236592483520508, + "step": 99590 + }, + { + "epoch": 0.04133333333333333, + "grad_norm": 0.1697424054145813, + "learning_rate": 9.760399788714278e-05, + "loss": 3.233546829223633, + "step": 99600 + }, + { + "epoch": 0.0414, + "grad_norm": 0.18367229402065277, + "learning_rate": 9.760062531378625e-05, + "loss": 3.25952262878418, + "step": 99610 + }, + { + "epoch": 0.041466666666666666, + "grad_norm": 0.2113817036151886, + "learning_rate": 9.759725042685958e-05, + "loss": 3.2461711883544924, + "step": 99620 + }, + { + "epoch": 0.04153333333333333, + "grad_norm": 0.1876205950975418, + "learning_rate": 9.759387322652677e-05, + "loss": 3.260803985595703, + "step": 99630 + }, + { + "epoch": 0.0416, + "grad_norm": 0.16451717913150787, + "learning_rate": 9.7590493712952e-05, + "loss": 3.2632675170898438, + "step": 99640 + }, + { + "epoch": 0.041666666666666664, + "grad_norm": 0.17195391654968262, + "learning_rate": 9.758711188629951e-05, + "loss": 3.2317779541015623, + "step": 99650 + }, + { + "epoch": 0.04173333333333333, + "grad_norm": 0.19363416731357574, + "learning_rate": 9.758372774673367e-05, + "loss": 3.266101837158203, + "step": 99660 + }, + { + "epoch": 0.0418, + "grad_norm": 0.18696393072605133, + "learning_rate": 9.758034129441895e-05, + "loss": 3.2055355072021485, + "step": 99670 + }, + { + "epoch": 0.04186666666666667, + "grad_norm": 0.2829519808292389, + "learning_rate": 9.757695252951997e-05, + "loss": 3.2289234161376954, + "step": 99680 + }, + { + "epoch": 0.041933333333333336, + "grad_norm": 0.23116949200630188, + "learning_rate": 9.757356145220142e-05, + "loss": 3.340327835083008, + "step": 99690 + }, + { + "epoch": 0.042, + "grad_norm": 0.20912596583366394, + "learning_rate": 9.757016806262813e-05, + "loss": 3.270182418823242, + "step": 99700 + }, + { + "epoch": 0.04206666666666667, + "grad_norm": 0.16806575655937195, + "learning_rate": 9.756677236096503e-05, + "loss": 3.2224605560302733, + "step": 99710 + }, + { + "epoch": 0.042133333333333335, + "grad_norm": 0.1748146116733551, + "learning_rate": 9.756337434737714e-05, + "loss": 3.277997589111328, + "step": 99720 + }, + { + "epoch": 0.0422, + "grad_norm": 0.1781592220067978, + "learning_rate": 9.755997402202965e-05, + "loss": 3.2377883911132814, + "step": 99730 + }, + { + "epoch": 0.04226666666666667, + "grad_norm": 0.43603914976119995, + "learning_rate": 9.75565713850878e-05, + "loss": 3.193558120727539, + "step": 99740 + }, + { + "epoch": 0.042333333333333334, + "grad_norm": 0.16676469147205353, + "learning_rate": 9.7553166436717e-05, + "loss": 3.348210906982422, + "step": 99750 + }, + { + "epoch": 0.0424, + "grad_norm": 0.1849627047777176, + "learning_rate": 9.754975917708271e-05, + "loss": 3.2667266845703127, + "step": 99760 + }, + { + "epoch": 0.042466666666666666, + "grad_norm": 0.1689651608467102, + "learning_rate": 9.754634960635056e-05, + "loss": 3.2673431396484376, + "step": 99770 + }, + { + "epoch": 0.04253333333333333, + "grad_norm": 0.34374114871025085, + "learning_rate": 9.754293772468625e-05, + "loss": 3.2869503021240236, + "step": 99780 + }, + { + "epoch": 0.0426, + "grad_norm": 0.16213937103748322, + "learning_rate": 9.753952353225564e-05, + "loss": 3.261628341674805, + "step": 99790 + }, + { + "epoch": 0.042666666666666665, + "grad_norm": 0.17647138237953186, + "learning_rate": 9.753610702922464e-05, + "loss": 3.253116226196289, + "step": 99800 + }, + { + "epoch": 0.04273333333333333, + "grad_norm": 0.17458292841911316, + "learning_rate": 9.753268821575934e-05, + "loss": 3.2459312438964845, + "step": 99810 + }, + { + "epoch": 0.0428, + "grad_norm": 0.16234970092773438, + "learning_rate": 9.752926709202587e-05, + "loss": 3.2676132202148436, + "step": 99820 + }, + { + "epoch": 0.042866666666666664, + "grad_norm": 0.2799971401691437, + "learning_rate": 9.752584365819053e-05, + "loss": 3.2842002868652345, + "step": 99830 + }, + { + "epoch": 0.04293333333333333, + "grad_norm": 0.16802313923835754, + "learning_rate": 9.752241791441971e-05, + "loss": 3.2360206604003907, + "step": 99840 + }, + { + "epoch": 0.043, + "grad_norm": 0.16575074195861816, + "learning_rate": 9.75189898608799e-05, + "loss": 3.2572872161865236, + "step": 99850 + }, + { + "epoch": 0.04306666666666667, + "grad_norm": 0.17482468485832214, + "learning_rate": 9.751555949773774e-05, + "loss": 3.2629169464111327, + "step": 99860 + }, + { + "epoch": 0.043133333333333336, + "grad_norm": 0.1744375228881836, + "learning_rate": 9.751212682515995e-05, + "loss": 3.2167633056640623, + "step": 99870 + }, + { + "epoch": 0.0432, + "grad_norm": 0.17468464374542236, + "learning_rate": 9.750869184331335e-05, + "loss": 3.21236572265625, + "step": 99880 + }, + { + "epoch": 0.04326666666666667, + "grad_norm": 0.17059925198554993, + "learning_rate": 9.750525455236494e-05, + "loss": 3.2321098327636717, + "step": 99890 + }, + { + "epoch": 0.043333333333333335, + "grad_norm": 0.1903623640537262, + "learning_rate": 9.750181495248175e-05, + "loss": 3.2370677947998048, + "step": 99900 + }, + { + "epoch": 0.0434, + "grad_norm": 0.16766853630542755, + "learning_rate": 9.749837304383094e-05, + "loss": 3.2650516510009764, + "step": 99910 + }, + { + "epoch": 0.04346666666666667, + "grad_norm": 0.16507568955421448, + "learning_rate": 9.749492882657983e-05, + "loss": 3.264362335205078, + "step": 99920 + }, + { + "epoch": 0.043533333333333334, + "grad_norm": 0.19429533183574677, + "learning_rate": 9.749148230089583e-05, + "loss": 3.317825698852539, + "step": 99930 + }, + { + "epoch": 0.0436, + "grad_norm": 0.19032670557498932, + "learning_rate": 9.748803346694644e-05, + "loss": 3.4290695190429688, + "step": 99940 + }, + { + "epoch": 0.043666666666666666, + "grad_norm": 0.18829722702503204, + "learning_rate": 9.748458232489928e-05, + "loss": 3.343060302734375, + "step": 99950 + }, + { + "epoch": 0.04373333333333333, + "grad_norm": 0.18566939234733582, + "learning_rate": 9.748112887492208e-05, + "loss": 3.270854187011719, + "step": 99960 + }, + { + "epoch": 0.0438, + "grad_norm": 0.16044573485851288, + "learning_rate": 9.747767311718272e-05, + "loss": 3.249951171875, + "step": 99970 + }, + { + "epoch": 0.043866666666666665, + "grad_norm": 0.1625891923904419, + "learning_rate": 9.747421505184915e-05, + "loss": 3.2683483123779298, + "step": 99980 + }, + { + "epoch": 0.04393333333333333, + "grad_norm": 0.210659459233284, + "learning_rate": 9.747075467908944e-05, + "loss": 3.286579132080078, + "step": 99990 + }, + { + "epoch": 0.044, + "grad_norm": 0.17784704267978668, + "learning_rate": 9.746729199907178e-05, + "loss": 3.227275085449219, + "step": 100000 + }, + { + "epoch": 0.044066666666666664, + "grad_norm": 0.17326194047927856, + "learning_rate": 9.746382701196446e-05, + "loss": 3.2510120391845705, + "step": 100010 + }, + { + "epoch": 0.04413333333333333, + "grad_norm": 0.173588827252388, + "learning_rate": 9.746035971793592e-05, + "loss": 3.252346420288086, + "step": 100020 + }, + { + "epoch": 0.0442, + "grad_norm": 0.2209218591451645, + "learning_rate": 9.745689011715464e-05, + "loss": 3.2083999633789064, + "step": 100030 + }, + { + "epoch": 0.04426666666666667, + "grad_norm": 0.19557464122772217, + "learning_rate": 9.74534182097893e-05, + "loss": 3.236980438232422, + "step": 100040 + }, + { + "epoch": 0.044333333333333336, + "grad_norm": 0.19175727665424347, + "learning_rate": 9.744994399600864e-05, + "loss": 3.2428119659423826, + "step": 100050 + }, + { + "epoch": 0.0444, + "grad_norm": 0.18612034618854523, + "learning_rate": 9.744646747598147e-05, + "loss": 3.28837890625, + "step": 100060 + }, + { + "epoch": 0.04446666666666667, + "grad_norm": 0.18100059032440186, + "learning_rate": 9.744298864987683e-05, + "loss": 3.2364360809326174, + "step": 100070 + }, + { + "epoch": 0.044533333333333334, + "grad_norm": 0.17977707087993622, + "learning_rate": 9.743950751786377e-05, + "loss": 3.2039112091064452, + "step": 100080 + }, + { + "epoch": 0.0446, + "grad_norm": 0.17866435647010803, + "learning_rate": 9.743602408011147e-05, + "loss": 3.444222640991211, + "step": 100090 + }, + { + "epoch": 0.04466666666666667, + "grad_norm": 0.2022806704044342, + "learning_rate": 9.743253833678929e-05, + "loss": 3.259210968017578, + "step": 100100 + }, + { + "epoch": 0.04473333333333333, + "grad_norm": 0.23468388617038727, + "learning_rate": 9.74290502880666e-05, + "loss": 3.214277648925781, + "step": 100110 + }, + { + "epoch": 0.0448, + "grad_norm": 0.17649275064468384, + "learning_rate": 9.742555993411295e-05, + "loss": 3.2550308227539064, + "step": 100120 + }, + { + "epoch": 0.044866666666666666, + "grad_norm": 0.18012292683124542, + "learning_rate": 9.7422067275098e-05, + "loss": 3.214178466796875, + "step": 100130 + }, + { + "epoch": 0.04493333333333333, + "grad_norm": 0.2089584618806839, + "learning_rate": 9.741857231119147e-05, + "loss": 3.2358047485351564, + "step": 100140 + }, + { + "epoch": 0.045, + "grad_norm": 0.1649649739265442, + "learning_rate": 9.741507504256327e-05, + "loss": 3.2616172790527345, + "step": 100150 + }, + { + "epoch": 0.045066666666666665, + "grad_norm": 0.1696656495332718, + "learning_rate": 9.741157546938335e-05, + "loss": 3.2541908264160155, + "step": 100160 + }, + { + "epoch": 0.04513333333333333, + "grad_norm": 0.18755105137825012, + "learning_rate": 9.740807359182182e-05, + "loss": 3.301200103759766, + "step": 100170 + }, + { + "epoch": 0.0452, + "grad_norm": 0.2777382731437683, + "learning_rate": 9.740456941004887e-05, + "loss": 3.366476821899414, + "step": 100180 + }, + { + "epoch": 0.04526666666666666, + "grad_norm": 0.1732138842344284, + "learning_rate": 9.740106292423483e-05, + "loss": 3.288824462890625, + "step": 100190 + }, + { + "epoch": 0.04533333333333334, + "grad_norm": 0.16762831807136536, + "learning_rate": 9.739755413455014e-05, + "loss": 3.2529232025146486, + "step": 100200 + }, + { + "epoch": 0.0454, + "grad_norm": 0.16537219285964966, + "learning_rate": 9.73940430411653e-05, + "loss": 3.2340934753417967, + "step": 100210 + }, + { + "epoch": 0.04546666666666667, + "grad_norm": 0.18646173179149628, + "learning_rate": 9.7390529644251e-05, + "loss": 3.095489501953125, + "step": 100220 + }, + { + "epoch": 0.045533333333333335, + "grad_norm": 0.17346185445785522, + "learning_rate": 9.738701394397798e-05, + "loss": 3.239269256591797, + "step": 100230 + }, + { + "epoch": 0.0456, + "grad_norm": 0.16320770978927612, + "learning_rate": 9.738349594051713e-05, + "loss": 3.2312763214111326, + "step": 100240 + }, + { + "epoch": 0.04566666666666667, + "grad_norm": 0.17098039388656616, + "learning_rate": 9.737997563403942e-05, + "loss": 3.1936264038085938, + "step": 100250 + }, + { + "epoch": 0.045733333333333334, + "grad_norm": 0.1744081825017929, + "learning_rate": 9.737645302471598e-05, + "loss": 3.253727340698242, + "step": 100260 + }, + { + "epoch": 0.0458, + "grad_norm": 0.18343950808048248, + "learning_rate": 9.7372928112718e-05, + "loss": 3.2888790130615235, + "step": 100270 + }, + { + "epoch": 0.04586666666666667, + "grad_norm": 0.17684629559516907, + "learning_rate": 9.736940089821683e-05, + "loss": 3.2346927642822267, + "step": 100280 + }, + { + "epoch": 0.04593333333333333, + "grad_norm": 0.1694410890340805, + "learning_rate": 9.736587138138385e-05, + "loss": 3.2437889099121096, + "step": 100290 + }, + { + "epoch": 0.046, + "grad_norm": 0.18479949235916138, + "learning_rate": 9.736233956239066e-05, + "loss": 3.1903690338134765, + "step": 100300 + }, + { + "epoch": 0.046066666666666665, + "grad_norm": 0.36388933658599854, + "learning_rate": 9.735880544140892e-05, + "loss": 3.2773040771484374, + "step": 100310 + }, + { + "epoch": 0.04613333333333333, + "grad_norm": 0.16732707619667053, + "learning_rate": 9.735526901861039e-05, + "loss": 3.268058013916016, + "step": 100320 + }, + { + "epoch": 0.0462, + "grad_norm": 0.18101342022418976, + "learning_rate": 9.735173029416693e-05, + "loss": 3.191784477233887, + "step": 100330 + }, + { + "epoch": 0.046266666666666664, + "grad_norm": 0.1844644844532013, + "learning_rate": 9.734818926825056e-05, + "loss": 3.3311500549316406, + "step": 100340 + }, + { + "epoch": 0.04633333333333333, + "grad_norm": 0.18926607072353363, + "learning_rate": 9.734464594103339e-05, + "loss": 3.243130111694336, + "step": 100350 + }, + { + "epoch": 0.0464, + "grad_norm": 0.16663214564323425, + "learning_rate": 9.734110031268762e-05, + "loss": 3.35665283203125, + "step": 100360 + }, + { + "epoch": 0.04646666666666667, + "grad_norm": 0.1635369062423706, + "learning_rate": 9.73375523833856e-05, + "loss": 3.1971694946289064, + "step": 100370 + }, + { + "epoch": 0.046533333333333336, + "grad_norm": 0.21710477769374847, + "learning_rate": 9.733400215329976e-05, + "loss": 3.2353153228759766, + "step": 100380 + }, + { + "epoch": 0.0466, + "grad_norm": 0.17518316209316254, + "learning_rate": 9.733044962260265e-05, + "loss": 3.2419132232666015, + "step": 100390 + }, + { + "epoch": 0.04666666666666667, + "grad_norm": 0.1625450849533081, + "learning_rate": 9.732689479146696e-05, + "loss": 3.3175453186035155, + "step": 100400 + }, + { + "epoch": 0.046733333333333335, + "grad_norm": 0.19838422536849976, + "learning_rate": 9.732333766006545e-05, + "loss": 3.2418182373046873, + "step": 100410 + }, + { + "epoch": 0.0468, + "grad_norm": 0.1820768564939499, + "learning_rate": 9.731977822857102e-05, + "loss": 5.045563507080078, + "step": 100420 + }, + { + "epoch": 0.04686666666666667, + "grad_norm": 0.3655942380428314, + "learning_rate": 9.731621649715666e-05, + "loss": 3.2673007965087892, + "step": 100430 + }, + { + "epoch": 0.046933333333333334, + "grad_norm": 0.2277475893497467, + "learning_rate": 9.731265246599549e-05, + "loss": 3.2639930725097654, + "step": 100440 + }, + { + "epoch": 0.047, + "grad_norm": 0.2001921534538269, + "learning_rate": 9.730908613526073e-05, + "loss": 3.2425689697265625, + "step": 100450 + }, + { + "epoch": 0.047066666666666666, + "grad_norm": 0.18659310042858124, + "learning_rate": 9.730551750512574e-05, + "loss": 3.2491523742675783, + "step": 100460 + }, + { + "epoch": 0.04713333333333333, + "grad_norm": 0.18120050430297852, + "learning_rate": 9.730194657576393e-05, + "loss": 3.2712722778320313, + "step": 100470 + }, + { + "epoch": 0.0472, + "grad_norm": 0.18712274730205536, + "learning_rate": 9.729837334734889e-05, + "loss": 3.28845329284668, + "step": 100480 + }, + { + "epoch": 0.047266666666666665, + "grad_norm": 0.16832387447357178, + "learning_rate": 9.729479782005428e-05, + "loss": 3.3874107360839845, + "step": 100490 + }, + { + "epoch": 0.04733333333333333, + "grad_norm": 0.17728784680366516, + "learning_rate": 9.729121999405391e-05, + "loss": 3.2644824981689453, + "step": 100500 + }, + { + "epoch": 0.0474, + "grad_norm": 0.49637213349342346, + "learning_rate": 9.728763986952163e-05, + "loss": 3.255586624145508, + "step": 100510 + }, + { + "epoch": 0.047466666666666664, + "grad_norm": 0.17846249043941498, + "learning_rate": 9.728405744663148e-05, + "loss": 3.2512466430664064, + "step": 100520 + }, + { + "epoch": 0.04753333333333333, + "grad_norm": 0.17990051209926605, + "learning_rate": 9.728047272555756e-05, + "loss": 3.1777597427368165, + "step": 100530 + }, + { + "epoch": 0.0476, + "grad_norm": 0.16719374060630798, + "learning_rate": 9.727688570647413e-05, + "loss": 3.2359241485595702, + "step": 100540 + }, + { + "epoch": 0.04766666666666667, + "grad_norm": 0.21326115727424622, + "learning_rate": 9.72732963895555e-05, + "loss": 3.3037132263183593, + "step": 100550 + }, + { + "epoch": 0.047733333333333336, + "grad_norm": 0.1717277318239212, + "learning_rate": 9.726970477497614e-05, + "loss": 3.2936733245849608, + "step": 100560 + }, + { + "epoch": 0.0478, + "grad_norm": 0.18216215074062347, + "learning_rate": 9.726611086291062e-05, + "loss": 3.230145263671875, + "step": 100570 + }, + { + "epoch": 0.04786666666666667, + "grad_norm": 0.17716021835803986, + "learning_rate": 9.726251465353362e-05, + "loss": 3.2520473480224608, + "step": 100580 + }, + { + "epoch": 0.047933333333333335, + "grad_norm": 0.1702684462070465, + "learning_rate": 9.725891614701992e-05, + "loss": 3.2541370391845703, + "step": 100590 + }, + { + "epoch": 0.048, + "grad_norm": 0.25317829847335815, + "learning_rate": 9.725531534354441e-05, + "loss": 3.2427837371826174, + "step": 100600 + }, + { + "epoch": 0.04806666666666667, + "grad_norm": 0.1869828701019287, + "learning_rate": 9.725171224328213e-05, + "loss": 3.2990947723388673, + "step": 100610 + }, + { + "epoch": 0.048133333333333334, + "grad_norm": 0.18753278255462646, + "learning_rate": 9.724810684640817e-05, + "loss": 3.2910697937011717, + "step": 100620 + }, + { + "epoch": 0.0482, + "grad_norm": 0.1796412318944931, + "learning_rate": 9.72444991530978e-05, + "loss": 3.2238922119140625, + "step": 100630 + }, + { + "epoch": 0.048266666666666666, + "grad_norm": 0.18071790039539337, + "learning_rate": 9.724088916352636e-05, + "loss": 3.231690216064453, + "step": 100640 + }, + { + "epoch": 0.04833333333333333, + "grad_norm": 0.17613571882247925, + "learning_rate": 9.723727687786928e-05, + "loss": 3.2403644561767577, + "step": 100650 + }, + { + "epoch": 0.0484, + "grad_norm": 0.16886188089847565, + "learning_rate": 9.723366229630217e-05, + "loss": 3.2123882293701174, + "step": 100660 + }, + { + "epoch": 0.048466666666666665, + "grad_norm": 0.18618978559970856, + "learning_rate": 9.723004541900069e-05, + "loss": 3.2538532257080077, + "step": 100670 + }, + { + "epoch": 0.04853333333333333, + "grad_norm": 0.17959484457969666, + "learning_rate": 9.722642624614064e-05, + "loss": 3.2157005310058593, + "step": 100680 + }, + { + "epoch": 0.0486, + "grad_norm": 0.1800541877746582, + "learning_rate": 9.722280477789794e-05, + "loss": 3.260449981689453, + "step": 100690 + }, + { + "epoch": 0.048666666666666664, + "grad_norm": 3.0451643466949463, + "learning_rate": 9.721918101444858e-05, + "loss": 3.246641159057617, + "step": 100700 + }, + { + "epoch": 0.04873333333333333, + "grad_norm": 0.16949760913848877, + "learning_rate": 9.721555495596871e-05, + "loss": 3.2330780029296875, + "step": 100710 + }, + { + "epoch": 0.0488, + "grad_norm": 0.1696138083934784, + "learning_rate": 9.721192660263453e-05, + "loss": 3.282796859741211, + "step": 100720 + }, + { + "epoch": 0.04886666666666667, + "grad_norm": 0.16433709859848022, + "learning_rate": 9.720829595462246e-05, + "loss": 3.2538421630859373, + "step": 100730 + }, + { + "epoch": 0.048933333333333336, + "grad_norm": 0.1929733157157898, + "learning_rate": 9.72046630121089e-05, + "loss": 3.266448974609375, + "step": 100740 + }, + { + "epoch": 0.049, + "grad_norm": 0.18170368671417236, + "learning_rate": 9.720102777527045e-05, + "loss": 3.269723892211914, + "step": 100750 + }, + { + "epoch": 0.04906666666666667, + "grad_norm": 0.17166274785995483, + "learning_rate": 9.719739024428381e-05, + "loss": 3.255804443359375, + "step": 100760 + }, + { + "epoch": 0.049133333333333334, + "grad_norm": 0.17147284746170044, + "learning_rate": 9.719375041932576e-05, + "loss": 3.2507091522216798, + "step": 100770 + }, + { + "epoch": 0.0492, + "grad_norm": 0.20554719865322113, + "learning_rate": 9.719010830057322e-05, + "loss": 3.4022476196289064, + "step": 100780 + }, + { + "epoch": 0.04926666666666667, + "grad_norm": 0.17488698661327362, + "learning_rate": 9.718646388820319e-05, + "loss": 3.2463447570800783, + "step": 100790 + }, + { + "epoch": 0.04933333333333333, + "grad_norm": 0.1841973513364792, + "learning_rate": 9.718281718239282e-05, + "loss": 3.1913856506347655, + "step": 100800 + }, + { + "epoch": 0.0494, + "grad_norm": 0.17168879508972168, + "learning_rate": 9.717916818331936e-05, + "loss": 3.2740707397460938, + "step": 100810 + }, + { + "epoch": 0.049466666666666666, + "grad_norm": 0.18385016918182373, + "learning_rate": 9.717551689116014e-05, + "loss": 3.268369674682617, + "step": 100820 + }, + { + "epoch": 0.04953333333333333, + "grad_norm": 0.19007685780525208, + "learning_rate": 9.717186330609265e-05, + "loss": 3.249618911743164, + "step": 100830 + }, + { + "epoch": 0.0496, + "grad_norm": 0.18558527529239655, + "learning_rate": 9.716820742829447e-05, + "loss": 3.2350353240966796, + "step": 100840 + }, + { + "epoch": 0.049666666666666665, + "grad_norm": 0.17044320702552795, + "learning_rate": 9.716454925794327e-05, + "loss": 3.2572227478027345, + "step": 100850 + }, + { + "epoch": 0.04973333333333333, + "grad_norm": 0.22121264040470123, + "learning_rate": 9.716088879521685e-05, + "loss": 3.352275848388672, + "step": 100860 + }, + { + "epoch": 0.0498, + "grad_norm": 0.1783478856086731, + "learning_rate": 9.715722604029314e-05, + "loss": 3.2061817169189455, + "step": 100870 + }, + { + "epoch": 0.04986666666666666, + "grad_norm": 0.18043653666973114, + "learning_rate": 9.715356099335016e-05, + "loss": 3.230840301513672, + "step": 100880 + }, + { + "epoch": 0.049933333333333337, + "grad_norm": 0.19200439751148224, + "learning_rate": 9.714989365456604e-05, + "loss": 3.2903774261474608, + "step": 100890 + }, + { + "epoch": 0.05, + "grad_norm": 0.19525620341300964, + "learning_rate": 9.714622402411903e-05, + "loss": 3.2501644134521483, + "step": 100900 + }, + { + "epoch": 0.05006666666666667, + "grad_norm": 0.2670818567276001, + "learning_rate": 9.714255210218748e-05, + "loss": 3.2445327758789064, + "step": 100910 + }, + { + "epoch": 0.050133333333333335, + "grad_norm": 0.19018088281154633, + "learning_rate": 9.713887788894987e-05, + "loss": 3.2185317993164064, + "step": 100920 + }, + { + "epoch": 0.0502, + "grad_norm": 0.18189364671707153, + "learning_rate": 9.713520138458477e-05, + "loss": 3.251995086669922, + "step": 100930 + }, + { + "epoch": 0.05026666666666667, + "grad_norm": 0.26275065541267395, + "learning_rate": 9.713152258927089e-05, + "loss": 3.1684595108032227, + "step": 100940 + }, + { + "epoch": 0.050333333333333334, + "grad_norm": 0.19487230479717255, + "learning_rate": 9.712784150318702e-05, + "loss": 3.245907211303711, + "step": 100950 + }, + { + "epoch": 0.0504, + "grad_norm": 0.16297248005867004, + "learning_rate": 9.712415812651206e-05, + "loss": 3.2712738037109377, + "step": 100960 + }, + { + "epoch": 0.05046666666666667, + "grad_norm": 0.17554925382137299, + "learning_rate": 9.712047245942506e-05, + "loss": 3.2644153594970704, + "step": 100970 + }, + { + "epoch": 0.05053333333333333, + "grad_norm": 0.18037468194961548, + "learning_rate": 9.711678450210515e-05, + "loss": 3.2062942504882814, + "step": 100980 + }, + { + "epoch": 0.0506, + "grad_norm": 0.17063309252262115, + "learning_rate": 9.711309425473156e-05, + "loss": 3.216103744506836, + "step": 100990 + }, + { + "epoch": 0.050666666666666665, + "grad_norm": 0.16736678779125214, + "learning_rate": 9.710940171748368e-05, + "loss": 3.2728240966796873, + "step": 101000 + }, + { + "epoch": 0.05073333333333333, + "grad_norm": 0.21101097762584686, + "learning_rate": 9.710570689054099e-05, + "loss": 3.2293277740478517, + "step": 101010 + }, + { + "epoch": 0.0508, + "grad_norm": 0.17549656331539154, + "learning_rate": 9.710200977408304e-05, + "loss": 3.2780311584472654, + "step": 101020 + }, + { + "epoch": 0.050866666666666664, + "grad_norm": 0.17631810903549194, + "learning_rate": 9.709831036828951e-05, + "loss": 3.2259361267089846, + "step": 101030 + }, + { + "epoch": 0.05093333333333333, + "grad_norm": 0.16892056167125702, + "learning_rate": 9.709460867334026e-05, + "loss": 3.2720687866210936, + "step": 101040 + }, + { + "epoch": 0.051, + "grad_norm": 0.1811072826385498, + "learning_rate": 9.709090468941516e-05, + "loss": 3.238707733154297, + "step": 101050 + }, + { + "epoch": 0.05106666666666667, + "grad_norm": 0.1684051901102066, + "learning_rate": 9.708719841669428e-05, + "loss": 3.273700714111328, + "step": 101060 + }, + { + "epoch": 0.051133333333333336, + "grad_norm": 0.20173829793930054, + "learning_rate": 9.70834898553577e-05, + "loss": 3.2613204956054687, + "step": 101070 + }, + { + "epoch": 0.0512, + "grad_norm": 0.17629051208496094, + "learning_rate": 9.707977900558572e-05, + "loss": 3.2209102630615236, + "step": 101080 + }, + { + "epoch": 0.05126666666666667, + "grad_norm": 0.16612675786018372, + "learning_rate": 9.707606586755868e-05, + "loss": 3.240869140625, + "step": 101090 + }, + { + "epoch": 0.051333333333333335, + "grad_norm": 0.18010741472244263, + "learning_rate": 9.707235044145706e-05, + "loss": 3.284724807739258, + "step": 101100 + }, + { + "epoch": 0.0514, + "grad_norm": 0.17511089146137238, + "learning_rate": 9.706863272746143e-05, + "loss": 3.238564682006836, + "step": 101110 + }, + { + "epoch": 0.05146666666666667, + "grad_norm": 0.17419621348381042, + "learning_rate": 9.706491272575251e-05, + "loss": 3.191982650756836, + "step": 101120 + }, + { + "epoch": 0.051533333333333334, + "grad_norm": 0.16757091879844666, + "learning_rate": 9.70611904365111e-05, + "loss": 3.2484622955322267, + "step": 101130 + }, + { + "epoch": 0.0516, + "grad_norm": 0.17307831346988678, + "learning_rate": 9.705746585991808e-05, + "loss": 3.200994110107422, + "step": 101140 + }, + { + "epoch": 0.051666666666666666, + "grad_norm": 0.16790181398391724, + "learning_rate": 9.705373899615453e-05, + "loss": 3.2534889221191405, + "step": 101150 + }, + { + "epoch": 0.05173333333333333, + "grad_norm": 0.38856270909309387, + "learning_rate": 9.705000984540155e-05, + "loss": 3.242402267456055, + "step": 101160 + }, + { + "epoch": 0.0518, + "grad_norm": 0.30296415090560913, + "learning_rate": 9.704627840784043e-05, + "loss": 3.1696613311767576, + "step": 101170 + }, + { + "epoch": 0.051866666666666665, + "grad_norm": 0.16460853815078735, + "learning_rate": 9.704254468365251e-05, + "loss": 3.231174850463867, + "step": 101180 + }, + { + "epoch": 0.05193333333333333, + "grad_norm": 0.19540761411190033, + "learning_rate": 9.703880867301924e-05, + "loss": 3.2724483489990233, + "step": 101190 + }, + { + "epoch": 0.052, + "grad_norm": 0.16968531906604767, + "learning_rate": 9.703507037612226e-05, + "loss": 3.2309329986572264, + "step": 101200 + }, + { + "epoch": 0.052066666666666664, + "grad_norm": 0.1787322461605072, + "learning_rate": 9.703132979314319e-05, + "loss": 3.23399658203125, + "step": 101210 + }, + { + "epoch": 0.05213333333333333, + "grad_norm": 0.18265368044376373, + "learning_rate": 9.702758692426391e-05, + "loss": 3.343561553955078, + "step": 101220 + }, + { + "epoch": 0.0522, + "grad_norm": 0.17126932740211487, + "learning_rate": 9.70238417696663e-05, + "loss": 3.2436687469482424, + "step": 101230 + }, + { + "epoch": 0.05226666666666667, + "grad_norm": 0.21638259291648865, + "learning_rate": 9.70200943295324e-05, + "loss": 3.2497711181640625, + "step": 101240 + }, + { + "epoch": 0.052333333333333336, + "grad_norm": 0.17366915941238403, + "learning_rate": 9.701634460404434e-05, + "loss": 3.232427215576172, + "step": 101250 + }, + { + "epoch": 0.0524, + "grad_norm": 0.19422955811023712, + "learning_rate": 9.701259259338438e-05, + "loss": 3.2828445434570312, + "step": 101260 + }, + { + "epoch": 0.05246666666666667, + "grad_norm": 0.17265689373016357, + "learning_rate": 9.700883829773486e-05, + "loss": 3.2766036987304688, + "step": 101270 + }, + { + "epoch": 0.052533333333333335, + "grad_norm": 0.18149232864379883, + "learning_rate": 9.700508171727829e-05, + "loss": 3.278426742553711, + "step": 101280 + }, + { + "epoch": 0.0526, + "grad_norm": 0.193331778049469, + "learning_rate": 9.700132285219724e-05, + "loss": 3.2107475280761717, + "step": 101290 + }, + { + "epoch": 0.05266666666666667, + "grad_norm": 0.18248437345027924, + "learning_rate": 9.699756170267438e-05, + "loss": 3.2615020751953123, + "step": 101300 + }, + { + "epoch": 0.05273333333333333, + "grad_norm": 0.16292667388916016, + "learning_rate": 9.699379826889254e-05, + "loss": 3.2200439453125, + "step": 101310 + }, + { + "epoch": 0.0528, + "grad_norm": 0.1702517569065094, + "learning_rate": 9.699003255103465e-05, + "loss": 3.2262908935546877, + "step": 101320 + }, + { + "epoch": 0.052866666666666666, + "grad_norm": 0.1610783338546753, + "learning_rate": 9.698626454928371e-05, + "loss": 3.238004684448242, + "step": 101330 + }, + { + "epoch": 0.05293333333333333, + "grad_norm": 0.2037077099084854, + "learning_rate": 9.698249426382286e-05, + "loss": 3.224721145629883, + "step": 101340 + }, + { + "epoch": 0.053, + "grad_norm": 0.17333984375, + "learning_rate": 9.697872169483537e-05, + "loss": 3.2185035705566407, + "step": 101350 + }, + { + "epoch": 0.053066666666666665, + "grad_norm": 0.1778590828180313, + "learning_rate": 9.69749468425046e-05, + "loss": 3.201325225830078, + "step": 101360 + }, + { + "epoch": 0.05313333333333333, + "grad_norm": 0.16682395339012146, + "learning_rate": 9.6971169707014e-05, + "loss": 3.233554458618164, + "step": 101370 + }, + { + "epoch": 0.0532, + "grad_norm": 8.420914649963379, + "learning_rate": 9.696739028854718e-05, + "loss": 5.447623062133789, + "step": 101380 + }, + { + "epoch": 0.053266666666666664, + "grad_norm": 0.194560706615448, + "learning_rate": 9.696360858728781e-05, + "loss": 3.3891006469726563, + "step": 101390 + }, + { + "epoch": 0.05333333333333334, + "grad_norm": 0.19478978216648102, + "learning_rate": 9.695982460341972e-05, + "loss": 3.2827754974365235, + "step": 101400 + }, + { + "epoch": 0.0534, + "grad_norm": 0.21056057512760162, + "learning_rate": 9.695603833712679e-05, + "loss": 3.2338733673095703, + "step": 101410 + }, + { + "epoch": 0.05346666666666667, + "grad_norm": 0.18672768771648407, + "learning_rate": 9.695224978859308e-05, + "loss": 3.2665260314941404, + "step": 101420 + }, + { + "epoch": 0.053533333333333336, + "grad_norm": 0.516720175743103, + "learning_rate": 9.694845895800271e-05, + "loss": 3.169695281982422, + "step": 101430 + }, + { + "epoch": 0.0536, + "grad_norm": 0.17715443670749664, + "learning_rate": 9.694466584553994e-05, + "loss": 3.2240352630615234, + "step": 101440 + }, + { + "epoch": 0.05366666666666667, + "grad_norm": 0.22813253104686737, + "learning_rate": 9.694087045138913e-05, + "loss": 3.3186767578125, + "step": 101450 + }, + { + "epoch": 0.053733333333333334, + "grad_norm": 0.18563196063041687, + "learning_rate": 9.693707277573474e-05, + "loss": 3.2791839599609376, + "step": 101460 + }, + { + "epoch": 0.0538, + "grad_norm": 0.20038893818855286, + "learning_rate": 9.693327281876136e-05, + "loss": 3.247113037109375, + "step": 101470 + }, + { + "epoch": 0.05386666666666667, + "grad_norm": 0.19668225944042206, + "learning_rate": 9.692947058065367e-05, + "loss": 3.2788280487060546, + "step": 101480 + }, + { + "epoch": 0.05393333333333333, + "grad_norm": 0.1912636160850525, + "learning_rate": 9.692566606159647e-05, + "loss": 3.216488265991211, + "step": 101490 + }, + { + "epoch": 0.054, + "grad_norm": 0.1817275881767273, + "learning_rate": 9.692185926177472e-05, + "loss": 3.2660800933837892, + "step": 101500 + }, + { + "epoch": 0.054066666666666666, + "grad_norm": 0.17423808574676514, + "learning_rate": 9.691805018137339e-05, + "loss": 3.2645206451416016, + "step": 101510 + }, + { + "epoch": 0.05413333333333333, + "grad_norm": 0.20310638844966888, + "learning_rate": 9.691423882057764e-05, + "loss": 3.244771194458008, + "step": 101520 + }, + { + "epoch": 0.0542, + "grad_norm": 0.1810188740491867, + "learning_rate": 9.691042517957271e-05, + "loss": 3.241138458251953, + "step": 101530 + }, + { + "epoch": 0.054266666666666664, + "grad_norm": 0.18963909149169922, + "learning_rate": 9.690660925854396e-05, + "loss": 3.221059799194336, + "step": 101540 + }, + { + "epoch": 0.05433333333333333, + "grad_norm": 0.18518368899822235, + "learning_rate": 9.690279105767686e-05, + "loss": 3.1892942428588866, + "step": 101550 + }, + { + "epoch": 0.0544, + "grad_norm": 0.1893593817949295, + "learning_rate": 9.689897057715698e-05, + "loss": 3.297193908691406, + "step": 101560 + }, + { + "epoch": 0.05446666666666666, + "grad_norm": 0.1715136617422104, + "learning_rate": 9.689514781717002e-05, + "loss": 3.2728065490722655, + "step": 101570 + }, + { + "epoch": 0.054533333333333336, + "grad_norm": 0.17725209891796112, + "learning_rate": 9.689132277790178e-05, + "loss": 3.3250545501708983, + "step": 101580 + }, + { + "epoch": 0.0546, + "grad_norm": 0.17486020922660828, + "learning_rate": 9.688749545953817e-05, + "loss": 3.233343505859375, + "step": 101590 + }, + { + "epoch": 0.05466666666666667, + "grad_norm": 0.17551061511039734, + "learning_rate": 9.688366586226521e-05, + "loss": 3.348014068603516, + "step": 101600 + }, + { + "epoch": 0.054733333333333335, + "grad_norm": 0.20072872936725616, + "learning_rate": 9.687983398626903e-05, + "loss": 3.2703277587890627, + "step": 101610 + }, + { + "epoch": 0.0548, + "grad_norm": 0.17799316346645355, + "learning_rate": 9.68759998317359e-05, + "loss": 3.2461658477783204, + "step": 101620 + }, + { + "epoch": 0.05486666666666667, + "grad_norm": 0.18237712979316711, + "learning_rate": 9.687216339885212e-05, + "loss": 3.243488311767578, + "step": 101630 + }, + { + "epoch": 0.054933333333333334, + "grad_norm": 0.19533909857273102, + "learning_rate": 9.68683246878042e-05, + "loss": 3.2271495819091798, + "step": 101640 + }, + { + "epoch": 0.055, + "grad_norm": 0.16655543446540833, + "learning_rate": 9.68644836987787e-05, + "loss": 3.222452926635742, + "step": 101650 + }, + { + "epoch": 0.05506666666666667, + "grad_norm": 0.1675342321395874, + "learning_rate": 9.686064043196232e-05, + "loss": 3.2539878845214845, + "step": 101660 + }, + { + "epoch": 0.05513333333333333, + "grad_norm": 0.1785064935684204, + "learning_rate": 9.685679488754185e-05, + "loss": 3.26280517578125, + "step": 101670 + }, + { + "epoch": 0.0552, + "grad_norm": 0.18926212191581726, + "learning_rate": 9.685294706570418e-05, + "loss": 3.2010955810546875, + "step": 101680 + }, + { + "epoch": 0.055266666666666665, + "grad_norm": 0.17796622216701508, + "learning_rate": 9.684909696663636e-05, + "loss": 3.2749355316162108, + "step": 101690 + }, + { + "epoch": 0.05533333333333333, + "grad_norm": 0.16901199519634247, + "learning_rate": 9.684524459052548e-05, + "loss": 3.239583969116211, + "step": 101700 + }, + { + "epoch": 0.0554, + "grad_norm": 0.16689211130142212, + "learning_rate": 9.684138993755881e-05, + "loss": 3.249583053588867, + "step": 101710 + }, + { + "epoch": 0.055466666666666664, + "grad_norm": 0.1996900588274002, + "learning_rate": 9.683753300792371e-05, + "loss": 3.276592254638672, + "step": 101720 + }, + { + "epoch": 0.05553333333333333, + "grad_norm": 0.19855724275112152, + "learning_rate": 9.683367380180762e-05, + "loss": 3.3115089416503904, + "step": 101730 + }, + { + "epoch": 0.0556, + "grad_norm": 0.1763954907655716, + "learning_rate": 9.68298123193981e-05, + "loss": 3.308899688720703, + "step": 101740 + }, + { + "epoch": 0.05566666666666667, + "grad_norm": 0.19270539283752441, + "learning_rate": 9.682594856088284e-05, + "loss": 3.23028450012207, + "step": 101750 + }, + { + "epoch": 0.055733333333333336, + "grad_norm": 0.18941283226013184, + "learning_rate": 9.682208252644968e-05, + "loss": 3.3053783416748046, + "step": 101760 + }, + { + "epoch": 0.0558, + "grad_norm": 0.1840270459651947, + "learning_rate": 9.681821421628647e-05, + "loss": 3.2360015869140626, + "step": 101770 + }, + { + "epoch": 0.05586666666666667, + "grad_norm": 0.17586421966552734, + "learning_rate": 9.681434363058124e-05, + "loss": 3.2425506591796873, + "step": 101780 + }, + { + "epoch": 0.055933333333333335, + "grad_norm": 0.1881554126739502, + "learning_rate": 9.681047076952211e-05, + "loss": 3.4715843200683594, + "step": 101790 + }, + { + "epoch": 0.056, + "grad_norm": 0.2051030695438385, + "learning_rate": 9.680659563329733e-05, + "loss": 3.272822952270508, + "step": 101800 + }, + { + "epoch": 0.05606666666666667, + "grad_norm": 0.2032434195280075, + "learning_rate": 9.680271822209524e-05, + "loss": 3.4751140594482424, + "step": 101810 + }, + { + "epoch": 0.056133333333333334, + "grad_norm": 0.1708739846944809, + "learning_rate": 9.679883853610429e-05, + "loss": 3.2507678985595705, + "step": 101820 + }, + { + "epoch": 0.0562, + "grad_norm": 0.184620201587677, + "learning_rate": 9.679495657551305e-05, + "loss": 3.275705337524414, + "step": 101830 + }, + { + "epoch": 0.056266666666666666, + "grad_norm": 0.17611363530158997, + "learning_rate": 9.67910723405102e-05, + "loss": 3.2546764373779298, + "step": 101840 + }, + { + "epoch": 0.05633333333333333, + "grad_norm": 0.17565517127513885, + "learning_rate": 9.678718583128453e-05, + "loss": 3.287525177001953, + "step": 101850 + }, + { + "epoch": 0.0564, + "grad_norm": 0.16793176531791687, + "learning_rate": 9.678329704802494e-05, + "loss": 3.2760459899902346, + "step": 101860 + }, + { + "epoch": 0.056466666666666665, + "grad_norm": 0.19298690557479858, + "learning_rate": 9.677940599092044e-05, + "loss": 3.242157745361328, + "step": 101870 + }, + { + "epoch": 0.05653333333333333, + "grad_norm": 0.16466550529003143, + "learning_rate": 9.677551266016015e-05, + "loss": 3.2764041900634764, + "step": 101880 + }, + { + "epoch": 0.0566, + "grad_norm": 0.17238152027130127, + "learning_rate": 9.67716170559333e-05, + "loss": 3.251211929321289, + "step": 101890 + }, + { + "epoch": 0.056666666666666664, + "grad_norm": 0.31393641233444214, + "learning_rate": 9.676771917842922e-05, + "loss": 3.2947174072265626, + "step": 101900 + }, + { + "epoch": 0.05673333333333333, + "grad_norm": 0.1735195815563202, + "learning_rate": 9.676381902783737e-05, + "loss": 3.242110824584961, + "step": 101910 + }, + { + "epoch": 0.0568, + "grad_norm": 0.17422497272491455, + "learning_rate": 9.675991660434731e-05, + "loss": 3.223488616943359, + "step": 101920 + }, + { + "epoch": 0.05686666666666667, + "grad_norm": 0.22812826931476593, + "learning_rate": 9.675601190814872e-05, + "loss": 3.347795104980469, + "step": 101930 + }, + { + "epoch": 0.056933333333333336, + "grad_norm": 0.17694388329982758, + "learning_rate": 9.675210493943138e-05, + "loss": 3.241551971435547, + "step": 101940 + }, + { + "epoch": 0.057, + "grad_norm": 0.1637054830789566, + "learning_rate": 9.674819569838518e-05, + "loss": 3.247371292114258, + "step": 101950 + }, + { + "epoch": 0.05706666666666667, + "grad_norm": 0.18377159535884857, + "learning_rate": 9.674428418520013e-05, + "loss": 3.2416736602783205, + "step": 101960 + }, + { + "epoch": 0.057133333333333335, + "grad_norm": 0.17377017438411713, + "learning_rate": 9.674037040006634e-05, + "loss": 3.274846649169922, + "step": 101970 + }, + { + "epoch": 0.0572, + "grad_norm": 0.19211915135383606, + "learning_rate": 9.673645434317402e-05, + "loss": 3.2822120666503904, + "step": 101980 + }, + { + "epoch": 0.05726666666666667, + "grad_norm": 0.17115533351898193, + "learning_rate": 9.673253601471353e-05, + "loss": 3.2815006256103514, + "step": 101990 + }, + { + "epoch": 0.05733333333333333, + "grad_norm": 0.4693126976490021, + "learning_rate": 9.672861541487531e-05, + "loss": 3.352202224731445, + "step": 102000 + }, + { + "epoch": 0.0574, + "grad_norm": 0.18700964748859406, + "learning_rate": 9.672469254384991e-05, + "loss": 3.244475173950195, + "step": 102010 + }, + { + "epoch": 0.057466666666666666, + "grad_norm": 0.17503437399864197, + "learning_rate": 9.672076740182798e-05, + "loss": 3.1890892028808593, + "step": 102020 + }, + { + "epoch": 0.05753333333333333, + "grad_norm": 0.17044156789779663, + "learning_rate": 9.671683998900034e-05, + "loss": 3.250334548950195, + "step": 102030 + }, + { + "epoch": 0.0576, + "grad_norm": 0.33731141686439514, + "learning_rate": 9.671291030555785e-05, + "loss": 3.375835418701172, + "step": 102040 + }, + { + "epoch": 0.057666666666666665, + "grad_norm": 0.17976467311382294, + "learning_rate": 9.670897835169149e-05, + "loss": 3.2441787719726562, + "step": 102050 + }, + { + "epoch": 0.05773333333333333, + "grad_norm": 0.1700875163078308, + "learning_rate": 9.67050441275924e-05, + "loss": 3.2881790161132813, + "step": 102060 + }, + { + "epoch": 0.0578, + "grad_norm": 0.1675977259874344, + "learning_rate": 9.670110763345177e-05, + "loss": 3.409374237060547, + "step": 102070 + }, + { + "epoch": 0.057866666666666663, + "grad_norm": 0.26086917519569397, + "learning_rate": 9.669716886946096e-05, + "loss": 3.35064582824707, + "step": 102080 + }, + { + "epoch": 0.05793333333333334, + "grad_norm": 0.17014926671981812, + "learning_rate": 9.669322783581138e-05, + "loss": 3.170986366271973, + "step": 102090 + }, + { + "epoch": 0.058, + "grad_norm": 0.1714961975812912, + "learning_rate": 9.66892845326946e-05, + "loss": 3.3997310638427733, + "step": 102100 + }, + { + "epoch": 0.05806666666666667, + "grad_norm": 0.19900543987751007, + "learning_rate": 9.668533896030228e-05, + "loss": 3.237195587158203, + "step": 102110 + }, + { + "epoch": 0.058133333333333335, + "grad_norm": 0.19089137017726898, + "learning_rate": 9.668139111882616e-05, + "loss": 3.3142631530761717, + "step": 102120 + }, + { + "epoch": 0.0582, + "grad_norm": 0.17193177342414856, + "learning_rate": 9.667744100845814e-05, + "loss": 3.2647659301757814, + "step": 102130 + }, + { + "epoch": 0.05826666666666667, + "grad_norm": 0.18861548602581024, + "learning_rate": 9.667348862939023e-05, + "loss": 3.3083343505859375, + "step": 102140 + }, + { + "epoch": 0.058333333333333334, + "grad_norm": 0.16935598850250244, + "learning_rate": 9.666953398181449e-05, + "loss": 3.206747055053711, + "step": 102150 + }, + { + "epoch": 0.0584, + "grad_norm": 0.17081299424171448, + "learning_rate": 9.666557706592316e-05, + "loss": 3.2200408935546876, + "step": 102160 + }, + { + "epoch": 0.05846666666666667, + "grad_norm": 0.17465414106845856, + "learning_rate": 9.666161788190856e-05, + "loss": 3.2435192108154296, + "step": 102170 + }, + { + "epoch": 0.05853333333333333, + "grad_norm": 0.18242427706718445, + "learning_rate": 9.665765642996311e-05, + "loss": 3.2453636169433593, + "step": 102180 + }, + { + "epoch": 0.0586, + "grad_norm": 0.16851355135440826, + "learning_rate": 9.665369271027935e-05, + "loss": 3.2277973175048826, + "step": 102190 + }, + { + "epoch": 0.058666666666666666, + "grad_norm": 0.17931623756885529, + "learning_rate": 9.664972672304994e-05, + "loss": 3.2518863677978516, + "step": 102200 + }, + { + "epoch": 0.05873333333333333, + "grad_norm": 0.19007647037506104, + "learning_rate": 9.664575846846765e-05, + "loss": 3.2871940612792967, + "step": 102210 + }, + { + "epoch": 0.0588, + "grad_norm": 0.3726983368396759, + "learning_rate": 9.664178794672534e-05, + "loss": 2.8335874557495115, + "step": 102220 + }, + { + "epoch": 0.058866666666666664, + "grad_norm": 0.18575897812843323, + "learning_rate": 9.663781515801599e-05, + "loss": 3.2994850158691404, + "step": 102230 + }, + { + "epoch": 0.05893333333333333, + "grad_norm": 0.1634751707315445, + "learning_rate": 9.663384010253269e-05, + "loss": 3.282004547119141, + "step": 102240 + }, + { + "epoch": 0.059, + "grad_norm": 0.16846024990081787, + "learning_rate": 9.662986278046866e-05, + "loss": 3.265142822265625, + "step": 102250 + }, + { + "epoch": 0.05906666666666667, + "grad_norm": 0.1696866750717163, + "learning_rate": 9.662588319201719e-05, + "loss": 3.2274654388427733, + "step": 102260 + }, + { + "epoch": 0.059133333333333336, + "grad_norm": 0.19931066036224365, + "learning_rate": 9.662190133737172e-05, + "loss": 3.3059295654296874, + "step": 102270 + }, + { + "epoch": 0.0592, + "grad_norm": 0.2107618749141693, + "learning_rate": 9.661791721672579e-05, + "loss": 3.3196136474609377, + "step": 102280 + }, + { + "epoch": 0.05926666666666667, + "grad_norm": 0.17746548354625702, + "learning_rate": 9.661393083027301e-05, + "loss": 3.1952877044677734, + "step": 102290 + }, + { + "epoch": 0.059333333333333335, + "grad_norm": 0.1766158640384674, + "learning_rate": 9.660994217820718e-05, + "loss": 3.251448059082031, + "step": 102300 + }, + { + "epoch": 0.0594, + "grad_norm": 0.16492782533168793, + "learning_rate": 9.660595126072212e-05, + "loss": 3.2529354095458984, + "step": 102310 + }, + { + "epoch": 0.05946666666666667, + "grad_norm": 0.17297126352787018, + "learning_rate": 9.660195807801183e-05, + "loss": 3.1907974243164063, + "step": 102320 + }, + { + "epoch": 0.059533333333333334, + "grad_norm": 0.17892014980316162, + "learning_rate": 9.659796263027039e-05, + "loss": 3.2080482482910155, + "step": 102330 + }, + { + "epoch": 0.0596, + "grad_norm": 0.1645844578742981, + "learning_rate": 9.659396491769197e-05, + "loss": 3.209551239013672, + "step": 102340 + }, + { + "epoch": 0.059666666666666666, + "grad_norm": 0.16493107378482819, + "learning_rate": 9.658996494047092e-05, + "loss": 3.3512760162353517, + "step": 102350 + }, + { + "epoch": 0.05973333333333333, + "grad_norm": 0.17190885543823242, + "learning_rate": 9.65859626988016e-05, + "loss": 3.233256530761719, + "step": 102360 + }, + { + "epoch": 0.0598, + "grad_norm": 0.18004560470581055, + "learning_rate": 9.658195819287859e-05, + "loss": 3.291270446777344, + "step": 102370 + }, + { + "epoch": 0.059866666666666665, + "grad_norm": 0.1654268503189087, + "learning_rate": 9.657795142289649e-05, + "loss": 3.2677845001220702, + "step": 102380 + }, + { + "epoch": 0.05993333333333333, + "grad_norm": 0.16884738206863403, + "learning_rate": 9.657394238905004e-05, + "loss": 3.2346206665039063, + "step": 102390 + }, + { + "epoch": 0.06, + "grad_norm": 0.17107166349887848, + "learning_rate": 9.65699310915341e-05, + "loss": 3.2093597412109376, + "step": 102400 + }, + { + "epoch": 0.060066666666666664, + "grad_norm": 0.17022129893302917, + "learning_rate": 9.656591753054364e-05, + "loss": 3.2324363708496096, + "step": 102410 + }, + { + "epoch": 0.06013333333333333, + "grad_norm": 0.1891043335199356, + "learning_rate": 9.656190170627375e-05, + "loss": 3.256863021850586, + "step": 102420 + }, + { + "epoch": 0.0602, + "grad_norm": 0.2285168170928955, + "learning_rate": 9.65578836189196e-05, + "loss": 3.2682540893554686, + "step": 102430 + }, + { + "epoch": 0.06026666666666667, + "grad_norm": 0.16951295733451843, + "learning_rate": 9.655386326867645e-05, + "loss": 3.304439926147461, + "step": 102440 + }, + { + "epoch": 0.060333333333333336, + "grad_norm": 0.17264984548091888, + "learning_rate": 9.654984065573976e-05, + "loss": 3.2573596954345705, + "step": 102450 + }, + { + "epoch": 0.0604, + "grad_norm": 0.18307428061962128, + "learning_rate": 9.654581578030502e-05, + "loss": 3.215596008300781, + "step": 102460 + }, + { + "epoch": 0.06046666666666667, + "grad_norm": 0.18795756995677948, + "learning_rate": 9.654178864256785e-05, + "loss": 3.300708770751953, + "step": 102470 + }, + { + "epoch": 0.060533333333333335, + "grad_norm": 0.3768214285373688, + "learning_rate": 9.653775924272398e-05, + "loss": 3.2409896850585938, + "step": 102480 + }, + { + "epoch": 0.0606, + "grad_norm": 0.171961709856987, + "learning_rate": 9.653372758096927e-05, + "loss": 3.2178348541259765, + "step": 102490 + }, + { + "epoch": 0.06066666666666667, + "grad_norm": 0.19956065714359283, + "learning_rate": 9.652969365749967e-05, + "loss": 3.290476608276367, + "step": 102500 + }, + { + "epoch": 0.060733333333333334, + "grad_norm": 0.5668976902961731, + "learning_rate": 9.652565747251124e-05, + "loss": 3.2460079193115234, + "step": 102510 + }, + { + "epoch": 0.0608, + "grad_norm": 0.18348328769207, + "learning_rate": 9.652161902620014e-05, + "loss": 3.256175994873047, + "step": 102520 + }, + { + "epoch": 0.060866666666666666, + "grad_norm": 0.16052871942520142, + "learning_rate": 9.651757831876267e-05, + "loss": 3.2159934997558595, + "step": 102530 + }, + { + "epoch": 0.06093333333333333, + "grad_norm": 0.17267413437366486, + "learning_rate": 9.651353535039523e-05, + "loss": 3.2693077087402345, + "step": 102540 + }, + { + "epoch": 0.061, + "grad_norm": 0.16979169845581055, + "learning_rate": 9.65094901212943e-05, + "loss": 3.2097183227539063, + "step": 102550 + }, + { + "epoch": 0.061066666666666665, + "grad_norm": 0.18894879519939423, + "learning_rate": 9.650544263165653e-05, + "loss": 3.247409439086914, + "step": 102560 + }, + { + "epoch": 0.06113333333333333, + "grad_norm": 0.168821319937706, + "learning_rate": 9.65013928816786e-05, + "loss": 3.218159484863281, + "step": 102570 + }, + { + "epoch": 0.0612, + "grad_norm": 0.1800558865070343, + "learning_rate": 9.649734087155737e-05, + "loss": 3.2056690216064454, + "step": 102580 + }, + { + "epoch": 0.061266666666666664, + "grad_norm": 0.17197029292583466, + "learning_rate": 9.649328660148979e-05, + "loss": 3.228200149536133, + "step": 102590 + }, + { + "epoch": 0.06133333333333333, + "grad_norm": 0.19030135869979858, + "learning_rate": 9.648923007167289e-05, + "loss": 3.2291793823242188, + "step": 102600 + }, + { + "epoch": 0.0614, + "grad_norm": 0.18016111850738525, + "learning_rate": 9.648517128230385e-05, + "loss": 3.2297176361083983, + "step": 102610 + }, + { + "epoch": 0.06146666666666667, + "grad_norm": 0.18820853531360626, + "learning_rate": 9.648111023357993e-05, + "loss": 3.2541362762451174, + "step": 102620 + }, + { + "epoch": 0.061533333333333336, + "grad_norm": 0.17829415202140808, + "learning_rate": 9.647704692569851e-05, + "loss": 3.231158447265625, + "step": 102630 + }, + { + "epoch": 0.0616, + "grad_norm": 0.16615620255470276, + "learning_rate": 9.64729813588571e-05, + "loss": 3.218492126464844, + "step": 102640 + }, + { + "epoch": 0.06166666666666667, + "grad_norm": 0.1743045449256897, + "learning_rate": 9.646891353325329e-05, + "loss": 3.2024169921875, + "step": 102650 + }, + { + "epoch": 0.061733333333333335, + "grad_norm": 0.17007774114608765, + "learning_rate": 9.64648434490848e-05, + "loss": 3.224782180786133, + "step": 102660 + }, + { + "epoch": 0.0618, + "grad_norm": 0.16742108762264252, + "learning_rate": 9.646077110654943e-05, + "loss": 3.2206817626953126, + "step": 102670 + }, + { + "epoch": 0.06186666666666667, + "grad_norm": 0.18369054794311523, + "learning_rate": 9.645669650584513e-05, + "loss": 3.2179229736328123, + "step": 102680 + }, + { + "epoch": 0.06193333333333333, + "grad_norm": 0.28197789192199707, + "learning_rate": 9.645261964716994e-05, + "loss": 3.2095245361328124, + "step": 102690 + }, + { + "epoch": 0.062, + "grad_norm": 0.17137786746025085, + "learning_rate": 9.644854053072201e-05, + "loss": 3.2161277770996093, + "step": 102700 + }, + { + "epoch": 0.062066666666666666, + "grad_norm": 0.17102877795696259, + "learning_rate": 9.64444591566996e-05, + "loss": 3.2026763916015626, + "step": 102710 + }, + { + "epoch": 0.06213333333333333, + "grad_norm": 0.1849532276391983, + "learning_rate": 9.644037552530107e-05, + "loss": 3.20628662109375, + "step": 102720 + }, + { + "epoch": 0.0622, + "grad_norm": 0.18443427979946136, + "learning_rate": 9.643628963672492e-05, + "loss": 3.2340599060058595, + "step": 102730 + }, + { + "epoch": 0.062266666666666665, + "grad_norm": 0.18334630131721497, + "learning_rate": 9.643220149116971e-05, + "loss": 3.229897308349609, + "step": 102740 + }, + { + "epoch": 0.06233333333333333, + "grad_norm": 0.1819526106119156, + "learning_rate": 9.642811108883418e-05, + "loss": 3.2325565338134767, + "step": 102750 + }, + { + "epoch": 0.0624, + "grad_norm": 0.17183096706867218, + "learning_rate": 9.642401842991711e-05, + "loss": 3.1929698944091798, + "step": 102760 + }, + { + "epoch": 0.06246666666666666, + "grad_norm": 0.1977253407239914, + "learning_rate": 9.641992351461741e-05, + "loss": 3.1427764892578125, + "step": 102770 + }, + { + "epoch": 0.06253333333333333, + "grad_norm": 0.17581138014793396, + "learning_rate": 9.641582634313414e-05, + "loss": 3.2242813110351562, + "step": 102780 + }, + { + "epoch": 0.0626, + "grad_norm": 0.1732015311717987, + "learning_rate": 9.641172691566642e-05, + "loss": 3.226265716552734, + "step": 102790 + }, + { + "epoch": 0.06266666666666666, + "grad_norm": 0.17644354701042175, + "learning_rate": 9.640762523241349e-05, + "loss": 3.209980773925781, + "step": 102800 + }, + { + "epoch": 0.06273333333333334, + "grad_norm": 0.20975664258003235, + "learning_rate": 9.640352129357473e-05, + "loss": 3.3789161682128905, + "step": 102810 + }, + { + "epoch": 0.0628, + "grad_norm": 0.39406120777130127, + "learning_rate": 9.639941509934958e-05, + "loss": 3.2696212768554687, + "step": 102820 + }, + { + "epoch": 0.06286666666666667, + "grad_norm": 0.17519865930080414, + "learning_rate": 9.639530664993764e-05, + "loss": 3.243638610839844, + "step": 102830 + }, + { + "epoch": 0.06293333333333333, + "grad_norm": 0.17815159261226654, + "learning_rate": 9.639119594553857e-05, + "loss": 3.283892059326172, + "step": 102840 + }, + { + "epoch": 0.063, + "grad_norm": 0.18523970246315002, + "learning_rate": 9.638708298635219e-05, + "loss": 3.1505245208740233, + "step": 102850 + }, + { + "epoch": 0.06306666666666666, + "grad_norm": 0.7236111760139465, + "learning_rate": 9.63829677725784e-05, + "loss": 3.151352882385254, + "step": 102860 + }, + { + "epoch": 0.06313333333333333, + "grad_norm": 0.20818550884723663, + "learning_rate": 9.637885030441721e-05, + "loss": 3.1938806533813477, + "step": 102870 + }, + { + "epoch": 0.0632, + "grad_norm": 0.1938062608242035, + "learning_rate": 9.637473058206874e-05, + "loss": 3.2582836151123047, + "step": 102880 + }, + { + "epoch": 0.06326666666666667, + "grad_norm": 0.1789773851633072, + "learning_rate": 9.637060860573323e-05, + "loss": 3.188027191162109, + "step": 102890 + }, + { + "epoch": 0.06333333333333334, + "grad_norm": 0.41150569915771484, + "learning_rate": 9.636648437561104e-05, + "loss": 3.269758605957031, + "step": 102900 + }, + { + "epoch": 0.0634, + "grad_norm": 0.18441098928451538, + "learning_rate": 9.636235789190259e-05, + "loss": 3.2807796478271483, + "step": 102910 + }, + { + "epoch": 0.06346666666666667, + "grad_norm": 0.16094599664211273, + "learning_rate": 9.635822915480848e-05, + "loss": 3.2148406982421873, + "step": 102920 + }, + { + "epoch": 0.06353333333333333, + "grad_norm": 0.163807213306427, + "learning_rate": 9.635409816452935e-05, + "loss": 3.266091537475586, + "step": 102930 + }, + { + "epoch": 0.0636, + "grad_norm": 0.17370927333831787, + "learning_rate": 9.6349964921266e-05, + "loss": 3.2295406341552733, + "step": 102940 + }, + { + "epoch": 0.06366666666666666, + "grad_norm": 0.18613697588443756, + "learning_rate": 9.634582942521932e-05, + "loss": 3.3133476257324217, + "step": 102950 + }, + { + "epoch": 0.06373333333333334, + "grad_norm": 0.16380615532398224, + "learning_rate": 9.634169167659029e-05, + "loss": 3.262929153442383, + "step": 102960 + }, + { + "epoch": 0.0638, + "grad_norm": 0.18773820996284485, + "learning_rate": 9.633755167558004e-05, + "loss": 3.1870975494384766, + "step": 102970 + }, + { + "epoch": 0.06386666666666667, + "grad_norm": 0.18464328348636627, + "learning_rate": 9.633340942238979e-05, + "loss": 3.2227516174316406, + "step": 102980 + }, + { + "epoch": 0.06393333333333333, + "grad_norm": 0.17796464264392853, + "learning_rate": 9.632926491722086e-05, + "loss": 3.2221282958984374, + "step": 102990 + }, + { + "epoch": 0.064, + "grad_norm": 0.16514946520328522, + "learning_rate": 9.632511816027469e-05, + "loss": 3.2880130767822267, + "step": 103000 + }, + { + "epoch": 0.06406666666666666, + "grad_norm": 0.17037451267242432, + "learning_rate": 9.632096915175285e-05, + "loss": 3.2097122192382814, + "step": 103010 + }, + { + "epoch": 0.06413333333333333, + "grad_norm": 0.17305003106594086, + "learning_rate": 9.631681789185696e-05, + "loss": 3.1946903228759767, + "step": 103020 + }, + { + "epoch": 0.0642, + "grad_norm": 0.1753523051738739, + "learning_rate": 9.631266438078882e-05, + "loss": 3.27197380065918, + "step": 103030 + }, + { + "epoch": 0.06426666666666667, + "grad_norm": 0.16023029386997223, + "learning_rate": 9.63085086187503e-05, + "loss": 3.2021812438964843, + "step": 103040 + }, + { + "epoch": 0.06433333333333334, + "grad_norm": 0.1612251251935959, + "learning_rate": 9.630435060594334e-05, + "loss": 3.2042209625244142, + "step": 103050 + }, + { + "epoch": 0.0644, + "grad_norm": 0.1932184249162674, + "learning_rate": 9.630019034257011e-05, + "loss": 3.1796695709228517, + "step": 103060 + }, + { + "epoch": 0.06446666666666667, + "grad_norm": 0.1877821981906891, + "learning_rate": 9.629602782883276e-05, + "loss": 3.2604965209960937, + "step": 103070 + }, + { + "epoch": 0.06453333333333333, + "grad_norm": 0.18710412085056305, + "learning_rate": 9.629186306493362e-05, + "loss": 3.275337982177734, + "step": 103080 + }, + { + "epoch": 0.0646, + "grad_norm": 0.17486907541751862, + "learning_rate": 9.628769605107513e-05, + "loss": 3.1965627670288086, + "step": 103090 + }, + { + "epoch": 0.06466666666666666, + "grad_norm": 0.2251145839691162, + "learning_rate": 9.62835267874598e-05, + "loss": 3.2646045684814453, + "step": 103100 + }, + { + "epoch": 0.06473333333333334, + "grad_norm": 0.1758144199848175, + "learning_rate": 9.627935527429027e-05, + "loss": 3.2227859497070312, + "step": 103110 + }, + { + "epoch": 0.0648, + "grad_norm": 0.1710442155599594, + "learning_rate": 9.62751815117693e-05, + "loss": 3.201504135131836, + "step": 103120 + }, + { + "epoch": 0.06486666666666667, + "grad_norm": 0.1731809675693512, + "learning_rate": 9.627100550009978e-05, + "loss": 3.2066982269287108, + "step": 103130 + }, + { + "epoch": 0.06493333333333333, + "grad_norm": 0.17387251555919647, + "learning_rate": 9.626682723948463e-05, + "loss": 3.1791702270507813, + "step": 103140 + }, + { + "epoch": 0.065, + "grad_norm": 0.18918782472610474, + "learning_rate": 9.626264673012695e-05, + "loss": 3.289244842529297, + "step": 103150 + }, + { + "epoch": 0.06506666666666666, + "grad_norm": 0.1839744746685028, + "learning_rate": 9.625846397222992e-05, + "loss": 3.2481307983398438, + "step": 103160 + }, + { + "epoch": 0.06513333333333333, + "grad_norm": 0.19222880899906158, + "learning_rate": 9.625427896599686e-05, + "loss": 4.246529006958008, + "step": 103170 + }, + { + "epoch": 0.0652, + "grad_norm": 0.1702549010515213, + "learning_rate": 9.625009171163118e-05, + "loss": 3.2324451446533202, + "step": 103180 + }, + { + "epoch": 0.06526666666666667, + "grad_norm": 0.18297582864761353, + "learning_rate": 9.624590220933634e-05, + "loss": 3.394380569458008, + "step": 103190 + }, + { + "epoch": 0.06533333333333333, + "grad_norm": 0.16720061004161835, + "learning_rate": 9.624171045931604e-05, + "loss": 3.227935791015625, + "step": 103200 + }, + { + "epoch": 0.0654, + "grad_norm": 0.19226297736167908, + "learning_rate": 9.623751646177398e-05, + "loss": 3.219175338745117, + "step": 103210 + }, + { + "epoch": 0.06546666666666667, + "grad_norm": 0.17904411256313324, + "learning_rate": 9.623332021691398e-05, + "loss": 3.198894500732422, + "step": 103220 + }, + { + "epoch": 0.06553333333333333, + "grad_norm": 0.18289881944656372, + "learning_rate": 9.622912172494003e-05, + "loss": 3.198000907897949, + "step": 103230 + }, + { + "epoch": 0.0656, + "grad_norm": 0.18517141044139862, + "learning_rate": 9.622492098605618e-05, + "loss": 3.1975852966308596, + "step": 103240 + }, + { + "epoch": 0.06566666666666666, + "grad_norm": 0.17026813328266144, + "learning_rate": 9.622071800046661e-05, + "loss": 3.2142051696777343, + "step": 103250 + }, + { + "epoch": 0.06573333333333334, + "grad_norm": 0.1768302023410797, + "learning_rate": 9.621651276837559e-05, + "loss": 3.1795841217041017, + "step": 103260 + }, + { + "epoch": 0.0658, + "grad_norm": 0.18778114020824432, + "learning_rate": 9.621230528998751e-05, + "loss": 3.2487674713134767, + "step": 103270 + }, + { + "epoch": 0.06586666666666667, + "grad_norm": 0.17371942102909088, + "learning_rate": 9.620809556550687e-05, + "loss": 3.220105743408203, + "step": 103280 + }, + { + "epoch": 0.06593333333333333, + "grad_norm": 0.16577200591564178, + "learning_rate": 9.62038835951383e-05, + "loss": 3.200623321533203, + "step": 103290 + }, + { + "epoch": 0.066, + "grad_norm": 0.3165707290172577, + "learning_rate": 9.61996693790865e-05, + "loss": 3.2635250091552734, + "step": 103300 + }, + { + "epoch": 0.06606666666666666, + "grad_norm": 0.1846824288368225, + "learning_rate": 9.619545291755627e-05, + "loss": 3.255442428588867, + "step": 103310 + }, + { + "epoch": 0.06613333333333334, + "grad_norm": 0.17448779940605164, + "learning_rate": 9.619123421075257e-05, + "loss": 3.313571548461914, + "step": 103320 + }, + { + "epoch": 0.0662, + "grad_norm": 0.1882205307483673, + "learning_rate": 9.618701325888048e-05, + "loss": 3.182765579223633, + "step": 103330 + }, + { + "epoch": 0.06626666666666667, + "grad_norm": 0.20372430980205536, + "learning_rate": 9.61827900621451e-05, + "loss": 3.2510875701904296, + "step": 103340 + }, + { + "epoch": 0.06633333333333333, + "grad_norm": 0.1806679666042328, + "learning_rate": 9.617856462075172e-05, + "loss": 3.2388126373291017, + "step": 103350 + }, + { + "epoch": 0.0664, + "grad_norm": 0.19509285688400269, + "learning_rate": 9.617433693490571e-05, + "loss": 3.2034233093261717, + "step": 103360 + }, + { + "epoch": 0.06646666666666666, + "grad_norm": 0.176870658993721, + "learning_rate": 9.617010700481253e-05, + "loss": 3.168494987487793, + "step": 103370 + }, + { + "epoch": 0.06653333333333333, + "grad_norm": 0.17545194923877716, + "learning_rate": 9.616587483067781e-05, + "loss": 3.2269134521484375, + "step": 103380 + }, + { + "epoch": 0.0666, + "grad_norm": 0.1763061285018921, + "learning_rate": 9.616164041270723e-05, + "loss": 3.410857009887695, + "step": 103390 + }, + { + "epoch": 0.06666666666666667, + "grad_norm": 0.18675415217876434, + "learning_rate": 9.615740375110658e-05, + "loss": 3.219410705566406, + "step": 103400 + }, + { + "epoch": 0.06673333333333334, + "grad_norm": 0.2138786017894745, + "learning_rate": 9.615316484608181e-05, + "loss": 3.238430404663086, + "step": 103410 + }, + { + "epoch": 0.0668, + "grad_norm": 0.18453632295131683, + "learning_rate": 9.614892369783892e-05, + "loss": 3.2398128509521484, + "step": 103420 + }, + { + "epoch": 0.06686666666666667, + "grad_norm": 0.17140458524227142, + "learning_rate": 9.614468030658408e-05, + "loss": 3.2692699432373047, + "step": 103430 + }, + { + "epoch": 0.06693333333333333, + "grad_norm": 0.17366750538349152, + "learning_rate": 9.614043467252349e-05, + "loss": 3.200261688232422, + "step": 103440 + }, + { + "epoch": 0.067, + "grad_norm": 0.17496447265148163, + "learning_rate": 9.613618679586354e-05, + "loss": 3.2075645446777346, + "step": 103450 + }, + { + "epoch": 0.06706666666666666, + "grad_norm": 0.1925254762172699, + "learning_rate": 9.613193667681066e-05, + "loss": 3.2385700225830076, + "step": 103460 + }, + { + "epoch": 0.06713333333333334, + "grad_norm": 0.19410157203674316, + "learning_rate": 9.612768431557146e-05, + "loss": 3.2959800720214845, + "step": 103470 + }, + { + "epoch": 0.0672, + "grad_norm": 0.17732566595077515, + "learning_rate": 9.61234297123526e-05, + "loss": 3.221241760253906, + "step": 103480 + }, + { + "epoch": 0.06726666666666667, + "grad_norm": 0.17975439131259918, + "learning_rate": 9.611917286736088e-05, + "loss": 3.2134654998779295, + "step": 103490 + }, + { + "epoch": 0.06733333333333333, + "grad_norm": 0.19212664663791656, + "learning_rate": 9.611491378080318e-05, + "loss": 3.1767499923706053, + "step": 103500 + }, + { + "epoch": 0.0674, + "grad_norm": 0.17872482538223267, + "learning_rate": 9.61106524528865e-05, + "loss": 3.1566009521484375, + "step": 103510 + }, + { + "epoch": 0.06746666666666666, + "grad_norm": 0.18552570044994354, + "learning_rate": 9.6106388883818e-05, + "loss": 3.207967758178711, + "step": 103520 + }, + { + "epoch": 0.06753333333333333, + "grad_norm": 0.18109670281410217, + "learning_rate": 9.610212307380487e-05, + "loss": 3.2828338623046873, + "step": 103530 + }, + { + "epoch": 0.0676, + "grad_norm": 0.17156624794006348, + "learning_rate": 9.609785502305446e-05, + "loss": 3.155868148803711, + "step": 103540 + }, + { + "epoch": 0.06766666666666667, + "grad_norm": 0.17508213222026825, + "learning_rate": 9.60935847317742e-05, + "loss": 3.236589050292969, + "step": 103550 + }, + { + "epoch": 0.06773333333333334, + "grad_norm": 0.166759192943573, + "learning_rate": 9.608931220017166e-05, + "loss": 3.203769302368164, + "step": 103560 + }, + { + "epoch": 0.0678, + "grad_norm": 0.17823083698749542, + "learning_rate": 9.60850374284545e-05, + "loss": 3.2152000427246095, + "step": 103570 + }, + { + "epoch": 0.06786666666666667, + "grad_norm": 0.19545812904834747, + "learning_rate": 9.608076041683047e-05, + "loss": 3.1754236221313477, + "step": 103580 + }, + { + "epoch": 0.06793333333333333, + "grad_norm": 0.18023699522018433, + "learning_rate": 9.607648116550744e-05, + "loss": 3.2332298278808596, + "step": 103590 + }, + { + "epoch": 0.068, + "grad_norm": 0.16794560849666595, + "learning_rate": 9.607219967469346e-05, + "loss": 3.326029968261719, + "step": 103600 + }, + { + "epoch": 0.06806666666666666, + "grad_norm": 1.0636405944824219, + "learning_rate": 9.606791594459656e-05, + "loss": 3.3367839813232423, + "step": 103610 + }, + { + "epoch": 0.06813333333333334, + "grad_norm": 0.16972681879997253, + "learning_rate": 9.606362997542497e-05, + "loss": 3.43426628112793, + "step": 103620 + }, + { + "epoch": 0.0682, + "grad_norm": 0.17763224244117737, + "learning_rate": 9.605934176738702e-05, + "loss": 3.1794322967529296, + "step": 103630 + }, + { + "epoch": 0.06826666666666667, + "grad_norm": 0.27817845344543457, + "learning_rate": 9.60550513206911e-05, + "loss": 3.2320110321044924, + "step": 103640 + }, + { + "epoch": 0.06833333333333333, + "grad_norm": 0.17546257376670837, + "learning_rate": 9.605075863554579e-05, + "loss": 3.256380081176758, + "step": 103650 + }, + { + "epoch": 0.0684, + "grad_norm": 0.4330294728279114, + "learning_rate": 9.604646371215966e-05, + "loss": 3.3231510162353515, + "step": 103660 + }, + { + "epoch": 0.06846666666666666, + "grad_norm": 0.16944079101085663, + "learning_rate": 9.604216655074151e-05, + "loss": 3.43016357421875, + "step": 103670 + }, + { + "epoch": 0.06853333333333333, + "grad_norm": 0.18852224946022034, + "learning_rate": 9.60378671515002e-05, + "loss": 3.2603851318359376, + "step": 103680 + }, + { + "epoch": 0.0686, + "grad_norm": 0.1799336075782776, + "learning_rate": 9.60335655146447e-05, + "loss": 3.2705345153808594, + "step": 103690 + }, + { + "epoch": 0.06866666666666667, + "grad_norm": 0.17418649792671204, + "learning_rate": 9.602926164038405e-05, + "loss": 3.234897994995117, + "step": 103700 + }, + { + "epoch": 0.06873333333333333, + "grad_norm": 0.21487200260162354, + "learning_rate": 9.602495552892745e-05, + "loss": 3.3171718597412108, + "step": 103710 + }, + { + "epoch": 0.0688, + "grad_norm": 0.18209777772426605, + "learning_rate": 9.602064718048423e-05, + "loss": 3.4334789276123048, + "step": 103720 + }, + { + "epoch": 0.06886666666666667, + "grad_norm": 0.17250029742717743, + "learning_rate": 9.601633659526373e-05, + "loss": 3.23535041809082, + "step": 103730 + }, + { + "epoch": 0.06893333333333333, + "grad_norm": 0.17271699011325836, + "learning_rate": 9.60120237734755e-05, + "loss": 3.2523075103759767, + "step": 103740 + }, + { + "epoch": 0.069, + "grad_norm": 0.1680082231760025, + "learning_rate": 9.600770871532916e-05, + "loss": 3.2957389831542967, + "step": 103750 + }, + { + "epoch": 0.06906666666666667, + "grad_norm": 0.24388667941093445, + "learning_rate": 9.600339142103441e-05, + "loss": 3.259154510498047, + "step": 103760 + }, + { + "epoch": 0.06913333333333334, + "grad_norm": 0.18223494291305542, + "learning_rate": 9.599907189080113e-05, + "loss": 3.2524391174316407, + "step": 103770 + }, + { + "epoch": 0.0692, + "grad_norm": 0.1887563318014145, + "learning_rate": 9.599475012483923e-05, + "loss": 3.3216575622558593, + "step": 103780 + }, + { + "epoch": 0.06926666666666667, + "grad_norm": 0.30939915776252747, + "learning_rate": 9.599042612335877e-05, + "loss": 3.3030818939208983, + "step": 103790 + }, + { + "epoch": 0.06933333333333333, + "grad_norm": 0.19167962670326233, + "learning_rate": 9.598609988656992e-05, + "loss": 3.2458499908447265, + "step": 103800 + }, + { + "epoch": 0.0694, + "grad_norm": 0.17220568656921387, + "learning_rate": 9.598177141468296e-05, + "loss": 3.1692310333251954, + "step": 103810 + }, + { + "epoch": 0.06946666666666666, + "grad_norm": 0.1960216909646988, + "learning_rate": 9.597744070790826e-05, + "loss": 3.219563293457031, + "step": 103820 + }, + { + "epoch": 0.06953333333333334, + "grad_norm": 0.29524192214012146, + "learning_rate": 9.597310776645629e-05, + "loss": 3.300878143310547, + "step": 103830 + }, + { + "epoch": 0.0696, + "grad_norm": 0.1816003918647766, + "learning_rate": 9.596877259053769e-05, + "loss": 3.2980026245117187, + "step": 103840 + }, + { + "epoch": 0.06966666666666667, + "grad_norm": 0.1706310212612152, + "learning_rate": 9.596443518036313e-05, + "loss": 3.2486602783203127, + "step": 103850 + }, + { + "epoch": 0.06973333333333333, + "grad_norm": 0.18831536173820496, + "learning_rate": 9.596009553614345e-05, + "loss": 3.2845073699951173, + "step": 103860 + }, + { + "epoch": 0.0698, + "grad_norm": 0.1753290295600891, + "learning_rate": 9.595575365808953e-05, + "loss": 3.273313522338867, + "step": 103870 + }, + { + "epoch": 0.06986666666666666, + "grad_norm": 0.1853184700012207, + "learning_rate": 9.595140954641247e-05, + "loss": 3.2448246002197267, + "step": 103880 + }, + { + "epoch": 0.06993333333333333, + "grad_norm": 0.18545493483543396, + "learning_rate": 9.594706320132333e-05, + "loss": 3.2158134460449217, + "step": 103890 + }, + { + "epoch": 0.07, + "grad_norm": 0.17957569658756256, + "learning_rate": 9.594271462303342e-05, + "loss": 3.2409019470214844, + "step": 103900 + }, + { + "epoch": 0.07006666666666667, + "grad_norm": 0.3266254663467407, + "learning_rate": 9.593836381175408e-05, + "loss": 3.337383270263672, + "step": 103910 + }, + { + "epoch": 0.07013333333333334, + "grad_norm": 0.17881178855895996, + "learning_rate": 9.593401076769679e-05, + "loss": 3.242548370361328, + "step": 103920 + }, + { + "epoch": 0.0702, + "grad_norm": 0.2730664610862732, + "learning_rate": 9.592965549107308e-05, + "loss": 3.2602500915527344, + "step": 103930 + }, + { + "epoch": 0.07026666666666667, + "grad_norm": 0.18765117228031158, + "learning_rate": 9.592529798209466e-05, + "loss": 3.2608985900878906, + "step": 103940 + }, + { + "epoch": 0.07033333333333333, + "grad_norm": 0.1810206174850464, + "learning_rate": 9.592093824097335e-05, + "loss": 3.296438980102539, + "step": 103950 + }, + { + "epoch": 0.0704, + "grad_norm": 0.19060072302818298, + "learning_rate": 9.5916576267921e-05, + "loss": 3.2518875122070314, + "step": 103960 + }, + { + "epoch": 0.07046666666666666, + "grad_norm": 0.1931489259004593, + "learning_rate": 9.591221206314965e-05, + "loss": 3.2466373443603516, + "step": 103970 + }, + { + "epoch": 0.07053333333333334, + "grad_norm": 0.1643364131450653, + "learning_rate": 9.59078456268714e-05, + "loss": 3.2824466705322264, + "step": 103980 + }, + { + "epoch": 0.0706, + "grad_norm": 0.9946746230125427, + "learning_rate": 9.590347695929849e-05, + "loss": 3.336544418334961, + "step": 103990 + }, + { + "epoch": 0.07066666666666667, + "grad_norm": 0.23042508959770203, + "learning_rate": 9.589910606064323e-05, + "loss": 3.4883384704589844, + "step": 104000 + }, + { + "epoch": 0.07073333333333333, + "grad_norm": 0.19064530730247498, + "learning_rate": 9.589473293111809e-05, + "loss": 3.2707229614257813, + "step": 104010 + }, + { + "epoch": 0.0708, + "grad_norm": 0.18008007109165192, + "learning_rate": 9.589035757093561e-05, + "loss": 3.2288848876953127, + "step": 104020 + }, + { + "epoch": 0.07086666666666666, + "grad_norm": 0.18725116550922394, + "learning_rate": 9.588597998030844e-05, + "loss": 3.296216583251953, + "step": 104030 + }, + { + "epoch": 0.07093333333333333, + "grad_norm": 0.18550488352775574, + "learning_rate": 9.588160015944939e-05, + "loss": 3.279119873046875, + "step": 104040 + }, + { + "epoch": 0.071, + "grad_norm": 0.16400296986103058, + "learning_rate": 9.587721810857126e-05, + "loss": 3.2855293273925783, + "step": 104050 + }, + { + "epoch": 0.07106666666666667, + "grad_norm": 0.2572838068008423, + "learning_rate": 9.587283382788709e-05, + "loss": 3.3394611358642576, + "step": 104060 + }, + { + "epoch": 0.07113333333333334, + "grad_norm": 0.1971157193183899, + "learning_rate": 9.586844731760995e-05, + "loss": 3.2548709869384767, + "step": 104070 + }, + { + "epoch": 0.0712, + "grad_norm": 0.173478901386261, + "learning_rate": 9.586405857795306e-05, + "loss": 3.300617218017578, + "step": 104080 + }, + { + "epoch": 0.07126666666666667, + "grad_norm": 0.16661249101161957, + "learning_rate": 9.585966760912973e-05, + "loss": 3.2724964141845705, + "step": 104090 + }, + { + "epoch": 0.07133333333333333, + "grad_norm": 0.2127007097005844, + "learning_rate": 9.585527441135334e-05, + "loss": 3.2620948791503905, + "step": 104100 + }, + { + "epoch": 0.0714, + "grad_norm": 0.2016989290714264, + "learning_rate": 9.585087898483746e-05, + "loss": 3.457813262939453, + "step": 104110 + }, + { + "epoch": 0.07146666666666666, + "grad_norm": 0.18986405432224274, + "learning_rate": 9.58464813297957e-05, + "loss": 3.2532196044921875, + "step": 104120 + }, + { + "epoch": 0.07153333333333334, + "grad_norm": 0.1818903088569641, + "learning_rate": 9.58420814464418e-05, + "loss": 3.261556625366211, + "step": 104130 + }, + { + "epoch": 0.0716, + "grad_norm": 0.1746755838394165, + "learning_rate": 9.583767933498964e-05, + "loss": 3.2200271606445314, + "step": 104140 + }, + { + "epoch": 0.07166666666666667, + "grad_norm": 0.21430960297584534, + "learning_rate": 9.583327499565315e-05, + "loss": 3.3041248321533203, + "step": 104150 + }, + { + "epoch": 0.07173333333333333, + "grad_norm": 0.1874508261680603, + "learning_rate": 9.58288684286464e-05, + "loss": 3.289046859741211, + "step": 104160 + }, + { + "epoch": 0.0718, + "grad_norm": 0.1600426882505417, + "learning_rate": 9.582445963418359e-05, + "loss": 3.273111343383789, + "step": 104170 + }, + { + "epoch": 0.07186666666666666, + "grad_norm": 0.18449214100837708, + "learning_rate": 9.582004861247897e-05, + "loss": 3.2267822265625, + "step": 104180 + }, + { + "epoch": 0.07193333333333334, + "grad_norm": 0.18376202881336212, + "learning_rate": 9.581563536374694e-05, + "loss": 3.2144546508789062, + "step": 104190 + }, + { + "epoch": 0.072, + "grad_norm": 0.2142259180545807, + "learning_rate": 9.581121988820203e-05, + "loss": 3.228171539306641, + "step": 104200 + }, + { + "epoch": 0.07206666666666667, + "grad_norm": 0.27300629019737244, + "learning_rate": 9.580680218605881e-05, + "loss": 3.596132278442383, + "step": 104210 + }, + { + "epoch": 0.07213333333333333, + "grad_norm": 0.3733060359954834, + "learning_rate": 9.580238225753204e-05, + "loss": 3.2789966583251955, + "step": 104220 + }, + { + "epoch": 0.0722, + "grad_norm": 0.17282719910144806, + "learning_rate": 9.57979601028365e-05, + "loss": 3.3007049560546875, + "step": 104230 + }, + { + "epoch": 0.07226666666666667, + "grad_norm": 0.25795161724090576, + "learning_rate": 9.579353572218716e-05, + "loss": 3.3210548400878905, + "step": 104240 + }, + { + "epoch": 0.07233333333333333, + "grad_norm": 0.18702687323093414, + "learning_rate": 9.578910911579904e-05, + "loss": 3.2821197509765625, + "step": 104250 + }, + { + "epoch": 0.0724, + "grad_norm": 0.18487998843193054, + "learning_rate": 9.578468028388729e-05, + "loss": 3.232279968261719, + "step": 104260 + }, + { + "epoch": 0.07246666666666667, + "grad_norm": 0.2070157676935196, + "learning_rate": 9.578024922666717e-05, + "loss": 3.2749462127685547, + "step": 104270 + }, + { + "epoch": 0.07253333333333334, + "grad_norm": 0.5809149146080017, + "learning_rate": 9.577581594435406e-05, + "loss": 3.328290557861328, + "step": 104280 + }, + { + "epoch": 0.0726, + "grad_norm": 0.1749495565891266, + "learning_rate": 9.577138043716342e-05, + "loss": 3.254985046386719, + "step": 104290 + }, + { + "epoch": 0.07266666666666667, + "grad_norm": 0.16799384355545044, + "learning_rate": 9.576694270531083e-05, + "loss": 3.2917835235595705, + "step": 104300 + }, + { + "epoch": 0.07273333333333333, + "grad_norm": 0.1776348203420639, + "learning_rate": 9.5762502749012e-05, + "loss": 3.3126197814941407, + "step": 104310 + }, + { + "epoch": 0.0728, + "grad_norm": 0.18124128878116608, + "learning_rate": 9.575806056848271e-05, + "loss": 3.250205230712891, + "step": 104320 + }, + { + "epoch": 0.07286666666666666, + "grad_norm": 0.19141705334186554, + "learning_rate": 9.575361616393887e-05, + "loss": 3.284702682495117, + "step": 104330 + }, + { + "epoch": 0.07293333333333334, + "grad_norm": 0.18322788178920746, + "learning_rate": 9.574916953559649e-05, + "loss": 3.2574111938476564, + "step": 104340 + }, + { + "epoch": 0.073, + "grad_norm": 0.19036279618740082, + "learning_rate": 9.574472068367171e-05, + "loss": 3.193827247619629, + "step": 104350 + }, + { + "epoch": 0.07306666666666667, + "grad_norm": 0.22443412244319916, + "learning_rate": 9.574026960838075e-05, + "loss": 3.354604721069336, + "step": 104360 + }, + { + "epoch": 0.07313333333333333, + "grad_norm": 0.16642139852046967, + "learning_rate": 9.573581630993995e-05, + "loss": 3.3459991455078124, + "step": 104370 + }, + { + "epoch": 0.0732, + "grad_norm": 0.18798373639583588, + "learning_rate": 9.573136078856575e-05, + "loss": 3.238303375244141, + "step": 104380 + }, + { + "epoch": 0.07326666666666666, + "grad_norm": 0.16786393523216248, + "learning_rate": 9.572690304447471e-05, + "loss": 3.2358875274658203, + "step": 104390 + }, + { + "epoch": 0.07333333333333333, + "grad_norm": 0.16350562870502472, + "learning_rate": 9.572244307788352e-05, + "loss": 3.234714889526367, + "step": 104400 + }, + { + "epoch": 0.0734, + "grad_norm": 0.16234862804412842, + "learning_rate": 9.57179808890089e-05, + "loss": 3.226913833618164, + "step": 104410 + }, + { + "epoch": 0.07346666666666667, + "grad_norm": 0.7597988247871399, + "learning_rate": 9.571351647806776e-05, + "loss": 2.938052177429199, + "step": 104420 + }, + { + "epoch": 0.07353333333333334, + "grad_norm": 0.18713238835334778, + "learning_rate": 9.570904984527709e-05, + "loss": 3.265636444091797, + "step": 104430 + }, + { + "epoch": 0.0736, + "grad_norm": 0.1807105988264084, + "learning_rate": 9.570458099085398e-05, + "loss": 3.3065601348876954, + "step": 104440 + }, + { + "epoch": 0.07366666666666667, + "grad_norm": 0.1824122965335846, + "learning_rate": 9.570010991501563e-05, + "loss": 3.253279113769531, + "step": 104450 + }, + { + "epoch": 0.07373333333333333, + "grad_norm": 0.18600958585739136, + "learning_rate": 9.569563661797935e-05, + "loss": 3.2684661865234377, + "step": 104460 + }, + { + "epoch": 0.0738, + "grad_norm": 0.17206113040447235, + "learning_rate": 9.569116109996256e-05, + "loss": 3.2823272705078126, + "step": 104470 + }, + { + "epoch": 0.07386666666666666, + "grad_norm": 0.22594507038593292, + "learning_rate": 9.568668336118278e-05, + "loss": 3.230610656738281, + "step": 104480 + }, + { + "epoch": 0.07393333333333334, + "grad_norm": 0.18189068138599396, + "learning_rate": 9.568220340185768e-05, + "loss": 3.29044189453125, + "step": 104490 + }, + { + "epoch": 0.074, + "grad_norm": 0.16147229075431824, + "learning_rate": 9.567772122220495e-05, + "loss": 3.2405750274658205, + "step": 104500 + }, + { + "epoch": 0.07406666666666667, + "grad_norm": 0.19718214869499207, + "learning_rate": 9.567323682244248e-05, + "loss": 3.2257339477539064, + "step": 104510 + }, + { + "epoch": 0.07413333333333333, + "grad_norm": 0.1904936134815216, + "learning_rate": 9.566875020278822e-05, + "loss": 3.465182876586914, + "step": 104520 + }, + { + "epoch": 0.0742, + "grad_norm": 0.17245836555957794, + "learning_rate": 9.566426136346022e-05, + "loss": 3.3208179473876953, + "step": 104530 + }, + { + "epoch": 0.07426666666666666, + "grad_norm": 0.18593056499958038, + "learning_rate": 9.565977030467668e-05, + "loss": 3.2805084228515624, + "step": 104540 + }, + { + "epoch": 0.07433333333333333, + "grad_norm": 0.1919175088405609, + "learning_rate": 9.565527702665587e-05, + "loss": 3.2116725921630858, + "step": 104550 + }, + { + "epoch": 0.0744, + "grad_norm": 0.1729540377855301, + "learning_rate": 9.565078152961618e-05, + "loss": 3.2589694976806642, + "step": 104560 + }, + { + "epoch": 0.07446666666666667, + "grad_norm": 0.16869677603244781, + "learning_rate": 9.56462838137761e-05, + "loss": 3.236023712158203, + "step": 104570 + }, + { + "epoch": 0.07453333333333333, + "grad_norm": 0.1807403862476349, + "learning_rate": 9.564178387935425e-05, + "loss": 3.2539928436279295, + "step": 104580 + }, + { + "epoch": 0.0746, + "grad_norm": 0.19483767449855804, + "learning_rate": 9.563728172656934e-05, + "loss": 3.2843158721923826, + "step": 104590 + }, + { + "epoch": 0.07466666666666667, + "grad_norm": 0.16414682567119598, + "learning_rate": 9.563277735564018e-05, + "loss": 3.2530048370361326, + "step": 104600 + }, + { + "epoch": 0.07473333333333333, + "grad_norm": 0.17174701392650604, + "learning_rate": 9.562827076678572e-05, + "loss": 3.2954750061035156, + "step": 104610 + }, + { + "epoch": 0.0748, + "grad_norm": 0.1698242872953415, + "learning_rate": 9.562376196022498e-05, + "loss": 3.2893924713134766, + "step": 104620 + }, + { + "epoch": 0.07486666666666666, + "grad_norm": 0.18751581013202667, + "learning_rate": 9.561925093617712e-05, + "loss": 3.278823471069336, + "step": 104630 + }, + { + "epoch": 0.07493333333333334, + "grad_norm": 0.2033078521490097, + "learning_rate": 9.561473769486138e-05, + "loss": 3.2243511199951174, + "step": 104640 + }, + { + "epoch": 0.075, + "grad_norm": 0.17238447070121765, + "learning_rate": 9.561022223649712e-05, + "loss": 3.2133033752441404, + "step": 104650 + }, + { + "epoch": 0.07506666666666667, + "grad_norm": 0.17938381433486938, + "learning_rate": 9.560570456130382e-05, + "loss": 3.2306884765625, + "step": 104660 + }, + { + "epoch": 0.07513333333333333, + "grad_norm": 0.19667799770832062, + "learning_rate": 9.560118466950105e-05, + "loss": 3.225042724609375, + "step": 104670 + }, + { + "epoch": 0.0752, + "grad_norm": 0.18446427583694458, + "learning_rate": 9.559666256130848e-05, + "loss": 3.2688247680664064, + "step": 104680 + }, + { + "epoch": 0.07526666666666666, + "grad_norm": 0.42311593890190125, + "learning_rate": 9.559213823694593e-05, + "loss": 3.4373592376708983, + "step": 104690 + }, + { + "epoch": 0.07533333333333334, + "grad_norm": 0.17362354695796967, + "learning_rate": 9.558761169663328e-05, + "loss": 3.270587158203125, + "step": 104700 + }, + { + "epoch": 0.0754, + "grad_norm": 0.17564018070697784, + "learning_rate": 9.558308294059054e-05, + "loss": 3.360302734375, + "step": 104710 + }, + { + "epoch": 0.07546666666666667, + "grad_norm": 0.1744222193956375, + "learning_rate": 9.557855196903782e-05, + "loss": 3.2840927124023436, + "step": 104720 + }, + { + "epoch": 0.07553333333333333, + "grad_norm": 0.18626278638839722, + "learning_rate": 9.557401878219537e-05, + "loss": 3.2657958984375, + "step": 104730 + }, + { + "epoch": 0.0756, + "grad_norm": 0.18402379751205444, + "learning_rate": 9.556948338028348e-05, + "loss": 3.1266496658325194, + "step": 104740 + }, + { + "epoch": 0.07566666666666666, + "grad_norm": 0.17413465678691864, + "learning_rate": 9.55649457635226e-05, + "loss": 3.2065498352050783, + "step": 104750 + }, + { + "epoch": 0.07573333333333333, + "grad_norm": 0.22483965754508972, + "learning_rate": 9.556040593213328e-05, + "loss": 3.2719036102294923, + "step": 104760 + }, + { + "epoch": 0.0758, + "grad_norm": 0.17098771035671234, + "learning_rate": 9.55558638863362e-05, + "loss": 3.254182815551758, + "step": 104770 + }, + { + "epoch": 0.07586666666666667, + "grad_norm": 0.17474229633808136, + "learning_rate": 9.555131962635206e-05, + "loss": 3.2698135375976562, + "step": 104780 + }, + { + "epoch": 0.07593333333333334, + "grad_norm": 0.169650599360466, + "learning_rate": 9.554677315240178e-05, + "loss": 3.2651603698730467, + "step": 104790 + }, + { + "epoch": 0.076, + "grad_norm": 0.18649093806743622, + "learning_rate": 9.554222446470632e-05, + "loss": 3.217290496826172, + "step": 104800 + }, + { + "epoch": 0.07606666666666667, + "grad_norm": 0.1752753108739853, + "learning_rate": 9.553767356348677e-05, + "loss": 3.2471435546875, + "step": 104810 + }, + { + "epoch": 0.07613333333333333, + "grad_norm": 0.5352494120597839, + "learning_rate": 9.55331204489643e-05, + "loss": 3.2508922576904298, + "step": 104820 + }, + { + "epoch": 0.0762, + "grad_norm": 0.22728674113750458, + "learning_rate": 9.552856512136021e-05, + "loss": 3.3102378845214844, + "step": 104830 + }, + { + "epoch": 0.07626666666666666, + "grad_norm": 0.16458432376384735, + "learning_rate": 9.552400758089594e-05, + "loss": 3.264999771118164, + "step": 104840 + }, + { + "epoch": 0.07633333333333334, + "grad_norm": 0.179599329829216, + "learning_rate": 9.551944782779296e-05, + "loss": 3.243885040283203, + "step": 104850 + }, + { + "epoch": 0.0764, + "grad_norm": 0.1681358814239502, + "learning_rate": 9.551488586227294e-05, + "loss": 3.234059143066406, + "step": 104860 + }, + { + "epoch": 0.07646666666666667, + "grad_norm": 0.17391042411327362, + "learning_rate": 9.551032168455756e-05, + "loss": 3.2527355194091796, + "step": 104870 + }, + { + "epoch": 0.07653333333333333, + "grad_norm": 0.18539975583553314, + "learning_rate": 9.550575529486867e-05, + "loss": 3.257044219970703, + "step": 104880 + }, + { + "epoch": 0.0766, + "grad_norm": 0.1764518767595291, + "learning_rate": 9.550118669342825e-05, + "loss": 3.289204788208008, + "step": 104890 + }, + { + "epoch": 0.07666666666666666, + "grad_norm": 0.1865970641374588, + "learning_rate": 9.54966158804583e-05, + "loss": 3.2388885498046873, + "step": 104900 + }, + { + "epoch": 0.07673333333333333, + "grad_norm": 0.20839735865592957, + "learning_rate": 9.5492042856181e-05, + "loss": 3.240564727783203, + "step": 104910 + }, + { + "epoch": 0.0768, + "grad_norm": 0.1886114776134491, + "learning_rate": 9.548746762081863e-05, + "loss": 3.2396900177001955, + "step": 104920 + }, + { + "epoch": 0.07686666666666667, + "grad_norm": 0.18824899196624756, + "learning_rate": 9.548289017459355e-05, + "loss": 3.2984897613525392, + "step": 104930 + }, + { + "epoch": 0.07693333333333334, + "grad_norm": 0.16267135739326477, + "learning_rate": 9.547831051772823e-05, + "loss": 3.2399871826171873, + "step": 104940 + }, + { + "epoch": 0.077, + "grad_norm": 0.17010027170181274, + "learning_rate": 9.547372865044528e-05, + "loss": 3.2356422424316404, + "step": 104950 + }, + { + "epoch": 0.07706666666666667, + "grad_norm": 0.16866494715213776, + "learning_rate": 9.546914457296738e-05, + "loss": 3.292099380493164, + "step": 104960 + }, + { + "epoch": 0.07713333333333333, + "grad_norm": 0.19142548739910126, + "learning_rate": 9.546455828551735e-05, + "loss": 3.160141944885254, + "step": 104970 + }, + { + "epoch": 0.0772, + "grad_norm": 0.18838684260845184, + "learning_rate": 9.54599697883181e-05, + "loss": 3.2982322692871096, + "step": 104980 + }, + { + "epoch": 0.07726666666666666, + "grad_norm": 0.1702679991722107, + "learning_rate": 9.545537908159261e-05, + "loss": 3.2336936950683595, + "step": 104990 + }, + { + "epoch": 0.07733333333333334, + "grad_norm": 0.23448461294174194, + "learning_rate": 9.545078616556406e-05, + "loss": 3.1953758239746093, + "step": 105000 + }, + { + "epoch": 0.0774, + "grad_norm": 0.16919133067131042, + "learning_rate": 9.544619104045565e-05, + "loss": 3.215805435180664, + "step": 105010 + }, + { + "epoch": 0.07746666666666667, + "grad_norm": 0.22399018704891205, + "learning_rate": 9.544159370649073e-05, + "loss": 3.2653568267822264, + "step": 105020 + }, + { + "epoch": 0.07753333333333333, + "grad_norm": 0.18972884118556976, + "learning_rate": 9.543699416389276e-05, + "loss": 3.2743556976318358, + "step": 105030 + }, + { + "epoch": 0.0776, + "grad_norm": 0.19205254316329956, + "learning_rate": 9.543239241288526e-05, + "loss": 3.248259735107422, + "step": 105040 + }, + { + "epoch": 0.07766666666666666, + "grad_norm": 0.16889232397079468, + "learning_rate": 9.542778845369192e-05, + "loss": 3.1537269592285155, + "step": 105050 + }, + { + "epoch": 0.07773333333333333, + "grad_norm": 0.16967330873012543, + "learning_rate": 9.54231822865365e-05, + "loss": 3.2150222778320314, + "step": 105060 + }, + { + "epoch": 0.0778, + "grad_norm": 0.19127407670021057, + "learning_rate": 9.54185739116429e-05, + "loss": 3.2893802642822267, + "step": 105070 + }, + { + "epoch": 0.07786666666666667, + "grad_norm": 0.17100760340690613, + "learning_rate": 9.541396332923507e-05, + "loss": 3.245082473754883, + "step": 105080 + }, + { + "epoch": 0.07793333333333333, + "grad_norm": 0.1979450136423111, + "learning_rate": 9.540935053953713e-05, + "loss": 3.3681560516357423, + "step": 105090 + }, + { + "epoch": 0.078, + "grad_norm": 0.19073964655399323, + "learning_rate": 9.540473554277325e-05, + "loss": 3.2612743377685547, + "step": 105100 + }, + { + "epoch": 0.07806666666666667, + "grad_norm": 0.16988885402679443, + "learning_rate": 9.540011833916777e-05, + "loss": 3.2788227081298826, + "step": 105110 + }, + { + "epoch": 0.07813333333333333, + "grad_norm": 0.1673768013715744, + "learning_rate": 9.539549892894506e-05, + "loss": 3.2335433959960938, + "step": 105120 + }, + { + "epoch": 0.0782, + "grad_norm": 0.20793947577476501, + "learning_rate": 9.53908773123297e-05, + "loss": 3.266001892089844, + "step": 105130 + }, + { + "epoch": 0.07826666666666666, + "grad_norm": 0.19362354278564453, + "learning_rate": 9.538625348954626e-05, + "loss": 3.2456005096435545, + "step": 105140 + }, + { + "epoch": 0.07833333333333334, + "grad_norm": 0.17328383028507233, + "learning_rate": 9.538162746081951e-05, + "loss": 3.233335494995117, + "step": 105150 + }, + { + "epoch": 0.0784, + "grad_norm": 0.19509351253509521, + "learning_rate": 9.537699922637428e-05, + "loss": 3.22266845703125, + "step": 105160 + }, + { + "epoch": 0.07846666666666667, + "grad_norm": 0.18734419345855713, + "learning_rate": 9.537236878643553e-05, + "loss": 3.342510223388672, + "step": 105170 + }, + { + "epoch": 0.07853333333333333, + "grad_norm": 0.19318532943725586, + "learning_rate": 9.536773614122831e-05, + "loss": 3.2832561492919923, + "step": 105180 + }, + { + "epoch": 0.0786, + "grad_norm": 0.18289333581924438, + "learning_rate": 9.536310129097776e-05, + "loss": 3.27650146484375, + "step": 105190 + }, + { + "epoch": 0.07866666666666666, + "grad_norm": 0.1575540453195572, + "learning_rate": 9.53584642359092e-05, + "loss": 3.222021484375, + "step": 105200 + }, + { + "epoch": 0.07873333333333334, + "grad_norm": 0.18135282397270203, + "learning_rate": 9.535382497624798e-05, + "loss": 3.2280223846435545, + "step": 105210 + }, + { + "epoch": 0.0788, + "grad_norm": 0.1706049144268036, + "learning_rate": 9.534918351221958e-05, + "loss": 3.24902458190918, + "step": 105220 + }, + { + "epoch": 0.07886666666666667, + "grad_norm": 0.17318592965602875, + "learning_rate": 9.534453984404959e-05, + "loss": 3.215680694580078, + "step": 105230 + }, + { + "epoch": 0.07893333333333333, + "grad_norm": 0.16937319934368134, + "learning_rate": 9.533989397196375e-05, + "loss": 3.2385398864746096, + "step": 105240 + }, + { + "epoch": 0.079, + "grad_norm": 0.17280720174312592, + "learning_rate": 9.53352458961878e-05, + "loss": 3.2544551849365235, + "step": 105250 + }, + { + "epoch": 0.07906666666666666, + "grad_norm": 0.18932600319385529, + "learning_rate": 9.533059561694773e-05, + "loss": 3.2223743438720702, + "step": 105260 + }, + { + "epoch": 0.07913333333333333, + "grad_norm": 0.1711229681968689, + "learning_rate": 9.53259431344695e-05, + "loss": 3.3224369049072267, + "step": 105270 + }, + { + "epoch": 0.0792, + "grad_norm": 0.17960943281650543, + "learning_rate": 9.532128844897928e-05, + "loss": 3.380161666870117, + "step": 105280 + }, + { + "epoch": 0.07926666666666667, + "grad_norm": 0.1798854023218155, + "learning_rate": 9.531663156070328e-05, + "loss": 3.2185443878173827, + "step": 105290 + }, + { + "epoch": 0.07933333333333334, + "grad_norm": 0.22125165164470673, + "learning_rate": 9.531197246986783e-05, + "loss": 3.2053607940673827, + "step": 105300 + }, + { + "epoch": 0.0794, + "grad_norm": 0.1939435452222824, + "learning_rate": 9.530731117669941e-05, + "loss": 3.222276306152344, + "step": 105310 + }, + { + "epoch": 0.07946666666666667, + "grad_norm": 0.18355141580104828, + "learning_rate": 9.530264768142456e-05, + "loss": 3.358594512939453, + "step": 105320 + }, + { + "epoch": 0.07953333333333333, + "grad_norm": 0.16745807230472565, + "learning_rate": 9.529798198426996e-05, + "loss": 3.2652664184570312, + "step": 105330 + }, + { + "epoch": 0.0796, + "grad_norm": 0.18737535178661346, + "learning_rate": 9.529331408546236e-05, + "loss": 3.304409408569336, + "step": 105340 + }, + { + "epoch": 0.07966666666666666, + "grad_norm": 0.1655913144350052, + "learning_rate": 9.528864398522865e-05, + "loss": 3.2832141876220704, + "step": 105350 + }, + { + "epoch": 0.07973333333333334, + "grad_norm": 0.20039567351341248, + "learning_rate": 9.528397168379582e-05, + "loss": 3.215257263183594, + "step": 105360 + }, + { + "epoch": 0.0798, + "grad_norm": 0.1688700169324875, + "learning_rate": 9.527929718139094e-05, + "loss": 3.1856159210205077, + "step": 105370 + }, + { + "epoch": 0.07986666666666667, + "grad_norm": 0.1823968142271042, + "learning_rate": 9.527462047824122e-05, + "loss": 3.2909549713134765, + "step": 105380 + }, + { + "epoch": 0.07993333333333333, + "grad_norm": 0.21341656148433685, + "learning_rate": 9.526994157457398e-05, + "loss": 3.2788909912109374, + "step": 105390 + }, + { + "epoch": 0.08, + "grad_norm": 0.17018529772758484, + "learning_rate": 9.52652604706166e-05, + "loss": 3.299388122558594, + "step": 105400 + }, + { + "epoch": 0.08006666666666666, + "grad_norm": 0.18481507897377014, + "learning_rate": 9.526057716659663e-05, + "loss": 3.2422412872314452, + "step": 105410 + }, + { + "epoch": 0.08013333333333333, + "grad_norm": 0.17850187420845032, + "learning_rate": 9.525589166274167e-05, + "loss": 3.2116355895996094, + "step": 105420 + }, + { + "epoch": 0.0802, + "grad_norm": 0.17312517762184143, + "learning_rate": 9.525120395927949e-05, + "loss": 3.2149589538574217, + "step": 105430 + }, + { + "epoch": 0.08026666666666667, + "grad_norm": 0.16819007694721222, + "learning_rate": 9.524651405643788e-05, + "loss": 3.239655685424805, + "step": 105440 + }, + { + "epoch": 0.08033333333333334, + "grad_norm": 0.17067621648311615, + "learning_rate": 9.524182195444485e-05, + "loss": 3.212749481201172, + "step": 105450 + }, + { + "epoch": 0.0804, + "grad_norm": 0.16195814311504364, + "learning_rate": 9.52371276535284e-05, + "loss": 3.2273277282714843, + "step": 105460 + }, + { + "epoch": 0.08046666666666667, + "grad_norm": 0.20392252504825592, + "learning_rate": 9.523243115391669e-05, + "loss": 3.252925491333008, + "step": 105470 + }, + { + "epoch": 0.08053333333333333, + "grad_norm": 0.17169851064682007, + "learning_rate": 9.522773245583802e-05, + "loss": 3.2644073486328127, + "step": 105480 + }, + { + "epoch": 0.0806, + "grad_norm": 0.1827407330274582, + "learning_rate": 9.522303155952076e-05, + "loss": 3.2574699401855467, + "step": 105490 + }, + { + "epoch": 0.08066666666666666, + "grad_norm": 0.18752069771289825, + "learning_rate": 9.521832846519337e-05, + "loss": 3.225633239746094, + "step": 105500 + }, + { + "epoch": 0.08073333333333334, + "grad_norm": 0.1657979041337967, + "learning_rate": 9.521362317308446e-05, + "loss": 3.2537521362304687, + "step": 105510 + }, + { + "epoch": 0.0808, + "grad_norm": 0.1755383312702179, + "learning_rate": 9.520891568342272e-05, + "loss": 3.3080459594726563, + "step": 105520 + }, + { + "epoch": 0.08086666666666667, + "grad_norm": 0.17602203786373138, + "learning_rate": 9.520420599643694e-05, + "loss": 3.262152099609375, + "step": 105530 + }, + { + "epoch": 0.08093333333333333, + "grad_norm": 0.2159615457057953, + "learning_rate": 9.519949411235602e-05, + "loss": 3.253015899658203, + "step": 105540 + }, + { + "epoch": 0.081, + "grad_norm": 0.17209331691265106, + "learning_rate": 9.519478003140902e-05, + "loss": 3.247713088989258, + "step": 105550 + }, + { + "epoch": 0.08106666666666666, + "grad_norm": 0.18219690024852753, + "learning_rate": 9.519006375382502e-05, + "loss": 3.2508270263671877, + "step": 105560 + }, + { + "epoch": 0.08113333333333334, + "grad_norm": 0.1587882786989212, + "learning_rate": 9.518534527983327e-05, + "loss": 3.247677230834961, + "step": 105570 + }, + { + "epoch": 0.0812, + "grad_norm": 0.16423359513282776, + "learning_rate": 9.518062460966308e-05, + "loss": 3.221887969970703, + "step": 105580 + }, + { + "epoch": 0.08126666666666667, + "grad_norm": 0.17331062257289886, + "learning_rate": 9.517590174354391e-05, + "loss": 3.181007957458496, + "step": 105590 + }, + { + "epoch": 0.08133333333333333, + "grad_norm": 0.20870816707611084, + "learning_rate": 9.517117668170533e-05, + "loss": 3.194619369506836, + "step": 105600 + }, + { + "epoch": 0.0814, + "grad_norm": 0.16957353055477142, + "learning_rate": 9.516644942437696e-05, + "loss": 3.144313430786133, + "step": 105610 + }, + { + "epoch": 0.08146666666666667, + "grad_norm": 0.19391357898712158, + "learning_rate": 9.51617199717886e-05, + "loss": 3.221304702758789, + "step": 105620 + }, + { + "epoch": 0.08153333333333333, + "grad_norm": 0.1715494841337204, + "learning_rate": 9.515698832417007e-05, + "loss": 3.2435317993164063, + "step": 105630 + }, + { + "epoch": 0.0816, + "grad_norm": 0.17386266589164734, + "learning_rate": 9.515225448175139e-05, + "loss": 3.246813201904297, + "step": 105640 + }, + { + "epoch": 0.08166666666666667, + "grad_norm": 0.16692717373371124, + "learning_rate": 9.514751844476261e-05, + "loss": 3.236827850341797, + "step": 105650 + }, + { + "epoch": 0.08173333333333334, + "grad_norm": 0.22002141177654266, + "learning_rate": 9.514278021343394e-05, + "loss": 3.2431640625, + "step": 105660 + }, + { + "epoch": 0.0818, + "grad_norm": 0.17640328407287598, + "learning_rate": 9.513803978799569e-05, + "loss": 3.2286350250244142, + "step": 105670 + }, + { + "epoch": 0.08186666666666667, + "grad_norm": 0.18189987540245056, + "learning_rate": 9.513329716867823e-05, + "loss": 3.2583282470703123, + "step": 105680 + }, + { + "epoch": 0.08193333333333333, + "grad_norm": 0.4795152246952057, + "learning_rate": 9.512855235571207e-05, + "loss": 3.298502731323242, + "step": 105690 + }, + { + "epoch": 0.082, + "grad_norm": 0.188132643699646, + "learning_rate": 9.512380534932785e-05, + "loss": 3.2853282928466796, + "step": 105700 + }, + { + "epoch": 0.08206666666666666, + "grad_norm": 0.17392274737358093, + "learning_rate": 9.51190561497563e-05, + "loss": 3.272445297241211, + "step": 105710 + }, + { + "epoch": 0.08213333333333334, + "grad_norm": 0.18580321967601776, + "learning_rate": 9.51143047572282e-05, + "loss": 3.275166702270508, + "step": 105720 + }, + { + "epoch": 0.0822, + "grad_norm": 0.18472038209438324, + "learning_rate": 9.510955117197452e-05, + "loss": 3.227761077880859, + "step": 105730 + }, + { + "epoch": 0.08226666666666667, + "grad_norm": 0.19168642163276672, + "learning_rate": 9.51047953942263e-05, + "loss": 3.287099075317383, + "step": 105740 + }, + { + "epoch": 0.08233333333333333, + "grad_norm": 0.18474842607975006, + "learning_rate": 9.51000374242147e-05, + "loss": 3.232560729980469, + "step": 105750 + }, + { + "epoch": 0.0824, + "grad_norm": 0.16973643004894257, + "learning_rate": 9.509527726217096e-05, + "loss": 3.2212974548339846, + "step": 105760 + }, + { + "epoch": 0.08246666666666666, + "grad_norm": 0.20722751319408417, + "learning_rate": 9.509051490832643e-05, + "loss": 3.283345413208008, + "step": 105770 + }, + { + "epoch": 0.08253333333333333, + "grad_norm": 0.1840304136276245, + "learning_rate": 9.50857503629126e-05, + "loss": 3.302739715576172, + "step": 105780 + }, + { + "epoch": 0.0826, + "grad_norm": 0.1799536645412445, + "learning_rate": 9.508098362616102e-05, + "loss": 3.235676956176758, + "step": 105790 + }, + { + "epoch": 0.08266666666666667, + "grad_norm": 0.16596052050590515, + "learning_rate": 9.507621469830342e-05, + "loss": 3.201326370239258, + "step": 105800 + }, + { + "epoch": 0.08273333333333334, + "grad_norm": 0.17189835011959076, + "learning_rate": 9.507144357957154e-05, + "loss": 3.237584686279297, + "step": 105810 + }, + { + "epoch": 0.0828, + "grad_norm": 0.18697744607925415, + "learning_rate": 9.506667027019728e-05, + "loss": 3.1942859649658204, + "step": 105820 + }, + { + "epoch": 0.08286666666666667, + "grad_norm": 0.2001459151506424, + "learning_rate": 9.506189477041267e-05, + "loss": 3.258147430419922, + "step": 105830 + }, + { + "epoch": 0.08293333333333333, + "grad_norm": 0.2114773690700531, + "learning_rate": 9.50571170804498e-05, + "loss": 3.2456268310546874, + "step": 105840 + }, + { + "epoch": 0.083, + "grad_norm": 0.1901511400938034, + "learning_rate": 9.505233720054087e-05, + "loss": 3.233293914794922, + "step": 105850 + }, + { + "epoch": 0.08306666666666666, + "grad_norm": 0.17879270017147064, + "learning_rate": 9.50475551309182e-05, + "loss": 3.301906204223633, + "step": 105860 + }, + { + "epoch": 0.08313333333333334, + "grad_norm": 0.17531050741672516, + "learning_rate": 9.504277087181426e-05, + "loss": 3.2139339447021484, + "step": 105870 + }, + { + "epoch": 0.0832, + "grad_norm": 0.18858902156352997, + "learning_rate": 9.503798442346154e-05, + "loss": 3.248404693603516, + "step": 105880 + }, + { + "epoch": 0.08326666666666667, + "grad_norm": 0.1629534363746643, + "learning_rate": 9.503319578609268e-05, + "loss": 3.2229682922363283, + "step": 105890 + }, + { + "epoch": 0.08333333333333333, + "grad_norm": 0.17964892089366913, + "learning_rate": 9.502840495994046e-05, + "loss": 3.2886451721191405, + "step": 105900 + }, + { + "epoch": 0.0834, + "grad_norm": 0.1743745058774948, + "learning_rate": 9.50236119452377e-05, + "loss": 3.23173828125, + "step": 105910 + }, + { + "epoch": 0.08346666666666666, + "grad_norm": 0.18096038699150085, + "learning_rate": 9.501881674221736e-05, + "loss": 3.236540603637695, + "step": 105920 + }, + { + "epoch": 0.08353333333333333, + "grad_norm": 0.189070463180542, + "learning_rate": 9.501401935111253e-05, + "loss": 3.2342674255371096, + "step": 105930 + }, + { + "epoch": 0.0836, + "grad_norm": 0.18141844868659973, + "learning_rate": 9.500921977215635e-05, + "loss": 3.2335845947265627, + "step": 105940 + }, + { + "epoch": 0.08366666666666667, + "grad_norm": 0.19833621382713318, + "learning_rate": 9.500441800558213e-05, + "loss": 3.2577590942382812, + "step": 105950 + }, + { + "epoch": 0.08373333333333334, + "grad_norm": 0.19845394790172577, + "learning_rate": 9.49996140516232e-05, + "loss": 3.255332183837891, + "step": 105960 + }, + { + "epoch": 0.0838, + "grad_norm": 0.17912058532238007, + "learning_rate": 9.499480791051313e-05, + "loss": 3.194189453125, + "step": 105970 + }, + { + "epoch": 0.08386666666666667, + "grad_norm": 0.18199682235717773, + "learning_rate": 9.498999958248546e-05, + "loss": 3.2616573333740235, + "step": 105980 + }, + { + "epoch": 0.08393333333333333, + "grad_norm": 0.19343431293964386, + "learning_rate": 9.498518906777389e-05, + "loss": 3.173295593261719, + "step": 105990 + }, + { + "epoch": 0.084, + "grad_norm": 0.17379596829414368, + "learning_rate": 9.498037636661228e-05, + "loss": 3.229732894897461, + "step": 106000 + }, + { + "epoch": 0.08406666666666666, + "grad_norm": 0.18641693890094757, + "learning_rate": 9.497556147923448e-05, + "loss": 3.211537551879883, + "step": 106010 + }, + { + "epoch": 0.08413333333333334, + "grad_norm": 0.18123702704906464, + "learning_rate": 9.497074440587456e-05, + "loss": 3.207011032104492, + "step": 106020 + }, + { + "epoch": 0.0842, + "grad_norm": 0.16698431968688965, + "learning_rate": 9.49659251467666e-05, + "loss": 3.2607154846191406, + "step": 106030 + }, + { + "epoch": 0.08426666666666667, + "grad_norm": 0.17267490923404694, + "learning_rate": 9.496110370214491e-05, + "loss": 3.31190185546875, + "step": 106040 + }, + { + "epoch": 0.08433333333333333, + "grad_norm": 0.16868606209754944, + "learning_rate": 9.495628007224375e-05, + "loss": 3.2002933502197264, + "step": 106050 + }, + { + "epoch": 0.0844, + "grad_norm": 0.18253079056739807, + "learning_rate": 9.495145425729764e-05, + "loss": 3.1966926574707033, + "step": 106060 + }, + { + "epoch": 0.08446666666666666, + "grad_norm": 0.16859881579875946, + "learning_rate": 9.494662625754106e-05, + "loss": 3.353255844116211, + "step": 106070 + }, + { + "epoch": 0.08453333333333334, + "grad_norm": 0.17098337411880493, + "learning_rate": 9.494179607320872e-05, + "loss": 3.2222431182861326, + "step": 106080 + }, + { + "epoch": 0.0846, + "grad_norm": 0.34647631645202637, + "learning_rate": 9.493696370453535e-05, + "loss": 3.2280696868896483, + "step": 106090 + }, + { + "epoch": 0.08466666666666667, + "grad_norm": 0.1710755079984665, + "learning_rate": 9.493212915175586e-05, + "loss": 3.1738265991210937, + "step": 106100 + }, + { + "epoch": 0.08473333333333333, + "grad_norm": 0.2445901483297348, + "learning_rate": 9.492729241510521e-05, + "loss": 3.23153076171875, + "step": 106110 + }, + { + "epoch": 0.0848, + "grad_norm": 0.1866326779127121, + "learning_rate": 9.492245349481848e-05, + "loss": 3.2204212188720702, + "step": 106120 + }, + { + "epoch": 0.08486666666666667, + "grad_norm": 0.17494656145572662, + "learning_rate": 9.491761239113085e-05, + "loss": 3.2349266052246093, + "step": 106130 + }, + { + "epoch": 0.08493333333333333, + "grad_norm": 0.19977618753910065, + "learning_rate": 9.491276910427764e-05, + "loss": 3.2264862060546875, + "step": 106140 + }, + { + "epoch": 0.085, + "grad_norm": 0.19955949485301971, + "learning_rate": 9.490792363449424e-05, + "loss": 3.1959508895874023, + "step": 106150 + }, + { + "epoch": 0.08506666666666667, + "grad_norm": 0.1895098090171814, + "learning_rate": 9.490307598201613e-05, + "loss": 3.2397342681884767, + "step": 106160 + }, + { + "epoch": 0.08513333333333334, + "grad_norm": 0.17948780953884125, + "learning_rate": 9.489822614707897e-05, + "loss": 3.305650329589844, + "step": 106170 + }, + { + "epoch": 0.0852, + "grad_norm": 0.16857461631298065, + "learning_rate": 9.489337412991848e-05, + "loss": 3.280976486206055, + "step": 106180 + }, + { + "epoch": 0.08526666666666667, + "grad_norm": 0.17448216676712036, + "learning_rate": 9.488851993077045e-05, + "loss": 3.2048870086669923, + "step": 106190 + }, + { + "epoch": 0.08533333333333333, + "grad_norm": 0.1799643635749817, + "learning_rate": 9.488366354987084e-05, + "loss": 3.210471343994141, + "step": 106200 + }, + { + "epoch": 0.0854, + "grad_norm": 0.18519675731658936, + "learning_rate": 9.487880498745566e-05, + "loss": 3.209813690185547, + "step": 106210 + }, + { + "epoch": 0.08546666666666666, + "grad_norm": 0.17470605671405792, + "learning_rate": 9.487394424376109e-05, + "loss": 3.2405536651611326, + "step": 106220 + }, + { + "epoch": 0.08553333333333334, + "grad_norm": 0.17532169818878174, + "learning_rate": 9.486908131902336e-05, + "loss": 3.2757171630859374, + "step": 106230 + }, + { + "epoch": 0.0856, + "grad_norm": 0.18069204688072205, + "learning_rate": 9.486421621347883e-05, + "loss": 3.2237125396728517, + "step": 106240 + }, + { + "epoch": 0.08566666666666667, + "grad_norm": 0.18036822974681854, + "learning_rate": 9.485934892736397e-05, + "loss": 3.2261260986328124, + "step": 106250 + }, + { + "epoch": 0.08573333333333333, + "grad_norm": 0.18268969655036926, + "learning_rate": 9.485447946091533e-05, + "loss": 3.288920211791992, + "step": 106260 + }, + { + "epoch": 0.0858, + "grad_norm": 0.1707400679588318, + "learning_rate": 9.484960781436961e-05, + "loss": 3.226581573486328, + "step": 106270 + }, + { + "epoch": 0.08586666666666666, + "grad_norm": 0.16069364547729492, + "learning_rate": 9.484473398796356e-05, + "loss": 3.2291465759277345, + "step": 106280 + }, + { + "epoch": 0.08593333333333333, + "grad_norm": 0.1694745123386383, + "learning_rate": 9.48398579819341e-05, + "loss": 3.1910755157470705, + "step": 106290 + }, + { + "epoch": 0.086, + "grad_norm": 0.18905480206012726, + "learning_rate": 9.483497979651819e-05, + "loss": 3.2084903717041016, + "step": 106300 + }, + { + "epoch": 0.08606666666666667, + "grad_norm": 0.18031416833400726, + "learning_rate": 9.483009943195296e-05, + "loss": 3.2135848999023438, + "step": 106310 + }, + { + "epoch": 0.08613333333333334, + "grad_norm": 0.16255618631839752, + "learning_rate": 9.482521688847559e-05, + "loss": 3.1906824111938477, + "step": 106320 + }, + { + "epoch": 0.0862, + "grad_norm": 0.17979420721530914, + "learning_rate": 9.48203321663234e-05, + "loss": 3.204943084716797, + "step": 106330 + }, + { + "epoch": 0.08626666666666667, + "grad_norm": 0.18252816796302795, + "learning_rate": 9.481544526573381e-05, + "loss": 3.2337535858154296, + "step": 106340 + }, + { + "epoch": 0.08633333333333333, + "grad_norm": 0.18388260900974274, + "learning_rate": 9.481055618694433e-05, + "loss": 3.1742036819458006, + "step": 106350 + }, + { + "epoch": 0.0864, + "grad_norm": 0.4240354299545288, + "learning_rate": 9.480566493019258e-05, + "loss": 3.3653087615966797, + "step": 106360 + }, + { + "epoch": 0.08646666666666666, + "grad_norm": 0.1864461749792099, + "learning_rate": 9.480077149571631e-05, + "loss": 3.279418182373047, + "step": 106370 + }, + { + "epoch": 0.08653333333333334, + "grad_norm": 0.16763785481452942, + "learning_rate": 9.479587588375336e-05, + "loss": 3.2485374450683593, + "step": 106380 + }, + { + "epoch": 0.0866, + "grad_norm": 0.17914314568042755, + "learning_rate": 9.479097809454167e-05, + "loss": 3.176812171936035, + "step": 106390 + }, + { + "epoch": 0.08666666666666667, + "grad_norm": 0.17615285515785217, + "learning_rate": 9.47860781283193e-05, + "loss": 3.2891891479492186, + "step": 106400 + }, + { + "epoch": 0.08673333333333333, + "grad_norm": 0.17619982361793518, + "learning_rate": 9.47811759853244e-05, + "loss": 3.233002471923828, + "step": 106410 + }, + { + "epoch": 0.0868, + "grad_norm": 0.19470208883285522, + "learning_rate": 9.477627166579524e-05, + "loss": 3.4394561767578127, + "step": 106420 + }, + { + "epoch": 0.08686666666666666, + "grad_norm": 0.19808389246463776, + "learning_rate": 9.477136516997017e-05, + "loss": 3.2830432891845702, + "step": 106430 + }, + { + "epoch": 0.08693333333333333, + "grad_norm": 0.19141662120819092, + "learning_rate": 9.476645649808767e-05, + "loss": 3.2244247436523437, + "step": 106440 + }, + { + "epoch": 0.087, + "grad_norm": 0.16887471079826355, + "learning_rate": 9.476154565038632e-05, + "loss": 3.2435375213623048, + "step": 106450 + }, + { + "epoch": 0.08706666666666667, + "grad_norm": 0.17270001769065857, + "learning_rate": 9.475663262710481e-05, + "loss": 3.2241722106933595, + "step": 106460 + }, + { + "epoch": 0.08713333333333333, + "grad_norm": 0.18566039204597473, + "learning_rate": 9.475171742848194e-05, + "loss": 3.2230167388916016, + "step": 106470 + }, + { + "epoch": 0.0872, + "grad_norm": 0.17937760055065155, + "learning_rate": 9.47468000547566e-05, + "loss": 3.263715362548828, + "step": 106480 + }, + { + "epoch": 0.08726666666666667, + "grad_norm": 0.16925020515918732, + "learning_rate": 9.47418805061678e-05, + "loss": 3.241045379638672, + "step": 106490 + }, + { + "epoch": 0.08733333333333333, + "grad_norm": 0.17863613367080688, + "learning_rate": 9.473695878295464e-05, + "loss": 3.2574718475341795, + "step": 106500 + }, + { + "epoch": 0.0874, + "grad_norm": 0.17741219699382782, + "learning_rate": 9.473203488535631e-05, + "loss": 3.213343048095703, + "step": 106510 + }, + { + "epoch": 0.08746666666666666, + "grad_norm": 0.18949927389621735, + "learning_rate": 9.472710881361218e-05, + "loss": 3.273731231689453, + "step": 106520 + }, + { + "epoch": 0.08753333333333334, + "grad_norm": 0.19603842496871948, + "learning_rate": 9.472218056796164e-05, + "loss": 3.258753204345703, + "step": 106530 + }, + { + "epoch": 0.0876, + "grad_norm": 0.17424413561820984, + "learning_rate": 9.471725014864424e-05, + "loss": 3.2081588745117187, + "step": 106540 + }, + { + "epoch": 0.08766666666666667, + "grad_norm": 0.17299388349056244, + "learning_rate": 9.47123175558996e-05, + "loss": 3.2108123779296873, + "step": 106550 + }, + { + "epoch": 0.08773333333333333, + "grad_norm": 0.4882325232028961, + "learning_rate": 9.470738278996748e-05, + "loss": 3.332597351074219, + "step": 106560 + }, + { + "epoch": 0.0878, + "grad_norm": 0.18348225951194763, + "learning_rate": 9.47024458510877e-05, + "loss": 3.264744186401367, + "step": 106570 + }, + { + "epoch": 0.08786666666666666, + "grad_norm": 0.17102870345115662, + "learning_rate": 9.469750673950025e-05, + "loss": 3.2082851409912108, + "step": 106580 + }, + { + "epoch": 0.08793333333333334, + "grad_norm": 0.17728173732757568, + "learning_rate": 9.469256545544518e-05, + "loss": 3.2062244415283203, + "step": 106590 + }, + { + "epoch": 0.088, + "grad_norm": 24.65404510498047, + "learning_rate": 9.468762199916263e-05, + "loss": 3.661563491821289, + "step": 106600 + }, + { + "epoch": 0.08806666666666667, + "grad_norm": 0.17172840237617493, + "learning_rate": 9.46826763708929e-05, + "loss": 3.4302310943603516, + "step": 106610 + }, + { + "epoch": 0.08813333333333333, + "grad_norm": 0.2243252843618393, + "learning_rate": 9.467772857087636e-05, + "loss": 3.2259841918945313, + "step": 106620 + }, + { + "epoch": 0.0882, + "grad_norm": 0.17258265614509583, + "learning_rate": 9.467277859935348e-05, + "loss": 3.202710723876953, + "step": 106630 + }, + { + "epoch": 0.08826666666666666, + "grad_norm": 2.3277833461761475, + "learning_rate": 9.466782645656485e-05, + "loss": 3.1065521240234375, + "step": 106640 + }, + { + "epoch": 0.08833333333333333, + "grad_norm": 0.388022243976593, + "learning_rate": 9.466287214275118e-05, + "loss": 2.314573287963867, + "step": 106650 + }, + { + "epoch": 0.0884, + "grad_norm": 1.09025239944458, + "learning_rate": 9.465791565815325e-05, + "loss": 2.330702781677246, + "step": 106660 + }, + { + "epoch": 0.08846666666666667, + "grad_norm": 0.4901118576526642, + "learning_rate": 9.465295700301197e-05, + "loss": 2.2171512603759767, + "step": 106670 + }, + { + "epoch": 0.08853333333333334, + "grad_norm": 0.5984647274017334, + "learning_rate": 9.464799617756835e-05, + "loss": 2.372441291809082, + "step": 106680 + }, + { + "epoch": 0.0886, + "grad_norm": 0.206095889210701, + "learning_rate": 9.46430331820635e-05, + "loss": 2.874693489074707, + "step": 106690 + }, + { + "epoch": 0.08866666666666667, + "grad_norm": 0.20015880465507507, + "learning_rate": 9.463806801673864e-05, + "loss": 3.2949268341064455, + "step": 106700 + }, + { + "epoch": 0.08873333333333333, + "grad_norm": 0.17337417602539062, + "learning_rate": 9.46331006818351e-05, + "loss": 3.327831268310547, + "step": 106710 + }, + { + "epoch": 0.0888, + "grad_norm": 0.3450412452220917, + "learning_rate": 9.462813117759433e-05, + "loss": 3.4042728424072264, + "step": 106720 + }, + { + "epoch": 0.08886666666666666, + "grad_norm": 0.3109739422798157, + "learning_rate": 9.462315950425782e-05, + "loss": 3.2701751708984377, + "step": 106730 + }, + { + "epoch": 0.08893333333333334, + "grad_norm": 0.17139877378940582, + "learning_rate": 9.461818566206726e-05, + "loss": 3.2719139099121093, + "step": 106740 + }, + { + "epoch": 0.089, + "grad_norm": 0.3862695097923279, + "learning_rate": 9.461320965126436e-05, + "loss": 3.2805992126464845, + "step": 106750 + }, + { + "epoch": 0.08906666666666667, + "grad_norm": 0.19807898998260498, + "learning_rate": 9.4608231472091e-05, + "loss": 3.338426208496094, + "step": 106760 + }, + { + "epoch": 0.08913333333333333, + "grad_norm": 0.18818332254886627, + "learning_rate": 9.460325112478912e-05, + "loss": 3.2397266387939454, + "step": 106770 + }, + { + "epoch": 0.0892, + "grad_norm": 0.17732356488704681, + "learning_rate": 9.459826860960082e-05, + "loss": 3.24115104675293, + "step": 106780 + }, + { + "epoch": 0.08926666666666666, + "grad_norm": 0.19964580237865448, + "learning_rate": 9.459328392676821e-05, + "loss": 3.2994052886962892, + "step": 106790 + }, + { + "epoch": 0.08933333333333333, + "grad_norm": 0.17197377979755402, + "learning_rate": 9.45882970765336e-05, + "loss": 3.26002197265625, + "step": 106800 + }, + { + "epoch": 0.0894, + "grad_norm": 0.1673242747783661, + "learning_rate": 9.458330805913938e-05, + "loss": 3.248828887939453, + "step": 106810 + }, + { + "epoch": 0.08946666666666667, + "grad_norm": 0.16908836364746094, + "learning_rate": 9.457831687482801e-05, + "loss": 3.2866561889648436, + "step": 106820 + }, + { + "epoch": 0.08953333333333334, + "grad_norm": 0.17830009758472443, + "learning_rate": 9.457332352384209e-05, + "loss": 3.26134033203125, + "step": 106830 + }, + { + "epoch": 0.0896, + "grad_norm": 0.18573597073554993, + "learning_rate": 9.456832800642433e-05, + "loss": 3.2605533599853516, + "step": 106840 + }, + { + "epoch": 0.08966666666666667, + "grad_norm": 0.1688704639673233, + "learning_rate": 9.45633303228175e-05, + "loss": 3.2302757263183595, + "step": 106850 + }, + { + "epoch": 0.08973333333333333, + "grad_norm": 0.1724659502506256, + "learning_rate": 9.455833047326453e-05, + "loss": 3.235346221923828, + "step": 106860 + }, + { + "epoch": 0.0898, + "grad_norm": 0.17335253953933716, + "learning_rate": 9.455332845800843e-05, + "loss": 3.191029739379883, + "step": 106870 + }, + { + "epoch": 0.08986666666666666, + "grad_norm": 0.17962448298931122, + "learning_rate": 9.45483242772923e-05, + "loss": 3.2553348541259766, + "step": 106880 + }, + { + "epoch": 0.08993333333333334, + "grad_norm": 0.16744931042194366, + "learning_rate": 9.45433179313594e-05, + "loss": 3.331866455078125, + "step": 106890 + }, + { + "epoch": 0.09, + "grad_norm": 0.173506498336792, + "learning_rate": 9.453830942045301e-05, + "loss": 3.237092208862305, + "step": 106900 + }, + { + "epoch": 0.09006666666666667, + "grad_norm": 0.1680525690317154, + "learning_rate": 9.453329874481659e-05, + "loss": 3.2051021575927736, + "step": 106910 + }, + { + "epoch": 0.09013333333333333, + "grad_norm": 0.17091573774814606, + "learning_rate": 9.452828590469366e-05, + "loss": 3.238759994506836, + "step": 106920 + }, + { + "epoch": 0.0902, + "grad_norm": 0.3177240490913391, + "learning_rate": 9.45232709003279e-05, + "loss": 3.302663803100586, + "step": 106930 + }, + { + "epoch": 0.09026666666666666, + "grad_norm": 0.19517776370048523, + "learning_rate": 9.451825373196302e-05, + "loss": 3.2390510559082033, + "step": 106940 + }, + { + "epoch": 0.09033333333333333, + "grad_norm": 0.17960330843925476, + "learning_rate": 9.451323439984287e-05, + "loss": 3.2275970458984373, + "step": 106950 + }, + { + "epoch": 0.0904, + "grad_norm": 0.16342419385910034, + "learning_rate": 9.450821290421146e-05, + "loss": 3.2614826202392577, + "step": 106960 + }, + { + "epoch": 0.09046666666666667, + "grad_norm": 0.1623694747686386, + "learning_rate": 9.450318924531278e-05, + "loss": 3.2619949340820313, + "step": 106970 + }, + { + "epoch": 0.09053333333333333, + "grad_norm": 0.17109732329845428, + "learning_rate": 9.449816342339106e-05, + "loss": 3.1762876510620117, + "step": 106980 + }, + { + "epoch": 0.0906, + "grad_norm": 0.1888803243637085, + "learning_rate": 9.449313543869055e-05, + "loss": 3.2448497772216798, + "step": 106990 + }, + { + "epoch": 0.09066666666666667, + "grad_norm": 0.1747397631406784, + "learning_rate": 9.448810529145564e-05, + "loss": 3.2329994201660157, + "step": 107000 + }, + { + "epoch": 0.09073333333333333, + "grad_norm": 0.18217921257019043, + "learning_rate": 9.448307298193078e-05, + "loss": 3.1979326248168944, + "step": 107010 + }, + { + "epoch": 0.0908, + "grad_norm": 0.1802927553653717, + "learning_rate": 9.447803851036062e-05, + "loss": 3.2066722869873048, + "step": 107020 + }, + { + "epoch": 0.09086666666666667, + "grad_norm": 0.1835036426782608, + "learning_rate": 9.447300187698978e-05, + "loss": 3.280942916870117, + "step": 107030 + }, + { + "epoch": 0.09093333333333334, + "grad_norm": 0.1753305345773697, + "learning_rate": 9.446796308206312e-05, + "loss": 3.238352966308594, + "step": 107040 + }, + { + "epoch": 0.091, + "grad_norm": 0.23360174894332886, + "learning_rate": 9.44629221258255e-05, + "loss": 3.1054868698120117, + "step": 107050 + }, + { + "epoch": 0.09106666666666667, + "grad_norm": 0.18287959694862366, + "learning_rate": 9.445787900852197e-05, + "loss": 3.2303226470947264, + "step": 107060 + }, + { + "epoch": 0.09113333333333333, + "grad_norm": 0.15951858460903168, + "learning_rate": 9.445283373039761e-05, + "loss": 3.1762767791748048, + "step": 107070 + }, + { + "epoch": 0.0912, + "grad_norm": 0.1710486263036728, + "learning_rate": 9.444778629169769e-05, + "loss": 3.205057144165039, + "step": 107080 + }, + { + "epoch": 0.09126666666666666, + "grad_norm": 0.31740063428878784, + "learning_rate": 9.444273669266747e-05, + "loss": 3.269954299926758, + "step": 107090 + }, + { + "epoch": 0.09133333333333334, + "grad_norm": 0.18571870028972626, + "learning_rate": 9.443768493355241e-05, + "loss": 3.230540084838867, + "step": 107100 + }, + { + "epoch": 0.0914, + "grad_norm": 0.19004711508750916, + "learning_rate": 9.443263101459806e-05, + "loss": 3.2293983459472657, + "step": 107110 + }, + { + "epoch": 0.09146666666666667, + "grad_norm": 0.1677931547164917, + "learning_rate": 9.442757493605003e-05, + "loss": 3.2166984558105467, + "step": 107120 + }, + { + "epoch": 0.09153333333333333, + "grad_norm": 0.187294602394104, + "learning_rate": 9.442251669815407e-05, + "loss": 3.2285541534423827, + "step": 107130 + }, + { + "epoch": 0.0916, + "grad_norm": 0.20275968313217163, + "learning_rate": 9.441745630115605e-05, + "loss": 3.4212615966796873, + "step": 107140 + }, + { + "epoch": 0.09166666666666666, + "grad_norm": 0.17821156978607178, + "learning_rate": 9.441239374530192e-05, + "loss": 3.2455112457275392, + "step": 107150 + }, + { + "epoch": 0.09173333333333333, + "grad_norm": 0.18831168115139008, + "learning_rate": 9.440732903083774e-05, + "loss": 3.287977600097656, + "step": 107160 + }, + { + "epoch": 0.0918, + "grad_norm": 0.1836439073085785, + "learning_rate": 9.440226215800964e-05, + "loss": 3.194653129577637, + "step": 107170 + }, + { + "epoch": 0.09186666666666667, + "grad_norm": 0.20249606668949127, + "learning_rate": 9.439719312706393e-05, + "loss": 3.486019515991211, + "step": 107180 + }, + { + "epoch": 0.09193333333333334, + "grad_norm": 0.1746971309185028, + "learning_rate": 9.439212193824696e-05, + "loss": 3.213307189941406, + "step": 107190 + }, + { + "epoch": 0.092, + "grad_norm": 0.16892847418785095, + "learning_rate": 9.438704859180522e-05, + "loss": 3.2335296630859376, + "step": 107200 + }, + { + "epoch": 0.09206666666666667, + "grad_norm": 0.1980552226305008, + "learning_rate": 9.438197308798529e-05, + "loss": 3.349812316894531, + "step": 107210 + }, + { + "epoch": 0.09213333333333333, + "grad_norm": 3.1546471118927, + "learning_rate": 9.437689542703388e-05, + "loss": 3.1353288650512696, + "step": 107220 + }, + { + "epoch": 0.0922, + "grad_norm": 0.19826437532901764, + "learning_rate": 9.437181560919774e-05, + "loss": 3.229267120361328, + "step": 107230 + }, + { + "epoch": 0.09226666666666666, + "grad_norm": 0.18420256674289703, + "learning_rate": 9.43667336347238e-05, + "loss": 3.2216331481933596, + "step": 107240 + }, + { + "epoch": 0.09233333333333334, + "grad_norm": 0.17882132530212402, + "learning_rate": 9.436164950385905e-05, + "loss": 3.2315792083740233, + "step": 107250 + }, + { + "epoch": 0.0924, + "grad_norm": 0.1965702623128891, + "learning_rate": 9.435656321685062e-05, + "loss": 3.213526153564453, + "step": 107260 + }, + { + "epoch": 0.09246666666666667, + "grad_norm": 0.4190846085548401, + "learning_rate": 9.435147477394568e-05, + "loss": 3.254383850097656, + "step": 107270 + }, + { + "epoch": 0.09253333333333333, + "grad_norm": 0.20501193404197693, + "learning_rate": 9.43463841753916e-05, + "loss": 3.369354248046875, + "step": 107280 + }, + { + "epoch": 0.0926, + "grad_norm": 0.1668914407491684, + "learning_rate": 9.434129142143575e-05, + "loss": 3.204964447021484, + "step": 107290 + }, + { + "epoch": 0.09266666666666666, + "grad_norm": 0.20278973877429962, + "learning_rate": 9.43361965123257e-05, + "loss": 3.273732376098633, + "step": 107300 + }, + { + "epoch": 0.09273333333333333, + "grad_norm": 0.17464156448841095, + "learning_rate": 9.433109944830907e-05, + "loss": 3.1920276641845704, + "step": 107310 + }, + { + "epoch": 0.0928, + "grad_norm": 0.17039746046066284, + "learning_rate": 9.432600022963358e-05, + "loss": 3.219076919555664, + "step": 107320 + }, + { + "epoch": 0.09286666666666667, + "grad_norm": 0.36445993185043335, + "learning_rate": 9.432089885654709e-05, + "loss": 3.3181106567382814, + "step": 107330 + }, + { + "epoch": 0.09293333333333334, + "grad_norm": 0.16572542488574982, + "learning_rate": 9.431579532929753e-05, + "loss": 3.2241947174072267, + "step": 107340 + }, + { + "epoch": 0.093, + "grad_norm": 0.16817046701908112, + "learning_rate": 9.431068964813296e-05, + "loss": 3.2168193817138673, + "step": 107350 + }, + { + "epoch": 0.09306666666666667, + "grad_norm": 0.17175619304180145, + "learning_rate": 9.430558181330156e-05, + "loss": 3.2352603912353515, + "step": 107360 + }, + { + "epoch": 0.09313333333333333, + "grad_norm": 0.16946673393249512, + "learning_rate": 9.430047182505152e-05, + "loss": 3.2261116027832033, + "step": 107370 + }, + { + "epoch": 0.0932, + "grad_norm": 0.45790916681289673, + "learning_rate": 9.429535968363129e-05, + "loss": 3.245159912109375, + "step": 107380 + }, + { + "epoch": 0.09326666666666666, + "grad_norm": 0.19904600083827972, + "learning_rate": 9.429024538928927e-05, + "loss": 3.2438274383544923, + "step": 107390 + }, + { + "epoch": 0.09333333333333334, + "grad_norm": 0.17115525901317596, + "learning_rate": 9.428512894227408e-05, + "loss": 3.2642539978027343, + "step": 107400 + }, + { + "epoch": 0.0934, + "grad_norm": 0.17783567309379578, + "learning_rate": 9.428001034283438e-05, + "loss": 3.2471500396728517, + "step": 107410 + }, + { + "epoch": 0.09346666666666667, + "grad_norm": 0.1791919320821762, + "learning_rate": 9.427488959121895e-05, + "loss": 3.2789886474609373, + "step": 107420 + }, + { + "epoch": 0.09353333333333333, + "grad_norm": 0.18195098638534546, + "learning_rate": 9.426976668767669e-05, + "loss": 3.2555702209472654, + "step": 107430 + }, + { + "epoch": 0.0936, + "grad_norm": 0.19330552220344543, + "learning_rate": 9.426464163245659e-05, + "loss": 3.2573688507080076, + "step": 107440 + }, + { + "epoch": 0.09366666666666666, + "grad_norm": 0.18244734406471252, + "learning_rate": 9.425951442580772e-05, + "loss": 3.239005279541016, + "step": 107450 + }, + { + "epoch": 0.09373333333333334, + "grad_norm": 0.22869043052196503, + "learning_rate": 9.425438506797933e-05, + "loss": 3.1862239837646484, + "step": 107460 + }, + { + "epoch": 0.0938, + "grad_norm": 0.46305879950523376, + "learning_rate": 9.424925355922067e-05, + "loss": 3.284545135498047, + "step": 107470 + }, + { + "epoch": 0.09386666666666667, + "grad_norm": 0.21011953055858612, + "learning_rate": 9.424411989978119e-05, + "loss": 3.2100372314453125, + "step": 107480 + }, + { + "epoch": 0.09393333333333333, + "grad_norm": 0.17093853652477264, + "learning_rate": 9.42389840899104e-05, + "loss": 3.1927207946777343, + "step": 107490 + }, + { + "epoch": 0.094, + "grad_norm": 0.18140485882759094, + "learning_rate": 9.423384612985793e-05, + "loss": 3.251308822631836, + "step": 107500 + }, + { + "epoch": 0.09406666666666667, + "grad_norm": 1.1364858150482178, + "learning_rate": 9.422870601987348e-05, + "loss": 3.2466510772705077, + "step": 107510 + }, + { + "epoch": 0.09413333333333333, + "grad_norm": 0.2349347323179245, + "learning_rate": 9.422356376020689e-05, + "loss": 3.252573013305664, + "step": 107520 + }, + { + "epoch": 0.0942, + "grad_norm": 0.18135644495487213, + "learning_rate": 9.421841935110808e-05, + "loss": 3.35919189453125, + "step": 107530 + }, + { + "epoch": 0.09426666666666667, + "grad_norm": 0.17257235944271088, + "learning_rate": 9.42132727928271e-05, + "loss": 3.2143295288085936, + "step": 107540 + }, + { + "epoch": 0.09433333333333334, + "grad_norm": 0.16180352866649628, + "learning_rate": 9.42081240856141e-05, + "loss": 3.2647045135498045, + "step": 107550 + }, + { + "epoch": 0.0944, + "grad_norm": 0.19004657864570618, + "learning_rate": 9.420297322971933e-05, + "loss": 3.258927917480469, + "step": 107560 + }, + { + "epoch": 0.09446666666666667, + "grad_norm": 0.2296941578388214, + "learning_rate": 9.419782022539312e-05, + "loss": 3.2038040161132812, + "step": 107570 + }, + { + "epoch": 0.09453333333333333, + "grad_norm": 0.19567178189754486, + "learning_rate": 9.419266507288593e-05, + "loss": 3.172968864440918, + "step": 107580 + }, + { + "epoch": 0.0946, + "grad_norm": 0.16847699880599976, + "learning_rate": 9.418750777244833e-05, + "loss": 3.3198978424072267, + "step": 107590 + }, + { + "epoch": 0.09466666666666666, + "grad_norm": 0.1855407953262329, + "learning_rate": 9.418234832433097e-05, + "loss": 3.2243412017822264, + "step": 107600 + }, + { + "epoch": 0.09473333333333334, + "grad_norm": 0.16964814066886902, + "learning_rate": 9.417718672878463e-05, + "loss": 3.2745925903320314, + "step": 107610 + }, + { + "epoch": 0.0948, + "grad_norm": 0.1661946326494217, + "learning_rate": 9.417202298606019e-05, + "loss": 3.28997688293457, + "step": 107620 + }, + { + "epoch": 0.09486666666666667, + "grad_norm": 0.3136678636074066, + "learning_rate": 9.416685709640861e-05, + "loss": 3.4081077575683594, + "step": 107630 + }, + { + "epoch": 0.09493333333333333, + "grad_norm": 0.3405991494655609, + "learning_rate": 9.416168906008098e-05, + "loss": 3.333623504638672, + "step": 107640 + }, + { + "epoch": 0.095, + "grad_norm": 0.16664300858974457, + "learning_rate": 9.41565188773285e-05, + "loss": 3.201995849609375, + "step": 107650 + }, + { + "epoch": 0.09506666666666666, + "grad_norm": 0.3353555202484131, + "learning_rate": 9.415134654840243e-05, + "loss": 3.215223693847656, + "step": 107660 + }, + { + "epoch": 0.09513333333333333, + "grad_norm": 0.1967964768409729, + "learning_rate": 9.414617207355418e-05, + "loss": 3.2692901611328127, + "step": 107670 + }, + { + "epoch": 0.0952, + "grad_norm": 0.7263655662536621, + "learning_rate": 9.414099545303527e-05, + "loss": 3.328208160400391, + "step": 107680 + }, + { + "epoch": 0.09526666666666667, + "grad_norm": 0.17751823365688324, + "learning_rate": 9.413581668709727e-05, + "loss": 3.3553489685058593, + "step": 107690 + }, + { + "epoch": 0.09533333333333334, + "grad_norm": 0.1734212040901184, + "learning_rate": 9.41306357759919e-05, + "loss": 3.1971904754638674, + "step": 107700 + }, + { + "epoch": 0.0954, + "grad_norm": 0.3169536888599396, + "learning_rate": 9.412545271997098e-05, + "loss": 3.2608261108398438, + "step": 107710 + }, + { + "epoch": 0.09546666666666667, + "grad_norm": 0.19381065666675568, + "learning_rate": 9.412026751928641e-05, + "loss": 3.2312957763671877, + "step": 107720 + }, + { + "epoch": 0.09553333333333333, + "grad_norm": 0.1722400188446045, + "learning_rate": 9.411508017419022e-05, + "loss": 3.2571945190429688, + "step": 107730 + }, + { + "epoch": 0.0956, + "grad_norm": 0.2106781154870987, + "learning_rate": 9.410989068493454e-05, + "loss": 3.241619873046875, + "step": 107740 + }, + { + "epoch": 0.09566666666666666, + "grad_norm": 0.19851933419704437, + "learning_rate": 9.410469905177158e-05, + "loss": 3.211236572265625, + "step": 107750 + }, + { + "epoch": 0.09573333333333334, + "grad_norm": 0.19693273305892944, + "learning_rate": 9.409950527495371e-05, + "loss": 3.3758266448974608, + "step": 107760 + }, + { + "epoch": 0.0958, + "grad_norm": 0.1917637437582016, + "learning_rate": 9.409430935473331e-05, + "loss": 3.1970619201660155, + "step": 107770 + }, + { + "epoch": 0.09586666666666667, + "grad_norm": 0.17353734374046326, + "learning_rate": 9.408911129136298e-05, + "loss": 3.2270751953125, + "step": 107780 + }, + { + "epoch": 0.09593333333333333, + "grad_norm": 0.1915530264377594, + "learning_rate": 9.408391108509533e-05, + "loss": 3.198129653930664, + "step": 107790 + }, + { + "epoch": 0.096, + "grad_norm": 0.18481387197971344, + "learning_rate": 9.407870873618312e-05, + "loss": 3.1841800689697264, + "step": 107800 + }, + { + "epoch": 0.09606666666666666, + "grad_norm": 0.16530464589595795, + "learning_rate": 9.407350424487921e-05, + "loss": 3.2179443359375, + "step": 107810 + }, + { + "epoch": 0.09613333333333333, + "grad_norm": 0.18174108862876892, + "learning_rate": 9.406829761143653e-05, + "loss": 3.2030269622802736, + "step": 107820 + }, + { + "epoch": 0.0962, + "grad_norm": 0.19453369081020355, + "learning_rate": 9.40630888361082e-05, + "loss": 3.1974666595458983, + "step": 107830 + }, + { + "epoch": 0.09626666666666667, + "grad_norm": 0.17912447452545166, + "learning_rate": 9.405787791914732e-05, + "loss": 3.2060546875, + "step": 107840 + }, + { + "epoch": 0.09633333333333334, + "grad_norm": 0.1840120404958725, + "learning_rate": 9.40526648608072e-05, + "loss": 3.2556522369384764, + "step": 107850 + }, + { + "epoch": 0.0964, + "grad_norm": 0.18387891352176666, + "learning_rate": 9.40474496613412e-05, + "loss": 3.336039352416992, + "step": 107860 + }, + { + "epoch": 0.09646666666666667, + "grad_norm": 0.18555156886577606, + "learning_rate": 9.40422323210028e-05, + "loss": 3.242298889160156, + "step": 107870 + }, + { + "epoch": 0.09653333333333333, + "grad_norm": 0.16391944885253906, + "learning_rate": 9.403701284004559e-05, + "loss": 3.2504749298095703, + "step": 107880 + }, + { + "epoch": 0.0966, + "grad_norm": 0.17585249245166779, + "learning_rate": 9.403179121872325e-05, + "loss": 3.1450428009033202, + "step": 107890 + }, + { + "epoch": 0.09666666666666666, + "grad_norm": 0.1834709495306015, + "learning_rate": 9.402656745728957e-05, + "loss": 3.2270740509033202, + "step": 107900 + }, + { + "epoch": 0.09673333333333334, + "grad_norm": 0.3867793679237366, + "learning_rate": 9.402134155599845e-05, + "loss": 3.246144485473633, + "step": 107910 + }, + { + "epoch": 0.0968, + "grad_norm": 0.1650799810886383, + "learning_rate": 9.401611351510388e-05, + "loss": 3.2385532379150392, + "step": 107920 + }, + { + "epoch": 0.09686666666666667, + "grad_norm": 0.20104095339775085, + "learning_rate": 9.401088333485997e-05, + "loss": 3.3231006622314454, + "step": 107930 + }, + { + "epoch": 0.09693333333333333, + "grad_norm": 0.17631950974464417, + "learning_rate": 9.400565101552093e-05, + "loss": 3.2371620178222655, + "step": 107940 + }, + { + "epoch": 0.097, + "grad_norm": 0.1700495332479477, + "learning_rate": 9.400041655734104e-05, + "loss": 3.2115402221679688, + "step": 107950 + }, + { + "epoch": 0.09706666666666666, + "grad_norm": 0.1742597222328186, + "learning_rate": 9.399517996057476e-05, + "loss": 3.2166568756103517, + "step": 107960 + }, + { + "epoch": 0.09713333333333334, + "grad_norm": 0.1751135140657425, + "learning_rate": 9.398994122547658e-05, + "loss": 3.232207489013672, + "step": 107970 + }, + { + "epoch": 0.0972, + "grad_norm": 0.18533176183700562, + "learning_rate": 9.398470035230114e-05, + "loss": 3.2757003784179686, + "step": 107980 + }, + { + "epoch": 0.09726666666666667, + "grad_norm": 0.196780264377594, + "learning_rate": 9.397945734130315e-05, + "loss": 3.2648109436035155, + "step": 107990 + }, + { + "epoch": 0.09733333333333333, + "grad_norm": 0.17461957037448883, + "learning_rate": 9.397421219273743e-05, + "loss": 3.16708927154541, + "step": 108000 + }, + { + "epoch": 0.0974, + "grad_norm": 0.26387637853622437, + "learning_rate": 9.396896490685895e-05, + "loss": 3.185939407348633, + "step": 108010 + }, + { + "epoch": 0.09746666666666666, + "grad_norm": 0.21083839237689972, + "learning_rate": 9.396371548392273e-05, + "loss": 3.233509063720703, + "step": 108020 + }, + { + "epoch": 0.09753333333333333, + "grad_norm": 0.1706472933292389, + "learning_rate": 9.39584639241839e-05, + "loss": 3.2364856719970705, + "step": 108030 + }, + { + "epoch": 0.0976, + "grad_norm": 0.251444548368454, + "learning_rate": 9.395321022789771e-05, + "loss": 3.3415245056152343, + "step": 108040 + }, + { + "epoch": 0.09766666666666667, + "grad_norm": 0.1666121482849121, + "learning_rate": 9.394795439531952e-05, + "loss": 3.2084224700927733, + "step": 108050 + }, + { + "epoch": 0.09773333333333334, + "grad_norm": 0.19688867032527924, + "learning_rate": 9.394269642670477e-05, + "loss": 3.2306442260742188, + "step": 108060 + }, + { + "epoch": 0.0978, + "grad_norm": 0.8704792857170105, + "learning_rate": 9.393743632230904e-05, + "loss": 3.1583383560180662, + "step": 108070 + }, + { + "epoch": 0.09786666666666667, + "grad_norm": 0.18641163408756256, + "learning_rate": 9.393217408238797e-05, + "loss": 3.197026252746582, + "step": 108080 + }, + { + "epoch": 0.09793333333333333, + "grad_norm": 0.3145439028739929, + "learning_rate": 9.392690970719733e-05, + "loss": 3.2385585784912108, + "step": 108090 + }, + { + "epoch": 0.098, + "grad_norm": 0.1863429844379425, + "learning_rate": 9.392164319699299e-05, + "loss": 3.1837942123413088, + "step": 108100 + }, + { + "epoch": 0.09806666666666666, + "grad_norm": 0.3867132067680359, + "learning_rate": 9.391637455203091e-05, + "loss": 3.3145706176757814, + "step": 108110 + }, + { + "epoch": 0.09813333333333334, + "grad_norm": 0.5412503480911255, + "learning_rate": 9.39111037725672e-05, + "loss": 3.3822174072265625, + "step": 108120 + }, + { + "epoch": 0.0982, + "grad_norm": 0.17123907804489136, + "learning_rate": 9.3905830858858e-05, + "loss": 3.2530921936035155, + "step": 108130 + }, + { + "epoch": 0.09826666666666667, + "grad_norm": 0.17427770793437958, + "learning_rate": 9.390055581115962e-05, + "loss": 3.2551651000976562, + "step": 108140 + }, + { + "epoch": 0.09833333333333333, + "grad_norm": 0.3175860345363617, + "learning_rate": 9.389527862972843e-05, + "loss": 3.3659347534179687, + "step": 108150 + }, + { + "epoch": 0.0984, + "grad_norm": 0.17362120747566223, + "learning_rate": 9.388999931482094e-05, + "loss": 3.2158954620361326, + "step": 108160 + }, + { + "epoch": 0.09846666666666666, + "grad_norm": 0.22479645907878876, + "learning_rate": 9.388471786669373e-05, + "loss": 3.2921939849853517, + "step": 108170 + }, + { + "epoch": 0.09853333333333333, + "grad_norm": 0.17806002497673035, + "learning_rate": 9.387943428560349e-05, + "loss": 3.1955638885498048, + "step": 108180 + }, + { + "epoch": 0.0986, + "grad_norm": 0.18553543090820312, + "learning_rate": 9.387414857180705e-05, + "loss": 3.256625747680664, + "step": 108190 + }, + { + "epoch": 0.09866666666666667, + "grad_norm": 0.17537470161914825, + "learning_rate": 9.386886072556129e-05, + "loss": 3.236408233642578, + "step": 108200 + }, + { + "epoch": 0.09873333333333334, + "grad_norm": 0.1713891327381134, + "learning_rate": 9.386357074712323e-05, + "loss": 3.2000053405761717, + "step": 108210 + }, + { + "epoch": 0.0988, + "grad_norm": 0.17600412666797638, + "learning_rate": 9.385827863674998e-05, + "loss": 3.2406085968017577, + "step": 108220 + }, + { + "epoch": 0.09886666666666667, + "grad_norm": 0.3171563148498535, + "learning_rate": 9.385298439469877e-05, + "loss": 3.2092342376708984, + "step": 108230 + }, + { + "epoch": 0.09893333333333333, + "grad_norm": 0.18146520853042603, + "learning_rate": 9.38476880212269e-05, + "loss": 3.22479362487793, + "step": 108240 + }, + { + "epoch": 0.099, + "grad_norm": 0.16903989017009735, + "learning_rate": 9.384238951659179e-05, + "loss": 3.1932605743408202, + "step": 108250 + }, + { + "epoch": 0.09906666666666666, + "grad_norm": 0.1881149411201477, + "learning_rate": 9.3837088881051e-05, + "loss": 3.25708122253418, + "step": 108260 + }, + { + "epoch": 0.09913333333333334, + "grad_norm": 0.16619203984737396, + "learning_rate": 9.383178611486213e-05, + "loss": 3.1921958923339844, + "step": 108270 + }, + { + "epoch": 0.0992, + "grad_norm": 0.18236656486988068, + "learning_rate": 9.382648121828292e-05, + "loss": 3.2274742126464844, + "step": 108280 + }, + { + "epoch": 0.09926666666666667, + "grad_norm": 0.18851430714130402, + "learning_rate": 9.382117419157124e-05, + "loss": 3.2400665283203125, + "step": 108290 + }, + { + "epoch": 0.09933333333333333, + "grad_norm": 0.382865309715271, + "learning_rate": 9.381586503498498e-05, + "loss": 3.2250797271728517, + "step": 108300 + }, + { + "epoch": 0.0994, + "grad_norm": 0.18830233812332153, + "learning_rate": 9.38105537487822e-05, + "loss": 3.2797725677490233, + "step": 108310 + }, + { + "epoch": 0.09946666666666666, + "grad_norm": 0.18124231696128845, + "learning_rate": 9.380524033322108e-05, + "loss": 3.4106201171875, + "step": 108320 + }, + { + "epoch": 0.09953333333333333, + "grad_norm": 0.19975440204143524, + "learning_rate": 9.379992478855986e-05, + "loss": 3.2333240509033203, + "step": 108330 + }, + { + "epoch": 0.0996, + "grad_norm": 0.22519026696681976, + "learning_rate": 9.379460711505685e-05, + "loss": 3.2493667602539062, + "step": 108340 + }, + { + "epoch": 0.09966666666666667, + "grad_norm": 0.16953827440738678, + "learning_rate": 9.378928731297057e-05, + "loss": 3.1950143814086913, + "step": 108350 + }, + { + "epoch": 0.09973333333333333, + "grad_norm": 0.16662119328975677, + "learning_rate": 9.378396538255956e-05, + "loss": 3.2164230346679688, + "step": 108360 + }, + { + "epoch": 0.0998, + "grad_norm": 0.185033917427063, + "learning_rate": 9.377864132408247e-05, + "loss": 3.2186988830566405, + "step": 108370 + }, + { + "epoch": 0.09986666666666667, + "grad_norm": 0.17545448243618011, + "learning_rate": 9.377331513779808e-05, + "loss": 3.2157337188720705, + "step": 108380 + }, + { + "epoch": 0.09993333333333333, + "grad_norm": 0.17785504460334778, + "learning_rate": 9.376798682396529e-05, + "loss": 3.183071327209473, + "step": 108390 + }, + { + "epoch": 0.1, + "grad_norm": 0.4504942297935486, + "learning_rate": 9.376265638284303e-05, + "loss": 3.300009536743164, + "step": 108400 + }, + { + "epoch": 0.10006666666666666, + "grad_norm": 0.1812923401594162, + "learning_rate": 9.37573238146904e-05, + "loss": 3.350973129272461, + "step": 108410 + }, + { + "epoch": 0.10013333333333334, + "grad_norm": 0.19275973737239838, + "learning_rate": 9.375198911976659e-05, + "loss": 3.2448680877685545, + "step": 108420 + }, + { + "epoch": 0.1002, + "grad_norm": 0.17853227257728577, + "learning_rate": 9.374665229833089e-05, + "loss": 3.1932113647460936, + "step": 108430 + }, + { + "epoch": 0.10026666666666667, + "grad_norm": 0.18447332084178925, + "learning_rate": 9.374131335064266e-05, + "loss": 3.2144569396972655, + "step": 108440 + }, + { + "epoch": 0.10033333333333333, + "grad_norm": 0.35231462121009827, + "learning_rate": 9.373597227696143e-05, + "loss": 3.242249298095703, + "step": 108450 + }, + { + "epoch": 0.1004, + "grad_norm": 0.17900879681110382, + "learning_rate": 9.373062907754677e-05, + "loss": 3.2686222076416014, + "step": 108460 + }, + { + "epoch": 0.10046666666666666, + "grad_norm": 0.17995642125606537, + "learning_rate": 9.372528375265839e-05, + "loss": 3.2831878662109375, + "step": 108470 + }, + { + "epoch": 0.10053333333333334, + "grad_norm": 0.1752672642469406, + "learning_rate": 9.371993630255609e-05, + "loss": 3.1909021377563476, + "step": 108480 + }, + { + "epoch": 0.1006, + "grad_norm": 0.1810501515865326, + "learning_rate": 9.371458672749977e-05, + "loss": 3.2498237609863283, + "step": 108490 + }, + { + "epoch": 0.10066666666666667, + "grad_norm": 0.1874300241470337, + "learning_rate": 9.370923502774947e-05, + "loss": 3.2122386932373046, + "step": 108500 + }, + { + "epoch": 0.10073333333333333, + "grad_norm": 0.2574571967124939, + "learning_rate": 9.370388120356527e-05, + "loss": 3.453685760498047, + "step": 108510 + }, + { + "epoch": 0.1008, + "grad_norm": 0.18936283886432648, + "learning_rate": 9.36985252552074e-05, + "loss": 3.2456329345703123, + "step": 108520 + }, + { + "epoch": 0.10086666666666666, + "grad_norm": 0.18231728672981262, + "learning_rate": 9.369316718293617e-05, + "loss": 3.369558334350586, + "step": 108530 + }, + { + "epoch": 0.10093333333333333, + "grad_norm": 0.16402311623096466, + "learning_rate": 9.3687806987012e-05, + "loss": 3.206327438354492, + "step": 108540 + }, + { + "epoch": 0.101, + "grad_norm": 0.17286989092826843, + "learning_rate": 9.368244466769545e-05, + "loss": 3.179379463195801, + "step": 108550 + }, + { + "epoch": 0.10106666666666667, + "grad_norm": 0.1717694103717804, + "learning_rate": 9.36770802252471e-05, + "loss": 3.220286178588867, + "step": 108560 + }, + { + "epoch": 0.10113333333333334, + "grad_norm": 0.18422475457191467, + "learning_rate": 9.367171365992772e-05, + "loss": 3.2455673217773438, + "step": 108570 + }, + { + "epoch": 0.1012, + "grad_norm": 0.17051534354686737, + "learning_rate": 9.366634497199813e-05, + "loss": 3.2251815795898438, + "step": 108580 + }, + { + "epoch": 0.10126666666666667, + "grad_norm": 0.17066915333271027, + "learning_rate": 9.366097416171926e-05, + "loss": 3.224117660522461, + "step": 108590 + }, + { + "epoch": 0.10133333333333333, + "grad_norm": 0.17902611196041107, + "learning_rate": 9.365560122935216e-05, + "loss": 3.212969207763672, + "step": 108600 + }, + { + "epoch": 0.1014, + "grad_norm": 0.18677660822868347, + "learning_rate": 9.365022617515799e-05, + "loss": 3.213025665283203, + "step": 108610 + }, + { + "epoch": 0.10146666666666666, + "grad_norm": 0.18107101321220398, + "learning_rate": 9.364484899939797e-05, + "loss": 3.244974136352539, + "step": 108620 + }, + { + "epoch": 0.10153333333333334, + "grad_norm": 0.18585656583309174, + "learning_rate": 9.363946970233347e-05, + "loss": 3.284011459350586, + "step": 108630 + }, + { + "epoch": 0.1016, + "grad_norm": 0.16664272546768188, + "learning_rate": 9.363408828422594e-05, + "loss": 3.205975341796875, + "step": 108640 + }, + { + "epoch": 0.10166666666666667, + "grad_norm": 0.24435682594776154, + "learning_rate": 9.362870474533694e-05, + "loss": 3.230483627319336, + "step": 108650 + }, + { + "epoch": 0.10173333333333333, + "grad_norm": 0.18203693628311157, + "learning_rate": 9.362331908592811e-05, + "loss": 3.2060161590576173, + "step": 108660 + }, + { + "epoch": 0.1018, + "grad_norm": 0.23063088953495026, + "learning_rate": 9.361793130626126e-05, + "loss": 3.236077880859375, + "step": 108670 + }, + { + "epoch": 0.10186666666666666, + "grad_norm": 0.2398436963558197, + "learning_rate": 9.361254140659821e-05, + "loss": 3.158075141906738, + "step": 108680 + }, + { + "epoch": 0.10193333333333333, + "grad_norm": 0.18778564035892487, + "learning_rate": 9.360714938720093e-05, + "loss": 3.189676284790039, + "step": 108690 + }, + { + "epoch": 0.102, + "grad_norm": 0.17411211133003235, + "learning_rate": 9.360175524833153e-05, + "loss": 3.220009994506836, + "step": 108700 + }, + { + "epoch": 0.10206666666666667, + "grad_norm": 0.16660840809345245, + "learning_rate": 9.359635899025215e-05, + "loss": 3.221352767944336, + "step": 108710 + }, + { + "epoch": 0.10213333333333334, + "grad_norm": 0.1822863519191742, + "learning_rate": 9.35909606132251e-05, + "loss": 3.235634613037109, + "step": 108720 + }, + { + "epoch": 0.1022, + "grad_norm": 0.19466522336006165, + "learning_rate": 9.358556011751272e-05, + "loss": 3.2129173278808594, + "step": 108730 + }, + { + "epoch": 0.10226666666666667, + "grad_norm": 0.19304759800434113, + "learning_rate": 9.358015750337754e-05, + "loss": 3.1951602935791015, + "step": 108740 + }, + { + "epoch": 0.10233333333333333, + "grad_norm": 0.19958677887916565, + "learning_rate": 9.357475277108212e-05, + "loss": 3.178843879699707, + "step": 108750 + }, + { + "epoch": 0.1024, + "grad_norm": 0.17517249286174774, + "learning_rate": 9.356934592088915e-05, + "loss": 3.2345767974853517, + "step": 108760 + }, + { + "epoch": 0.10246666666666666, + "grad_norm": 0.18047407269477844, + "learning_rate": 9.356393695306143e-05, + "loss": 3.2073516845703125, + "step": 108770 + }, + { + "epoch": 0.10253333333333334, + "grad_norm": 0.1680058091878891, + "learning_rate": 9.355852586786184e-05, + "loss": 3.1539621353149414, + "step": 108780 + }, + { + "epoch": 0.1026, + "grad_norm": 0.16785168647766113, + "learning_rate": 9.355311266555342e-05, + "loss": 3.2446052551269533, + "step": 108790 + }, + { + "epoch": 0.10266666666666667, + "grad_norm": 0.2086949646472931, + "learning_rate": 9.354769734639926e-05, + "loss": 3.2466812133789062, + "step": 108800 + }, + { + "epoch": 0.10273333333333333, + "grad_norm": 0.16388057172298431, + "learning_rate": 9.354227991066253e-05, + "loss": 3.2515399932861326, + "step": 108810 + }, + { + "epoch": 0.1028, + "grad_norm": 0.18253323435783386, + "learning_rate": 9.353686035860656e-05, + "loss": 3.1439964294433596, + "step": 108820 + }, + { + "epoch": 0.10286666666666666, + "grad_norm": 0.18649068474769592, + "learning_rate": 9.353143869049476e-05, + "loss": 3.2326515197753904, + "step": 108830 + }, + { + "epoch": 0.10293333333333334, + "grad_norm": 0.17107978463172913, + "learning_rate": 9.352601490659064e-05, + "loss": 3.198199653625488, + "step": 108840 + }, + { + "epoch": 0.103, + "grad_norm": 0.1612454056739807, + "learning_rate": 9.352058900715784e-05, + "loss": 3.205558013916016, + "step": 108850 + }, + { + "epoch": 0.10306666666666667, + "grad_norm": 0.1730424016714096, + "learning_rate": 9.351516099246003e-05, + "loss": 3.211539459228516, + "step": 108860 + }, + { + "epoch": 0.10313333333333333, + "grad_norm": 0.2343958020210266, + "learning_rate": 9.350973086276109e-05, + "loss": 3.17358512878418, + "step": 108870 + }, + { + "epoch": 0.1032, + "grad_norm": 0.16428732872009277, + "learning_rate": 9.350429861832491e-05, + "loss": 3.191093635559082, + "step": 108880 + }, + { + "epoch": 0.10326666666666667, + "grad_norm": 0.19870026409626007, + "learning_rate": 9.349886425941552e-05, + "loss": 3.2596229553222655, + "step": 108890 + }, + { + "epoch": 0.10333333333333333, + "grad_norm": 0.9427034854888916, + "learning_rate": 9.349342778629703e-05, + "loss": 3.245658111572266, + "step": 108900 + }, + { + "epoch": 0.1034, + "grad_norm": 0.48636573553085327, + "learning_rate": 9.348798919923374e-05, + "loss": 3.302033233642578, + "step": 108910 + }, + { + "epoch": 0.10346666666666667, + "grad_norm": 0.1779370903968811, + "learning_rate": 9.348254849848992e-05, + "loss": 3.3435802459716797, + "step": 108920 + }, + { + "epoch": 0.10353333333333334, + "grad_norm": 0.19383059442043304, + "learning_rate": 9.347710568433003e-05, + "loss": 3.2483314514160155, + "step": 108930 + }, + { + "epoch": 0.1036, + "grad_norm": 0.1854577362537384, + "learning_rate": 9.347166075701863e-05, + "loss": 3.1650716781616213, + "step": 108940 + }, + { + "epoch": 0.10366666666666667, + "grad_norm": 0.1743556410074234, + "learning_rate": 9.346621371682034e-05, + "loss": 3.2210872650146483, + "step": 108950 + }, + { + "epoch": 0.10373333333333333, + "grad_norm": 0.19301621615886688, + "learning_rate": 9.346076456399991e-05, + "loss": 3.279525375366211, + "step": 108960 + }, + { + "epoch": 0.1038, + "grad_norm": 0.21708695590496063, + "learning_rate": 9.34553132988222e-05, + "loss": 3.2047889709472654, + "step": 108970 + }, + { + "epoch": 0.10386666666666666, + "grad_norm": 0.224630206823349, + "learning_rate": 9.344985992155216e-05, + "loss": 3.2394237518310547, + "step": 108980 + }, + { + "epoch": 0.10393333333333334, + "grad_norm": 0.17901593446731567, + "learning_rate": 9.344440443245482e-05, + "loss": 3.2236953735351563, + "step": 108990 + }, + { + "epoch": 0.104, + "grad_norm": 5.032718658447266, + "learning_rate": 9.343894683179538e-05, + "loss": 3.171239471435547, + "step": 109000 + }, + { + "epoch": 0.10406666666666667, + "grad_norm": 0.19014839828014374, + "learning_rate": 9.343348711983905e-05, + "loss": 3.2190357208251954, + "step": 109010 + }, + { + "epoch": 0.10413333333333333, + "grad_norm": 0.19578571617603302, + "learning_rate": 9.342802529685124e-05, + "loss": 3.2022781372070312, + "step": 109020 + }, + { + "epoch": 0.1042, + "grad_norm": 0.18843501806259155, + "learning_rate": 9.342256136309739e-05, + "loss": 3.1808666229248046, + "step": 109030 + }, + { + "epoch": 0.10426666666666666, + "grad_norm": 0.18782690167427063, + "learning_rate": 9.341709531884309e-05, + "loss": 3.2363311767578127, + "step": 109040 + }, + { + "epoch": 0.10433333333333333, + "grad_norm": 0.18879693746566772, + "learning_rate": 9.341162716435397e-05, + "loss": 3.198792266845703, + "step": 109050 + }, + { + "epoch": 0.1044, + "grad_norm": 0.21468302607536316, + "learning_rate": 9.340615689989585e-05, + "loss": 3.1908594131469727, + "step": 109060 + }, + { + "epoch": 0.10446666666666667, + "grad_norm": 0.17413148283958435, + "learning_rate": 9.340068452573456e-05, + "loss": 3.198972702026367, + "step": 109070 + }, + { + "epoch": 0.10453333333333334, + "grad_norm": 0.173643097281456, + "learning_rate": 9.33952100421361e-05, + "loss": 3.1891361236572267, + "step": 109080 + }, + { + "epoch": 0.1046, + "grad_norm": 0.19496895372867584, + "learning_rate": 9.338973344936657e-05, + "loss": 3.1950313568115236, + "step": 109090 + }, + { + "epoch": 0.10466666666666667, + "grad_norm": 0.207650288939476, + "learning_rate": 9.338425474769212e-05, + "loss": 3.24417724609375, + "step": 109100 + }, + { + "epoch": 0.10473333333333333, + "grad_norm": 0.17154869437217712, + "learning_rate": 9.337877393737905e-05, + "loss": 3.1913965225219725, + "step": 109110 + }, + { + "epoch": 0.1048, + "grad_norm": 0.1858222931623459, + "learning_rate": 9.337329101869376e-05, + "loss": 3.20311279296875, + "step": 109120 + }, + { + "epoch": 0.10486666666666666, + "grad_norm": 0.1652139127254486, + "learning_rate": 9.336780599190271e-05, + "loss": 3.229369354248047, + "step": 109130 + }, + { + "epoch": 0.10493333333333334, + "grad_norm": 0.20083686709403992, + "learning_rate": 9.336231885727254e-05, + "loss": 3.1963449478149415, + "step": 109140 + }, + { + "epoch": 0.105, + "grad_norm": 0.19582712650299072, + "learning_rate": 9.335682961506988e-05, + "loss": 3.2062614440917967, + "step": 109150 + }, + { + "epoch": 0.10506666666666667, + "grad_norm": 0.21086402237415314, + "learning_rate": 9.335133826556159e-05, + "loss": 3.2359970092773436, + "step": 109160 + }, + { + "epoch": 0.10513333333333333, + "grad_norm": 0.17231912910938263, + "learning_rate": 9.334584480901454e-05, + "loss": 3.232046890258789, + "step": 109170 + }, + { + "epoch": 0.1052, + "grad_norm": 0.5984296798706055, + "learning_rate": 9.334034924569573e-05, + "loss": 3.244123840332031, + "step": 109180 + }, + { + "epoch": 0.10526666666666666, + "grad_norm": 0.1755087673664093, + "learning_rate": 9.333485157587228e-05, + "loss": 3.273574447631836, + "step": 109190 + }, + { + "epoch": 0.10533333333333333, + "grad_norm": 0.1782408356666565, + "learning_rate": 9.33293517998114e-05, + "loss": 3.1514230728149415, + "step": 109200 + }, + { + "epoch": 0.1054, + "grad_norm": 0.19906778633594513, + "learning_rate": 9.332384991778036e-05, + "loss": 3.158348274230957, + "step": 109210 + }, + { + "epoch": 0.10546666666666667, + "grad_norm": 0.212272509932518, + "learning_rate": 9.331834593004663e-05, + "loss": 3.3057201385498045, + "step": 109220 + }, + { + "epoch": 0.10553333333333334, + "grad_norm": 0.19976051151752472, + "learning_rate": 9.331283983687769e-05, + "loss": 3.197414016723633, + "step": 109230 + }, + { + "epoch": 0.1056, + "grad_norm": 0.17274954915046692, + "learning_rate": 9.330733163854115e-05, + "loss": 3.17935791015625, + "step": 109240 + }, + { + "epoch": 0.10566666666666667, + "grad_norm": 0.17264750599861145, + "learning_rate": 9.330182133530476e-05, + "loss": 3.211627960205078, + "step": 109250 + }, + { + "epoch": 0.10573333333333333, + "grad_norm": 0.1766710728406906, + "learning_rate": 9.329630892743632e-05, + "loss": 3.209403228759766, + "step": 109260 + }, + { + "epoch": 0.1058, + "grad_norm": 0.2103142887353897, + "learning_rate": 9.329079441520377e-05, + "loss": 3.2919178009033203, + "step": 109270 + }, + { + "epoch": 0.10586666666666666, + "grad_norm": 0.17737281322479248, + "learning_rate": 9.32852777988751e-05, + "loss": 3.2491535186767577, + "step": 109280 + }, + { + "epoch": 0.10593333333333334, + "grad_norm": 0.19233274459838867, + "learning_rate": 9.327975907871847e-05, + "loss": 3.1683366775512694, + "step": 109290 + }, + { + "epoch": 0.106, + "grad_norm": 0.19851668179035187, + "learning_rate": 9.327423825500213e-05, + "loss": 3.1976383209228514, + "step": 109300 + }, + { + "epoch": 0.10606666666666667, + "grad_norm": 0.2322150319814682, + "learning_rate": 9.326871532799435e-05, + "loss": 3.1705379486083984, + "step": 109310 + }, + { + "epoch": 0.10613333333333333, + "grad_norm": 0.2059485763311386, + "learning_rate": 9.326319029796362e-05, + "loss": 3.2884990692138674, + "step": 109320 + }, + { + "epoch": 0.1062, + "grad_norm": 0.18426169455051422, + "learning_rate": 9.325766316517846e-05, + "loss": 3.2227542877197264, + "step": 109330 + }, + { + "epoch": 0.10626666666666666, + "grad_norm": 0.18756817281246185, + "learning_rate": 9.325213392990751e-05, + "loss": 3.183778190612793, + "step": 109340 + }, + { + "epoch": 0.10633333333333334, + "grad_norm": 0.18360449373722076, + "learning_rate": 9.32466025924195e-05, + "loss": 3.215562438964844, + "step": 109350 + }, + { + "epoch": 0.1064, + "grad_norm": 0.1891784965991974, + "learning_rate": 9.324106915298329e-05, + "loss": 3.2015060424804687, + "step": 109360 + }, + { + "epoch": 0.10646666666666667, + "grad_norm": 0.21375629305839539, + "learning_rate": 9.323553361186781e-05, + "loss": 3.201441192626953, + "step": 109370 + }, + { + "epoch": 0.10653333333333333, + "grad_norm": 0.16651180386543274, + "learning_rate": 9.322999596934213e-05, + "loss": 3.226927947998047, + "step": 109380 + }, + { + "epoch": 0.1066, + "grad_norm": 0.1958107352256775, + "learning_rate": 9.322445622567539e-05, + "loss": 3.258595657348633, + "step": 109390 + }, + { + "epoch": 0.10666666666666667, + "grad_norm": 0.20020346343517303, + "learning_rate": 9.321891438113683e-05, + "loss": 3.2267074584960938, + "step": 109400 + }, + { + "epoch": 0.10673333333333333, + "grad_norm": 0.1885232925415039, + "learning_rate": 9.321337043599583e-05, + "loss": 3.303643798828125, + "step": 109410 + }, + { + "epoch": 0.1068, + "grad_norm": 0.18923263251781464, + "learning_rate": 9.320782439052182e-05, + "loss": 3.2399749755859375, + "step": 109420 + }, + { + "epoch": 0.10686666666666667, + "grad_norm": 0.16690129041671753, + "learning_rate": 9.320227624498439e-05, + "loss": 3.215964126586914, + "step": 109430 + }, + { + "epoch": 0.10693333333333334, + "grad_norm": 0.17347757518291473, + "learning_rate": 9.319672599965317e-05, + "loss": 3.1499576568603516, + "step": 109440 + }, + { + "epoch": 0.107, + "grad_norm": 0.16412819921970367, + "learning_rate": 9.319117365479792e-05, + "loss": 3.211117172241211, + "step": 109450 + }, + { + "epoch": 0.10706666666666667, + "grad_norm": 0.17262110114097595, + "learning_rate": 9.318561921068855e-05, + "loss": 3.197846221923828, + "step": 109460 + }, + { + "epoch": 0.10713333333333333, + "grad_norm": 0.18862618505954742, + "learning_rate": 9.318006266759498e-05, + "loss": 3.2177459716796877, + "step": 109470 + }, + { + "epoch": 0.1072, + "grad_norm": 0.16999290883541107, + "learning_rate": 9.317450402578729e-05, + "loss": 3.1798439025878906, + "step": 109480 + }, + { + "epoch": 0.10726666666666666, + "grad_norm": 0.20578084886074066, + "learning_rate": 9.316894328553567e-05, + "loss": 3.2057113647460938, + "step": 109490 + }, + { + "epoch": 0.10733333333333334, + "grad_norm": 0.17642557621002197, + "learning_rate": 9.316338044711037e-05, + "loss": 3.1971820831298827, + "step": 109500 + }, + { + "epoch": 0.1074, + "grad_norm": 0.17570234835147858, + "learning_rate": 9.315781551078178e-05, + "loss": 3.2340118408203127, + "step": 109510 + }, + { + "epoch": 0.10746666666666667, + "grad_norm": 0.19452935457229614, + "learning_rate": 9.315224847682037e-05, + "loss": 3.231650543212891, + "step": 109520 + }, + { + "epoch": 0.10753333333333333, + "grad_norm": 0.17492137849330902, + "learning_rate": 9.314667934549672e-05, + "loss": 3.214214324951172, + "step": 109530 + }, + { + "epoch": 0.1076, + "grad_norm": 0.17902082204818726, + "learning_rate": 9.314110811708151e-05, + "loss": 3.197111892700195, + "step": 109540 + }, + { + "epoch": 0.10766666666666666, + "grad_norm": 2.0666868686676025, + "learning_rate": 9.313553479184553e-05, + "loss": 2.8196739196777343, + "step": 109550 + }, + { + "epoch": 0.10773333333333333, + "grad_norm": 0.1848868429660797, + "learning_rate": 9.312995937005965e-05, + "loss": 3.2526527404785157, + "step": 109560 + }, + { + "epoch": 0.1078, + "grad_norm": 0.5704283118247986, + "learning_rate": 9.312438185199487e-05, + "loss": 2.628369140625, + "step": 109570 + }, + { + "epoch": 0.10786666666666667, + "grad_norm": 0.48139557242393494, + "learning_rate": 9.311880223792228e-05, + "loss": 2.9373313903808596, + "step": 109580 + }, + { + "epoch": 0.10793333333333334, + "grad_norm": 0.16929706931114197, + "learning_rate": 9.311322052811305e-05, + "loss": 3.2840003967285156, + "step": 109590 + }, + { + "epoch": 0.108, + "grad_norm": 0.20020703971385956, + "learning_rate": 9.310763672283849e-05, + "loss": 3.192902374267578, + "step": 109600 + }, + { + "epoch": 0.10806666666666667, + "grad_norm": 0.18664290010929108, + "learning_rate": 9.310205082237e-05, + "loss": 3.2242691040039064, + "step": 109610 + }, + { + "epoch": 0.10813333333333333, + "grad_norm": 0.16946369409561157, + "learning_rate": 9.309646282697906e-05, + "loss": 3.2224246978759767, + "step": 109620 + }, + { + "epoch": 0.1082, + "grad_norm": 0.2290266752243042, + "learning_rate": 9.309087273693728e-05, + "loss": 3.2180877685546876, + "step": 109630 + }, + { + "epoch": 0.10826666666666666, + "grad_norm": 0.20343199372291565, + "learning_rate": 9.308528055251634e-05, + "loss": 3.2587055206298827, + "step": 109640 + }, + { + "epoch": 0.10833333333333334, + "grad_norm": 0.19016703963279724, + "learning_rate": 9.307968627398807e-05, + "loss": 3.2060550689697265, + "step": 109650 + }, + { + "epoch": 0.1084, + "grad_norm": 0.39406564831733704, + "learning_rate": 9.307408990162434e-05, + "loss": 3.239479827880859, + "step": 109660 + }, + { + "epoch": 0.10846666666666667, + "grad_norm": 0.1996629387140274, + "learning_rate": 9.306849143569717e-05, + "loss": 3.2271774291992186, + "step": 109670 + }, + { + "epoch": 0.10853333333333333, + "grad_norm": 0.19651848077774048, + "learning_rate": 9.306289087647869e-05, + "loss": 3.218290328979492, + "step": 109680 + }, + { + "epoch": 0.1086, + "grad_norm": 0.269931823015213, + "learning_rate": 9.305728822424108e-05, + "loss": 3.1840044021606446, + "step": 109690 + }, + { + "epoch": 0.10866666666666666, + "grad_norm": 0.32751160860061646, + "learning_rate": 9.305168347925666e-05, + "loss": 3.216344451904297, + "step": 109700 + }, + { + "epoch": 0.10873333333333333, + "grad_norm": 0.18715180456638336, + "learning_rate": 9.304607664179782e-05, + "loss": 3.269866943359375, + "step": 109710 + }, + { + "epoch": 0.1088, + "grad_norm": 0.1904134452342987, + "learning_rate": 9.304046771213712e-05, + "loss": 3.250564193725586, + "step": 109720 + }, + { + "epoch": 0.10886666666666667, + "grad_norm": 0.26277777552604675, + "learning_rate": 9.303485669054713e-05, + "loss": 3.201845169067383, + "step": 109730 + }, + { + "epoch": 0.10893333333333333, + "grad_norm": 0.172882542014122, + "learning_rate": 9.302924357730059e-05, + "loss": 3.2114566802978515, + "step": 109740 + }, + { + "epoch": 0.109, + "grad_norm": 0.21314193308353424, + "learning_rate": 9.302362837267031e-05, + "loss": 3.335422897338867, + "step": 109750 + }, + { + "epoch": 0.10906666666666667, + "grad_norm": 0.17357587814331055, + "learning_rate": 9.301801107692922e-05, + "loss": 3.2476097106933595, + "step": 109760 + }, + { + "epoch": 0.10913333333333333, + "grad_norm": 0.17956697940826416, + "learning_rate": 9.301239169035033e-05, + "loss": 3.2490989685058596, + "step": 109770 + }, + { + "epoch": 0.1092, + "grad_norm": 0.19083364307880402, + "learning_rate": 9.300677021320677e-05, + "loss": 3.301980972290039, + "step": 109780 + }, + { + "epoch": 0.10926666666666666, + "grad_norm": 0.17542563378810883, + "learning_rate": 9.300114664577176e-05, + "loss": 3.1742849349975586, + "step": 109790 + }, + { + "epoch": 0.10933333333333334, + "grad_norm": 0.186640202999115, + "learning_rate": 9.299552098831863e-05, + "loss": 3.2218055725097656, + "step": 109800 + }, + { + "epoch": 0.1094, + "grad_norm": 0.17598439753055573, + "learning_rate": 9.298989324112081e-05, + "loss": 3.152638816833496, + "step": 109810 + }, + { + "epoch": 0.10946666666666667, + "grad_norm": 0.17940866947174072, + "learning_rate": 9.298426340445183e-05, + "loss": 3.239529037475586, + "step": 109820 + }, + { + "epoch": 0.10953333333333333, + "grad_norm": 0.17147323489189148, + "learning_rate": 9.297863147858533e-05, + "loss": 3.190868377685547, + "step": 109830 + }, + { + "epoch": 0.1096, + "grad_norm": 0.17372068762779236, + "learning_rate": 9.297299746379502e-05, + "loss": 3.2155738830566407, + "step": 109840 + }, + { + "epoch": 0.10966666666666666, + "grad_norm": 0.19146163761615753, + "learning_rate": 9.296736136035474e-05, + "loss": 3.232274627685547, + "step": 109850 + }, + { + "epoch": 0.10973333333333334, + "grad_norm": 0.5797277092933655, + "learning_rate": 9.296172316853845e-05, + "loss": 3.2920494079589844, + "step": 109860 + }, + { + "epoch": 0.1098, + "grad_norm": 0.1743949055671692, + "learning_rate": 9.295608288862016e-05, + "loss": 3.166634178161621, + "step": 109870 + }, + { + "epoch": 0.10986666666666667, + "grad_norm": 0.18545939028263092, + "learning_rate": 9.295044052087402e-05, + "loss": 3.3911582946777346, + "step": 109880 + }, + { + "epoch": 0.10993333333333333, + "grad_norm": 0.20755644142627716, + "learning_rate": 9.294479606557427e-05, + "loss": 3.224203872680664, + "step": 109890 + }, + { + "epoch": 0.11, + "grad_norm": 0.19253137707710266, + "learning_rate": 9.293914952299525e-05, + "loss": 3.225690460205078, + "step": 109900 + }, + { + "epoch": 0.11006666666666666, + "grad_norm": 0.23044724762439728, + "learning_rate": 9.29335008934114e-05, + "loss": 3.1864173889160154, + "step": 109910 + }, + { + "epoch": 0.11013333333333333, + "grad_norm": 0.18605844676494598, + "learning_rate": 9.292785017709726e-05, + "loss": 3.2142307281494142, + "step": 109920 + }, + { + "epoch": 0.1102, + "grad_norm": 0.16837111115455627, + "learning_rate": 9.29221973743275e-05, + "loss": 3.211568832397461, + "step": 109930 + }, + { + "epoch": 0.11026666666666667, + "grad_norm": 0.18363016843795776, + "learning_rate": 9.291654248537687e-05, + "loss": 3.208856964111328, + "step": 109940 + }, + { + "epoch": 0.11033333333333334, + "grad_norm": 0.19664856791496277, + "learning_rate": 9.291088551052018e-05, + "loss": 3.2013008117675783, + "step": 109950 + }, + { + "epoch": 0.1104, + "grad_norm": 0.5188928842544556, + "learning_rate": 9.29052264500324e-05, + "loss": 3.247976303100586, + "step": 109960 + }, + { + "epoch": 0.11046666666666667, + "grad_norm": 0.19013258814811707, + "learning_rate": 9.289956530418858e-05, + "loss": 3.167633056640625, + "step": 109970 + }, + { + "epoch": 0.11053333333333333, + "grad_norm": 0.18233487010002136, + "learning_rate": 9.28939020732639e-05, + "loss": 3.202226257324219, + "step": 109980 + }, + { + "epoch": 0.1106, + "grad_norm": 0.21617646515369415, + "learning_rate": 9.288823675753358e-05, + "loss": 3.22198371887207, + "step": 109990 + }, + { + "epoch": 0.11066666666666666, + "grad_norm": 0.18457838892936707, + "learning_rate": 9.288256935727298e-05, + "loss": 3.2261001586914064, + "step": 110000 + }, + { + "epoch": 0.11073333333333334, + "grad_norm": 0.18994663655757904, + "learning_rate": 9.287689987275756e-05, + "loss": 3.2031276702880858, + "step": 110010 + }, + { + "epoch": 0.1108, + "grad_norm": 0.1798814833164215, + "learning_rate": 9.287122830426289e-05, + "loss": 3.1863029479980467, + "step": 110020 + }, + { + "epoch": 0.11086666666666667, + "grad_norm": 0.2515169680118561, + "learning_rate": 9.286555465206463e-05, + "loss": 3.215082550048828, + "step": 110030 + }, + { + "epoch": 0.11093333333333333, + "grad_norm": 0.18736062943935394, + "learning_rate": 9.285987891643853e-05, + "loss": 3.325109100341797, + "step": 110040 + }, + { + "epoch": 0.111, + "grad_norm": 0.17622581124305725, + "learning_rate": 9.285420109766046e-05, + "loss": 3.141195869445801, + "step": 110050 + }, + { + "epoch": 0.11106666666666666, + "grad_norm": 0.19203153252601624, + "learning_rate": 9.284852119600636e-05, + "loss": 3.227835464477539, + "step": 110060 + }, + { + "epoch": 0.11113333333333333, + "grad_norm": 0.1706237941980362, + "learning_rate": 9.284283921175233e-05, + "loss": 3.2698997497558593, + "step": 110070 + }, + { + "epoch": 0.1112, + "grad_norm": 0.17359957098960876, + "learning_rate": 9.28371551451745e-05, + "loss": 3.1908430099487304, + "step": 110080 + }, + { + "epoch": 0.11126666666666667, + "grad_norm": 0.16876986622810364, + "learning_rate": 9.283146899654918e-05, + "loss": 3.2014114379882814, + "step": 110090 + }, + { + "epoch": 0.11133333333333334, + "grad_norm": 0.18835635483264923, + "learning_rate": 9.282578076615269e-05, + "loss": 3.1730325698852537, + "step": 110100 + }, + { + "epoch": 0.1114, + "grad_norm": 0.1716253012418747, + "learning_rate": 9.282009045426155e-05, + "loss": 3.2201679229736326, + "step": 110110 + }, + { + "epoch": 0.11146666666666667, + "grad_norm": 0.18515262007713318, + "learning_rate": 9.281439806115229e-05, + "loss": 3.2129501342773437, + "step": 110120 + }, + { + "epoch": 0.11153333333333333, + "grad_norm": 0.9887115359306335, + "learning_rate": 9.28087035871016e-05, + "loss": 2.9544729232788085, + "step": 110130 + }, + { + "epoch": 0.1116, + "grad_norm": 1.1101323366165161, + "learning_rate": 9.280300703238624e-05, + "loss": 2.383194923400879, + "step": 110140 + }, + { + "epoch": 0.11166666666666666, + "grad_norm": 0.8035651445388794, + "learning_rate": 9.27973083972831e-05, + "loss": 2.241897392272949, + "step": 110150 + }, + { + "epoch": 0.11173333333333334, + "grad_norm": 0.6615997552871704, + "learning_rate": 9.279160768206916e-05, + "loss": 2.2110822677612303, + "step": 110160 + }, + { + "epoch": 0.1118, + "grad_norm": 0.8342711925506592, + "learning_rate": 9.278590488702147e-05, + "loss": 2.0978181838989256, + "step": 110170 + }, + { + "epoch": 0.11186666666666667, + "grad_norm": 0.37840431928634644, + "learning_rate": 9.278020001241724e-05, + "loss": 2.150665855407715, + "step": 110180 + }, + { + "epoch": 0.11193333333333333, + "grad_norm": 0.48987120389938354, + "learning_rate": 9.277449305853372e-05, + "loss": 2.1005523681640623, + "step": 110190 + }, + { + "epoch": 0.112, + "grad_norm": 0.353720486164093, + "learning_rate": 9.276878402564831e-05, + "loss": 2.1868900299072265, + "step": 110200 + }, + { + "epoch": 0.11206666666666666, + "grad_norm": 0.29419273138046265, + "learning_rate": 9.276307291403846e-05, + "loss": 2.2053415298461916, + "step": 110210 + }, + { + "epoch": 0.11213333333333333, + "grad_norm": 0.4426549971103668, + "learning_rate": 9.275735972398178e-05, + "loss": 2.356749153137207, + "step": 110220 + }, + { + "epoch": 0.1122, + "grad_norm": 0.4477282166481018, + "learning_rate": 9.275164445575595e-05, + "loss": 2.09845027923584, + "step": 110230 + }, + { + "epoch": 0.11226666666666667, + "grad_norm": 0.3643140196800232, + "learning_rate": 9.274592710963876e-05, + "loss": 2.0151901245117188, + "step": 110240 + }, + { + "epoch": 0.11233333333333333, + "grad_norm": 0.3400585651397705, + "learning_rate": 9.274020768590806e-05, + "loss": 2.1065910339355467, + "step": 110250 + }, + { + "epoch": 0.1124, + "grad_norm": 0.6971167922019958, + "learning_rate": 9.273448618484187e-05, + "loss": 2.199711799621582, + "step": 110260 + }, + { + "epoch": 0.11246666666666667, + "grad_norm": 0.24216412007808685, + "learning_rate": 9.272876260671828e-05, + "loss": 3.6265033721923827, + "step": 110270 + }, + { + "epoch": 0.11253333333333333, + "grad_norm": 0.20484653115272522, + "learning_rate": 9.272303695181544e-05, + "loss": 3.5608776092529295, + "step": 110280 + }, + { + "epoch": 0.1126, + "grad_norm": 0.21159610152244568, + "learning_rate": 9.271730922041166e-05, + "loss": 3.418692779541016, + "step": 110290 + }, + { + "epoch": 0.11266666666666666, + "grad_norm": 0.20971494913101196, + "learning_rate": 9.271157941278536e-05, + "loss": 3.406142807006836, + "step": 110300 + }, + { + "epoch": 0.11273333333333334, + "grad_norm": 0.6782054901123047, + "learning_rate": 9.270584752921497e-05, + "loss": 3.3785327911376952, + "step": 110310 + }, + { + "epoch": 0.1128, + "grad_norm": 0.3579425513744354, + "learning_rate": 9.270011356997914e-05, + "loss": 3.446002960205078, + "step": 110320 + }, + { + "epoch": 0.11286666666666667, + "grad_norm": 0.19753357768058777, + "learning_rate": 9.26943775353565e-05, + "loss": 3.3427570343017576, + "step": 110330 + }, + { + "epoch": 0.11293333333333333, + "grad_norm": 0.21670065820217133, + "learning_rate": 9.268863942562591e-05, + "loss": 3.4521766662597657, + "step": 110340 + }, + { + "epoch": 0.113, + "grad_norm": 0.1805860996246338, + "learning_rate": 9.268289924106622e-05, + "loss": 3.365281677246094, + "step": 110350 + }, + { + "epoch": 0.11306666666666666, + "grad_norm": 0.1824197620153427, + "learning_rate": 9.267715698195643e-05, + "loss": 3.3343532562255858, + "step": 110360 + }, + { + "epoch": 0.11313333333333334, + "grad_norm": 0.20869001746177673, + "learning_rate": 9.267141264857564e-05, + "loss": 3.2905006408691406, + "step": 110370 + }, + { + "epoch": 0.1132, + "grad_norm": 0.19875752925872803, + "learning_rate": 9.266566624120306e-05, + "loss": 3.2830215454101563, + "step": 110380 + }, + { + "epoch": 0.11326666666666667, + "grad_norm": 0.18904197216033936, + "learning_rate": 9.265991776011795e-05, + "loss": 3.3061843872070313, + "step": 110390 + }, + { + "epoch": 0.11333333333333333, + "grad_norm": 0.16458743810653687, + "learning_rate": 9.265416720559976e-05, + "loss": 3.219131088256836, + "step": 110400 + }, + { + "epoch": 0.1134, + "grad_norm": 0.2061881721019745, + "learning_rate": 9.264841457792795e-05, + "loss": 3.242839050292969, + "step": 110410 + }, + { + "epoch": 0.11346666666666666, + "grad_norm": 0.16463702917099, + "learning_rate": 9.264265987738215e-05, + "loss": 3.2261791229248047, + "step": 110420 + }, + { + "epoch": 0.11353333333333333, + "grad_norm": 0.17636464536190033, + "learning_rate": 9.2636903104242e-05, + "loss": 3.251835250854492, + "step": 110430 + }, + { + "epoch": 0.1136, + "grad_norm": 0.17139358818531036, + "learning_rate": 9.263114425878737e-05, + "loss": 3.2830177307128907, + "step": 110440 + }, + { + "epoch": 0.11366666666666667, + "grad_norm": 0.21662026643753052, + "learning_rate": 9.262538334129813e-05, + "loss": 3.319408416748047, + "step": 110450 + }, + { + "epoch": 0.11373333333333334, + "grad_norm": 0.17834024131298065, + "learning_rate": 9.261962035205429e-05, + "loss": 3.2540328979492186, + "step": 110460 + }, + { + "epoch": 0.1138, + "grad_norm": 0.17686517536640167, + "learning_rate": 9.261385529133594e-05, + "loss": 3.234027862548828, + "step": 110470 + }, + { + "epoch": 0.11386666666666667, + "grad_norm": 0.1778765171766281, + "learning_rate": 9.26080881594233e-05, + "loss": 3.282632827758789, + "step": 110480 + }, + { + "epoch": 0.11393333333333333, + "grad_norm": 0.1677188277244568, + "learning_rate": 9.260231895659665e-05, + "loss": 3.2076881408691404, + "step": 110490 + }, + { + "epoch": 0.114, + "grad_norm": 0.22586002945899963, + "learning_rate": 9.259654768313644e-05, + "loss": 3.2638439178466796, + "step": 110500 + }, + { + "epoch": 0.11406666666666666, + "grad_norm": 0.1636440008878708, + "learning_rate": 9.259077433932312e-05, + "loss": 3.218471908569336, + "step": 110510 + }, + { + "epoch": 0.11413333333333334, + "grad_norm": 0.20154546201229095, + "learning_rate": 9.258499892543734e-05, + "loss": 3.251149368286133, + "step": 110520 + }, + { + "epoch": 0.1142, + "grad_norm": 0.1650281548500061, + "learning_rate": 9.25792214417598e-05, + "loss": 3.208812713623047, + "step": 110530 + }, + { + "epoch": 0.11426666666666667, + "grad_norm": 0.16820915043354034, + "learning_rate": 9.257344188857126e-05, + "loss": 3.163133430480957, + "step": 110540 + }, + { + "epoch": 0.11433333333333333, + "grad_norm": 0.1726948767900467, + "learning_rate": 9.25676602661527e-05, + "loss": 3.2837459564208986, + "step": 110550 + }, + { + "epoch": 0.1144, + "grad_norm": 0.17700441181659698, + "learning_rate": 9.256187657478509e-05, + "loss": 3.208140182495117, + "step": 110560 + }, + { + "epoch": 0.11446666666666666, + "grad_norm": 0.17085468769073486, + "learning_rate": 9.255609081474955e-05, + "loss": 3.284466552734375, + "step": 110570 + }, + { + "epoch": 0.11453333333333333, + "grad_norm": 0.1950644850730896, + "learning_rate": 9.255030298632727e-05, + "loss": 3.243681716918945, + "step": 110580 + }, + { + "epoch": 0.1146, + "grad_norm": 0.19787028431892395, + "learning_rate": 9.254451308979957e-05, + "loss": 3.206203079223633, + "step": 110590 + }, + { + "epoch": 0.11466666666666667, + "grad_norm": 0.20068077743053436, + "learning_rate": 9.253872112544788e-05, + "loss": 3.1956567764282227, + "step": 110600 + }, + { + "epoch": 0.11473333333333334, + "grad_norm": 0.17947939038276672, + "learning_rate": 9.253292709355369e-05, + "loss": 3.2326324462890623, + "step": 110610 + }, + { + "epoch": 0.1148, + "grad_norm": 0.5168956518173218, + "learning_rate": 9.252713099439863e-05, + "loss": 3.317743682861328, + "step": 110620 + }, + { + "epoch": 0.11486666666666667, + "grad_norm": 0.1624792218208313, + "learning_rate": 9.252133282826438e-05, + "loss": 3.2149730682373048, + "step": 110630 + }, + { + "epoch": 0.11493333333333333, + "grad_norm": 0.1613030880689621, + "learning_rate": 9.25155325954328e-05, + "loss": 3.2808666229248047, + "step": 110640 + }, + { + "epoch": 0.115, + "grad_norm": 0.3571198582649231, + "learning_rate": 9.250973029618575e-05, + "loss": 3.3516429901123046, + "step": 110650 + }, + { + "epoch": 0.11506666666666666, + "grad_norm": 0.17104226350784302, + "learning_rate": 9.250392593080529e-05, + "loss": 3.2160408020019533, + "step": 110660 + }, + { + "epoch": 0.11513333333333334, + "grad_norm": 0.17278003692626953, + "learning_rate": 9.249811949957349e-05, + "loss": 3.216230010986328, + "step": 110670 + }, + { + "epoch": 0.1152, + "grad_norm": 0.1659902185201645, + "learning_rate": 9.249231100277263e-05, + "loss": 3.1900094985961913, + "step": 110680 + }, + { + "epoch": 0.11526666666666667, + "grad_norm": 0.18818128108978271, + "learning_rate": 9.248650044068495e-05, + "loss": 3.315332794189453, + "step": 110690 + }, + { + "epoch": 0.11533333333333333, + "grad_norm": 0.1763753890991211, + "learning_rate": 9.248068781359291e-05, + "loss": 3.200428771972656, + "step": 110700 + }, + { + "epoch": 0.1154, + "grad_norm": 0.16747203469276428, + "learning_rate": 9.247487312177903e-05, + "loss": 3.2127120971679686, + "step": 110710 + }, + { + "epoch": 0.11546666666666666, + "grad_norm": 0.1750430017709732, + "learning_rate": 9.246905636552588e-05, + "loss": 3.2116744995117186, + "step": 110720 + }, + { + "epoch": 0.11553333333333334, + "grad_norm": 0.17145980894565582, + "learning_rate": 9.246323754511623e-05, + "loss": 3.2261566162109374, + "step": 110730 + }, + { + "epoch": 0.1156, + "grad_norm": 0.18503350019454956, + "learning_rate": 9.245741666083286e-05, + "loss": 3.222332000732422, + "step": 110740 + }, + { + "epoch": 0.11566666666666667, + "grad_norm": 0.17692987620830536, + "learning_rate": 9.24515937129587e-05, + "loss": 3.180293083190918, + "step": 110750 + }, + { + "epoch": 0.11573333333333333, + "grad_norm": 0.17621447145938873, + "learning_rate": 9.244576870177678e-05, + "loss": 3.2334579467773437, + "step": 110760 + }, + { + "epoch": 0.1158, + "grad_norm": 0.16273841261863708, + "learning_rate": 9.24399416275702e-05, + "loss": 3.2388080596923827, + "step": 110770 + }, + { + "epoch": 0.11586666666666667, + "grad_norm": 0.1773068904876709, + "learning_rate": 9.24341124906222e-05, + "loss": 3.2089302062988283, + "step": 110780 + }, + { + "epoch": 0.11593333333333333, + "grad_norm": 0.16514372825622559, + "learning_rate": 9.242828129121606e-05, + "loss": 3.1710094451904296, + "step": 110790 + }, + { + "epoch": 0.116, + "grad_norm": 0.1922532469034195, + "learning_rate": 9.242244802963522e-05, + "loss": 3.237478256225586, + "step": 110800 + }, + { + "epoch": 0.11606666666666667, + "grad_norm": 0.17402753233909607, + "learning_rate": 9.24166127061632e-05, + "loss": 3.2250743865966798, + "step": 110810 + }, + { + "epoch": 0.11613333333333334, + "grad_norm": 0.23828741908073425, + "learning_rate": 9.241077532108363e-05, + "loss": 3.223643493652344, + "step": 110820 + }, + { + "epoch": 0.1162, + "grad_norm": 0.17182910442352295, + "learning_rate": 9.24049358746802e-05, + "loss": 3.229136657714844, + "step": 110830 + }, + { + "epoch": 0.11626666666666667, + "grad_norm": 0.17753024399280548, + "learning_rate": 9.239909436723674e-05, + "loss": 3.1950124740600585, + "step": 110840 + }, + { + "epoch": 0.11633333333333333, + "grad_norm": 0.16869786381721497, + "learning_rate": 9.23932507990372e-05, + "loss": 3.3078048706054686, + "step": 110850 + }, + { + "epoch": 0.1164, + "grad_norm": 0.17734025418758392, + "learning_rate": 9.238740517036557e-05, + "loss": 3.238301467895508, + "step": 110860 + }, + { + "epoch": 0.11646666666666666, + "grad_norm": 0.19707641005516052, + "learning_rate": 9.238155748150597e-05, + "loss": 3.180228424072266, + "step": 110870 + }, + { + "epoch": 0.11653333333333334, + "grad_norm": 0.16713286936283112, + "learning_rate": 9.23757077327426e-05, + "loss": 3.1605735778808595, + "step": 110880 + }, + { + "epoch": 0.1166, + "grad_norm": 0.1755858212709427, + "learning_rate": 9.236985592435983e-05, + "loss": 3.2126869201660155, + "step": 110890 + }, + { + "epoch": 0.11666666666666667, + "grad_norm": 0.1821666955947876, + "learning_rate": 9.236400205664205e-05, + "loss": 3.2380733489990234, + "step": 110900 + }, + { + "epoch": 0.11673333333333333, + "grad_norm": 0.16460183262825012, + "learning_rate": 9.235814612987377e-05, + "loss": 3.1561511993408202, + "step": 110910 + }, + { + "epoch": 0.1168, + "grad_norm": 0.17084473371505737, + "learning_rate": 9.235228814433963e-05, + "loss": 3.2050502777099608, + "step": 110920 + }, + { + "epoch": 0.11686666666666666, + "grad_norm": 0.4522821009159088, + "learning_rate": 9.234642810032434e-05, + "loss": 3.1579519271850587, + "step": 110930 + }, + { + "epoch": 0.11693333333333333, + "grad_norm": 0.19572332501411438, + "learning_rate": 9.234056599811274e-05, + "loss": 3.202436065673828, + "step": 110940 + }, + { + "epoch": 0.117, + "grad_norm": 0.16134794056415558, + "learning_rate": 9.233470183798972e-05, + "loss": 3.181082344055176, + "step": 110950 + }, + { + "epoch": 0.11706666666666667, + "grad_norm": 0.1633865237236023, + "learning_rate": 9.232883562024031e-05, + "loss": 3.2247383117675783, + "step": 110960 + }, + { + "epoch": 0.11713333333333334, + "grad_norm": 0.1924436241388321, + "learning_rate": 9.232296734514965e-05, + "loss": 3.239014434814453, + "step": 110970 + }, + { + "epoch": 0.1172, + "grad_norm": 0.20819240808486938, + "learning_rate": 9.231709701300293e-05, + "loss": 3.165486717224121, + "step": 110980 + }, + { + "epoch": 0.11726666666666667, + "grad_norm": 0.20108428597450256, + "learning_rate": 9.231122462408549e-05, + "loss": 3.2281097412109374, + "step": 110990 + }, + { + "epoch": 0.11733333333333333, + "grad_norm": 0.2087092101573944, + "learning_rate": 9.230535017868275e-05, + "loss": 3.183753776550293, + "step": 111000 + }, + { + "epoch": 0.1174, + "grad_norm": 0.1749776154756546, + "learning_rate": 9.229947367708023e-05, + "loss": 3.1806859970092773, + "step": 111010 + }, + { + "epoch": 0.11746666666666666, + "grad_norm": 0.1655922383069992, + "learning_rate": 9.229359511956355e-05, + "loss": 3.225376510620117, + "step": 111020 + }, + { + "epoch": 0.11753333333333334, + "grad_norm": 0.17723453044891357, + "learning_rate": 9.228771450641839e-05, + "loss": 3.205007553100586, + "step": 111030 + }, + { + "epoch": 0.1176, + "grad_norm": 0.17527306079864502, + "learning_rate": 9.228183183793064e-05, + "loss": 3.1974842071533205, + "step": 111040 + }, + { + "epoch": 0.11766666666666667, + "grad_norm": 0.15982505679130554, + "learning_rate": 9.227594711438618e-05, + "loss": 3.2197601318359377, + "step": 111050 + }, + { + "epoch": 0.11773333333333333, + "grad_norm": 0.17800623178482056, + "learning_rate": 9.227006033607104e-05, + "loss": 3.196685791015625, + "step": 111060 + }, + { + "epoch": 0.1178, + "grad_norm": 0.18872642517089844, + "learning_rate": 9.226417150327134e-05, + "loss": 3.3200237274169924, + "step": 111070 + }, + { + "epoch": 0.11786666666666666, + "grad_norm": 0.17758604884147644, + "learning_rate": 9.225828061627328e-05, + "loss": 3.220774841308594, + "step": 111080 + }, + { + "epoch": 0.11793333333333333, + "grad_norm": 0.17707322537899017, + "learning_rate": 9.22523876753632e-05, + "loss": 3.2309818267822266, + "step": 111090 + }, + { + "epoch": 0.118, + "grad_norm": 0.16896507143974304, + "learning_rate": 9.224649268082753e-05, + "loss": 3.2447032928466797, + "step": 111100 + }, + { + "epoch": 0.11806666666666667, + "grad_norm": 0.17423062026500702, + "learning_rate": 9.224059563295275e-05, + "loss": 3.214163970947266, + "step": 111110 + }, + { + "epoch": 0.11813333333333334, + "grad_norm": 0.17286866903305054, + "learning_rate": 9.223469653202551e-05, + "loss": 3.224813461303711, + "step": 111120 + }, + { + "epoch": 0.1182, + "grad_norm": 0.1730978786945343, + "learning_rate": 9.222879537833252e-05, + "loss": 3.330349349975586, + "step": 111130 + }, + { + "epoch": 0.11826666666666667, + "grad_norm": 0.1641434282064438, + "learning_rate": 9.22228921721606e-05, + "loss": 3.251364898681641, + "step": 111140 + }, + { + "epoch": 0.11833333333333333, + "grad_norm": 0.2392062544822693, + "learning_rate": 9.221698691379667e-05, + "loss": 3.171377182006836, + "step": 111150 + }, + { + "epoch": 0.1184, + "grad_norm": 0.19749240577220917, + "learning_rate": 9.221107960352772e-05, + "loss": 3.207162857055664, + "step": 111160 + }, + { + "epoch": 0.11846666666666666, + "grad_norm": 0.18440796434879303, + "learning_rate": 9.220517024164092e-05, + "loss": 3.2015354156494142, + "step": 111170 + }, + { + "epoch": 0.11853333333333334, + "grad_norm": 0.24437828361988068, + "learning_rate": 9.219925882842345e-05, + "loss": 3.166498374938965, + "step": 111180 + }, + { + "epoch": 0.1186, + "grad_norm": 0.19547180831432343, + "learning_rate": 9.219334536416265e-05, + "loss": 3.2043704986572266, + "step": 111190 + }, + { + "epoch": 0.11866666666666667, + "grad_norm": 0.185228630900383, + "learning_rate": 9.21874298491459e-05, + "loss": 3.2123912811279296, + "step": 111200 + }, + { + "epoch": 0.11873333333333333, + "grad_norm": 0.1703331619501114, + "learning_rate": 9.218151228366075e-05, + "loss": 3.138707160949707, + "step": 111210 + }, + { + "epoch": 0.1188, + "grad_norm": 0.1942654252052307, + "learning_rate": 9.21755926679948e-05, + "loss": 3.2374221801757814, + "step": 111220 + }, + { + "epoch": 0.11886666666666666, + "grad_norm": 0.20253850519657135, + "learning_rate": 9.216967100243579e-05, + "loss": 3.2072998046875, + "step": 111230 + }, + { + "epoch": 0.11893333333333334, + "grad_norm": 0.1862007975578308, + "learning_rate": 9.21637472872715e-05, + "loss": 3.2297996520996093, + "step": 111240 + }, + { + "epoch": 0.119, + "grad_norm": 0.1716809868812561, + "learning_rate": 9.215782152278986e-05, + "loss": 3.204128646850586, + "step": 111250 + }, + { + "epoch": 0.11906666666666667, + "grad_norm": 0.16961994767189026, + "learning_rate": 9.21518937092789e-05, + "loss": 3.1407089233398438, + "step": 111260 + }, + { + "epoch": 0.11913333333333333, + "grad_norm": 0.17541857063770294, + "learning_rate": 9.214596384702671e-05, + "loss": 3.2095211029052733, + "step": 111270 + }, + { + "epoch": 0.1192, + "grad_norm": 0.1859084814786911, + "learning_rate": 9.21400319363215e-05, + "loss": 3.169190216064453, + "step": 111280 + }, + { + "epoch": 0.11926666666666667, + "grad_norm": 0.16746731102466583, + "learning_rate": 9.213409797745161e-05, + "loss": 3.1949438095092773, + "step": 111290 + }, + { + "epoch": 0.11933333333333333, + "grad_norm": 0.1722993105649948, + "learning_rate": 9.212816197070544e-05, + "loss": 3.1954845428466796, + "step": 111300 + }, + { + "epoch": 0.1194, + "grad_norm": 0.2833596169948578, + "learning_rate": 9.212222391637151e-05, + "loss": 3.220359039306641, + "step": 111310 + }, + { + "epoch": 0.11946666666666667, + "grad_norm": 0.16329920291900635, + "learning_rate": 9.211628381473842e-05, + "loss": 3.2184368133544923, + "step": 111320 + }, + { + "epoch": 0.11953333333333334, + "grad_norm": 0.18085215985774994, + "learning_rate": 9.211034166609487e-05, + "loss": 3.1956771850585937, + "step": 111330 + }, + { + "epoch": 0.1196, + "grad_norm": 0.1721593290567398, + "learning_rate": 9.21043974707297e-05, + "loss": 3.285791778564453, + "step": 111340 + }, + { + "epoch": 0.11966666666666667, + "grad_norm": 0.19937270879745483, + "learning_rate": 9.209845122893181e-05, + "loss": 3.196356773376465, + "step": 111350 + }, + { + "epoch": 0.11973333333333333, + "grad_norm": 0.17191703617572784, + "learning_rate": 9.20925029409902e-05, + "loss": 3.187114715576172, + "step": 111360 + }, + { + "epoch": 0.1198, + "grad_norm": 0.16937540471553802, + "learning_rate": 9.208655260719398e-05, + "loss": 3.2411472320556642, + "step": 111370 + }, + { + "epoch": 0.11986666666666666, + "grad_norm": 0.18032759428024292, + "learning_rate": 9.208060022783237e-05, + "loss": 3.2094635009765624, + "step": 111380 + }, + { + "epoch": 0.11993333333333334, + "grad_norm": 0.23904195427894592, + "learning_rate": 9.20746458031947e-05, + "loss": 3.2435970306396484, + "step": 111390 + }, + { + "epoch": 0.12, + "grad_norm": 0.1936171054840088, + "learning_rate": 9.206868933357031e-05, + "loss": 3.1958034515380858, + "step": 111400 + }, + { + "epoch": 0.12006666666666667, + "grad_norm": 0.166502445936203, + "learning_rate": 9.206273081924876e-05, + "loss": 3.1994949340820313, + "step": 111410 + }, + { + "epoch": 0.12013333333333333, + "grad_norm": 0.4583588242530823, + "learning_rate": 9.205677026051965e-05, + "loss": 3.25643310546875, + "step": 111420 + }, + { + "epoch": 0.1202, + "grad_norm": 1.327568769454956, + "learning_rate": 9.205080765767266e-05, + "loss": 3.015035057067871, + "step": 111430 + }, + { + "epoch": 0.12026666666666666, + "grad_norm": 0.1666574627161026, + "learning_rate": 9.204484301099763e-05, + "loss": 3.15277156829834, + "step": 111440 + }, + { + "epoch": 0.12033333333333333, + "grad_norm": 0.16911719739437103, + "learning_rate": 9.203887632078445e-05, + "loss": 3.23890380859375, + "step": 111450 + }, + { + "epoch": 0.1204, + "grad_norm": 0.16492924094200134, + "learning_rate": 9.203290758732312e-05, + "loss": 3.2163280487060546, + "step": 111460 + }, + { + "epoch": 0.12046666666666667, + "grad_norm": 0.20271241664886475, + "learning_rate": 9.202693681090373e-05, + "loss": 3.251280975341797, + "step": 111470 + }, + { + "epoch": 0.12053333333333334, + "grad_norm": 0.3525190055370331, + "learning_rate": 9.202096399181651e-05, + "loss": 3.2368053436279296, + "step": 111480 + }, + { + "epoch": 0.1206, + "grad_norm": 0.21899202466011047, + "learning_rate": 9.201498913035175e-05, + "loss": 3.235042190551758, + "step": 111490 + }, + { + "epoch": 0.12066666666666667, + "grad_norm": 0.17557376623153687, + "learning_rate": 9.200901222679985e-05, + "loss": 3.233653259277344, + "step": 111500 + }, + { + "epoch": 0.12073333333333333, + "grad_norm": 0.24472278356552124, + "learning_rate": 9.20030332814513e-05, + "loss": 3.196592903137207, + "step": 111510 + }, + { + "epoch": 0.1208, + "grad_norm": 0.3189507722854614, + "learning_rate": 9.199705229459672e-05, + "loss": 3.150381660461426, + "step": 111520 + }, + { + "epoch": 0.12086666666666666, + "grad_norm": 0.18759486079216003, + "learning_rate": 9.199106926652678e-05, + "loss": 3.2248607635498048, + "step": 111530 + }, + { + "epoch": 0.12093333333333334, + "grad_norm": 0.1687501221895218, + "learning_rate": 9.198508419753231e-05, + "loss": 3.24305419921875, + "step": 111540 + }, + { + "epoch": 0.121, + "grad_norm": 0.17173095047473907, + "learning_rate": 9.19790970879042e-05, + "loss": 3.231243896484375, + "step": 111550 + }, + { + "epoch": 0.12106666666666667, + "grad_norm": 0.17069193720817566, + "learning_rate": 9.197310793793343e-05, + "loss": 3.2590118408203126, + "step": 111560 + }, + { + "epoch": 0.12113333333333333, + "grad_norm": 0.24483971297740936, + "learning_rate": 9.19671167479111e-05, + "loss": 3.2371829986572265, + "step": 111570 + }, + { + "epoch": 0.1212, + "grad_norm": 0.20851649343967438, + "learning_rate": 9.19611235181284e-05, + "loss": 3.1167606353759765, + "step": 111580 + }, + { + "epoch": 0.12126666666666666, + "grad_norm": 0.1915956288576126, + "learning_rate": 9.195512824887667e-05, + "loss": 3.192208099365234, + "step": 111590 + }, + { + "epoch": 0.12133333333333333, + "grad_norm": 0.17841607332229614, + "learning_rate": 9.194913094044723e-05, + "loss": 3.17147216796875, + "step": 111600 + }, + { + "epoch": 0.1214, + "grad_norm": 0.16840782761573792, + "learning_rate": 9.194313159313161e-05, + "loss": 3.2042407989501953, + "step": 111610 + }, + { + "epoch": 0.12146666666666667, + "grad_norm": 0.2175535410642624, + "learning_rate": 9.19371302072214e-05, + "loss": 3.196787452697754, + "step": 111620 + }, + { + "epoch": 0.12153333333333333, + "grad_norm": 0.17690078914165497, + "learning_rate": 9.193112678300828e-05, + "loss": 3.2403987884521483, + "step": 111630 + }, + { + "epoch": 0.1216, + "grad_norm": 0.16964232921600342, + "learning_rate": 9.192512132078405e-05, + "loss": 3.2102848052978517, + "step": 111640 + }, + { + "epoch": 0.12166666666666667, + "grad_norm": 0.17691776156425476, + "learning_rate": 9.191911382084061e-05, + "loss": 3.174741744995117, + "step": 111650 + }, + { + "epoch": 0.12173333333333333, + "grad_norm": 0.18694111704826355, + "learning_rate": 9.191310428346992e-05, + "loss": 3.18184757232666, + "step": 111660 + }, + { + "epoch": 0.1218, + "grad_norm": 0.18384389579296112, + "learning_rate": 9.190709270896407e-05, + "loss": 3.179962921142578, + "step": 111670 + }, + { + "epoch": 0.12186666666666666, + "grad_norm": 0.18085302412509918, + "learning_rate": 9.190107909761527e-05, + "loss": 3.1611557006835938, + "step": 111680 + }, + { + "epoch": 0.12193333333333334, + "grad_norm": 0.20091961324214935, + "learning_rate": 9.189506344971578e-05, + "loss": 3.2287296295166015, + "step": 111690 + }, + { + "epoch": 0.122, + "grad_norm": 0.18476040661334991, + "learning_rate": 9.1889045765558e-05, + "loss": 3.2361576080322267, + "step": 111700 + }, + { + "epoch": 0.12206666666666667, + "grad_norm": 0.1894243061542511, + "learning_rate": 9.188302604543438e-05, + "loss": 3.233539581298828, + "step": 111710 + }, + { + "epoch": 0.12213333333333333, + "grad_norm": 0.1938467025756836, + "learning_rate": 9.187700428963753e-05, + "loss": 3.2609710693359375, + "step": 111720 + }, + { + "epoch": 0.1222, + "grad_norm": 0.1664406955242157, + "learning_rate": 9.187098049846013e-05, + "loss": 3.170698547363281, + "step": 111730 + }, + { + "epoch": 0.12226666666666666, + "grad_norm": 0.16531212627887726, + "learning_rate": 9.186495467219496e-05, + "loss": 3.245777893066406, + "step": 111740 + }, + { + "epoch": 0.12233333333333334, + "grad_norm": 0.17001208662986755, + "learning_rate": 9.185892681113488e-05, + "loss": 3.173684310913086, + "step": 111750 + }, + { + "epoch": 0.1224, + "grad_norm": 0.1963704228401184, + "learning_rate": 9.185289691557289e-05, + "loss": 3.134219741821289, + "step": 111760 + }, + { + "epoch": 0.12246666666666667, + "grad_norm": 0.17983707785606384, + "learning_rate": 9.184686498580203e-05, + "loss": 3.1770179748535154, + "step": 111770 + }, + { + "epoch": 0.12253333333333333, + "grad_norm": 0.1690322458744049, + "learning_rate": 9.184083102211552e-05, + "loss": 3.153815269470215, + "step": 111780 + }, + { + "epoch": 0.1226, + "grad_norm": 0.1797688752412796, + "learning_rate": 9.183479502480661e-05, + "loss": 3.1881683349609373, + "step": 111790 + }, + { + "epoch": 0.12266666666666666, + "grad_norm": 0.2092755138874054, + "learning_rate": 9.182875699416866e-05, + "loss": 3.211425018310547, + "step": 111800 + }, + { + "epoch": 0.12273333333333333, + "grad_norm": 0.17318150401115417, + "learning_rate": 9.182271693049517e-05, + "loss": 3.1946636199951173, + "step": 111810 + }, + { + "epoch": 0.1228, + "grad_norm": 0.20933619141578674, + "learning_rate": 9.181667483407968e-05, + "loss": 3.2620265960693358, + "step": 111820 + }, + { + "epoch": 0.12286666666666667, + "grad_norm": 0.21184378862380981, + "learning_rate": 9.181063070521588e-05, + "loss": 3.1933542251586915, + "step": 111830 + }, + { + "epoch": 0.12293333333333334, + "grad_norm": 0.1723550260066986, + "learning_rate": 9.180458454419754e-05, + "loss": 3.2189640045166015, + "step": 111840 + }, + { + "epoch": 0.123, + "grad_norm": 0.2228795289993286, + "learning_rate": 9.179853635131849e-05, + "loss": 3.137780952453613, + "step": 111850 + }, + { + "epoch": 0.12306666666666667, + "grad_norm": 0.1712978035211563, + "learning_rate": 9.179248612687274e-05, + "loss": 3.2594284057617187, + "step": 111860 + }, + { + "epoch": 0.12313333333333333, + "grad_norm": 0.17970669269561768, + "learning_rate": 9.178643387115435e-05, + "loss": 3.174802780151367, + "step": 111870 + }, + { + "epoch": 0.1232, + "grad_norm": 0.16448679566383362, + "learning_rate": 9.178037958445745e-05, + "loss": 3.1961090087890627, + "step": 111880 + }, + { + "epoch": 0.12326666666666666, + "grad_norm": 0.17198264598846436, + "learning_rate": 9.177432326707632e-05, + "loss": 3.227538299560547, + "step": 111890 + }, + { + "epoch": 0.12333333333333334, + "grad_norm": 0.21197731792926788, + "learning_rate": 9.176826491930533e-05, + "loss": 3.1415964126586915, + "step": 111900 + }, + { + "epoch": 0.1234, + "grad_norm": 0.17070335149765015, + "learning_rate": 9.176220454143891e-05, + "loss": 3.219564437866211, + "step": 111910 + }, + { + "epoch": 0.12346666666666667, + "grad_norm": 0.17678944766521454, + "learning_rate": 9.175614213377166e-05, + "loss": 3.217927932739258, + "step": 111920 + }, + { + "epoch": 0.12353333333333333, + "grad_norm": 0.16967208683490753, + "learning_rate": 9.175007769659819e-05, + "loss": 3.2160293579101564, + "step": 111930 + }, + { + "epoch": 0.1236, + "grad_norm": 0.45333993434906006, + "learning_rate": 9.174401123021327e-05, + "loss": 3.302455520629883, + "step": 111940 + }, + { + "epoch": 0.12366666666666666, + "grad_norm": 0.17688079178333282, + "learning_rate": 9.173794273491179e-05, + "loss": 3.137138557434082, + "step": 111950 + }, + { + "epoch": 0.12373333333333333, + "grad_norm": 0.5639349818229675, + "learning_rate": 9.173187221098865e-05, + "loss": 3.1842557907104494, + "step": 111960 + }, + { + "epoch": 0.1238, + "grad_norm": 0.18858906626701355, + "learning_rate": 9.172579965873893e-05, + "loss": 3.186284065246582, + "step": 111970 + }, + { + "epoch": 0.12386666666666667, + "grad_norm": 0.17198888957500458, + "learning_rate": 9.171972507845776e-05, + "loss": 3.1738361358642577, + "step": 111980 + }, + { + "epoch": 0.12393333333333334, + "grad_norm": 0.1681160032749176, + "learning_rate": 9.17136484704404e-05, + "loss": 3.2633644104003907, + "step": 111990 + }, + { + "epoch": 0.124, + "grad_norm": 0.17795506119728088, + "learning_rate": 9.170756983498219e-05, + "loss": 3.2135459899902346, + "step": 112000 + }, + { + "epoch": 0.12406666666666667, + "grad_norm": 0.16644634306430817, + "learning_rate": 9.170148917237858e-05, + "loss": 3.151529884338379, + "step": 112010 + }, + { + "epoch": 0.12413333333333333, + "grad_norm": 0.1813119351863861, + "learning_rate": 9.169540648292511e-05, + "loss": 3.180362319946289, + "step": 112020 + }, + { + "epoch": 0.1242, + "grad_norm": 0.18978190422058105, + "learning_rate": 9.168932176691744e-05, + "loss": 3.2166301727294924, + "step": 112030 + }, + { + "epoch": 0.12426666666666666, + "grad_norm": 0.1855314075946808, + "learning_rate": 9.168323502465128e-05, + "loss": 3.1881370544433594, + "step": 112040 + }, + { + "epoch": 0.12433333333333334, + "grad_norm": 0.18715757131576538, + "learning_rate": 9.167714625642247e-05, + "loss": 3.1764408111572267, + "step": 112050 + }, + { + "epoch": 0.1244, + "grad_norm": 0.19104529917240143, + "learning_rate": 9.167105546252698e-05, + "loss": 3.200644683837891, + "step": 112060 + }, + { + "epoch": 0.12446666666666667, + "grad_norm": 0.19038017094135284, + "learning_rate": 9.166496264326082e-05, + "loss": 3.2686782836914063, + "step": 112070 + }, + { + "epoch": 0.12453333333333333, + "grad_norm": 0.1656234860420227, + "learning_rate": 9.165886779892012e-05, + "loss": 3.167560577392578, + "step": 112080 + }, + { + "epoch": 0.1246, + "grad_norm": 0.173201322555542, + "learning_rate": 9.165277092980114e-05, + "loss": 3.220260238647461, + "step": 112090 + }, + { + "epoch": 0.12466666666666666, + "grad_norm": 0.1828765869140625, + "learning_rate": 9.164667203620016e-05, + "loss": 3.2029067993164064, + "step": 112100 + }, + { + "epoch": 0.12473333333333333, + "grad_norm": 0.1969306915998459, + "learning_rate": 9.164057111841368e-05, + "loss": 3.1892726898193358, + "step": 112110 + }, + { + "epoch": 0.1248, + "grad_norm": 0.17336618900299072, + "learning_rate": 9.163446817673817e-05, + "loss": 3.2022586822509767, + "step": 112120 + }, + { + "epoch": 0.12486666666666667, + "grad_norm": 0.1779400259256363, + "learning_rate": 9.162836321147026e-05, + "loss": 3.200323486328125, + "step": 112130 + }, + { + "epoch": 0.12493333333333333, + "grad_norm": 0.20036451518535614, + "learning_rate": 9.162225622290671e-05, + "loss": 3.1662864685058594, + "step": 112140 + }, + { + "epoch": 0.125, + "grad_norm": 0.17832280695438385, + "learning_rate": 9.161614721134432e-05, + "loss": 3.2955181121826174, + "step": 112150 + }, + { + "epoch": 0.12506666666666666, + "grad_norm": 0.1814066767692566, + "learning_rate": 9.161003617708001e-05, + "loss": 3.188141441345215, + "step": 112160 + }, + { + "epoch": 0.12513333333333335, + "grad_norm": 0.1910819560289383, + "learning_rate": 9.16039231204108e-05, + "loss": 3.1291236877441406, + "step": 112170 + }, + { + "epoch": 0.1252, + "grad_norm": 0.18864473700523376, + "learning_rate": 9.15978080416338e-05, + "loss": 3.2372467041015627, + "step": 112180 + }, + { + "epoch": 0.12526666666666667, + "grad_norm": 0.1850244700908661, + "learning_rate": 9.159169094104625e-05, + "loss": 3.4902416229248048, + "step": 112190 + }, + { + "epoch": 0.12533333333333332, + "grad_norm": 0.17509028315544128, + "learning_rate": 9.158557181894545e-05, + "loss": 3.202339935302734, + "step": 112200 + }, + { + "epoch": 0.1254, + "grad_norm": 0.18536582589149475, + "learning_rate": 9.157945067562881e-05, + "loss": 3.199332046508789, + "step": 112210 + }, + { + "epoch": 0.12546666666666667, + "grad_norm": 0.1661641150712967, + "learning_rate": 9.157332751139383e-05, + "loss": 3.2391632080078123, + "step": 112220 + }, + { + "epoch": 0.12553333333333333, + "grad_norm": 0.17555277049541473, + "learning_rate": 9.156720232653815e-05, + "loss": 3.2652351379394533, + "step": 112230 + }, + { + "epoch": 0.1256, + "grad_norm": 0.6143915057182312, + "learning_rate": 9.156107512135945e-05, + "loss": 3.1560361862182615, + "step": 112240 + }, + { + "epoch": 0.12566666666666668, + "grad_norm": 0.189873605966568, + "learning_rate": 9.155494589615555e-05, + "loss": 3.261944580078125, + "step": 112250 + }, + { + "epoch": 0.12573333333333334, + "grad_norm": 0.18809537589550018, + "learning_rate": 9.154881465122435e-05, + "loss": 3.2358169555664062, + "step": 112260 + }, + { + "epoch": 0.1258, + "grad_norm": 0.17801901698112488, + "learning_rate": 9.154268138686386e-05, + "loss": 3.244751739501953, + "step": 112270 + }, + { + "epoch": 0.12586666666666665, + "grad_norm": 0.1870117038488388, + "learning_rate": 9.153654610337214e-05, + "loss": 3.1997940063476564, + "step": 112280 + }, + { + "epoch": 0.12593333333333334, + "grad_norm": 0.1782100349664688, + "learning_rate": 9.153040880104744e-05, + "loss": 3.1507619857788085, + "step": 112290 + }, + { + "epoch": 0.126, + "grad_norm": 0.1855946183204651, + "learning_rate": 9.152426948018802e-05, + "loss": 3.1772830963134764, + "step": 112300 + }, + { + "epoch": 0.12606666666666666, + "grad_norm": 0.1768273413181305, + "learning_rate": 9.15181281410923e-05, + "loss": 3.206709289550781, + "step": 112310 + }, + { + "epoch": 0.12613333333333332, + "grad_norm": 0.2009982168674469, + "learning_rate": 9.151198478405875e-05, + "loss": 3.2108695983886717, + "step": 112320 + }, + { + "epoch": 0.1262, + "grad_norm": 0.1670883148908615, + "learning_rate": 9.150583940938598e-05, + "loss": 3.189632797241211, + "step": 112330 + }, + { + "epoch": 0.12626666666666667, + "grad_norm": 0.770788848400116, + "learning_rate": 9.149969201737267e-05, + "loss": 3.308798599243164, + "step": 112340 + }, + { + "epoch": 0.12633333333333333, + "grad_norm": 0.19286251068115234, + "learning_rate": 9.14935426083176e-05, + "loss": 3.1551946640014648, + "step": 112350 + }, + { + "epoch": 0.1264, + "grad_norm": 0.1830107569694519, + "learning_rate": 9.148739118251966e-05, + "loss": 3.209461212158203, + "step": 112360 + }, + { + "epoch": 0.12646666666666667, + "grad_norm": 0.4746004045009613, + "learning_rate": 9.148123774027782e-05, + "loss": 3.220672607421875, + "step": 112370 + }, + { + "epoch": 0.12653333333333333, + "grad_norm": 0.18054059147834778, + "learning_rate": 9.14750822818912e-05, + "loss": 3.2473567962646483, + "step": 112380 + }, + { + "epoch": 0.1266, + "grad_norm": 0.1803295910358429, + "learning_rate": 9.146892480765892e-05, + "loss": 3.2473915100097654, + "step": 112390 + }, + { + "epoch": 0.12666666666666668, + "grad_norm": 0.18173012137413025, + "learning_rate": 9.146276531788032e-05, + "loss": 3.2134468078613283, + "step": 112400 + }, + { + "epoch": 0.12673333333333334, + "grad_norm": 0.17763535678386688, + "learning_rate": 9.145660381285471e-05, + "loss": 3.3383079528808595, + "step": 112410 + }, + { + "epoch": 0.1268, + "grad_norm": 0.16866415739059448, + "learning_rate": 9.145044029288161e-05, + "loss": 3.1969942092895507, + "step": 112420 + }, + { + "epoch": 0.12686666666666666, + "grad_norm": 0.1838809698820114, + "learning_rate": 9.144427475826058e-05, + "loss": 3.165110778808594, + "step": 112430 + }, + { + "epoch": 0.12693333333333334, + "grad_norm": 0.18570809066295624, + "learning_rate": 9.143810720929129e-05, + "loss": 3.2438304901123045, + "step": 112440 + }, + { + "epoch": 0.127, + "grad_norm": 0.17428793013095856, + "learning_rate": 9.143193764627348e-05, + "loss": 3.2016574859619142, + "step": 112450 + }, + { + "epoch": 0.12706666666666666, + "grad_norm": 0.17488564550876617, + "learning_rate": 9.142576606950704e-05, + "loss": 3.1855581283569334, + "step": 112460 + }, + { + "epoch": 0.12713333333333332, + "grad_norm": 0.1769166886806488, + "learning_rate": 9.141959247929193e-05, + "loss": 3.1619800567626952, + "step": 112470 + }, + { + "epoch": 0.1272, + "grad_norm": 0.1921638697385788, + "learning_rate": 9.14134168759282e-05, + "loss": 3.201795959472656, + "step": 112480 + }, + { + "epoch": 0.12726666666666667, + "grad_norm": 0.19938601553440094, + "learning_rate": 9.140723925971602e-05, + "loss": 3.221731185913086, + "step": 112490 + }, + { + "epoch": 0.12733333333333333, + "grad_norm": 0.1884896457195282, + "learning_rate": 9.140105963095564e-05, + "loss": 3.2144397735595702, + "step": 112500 + }, + { + "epoch": 0.1274, + "grad_norm": 0.1795593500137329, + "learning_rate": 9.139487798994739e-05, + "loss": 3.1826641082763674, + "step": 112510 + }, + { + "epoch": 0.12746666666666667, + "grad_norm": 0.4091011583805084, + "learning_rate": 9.138869433699178e-05, + "loss": 3.234404754638672, + "step": 112520 + }, + { + "epoch": 0.12753333333333333, + "grad_norm": 0.16493229568004608, + "learning_rate": 9.138250867238929e-05, + "loss": 3.173012924194336, + "step": 112530 + }, + { + "epoch": 0.1276, + "grad_norm": 0.17220903933048248, + "learning_rate": 9.137632099644061e-05, + "loss": 3.2449737548828126, + "step": 112540 + }, + { + "epoch": 0.12766666666666668, + "grad_norm": 0.1906852126121521, + "learning_rate": 9.137013130944647e-05, + "loss": 3.2313941955566405, + "step": 112550 + }, + { + "epoch": 0.12773333333333334, + "grad_norm": 0.17561602592468262, + "learning_rate": 9.136393961170772e-05, + "loss": 3.256842041015625, + "step": 112560 + }, + { + "epoch": 0.1278, + "grad_norm": 0.18433788418769836, + "learning_rate": 9.135774590352528e-05, + "loss": 3.1840864181518556, + "step": 112570 + }, + { + "epoch": 0.12786666666666666, + "grad_norm": 0.17279337346553802, + "learning_rate": 9.135155018520023e-05, + "loss": 3.187165451049805, + "step": 112580 + }, + { + "epoch": 0.12793333333333334, + "grad_norm": 0.195037379860878, + "learning_rate": 9.134535245703367e-05, + "loss": 3.2171554565429688, + "step": 112590 + }, + { + "epoch": 0.128, + "grad_norm": 0.24321947991847992, + "learning_rate": 9.133915271932682e-05, + "loss": 3.2502262115478517, + "step": 112600 + }, + { + "epoch": 0.12806666666666666, + "grad_norm": 0.20539063215255737, + "learning_rate": 9.133295097238104e-05, + "loss": 3.3009159088134767, + "step": 112610 + }, + { + "epoch": 0.12813333333333332, + "grad_norm": 0.1914736032485962, + "learning_rate": 9.132674721649775e-05, + "loss": 3.2300235748291017, + "step": 112620 + }, + { + "epoch": 0.1282, + "grad_norm": 0.2713460624217987, + "learning_rate": 9.132054145197848e-05, + "loss": 3.4413421630859373, + "step": 112630 + }, + { + "epoch": 0.12826666666666667, + "grad_norm": 0.1718793511390686, + "learning_rate": 9.131433367912486e-05, + "loss": 3.279451370239258, + "step": 112640 + }, + { + "epoch": 0.12833333333333333, + "grad_norm": 0.1742272973060608, + "learning_rate": 9.130812389823858e-05, + "loss": 3.2277122497558595, + "step": 112650 + }, + { + "epoch": 0.1284, + "grad_norm": 0.19044530391693115, + "learning_rate": 9.130191210962149e-05, + "loss": 3.248968505859375, + "step": 112660 + }, + { + "epoch": 0.12846666666666667, + "grad_norm": 0.17481181025505066, + "learning_rate": 9.129569831357549e-05, + "loss": 3.2411270141601562, + "step": 112670 + }, + { + "epoch": 0.12853333333333333, + "grad_norm": 0.2313205897808075, + "learning_rate": 9.128948251040262e-05, + "loss": 3.1697996139526365, + "step": 112680 + }, + { + "epoch": 0.1286, + "grad_norm": 0.1728314906358719, + "learning_rate": 9.128326470040495e-05, + "loss": 3.2771602630615235, + "step": 112690 + }, + { + "epoch": 0.12866666666666668, + "grad_norm": 0.18378204107284546, + "learning_rate": 9.127704488388471e-05, + "loss": 3.1674095153808595, + "step": 112700 + }, + { + "epoch": 0.12873333333333334, + "grad_norm": 0.19730857014656067, + "learning_rate": 9.127082306114422e-05, + "loss": 3.2010524749755858, + "step": 112710 + }, + { + "epoch": 0.1288, + "grad_norm": 0.19529220461845398, + "learning_rate": 9.126459923248586e-05, + "loss": 3.1797792434692385, + "step": 112720 + }, + { + "epoch": 0.12886666666666666, + "grad_norm": 0.20870976150035858, + "learning_rate": 9.125837339821214e-05, + "loss": 3.1775665283203125, + "step": 112730 + }, + { + "epoch": 0.12893333333333334, + "grad_norm": 0.1851048320531845, + "learning_rate": 9.125214555862567e-05, + "loss": 3.2170745849609377, + "step": 112740 + }, + { + "epoch": 0.129, + "grad_norm": 0.1788458526134491, + "learning_rate": 9.124591571402914e-05, + "loss": 3.235788345336914, + "step": 112750 + }, + { + "epoch": 0.12906666666666666, + "grad_norm": 0.16778619587421417, + "learning_rate": 9.123968386472533e-05, + "loss": 3.217586135864258, + "step": 112760 + }, + { + "epoch": 0.12913333333333332, + "grad_norm": 0.1839594691991806, + "learning_rate": 9.123345001101715e-05, + "loss": 3.2219879150390627, + "step": 112770 + }, + { + "epoch": 0.1292, + "grad_norm": 0.17065726220607758, + "learning_rate": 9.122721415320759e-05, + "loss": 3.200637435913086, + "step": 112780 + }, + { + "epoch": 0.12926666666666667, + "grad_norm": 0.18054766952991486, + "learning_rate": 9.122097629159971e-05, + "loss": 3.1877891540527346, + "step": 112790 + }, + { + "epoch": 0.12933333333333333, + "grad_norm": 0.16712810099124908, + "learning_rate": 9.121473642649674e-05, + "loss": 3.179124450683594, + "step": 112800 + }, + { + "epoch": 0.1294, + "grad_norm": 0.46022871136665344, + "learning_rate": 9.120849455820191e-05, + "loss": 3.1668859481811524, + "step": 112810 + }, + { + "epoch": 0.12946666666666667, + "grad_norm": 0.2039223164319992, + "learning_rate": 9.120225068701861e-05, + "loss": 3.2328968048095703, + "step": 112820 + }, + { + "epoch": 0.12953333333333333, + "grad_norm": 0.19142772257328033, + "learning_rate": 9.119600481325036e-05, + "loss": 3.2289573669433596, + "step": 112830 + }, + { + "epoch": 0.1296, + "grad_norm": 0.17681922018527985, + "learning_rate": 9.118975693720069e-05, + "loss": 3.185886764526367, + "step": 112840 + }, + { + "epoch": 0.12966666666666668, + "grad_norm": 0.19459176063537598, + "learning_rate": 9.118350705917327e-05, + "loss": 3.205418014526367, + "step": 112850 + }, + { + "epoch": 0.12973333333333334, + "grad_norm": 0.18502797186374664, + "learning_rate": 9.117725517947188e-05, + "loss": 3.0844961166381837, + "step": 112860 + }, + { + "epoch": 0.1298, + "grad_norm": 0.17093487083911896, + "learning_rate": 9.117100129840039e-05, + "loss": 3.183925437927246, + "step": 112870 + }, + { + "epoch": 0.12986666666666666, + "grad_norm": 0.6055653691291809, + "learning_rate": 9.116474541626277e-05, + "loss": 3.3043277740478514, + "step": 112880 + }, + { + "epoch": 0.12993333333333335, + "grad_norm": 0.1970231831073761, + "learning_rate": 9.115848753336303e-05, + "loss": 3.2429759979248045, + "step": 112890 + }, + { + "epoch": 0.13, + "grad_norm": 0.16846957802772522, + "learning_rate": 9.115222765000538e-05, + "loss": 3.233433151245117, + "step": 112900 + }, + { + "epoch": 0.13006666666666666, + "grad_norm": 0.16942036151885986, + "learning_rate": 9.114596576649406e-05, + "loss": 3.217433547973633, + "step": 112910 + }, + { + "epoch": 0.13013333333333332, + "grad_norm": 0.18028593063354492, + "learning_rate": 9.113970188313341e-05, + "loss": 3.2230449676513673, + "step": 112920 + }, + { + "epoch": 0.1302, + "grad_norm": 0.17334508895874023, + "learning_rate": 9.113343600022789e-05, + "loss": 3.223783493041992, + "step": 112930 + }, + { + "epoch": 0.13026666666666667, + "grad_norm": 0.18171875178813934, + "learning_rate": 9.112716811808203e-05, + "loss": 3.231059265136719, + "step": 112940 + }, + { + "epoch": 0.13033333333333333, + "grad_norm": 0.1983022540807724, + "learning_rate": 9.11208982370005e-05, + "loss": 3.171686363220215, + "step": 112950 + }, + { + "epoch": 0.1304, + "grad_norm": 0.17307350039482117, + "learning_rate": 9.111462635728803e-05, + "loss": 3.213716506958008, + "step": 112960 + }, + { + "epoch": 0.13046666666666668, + "grad_norm": 0.5150696635246277, + "learning_rate": 9.110835247924942e-05, + "loss": 3.177633857727051, + "step": 112970 + }, + { + "epoch": 0.13053333333333333, + "grad_norm": 0.26395556330680847, + "learning_rate": 9.110207660318966e-05, + "loss": 3.2012271881103516, + "step": 112980 + }, + { + "epoch": 0.1306, + "grad_norm": 0.21589502692222595, + "learning_rate": 9.109579872941374e-05, + "loss": 3.215406036376953, + "step": 112990 + }, + { + "epoch": 0.13066666666666665, + "grad_norm": 0.3070248067378998, + "learning_rate": 9.10895188582268e-05, + "loss": 3.230615234375, + "step": 113000 + }, + { + "epoch": 0.13073333333333334, + "grad_norm": 0.17308887839317322, + "learning_rate": 9.10832369899341e-05, + "loss": 3.173346519470215, + "step": 113010 + }, + { + "epoch": 0.1308, + "grad_norm": 0.23106347024440765, + "learning_rate": 9.10769531248409e-05, + "loss": 3.1923303604125977, + "step": 113020 + }, + { + "epoch": 0.13086666666666666, + "grad_norm": 0.1701957881450653, + "learning_rate": 9.107066726325267e-05, + "loss": 3.1917856216430662, + "step": 113030 + }, + { + "epoch": 0.13093333333333335, + "grad_norm": 0.18841411173343658, + "learning_rate": 9.106437940547491e-05, + "loss": 3.2415897369384767, + "step": 113040 + }, + { + "epoch": 0.131, + "grad_norm": 0.21292553842067719, + "learning_rate": 9.105808955181323e-05, + "loss": 3.045858955383301, + "step": 113050 + }, + { + "epoch": 0.13106666666666666, + "grad_norm": 0.18023090064525604, + "learning_rate": 9.105179770257333e-05, + "loss": 3.256398391723633, + "step": 113060 + }, + { + "epoch": 0.13113333333333332, + "grad_norm": 0.2055298388004303, + "learning_rate": 9.104550385806103e-05, + "loss": 3.2250396728515627, + "step": 113070 + }, + { + "epoch": 0.1312, + "grad_norm": 0.17475678026676178, + "learning_rate": 9.103920801858225e-05, + "loss": 3.261698913574219, + "step": 113080 + }, + { + "epoch": 0.13126666666666667, + "grad_norm": 0.17855167388916016, + "learning_rate": 9.103291018444297e-05, + "loss": 3.207578659057617, + "step": 113090 + }, + { + "epoch": 0.13133333333333333, + "grad_norm": 0.4113374650478363, + "learning_rate": 9.10266103559493e-05, + "loss": 3.2358306884765624, + "step": 113100 + }, + { + "epoch": 0.1314, + "grad_norm": 0.19640536606311798, + "learning_rate": 9.102030853340743e-05, + "loss": 3.2008617401123045, + "step": 113110 + }, + { + "epoch": 0.13146666666666668, + "grad_norm": 0.1936882883310318, + "learning_rate": 9.101400471712364e-05, + "loss": 3.2721485137939452, + "step": 113120 + }, + { + "epoch": 0.13153333333333334, + "grad_norm": 0.1764295995235443, + "learning_rate": 9.100769890740435e-05, + "loss": 3.228588104248047, + "step": 113130 + }, + { + "epoch": 0.1316, + "grad_norm": 0.17790333926677704, + "learning_rate": 9.100139110455603e-05, + "loss": 3.2047565460205076, + "step": 113140 + }, + { + "epoch": 0.13166666666666665, + "grad_norm": 0.17653606832027435, + "learning_rate": 9.099508130888524e-05, + "loss": 3.2675209045410156, + "step": 113150 + }, + { + "epoch": 0.13173333333333334, + "grad_norm": 0.16932667791843414, + "learning_rate": 9.09887695206987e-05, + "loss": 3.215300369262695, + "step": 113160 + }, + { + "epoch": 0.1318, + "grad_norm": 0.20065909624099731, + "learning_rate": 9.098245574030315e-05, + "loss": 3.1823236465454103, + "step": 113170 + }, + { + "epoch": 0.13186666666666666, + "grad_norm": 0.19858765602111816, + "learning_rate": 9.097613996800549e-05, + "loss": 3.170137405395508, + "step": 113180 + }, + { + "epoch": 0.13193333333333335, + "grad_norm": 0.1749795377254486, + "learning_rate": 9.09698222041127e-05, + "loss": 3.1848285675048826, + "step": 113190 + }, + { + "epoch": 0.132, + "grad_norm": 0.18668027222156525, + "learning_rate": 9.096350244893182e-05, + "loss": 3.231436920166016, + "step": 113200 + }, + { + "epoch": 0.13206666666666667, + "grad_norm": 0.23210349678993225, + "learning_rate": 9.095718070277001e-05, + "loss": 3.2399707794189454, + "step": 113210 + }, + { + "epoch": 0.13213333333333332, + "grad_norm": 0.2070767730474472, + "learning_rate": 9.095085696593455e-05, + "loss": 3.159801483154297, + "step": 113220 + }, + { + "epoch": 0.1322, + "grad_norm": 0.18630200624465942, + "learning_rate": 9.094453123873279e-05, + "loss": 3.1840097427368166, + "step": 113230 + }, + { + "epoch": 0.13226666666666667, + "grad_norm": 0.1910122036933899, + "learning_rate": 9.093820352147219e-05, + "loss": 3.1370716094970703, + "step": 113240 + }, + { + "epoch": 0.13233333333333333, + "grad_norm": 0.1869906485080719, + "learning_rate": 9.093187381446028e-05, + "loss": 3.164831352233887, + "step": 113250 + }, + { + "epoch": 0.1324, + "grad_norm": 0.1781224012374878, + "learning_rate": 9.092554211800474e-05, + "loss": 3.2084629058837892, + "step": 113260 + }, + { + "epoch": 0.13246666666666668, + "grad_norm": 0.1806883066892624, + "learning_rate": 9.091920843241331e-05, + "loss": 3.208434295654297, + "step": 113270 + }, + { + "epoch": 0.13253333333333334, + "grad_norm": 0.23964190483093262, + "learning_rate": 9.09128727579938e-05, + "loss": 3.184771728515625, + "step": 113280 + }, + { + "epoch": 0.1326, + "grad_norm": 0.18390165269374847, + "learning_rate": 9.090653509505418e-05, + "loss": 3.179881477355957, + "step": 113290 + }, + { + "epoch": 0.13266666666666665, + "grad_norm": 0.18001873791217804, + "learning_rate": 9.090019544390246e-05, + "loss": 3.146690559387207, + "step": 113300 + }, + { + "epoch": 0.13273333333333334, + "grad_norm": 0.17776484787464142, + "learning_rate": 9.08938538048468e-05, + "loss": 3.1711780548095705, + "step": 113310 + }, + { + "epoch": 0.1328, + "grad_norm": 0.1867818534374237, + "learning_rate": 9.08875101781954e-05, + "loss": 3.1843517303466795, + "step": 113320 + }, + { + "epoch": 0.13286666666666666, + "grad_norm": 0.20086845755577087, + "learning_rate": 9.088116456425659e-05, + "loss": 3.2419551849365233, + "step": 113330 + }, + { + "epoch": 0.13293333333333332, + "grad_norm": 0.22052516043186188, + "learning_rate": 9.08748169633388e-05, + "loss": 3.1849971771240235, + "step": 113340 + }, + { + "epoch": 0.133, + "grad_norm": 0.19859808683395386, + "learning_rate": 9.086846737575054e-05, + "loss": 3.1890838623046873, + "step": 113350 + }, + { + "epoch": 0.13306666666666667, + "grad_norm": 0.19316038489341736, + "learning_rate": 9.086211580180044e-05, + "loss": 3.1868522644042967, + "step": 113360 + }, + { + "epoch": 0.13313333333333333, + "grad_norm": 0.1895970106124878, + "learning_rate": 9.085576224179718e-05, + "loss": 3.194872283935547, + "step": 113370 + }, + { + "epoch": 0.1332, + "grad_norm": 0.18416474759578705, + "learning_rate": 9.08494066960496e-05, + "loss": 3.1911964416503906, + "step": 113380 + }, + { + "epoch": 0.13326666666666667, + "grad_norm": 0.1822071075439453, + "learning_rate": 9.084304916486657e-05, + "loss": 3.183609962463379, + "step": 113390 + }, + { + "epoch": 0.13333333333333333, + "grad_norm": 0.20603902637958527, + "learning_rate": 9.083668964855712e-05, + "loss": 3.21002197265625, + "step": 113400 + }, + { + "epoch": 0.1334, + "grad_norm": 0.6076306104660034, + "learning_rate": 9.083032814743033e-05, + "loss": 3.2904727935791014, + "step": 113410 + }, + { + "epoch": 0.13346666666666668, + "grad_norm": 0.1847466379404068, + "learning_rate": 9.082396466179538e-05, + "loss": 3.248929977416992, + "step": 113420 + }, + { + "epoch": 0.13353333333333334, + "grad_norm": 0.1810804158449173, + "learning_rate": 9.081759919196161e-05, + "loss": 3.2467079162597656, + "step": 113430 + }, + { + "epoch": 0.1336, + "grad_norm": 0.16459889709949493, + "learning_rate": 9.081123173823836e-05, + "loss": 3.1763912200927735, + "step": 113440 + }, + { + "epoch": 0.13366666666666666, + "grad_norm": 0.1811525970697403, + "learning_rate": 9.080486230093512e-05, + "loss": 3.1693220138549805, + "step": 113450 + }, + { + "epoch": 0.13373333333333334, + "grad_norm": 0.17141661047935486, + "learning_rate": 9.079849088036147e-05, + "loss": 3.2004619598388673, + "step": 113460 + }, + { + "epoch": 0.1338, + "grad_norm": 0.16907645761966705, + "learning_rate": 9.07921174768271e-05, + "loss": 3.180263137817383, + "step": 113470 + }, + { + "epoch": 0.13386666666666666, + "grad_norm": 0.18556618690490723, + "learning_rate": 9.078574209064175e-05, + "loss": 3.1830474853515627, + "step": 113480 + }, + { + "epoch": 0.13393333333333332, + "grad_norm": 0.1725897639989853, + "learning_rate": 9.077936472211532e-05, + "loss": 3.150063133239746, + "step": 113490 + }, + { + "epoch": 0.134, + "grad_norm": 0.21068304777145386, + "learning_rate": 9.077298537155778e-05, + "loss": 3.2592288970947267, + "step": 113500 + }, + { + "epoch": 0.13406666666666667, + "grad_norm": 0.17300409078598022, + "learning_rate": 9.076660403927914e-05, + "loss": 3.1738107681274412, + "step": 113510 + }, + { + "epoch": 0.13413333333333333, + "grad_norm": 0.1929457038640976, + "learning_rate": 9.076022072558961e-05, + "loss": 3.170249366760254, + "step": 113520 + }, + { + "epoch": 0.1342, + "grad_norm": 0.19834600389003754, + "learning_rate": 9.075383543079943e-05, + "loss": 3.171519470214844, + "step": 113530 + }, + { + "epoch": 0.13426666666666667, + "grad_norm": 0.45577773451805115, + "learning_rate": 9.074744815521891e-05, + "loss": 3.318266677856445, + "step": 113540 + }, + { + "epoch": 0.13433333333333333, + "grad_norm": 0.1690557599067688, + "learning_rate": 9.074105889915856e-05, + "loss": 3.22008056640625, + "step": 113550 + }, + { + "epoch": 0.1344, + "grad_norm": 0.16922929883003235, + "learning_rate": 9.073466766292888e-05, + "loss": 3.293321228027344, + "step": 113560 + }, + { + "epoch": 0.13446666666666668, + "grad_norm": 0.17941083014011383, + "learning_rate": 9.072827444684051e-05, + "loss": 3.1760496139526366, + "step": 113570 + }, + { + "epoch": 0.13453333333333334, + "grad_norm": 0.18559306859970093, + "learning_rate": 9.07218792512042e-05, + "loss": 3.25958137512207, + "step": 113580 + }, + { + "epoch": 0.1346, + "grad_norm": 0.18160293996334076, + "learning_rate": 9.071548207633077e-05, + "loss": 3.203842544555664, + "step": 113590 + }, + { + "epoch": 0.13466666666666666, + "grad_norm": 0.18580099940299988, + "learning_rate": 9.070908292253115e-05, + "loss": 3.1759241104125975, + "step": 113600 + }, + { + "epoch": 0.13473333333333334, + "grad_norm": 0.1852956861257553, + "learning_rate": 9.070268179011637e-05, + "loss": 3.1352943420410155, + "step": 113610 + }, + { + "epoch": 0.1348, + "grad_norm": 0.16744637489318848, + "learning_rate": 9.069627867939754e-05, + "loss": 3.2169933319091797, + "step": 113620 + }, + { + "epoch": 0.13486666666666666, + "grad_norm": 0.17488180100917816, + "learning_rate": 9.068987359068587e-05, + "loss": 3.1901731491088867, + "step": 113630 + }, + { + "epoch": 0.13493333333333332, + "grad_norm": 0.17688529193401337, + "learning_rate": 9.068346652429268e-05, + "loss": 3.1340761184692383, + "step": 113640 + }, + { + "epoch": 0.135, + "grad_norm": 0.1906961351633072, + "learning_rate": 9.067705748052938e-05, + "loss": 3.1703218460083007, + "step": 113650 + }, + { + "epoch": 0.13506666666666667, + "grad_norm": 0.16303399205207825, + "learning_rate": 9.067064645970746e-05, + "loss": 3.1840171813964844, + "step": 113660 + }, + { + "epoch": 0.13513333333333333, + "grad_norm": 0.3460107147693634, + "learning_rate": 9.066423346213855e-05, + "loss": 3.1630191802978516, + "step": 113670 + }, + { + "epoch": 0.1352, + "grad_norm": 0.29941242933273315, + "learning_rate": 9.065781848813432e-05, + "loss": 3.2462047576904296, + "step": 113680 + }, + { + "epoch": 0.13526666666666667, + "grad_norm": 0.17341387271881104, + "learning_rate": 9.065140153800656e-05, + "loss": 3.244545745849609, + "step": 113690 + }, + { + "epoch": 0.13533333333333333, + "grad_norm": 0.22260800004005432, + "learning_rate": 9.064498261206717e-05, + "loss": 3.169811248779297, + "step": 113700 + }, + { + "epoch": 0.1354, + "grad_norm": 0.20994016528129578, + "learning_rate": 9.063856171062813e-05, + "loss": 3.1836095809936524, + "step": 113710 + }, + { + "epoch": 0.13546666666666668, + "grad_norm": 0.1696045994758606, + "learning_rate": 9.063213883400153e-05, + "loss": 3.177886962890625, + "step": 113720 + }, + { + "epoch": 0.13553333333333334, + "grad_norm": 0.17984582483768463, + "learning_rate": 9.062571398249953e-05, + "loss": 3.13616828918457, + "step": 113730 + }, + { + "epoch": 0.1356, + "grad_norm": 0.18481217324733734, + "learning_rate": 9.06192871564344e-05, + "loss": 3.1803300857543944, + "step": 113740 + }, + { + "epoch": 0.13566666666666666, + "grad_norm": 0.19947277009487152, + "learning_rate": 9.061285835611853e-05, + "loss": 2.780478668212891, + "step": 113750 + }, + { + "epoch": 0.13573333333333334, + "grad_norm": 0.4731743633747101, + "learning_rate": 9.060642758186434e-05, + "loss": 3.25928955078125, + "step": 113760 + }, + { + "epoch": 0.1358, + "grad_norm": 0.18187925219535828, + "learning_rate": 9.059999483398446e-05, + "loss": 3.222382354736328, + "step": 113770 + }, + { + "epoch": 0.13586666666666666, + "grad_norm": 0.19144578278064728, + "learning_rate": 9.05935601127915e-05, + "loss": 3.1907352447509765, + "step": 113780 + }, + { + "epoch": 0.13593333333333332, + "grad_norm": 0.1840675175189972, + "learning_rate": 9.05871234185982e-05, + "loss": 3.1247976303100584, + "step": 113790 + }, + { + "epoch": 0.136, + "grad_norm": 0.19520743191242218, + "learning_rate": 9.058068475171742e-05, + "loss": 3.211517333984375, + "step": 113800 + }, + { + "epoch": 0.13606666666666667, + "grad_norm": 0.16642089188098907, + "learning_rate": 9.057424411246213e-05, + "loss": 3.1919431686401367, + "step": 113810 + }, + { + "epoch": 0.13613333333333333, + "grad_norm": 0.18517529964447021, + "learning_rate": 9.056780150114535e-05, + "loss": 3.175059700012207, + "step": 113820 + }, + { + "epoch": 0.1362, + "grad_norm": 0.1794176697731018, + "learning_rate": 9.056135691808019e-05, + "loss": 3.261687469482422, + "step": 113830 + }, + { + "epoch": 0.13626666666666667, + "grad_norm": 0.19457800686359406, + "learning_rate": 9.055491036357992e-05, + "loss": 3.2881961822509767, + "step": 113840 + }, + { + "epoch": 0.13633333333333333, + "grad_norm": 0.18108032643795013, + "learning_rate": 9.054846183795784e-05, + "loss": 3.173267364501953, + "step": 113850 + }, + { + "epoch": 0.1364, + "grad_norm": 0.18153244256973267, + "learning_rate": 9.05420113415274e-05, + "loss": 3.247394561767578, + "step": 113860 + }, + { + "epoch": 0.13646666666666665, + "grad_norm": 0.17425650358200073, + "learning_rate": 9.05355588746021e-05, + "loss": 3.2729034423828125, + "step": 113870 + }, + { + "epoch": 0.13653333333333334, + "grad_norm": 0.17988216876983643, + "learning_rate": 9.052910443749554e-05, + "loss": 3.1754806518554686, + "step": 113880 + }, + { + "epoch": 0.1366, + "grad_norm": 0.17814460396766663, + "learning_rate": 9.052264803052147e-05, + "loss": 3.2257125854492186, + "step": 113890 + }, + { + "epoch": 0.13666666666666666, + "grad_norm": 0.19629643857479095, + "learning_rate": 9.051618965399367e-05, + "loss": 3.1152921676635743, + "step": 113900 + }, + { + "epoch": 0.13673333333333335, + "grad_norm": 0.18694061040878296, + "learning_rate": 9.050972930822603e-05, + "loss": 3.1845424652099608, + "step": 113910 + }, + { + "epoch": 0.1368, + "grad_norm": 0.18583494424819946, + "learning_rate": 9.050326699353257e-05, + "loss": 3.1695350646972655, + "step": 113920 + }, + { + "epoch": 0.13686666666666666, + "grad_norm": 0.3942601978778839, + "learning_rate": 9.049680271022738e-05, + "loss": 3.188716697692871, + "step": 113930 + }, + { + "epoch": 0.13693333333333332, + "grad_norm": 0.21978148818016052, + "learning_rate": 9.049033645862464e-05, + "loss": 3.1533485412597657, + "step": 113940 + }, + { + "epoch": 0.137, + "grad_norm": 0.17789925634860992, + "learning_rate": 9.048386823903863e-05, + "loss": 3.2980113983154298, + "step": 113950 + }, + { + "epoch": 0.13706666666666667, + "grad_norm": 0.18772044777870178, + "learning_rate": 9.047739805178375e-05, + "loss": 3.1813386917114257, + "step": 113960 + }, + { + "epoch": 0.13713333333333333, + "grad_norm": 0.19553543627262115, + "learning_rate": 9.047092589717443e-05, + "loss": 3.2116935729980467, + "step": 113970 + }, + { + "epoch": 0.1372, + "grad_norm": 0.19662505388259888, + "learning_rate": 9.046445177552531e-05, + "loss": 3.1691091537475584, + "step": 113980 + }, + { + "epoch": 0.13726666666666668, + "grad_norm": 0.21935807168483734, + "learning_rate": 9.045797568715099e-05, + "loss": 3.210488128662109, + "step": 113990 + }, + { + "epoch": 0.13733333333333334, + "grad_norm": 0.43772196769714355, + "learning_rate": 9.04514976323663e-05, + "loss": 3.2749866485595702, + "step": 114000 + }, + { + "epoch": 0.1374, + "grad_norm": 0.20814593136310577, + "learning_rate": 9.044501761148603e-05, + "loss": 3.2279659271240235, + "step": 114010 + }, + { + "epoch": 0.13746666666666665, + "grad_norm": 0.32545289397239685, + "learning_rate": 9.043853562482518e-05, + "loss": 3.3052555084228517, + "step": 114020 + }, + { + "epoch": 0.13753333333333334, + "grad_norm": 0.1885615885257721, + "learning_rate": 9.04320516726988e-05, + "loss": 3.198647880554199, + "step": 114030 + }, + { + "epoch": 0.1376, + "grad_norm": 0.19361995160579681, + "learning_rate": 9.042556575542198e-05, + "loss": 3.2053661346435547, + "step": 114040 + }, + { + "epoch": 0.13766666666666666, + "grad_norm": 0.16662664711475372, + "learning_rate": 9.041907787331002e-05, + "loss": 3.1342161178588865, + "step": 114050 + }, + { + "epoch": 0.13773333333333335, + "grad_norm": 0.2946757376194, + "learning_rate": 9.041258802667823e-05, + "loss": 3.244381332397461, + "step": 114060 + }, + { + "epoch": 0.1378, + "grad_norm": 0.2397407740354538, + "learning_rate": 9.040609621584204e-05, + "loss": 3.171159553527832, + "step": 114070 + }, + { + "epoch": 0.13786666666666667, + "grad_norm": 0.17920348048210144, + "learning_rate": 9.039960244111698e-05, + "loss": 3.1746990203857424, + "step": 114080 + }, + { + "epoch": 0.13793333333333332, + "grad_norm": 0.21274632215499878, + "learning_rate": 9.039310670281869e-05, + "loss": 3.2202735900878907, + "step": 114090 + }, + { + "epoch": 0.138, + "grad_norm": 0.19215577840805054, + "learning_rate": 9.038660900126286e-05, + "loss": 3.2301326751708985, + "step": 114100 + }, + { + "epoch": 0.13806666666666667, + "grad_norm": 0.18641048669815063, + "learning_rate": 9.038010933676531e-05, + "loss": 3.1675527572631834, + "step": 114110 + }, + { + "epoch": 0.13813333333333333, + "grad_norm": 0.2627963125705719, + "learning_rate": 9.037360770964195e-05, + "loss": 3.2164947509765627, + "step": 114120 + }, + { + "epoch": 0.1382, + "grad_norm": 0.18995587527751923, + "learning_rate": 9.036710412020879e-05, + "loss": 3.1909709930419923, + "step": 114130 + }, + { + "epoch": 0.13826666666666668, + "grad_norm": 0.17934869229793549, + "learning_rate": 9.036059856878192e-05, + "loss": 3.1736129760742187, + "step": 114140 + }, + { + "epoch": 0.13833333333333334, + "grad_norm": 0.1779748499393463, + "learning_rate": 9.035409105567755e-05, + "loss": 3.1349706649780273, + "step": 114150 + }, + { + "epoch": 0.1384, + "grad_norm": 0.194613516330719, + "learning_rate": 9.034758158121195e-05, + "loss": 3.1492082595825197, + "step": 114160 + }, + { + "epoch": 0.13846666666666665, + "grad_norm": 0.3132864832878113, + "learning_rate": 9.03410701457015e-05, + "loss": 3.2092910766601563, + "step": 114170 + }, + { + "epoch": 0.13853333333333334, + "grad_norm": 0.19200824201107025, + "learning_rate": 9.033455674946271e-05, + "loss": 3.1764644622802733, + "step": 114180 + }, + { + "epoch": 0.1386, + "grad_norm": 0.1788487732410431, + "learning_rate": 9.032804139281214e-05, + "loss": 3.235658645629883, + "step": 114190 + }, + { + "epoch": 0.13866666666666666, + "grad_norm": 0.19541221857070923, + "learning_rate": 9.032152407606646e-05, + "loss": 3.1671470642089843, + "step": 114200 + }, + { + "epoch": 0.13873333333333332, + "grad_norm": 0.19844593107700348, + "learning_rate": 9.031500479954244e-05, + "loss": 3.2051300048828124, + "step": 114210 + }, + { + "epoch": 0.1388, + "grad_norm": 0.18376082181930542, + "learning_rate": 9.030848356355692e-05, + "loss": 3.2002235412597657, + "step": 114220 + }, + { + "epoch": 0.13886666666666667, + "grad_norm": 0.19381237030029297, + "learning_rate": 9.030196036842689e-05, + "loss": 3.321832275390625, + "step": 114230 + }, + { + "epoch": 0.13893333333333333, + "grad_norm": 0.19356265664100647, + "learning_rate": 9.029543521446938e-05, + "loss": 3.1363258361816406, + "step": 114240 + }, + { + "epoch": 0.139, + "grad_norm": 0.1830986887216568, + "learning_rate": 9.028890810200154e-05, + "loss": 3.1875892639160157, + "step": 114250 + }, + { + "epoch": 0.13906666666666667, + "grad_norm": 0.2150091528892517, + "learning_rate": 9.028237903134063e-05, + "loss": 3.201552963256836, + "step": 114260 + }, + { + "epoch": 0.13913333333333333, + "grad_norm": 0.20294474065303802, + "learning_rate": 9.027584800280398e-05, + "loss": 3.1820343017578123, + "step": 114270 + }, + { + "epoch": 0.1392, + "grad_norm": 0.18313606083393097, + "learning_rate": 9.026931501670899e-05, + "loss": 3.305310821533203, + "step": 114280 + }, + { + "epoch": 0.13926666666666668, + "grad_norm": 0.18067806959152222, + "learning_rate": 9.026278007337323e-05, + "loss": 3.287954330444336, + "step": 114290 + }, + { + "epoch": 0.13933333333333334, + "grad_norm": 0.2084859311580658, + "learning_rate": 9.025624317311429e-05, + "loss": 3.1991729736328125, + "step": 114300 + }, + { + "epoch": 0.1394, + "grad_norm": 0.18028248846530914, + "learning_rate": 9.024970431624993e-05, + "loss": 3.125703239440918, + "step": 114310 + }, + { + "epoch": 0.13946666666666666, + "grad_norm": 0.21896566450595856, + "learning_rate": 9.024316350309793e-05, + "loss": 3.146208381652832, + "step": 114320 + }, + { + "epoch": 0.13953333333333334, + "grad_norm": 0.6390248537063599, + "learning_rate": 9.02366207339762e-05, + "loss": 3.3201904296875, + "step": 114330 + }, + { + "epoch": 0.1396, + "grad_norm": 0.22961311042308807, + "learning_rate": 9.023007600920275e-05, + "loss": 3.3014434814453124, + "step": 114340 + }, + { + "epoch": 0.13966666666666666, + "grad_norm": 0.2901480197906494, + "learning_rate": 9.022352932909569e-05, + "loss": 3.20198974609375, + "step": 114350 + }, + { + "epoch": 0.13973333333333332, + "grad_norm": 0.4110122323036194, + "learning_rate": 9.021698069397318e-05, + "loss": 3.247548294067383, + "step": 114360 + }, + { + "epoch": 0.1398, + "grad_norm": 0.1935773640871048, + "learning_rate": 9.021043010415355e-05, + "loss": 3.184442329406738, + "step": 114370 + }, + { + "epoch": 0.13986666666666667, + "grad_norm": 0.17001038789749146, + "learning_rate": 9.020387755995515e-05, + "loss": 3.2104423522949217, + "step": 114380 + }, + { + "epoch": 0.13993333333333333, + "grad_norm": 0.1939748078584671, + "learning_rate": 9.019732306169648e-05, + "loss": 3.1919153213500975, + "step": 114390 + }, + { + "epoch": 0.14, + "grad_norm": 0.19822168350219727, + "learning_rate": 9.01907666096961e-05, + "loss": 3.131729507446289, + "step": 114400 + }, + { + "epoch": 0.14006666666666667, + "grad_norm": 0.29900863766670227, + "learning_rate": 9.018420820427269e-05, + "loss": 3.249318313598633, + "step": 114410 + }, + { + "epoch": 0.14013333333333333, + "grad_norm": 0.19753113389015198, + "learning_rate": 9.0177647845745e-05, + "loss": 3.173324394226074, + "step": 114420 + }, + { + "epoch": 0.1402, + "grad_norm": 0.18416723608970642, + "learning_rate": 9.017108553443189e-05, + "loss": 3.2081817626953124, + "step": 114430 + }, + { + "epoch": 0.14026666666666668, + "grad_norm": 0.21802785992622375, + "learning_rate": 9.01645212706523e-05, + "loss": 3.212560272216797, + "step": 114440 + }, + { + "epoch": 0.14033333333333334, + "grad_norm": 0.1940755993127823, + "learning_rate": 9.015795505472534e-05, + "loss": 3.1659912109375, + "step": 114450 + }, + { + "epoch": 0.1404, + "grad_norm": 0.1948695331811905, + "learning_rate": 9.015138688697009e-05, + "loss": 3.2107635498046876, + "step": 114460 + }, + { + "epoch": 0.14046666666666666, + "grad_norm": 0.19362348318099976, + "learning_rate": 9.01448167677058e-05, + "loss": 3.2567279815673826, + "step": 114470 + }, + { + "epoch": 0.14053333333333334, + "grad_norm": 0.1888050138950348, + "learning_rate": 9.013824469725181e-05, + "loss": 3.083976936340332, + "step": 114480 + }, + { + "epoch": 0.1406, + "grad_norm": 0.22269375622272491, + "learning_rate": 9.013167067592756e-05, + "loss": 3.147875213623047, + "step": 114490 + }, + { + "epoch": 0.14066666666666666, + "grad_norm": 0.17424488067626953, + "learning_rate": 9.012509470405255e-05, + "loss": 3.1685977935791017, + "step": 114500 + }, + { + "epoch": 0.14073333333333332, + "grad_norm": 0.18194545805454254, + "learning_rate": 9.01185167819464e-05, + "loss": 3.134779930114746, + "step": 114510 + }, + { + "epoch": 0.1408, + "grad_norm": 0.17762227356433868, + "learning_rate": 9.011193690992884e-05, + "loss": 3.147483253479004, + "step": 114520 + }, + { + "epoch": 0.14086666666666667, + "grad_norm": 0.2029266506433487, + "learning_rate": 9.010535508831965e-05, + "loss": 3.166990280151367, + "step": 114530 + }, + { + "epoch": 0.14093333333333333, + "grad_norm": 0.18297815322875977, + "learning_rate": 9.009877131743874e-05, + "loss": 3.168257141113281, + "step": 114540 + }, + { + "epoch": 0.141, + "grad_norm": 0.1734992265701294, + "learning_rate": 9.009218559760612e-05, + "loss": 3.2384719848632812, + "step": 114550 + }, + { + "epoch": 0.14106666666666667, + "grad_norm": 0.18154776096343994, + "learning_rate": 9.008559792914188e-05, + "loss": 3.175594711303711, + "step": 114560 + }, + { + "epoch": 0.14113333333333333, + "grad_norm": 0.18030932545661926, + "learning_rate": 9.007900831236619e-05, + "loss": 3.1904226303100587, + "step": 114570 + }, + { + "epoch": 0.1412, + "grad_norm": 0.17187371850013733, + "learning_rate": 9.007241674759935e-05, + "loss": 3.1994171142578125, + "step": 114580 + }, + { + "epoch": 0.14126666666666668, + "grad_norm": 0.7026723623275757, + "learning_rate": 9.006582323516173e-05, + "loss": 3.174205780029297, + "step": 114590 + }, + { + "epoch": 0.14133333333333334, + "grad_norm": 0.1738448292016983, + "learning_rate": 9.005922777537377e-05, + "loss": 3.2075061798095703, + "step": 114600 + }, + { + "epoch": 0.1414, + "grad_norm": 0.1861000657081604, + "learning_rate": 9.005263036855607e-05, + "loss": 3.2447933197021483, + "step": 114610 + }, + { + "epoch": 0.14146666666666666, + "grad_norm": 0.17767398059368134, + "learning_rate": 9.004603101502926e-05, + "loss": 3.2310203552246093, + "step": 114620 + }, + { + "epoch": 0.14153333333333334, + "grad_norm": 0.17314204573631287, + "learning_rate": 9.003942971511414e-05, + "loss": 3.1545713424682615, + "step": 114630 + }, + { + "epoch": 0.1416, + "grad_norm": 0.19053491950035095, + "learning_rate": 9.00328264691315e-05, + "loss": 3.2287673950195312, + "step": 114640 + }, + { + "epoch": 0.14166666666666666, + "grad_norm": 0.19653521478176117, + "learning_rate": 9.002622127740232e-05, + "loss": 3.216690444946289, + "step": 114650 + }, + { + "epoch": 0.14173333333333332, + "grad_norm": 0.1842586249113083, + "learning_rate": 9.001961414024764e-05, + "loss": 3.1622066497802734, + "step": 114660 + }, + { + "epoch": 0.1418, + "grad_norm": 0.19822576642036438, + "learning_rate": 9.001300505798857e-05, + "loss": 3.0850605010986327, + "step": 114670 + }, + { + "epoch": 0.14186666666666667, + "grad_norm": 0.17581920325756073, + "learning_rate": 9.000639403094634e-05, + "loss": 3.1727344512939455, + "step": 114680 + }, + { + "epoch": 0.14193333333333333, + "grad_norm": 0.1730213463306427, + "learning_rate": 8.999978105944228e-05, + "loss": 3.1815057754516602, + "step": 114690 + }, + { + "epoch": 0.142, + "grad_norm": 0.1835562139749527, + "learning_rate": 8.99931661437978e-05, + "loss": 3.1881704330444336, + "step": 114700 + }, + { + "epoch": 0.14206666666666667, + "grad_norm": 0.18077601492404938, + "learning_rate": 8.998654928433442e-05, + "loss": 3.186404228210449, + "step": 114710 + }, + { + "epoch": 0.14213333333333333, + "grad_norm": 0.1850963979959488, + "learning_rate": 8.997993048137373e-05, + "loss": 3.1238094329833985, + "step": 114720 + }, + { + "epoch": 0.1422, + "grad_norm": 0.17055778205394745, + "learning_rate": 8.997330973523743e-05, + "loss": 3.184661102294922, + "step": 114730 + }, + { + "epoch": 0.14226666666666668, + "grad_norm": 0.3685237765312195, + "learning_rate": 8.996668704624734e-05, + "loss": 3.2074970245361327, + "step": 114740 + }, + { + "epoch": 0.14233333333333334, + "grad_norm": 0.26027196645736694, + "learning_rate": 8.99600624147253e-05, + "loss": 3.236650848388672, + "step": 114750 + }, + { + "epoch": 0.1424, + "grad_norm": 0.1716344803571701, + "learning_rate": 8.995343584099334e-05, + "loss": 3.144558334350586, + "step": 114760 + }, + { + "epoch": 0.14246666666666666, + "grad_norm": 0.16670696437358856, + "learning_rate": 8.99468073253735e-05, + "loss": 3.1602739334106444, + "step": 114770 + }, + { + "epoch": 0.14253333333333335, + "grad_norm": 0.20760400593280792, + "learning_rate": 8.994017686818798e-05, + "loss": 3.182782745361328, + "step": 114780 + }, + { + "epoch": 0.1426, + "grad_norm": 0.17987647652626038, + "learning_rate": 8.993354446975901e-05, + "loss": 3.221872329711914, + "step": 114790 + }, + { + "epoch": 0.14266666666666666, + "grad_norm": 0.18277469277381897, + "learning_rate": 8.992691013040899e-05, + "loss": 3.195799446105957, + "step": 114800 + }, + { + "epoch": 0.14273333333333332, + "grad_norm": 0.1963052749633789, + "learning_rate": 8.992027385046034e-05, + "loss": 3.1621688842773437, + "step": 114810 + }, + { + "epoch": 0.1428, + "grad_norm": 0.17632681131362915, + "learning_rate": 8.991363563023564e-05, + "loss": 3.1762004852294923, + "step": 114820 + }, + { + "epoch": 0.14286666666666667, + "grad_norm": 0.20575493574142456, + "learning_rate": 8.99069954700575e-05, + "loss": 3.200313186645508, + "step": 114830 + }, + { + "epoch": 0.14293333333333333, + "grad_norm": 0.18156351149082184, + "learning_rate": 8.990035337024867e-05, + "loss": 3.216659164428711, + "step": 114840 + }, + { + "epoch": 0.143, + "grad_norm": 0.1766965538263321, + "learning_rate": 8.989370933113199e-05, + "loss": 3.1877199172973634, + "step": 114850 + }, + { + "epoch": 0.14306666666666668, + "grad_norm": 0.20732806622982025, + "learning_rate": 8.988706335303038e-05, + "loss": 3.1868366241455077, + "step": 114860 + }, + { + "epoch": 0.14313333333333333, + "grad_norm": 0.20976994931697845, + "learning_rate": 8.988041543626686e-05, + "loss": 3.2011734008789063, + "step": 114870 + }, + { + "epoch": 0.1432, + "grad_norm": 0.18196550011634827, + "learning_rate": 8.987376558116454e-05, + "loss": 3.2429080963134767, + "step": 114880 + }, + { + "epoch": 0.14326666666666665, + "grad_norm": 0.18522854149341583, + "learning_rate": 8.986711378804664e-05, + "loss": 3.191069221496582, + "step": 114890 + }, + { + "epoch": 0.14333333333333334, + "grad_norm": 0.4436974823474884, + "learning_rate": 8.986046005723644e-05, + "loss": 3.1583600997924806, + "step": 114900 + }, + { + "epoch": 0.1434, + "grad_norm": 0.29821568727493286, + "learning_rate": 8.985380438905735e-05, + "loss": 3.100702476501465, + "step": 114910 + }, + { + "epoch": 0.14346666666666666, + "grad_norm": 0.18407706916332245, + "learning_rate": 8.984714678383287e-05, + "loss": 3.1548463821411135, + "step": 114920 + }, + { + "epoch": 0.14353333333333335, + "grad_norm": 0.2030358910560608, + "learning_rate": 8.984048724188656e-05, + "loss": 3.1971254348754883, + "step": 114930 + }, + { + "epoch": 0.1436, + "grad_norm": 0.18311788141727448, + "learning_rate": 8.983382576354212e-05, + "loss": 3.154345703125, + "step": 114940 + }, + { + "epoch": 0.14366666666666666, + "grad_norm": 0.17354696989059448, + "learning_rate": 8.982716234912331e-05, + "loss": 3.210905075073242, + "step": 114950 + }, + { + "epoch": 0.14373333333333332, + "grad_norm": 0.18447045981884003, + "learning_rate": 8.982049699895401e-05, + "loss": 3.121708869934082, + "step": 114960 + }, + { + "epoch": 0.1438, + "grad_norm": 0.2059606909751892, + "learning_rate": 8.981382971335819e-05, + "loss": 3.1766971588134765, + "step": 114970 + }, + { + "epoch": 0.14386666666666667, + "grad_norm": 0.18898580968379974, + "learning_rate": 8.980716049265987e-05, + "loss": 3.178365135192871, + "step": 114980 + }, + { + "epoch": 0.14393333333333333, + "grad_norm": 0.20749375224113464, + "learning_rate": 8.980048933718323e-05, + "loss": 3.1620510101318358, + "step": 114990 + }, + { + "epoch": 0.144, + "grad_norm": 0.17467133700847626, + "learning_rate": 8.97938162472525e-05, + "loss": 3.2135353088378906, + "step": 115000 + }, + { + "epoch": 0.14406666666666668, + "grad_norm": 0.20782822370529175, + "learning_rate": 8.978714122319201e-05, + "loss": 3.2226978302001954, + "step": 115010 + }, + { + "epoch": 0.14413333333333334, + "grad_norm": 0.19982804358005524, + "learning_rate": 8.97804642653262e-05, + "loss": 3.2211883544921873, + "step": 115020 + }, + { + "epoch": 0.1442, + "grad_norm": 0.19547010958194733, + "learning_rate": 8.97737853739796e-05, + "loss": 3.1696855545043947, + "step": 115030 + }, + { + "epoch": 0.14426666666666665, + "grad_norm": 0.1943843960762024, + "learning_rate": 8.976710454947683e-05, + "loss": 3.1443670272827147, + "step": 115040 + }, + { + "epoch": 0.14433333333333334, + "grad_norm": 0.18507641553878784, + "learning_rate": 8.976042179214262e-05, + "loss": 3.159477424621582, + "step": 115050 + }, + { + "epoch": 0.1444, + "grad_norm": 0.1755301058292389, + "learning_rate": 8.975373710230173e-05, + "loss": 3.1217071533203127, + "step": 115060 + }, + { + "epoch": 0.14446666666666666, + "grad_norm": 0.17738258838653564, + "learning_rate": 8.974705048027909e-05, + "loss": 3.1778539657592773, + "step": 115070 + }, + { + "epoch": 0.14453333333333335, + "grad_norm": 0.19343037903308868, + "learning_rate": 8.974036192639969e-05, + "loss": 3.158251953125, + "step": 115080 + }, + { + "epoch": 0.1446, + "grad_norm": 0.22535422444343567, + "learning_rate": 8.973367144098863e-05, + "loss": 3.129413032531738, + "step": 115090 + }, + { + "epoch": 0.14466666666666667, + "grad_norm": 0.17406047880649567, + "learning_rate": 8.972697902437108e-05, + "loss": 3.1919225692749023, + "step": 115100 + }, + { + "epoch": 0.14473333333333332, + "grad_norm": 0.18025706708431244, + "learning_rate": 8.972028467687233e-05, + "loss": 3.162981414794922, + "step": 115110 + }, + { + "epoch": 0.1448, + "grad_norm": 0.2404307872056961, + "learning_rate": 8.971358839881773e-05, + "loss": 3.1934152603149415, + "step": 115120 + }, + { + "epoch": 0.14486666666666667, + "grad_norm": 0.29389744997024536, + "learning_rate": 8.970689019053275e-05, + "loss": 3.1389835357666014, + "step": 115130 + }, + { + "epoch": 0.14493333333333333, + "grad_norm": 0.23112912476062775, + "learning_rate": 8.970019005234298e-05, + "loss": 3.170174407958984, + "step": 115140 + }, + { + "epoch": 0.145, + "grad_norm": 0.2429821789264679, + "learning_rate": 8.969348798457404e-05, + "loss": 3.195509338378906, + "step": 115150 + }, + { + "epoch": 0.14506666666666668, + "grad_norm": 0.1767321228981018, + "learning_rate": 8.968678398755166e-05, + "loss": 3.215562438964844, + "step": 115160 + }, + { + "epoch": 0.14513333333333334, + "grad_norm": 0.2414773404598236, + "learning_rate": 8.968007806160172e-05, + "loss": 3.2684005737304687, + "step": 115170 + }, + { + "epoch": 0.1452, + "grad_norm": 0.20993423461914062, + "learning_rate": 8.967337020705014e-05, + "loss": 3.1631994247436523, + "step": 115180 + }, + { + "epoch": 0.14526666666666666, + "grad_norm": 0.19327853620052338, + "learning_rate": 8.966666042422294e-05, + "loss": 3.205347442626953, + "step": 115190 + }, + { + "epoch": 0.14533333333333334, + "grad_norm": 0.22929729521274567, + "learning_rate": 8.965994871344623e-05, + "loss": 3.179778480529785, + "step": 115200 + }, + { + "epoch": 0.1454, + "grad_norm": 0.1789487898349762, + "learning_rate": 8.965323507504624e-05, + "loss": 3.2067626953125, + "step": 115210 + }, + { + "epoch": 0.14546666666666666, + "grad_norm": 0.19531042873859406, + "learning_rate": 8.964651950934929e-05, + "loss": 3.2209110260009766, + "step": 115220 + }, + { + "epoch": 0.14553333333333332, + "grad_norm": 0.246993288397789, + "learning_rate": 8.963980201668176e-05, + "loss": 3.181458282470703, + "step": 115230 + }, + { + "epoch": 0.1456, + "grad_norm": 0.18307502567768097, + "learning_rate": 8.963308259737016e-05, + "loss": 3.3071914672851563, + "step": 115240 + }, + { + "epoch": 0.14566666666666667, + "grad_norm": 0.17983435094356537, + "learning_rate": 8.962636125174106e-05, + "loss": 3.1394975662231444, + "step": 115250 + }, + { + "epoch": 0.14573333333333333, + "grad_norm": 0.24881289899349213, + "learning_rate": 8.961963798012115e-05, + "loss": 3.188882255554199, + "step": 115260 + }, + { + "epoch": 0.1458, + "grad_norm": 0.18036165833473206, + "learning_rate": 8.961291278283722e-05, + "loss": 3.186545181274414, + "step": 115270 + }, + { + "epoch": 0.14586666666666667, + "grad_norm": 4.557909605296118e-09, + "learning_rate": 8.960618566021613e-05, + "loss": 5.0685783386230465, + "step": 115280 + }, + { + "epoch": 0.14593333333333333, + "grad_norm": 0.178819939494133, + "learning_rate": 8.959945661258485e-05, + "loss": 1.441700553894043, + "step": 115290 + }, + { + "epoch": 0.146, + "grad_norm": 0.1897207349538803, + "learning_rate": 8.959272564027044e-05, + "loss": 3.1920251846313477, + "step": 115300 + }, + { + "epoch": 0.14606666666666668, + "grad_norm": 0.18675118684768677, + "learning_rate": 8.958599274360002e-05, + "loss": 3.2555484771728516, + "step": 115310 + }, + { + "epoch": 0.14613333333333334, + "grad_norm": 0.17841550707817078, + "learning_rate": 8.957925792290087e-05, + "loss": 3.151851463317871, + "step": 115320 + }, + { + "epoch": 0.1462, + "grad_norm": 0.20667503774166107, + "learning_rate": 8.957252117850033e-05, + "loss": 3.2338302612304686, + "step": 115330 + }, + { + "epoch": 0.14626666666666666, + "grad_norm": 0.1871166080236435, + "learning_rate": 8.95657825107258e-05, + "loss": 3.196574401855469, + "step": 115340 + }, + { + "epoch": 0.14633333333333334, + "grad_norm": 0.19130975008010864, + "learning_rate": 8.95590419199048e-05, + "loss": 3.192097473144531, + "step": 115350 + }, + { + "epoch": 0.1464, + "grad_norm": 0.273000568151474, + "learning_rate": 8.9552299406365e-05, + "loss": 3.194003105163574, + "step": 115360 + }, + { + "epoch": 0.14646666666666666, + "grad_norm": 0.18371795117855072, + "learning_rate": 8.954555497043407e-05, + "loss": 3.1831220626831054, + "step": 115370 + }, + { + "epoch": 0.14653333333333332, + "grad_norm": 0.17748597264289856, + "learning_rate": 8.953880861243983e-05, + "loss": 3.214915084838867, + "step": 115380 + }, + { + "epoch": 0.1466, + "grad_norm": 0.18889757990837097, + "learning_rate": 8.953206033271016e-05, + "loss": 3.1816131591796877, + "step": 115390 + }, + { + "epoch": 0.14666666666666667, + "grad_norm": 0.1711314469575882, + "learning_rate": 8.952531013157309e-05, + "loss": 3.1554115295410154, + "step": 115400 + }, + { + "epoch": 0.14673333333333333, + "grad_norm": 0.32204878330230713, + "learning_rate": 8.951855800935665e-05, + "loss": 3.212777328491211, + "step": 115410 + }, + { + "epoch": 0.1468, + "grad_norm": 0.22848555445671082, + "learning_rate": 8.951180396638907e-05, + "loss": 3.18810977935791, + "step": 115420 + }, + { + "epoch": 0.14686666666666667, + "grad_norm": 0.18211179971694946, + "learning_rate": 8.95050480029986e-05, + "loss": 3.194930648803711, + "step": 115430 + }, + { + "epoch": 0.14693333333333333, + "grad_norm": 0.19413678348064423, + "learning_rate": 8.949829011951361e-05, + "loss": 3.238846206665039, + "step": 115440 + }, + { + "epoch": 0.147, + "grad_norm": 0.17590893805027008, + "learning_rate": 8.949153031626254e-05, + "loss": 3.180173873901367, + "step": 115450 + }, + { + "epoch": 0.14706666666666668, + "grad_norm": 0.26328110694885254, + "learning_rate": 8.948476859357397e-05, + "loss": 3.286937713623047, + "step": 115460 + }, + { + "epoch": 0.14713333333333334, + "grad_norm": 0.22170816361904144, + "learning_rate": 8.947800495177654e-05, + "loss": 3.1817703247070312, + "step": 115470 + }, + { + "epoch": 0.1472, + "grad_norm": 0.293414831161499, + "learning_rate": 8.947123939119897e-05, + "loss": 3.5015132904052733, + "step": 115480 + }, + { + "epoch": 0.14726666666666666, + "grad_norm": 0.1782049685716629, + "learning_rate": 8.946447191217012e-05, + "loss": 3.2901996612548827, + "step": 115490 + }, + { + "epoch": 0.14733333333333334, + "grad_norm": 0.17074903845787048, + "learning_rate": 8.945770251501888e-05, + "loss": 3.132657051086426, + "step": 115500 + }, + { + "epoch": 0.1474, + "grad_norm": 0.18534399569034576, + "learning_rate": 8.945093120007429e-05, + "loss": 3.2516422271728516, + "step": 115510 + }, + { + "epoch": 0.14746666666666666, + "grad_norm": 0.18468549847602844, + "learning_rate": 8.944415796766546e-05, + "loss": 3.1536474227905273, + "step": 115520 + }, + { + "epoch": 0.14753333333333332, + "grad_norm": 0.18307669460773468, + "learning_rate": 8.943738281812158e-05, + "loss": 3.207419204711914, + "step": 115530 + }, + { + "epoch": 0.1476, + "grad_norm": 0.25065797567367554, + "learning_rate": 8.943060575177197e-05, + "loss": 3.173893165588379, + "step": 115540 + }, + { + "epoch": 0.14766666666666667, + "grad_norm": 0.16777868568897247, + "learning_rate": 8.942382676894603e-05, + "loss": 3.1967288970947267, + "step": 115550 + }, + { + "epoch": 0.14773333333333333, + "grad_norm": 0.1713712513446808, + "learning_rate": 8.94170458699732e-05, + "loss": 3.217233657836914, + "step": 115560 + }, + { + "epoch": 0.1478, + "grad_norm": 0.21578551828861237, + "learning_rate": 8.941026305518309e-05, + "loss": 3.2038482666015624, + "step": 115570 + }, + { + "epoch": 0.14786666666666667, + "grad_norm": 0.18790622055530548, + "learning_rate": 8.940347832490537e-05, + "loss": 3.179693031311035, + "step": 115580 + }, + { + "epoch": 0.14793333333333333, + "grad_norm": 0.1901494711637497, + "learning_rate": 8.93966916794698e-05, + "loss": 3.1948543548583985, + "step": 115590 + }, + { + "epoch": 0.148, + "grad_norm": 0.1808430403470993, + "learning_rate": 8.938990311920623e-05, + "loss": 3.201068115234375, + "step": 115600 + }, + { + "epoch": 0.14806666666666668, + "grad_norm": 0.19344674050807953, + "learning_rate": 8.938311264444462e-05, + "loss": 3.1865446090698244, + "step": 115610 + }, + { + "epoch": 0.14813333333333334, + "grad_norm": 0.1824226826429367, + "learning_rate": 8.937632025551498e-05, + "loss": 3.2064128875732423, + "step": 115620 + }, + { + "epoch": 0.1482, + "grad_norm": 0.18881726264953613, + "learning_rate": 8.936952595274749e-05, + "loss": 3.2079547882080077, + "step": 115630 + }, + { + "epoch": 0.14826666666666666, + "grad_norm": 0.24450643360614777, + "learning_rate": 8.936272973647236e-05, + "loss": 3.340474319458008, + "step": 115640 + }, + { + "epoch": 0.14833333333333334, + "grad_norm": 0.2553510367870331, + "learning_rate": 8.935593160701992e-05, + "loss": 3.1404937744140624, + "step": 115650 + }, + { + "epoch": 0.1484, + "grad_norm": 0.18880610167980194, + "learning_rate": 8.934913156472056e-05, + "loss": 3.262364959716797, + "step": 115660 + }, + { + "epoch": 0.14846666666666666, + "grad_norm": 0.18154381215572357, + "learning_rate": 8.934232960990481e-05, + "loss": 3.221924591064453, + "step": 115670 + }, + { + "epoch": 0.14853333333333332, + "grad_norm": 0.18763086199760437, + "learning_rate": 8.933552574290327e-05, + "loss": 3.171453666687012, + "step": 115680 + }, + { + "epoch": 0.1486, + "grad_norm": 0.1826278120279312, + "learning_rate": 8.932871996404664e-05, + "loss": 3.167572784423828, + "step": 115690 + }, + { + "epoch": 0.14866666666666667, + "grad_norm": 0.22959361970424652, + "learning_rate": 8.932191227366569e-05, + "loss": 3.2160919189453123, + "step": 115700 + }, + { + "epoch": 0.14873333333333333, + "grad_norm": 0.22545503079891205, + "learning_rate": 8.931510267209128e-05, + "loss": 3.2533859252929687, + "step": 115710 + }, + { + "epoch": 0.1488, + "grad_norm": 0.4554384648799896, + "learning_rate": 8.930829115965443e-05, + "loss": 3.2530258178710936, + "step": 115720 + }, + { + "epoch": 0.14886666666666667, + "grad_norm": 0.19763630628585815, + "learning_rate": 8.930147773668618e-05, + "loss": 3.1776432037353515, + "step": 115730 + }, + { + "epoch": 0.14893333333333333, + "grad_norm": 0.18720343708992004, + "learning_rate": 8.929466240351769e-05, + "loss": 3.131260871887207, + "step": 115740 + }, + { + "epoch": 0.149, + "grad_norm": 0.16500571370124817, + "learning_rate": 8.928784516048022e-05, + "loss": 3.1984603881835936, + "step": 115750 + }, + { + "epoch": 0.14906666666666665, + "grad_norm": 0.17722585797309875, + "learning_rate": 8.928102600790509e-05, + "loss": 3.2673057556152343, + "step": 115760 + }, + { + "epoch": 0.14913333333333334, + "grad_norm": 0.17225214838981628, + "learning_rate": 8.927420494612376e-05, + "loss": 3.1406682968139648, + "step": 115770 + }, + { + "epoch": 0.1492, + "grad_norm": 0.18165288865566254, + "learning_rate": 8.926738197546776e-05, + "loss": 3.2668285369873047, + "step": 115780 + }, + { + "epoch": 0.14926666666666666, + "grad_norm": 0.17759980261325836, + "learning_rate": 8.926055709626868e-05, + "loss": 3.1867038726806642, + "step": 115790 + }, + { + "epoch": 0.14933333333333335, + "grad_norm": 0.18733304738998413, + "learning_rate": 8.925373030885829e-05, + "loss": 3.169986343383789, + "step": 115800 + }, + { + "epoch": 0.1494, + "grad_norm": 0.3108231723308563, + "learning_rate": 8.924690161356833e-05, + "loss": 3.2664676666259767, + "step": 115810 + }, + { + "epoch": 0.14946666666666666, + "grad_norm": 0.2222132682800293, + "learning_rate": 8.924007101073075e-05, + "loss": 3.2450653076171876, + "step": 115820 + }, + { + "epoch": 0.14953333333333332, + "grad_norm": 0.19076670706272125, + "learning_rate": 8.923323850067755e-05, + "loss": 3.1924095153808594, + "step": 115830 + }, + { + "epoch": 0.1496, + "grad_norm": 0.17377188801765442, + "learning_rate": 8.922640408374078e-05, + "loss": 3.208312225341797, + "step": 115840 + }, + { + "epoch": 0.14966666666666667, + "grad_norm": 0.2106606662273407, + "learning_rate": 8.921956776025263e-05, + "loss": 3.1857141494750976, + "step": 115850 + }, + { + "epoch": 0.14973333333333333, + "grad_norm": 0.1764078438282013, + "learning_rate": 8.921272953054537e-05, + "loss": 3.1342716217041016, + "step": 115860 + }, + { + "epoch": 0.1498, + "grad_norm": 0.1757580190896988, + "learning_rate": 8.920588939495139e-05, + "loss": 3.189113807678223, + "step": 115870 + }, + { + "epoch": 0.14986666666666668, + "grad_norm": 0.2026742547750473, + "learning_rate": 8.919904735380311e-05, + "loss": 3.1997133255004884, + "step": 115880 + }, + { + "epoch": 0.14993333333333334, + "grad_norm": 0.18823206424713135, + "learning_rate": 8.91922034074331e-05, + "loss": 3.2390846252441405, + "step": 115890 + }, + { + "epoch": 0.15, + "grad_norm": 0.18663419783115387, + "learning_rate": 8.9185357556174e-05, + "loss": 3.194029426574707, + "step": 115900 + }, + { + "epoch": 0.15006666666666665, + "grad_norm": 0.27954551577568054, + "learning_rate": 8.917850980035854e-05, + "loss": 3.207720947265625, + "step": 115910 + }, + { + "epoch": 0.15013333333333334, + "grad_norm": 0.19352658092975616, + "learning_rate": 8.917166014031953e-05, + "loss": 3.2405147552490234, + "step": 115920 + }, + { + "epoch": 0.1502, + "grad_norm": 0.17494341731071472, + "learning_rate": 8.916480857638991e-05, + "loss": 3.152114486694336, + "step": 115930 + }, + { + "epoch": 0.15026666666666666, + "grad_norm": 0.1839168220758438, + "learning_rate": 8.915795510890271e-05, + "loss": 3.2385658264160155, + "step": 115940 + }, + { + "epoch": 0.15033333333333335, + "grad_norm": 0.1705285906791687, + "learning_rate": 8.915109973819099e-05, + "loss": 3.196470260620117, + "step": 115950 + }, + { + "epoch": 0.1504, + "grad_norm": 0.16979536414146423, + "learning_rate": 8.914424246458798e-05, + "loss": 3.163599395751953, + "step": 115960 + }, + { + "epoch": 0.15046666666666667, + "grad_norm": 0.17662031948566437, + "learning_rate": 8.913738328842695e-05, + "loss": 3.297653579711914, + "step": 115970 + }, + { + "epoch": 0.15053333333333332, + "grad_norm": 0.19534194469451904, + "learning_rate": 8.91305222100413e-05, + "loss": 3.171773338317871, + "step": 115980 + }, + { + "epoch": 0.1506, + "grad_norm": 0.18263614177703857, + "learning_rate": 8.91236592297645e-05, + "loss": 3.2344112396240234, + "step": 115990 + }, + { + "epoch": 0.15066666666666667, + "grad_norm": 0.18084816634655, + "learning_rate": 8.91167943479301e-05, + "loss": 3.1272424697875976, + "step": 116000 + }, + { + "epoch": 0.15073333333333333, + "grad_norm": 0.19284190237522125, + "learning_rate": 8.910992756487177e-05, + "loss": 3.1429513931274413, + "step": 116010 + }, + { + "epoch": 0.1508, + "grad_norm": 0.20697033405303955, + "learning_rate": 8.910305888092327e-05, + "loss": 3.171030807495117, + "step": 116020 + }, + { + "epoch": 0.15086666666666668, + "grad_norm": 0.21869546175003052, + "learning_rate": 8.909618829641843e-05, + "loss": 3.348674011230469, + "step": 116030 + }, + { + "epoch": 0.15093333333333334, + "grad_norm": 0.17931675910949707, + "learning_rate": 8.90893158116912e-05, + "loss": 3.1992300033569334, + "step": 116040 + }, + { + "epoch": 0.151, + "grad_norm": 0.18826885521411896, + "learning_rate": 8.90824414270756e-05, + "loss": 3.163996124267578, + "step": 116050 + }, + { + "epoch": 0.15106666666666665, + "grad_norm": 0.1697552353143692, + "learning_rate": 8.907556514290574e-05, + "loss": 3.172346305847168, + "step": 116060 + }, + { + "epoch": 0.15113333333333334, + "grad_norm": 0.23733562231063843, + "learning_rate": 8.906868695951586e-05, + "loss": 3.1142568588256836, + "step": 116070 + }, + { + "epoch": 0.1512, + "grad_norm": 0.2329884171485901, + "learning_rate": 8.906180687724025e-05, + "loss": 3.184773826599121, + "step": 116080 + }, + { + "epoch": 0.15126666666666666, + "grad_norm": 0.17212112247943878, + "learning_rate": 8.90549248964133e-05, + "loss": 3.1827396392822265, + "step": 116090 + }, + { + "epoch": 0.15133333333333332, + "grad_norm": 0.17753633856773376, + "learning_rate": 8.904804101736952e-05, + "loss": 3.143393325805664, + "step": 116100 + }, + { + "epoch": 0.1514, + "grad_norm": 0.2242303043603897, + "learning_rate": 8.904115524044348e-05, + "loss": 3.082079315185547, + "step": 116110 + }, + { + "epoch": 0.15146666666666667, + "grad_norm": 0.1778675615787506, + "learning_rate": 8.903426756596987e-05, + "loss": 3.135373115539551, + "step": 116120 + }, + { + "epoch": 0.15153333333333333, + "grad_norm": 0.1849077343940735, + "learning_rate": 8.902737799428343e-05, + "loss": 3.152600860595703, + "step": 116130 + }, + { + "epoch": 0.1516, + "grad_norm": 0.18070769309997559, + "learning_rate": 8.902048652571904e-05, + "loss": 3.201785659790039, + "step": 116140 + }, + { + "epoch": 0.15166666666666667, + "grad_norm": 0.2364789992570877, + "learning_rate": 8.901359316061163e-05, + "loss": 3.184540939331055, + "step": 116150 + }, + { + "epoch": 0.15173333333333333, + "grad_norm": 0.2168954312801361, + "learning_rate": 8.900669789929626e-05, + "loss": 3.2120986938476563, + "step": 116160 + }, + { + "epoch": 0.1518, + "grad_norm": 0.20524972677230835, + "learning_rate": 8.899980074210807e-05, + "loss": 3.1978063583374023, + "step": 116170 + }, + { + "epoch": 0.15186666666666668, + "grad_norm": 0.1760595291852951, + "learning_rate": 8.899290168938229e-05, + "loss": 3.4033607482910155, + "step": 116180 + }, + { + "epoch": 0.15193333333333334, + "grad_norm": 0.19901101291179657, + "learning_rate": 8.898600074145424e-05, + "loss": 3.1484678268432615, + "step": 116190 + }, + { + "epoch": 0.152, + "grad_norm": 0.20948545634746552, + "learning_rate": 8.89790978986593e-05, + "loss": 3.1736804962158205, + "step": 116200 + }, + { + "epoch": 0.15206666666666666, + "grad_norm": 0.19665394723415375, + "learning_rate": 8.897219316133301e-05, + "loss": 3.188533592224121, + "step": 116210 + }, + { + "epoch": 0.15213333333333334, + "grad_norm": 0.1812409609556198, + "learning_rate": 8.896528652981096e-05, + "loss": 3.1459360122680664, + "step": 116220 + }, + { + "epoch": 0.1522, + "grad_norm": 0.17385603487491608, + "learning_rate": 8.895837800442884e-05, + "loss": 3.186120796203613, + "step": 116230 + }, + { + "epoch": 0.15226666666666666, + "grad_norm": 0.224608913064003, + "learning_rate": 8.89514675855224e-05, + "loss": 3.158353805541992, + "step": 116240 + }, + { + "epoch": 0.15233333333333332, + "grad_norm": 0.19043293595314026, + "learning_rate": 8.894455527342755e-05, + "loss": 3.1972158432006834, + "step": 116250 + }, + { + "epoch": 0.1524, + "grad_norm": 0.18545326590538025, + "learning_rate": 8.893764106848022e-05, + "loss": 3.1893714904785155, + "step": 116260 + }, + { + "epoch": 0.15246666666666667, + "grad_norm": 0.2043672502040863, + "learning_rate": 8.89307249710165e-05, + "loss": 3.156164360046387, + "step": 116270 + }, + { + "epoch": 0.15253333333333333, + "grad_norm": 0.18194140493869781, + "learning_rate": 8.892380698137254e-05, + "loss": 3.145594024658203, + "step": 116280 + }, + { + "epoch": 0.1526, + "grad_norm": 0.4247041642665863, + "learning_rate": 8.891688709988456e-05, + "loss": 3.3859699249267576, + "step": 116290 + }, + { + "epoch": 0.15266666666666667, + "grad_norm": 0.19413727521896362, + "learning_rate": 8.890996532688888e-05, + "loss": 3.194483757019043, + "step": 116300 + }, + { + "epoch": 0.15273333333333333, + "grad_norm": 0.19387374818325043, + "learning_rate": 8.890304166272196e-05, + "loss": 3.168155860900879, + "step": 116310 + }, + { + "epoch": 0.1528, + "grad_norm": 0.21814575791358948, + "learning_rate": 8.88961161077203e-05, + "loss": 3.187595176696777, + "step": 116320 + }, + { + "epoch": 0.15286666666666668, + "grad_norm": 0.17702198028564453, + "learning_rate": 8.88891886622205e-05, + "loss": 3.2154788970947266, + "step": 116330 + }, + { + "epoch": 0.15293333333333334, + "grad_norm": 0.1681031584739685, + "learning_rate": 8.888225932655927e-05, + "loss": 3.214625930786133, + "step": 116340 + }, + { + "epoch": 0.153, + "grad_norm": 0.18359380960464478, + "learning_rate": 8.88753281010734e-05, + "loss": 3.1690040588378907, + "step": 116350 + }, + { + "epoch": 0.15306666666666666, + "grad_norm": 0.18262095749378204, + "learning_rate": 8.886839498609977e-05, + "loss": 3.2448375701904295, + "step": 116360 + }, + { + "epoch": 0.15313333333333334, + "grad_norm": 0.16890014708042145, + "learning_rate": 8.886145998197535e-05, + "loss": 3.1564550399780273, + "step": 116370 + }, + { + "epoch": 0.1532, + "grad_norm": 0.18542420864105225, + "learning_rate": 8.885452308903723e-05, + "loss": 3.2260997772216795, + "step": 116380 + }, + { + "epoch": 0.15326666666666666, + "grad_norm": 0.17674781382083893, + "learning_rate": 8.884758430762255e-05, + "loss": 3.1457576751708984, + "step": 116390 + }, + { + "epoch": 0.15333333333333332, + "grad_norm": 0.19250452518463135, + "learning_rate": 8.884064363806857e-05, + "loss": 3.1844915390014648, + "step": 116400 + }, + { + "epoch": 0.1534, + "grad_norm": 0.17716515064239502, + "learning_rate": 8.88337010807126e-05, + "loss": 3.1289310455322266, + "step": 116410 + }, + { + "epoch": 0.15346666666666667, + "grad_norm": 0.17526598274707794, + "learning_rate": 8.882675663589213e-05, + "loss": 3.218434143066406, + "step": 116420 + }, + { + "epoch": 0.15353333333333333, + "grad_norm": 0.23991592228412628, + "learning_rate": 8.881981030394466e-05, + "loss": 3.1509321212768553, + "step": 116430 + }, + { + "epoch": 0.1536, + "grad_norm": 0.20371633768081665, + "learning_rate": 8.88128620852078e-05, + "loss": 3.1915716171264648, + "step": 116440 + }, + { + "epoch": 0.15366666666666667, + "grad_norm": 0.1870700716972351, + "learning_rate": 8.880591198001927e-05, + "loss": 3.3475013732910157, + "step": 116450 + }, + { + "epoch": 0.15373333333333333, + "grad_norm": 0.17328859865665436, + "learning_rate": 8.879895998871686e-05, + "loss": 3.177873992919922, + "step": 116460 + }, + { + "epoch": 0.1538, + "grad_norm": 0.19497938454151154, + "learning_rate": 8.879200611163848e-05, + "loss": 3.167601203918457, + "step": 116470 + }, + { + "epoch": 0.15386666666666668, + "grad_norm": 0.2118101269006729, + "learning_rate": 8.87850503491221e-05, + "loss": 3.1669828414916994, + "step": 116480 + }, + { + "epoch": 0.15393333333333334, + "grad_norm": 0.17831072211265564, + "learning_rate": 8.877809270150581e-05, + "loss": 3.1753713607788088, + "step": 116490 + }, + { + "epoch": 0.154, + "grad_norm": 0.18367049098014832, + "learning_rate": 8.877113316912775e-05, + "loss": 3.1381013870239256, + "step": 116500 + }, + { + "epoch": 0.15406666666666666, + "grad_norm": 0.18699193000793457, + "learning_rate": 8.876417175232623e-05, + "loss": 3.14172248840332, + "step": 116510 + }, + { + "epoch": 0.15413333333333334, + "grad_norm": 14.249421119689941, + "learning_rate": 8.875720845143954e-05, + "loss": 4.037147521972656, + "step": 116520 + }, + { + "epoch": 0.1542, + "grad_norm": 0.36147600412368774, + "learning_rate": 8.875024326680618e-05, + "loss": 3.0568885803222656, + "step": 116530 + }, + { + "epoch": 0.15426666666666666, + "grad_norm": 0.18450431525707245, + "learning_rate": 8.874327619876464e-05, + "loss": 3.1297407150268555, + "step": 116540 + }, + { + "epoch": 0.15433333333333332, + "grad_norm": 0.25912296772003174, + "learning_rate": 8.873630724765357e-05, + "loss": 3.297260284423828, + "step": 116550 + }, + { + "epoch": 0.1544, + "grad_norm": 0.20867633819580078, + "learning_rate": 8.872933641381168e-05, + "loss": 3.163220024108887, + "step": 116560 + }, + { + "epoch": 0.15446666666666667, + "grad_norm": 0.19538186490535736, + "learning_rate": 8.872236369757779e-05, + "loss": 3.195733833312988, + "step": 116570 + }, + { + "epoch": 0.15453333333333333, + "grad_norm": 0.1855723112821579, + "learning_rate": 8.871538909929079e-05, + "loss": 3.1573984146118166, + "step": 116580 + }, + { + "epoch": 0.1546, + "grad_norm": 0.20923806726932526, + "learning_rate": 8.870841261928965e-05, + "loss": 3.205109786987305, + "step": 116590 + }, + { + "epoch": 0.15466666666666667, + "grad_norm": 0.2000235617160797, + "learning_rate": 8.870143425791349e-05, + "loss": 3.1962629318237306, + "step": 116600 + }, + { + "epoch": 0.15473333333333333, + "grad_norm": 0.19046354293823242, + "learning_rate": 8.869445401550147e-05, + "loss": 3.2120292663574217, + "step": 116610 + }, + { + "epoch": 0.1548, + "grad_norm": 0.18727830052375793, + "learning_rate": 8.868747189239284e-05, + "loss": 3.1686189651489256, + "step": 116620 + }, + { + "epoch": 0.15486666666666668, + "grad_norm": 0.18717165291309357, + "learning_rate": 8.8680487888927e-05, + "loss": 3.2592037200927733, + "step": 116630 + }, + { + "epoch": 0.15493333333333334, + "grad_norm": 0.22730383276939392, + "learning_rate": 8.867350200544336e-05, + "loss": 3.2514949798583985, + "step": 116640 + }, + { + "epoch": 0.155, + "grad_norm": 0.19303973019123077, + "learning_rate": 8.866651424228147e-05, + "loss": 3.174184226989746, + "step": 116650 + }, + { + "epoch": 0.15506666666666666, + "grad_norm": 0.1826484352350235, + "learning_rate": 8.865952459978097e-05, + "loss": 3.1970355987548826, + "step": 116660 + }, + { + "epoch": 0.15513333333333335, + "grad_norm": 0.17630185186862946, + "learning_rate": 8.865253307828157e-05, + "loss": 3.1922233581542967, + "step": 116670 + }, + { + "epoch": 0.1552, + "grad_norm": 0.18326982855796814, + "learning_rate": 8.86455396781231e-05, + "loss": 3.157773971557617, + "step": 116680 + }, + { + "epoch": 0.15526666666666666, + "grad_norm": 0.17667488753795624, + "learning_rate": 8.863854439964545e-05, + "loss": 3.2011913299560546, + "step": 116690 + }, + { + "epoch": 0.15533333333333332, + "grad_norm": 0.9063477516174316, + "learning_rate": 8.863154724318863e-05, + "loss": 3.2470375061035157, + "step": 116700 + }, + { + "epoch": 0.1554, + "grad_norm": 0.26685717701911926, + "learning_rate": 8.862454820909272e-05, + "loss": 3.265735626220703, + "step": 116710 + }, + { + "epoch": 0.15546666666666667, + "grad_norm": 0.18550673127174377, + "learning_rate": 8.86175472976979e-05, + "loss": 3.2065502166748048, + "step": 116720 + }, + { + "epoch": 0.15553333333333333, + "grad_norm": 0.27447056770324707, + "learning_rate": 8.861054450934445e-05, + "loss": 3.1186580657958984, + "step": 116730 + }, + { + "epoch": 0.1556, + "grad_norm": 0.20383073389530182, + "learning_rate": 8.860353984437273e-05, + "loss": 3.1721511840820313, + "step": 116740 + }, + { + "epoch": 0.15566666666666668, + "grad_norm": 0.19102488458156586, + "learning_rate": 8.859653330312317e-05, + "loss": 3.1429256439208983, + "step": 116750 + }, + { + "epoch": 0.15573333333333333, + "grad_norm": 0.17617620527744293, + "learning_rate": 8.858952488593635e-05, + "loss": 3.1731185913085938, + "step": 116760 + }, + { + "epoch": 0.1558, + "grad_norm": 0.17467689514160156, + "learning_rate": 8.858251459315288e-05, + "loss": 3.1383024215698243, + "step": 116770 + }, + { + "epoch": 0.15586666666666665, + "grad_norm": 0.1825319081544876, + "learning_rate": 8.85755024251135e-05, + "loss": 3.157659912109375, + "step": 116780 + }, + { + "epoch": 0.15593333333333334, + "grad_norm": 0.1760953813791275, + "learning_rate": 8.856848838215901e-05, + "loss": 3.170824432373047, + "step": 116790 + }, + { + "epoch": 0.156, + "grad_norm": 0.17510949075222015, + "learning_rate": 8.856147246463035e-05, + "loss": 3.1675559997558596, + "step": 116800 + }, + { + "epoch": 0.15606666666666666, + "grad_norm": 0.17412729561328888, + "learning_rate": 8.85544546728685e-05, + "loss": 3.125448989868164, + "step": 116810 + }, + { + "epoch": 0.15613333333333335, + "grad_norm": 2.4424960613250732, + "learning_rate": 8.854743500721453e-05, + "loss": 3.1692649841308596, + "step": 116820 + }, + { + "epoch": 0.1562, + "grad_norm": 0.18654651939868927, + "learning_rate": 8.854041346800966e-05, + "loss": 3.1800804138183594, + "step": 116830 + }, + { + "epoch": 0.15626666666666666, + "grad_norm": 0.1777157038450241, + "learning_rate": 8.853339005559515e-05, + "loss": 3.180362319946289, + "step": 116840 + }, + { + "epoch": 0.15633333333333332, + "grad_norm": 0.1863633692264557, + "learning_rate": 8.852636477031236e-05, + "loss": 3.146407127380371, + "step": 116850 + }, + { + "epoch": 0.1564, + "grad_norm": 0.19077986478805542, + "learning_rate": 8.851933761250276e-05, + "loss": 3.1881534576416017, + "step": 116860 + }, + { + "epoch": 0.15646666666666667, + "grad_norm": 0.1973438709974289, + "learning_rate": 8.851230858250785e-05, + "loss": 3.0105592727661135, + "step": 116870 + }, + { + "epoch": 0.15653333333333333, + "grad_norm": 0.7302625179290771, + "learning_rate": 8.850527768066935e-05, + "loss": 3.2441402435302735, + "step": 116880 + }, + { + "epoch": 0.1566, + "grad_norm": 0.4144805073738098, + "learning_rate": 8.849824490732889e-05, + "loss": 3.367179107666016, + "step": 116890 + }, + { + "epoch": 0.15666666666666668, + "grad_norm": 0.22902406752109528, + "learning_rate": 8.849121026282838e-05, + "loss": 3.1121042251586912, + "step": 116900 + }, + { + "epoch": 0.15673333333333334, + "grad_norm": 0.2246682196855545, + "learning_rate": 8.848417374750967e-05, + "loss": 3.211495208740234, + "step": 116910 + }, + { + "epoch": 0.1568, + "grad_norm": 0.184931680560112, + "learning_rate": 8.847713536171478e-05, + "loss": 3.1547075271606446, + "step": 116920 + }, + { + "epoch": 0.15686666666666665, + "grad_norm": 0.1804894655942917, + "learning_rate": 8.847009510578581e-05, + "loss": 3.177079772949219, + "step": 116930 + }, + { + "epoch": 0.15693333333333334, + "grad_norm": 0.21325072646141052, + "learning_rate": 8.846305298006494e-05, + "loss": 3.139813232421875, + "step": 116940 + }, + { + "epoch": 0.157, + "grad_norm": 0.20625725388526917, + "learning_rate": 8.845600898489443e-05, + "loss": 3.2014144897460937, + "step": 116950 + }, + { + "epoch": 0.15706666666666666, + "grad_norm": 0.27701330184936523, + "learning_rate": 8.844896312061668e-05, + "loss": 3.1889745712280275, + "step": 116960 + }, + { + "epoch": 0.15713333333333335, + "grad_norm": 0.1840047836303711, + "learning_rate": 8.844191538757409e-05, + "loss": 3.276389312744141, + "step": 116970 + }, + { + "epoch": 0.1572, + "grad_norm": 0.23063434660434723, + "learning_rate": 8.843486578610926e-05, + "loss": 3.151161003112793, + "step": 116980 + }, + { + "epoch": 0.15726666666666667, + "grad_norm": 0.20124812424182892, + "learning_rate": 8.84278143165648e-05, + "loss": 3.2036548614501954, + "step": 116990 + }, + { + "epoch": 0.15733333333333333, + "grad_norm": 0.19604183733463287, + "learning_rate": 8.842076097928342e-05, + "loss": 3.2925956726074217, + "step": 117000 + }, + { + "epoch": 0.1574, + "grad_norm": 0.18221943080425262, + "learning_rate": 8.841370577460798e-05, + "loss": 3.177325439453125, + "step": 117010 + }, + { + "epoch": 0.15746666666666667, + "grad_norm": 0.19113025069236755, + "learning_rate": 8.840664870288136e-05, + "loss": 3.2173370361328124, + "step": 117020 + }, + { + "epoch": 0.15753333333333333, + "grad_norm": 0.3318032920360565, + "learning_rate": 8.83995897644466e-05, + "loss": 3.215443420410156, + "step": 117030 + }, + { + "epoch": 0.1576, + "grad_norm": 0.18770731985569, + "learning_rate": 8.839252895964673e-05, + "loss": 3.219461441040039, + "step": 117040 + }, + { + "epoch": 0.15766666666666668, + "grad_norm": 0.5973770022392273, + "learning_rate": 8.838546628882498e-05, + "loss": 3.3355484008789062, + "step": 117050 + }, + { + "epoch": 0.15773333333333334, + "grad_norm": 0.19254694879055023, + "learning_rate": 8.837840175232459e-05, + "loss": 3.144818878173828, + "step": 117060 + }, + { + "epoch": 0.1578, + "grad_norm": 0.20289896428585052, + "learning_rate": 8.837133535048895e-05, + "loss": 3.266956329345703, + "step": 117070 + }, + { + "epoch": 0.15786666666666666, + "grad_norm": 0.7363761067390442, + "learning_rate": 8.836426708366153e-05, + "loss": 3.3826854705810545, + "step": 117080 + }, + { + "epoch": 0.15793333333333334, + "grad_norm": 0.19231964647769928, + "learning_rate": 8.835719695218581e-05, + "loss": 3.2313194274902344, + "step": 117090 + }, + { + "epoch": 0.158, + "grad_norm": 0.1912682056427002, + "learning_rate": 8.835012495640547e-05, + "loss": 3.195576477050781, + "step": 117100 + }, + { + "epoch": 0.15806666666666666, + "grad_norm": 0.17350253462791443, + "learning_rate": 8.834305109666423e-05, + "loss": 3.1645557403564455, + "step": 117110 + }, + { + "epoch": 0.15813333333333332, + "grad_norm": 0.24080084264278412, + "learning_rate": 8.833597537330593e-05, + "loss": 3.2544395446777346, + "step": 117120 + }, + { + "epoch": 0.1582, + "grad_norm": 0.1892646998167038, + "learning_rate": 8.832889778667443e-05, + "loss": 3.178272819519043, + "step": 117130 + }, + { + "epoch": 0.15826666666666667, + "grad_norm": 0.18631179630756378, + "learning_rate": 8.832181833711375e-05, + "loss": 3.172731399536133, + "step": 117140 + }, + { + "epoch": 0.15833333333333333, + "grad_norm": 0.22171571850776672, + "learning_rate": 8.831473702496797e-05, + "loss": 3.2104129791259766, + "step": 117150 + }, + { + "epoch": 0.1584, + "grad_norm": 0.17646509408950806, + "learning_rate": 8.830765385058128e-05, + "loss": 3.168443298339844, + "step": 117160 + }, + { + "epoch": 0.15846666666666667, + "grad_norm": 0.2238849550485611, + "learning_rate": 8.830056881429795e-05, + "loss": 3.1762840270996096, + "step": 117170 + }, + { + "epoch": 0.15853333333333333, + "grad_norm": 0.17891579866409302, + "learning_rate": 8.829348191646233e-05, + "loss": 3.1535900115966795, + "step": 117180 + }, + { + "epoch": 0.1586, + "grad_norm": 0.19416049122810364, + "learning_rate": 8.82863931574189e-05, + "loss": 3.1509578704833983, + "step": 117190 + }, + { + "epoch": 0.15866666666666668, + "grad_norm": 0.287092000246048, + "learning_rate": 8.827930253751215e-05, + "loss": 3.338936996459961, + "step": 117200 + }, + { + "epoch": 0.15873333333333334, + "grad_norm": 0.19743825495243073, + "learning_rate": 8.827221005708673e-05, + "loss": 3.1352378845214846, + "step": 117210 + }, + { + "epoch": 0.1588, + "grad_norm": 0.16437336802482605, + "learning_rate": 8.826511571648737e-05, + "loss": 3.223967361450195, + "step": 117220 + }, + { + "epoch": 0.15886666666666666, + "grad_norm": 0.17965194582939148, + "learning_rate": 8.825801951605889e-05, + "loss": 3.1863500595092775, + "step": 117230 + }, + { + "epoch": 0.15893333333333334, + "grad_norm": 0.1864343136548996, + "learning_rate": 8.825092145614617e-05, + "loss": 3.1810861587524415, + "step": 117240 + }, + { + "epoch": 0.159, + "grad_norm": 0.1970648169517517, + "learning_rate": 8.824382153709421e-05, + "loss": 3.184712219238281, + "step": 117250 + }, + { + "epoch": 0.15906666666666666, + "grad_norm": 0.23680777847766876, + "learning_rate": 8.823671975924812e-05, + "loss": 3.3315616607666017, + "step": 117260 + }, + { + "epoch": 0.15913333333333332, + "grad_norm": 0.19469675421714783, + "learning_rate": 8.822961612295303e-05, + "loss": 3.2997367858886717, + "step": 117270 + }, + { + "epoch": 0.1592, + "grad_norm": 0.21063755452632904, + "learning_rate": 8.822251062855422e-05, + "loss": 3.1971153259277343, + "step": 117280 + }, + { + "epoch": 0.15926666666666667, + "grad_norm": 0.31296876072883606, + "learning_rate": 8.821540327639705e-05, + "loss": 3.195456886291504, + "step": 117290 + }, + { + "epoch": 0.15933333333333333, + "grad_norm": 0.21251054108142853, + "learning_rate": 8.820829406682698e-05, + "loss": 3.1842132568359376, + "step": 117300 + }, + { + "epoch": 0.1594, + "grad_norm": 0.22218257188796997, + "learning_rate": 8.820118300018951e-05, + "loss": 3.1995241165161135, + "step": 117310 + }, + { + "epoch": 0.15946666666666667, + "grad_norm": 0.17428213357925415, + "learning_rate": 8.819407007683029e-05, + "loss": 3.146713447570801, + "step": 117320 + }, + { + "epoch": 0.15953333333333333, + "grad_norm": 0.20196178555488586, + "learning_rate": 8.818695529709501e-05, + "loss": 3.2218017578125, + "step": 117330 + }, + { + "epoch": 0.1596, + "grad_norm": 0.19046969711780548, + "learning_rate": 8.81798386613295e-05, + "loss": 3.1591238021850585, + "step": 117340 + }, + { + "epoch": 0.15966666666666668, + "grad_norm": 0.17580436170101166, + "learning_rate": 8.817272016987963e-05, + "loss": 3.167226219177246, + "step": 117350 + }, + { + "epoch": 0.15973333333333334, + "grad_norm": 0.21187226474285126, + "learning_rate": 8.816559982309143e-05, + "loss": 3.2653968811035154, + "step": 117360 + }, + { + "epoch": 0.1598, + "grad_norm": 0.2166254073381424, + "learning_rate": 8.815847762131093e-05, + "loss": 3.2055984497070313, + "step": 117370 + }, + { + "epoch": 0.15986666666666666, + "grad_norm": 0.1823117733001709, + "learning_rate": 8.815135356488431e-05, + "loss": 3.1158773422241213, + "step": 117380 + }, + { + "epoch": 0.15993333333333334, + "grad_norm": 0.30180105566978455, + "learning_rate": 8.814422765415783e-05, + "loss": 3.209910583496094, + "step": 117390 + }, + { + "epoch": 0.16, + "grad_norm": 0.218704953789711, + "learning_rate": 8.813709988947783e-05, + "loss": 3.251177978515625, + "step": 117400 + }, + { + "epoch": 0.16006666666666666, + "grad_norm": 0.17514339089393616, + "learning_rate": 8.812997027119077e-05, + "loss": 3.153173065185547, + "step": 117410 + }, + { + "epoch": 0.16013333333333332, + "grad_norm": 0.17822924256324768, + "learning_rate": 8.812283879964314e-05, + "loss": 3.1177597045898438, + "step": 117420 + }, + { + "epoch": 0.1602, + "grad_norm": 0.1771828830242157, + "learning_rate": 8.811570547518159e-05, + "loss": 3.1821035385131835, + "step": 117430 + }, + { + "epoch": 0.16026666666666667, + "grad_norm": 0.1847875863313675, + "learning_rate": 8.810857029815281e-05, + "loss": 3.2196186065673826, + "step": 117440 + }, + { + "epoch": 0.16033333333333333, + "grad_norm": 0.1942659616470337, + "learning_rate": 8.810143326890359e-05, + "loss": 3.151424789428711, + "step": 117450 + }, + { + "epoch": 0.1604, + "grad_norm": 0.20954866707324982, + "learning_rate": 8.809429438778081e-05, + "loss": 3.203818511962891, + "step": 117460 + }, + { + "epoch": 0.16046666666666667, + "grad_norm": 0.18898549675941467, + "learning_rate": 8.808715365513148e-05, + "loss": 3.1360681533813475, + "step": 117470 + }, + { + "epoch": 0.16053333333333333, + "grad_norm": 0.20685654878616333, + "learning_rate": 8.808001107130263e-05, + "loss": 3.1711666107177736, + "step": 117480 + }, + { + "epoch": 0.1606, + "grad_norm": 0.19471600651741028, + "learning_rate": 8.807286663664144e-05, + "loss": 3.1225584030151365, + "step": 117490 + }, + { + "epoch": 0.16066666666666668, + "grad_norm": 0.1851060688495636, + "learning_rate": 8.806572035149516e-05, + "loss": 3.156396675109863, + "step": 117500 + }, + { + "epoch": 0.16073333333333334, + "grad_norm": 0.2170630842447281, + "learning_rate": 8.805857221621112e-05, + "loss": 3.3176502227783202, + "step": 117510 + }, + { + "epoch": 0.1608, + "grad_norm": 0.19249814748764038, + "learning_rate": 8.805142223113673e-05, + "loss": 3.2447303771972655, + "step": 117520 + }, + { + "epoch": 0.16086666666666666, + "grad_norm": 0.20053061842918396, + "learning_rate": 8.804427039661954e-05, + "loss": 3.1586585998535157, + "step": 117530 + }, + { + "epoch": 0.16093333333333334, + "grad_norm": 0.2391374111175537, + "learning_rate": 8.803711671300712e-05, + "loss": 3.209058380126953, + "step": 117540 + }, + { + "epoch": 0.161, + "grad_norm": 0.20610934495925903, + "learning_rate": 8.802996118064717e-05, + "loss": 3.16064567565918, + "step": 117550 + }, + { + "epoch": 0.16106666666666666, + "grad_norm": 0.1728743612766266, + "learning_rate": 8.80228037998875e-05, + "loss": 3.215135955810547, + "step": 117560 + }, + { + "epoch": 0.16113333333333332, + "grad_norm": 0.21486517786979675, + "learning_rate": 8.801564457107597e-05, + "loss": 5.320541763305664, + "step": 117570 + }, + { + "epoch": 0.1612, + "grad_norm": 0.19772259891033173, + "learning_rate": 8.800848349456055e-05, + "loss": 3.199207305908203, + "step": 117580 + }, + { + "epoch": 0.16126666666666667, + "grad_norm": 0.24174395203590393, + "learning_rate": 8.80013205706893e-05, + "loss": 3.191281318664551, + "step": 117590 + }, + { + "epoch": 0.16133333333333333, + "grad_norm": 0.18800696730613708, + "learning_rate": 8.799415579981033e-05, + "loss": 3.1980724334716797, + "step": 117600 + }, + { + "epoch": 0.1614, + "grad_norm": 0.21889258921146393, + "learning_rate": 8.798698918227194e-05, + "loss": 3.1990880966186523, + "step": 117610 + }, + { + "epoch": 0.16146666666666668, + "grad_norm": 0.1736421287059784, + "learning_rate": 8.797982071842241e-05, + "loss": 3.1829496383666993, + "step": 117620 + }, + { + "epoch": 0.16153333333333333, + "grad_norm": 0.18490207195281982, + "learning_rate": 8.797265040861015e-05, + "loss": 3.163214111328125, + "step": 117630 + }, + { + "epoch": 0.1616, + "grad_norm": 0.1981453001499176, + "learning_rate": 8.796547825318368e-05, + "loss": 3.2168319702148436, + "step": 117640 + }, + { + "epoch": 0.16166666666666665, + "grad_norm": 0.1855965256690979, + "learning_rate": 8.795830425249161e-05, + "loss": 3.139117622375488, + "step": 117650 + }, + { + "epoch": 0.16173333333333334, + "grad_norm": 0.1839778870344162, + "learning_rate": 8.795112840688259e-05, + "loss": 3.1780973434448243, + "step": 117660 + }, + { + "epoch": 0.1618, + "grad_norm": 0.20665858685970306, + "learning_rate": 8.79439507167054e-05, + "loss": 3.1291399002075195, + "step": 117670 + }, + { + "epoch": 0.16186666666666666, + "grad_norm": 0.2123611718416214, + "learning_rate": 8.793677118230894e-05, + "loss": 3.2495147705078127, + "step": 117680 + }, + { + "epoch": 0.16193333333333335, + "grad_norm": 0.1998555213212967, + "learning_rate": 8.79295898040421e-05, + "loss": 3.3016120910644533, + "step": 117690 + }, + { + "epoch": 0.162, + "grad_norm": 0.1688101589679718, + "learning_rate": 8.792240658225396e-05, + "loss": 3.0931991577148437, + "step": 117700 + }, + { + "epoch": 0.16206666666666666, + "grad_norm": 0.17491811513900757, + "learning_rate": 8.791522151729366e-05, + "loss": 3.2187145233154295, + "step": 117710 + }, + { + "epoch": 0.16213333333333332, + "grad_norm": 0.20334523916244507, + "learning_rate": 8.79080346095104e-05, + "loss": 3.2128765106201174, + "step": 117720 + }, + { + "epoch": 0.1622, + "grad_norm": 0.20536507666110992, + "learning_rate": 8.790084585925351e-05, + "loss": 3.173935127258301, + "step": 117730 + }, + { + "epoch": 0.16226666666666667, + "grad_norm": 0.19088861346244812, + "learning_rate": 8.789365526687237e-05, + "loss": 3.1833871841430663, + "step": 117740 + }, + { + "epoch": 0.16233333333333333, + "grad_norm": 0.20249220728874207, + "learning_rate": 8.78864628327165e-05, + "loss": 3.137770080566406, + "step": 117750 + }, + { + "epoch": 0.1624, + "grad_norm": 0.17734132707118988, + "learning_rate": 8.787926855713542e-05, + "loss": 3.2396385192871096, + "step": 117760 + }, + { + "epoch": 0.16246666666666668, + "grad_norm": 0.1825917810201645, + "learning_rate": 8.787207244047886e-05, + "loss": 3.1760936737060548, + "step": 117770 + }, + { + "epoch": 0.16253333333333334, + "grad_norm": 0.1753077656030655, + "learning_rate": 8.786487448309654e-05, + "loss": 3.1875642776489257, + "step": 117780 + }, + { + "epoch": 0.1626, + "grad_norm": 0.18484348058700562, + "learning_rate": 8.785767468533836e-05, + "loss": 3.2001190185546875, + "step": 117790 + }, + { + "epoch": 0.16266666666666665, + "grad_norm": 0.19780804216861725, + "learning_rate": 8.785047304755419e-05, + "loss": 3.1428800582885743, + "step": 117800 + }, + { + "epoch": 0.16273333333333334, + "grad_norm": 0.19218385219573975, + "learning_rate": 8.78432695700941e-05, + "loss": 3.2437225341796876, + "step": 117810 + }, + { + "epoch": 0.1628, + "grad_norm": 0.18323516845703125, + "learning_rate": 8.783606425330819e-05, + "loss": 3.1626264572143556, + "step": 117820 + }, + { + "epoch": 0.16286666666666666, + "grad_norm": 0.19437408447265625, + "learning_rate": 8.782885709754668e-05, + "loss": 3.1544923782348633, + "step": 117830 + }, + { + "epoch": 0.16293333333333335, + "grad_norm": 0.1842847615480423, + "learning_rate": 8.782164810315984e-05, + "loss": 3.184066963195801, + "step": 117840 + }, + { + "epoch": 0.163, + "grad_norm": 0.17978887259960175, + "learning_rate": 8.78144372704981e-05, + "loss": 3.1840608596801756, + "step": 117850 + }, + { + "epoch": 0.16306666666666667, + "grad_norm": 0.18121963739395142, + "learning_rate": 8.780722459991186e-05, + "loss": 3.1630910873413085, + "step": 117860 + }, + { + "epoch": 0.16313333333333332, + "grad_norm": 0.3621894121170044, + "learning_rate": 8.780001009175175e-05, + "loss": 3.1456621170043944, + "step": 117870 + }, + { + "epoch": 0.1632, + "grad_norm": 0.19030813872814178, + "learning_rate": 8.779279374636841e-05, + "loss": 3.078353500366211, + "step": 117880 + }, + { + "epoch": 0.16326666666666667, + "grad_norm": 0.18776202201843262, + "learning_rate": 8.778557556411255e-05, + "loss": 3.127124214172363, + "step": 117890 + }, + { + "epoch": 0.16333333333333333, + "grad_norm": 0.2003190964460373, + "learning_rate": 8.777835554533502e-05, + "loss": 3.208584213256836, + "step": 117900 + }, + { + "epoch": 0.1634, + "grad_norm": 0.24278774857521057, + "learning_rate": 8.777113369038676e-05, + "loss": 3.1136566162109376, + "step": 117910 + }, + { + "epoch": 0.16346666666666668, + "grad_norm": 0.18774348497390747, + "learning_rate": 8.776390999961876e-05, + "loss": 3.158965301513672, + "step": 117920 + }, + { + "epoch": 0.16353333333333334, + "grad_norm": 0.3308679759502411, + "learning_rate": 8.77566844733821e-05, + "loss": 3.187213134765625, + "step": 117930 + }, + { + "epoch": 0.1636, + "grad_norm": 0.17302174866199493, + "learning_rate": 8.7749457112028e-05, + "loss": 3.227678680419922, + "step": 117940 + }, + { + "epoch": 0.16366666666666665, + "grad_norm": 0.20729248225688934, + "learning_rate": 8.774222791590772e-05, + "loss": 3.16510124206543, + "step": 117950 + }, + { + "epoch": 0.16373333333333334, + "grad_norm": 0.19807036221027374, + "learning_rate": 8.773499688537263e-05, + "loss": 3.1703876495361327, + "step": 117960 + }, + { + "epoch": 0.1638, + "grad_norm": 0.19292180240154266, + "learning_rate": 8.772776402077419e-05, + "loss": 3.142010307312012, + "step": 117970 + }, + { + "epoch": 0.16386666666666666, + "grad_norm": 0.1874379962682724, + "learning_rate": 8.772052932246393e-05, + "loss": 3.146187400817871, + "step": 117980 + }, + { + "epoch": 0.16393333333333332, + "grad_norm": 0.19777965545654297, + "learning_rate": 8.77132927907935e-05, + "loss": 3.1819225311279298, + "step": 117990 + }, + { + "epoch": 0.164, + "grad_norm": 0.19324471056461334, + "learning_rate": 8.770605442611462e-05, + "loss": 3.1833654403686524, + "step": 118000 + }, + { + "epoch": 0.16406666666666667, + "grad_norm": 0.19729483127593994, + "learning_rate": 8.76988142287791e-05, + "loss": 3.1816247940063476, + "step": 118010 + }, + { + "epoch": 0.16413333333333333, + "grad_norm": 0.19861388206481934, + "learning_rate": 8.769157219913884e-05, + "loss": 3.1339513778686525, + "step": 118020 + }, + { + "epoch": 0.1642, + "grad_norm": 0.17525865137577057, + "learning_rate": 8.768432833754583e-05, + "loss": 3.14807243347168, + "step": 118030 + }, + { + "epoch": 0.16426666666666667, + "grad_norm": 0.20246951282024384, + "learning_rate": 8.767708264435214e-05, + "loss": 3.1532875061035157, + "step": 118040 + }, + { + "epoch": 0.16433333333333333, + "grad_norm": 0.18260055780410767, + "learning_rate": 8.766983511990996e-05, + "loss": 3.1750335693359375, + "step": 118050 + }, + { + "epoch": 0.1644, + "grad_norm": 0.18339918553829193, + "learning_rate": 8.766258576457153e-05, + "loss": 3.231616973876953, + "step": 118060 + }, + { + "epoch": 0.16446666666666668, + "grad_norm": 0.1738063544034958, + "learning_rate": 8.765533457868919e-05, + "loss": 3.1226335525512696, + "step": 118070 + }, + { + "epoch": 0.16453333333333334, + "grad_norm": 0.21040435135364532, + "learning_rate": 8.76480815626154e-05, + "loss": 3.238601303100586, + "step": 118080 + }, + { + "epoch": 0.1646, + "grad_norm": 0.2079191654920578, + "learning_rate": 8.764082671670266e-05, + "loss": 3.185613822937012, + "step": 118090 + }, + { + "epoch": 0.16466666666666666, + "grad_norm": 0.1996842324733734, + "learning_rate": 8.76335700413036e-05, + "loss": 3.2176795959472657, + "step": 118100 + }, + { + "epoch": 0.16473333333333334, + "grad_norm": 0.187798872590065, + "learning_rate": 8.76263115367709e-05, + "loss": 3.2094093322753907, + "step": 118110 + }, + { + "epoch": 0.1648, + "grad_norm": 0.1861574649810791, + "learning_rate": 8.761905120345737e-05, + "loss": 3.1645204544067385, + "step": 118120 + }, + { + "epoch": 0.16486666666666666, + "grad_norm": 0.21548697352409363, + "learning_rate": 8.761178904171587e-05, + "loss": 3.4588787078857424, + "step": 118130 + }, + { + "epoch": 0.16493333333333332, + "grad_norm": 0.19228944182395935, + "learning_rate": 8.76045250518994e-05, + "loss": 3.165936279296875, + "step": 118140 + }, + { + "epoch": 0.165, + "grad_norm": 0.1786780208349228, + "learning_rate": 8.7597259234361e-05, + "loss": 3.1794971466064452, + "step": 118150 + }, + { + "epoch": 0.16506666666666667, + "grad_norm": 0.18730124831199646, + "learning_rate": 8.758999158945382e-05, + "loss": 3.1643039703369142, + "step": 118160 + }, + { + "epoch": 0.16513333333333333, + "grad_norm": 0.17566439509391785, + "learning_rate": 8.758272211753108e-05, + "loss": 3.246054458618164, + "step": 118170 + }, + { + "epoch": 0.1652, + "grad_norm": 0.18864929676055908, + "learning_rate": 8.757545081894611e-05, + "loss": 3.1430696487426757, + "step": 118180 + }, + { + "epoch": 0.16526666666666667, + "grad_norm": 0.17759177088737488, + "learning_rate": 8.756817769405234e-05, + "loss": 3.1584386825561523, + "step": 118190 + }, + { + "epoch": 0.16533333333333333, + "grad_norm": 0.22381798923015594, + "learning_rate": 8.756090274320325e-05, + "loss": 3.1754123687744142, + "step": 118200 + }, + { + "epoch": 0.1654, + "grad_norm": 0.17183011770248413, + "learning_rate": 8.755362596675245e-05, + "loss": 3.170297622680664, + "step": 118210 + }, + { + "epoch": 0.16546666666666668, + "grad_norm": 0.19697821140289307, + "learning_rate": 8.754634736505361e-05, + "loss": 3.1365447998046876, + "step": 118220 + }, + { + "epoch": 0.16553333333333334, + "grad_norm": 0.18117551505565643, + "learning_rate": 8.753906693846047e-05, + "loss": 3.1499969482421877, + "step": 118230 + }, + { + "epoch": 0.1656, + "grad_norm": 0.18088267743587494, + "learning_rate": 8.753178468732694e-05, + "loss": 3.2250667572021485, + "step": 118240 + }, + { + "epoch": 0.16566666666666666, + "grad_norm": 0.17758208513259888, + "learning_rate": 8.752450061200692e-05, + "loss": 3.192069435119629, + "step": 118250 + }, + { + "epoch": 0.16573333333333334, + "grad_norm": 0.21192730963230133, + "learning_rate": 8.751721471285447e-05, + "loss": 3.133144569396973, + "step": 118260 + }, + { + "epoch": 0.1658, + "grad_norm": 0.18822801113128662, + "learning_rate": 8.75099269902237e-05, + "loss": 3.1264150619506834, + "step": 118270 + }, + { + "epoch": 0.16586666666666666, + "grad_norm": 0.1743152141571045, + "learning_rate": 8.750263744446881e-05, + "loss": 3.199213981628418, + "step": 118280 + }, + { + "epoch": 0.16593333333333332, + "grad_norm": 0.18448546528816223, + "learning_rate": 8.749534607594412e-05, + "loss": 3.207162857055664, + "step": 118290 + }, + { + "epoch": 0.166, + "grad_norm": 0.9267733097076416, + "learning_rate": 8.7488052885004e-05, + "loss": 3.2991085052490234, + "step": 118300 + }, + { + "epoch": 0.16606666666666667, + "grad_norm": 0.21127013862133026, + "learning_rate": 8.748075787200296e-05, + "loss": 3.1743967056274416, + "step": 118310 + }, + { + "epoch": 0.16613333333333333, + "grad_norm": 0.1915658712387085, + "learning_rate": 8.747346103729552e-05, + "loss": 3.2154052734375, + "step": 118320 + }, + { + "epoch": 0.1662, + "grad_norm": 0.2372097223997116, + "learning_rate": 8.746616238123637e-05, + "loss": 3.127071189880371, + "step": 118330 + }, + { + "epoch": 0.16626666666666667, + "grad_norm": 0.2435922920703888, + "learning_rate": 8.745886190418024e-05, + "loss": 3.1543212890625, + "step": 118340 + }, + { + "epoch": 0.16633333333333333, + "grad_norm": 0.18592271208763123, + "learning_rate": 8.745155960648195e-05, + "loss": 3.168771171569824, + "step": 118350 + }, + { + "epoch": 0.1664, + "grad_norm": 0.19534778594970703, + "learning_rate": 8.744425548849643e-05, + "loss": 3.1719980239868164, + "step": 118360 + }, + { + "epoch": 0.16646666666666668, + "grad_norm": 0.18551334738731384, + "learning_rate": 8.743694955057869e-05, + "loss": 3.191775894165039, + "step": 118370 + }, + { + "epoch": 0.16653333333333334, + "grad_norm": 0.19679895043373108, + "learning_rate": 8.742964179308381e-05, + "loss": 3.1450515747070313, + "step": 118380 + }, + { + "epoch": 0.1666, + "grad_norm": 0.19031396508216858, + "learning_rate": 8.7422332216367e-05, + "loss": 3.1528509140014647, + "step": 118390 + }, + { + "epoch": 0.16666666666666666, + "grad_norm": 0.19802504777908325, + "learning_rate": 8.741502082078352e-05, + "loss": 3.211081695556641, + "step": 118400 + }, + { + "epoch": 0.16673333333333334, + "grad_norm": 0.19686496257781982, + "learning_rate": 8.740770760668872e-05, + "loss": 3.182558059692383, + "step": 118410 + }, + { + "epoch": 0.1668, + "grad_norm": 0.2741928696632385, + "learning_rate": 8.740039257443807e-05, + "loss": 3.171588325500488, + "step": 118420 + }, + { + "epoch": 0.16686666666666666, + "grad_norm": 0.19818370044231415, + "learning_rate": 8.73930757243871e-05, + "loss": 3.161284637451172, + "step": 118430 + }, + { + "epoch": 0.16693333333333332, + "grad_norm": 0.21718089282512665, + "learning_rate": 8.738575705689142e-05, + "loss": 3.1920454025268556, + "step": 118440 + }, + { + "epoch": 0.167, + "grad_norm": 0.1832529902458191, + "learning_rate": 8.737843657230679e-05, + "loss": 3.147245979309082, + "step": 118450 + }, + { + "epoch": 0.16706666666666667, + "grad_norm": 0.186939999461174, + "learning_rate": 8.737111427098897e-05, + "loss": 3.1543275833129885, + "step": 118460 + }, + { + "epoch": 0.16713333333333333, + "grad_norm": 0.18455784022808075, + "learning_rate": 8.736379015329385e-05, + "loss": 3.157526397705078, + "step": 118470 + }, + { + "epoch": 0.1672, + "grad_norm": 0.24190956354141235, + "learning_rate": 8.735646421957743e-05, + "loss": 3.128617858886719, + "step": 118480 + }, + { + "epoch": 0.16726666666666667, + "grad_norm": 0.18913628160953522, + "learning_rate": 8.734913647019577e-05, + "loss": 3.1342546463012697, + "step": 118490 + }, + { + "epoch": 0.16733333333333333, + "grad_norm": 0.1858527660369873, + "learning_rate": 8.734180690550505e-05, + "loss": 3.174312400817871, + "step": 118500 + }, + { + "epoch": 0.1674, + "grad_norm": 0.1835012137889862, + "learning_rate": 8.733447552586149e-05, + "loss": 3.149956703186035, + "step": 118510 + }, + { + "epoch": 0.16746666666666668, + "grad_norm": 0.31534522771835327, + "learning_rate": 8.732714233162141e-05, + "loss": 3.207775115966797, + "step": 118520 + }, + { + "epoch": 0.16753333333333334, + "grad_norm": 0.3189527094364166, + "learning_rate": 8.731980732314126e-05, + "loss": 3.184318733215332, + "step": 118530 + }, + { + "epoch": 0.1676, + "grad_norm": 0.26977378129959106, + "learning_rate": 8.731247050077753e-05, + "loss": 3.2076148986816406, + "step": 118540 + }, + { + "epoch": 0.16766666666666666, + "grad_norm": 0.18479400873184204, + "learning_rate": 8.730513186488684e-05, + "loss": 3.199959373474121, + "step": 118550 + }, + { + "epoch": 0.16773333333333335, + "grad_norm": 0.1902797818183899, + "learning_rate": 8.729779141582583e-05, + "loss": 3.364847183227539, + "step": 118560 + }, + { + "epoch": 0.1678, + "grad_norm": 0.17075678706169128, + "learning_rate": 8.729044915395132e-05, + "loss": 3.0954353332519533, + "step": 118570 + }, + { + "epoch": 0.16786666666666666, + "grad_norm": 0.20461797714233398, + "learning_rate": 8.728310507962016e-05, + "loss": 3.16065673828125, + "step": 118580 + }, + { + "epoch": 0.16793333333333332, + "grad_norm": 0.17398037016391754, + "learning_rate": 8.727575919318929e-05, + "loss": 3.1453731536865233, + "step": 118590 + }, + { + "epoch": 0.168, + "grad_norm": 0.19193026423454285, + "learning_rate": 8.726841149501576e-05, + "loss": 3.1135431289672852, + "step": 118600 + }, + { + "epoch": 0.16806666666666667, + "grad_norm": 0.19382672011852264, + "learning_rate": 8.726106198545667e-05, + "loss": 3.1894092559814453, + "step": 118610 + }, + { + "epoch": 0.16813333333333333, + "grad_norm": 0.18831662833690643, + "learning_rate": 8.725371066486926e-05, + "loss": 3.2009811401367188, + "step": 118620 + }, + { + "epoch": 0.1682, + "grad_norm": 0.1786315143108368, + "learning_rate": 8.724635753361083e-05, + "loss": 3.157421112060547, + "step": 118630 + }, + { + "epoch": 0.16826666666666668, + "grad_norm": 0.2610945701599121, + "learning_rate": 8.723900259203876e-05, + "loss": 3.128001403808594, + "step": 118640 + }, + { + "epoch": 0.16833333333333333, + "grad_norm": 0.18198204040527344, + "learning_rate": 8.723164584051054e-05, + "loss": 3.1593015670776365, + "step": 118650 + }, + { + "epoch": 0.1684, + "grad_norm": 0.1884835809469223, + "learning_rate": 8.72242872793837e-05, + "loss": 3.1913896560668946, + "step": 118660 + }, + { + "epoch": 0.16846666666666665, + "grad_norm": 0.18527862429618835, + "learning_rate": 8.721692690901594e-05, + "loss": 3.1750873565673827, + "step": 118670 + }, + { + "epoch": 0.16853333333333334, + "grad_norm": 0.19908495247364044, + "learning_rate": 8.720956472976498e-05, + "loss": 3.1880687713623046, + "step": 118680 + }, + { + "epoch": 0.1686, + "grad_norm": 0.18882408738136292, + "learning_rate": 8.720220074198866e-05, + "loss": 3.131977653503418, + "step": 118690 + }, + { + "epoch": 0.16866666666666666, + "grad_norm": 0.18438304960727692, + "learning_rate": 8.719483494604489e-05, + "loss": 3.1559457778930664, + "step": 118700 + }, + { + "epoch": 0.16873333333333335, + "grad_norm": 0.18139810860157013, + "learning_rate": 8.718746734229166e-05, + "loss": 3.1957555770874024, + "step": 118710 + }, + { + "epoch": 0.1688, + "grad_norm": 0.19969123601913452, + "learning_rate": 8.71800979310871e-05, + "loss": 3.1381498336791993, + "step": 118720 + }, + { + "epoch": 0.16886666666666666, + "grad_norm": 0.20507284998893738, + "learning_rate": 8.717272671278936e-05, + "loss": 3.2148765563964843, + "step": 118730 + }, + { + "epoch": 0.16893333333333332, + "grad_norm": 0.18973971903324127, + "learning_rate": 8.716535368775673e-05, + "loss": 3.147504425048828, + "step": 118740 + }, + { + "epoch": 0.169, + "grad_norm": 0.19109764695167542, + "learning_rate": 8.715797885634755e-05, + "loss": 3.132307434082031, + "step": 118750 + }, + { + "epoch": 0.16906666666666667, + "grad_norm": 0.1956021636724472, + "learning_rate": 8.715060221892026e-05, + "loss": 3.274454116821289, + "step": 118760 + }, + { + "epoch": 0.16913333333333333, + "grad_norm": 0.29708266258239746, + "learning_rate": 8.714322377583341e-05, + "loss": 3.217304992675781, + "step": 118770 + }, + { + "epoch": 0.1692, + "grad_norm": 0.18544811010360718, + "learning_rate": 8.713584352744563e-05, + "loss": 3.2474990844726563, + "step": 118780 + }, + { + "epoch": 0.16926666666666668, + "grad_norm": 0.2861015200614929, + "learning_rate": 8.712846147411559e-05, + "loss": 3.164324951171875, + "step": 118790 + }, + { + "epoch": 0.16933333333333334, + "grad_norm": 0.1805543750524521, + "learning_rate": 8.712107761620212e-05, + "loss": 3.246195602416992, + "step": 118800 + }, + { + "epoch": 0.1694, + "grad_norm": 0.17775726318359375, + "learning_rate": 8.711369195406409e-05, + "loss": 3.380698394775391, + "step": 118810 + }, + { + "epoch": 0.16946666666666665, + "grad_norm": 0.19197595119476318, + "learning_rate": 8.710630448806047e-05, + "loss": 3.1894563674926757, + "step": 118820 + }, + { + "epoch": 0.16953333333333334, + "grad_norm": 0.18715785443782806, + "learning_rate": 8.709891521855033e-05, + "loss": 3.15135498046875, + "step": 118830 + }, + { + "epoch": 0.1696, + "grad_norm": 0.21918268501758575, + "learning_rate": 8.709152414589278e-05, + "loss": 3.168287467956543, + "step": 118840 + }, + { + "epoch": 0.16966666666666666, + "grad_norm": 0.1940905898809433, + "learning_rate": 8.708413127044712e-05, + "loss": 3.199066925048828, + "step": 118850 + }, + { + "epoch": 0.16973333333333335, + "grad_norm": 0.19896914064884186, + "learning_rate": 8.70767365925726e-05, + "loss": 3.13541259765625, + "step": 118860 + }, + { + "epoch": 0.1698, + "grad_norm": 0.20658789575099945, + "learning_rate": 8.706934011262867e-05, + "loss": 3.145847129821777, + "step": 118870 + }, + { + "epoch": 0.16986666666666667, + "grad_norm": 0.19688071310520172, + "learning_rate": 8.706194183097482e-05, + "loss": 3.1769432067871093, + "step": 118880 + }, + { + "epoch": 0.16993333333333333, + "grad_norm": 0.19454804062843323, + "learning_rate": 8.705454174797066e-05, + "loss": 3.2523788452148437, + "step": 118890 + }, + { + "epoch": 0.17, + "grad_norm": 0.19174379110336304, + "learning_rate": 8.70471398639758e-05, + "loss": 3.183890151977539, + "step": 118900 + }, + { + "epoch": 0.17006666666666667, + "grad_norm": 0.223172128200531, + "learning_rate": 8.703973617935004e-05, + "loss": 3.1951446533203125, + "step": 118910 + }, + { + "epoch": 0.17013333333333333, + "grad_norm": 0.23051464557647705, + "learning_rate": 8.703233069445323e-05, + "loss": 3.1598386764526367, + "step": 118920 + }, + { + "epoch": 0.1702, + "grad_norm": 0.18712453544139862, + "learning_rate": 8.70249234096453e-05, + "loss": 3.167182731628418, + "step": 118930 + }, + { + "epoch": 0.17026666666666668, + "grad_norm": 0.19015845656394958, + "learning_rate": 8.701751432528627e-05, + "loss": 3.1779735565185545, + "step": 118940 + }, + { + "epoch": 0.17033333333333334, + "grad_norm": 0.18547670543193817, + "learning_rate": 8.701010344173624e-05, + "loss": 3.1653697967529295, + "step": 118950 + }, + { + "epoch": 0.1704, + "grad_norm": 0.19738905131816864, + "learning_rate": 8.700269075935541e-05, + "loss": 3.1484216690063476, + "step": 118960 + }, + { + "epoch": 0.17046666666666666, + "grad_norm": 0.17853909730911255, + "learning_rate": 8.699527627850408e-05, + "loss": 3.1729337692260744, + "step": 118970 + }, + { + "epoch": 0.17053333333333334, + "grad_norm": 0.18060988187789917, + "learning_rate": 8.69878599995426e-05, + "loss": 3.1815900802612305, + "step": 118980 + }, + { + "epoch": 0.1706, + "grad_norm": 0.17875535786151886, + "learning_rate": 8.698044192283146e-05, + "loss": 3.1416507720947267, + "step": 118990 + }, + { + "epoch": 0.17066666666666666, + "grad_norm": 0.18246719241142273, + "learning_rate": 8.697302204873116e-05, + "loss": 3.2003250122070312, + "step": 119000 + }, + { + "epoch": 0.17073333333333332, + "grad_norm": 0.1920650750398636, + "learning_rate": 8.696560037760237e-05, + "loss": 3.2084041595458985, + "step": 119010 + }, + { + "epoch": 0.1708, + "grad_norm": 0.18611276149749756, + "learning_rate": 8.69581769098058e-05, + "loss": 3.1684825897216795, + "step": 119020 + }, + { + "epoch": 0.17086666666666667, + "grad_norm": 0.19428297877311707, + "learning_rate": 8.695075164570228e-05, + "loss": 3.123139572143555, + "step": 119030 + }, + { + "epoch": 0.17093333333333333, + "grad_norm": 0.17702791094779968, + "learning_rate": 8.694332458565266e-05, + "loss": 3.1312780380249023, + "step": 119040 + }, + { + "epoch": 0.171, + "grad_norm": 0.1922427862882614, + "learning_rate": 8.693589573001797e-05, + "loss": 3.2262805938720702, + "step": 119050 + }, + { + "epoch": 0.17106666666666667, + "grad_norm": 0.2221478521823883, + "learning_rate": 8.692846507915926e-05, + "loss": 3.140827178955078, + "step": 119060 + }, + { + "epoch": 0.17113333333333333, + "grad_norm": 0.175761878490448, + "learning_rate": 8.692103263343768e-05, + "loss": 3.171834182739258, + "step": 119070 + }, + { + "epoch": 0.1712, + "grad_norm": 0.1910477876663208, + "learning_rate": 8.691359839321447e-05, + "loss": 3.1929269790649415, + "step": 119080 + }, + { + "epoch": 0.17126666666666668, + "grad_norm": 0.24511879682540894, + "learning_rate": 8.6906162358851e-05, + "loss": 3.22039794921875, + "step": 119090 + }, + { + "epoch": 0.17133333333333334, + "grad_norm": 0.18123924732208252, + "learning_rate": 8.689872453070864e-05, + "loss": 3.155098533630371, + "step": 119100 + }, + { + "epoch": 0.1714, + "grad_norm": 0.18578337132930756, + "learning_rate": 8.689128490914893e-05, + "loss": 3.1163230895996095, + "step": 119110 + }, + { + "epoch": 0.17146666666666666, + "grad_norm": 0.18727408349514008, + "learning_rate": 8.688384349453347e-05, + "loss": 3.151838493347168, + "step": 119120 + }, + { + "epoch": 0.17153333333333334, + "grad_norm": 0.1753525584936142, + "learning_rate": 8.68764002872239e-05, + "loss": 3.1310096740722657, + "step": 119130 + }, + { + "epoch": 0.1716, + "grad_norm": 5.221131801605225, + "learning_rate": 8.686895528758203e-05, + "loss": 3.4974609375, + "step": 119140 + }, + { + "epoch": 0.17166666666666666, + "grad_norm": 0.21390150487422943, + "learning_rate": 8.686150849596969e-05, + "loss": 3.1554855346679687, + "step": 119150 + }, + { + "epoch": 0.17173333333333332, + "grad_norm": 0.19377711415290833, + "learning_rate": 8.685405991274883e-05, + "loss": 3.2987430572509764, + "step": 119160 + }, + { + "epoch": 0.1718, + "grad_norm": 0.46389028429985046, + "learning_rate": 8.684660953828149e-05, + "loss": 3.1957406997680664, + "step": 119170 + }, + { + "epoch": 0.17186666666666667, + "grad_norm": 0.7435762286186218, + "learning_rate": 8.683915737292976e-05, + "loss": 3.198529052734375, + "step": 119180 + }, + { + "epoch": 0.17193333333333333, + "grad_norm": 0.19123999774456024, + "learning_rate": 8.683170341705587e-05, + "loss": 3.1861610412597656, + "step": 119190 + }, + { + "epoch": 0.172, + "grad_norm": 0.1970609426498413, + "learning_rate": 8.682424767102211e-05, + "loss": 3.1705698013305663, + "step": 119200 + }, + { + "epoch": 0.17206666666666667, + "grad_norm": 0.18046672642230988, + "learning_rate": 8.681679013519081e-05, + "loss": 3.1878488540649412, + "step": 119210 + }, + { + "epoch": 0.17213333333333333, + "grad_norm": 0.2831767797470093, + "learning_rate": 8.68093308099245e-05, + "loss": 3.0795141220092774, + "step": 119220 + }, + { + "epoch": 0.1722, + "grad_norm": 0.190758615732193, + "learning_rate": 8.68018696955857e-05, + "loss": 3.186728858947754, + "step": 119230 + }, + { + "epoch": 0.17226666666666668, + "grad_norm": 0.17803426086902618, + "learning_rate": 8.679440679253706e-05, + "loss": 3.209795379638672, + "step": 119240 + }, + { + "epoch": 0.17233333333333334, + "grad_norm": 0.17996187508106232, + "learning_rate": 8.678694210114129e-05, + "loss": 3.1254999160766603, + "step": 119250 + }, + { + "epoch": 0.1724, + "grad_norm": 0.18574629724025726, + "learning_rate": 8.67794756217612e-05, + "loss": 3.14648494720459, + "step": 119260 + }, + { + "epoch": 0.17246666666666666, + "grad_norm": 0.19396649301052094, + "learning_rate": 8.677200735475971e-05, + "loss": 3.147232246398926, + "step": 119270 + }, + { + "epoch": 0.17253333333333334, + "grad_norm": 0.18598175048828125, + "learning_rate": 8.676453730049979e-05, + "loss": 3.07678108215332, + "step": 119280 + }, + { + "epoch": 0.1726, + "grad_norm": 0.18581397831439972, + "learning_rate": 8.675706545934451e-05, + "loss": 3.151928520202637, + "step": 119290 + }, + { + "epoch": 0.17266666666666666, + "grad_norm": 0.17795704305171967, + "learning_rate": 8.674959183165705e-05, + "loss": 3.144610786437988, + "step": 119300 + }, + { + "epoch": 0.17273333333333332, + "grad_norm": 0.18495509028434753, + "learning_rate": 8.674211641780063e-05, + "loss": 3.209019088745117, + "step": 119310 + }, + { + "epoch": 0.1728, + "grad_norm": 0.18757972121238708, + "learning_rate": 8.67346392181386e-05, + "loss": 3.160280227661133, + "step": 119320 + }, + { + "epoch": 0.17286666666666667, + "grad_norm": 0.2514232397079468, + "learning_rate": 8.672716023303437e-05, + "loss": 3.147739028930664, + "step": 119330 + }, + { + "epoch": 0.17293333333333333, + "grad_norm": 0.703903317451477, + "learning_rate": 8.671967946285147e-05, + "loss": 3.135213279724121, + "step": 119340 + }, + { + "epoch": 0.173, + "grad_norm": 0.1667642742395401, + "learning_rate": 8.671219690795346e-05, + "loss": 3.2483123779296874, + "step": 119350 + }, + { + "epoch": 0.17306666666666667, + "grad_norm": 0.21168306469917297, + "learning_rate": 8.670471256870405e-05, + "loss": 3.1238916397094725, + "step": 119360 + }, + { + "epoch": 0.17313333333333333, + "grad_norm": 0.21186283230781555, + "learning_rate": 8.669722644546698e-05, + "loss": 3.1745298385620115, + "step": 119370 + }, + { + "epoch": 0.1732, + "grad_norm": 0.21106873452663422, + "learning_rate": 8.668973853860614e-05, + "loss": 3.091720962524414, + "step": 119380 + }, + { + "epoch": 0.17326666666666668, + "grad_norm": 0.20880410075187683, + "learning_rate": 8.668224884848543e-05, + "loss": 3.2654254913330076, + "step": 119390 + }, + { + "epoch": 0.17333333333333334, + "grad_norm": 0.17858079075813293, + "learning_rate": 8.66747573754689e-05, + "loss": 3.136305046081543, + "step": 119400 + }, + { + "epoch": 0.1734, + "grad_norm": 0.2725478708744049, + "learning_rate": 8.666726411992065e-05, + "loss": 3.213727569580078, + "step": 119410 + }, + { + "epoch": 0.17346666666666666, + "grad_norm": 0.20742323994636536, + "learning_rate": 8.665976908220493e-05, + "loss": 3.161612701416016, + "step": 119420 + }, + { + "epoch": 0.17353333333333334, + "grad_norm": 0.1780846267938614, + "learning_rate": 8.665227226268596e-05, + "loss": 3.1278915405273438, + "step": 119430 + }, + { + "epoch": 0.1736, + "grad_norm": 0.21765148639678955, + "learning_rate": 8.664477366172814e-05, + "loss": 3.1699350357055662, + "step": 119440 + }, + { + "epoch": 0.17366666666666666, + "grad_norm": 0.180785670876503, + "learning_rate": 8.663727327969593e-05, + "loss": 3.138622856140137, + "step": 119450 + }, + { + "epoch": 0.17373333333333332, + "grad_norm": 0.18879829347133636, + "learning_rate": 8.662977111695389e-05, + "loss": 3.2911590576171874, + "step": 119460 + }, + { + "epoch": 0.1738, + "grad_norm": 0.20278239250183105, + "learning_rate": 8.662226717386663e-05, + "loss": 3.1479358673095703, + "step": 119470 + }, + { + "epoch": 0.17386666666666667, + "grad_norm": 0.18192796409130096, + "learning_rate": 8.661476145079889e-05, + "loss": 3.1395565032958985, + "step": 119480 + }, + { + "epoch": 0.17393333333333333, + "grad_norm": 0.18961584568023682, + "learning_rate": 8.660725394811546e-05, + "loss": 3.151737594604492, + "step": 119490 + }, + { + "epoch": 0.174, + "grad_norm": 0.21059201657772064, + "learning_rate": 8.659974466618126e-05, + "loss": 3.1007524490356446, + "step": 119500 + }, + { + "epoch": 0.17406666666666668, + "grad_norm": 0.1874569207429886, + "learning_rate": 8.659223360536124e-05, + "loss": 3.1481950759887694, + "step": 119510 + }, + { + "epoch": 0.17413333333333333, + "grad_norm": 0.20005691051483154, + "learning_rate": 8.658472076602047e-05, + "loss": 3.1530075073242188, + "step": 119520 + }, + { + "epoch": 0.1742, + "grad_norm": 0.20185589790344238, + "learning_rate": 8.657720614852411e-05, + "loss": 3.1276504516601564, + "step": 119530 + }, + { + "epoch": 0.17426666666666665, + "grad_norm": 0.1918351948261261, + "learning_rate": 8.65696897532374e-05, + "loss": 3.318642425537109, + "step": 119540 + }, + { + "epoch": 0.17433333333333334, + "grad_norm": 0.1842793971300125, + "learning_rate": 8.656217158052567e-05, + "loss": 3.1643817901611326, + "step": 119550 + }, + { + "epoch": 0.1744, + "grad_norm": 0.22758011519908905, + "learning_rate": 8.655465163075432e-05, + "loss": 3.1590723037719726, + "step": 119560 + }, + { + "epoch": 0.17446666666666666, + "grad_norm": 0.19423648715019226, + "learning_rate": 8.654712990428886e-05, + "loss": 3.150889205932617, + "step": 119570 + }, + { + "epoch": 0.17453333333333335, + "grad_norm": 0.18903464078903198, + "learning_rate": 8.653960640149486e-05, + "loss": 3.225634002685547, + "step": 119580 + }, + { + "epoch": 0.1746, + "grad_norm": 0.1756870299577713, + "learning_rate": 8.653208112273801e-05, + "loss": 3.17054443359375, + "step": 119590 + }, + { + "epoch": 0.17466666666666666, + "grad_norm": 0.21795551478862762, + "learning_rate": 8.652455406838403e-05, + "loss": 3.2260059356689452, + "step": 119600 + }, + { + "epoch": 0.17473333333333332, + "grad_norm": 0.22275179624557495, + "learning_rate": 8.651702523879882e-05, + "loss": 3.4613914489746094, + "step": 119610 + }, + { + "epoch": 0.1748, + "grad_norm": 0.18384477496147156, + "learning_rate": 8.650949463434826e-05, + "loss": 3.1252874374389648, + "step": 119620 + }, + { + "epoch": 0.17486666666666667, + "grad_norm": 0.2353755384683609, + "learning_rate": 8.650196225539837e-05, + "loss": 3.139452362060547, + "step": 119630 + }, + { + "epoch": 0.17493333333333333, + "grad_norm": 0.17586715519428253, + "learning_rate": 8.649442810231528e-05, + "loss": 3.176097106933594, + "step": 119640 + }, + { + "epoch": 0.175, + "grad_norm": 0.20056401193141937, + "learning_rate": 8.648689217546518e-05, + "loss": 3.1695882797241213, + "step": 119650 + }, + { + "epoch": 0.17506666666666668, + "grad_norm": 0.2065398246049881, + "learning_rate": 8.64793544752143e-05, + "loss": 3.1660440444946287, + "step": 119660 + }, + { + "epoch": 0.17513333333333334, + "grad_norm": 0.1931607872247696, + "learning_rate": 8.647181500192904e-05, + "loss": 3.188939094543457, + "step": 119670 + }, + { + "epoch": 0.1752, + "grad_norm": 0.18377768993377686, + "learning_rate": 8.646427375597583e-05, + "loss": 3.1722415924072265, + "step": 119680 + }, + { + "epoch": 0.17526666666666665, + "grad_norm": 0.18549764156341553, + "learning_rate": 8.645673073772123e-05, + "loss": 3.152785301208496, + "step": 119690 + }, + { + "epoch": 0.17533333333333334, + "grad_norm": 0.18733830749988556, + "learning_rate": 8.644918594753183e-05, + "loss": 3.090981674194336, + "step": 119700 + }, + { + "epoch": 0.1754, + "grad_norm": 0.21250569820404053, + "learning_rate": 8.644163938577431e-05, + "loss": 3.1503644943237306, + "step": 119710 + }, + { + "epoch": 0.17546666666666666, + "grad_norm": 0.19753150641918182, + "learning_rate": 8.643409105281554e-05, + "loss": 3.1679866790771483, + "step": 119720 + }, + { + "epoch": 0.17553333333333335, + "grad_norm": 0.21240782737731934, + "learning_rate": 8.642654094902234e-05, + "loss": 3.1678457260131836, + "step": 119730 + }, + { + "epoch": 0.1756, + "grad_norm": 0.19288457930088043, + "learning_rate": 8.641898907476167e-05, + "loss": 3.1280796051025392, + "step": 119740 + }, + { + "epoch": 0.17566666666666667, + "grad_norm": 0.21556462347507477, + "learning_rate": 8.64114354304006e-05, + "loss": 3.136199188232422, + "step": 119750 + }, + { + "epoch": 0.17573333333333332, + "grad_norm": 0.191057950258255, + "learning_rate": 8.640388001630627e-05, + "loss": 3.0898244857788084, + "step": 119760 + }, + { + "epoch": 0.1758, + "grad_norm": 0.19989198446273804, + "learning_rate": 8.639632283284588e-05, + "loss": 3.195694160461426, + "step": 119770 + }, + { + "epoch": 0.17586666666666667, + "grad_norm": 0.20003683865070343, + "learning_rate": 8.638876388038677e-05, + "loss": 3.2016441345214846, + "step": 119780 + }, + { + "epoch": 0.17593333333333333, + "grad_norm": 0.18591344356536865, + "learning_rate": 8.63812031592963e-05, + "loss": 3.1578466415405275, + "step": 119790 + }, + { + "epoch": 0.176, + "grad_norm": 0.31602728366851807, + "learning_rate": 8.637364066994198e-05, + "loss": 3.1897136688232424, + "step": 119800 + }, + { + "epoch": 0.17606666666666668, + "grad_norm": 0.18654175102710724, + "learning_rate": 8.636607641269134e-05, + "loss": 3.157954788208008, + "step": 119810 + }, + { + "epoch": 0.17613333333333334, + "grad_norm": 0.17319543659687042, + "learning_rate": 8.635851038791204e-05, + "loss": 3.121921730041504, + "step": 119820 + }, + { + "epoch": 0.1762, + "grad_norm": 0.18633168935775757, + "learning_rate": 8.635094259597187e-05, + "loss": 3.1364097595214844, + "step": 119830 + }, + { + "epoch": 0.17626666666666665, + "grad_norm": 0.18994519114494324, + "learning_rate": 8.634337303723859e-05, + "loss": 3.178271484375, + "step": 119840 + }, + { + "epoch": 0.17633333333333334, + "grad_norm": 0.18767902255058289, + "learning_rate": 8.633580171208011e-05, + "loss": 3.22412223815918, + "step": 119850 + }, + { + "epoch": 0.1764, + "grad_norm": 0.1945076733827591, + "learning_rate": 8.632822862086447e-05, + "loss": 3.159276580810547, + "step": 119860 + }, + { + "epoch": 0.17646666666666666, + "grad_norm": 0.20464681088924408, + "learning_rate": 8.632065376395973e-05, + "loss": 3.2149673461914063, + "step": 119870 + }, + { + "epoch": 0.17653333333333332, + "grad_norm": 0.2123376876115799, + "learning_rate": 8.631307714173403e-05, + "loss": 3.1606279373168946, + "step": 119880 + }, + { + "epoch": 0.1766, + "grad_norm": 0.19205990433692932, + "learning_rate": 8.630549875455566e-05, + "loss": 3.15264778137207, + "step": 119890 + }, + { + "epoch": 0.17666666666666667, + "grad_norm": 0.1901373416185379, + "learning_rate": 8.629791860279294e-05, + "loss": 3.1535999298095705, + "step": 119900 + }, + { + "epoch": 0.17673333333333333, + "grad_norm": 0.21405717730522156, + "learning_rate": 8.62903366868143e-05, + "loss": 3.253282165527344, + "step": 119910 + }, + { + "epoch": 0.1768, + "grad_norm": 0.1678513139486313, + "learning_rate": 8.628275300698825e-05, + "loss": 3.280496597290039, + "step": 119920 + }, + { + "epoch": 0.17686666666666667, + "grad_norm": 0.18146590888500214, + "learning_rate": 8.627516756368337e-05, + "loss": 3.1363401412963867, + "step": 119930 + }, + { + "epoch": 0.17693333333333333, + "grad_norm": 0.18811801075935364, + "learning_rate": 8.626758035726837e-05, + "loss": 3.110126495361328, + "step": 119940 + }, + { + "epoch": 0.177, + "grad_norm": 0.2013738602399826, + "learning_rate": 8.625999138811199e-05, + "loss": 3.126674461364746, + "step": 119950 + }, + { + "epoch": 0.17706666666666668, + "grad_norm": 0.2013985812664032, + "learning_rate": 8.625240065658309e-05, + "loss": 3.1573862075805663, + "step": 119960 + }, + { + "epoch": 0.17713333333333334, + "grad_norm": 0.25219976902008057, + "learning_rate": 8.624480816305061e-05, + "loss": 3.1510942459106444, + "step": 119970 + }, + { + "epoch": 0.1772, + "grad_norm": 0.18733727931976318, + "learning_rate": 8.62372139078836e-05, + "loss": 3.14178581237793, + "step": 119980 + }, + { + "epoch": 0.17726666666666666, + "grad_norm": 0.17492598295211792, + "learning_rate": 8.622961789145112e-05, + "loss": 3.1732975006103517, + "step": 119990 + }, + { + "epoch": 0.17733333333333334, + "grad_norm": 0.18227721750736237, + "learning_rate": 8.622202011412239e-05, + "loss": 3.1939001083374023, + "step": 120000 + }, + { + "epoch": 0.1774, + "grad_norm": 0.23379863798618317, + "learning_rate": 8.621442057626671e-05, + "loss": 3.1571741104125977, + "step": 120010 + }, + { + "epoch": 0.17746666666666666, + "grad_norm": 0.17814698815345764, + "learning_rate": 8.620681927825343e-05, + "loss": 3.1388940811157227, + "step": 120020 + }, + { + "epoch": 0.17753333333333332, + "grad_norm": 0.2122572958469391, + "learning_rate": 8.619921622045198e-05, + "loss": 3.1595386505126952, + "step": 120030 + }, + { + "epoch": 0.1776, + "grad_norm": 0.19371671974658966, + "learning_rate": 8.61916114032319e-05, + "loss": 3.1731698989868162, + "step": 120040 + }, + { + "epoch": 0.17766666666666667, + "grad_norm": 0.2064049243927002, + "learning_rate": 8.618400482696287e-05, + "loss": 3.1245424270629885, + "step": 120050 + }, + { + "epoch": 0.17773333333333333, + "grad_norm": 0.19864888489246368, + "learning_rate": 8.617639649201455e-05, + "loss": 3.1462995529174806, + "step": 120060 + }, + { + "epoch": 0.1778, + "grad_norm": 0.18327797949314117, + "learning_rate": 8.616878639875672e-05, + "loss": 2.948857879638672, + "step": 120070 + }, + { + "epoch": 0.17786666666666667, + "grad_norm": 0.1755279153585434, + "learning_rate": 8.616117454755929e-05, + "loss": 3.092691421508789, + "step": 120080 + }, + { + "epoch": 0.17793333333333333, + "grad_norm": 0.20332209765911102, + "learning_rate": 8.615356093879221e-05, + "loss": 3.1583635330200197, + "step": 120090 + }, + { + "epoch": 0.178, + "grad_norm": 0.19999848306179047, + "learning_rate": 8.614594557282553e-05, + "loss": 3.1731338500976562, + "step": 120100 + }, + { + "epoch": 0.17806666666666668, + "grad_norm": 0.1801498681306839, + "learning_rate": 8.61383284500294e-05, + "loss": 3.157342720031738, + "step": 120110 + }, + { + "epoch": 0.17813333333333334, + "grad_norm": 0.21340195834636688, + "learning_rate": 8.613070957077404e-05, + "loss": 3.1660736083984373, + "step": 120120 + }, + { + "epoch": 0.1782, + "grad_norm": 0.20561528205871582, + "learning_rate": 8.612308893542974e-05, + "loss": 3.1180774688720705, + "step": 120130 + }, + { + "epoch": 0.17826666666666666, + "grad_norm": 0.21911191940307617, + "learning_rate": 8.611546654436691e-05, + "loss": 3.198392868041992, + "step": 120140 + }, + { + "epoch": 0.17833333333333334, + "grad_norm": 0.21200360357761383, + "learning_rate": 8.610784239795599e-05, + "loss": 3.159212112426758, + "step": 120150 + }, + { + "epoch": 0.1784, + "grad_norm": 0.17524172365665436, + "learning_rate": 8.610021649656759e-05, + "loss": 3.166378402709961, + "step": 120160 + }, + { + "epoch": 0.17846666666666666, + "grad_norm": 0.18298691511154175, + "learning_rate": 8.609258884057235e-05, + "loss": 3.1356861114501955, + "step": 120170 + }, + { + "epoch": 0.17853333333333332, + "grad_norm": 0.1839464157819748, + "learning_rate": 8.608495943034096e-05, + "loss": 3.1779047012329102, + "step": 120180 + }, + { + "epoch": 0.1786, + "grad_norm": 0.1878628134727478, + "learning_rate": 8.607732826624429e-05, + "loss": 3.187811851501465, + "step": 120190 + }, + { + "epoch": 0.17866666666666667, + "grad_norm": 0.2021353393793106, + "learning_rate": 8.60696953486532e-05, + "loss": 3.179980659484863, + "step": 120200 + }, + { + "epoch": 0.17873333333333333, + "grad_norm": 0.17716869711875916, + "learning_rate": 8.606206067793871e-05, + "loss": 3.2136138916015624, + "step": 120210 + }, + { + "epoch": 0.1788, + "grad_norm": 0.18257783353328705, + "learning_rate": 8.605442425447189e-05, + "loss": 3.1500165939331053, + "step": 120220 + }, + { + "epoch": 0.17886666666666667, + "grad_norm": 0.21726837754249573, + "learning_rate": 8.604678607862389e-05, + "loss": 3.1664941787719725, + "step": 120230 + }, + { + "epoch": 0.17893333333333333, + "grad_norm": 0.17624028027057648, + "learning_rate": 8.603914615076594e-05, + "loss": 3.1594404220581054, + "step": 120240 + }, + { + "epoch": 0.179, + "grad_norm": 0.20749004185199738, + "learning_rate": 8.60315044712694e-05, + "loss": 3.169297790527344, + "step": 120250 + }, + { + "epoch": 0.17906666666666668, + "grad_norm": 0.20415370166301727, + "learning_rate": 8.602386104050567e-05, + "loss": 3.209854507446289, + "step": 120260 + }, + { + "epoch": 0.17913333333333334, + "grad_norm": 0.1862858533859253, + "learning_rate": 8.601621585884624e-05, + "loss": 3.168831443786621, + "step": 120270 + }, + { + "epoch": 0.1792, + "grad_norm": 0.20665806531906128, + "learning_rate": 8.600856892666272e-05, + "loss": 3.113919258117676, + "step": 120280 + }, + { + "epoch": 0.17926666666666666, + "grad_norm": 0.26570889353752136, + "learning_rate": 8.600092024432676e-05, + "loss": 3.243244934082031, + "step": 120290 + }, + { + "epoch": 0.17933333333333334, + "grad_norm": 0.1931823343038559, + "learning_rate": 8.599326981221012e-05, + "loss": 3.241015625, + "step": 120300 + }, + { + "epoch": 0.1794, + "grad_norm": 0.1953902542591095, + "learning_rate": 8.598561763068464e-05, + "loss": 3.2210678100585937, + "step": 120310 + }, + { + "epoch": 0.17946666666666666, + "grad_norm": 0.18352645635604858, + "learning_rate": 8.597796370012223e-05, + "loss": 3.173002815246582, + "step": 120320 + }, + { + "epoch": 0.17953333333333332, + "grad_norm": 0.20248858630657196, + "learning_rate": 8.597030802089494e-05, + "loss": 3.1605430603027345, + "step": 120330 + }, + { + "epoch": 0.1796, + "grad_norm": 0.2374042421579361, + "learning_rate": 8.596265059337483e-05, + "loss": 3.2418277740478514, + "step": 120340 + }, + { + "epoch": 0.17966666666666667, + "grad_norm": 0.2201642543077469, + "learning_rate": 8.595499141793409e-05, + "loss": 3.1438180923461916, + "step": 120350 + }, + { + "epoch": 0.17973333333333333, + "grad_norm": 0.1912516951560974, + "learning_rate": 8.594733049494496e-05, + "loss": 3.202425003051758, + "step": 120360 + }, + { + "epoch": 0.1798, + "grad_norm": 0.19848047196865082, + "learning_rate": 8.593966782477983e-05, + "loss": 3.1062347412109377, + "step": 120370 + }, + { + "epoch": 0.17986666666666667, + "grad_norm": 0.2241443395614624, + "learning_rate": 8.593200340781113e-05, + "loss": 3.269947052001953, + "step": 120380 + }, + { + "epoch": 0.17993333333333333, + "grad_norm": 0.20158369839191437, + "learning_rate": 8.592433724441135e-05, + "loss": 3.1658870697021486, + "step": 120390 + }, + { + "epoch": 0.18, + "grad_norm": 0.18215499818325043, + "learning_rate": 8.591666933495313e-05, + "loss": 3.1470979690551757, + "step": 120400 + }, + { + "epoch": 0.18006666666666668, + "grad_norm": 0.17709815502166748, + "learning_rate": 8.590899967980913e-05, + "loss": 3.129801559448242, + "step": 120410 + }, + { + "epoch": 0.18013333333333334, + "grad_norm": 0.19586800038814545, + "learning_rate": 8.590132827935214e-05, + "loss": 3.1603439331054686, + "step": 120420 + }, + { + "epoch": 0.1802, + "grad_norm": 0.4365495443344116, + "learning_rate": 8.5893655133955e-05, + "loss": 3.210569381713867, + "step": 120430 + }, + { + "epoch": 0.18026666666666666, + "grad_norm": 0.19283850491046906, + "learning_rate": 8.588598024399068e-05, + "loss": 3.306136703491211, + "step": 120440 + }, + { + "epoch": 0.18033333333333335, + "grad_norm": 0.22231142222881317, + "learning_rate": 8.58783036098322e-05, + "loss": 3.1825325012207033, + "step": 120450 + }, + { + "epoch": 0.1804, + "grad_norm": 0.197474405169487, + "learning_rate": 8.587062523185268e-05, + "loss": 3.2150222778320314, + "step": 120460 + }, + { + "epoch": 0.18046666666666666, + "grad_norm": 0.19582702219486237, + "learning_rate": 8.586294511042529e-05, + "loss": 3.246807098388672, + "step": 120470 + }, + { + "epoch": 0.18053333333333332, + "grad_norm": 0.189974844455719, + "learning_rate": 8.585526324592335e-05, + "loss": 3.179202842712402, + "step": 120480 + }, + { + "epoch": 0.1806, + "grad_norm": 0.17900213599205017, + "learning_rate": 8.58475796387202e-05, + "loss": 3.139773368835449, + "step": 120490 + }, + { + "epoch": 0.18066666666666667, + "grad_norm": 0.19089634716510773, + "learning_rate": 8.583989428918931e-05, + "loss": 3.1728517532348635, + "step": 120500 + }, + { + "epoch": 0.18073333333333333, + "grad_norm": 0.1784435361623764, + "learning_rate": 8.58322071977042e-05, + "loss": 3.1515621185302733, + "step": 120510 + }, + { + "epoch": 0.1808, + "grad_norm": 0.20231975615024567, + "learning_rate": 8.58245183646385e-05, + "loss": 3.6108688354492187, + "step": 120520 + }, + { + "epoch": 0.18086666666666668, + "grad_norm": 0.19610503315925598, + "learning_rate": 8.581682779036592e-05, + "loss": 3.1839601516723635, + "step": 120530 + }, + { + "epoch": 0.18093333333333333, + "grad_norm": 0.2099122256040573, + "learning_rate": 8.580913547526023e-05, + "loss": 3.1847095489501953, + "step": 120540 + }, + { + "epoch": 0.181, + "grad_norm": 0.25131890177726746, + "learning_rate": 8.580144141969535e-05, + "loss": 3.1411237716674805, + "step": 120550 + }, + { + "epoch": 0.18106666666666665, + "grad_norm": 0.2888810336589813, + "learning_rate": 8.579374562404521e-05, + "loss": 3.3330413818359377, + "step": 120560 + }, + { + "epoch": 0.18113333333333334, + "grad_norm": 0.21883688867092133, + "learning_rate": 8.578604808868384e-05, + "loss": 3.2304336547851564, + "step": 120570 + }, + { + "epoch": 0.1812, + "grad_norm": 0.1919129490852356, + "learning_rate": 8.57783488139854e-05, + "loss": 3.153928756713867, + "step": 120580 + }, + { + "epoch": 0.18126666666666666, + "grad_norm": 0.7619603276252747, + "learning_rate": 8.577064780032411e-05, + "loss": 3.3652065277099608, + "step": 120590 + }, + { + "epoch": 0.18133333333333335, + "grad_norm": 0.2506420910358429, + "learning_rate": 8.576294504807423e-05, + "loss": 3.251599884033203, + "step": 120600 + }, + { + "epoch": 0.1814, + "grad_norm": 0.3113124668598175, + "learning_rate": 8.575524055761018e-05, + "loss": 3.096762847900391, + "step": 120610 + }, + { + "epoch": 0.18146666666666667, + "grad_norm": 0.4423970878124237, + "learning_rate": 8.574753432930638e-05, + "loss": 3.193179702758789, + "step": 120620 + }, + { + "epoch": 0.18153333333333332, + "grad_norm": 0.2058641016483307, + "learning_rate": 8.573982636353743e-05, + "loss": 3.1500539779663086, + "step": 120630 + }, + { + "epoch": 0.1816, + "grad_norm": 0.1983710378408432, + "learning_rate": 8.573211666067793e-05, + "loss": 3.1642810821533205, + "step": 120640 + }, + { + "epoch": 0.18166666666666667, + "grad_norm": 0.1785162389278412, + "learning_rate": 8.572440522110264e-05, + "loss": 3.1691614151000977, + "step": 120650 + }, + { + "epoch": 0.18173333333333333, + "grad_norm": 0.28313568234443665, + "learning_rate": 8.571669204518632e-05, + "loss": 3.1666860580444336, + "step": 120660 + }, + { + "epoch": 0.1818, + "grad_norm": 0.1864609569311142, + "learning_rate": 8.570897713330393e-05, + "loss": 3.1557119369506834, + "step": 120670 + }, + { + "epoch": 0.18186666666666668, + "grad_norm": 0.2035660743713379, + "learning_rate": 8.570126048583036e-05, + "loss": 3.18792781829834, + "step": 120680 + }, + { + "epoch": 0.18193333333333334, + "grad_norm": 0.17669576406478882, + "learning_rate": 8.56935421031407e-05, + "loss": 3.1398956298828127, + "step": 120690 + }, + { + "epoch": 0.182, + "grad_norm": 0.20178170502185822, + "learning_rate": 8.568582198561013e-05, + "loss": 3.1616485595703123, + "step": 120700 + }, + { + "epoch": 0.18206666666666665, + "grad_norm": 0.20660778880119324, + "learning_rate": 8.567810013361382e-05, + "loss": 3.1650487899780275, + "step": 120710 + }, + { + "epoch": 0.18213333333333334, + "grad_norm": 0.22552303969860077, + "learning_rate": 8.567037654752711e-05, + "loss": 3.1882904052734373, + "step": 120720 + }, + { + "epoch": 0.1822, + "grad_norm": 0.19813162088394165, + "learning_rate": 8.566265122772539e-05, + "loss": 3.1458904266357424, + "step": 120730 + }, + { + "epoch": 0.18226666666666666, + "grad_norm": 0.6987144947052002, + "learning_rate": 8.565492417458414e-05, + "loss": 3.283124542236328, + "step": 120740 + }, + { + "epoch": 0.18233333333333332, + "grad_norm": 0.1985749453306198, + "learning_rate": 8.564719538847894e-05, + "loss": 3.178812026977539, + "step": 120750 + }, + { + "epoch": 0.1824, + "grad_norm": 0.1764683872461319, + "learning_rate": 8.56394648697854e-05, + "loss": 3.1730356216430664, + "step": 120760 + }, + { + "epoch": 0.18246666666666667, + "grad_norm": 0.2056296020746231, + "learning_rate": 8.563173261887929e-05, + "loss": 3.2042041778564454, + "step": 120770 + }, + { + "epoch": 0.18253333333333333, + "grad_norm": 0.22672230005264282, + "learning_rate": 8.562399863613642e-05, + "loss": 3.1781278610229493, + "step": 120780 + }, + { + "epoch": 0.1826, + "grad_norm": 0.17615297436714172, + "learning_rate": 8.561626292193268e-05, + "loss": 3.1588489532470705, + "step": 120790 + }, + { + "epoch": 0.18266666666666667, + "grad_norm": 0.21887566149234772, + "learning_rate": 8.560852547664405e-05, + "loss": 3.117685890197754, + "step": 120800 + }, + { + "epoch": 0.18273333333333333, + "grad_norm": 0.18906837701797485, + "learning_rate": 8.56007863006466e-05, + "loss": 3.2848052978515625, + "step": 120810 + }, + { + "epoch": 0.1828, + "grad_norm": 0.6222308278083801, + "learning_rate": 8.55930453943165e-05, + "loss": 3.2228622436523438, + "step": 120820 + }, + { + "epoch": 0.18286666666666668, + "grad_norm": 0.20151154696941376, + "learning_rate": 8.558530275802998e-05, + "loss": 3.1825023651123048, + "step": 120830 + }, + { + "epoch": 0.18293333333333334, + "grad_norm": 0.18550315499305725, + "learning_rate": 8.557755839216334e-05, + "loss": 3.2042327880859376, + "step": 120840 + }, + { + "epoch": 0.183, + "grad_norm": 0.20477646589279175, + "learning_rate": 8.556981229709303e-05, + "loss": 3.1081199645996094, + "step": 120850 + }, + { + "epoch": 0.18306666666666666, + "grad_norm": 0.19949103891849518, + "learning_rate": 8.55620644731955e-05, + "loss": 3.1598220825195313, + "step": 120860 + }, + { + "epoch": 0.18313333333333334, + "grad_norm": 0.18899217247962952, + "learning_rate": 8.555431492084734e-05, + "loss": 3.15075740814209, + "step": 120870 + }, + { + "epoch": 0.1832, + "grad_norm": 0.1805112063884735, + "learning_rate": 8.554656364042521e-05, + "loss": 3.144662094116211, + "step": 120880 + }, + { + "epoch": 0.18326666666666666, + "grad_norm": 0.19792214035987854, + "learning_rate": 8.553881063230585e-05, + "loss": 3.1085329055786133, + "step": 120890 + }, + { + "epoch": 0.18333333333333332, + "grad_norm": 0.18570548295974731, + "learning_rate": 8.553105589686605e-05, + "loss": 3.1796239852905273, + "step": 120900 + }, + { + "epoch": 0.1834, + "grad_norm": 0.19503472745418549, + "learning_rate": 8.552329943448278e-05, + "loss": 3.166265296936035, + "step": 120910 + }, + { + "epoch": 0.18346666666666667, + "grad_norm": 0.18124493956565857, + "learning_rate": 8.551554124553301e-05, + "loss": 3.1459114074707033, + "step": 120920 + }, + { + "epoch": 0.18353333333333333, + "grad_norm": 0.2242344319820404, + "learning_rate": 8.550778133039378e-05, + "loss": 3.20946044921875, + "step": 120930 + }, + { + "epoch": 0.1836, + "grad_norm": 0.17936305701732635, + "learning_rate": 8.550001968944233e-05, + "loss": 3.159326934814453, + "step": 120940 + }, + { + "epoch": 0.18366666666666667, + "grad_norm": 0.1833767592906952, + "learning_rate": 8.549225632305583e-05, + "loss": 3.1454336166381838, + "step": 120950 + }, + { + "epoch": 0.18373333333333333, + "grad_norm": 0.4267731010913849, + "learning_rate": 8.548449123161163e-05, + "loss": 3.240967559814453, + "step": 120960 + }, + { + "epoch": 0.1838, + "grad_norm": 0.18036532402038574, + "learning_rate": 8.547672441548716e-05, + "loss": 3.145497131347656, + "step": 120970 + }, + { + "epoch": 0.18386666666666668, + "grad_norm": 0.18356584012508392, + "learning_rate": 8.54689558750599e-05, + "loss": 3.146552085876465, + "step": 120980 + }, + { + "epoch": 0.18393333333333334, + "grad_norm": 0.176442950963974, + "learning_rate": 8.546118561070744e-05, + "loss": 3.1718589782714846, + "step": 120990 + }, + { + "epoch": 0.184, + "grad_norm": 0.16744060814380646, + "learning_rate": 8.545341362280743e-05, + "loss": 3.177459716796875, + "step": 121000 + }, + { + "epoch": 0.18406666666666666, + "grad_norm": 0.17861029505729675, + "learning_rate": 8.544563991173765e-05, + "loss": 3.114496040344238, + "step": 121010 + }, + { + "epoch": 0.18413333333333334, + "grad_norm": 0.9995338320732117, + "learning_rate": 8.54378644778759e-05, + "loss": 3.21118278503418, + "step": 121020 + }, + { + "epoch": 0.1842, + "grad_norm": 0.19579210877418518, + "learning_rate": 8.543008732160012e-05, + "loss": 3.1725748062133787, + "step": 121030 + }, + { + "epoch": 0.18426666666666666, + "grad_norm": 0.23137304186820984, + "learning_rate": 8.542230844328827e-05, + "loss": 3.221246337890625, + "step": 121040 + }, + { + "epoch": 0.18433333333333332, + "grad_norm": 0.19076015055179596, + "learning_rate": 8.541452784331847e-05, + "loss": 3.160585403442383, + "step": 121050 + }, + { + "epoch": 0.1844, + "grad_norm": 0.2068902850151062, + "learning_rate": 8.540674552206887e-05, + "loss": 3.160508918762207, + "step": 121060 + }, + { + "epoch": 0.18446666666666667, + "grad_norm": 0.19586554169654846, + "learning_rate": 8.539896147991773e-05, + "loss": 3.1697837829589846, + "step": 121070 + }, + { + "epoch": 0.18453333333333333, + "grad_norm": 0.22224575281143188, + "learning_rate": 8.539117571724339e-05, + "loss": 3.156399726867676, + "step": 121080 + }, + { + "epoch": 0.1846, + "grad_norm": 0.48992490768432617, + "learning_rate": 8.538338823442424e-05, + "loss": 3.1756959915161134, + "step": 121090 + }, + { + "epoch": 0.18466666666666667, + "grad_norm": 0.19770655035972595, + "learning_rate": 8.537559903183881e-05, + "loss": 3.1364414215087892, + "step": 121100 + }, + { + "epoch": 0.18473333333333333, + "grad_norm": 0.24992205202579498, + "learning_rate": 8.536780810986567e-05, + "loss": 3.0870534896850588, + "step": 121110 + }, + { + "epoch": 0.1848, + "grad_norm": 0.1959463655948639, + "learning_rate": 8.536001546888348e-05, + "loss": 3.2700904846191405, + "step": 121120 + }, + { + "epoch": 0.18486666666666668, + "grad_norm": 0.37047988176345825, + "learning_rate": 8.535222110927101e-05, + "loss": 3.263217544555664, + "step": 121130 + }, + { + "epoch": 0.18493333333333334, + "grad_norm": 0.18931439518928528, + "learning_rate": 8.534442503140707e-05, + "loss": 3.1750144958496094, + "step": 121140 + }, + { + "epoch": 0.185, + "grad_norm": 0.18846739828586578, + "learning_rate": 8.533662723567061e-05, + "loss": 3.162487602233887, + "step": 121150 + }, + { + "epoch": 0.18506666666666666, + "grad_norm": 0.3062122166156769, + "learning_rate": 8.532882772244062e-05, + "loss": 3.1803808212280273, + "step": 121160 + }, + { + "epoch": 0.18513333333333334, + "grad_norm": 0.18317118287086487, + "learning_rate": 8.532102649209619e-05, + "loss": 3.120774841308594, + "step": 121170 + }, + { + "epoch": 0.1852, + "grad_norm": 0.18721668422222137, + "learning_rate": 8.531322354501647e-05, + "loss": 3.127798843383789, + "step": 121180 + }, + { + "epoch": 0.18526666666666666, + "grad_norm": 0.2711148262023926, + "learning_rate": 8.530541888158072e-05, + "loss": 3.160407829284668, + "step": 121190 + }, + { + "epoch": 0.18533333333333332, + "grad_norm": 0.195384219288826, + "learning_rate": 8.52976125021683e-05, + "loss": 3.1337366104125977, + "step": 121200 + }, + { + "epoch": 0.1854, + "grad_norm": 0.19433921575546265, + "learning_rate": 8.528980440715862e-05, + "loss": 3.151823616027832, + "step": 121210 + }, + { + "epoch": 0.18546666666666667, + "grad_norm": 0.1776357889175415, + "learning_rate": 8.528199459693115e-05, + "loss": 3.0806161880493166, + "step": 121220 + }, + { + "epoch": 0.18553333333333333, + "grad_norm": 0.18701951205730438, + "learning_rate": 8.52741830718655e-05, + "loss": 3.1467666625976562, + "step": 121230 + }, + { + "epoch": 0.1856, + "grad_norm": 0.23141971230506897, + "learning_rate": 8.526636983234135e-05, + "loss": 3.151773452758789, + "step": 121240 + }, + { + "epoch": 0.18566666666666667, + "grad_norm": 0.7081721425056458, + "learning_rate": 8.525855487873846e-05, + "loss": 3.1404325485229494, + "step": 121250 + }, + { + "epoch": 0.18573333333333333, + "grad_norm": 0.22020962834358215, + "learning_rate": 8.525073821143663e-05, + "loss": 3.1858081817626953, + "step": 121260 + }, + { + "epoch": 0.1858, + "grad_norm": 0.22574183344841003, + "learning_rate": 8.52429198308158e-05, + "loss": 3.177754211425781, + "step": 121270 + }, + { + "epoch": 0.18586666666666668, + "grad_norm": 0.22238419950008392, + "learning_rate": 8.523509973725599e-05, + "loss": 3.157748222351074, + "step": 121280 + }, + { + "epoch": 0.18593333333333334, + "grad_norm": 0.19297537207603455, + "learning_rate": 8.522727793113725e-05, + "loss": 3.141057014465332, + "step": 121290 + }, + { + "epoch": 0.186, + "grad_norm": 0.18500012159347534, + "learning_rate": 8.521945441283977e-05, + "loss": 3.1612884521484377, + "step": 121300 + }, + { + "epoch": 0.18606666666666666, + "grad_norm": 0.20025715231895447, + "learning_rate": 8.52116291827438e-05, + "loss": 3.0982765197753905, + "step": 121310 + }, + { + "epoch": 0.18613333333333335, + "grad_norm": 0.19077159464359283, + "learning_rate": 8.520380224122968e-05, + "loss": 3.1992082595825195, + "step": 121320 + }, + { + "epoch": 0.1862, + "grad_norm": 0.19508004188537598, + "learning_rate": 8.519597358867782e-05, + "loss": 3.0922367095947267, + "step": 121330 + }, + { + "epoch": 0.18626666666666666, + "grad_norm": 0.21067450940608978, + "learning_rate": 8.518814322546873e-05, + "loss": 3.1426456451416014, + "step": 121340 + }, + { + "epoch": 0.18633333333333332, + "grad_norm": 0.2028811126947403, + "learning_rate": 8.518031115198298e-05, + "loss": 3.161065864562988, + "step": 121350 + }, + { + "epoch": 0.1864, + "grad_norm": 0.23740898072719574, + "learning_rate": 8.517247736860126e-05, + "loss": 3.2738876342773438, + "step": 121360 + }, + { + "epoch": 0.18646666666666667, + "grad_norm": 0.18143799901008606, + "learning_rate": 8.516464187570432e-05, + "loss": 3.1690690994262694, + "step": 121370 + }, + { + "epoch": 0.18653333333333333, + "grad_norm": 0.19605182111263275, + "learning_rate": 8.515680467367297e-05, + "loss": 3.1753334045410155, + "step": 121380 + }, + { + "epoch": 0.1866, + "grad_norm": 0.1904231607913971, + "learning_rate": 8.514896576288815e-05, + "loss": 3.215808868408203, + "step": 121390 + }, + { + "epoch": 0.18666666666666668, + "grad_norm": 0.18675272166728973, + "learning_rate": 8.514112514373087e-05, + "loss": 3.1553443908691405, + "step": 121400 + }, + { + "epoch": 0.18673333333333333, + "grad_norm": 0.3737390637397766, + "learning_rate": 8.513328281658219e-05, + "loss": 3.1383012771606444, + "step": 121410 + }, + { + "epoch": 0.1868, + "grad_norm": 0.22994381189346313, + "learning_rate": 8.512543878182329e-05, + "loss": 3.1976497650146483, + "step": 121420 + }, + { + "epoch": 0.18686666666666665, + "grad_norm": 0.21511490643024445, + "learning_rate": 8.51175930398354e-05, + "loss": 3.1496051788330077, + "step": 121430 + }, + { + "epoch": 0.18693333333333334, + "grad_norm": 0.1918988823890686, + "learning_rate": 8.510974559099987e-05, + "loss": 3.192185974121094, + "step": 121440 + }, + { + "epoch": 0.187, + "grad_norm": 0.20392625033855438, + "learning_rate": 8.510189643569812e-05, + "loss": 3.1370967864990233, + "step": 121450 + }, + { + "epoch": 0.18706666666666666, + "grad_norm": 0.1889914721250534, + "learning_rate": 8.509404557431163e-05, + "loss": 3.167232322692871, + "step": 121460 + }, + { + "epoch": 0.18713333333333335, + "grad_norm": 0.19554783403873444, + "learning_rate": 8.5086193007222e-05, + "loss": 3.137557601928711, + "step": 121470 + }, + { + "epoch": 0.1872, + "grad_norm": 0.18619318306446075, + "learning_rate": 8.507833873481089e-05, + "loss": 3.1566286087036133, + "step": 121480 + }, + { + "epoch": 0.18726666666666666, + "grad_norm": 0.24922798573970795, + "learning_rate": 8.507048275746006e-05, + "loss": 3.1713945388793947, + "step": 121490 + }, + { + "epoch": 0.18733333333333332, + "grad_norm": 0.19917674362659454, + "learning_rate": 8.506262507555129e-05, + "loss": 3.218016815185547, + "step": 121500 + }, + { + "epoch": 0.1874, + "grad_norm": 0.17222127318382263, + "learning_rate": 8.505476568946656e-05, + "loss": 3.1725322723388674, + "step": 121510 + }, + { + "epoch": 0.18746666666666667, + "grad_norm": 0.18405383825302124, + "learning_rate": 8.504690459958782e-05, + "loss": 3.1161882400512697, + "step": 121520 + }, + { + "epoch": 0.18753333333333333, + "grad_norm": 0.21717144548892975, + "learning_rate": 8.503904180629716e-05, + "loss": 3.1213651657104493, + "step": 121530 + }, + { + "epoch": 0.1876, + "grad_norm": 0.6112820506095886, + "learning_rate": 8.503117730997674e-05, + "loss": 3.271135711669922, + "step": 121540 + }, + { + "epoch": 0.18766666666666668, + "grad_norm": 0.183763325214386, + "learning_rate": 8.502331111100882e-05, + "loss": 3.1714576721191405, + "step": 121550 + }, + { + "epoch": 0.18773333333333334, + "grad_norm": 0.20529399812221527, + "learning_rate": 8.501544320977571e-05, + "loss": 3.137724685668945, + "step": 121560 + }, + { + "epoch": 0.1878, + "grad_norm": 0.20820236206054688, + "learning_rate": 8.500757360665983e-05, + "loss": 3.116535949707031, + "step": 121570 + }, + { + "epoch": 0.18786666666666665, + "grad_norm": 0.19342724978923798, + "learning_rate": 8.499970230204366e-05, + "loss": 3.157530975341797, + "step": 121580 + }, + { + "epoch": 0.18793333333333334, + "grad_norm": 0.21487198770046234, + "learning_rate": 8.499182929630979e-05, + "loss": 3.127985382080078, + "step": 121590 + }, + { + "epoch": 0.188, + "grad_norm": 0.19947011768817902, + "learning_rate": 8.498395458984086e-05, + "loss": 3.160859298706055, + "step": 121600 + }, + { + "epoch": 0.18806666666666666, + "grad_norm": 0.18481506407260895, + "learning_rate": 8.497607818301962e-05, + "loss": 3.1643627166748045, + "step": 121610 + }, + { + "epoch": 0.18813333333333335, + "grad_norm": 0.23086926341056824, + "learning_rate": 8.49682000762289e-05, + "loss": 3.142086982727051, + "step": 121620 + }, + { + "epoch": 0.1882, + "grad_norm": 0.2247776836156845, + "learning_rate": 8.496032026985161e-05, + "loss": 3.280895233154297, + "step": 121630 + }, + { + "epoch": 0.18826666666666667, + "grad_norm": 0.2087581902742386, + "learning_rate": 8.495243876427072e-05, + "loss": 3.1503686904907227, + "step": 121640 + }, + { + "epoch": 0.18833333333333332, + "grad_norm": 0.1987176537513733, + "learning_rate": 8.494455555986931e-05, + "loss": 3.1407438278198243, + "step": 121650 + }, + { + "epoch": 0.1884, + "grad_norm": 0.2316509187221527, + "learning_rate": 8.493667065703052e-05, + "loss": 3.1282327651977537, + "step": 121660 + }, + { + "epoch": 0.18846666666666667, + "grad_norm": 0.1835762858390808, + "learning_rate": 8.492878405613763e-05, + "loss": 3.1584638595581054, + "step": 121670 + }, + { + "epoch": 0.18853333333333333, + "grad_norm": 0.17785966396331787, + "learning_rate": 8.492089575757389e-05, + "loss": 3.1088541030883787, + "step": 121680 + }, + { + "epoch": 0.1886, + "grad_norm": 0.19806362688541412, + "learning_rate": 8.491300576172276e-05, + "loss": 3.2024154663085938, + "step": 121690 + }, + { + "epoch": 0.18866666666666668, + "grad_norm": 0.1878596842288971, + "learning_rate": 8.490511406896768e-05, + "loss": 3.1772369384765624, + "step": 121700 + }, + { + "epoch": 0.18873333333333334, + "grad_norm": 0.20167583227157593, + "learning_rate": 8.489722067969226e-05, + "loss": 3.105642890930176, + "step": 121710 + }, + { + "epoch": 0.1888, + "grad_norm": 0.18334804475307465, + "learning_rate": 8.488932559428013e-05, + "loss": 3.2914642333984374, + "step": 121720 + }, + { + "epoch": 0.18886666666666665, + "grad_norm": 0.26581326127052307, + "learning_rate": 8.4881428813115e-05, + "loss": 3.1691974639892577, + "step": 121730 + }, + { + "epoch": 0.18893333333333334, + "grad_norm": 0.21638232469558716, + "learning_rate": 8.487353033658071e-05, + "loss": 3.1412302017211915, + "step": 121740 + }, + { + "epoch": 0.189, + "grad_norm": 0.1964891254901886, + "learning_rate": 8.486563016506113e-05, + "loss": 3.14970703125, + "step": 121750 + }, + { + "epoch": 0.18906666666666666, + "grad_norm": 0.35423707962036133, + "learning_rate": 8.485772829894027e-05, + "loss": 3.25341911315918, + "step": 121760 + }, + { + "epoch": 0.18913333333333332, + "grad_norm": 0.18316398561000824, + "learning_rate": 8.484982473860219e-05, + "loss": 3.0793346405029296, + "step": 121770 + }, + { + "epoch": 0.1892, + "grad_norm": 0.1849530041217804, + "learning_rate": 8.484191948443099e-05, + "loss": 3.173531150817871, + "step": 121780 + }, + { + "epoch": 0.18926666666666667, + "grad_norm": 1.1359325647354126, + "learning_rate": 8.483401253681094e-05, + "loss": 3.0436262130737304, + "step": 121790 + }, + { + "epoch": 0.18933333333333333, + "grad_norm": 0.2004767656326294, + "learning_rate": 8.482610389612633e-05, + "loss": 3.106174087524414, + "step": 121800 + }, + { + "epoch": 0.1894, + "grad_norm": 0.17457161843776703, + "learning_rate": 8.481819356276154e-05, + "loss": 3.174398994445801, + "step": 121810 + }, + { + "epoch": 0.18946666666666667, + "grad_norm": 0.18731388449668884, + "learning_rate": 8.481028153710107e-05, + "loss": 3.209987258911133, + "step": 121820 + }, + { + "epoch": 0.18953333333333333, + "grad_norm": 0.18289443850517273, + "learning_rate": 8.480236781952944e-05, + "loss": 3.1661014556884766, + "step": 121830 + }, + { + "epoch": 0.1896, + "grad_norm": 0.19071203470230103, + "learning_rate": 8.479445241043132e-05, + "loss": 3.172917366027832, + "step": 121840 + }, + { + "epoch": 0.18966666666666668, + "grad_norm": 0.17432621121406555, + "learning_rate": 8.47865353101914e-05, + "loss": 3.1905754089355467, + "step": 121850 + }, + { + "epoch": 0.18973333333333334, + "grad_norm": 0.2047223001718521, + "learning_rate": 8.477861651919448e-05, + "loss": 3.1569101333618166, + "step": 121860 + }, + { + "epoch": 0.1898, + "grad_norm": 0.19737067818641663, + "learning_rate": 8.477069603782548e-05, + "loss": 3.3347293853759767, + "step": 121870 + }, + { + "epoch": 0.18986666666666666, + "grad_norm": 0.20777416229248047, + "learning_rate": 8.476277386646933e-05, + "loss": 3.188547134399414, + "step": 121880 + }, + { + "epoch": 0.18993333333333334, + "grad_norm": 0.3070421516895294, + "learning_rate": 8.47548500055111e-05, + "loss": 3.1981998443603517, + "step": 121890 + }, + { + "epoch": 0.19, + "grad_norm": 0.1797378957271576, + "learning_rate": 8.47469244553359e-05, + "loss": 3.151828956604004, + "step": 121900 + }, + { + "epoch": 0.19006666666666666, + "grad_norm": 0.23872517049312592, + "learning_rate": 8.473899721632895e-05, + "loss": 3.137518310546875, + "step": 121910 + }, + { + "epoch": 0.19013333333333332, + "grad_norm": 0.19045501947402954, + "learning_rate": 8.473106828887556e-05, + "loss": 3.1322757720947267, + "step": 121920 + }, + { + "epoch": 0.1902, + "grad_norm": 0.19503550231456757, + "learning_rate": 8.472313767336107e-05, + "loss": 3.1191646575927736, + "step": 121930 + }, + { + "epoch": 0.19026666666666667, + "grad_norm": 0.18020020425319672, + "learning_rate": 8.471520537017097e-05, + "loss": 3.126681900024414, + "step": 121940 + }, + { + "epoch": 0.19033333333333333, + "grad_norm": 0.18761195242404938, + "learning_rate": 8.470727137969076e-05, + "loss": 3.139388084411621, + "step": 121950 + }, + { + "epoch": 0.1904, + "grad_norm": 0.20950448513031006, + "learning_rate": 8.469933570230613e-05, + "loss": 3.131490707397461, + "step": 121960 + }, + { + "epoch": 0.19046666666666667, + "grad_norm": 0.1774873435497284, + "learning_rate": 8.469139833840272e-05, + "loss": 3.1391977310180663, + "step": 121970 + }, + { + "epoch": 0.19053333333333333, + "grad_norm": 0.1898418664932251, + "learning_rate": 8.468345928836635e-05, + "loss": 3.1158111572265623, + "step": 121980 + }, + { + "epoch": 0.1906, + "grad_norm": 0.21607007086277008, + "learning_rate": 8.467551855258287e-05, + "loss": 3.1624120712280273, + "step": 121990 + }, + { + "epoch": 0.19066666666666668, + "grad_norm": 1.1563204526901245, + "learning_rate": 8.466757613143825e-05, + "loss": 3.222623825073242, + "step": 122000 + }, + { + "epoch": 0.19073333333333334, + "grad_norm": 0.18270635604858398, + "learning_rate": 8.465963202531849e-05, + "loss": 3.154124641418457, + "step": 122010 + }, + { + "epoch": 0.1908, + "grad_norm": 0.18802598118782043, + "learning_rate": 8.465168623460973e-05, + "loss": 3.1917734146118164, + "step": 122020 + }, + { + "epoch": 0.19086666666666666, + "grad_norm": 0.20063380897045135, + "learning_rate": 8.464373875969816e-05, + "loss": 3.158283996582031, + "step": 122030 + }, + { + "epoch": 0.19093333333333334, + "grad_norm": 0.225837841629982, + "learning_rate": 8.463578960097005e-05, + "loss": 3.1537801742553713, + "step": 122040 + }, + { + "epoch": 0.191, + "grad_norm": 0.19215288758277893, + "learning_rate": 8.462783875881177e-05, + "loss": 3.1839866638183594, + "step": 122050 + }, + { + "epoch": 0.19106666666666666, + "grad_norm": 0.20209352672100067, + "learning_rate": 8.461988623360974e-05, + "loss": 3.1425148010253907, + "step": 122060 + }, + { + "epoch": 0.19113333333333332, + "grad_norm": 0.19155184924602509, + "learning_rate": 8.461193202575053e-05, + "loss": 3.1849952697753907, + "step": 122070 + }, + { + "epoch": 0.1912, + "grad_norm": 0.20910771191120148, + "learning_rate": 8.460397613562067e-05, + "loss": 3.120160675048828, + "step": 122080 + }, + { + "epoch": 0.19126666666666667, + "grad_norm": 0.1860789805650711, + "learning_rate": 8.459601856360692e-05, + "loss": 3.131412124633789, + "step": 122090 + }, + { + "epoch": 0.19133333333333333, + "grad_norm": 0.18574275076389313, + "learning_rate": 8.458805931009602e-05, + "loss": 3.146405029296875, + "step": 122100 + }, + { + "epoch": 0.1914, + "grad_norm": 0.5677555203437805, + "learning_rate": 8.458009837547479e-05, + "loss": 3.2022796630859376, + "step": 122110 + }, + { + "epoch": 0.19146666666666667, + "grad_norm": 0.22301149368286133, + "learning_rate": 8.45721357601302e-05, + "loss": 3.1723182678222654, + "step": 122120 + }, + { + "epoch": 0.19153333333333333, + "grad_norm": 0.21427740156650543, + "learning_rate": 8.456417146444926e-05, + "loss": 3.148632621765137, + "step": 122130 + }, + { + "epoch": 0.1916, + "grad_norm": 0.18685957789421082, + "learning_rate": 8.455620548881906e-05, + "loss": 3.1164100646972654, + "step": 122140 + }, + { + "epoch": 0.19166666666666668, + "grad_norm": 0.20543576776981354, + "learning_rate": 8.454823783362675e-05, + "loss": 3.1291200637817385, + "step": 122150 + }, + { + "epoch": 0.19173333333333334, + "grad_norm": 0.21439175307750702, + "learning_rate": 8.454026849925962e-05, + "loss": 3.1465789794921877, + "step": 122160 + }, + { + "epoch": 0.1918, + "grad_norm": 0.19670286774635315, + "learning_rate": 8.4532297486105e-05, + "loss": 3.2105846405029297, + "step": 122170 + }, + { + "epoch": 0.19186666666666666, + "grad_norm": 0.18872801959514618, + "learning_rate": 8.452432479455032e-05, + "loss": 3.092525672912598, + "step": 122180 + }, + { + "epoch": 0.19193333333333334, + "grad_norm": 0.18634143471717834, + "learning_rate": 8.451635042498307e-05, + "loss": 3.1700611114501953, + "step": 122190 + }, + { + "epoch": 0.192, + "grad_norm": 0.19841457903385162, + "learning_rate": 8.450837437779084e-05, + "loss": 3.1560522079467774, + "step": 122200 + }, + { + "epoch": 0.19206666666666666, + "grad_norm": 0.21174372732639313, + "learning_rate": 8.450039665336129e-05, + "loss": 3.3449169158935548, + "step": 122210 + }, + { + "epoch": 0.19213333333333332, + "grad_norm": 0.208480104804039, + "learning_rate": 8.449241725208219e-05, + "loss": 3.1554351806640626, + "step": 122220 + }, + { + "epoch": 0.1922, + "grad_norm": 0.2194945365190506, + "learning_rate": 8.448443617434133e-05, + "loss": 3.0995655059814453, + "step": 122230 + }, + { + "epoch": 0.19226666666666667, + "grad_norm": 0.18366089463233948, + "learning_rate": 8.447645342052665e-05, + "loss": 3.108304977416992, + "step": 122240 + }, + { + "epoch": 0.19233333333333333, + "grad_norm": 0.31082215905189514, + "learning_rate": 8.446846899102614e-05, + "loss": 3.1782264709472656, + "step": 122250 + }, + { + "epoch": 0.1924, + "grad_norm": 0.24182011187076569, + "learning_rate": 8.446048288622786e-05, + "loss": 3.1264772415161133, + "step": 122260 + }, + { + "epoch": 0.19246666666666667, + "grad_norm": 0.19528914988040924, + "learning_rate": 8.445249510651997e-05, + "loss": 3.1377099990844726, + "step": 122270 + }, + { + "epoch": 0.19253333333333333, + "grad_norm": 0.20808948576450348, + "learning_rate": 8.444450565229072e-05, + "loss": 3.1863542556762696, + "step": 122280 + }, + { + "epoch": 0.1926, + "grad_norm": 0.1939326822757721, + "learning_rate": 8.44365145239284e-05, + "loss": 3.1582609176635743, + "step": 122290 + }, + { + "epoch": 0.19266666666666668, + "grad_norm": 0.19418834149837494, + "learning_rate": 8.442852172182142e-05, + "loss": 3.105598258972168, + "step": 122300 + }, + { + "epoch": 0.19273333333333334, + "grad_norm": 0.19236595928668976, + "learning_rate": 8.442052724635829e-05, + "loss": 3.278799819946289, + "step": 122310 + }, + { + "epoch": 0.1928, + "grad_norm": 0.19918283820152283, + "learning_rate": 8.441253109792755e-05, + "loss": 3.1951120376586912, + "step": 122320 + }, + { + "epoch": 0.19286666666666666, + "grad_norm": 0.2545427083969116, + "learning_rate": 8.440453327691782e-05, + "loss": 3.1245203018188477, + "step": 122330 + }, + { + "epoch": 0.19293333333333335, + "grad_norm": 0.1924268752336502, + "learning_rate": 8.439653378371785e-05, + "loss": 3.1233404159545897, + "step": 122340 + }, + { + "epoch": 0.193, + "grad_norm": 0.18317997455596924, + "learning_rate": 8.438853261871644e-05, + "loss": 3.1760515213012694, + "step": 122350 + }, + { + "epoch": 0.19306666666666666, + "grad_norm": 0.18755333125591278, + "learning_rate": 8.438052978230249e-05, + "loss": 3.1784975051879885, + "step": 122360 + }, + { + "epoch": 0.19313333333333332, + "grad_norm": 0.19723160564899445, + "learning_rate": 8.437252527486494e-05, + "loss": 3.2734653472900392, + "step": 122370 + }, + { + "epoch": 0.1932, + "grad_norm": 0.21004053950309753, + "learning_rate": 8.436451909679286e-05, + "loss": 3.134242820739746, + "step": 122380 + }, + { + "epoch": 0.19326666666666667, + "grad_norm": 0.48945116996765137, + "learning_rate": 8.435651124847539e-05, + "loss": 3.1141641616821287, + "step": 122390 + }, + { + "epoch": 0.19333333333333333, + "grad_norm": 0.1956036239862442, + "learning_rate": 8.434850173030171e-05, + "loss": 3.126398468017578, + "step": 122400 + }, + { + "epoch": 0.1934, + "grad_norm": 0.2104678899049759, + "learning_rate": 8.434049054266113e-05, + "loss": 3.212014389038086, + "step": 122410 + }, + { + "epoch": 0.19346666666666668, + "grad_norm": 0.1948971301317215, + "learning_rate": 8.433247768594301e-05, + "loss": 3.166608428955078, + "step": 122420 + }, + { + "epoch": 0.19353333333333333, + "grad_norm": 0.21619637310504913, + "learning_rate": 8.432446316053683e-05, + "loss": 3.134595489501953, + "step": 122430 + }, + { + "epoch": 0.1936, + "grad_norm": 0.19040369987487793, + "learning_rate": 8.431644696683213e-05, + "loss": 3.148475456237793, + "step": 122440 + }, + { + "epoch": 0.19366666666666665, + "grad_norm": 0.20498955249786377, + "learning_rate": 8.43084291052185e-05, + "loss": 3.2202632904052733, + "step": 122450 + }, + { + "epoch": 0.19373333333333334, + "grad_norm": 0.1799214482307434, + "learning_rate": 8.430040957608564e-05, + "loss": 3.131497383117676, + "step": 122460 + }, + { + "epoch": 0.1938, + "grad_norm": 0.19874869287014008, + "learning_rate": 8.429238837982336e-05, + "loss": 3.1965322494506836, + "step": 122470 + }, + { + "epoch": 0.19386666666666666, + "grad_norm": 0.18891355395317078, + "learning_rate": 8.428436551682149e-05, + "loss": 3.167613410949707, + "step": 122480 + }, + { + "epoch": 0.19393333333333335, + "grad_norm": 0.31869152188301086, + "learning_rate": 8.427634098747e-05, + "loss": 3.1984079360961912, + "step": 122490 + }, + { + "epoch": 0.194, + "grad_norm": 0.20619089901447296, + "learning_rate": 8.426831479215887e-05, + "loss": 3.184630012512207, + "step": 122500 + }, + { + "epoch": 0.19406666666666667, + "grad_norm": 0.1829196810722351, + "learning_rate": 8.426028693127823e-05, + "loss": 3.1527481079101562, + "step": 122510 + }, + { + "epoch": 0.19413333333333332, + "grad_norm": 0.17712737619876862, + "learning_rate": 8.425225740521827e-05, + "loss": 3.1487504959106447, + "step": 122520 + }, + { + "epoch": 0.1942, + "grad_norm": 0.20600616931915283, + "learning_rate": 8.424422621436923e-05, + "loss": 3.180978202819824, + "step": 122530 + }, + { + "epoch": 0.19426666666666667, + "grad_norm": 0.21889670193195343, + "learning_rate": 8.423619335912149e-05, + "loss": 3.244008255004883, + "step": 122540 + }, + { + "epoch": 0.19433333333333333, + "grad_norm": 0.18363068997859955, + "learning_rate": 8.422815883986546e-05, + "loss": 3.101370620727539, + "step": 122550 + }, + { + "epoch": 0.1944, + "grad_norm": 0.21313820779323578, + "learning_rate": 8.422012265699165e-05, + "loss": 3.158548355102539, + "step": 122560 + }, + { + "epoch": 0.19446666666666668, + "grad_norm": 0.193060964345932, + "learning_rate": 8.421208481089065e-05, + "loss": 3.1766143798828126, + "step": 122570 + }, + { + "epoch": 0.19453333333333334, + "grad_norm": 0.2609567940235138, + "learning_rate": 8.420404530195312e-05, + "loss": 3.121845245361328, + "step": 122580 + }, + { + "epoch": 0.1946, + "grad_norm": 0.19222506880760193, + "learning_rate": 8.41960041305698e-05, + "loss": 3.1617507934570312, + "step": 122590 + }, + { + "epoch": 0.19466666666666665, + "grad_norm": 0.1971876323223114, + "learning_rate": 8.418796129713156e-05, + "loss": 3.1381263732910156, + "step": 122600 + }, + { + "epoch": 0.19473333333333334, + "grad_norm": 0.2379298210144043, + "learning_rate": 8.417991680202931e-05, + "loss": 3.1716083526611327, + "step": 122610 + }, + { + "epoch": 0.1948, + "grad_norm": 0.18853338062763214, + "learning_rate": 8.417187064565399e-05, + "loss": 3.1700973510742188, + "step": 122620 + }, + { + "epoch": 0.19486666666666666, + "grad_norm": 0.20128875970840454, + "learning_rate": 8.416382282839673e-05, + "loss": 3.1465475082397463, + "step": 122630 + }, + { + "epoch": 0.19493333333333332, + "grad_norm": 0.18512484431266785, + "learning_rate": 8.415577335064864e-05, + "loss": 3.1366687774658204, + "step": 122640 + }, + { + "epoch": 0.195, + "grad_norm": 0.19837471842765808, + "learning_rate": 8.414772221280099e-05, + "loss": 3.163103485107422, + "step": 122650 + }, + { + "epoch": 0.19506666666666667, + "grad_norm": 0.19793976843357086, + "learning_rate": 8.413966941524507e-05, + "loss": 3.1083192825317383, + "step": 122660 + }, + { + "epoch": 0.19513333333333333, + "grad_norm": 0.21938402950763702, + "learning_rate": 8.41316149583723e-05, + "loss": 3.165411376953125, + "step": 122670 + }, + { + "epoch": 0.1952, + "grad_norm": 0.1813003271818161, + "learning_rate": 8.412355884257415e-05, + "loss": 3.127127838134766, + "step": 122680 + }, + { + "epoch": 0.19526666666666667, + "grad_norm": 0.1782514750957489, + "learning_rate": 8.411550106824216e-05, + "loss": 3.1385093688964845, + "step": 122690 + }, + { + "epoch": 0.19533333333333333, + "grad_norm": 0.18536943197250366, + "learning_rate": 8.410744163576801e-05, + "loss": 3.1149085998535155, + "step": 122700 + }, + { + "epoch": 0.1954, + "grad_norm": 0.19876304268836975, + "learning_rate": 8.409938054554336e-05, + "loss": 3.2360870361328127, + "step": 122710 + }, + { + "epoch": 0.19546666666666668, + "grad_norm": 0.18610507249832153, + "learning_rate": 8.409131779796004e-05, + "loss": 3.0846250534057615, + "step": 122720 + }, + { + "epoch": 0.19553333333333334, + "grad_norm": 0.20565837621688843, + "learning_rate": 8.408325339340995e-05, + "loss": 3.3332393646240233, + "step": 122730 + }, + { + "epoch": 0.1956, + "grad_norm": 0.19205519556999207, + "learning_rate": 8.407518733228502e-05, + "loss": 3.1374208450317385, + "step": 122740 + }, + { + "epoch": 0.19566666666666666, + "grad_norm": 0.19336596131324768, + "learning_rate": 8.406711961497729e-05, + "loss": 3.193259429931641, + "step": 122750 + }, + { + "epoch": 0.19573333333333334, + "grad_norm": 0.24541525542736053, + "learning_rate": 8.40590502418789e-05, + "loss": 3.167156791687012, + "step": 122760 + }, + { + "epoch": 0.1958, + "grad_norm": 0.21535624563694, + "learning_rate": 8.405097921338205e-05, + "loss": 3.192317581176758, + "step": 122770 + }, + { + "epoch": 0.19586666666666666, + "grad_norm": 0.24307434260845184, + "learning_rate": 8.404290652987902e-05, + "loss": 3.2498920440673826, + "step": 122780 + }, + { + "epoch": 0.19593333333333332, + "grad_norm": 0.20032115280628204, + "learning_rate": 8.403483219176216e-05, + "loss": 3.1280567169189455, + "step": 122790 + }, + { + "epoch": 0.196, + "grad_norm": 0.1927787810564041, + "learning_rate": 8.402675619942393e-05, + "loss": 3.1797416687011717, + "step": 122800 + }, + { + "epoch": 0.19606666666666667, + "grad_norm": 0.20632904767990112, + "learning_rate": 8.401867855325684e-05, + "loss": 3.1597280502319336, + "step": 122810 + }, + { + "epoch": 0.19613333333333333, + "grad_norm": 0.26487383246421814, + "learning_rate": 8.401059925365353e-05, + "loss": 3.1263349533081053, + "step": 122820 + }, + { + "epoch": 0.1962, + "grad_norm": 0.24448886513710022, + "learning_rate": 8.400251830100663e-05, + "loss": 3.12491397857666, + "step": 122830 + }, + { + "epoch": 0.19626666666666667, + "grad_norm": 0.18925026059150696, + "learning_rate": 8.399443569570893e-05, + "loss": 3.1250274658203123, + "step": 122840 + }, + { + "epoch": 0.19633333333333333, + "grad_norm": 0.21038544178009033, + "learning_rate": 8.398635143815328e-05, + "loss": 3.0922237396240235, + "step": 122850 + }, + { + "epoch": 0.1964, + "grad_norm": 0.5459504723548889, + "learning_rate": 8.39782655287326e-05, + "loss": 3.172234535217285, + "step": 122860 + }, + { + "epoch": 0.19646666666666668, + "grad_norm": 0.1848583221435547, + "learning_rate": 8.39701779678399e-05, + "loss": 3.0942501068115233, + "step": 122870 + }, + { + "epoch": 0.19653333333333334, + "grad_norm": 0.19076019525527954, + "learning_rate": 8.396208875586828e-05, + "loss": 3.146830749511719, + "step": 122880 + }, + { + "epoch": 0.1966, + "grad_norm": 1.0377821922302246, + "learning_rate": 8.395399789321087e-05, + "loss": 3.258612060546875, + "step": 122890 + }, + { + "epoch": 0.19666666666666666, + "grad_norm": 0.19190236926078796, + "learning_rate": 8.394590538026093e-05, + "loss": 3.197412109375, + "step": 122900 + }, + { + "epoch": 0.19673333333333334, + "grad_norm": 0.18836572766304016, + "learning_rate": 8.39378112174118e-05, + "loss": 3.161937713623047, + "step": 122910 + }, + { + "epoch": 0.1968, + "grad_norm": 0.18169601261615753, + "learning_rate": 8.392971540505688e-05, + "loss": 3.093614959716797, + "step": 122920 + }, + { + "epoch": 0.19686666666666666, + "grad_norm": 0.4405084550380707, + "learning_rate": 8.392161794358966e-05, + "loss": 3.151602363586426, + "step": 122930 + }, + { + "epoch": 0.19693333333333332, + "grad_norm": 0.20971399545669556, + "learning_rate": 8.39135188334037e-05, + "loss": 3.1813823699951174, + "step": 122940 + }, + { + "epoch": 0.197, + "grad_norm": 0.20744279026985168, + "learning_rate": 8.390541807489265e-05, + "loss": 3.1118974685668945, + "step": 122950 + }, + { + "epoch": 0.19706666666666667, + "grad_norm": 0.19436198472976685, + "learning_rate": 8.389731566845025e-05, + "loss": 3.1509515762329103, + "step": 122960 + }, + { + "epoch": 0.19713333333333333, + "grad_norm": 0.19184407591819763, + "learning_rate": 8.388921161447027e-05, + "loss": 3.1510066986083984, + "step": 122970 + }, + { + "epoch": 0.1972, + "grad_norm": 0.19567444920539856, + "learning_rate": 8.388110591334666e-05, + "loss": 3.1300331115722657, + "step": 122980 + }, + { + "epoch": 0.19726666666666667, + "grad_norm": 0.18446074426174164, + "learning_rate": 8.387299856547332e-05, + "loss": 3.161172294616699, + "step": 122990 + }, + { + "epoch": 0.19733333333333333, + "grad_norm": 0.2094121277332306, + "learning_rate": 8.386488957124434e-05, + "loss": 3.135223388671875, + "step": 123000 + }, + { + "epoch": 0.1974, + "grad_norm": 0.18276414275169373, + "learning_rate": 8.385677893105383e-05, + "loss": 3.2060264587402343, + "step": 123010 + }, + { + "epoch": 0.19746666666666668, + "grad_norm": 0.19928087294101715, + "learning_rate": 8.384866664529603e-05, + "loss": 3.0863115310668947, + "step": 123020 + }, + { + "epoch": 0.19753333333333334, + "grad_norm": 0.198073610663414, + "learning_rate": 8.384055271436517e-05, + "loss": 3.132269859313965, + "step": 123030 + }, + { + "epoch": 0.1976, + "grad_norm": 0.22146429121494293, + "learning_rate": 8.383243713865567e-05, + "loss": 3.1416608810424806, + "step": 123040 + }, + { + "epoch": 0.19766666666666666, + "grad_norm": 0.18958722054958344, + "learning_rate": 8.382431991856195e-05, + "loss": 3.1551630020141603, + "step": 123050 + }, + { + "epoch": 0.19773333333333334, + "grad_norm": 0.1977592408657074, + "learning_rate": 8.381620105447855e-05, + "loss": 3.176200103759766, + "step": 123060 + }, + { + "epoch": 0.1978, + "grad_norm": 0.20481370389461517, + "learning_rate": 8.380808054680007e-05, + "loss": 3.128420829772949, + "step": 123070 + }, + { + "epoch": 0.19786666666666666, + "grad_norm": 0.24115681648254395, + "learning_rate": 8.379995839592119e-05, + "loss": 3.134942817687988, + "step": 123080 + }, + { + "epoch": 0.19793333333333332, + "grad_norm": 1.1209418773651123, + "learning_rate": 8.37918346022367e-05, + "loss": 2.839239501953125, + "step": 123090 + }, + { + "epoch": 0.198, + "grad_norm": 0.19471924006938934, + "learning_rate": 8.378370916614143e-05, + "loss": 3.095490837097168, + "step": 123100 + }, + { + "epoch": 0.19806666666666667, + "grad_norm": 0.22475726902484894, + "learning_rate": 8.377558208803033e-05, + "loss": 3.112719917297363, + "step": 123110 + }, + { + "epoch": 0.19813333333333333, + "grad_norm": 0.1995321363210678, + "learning_rate": 8.376745336829836e-05, + "loss": 3.156229591369629, + "step": 123120 + }, + { + "epoch": 0.1982, + "grad_norm": 0.17550471425056458, + "learning_rate": 8.375932300734064e-05, + "loss": 3.1420637130737306, + "step": 123130 + }, + { + "epoch": 0.19826666666666667, + "grad_norm": 0.2405775785446167, + "learning_rate": 8.375119100555234e-05, + "loss": 3.1557931900024414, + "step": 123140 + }, + { + "epoch": 0.19833333333333333, + "grad_norm": 0.20054680109024048, + "learning_rate": 8.374305736332869e-05, + "loss": 3.1370492935180665, + "step": 123150 + }, + { + "epoch": 0.1984, + "grad_norm": 0.25249508023262024, + "learning_rate": 8.373492208106502e-05, + "loss": 3.140548324584961, + "step": 123160 + }, + { + "epoch": 0.19846666666666668, + "grad_norm": 0.19149698317050934, + "learning_rate": 8.372678515915674e-05, + "loss": 3.188545036315918, + "step": 123170 + }, + { + "epoch": 0.19853333333333334, + "grad_norm": 0.17967607080936432, + "learning_rate": 8.371864659799933e-05, + "loss": 3.1330493927001952, + "step": 123180 + }, + { + "epoch": 0.1986, + "grad_norm": 0.20919688045978546, + "learning_rate": 8.371050639798836e-05, + "loss": 3.19982967376709, + "step": 123190 + }, + { + "epoch": 0.19866666666666666, + "grad_norm": 0.18869008123874664, + "learning_rate": 8.370236455951947e-05, + "loss": 3.144927215576172, + "step": 123200 + }, + { + "epoch": 0.19873333333333335, + "grad_norm": 0.24785269796848297, + "learning_rate": 8.36942210829884e-05, + "loss": 2.908379554748535, + "step": 123210 + }, + { + "epoch": 0.1988, + "grad_norm": 0.2040317952632904, + "learning_rate": 8.368607596879092e-05, + "loss": 2.811550521850586, + "step": 123220 + }, + { + "epoch": 0.19886666666666666, + "grad_norm": 0.18924954533576965, + "learning_rate": 8.367792921732297e-05, + "loss": 3.157068061828613, + "step": 123230 + }, + { + "epoch": 0.19893333333333332, + "grad_norm": 0.20646904408931732, + "learning_rate": 8.366978082898043e-05, + "loss": 3.375255584716797, + "step": 123240 + }, + { + "epoch": 0.199, + "grad_norm": 0.17956314980983734, + "learning_rate": 8.36616308041594e-05, + "loss": 3.1873447418212892, + "step": 123250 + }, + { + "epoch": 0.19906666666666667, + "grad_norm": 0.19786430895328522, + "learning_rate": 8.3653479143256e-05, + "loss": 3.2147369384765625, + "step": 123260 + }, + { + "epoch": 0.19913333333333333, + "grad_norm": 0.18067795038223267, + "learning_rate": 8.364532584666642e-05, + "loss": 3.1728500366210937, + "step": 123270 + }, + { + "epoch": 0.1992, + "grad_norm": 0.1806071400642395, + "learning_rate": 8.363717091478696e-05, + "loss": 3.1460155487060546, + "step": 123280 + }, + { + "epoch": 0.19926666666666668, + "grad_norm": 0.9649947881698608, + "learning_rate": 8.362901434801393e-05, + "loss": 3.132940483093262, + "step": 123290 + }, + { + "epoch": 0.19933333333333333, + "grad_norm": 0.18344983458518982, + "learning_rate": 8.362085614674382e-05, + "loss": 3.175698089599609, + "step": 123300 + }, + { + "epoch": 0.1994, + "grad_norm": 0.1879209578037262, + "learning_rate": 8.361269631137314e-05, + "loss": 3.1590681076049805, + "step": 123310 + }, + { + "epoch": 0.19946666666666665, + "grad_norm": 0.18874357640743256, + "learning_rate": 8.360453484229847e-05, + "loss": 3.174698066711426, + "step": 123320 + }, + { + "epoch": 0.19953333333333334, + "grad_norm": 0.24120739102363586, + "learning_rate": 8.35963717399165e-05, + "loss": 3.14150333404541, + "step": 123330 + }, + { + "epoch": 0.1996, + "grad_norm": 0.21908199787139893, + "learning_rate": 8.3588207004624e-05, + "loss": 3.1382837295532227, + "step": 123340 + }, + { + "epoch": 0.19966666666666666, + "grad_norm": 0.19613707065582275, + "learning_rate": 8.358004063681779e-05, + "loss": 3.2209903717041017, + "step": 123350 + }, + { + "epoch": 0.19973333333333335, + "grad_norm": 0.1852622777223587, + "learning_rate": 8.357187263689478e-05, + "loss": 3.092805099487305, + "step": 123360 + }, + { + "epoch": 0.1998, + "grad_norm": 0.20194368064403534, + "learning_rate": 8.356370300525198e-05, + "loss": 3.14150390625, + "step": 123370 + }, + { + "epoch": 0.19986666666666666, + "grad_norm": 0.1995520293712616, + "learning_rate": 8.355553174228647e-05, + "loss": 3.1414140701293944, + "step": 123380 + }, + { + "epoch": 0.19993333333333332, + "grad_norm": 0.19043084979057312, + "learning_rate": 8.354735884839538e-05, + "loss": 3.1367172241210937, + "step": 123390 + }, + { + "epoch": 0.2, + "grad_norm": 0.1880982369184494, + "learning_rate": 8.353918432397598e-05, + "loss": 3.2101001739501953, + "step": 123400 + }, + { + "epoch": 0.20006666666666667, + "grad_norm": 0.177828848361969, + "learning_rate": 8.353100816942554e-05, + "loss": 3.1191688537597657, + "step": 123410 + }, + { + "epoch": 0.20013333333333333, + "grad_norm": 0.1902078241109848, + "learning_rate": 8.352283038514148e-05, + "loss": 3.1095417022705076, + "step": 123420 + }, + { + "epoch": 0.2002, + "grad_norm": 0.18368273973464966, + "learning_rate": 8.351465097152129e-05, + "loss": 3.1956892013549805, + "step": 123430 + }, + { + "epoch": 0.20026666666666668, + "grad_norm": 0.3330329358577728, + "learning_rate": 8.350646992896247e-05, + "loss": 3.419098663330078, + "step": 123440 + }, + { + "epoch": 0.20033333333333334, + "grad_norm": 0.307902455329895, + "learning_rate": 8.349828725786268e-05, + "loss": 3.344915008544922, + "step": 123450 + }, + { + "epoch": 0.2004, + "grad_norm": 0.19308972358703613, + "learning_rate": 8.349010295861962e-05, + "loss": 3.1638587951660155, + "step": 123460 + }, + { + "epoch": 0.20046666666666665, + "grad_norm": 0.18007683753967285, + "learning_rate": 8.348191703163109e-05, + "loss": 3.129079246520996, + "step": 123470 + }, + { + "epoch": 0.20053333333333334, + "grad_norm": 0.3199161887168884, + "learning_rate": 8.347372947729494e-05, + "loss": 3.17480525970459, + "step": 123480 + }, + { + "epoch": 0.2006, + "grad_norm": 0.18322430551052094, + "learning_rate": 8.346554029600912e-05, + "loss": 3.1549715042114257, + "step": 123490 + }, + { + "epoch": 0.20066666666666666, + "grad_norm": 0.1968175172805786, + "learning_rate": 8.345734948817168e-05, + "loss": 3.098326873779297, + "step": 123500 + }, + { + "epoch": 0.20073333333333335, + "grad_norm": 0.19988739490509033, + "learning_rate": 8.344915705418068e-05, + "loss": 3.133697509765625, + "step": 123510 + }, + { + "epoch": 0.2008, + "grad_norm": 0.2111625224351883, + "learning_rate": 8.344096299443434e-05, + "loss": 3.2481536865234375, + "step": 123520 + }, + { + "epoch": 0.20086666666666667, + "grad_norm": 0.21256953477859497, + "learning_rate": 8.343276730933091e-05, + "loss": 3.142940139770508, + "step": 123530 + }, + { + "epoch": 0.20093333333333332, + "grad_norm": 0.19141319394111633, + "learning_rate": 8.342456999926872e-05, + "loss": 3.1496561050415037, + "step": 123540 + }, + { + "epoch": 0.201, + "grad_norm": 0.18840323388576508, + "learning_rate": 8.341637106464623e-05, + "loss": 3.230164337158203, + "step": 123550 + }, + { + "epoch": 0.20106666666666667, + "grad_norm": 0.18501001596450806, + "learning_rate": 8.340817050586188e-05, + "loss": 3.1426090240478515, + "step": 123560 + }, + { + "epoch": 0.20113333333333333, + "grad_norm": 0.21881259977817535, + "learning_rate": 8.339996832331429e-05, + "loss": 3.156443214416504, + "step": 123570 + }, + { + "epoch": 0.2012, + "grad_norm": 0.25038406252861023, + "learning_rate": 8.33917645174021e-05, + "loss": 3.1362924575805664, + "step": 123580 + }, + { + "epoch": 0.20126666666666668, + "grad_norm": 0.18219931423664093, + "learning_rate": 8.338355908852406e-05, + "loss": 3.1227794647216798, + "step": 123590 + }, + { + "epoch": 0.20133333333333334, + "grad_norm": 0.17746104300022125, + "learning_rate": 8.337535203707898e-05, + "loss": 3.170457649230957, + "step": 123600 + }, + { + "epoch": 0.2014, + "grad_norm": 0.3173169791698456, + "learning_rate": 8.336714336346574e-05, + "loss": 3.3340774536132813, + "step": 123610 + }, + { + "epoch": 0.20146666666666666, + "grad_norm": 0.20475777983665466, + "learning_rate": 8.335893306808331e-05, + "loss": 3.149312973022461, + "step": 123620 + }, + { + "epoch": 0.20153333333333334, + "grad_norm": 0.23517157137393951, + "learning_rate": 8.335072115133078e-05, + "loss": 3.1126785278320312, + "step": 123630 + }, + { + "epoch": 0.2016, + "grad_norm": 0.2861378490924835, + "learning_rate": 8.334250761360724e-05, + "loss": 3.250082015991211, + "step": 123640 + }, + { + "epoch": 0.20166666666666666, + "grad_norm": 0.19273342192173004, + "learning_rate": 8.33342924553119e-05, + "loss": 3.159092903137207, + "step": 123650 + }, + { + "epoch": 0.20173333333333332, + "grad_norm": 0.19955575466156006, + "learning_rate": 8.332607567684407e-05, + "loss": 3.1575901031494142, + "step": 123660 + }, + { + "epoch": 0.2018, + "grad_norm": 0.20763236284255981, + "learning_rate": 8.331785727860313e-05, + "loss": 3.1616323471069334, + "step": 123670 + }, + { + "epoch": 0.20186666666666667, + "grad_norm": 0.22479838132858276, + "learning_rate": 8.330963726098848e-05, + "loss": 3.1649154663085937, + "step": 123680 + }, + { + "epoch": 0.20193333333333333, + "grad_norm": 0.17762504518032074, + "learning_rate": 8.330141562439966e-05, + "loss": 3.1523458480834963, + "step": 123690 + }, + { + "epoch": 0.202, + "grad_norm": 0.1959788054227829, + "learning_rate": 8.32931923692363e-05, + "loss": 3.178416633605957, + "step": 123700 + }, + { + "epoch": 0.20206666666666667, + "grad_norm": 0.23171071708202362, + "learning_rate": 8.328496749589804e-05, + "loss": 3.103141021728516, + "step": 123710 + }, + { + "epoch": 0.20213333333333333, + "grad_norm": 0.20251859724521637, + "learning_rate": 8.327674100478467e-05, + "loss": 3.1581966400146486, + "step": 123720 + }, + { + "epoch": 0.2022, + "grad_norm": 0.18631188571453094, + "learning_rate": 8.326851289629601e-05, + "loss": 3.1500228881835937, + "step": 123730 + }, + { + "epoch": 0.20226666666666668, + "grad_norm": 0.18797710537910461, + "learning_rate": 8.326028317083198e-05, + "loss": 3.0904361724853517, + "step": 123740 + }, + { + "epoch": 0.20233333333333334, + "grad_norm": 0.2327837198972702, + "learning_rate": 8.325205182879261e-05, + "loss": 3.1692073822021483, + "step": 123750 + }, + { + "epoch": 0.2024, + "grad_norm": 0.21433445811271667, + "learning_rate": 8.324381887057792e-05, + "loss": 3.2061752319335937, + "step": 123760 + }, + { + "epoch": 0.20246666666666666, + "grad_norm": 0.20067761838436127, + "learning_rate": 8.323558429658808e-05, + "loss": 3.146043395996094, + "step": 123770 + }, + { + "epoch": 0.20253333333333334, + "grad_norm": 0.18243558704853058, + "learning_rate": 8.322734810722335e-05, + "loss": 3.1399675369262696, + "step": 123780 + }, + { + "epoch": 0.2026, + "grad_norm": 0.19636990129947662, + "learning_rate": 8.321911030288403e-05, + "loss": 3.188319206237793, + "step": 123790 + }, + { + "epoch": 0.20266666666666666, + "grad_norm": 0.35933834314346313, + "learning_rate": 8.321087088397049e-05, + "loss": 3.154468536376953, + "step": 123800 + }, + { + "epoch": 0.20273333333333332, + "grad_norm": 0.21001634001731873, + "learning_rate": 8.320262985088318e-05, + "loss": 3.1560647964477537, + "step": 123810 + }, + { + "epoch": 0.2028, + "grad_norm": 0.22036360204219818, + "learning_rate": 8.319438720402269e-05, + "loss": 3.1084680557250977, + "step": 123820 + }, + { + "epoch": 0.20286666666666667, + "grad_norm": 0.17729797959327698, + "learning_rate": 8.318614294378963e-05, + "loss": 3.160260009765625, + "step": 123830 + }, + { + "epoch": 0.20293333333333333, + "grad_norm": 0.18611615896224976, + "learning_rate": 8.317789707058468e-05, + "loss": 3.1196500778198244, + "step": 123840 + }, + { + "epoch": 0.203, + "grad_norm": 0.180599182844162, + "learning_rate": 8.316964958480865e-05, + "loss": 3.1519496917724608, + "step": 123850 + }, + { + "epoch": 0.20306666666666667, + "grad_norm": 0.19023264944553375, + "learning_rate": 8.316140048686238e-05, + "loss": 3.1345964431762696, + "step": 123860 + }, + { + "epoch": 0.20313333333333333, + "grad_norm": 0.18376712501049042, + "learning_rate": 8.315314977714682e-05, + "loss": 3.137929344177246, + "step": 123870 + }, + { + "epoch": 0.2032, + "grad_norm": 0.20028094947338104, + "learning_rate": 8.314489745606296e-05, + "loss": 3.148976707458496, + "step": 123880 + }, + { + "epoch": 0.20326666666666668, + "grad_norm": 0.17690348625183105, + "learning_rate": 8.313664352401192e-05, + "loss": 3.1585853576660154, + "step": 123890 + }, + { + "epoch": 0.20333333333333334, + "grad_norm": 0.19632785022258759, + "learning_rate": 8.312838798139488e-05, + "loss": 3.1760196685791016, + "step": 123900 + }, + { + "epoch": 0.2034, + "grad_norm": 0.2628275454044342, + "learning_rate": 8.312013082861306e-05, + "loss": 3.242158126831055, + "step": 123910 + }, + { + "epoch": 0.20346666666666666, + "grad_norm": 0.2107280045747757, + "learning_rate": 8.311187206606781e-05, + "loss": 3.1566232681274413, + "step": 123920 + }, + { + "epoch": 0.20353333333333334, + "grad_norm": 0.18838590383529663, + "learning_rate": 8.310361169416053e-05, + "loss": 3.1166967391967773, + "step": 123930 + }, + { + "epoch": 0.2036, + "grad_norm": 0.2363128662109375, + "learning_rate": 8.309534971329271e-05, + "loss": 3.1699188232421873, + "step": 123940 + }, + { + "epoch": 0.20366666666666666, + "grad_norm": 0.19004277884960175, + "learning_rate": 8.30870861238659e-05, + "loss": 3.1420642852783205, + "step": 123950 + }, + { + "epoch": 0.20373333333333332, + "grad_norm": 0.1845003366470337, + "learning_rate": 8.307882092628177e-05, + "loss": 3.1533031463623047, + "step": 123960 + }, + { + "epoch": 0.2038, + "grad_norm": 0.19845126569271088, + "learning_rate": 8.3070554120942e-05, + "loss": 3.2381282806396485, + "step": 123970 + }, + { + "epoch": 0.20386666666666667, + "grad_norm": 0.19092349708080292, + "learning_rate": 8.306228570824843e-05, + "loss": 3.140933036804199, + "step": 123980 + }, + { + "epoch": 0.20393333333333333, + "grad_norm": 0.2084706723690033, + "learning_rate": 8.305401568860289e-05, + "loss": 3.260392761230469, + "step": 123990 + }, + { + "epoch": 0.204, + "grad_norm": 0.17548403143882751, + "learning_rate": 8.304574406240739e-05, + "loss": 3.216571044921875, + "step": 124000 + }, + { + "epoch": 0.20406666666666667, + "grad_norm": 0.21132583916187286, + "learning_rate": 8.303747083006393e-05, + "loss": 3.095011329650879, + "step": 124010 + }, + { + "epoch": 0.20413333333333333, + "grad_norm": 0.18921761214733124, + "learning_rate": 8.302919599197461e-05, + "loss": 3.0967889785766602, + "step": 124020 + }, + { + "epoch": 0.2042, + "grad_norm": 0.17685946822166443, + "learning_rate": 8.302091954854162e-05, + "loss": 3.090546226501465, + "step": 124030 + }, + { + "epoch": 0.20426666666666668, + "grad_norm": 0.21164463460445404, + "learning_rate": 8.301264150016725e-05, + "loss": 3.085865783691406, + "step": 124040 + }, + { + "epoch": 0.20433333333333334, + "grad_norm": 0.20423245429992676, + "learning_rate": 8.300436184725381e-05, + "loss": 3.505768966674805, + "step": 124050 + }, + { + "epoch": 0.2044, + "grad_norm": 0.18207281827926636, + "learning_rate": 8.299608059020378e-05, + "loss": 3.189639091491699, + "step": 124060 + }, + { + "epoch": 0.20446666666666666, + "grad_norm": 0.19033370912075043, + "learning_rate": 8.29877977294196e-05, + "loss": 3.1571029663085937, + "step": 124070 + }, + { + "epoch": 0.20453333333333334, + "grad_norm": 0.19009023904800415, + "learning_rate": 8.297951326530388e-05, + "loss": 3.1536928176879884, + "step": 124080 + }, + { + "epoch": 0.2046, + "grad_norm": 0.22112807631492615, + "learning_rate": 8.297122719825927e-05, + "loss": 3.1981874465942384, + "step": 124090 + }, + { + "epoch": 0.20466666666666666, + "grad_norm": 0.17742492258548737, + "learning_rate": 8.296293952868851e-05, + "loss": 3.2923503875732423, + "step": 124100 + }, + { + "epoch": 0.20473333333333332, + "grad_norm": 0.20772941410541534, + "learning_rate": 8.295465025699439e-05, + "loss": 3.1299602508544924, + "step": 124110 + }, + { + "epoch": 0.2048, + "grad_norm": 0.188654825091362, + "learning_rate": 8.294635938357982e-05, + "loss": 3.1001148223876953, + "step": 124120 + }, + { + "epoch": 0.20486666666666667, + "grad_norm": 0.34126588702201843, + "learning_rate": 8.293806690884778e-05, + "loss": 3.1444292068481445, + "step": 124130 + }, + { + "epoch": 0.20493333333333333, + "grad_norm": 0.3495664596557617, + "learning_rate": 8.292977283320128e-05, + "loss": 3.1598220825195313, + "step": 124140 + }, + { + "epoch": 0.205, + "grad_norm": 0.2379995584487915, + "learning_rate": 8.292147715704347e-05, + "loss": 3.118526840209961, + "step": 124150 + }, + { + "epoch": 0.20506666666666667, + "grad_norm": 0.18077220022678375, + "learning_rate": 8.291317988077753e-05, + "loss": 3.1095531463623045, + "step": 124160 + }, + { + "epoch": 0.20513333333333333, + "grad_norm": 0.18543517589569092, + "learning_rate": 8.290488100480675e-05, + "loss": 3.136759567260742, + "step": 124170 + }, + { + "epoch": 0.2052, + "grad_norm": 0.2206006646156311, + "learning_rate": 8.28965805295345e-05, + "loss": 3.1754123687744142, + "step": 124180 + }, + { + "epoch": 0.20526666666666665, + "grad_norm": 0.1767122745513916, + "learning_rate": 8.28882784553642e-05, + "loss": 3.0989397048950194, + "step": 124190 + }, + { + "epoch": 0.20533333333333334, + "grad_norm": 0.20264361798763275, + "learning_rate": 8.287997478269937e-05, + "loss": 3.1904293060302735, + "step": 124200 + }, + { + "epoch": 0.2054, + "grad_norm": 0.17902301251888275, + "learning_rate": 8.28716695119436e-05, + "loss": 3.167470169067383, + "step": 124210 + }, + { + "epoch": 0.20546666666666666, + "grad_norm": 0.17446447908878326, + "learning_rate": 8.286336264350054e-05, + "loss": 3.129606819152832, + "step": 124220 + }, + { + "epoch": 0.20553333333333335, + "grad_norm": 0.3454672694206238, + "learning_rate": 8.285505417777395e-05, + "loss": 3.225211334228516, + "step": 124230 + }, + { + "epoch": 0.2056, + "grad_norm": 0.1922808140516281, + "learning_rate": 8.284674411516766e-05, + "loss": 3.3200653076171873, + "step": 124240 + }, + { + "epoch": 0.20566666666666666, + "grad_norm": 0.2750762104988098, + "learning_rate": 8.283843245608556e-05, + "loss": 3.191142272949219, + "step": 124250 + }, + { + "epoch": 0.20573333333333332, + "grad_norm": 1.618401288986206, + "learning_rate": 8.283011920093163e-05, + "loss": 3.099229621887207, + "step": 124260 + }, + { + "epoch": 0.2058, + "grad_norm": 0.1951591819524765, + "learning_rate": 8.282180435010991e-05, + "loss": 2.8114322662353515, + "step": 124270 + }, + { + "epoch": 0.20586666666666667, + "grad_norm": 0.19895803928375244, + "learning_rate": 8.281348790402455e-05, + "loss": 3.158582878112793, + "step": 124280 + }, + { + "epoch": 0.20593333333333333, + "grad_norm": 0.20780344307422638, + "learning_rate": 8.280516986307976e-05, + "loss": 3.128569793701172, + "step": 124290 + }, + { + "epoch": 0.206, + "grad_norm": 0.18380063772201538, + "learning_rate": 8.279685022767982e-05, + "loss": 3.119245719909668, + "step": 124300 + }, + { + "epoch": 0.20606666666666668, + "grad_norm": 0.19566719233989716, + "learning_rate": 8.278852899822913e-05, + "loss": 3.1917726516723635, + "step": 124310 + }, + { + "epoch": 0.20613333333333334, + "grad_norm": 0.20597653090953827, + "learning_rate": 8.278020617513209e-05, + "loss": 3.2167121887207033, + "step": 124320 + }, + { + "epoch": 0.2062, + "grad_norm": 0.18649961054325104, + "learning_rate": 8.277188175879323e-05, + "loss": 3.128556251525879, + "step": 124330 + }, + { + "epoch": 0.20626666666666665, + "grad_norm": 0.2135976254940033, + "learning_rate": 8.276355574961716e-05, + "loss": 3.114094924926758, + "step": 124340 + }, + { + "epoch": 0.20633333333333334, + "grad_norm": 0.18661010265350342, + "learning_rate": 8.275522814800854e-05, + "loss": 3.1193471908569337, + "step": 124350 + }, + { + "epoch": 0.2064, + "grad_norm": 0.18298685550689697, + "learning_rate": 8.274689895437216e-05, + "loss": 3.1376983642578127, + "step": 124360 + }, + { + "epoch": 0.20646666666666666, + "grad_norm": 0.6247183680534363, + "learning_rate": 8.273856816911278e-05, + "loss": 3.2009281158447265, + "step": 124370 + }, + { + "epoch": 0.20653333333333335, + "grad_norm": 0.20144405961036682, + "learning_rate": 8.273023579263538e-05, + "loss": 3.19107666015625, + "step": 124380 + }, + { + "epoch": 0.2066, + "grad_norm": 0.2443840652704239, + "learning_rate": 8.272190182534492e-05, + "loss": 3.1242067337036135, + "step": 124390 + }, + { + "epoch": 0.20666666666666667, + "grad_norm": 0.20903387665748596, + "learning_rate": 8.271356626764644e-05, + "loss": 3.212232971191406, + "step": 124400 + }, + { + "epoch": 0.20673333333333332, + "grad_norm": 0.18989107012748718, + "learning_rate": 8.27052291199451e-05, + "loss": 3.1221343994140627, + "step": 124410 + }, + { + "epoch": 0.2068, + "grad_norm": 0.2246219366788864, + "learning_rate": 8.269689038264612e-05, + "loss": 3.122291374206543, + "step": 124420 + }, + { + "epoch": 0.20686666666666667, + "grad_norm": 0.17985914647579193, + "learning_rate": 8.268855005615479e-05, + "loss": 3.1362983703613283, + "step": 124430 + }, + { + "epoch": 0.20693333333333333, + "grad_norm": 0.20162402093410492, + "learning_rate": 8.268020814087647e-05, + "loss": 3.1584497451782227, + "step": 124440 + }, + { + "epoch": 0.207, + "grad_norm": 0.17510704696178436, + "learning_rate": 8.267186463721664e-05, + "loss": 3.1547267913818358, + "step": 124450 + }, + { + "epoch": 0.20706666666666668, + "grad_norm": 0.18130891025066376, + "learning_rate": 8.266351954558078e-05, + "loss": 3.259846878051758, + "step": 124460 + }, + { + "epoch": 0.20713333333333334, + "grad_norm": 0.19568510353565216, + "learning_rate": 8.265517286637452e-05, + "loss": 3.147854042053223, + "step": 124470 + }, + { + "epoch": 0.2072, + "grad_norm": 0.19801992177963257, + "learning_rate": 8.264682460000355e-05, + "loss": 3.1369691848754884, + "step": 124480 + }, + { + "epoch": 0.20726666666666665, + "grad_norm": 0.18977588415145874, + "learning_rate": 8.263847474687361e-05, + "loss": 3.1183300018310547, + "step": 124490 + }, + { + "epoch": 0.20733333333333334, + "grad_norm": 0.1988006830215454, + "learning_rate": 8.263012330739054e-05, + "loss": 3.095139503479004, + "step": 124500 + }, + { + "epoch": 0.2074, + "grad_norm": 0.18645644187927246, + "learning_rate": 8.262177028196024e-05, + "loss": 3.148762321472168, + "step": 124510 + }, + { + "epoch": 0.20746666666666666, + "grad_norm": 0.18286539614200592, + "learning_rate": 8.261341567098872e-05, + "loss": 3.1776203155517577, + "step": 124520 + }, + { + "epoch": 0.20753333333333332, + "grad_norm": 0.19618456065654755, + "learning_rate": 8.260505947488202e-05, + "loss": 3.1404918670654296, + "step": 124530 + }, + { + "epoch": 0.2076, + "grad_norm": 0.2496548295021057, + "learning_rate": 8.259670169404631e-05, + "loss": 3.165487861633301, + "step": 124540 + }, + { + "epoch": 0.20766666666666667, + "grad_norm": 0.2211676687002182, + "learning_rate": 8.258834232888779e-05, + "loss": 3.143267822265625, + "step": 124550 + }, + { + "epoch": 0.20773333333333333, + "grad_norm": 0.18860644102096558, + "learning_rate": 8.257998137981279e-05, + "loss": 3.1336841583251953, + "step": 124560 + }, + { + "epoch": 0.2078, + "grad_norm": 0.17945612967014313, + "learning_rate": 8.257161884722763e-05, + "loss": 3.1450618743896483, + "step": 124570 + }, + { + "epoch": 0.20786666666666667, + "grad_norm": 0.18651118874549866, + "learning_rate": 8.256325473153879e-05, + "loss": 3.1739757537841795, + "step": 124580 + }, + { + "epoch": 0.20793333333333333, + "grad_norm": 0.2168239951133728, + "learning_rate": 8.255488903315281e-05, + "loss": 3.145741844177246, + "step": 124590 + }, + { + "epoch": 0.208, + "grad_norm": 0.2148510366678238, + "learning_rate": 8.254652175247626e-05, + "loss": 3.1476953506469725, + "step": 124600 + }, + { + "epoch": 0.20806666666666668, + "grad_norm": 0.22016634047031403, + "learning_rate": 8.253815288991584e-05, + "loss": 3.1436485290527343, + "step": 124610 + }, + { + "epoch": 0.20813333333333334, + "grad_norm": 0.17753875255584717, + "learning_rate": 8.252978244587832e-05, + "loss": 3.1740699768066407, + "step": 124620 + }, + { + "epoch": 0.2082, + "grad_norm": 0.1831495314836502, + "learning_rate": 8.252141042077053e-05, + "loss": 3.1369958877563477, + "step": 124630 + }, + { + "epoch": 0.20826666666666666, + "grad_norm": 0.19394159317016602, + "learning_rate": 8.251303681499937e-05, + "loss": 3.2652427673339846, + "step": 124640 + }, + { + "epoch": 0.20833333333333334, + "grad_norm": 0.2086532562971115, + "learning_rate": 8.250466162897185e-05, + "loss": 3.2100894927978514, + "step": 124650 + }, + { + "epoch": 0.2084, + "grad_norm": 0.19258274137973785, + "learning_rate": 8.2496284863095e-05, + "loss": 3.1167652130126955, + "step": 124660 + }, + { + "epoch": 0.20846666666666666, + "grad_norm": 0.21619273722171783, + "learning_rate": 8.2487906517776e-05, + "loss": 3.19057674407959, + "step": 124670 + }, + { + "epoch": 0.20853333333333332, + "grad_norm": 0.1813611388206482, + "learning_rate": 8.247952659342205e-05, + "loss": 3.2081321716308593, + "step": 124680 + }, + { + "epoch": 0.2086, + "grad_norm": 0.2215304970741272, + "learning_rate": 8.247114509044045e-05, + "loss": 3.138285446166992, + "step": 124690 + }, + { + "epoch": 0.20866666666666667, + "grad_norm": 0.1787818968296051, + "learning_rate": 8.246276200923857e-05, + "loss": 3.117198944091797, + "step": 124700 + }, + { + "epoch": 0.20873333333333333, + "grad_norm": 0.18825025856494904, + "learning_rate": 8.245437735022386e-05, + "loss": 3.140029525756836, + "step": 124710 + }, + { + "epoch": 0.2088, + "grad_norm": 0.21493247151374817, + "learning_rate": 8.244599111380385e-05, + "loss": 3.202648162841797, + "step": 124720 + }, + { + "epoch": 0.20886666666666667, + "grad_norm": 0.4039885103702545, + "learning_rate": 8.243760330038614e-05, + "loss": 3.304362487792969, + "step": 124730 + }, + { + "epoch": 0.20893333333333333, + "grad_norm": 0.26984986662864685, + "learning_rate": 8.242921391037842e-05, + "loss": 3.209406280517578, + "step": 124740 + }, + { + "epoch": 0.209, + "grad_norm": 0.19002798199653625, + "learning_rate": 8.242082294418841e-05, + "loss": 3.150066947937012, + "step": 124750 + }, + { + "epoch": 0.20906666666666668, + "grad_norm": 0.1987849920988083, + "learning_rate": 8.241243040222399e-05, + "loss": 3.114251708984375, + "step": 124760 + }, + { + "epoch": 0.20913333333333334, + "grad_norm": 0.18030747771263123, + "learning_rate": 8.240403628489304e-05, + "loss": 3.139168548583984, + "step": 124770 + }, + { + "epoch": 0.2092, + "grad_norm": 0.2083379328250885, + "learning_rate": 8.239564059260354e-05, + "loss": 3.2239288330078124, + "step": 124780 + }, + { + "epoch": 0.20926666666666666, + "grad_norm": 0.19306203722953796, + "learning_rate": 8.238724332576359e-05, + "loss": 3.1049707412719725, + "step": 124790 + }, + { + "epoch": 0.20933333333333334, + "grad_norm": 0.1870335340499878, + "learning_rate": 8.237884448478129e-05, + "loss": 3.170248794555664, + "step": 124800 + }, + { + "epoch": 0.2094, + "grad_norm": 0.19970732927322388, + "learning_rate": 8.237044407006487e-05, + "loss": 3.131245803833008, + "step": 124810 + }, + { + "epoch": 0.20946666666666666, + "grad_norm": 0.21311314404010773, + "learning_rate": 8.236204208202262e-05, + "loss": 3.1321266174316404, + "step": 124820 + }, + { + "epoch": 0.20953333333333332, + "grad_norm": 0.17975930869579315, + "learning_rate": 8.235363852106293e-05, + "loss": 3.15737247467041, + "step": 124830 + }, + { + "epoch": 0.2096, + "grad_norm": 0.22662238776683807, + "learning_rate": 8.234523338759422e-05, + "loss": 3.1444042205810545, + "step": 124840 + }, + { + "epoch": 0.20966666666666667, + "grad_norm": 0.19349662959575653, + "learning_rate": 8.233682668202499e-05, + "loss": 3.1080156326293946, + "step": 124850 + }, + { + "epoch": 0.20973333333333333, + "grad_norm": 0.1843966543674469, + "learning_rate": 8.232841840476388e-05, + "loss": 3.1357975006103516, + "step": 124860 + }, + { + "epoch": 0.2098, + "grad_norm": 0.18526668846607208, + "learning_rate": 8.232000855621955e-05, + "loss": 3.1832757949829102, + "step": 124870 + }, + { + "epoch": 0.20986666666666667, + "grad_norm": 0.29199880361557007, + "learning_rate": 8.231159713680077e-05, + "loss": 3.1881336212158202, + "step": 124880 + }, + { + "epoch": 0.20993333333333333, + "grad_norm": 0.4477328658103943, + "learning_rate": 8.230318414691632e-05, + "loss": 3.1974279403686525, + "step": 124890 + }, + { + "epoch": 0.21, + "grad_norm": 0.22264961898326874, + "learning_rate": 8.229476958697513e-05, + "loss": 3.1306549072265626, + "step": 124900 + }, + { + "epoch": 0.21006666666666668, + "grad_norm": 0.2644058167934418, + "learning_rate": 8.228635345738618e-05, + "loss": 3.2195510864257812, + "step": 124910 + }, + { + "epoch": 0.21013333333333334, + "grad_norm": 0.21535249054431915, + "learning_rate": 8.227793575855852e-05, + "loss": 3.2073192596435547, + "step": 124920 + }, + { + "epoch": 0.2102, + "grad_norm": 0.19462069869041443, + "learning_rate": 8.226951649090127e-05, + "loss": 3.1075885772705076, + "step": 124930 + }, + { + "epoch": 0.21026666666666666, + "grad_norm": 0.19670100510120392, + "learning_rate": 8.226109565482367e-05, + "loss": 3.1043909072875975, + "step": 124940 + }, + { + "epoch": 0.21033333333333334, + "grad_norm": 0.22745662927627563, + "learning_rate": 8.2252673250735e-05, + "loss": 3.2289569854736326, + "step": 124950 + }, + { + "epoch": 0.2104, + "grad_norm": 0.1963125467300415, + "learning_rate": 8.22442492790446e-05, + "loss": 3.1258548736572265, + "step": 124960 + }, + { + "epoch": 0.21046666666666666, + "grad_norm": 0.21581092476844788, + "learning_rate": 8.223582374016191e-05, + "loss": 3.181705665588379, + "step": 124970 + }, + { + "epoch": 0.21053333333333332, + "grad_norm": 0.1958688199520111, + "learning_rate": 8.222739663449646e-05, + "loss": 3.153123664855957, + "step": 124980 + }, + { + "epoch": 0.2106, + "grad_norm": 0.21524637937545776, + "learning_rate": 8.22189679624578e-05, + "loss": 3.188059616088867, + "step": 124990 + }, + { + "epoch": 0.21066666666666667, + "grad_norm": 0.2289552390575409, + "learning_rate": 8.221053772445563e-05, + "loss": 3.2796470642089846, + "step": 125000 + }, + { + "epoch": 0.21073333333333333, + "grad_norm": 0.26305586099624634, + "learning_rate": 8.22021059208997e-05, + "loss": 3.167681121826172, + "step": 125010 + }, + { + "epoch": 0.2108, + "grad_norm": 0.2105698138475418, + "learning_rate": 8.219367255219982e-05, + "loss": 3.1413951873779298, + "step": 125020 + }, + { + "epoch": 0.21086666666666667, + "grad_norm": 0.1808946430683136, + "learning_rate": 8.218523761876586e-05, + "loss": 3.1433767318725585, + "step": 125030 + }, + { + "epoch": 0.21093333333333333, + "grad_norm": 0.21614767611026764, + "learning_rate": 8.217680112100781e-05, + "loss": 3.1262639999389648, + "step": 125040 + }, + { + "epoch": 0.211, + "grad_norm": 0.17882032692432404, + "learning_rate": 8.21683630593357e-05, + "loss": 3.1083473205566405, + "step": 125050 + }, + { + "epoch": 0.21106666666666668, + "grad_norm": 0.21088990569114685, + "learning_rate": 8.215992343415968e-05, + "loss": 3.1888910293579102, + "step": 125060 + }, + { + "epoch": 0.21113333333333334, + "grad_norm": 0.20737400650978088, + "learning_rate": 8.215148224588992e-05, + "loss": 3.1494012832641602, + "step": 125070 + }, + { + "epoch": 0.2112, + "grad_norm": 0.19843755662441254, + "learning_rate": 8.21430394949367e-05, + "loss": 3.0961965560913085, + "step": 125080 + }, + { + "epoch": 0.21126666666666666, + "grad_norm": 0.1747598648071289, + "learning_rate": 8.213459518171038e-05, + "loss": 3.1661331176757814, + "step": 125090 + }, + { + "epoch": 0.21133333333333335, + "grad_norm": 0.19725480675697327, + "learning_rate": 8.212614930662137e-05, + "loss": 3.0550409317016602, + "step": 125100 + }, + { + "epoch": 0.2114, + "grad_norm": 0.20595163106918335, + "learning_rate": 8.211770187008019e-05, + "loss": 3.1475030899047853, + "step": 125110 + }, + { + "epoch": 0.21146666666666666, + "grad_norm": 0.18993596732616425, + "learning_rate": 8.21092528724974e-05, + "loss": 3.1468955993652346, + "step": 125120 + }, + { + "epoch": 0.21153333333333332, + "grad_norm": 0.19340936839580536, + "learning_rate": 8.210080231428366e-05, + "loss": 3.1186077117919924, + "step": 125130 + }, + { + "epoch": 0.2116, + "grad_norm": 0.1812203824520111, + "learning_rate": 8.20923501958497e-05, + "loss": 3.1765270233154297, + "step": 125140 + }, + { + "epoch": 0.21166666666666667, + "grad_norm": 0.21595332026481628, + "learning_rate": 8.208389651760633e-05, + "loss": 3.116384506225586, + "step": 125150 + }, + { + "epoch": 0.21173333333333333, + "grad_norm": 0.2130025029182434, + "learning_rate": 8.207544127996442e-05, + "loss": 3.160792350769043, + "step": 125160 + }, + { + "epoch": 0.2118, + "grad_norm": 0.18578317761421204, + "learning_rate": 8.206698448333492e-05, + "loss": 3.1266183853149414, + "step": 125170 + }, + { + "epoch": 0.21186666666666668, + "grad_norm": 0.18140268325805664, + "learning_rate": 8.20585261281289e-05, + "loss": 3.1545196533203126, + "step": 125180 + }, + { + "epoch": 0.21193333333333333, + "grad_norm": 0.19515858590602875, + "learning_rate": 8.205006621475742e-05, + "loss": 3.1361860275268554, + "step": 125190 + }, + { + "epoch": 0.212, + "grad_norm": 0.19055689871311188, + "learning_rate": 8.20416047436317e-05, + "loss": 3.111256980895996, + "step": 125200 + }, + { + "epoch": 0.21206666666666665, + "grad_norm": 0.18539388477802277, + "learning_rate": 8.2033141715163e-05, + "loss": 3.138452339172363, + "step": 125210 + }, + { + "epoch": 0.21213333333333334, + "grad_norm": 0.17313793301582336, + "learning_rate": 8.20246771297626e-05, + "loss": 3.0736312866210938, + "step": 125220 + }, + { + "epoch": 0.2122, + "grad_norm": 0.23610210418701172, + "learning_rate": 8.201621098784198e-05, + "loss": 3.1133955001831053, + "step": 125230 + }, + { + "epoch": 0.21226666666666666, + "grad_norm": 0.18844236433506012, + "learning_rate": 8.200774328981258e-05, + "loss": 3.1196128845214846, + "step": 125240 + }, + { + "epoch": 0.21233333333333335, + "grad_norm": 0.20583060383796692, + "learning_rate": 8.199927403608598e-05, + "loss": 3.1252277374267576, + "step": 125250 + }, + { + "epoch": 0.2124, + "grad_norm": 0.18588478863239288, + "learning_rate": 8.199080322707384e-05, + "loss": 3.1564615249633787, + "step": 125260 + }, + { + "epoch": 0.21246666666666666, + "grad_norm": 0.19546616077423096, + "learning_rate": 8.198233086318783e-05, + "loss": 3.0547201156616213, + "step": 125270 + }, + { + "epoch": 0.21253333333333332, + "grad_norm": 0.1861213594675064, + "learning_rate": 8.197385694483976e-05, + "loss": 3.1519166946411135, + "step": 125280 + }, + { + "epoch": 0.2126, + "grad_norm": 0.18425846099853516, + "learning_rate": 8.19653814724415e-05, + "loss": 3.088614845275879, + "step": 125290 + }, + { + "epoch": 0.21266666666666667, + "grad_norm": 0.23567548394203186, + "learning_rate": 8.195690444640498e-05, + "loss": 3.1581609725952147, + "step": 125300 + }, + { + "epoch": 0.21273333333333333, + "grad_norm": 0.2016449123620987, + "learning_rate": 8.194842586714222e-05, + "loss": 3.1602039337158203, + "step": 125310 + }, + { + "epoch": 0.2128, + "grad_norm": 0.1987210512161255, + "learning_rate": 8.193994573506531e-05, + "loss": 3.145290756225586, + "step": 125320 + }, + { + "epoch": 0.21286666666666668, + "grad_norm": 0.2149377167224884, + "learning_rate": 8.193146405058642e-05, + "loss": 3.1987014770507813, + "step": 125330 + }, + { + "epoch": 0.21293333333333334, + "grad_norm": 0.18978454172611237, + "learning_rate": 8.19229808141178e-05, + "loss": 3.1093759536743164, + "step": 125340 + }, + { + "epoch": 0.213, + "grad_norm": 0.22420643270015717, + "learning_rate": 8.191449602607174e-05, + "loss": 3.1434654235839843, + "step": 125350 + }, + { + "epoch": 0.21306666666666665, + "grad_norm": 0.18801644444465637, + "learning_rate": 8.190600968686065e-05, + "loss": 3.1122978210449217, + "step": 125360 + }, + { + "epoch": 0.21313333333333334, + "grad_norm": 0.502730131149292, + "learning_rate": 8.1897521796897e-05, + "loss": 3.0742584228515626, + "step": 125370 + }, + { + "epoch": 0.2132, + "grad_norm": 0.1980743706226349, + "learning_rate": 8.188903235659333e-05, + "loss": 3.156040000915527, + "step": 125380 + }, + { + "epoch": 0.21326666666666666, + "grad_norm": 0.4411551058292389, + "learning_rate": 8.188054136636226e-05, + "loss": 3.280078125, + "step": 125390 + }, + { + "epoch": 0.21333333333333335, + "grad_norm": 0.19457660615444183, + "learning_rate": 8.187204882661649e-05, + "loss": 3.1046606063842774, + "step": 125400 + }, + { + "epoch": 0.2134, + "grad_norm": 0.20486539602279663, + "learning_rate": 8.186355473776877e-05, + "loss": 3.1281734466552735, + "step": 125410 + }, + { + "epoch": 0.21346666666666667, + "grad_norm": 0.2178216278553009, + "learning_rate": 8.185505910023197e-05, + "loss": 3.134670639038086, + "step": 125420 + }, + { + "epoch": 0.21353333333333332, + "grad_norm": 0.19691964983940125, + "learning_rate": 8.184656191441898e-05, + "loss": 3.1660512924194335, + "step": 125430 + }, + { + "epoch": 0.2136, + "grad_norm": 0.19339635968208313, + "learning_rate": 8.183806318074284e-05, + "loss": 3.144388198852539, + "step": 125440 + }, + { + "epoch": 0.21366666666666667, + "grad_norm": 0.19180931150913239, + "learning_rate": 8.182956289961657e-05, + "loss": 3.139883613586426, + "step": 125450 + }, + { + "epoch": 0.21373333333333333, + "grad_norm": 0.17651310563087463, + "learning_rate": 8.182106107145336e-05, + "loss": 3.1435497283935545, + "step": 125460 + }, + { + "epoch": 0.2138, + "grad_norm": 0.22126100957393646, + "learning_rate": 8.181255769666638e-05, + "loss": 3.139628219604492, + "step": 125470 + }, + { + "epoch": 0.21386666666666668, + "grad_norm": 0.20683923363685608, + "learning_rate": 8.180405277566899e-05, + "loss": 3.1061229705810547, + "step": 125480 + }, + { + "epoch": 0.21393333333333334, + "grad_norm": 0.188524529337883, + "learning_rate": 8.17955463088745e-05, + "loss": 3.1344541549682616, + "step": 125490 + }, + { + "epoch": 0.214, + "grad_norm": 0.2208324670791626, + "learning_rate": 8.178703829669639e-05, + "loss": 3.1180591583251953, + "step": 125500 + }, + { + "epoch": 0.21406666666666666, + "grad_norm": 0.1989527940750122, + "learning_rate": 8.177852873954819e-05, + "loss": 3.177195739746094, + "step": 125510 + }, + { + "epoch": 0.21413333333333334, + "grad_norm": 0.23747316002845764, + "learning_rate": 8.177001763784347e-05, + "loss": 3.1214981079101562, + "step": 125520 + }, + { + "epoch": 0.2142, + "grad_norm": 0.20011885464191437, + "learning_rate": 8.176150499199593e-05, + "loss": 3.169481086730957, + "step": 125530 + }, + { + "epoch": 0.21426666666666666, + "grad_norm": 0.1880398839712143, + "learning_rate": 8.175299080241928e-05, + "loss": 3.141585922241211, + "step": 125540 + }, + { + "epoch": 0.21433333333333332, + "grad_norm": 0.19078151881694794, + "learning_rate": 8.174447506952737e-05, + "loss": 3.157675361633301, + "step": 125550 + }, + { + "epoch": 0.2144, + "grad_norm": 0.2368520349264145, + "learning_rate": 8.173595779373408e-05, + "loss": 3.179895210266113, + "step": 125560 + }, + { + "epoch": 0.21446666666666667, + "grad_norm": 0.18757757544517517, + "learning_rate": 8.172743897545341e-05, + "loss": 3.139461326599121, + "step": 125570 + }, + { + "epoch": 0.21453333333333333, + "grad_norm": 0.18264228105545044, + "learning_rate": 8.171891861509939e-05, + "loss": 3.169450378417969, + "step": 125580 + }, + { + "epoch": 0.2146, + "grad_norm": 0.19435639679431915, + "learning_rate": 8.171039671308612e-05, + "loss": 3.107024574279785, + "step": 125590 + }, + { + "epoch": 0.21466666666666667, + "grad_norm": 0.20481523871421814, + "learning_rate": 8.170187326982782e-05, + "loss": 3.140646743774414, + "step": 125600 + }, + { + "epoch": 0.21473333333333333, + "grad_norm": 0.25467053055763245, + "learning_rate": 8.169334828573878e-05, + "loss": 3.1254505157470702, + "step": 125610 + }, + { + "epoch": 0.2148, + "grad_norm": 0.2156999111175537, + "learning_rate": 8.168482176123329e-05, + "loss": 3.173487663269043, + "step": 125620 + }, + { + "epoch": 0.21486666666666668, + "grad_norm": 0.21844346821308136, + "learning_rate": 8.167629369672583e-05, + "loss": 3.1635303497314453, + "step": 125630 + }, + { + "epoch": 0.21493333333333334, + "grad_norm": 0.31997206807136536, + "learning_rate": 8.166776409263086e-05, + "loss": 3.187288284301758, + "step": 125640 + }, + { + "epoch": 0.215, + "grad_norm": 0.19835270941257477, + "learning_rate": 8.165923294936298e-05, + "loss": 3.1433073043823243, + "step": 125650 + }, + { + "epoch": 0.21506666666666666, + "grad_norm": 0.19407226145267487, + "learning_rate": 8.165070026733679e-05, + "loss": 3.1643810272216797, + "step": 125660 + }, + { + "epoch": 0.21513333333333334, + "grad_norm": 0.2071222960948944, + "learning_rate": 8.164216604696706e-05, + "loss": 3.1612062454223633, + "step": 125670 + }, + { + "epoch": 0.2152, + "grad_norm": 0.20005351305007935, + "learning_rate": 8.163363028866856e-05, + "loss": 3.1224288940429688, + "step": 125680 + }, + { + "epoch": 0.21526666666666666, + "grad_norm": 0.18163973093032837, + "learning_rate": 8.162509299285615e-05, + "loss": 3.0925113677978517, + "step": 125690 + }, + { + "epoch": 0.21533333333333332, + "grad_norm": 0.18734894692897797, + "learning_rate": 8.16165541599448e-05, + "loss": 3.1361618041992188, + "step": 125700 + }, + { + "epoch": 0.2154, + "grad_norm": 0.5390262603759766, + "learning_rate": 8.160801379034953e-05, + "loss": 3.11651668548584, + "step": 125710 + }, + { + "epoch": 0.21546666666666667, + "grad_norm": 0.19552336633205414, + "learning_rate": 8.15994718844854e-05, + "loss": 3.168461227416992, + "step": 125720 + }, + { + "epoch": 0.21553333333333333, + "grad_norm": 0.2077396959066391, + "learning_rate": 8.159092844276762e-05, + "loss": 3.1236948013305663, + "step": 125730 + }, + { + "epoch": 0.2156, + "grad_norm": 0.17985717952251434, + "learning_rate": 8.158238346561142e-05, + "loss": 3.1251218795776365, + "step": 125740 + }, + { + "epoch": 0.21566666666666667, + "grad_norm": 0.19868513941764832, + "learning_rate": 8.15738369534321e-05, + "loss": 3.1584482192993164, + "step": 125750 + }, + { + "epoch": 0.21573333333333333, + "grad_norm": 0.18663421273231506, + "learning_rate": 8.156528890664505e-05, + "loss": 3.200307846069336, + "step": 125760 + }, + { + "epoch": 0.2158, + "grad_norm": 0.18627333641052246, + "learning_rate": 8.155673932566578e-05, + "loss": 3.166134834289551, + "step": 125770 + }, + { + "epoch": 0.21586666666666668, + "grad_norm": 0.34805792570114136, + "learning_rate": 8.15481882109098e-05, + "loss": 3.1287155151367188, + "step": 125780 + }, + { + "epoch": 0.21593333333333334, + "grad_norm": 0.19412727653980255, + "learning_rate": 8.153963556279274e-05, + "loss": 3.1224594116210938, + "step": 125790 + }, + { + "epoch": 0.216, + "grad_norm": 0.2050856351852417, + "learning_rate": 8.153108138173027e-05, + "loss": 3.157893180847168, + "step": 125800 + }, + { + "epoch": 0.21606666666666666, + "grad_norm": 0.18761664628982544, + "learning_rate": 8.152252566813817e-05, + "loss": 3.123712921142578, + "step": 125810 + }, + { + "epoch": 0.21613333333333334, + "grad_norm": 0.18600544333457947, + "learning_rate": 8.151396842243227e-05, + "loss": 3.1606143951416015, + "step": 125820 + }, + { + "epoch": 0.2162, + "grad_norm": 0.1909758746623993, + "learning_rate": 8.150540964502851e-05, + "loss": 3.137807846069336, + "step": 125830 + }, + { + "epoch": 0.21626666666666666, + "grad_norm": 0.1988557130098343, + "learning_rate": 8.149684933634285e-05, + "loss": 3.2041011810302735, + "step": 125840 + }, + { + "epoch": 0.21633333333333332, + "grad_norm": 0.2012307494878769, + "learning_rate": 8.148828749679138e-05, + "loss": 3.161425971984863, + "step": 125850 + }, + { + "epoch": 0.2164, + "grad_norm": 0.18545810878276825, + "learning_rate": 8.14797241267902e-05, + "loss": 3.1308719635009767, + "step": 125860 + }, + { + "epoch": 0.21646666666666667, + "grad_norm": 0.19071051478385925, + "learning_rate": 8.147115922675557e-05, + "loss": 3.1414859771728514, + "step": 125870 + }, + { + "epoch": 0.21653333333333333, + "grad_norm": 0.1797081083059311, + "learning_rate": 8.146259279710374e-05, + "loss": 3.156478691101074, + "step": 125880 + }, + { + "epoch": 0.2166, + "grad_norm": 0.19180795550346375, + "learning_rate": 8.145402483825107e-05, + "loss": 3.1201192855834963, + "step": 125890 + }, + { + "epoch": 0.21666666666666667, + "grad_norm": 0.20089003443717957, + "learning_rate": 8.1445455350614e-05, + "loss": 3.1345529556274414, + "step": 125900 + }, + { + "epoch": 0.21673333333333333, + "grad_norm": 0.19361750781536102, + "learning_rate": 8.143688433460908e-05, + "loss": 3.153101921081543, + "step": 125910 + }, + { + "epoch": 0.2168, + "grad_norm": 0.21890772879123688, + "learning_rate": 8.142831179065285e-05, + "loss": 3.1351818084716796, + "step": 125920 + }, + { + "epoch": 0.21686666666666668, + "grad_norm": 0.18898692727088928, + "learning_rate": 8.141973771916198e-05, + "loss": 3.1897207260131837, + "step": 125930 + }, + { + "epoch": 0.21693333333333334, + "grad_norm": 0.18788857758045197, + "learning_rate": 8.141116212055319e-05, + "loss": 3.11600399017334, + "step": 125940 + }, + { + "epoch": 0.217, + "grad_norm": 0.2831149101257324, + "learning_rate": 8.140258499524329e-05, + "loss": 3.211386871337891, + "step": 125950 + }, + { + "epoch": 0.21706666666666666, + "grad_norm": 0.19148914515972137, + "learning_rate": 8.139400634364918e-05, + "loss": 3.1862239837646484, + "step": 125960 + }, + { + "epoch": 0.21713333333333334, + "grad_norm": 0.18812227249145508, + "learning_rate": 8.138542616618781e-05, + "loss": 3.159276008605957, + "step": 125970 + }, + { + "epoch": 0.2172, + "grad_norm": 0.1942042112350464, + "learning_rate": 8.13768444632762e-05, + "loss": 3.093227195739746, + "step": 125980 + }, + { + "epoch": 0.21726666666666666, + "grad_norm": 0.29152214527130127, + "learning_rate": 8.136826123533145e-05, + "loss": 3.1544822692871093, + "step": 125990 + }, + { + "epoch": 0.21733333333333332, + "grad_norm": 0.18293243646621704, + "learning_rate": 8.135967648277074e-05, + "loss": 3.0908641815185547, + "step": 126000 + }, + { + "epoch": 0.2174, + "grad_norm": 0.19356849789619446, + "learning_rate": 8.135109020601132e-05, + "loss": 3.1015647888183593, + "step": 126010 + }, + { + "epoch": 0.21746666666666667, + "grad_norm": 0.19057132303714752, + "learning_rate": 8.134250240547053e-05, + "loss": 3.133327102661133, + "step": 126020 + }, + { + "epoch": 0.21753333333333333, + "grad_norm": 0.20071491599082947, + "learning_rate": 8.133391308156575e-05, + "loss": 3.119655227661133, + "step": 126030 + }, + { + "epoch": 0.2176, + "grad_norm": 0.32346564531326294, + "learning_rate": 8.132532223471447e-05, + "loss": 3.1984153747558595, + "step": 126040 + }, + { + "epoch": 0.21766666666666667, + "grad_norm": 0.18382775783538818, + "learning_rate": 8.131672986533423e-05, + "loss": 3.126692008972168, + "step": 126050 + }, + { + "epoch": 0.21773333333333333, + "grad_norm": 0.18748033046722412, + "learning_rate": 8.130813597384265e-05, + "loss": 3.0837377548217773, + "step": 126060 + }, + { + "epoch": 0.2178, + "grad_norm": 0.2976183295249939, + "learning_rate": 8.129954056065743e-05, + "loss": 3.142597198486328, + "step": 126070 + }, + { + "epoch": 0.21786666666666665, + "grad_norm": 0.18055379390716553, + "learning_rate": 8.129094362619632e-05, + "loss": 3.1072355270385743, + "step": 126080 + }, + { + "epoch": 0.21793333333333334, + "grad_norm": 0.19394050538539886, + "learning_rate": 8.12823451708772e-05, + "loss": 3.1512029647827147, + "step": 126090 + }, + { + "epoch": 0.218, + "grad_norm": 0.2093820422887802, + "learning_rate": 8.127374519511797e-05, + "loss": 3.1004043579101563, + "step": 126100 + }, + { + "epoch": 0.21806666666666666, + "grad_norm": 0.18363064527511597, + "learning_rate": 8.12651436993366e-05, + "loss": 3.194956398010254, + "step": 126110 + }, + { + "epoch": 0.21813333333333335, + "grad_norm": 0.18575814366340637, + "learning_rate": 8.12565406839512e-05, + "loss": 3.1373838424682616, + "step": 126120 + }, + { + "epoch": 0.2182, + "grad_norm": 0.18760763108730316, + "learning_rate": 8.124793614937985e-05, + "loss": 3.1432676315307617, + "step": 126130 + }, + { + "epoch": 0.21826666666666666, + "grad_norm": 0.18149088323116302, + "learning_rate": 8.12393300960408e-05, + "loss": 3.159857177734375, + "step": 126140 + }, + { + "epoch": 0.21833333333333332, + "grad_norm": 0.17813551425933838, + "learning_rate": 8.123072252435235e-05, + "loss": 3.1064664840698244, + "step": 126150 + }, + { + "epoch": 0.2184, + "grad_norm": 0.18041487038135529, + "learning_rate": 8.122211343473286e-05, + "loss": 3.1291807174682615, + "step": 126160 + }, + { + "epoch": 0.21846666666666667, + "grad_norm": 0.21260125935077667, + "learning_rate": 8.121350282760072e-05, + "loss": 3.1595989227294923, + "step": 126170 + }, + { + "epoch": 0.21853333333333333, + "grad_norm": 0.19056172668933868, + "learning_rate": 8.120489070337446e-05, + "loss": 3.092814636230469, + "step": 126180 + }, + { + "epoch": 0.2186, + "grad_norm": 0.33907121419906616, + "learning_rate": 8.119627706247268e-05, + "loss": 3.1963003158569334, + "step": 126190 + }, + { + "epoch": 0.21866666666666668, + "grad_norm": 0.47373777627944946, + "learning_rate": 8.118766190531403e-05, + "loss": 3.149736785888672, + "step": 126200 + }, + { + "epoch": 0.21873333333333334, + "grad_norm": 0.202372208237648, + "learning_rate": 8.117904523231722e-05, + "loss": 3.1767595291137694, + "step": 126210 + }, + { + "epoch": 0.2188, + "grad_norm": 0.18441258370876312, + "learning_rate": 8.117042704390107e-05, + "loss": 3.170459175109863, + "step": 126220 + }, + { + "epoch": 0.21886666666666665, + "grad_norm": 0.20307454466819763, + "learning_rate": 8.116180734048444e-05, + "loss": 3.057093048095703, + "step": 126230 + }, + { + "epoch": 0.21893333333333334, + "grad_norm": 0.21206419169902802, + "learning_rate": 8.11531861224863e-05, + "loss": 3.121090126037598, + "step": 126240 + }, + { + "epoch": 0.219, + "grad_norm": 0.2552371025085449, + "learning_rate": 8.114456339032568e-05, + "loss": 3.1614456176757812, + "step": 126250 + }, + { + "epoch": 0.21906666666666666, + "grad_norm": 0.1937183290719986, + "learning_rate": 8.113593914442164e-05, + "loss": 3.1359167098999023, + "step": 126260 + }, + { + "epoch": 0.21913333333333335, + "grad_norm": 0.19633488357067108, + "learning_rate": 8.112731338519338e-05, + "loss": 3.1333410263061525, + "step": 126270 + }, + { + "epoch": 0.2192, + "grad_norm": 0.1892520934343338, + "learning_rate": 8.111868611306014e-05, + "loss": 3.1994613647460937, + "step": 126280 + }, + { + "epoch": 0.21926666666666667, + "grad_norm": 0.18938620388507843, + "learning_rate": 8.111005732844123e-05, + "loss": 3.1127769470214846, + "step": 126290 + }, + { + "epoch": 0.21933333333333332, + "grad_norm": 0.47469136118888855, + "learning_rate": 8.110142703175605e-05, + "loss": 3.222484588623047, + "step": 126300 + }, + { + "epoch": 0.2194, + "grad_norm": 0.24158211052417755, + "learning_rate": 8.109279522342407e-05, + "loss": 3.1062124252319334, + "step": 126310 + }, + { + "epoch": 0.21946666666666667, + "grad_norm": 0.2384992241859436, + "learning_rate": 8.108416190386481e-05, + "loss": 3.13287410736084, + "step": 126320 + }, + { + "epoch": 0.21953333333333333, + "grad_norm": 0.19880913197994232, + "learning_rate": 8.10755270734979e-05, + "loss": 3.134501266479492, + "step": 126330 + }, + { + "epoch": 0.2196, + "grad_norm": 0.19678230583667755, + "learning_rate": 8.106689073274303e-05, + "loss": 3.1760890960693358, + "step": 126340 + }, + { + "epoch": 0.21966666666666668, + "grad_norm": 0.19064734876155853, + "learning_rate": 8.105825288201993e-05, + "loss": 3.139449119567871, + "step": 126350 + }, + { + "epoch": 0.21973333333333334, + "grad_norm": 0.196461021900177, + "learning_rate": 8.104961352174845e-05, + "loss": 3.10949764251709, + "step": 126360 + }, + { + "epoch": 0.2198, + "grad_norm": 0.22252047061920166, + "learning_rate": 8.104097265234848e-05, + "loss": 3.155080795288086, + "step": 126370 + }, + { + "epoch": 0.21986666666666665, + "grad_norm": 0.24123342335224152, + "learning_rate": 8.103233027424004e-05, + "loss": 3.1053146362304687, + "step": 126380 + }, + { + "epoch": 0.21993333333333334, + "grad_norm": 0.19470764696598053, + "learning_rate": 8.102368638784314e-05, + "loss": 3.149420166015625, + "step": 126390 + }, + { + "epoch": 0.22, + "grad_norm": 0.19122762978076935, + "learning_rate": 8.101504099357793e-05, + "loss": 3.218730163574219, + "step": 126400 + }, + { + "epoch": 0.22006666666666666, + "grad_norm": 0.19722211360931396, + "learning_rate": 8.10063940918646e-05, + "loss": 3.2186553955078123, + "step": 126410 + }, + { + "epoch": 0.22013333333333332, + "grad_norm": 0.21412427723407745, + "learning_rate": 8.099774568312343e-05, + "loss": 3.3018226623535156, + "step": 126420 + }, + { + "epoch": 0.2202, + "grad_norm": 0.1967540681362152, + "learning_rate": 8.098909576777474e-05, + "loss": 3.114565849304199, + "step": 126430 + }, + { + "epoch": 0.22026666666666667, + "grad_norm": 0.17949044704437256, + "learning_rate": 8.098044434623898e-05, + "loss": 3.1401607513427736, + "step": 126440 + }, + { + "epoch": 0.22033333333333333, + "grad_norm": 0.1869954615831375, + "learning_rate": 8.097179141893662e-05, + "loss": 3.1698389053344727, + "step": 126450 + }, + { + "epoch": 0.2204, + "grad_norm": 0.18835854530334473, + "learning_rate": 8.096313698628823e-05, + "loss": 3.1224668502807615, + "step": 126460 + }, + { + "epoch": 0.22046666666666667, + "grad_norm": 0.2098253071308136, + "learning_rate": 8.095448104871446e-05, + "loss": 3.1462100982666015, + "step": 126470 + }, + { + "epoch": 0.22053333333333333, + "grad_norm": 0.19808077812194824, + "learning_rate": 8.094582360663601e-05, + "loss": 3.117228889465332, + "step": 126480 + }, + { + "epoch": 0.2206, + "grad_norm": 0.2774171829223633, + "learning_rate": 8.093716466047365e-05, + "loss": 3.0980653762817383, + "step": 126490 + }, + { + "epoch": 0.22066666666666668, + "grad_norm": 0.17910932004451752, + "learning_rate": 8.092850421064829e-05, + "loss": 3.0728260040283204, + "step": 126500 + }, + { + "epoch": 0.22073333333333334, + "grad_norm": 0.26247456669807434, + "learning_rate": 8.09198422575808e-05, + "loss": 3.1543306350708007, + "step": 126510 + }, + { + "epoch": 0.2208, + "grad_norm": 0.21116915345191956, + "learning_rate": 8.09111788016922e-05, + "loss": 3.178885269165039, + "step": 126520 + }, + { + "epoch": 0.22086666666666666, + "grad_norm": 0.25877752900123596, + "learning_rate": 8.090251384340358e-05, + "loss": 3.1506181716918946, + "step": 126530 + }, + { + "epoch": 0.22093333333333334, + "grad_norm": 0.19101426005363464, + "learning_rate": 8.08938473831361e-05, + "loss": 3.1661725997924806, + "step": 126540 + }, + { + "epoch": 0.221, + "grad_norm": 0.21779100596904755, + "learning_rate": 8.088517942131095e-05, + "loss": 3.076762390136719, + "step": 126550 + }, + { + "epoch": 0.22106666666666666, + "grad_norm": 0.2031068205833435, + "learning_rate": 8.087650995834945e-05, + "loss": 3.121101951599121, + "step": 126560 + }, + { + "epoch": 0.22113333333333332, + "grad_norm": 0.2141915112733841, + "learning_rate": 8.086783899467297e-05, + "loss": 3.0931930541992188, + "step": 126570 + }, + { + "epoch": 0.2212, + "grad_norm": 0.18956182897090912, + "learning_rate": 8.085916653070293e-05, + "loss": 3.1648326873779298, + "step": 126580 + }, + { + "epoch": 0.22126666666666667, + "grad_norm": 0.1941467523574829, + "learning_rate": 8.085049256686086e-05, + "loss": 3.0704471588134767, + "step": 126590 + }, + { + "epoch": 0.22133333333333333, + "grad_norm": 0.1853586882352829, + "learning_rate": 8.084181710356835e-05, + "loss": 3.1565439224243166, + "step": 126600 + }, + { + "epoch": 0.2214, + "grad_norm": 0.19253221154212952, + "learning_rate": 8.083314014124705e-05, + "loss": 3.1074077606201174, + "step": 126610 + }, + { + "epoch": 0.22146666666666667, + "grad_norm": 0.208744615316391, + "learning_rate": 8.08244616803187e-05, + "loss": 3.1252185821533205, + "step": 126620 + }, + { + "epoch": 0.22153333333333333, + "grad_norm": 0.19386518001556396, + "learning_rate": 8.081578172120509e-05, + "loss": 3.128150749206543, + "step": 126630 + }, + { + "epoch": 0.2216, + "grad_norm": 0.2200036495923996, + "learning_rate": 8.080710026432814e-05, + "loss": 3.2039844512939455, + "step": 126640 + }, + { + "epoch": 0.22166666666666668, + "grad_norm": 0.23489226400852203, + "learning_rate": 8.079841731010976e-05, + "loss": 3.139604377746582, + "step": 126650 + }, + { + "epoch": 0.22173333333333334, + "grad_norm": 0.19234725832939148, + "learning_rate": 8.0789732858972e-05, + "loss": 3.084590530395508, + "step": 126660 + }, + { + "epoch": 0.2218, + "grad_norm": 0.19913072884082794, + "learning_rate": 8.078104691133694e-05, + "loss": 3.1469661712646486, + "step": 126670 + }, + { + "epoch": 0.22186666666666666, + "grad_norm": 0.18839827179908752, + "learning_rate": 8.077235946762676e-05, + "loss": 3.1290058135986327, + "step": 126680 + }, + { + "epoch": 0.22193333333333334, + "grad_norm": 0.18682706356048584, + "learning_rate": 8.076367052826369e-05, + "loss": 3.0984115600585938, + "step": 126690 + }, + { + "epoch": 0.222, + "grad_norm": 0.2055714875459671, + "learning_rate": 8.075498009367006e-05, + "loss": 3.1627485275268556, + "step": 126700 + }, + { + "epoch": 0.22206666666666666, + "grad_norm": 0.1854117512702942, + "learning_rate": 8.074628816426825e-05, + "loss": 3.157741355895996, + "step": 126710 + }, + { + "epoch": 0.22213333333333332, + "grad_norm": 0.2006644606590271, + "learning_rate": 8.073759474048071e-05, + "loss": 3.1591033935546875, + "step": 126720 + }, + { + "epoch": 0.2222, + "grad_norm": 0.25255775451660156, + "learning_rate": 8.072889982273e-05, + "loss": 3.1169368743896486, + "step": 126730 + }, + { + "epoch": 0.22226666666666667, + "grad_norm": 0.18337838351726532, + "learning_rate": 8.072020341143871e-05, + "loss": 3.1013933181762696, + "step": 126740 + }, + { + "epoch": 0.22233333333333333, + "grad_norm": 0.21053069829940796, + "learning_rate": 8.071150550702953e-05, + "loss": 3.1275960922241213, + "step": 126750 + }, + { + "epoch": 0.2224, + "grad_norm": 0.19020436704158783, + "learning_rate": 8.070280610992518e-05, + "loss": 3.140028953552246, + "step": 126760 + }, + { + "epoch": 0.22246666666666667, + "grad_norm": 0.20204482972621918, + "learning_rate": 8.069410522054853e-05, + "loss": 3.1315847396850587, + "step": 126770 + }, + { + "epoch": 0.22253333333333333, + "grad_norm": 0.18884894251823425, + "learning_rate": 8.068540283932242e-05, + "loss": 3.172721290588379, + "step": 126780 + }, + { + "epoch": 0.2226, + "grad_norm": 0.20188632607460022, + "learning_rate": 8.067669896666987e-05, + "loss": 3.149603271484375, + "step": 126790 + }, + { + "epoch": 0.22266666666666668, + "grad_norm": 0.22231411933898926, + "learning_rate": 8.066799360301389e-05, + "loss": 3.1361005783081053, + "step": 126800 + }, + { + "epoch": 0.22273333333333334, + "grad_norm": 0.21275117993354797, + "learning_rate": 8.065928674877761e-05, + "loss": 3.2138511657714846, + "step": 126810 + }, + { + "epoch": 0.2228, + "grad_norm": 0.1987212896347046, + "learning_rate": 8.065057840438421e-05, + "loss": 3.1304073333740234, + "step": 126820 + }, + { + "epoch": 0.22286666666666666, + "grad_norm": 0.18106873333454132, + "learning_rate": 8.064186857025695e-05, + "loss": 3.1275089263916014, + "step": 126830 + }, + { + "epoch": 0.22293333333333334, + "grad_norm": 0.18402960896492004, + "learning_rate": 8.063315724681917e-05, + "loss": 3.1537508010864257, + "step": 126840 + }, + { + "epoch": 0.223, + "grad_norm": 0.19464503228664398, + "learning_rate": 8.062444443449424e-05, + "loss": 3.0697288513183594, + "step": 126850 + }, + { + "epoch": 0.22306666666666666, + "grad_norm": 0.19809356331825256, + "learning_rate": 8.061573013370567e-05, + "loss": 3.1122161865234377, + "step": 126860 + }, + { + "epoch": 0.22313333333333332, + "grad_norm": 0.20613707602024078, + "learning_rate": 8.060701434487698e-05, + "loss": 3.146551513671875, + "step": 126870 + }, + { + "epoch": 0.2232, + "grad_norm": 0.2551702558994293, + "learning_rate": 8.059829706843183e-05, + "loss": 3.1562526702880858, + "step": 126880 + }, + { + "epoch": 0.22326666666666667, + "grad_norm": 0.2098216414451599, + "learning_rate": 8.058957830479387e-05, + "loss": 3.1725341796875, + "step": 126890 + }, + { + "epoch": 0.22333333333333333, + "grad_norm": 0.1818893402814865, + "learning_rate": 8.05808580543869e-05, + "loss": 3.1159114837646484, + "step": 126900 + }, + { + "epoch": 0.2234, + "grad_norm": 0.3002387583255768, + "learning_rate": 8.057213631763474e-05, + "loss": 3.1586582183837892, + "step": 126910 + }, + { + "epoch": 0.22346666666666667, + "grad_norm": 0.1890110820531845, + "learning_rate": 8.056341309496128e-05, + "loss": 3.1100910186767576, + "step": 126920 + }, + { + "epoch": 0.22353333333333333, + "grad_norm": 0.19473281502723694, + "learning_rate": 8.055468838679054e-05, + "loss": 3.083287811279297, + "step": 126930 + }, + { + "epoch": 0.2236, + "grad_norm": 0.1932666301727295, + "learning_rate": 8.054596219354654e-05, + "loss": 3.155905342102051, + "step": 126940 + }, + { + "epoch": 0.22366666666666668, + "grad_norm": 0.19296088814735413, + "learning_rate": 8.053723451565343e-05, + "loss": 3.1104158401489257, + "step": 126950 + }, + { + "epoch": 0.22373333333333334, + "grad_norm": 0.20426121354103088, + "learning_rate": 8.05285053535354e-05, + "loss": 3.1045427322387695, + "step": 126960 + }, + { + "epoch": 0.2238, + "grad_norm": 0.19656942784786224, + "learning_rate": 8.051977470761671e-05, + "loss": 3.1132469177246094, + "step": 126970 + }, + { + "epoch": 0.22386666666666666, + "grad_norm": 0.19426877796649933, + "learning_rate": 8.051104257832174e-05, + "loss": 3.118735504150391, + "step": 126980 + }, + { + "epoch": 0.22393333333333335, + "grad_norm": 0.1999381184577942, + "learning_rate": 8.050230896607485e-05, + "loss": 3.116728591918945, + "step": 126990 + }, + { + "epoch": 0.224, + "grad_norm": 0.18930858373641968, + "learning_rate": 8.049357387130057e-05, + "loss": 3.1460079193115233, + "step": 127000 + }, + { + "epoch": 0.22406666666666666, + "grad_norm": 0.17948728799819946, + "learning_rate": 8.048483729442342e-05, + "loss": 3.192322540283203, + "step": 127010 + }, + { + "epoch": 0.22413333333333332, + "grad_norm": 0.2433280050754547, + "learning_rate": 8.047609923586806e-05, + "loss": 3.144515037536621, + "step": 127020 + }, + { + "epoch": 0.2242, + "grad_norm": 0.19593632221221924, + "learning_rate": 8.046735969605918e-05, + "loss": 2.8360666275024413, + "step": 127030 + }, + { + "epoch": 0.22426666666666667, + "grad_norm": 0.1887250393629074, + "learning_rate": 8.045861867542157e-05, + "loss": 3.1209089279174806, + "step": 127040 + }, + { + "epoch": 0.22433333333333333, + "grad_norm": 0.18481147289276123, + "learning_rate": 8.044987617438007e-05, + "loss": 3.0652162551879885, + "step": 127050 + }, + { + "epoch": 0.2244, + "grad_norm": 0.3177352249622345, + "learning_rate": 8.044113219335961e-05, + "loss": 3.1537858963012697, + "step": 127060 + }, + { + "epoch": 0.22446666666666668, + "grad_norm": 0.27753645181655884, + "learning_rate": 8.043238673278512e-05, + "loss": 3.2848987579345703, + "step": 127070 + }, + { + "epoch": 0.22453333333333333, + "grad_norm": 0.688001275062561, + "learning_rate": 8.042363979308174e-05, + "loss": 3.5504680633544923, + "step": 127080 + }, + { + "epoch": 0.2246, + "grad_norm": 0.18517334759235382, + "learning_rate": 8.041489137467456e-05, + "loss": 3.195246696472168, + "step": 127090 + }, + { + "epoch": 0.22466666666666665, + "grad_norm": 0.18953508138656616, + "learning_rate": 8.040614147798879e-05, + "loss": 3.173606109619141, + "step": 127100 + }, + { + "epoch": 0.22473333333333334, + "grad_norm": 0.18557070195674896, + "learning_rate": 8.039739010344973e-05, + "loss": 3.141640281677246, + "step": 127110 + }, + { + "epoch": 0.2248, + "grad_norm": 0.1922931969165802, + "learning_rate": 8.03886372514827e-05, + "loss": 3.157114791870117, + "step": 127120 + }, + { + "epoch": 0.22486666666666666, + "grad_norm": 0.19058912992477417, + "learning_rate": 8.037988292251317e-05, + "loss": 3.153568649291992, + "step": 127130 + }, + { + "epoch": 0.22493333333333335, + "grad_norm": 0.19084811210632324, + "learning_rate": 8.037112711696659e-05, + "loss": 3.194266128540039, + "step": 127140 + }, + { + "epoch": 0.225, + "grad_norm": 0.237528994679451, + "learning_rate": 8.036236983526853e-05, + "loss": 3.201992416381836, + "step": 127150 + }, + { + "epoch": 0.22506666666666666, + "grad_norm": 0.202072411775589, + "learning_rate": 8.035361107784462e-05, + "loss": 3.1698724746704103, + "step": 127160 + }, + { + "epoch": 0.22513333333333332, + "grad_norm": 0.21182098984718323, + "learning_rate": 8.03448508451206e-05, + "loss": 3.2243572235107423, + "step": 127170 + }, + { + "epoch": 0.2252, + "grad_norm": 1.8349145650863647, + "learning_rate": 8.033608913752222e-05, + "loss": 3.083407402038574, + "step": 127180 + }, + { + "epoch": 0.22526666666666667, + "grad_norm": 0.19248731434345245, + "learning_rate": 8.032732595547534e-05, + "loss": 3.1425144195556642, + "step": 127190 + }, + { + "epoch": 0.22533333333333333, + "grad_norm": 0.18302316963672638, + "learning_rate": 8.03185612994059e-05, + "loss": 3.1057401657104493, + "step": 127200 + }, + { + "epoch": 0.2254, + "grad_norm": 0.421371728181839, + "learning_rate": 8.030979516973989e-05, + "loss": 3.1446094512939453, + "step": 127210 + }, + { + "epoch": 0.22546666666666668, + "grad_norm": 0.1916179656982422, + "learning_rate": 8.030102756690337e-05, + "loss": 3.1208755493164064, + "step": 127220 + }, + { + "epoch": 0.22553333333333334, + "grad_norm": 0.1898062527179718, + "learning_rate": 8.029225849132247e-05, + "loss": 3.0654874801635743, + "step": 127230 + }, + { + "epoch": 0.2256, + "grad_norm": 0.24118733406066895, + "learning_rate": 8.02834879434234e-05, + "loss": 3.097855567932129, + "step": 127240 + }, + { + "epoch": 0.22566666666666665, + "grad_norm": 0.18039610981941223, + "learning_rate": 8.027471592363245e-05, + "loss": 3.1890058517456055, + "step": 127250 + }, + { + "epoch": 0.22573333333333334, + "grad_norm": 0.2136910855770111, + "learning_rate": 8.0265942432376e-05, + "loss": 3.1093502044677734, + "step": 127260 + }, + { + "epoch": 0.2258, + "grad_norm": 0.18207032978534698, + "learning_rate": 8.025716747008043e-05, + "loss": 3.1516685485839844, + "step": 127270 + }, + { + "epoch": 0.22586666666666666, + "grad_norm": 0.18998666107654572, + "learning_rate": 8.024839103717226e-05, + "loss": 3.1328229904174805, + "step": 127280 + }, + { + "epoch": 0.22593333333333335, + "grad_norm": 0.1956258863210678, + "learning_rate": 8.023961313407806e-05, + "loss": 3.1427066802978514, + "step": 127290 + }, + { + "epoch": 0.226, + "grad_norm": 0.23768319189548492, + "learning_rate": 8.023083376122445e-05, + "loss": 3.130507469177246, + "step": 127300 + }, + { + "epoch": 0.22606666666666667, + "grad_norm": 0.18786586821079254, + "learning_rate": 8.022205291903816e-05, + "loss": 3.1048879623413086, + "step": 127310 + }, + { + "epoch": 0.22613333333333333, + "grad_norm": 0.19463007152080536, + "learning_rate": 8.021327060794596e-05, + "loss": 3.1318716049194335, + "step": 127320 + }, + { + "epoch": 0.2262, + "grad_norm": 0.20057313144207, + "learning_rate": 8.020448682837471e-05, + "loss": 3.1133453369140627, + "step": 127330 + }, + { + "epoch": 0.22626666666666667, + "grad_norm": 0.19872184097766876, + "learning_rate": 8.019570158075134e-05, + "loss": 3.1292655944824217, + "step": 127340 + }, + { + "epoch": 0.22633333333333333, + "grad_norm": 0.19821274280548096, + "learning_rate": 8.018691486550282e-05, + "loss": 3.1261587142944336, + "step": 127350 + }, + { + "epoch": 0.2264, + "grad_norm": 0.1989864856004715, + "learning_rate": 8.017812668305626e-05, + "loss": 3.1082807540893556, + "step": 127360 + }, + { + "epoch": 0.22646666666666668, + "grad_norm": 0.2091100811958313, + "learning_rate": 8.016933703383878e-05, + "loss": 3.143501853942871, + "step": 127370 + }, + { + "epoch": 0.22653333333333334, + "grad_norm": 0.20064328610897064, + "learning_rate": 8.016054591827758e-05, + "loss": 3.1081336975097655, + "step": 127380 + }, + { + "epoch": 0.2266, + "grad_norm": 0.36215704679489136, + "learning_rate": 8.015175333679994e-05, + "loss": 3.2148368835449217, + "step": 127390 + }, + { + "epoch": 0.22666666666666666, + "grad_norm": 0.17220012843608856, + "learning_rate": 8.014295928983322e-05, + "loss": 3.322887420654297, + "step": 127400 + }, + { + "epoch": 0.22673333333333334, + "grad_norm": 0.20895101130008698, + "learning_rate": 8.013416377780485e-05, + "loss": 3.1501386642456053, + "step": 127410 + }, + { + "epoch": 0.2268, + "grad_norm": 0.18328309059143066, + "learning_rate": 8.012536680114231e-05, + "loss": 3.094955825805664, + "step": 127420 + }, + { + "epoch": 0.22686666666666666, + "grad_norm": 0.1927691400051117, + "learning_rate": 8.01165683602732e-05, + "loss": 3.129623222351074, + "step": 127430 + }, + { + "epoch": 0.22693333333333332, + "grad_norm": 0.1837124079465866, + "learning_rate": 8.01077684556251e-05, + "loss": 3.0864631652832033, + "step": 127440 + }, + { + "epoch": 0.227, + "grad_norm": 0.20536687970161438, + "learning_rate": 8.009896708762576e-05, + "loss": 3.1130741119384764, + "step": 127450 + }, + { + "epoch": 0.22706666666666667, + "grad_norm": 0.1983313262462616, + "learning_rate": 8.009016425670297e-05, + "loss": 3.186729621887207, + "step": 127460 + }, + { + "epoch": 0.22713333333333333, + "grad_norm": 0.2379244863986969, + "learning_rate": 8.008135996328456e-05, + "loss": 3.1528255462646486, + "step": 127470 + }, + { + "epoch": 0.2272, + "grad_norm": 0.21164827048778534, + "learning_rate": 8.007255420779843e-05, + "loss": 3.1575347900390627, + "step": 127480 + }, + { + "epoch": 0.22726666666666667, + "grad_norm": 0.20149554312229156, + "learning_rate": 8.006374699067261e-05, + "loss": 3.127351760864258, + "step": 127490 + }, + { + "epoch": 0.22733333333333333, + "grad_norm": 0.1959124654531479, + "learning_rate": 8.005493831233515e-05, + "loss": 3.091054916381836, + "step": 127500 + }, + { + "epoch": 0.2274, + "grad_norm": 0.21485759317874908, + "learning_rate": 8.00461281732142e-05, + "loss": 3.0528472900390624, + "step": 127510 + }, + { + "epoch": 0.22746666666666668, + "grad_norm": 0.19609355926513672, + "learning_rate": 8.003731657373795e-05, + "loss": 3.074630546569824, + "step": 127520 + }, + { + "epoch": 0.22753333333333334, + "grad_norm": 0.213448166847229, + "learning_rate": 8.002850351433466e-05, + "loss": 3.167665481567383, + "step": 127530 + }, + { + "epoch": 0.2276, + "grad_norm": 0.21803340315818787, + "learning_rate": 8.001968899543271e-05, + "loss": 3.1461700439453124, + "step": 127540 + }, + { + "epoch": 0.22766666666666666, + "grad_norm": 0.1985510140657425, + "learning_rate": 8.00108730174605e-05, + "loss": 3.0782293319702148, + "step": 127550 + }, + { + "epoch": 0.22773333333333334, + "grad_norm": 0.21261556446552277, + "learning_rate": 8.000205558084655e-05, + "loss": 3.2083805084228514, + "step": 127560 + }, + { + "epoch": 0.2278, + "grad_norm": 0.20729495584964752, + "learning_rate": 7.999323668601937e-05, + "loss": 3.1114007949829103, + "step": 127570 + }, + { + "epoch": 0.22786666666666666, + "grad_norm": 0.18819984793663025, + "learning_rate": 7.998441633340763e-05, + "loss": 3.1306888580322267, + "step": 127580 + }, + { + "epoch": 0.22793333333333332, + "grad_norm": 0.19631487131118774, + "learning_rate": 7.997559452344e-05, + "loss": 3.1131567001342773, + "step": 127590 + }, + { + "epoch": 0.228, + "grad_norm": 0.18057169020175934, + "learning_rate": 7.996677125654531e-05, + "loss": 3.120519256591797, + "step": 127600 + }, + { + "epoch": 0.22806666666666667, + "grad_norm": 0.1737239509820938, + "learning_rate": 7.995794653315233e-05, + "loss": 3.1177806854248047, + "step": 127610 + }, + { + "epoch": 0.22813333333333333, + "grad_norm": 0.1958797425031662, + "learning_rate": 7.994912035369004e-05, + "loss": 3.112110137939453, + "step": 127620 + }, + { + "epoch": 0.2282, + "grad_norm": 0.18881909549236298, + "learning_rate": 7.994029271858739e-05, + "loss": 3.1974466323852537, + "step": 127630 + }, + { + "epoch": 0.22826666666666667, + "grad_norm": 0.3220820724964142, + "learning_rate": 7.993146362827345e-05, + "loss": 3.236745071411133, + "step": 127640 + }, + { + "epoch": 0.22833333333333333, + "grad_norm": 0.20372609794139862, + "learning_rate": 7.992263308317734e-05, + "loss": 3.153462600708008, + "step": 127650 + }, + { + "epoch": 0.2284, + "grad_norm": 0.2002248764038086, + "learning_rate": 7.991380108372826e-05, + "loss": 3.0276737213134766, + "step": 127660 + }, + { + "epoch": 0.22846666666666668, + "grad_norm": 0.1840684413909912, + "learning_rate": 7.990496763035547e-05, + "loss": 3.0927204132080077, + "step": 127670 + }, + { + "epoch": 0.22853333333333334, + "grad_norm": 0.176760733127594, + "learning_rate": 7.989613272348832e-05, + "loss": 3.1549930572509766, + "step": 127680 + }, + { + "epoch": 0.2286, + "grad_norm": 0.20377032458782196, + "learning_rate": 7.988729636355622e-05, + "loss": 3.1343000411987303, + "step": 127690 + }, + { + "epoch": 0.22866666666666666, + "grad_norm": 0.1842782348394394, + "learning_rate": 7.987845855098864e-05, + "loss": 3.091546630859375, + "step": 127700 + }, + { + "epoch": 0.22873333333333334, + "grad_norm": 0.19829946756362915, + "learning_rate": 7.986961928621517e-05, + "loss": 3.127602767944336, + "step": 127710 + }, + { + "epoch": 0.2288, + "grad_norm": 0.19094783067703247, + "learning_rate": 7.986077856966537e-05, + "loss": 3.153526496887207, + "step": 127720 + }, + { + "epoch": 0.22886666666666666, + "grad_norm": 0.19980305433273315, + "learning_rate": 7.985193640176898e-05, + "loss": 3.10943603515625, + "step": 127730 + }, + { + "epoch": 0.22893333333333332, + "grad_norm": 0.18867281079292297, + "learning_rate": 7.984309278295573e-05, + "loss": 3.135318565368652, + "step": 127740 + }, + { + "epoch": 0.229, + "grad_norm": 0.19454915821552277, + "learning_rate": 7.983424771365548e-05, + "loss": 3.1519025802612304, + "step": 127750 + }, + { + "epoch": 0.22906666666666667, + "grad_norm": 0.20739524066448212, + "learning_rate": 7.982540119429811e-05, + "loss": 3.143718147277832, + "step": 127760 + }, + { + "epoch": 0.22913333333333333, + "grad_norm": 0.20108094811439514, + "learning_rate": 7.981655322531362e-05, + "loss": 3.168092155456543, + "step": 127770 + }, + { + "epoch": 0.2292, + "grad_norm": 0.21347425878047943, + "learning_rate": 7.980770380713203e-05, + "loss": 3.1022125244140626, + "step": 127780 + }, + { + "epoch": 0.22926666666666667, + "grad_norm": 0.17257040739059448, + "learning_rate": 7.979885294018349e-05, + "loss": 3.063897705078125, + "step": 127790 + }, + { + "epoch": 0.22933333333333333, + "grad_norm": 0.1998368352651596, + "learning_rate": 7.979000062489814e-05, + "loss": 3.1073474884033203, + "step": 127800 + }, + { + "epoch": 0.2294, + "grad_norm": 0.18412069976329803, + "learning_rate": 7.978114686170627e-05, + "loss": 3.1341167449951173, + "step": 127810 + }, + { + "epoch": 0.22946666666666668, + "grad_norm": 0.21461369097232819, + "learning_rate": 7.97722916510382e-05, + "loss": 3.077344512939453, + "step": 127820 + }, + { + "epoch": 0.22953333333333334, + "grad_norm": 0.19368772208690643, + "learning_rate": 7.976343499332431e-05, + "loss": 3.131825065612793, + "step": 127830 + }, + { + "epoch": 0.2296, + "grad_norm": 0.19293223321437836, + "learning_rate": 7.975457688899507e-05, + "loss": 3.1621246337890625, + "step": 127840 + }, + { + "epoch": 0.22966666666666666, + "grad_norm": 0.19171568751335144, + "learning_rate": 7.974571733848103e-05, + "loss": 3.0725004196166994, + "step": 127850 + }, + { + "epoch": 0.22973333333333334, + "grad_norm": 0.19997037947177887, + "learning_rate": 7.97368563422128e-05, + "loss": 3.1411794662475585, + "step": 127860 + }, + { + "epoch": 0.2298, + "grad_norm": 0.20734265446662903, + "learning_rate": 7.972799390062104e-05, + "loss": 3.1545896530151367, + "step": 127870 + }, + { + "epoch": 0.22986666666666666, + "grad_norm": 0.17838487029075623, + "learning_rate": 7.971913001413653e-05, + "loss": 3.1111661911010744, + "step": 127880 + }, + { + "epoch": 0.22993333333333332, + "grad_norm": 0.2312740534543991, + "learning_rate": 7.971026468319005e-05, + "loss": 3.1658018112182615, + "step": 127890 + }, + { + "epoch": 0.23, + "grad_norm": 0.1877313256263733, + "learning_rate": 7.970139790821251e-05, + "loss": 3.1159292221069337, + "step": 127900 + }, + { + "epoch": 0.23006666666666667, + "grad_norm": 0.2628721296787262, + "learning_rate": 7.969252968963488e-05, + "loss": 3.168522071838379, + "step": 127910 + }, + { + "epoch": 0.23013333333333333, + "grad_norm": 0.18705862760543823, + "learning_rate": 7.968366002788817e-05, + "loss": 3.14650936126709, + "step": 127920 + }, + { + "epoch": 0.2302, + "grad_norm": 0.28435027599334717, + "learning_rate": 7.967478892340345e-05, + "loss": 3.11767635345459, + "step": 127930 + }, + { + "epoch": 0.23026666666666668, + "grad_norm": 0.18831069767475128, + "learning_rate": 7.966591637661197e-05, + "loss": 3.139825439453125, + "step": 127940 + }, + { + "epoch": 0.23033333333333333, + "grad_norm": 0.1858104169368744, + "learning_rate": 7.965704238794489e-05, + "loss": 3.0976686477661133, + "step": 127950 + }, + { + "epoch": 0.2304, + "grad_norm": 0.21632622182369232, + "learning_rate": 7.964816695783357e-05, + "loss": 3.1246368408203127, + "step": 127960 + }, + { + "epoch": 0.23046666666666665, + "grad_norm": 0.18731167912483215, + "learning_rate": 7.963929008670935e-05, + "loss": 3.1492137908935547, + "step": 127970 + }, + { + "epoch": 0.23053333333333334, + "grad_norm": 0.26501014828681946, + "learning_rate": 7.963041177500371e-05, + "loss": 3.2328086853027345, + "step": 127980 + }, + { + "epoch": 0.2306, + "grad_norm": 0.19290655851364136, + "learning_rate": 7.962153202314815e-05, + "loss": 3.0934799194335936, + "step": 127990 + }, + { + "epoch": 0.23066666666666666, + "grad_norm": 0.22000642120838165, + "learning_rate": 7.961265083157427e-05, + "loss": 3.1559331893920897, + "step": 128000 + }, + { + "epoch": 0.23073333333333335, + "grad_norm": 0.20008501410484314, + "learning_rate": 7.960376820071375e-05, + "loss": 3.186306953430176, + "step": 128010 + }, + { + "epoch": 0.2308, + "grad_norm": 0.1764357089996338, + "learning_rate": 7.959488413099827e-05, + "loss": 3.137787628173828, + "step": 128020 + }, + { + "epoch": 0.23086666666666666, + "grad_norm": 0.20149679481983185, + "learning_rate": 7.958599862285968e-05, + "loss": 3.1268993377685548, + "step": 128030 + }, + { + "epoch": 0.23093333333333332, + "grad_norm": 0.21033979952335358, + "learning_rate": 7.957711167672981e-05, + "loss": 3.0925601959228515, + "step": 128040 + }, + { + "epoch": 0.231, + "grad_norm": 0.19726897776126862, + "learning_rate": 7.956822329304063e-05, + "loss": 3.0884639739990236, + "step": 128050 + }, + { + "epoch": 0.23106666666666667, + "grad_norm": 0.18488731980323792, + "learning_rate": 7.955933347222412e-05, + "loss": 3.1089498519897463, + "step": 128060 + }, + { + "epoch": 0.23113333333333333, + "grad_norm": 0.25161120295524597, + "learning_rate": 7.955044221471237e-05, + "loss": 3.1103435516357423, + "step": 128070 + }, + { + "epoch": 0.2312, + "grad_norm": 0.21152015030384064, + "learning_rate": 7.954154952093755e-05, + "loss": 3.092744255065918, + "step": 128080 + }, + { + "epoch": 0.23126666666666668, + "grad_norm": 0.18958896398544312, + "learning_rate": 7.953265539133185e-05, + "loss": 3.112745475769043, + "step": 128090 + }, + { + "epoch": 0.23133333333333334, + "grad_norm": 0.18906421959400177, + "learning_rate": 7.952375982632757e-05, + "loss": 3.09996337890625, + "step": 128100 + }, + { + "epoch": 0.2314, + "grad_norm": 0.1809881031513214, + "learning_rate": 7.951486282635706e-05, + "loss": 3.0981712341308594, + "step": 128110 + }, + { + "epoch": 0.23146666666666665, + "grad_norm": 0.22081880271434784, + "learning_rate": 7.950596439185276e-05, + "loss": 3.1840984344482424, + "step": 128120 + }, + { + "epoch": 0.23153333333333334, + "grad_norm": 0.21068938076496124, + "learning_rate": 7.949706452324717e-05, + "loss": 3.187857818603516, + "step": 128130 + }, + { + "epoch": 0.2316, + "grad_norm": 0.18273469805717468, + "learning_rate": 7.948816322097284e-05, + "loss": 3.678753662109375, + "step": 128140 + }, + { + "epoch": 0.23166666666666666, + "grad_norm": 0.20825204253196716, + "learning_rate": 7.947926048546241e-05, + "loss": 3.2222129821777346, + "step": 128150 + }, + { + "epoch": 0.23173333333333335, + "grad_norm": 0.20254966616630554, + "learning_rate": 7.94703563171486e-05, + "loss": 3.182545471191406, + "step": 128160 + }, + { + "epoch": 0.2318, + "grad_norm": 0.4768636226654053, + "learning_rate": 7.946145071646417e-05, + "loss": 3.270386505126953, + "step": 128170 + }, + { + "epoch": 0.23186666666666667, + "grad_norm": 0.543443500995636, + "learning_rate": 7.945254368384199e-05, + "loss": 3.1500410079956054, + "step": 128180 + }, + { + "epoch": 0.23193333333333332, + "grad_norm": 0.19320379197597504, + "learning_rate": 7.944363521971495e-05, + "loss": 3.156943702697754, + "step": 128190 + }, + { + "epoch": 0.232, + "grad_norm": 0.19049964845180511, + "learning_rate": 7.943472532451605e-05, + "loss": 3.1012773513793945, + "step": 128200 + }, + { + "epoch": 0.23206666666666667, + "grad_norm": 0.2319997251033783, + "learning_rate": 7.942581399867834e-05, + "loss": 3.147959327697754, + "step": 128210 + }, + { + "epoch": 0.23213333333333333, + "grad_norm": 0.19310809671878815, + "learning_rate": 7.941690124263494e-05, + "loss": 3.1521820068359374, + "step": 128220 + }, + { + "epoch": 0.2322, + "grad_norm": 0.18664909899234772, + "learning_rate": 7.940798705681905e-05, + "loss": 3.151180076599121, + "step": 128230 + }, + { + "epoch": 0.23226666666666668, + "grad_norm": 0.1910763680934906, + "learning_rate": 7.939907144166392e-05, + "loss": 3.116770553588867, + "step": 128240 + }, + { + "epoch": 0.23233333333333334, + "grad_norm": 0.1799648106098175, + "learning_rate": 7.93901543976029e-05, + "loss": 3.1658811569213867, + "step": 128250 + }, + { + "epoch": 0.2324, + "grad_norm": 0.2080504298210144, + "learning_rate": 7.938123592506939e-05, + "loss": 3.1260540008544924, + "step": 128260 + }, + { + "epoch": 0.23246666666666665, + "grad_norm": 0.5630660057067871, + "learning_rate": 7.937231602449687e-05, + "loss": 3.227899169921875, + "step": 128270 + }, + { + "epoch": 0.23253333333333334, + "grad_norm": 0.18608857691287994, + "learning_rate": 7.936339469631883e-05, + "loss": 3.2898700714111326, + "step": 128280 + }, + { + "epoch": 0.2326, + "grad_norm": 0.21287183463573456, + "learning_rate": 7.935447194096894e-05, + "loss": 3.083957481384277, + "step": 128290 + }, + { + "epoch": 0.23266666666666666, + "grad_norm": 0.19178377091884613, + "learning_rate": 7.934554775888086e-05, + "loss": 3.181930732727051, + "step": 128300 + }, + { + "epoch": 0.23273333333333332, + "grad_norm": 0.20487910509109497, + "learning_rate": 7.933662215048833e-05, + "loss": 3.1052154541015624, + "step": 128310 + }, + { + "epoch": 0.2328, + "grad_norm": 0.19209212064743042, + "learning_rate": 7.932769511622518e-05, + "loss": 3.1439044952392576, + "step": 128320 + }, + { + "epoch": 0.23286666666666667, + "grad_norm": 0.2024378478527069, + "learning_rate": 7.931876665652528e-05, + "loss": 3.1220964431762694, + "step": 128330 + }, + { + "epoch": 0.23293333333333333, + "grad_norm": 0.22158226370811462, + "learning_rate": 7.93098367718226e-05, + "loss": 3.163105010986328, + "step": 128340 + }, + { + "epoch": 0.233, + "grad_norm": 0.17357364296913147, + "learning_rate": 7.930090546255117e-05, + "loss": 3.159689712524414, + "step": 128350 + }, + { + "epoch": 0.23306666666666667, + "grad_norm": 0.19162680208683014, + "learning_rate": 7.929197272914509e-05, + "loss": 3.1277912139892576, + "step": 128360 + }, + { + "epoch": 0.23313333333333333, + "grad_norm": 0.20223022997379303, + "learning_rate": 7.92830385720385e-05, + "loss": 3.098118019104004, + "step": 128370 + }, + { + "epoch": 0.2332, + "grad_norm": 0.21542736887931824, + "learning_rate": 7.927410299166567e-05, + "loss": 3.084253692626953, + "step": 128380 + }, + { + "epoch": 0.23326666666666668, + "grad_norm": 0.18070662021636963, + "learning_rate": 7.926516598846086e-05, + "loss": 3.135278511047363, + "step": 128390 + }, + { + "epoch": 0.23333333333333334, + "grad_norm": 0.19037103652954102, + "learning_rate": 7.925622756285846e-05, + "loss": 3.0589010238647463, + "step": 128400 + }, + { + "epoch": 0.2334, + "grad_norm": 0.20477844774723053, + "learning_rate": 7.924728771529292e-05, + "loss": 3.143839645385742, + "step": 128410 + }, + { + "epoch": 0.23346666666666666, + "grad_norm": 0.1795760989189148, + "learning_rate": 7.923834644619876e-05, + "loss": 3.091497039794922, + "step": 128420 + }, + { + "epoch": 0.23353333333333334, + "grad_norm": 0.9676828980445862, + "learning_rate": 7.922940375601053e-05, + "loss": 3.3424636840820314, + "step": 128430 + }, + { + "epoch": 0.2336, + "grad_norm": 0.44083210825920105, + "learning_rate": 7.922045964516292e-05, + "loss": 3.4531749725341796, + "step": 128440 + }, + { + "epoch": 0.23366666666666666, + "grad_norm": 0.21383243799209595, + "learning_rate": 7.921151411409058e-05, + "loss": 3.1720956802368163, + "step": 128450 + }, + { + "epoch": 0.23373333333333332, + "grad_norm": 0.22341835498809814, + "learning_rate": 7.920256716322836e-05, + "loss": 3.1318691253662108, + "step": 128460 + }, + { + "epoch": 0.2338, + "grad_norm": 0.2647055387496948, + "learning_rate": 7.919361879301109e-05, + "loss": 3.1085229873657227, + "step": 128470 + }, + { + "epoch": 0.23386666666666667, + "grad_norm": 0.19642651081085205, + "learning_rate": 7.918466900387371e-05, + "loss": 3.085905838012695, + "step": 128480 + }, + { + "epoch": 0.23393333333333333, + "grad_norm": 0.24700625240802765, + "learning_rate": 7.917571779625118e-05, + "loss": 3.155970001220703, + "step": 128490 + }, + { + "epoch": 0.234, + "grad_norm": 0.20120012760162354, + "learning_rate": 7.91667651705786e-05, + "loss": 3.146698760986328, + "step": 128500 + }, + { + "epoch": 0.23406666666666667, + "grad_norm": 0.22334331274032593, + "learning_rate": 7.915781112729108e-05, + "loss": 3.0757896423339846, + "step": 128510 + }, + { + "epoch": 0.23413333333333333, + "grad_norm": 0.17361505329608917, + "learning_rate": 7.914885566682382e-05, + "loss": 3.132646179199219, + "step": 128520 + }, + { + "epoch": 0.2342, + "grad_norm": 0.19003774225711823, + "learning_rate": 7.91398987896121e-05, + "loss": 3.1022060394287108, + "step": 128530 + }, + { + "epoch": 0.23426666666666668, + "grad_norm": 0.1788550317287445, + "learning_rate": 7.913094049609124e-05, + "loss": 3.1864967346191406, + "step": 128540 + }, + { + "epoch": 0.23433333333333334, + "grad_norm": 0.25168684124946594, + "learning_rate": 7.912198078669667e-05, + "loss": 3.1767982482910155, + "step": 128550 + }, + { + "epoch": 0.2344, + "grad_norm": 0.22256514430046082, + "learning_rate": 7.911301966186385e-05, + "loss": 3.0837120056152343, + "step": 128560 + }, + { + "epoch": 0.23446666666666666, + "grad_norm": 0.18927450478076935, + "learning_rate": 7.910405712202833e-05, + "loss": 3.122620391845703, + "step": 128570 + }, + { + "epoch": 0.23453333333333334, + "grad_norm": 0.18320134282112122, + "learning_rate": 7.909509316762573e-05, + "loss": 3.1207984924316405, + "step": 128580 + }, + { + "epoch": 0.2346, + "grad_norm": 0.19305957853794098, + "learning_rate": 7.908612779909172e-05, + "loss": 3.2088775634765625, + "step": 128590 + }, + { + "epoch": 0.23466666666666666, + "grad_norm": 0.19854436814785004, + "learning_rate": 7.907716101686206e-05, + "loss": 3.1859672546386717, + "step": 128600 + }, + { + "epoch": 0.23473333333333332, + "grad_norm": 0.1907212883234024, + "learning_rate": 7.906819282137257e-05, + "loss": 3.1320404052734374, + "step": 128610 + }, + { + "epoch": 0.2348, + "grad_norm": 0.1956409215927124, + "learning_rate": 7.905922321305912e-05, + "loss": 3.0586456298828124, + "step": 128620 + }, + { + "epoch": 0.23486666666666667, + "grad_norm": 0.1918478012084961, + "learning_rate": 7.905025219235769e-05, + "loss": 3.118429183959961, + "step": 128630 + }, + { + "epoch": 0.23493333333333333, + "grad_norm": 0.21495753526687622, + "learning_rate": 7.90412797597043e-05, + "loss": 3.094618225097656, + "step": 128640 + }, + { + "epoch": 0.235, + "grad_norm": 0.21450714766979218, + "learning_rate": 7.903230591553504e-05, + "loss": 3.0937116622924803, + "step": 128650 + }, + { + "epoch": 0.23506666666666667, + "grad_norm": 0.1983068734407425, + "learning_rate": 7.902333066028605e-05, + "loss": 3.3576480865478517, + "step": 128660 + }, + { + "epoch": 0.23513333333333333, + "grad_norm": 0.2218797355890274, + "learning_rate": 7.90143539943936e-05, + "loss": 3.1102523803710938, + "step": 128670 + }, + { + "epoch": 0.2352, + "grad_norm": 0.20208746194839478, + "learning_rate": 7.900537591829398e-05, + "loss": 3.14366455078125, + "step": 128680 + }, + { + "epoch": 0.23526666666666668, + "grad_norm": 0.22155267000198364, + "learning_rate": 7.899639643242355e-05, + "loss": 3.089147186279297, + "step": 128690 + }, + { + "epoch": 0.23533333333333334, + "grad_norm": 0.2185213416814804, + "learning_rate": 7.898741553721874e-05, + "loss": 3.124662399291992, + "step": 128700 + }, + { + "epoch": 0.2354, + "grad_norm": 0.18035852909088135, + "learning_rate": 7.897843323311606e-05, + "loss": 3.115731620788574, + "step": 128710 + }, + { + "epoch": 0.23546666666666666, + "grad_norm": 0.18147562444210052, + "learning_rate": 7.89694495205521e-05, + "loss": 3.093244743347168, + "step": 128720 + }, + { + "epoch": 0.23553333333333334, + "grad_norm": 0.2109653353691101, + "learning_rate": 7.89604643999635e-05, + "loss": 3.1504741668701173, + "step": 128730 + }, + { + "epoch": 0.2356, + "grad_norm": 0.18552541732788086, + "learning_rate": 7.895147787178694e-05, + "loss": 3.123581314086914, + "step": 128740 + }, + { + "epoch": 0.23566666666666666, + "grad_norm": 0.20104867219924927, + "learning_rate": 7.894248993645923e-05, + "loss": 3.143523597717285, + "step": 128750 + }, + { + "epoch": 0.23573333333333332, + "grad_norm": 0.1965888887643814, + "learning_rate": 7.893350059441722e-05, + "loss": 3.1141162872314454, + "step": 128760 + }, + { + "epoch": 0.2358, + "grad_norm": 0.19214174151420593, + "learning_rate": 7.89245098460978e-05, + "loss": 3.120587921142578, + "step": 128770 + }, + { + "epoch": 0.23586666666666667, + "grad_norm": 0.19033685326576233, + "learning_rate": 7.891551769193797e-05, + "loss": 3.0819751739501955, + "step": 128780 + }, + { + "epoch": 0.23593333333333333, + "grad_norm": 0.23561891913414001, + "learning_rate": 7.890652413237478e-05, + "loss": 3.0887107849121094, + "step": 128790 + }, + { + "epoch": 0.236, + "grad_norm": 0.18494555354118347, + "learning_rate": 7.889752916784537e-05, + "loss": 3.109671974182129, + "step": 128800 + }, + { + "epoch": 0.23606666666666667, + "grad_norm": 0.1869208961725235, + "learning_rate": 7.888853279878688e-05, + "loss": 3.0832395553588867, + "step": 128810 + }, + { + "epoch": 0.23613333333333333, + "grad_norm": 0.2025923728942871, + "learning_rate": 7.887953502563662e-05, + "loss": 3.158454704284668, + "step": 128820 + }, + { + "epoch": 0.2362, + "grad_norm": 0.2051381766796112, + "learning_rate": 7.887053584883188e-05, + "loss": 3.158624267578125, + "step": 128830 + }, + { + "epoch": 0.23626666666666668, + "grad_norm": 0.19580161571502686, + "learning_rate": 7.88615352688101e-05, + "loss": 3.144570159912109, + "step": 128840 + }, + { + "epoch": 0.23633333333333334, + "grad_norm": 0.2834929823875427, + "learning_rate": 7.885253328600869e-05, + "loss": 3.144870567321777, + "step": 128850 + }, + { + "epoch": 0.2364, + "grad_norm": 0.19416211545467377, + "learning_rate": 7.884352990086522e-05, + "loss": 3.109302520751953, + "step": 128860 + }, + { + "epoch": 0.23646666666666666, + "grad_norm": 0.18590520322322845, + "learning_rate": 7.883452511381724e-05, + "loss": 3.100794219970703, + "step": 128870 + }, + { + "epoch": 0.23653333333333335, + "grad_norm": 0.21596644818782806, + "learning_rate": 7.882551892530246e-05, + "loss": 3.098802375793457, + "step": 128880 + }, + { + "epoch": 0.2366, + "grad_norm": 0.19624997675418854, + "learning_rate": 7.881651133575859e-05, + "loss": 3.1792575836181642, + "step": 128890 + }, + { + "epoch": 0.23666666666666666, + "grad_norm": 0.1949058175086975, + "learning_rate": 7.880750234562345e-05, + "loss": 3.1532314300537108, + "step": 128900 + }, + { + "epoch": 0.23673333333333332, + "grad_norm": 0.34584054350852966, + "learning_rate": 7.879849195533491e-05, + "loss": 3.1642885208129883, + "step": 128910 + }, + { + "epoch": 0.2368, + "grad_norm": 0.19392672181129456, + "learning_rate": 7.878948016533091e-05, + "loss": 3.0955669403076174, + "step": 128920 + }, + { + "epoch": 0.23686666666666667, + "grad_norm": 0.20051176846027374, + "learning_rate": 7.878046697604944e-05, + "loss": 3.1395362854003905, + "step": 128930 + }, + { + "epoch": 0.23693333333333333, + "grad_norm": 0.20705413818359375, + "learning_rate": 7.87714523879286e-05, + "loss": 3.1457422256469725, + "step": 128940 + }, + { + "epoch": 0.237, + "grad_norm": 0.1851872205734253, + "learning_rate": 7.87624364014065e-05, + "loss": 3.1650554656982424, + "step": 128950 + }, + { + "epoch": 0.23706666666666668, + "grad_norm": 0.20501430332660675, + "learning_rate": 7.875341901692138e-05, + "loss": 3.1250295639038086, + "step": 128960 + }, + { + "epoch": 0.23713333333333333, + "grad_norm": 0.19467218220233917, + "learning_rate": 7.874440023491151e-05, + "loss": 3.0969621658325197, + "step": 128970 + }, + { + "epoch": 0.2372, + "grad_norm": 0.1930338442325592, + "learning_rate": 7.873538005581524e-05, + "loss": 3.0705282211303713, + "step": 128980 + }, + { + "epoch": 0.23726666666666665, + "grad_norm": 0.18512633442878723, + "learning_rate": 7.872635848007098e-05, + "loss": 3.124013900756836, + "step": 128990 + }, + { + "epoch": 0.23733333333333334, + "grad_norm": 0.1947951465845108, + "learning_rate": 7.87173355081172e-05, + "loss": 3.209329605102539, + "step": 129000 + }, + { + "epoch": 0.2374, + "grad_norm": 0.21121875941753387, + "learning_rate": 7.870831114039248e-05, + "loss": 3.1321413040161135, + "step": 129010 + }, + { + "epoch": 0.23746666666666666, + "grad_norm": 0.19686919450759888, + "learning_rate": 7.869928537733542e-05, + "loss": 3.113859176635742, + "step": 129020 + }, + { + "epoch": 0.23753333333333335, + "grad_norm": 0.205851212143898, + "learning_rate": 7.86902582193847e-05, + "loss": 3.109118843078613, + "step": 129030 + }, + { + "epoch": 0.2376, + "grad_norm": 0.1994025558233261, + "learning_rate": 7.868122966697908e-05, + "loss": 3.1023271560668944, + "step": 129040 + }, + { + "epoch": 0.23766666666666666, + "grad_norm": 0.20446105301380157, + "learning_rate": 7.867219972055739e-05, + "loss": 5.2427978515625, + "step": 129050 + }, + { + "epoch": 0.23773333333333332, + "grad_norm": 0.22388149797916412, + "learning_rate": 7.866316838055852e-05, + "loss": 3.075715255737305, + "step": 129060 + }, + { + "epoch": 0.2378, + "grad_norm": 0.1884075105190277, + "learning_rate": 7.86541356474214e-05, + "loss": 3.1289228439331054, + "step": 129070 + }, + { + "epoch": 0.23786666666666667, + "grad_norm": 0.19466781616210938, + "learning_rate": 7.86451015215851e-05, + "loss": 3.138962173461914, + "step": 129080 + }, + { + "epoch": 0.23793333333333333, + "grad_norm": 0.1797778308391571, + "learning_rate": 7.863606600348868e-05, + "loss": 3.1027219772338865, + "step": 129090 + }, + { + "epoch": 0.238, + "grad_norm": 0.19058558344841003, + "learning_rate": 7.862702909357132e-05, + "loss": 3.1238868713378904, + "step": 129100 + }, + { + "epoch": 0.23806666666666668, + "grad_norm": 0.2386757880449295, + "learning_rate": 7.861799079227221e-05, + "loss": 3.1892009735107423, + "step": 129110 + }, + { + "epoch": 0.23813333333333334, + "grad_norm": 0.2122185230255127, + "learning_rate": 7.860895110003069e-05, + "loss": 3.074086570739746, + "step": 129120 + }, + { + "epoch": 0.2382, + "grad_norm": 0.3677828907966614, + "learning_rate": 7.85999100172861e-05, + "loss": 3.1142709732055662, + "step": 129130 + }, + { + "epoch": 0.23826666666666665, + "grad_norm": 0.42794859409332275, + "learning_rate": 7.859086754447788e-05, + "loss": 3.414458465576172, + "step": 129140 + }, + { + "epoch": 0.23833333333333334, + "grad_norm": 0.18192049860954285, + "learning_rate": 7.858182368204551e-05, + "loss": 3.0812376022338865, + "step": 129150 + }, + { + "epoch": 0.2384, + "grad_norm": 0.20953388512134552, + "learning_rate": 7.85727784304286e-05, + "loss": 3.158494567871094, + "step": 129160 + }, + { + "epoch": 0.23846666666666666, + "grad_norm": 0.204961895942688, + "learning_rate": 7.856373179006674e-05, + "loss": 3.158390426635742, + "step": 129170 + }, + { + "epoch": 0.23853333333333335, + "grad_norm": 0.19244657456874847, + "learning_rate": 7.855468376139965e-05, + "loss": 3.1106426239013674, + "step": 129180 + }, + { + "epoch": 0.2386, + "grad_norm": 0.19005396962165833, + "learning_rate": 7.854563434486708e-05, + "loss": 3.06595516204834, + "step": 129190 + }, + { + "epoch": 0.23866666666666667, + "grad_norm": 0.19923843443393707, + "learning_rate": 7.853658354090888e-05, + "loss": 3.1383945465087892, + "step": 129200 + }, + { + "epoch": 0.23873333333333333, + "grad_norm": 0.1934855729341507, + "learning_rate": 7.852753134996495e-05, + "loss": 3.1900081634521484, + "step": 129210 + }, + { + "epoch": 0.2388, + "grad_norm": 0.19148525595664978, + "learning_rate": 7.851847777247528e-05, + "loss": 3.0929357528686525, + "step": 129220 + }, + { + "epoch": 0.23886666666666667, + "grad_norm": 0.18901968002319336, + "learning_rate": 7.850942280887987e-05, + "loss": 3.1271202087402346, + "step": 129230 + }, + { + "epoch": 0.23893333333333333, + "grad_norm": 0.19676053524017334, + "learning_rate": 7.850036645961887e-05, + "loss": 3.1170866012573244, + "step": 129240 + }, + { + "epoch": 0.239, + "grad_norm": 0.20981627702713013, + "learning_rate": 7.849130872513242e-05, + "loss": 3.1327390670776367, + "step": 129250 + }, + { + "epoch": 0.23906666666666668, + "grad_norm": 0.18850399553775787, + "learning_rate": 7.848224960586076e-05, + "loss": 3.0972537994384766, + "step": 129260 + }, + { + "epoch": 0.23913333333333334, + "grad_norm": 0.20540854334831238, + "learning_rate": 7.847318910224422e-05, + "loss": 3.1312305450439455, + "step": 129270 + }, + { + "epoch": 0.2392, + "grad_norm": 0.2058604508638382, + "learning_rate": 7.846412721472314e-05, + "loss": 3.10922908782959, + "step": 129280 + }, + { + "epoch": 0.23926666666666666, + "grad_norm": 0.18611253798007965, + "learning_rate": 7.8455063943738e-05, + "loss": 3.1126567840576174, + "step": 129290 + }, + { + "epoch": 0.23933333333333334, + "grad_norm": 0.20237497985363007, + "learning_rate": 7.844599928972928e-05, + "loss": 3.096471405029297, + "step": 129300 + }, + { + "epoch": 0.2394, + "grad_norm": 0.19229869544506073, + "learning_rate": 7.843693325313756e-05, + "loss": 3.1175567626953127, + "step": 129310 + }, + { + "epoch": 0.23946666666666666, + "grad_norm": 0.1991586536169052, + "learning_rate": 7.842786583440354e-05, + "loss": 3.1207754135131838, + "step": 129320 + }, + { + "epoch": 0.23953333333333332, + "grad_norm": 0.27051272988319397, + "learning_rate": 7.841879703396784e-05, + "loss": 3.157331085205078, + "step": 129330 + }, + { + "epoch": 0.2396, + "grad_norm": 0.2405741959810257, + "learning_rate": 7.84097268522713e-05, + "loss": 3.0732526779174805, + "step": 129340 + }, + { + "epoch": 0.23966666666666667, + "grad_norm": 0.18476566672325134, + "learning_rate": 7.840065528975473e-05, + "loss": 3.1221994400024413, + "step": 129350 + }, + { + "epoch": 0.23973333333333333, + "grad_norm": 0.20881636440753937, + "learning_rate": 7.839158234685908e-05, + "loss": 3.1387786865234375, + "step": 129360 + }, + { + "epoch": 0.2398, + "grad_norm": 0.20852269232273102, + "learning_rate": 7.83825080240253e-05, + "loss": 3.1423675537109377, + "step": 129370 + }, + { + "epoch": 0.23986666666666667, + "grad_norm": 0.19812458753585815, + "learning_rate": 7.837343232169442e-05, + "loss": 3.1923154830932616, + "step": 129380 + }, + { + "epoch": 0.23993333333333333, + "grad_norm": 0.3055170178413391, + "learning_rate": 7.836435524030761e-05, + "loss": 3.1126129150390627, + "step": 129390 + }, + { + "epoch": 0.24, + "grad_norm": 0.23380047082901, + "learning_rate": 7.835527678030601e-05, + "loss": 3.116643714904785, + "step": 129400 + }, + { + "epoch": 0.24006666666666668, + "grad_norm": 0.21099914610385895, + "learning_rate": 7.834619694213087e-05, + "loss": 3.0845285415649415, + "step": 129410 + }, + { + "epoch": 0.24013333333333334, + "grad_norm": 0.19518707692623138, + "learning_rate": 7.83371157262235e-05, + "loss": 3.090993118286133, + "step": 129420 + }, + { + "epoch": 0.2402, + "grad_norm": 0.19565246999263763, + "learning_rate": 7.832803313302531e-05, + "loss": 3.1683399200439455, + "step": 129430 + }, + { + "epoch": 0.24026666666666666, + "grad_norm": 0.1887797713279724, + "learning_rate": 7.831894916297771e-05, + "loss": 3.1070404052734375, + "step": 129440 + }, + { + "epoch": 0.24033333333333334, + "grad_norm": 0.18403683602809906, + "learning_rate": 7.830986381652226e-05, + "loss": 3.0849870681762694, + "step": 129450 + }, + { + "epoch": 0.2404, + "grad_norm": 0.19134047627449036, + "learning_rate": 7.83007770941005e-05, + "loss": 3.1591363906860352, + "step": 129460 + }, + { + "epoch": 0.24046666666666666, + "grad_norm": 0.18047071993350983, + "learning_rate": 7.829168899615409e-05, + "loss": 3.101612854003906, + "step": 129470 + }, + { + "epoch": 0.24053333333333332, + "grad_norm": 0.21558399498462677, + "learning_rate": 7.828259952312477e-05, + "loss": 3.1141742706298827, + "step": 129480 + }, + { + "epoch": 0.2406, + "grad_norm": 0.2004968374967575, + "learning_rate": 7.827350867545428e-05, + "loss": 3.0907142639160154, + "step": 129490 + }, + { + "epoch": 0.24066666666666667, + "grad_norm": 0.22857148945331573, + "learning_rate": 7.826441645358452e-05, + "loss": 3.070152473449707, + "step": 129500 + }, + { + "epoch": 0.24073333333333333, + "grad_norm": 0.2017117589712143, + "learning_rate": 7.825532285795737e-05, + "loss": 3.09793701171875, + "step": 129510 + }, + { + "epoch": 0.2408, + "grad_norm": 0.18654818832874298, + "learning_rate": 7.824622788901482e-05, + "loss": 3.1623268127441406, + "step": 129520 + }, + { + "epoch": 0.24086666666666667, + "grad_norm": 0.19253438711166382, + "learning_rate": 7.823713154719893e-05, + "loss": 3.1436981201171874, + "step": 129530 + }, + { + "epoch": 0.24093333333333333, + "grad_norm": 0.20858557522296906, + "learning_rate": 7.82280338329518e-05, + "loss": 3.106964874267578, + "step": 129540 + }, + { + "epoch": 0.241, + "grad_norm": 0.2097966969013214, + "learning_rate": 7.821893474671563e-05, + "loss": 3.0792562484741213, + "step": 129550 + }, + { + "epoch": 0.24106666666666668, + "grad_norm": 0.19747111201286316, + "learning_rate": 7.820983428893267e-05, + "loss": 3.07620792388916, + "step": 129560 + }, + { + "epoch": 0.24113333333333334, + "grad_norm": 0.20009911060333252, + "learning_rate": 7.820073246004523e-05, + "loss": 3.1056539535522463, + "step": 129570 + }, + { + "epoch": 0.2412, + "grad_norm": 0.23199118673801422, + "learning_rate": 7.819162926049568e-05, + "loss": 3.1885473251342775, + "step": 129580 + }, + { + "epoch": 0.24126666666666666, + "grad_norm": 0.276076078414917, + "learning_rate": 7.818252469072649e-05, + "loss": 3.1550481796264647, + "step": 129590 + }, + { + "epoch": 0.24133333333333334, + "grad_norm": 0.2018890529870987, + "learning_rate": 7.817341875118016e-05, + "loss": 3.110218620300293, + "step": 129600 + }, + { + "epoch": 0.2414, + "grad_norm": 0.23187041282653809, + "learning_rate": 7.81643114422993e-05, + "loss": 3.130044937133789, + "step": 129610 + }, + { + "epoch": 0.24146666666666666, + "grad_norm": 0.19122877717018127, + "learning_rate": 7.815520276452652e-05, + "loss": 3.1263723373413086, + "step": 129620 + }, + { + "epoch": 0.24153333333333332, + "grad_norm": 0.203164204955101, + "learning_rate": 7.814609271830457e-05, + "loss": 3.1002439498901366, + "step": 129630 + }, + { + "epoch": 0.2416, + "grad_norm": 0.2009083330631256, + "learning_rate": 7.813698130407623e-05, + "loss": 3.1223194122314455, + "step": 129640 + }, + { + "epoch": 0.24166666666666667, + "grad_norm": 0.21814198791980743, + "learning_rate": 7.812786852228433e-05, + "loss": 3.0749860763549806, + "step": 129650 + }, + { + "epoch": 0.24173333333333333, + "grad_norm": 0.20039315521717072, + "learning_rate": 7.81187543733718e-05, + "loss": 3.0212690353393556, + "step": 129660 + }, + { + "epoch": 0.2418, + "grad_norm": 0.19228285551071167, + "learning_rate": 7.810963885778162e-05, + "loss": 3.116402435302734, + "step": 129670 + }, + { + "epoch": 0.24186666666666667, + "grad_norm": 0.183794766664505, + "learning_rate": 7.810052197595683e-05, + "loss": 3.1070959091186525, + "step": 129680 + }, + { + "epoch": 0.24193333333333333, + "grad_norm": 0.1852482408285141, + "learning_rate": 7.809140372834054e-05, + "loss": 3.0976541519165037, + "step": 129690 + }, + { + "epoch": 0.242, + "grad_norm": 0.2469191700220108, + "learning_rate": 7.808228411537596e-05, + "loss": 3.1224361419677735, + "step": 129700 + }, + { + "epoch": 0.24206666666666668, + "grad_norm": 0.197658970952034, + "learning_rate": 7.807316313750631e-05, + "loss": 3.1251630783081055, + "step": 129710 + }, + { + "epoch": 0.24213333333333334, + "grad_norm": 0.1856827288866043, + "learning_rate": 7.806404079517493e-05, + "loss": 3.130922317504883, + "step": 129720 + }, + { + "epoch": 0.2422, + "grad_norm": 0.21898658573627472, + "learning_rate": 7.805491708882516e-05, + "loss": 3.111405372619629, + "step": 129730 + }, + { + "epoch": 0.24226666666666666, + "grad_norm": 0.21423667669296265, + "learning_rate": 7.804579201890049e-05, + "loss": 3.2154579162597656, + "step": 129740 + }, + { + "epoch": 0.24233333333333335, + "grad_norm": 0.19157442450523376, + "learning_rate": 7.80366655858444e-05, + "loss": 3.130908966064453, + "step": 129750 + }, + { + "epoch": 0.2424, + "grad_norm": 0.2176418900489807, + "learning_rate": 7.802753779010049e-05, + "loss": 3.1033584594726564, + "step": 129760 + }, + { + "epoch": 0.24246666666666666, + "grad_norm": 0.18478159606456757, + "learning_rate": 7.80184086321124e-05, + "loss": 3.1766887664794923, + "step": 129770 + }, + { + "epoch": 0.24253333333333332, + "grad_norm": 0.32628607749938965, + "learning_rate": 7.800927811232384e-05, + "loss": 3.1245609283447267, + "step": 129780 + }, + { + "epoch": 0.2426, + "grad_norm": 0.20412087440490723, + "learning_rate": 7.800014623117857e-05, + "loss": 3.1022762298583983, + "step": 129790 + }, + { + "epoch": 0.24266666666666667, + "grad_norm": 0.19191405177116394, + "learning_rate": 7.799101298912046e-05, + "loss": 3.101492500305176, + "step": 129800 + }, + { + "epoch": 0.24273333333333333, + "grad_norm": 0.22093628346920013, + "learning_rate": 7.798187838659343e-05, + "loss": 3.1290258407592773, + "step": 129810 + }, + { + "epoch": 0.2428, + "grad_norm": 0.1969684660434723, + "learning_rate": 7.797274242404143e-05, + "loss": 3.1243206024169923, + "step": 129820 + }, + { + "epoch": 0.24286666666666668, + "grad_norm": 0.19538657367229462, + "learning_rate": 7.796360510190849e-05, + "loss": 3.150746154785156, + "step": 129830 + }, + { + "epoch": 0.24293333333333333, + "grad_norm": 0.19428271055221558, + "learning_rate": 7.795446642063874e-05, + "loss": 3.127995491027832, + "step": 129840 + }, + { + "epoch": 0.243, + "grad_norm": 0.18956232070922852, + "learning_rate": 7.794532638067638e-05, + "loss": 3.1072269439697267, + "step": 129850 + }, + { + "epoch": 0.24306666666666665, + "grad_norm": 0.28544241189956665, + "learning_rate": 7.79361849824656e-05, + "loss": 3.1311420440673827, + "step": 129860 + }, + { + "epoch": 0.24313333333333334, + "grad_norm": 0.22687481343746185, + "learning_rate": 7.792704222645073e-05, + "loss": 3.1950393676757813, + "step": 129870 + }, + { + "epoch": 0.2432, + "grad_norm": 0.1839340627193451, + "learning_rate": 7.791789811307614e-05, + "loss": 3.12241153717041, + "step": 129880 + }, + { + "epoch": 0.24326666666666666, + "grad_norm": 0.19680246710777283, + "learning_rate": 7.79087526427863e-05, + "loss": 3.155438041687012, + "step": 129890 + }, + { + "epoch": 0.24333333333333335, + "grad_norm": 0.21327312290668488, + "learning_rate": 7.789960581602566e-05, + "loss": 3.0595401763916015, + "step": 129900 + }, + { + "epoch": 0.2434, + "grad_norm": 0.19874624907970428, + "learning_rate": 7.789045763323881e-05, + "loss": 3.1211368560791017, + "step": 129910 + }, + { + "epoch": 0.24346666666666666, + "grad_norm": 0.2048627883195877, + "learning_rate": 7.78813080948704e-05, + "loss": 3.0904514312744142, + "step": 129920 + }, + { + "epoch": 0.24353333333333332, + "grad_norm": 0.19842354953289032, + "learning_rate": 7.787215720136513e-05, + "loss": 3.1289796829223633, + "step": 129930 + }, + { + "epoch": 0.2436, + "grad_norm": 0.43757450580596924, + "learning_rate": 7.786300495316776e-05, + "loss": 3.168450927734375, + "step": 129940 + }, + { + "epoch": 0.24366666666666667, + "grad_norm": 0.19777542352676392, + "learning_rate": 7.785385135072312e-05, + "loss": 3.1608152389526367, + "step": 129950 + }, + { + "epoch": 0.24373333333333333, + "grad_norm": 0.29431554675102234, + "learning_rate": 7.78446963944761e-05, + "loss": 3.1140233993530275, + "step": 129960 + }, + { + "epoch": 0.2438, + "grad_norm": 0.22406014800071716, + "learning_rate": 7.783554008487171e-05, + "loss": 3.0903446197509767, + "step": 129970 + }, + { + "epoch": 0.24386666666666668, + "grad_norm": 0.19644206762313843, + "learning_rate": 7.782638242235493e-05, + "loss": 3.1190515518188477, + "step": 129980 + }, + { + "epoch": 0.24393333333333334, + "grad_norm": 0.20410388708114624, + "learning_rate": 7.781722340737088e-05, + "loss": 3.110364532470703, + "step": 129990 + }, + { + "epoch": 0.244, + "grad_norm": 0.1865970641374588, + "learning_rate": 7.780806304036471e-05, + "loss": 3.0826671600341795, + "step": 130000 + }, + { + "epoch": 0.24406666666666665, + "grad_norm": 0.19349081814289093, + "learning_rate": 7.77989013217817e-05, + "loss": 3.123083305358887, + "step": 130010 + }, + { + "epoch": 0.24413333333333334, + "grad_norm": 0.18096202611923218, + "learning_rate": 7.778973825206707e-05, + "loss": 3.179860305786133, + "step": 130020 + }, + { + "epoch": 0.2442, + "grad_norm": 0.35122621059417725, + "learning_rate": 7.778057383166622e-05, + "loss": 3.0763593673706056, + "step": 130030 + }, + { + "epoch": 0.24426666666666666, + "grad_norm": 0.20089606940746307, + "learning_rate": 7.777140806102457e-05, + "loss": 3.1384885787963865, + "step": 130040 + }, + { + "epoch": 0.24433333333333335, + "grad_norm": 0.2377898395061493, + "learning_rate": 7.776224094058762e-05, + "loss": 3.161794662475586, + "step": 130050 + }, + { + "epoch": 0.2444, + "grad_norm": 0.20747947692871094, + "learning_rate": 7.775307247080091e-05, + "loss": 3.1101661682128907, + "step": 130060 + }, + { + "epoch": 0.24446666666666667, + "grad_norm": 0.21462030708789825, + "learning_rate": 7.774390265211007e-05, + "loss": 3.09183349609375, + "step": 130070 + }, + { + "epoch": 0.24453333333333332, + "grad_norm": 0.1807118058204651, + "learning_rate": 7.773473148496078e-05, + "loss": 3.067582702636719, + "step": 130080 + }, + { + "epoch": 0.2446, + "grad_norm": 0.2122848480939865, + "learning_rate": 7.772555896979881e-05, + "loss": 3.1308338165283205, + "step": 130090 + }, + { + "epoch": 0.24466666666666667, + "grad_norm": 0.20097436010837555, + "learning_rate": 7.771638510706996e-05, + "loss": 3.174765396118164, + "step": 130100 + }, + { + "epoch": 0.24473333333333333, + "grad_norm": 0.2760918438434601, + "learning_rate": 7.770720989722014e-05, + "loss": 3.119975280761719, + "step": 130110 + }, + { + "epoch": 0.2448, + "grad_norm": 0.20985813438892365, + "learning_rate": 7.769803334069525e-05, + "loss": 3.126809310913086, + "step": 130120 + }, + { + "epoch": 0.24486666666666668, + "grad_norm": 0.2089572548866272, + "learning_rate": 7.768885543794138e-05, + "loss": 3.0515417098999023, + "step": 130130 + }, + { + "epoch": 0.24493333333333334, + "grad_norm": 0.2083936333656311, + "learning_rate": 7.767967618940454e-05, + "loss": 3.088283920288086, + "step": 130140 + }, + { + "epoch": 0.245, + "grad_norm": 0.18939723074436188, + "learning_rate": 7.767049559553093e-05, + "loss": 3.129694175720215, + "step": 130150 + }, + { + "epoch": 0.24506666666666665, + "grad_norm": 0.19185718894004822, + "learning_rate": 7.766131365676671e-05, + "loss": 3.0896556854248045, + "step": 130160 + }, + { + "epoch": 0.24513333333333334, + "grad_norm": 0.27521276473999023, + "learning_rate": 7.76521303735582e-05, + "loss": 3.0616025924682617, + "step": 130170 + }, + { + "epoch": 0.2452, + "grad_norm": 0.18886210024356842, + "learning_rate": 7.764294574635172e-05, + "loss": 3.105845260620117, + "step": 130180 + }, + { + "epoch": 0.24526666666666666, + "grad_norm": 0.20202931761741638, + "learning_rate": 7.763375977559368e-05, + "loss": 3.1290849685668944, + "step": 130190 + }, + { + "epoch": 0.24533333333333332, + "grad_norm": 0.19320796430110931, + "learning_rate": 7.762457246173055e-05, + "loss": 3.0866527557373047, + "step": 130200 + }, + { + "epoch": 0.2454, + "grad_norm": 0.19791024923324585, + "learning_rate": 7.76153838052089e-05, + "loss": 3.1412517547607424, + "step": 130210 + }, + { + "epoch": 0.24546666666666667, + "grad_norm": 0.20490702986717224, + "learning_rate": 7.760619380647529e-05, + "loss": 3.106547546386719, + "step": 130220 + }, + { + "epoch": 0.24553333333333333, + "grad_norm": 0.20612628757953644, + "learning_rate": 7.759700246597642e-05, + "loss": 3.105611801147461, + "step": 130230 + }, + { + "epoch": 0.2456, + "grad_norm": 0.18293292820453644, + "learning_rate": 7.7587809784159e-05, + "loss": 3.144797706604004, + "step": 130240 + }, + { + "epoch": 0.24566666666666667, + "grad_norm": 0.20494122803211212, + "learning_rate": 7.757861576146984e-05, + "loss": 3.10308723449707, + "step": 130250 + }, + { + "epoch": 0.24573333333333333, + "grad_norm": 0.6598485708236694, + "learning_rate": 7.75694203983558e-05, + "loss": 3.090372085571289, + "step": 130260 + }, + { + "epoch": 0.2458, + "grad_norm": 0.21450838446617126, + "learning_rate": 7.756022369526383e-05, + "loss": 3.0993701934814455, + "step": 130270 + }, + { + "epoch": 0.24586666666666668, + "grad_norm": 0.20600757002830505, + "learning_rate": 7.755102565264089e-05, + "loss": 3.136579895019531, + "step": 130280 + }, + { + "epoch": 0.24593333333333334, + "grad_norm": 0.19058267772197723, + "learning_rate": 7.754182627093407e-05, + "loss": 3.1025758743286134, + "step": 130290 + }, + { + "epoch": 0.246, + "grad_norm": 0.3747956454753876, + "learning_rate": 7.753262555059048e-05, + "loss": 3.193290138244629, + "step": 130300 + }, + { + "epoch": 0.24606666666666666, + "grad_norm": 0.20493488013744354, + "learning_rate": 7.752342349205731e-05, + "loss": 3.07657527923584, + "step": 130310 + }, + { + "epoch": 0.24613333333333334, + "grad_norm": 0.2656843066215515, + "learning_rate": 7.751422009578181e-05, + "loss": 3.1245546340942383, + "step": 130320 + }, + { + "epoch": 0.2462, + "grad_norm": 0.24261479079723358, + "learning_rate": 7.750501536221131e-05, + "loss": 3.0969030380249025, + "step": 130330 + }, + { + "epoch": 0.24626666666666666, + "grad_norm": 0.2081269770860672, + "learning_rate": 7.74958092917932e-05, + "loss": 3.054640197753906, + "step": 130340 + }, + { + "epoch": 0.24633333333333332, + "grad_norm": 0.19526933133602142, + "learning_rate": 7.748660188497492e-05, + "loss": 3.1528013229370115, + "step": 130350 + }, + { + "epoch": 0.2464, + "grad_norm": 0.20064017176628113, + "learning_rate": 7.747739314220396e-05, + "loss": 3.0920642852783202, + "step": 130360 + }, + { + "epoch": 0.24646666666666667, + "grad_norm": 0.44463515281677246, + "learning_rate": 7.746818306392796e-05, + "loss": 3.0486770629882813, + "step": 130370 + }, + { + "epoch": 0.24653333333333333, + "grad_norm": 0.3214130103588104, + "learning_rate": 7.745897165059451e-05, + "loss": 3.246694564819336, + "step": 130380 + }, + { + "epoch": 0.2466, + "grad_norm": 0.1958009898662567, + "learning_rate": 7.744975890265134e-05, + "loss": 3.160366249084473, + "step": 130390 + }, + { + "epoch": 0.24666666666666667, + "grad_norm": 0.20793341100215912, + "learning_rate": 7.744054482054624e-05, + "loss": 3.159522819519043, + "step": 130400 + }, + { + "epoch": 0.24673333333333333, + "grad_norm": 0.6958319544792175, + "learning_rate": 7.743132940472702e-05, + "loss": 3.1575433731079103, + "step": 130410 + }, + { + "epoch": 0.2468, + "grad_norm": 0.1838734745979309, + "learning_rate": 7.74221126556416e-05, + "loss": 3.062670135498047, + "step": 130420 + }, + { + "epoch": 0.24686666666666668, + "grad_norm": 0.20754264295101166, + "learning_rate": 7.741289457373795e-05, + "loss": 3.1181955337524414, + "step": 130430 + }, + { + "epoch": 0.24693333333333334, + "grad_norm": 0.1902933418750763, + "learning_rate": 7.74036751594641e-05, + "loss": 3.129838562011719, + "step": 130440 + }, + { + "epoch": 0.247, + "grad_norm": 0.24422617256641388, + "learning_rate": 7.739445441326813e-05, + "loss": 3.227000427246094, + "step": 130450 + }, + { + "epoch": 0.24706666666666666, + "grad_norm": 0.4229270815849304, + "learning_rate": 7.738523233559825e-05, + "loss": 3.139012908935547, + "step": 130460 + }, + { + "epoch": 0.24713333333333334, + "grad_norm": 0.21502043306827545, + "learning_rate": 7.737600892690263e-05, + "loss": 3.17025203704834, + "step": 130470 + }, + { + "epoch": 0.2472, + "grad_norm": 0.220823734998703, + "learning_rate": 7.736678418762962e-05, + "loss": 3.1793437957763673, + "step": 130480 + }, + { + "epoch": 0.24726666666666666, + "grad_norm": 0.21424704790115356, + "learning_rate": 7.735755811822751e-05, + "loss": 3.2100337982177733, + "step": 130490 + }, + { + "epoch": 0.24733333333333332, + "grad_norm": 0.44343000650405884, + "learning_rate": 7.734833071914478e-05, + "loss": 3.179047966003418, + "step": 130500 + }, + { + "epoch": 0.2474, + "grad_norm": 0.20584286749362946, + "learning_rate": 7.733910199082991e-05, + "loss": 3.1605161666870116, + "step": 130510 + }, + { + "epoch": 0.24746666666666667, + "grad_norm": 0.21955521404743195, + "learning_rate": 7.732987193373143e-05, + "loss": 3.1246692657470705, + "step": 130520 + }, + { + "epoch": 0.24753333333333333, + "grad_norm": 0.1932043731212616, + "learning_rate": 7.732064054829795e-05, + "loss": 3.186284828186035, + "step": 130530 + }, + { + "epoch": 0.2476, + "grad_norm": 0.21017810702323914, + "learning_rate": 7.731140783497818e-05, + "loss": 3.1099538803100586, + "step": 130540 + }, + { + "epoch": 0.24766666666666667, + "grad_norm": 0.20173309743404388, + "learning_rate": 7.730217379422085e-05, + "loss": 3.137156867980957, + "step": 130550 + }, + { + "epoch": 0.24773333333333333, + "grad_norm": 1.4309595823287964, + "learning_rate": 7.729293842647476e-05, + "loss": 3.104152870178223, + "step": 130560 + }, + { + "epoch": 0.2478, + "grad_norm": 0.1927039623260498, + "learning_rate": 7.728370173218878e-05, + "loss": 3.1010250091552733, + "step": 130570 + }, + { + "epoch": 0.24786666666666668, + "grad_norm": 0.20927287638187408, + "learning_rate": 7.727446371181187e-05, + "loss": 3.110220527648926, + "step": 130580 + }, + { + "epoch": 0.24793333333333334, + "grad_norm": 0.19950976967811584, + "learning_rate": 7.726522436579302e-05, + "loss": 3.05800838470459, + "step": 130590 + }, + { + "epoch": 0.248, + "grad_norm": 0.22317920625209808, + "learning_rate": 7.725598369458131e-05, + "loss": 3.1005685806274412, + "step": 130600 + }, + { + "epoch": 0.24806666666666666, + "grad_norm": 0.1852644830942154, + "learning_rate": 7.724674169862586e-05, + "loss": 3.118148422241211, + "step": 130610 + }, + { + "epoch": 0.24813333333333334, + "grad_norm": 0.20242933928966522, + "learning_rate": 7.723749837837586e-05, + "loss": 3.115787124633789, + "step": 130620 + }, + { + "epoch": 0.2482, + "grad_norm": 0.25317543745040894, + "learning_rate": 7.722825373428058e-05, + "loss": 3.2229694366455077, + "step": 130630 + }, + { + "epoch": 0.24826666666666666, + "grad_norm": 0.31111419200897217, + "learning_rate": 7.721900776678932e-05, + "loss": 3.177674674987793, + "step": 130640 + }, + { + "epoch": 0.24833333333333332, + "grad_norm": 1.2280418872833252, + "learning_rate": 7.720976047635151e-05, + "loss": 3.0677967071533203, + "step": 130650 + }, + { + "epoch": 0.2484, + "grad_norm": 0.18696750700473785, + "learning_rate": 7.72005118634166e-05, + "loss": 3.0856590270996094, + "step": 130660 + }, + { + "epoch": 0.24846666666666667, + "grad_norm": 0.542655348777771, + "learning_rate": 7.719126192843406e-05, + "loss": 3.1448089599609377, + "step": 130670 + }, + { + "epoch": 0.24853333333333333, + "grad_norm": 0.18834935128688812, + "learning_rate": 7.71820106718535e-05, + "loss": 3.0835309982299806, + "step": 130680 + }, + { + "epoch": 0.2486, + "grad_norm": 0.6409217119216919, + "learning_rate": 7.717275809412461e-05, + "loss": 3.135593605041504, + "step": 130690 + }, + { + "epoch": 0.24866666666666667, + "grad_norm": 0.22523550689220428, + "learning_rate": 7.716350419569703e-05, + "loss": 3.1824068069458007, + "step": 130700 + }, + { + "epoch": 0.24873333333333333, + "grad_norm": 0.19868077337741852, + "learning_rate": 7.715424897702057e-05, + "loss": 3.1162811279296876, + "step": 130710 + }, + { + "epoch": 0.2488, + "grad_norm": 0.19609664380550385, + "learning_rate": 7.714499243854505e-05, + "loss": 3.0799842834472657, + "step": 130720 + }, + { + "epoch": 0.24886666666666668, + "grad_norm": 0.184064581990242, + "learning_rate": 7.713573458072042e-05, + "loss": 3.139324951171875, + "step": 130730 + }, + { + "epoch": 0.24893333333333334, + "grad_norm": 0.18962138891220093, + "learning_rate": 7.712647540399657e-05, + "loss": 3.0745416641235352, + "step": 130740 + }, + { + "epoch": 0.249, + "grad_norm": 0.19830356538295746, + "learning_rate": 7.71172149088236e-05, + "loss": 3.1069169998168946, + "step": 130750 + }, + { + "epoch": 0.24906666666666666, + "grad_norm": 0.21197432279586792, + "learning_rate": 7.710795309565155e-05, + "loss": 3.1705413818359376, + "step": 130760 + }, + { + "epoch": 0.24913333333333335, + "grad_norm": 0.3304200768470764, + "learning_rate": 7.709868996493063e-05, + "loss": 3.091227149963379, + "step": 130770 + }, + { + "epoch": 0.2492, + "grad_norm": 0.22616362571716309, + "learning_rate": 7.708942551711104e-05, + "loss": 3.211791229248047, + "step": 130780 + }, + { + "epoch": 0.24926666666666666, + "grad_norm": 0.21792897582054138, + "learning_rate": 7.708015975264307e-05, + "loss": 3.0710853576660155, + "step": 130790 + }, + { + "epoch": 0.24933333333333332, + "grad_norm": 0.1842462569475174, + "learning_rate": 7.707089267197706e-05, + "loss": 3.112366485595703, + "step": 130800 + }, + { + "epoch": 0.2494, + "grad_norm": 0.20462875068187714, + "learning_rate": 7.706162427556343e-05, + "loss": 3.102873611450195, + "step": 130810 + }, + { + "epoch": 0.24946666666666667, + "grad_norm": 0.1847117394208908, + "learning_rate": 7.705235456385266e-05, + "loss": 3.1189123153686524, + "step": 130820 + }, + { + "epoch": 0.24953333333333333, + "grad_norm": 0.20086945593357086, + "learning_rate": 7.704308353729531e-05, + "loss": 3.097393608093262, + "step": 130830 + }, + { + "epoch": 0.2496, + "grad_norm": 0.2115822434425354, + "learning_rate": 7.703381119634197e-05, + "loss": 3.0962574005126955, + "step": 130840 + }, + { + "epoch": 0.24966666666666668, + "grad_norm": 0.18000033497810364, + "learning_rate": 7.702453754144332e-05, + "loss": 3.096761131286621, + "step": 130850 + }, + { + "epoch": 0.24973333333333333, + "grad_norm": 0.25529199838638306, + "learning_rate": 7.701526257305007e-05, + "loss": 3.1101190567016603, + "step": 130860 + }, + { + "epoch": 0.2498, + "grad_norm": 0.20311905443668365, + "learning_rate": 7.700598629161304e-05, + "loss": 3.1747623443603517, + "step": 130870 + }, + { + "epoch": 0.24986666666666665, + "grad_norm": 0.2020729035139084, + "learning_rate": 7.699670869758309e-05, + "loss": 3.127811050415039, + "step": 130880 + }, + { + "epoch": 0.24993333333333334, + "grad_norm": 0.20837697386741638, + "learning_rate": 7.698742979141113e-05, + "loss": 3.140334701538086, + "step": 130890 + }, + { + "epoch": 0.25, + "grad_norm": 0.19381238520145416, + "learning_rate": 7.697814957354819e-05, + "loss": 3.1220001220703124, + "step": 130900 + }, + { + "epoch": 0.25006666666666666, + "grad_norm": 0.20099198818206787, + "learning_rate": 7.69688680444453e-05, + "loss": 3.073299217224121, + "step": 130910 + }, + { + "epoch": 0.2501333333333333, + "grad_norm": 0.2005809247493744, + "learning_rate": 7.695958520455355e-05, + "loss": 3.101541519165039, + "step": 130920 + }, + { + "epoch": 0.2502, + "grad_norm": 0.19838783144950867, + "learning_rate": 7.695030105432417e-05, + "loss": 3.094756317138672, + "step": 130930 + }, + { + "epoch": 0.2502666666666667, + "grad_norm": 0.21376672387123108, + "learning_rate": 7.694101559420837e-05, + "loss": 3.1461042404174804, + "step": 130940 + }, + { + "epoch": 0.25033333333333335, + "grad_norm": 0.1880926936864853, + "learning_rate": 7.693172882465748e-05, + "loss": 3.0917789459228517, + "step": 130950 + }, + { + "epoch": 0.2504, + "grad_norm": 0.19503068923950195, + "learning_rate": 7.692244074612285e-05, + "loss": 3.1348398208618162, + "step": 130960 + }, + { + "epoch": 0.25046666666666667, + "grad_norm": 0.17917245626449585, + "learning_rate": 7.691315135905595e-05, + "loss": 3.1019851684570314, + "step": 130970 + }, + { + "epoch": 0.25053333333333333, + "grad_norm": 0.3140735328197479, + "learning_rate": 7.690386066390822e-05, + "loss": 3.0731340408325196, + "step": 130980 + }, + { + "epoch": 0.2506, + "grad_norm": 0.24666203558444977, + "learning_rate": 7.68945686611313e-05, + "loss": 3.0892635345458985, + "step": 130990 + }, + { + "epoch": 0.25066666666666665, + "grad_norm": 0.19600367546081543, + "learning_rate": 7.688527535117675e-05, + "loss": 3.066097640991211, + "step": 131000 + }, + { + "epoch": 0.2507333333333333, + "grad_norm": 0.3283669948577881, + "learning_rate": 7.687598073449628e-05, + "loss": 3.097826385498047, + "step": 131010 + }, + { + "epoch": 0.2508, + "grad_norm": 0.20759394764900208, + "learning_rate": 7.686668481154167e-05, + "loss": 3.0902950286865236, + "step": 131020 + }, + { + "epoch": 0.2508666666666667, + "grad_norm": 0.19426025450229645, + "learning_rate": 7.685738758276471e-05, + "loss": 3.109091377258301, + "step": 131030 + }, + { + "epoch": 0.25093333333333334, + "grad_norm": 0.46763691306114197, + "learning_rate": 7.684808904861728e-05, + "loss": 3.167312240600586, + "step": 131040 + }, + { + "epoch": 0.251, + "grad_norm": 0.21592260897159576, + "learning_rate": 7.683878920955135e-05, + "loss": 3.0964334487915037, + "step": 131050 + }, + { + "epoch": 0.25106666666666666, + "grad_norm": 0.19615115225315094, + "learning_rate": 7.682948806601888e-05, + "loss": 3.0835765838623046, + "step": 131060 + }, + { + "epoch": 0.2511333333333333, + "grad_norm": 0.20492210984230042, + "learning_rate": 7.6820185618472e-05, + "loss": 3.064090919494629, + "step": 131070 + }, + { + "epoch": 0.2512, + "grad_norm": 0.18885301053524017, + "learning_rate": 7.681088186736278e-05, + "loss": 3.091996192932129, + "step": 131080 + }, + { + "epoch": 0.2512666666666667, + "grad_norm": 0.21573273837566376, + "learning_rate": 7.680157681314349e-05, + "loss": 3.1009237289428713, + "step": 131090 + }, + { + "epoch": 0.25133333333333335, + "grad_norm": 0.17836618423461914, + "learning_rate": 7.679227045626633e-05, + "loss": 3.1048952102661134, + "step": 131100 + }, + { + "epoch": 0.2514, + "grad_norm": 0.21474595367908478, + "learning_rate": 7.678296279718364e-05, + "loss": 3.1237125396728516, + "step": 131110 + }, + { + "epoch": 0.25146666666666667, + "grad_norm": 0.26227203011512756, + "learning_rate": 7.677365383634782e-05, + "loss": 3.1128471374511717, + "step": 131120 + }, + { + "epoch": 0.25153333333333333, + "grad_norm": 0.20067629218101501, + "learning_rate": 7.67643435742113e-05, + "loss": 3.1654659271240235, + "step": 131130 + }, + { + "epoch": 0.2516, + "grad_norm": 0.20465698838233948, + "learning_rate": 7.675503201122663e-05, + "loss": 3.0780624389648437, + "step": 131140 + }, + { + "epoch": 0.25166666666666665, + "grad_norm": 0.1915210336446762, + "learning_rate": 7.674571914784635e-05, + "loss": 3.0960338592529295, + "step": 131150 + }, + { + "epoch": 0.2517333333333333, + "grad_norm": 0.20574969053268433, + "learning_rate": 7.673640498452311e-05, + "loss": 3.092115783691406, + "step": 131160 + }, + { + "epoch": 0.2518, + "grad_norm": 0.2250441312789917, + "learning_rate": 7.672708952170962e-05, + "loss": 3.099943733215332, + "step": 131170 + }, + { + "epoch": 0.2518666666666667, + "grad_norm": 0.18265187740325928, + "learning_rate": 7.671777275985866e-05, + "loss": 3.09893913269043, + "step": 131180 + }, + { + "epoch": 0.25193333333333334, + "grad_norm": 0.18874385952949524, + "learning_rate": 7.670845469942304e-05, + "loss": 3.0699174880981444, + "step": 131190 + }, + { + "epoch": 0.252, + "grad_norm": 0.23396532237529755, + "learning_rate": 7.669913534085565e-05, + "loss": 3.138132858276367, + "step": 131200 + }, + { + "epoch": 0.25206666666666666, + "grad_norm": 0.19594243168830872, + "learning_rate": 7.668981468460946e-05, + "loss": 3.1604066848754884, + "step": 131210 + }, + { + "epoch": 0.2521333333333333, + "grad_norm": 0.19283434748649597, + "learning_rate": 7.668049273113747e-05, + "loss": 3.074832725524902, + "step": 131220 + }, + { + "epoch": 0.2522, + "grad_norm": 0.19939422607421875, + "learning_rate": 7.667116948089279e-05, + "loss": 3.1302860260009764, + "step": 131230 + }, + { + "epoch": 0.25226666666666664, + "grad_norm": 0.2094760686159134, + "learning_rate": 7.666184493432855e-05, + "loss": 3.1960660934448244, + "step": 131240 + }, + { + "epoch": 0.25233333333333335, + "grad_norm": 0.21854250133037567, + "learning_rate": 7.665251909189795e-05, + "loss": 3.113912010192871, + "step": 131250 + }, + { + "epoch": 0.2524, + "grad_norm": 0.2030598372220993, + "learning_rate": 7.664319195405427e-05, + "loss": 3.1666793823242188, + "step": 131260 + }, + { + "epoch": 0.2524666666666667, + "grad_norm": 0.19328442215919495, + "learning_rate": 7.663386352125087e-05, + "loss": 3.0825252532958984, + "step": 131270 + }, + { + "epoch": 0.25253333333333333, + "grad_norm": 0.58448725938797, + "learning_rate": 7.662453379394107e-05, + "loss": 3.0957033157348635, + "step": 131280 + }, + { + "epoch": 0.2526, + "grad_norm": 0.19897449016571045, + "learning_rate": 7.661520277257842e-05, + "loss": 3.097664451599121, + "step": 131290 + }, + { + "epoch": 0.25266666666666665, + "grad_norm": 0.20914138853549957, + "learning_rate": 7.660587045761638e-05, + "loss": 3.1423152923583983, + "step": 131300 + }, + { + "epoch": 0.2527333333333333, + "grad_norm": 0.18076956272125244, + "learning_rate": 7.659653684950858e-05, + "loss": 3.121456527709961, + "step": 131310 + }, + { + "epoch": 0.2528, + "grad_norm": 0.21648748219013214, + "learning_rate": 7.658720194870863e-05, + "loss": 3.1404762268066406, + "step": 131320 + }, + { + "epoch": 0.2528666666666667, + "grad_norm": 0.19014327228069305, + "learning_rate": 7.657786575567027e-05, + "loss": 3.0800708770751952, + "step": 131330 + }, + { + "epoch": 0.25293333333333334, + "grad_norm": 0.23843728005886078, + "learning_rate": 7.656852827084728e-05, + "loss": 3.054199981689453, + "step": 131340 + }, + { + "epoch": 0.253, + "grad_norm": 0.3071354925632477, + "learning_rate": 7.655918949469345e-05, + "loss": 3.119614601135254, + "step": 131350 + }, + { + "epoch": 0.25306666666666666, + "grad_norm": 0.22083532810211182, + "learning_rate": 7.654984942766272e-05, + "loss": 3.1534540176391603, + "step": 131360 + }, + { + "epoch": 0.2531333333333333, + "grad_norm": 0.2949063777923584, + "learning_rate": 7.654050807020906e-05, + "loss": 3.120478630065918, + "step": 131370 + }, + { + "epoch": 0.2532, + "grad_norm": 0.21545208990573883, + "learning_rate": 7.653116542278645e-05, + "loss": 3.109859657287598, + "step": 131380 + }, + { + "epoch": 0.25326666666666664, + "grad_norm": 0.19328367710113525, + "learning_rate": 7.652182148584903e-05, + "loss": 3.1209564208984375, + "step": 131390 + }, + { + "epoch": 0.25333333333333335, + "grad_norm": 0.18428869545459747, + "learning_rate": 7.651247625985091e-05, + "loss": 3.106141471862793, + "step": 131400 + }, + { + "epoch": 0.2534, + "grad_norm": 0.2172003835439682, + "learning_rate": 7.650312974524632e-05, + "loss": 3.2643665313720702, + "step": 131410 + }, + { + "epoch": 0.2534666666666667, + "grad_norm": 0.19496457278728485, + "learning_rate": 7.649378194248955e-05, + "loss": 3.0972217559814452, + "step": 131420 + }, + { + "epoch": 0.25353333333333333, + "grad_norm": 0.18633554875850677, + "learning_rate": 7.648443285203492e-05, + "loss": 3.100021553039551, + "step": 131430 + }, + { + "epoch": 0.2536, + "grad_norm": 0.22328804433345795, + "learning_rate": 7.647508247433684e-05, + "loss": 3.1317447662353515, + "step": 131440 + }, + { + "epoch": 0.25366666666666665, + "grad_norm": 0.2073354572057724, + "learning_rate": 7.646573080984975e-05, + "loss": 3.1126747131347656, + "step": 131450 + }, + { + "epoch": 0.2537333333333333, + "grad_norm": 0.19602303206920624, + "learning_rate": 7.645637785902821e-05, + "loss": 3.120380401611328, + "step": 131460 + }, + { + "epoch": 0.2538, + "grad_norm": 0.19591465592384338, + "learning_rate": 7.644702362232679e-05, + "loss": 3.1172462463378907, + "step": 131470 + }, + { + "epoch": 0.2538666666666667, + "grad_norm": 0.1886298656463623, + "learning_rate": 7.643766810020015e-05, + "loss": 3.1300954818725586, + "step": 131480 + }, + { + "epoch": 0.25393333333333334, + "grad_norm": 0.19617930054664612, + "learning_rate": 7.642831129310298e-05, + "loss": 3.0855655670166016, + "step": 131490 + }, + { + "epoch": 0.254, + "grad_norm": 0.20393683016300201, + "learning_rate": 7.641895320149008e-05, + "loss": 3.1232578277587892, + "step": 131500 + }, + { + "epoch": 0.25406666666666666, + "grad_norm": 0.6660206913948059, + "learning_rate": 7.640959382581631e-05, + "loss": 3.1426136016845705, + "step": 131510 + }, + { + "epoch": 0.2541333333333333, + "grad_norm": 0.199762225151062, + "learning_rate": 7.640023316653653e-05, + "loss": 3.1114324569702148, + "step": 131520 + }, + { + "epoch": 0.2542, + "grad_norm": 0.23541301488876343, + "learning_rate": 7.639087122410571e-05, + "loss": 3.1933364868164062, + "step": 131530 + }, + { + "epoch": 0.25426666666666664, + "grad_norm": 0.18946394324302673, + "learning_rate": 7.63815079989789e-05, + "loss": 3.1071638107299804, + "step": 131540 + }, + { + "epoch": 0.25433333333333336, + "grad_norm": 0.1886608600616455, + "learning_rate": 7.637214349161115e-05, + "loss": 3.1361194610595704, + "step": 131550 + }, + { + "epoch": 0.2544, + "grad_norm": 0.19660130143165588, + "learning_rate": 7.636277770245765e-05, + "loss": 3.0953773498535155, + "step": 131560 + }, + { + "epoch": 0.2544666666666667, + "grad_norm": 0.19135749340057373, + "learning_rate": 7.635341063197359e-05, + "loss": 3.133963203430176, + "step": 131570 + }, + { + "epoch": 0.25453333333333333, + "grad_norm": 0.18914949893951416, + "learning_rate": 7.634404228061424e-05, + "loss": 3.072311210632324, + "step": 131580 + }, + { + "epoch": 0.2546, + "grad_norm": 0.25436875224113464, + "learning_rate": 7.633467264883497e-05, + "loss": 3.0430665969848634, + "step": 131590 + }, + { + "epoch": 0.25466666666666665, + "grad_norm": 0.20219625532627106, + "learning_rate": 7.632530173709115e-05, + "loss": 3.105142021179199, + "step": 131600 + }, + { + "epoch": 0.2547333333333333, + "grad_norm": 0.20409247279167175, + "learning_rate": 7.631592954583824e-05, + "loss": 3.101444625854492, + "step": 131610 + }, + { + "epoch": 0.2548, + "grad_norm": 0.21752382814884186, + "learning_rate": 7.630655607553178e-05, + "loss": 3.1334089279174804, + "step": 131620 + }, + { + "epoch": 0.2548666666666667, + "grad_norm": 0.218354731798172, + "learning_rate": 7.629718132662734e-05, + "loss": 3.105608367919922, + "step": 131630 + }, + { + "epoch": 0.25493333333333335, + "grad_norm": 0.22354857623577118, + "learning_rate": 7.628780529958058e-05, + "loss": 3.1104766845703127, + "step": 131640 + }, + { + "epoch": 0.255, + "grad_norm": 0.21189667284488678, + "learning_rate": 7.627842799484721e-05, + "loss": 3.0645204544067384, + "step": 131650 + }, + { + "epoch": 0.25506666666666666, + "grad_norm": 0.21187496185302734, + "learning_rate": 7.6269049412883e-05, + "loss": 3.1188837051391602, + "step": 131660 + }, + { + "epoch": 0.2551333333333333, + "grad_norm": 0.37335631251335144, + "learning_rate": 7.625966955414378e-05, + "loss": 3.0670204162597656, + "step": 131670 + }, + { + "epoch": 0.2552, + "grad_norm": 0.18035072088241577, + "learning_rate": 7.625028841908546e-05, + "loss": 3.0181116104125976, + "step": 131680 + }, + { + "epoch": 0.25526666666666664, + "grad_norm": 0.23173385858535767, + "learning_rate": 7.624090600816397e-05, + "loss": 3.1655654907226562, + "step": 131690 + }, + { + "epoch": 0.25533333333333336, + "grad_norm": 0.1963232457637787, + "learning_rate": 7.623152232183537e-05, + "loss": 3.2957271575927733, + "step": 131700 + }, + { + "epoch": 0.2554, + "grad_norm": 0.2092929631471634, + "learning_rate": 7.622213736055573e-05, + "loss": 3.1136663436889647, + "step": 131710 + }, + { + "epoch": 0.2554666666666667, + "grad_norm": 0.19098572432994843, + "learning_rate": 7.621275112478116e-05, + "loss": 3.1705158233642576, + "step": 131720 + }, + { + "epoch": 0.25553333333333333, + "grad_norm": 0.21361896395683289, + "learning_rate": 7.62033636149679e-05, + "loss": 3.0777267456054687, + "step": 131730 + }, + { + "epoch": 0.2556, + "grad_norm": 0.22326962649822235, + "learning_rate": 7.619397483157223e-05, + "loss": 3.0656314849853517, + "step": 131740 + }, + { + "epoch": 0.25566666666666665, + "grad_norm": 0.18675856292247772, + "learning_rate": 7.618458477505043e-05, + "loss": 3.1513578414916994, + "step": 131750 + }, + { + "epoch": 0.2557333333333333, + "grad_norm": 0.29793956875801086, + "learning_rate": 7.617519344585895e-05, + "loss": 3.173833465576172, + "step": 131760 + }, + { + "epoch": 0.2558, + "grad_norm": 0.22142262756824493, + "learning_rate": 7.616580084445421e-05, + "loss": 3.142588996887207, + "step": 131770 + }, + { + "epoch": 0.2558666666666667, + "grad_norm": 0.18635593354701996, + "learning_rate": 7.615640697129273e-05, + "loss": 3.1377079010009767, + "step": 131780 + }, + { + "epoch": 0.25593333333333335, + "grad_norm": 0.23020139336585999, + "learning_rate": 7.61470118268311e-05, + "loss": 3.1477592468261717, + "step": 131790 + }, + { + "epoch": 0.256, + "grad_norm": 0.2112380564212799, + "learning_rate": 7.613761541152596e-05, + "loss": 3.1278011322021486, + "step": 131800 + }, + { + "epoch": 0.25606666666666666, + "grad_norm": 0.20457592606544495, + "learning_rate": 7.6128217725834e-05, + "loss": 3.0592008590698243, + "step": 131810 + }, + { + "epoch": 0.2561333333333333, + "grad_norm": 0.20253172516822815, + "learning_rate": 7.611881877021198e-05, + "loss": 3.126668930053711, + "step": 131820 + }, + { + "epoch": 0.2562, + "grad_norm": 0.21946214139461517, + "learning_rate": 7.610941854511672e-05, + "loss": 3.1356380462646483, + "step": 131830 + }, + { + "epoch": 0.25626666666666664, + "grad_norm": 0.20620959997177124, + "learning_rate": 7.610001705100513e-05, + "loss": 3.077481269836426, + "step": 131840 + }, + { + "epoch": 0.25633333333333336, + "grad_norm": 0.2033991664648056, + "learning_rate": 7.609061428833415e-05, + "loss": 3.1237628936767576, + "step": 131850 + }, + { + "epoch": 0.2564, + "grad_norm": 0.20671768486499786, + "learning_rate": 7.608121025756077e-05, + "loss": 3.3243621826171874, + "step": 131860 + }, + { + "epoch": 0.2564666666666667, + "grad_norm": 0.21810367703437805, + "learning_rate": 7.607180495914208e-05, + "loss": 3.109395217895508, + "step": 131870 + }, + { + "epoch": 0.25653333333333334, + "grad_norm": 0.3314041495323181, + "learning_rate": 7.606239839353522e-05, + "loss": 3.0829845428466798, + "step": 131880 + }, + { + "epoch": 0.2566, + "grad_norm": 0.2564932703971863, + "learning_rate": 7.605299056119737e-05, + "loss": 3.058031463623047, + "step": 131890 + }, + { + "epoch": 0.25666666666666665, + "grad_norm": 0.26344209909439087, + "learning_rate": 7.604358146258578e-05, + "loss": 3.137917709350586, + "step": 131900 + }, + { + "epoch": 0.2567333333333333, + "grad_norm": 0.24726185202598572, + "learning_rate": 7.603417109815777e-05, + "loss": 3.21533203125, + "step": 131910 + }, + { + "epoch": 0.2568, + "grad_norm": 0.1838756799697876, + "learning_rate": 7.602475946837075e-05, + "loss": 3.178369331359863, + "step": 131920 + }, + { + "epoch": 0.2568666666666667, + "grad_norm": 0.20542095601558685, + "learning_rate": 7.601534657368212e-05, + "loss": 3.081593704223633, + "step": 131930 + }, + { + "epoch": 0.25693333333333335, + "grad_norm": 0.44237709045410156, + "learning_rate": 7.600593241454942e-05, + "loss": 3.2133289337158204, + "step": 131940 + }, + { + "epoch": 0.257, + "grad_norm": 0.449504017829895, + "learning_rate": 7.599651699143018e-05, + "loss": 3.179610252380371, + "step": 131950 + }, + { + "epoch": 0.25706666666666667, + "grad_norm": 0.22625629603862762, + "learning_rate": 7.598710030478205e-05, + "loss": 3.2067806243896486, + "step": 131960 + }, + { + "epoch": 0.2571333333333333, + "grad_norm": 0.24302294850349426, + "learning_rate": 7.597768235506268e-05, + "loss": 3.1702436447143554, + "step": 131970 + }, + { + "epoch": 0.2572, + "grad_norm": 0.21498417854309082, + "learning_rate": 7.596826314272988e-05, + "loss": 3.1148910522460938, + "step": 131980 + }, + { + "epoch": 0.25726666666666664, + "grad_norm": 0.1955830454826355, + "learning_rate": 7.59588426682414e-05, + "loss": 3.1157772064208986, + "step": 131990 + }, + { + "epoch": 0.25733333333333336, + "grad_norm": 0.18618197739124298, + "learning_rate": 7.594942093205514e-05, + "loss": 3.147664451599121, + "step": 132000 + }, + { + "epoch": 0.2574, + "grad_norm": 0.41500481963157654, + "learning_rate": 7.593999793462902e-05, + "loss": 3.065707206726074, + "step": 132010 + }, + { + "epoch": 0.2574666666666667, + "grad_norm": 0.1959788203239441, + "learning_rate": 7.593057367642105e-05, + "loss": 3.0479686737060545, + "step": 132020 + }, + { + "epoch": 0.25753333333333334, + "grad_norm": 0.19796961545944214, + "learning_rate": 7.592114815788926e-05, + "loss": 3.1381784439086915, + "step": 132030 + }, + { + "epoch": 0.2576, + "grad_norm": 0.18788960576057434, + "learning_rate": 7.591172137949177e-05, + "loss": 3.124369812011719, + "step": 132040 + }, + { + "epoch": 0.25766666666666665, + "grad_norm": 0.21633397042751312, + "learning_rate": 7.590229334168678e-05, + "loss": 3.1006376266479494, + "step": 132050 + }, + { + "epoch": 0.2577333333333333, + "grad_norm": 0.2126448005437851, + "learning_rate": 7.589286404493252e-05, + "loss": 3.1215641021728517, + "step": 132060 + }, + { + "epoch": 0.2578, + "grad_norm": 0.19629278779029846, + "learning_rate": 7.588343348968727e-05, + "loss": 3.092130661010742, + "step": 132070 + }, + { + "epoch": 0.2578666666666667, + "grad_norm": 0.17957495152950287, + "learning_rate": 7.587400167640942e-05, + "loss": 3.0850803375244142, + "step": 132080 + }, + { + "epoch": 0.25793333333333335, + "grad_norm": 0.18157535791397095, + "learning_rate": 7.586456860555738e-05, + "loss": 3.074777030944824, + "step": 132090 + }, + { + "epoch": 0.258, + "grad_norm": 0.22074094414710999, + "learning_rate": 7.58551342775896e-05, + "loss": 3.0707677841186523, + "step": 132100 + }, + { + "epoch": 0.25806666666666667, + "grad_norm": 0.2056787759065628, + "learning_rate": 7.584569869296467e-05, + "loss": 3.0567514419555666, + "step": 132110 + }, + { + "epoch": 0.2581333333333333, + "grad_norm": 0.18549613654613495, + "learning_rate": 7.583626185214116e-05, + "loss": 3.0922334671020506, + "step": 132120 + }, + { + "epoch": 0.2582, + "grad_norm": 0.22267542779445648, + "learning_rate": 7.582682375557778e-05, + "loss": 3.1059192657470702, + "step": 132130 + }, + { + "epoch": 0.25826666666666664, + "grad_norm": 0.2108243852853775, + "learning_rate": 7.581738440373323e-05, + "loss": 3.0710487365722656, + "step": 132140 + }, + { + "epoch": 0.25833333333333336, + "grad_norm": 0.19634418189525604, + "learning_rate": 7.580794379706628e-05, + "loss": 3.228224182128906, + "step": 132150 + }, + { + "epoch": 0.2584, + "grad_norm": 0.23406067490577698, + "learning_rate": 7.579850193603582e-05, + "loss": 3.1226198196411135, + "step": 132160 + }, + { + "epoch": 0.2584666666666667, + "grad_norm": 0.188054621219635, + "learning_rate": 7.578905882110072e-05, + "loss": 3.1146240234375, + "step": 132170 + }, + { + "epoch": 0.25853333333333334, + "grad_norm": 0.19870629906654358, + "learning_rate": 7.577961445271998e-05, + "loss": 3.1507871627807615, + "step": 132180 + }, + { + "epoch": 0.2586, + "grad_norm": 0.20437955856323242, + "learning_rate": 7.577016883135261e-05, + "loss": 3.12508487701416, + "step": 132190 + }, + { + "epoch": 0.25866666666666666, + "grad_norm": 0.19799001514911652, + "learning_rate": 7.576072195745773e-05, + "loss": 3.0830039978027344, + "step": 132200 + }, + { + "epoch": 0.2587333333333333, + "grad_norm": 0.23014678061008453, + "learning_rate": 7.575127383149447e-05, + "loss": 3.1263404846191407, + "step": 132210 + }, + { + "epoch": 0.2588, + "grad_norm": 0.7838783264160156, + "learning_rate": 7.574182445392205e-05, + "loss": 3.002673530578613, + "step": 132220 + }, + { + "epoch": 0.2588666666666667, + "grad_norm": 0.19614499807357788, + "learning_rate": 7.573237382519976e-05, + "loss": 3.0965879440307615, + "step": 132230 + }, + { + "epoch": 0.25893333333333335, + "grad_norm": 0.1872715801000595, + "learning_rate": 7.57229219457869e-05, + "loss": 3.111216354370117, + "step": 132240 + }, + { + "epoch": 0.259, + "grad_norm": 0.19942858815193176, + "learning_rate": 7.57134688161429e-05, + "loss": 3.103302764892578, + "step": 132250 + }, + { + "epoch": 0.25906666666666667, + "grad_norm": 0.20907889306545258, + "learning_rate": 7.570401443672722e-05, + "loss": 3.1263477325439455, + "step": 132260 + }, + { + "epoch": 0.2591333333333333, + "grad_norm": 0.20114527642726898, + "learning_rate": 7.569455880799936e-05, + "loss": 3.110331916809082, + "step": 132270 + }, + { + "epoch": 0.2592, + "grad_norm": 0.1883893609046936, + "learning_rate": 7.568510193041892e-05, + "loss": 3.080101203918457, + "step": 132280 + }, + { + "epoch": 0.25926666666666665, + "grad_norm": 0.18975497782230377, + "learning_rate": 7.567564380444551e-05, + "loss": 3.224177932739258, + "step": 132290 + }, + { + "epoch": 0.25933333333333336, + "grad_norm": 0.20442336797714233, + "learning_rate": 7.566618443053885e-05, + "loss": 3.0591073989868165, + "step": 132300 + }, + { + "epoch": 0.2594, + "grad_norm": 0.2470877319574356, + "learning_rate": 7.565672380915871e-05, + "loss": 3.108767509460449, + "step": 132310 + }, + { + "epoch": 0.2594666666666667, + "grad_norm": 0.21689723432064056, + "learning_rate": 7.56472619407649e-05, + "loss": 3.198388862609863, + "step": 132320 + }, + { + "epoch": 0.25953333333333334, + "grad_norm": 0.2596255838871002, + "learning_rate": 7.56377988258173e-05, + "loss": 3.1133909225463867, + "step": 132330 + }, + { + "epoch": 0.2596, + "grad_norm": 0.20692887902259827, + "learning_rate": 7.562833446477586e-05, + "loss": 3.079119110107422, + "step": 132340 + }, + { + "epoch": 0.25966666666666666, + "grad_norm": 0.1953042447566986, + "learning_rate": 7.561886885810057e-05, + "loss": 3.113859939575195, + "step": 132350 + }, + { + "epoch": 0.2597333333333333, + "grad_norm": 0.23592793941497803, + "learning_rate": 7.56094020062515e-05, + "loss": 3.0775081634521486, + "step": 132360 + }, + { + "epoch": 0.2598, + "grad_norm": 0.22590172290802002, + "learning_rate": 7.55999339096888e-05, + "loss": 3.11263427734375, + "step": 132370 + }, + { + "epoch": 0.2598666666666667, + "grad_norm": 0.40807560086250305, + "learning_rate": 7.559046456887262e-05, + "loss": 3.1142406463623047, + "step": 132380 + }, + { + "epoch": 0.25993333333333335, + "grad_norm": 0.2520703971385956, + "learning_rate": 7.558099398426323e-05, + "loss": 3.119576263427734, + "step": 132390 + }, + { + "epoch": 0.26, + "grad_norm": 0.1916477084159851, + "learning_rate": 7.557152215632092e-05, + "loss": 3.126235580444336, + "step": 132400 + }, + { + "epoch": 0.26006666666666667, + "grad_norm": 0.23806917667388916, + "learning_rate": 7.556204908550607e-05, + "loss": 3.1108558654785154, + "step": 132410 + }, + { + "epoch": 0.2601333333333333, + "grad_norm": 0.24594269692897797, + "learning_rate": 7.555257477227909e-05, + "loss": 3.2152225494384767, + "step": 132420 + }, + { + "epoch": 0.2602, + "grad_norm": 0.20112007856369019, + "learning_rate": 7.554309921710047e-05, + "loss": 3.1027971267700196, + "step": 132430 + }, + { + "epoch": 0.26026666666666665, + "grad_norm": 0.18043828010559082, + "learning_rate": 7.553362242043077e-05, + "loss": 3.0867176055908203, + "step": 132440 + }, + { + "epoch": 0.26033333333333336, + "grad_norm": 0.22307385504245758, + "learning_rate": 7.55241443827306e-05, + "loss": 3.072601890563965, + "step": 132450 + }, + { + "epoch": 0.2604, + "grad_norm": 0.2772645950317383, + "learning_rate": 7.551466510446061e-05, + "loss": 3.1671417236328123, + "step": 132460 + }, + { + "epoch": 0.2604666666666667, + "grad_norm": 0.25439655780792236, + "learning_rate": 7.550518458608157e-05, + "loss": 3.2467761993408204, + "step": 132470 + }, + { + "epoch": 0.26053333333333334, + "grad_norm": 0.19844377040863037, + "learning_rate": 7.549570282805421e-05, + "loss": 3.1703212738037108, + "step": 132480 + }, + { + "epoch": 0.2606, + "grad_norm": 0.19453582167625427, + "learning_rate": 7.548621983083942e-05, + "loss": 3.066040802001953, + "step": 132490 + }, + { + "epoch": 0.26066666666666666, + "grad_norm": 0.2048194855451584, + "learning_rate": 7.54767355948981e-05, + "loss": 3.125718116760254, + "step": 132500 + }, + { + "epoch": 0.2607333333333333, + "grad_norm": 0.22788941860198975, + "learning_rate": 7.54672501206912e-05, + "loss": 3.1154436111450194, + "step": 132510 + }, + { + "epoch": 0.2608, + "grad_norm": 0.20346185564994812, + "learning_rate": 7.545776340867978e-05, + "loss": 3.0343902587890623, + "step": 132520 + }, + { + "epoch": 0.2608666666666667, + "grad_norm": 0.18529774248600006, + "learning_rate": 7.544827545932492e-05, + "loss": 3.093495178222656, + "step": 132530 + }, + { + "epoch": 0.26093333333333335, + "grad_norm": 0.21118316054344177, + "learning_rate": 7.543878627308777e-05, + "loss": 3.069477844238281, + "step": 132540 + }, + { + "epoch": 0.261, + "grad_norm": 0.21427223086357117, + "learning_rate": 7.542929585042955e-05, + "loss": 3.1492341995239257, + "step": 132550 + }, + { + "epoch": 0.26106666666666667, + "grad_norm": 0.19941505789756775, + "learning_rate": 7.54198041918115e-05, + "loss": 3.094634246826172, + "step": 132560 + }, + { + "epoch": 0.26113333333333333, + "grad_norm": 0.2033727467060089, + "learning_rate": 7.541031129769496e-05, + "loss": 3.133271598815918, + "step": 132570 + }, + { + "epoch": 0.2612, + "grad_norm": 0.1906985342502594, + "learning_rate": 7.540081716854135e-05, + "loss": 3.067905616760254, + "step": 132580 + }, + { + "epoch": 0.26126666666666665, + "grad_norm": 0.24753740429878235, + "learning_rate": 7.539132180481208e-05, + "loss": 3.166851043701172, + "step": 132590 + }, + { + "epoch": 0.2613333333333333, + "grad_norm": 0.18032486736774445, + "learning_rate": 7.53818252069687e-05, + "loss": 3.054424285888672, + "step": 132600 + }, + { + "epoch": 0.2614, + "grad_norm": 0.19013787806034088, + "learning_rate": 7.537232737547276e-05, + "loss": 3.0807064056396483, + "step": 132610 + }, + { + "epoch": 0.2614666666666667, + "grad_norm": 0.190599262714386, + "learning_rate": 7.536282831078587e-05, + "loss": 3.079762840270996, + "step": 132620 + }, + { + "epoch": 0.26153333333333334, + "grad_norm": 0.2034352570772171, + "learning_rate": 7.535332801336976e-05, + "loss": 3.1380632400512694, + "step": 132630 + }, + { + "epoch": 0.2616, + "grad_norm": 0.22660960257053375, + "learning_rate": 7.534382648368616e-05, + "loss": 3.111302947998047, + "step": 132640 + }, + { + "epoch": 0.26166666666666666, + "grad_norm": 0.2128271609544754, + "learning_rate": 7.533432372219687e-05, + "loss": 3.1131277084350586, + "step": 132650 + }, + { + "epoch": 0.2617333333333333, + "grad_norm": 0.2140427678823471, + "learning_rate": 7.532481972936379e-05, + "loss": 3.1226789474487306, + "step": 132660 + }, + { + "epoch": 0.2618, + "grad_norm": 0.23680883646011353, + "learning_rate": 7.531531450564883e-05, + "loss": 3.143629264831543, + "step": 132670 + }, + { + "epoch": 0.2618666666666667, + "grad_norm": 0.20178160071372986, + "learning_rate": 7.530580805151398e-05, + "loss": 3.077263069152832, + "step": 132680 + }, + { + "epoch": 0.26193333333333335, + "grad_norm": 0.21379952132701874, + "learning_rate": 7.529630036742128e-05, + "loss": 3.104401779174805, + "step": 132690 + }, + { + "epoch": 0.262, + "grad_norm": 0.2088557928800583, + "learning_rate": 7.528679145383286e-05, + "loss": 3.080929183959961, + "step": 132700 + }, + { + "epoch": 0.26206666666666667, + "grad_norm": 0.18566477298736572, + "learning_rate": 7.52772813112109e-05, + "loss": 3.0789779663085937, + "step": 132710 + }, + { + "epoch": 0.26213333333333333, + "grad_norm": 0.3187240958213806, + "learning_rate": 7.526776994001758e-05, + "loss": 3.1704906463623046, + "step": 132720 + }, + { + "epoch": 0.2622, + "grad_norm": 0.4172568619251251, + "learning_rate": 7.525825734071523e-05, + "loss": 3.333565902709961, + "step": 132730 + }, + { + "epoch": 0.26226666666666665, + "grad_norm": 0.1987871676683426, + "learning_rate": 7.524874351376619e-05, + "loss": 3.0943756103515625, + "step": 132740 + }, + { + "epoch": 0.2623333333333333, + "grad_norm": 0.23481807112693787, + "learning_rate": 7.523922845963285e-05, + "loss": 3.081447982788086, + "step": 132750 + }, + { + "epoch": 0.2624, + "grad_norm": 0.21594534814357758, + "learning_rate": 7.52297121787777e-05, + "loss": 3.1279937744140627, + "step": 132760 + }, + { + "epoch": 0.2624666666666667, + "grad_norm": 0.28253114223480225, + "learning_rate": 7.522019467166326e-05, + "loss": 3.119947624206543, + "step": 132770 + }, + { + "epoch": 0.26253333333333334, + "grad_norm": 0.3352331817150116, + "learning_rate": 7.521067593875211e-05, + "loss": 3.1102542877197266, + "step": 132780 + }, + { + "epoch": 0.2626, + "grad_norm": 0.1956866979598999, + "learning_rate": 7.520115598050693e-05, + "loss": 3.1755548477172852, + "step": 132790 + }, + { + "epoch": 0.26266666666666666, + "grad_norm": 0.19929173588752747, + "learning_rate": 7.519163479739036e-05, + "loss": 3.1425472259521485, + "step": 132800 + }, + { + "epoch": 0.2627333333333333, + "grad_norm": 0.2015686333179474, + "learning_rate": 7.518211238986521e-05, + "loss": 3.127678108215332, + "step": 132810 + }, + { + "epoch": 0.2628, + "grad_norm": 0.20105239748954773, + "learning_rate": 7.517258875839431e-05, + "loss": 3.1200773239135744, + "step": 132820 + }, + { + "epoch": 0.2628666666666667, + "grad_norm": 0.18759244680404663, + "learning_rate": 7.516306390344052e-05, + "loss": 3.075087547302246, + "step": 132830 + }, + { + "epoch": 0.26293333333333335, + "grad_norm": 0.22557255625724792, + "learning_rate": 7.515353782546681e-05, + "loss": 3.118935775756836, + "step": 132840 + }, + { + "epoch": 0.263, + "grad_norm": 0.1982867568731308, + "learning_rate": 7.514401052493616e-05, + "loss": 3.123307228088379, + "step": 132850 + }, + { + "epoch": 0.26306666666666667, + "grad_norm": 3.092207908630371, + "learning_rate": 7.513448200231166e-05, + "loss": 3.0654375076293947, + "step": 132860 + }, + { + "epoch": 0.26313333333333333, + "grad_norm": 0.20948153734207153, + "learning_rate": 7.51249522580564e-05, + "loss": 3.1319753646850588, + "step": 132870 + }, + { + "epoch": 0.2632, + "grad_norm": 0.1944577544927597, + "learning_rate": 7.511542129263358e-05, + "loss": 3.108662414550781, + "step": 132880 + }, + { + "epoch": 0.26326666666666665, + "grad_norm": 0.19391584396362305, + "learning_rate": 7.510588910650643e-05, + "loss": 3.114826774597168, + "step": 132890 + }, + { + "epoch": 0.2633333333333333, + "grad_norm": 0.21516507863998413, + "learning_rate": 7.509635570013826e-05, + "loss": 3.100732612609863, + "step": 132900 + }, + { + "epoch": 0.2634, + "grad_norm": 0.2762870788574219, + "learning_rate": 7.508682107399243e-05, + "loss": 3.0352405548095702, + "step": 132910 + }, + { + "epoch": 0.2634666666666667, + "grad_norm": 0.20512856543064117, + "learning_rate": 7.507728522853236e-05, + "loss": 3.181723403930664, + "step": 132920 + }, + { + "epoch": 0.26353333333333334, + "grad_norm": 0.20049987733364105, + "learning_rate": 7.506774816422151e-05, + "loss": 3.1425264358520506, + "step": 132930 + }, + { + "epoch": 0.2636, + "grad_norm": 0.20745477080345154, + "learning_rate": 7.505820988152346e-05, + "loss": 3.127569389343262, + "step": 132940 + }, + { + "epoch": 0.26366666666666666, + "grad_norm": 0.20781022310256958, + "learning_rate": 7.504867038090175e-05, + "loss": 3.155399513244629, + "step": 132950 + }, + { + "epoch": 0.2637333333333333, + "grad_norm": 0.21094894409179688, + "learning_rate": 7.503912966282007e-05, + "loss": 3.119636344909668, + "step": 132960 + }, + { + "epoch": 0.2638, + "grad_norm": 0.2244199961423874, + "learning_rate": 7.502958772774213e-05, + "loss": 3.0757678985595702, + "step": 132970 + }, + { + "epoch": 0.2638666666666667, + "grad_norm": 1.0661320686340332, + "learning_rate": 7.50200445761317e-05, + "loss": 3.0998113632202147, + "step": 132980 + }, + { + "epoch": 0.26393333333333335, + "grad_norm": 0.30002060532569885, + "learning_rate": 7.501050020845262e-05, + "loss": 3.08496036529541, + "step": 132990 + }, + { + "epoch": 0.264, + "grad_norm": 0.20627222955226898, + "learning_rate": 7.500095462516878e-05, + "loss": 3.118402671813965, + "step": 133000 + }, + { + "epoch": 0.26406666666666667, + "grad_norm": 0.2056003212928772, + "learning_rate": 7.499140782674414e-05, + "loss": 3.0862831115722655, + "step": 133010 + }, + { + "epoch": 0.26413333333333333, + "grad_norm": 0.1917048990726471, + "learning_rate": 7.498185981364268e-05, + "loss": 3.110786247253418, + "step": 133020 + }, + { + "epoch": 0.2642, + "grad_norm": 0.254085510969162, + "learning_rate": 7.49723105863285e-05, + "loss": 3.096898078918457, + "step": 133030 + }, + { + "epoch": 0.26426666666666665, + "grad_norm": 0.24820265173912048, + "learning_rate": 7.496276014526572e-05, + "loss": 3.1158050537109374, + "step": 133040 + }, + { + "epoch": 0.2643333333333333, + "grad_norm": 0.20706363022327423, + "learning_rate": 7.495320849091853e-05, + "loss": 3.119660568237305, + "step": 133050 + }, + { + "epoch": 0.2644, + "grad_norm": 0.19205087423324585, + "learning_rate": 7.494365562375116e-05, + "loss": 3.1060197830200194, + "step": 133060 + }, + { + "epoch": 0.2644666666666667, + "grad_norm": 0.1933826357126236, + "learning_rate": 7.493410154422793e-05, + "loss": 3.096670150756836, + "step": 133070 + }, + { + "epoch": 0.26453333333333334, + "grad_norm": 0.25355586409568787, + "learning_rate": 7.49245462528132e-05, + "loss": 3.077116584777832, + "step": 133080 + }, + { + "epoch": 0.2646, + "grad_norm": 0.2868587374687195, + "learning_rate": 7.49149897499714e-05, + "loss": 3.1009883880615234, + "step": 133090 + }, + { + "epoch": 0.26466666666666666, + "grad_norm": 0.21626774966716766, + "learning_rate": 7.4905432036167e-05, + "loss": 3.112152671813965, + "step": 133100 + }, + { + "epoch": 0.2647333333333333, + "grad_norm": 0.21215620636940002, + "learning_rate": 7.489587311186457e-05, + "loss": 3.0804553985595704, + "step": 133110 + }, + { + "epoch": 0.2648, + "grad_norm": 0.22820328176021576, + "learning_rate": 7.488631297752866e-05, + "loss": 3.1313749313354493, + "step": 133120 + }, + { + "epoch": 0.26486666666666664, + "grad_norm": 0.1957819163799286, + "learning_rate": 7.487675163362397e-05, + "loss": 3.043170928955078, + "step": 133130 + }, + { + "epoch": 0.26493333333333335, + "grad_norm": 0.20300862193107605, + "learning_rate": 7.48671890806152e-05, + "loss": 3.0658599853515627, + "step": 133140 + }, + { + "epoch": 0.265, + "grad_norm": 0.18417109549045563, + "learning_rate": 7.485762531896714e-05, + "loss": 3.085042190551758, + "step": 133150 + }, + { + "epoch": 0.2650666666666667, + "grad_norm": 0.19986990094184875, + "learning_rate": 7.48480603491446e-05, + "loss": 3.0879940032958983, + "step": 133160 + }, + { + "epoch": 0.26513333333333333, + "grad_norm": 0.2315804362297058, + "learning_rate": 7.48384941716125e-05, + "loss": 3.0464765548706056, + "step": 133170 + }, + { + "epoch": 0.2652, + "grad_norm": 0.19167311489582062, + "learning_rate": 7.482892678683577e-05, + "loss": 3.1310157775878906, + "step": 133180 + }, + { + "epoch": 0.26526666666666665, + "grad_norm": 0.20256644487380981, + "learning_rate": 7.481935819527946e-05, + "loss": 3.166621208190918, + "step": 133190 + }, + { + "epoch": 0.2653333333333333, + "grad_norm": 0.1928977519273758, + "learning_rate": 7.48097883974086e-05, + "loss": 3.0995121002197266, + "step": 133200 + }, + { + "epoch": 0.2654, + "grad_norm": 0.21286746859550476, + "learning_rate": 7.480021739368831e-05, + "loss": 3.125872039794922, + "step": 133210 + }, + { + "epoch": 0.2654666666666667, + "grad_norm": 0.21209055185317993, + "learning_rate": 7.479064518458381e-05, + "loss": 3.0546735763549804, + "step": 133220 + }, + { + "epoch": 0.26553333333333334, + "grad_norm": 0.26824653148651123, + "learning_rate": 7.478107177056033e-05, + "loss": 3.102033233642578, + "step": 133230 + }, + { + "epoch": 0.2656, + "grad_norm": 0.19953741133213043, + "learning_rate": 7.477149715208318e-05, + "loss": 3.1017181396484377, + "step": 133240 + }, + { + "epoch": 0.26566666666666666, + "grad_norm": 0.23043522238731384, + "learning_rate": 7.476192132961773e-05, + "loss": 3.108574104309082, + "step": 133250 + }, + { + "epoch": 0.2657333333333333, + "grad_norm": 0.18925504386425018, + "learning_rate": 7.475234430362937e-05, + "loss": 3.084564781188965, + "step": 133260 + }, + { + "epoch": 0.2658, + "grad_norm": 0.2281927615404129, + "learning_rate": 7.474276607458361e-05, + "loss": 3.1782033920288084, + "step": 133270 + }, + { + "epoch": 0.26586666666666664, + "grad_norm": 0.21876119077205658, + "learning_rate": 7.473318664294599e-05, + "loss": 3.1257482528686524, + "step": 133280 + }, + { + "epoch": 0.26593333333333335, + "grad_norm": 0.2086677849292755, + "learning_rate": 7.472360600918208e-05, + "loss": 3.083843994140625, + "step": 133290 + }, + { + "epoch": 0.266, + "grad_norm": 0.2142460197210312, + "learning_rate": 7.471402417375755e-05, + "loss": 3.0105236053466795, + "step": 133300 + }, + { + "epoch": 0.2660666666666667, + "grad_norm": 0.22230127453804016, + "learning_rate": 7.470444113713811e-05, + "loss": 3.1816381454467773, + "step": 133310 + }, + { + "epoch": 0.26613333333333333, + "grad_norm": 0.27080923318862915, + "learning_rate": 7.469485689978954e-05, + "loss": 3.171385955810547, + "step": 133320 + }, + { + "epoch": 0.2662, + "grad_norm": 0.208296537399292, + "learning_rate": 7.468527146217768e-05, + "loss": 3.1139570236206056, + "step": 133330 + }, + { + "epoch": 0.26626666666666665, + "grad_norm": 0.2906053066253662, + "learning_rate": 7.467568482476837e-05, + "loss": 3.126170349121094, + "step": 133340 + }, + { + "epoch": 0.2663333333333333, + "grad_norm": 0.19445247948169708, + "learning_rate": 7.466609698802761e-05, + "loss": 3.0475101470947266, + "step": 133350 + }, + { + "epoch": 0.2664, + "grad_norm": 0.23922765254974365, + "learning_rate": 7.465650795242139e-05, + "loss": 3.10037784576416, + "step": 133360 + }, + { + "epoch": 0.2664666666666667, + "grad_norm": 0.2661675810813904, + "learning_rate": 7.464691771841576e-05, + "loss": 3.1025699615478515, + "step": 133370 + }, + { + "epoch": 0.26653333333333334, + "grad_norm": 0.2107594609260559, + "learning_rate": 7.463732628647687e-05, + "loss": 3.1544370651245117, + "step": 133380 + }, + { + "epoch": 0.2666, + "grad_norm": 0.20045825839042664, + "learning_rate": 7.462773365707085e-05, + "loss": 3.1570764541625977, + "step": 133390 + }, + { + "epoch": 0.26666666666666666, + "grad_norm": 0.41731807589530945, + "learning_rate": 7.461813983066398e-05, + "loss": 3.1288843154907227, + "step": 133400 + }, + { + "epoch": 0.2667333333333333, + "grad_norm": 0.23598088324069977, + "learning_rate": 7.460854480772255e-05, + "loss": 3.0999420166015623, + "step": 133410 + }, + { + "epoch": 0.2668, + "grad_norm": 0.21479061245918274, + "learning_rate": 7.45989485887129e-05, + "loss": 3.112569808959961, + "step": 133420 + }, + { + "epoch": 0.26686666666666664, + "grad_norm": 0.1984972357749939, + "learning_rate": 7.458935117410146e-05, + "loss": 3.1168575286865234, + "step": 133430 + }, + { + "epoch": 0.26693333333333336, + "grad_norm": 0.1953693926334381, + "learning_rate": 7.45797525643547e-05, + "loss": 3.1515764236450194, + "step": 133440 + }, + { + "epoch": 0.267, + "grad_norm": 0.1857457011938095, + "learning_rate": 7.457015275993912e-05, + "loss": 2.9669994354248046, + "step": 133450 + }, + { + "epoch": 0.2670666666666667, + "grad_norm": 0.19327855110168457, + "learning_rate": 7.456055176132134e-05, + "loss": 3.1438608169555664, + "step": 133460 + }, + { + "epoch": 0.26713333333333333, + "grad_norm": 0.20275767147541046, + "learning_rate": 7.455094956896798e-05, + "loss": 3.186603546142578, + "step": 133470 + }, + { + "epoch": 0.2672, + "grad_norm": 0.19151173532009125, + "learning_rate": 7.454134618334576e-05, + "loss": 3.204872894287109, + "step": 133480 + }, + { + "epoch": 0.26726666666666665, + "grad_norm": 0.3338609039783478, + "learning_rate": 7.453174160492144e-05, + "loss": 3.1510993957519533, + "step": 133490 + }, + { + "epoch": 0.2673333333333333, + "grad_norm": 0.18796168267726898, + "learning_rate": 7.452213583416183e-05, + "loss": 3.162104034423828, + "step": 133500 + }, + { + "epoch": 0.2674, + "grad_norm": 0.17908744513988495, + "learning_rate": 7.451252887153381e-05, + "loss": 3.095016288757324, + "step": 133510 + }, + { + "epoch": 0.2674666666666667, + "grad_norm": 0.2017337530851364, + "learning_rate": 7.450292071750433e-05, + "loss": 3.112526512145996, + "step": 133520 + }, + { + "epoch": 0.26753333333333335, + "grad_norm": 0.20294135808944702, + "learning_rate": 7.449331137254036e-05, + "loss": 3.140985107421875, + "step": 133530 + }, + { + "epoch": 0.2676, + "grad_norm": 0.18939770758152008, + "learning_rate": 7.448370083710897e-05, + "loss": 3.113382911682129, + "step": 133540 + }, + { + "epoch": 0.26766666666666666, + "grad_norm": 0.7951088547706604, + "learning_rate": 7.447408911167723e-05, + "loss": 3.0747913360595702, + "step": 133550 + }, + { + "epoch": 0.2677333333333333, + "grad_norm": 0.1956586390733719, + "learning_rate": 7.446447619671235e-05, + "loss": 3.1155683517456056, + "step": 133560 + }, + { + "epoch": 0.2678, + "grad_norm": 0.32875099778175354, + "learning_rate": 7.445486209268153e-05, + "loss": 3.049757385253906, + "step": 133570 + }, + { + "epoch": 0.26786666666666664, + "grad_norm": 0.2088843286037445, + "learning_rate": 7.444524680005207e-05, + "loss": 3.1631534576416014, + "step": 133580 + }, + { + "epoch": 0.26793333333333336, + "grad_norm": 0.1964053511619568, + "learning_rate": 7.44356303192913e-05, + "loss": 3.053297233581543, + "step": 133590 + }, + { + "epoch": 0.268, + "grad_norm": 0.18201935291290283, + "learning_rate": 7.442601265086661e-05, + "loss": 3.1159088134765627, + "step": 133600 + }, + { + "epoch": 0.2680666666666667, + "grad_norm": 0.3498184084892273, + "learning_rate": 7.441639379524545e-05, + "loss": 3.171310043334961, + "step": 133610 + }, + { + "epoch": 0.26813333333333333, + "grad_norm": 0.204649418592453, + "learning_rate": 7.440677375289535e-05, + "loss": 3.1913713455200194, + "step": 133620 + }, + { + "epoch": 0.2682, + "grad_norm": 0.19182538986206055, + "learning_rate": 7.439715252428389e-05, + "loss": 3.1507522583007814, + "step": 133630 + }, + { + "epoch": 0.26826666666666665, + "grad_norm": 0.19924664497375488, + "learning_rate": 7.438753010987867e-05, + "loss": 3.0985157012939455, + "step": 133640 + }, + { + "epoch": 0.2683333333333333, + "grad_norm": 0.1993686705827713, + "learning_rate": 7.437790651014738e-05, + "loss": 3.1182737350463867, + "step": 133650 + }, + { + "epoch": 0.2684, + "grad_norm": 0.24974462389945984, + "learning_rate": 7.436828172555778e-05, + "loss": 3.0732051849365236, + "step": 133660 + }, + { + "epoch": 0.2684666666666667, + "grad_norm": 0.20657570660114288, + "learning_rate": 7.435865575657766e-05, + "loss": 3.050934982299805, + "step": 133670 + }, + { + "epoch": 0.26853333333333335, + "grad_norm": 0.191284641623497, + "learning_rate": 7.434902860367488e-05, + "loss": 3.110609436035156, + "step": 133680 + }, + { + "epoch": 0.2686, + "grad_norm": 0.20239923894405365, + "learning_rate": 7.433940026731735e-05, + "loss": 3.090116500854492, + "step": 133690 + }, + { + "epoch": 0.26866666666666666, + "grad_norm": 0.2143649309873581, + "learning_rate": 7.432977074797305e-05, + "loss": 3.0842666625976562, + "step": 133700 + }, + { + "epoch": 0.2687333333333333, + "grad_norm": 0.19850626587867737, + "learning_rate": 7.432014004611001e-05, + "loss": 3.046321678161621, + "step": 133710 + }, + { + "epoch": 0.2688, + "grad_norm": 0.2217162549495697, + "learning_rate": 7.431050816219633e-05, + "loss": 3.121613883972168, + "step": 133720 + }, + { + "epoch": 0.26886666666666664, + "grad_norm": 0.20359677076339722, + "learning_rate": 7.430087509670014e-05, + "loss": 3.0983417510986326, + "step": 133730 + }, + { + "epoch": 0.26893333333333336, + "grad_norm": 0.19187843799591064, + "learning_rate": 7.429124085008965e-05, + "loss": 3.0802947998046877, + "step": 133740 + }, + { + "epoch": 0.269, + "grad_norm": 0.2135349065065384, + "learning_rate": 7.428160542283311e-05, + "loss": 3.1037673950195312, + "step": 133750 + }, + { + "epoch": 0.2690666666666667, + "grad_norm": 0.21584221720695496, + "learning_rate": 7.427196881539887e-05, + "loss": 3.1136171340942385, + "step": 133760 + }, + { + "epoch": 0.26913333333333334, + "grad_norm": 0.35736557841300964, + "learning_rate": 7.426233102825528e-05, + "loss": 3.2825218200683595, + "step": 133770 + }, + { + "epoch": 0.2692, + "grad_norm": 0.22493433952331543, + "learning_rate": 7.425269206187075e-05, + "loss": 3.1122116088867187, + "step": 133780 + }, + { + "epoch": 0.26926666666666665, + "grad_norm": 0.2228381335735321, + "learning_rate": 7.424305191671381e-05, + "loss": 3.0855968475341795, + "step": 133790 + }, + { + "epoch": 0.2693333333333333, + "grad_norm": 0.1933923363685608, + "learning_rate": 7.423341059325299e-05, + "loss": 3.1511131286621095, + "step": 133800 + }, + { + "epoch": 0.2694, + "grad_norm": 0.23663592338562012, + "learning_rate": 7.422376809195691e-05, + "loss": 3.1773248672485352, + "step": 133810 + }, + { + "epoch": 0.2694666666666667, + "grad_norm": 0.17536406219005585, + "learning_rate": 7.421412441329422e-05, + "loss": 3.05360107421875, + "step": 133820 + }, + { + "epoch": 0.26953333333333335, + "grad_norm": 0.27041831612586975, + "learning_rate": 7.420447955773362e-05, + "loss": 3.3474239349365233, + "step": 133830 + }, + { + "epoch": 0.2696, + "grad_norm": 13.269535064697266, + "learning_rate": 7.419483352574394e-05, + "loss": 6.03665771484375, + "step": 133840 + }, + { + "epoch": 0.26966666666666667, + "grad_norm": 0.2497134655714035, + "learning_rate": 7.418518631779395e-05, + "loss": 5.275164031982422, + "step": 133850 + }, + { + "epoch": 0.2697333333333333, + "grad_norm": 0.24080006778240204, + "learning_rate": 7.417553793435258e-05, + "loss": 3.0855052947998045, + "step": 133860 + }, + { + "epoch": 0.2698, + "grad_norm": 0.19015109539031982, + "learning_rate": 7.416588837588875e-05, + "loss": 3.1045516967773437, + "step": 133870 + }, + { + "epoch": 0.26986666666666664, + "grad_norm": 0.1921290010213852, + "learning_rate": 7.415623764287151e-05, + "loss": 3.1313331604003904, + "step": 133880 + }, + { + "epoch": 0.26993333333333336, + "grad_norm": 0.2821393311023712, + "learning_rate": 7.414658573576988e-05, + "loss": 3.1435077667236326, + "step": 133890 + }, + { + "epoch": 0.27, + "grad_norm": 0.2047576755285263, + "learning_rate": 7.413693265505301e-05, + "loss": 3.1506818771362304, + "step": 133900 + }, + { + "epoch": 0.2700666666666667, + "grad_norm": 0.24451269209384918, + "learning_rate": 7.412727840119003e-05, + "loss": 3.1250373840332033, + "step": 133910 + }, + { + "epoch": 0.27013333333333334, + "grad_norm": 0.1941368132829666, + "learning_rate": 7.411762297465024e-05, + "loss": 3.106261444091797, + "step": 133920 + }, + { + "epoch": 0.2702, + "grad_norm": 0.20134776830673218, + "learning_rate": 7.410796637590287e-05, + "loss": 3.084756851196289, + "step": 133930 + }, + { + "epoch": 0.27026666666666666, + "grad_norm": 0.23843252658843994, + "learning_rate": 7.40983086054173e-05, + "loss": 3.119174003601074, + "step": 133940 + }, + { + "epoch": 0.2703333333333333, + "grad_norm": 0.21384552121162415, + "learning_rate": 7.408864966366293e-05, + "loss": 3.0664669036865235, + "step": 133950 + }, + { + "epoch": 0.2704, + "grad_norm": 0.24186080694198608, + "learning_rate": 7.40789895511092e-05, + "loss": 3.030487632751465, + "step": 133960 + }, + { + "epoch": 0.2704666666666667, + "grad_norm": 0.21141204237937927, + "learning_rate": 7.406932826822564e-05, + "loss": 3.0483020782470702, + "step": 133970 + }, + { + "epoch": 0.27053333333333335, + "grad_norm": 0.19125162065029144, + "learning_rate": 7.405966581548185e-05, + "loss": 3.1303379058837892, + "step": 133980 + }, + { + "epoch": 0.2706, + "grad_norm": 0.19534151256084442, + "learning_rate": 7.405000219334743e-05, + "loss": 3.112082290649414, + "step": 133990 + }, + { + "epoch": 0.27066666666666667, + "grad_norm": 0.19458423554897308, + "learning_rate": 7.404033740229208e-05, + "loss": 3.07997989654541, + "step": 134000 + }, + { + "epoch": 0.2707333333333333, + "grad_norm": 0.2016034722328186, + "learning_rate": 7.403067144278555e-05, + "loss": 3.078660011291504, + "step": 134010 + }, + { + "epoch": 0.2708, + "grad_norm": 0.25284600257873535, + "learning_rate": 7.402100431529763e-05, + "loss": 3.0510269165039063, + "step": 134020 + }, + { + "epoch": 0.27086666666666664, + "grad_norm": 0.1904573142528534, + "learning_rate": 7.40113360202982e-05, + "loss": 3.179186248779297, + "step": 134030 + }, + { + "epoch": 0.27093333333333336, + "grad_norm": 0.23069605231285095, + "learning_rate": 7.400166655825713e-05, + "loss": 3.1008575439453123, + "step": 134040 + }, + { + "epoch": 0.271, + "grad_norm": 0.19449234008789062, + "learning_rate": 7.399199592964445e-05, + "loss": 3.0918739318847654, + "step": 134050 + }, + { + "epoch": 0.2710666666666667, + "grad_norm": 0.23147566616535187, + "learning_rate": 7.398232413493014e-05, + "loss": 3.059198570251465, + "step": 134060 + }, + { + "epoch": 0.27113333333333334, + "grad_norm": 0.22112716734409332, + "learning_rate": 7.397265117458432e-05, + "loss": 3.0894275665283204, + "step": 134070 + }, + { + "epoch": 0.2712, + "grad_norm": 0.1998993158340454, + "learning_rate": 7.396297704907714e-05, + "loss": 3.06519775390625, + "step": 134080 + }, + { + "epoch": 0.27126666666666666, + "grad_norm": 0.19499999284744263, + "learning_rate": 7.395330175887875e-05, + "loss": 3.079549026489258, + "step": 134090 + }, + { + "epoch": 0.2713333333333333, + "grad_norm": 0.21091867983341217, + "learning_rate": 7.394362530445945e-05, + "loss": 3.1021934509277345, + "step": 134100 + }, + { + "epoch": 0.2714, + "grad_norm": 0.4076251685619354, + "learning_rate": 7.393394768628954e-05, + "loss": 3.0671525955200196, + "step": 134110 + }, + { + "epoch": 0.2714666666666667, + "grad_norm": 0.24760350584983826, + "learning_rate": 7.392426890483937e-05, + "loss": 3.0737625122070313, + "step": 134120 + }, + { + "epoch": 0.27153333333333335, + "grad_norm": 0.24694116413593292, + "learning_rate": 7.39145889605794e-05, + "loss": 3.057008171081543, + "step": 134130 + }, + { + "epoch": 0.2716, + "grad_norm": 0.2502225935459137, + "learning_rate": 7.390490785398009e-05, + "loss": 3.064742851257324, + "step": 134140 + }, + { + "epoch": 0.27166666666666667, + "grad_norm": 0.2134014219045639, + "learning_rate": 7.389522558551198e-05, + "loss": 3.132498550415039, + "step": 134150 + }, + { + "epoch": 0.2717333333333333, + "grad_norm": 0.2023645043373108, + "learning_rate": 7.388554215564567e-05, + "loss": 3.116108703613281, + "step": 134160 + }, + { + "epoch": 0.2718, + "grad_norm": 0.1918283998966217, + "learning_rate": 7.38758575648518e-05, + "loss": 3.0535709381103517, + "step": 134170 + }, + { + "epoch": 0.27186666666666665, + "grad_norm": 0.1949814110994339, + "learning_rate": 7.38661718136011e-05, + "loss": 3.157307815551758, + "step": 134180 + }, + { + "epoch": 0.27193333333333336, + "grad_norm": 0.24040280282497406, + "learning_rate": 7.38564849023643e-05, + "loss": 3.081077003479004, + "step": 134190 + }, + { + "epoch": 0.272, + "grad_norm": 0.23605339229106903, + "learning_rate": 7.384679683161225e-05, + "loss": 3.1000900268554688, + "step": 134200 + }, + { + "epoch": 0.2720666666666667, + "grad_norm": 0.29754704236984253, + "learning_rate": 7.383710760181581e-05, + "loss": 3.285557174682617, + "step": 134210 + }, + { + "epoch": 0.27213333333333334, + "grad_norm": 0.20965149998664856, + "learning_rate": 7.382741721344594e-05, + "loss": 3.104419708251953, + "step": 134220 + }, + { + "epoch": 0.2722, + "grad_norm": 0.18226826190948486, + "learning_rate": 7.381772566697359e-05, + "loss": 3.0643503189086916, + "step": 134230 + }, + { + "epoch": 0.27226666666666666, + "grad_norm": 0.1924256831407547, + "learning_rate": 7.380803296286984e-05, + "loss": 3.052046012878418, + "step": 134240 + }, + { + "epoch": 0.2723333333333333, + "grad_norm": 0.18970367312431335, + "learning_rate": 7.379833910160578e-05, + "loss": 3.093863868713379, + "step": 134250 + }, + { + "epoch": 0.2724, + "grad_norm": 0.21271127462387085, + "learning_rate": 7.378864408365255e-05, + "loss": 3.098672866821289, + "step": 134260 + }, + { + "epoch": 0.2724666666666667, + "grad_norm": 0.3401971161365509, + "learning_rate": 7.377894790948139e-05, + "loss": 3.148152542114258, + "step": 134270 + }, + { + "epoch": 0.27253333333333335, + "grad_norm": 0.21635308861732483, + "learning_rate": 7.376925057956355e-05, + "loss": 3.0935964584350586, + "step": 134280 + }, + { + "epoch": 0.2726, + "grad_norm": 0.2198425531387329, + "learning_rate": 7.375955209437038e-05, + "loss": 3.1023962020874025, + "step": 134290 + }, + { + "epoch": 0.27266666666666667, + "grad_norm": 0.21156102418899536, + "learning_rate": 7.374985245437323e-05, + "loss": 3.104592132568359, + "step": 134300 + }, + { + "epoch": 0.2727333333333333, + "grad_norm": 0.21053335070610046, + "learning_rate": 7.374015166004358e-05, + "loss": 3.121542739868164, + "step": 134310 + }, + { + "epoch": 0.2728, + "grad_norm": 0.1968613862991333, + "learning_rate": 7.373044971185291e-05, + "loss": 3.1498128890991213, + "step": 134320 + }, + { + "epoch": 0.27286666666666665, + "grad_norm": 0.1989702731370926, + "learning_rate": 7.372074661027276e-05, + "loss": 3.124240684509277, + "step": 134330 + }, + { + "epoch": 0.2729333333333333, + "grad_norm": 0.27111825346946716, + "learning_rate": 7.371104235577474e-05, + "loss": 3.1046321868896483, + "step": 134340 + }, + { + "epoch": 0.273, + "grad_norm": 0.19378654658794403, + "learning_rate": 7.370133694883051e-05, + "loss": 3.048709678649902, + "step": 134350 + }, + { + "epoch": 0.2730666666666667, + "grad_norm": 0.18691390752792358, + "learning_rate": 7.36916303899118e-05, + "loss": 3.10750675201416, + "step": 134360 + }, + { + "epoch": 0.27313333333333334, + "grad_norm": 0.2201625555753708, + "learning_rate": 7.368192267949039e-05, + "loss": 3.107248878479004, + "step": 134370 + }, + { + "epoch": 0.2732, + "grad_norm": 0.20307864248752594, + "learning_rate": 7.36722138180381e-05, + "loss": 3.144384765625, + "step": 134380 + }, + { + "epoch": 0.27326666666666666, + "grad_norm": 0.197172611951828, + "learning_rate": 7.366250380602682e-05, + "loss": 3.0581939697265623, + "step": 134390 + }, + { + "epoch": 0.2733333333333333, + "grad_norm": 0.20068129897117615, + "learning_rate": 7.36527926439285e-05, + "loss": 3.0725566864013674, + "step": 134400 + }, + { + "epoch": 0.2734, + "grad_norm": 0.18621718883514404, + "learning_rate": 7.364308033221512e-05, + "loss": 3.1021514892578126, + "step": 134410 + }, + { + "epoch": 0.2734666666666667, + "grad_norm": 0.2860851585865021, + "learning_rate": 7.363336687135875e-05, + "loss": 3.0683385848999025, + "step": 134420 + }, + { + "epoch": 0.27353333333333335, + "grad_norm": 0.22512899339199066, + "learning_rate": 7.362365226183152e-05, + "loss": 3.099903678894043, + "step": 134430 + }, + { + "epoch": 0.2736, + "grad_norm": 0.20756562054157257, + "learning_rate": 7.361393650410555e-05, + "loss": 3.0647819519042967, + "step": 134440 + }, + { + "epoch": 0.27366666666666667, + "grad_norm": 0.21397359669208527, + "learning_rate": 7.360421959865311e-05, + "loss": 3.1037654876708984, + "step": 134450 + }, + { + "epoch": 0.27373333333333333, + "grad_norm": 0.26557862758636475, + "learning_rate": 7.359450154594644e-05, + "loss": 3.126969909667969, + "step": 134460 + }, + { + "epoch": 0.2738, + "grad_norm": 0.21124398708343506, + "learning_rate": 7.35847823464579e-05, + "loss": 3.111252212524414, + "step": 134470 + }, + { + "epoch": 0.27386666666666665, + "grad_norm": 0.2068970650434494, + "learning_rate": 7.357506200065987e-05, + "loss": 3.174595069885254, + "step": 134480 + }, + { + "epoch": 0.2739333333333333, + "grad_norm": 0.19095183908939362, + "learning_rate": 7.356534050902479e-05, + "loss": 3.0438385009765625, + "step": 134490 + }, + { + "epoch": 0.274, + "grad_norm": 0.20683947205543518, + "learning_rate": 7.355561787202519e-05, + "loss": 3.097141456604004, + "step": 134500 + }, + { + "epoch": 0.2740666666666667, + "grad_norm": 0.2336668223142624, + "learning_rate": 7.354589409013357e-05, + "loss": 3.3810089111328123, + "step": 134510 + }, + { + "epoch": 0.27413333333333334, + "grad_norm": 0.20158912241458893, + "learning_rate": 7.35361691638226e-05, + "loss": 3.1220523834228517, + "step": 134520 + }, + { + "epoch": 0.2742, + "grad_norm": 0.1926807314157486, + "learning_rate": 7.352644309356492e-05, + "loss": 3.0901767730712892, + "step": 134530 + }, + { + "epoch": 0.27426666666666666, + "grad_norm": 0.21388843655586243, + "learning_rate": 7.351671587983324e-05, + "loss": 3.036776542663574, + "step": 134540 + }, + { + "epoch": 0.2743333333333333, + "grad_norm": 0.19268257915973663, + "learning_rate": 7.350698752310037e-05, + "loss": 3.1131452560424804, + "step": 134550 + }, + { + "epoch": 0.2744, + "grad_norm": 0.20978009700775146, + "learning_rate": 7.349725802383914e-05, + "loss": 3.105458068847656, + "step": 134560 + }, + { + "epoch": 0.2744666666666667, + "grad_norm": 0.18905165791511536, + "learning_rate": 7.348752738252244e-05, + "loss": 3.130253219604492, + "step": 134570 + }, + { + "epoch": 0.27453333333333335, + "grad_norm": 0.2142236828804016, + "learning_rate": 7.34777955996232e-05, + "loss": 3.090705680847168, + "step": 134580 + }, + { + "epoch": 0.2746, + "grad_norm": 0.29366472363471985, + "learning_rate": 7.346806267561444e-05, + "loss": 3.1377573013305664, + "step": 134590 + }, + { + "epoch": 0.27466666666666667, + "grad_norm": 0.261595219373703, + "learning_rate": 7.345832861096918e-05, + "loss": 3.1011077880859377, + "step": 134600 + }, + { + "epoch": 0.27473333333333333, + "grad_norm": 0.30754294991493225, + "learning_rate": 7.344859340616059e-05, + "loss": 3.1221046447753906, + "step": 134610 + }, + { + "epoch": 0.2748, + "grad_norm": 0.21175730228424072, + "learning_rate": 7.343885706166178e-05, + "loss": 3.0796236038208007, + "step": 134620 + }, + { + "epoch": 0.27486666666666665, + "grad_norm": 0.2154357135295868, + "learning_rate": 7.342911957794602e-05, + "loss": 3.1025903701782225, + "step": 134630 + }, + { + "epoch": 0.2749333333333333, + "grad_norm": 0.1937161386013031, + "learning_rate": 7.341938095548657e-05, + "loss": 3.1182439804077147, + "step": 134640 + }, + { + "epoch": 0.275, + "grad_norm": 0.19995974004268646, + "learning_rate": 7.340964119475676e-05, + "loss": 3.103485870361328, + "step": 134650 + }, + { + "epoch": 0.2750666666666667, + "grad_norm": 0.18674497306346893, + "learning_rate": 7.339990029622997e-05, + "loss": 3.05023250579834, + "step": 134660 + }, + { + "epoch": 0.27513333333333334, + "grad_norm": 0.24366851150989532, + "learning_rate": 7.339015826037967e-05, + "loss": 3.1528688430786134, + "step": 134670 + }, + { + "epoch": 0.2752, + "grad_norm": 0.22504529356956482, + "learning_rate": 7.338041508767934e-05, + "loss": 3.080894660949707, + "step": 134680 + }, + { + "epoch": 0.27526666666666666, + "grad_norm": 0.19625116884708405, + "learning_rate": 7.337067077860254e-05, + "loss": 3.1360904693603517, + "step": 134690 + }, + { + "epoch": 0.2753333333333333, + "grad_norm": 0.21911031007766724, + "learning_rate": 7.336092533362288e-05, + "loss": 3.067639923095703, + "step": 134700 + }, + { + "epoch": 0.2754, + "grad_norm": 0.2038031369447708, + "learning_rate": 7.335117875321402e-05, + "loss": 3.1099891662597656, + "step": 134710 + }, + { + "epoch": 0.2754666666666667, + "grad_norm": 0.22058255970478058, + "learning_rate": 7.33414310378497e-05, + "loss": 3.0550409317016602, + "step": 134720 + }, + { + "epoch": 0.27553333333333335, + "grad_norm": 0.19328975677490234, + "learning_rate": 7.33316821880037e-05, + "loss": 3.0823444366455077, + "step": 134730 + }, + { + "epoch": 0.2756, + "grad_norm": 0.20407716929912567, + "learning_rate": 7.33219322041498e-05, + "loss": 3.0930912017822267, + "step": 134740 + }, + { + "epoch": 0.27566666666666667, + "grad_norm": 0.19886519014835358, + "learning_rate": 7.331218108676194e-05, + "loss": 3.0671642303466795, + "step": 134750 + }, + { + "epoch": 0.27573333333333333, + "grad_norm": 0.1958458572626114, + "learning_rate": 7.330242883631403e-05, + "loss": 3.0615156173706053, + "step": 134760 + }, + { + "epoch": 0.2758, + "grad_norm": 0.4259364604949951, + "learning_rate": 7.329267545328008e-05, + "loss": 3.2334251403808594, + "step": 134770 + }, + { + "epoch": 0.27586666666666665, + "grad_norm": 0.20543938875198364, + "learning_rate": 7.328292093813414e-05, + "loss": 3.1181428909301756, + "step": 134780 + }, + { + "epoch": 0.2759333333333333, + "grad_norm": 0.20845936238765717, + "learning_rate": 7.327316529135032e-05, + "loss": 3.116670036315918, + "step": 134790 + }, + { + "epoch": 0.276, + "grad_norm": 0.19170987606048584, + "learning_rate": 7.326340851340276e-05, + "loss": 3.0764705657958986, + "step": 134800 + }, + { + "epoch": 0.2760666666666667, + "grad_norm": 0.18155130743980408, + "learning_rate": 7.325365060476571e-05, + "loss": 3.0689504623413084, + "step": 134810 + }, + { + "epoch": 0.27613333333333334, + "grad_norm": 0.19840967655181885, + "learning_rate": 7.324389156591343e-05, + "loss": 3.1909130096435545, + "step": 134820 + }, + { + "epoch": 0.2762, + "grad_norm": 0.19265837967395782, + "learning_rate": 7.323413139732021e-05, + "loss": 3.0820133209228517, + "step": 134830 + }, + { + "epoch": 0.27626666666666666, + "grad_norm": 0.2234729379415512, + "learning_rate": 7.322437009946048e-05, + "loss": 3.10168399810791, + "step": 134840 + }, + { + "epoch": 0.2763333333333333, + "grad_norm": 0.1887475997209549, + "learning_rate": 7.321460767280867e-05, + "loss": 3.107189750671387, + "step": 134850 + }, + { + "epoch": 0.2764, + "grad_norm": 0.246076762676239, + "learning_rate": 7.320484411783924e-05, + "loss": 3.0398956298828126, + "step": 134860 + }, + { + "epoch": 0.2764666666666667, + "grad_norm": 0.215611070394516, + "learning_rate": 7.319507943502675e-05, + "loss": 3.1660173416137694, + "step": 134870 + }, + { + "epoch": 0.27653333333333335, + "grad_norm": 0.2145218700170517, + "learning_rate": 7.31853136248458e-05, + "loss": 3.0788217544555665, + "step": 134880 + }, + { + "epoch": 0.2766, + "grad_norm": 0.20573213696479797, + "learning_rate": 7.317554668777108e-05, + "loss": 3.051458549499512, + "step": 134890 + }, + { + "epoch": 0.27666666666666667, + "grad_norm": 0.20435939729213715, + "learning_rate": 7.316577862427724e-05, + "loss": 3.2715526580810548, + "step": 134900 + }, + { + "epoch": 0.27673333333333333, + "grad_norm": 0.23743869364261627, + "learning_rate": 7.315600943483909e-05, + "loss": 3.047878074645996, + "step": 134910 + }, + { + "epoch": 0.2768, + "grad_norm": 0.19719374179840088, + "learning_rate": 7.314623911993142e-05, + "loss": 3.0448740005493162, + "step": 134920 + }, + { + "epoch": 0.27686666666666665, + "grad_norm": 0.20045331120491028, + "learning_rate": 7.313646768002913e-05, + "loss": 3.114451599121094, + "step": 134930 + }, + { + "epoch": 0.2769333333333333, + "grad_norm": 0.23126038908958435, + "learning_rate": 7.312669511560713e-05, + "loss": 3.0455894470214844, + "step": 134940 + }, + { + "epoch": 0.277, + "grad_norm": 0.23679879307746887, + "learning_rate": 7.311692142714041e-05, + "loss": 3.0630767822265623, + "step": 134950 + }, + { + "epoch": 0.2770666666666667, + "grad_norm": 0.20713621377944946, + "learning_rate": 7.3107146615104e-05, + "loss": 3.111878204345703, + "step": 134960 + }, + { + "epoch": 0.27713333333333334, + "grad_norm": 0.20014235377311707, + "learning_rate": 7.309737067997303e-05, + "loss": 3.062550735473633, + "step": 134970 + }, + { + "epoch": 0.2772, + "grad_norm": 0.20272691547870636, + "learning_rate": 7.30875936222226e-05, + "loss": 3.051674461364746, + "step": 134980 + }, + { + "epoch": 0.27726666666666666, + "grad_norm": 0.18445643782615662, + "learning_rate": 7.307781544232791e-05, + "loss": 3.1141803741455076, + "step": 134990 + }, + { + "epoch": 0.2773333333333333, + "grad_norm": 0.19292689859867096, + "learning_rate": 7.306803614076425e-05, + "loss": 3.1270544052124025, + "step": 135000 + }, + { + "epoch": 0.2774, + "grad_norm": 0.24535305798053741, + "learning_rate": 7.305825571800693e-05, + "loss": 3.1001205444335938, + "step": 135010 + }, + { + "epoch": 0.27746666666666664, + "grad_norm": 0.20619742572307587, + "learning_rate": 7.304847417453129e-05, + "loss": 3.1294504165649415, + "step": 135020 + }, + { + "epoch": 0.27753333333333335, + "grad_norm": 0.19140364229679108, + "learning_rate": 7.303869151081278e-05, + "loss": 3.1339330673217773, + "step": 135030 + }, + { + "epoch": 0.2776, + "grad_norm": 0.20656096935272217, + "learning_rate": 7.302890772732684e-05, + "loss": 3.237970733642578, + "step": 135040 + }, + { + "epoch": 0.2776666666666667, + "grad_norm": 0.23879766464233398, + "learning_rate": 7.301912282454902e-05, + "loss": 3.095878791809082, + "step": 135050 + }, + { + "epoch": 0.27773333333333333, + "grad_norm": 0.1913091391324997, + "learning_rate": 7.30093368029549e-05, + "loss": 3.1678558349609376, + "step": 135060 + }, + { + "epoch": 0.2778, + "grad_norm": 0.21187421679496765, + "learning_rate": 7.299954966302012e-05, + "loss": 3.1048383712768555, + "step": 135070 + }, + { + "epoch": 0.27786666666666665, + "grad_norm": 0.2017248570919037, + "learning_rate": 7.298976140522037e-05, + "loss": 3.077295112609863, + "step": 135080 + }, + { + "epoch": 0.2779333333333333, + "grad_norm": 0.363299697637558, + "learning_rate": 7.297997203003138e-05, + "loss": 3.1285730361938477, + "step": 135090 + }, + { + "epoch": 0.278, + "grad_norm": 0.20892050862312317, + "learning_rate": 7.297018153792898e-05, + "loss": 3.1025869369506838, + "step": 135100 + }, + { + "epoch": 0.2780666666666667, + "grad_norm": 0.2741938531398773, + "learning_rate": 7.296038992938902e-05, + "loss": 3.081759452819824, + "step": 135110 + }, + { + "epoch": 0.27813333333333334, + "grad_norm": 0.23444442451000214, + "learning_rate": 7.295059720488739e-05, + "loss": 3.0927349090576173, + "step": 135120 + }, + { + "epoch": 0.2782, + "grad_norm": 0.2294454127550125, + "learning_rate": 7.294080336490005e-05, + "loss": 3.073099136352539, + "step": 135130 + }, + { + "epoch": 0.27826666666666666, + "grad_norm": 0.20826095342636108, + "learning_rate": 7.293100840990305e-05, + "loss": 3.0966537475585936, + "step": 135140 + }, + { + "epoch": 0.2783333333333333, + "grad_norm": 0.2228473275899887, + "learning_rate": 7.292121234037243e-05, + "loss": 3.1006813049316406, + "step": 135150 + }, + { + "epoch": 0.2784, + "grad_norm": 0.1958552747964859, + "learning_rate": 7.291141515678434e-05, + "loss": 3.166895294189453, + "step": 135160 + }, + { + "epoch": 0.27846666666666664, + "grad_norm": 0.2322738617658615, + "learning_rate": 7.290161685961494e-05, + "loss": 3.1087202072143554, + "step": 135170 + }, + { + "epoch": 0.27853333333333335, + "grad_norm": 0.22587135434150696, + "learning_rate": 7.289181744934048e-05, + "loss": 3.1003589630126953, + "step": 135180 + }, + { + "epoch": 0.2786, + "grad_norm": 1.2448137998580933, + "learning_rate": 7.288201692643723e-05, + "loss": 2.9218515396118163, + "step": 135190 + }, + { + "epoch": 0.2786666666666667, + "grad_norm": 0.6249520778656006, + "learning_rate": 7.287221529138157e-05, + "loss": 3.0058099746704103, + "step": 135200 + }, + { + "epoch": 0.27873333333333333, + "grad_norm": 0.20508508384227753, + "learning_rate": 7.286241254464984e-05, + "loss": 3.0540750503540037, + "step": 135210 + }, + { + "epoch": 0.2788, + "grad_norm": 0.2091277539730072, + "learning_rate": 7.285260868671855e-05, + "loss": 3.08648681640625, + "step": 135220 + }, + { + "epoch": 0.27886666666666665, + "grad_norm": 0.24524623155593872, + "learning_rate": 7.284280371806415e-05, + "loss": 3.116571617126465, + "step": 135230 + }, + { + "epoch": 0.2789333333333333, + "grad_norm": 0.23484712839126587, + "learning_rate": 7.283299763916324e-05, + "loss": 3.6850948333740234, + "step": 135240 + }, + { + "epoch": 0.279, + "grad_norm": 0.18721537292003632, + "learning_rate": 7.28231904504924e-05, + "loss": 3.060105323791504, + "step": 135250 + }, + { + "epoch": 0.2790666666666667, + "grad_norm": 0.19440560042858124, + "learning_rate": 7.281338215252833e-05, + "loss": 3.1406534194946287, + "step": 135260 + }, + { + "epoch": 0.27913333333333334, + "grad_norm": 0.19960108399391174, + "learning_rate": 7.280357274574772e-05, + "loss": 3.1146213531494142, + "step": 135270 + }, + { + "epoch": 0.2792, + "grad_norm": 0.20562557876110077, + "learning_rate": 7.279376223062738e-05, + "loss": 3.123423767089844, + "step": 135280 + }, + { + "epoch": 0.27926666666666666, + "grad_norm": 0.20420007407665253, + "learning_rate": 7.278395060764409e-05, + "loss": 3.2533847808837892, + "step": 135290 + }, + { + "epoch": 0.2793333333333333, + "grad_norm": 0.19779573380947113, + "learning_rate": 7.277413787727477e-05, + "loss": 3.079606628417969, + "step": 135300 + }, + { + "epoch": 0.2794, + "grad_norm": 0.21706652641296387, + "learning_rate": 7.276432403999633e-05, + "loss": 3.097688102722168, + "step": 135310 + }, + { + "epoch": 0.27946666666666664, + "grad_norm": 0.3385089933872223, + "learning_rate": 7.275450909628579e-05, + "loss": 3.072599983215332, + "step": 135320 + }, + { + "epoch": 0.27953333333333336, + "grad_norm": 0.2991317808628082, + "learning_rate": 7.274469304662017e-05, + "loss": 3.127715301513672, + "step": 135330 + }, + { + "epoch": 0.2796, + "grad_norm": 0.25209322571754456, + "learning_rate": 7.273487589147656e-05, + "loss": 3.2544570922851563, + "step": 135340 + }, + { + "epoch": 0.2796666666666667, + "grad_norm": 0.19478070735931396, + "learning_rate": 7.272505763133214e-05, + "loss": 3.1083347320556642, + "step": 135350 + }, + { + "epoch": 0.27973333333333333, + "grad_norm": 0.20810149610042572, + "learning_rate": 7.271523826666409e-05, + "loss": 3.1442737579345703, + "step": 135360 + }, + { + "epoch": 0.2798, + "grad_norm": 0.2017703354358673, + "learning_rate": 7.27054177979497e-05, + "loss": 3.0428924560546875, + "step": 135370 + }, + { + "epoch": 0.27986666666666665, + "grad_norm": 0.20417873561382294, + "learning_rate": 7.269559622566623e-05, + "loss": 3.127569007873535, + "step": 135380 + }, + { + "epoch": 0.2799333333333333, + "grad_norm": 0.21798557043075562, + "learning_rate": 7.268577355029108e-05, + "loss": 3.1303260803222654, + "step": 135390 + }, + { + "epoch": 0.28, + "grad_norm": 0.18594203889369965, + "learning_rate": 7.267594977230166e-05, + "loss": 3.1670677185058596, + "step": 135400 + }, + { + "epoch": 0.2800666666666667, + "grad_norm": 0.18593917787075043, + "learning_rate": 7.266612489217546e-05, + "loss": 3.171974754333496, + "step": 135410 + }, + { + "epoch": 0.28013333333333335, + "grad_norm": 0.27888232469558716, + "learning_rate": 7.265629891038999e-05, + "loss": 3.145647430419922, + "step": 135420 + }, + { + "epoch": 0.2802, + "grad_norm": 0.1944991648197174, + "learning_rate": 7.264647182742282e-05, + "loss": 3.088460350036621, + "step": 135430 + }, + { + "epoch": 0.28026666666666666, + "grad_norm": 0.18983863294124603, + "learning_rate": 7.26366436437516e-05, + "loss": 3.2194725036621095, + "step": 135440 + }, + { + "epoch": 0.2803333333333333, + "grad_norm": 0.2256973534822464, + "learning_rate": 7.262681435985401e-05, + "loss": 3.117356872558594, + "step": 135450 + }, + { + "epoch": 0.2804, + "grad_norm": 0.21810144186019897, + "learning_rate": 7.26169839762078e-05, + "loss": 3.083418846130371, + "step": 135460 + }, + { + "epoch": 0.28046666666666664, + "grad_norm": 0.23035523295402527, + "learning_rate": 7.260715249329075e-05, + "loss": 3.082942008972168, + "step": 135470 + }, + { + "epoch": 0.28053333333333336, + "grad_norm": 0.24343855679035187, + "learning_rate": 7.25973199115807e-05, + "loss": 3.1280950546264648, + "step": 135480 + }, + { + "epoch": 0.2806, + "grad_norm": 0.2454870343208313, + "learning_rate": 7.258748623155558e-05, + "loss": 3.0903175354003904, + "step": 135490 + }, + { + "epoch": 0.2806666666666667, + "grad_norm": 0.2033456712961197, + "learning_rate": 7.257765145369332e-05, + "loss": 3.018671226501465, + "step": 135500 + }, + { + "epoch": 0.28073333333333333, + "grad_norm": 0.3966335952281952, + "learning_rate": 7.256781557847196e-05, + "loss": 3.142201805114746, + "step": 135510 + }, + { + "epoch": 0.2808, + "grad_norm": 0.23108384013175964, + "learning_rate": 7.255797860636951e-05, + "loss": 3.1468574523925783, + "step": 135520 + }, + { + "epoch": 0.28086666666666665, + "grad_norm": 0.20694789290428162, + "learning_rate": 7.254814053786413e-05, + "loss": 3.133475685119629, + "step": 135530 + }, + { + "epoch": 0.2809333333333333, + "grad_norm": 0.21877174079418182, + "learning_rate": 7.253830137343396e-05, + "loss": 3.0722782135009767, + "step": 135540 + }, + { + "epoch": 0.281, + "grad_norm": 0.20354413986206055, + "learning_rate": 7.252846111355722e-05, + "loss": 3.0857988357543946, + "step": 135550 + }, + { + "epoch": 0.2810666666666667, + "grad_norm": 0.21611465513706207, + "learning_rate": 7.251861975871219e-05, + "loss": 3.109951400756836, + "step": 135560 + }, + { + "epoch": 0.28113333333333335, + "grad_norm": 0.19647854566574097, + "learning_rate": 7.25087773093772e-05, + "loss": 3.076380157470703, + "step": 135570 + }, + { + "epoch": 0.2812, + "grad_norm": 0.2356613576412201, + "learning_rate": 7.249893376603063e-05, + "loss": 3.106260871887207, + "step": 135580 + }, + { + "epoch": 0.28126666666666666, + "grad_norm": 0.22371603548526764, + "learning_rate": 7.248908912915092e-05, + "loss": 3.0517635345458984, + "step": 135590 + }, + { + "epoch": 0.2813333333333333, + "grad_norm": 0.19725416600704193, + "learning_rate": 7.247924339921655e-05, + "loss": 3.0804182052612306, + "step": 135600 + }, + { + "epoch": 0.2814, + "grad_norm": 0.21652981638908386, + "learning_rate": 7.246939657670604e-05, + "loss": 3.0814865112304686, + "step": 135610 + }, + { + "epoch": 0.28146666666666664, + "grad_norm": 0.21851813793182373, + "learning_rate": 7.245954866209803e-05, + "loss": 3.1377553939819336, + "step": 135620 + }, + { + "epoch": 0.28153333333333336, + "grad_norm": 0.19520120322704315, + "learning_rate": 7.244969965587112e-05, + "loss": 3.0723945617675783, + "step": 135630 + }, + { + "epoch": 0.2816, + "grad_norm": 0.23173393309116364, + "learning_rate": 7.243984955850402e-05, + "loss": 3.089372444152832, + "step": 135640 + }, + { + "epoch": 0.2816666666666667, + "grad_norm": 0.22523672878742218, + "learning_rate": 7.242999837047549e-05, + "loss": 3.139412689208984, + "step": 135650 + }, + { + "epoch": 0.28173333333333334, + "grad_norm": 0.19419468939304352, + "learning_rate": 7.242014609226435e-05, + "loss": 3.0754770278930663, + "step": 135660 + }, + { + "epoch": 0.2818, + "grad_norm": 0.19469429552555084, + "learning_rate": 7.241029272434942e-05, + "loss": 3.097929573059082, + "step": 135670 + }, + { + "epoch": 0.28186666666666665, + "grad_norm": 0.20259028673171997, + "learning_rate": 7.240043826720963e-05, + "loss": 3.1047689437866213, + "step": 135680 + }, + { + "epoch": 0.2819333333333333, + "grad_norm": 0.18869540095329285, + "learning_rate": 7.239058272132397e-05, + "loss": 3.062444305419922, + "step": 135690 + }, + { + "epoch": 0.282, + "grad_norm": 0.19659289717674255, + "learning_rate": 7.238072608717141e-05, + "loss": 3.0304920196533205, + "step": 135700 + }, + { + "epoch": 0.2820666666666667, + "grad_norm": 0.2381151169538498, + "learning_rate": 7.237086836523105e-05, + "loss": 3.0444339752197265, + "step": 135710 + }, + { + "epoch": 0.28213333333333335, + "grad_norm": 0.20561634004116058, + "learning_rate": 7.2361009555982e-05, + "loss": 3.0765640258789064, + "step": 135720 + }, + { + "epoch": 0.2822, + "grad_norm": 0.20907653868198395, + "learning_rate": 7.235114965990345e-05, + "loss": 3.1131284713745115, + "step": 135730 + }, + { + "epoch": 0.28226666666666667, + "grad_norm": 0.19360916316509247, + "learning_rate": 7.23412886774746e-05, + "loss": 3.161656379699707, + "step": 135740 + }, + { + "epoch": 0.2823333333333333, + "grad_norm": 0.21554872393608093, + "learning_rate": 7.233142660917477e-05, + "loss": 3.053024673461914, + "step": 135750 + }, + { + "epoch": 0.2824, + "grad_norm": 0.21936388313770294, + "learning_rate": 7.232156345548327e-05, + "loss": 3.064804458618164, + "step": 135760 + }, + { + "epoch": 0.28246666666666664, + "grad_norm": 0.20975705981254578, + "learning_rate": 7.231169921687947e-05, + "loss": 3.043684387207031, + "step": 135770 + }, + { + "epoch": 0.28253333333333336, + "grad_norm": 0.1909835934638977, + "learning_rate": 7.230183389384285e-05, + "loss": 3.076956558227539, + "step": 135780 + }, + { + "epoch": 0.2826, + "grad_norm": 0.20936565101146698, + "learning_rate": 7.229196748685287e-05, + "loss": 3.1177928924560545, + "step": 135790 + }, + { + "epoch": 0.2826666666666667, + "grad_norm": 0.18323653936386108, + "learning_rate": 7.228209999638908e-05, + "loss": 3.106785774230957, + "step": 135800 + }, + { + "epoch": 0.28273333333333334, + "grad_norm": 0.1953027993440628, + "learning_rate": 7.227223142293109e-05, + "loss": 3.093608283996582, + "step": 135810 + }, + { + "epoch": 0.2828, + "grad_norm": 0.26185402274131775, + "learning_rate": 7.226236176695855e-05, + "loss": 3.1174678802490234, + "step": 135820 + }, + { + "epoch": 0.28286666666666666, + "grad_norm": 0.2126893252134323, + "learning_rate": 7.225249102895113e-05, + "loss": 3.1201751708984373, + "step": 135830 + }, + { + "epoch": 0.2829333333333333, + "grad_norm": 0.22818569839000702, + "learning_rate": 7.224261920938863e-05, + "loss": 3.088941192626953, + "step": 135840 + }, + { + "epoch": 0.283, + "grad_norm": 0.23217108845710754, + "learning_rate": 7.223274630875084e-05, + "loss": 3.0391862869262694, + "step": 135850 + }, + { + "epoch": 0.2830666666666667, + "grad_norm": 0.20320576429367065, + "learning_rate": 7.22228723275176e-05, + "loss": 3.0559268951416017, + "step": 135860 + }, + { + "epoch": 0.28313333333333335, + "grad_norm": 0.20092031359672546, + "learning_rate": 7.221299726616885e-05, + "loss": 3.0751482009887696, + "step": 135870 + }, + { + "epoch": 0.2832, + "grad_norm": 0.22583970427513123, + "learning_rate": 7.220312112518455e-05, + "loss": 3.097934341430664, + "step": 135880 + }, + { + "epoch": 0.28326666666666667, + "grad_norm": 0.2565787434577942, + "learning_rate": 7.21932439050447e-05, + "loss": 2.788398551940918, + "step": 135890 + }, + { + "epoch": 0.2833333333333333, + "grad_norm": 0.20063650608062744, + "learning_rate": 7.21833656062294e-05, + "loss": 3.1457149505615236, + "step": 135900 + }, + { + "epoch": 0.2834, + "grad_norm": 0.19000130891799927, + "learning_rate": 7.217348622921874e-05, + "loss": 3.0394187927246095, + "step": 135910 + }, + { + "epoch": 0.28346666666666664, + "grad_norm": 0.20711173117160797, + "learning_rate": 7.216360577449293e-05, + "loss": 3.050811004638672, + "step": 135920 + }, + { + "epoch": 0.28353333333333336, + "grad_norm": 0.20018059015274048, + "learning_rate": 7.215372424253217e-05, + "loss": 3.0642040252685545, + "step": 135930 + }, + { + "epoch": 0.2836, + "grad_norm": 0.21177633106708527, + "learning_rate": 7.214384163381676e-05, + "loss": 3.1510316848754885, + "step": 135940 + }, + { + "epoch": 0.2836666666666667, + "grad_norm": 0.25847524404525757, + "learning_rate": 7.2133957948827e-05, + "loss": 3.1531244277954102, + "step": 135950 + }, + { + "epoch": 0.28373333333333334, + "grad_norm": 0.21611525118350983, + "learning_rate": 7.21240731880433e-05, + "loss": 3.1213178634643555, + "step": 135960 + }, + { + "epoch": 0.2838, + "grad_norm": 0.39061591029167175, + "learning_rate": 7.21141873519461e-05, + "loss": 3.239899444580078, + "step": 135970 + }, + { + "epoch": 0.28386666666666666, + "grad_norm": 0.22428454458713531, + "learning_rate": 7.210430044101588e-05, + "loss": 3.102464294433594, + "step": 135980 + }, + { + "epoch": 0.2839333333333333, + "grad_norm": 0.21592313051223755, + "learning_rate": 7.209441245573319e-05, + "loss": 3.0595006942749023, + "step": 135990 + }, + { + "epoch": 0.284, + "grad_norm": 0.19925080239772797, + "learning_rate": 7.208452339657861e-05, + "loss": 3.12554931640625, + "step": 136000 + }, + { + "epoch": 0.2840666666666667, + "grad_norm": 0.21965795755386353, + "learning_rate": 7.20746332640328e-05, + "loss": 3.055919075012207, + "step": 136010 + }, + { + "epoch": 0.28413333333333335, + "grad_norm": 0.20372635126113892, + "learning_rate": 7.206474205857643e-05, + "loss": 3.1201408386230467, + "step": 136020 + }, + { + "epoch": 0.2842, + "grad_norm": 0.21526721119880676, + "learning_rate": 7.205484978069029e-05, + "loss": 3.086966133117676, + "step": 136030 + }, + { + "epoch": 0.28426666666666667, + "grad_norm": 0.20530687272548676, + "learning_rate": 7.204495643085513e-05, + "loss": 3.0939573287963866, + "step": 136040 + }, + { + "epoch": 0.2843333333333333, + "grad_norm": 0.23252488672733307, + "learning_rate": 7.203506200955186e-05, + "loss": 3.10339298248291, + "step": 136050 + }, + { + "epoch": 0.2844, + "grad_norm": 0.1870289146900177, + "learning_rate": 7.202516651726134e-05, + "loss": 3.0764421463012694, + "step": 136060 + }, + { + "epoch": 0.28446666666666665, + "grad_norm": 0.19931121170520782, + "learning_rate": 7.201526995446457e-05, + "loss": 3.057769012451172, + "step": 136070 + }, + { + "epoch": 0.28453333333333336, + "grad_norm": 0.20449919998645782, + "learning_rate": 7.200537232164252e-05, + "loss": 3.062640380859375, + "step": 136080 + }, + { + "epoch": 0.2846, + "grad_norm": 0.20297344028949738, + "learning_rate": 7.19954736192763e-05, + "loss": 3.0893875122070313, + "step": 136090 + }, + { + "epoch": 0.2846666666666667, + "grad_norm": 0.2513751685619354, + "learning_rate": 7.198557384784699e-05, + "loss": 3.1101404190063477, + "step": 136100 + }, + { + "epoch": 0.28473333333333334, + "grad_norm": 0.2522098422050476, + "learning_rate": 7.197567300783575e-05, + "loss": 3.288222885131836, + "step": 136110 + }, + { + "epoch": 0.2848, + "grad_norm": 0.2214130312204361, + "learning_rate": 7.196577109972382e-05, + "loss": 3.146269607543945, + "step": 136120 + }, + { + "epoch": 0.28486666666666666, + "grad_norm": 0.2347007542848587, + "learning_rate": 7.195586812399245e-05, + "loss": 3.278798294067383, + "step": 136130 + }, + { + "epoch": 0.2849333333333333, + "grad_norm": 0.20018842816352844, + "learning_rate": 7.194596408112299e-05, + "loss": 3.119205284118652, + "step": 136140 + }, + { + "epoch": 0.285, + "grad_norm": 0.2539750933647156, + "learning_rate": 7.193605897159678e-05, + "loss": 3.1335948944091796, + "step": 136150 + }, + { + "epoch": 0.2850666666666667, + "grad_norm": 0.26662084460258484, + "learning_rate": 7.192615279589527e-05, + "loss": 3.0790733337402343, + "step": 136160 + }, + { + "epoch": 0.28513333333333335, + "grad_norm": 0.31818559765815735, + "learning_rate": 7.191624555449995e-05, + "loss": 3.2900146484375, + "step": 136170 + }, + { + "epoch": 0.2852, + "grad_norm": 0.1890367716550827, + "learning_rate": 7.190633724789229e-05, + "loss": 3.032508659362793, + "step": 136180 + }, + { + "epoch": 0.28526666666666667, + "grad_norm": 0.2000933587551117, + "learning_rate": 7.189642787655393e-05, + "loss": 3.138959503173828, + "step": 136190 + }, + { + "epoch": 0.2853333333333333, + "grad_norm": 0.20357511937618256, + "learning_rate": 7.18865174409665e-05, + "loss": 3.099522018432617, + "step": 136200 + }, + { + "epoch": 0.2854, + "grad_norm": 0.3971244990825653, + "learning_rate": 7.187660594161165e-05, + "loss": 3.123660659790039, + "step": 136210 + }, + { + "epoch": 0.28546666666666665, + "grad_norm": 0.23080074787139893, + "learning_rate": 7.186669337897113e-05, + "loss": 3.1101476669311525, + "step": 136220 + }, + { + "epoch": 0.2855333333333333, + "grad_norm": 0.2071463167667389, + "learning_rate": 7.185677975352675e-05, + "loss": 3.070368003845215, + "step": 136230 + }, + { + "epoch": 0.2856, + "grad_norm": 0.21620628237724304, + "learning_rate": 7.184686506576032e-05, + "loss": 3.2308120727539062, + "step": 136240 + }, + { + "epoch": 0.2856666666666667, + "grad_norm": 0.2341943234205246, + "learning_rate": 7.183694931615374e-05, + "loss": 3.0994022369384764, + "step": 136250 + }, + { + "epoch": 0.28573333333333334, + "grad_norm": 0.2403384894132614, + "learning_rate": 7.182703250518899e-05, + "loss": 3.1255632400512696, + "step": 136260 + }, + { + "epoch": 0.2858, + "grad_norm": 0.19767217338085175, + "learning_rate": 7.181711463334799e-05, + "loss": 3.0888626098632814, + "step": 136270 + }, + { + "epoch": 0.28586666666666666, + "grad_norm": 0.21136432886123657, + "learning_rate": 7.180719570111285e-05, + "loss": 3.1114776611328123, + "step": 136280 + }, + { + "epoch": 0.2859333333333333, + "grad_norm": 0.2109096795320511, + "learning_rate": 7.179727570896564e-05, + "loss": 3.114798355102539, + "step": 136290 + }, + { + "epoch": 0.286, + "grad_norm": 0.22856128215789795, + "learning_rate": 7.178735465738851e-05, + "loss": 3.118935203552246, + "step": 136300 + }, + { + "epoch": 0.2860666666666667, + "grad_norm": 0.20958562195301056, + "learning_rate": 7.177743254686366e-05, + "loss": 3.031927299499512, + "step": 136310 + }, + { + "epoch": 0.28613333333333335, + "grad_norm": 0.18594703078269958, + "learning_rate": 7.176750937787336e-05, + "loss": 3.0633020401000977, + "step": 136320 + }, + { + "epoch": 0.2862, + "grad_norm": 0.27606725692749023, + "learning_rate": 7.175758515089987e-05, + "loss": 2.933796691894531, + "step": 136330 + }, + { + "epoch": 0.28626666666666667, + "grad_norm": 0.27443215250968933, + "learning_rate": 7.174765986642561e-05, + "loss": 3.0108369827270507, + "step": 136340 + }, + { + "epoch": 0.28633333333333333, + "grad_norm": 0.19178229570388794, + "learning_rate": 7.173773352493294e-05, + "loss": 3.1025800704956055, + "step": 136350 + }, + { + "epoch": 0.2864, + "grad_norm": 0.2080274522304535, + "learning_rate": 7.172780612690432e-05, + "loss": 3.045489501953125, + "step": 136360 + }, + { + "epoch": 0.28646666666666665, + "grad_norm": 0.20466715097427368, + "learning_rate": 7.171787767282228e-05, + "loss": 3.1842041015625, + "step": 136370 + }, + { + "epoch": 0.2865333333333333, + "grad_norm": 0.2586720585823059, + "learning_rate": 7.170794816316935e-05, + "loss": 3.1025009155273438, + "step": 136380 + }, + { + "epoch": 0.2866, + "grad_norm": 0.5389622449874878, + "learning_rate": 7.169801759842817e-05, + "loss": 2.488631820678711, + "step": 136390 + }, + { + "epoch": 0.2866666666666667, + "grad_norm": 0.1900252103805542, + "learning_rate": 7.16880859790814e-05, + "loss": 3.1381397247314453, + "step": 136400 + }, + { + "epoch": 0.28673333333333334, + "grad_norm": 0.2485426962375641, + "learning_rate": 7.167815330561174e-05, + "loss": 3.1579294204711914, + "step": 136410 + }, + { + "epoch": 0.2868, + "grad_norm": 0.2103429138660431, + "learning_rate": 7.166821957850197e-05, + "loss": 3.084157180786133, + "step": 136420 + }, + { + "epoch": 0.28686666666666666, + "grad_norm": 0.21548989415168762, + "learning_rate": 7.165828479823489e-05, + "loss": 3.140024757385254, + "step": 136430 + }, + { + "epoch": 0.2869333333333333, + "grad_norm": 0.2476048469543457, + "learning_rate": 7.164834896529338e-05, + "loss": 3.071320343017578, + "step": 136440 + }, + { + "epoch": 0.287, + "grad_norm": 0.20481398701667786, + "learning_rate": 7.163841208016034e-05, + "loss": 3.134907531738281, + "step": 136450 + }, + { + "epoch": 0.2870666666666667, + "grad_norm": 0.2585482895374298, + "learning_rate": 7.162847414331876e-05, + "loss": 2.867279815673828, + "step": 136460 + }, + { + "epoch": 0.28713333333333335, + "grad_norm": 0.1901901513338089, + "learning_rate": 7.161853515525167e-05, + "loss": 3.1216970443725587, + "step": 136470 + }, + { + "epoch": 0.2872, + "grad_norm": 0.2008020132780075, + "learning_rate": 7.160859511644214e-05, + "loss": 3.254364013671875, + "step": 136480 + }, + { + "epoch": 0.28726666666666667, + "grad_norm": 0.1920188069343567, + "learning_rate": 7.159865402737326e-05, + "loss": 3.1195100784301757, + "step": 136490 + }, + { + "epoch": 0.28733333333333333, + "grad_norm": 0.2507277727127075, + "learning_rate": 7.158871188852825e-05, + "loss": 3.0720703125, + "step": 136500 + }, + { + "epoch": 0.2874, + "grad_norm": 0.21268922090530396, + "learning_rate": 7.15787687003903e-05, + "loss": 3.1071266174316405, + "step": 136510 + }, + { + "epoch": 0.28746666666666665, + "grad_norm": 0.19107100367546082, + "learning_rate": 7.15688244634427e-05, + "loss": 3.0500213623046877, + "step": 136520 + }, + { + "epoch": 0.2875333333333333, + "grad_norm": 0.20185601711273193, + "learning_rate": 7.155887917816877e-05, + "loss": 3.110744667053223, + "step": 136530 + }, + { + "epoch": 0.2876, + "grad_norm": 0.2274792194366455, + "learning_rate": 7.15489328450519e-05, + "loss": 3.0606706619262694, + "step": 136540 + }, + { + "epoch": 0.2876666666666667, + "grad_norm": 0.20935213565826416, + "learning_rate": 7.153898546457551e-05, + "loss": 3.0732030868530273, + "step": 136550 + }, + { + "epoch": 0.28773333333333334, + "grad_norm": 0.2191091924905777, + "learning_rate": 7.152903703722309e-05, + "loss": 3.0868898391723634, + "step": 136560 + }, + { + "epoch": 0.2878, + "grad_norm": 0.19853366911411285, + "learning_rate": 7.151908756347817e-05, + "loss": 3.0869729995727537, + "step": 136570 + }, + { + "epoch": 0.28786666666666666, + "grad_norm": 0.194431334733963, + "learning_rate": 7.150913704382432e-05, + "loss": 3.1221837997436523, + "step": 136580 + }, + { + "epoch": 0.2879333333333333, + "grad_norm": 0.25424760580062866, + "learning_rate": 7.149918547874518e-05, + "loss": 3.0725732803344727, + "step": 136590 + }, + { + "epoch": 0.288, + "grad_norm": 0.19171319901943207, + "learning_rate": 7.148923286872445e-05, + "loss": 3.0639884948730467, + "step": 136600 + }, + { + "epoch": 0.2880666666666667, + "grad_norm": 0.21412049233913422, + "learning_rate": 7.147927921424582e-05, + "loss": 3.134748649597168, + "step": 136610 + }, + { + "epoch": 0.28813333333333335, + "grad_norm": 0.19339898228645325, + "learning_rate": 7.146932451579313e-05, + "loss": 3.114295768737793, + "step": 136620 + }, + { + "epoch": 0.2882, + "grad_norm": 0.20135948061943054, + "learning_rate": 7.145936877385018e-05, + "loss": 3.1024702072143553, + "step": 136630 + }, + { + "epoch": 0.28826666666666667, + "grad_norm": 0.18952438235282898, + "learning_rate": 7.144941198890087e-05, + "loss": 3.1383129119873048, + "step": 136640 + }, + { + "epoch": 0.28833333333333333, + "grad_norm": 0.21303464472293854, + "learning_rate": 7.143945416142915e-05, + "loss": 3.1718299865722654, + "step": 136650 + }, + { + "epoch": 0.2884, + "grad_norm": 0.20283012092113495, + "learning_rate": 7.142949529191898e-05, + "loss": 3.1434324264526365, + "step": 136660 + }, + { + "epoch": 0.28846666666666665, + "grad_norm": 0.21064493060112, + "learning_rate": 7.14195353808544e-05, + "loss": 3.0694562911987306, + "step": 136670 + }, + { + "epoch": 0.2885333333333333, + "grad_norm": 0.2100248783826828, + "learning_rate": 7.140957442871952e-05, + "loss": 3.18924617767334, + "step": 136680 + }, + { + "epoch": 0.2886, + "grad_norm": 0.19801892340183258, + "learning_rate": 7.139961243599847e-05, + "loss": 3.0729475021362305, + "step": 136690 + }, + { + "epoch": 0.2886666666666667, + "grad_norm": 0.22349946200847626, + "learning_rate": 7.138964940317543e-05, + "loss": 3.0589632034301757, + "step": 136700 + }, + { + "epoch": 0.28873333333333334, + "grad_norm": 0.21331153810024261, + "learning_rate": 7.137968533073466e-05, + "loss": 3.060628318786621, + "step": 136710 + }, + { + "epoch": 0.2888, + "grad_norm": 0.21133846044540405, + "learning_rate": 7.136972021916043e-05, + "loss": 3.1037691116333006, + "step": 136720 + }, + { + "epoch": 0.28886666666666666, + "grad_norm": 0.261549711227417, + "learning_rate": 7.135975406893711e-05, + "loss": 3.062620735168457, + "step": 136730 + }, + { + "epoch": 0.2889333333333333, + "grad_norm": 0.24864065647125244, + "learning_rate": 7.134978688054909e-05, + "loss": 3.0650955200195313, + "step": 136740 + }, + { + "epoch": 0.289, + "grad_norm": 0.20554371178150177, + "learning_rate": 7.133981865448078e-05, + "loss": 3.0212610244750975, + "step": 136750 + }, + { + "epoch": 0.2890666666666667, + "grad_norm": 0.199406236410141, + "learning_rate": 7.132984939121671e-05, + "loss": 3.04685001373291, + "step": 136760 + }, + { + "epoch": 0.28913333333333335, + "grad_norm": 0.19843536615371704, + "learning_rate": 7.13198790912414e-05, + "loss": 3.0953180313110353, + "step": 136770 + }, + { + "epoch": 0.2892, + "grad_norm": 0.2016967236995697, + "learning_rate": 7.130990775503944e-05, + "loss": 3.106058883666992, + "step": 136780 + }, + { + "epoch": 0.28926666666666667, + "grad_norm": 0.19465401768684387, + "learning_rate": 7.129993538309549e-05, + "loss": 3.1575033187866213, + "step": 136790 + }, + { + "epoch": 0.28933333333333333, + "grad_norm": 0.19944801926612854, + "learning_rate": 7.128996197589425e-05, + "loss": 3.072457122802734, + "step": 136800 + }, + { + "epoch": 0.2894, + "grad_norm": 0.8915180563926697, + "learning_rate": 7.127998753392046e-05, + "loss": 3.100258445739746, + "step": 136810 + }, + { + "epoch": 0.28946666666666665, + "grad_norm": 0.24848267436027527, + "learning_rate": 7.12700120576589e-05, + "loss": 3.0477781295776367, + "step": 136820 + }, + { + "epoch": 0.2895333333333333, + "grad_norm": 0.20503342151641846, + "learning_rate": 7.126003554759444e-05, + "loss": 3.091659736633301, + "step": 136830 + }, + { + "epoch": 0.2896, + "grad_norm": 0.21840302646160126, + "learning_rate": 7.125005800421196e-05, + "loss": 3.106566047668457, + "step": 136840 + }, + { + "epoch": 0.2896666666666667, + "grad_norm": 0.19728368520736694, + "learning_rate": 7.124007942799641e-05, + "loss": 3.2096458435058595, + "step": 136850 + }, + { + "epoch": 0.28973333333333334, + "grad_norm": 0.2313506007194519, + "learning_rate": 7.123009981943278e-05, + "loss": 3.010733222961426, + "step": 136860 + }, + { + "epoch": 0.2898, + "grad_norm": 0.22091570496559143, + "learning_rate": 7.122011917900614e-05, + "loss": 3.136876678466797, + "step": 136870 + }, + { + "epoch": 0.28986666666666666, + "grad_norm": 0.18412034213542938, + "learning_rate": 7.121013750720155e-05, + "loss": 3.0908748626708986, + "step": 136880 + }, + { + "epoch": 0.2899333333333333, + "grad_norm": 0.1962573081254959, + "learning_rate": 7.12001548045042e-05, + "loss": 3.083729934692383, + "step": 136890 + }, + { + "epoch": 0.29, + "grad_norm": 0.8177154660224915, + "learning_rate": 7.119017107139925e-05, + "loss": 2.8990684509277345, + "step": 136900 + }, + { + "epoch": 0.29006666666666664, + "grad_norm": 0.2153201848268509, + "learning_rate": 7.118018630837196e-05, + "loss": 2.9529756546020507, + "step": 136910 + }, + { + "epoch": 0.29013333333333335, + "grad_norm": 0.18571707606315613, + "learning_rate": 7.117020051590764e-05, + "loss": 3.0710451126098635, + "step": 136920 + }, + { + "epoch": 0.2902, + "grad_norm": 0.1930873990058899, + "learning_rate": 7.116021369449162e-05, + "loss": 3.119340515136719, + "step": 136930 + }, + { + "epoch": 0.2902666666666667, + "grad_norm": 0.2851179838180542, + "learning_rate": 7.11502258446093e-05, + "loss": 3.1800065994262696, + "step": 136940 + }, + { + "epoch": 0.29033333333333333, + "grad_norm": 0.19861751794815063, + "learning_rate": 7.114023696674614e-05, + "loss": 3.0199201583862303, + "step": 136950 + }, + { + "epoch": 0.2904, + "grad_norm": 0.21045956015586853, + "learning_rate": 7.113024706138762e-05, + "loss": 3.114371681213379, + "step": 136960 + }, + { + "epoch": 0.29046666666666665, + "grad_norm": 0.2543427050113678, + "learning_rate": 7.112025612901929e-05, + "loss": 3.09041805267334, + "step": 136970 + }, + { + "epoch": 0.2905333333333333, + "grad_norm": 0.1945609748363495, + "learning_rate": 7.111026417012676e-05, + "loss": 3.1167236328125, + "step": 136980 + }, + { + "epoch": 0.2906, + "grad_norm": 0.21260832250118256, + "learning_rate": 7.110027118519567e-05, + "loss": 3.1129974365234374, + "step": 136990 + }, + { + "epoch": 0.2906666666666667, + "grad_norm": 0.20032647252082825, + "learning_rate": 7.109027717471172e-05, + "loss": 3.073011016845703, + "step": 137000 + }, + { + "epoch": 0.29073333333333334, + "grad_norm": 0.1869666576385498, + "learning_rate": 7.108028213916064e-05, + "loss": 3.0656381607055665, + "step": 137010 + }, + { + "epoch": 0.2908, + "grad_norm": 0.2084699273109436, + "learning_rate": 7.107028607902825e-05, + "loss": 3.0537628173828124, + "step": 137020 + }, + { + "epoch": 0.29086666666666666, + "grad_norm": 0.21786218881607056, + "learning_rate": 7.106028899480037e-05, + "loss": 3.1208173751831056, + "step": 137030 + }, + { + "epoch": 0.2909333333333333, + "grad_norm": 0.35820820927619934, + "learning_rate": 7.105029088696293e-05, + "loss": 3.0994842529296873, + "step": 137040 + }, + { + "epoch": 0.291, + "grad_norm": 0.20154331624507904, + "learning_rate": 7.104029175600184e-05, + "loss": 3.1352108001708983, + "step": 137050 + }, + { + "epoch": 0.29106666666666664, + "grad_norm": 0.19447945058345795, + "learning_rate": 7.103029160240312e-05, + "loss": 3.0907367706298827, + "step": 137060 + }, + { + "epoch": 0.29113333333333336, + "grad_norm": 0.2048235833644867, + "learning_rate": 7.102029042665283e-05, + "loss": 3.1129018783569338, + "step": 137070 + }, + { + "epoch": 0.2912, + "grad_norm": 0.22078727185726166, + "learning_rate": 7.101028822923701e-05, + "loss": 3.0684484481811523, + "step": 137080 + }, + { + "epoch": 0.2912666666666667, + "grad_norm": 0.20776714384555817, + "learning_rate": 7.100028501064184e-05, + "loss": 3.093784713745117, + "step": 137090 + }, + { + "epoch": 0.29133333333333333, + "grad_norm": 0.18362274765968323, + "learning_rate": 7.099028077135352e-05, + "loss": 3.0565715789794923, + "step": 137100 + }, + { + "epoch": 0.2914, + "grad_norm": 0.20187899470329285, + "learning_rate": 7.098027551185828e-05, + "loss": 3.095266914367676, + "step": 137110 + }, + { + "epoch": 0.29146666666666665, + "grad_norm": 0.22705647349357605, + "learning_rate": 7.097026923264243e-05, + "loss": 3.1060720443725587, + "step": 137120 + }, + { + "epoch": 0.2915333333333333, + "grad_norm": 0.23059114813804626, + "learning_rate": 7.09602619341923e-05, + "loss": 3.262329864501953, + "step": 137130 + }, + { + "epoch": 0.2916, + "grad_norm": 0.19224102795124054, + "learning_rate": 7.095025361699427e-05, + "loss": 3.1151718139648437, + "step": 137140 + }, + { + "epoch": 0.2916666666666667, + "grad_norm": 0.20059853792190552, + "learning_rate": 7.094024428153481e-05, + "loss": 3.070237159729004, + "step": 137150 + }, + { + "epoch": 0.29173333333333334, + "grad_norm": 0.19345928728580475, + "learning_rate": 7.09302339283004e-05, + "loss": 3.0561925888061525, + "step": 137160 + }, + { + "epoch": 0.2918, + "grad_norm": 0.19455765187740326, + "learning_rate": 7.092022255777756e-05, + "loss": 3.3019275665283203, + "step": 137170 + }, + { + "epoch": 0.29186666666666666, + "grad_norm": 0.22596625983715057, + "learning_rate": 7.091021017045292e-05, + "loss": 3.089734649658203, + "step": 137180 + }, + { + "epoch": 0.2919333333333333, + "grad_norm": 0.19806218147277832, + "learning_rate": 7.090019676681308e-05, + "loss": 3.183668327331543, + "step": 137190 + }, + { + "epoch": 0.292, + "grad_norm": 0.19947172701358795, + "learning_rate": 7.089018234734476e-05, + "loss": 3.034767913818359, + "step": 137200 + }, + { + "epoch": 0.29206666666666664, + "grad_norm": 0.19026567041873932, + "learning_rate": 7.088016691253467e-05, + "loss": 3.0895498275756834, + "step": 137210 + }, + { + "epoch": 0.29213333333333336, + "grad_norm": 0.2060554474592209, + "learning_rate": 7.087015046286964e-05, + "loss": 3.0533140182495115, + "step": 137220 + }, + { + "epoch": 0.2922, + "grad_norm": 0.2022400200366974, + "learning_rate": 7.086013299883647e-05, + "loss": 3.100572204589844, + "step": 137230 + }, + { + "epoch": 0.2922666666666667, + "grad_norm": 0.3483610153198242, + "learning_rate": 7.085011452092206e-05, + "loss": 3.0758947372436523, + "step": 137240 + }, + { + "epoch": 0.29233333333333333, + "grad_norm": 0.19862988591194153, + "learning_rate": 7.084009502961333e-05, + "loss": 3.092565155029297, + "step": 137250 + }, + { + "epoch": 0.2924, + "grad_norm": 0.21472668647766113, + "learning_rate": 7.08300745253973e-05, + "loss": 3.098770332336426, + "step": 137260 + }, + { + "epoch": 0.29246666666666665, + "grad_norm": 0.2085365206003189, + "learning_rate": 7.082005300876097e-05, + "loss": 3.0949195861816405, + "step": 137270 + }, + { + "epoch": 0.2925333333333333, + "grad_norm": 0.1859356015920639, + "learning_rate": 7.081003048019144e-05, + "loss": 3.080963706970215, + "step": 137280 + }, + { + "epoch": 0.2926, + "grad_norm": 0.4375040531158447, + "learning_rate": 7.080000694017585e-05, + "loss": 3.1405982971191406, + "step": 137290 + }, + { + "epoch": 0.2926666666666667, + "grad_norm": 0.2092631757259369, + "learning_rate": 7.078998238920136e-05, + "loss": 3.0886863708496093, + "step": 137300 + }, + { + "epoch": 0.29273333333333335, + "grad_norm": 0.20896661281585693, + "learning_rate": 7.077995682775522e-05, + "loss": 3.0997766494750976, + "step": 137310 + }, + { + "epoch": 0.2928, + "grad_norm": 0.20747292041778564, + "learning_rate": 7.07699302563247e-05, + "loss": 3.142325592041016, + "step": 137320 + }, + { + "epoch": 0.29286666666666666, + "grad_norm": 0.20106492936611176, + "learning_rate": 7.075990267539712e-05, + "loss": 3.073158073425293, + "step": 137330 + }, + { + "epoch": 0.2929333333333333, + "grad_norm": 0.20087140798568726, + "learning_rate": 7.074987408545989e-05, + "loss": 3.0752416610717774, + "step": 137340 + }, + { + "epoch": 0.293, + "grad_norm": 0.18908005952835083, + "learning_rate": 7.073984448700042e-05, + "loss": 3.0922687530517576, + "step": 137350 + }, + { + "epoch": 0.29306666666666664, + "grad_norm": 0.1974479854106903, + "learning_rate": 7.072981388050617e-05, + "loss": 3.0900291442871093, + "step": 137360 + }, + { + "epoch": 0.29313333333333336, + "grad_norm": 0.21394824981689453, + "learning_rate": 7.071978226646468e-05, + "loss": 3.0959882736206055, + "step": 137370 + }, + { + "epoch": 0.2932, + "grad_norm": 0.24948999285697937, + "learning_rate": 7.070974964536353e-05, + "loss": 3.049463081359863, + "step": 137380 + }, + { + "epoch": 0.2932666666666667, + "grad_norm": 0.20914334058761597, + "learning_rate": 7.069971601769034e-05, + "loss": 3.1065292358398438, + "step": 137390 + }, + { + "epoch": 0.29333333333333333, + "grad_norm": 0.19937172532081604, + "learning_rate": 7.068968138393278e-05, + "loss": 3.0584169387817384, + "step": 137400 + }, + { + "epoch": 0.2934, + "grad_norm": 0.208944171667099, + "learning_rate": 7.067964574457857e-05, + "loss": 3.0846351623535155, + "step": 137410 + }, + { + "epoch": 0.29346666666666665, + "grad_norm": 0.2073621302843094, + "learning_rate": 7.066960910011548e-05, + "loss": 3.11908016204834, + "step": 137420 + }, + { + "epoch": 0.2935333333333333, + "grad_norm": 0.2650955617427826, + "learning_rate": 7.065957145103133e-05, + "loss": 3.0891456604003906, + "step": 137430 + }, + { + "epoch": 0.2936, + "grad_norm": 0.23657487332820892, + "learning_rate": 7.064953279781397e-05, + "loss": 3.105772590637207, + "step": 137440 + }, + { + "epoch": 0.2936666666666667, + "grad_norm": 0.21536923944950104, + "learning_rate": 7.063949314095135e-05, + "loss": 3.128805160522461, + "step": 137450 + }, + { + "epoch": 0.29373333333333335, + "grad_norm": 0.20362411439418793, + "learning_rate": 7.062945248093142e-05, + "loss": 3.2511417388916017, + "step": 137460 + }, + { + "epoch": 0.2938, + "grad_norm": 0.213265061378479, + "learning_rate": 7.061941081824219e-05, + "loss": 3.0784765243530274, + "step": 137470 + }, + { + "epoch": 0.29386666666666666, + "grad_norm": 0.19258184731006622, + "learning_rate": 7.060936815337172e-05, + "loss": 3.049722671508789, + "step": 137480 + }, + { + "epoch": 0.2939333333333333, + "grad_norm": 0.2120281457901001, + "learning_rate": 7.059932448680814e-05, + "loss": 3.051565933227539, + "step": 137490 + }, + { + "epoch": 0.294, + "grad_norm": 0.2017063945531845, + "learning_rate": 7.058927981903959e-05, + "loss": 3.15212459564209, + "step": 137500 + }, + { + "epoch": 0.29406666666666664, + "grad_norm": 0.2181047797203064, + "learning_rate": 7.057923415055427e-05, + "loss": 3.0655849456787108, + "step": 137510 + }, + { + "epoch": 0.29413333333333336, + "grad_norm": 0.23232340812683105, + "learning_rate": 7.056918748184047e-05, + "loss": 3.1067022323608398, + "step": 137520 + }, + { + "epoch": 0.2942, + "grad_norm": 0.19611306488513947, + "learning_rate": 7.055913981338648e-05, + "loss": 3.070867347717285, + "step": 137530 + }, + { + "epoch": 0.2942666666666667, + "grad_norm": 0.2876184582710266, + "learning_rate": 7.054909114568065e-05, + "loss": 3.054581642150879, + "step": 137540 + }, + { + "epoch": 0.29433333333333334, + "grad_norm": 0.22589001059532166, + "learning_rate": 7.053904147921139e-05, + "loss": 3.071952056884766, + "step": 137550 + }, + { + "epoch": 0.2944, + "grad_norm": 0.2521408796310425, + "learning_rate": 7.052899081446716e-05, + "loss": 3.0619224548339843, + "step": 137560 + }, + { + "epoch": 0.29446666666666665, + "grad_norm": 0.20664498209953308, + "learning_rate": 7.051893915193643e-05, + "loss": 3.277660369873047, + "step": 137570 + }, + { + "epoch": 0.2945333333333333, + "grad_norm": 0.19727374613285065, + "learning_rate": 7.050888649210777e-05, + "loss": 3.0616390228271486, + "step": 137580 + }, + { + "epoch": 0.2946, + "grad_norm": 0.2336261123418808, + "learning_rate": 7.049883283546978e-05, + "loss": 3.069724464416504, + "step": 137590 + }, + { + "epoch": 0.2946666666666667, + "grad_norm": 0.19704565405845642, + "learning_rate": 7.04887781825111e-05, + "loss": 3.045753288269043, + "step": 137600 + }, + { + "epoch": 0.29473333333333335, + "grad_norm": 0.20195762813091278, + "learning_rate": 7.047872253372042e-05, + "loss": 3.1285989761352537, + "step": 137610 + }, + { + "epoch": 0.2948, + "grad_norm": 0.21567216515541077, + "learning_rate": 7.046866588958649e-05, + "loss": 3.1080841064453124, + "step": 137620 + }, + { + "epoch": 0.29486666666666667, + "grad_norm": 0.2315462827682495, + "learning_rate": 7.04586082505981e-05, + "loss": 3.2125797271728516, + "step": 137630 + }, + { + "epoch": 0.2949333333333333, + "grad_norm": 0.1978050172328949, + "learning_rate": 7.044854961724409e-05, + "loss": 3.1586635589599608, + "step": 137640 + }, + { + "epoch": 0.295, + "grad_norm": 0.2721981704235077, + "learning_rate": 7.043848999001335e-05, + "loss": 3.125861930847168, + "step": 137650 + }, + { + "epoch": 0.29506666666666664, + "grad_norm": 0.1993376761674881, + "learning_rate": 7.04284293693948e-05, + "loss": 3.116773796081543, + "step": 137660 + }, + { + "epoch": 0.29513333333333336, + "grad_norm": 0.18807050585746765, + "learning_rate": 7.041836775587743e-05, + "loss": 3.079759216308594, + "step": 137670 + }, + { + "epoch": 0.2952, + "grad_norm": 0.20705968141555786, + "learning_rate": 7.040830514995029e-05, + "loss": 3.084111785888672, + "step": 137680 + }, + { + "epoch": 0.2952666666666667, + "grad_norm": 0.218755841255188, + "learning_rate": 7.039824155210244e-05, + "loss": 3.094685745239258, + "step": 137690 + }, + { + "epoch": 0.29533333333333334, + "grad_norm": 0.1894661784172058, + "learning_rate": 7.038817696282302e-05, + "loss": 3.0748252868652344, + "step": 137700 + }, + { + "epoch": 0.2954, + "grad_norm": 0.24771423637866974, + "learning_rate": 7.037811138260122e-05, + "loss": 3.0588333129882814, + "step": 137710 + }, + { + "epoch": 0.29546666666666666, + "grad_norm": 0.2148604542016983, + "learning_rate": 7.036804481192622e-05, + "loss": 3.106441116333008, + "step": 137720 + }, + { + "epoch": 0.2955333333333333, + "grad_norm": 0.20729181170463562, + "learning_rate": 7.035797725128734e-05, + "loss": 3.1197046279907226, + "step": 137730 + }, + { + "epoch": 0.2956, + "grad_norm": 0.2130853831768036, + "learning_rate": 7.034790870117389e-05, + "loss": 3.0710823059082033, + "step": 137740 + }, + { + "epoch": 0.2956666666666667, + "grad_norm": 0.2547794580459595, + "learning_rate": 7.033783916207522e-05, + "loss": 3.0886728286743166, + "step": 137750 + }, + { + "epoch": 0.29573333333333335, + "grad_norm": 0.25626662373542786, + "learning_rate": 7.032776863448078e-05, + "loss": 3.0919910430908204, + "step": 137760 + }, + { + "epoch": 0.2958, + "grad_norm": 0.20598922669887543, + "learning_rate": 7.031769711888e-05, + "loss": 3.002806854248047, + "step": 137770 + }, + { + "epoch": 0.29586666666666667, + "grad_norm": 0.21441859006881714, + "learning_rate": 7.030762461576241e-05, + "loss": 3.1282543182373046, + "step": 137780 + }, + { + "epoch": 0.2959333333333333, + "grad_norm": 0.22438788414001465, + "learning_rate": 7.029755112561758e-05, + "loss": 3.04992790222168, + "step": 137790 + }, + { + "epoch": 0.296, + "grad_norm": 0.20007109642028809, + "learning_rate": 7.028747664893511e-05, + "loss": 3.101877784729004, + "step": 137800 + }, + { + "epoch": 0.29606666666666664, + "grad_norm": 0.21545526385307312, + "learning_rate": 7.027740118620466e-05, + "loss": 3.0661611557006836, + "step": 137810 + }, + { + "epoch": 0.29613333333333336, + "grad_norm": 0.19303251802921295, + "learning_rate": 7.026732473791593e-05, + "loss": 3.0736972808837892, + "step": 137820 + }, + { + "epoch": 0.2962, + "grad_norm": 0.2035951167345047, + "learning_rate": 7.025724730455868e-05, + "loss": 3.0748023986816406, + "step": 137830 + }, + { + "epoch": 0.2962666666666667, + "grad_norm": 0.20536097884178162, + "learning_rate": 7.024716888662271e-05, + "loss": 3.1255889892578126, + "step": 137840 + }, + { + "epoch": 0.29633333333333334, + "grad_norm": 0.19274236261844635, + "learning_rate": 7.023708948459787e-05, + "loss": 3.0350624084472657, + "step": 137850 + }, + { + "epoch": 0.2964, + "grad_norm": 0.25230297446250916, + "learning_rate": 7.022700909897406e-05, + "loss": 3.0531248092651366, + "step": 137860 + }, + { + "epoch": 0.29646666666666666, + "grad_norm": 0.1984786093235016, + "learning_rate": 7.021692773024123e-05, + "loss": 3.086394119262695, + "step": 137870 + }, + { + "epoch": 0.2965333333333333, + "grad_norm": 0.20042215287685394, + "learning_rate": 7.020684537888935e-05, + "loss": 3.079954719543457, + "step": 137880 + }, + { + "epoch": 0.2966, + "grad_norm": 0.2009027749300003, + "learning_rate": 7.019676204540848e-05, + "loss": 3.0982437133789062, + "step": 137890 + }, + { + "epoch": 0.2966666666666667, + "grad_norm": 0.21792061626911163, + "learning_rate": 7.01866777302887e-05, + "loss": 3.1463600158691407, + "step": 137900 + }, + { + "epoch": 0.29673333333333335, + "grad_norm": 0.21175651252269745, + "learning_rate": 7.017659243402014e-05, + "loss": 3.0901111602783202, + "step": 137910 + }, + { + "epoch": 0.2968, + "grad_norm": 0.1796213686466217, + "learning_rate": 7.0166506157093e-05, + "loss": 3.100010108947754, + "step": 137920 + }, + { + "epoch": 0.29686666666666667, + "grad_norm": 0.20904043316841125, + "learning_rate": 7.015641889999749e-05, + "loss": 3.1102573394775392, + "step": 137930 + }, + { + "epoch": 0.2969333333333333, + "grad_norm": 0.21445800364017487, + "learning_rate": 7.014633066322391e-05, + "loss": 3.087591552734375, + "step": 137940 + }, + { + "epoch": 0.297, + "grad_norm": 0.2097627818584442, + "learning_rate": 7.013624144726258e-05, + "loss": 2.9044977188110352, + "step": 137950 + }, + { + "epoch": 0.29706666666666665, + "grad_norm": 0.21276485919952393, + "learning_rate": 7.012615125260388e-05, + "loss": 3.075885009765625, + "step": 137960 + }, + { + "epoch": 0.29713333333333336, + "grad_norm": 0.26894062757492065, + "learning_rate": 7.011606007973821e-05, + "loss": 3.0527921676635743, + "step": 137970 + }, + { + "epoch": 0.2972, + "grad_norm": 0.2500566244125366, + "learning_rate": 7.010596792915606e-05, + "loss": 3.0748308181762694, + "step": 137980 + }, + { + "epoch": 0.2972666666666667, + "grad_norm": 0.1904960572719574, + "learning_rate": 7.009587480134792e-05, + "loss": 3.069287872314453, + "step": 137990 + }, + { + "epoch": 0.29733333333333334, + "grad_norm": 0.19659000635147095, + "learning_rate": 7.00857806968044e-05, + "loss": 3.0831745147705076, + "step": 138000 + }, + { + "epoch": 0.2974, + "grad_norm": 0.19241903722286224, + "learning_rate": 7.007568561601606e-05, + "loss": 3.1071279525756834, + "step": 138010 + }, + { + "epoch": 0.29746666666666666, + "grad_norm": 0.2111819088459015, + "learning_rate": 7.00655895594736e-05, + "loss": 3.0398160934448244, + "step": 138020 + }, + { + "epoch": 0.2975333333333333, + "grad_norm": 0.19702719151973724, + "learning_rate": 7.00554925276677e-05, + "loss": 3.1013349533081054, + "step": 138030 + }, + { + "epoch": 0.2976, + "grad_norm": 0.1889553815126419, + "learning_rate": 7.004539452108914e-05, + "loss": 3.0378150939941406, + "step": 138040 + }, + { + "epoch": 0.2976666666666667, + "grad_norm": 0.1924562007188797, + "learning_rate": 7.003529554022869e-05, + "loss": 3.0574907302856444, + "step": 138050 + }, + { + "epoch": 0.29773333333333335, + "grad_norm": 0.2007715255022049, + "learning_rate": 7.00251955855772e-05, + "loss": 3.0952606201171875, + "step": 138060 + }, + { + "epoch": 0.2978, + "grad_norm": 0.21771076321601868, + "learning_rate": 7.001509465762561e-05, + "loss": 3.0986961364746093, + "step": 138070 + }, + { + "epoch": 0.29786666666666667, + "grad_norm": 0.21373620629310608, + "learning_rate": 7.000499275686482e-05, + "loss": 3.1123451232910155, + "step": 138080 + }, + { + "epoch": 0.29793333333333333, + "grad_norm": 0.19171831011772156, + "learning_rate": 6.999488988378584e-05, + "loss": 3.098918914794922, + "step": 138090 + }, + { + "epoch": 0.298, + "grad_norm": 0.8777772784233093, + "learning_rate": 6.99847860388797e-05, + "loss": 3.041713333129883, + "step": 138100 + }, + { + "epoch": 0.29806666666666665, + "grad_norm": 0.20087043941020966, + "learning_rate": 6.997468122263747e-05, + "loss": 3.0751363754272463, + "step": 138110 + }, + { + "epoch": 0.2981333333333333, + "grad_norm": 0.20881898701190948, + "learning_rate": 6.996457543555033e-05, + "loss": 3.037791442871094, + "step": 138120 + }, + { + "epoch": 0.2982, + "grad_norm": 0.26065558195114136, + "learning_rate": 6.995446867810941e-05, + "loss": 3.1847103118896483, + "step": 138130 + }, + { + "epoch": 0.2982666666666667, + "grad_norm": 0.1975654810667038, + "learning_rate": 6.994436095080594e-05, + "loss": 3.1423389434814455, + "step": 138140 + }, + { + "epoch": 0.29833333333333334, + "grad_norm": 0.260308176279068, + "learning_rate": 6.993425225413122e-05, + "loss": 3.1274871826171875, + "step": 138150 + }, + { + "epoch": 0.2984, + "grad_norm": 0.2270546555519104, + "learning_rate": 6.992414258857657e-05, + "loss": 3.0999847412109376, + "step": 138160 + }, + { + "epoch": 0.29846666666666666, + "grad_norm": 0.2049383670091629, + "learning_rate": 6.991403195463334e-05, + "loss": 3.0628429412841798, + "step": 138170 + }, + { + "epoch": 0.2985333333333333, + "grad_norm": 0.2019924521446228, + "learning_rate": 6.990392035279296e-05, + "loss": 3.0709457397460938, + "step": 138180 + }, + { + "epoch": 0.2986, + "grad_norm": 0.2591339647769928, + "learning_rate": 6.989380778354686e-05, + "loss": 3.0631549835205076, + "step": 138190 + }, + { + "epoch": 0.2986666666666667, + "grad_norm": 0.19830600917339325, + "learning_rate": 6.98836942473866e-05, + "loss": 3.039948081970215, + "step": 138200 + }, + { + "epoch": 0.29873333333333335, + "grad_norm": 0.20629370212554932, + "learning_rate": 6.987357974480369e-05, + "loss": 3.144840621948242, + "step": 138210 + }, + { + "epoch": 0.2988, + "grad_norm": 0.19798250496387482, + "learning_rate": 6.986346427628977e-05, + "loss": 2.883602523803711, + "step": 138220 + }, + { + "epoch": 0.29886666666666667, + "grad_norm": 0.19626381993293762, + "learning_rate": 6.985334784233646e-05, + "loss": 3.0349822998046876, + "step": 138230 + }, + { + "epoch": 0.29893333333333333, + "grad_norm": 0.21443071961402893, + "learning_rate": 6.984323044343547e-05, + "loss": 3.1572647094726562, + "step": 138240 + }, + { + "epoch": 0.299, + "grad_norm": 0.2029469758272171, + "learning_rate": 6.983311208007854e-05, + "loss": 3.0929244995117187, + "step": 138250 + }, + { + "epoch": 0.29906666666666665, + "grad_norm": 0.2652130722999573, + "learning_rate": 6.982299275275747e-05, + "loss": 2.6183494567871093, + "step": 138260 + }, + { + "epoch": 0.2991333333333333, + "grad_norm": 0.2321552187204361, + "learning_rate": 6.981287246196409e-05, + "loss": 3.0760780334472657, + "step": 138270 + }, + { + "epoch": 0.2992, + "grad_norm": 0.23843063414096832, + "learning_rate": 6.980275120819029e-05, + "loss": 3.1627620697021483, + "step": 138280 + }, + { + "epoch": 0.2992666666666667, + "grad_norm": 0.20686255395412445, + "learning_rate": 6.979262899192799e-05, + "loss": 3.070756721496582, + "step": 138290 + }, + { + "epoch": 0.29933333333333334, + "grad_norm": 0.33995091915130615, + "learning_rate": 6.978250581366918e-05, + "loss": 3.3632110595703124, + "step": 138300 + }, + { + "epoch": 0.2994, + "grad_norm": 0.19193331897258759, + "learning_rate": 6.977238167390587e-05, + "loss": 3.0775861740112305, + "step": 138310 + }, + { + "epoch": 0.29946666666666666, + "grad_norm": 0.21166174113750458, + "learning_rate": 6.976225657313013e-05, + "loss": 3.0716119766235352, + "step": 138320 + }, + { + "epoch": 0.2995333333333333, + "grad_norm": 0.35215720534324646, + "learning_rate": 6.97521305118341e-05, + "loss": 3.0730594635009765, + "step": 138330 + }, + { + "epoch": 0.2996, + "grad_norm": 0.2438032627105713, + "learning_rate": 6.974200349050996e-05, + "loss": 3.096489143371582, + "step": 138340 + }, + { + "epoch": 0.2996666666666667, + "grad_norm": 0.20769309997558594, + "learning_rate": 6.973187550964986e-05, + "loss": 3.121146583557129, + "step": 138350 + }, + { + "epoch": 0.29973333333333335, + "grad_norm": 0.24014955759048462, + "learning_rate": 6.97217465697461e-05, + "loss": 3.0967739105224608, + "step": 138360 + }, + { + "epoch": 0.2998, + "grad_norm": 0.2026800662279129, + "learning_rate": 6.971161667129099e-05, + "loss": 3.056631851196289, + "step": 138370 + }, + { + "epoch": 0.29986666666666667, + "grad_norm": 0.2136913388967514, + "learning_rate": 6.970148581477686e-05, + "loss": 3.0626594543457033, + "step": 138380 + }, + { + "epoch": 0.29993333333333333, + "grad_norm": 0.22886276245117188, + "learning_rate": 6.969135400069613e-05, + "loss": 3.088131332397461, + "step": 138390 + }, + { + "epoch": 0.3, + "grad_norm": 0.22036772966384888, + "learning_rate": 6.968122122954121e-05, + "loss": 3.149226760864258, + "step": 138400 + }, + { + "epoch": 0.30006666666666665, + "grad_norm": 0.2053080052137375, + "learning_rate": 6.967108750180463e-05, + "loss": 2.937725639343262, + "step": 138410 + }, + { + "epoch": 0.3001333333333333, + "grad_norm": 0.19501782953739166, + "learning_rate": 6.96609528179789e-05, + "loss": 3.0929447174072267, + "step": 138420 + }, + { + "epoch": 0.3002, + "grad_norm": 0.20018990337848663, + "learning_rate": 6.965081717855662e-05, + "loss": 3.0787620544433594, + "step": 138430 + }, + { + "epoch": 0.3002666666666667, + "grad_norm": 0.19199293851852417, + "learning_rate": 6.964068058403042e-05, + "loss": 3.0976337432861327, + "step": 138440 + }, + { + "epoch": 0.30033333333333334, + "grad_norm": 0.22511474788188934, + "learning_rate": 6.963054303489295e-05, + "loss": 3.1317230224609376, + "step": 138450 + }, + { + "epoch": 0.3004, + "grad_norm": 0.22138658165931702, + "learning_rate": 6.962040453163699e-05, + "loss": 3.1261341094970705, + "step": 138460 + }, + { + "epoch": 0.30046666666666666, + "grad_norm": 0.19719652831554413, + "learning_rate": 6.961026507475524e-05, + "loss": 3.0882614135742186, + "step": 138470 + }, + { + "epoch": 0.3005333333333333, + "grad_norm": 0.19879530370235443, + "learning_rate": 6.960012466474056e-05, + "loss": 3.07407283782959, + "step": 138480 + }, + { + "epoch": 0.3006, + "grad_norm": 0.1965930014848709, + "learning_rate": 6.95899833020858e-05, + "loss": 3.2560283660888674, + "step": 138490 + }, + { + "epoch": 0.3006666666666667, + "grad_norm": 0.21964006125926971, + "learning_rate": 6.957984098728387e-05, + "loss": 3.033539581298828, + "step": 138500 + }, + { + "epoch": 0.30073333333333335, + "grad_norm": 0.19920310378074646, + "learning_rate": 6.956969772082773e-05, + "loss": 3.1072528839111326, + "step": 138510 + }, + { + "epoch": 0.3008, + "grad_norm": 0.24680741131305695, + "learning_rate": 6.955955350321039e-05, + "loss": 3.053150177001953, + "step": 138520 + }, + { + "epoch": 0.30086666666666667, + "grad_norm": 0.18688981235027313, + "learning_rate": 6.954940833492487e-05, + "loss": 3.0465599060058595, + "step": 138530 + }, + { + "epoch": 0.30093333333333333, + "grad_norm": 0.19974873960018158, + "learning_rate": 6.953926221646428e-05, + "loss": 3.1178251266479493, + "step": 138540 + }, + { + "epoch": 0.301, + "grad_norm": 0.2100582867860794, + "learning_rate": 6.952911514832175e-05, + "loss": 3.125465202331543, + "step": 138550 + }, + { + "epoch": 0.30106666666666665, + "grad_norm": 0.37841665744781494, + "learning_rate": 6.951896713099047e-05, + "loss": 3.0027294158935547, + "step": 138560 + }, + { + "epoch": 0.3011333333333333, + "grad_norm": 0.20812398195266724, + "learning_rate": 6.950881816496367e-05, + "loss": 3.0704946517944336, + "step": 138570 + }, + { + "epoch": 0.3012, + "grad_norm": 0.29568931460380554, + "learning_rate": 6.949866825073465e-05, + "loss": 3.099392318725586, + "step": 138580 + }, + { + "epoch": 0.3012666666666667, + "grad_norm": 0.2666790187358856, + "learning_rate": 6.94885173887967e-05, + "loss": 3.0644628524780275, + "step": 138590 + }, + { + "epoch": 0.30133333333333334, + "grad_norm": 0.5929621458053589, + "learning_rate": 6.947836557964322e-05, + "loss": 3.0584552764892576, + "step": 138600 + }, + { + "epoch": 0.3014, + "grad_norm": 0.21050433814525604, + "learning_rate": 6.946821282376762e-05, + "loss": 3.057097625732422, + "step": 138610 + }, + { + "epoch": 0.30146666666666666, + "grad_norm": 0.18785248696804047, + "learning_rate": 6.945805912166335e-05, + "loss": 3.10050106048584, + "step": 138620 + }, + { + "epoch": 0.3015333333333333, + "grad_norm": 0.19747047126293182, + "learning_rate": 6.944790447382391e-05, + "loss": 3.0728321075439453, + "step": 138630 + }, + { + "epoch": 0.3016, + "grad_norm": 0.20521345734596252, + "learning_rate": 6.943774888074287e-05, + "loss": 3.0808202743530275, + "step": 138640 + }, + { + "epoch": 0.3016666666666667, + "grad_norm": 0.45973554253578186, + "learning_rate": 6.942759234291384e-05, + "loss": 3.074161911010742, + "step": 138650 + }, + { + "epoch": 0.30173333333333335, + "grad_norm": 0.28100186586380005, + "learning_rate": 6.941743486083044e-05, + "loss": 3.083689498901367, + "step": 138660 + }, + { + "epoch": 0.3018, + "grad_norm": 0.19127477705478668, + "learning_rate": 6.940727643498639e-05, + "loss": 3.1151268005371096, + "step": 138670 + }, + { + "epoch": 0.30186666666666667, + "grad_norm": 0.7901930809020996, + "learning_rate": 6.939711706587541e-05, + "loss": 3.138861656188965, + "step": 138680 + }, + { + "epoch": 0.30193333333333333, + "grad_norm": 0.5943142175674438, + "learning_rate": 6.938695675399129e-05, + "loss": 3.171053886413574, + "step": 138690 + }, + { + "epoch": 0.302, + "grad_norm": 0.19604934751987457, + "learning_rate": 6.937679549982786e-05, + "loss": 3.058670997619629, + "step": 138700 + }, + { + "epoch": 0.30206666666666665, + "grad_norm": 0.21157841384410858, + "learning_rate": 6.936663330387898e-05, + "loss": 3.078403091430664, + "step": 138710 + }, + { + "epoch": 0.3021333333333333, + "grad_norm": 0.19457733631134033, + "learning_rate": 6.935647016663859e-05, + "loss": 3.0293701171875, + "step": 138720 + }, + { + "epoch": 0.3022, + "grad_norm": 0.21564054489135742, + "learning_rate": 6.934630608860064e-05, + "loss": 3.072559928894043, + "step": 138730 + }, + { + "epoch": 0.3022666666666667, + "grad_norm": 0.21210245788097382, + "learning_rate": 6.933614107025917e-05, + "loss": 3.076827812194824, + "step": 138740 + }, + { + "epoch": 0.30233333333333334, + "grad_norm": 0.24799363315105438, + "learning_rate": 6.932597511210821e-05, + "loss": 3.131361198425293, + "step": 138750 + }, + { + "epoch": 0.3024, + "grad_norm": 0.19939954578876495, + "learning_rate": 6.931580821464188e-05, + "loss": 3.0900259017944336, + "step": 138760 + }, + { + "epoch": 0.30246666666666666, + "grad_norm": 0.22199614346027374, + "learning_rate": 6.930564037835434e-05, + "loss": 3.083889389038086, + "step": 138770 + }, + { + "epoch": 0.3025333333333333, + "grad_norm": 0.19597983360290527, + "learning_rate": 6.929547160373975e-05, + "loss": 3.046815872192383, + "step": 138780 + }, + { + "epoch": 0.3026, + "grad_norm": 0.31329336762428284, + "learning_rate": 6.928530189129236e-05, + "loss": 3.181880760192871, + "step": 138790 + }, + { + "epoch": 0.30266666666666664, + "grad_norm": 0.20352190732955933, + "learning_rate": 6.92751312415065e-05, + "loss": 3.099446105957031, + "step": 138800 + }, + { + "epoch": 0.30273333333333335, + "grad_norm": 0.1922585368156433, + "learning_rate": 6.926495965487644e-05, + "loss": 3.0661033630371093, + "step": 138810 + }, + { + "epoch": 0.3028, + "grad_norm": 0.497308611869812, + "learning_rate": 6.925478713189662e-05, + "loss": 3.177608108520508, + "step": 138820 + }, + { + "epoch": 0.3028666666666667, + "grad_norm": 0.20898671448230743, + "learning_rate": 6.92446136730614e-05, + "loss": 3.1787200927734376, + "step": 138830 + }, + { + "epoch": 0.30293333333333333, + "grad_norm": 0.24918466806411743, + "learning_rate": 6.92344392788653e-05, + "loss": 3.0915224075317385, + "step": 138840 + }, + { + "epoch": 0.303, + "grad_norm": 0.18936964869499207, + "learning_rate": 6.92242639498028e-05, + "loss": 3.028412437438965, + "step": 138850 + }, + { + "epoch": 0.30306666666666665, + "grad_norm": 0.22826065123081207, + "learning_rate": 6.921408768636848e-05, + "loss": 3.077797508239746, + "step": 138860 + }, + { + "epoch": 0.3031333333333333, + "grad_norm": 0.5974269509315491, + "learning_rate": 6.920391048905692e-05, + "loss": 3.0128074645996095, + "step": 138870 + }, + { + "epoch": 0.3032, + "grad_norm": 0.19506694376468658, + "learning_rate": 6.919373235836281e-05, + "loss": 2.8129962921142577, + "step": 138880 + }, + { + "epoch": 0.3032666666666667, + "grad_norm": 0.22668279707431793, + "learning_rate": 6.91835532947808e-05, + "loss": 3.1212364196777345, + "step": 138890 + }, + { + "epoch": 0.30333333333333334, + "grad_norm": 0.22738666832447052, + "learning_rate": 6.917337329880567e-05, + "loss": 3.0926658630371096, + "step": 138900 + }, + { + "epoch": 0.3034, + "grad_norm": 0.21600233018398285, + "learning_rate": 6.916319237093219e-05, + "loss": 3.102016067504883, + "step": 138910 + }, + { + "epoch": 0.30346666666666666, + "grad_norm": 0.21514756977558136, + "learning_rate": 6.915301051165519e-05, + "loss": 3.10846004486084, + "step": 138920 + }, + { + "epoch": 0.3035333333333333, + "grad_norm": 0.2231314480304718, + "learning_rate": 6.914282772146954e-05, + "loss": 3.0694612503051757, + "step": 138930 + }, + { + "epoch": 0.3036, + "grad_norm": 0.20520047843456268, + "learning_rate": 6.913264400087017e-05, + "loss": 3.083135795593262, + "step": 138940 + }, + { + "epoch": 0.30366666666666664, + "grad_norm": 0.19830606877803802, + "learning_rate": 6.912245935035206e-05, + "loss": 3.0311916351318358, + "step": 138950 + }, + { + "epoch": 0.30373333333333336, + "grad_norm": 0.20894299447536469, + "learning_rate": 6.91122737704102e-05, + "loss": 3.103026008605957, + "step": 138960 + }, + { + "epoch": 0.3038, + "grad_norm": 0.20514193177223206, + "learning_rate": 6.910208726153966e-05, + "loss": 3.1080780029296875, + "step": 138970 + }, + { + "epoch": 0.3038666666666667, + "grad_norm": 0.1990991234779358, + "learning_rate": 6.909189982423554e-05, + "loss": 3.101220703125, + "step": 138980 + }, + { + "epoch": 0.30393333333333333, + "grad_norm": 0.2032502144575119, + "learning_rate": 6.908171145899298e-05, + "loss": 3.1119195938110353, + "step": 138990 + }, + { + "epoch": 0.304, + "grad_norm": 0.19888916611671448, + "learning_rate": 6.90715221663072e-05, + "loss": 3.1111454010009765, + "step": 139000 + }, + { + "epoch": 0.30406666666666665, + "grad_norm": 0.21503935754299164, + "learning_rate": 6.906133194667342e-05, + "loss": 3.0988838195800783, + "step": 139010 + }, + { + "epoch": 0.3041333333333333, + "grad_norm": 0.22336094081401825, + "learning_rate": 6.90511408005869e-05, + "loss": 3.0642936706542967, + "step": 139020 + }, + { + "epoch": 0.3042, + "grad_norm": 0.21699269115924835, + "learning_rate": 6.904094872854301e-05, + "loss": 3.0945926666259767, + "step": 139030 + }, + { + "epoch": 0.3042666666666667, + "grad_norm": 0.2373618632555008, + "learning_rate": 6.90307557310371e-05, + "loss": 3.0985719680786135, + "step": 139040 + }, + { + "epoch": 0.30433333333333334, + "grad_norm": 0.20259226858615875, + "learning_rate": 6.902056180856458e-05, + "loss": 3.1020530700683593, + "step": 139050 + }, + { + "epoch": 0.3044, + "grad_norm": 0.2236437201499939, + "learning_rate": 6.901036696162093e-05, + "loss": 3.0681083679199217, + "step": 139060 + }, + { + "epoch": 0.30446666666666666, + "grad_norm": 0.21444597840309143, + "learning_rate": 6.900017119070167e-05, + "loss": 3.1357044219970702, + "step": 139070 + }, + { + "epoch": 0.3045333333333333, + "grad_norm": 0.19875115156173706, + "learning_rate": 6.898997449630232e-05, + "loss": 3.089300346374512, + "step": 139080 + }, + { + "epoch": 0.3046, + "grad_norm": 0.21510550379753113, + "learning_rate": 6.89797768789185e-05, + "loss": 3.079701614379883, + "step": 139090 + }, + { + "epoch": 0.30466666666666664, + "grad_norm": 0.19024361670017242, + "learning_rate": 6.896957833904585e-05, + "loss": 3.092775344848633, + "step": 139100 + }, + { + "epoch": 0.30473333333333336, + "grad_norm": 0.20595255494117737, + "learning_rate": 6.895937887718005e-05, + "loss": 3.0658153533935546, + "step": 139110 + }, + { + "epoch": 0.3048, + "grad_norm": 0.23896799981594086, + "learning_rate": 6.894917849381683e-05, + "loss": 3.052048110961914, + "step": 139120 + }, + { + "epoch": 0.3048666666666667, + "grad_norm": 0.23609614372253418, + "learning_rate": 6.893897718945198e-05, + "loss": 3.3824493408203127, + "step": 139130 + }, + { + "epoch": 0.30493333333333333, + "grad_norm": 0.2392929494380951, + "learning_rate": 6.892877496458132e-05, + "loss": 3.276982879638672, + "step": 139140 + }, + { + "epoch": 0.305, + "grad_norm": 0.19565606117248535, + "learning_rate": 6.89185718197007e-05, + "loss": 3.06204833984375, + "step": 139150 + }, + { + "epoch": 0.30506666666666665, + "grad_norm": 0.2037235051393509, + "learning_rate": 6.890836775530606e-05, + "loss": 3.081349754333496, + "step": 139160 + }, + { + "epoch": 0.3051333333333333, + "grad_norm": 0.22220715880393982, + "learning_rate": 6.889816277189334e-05, + "loss": 3.1258249282836914, + "step": 139170 + }, + { + "epoch": 0.3052, + "grad_norm": 0.22871173918247223, + "learning_rate": 6.888795686995853e-05, + "loss": 3.2207733154296876, + "step": 139180 + }, + { + "epoch": 0.3052666666666667, + "grad_norm": 0.20038574934005737, + "learning_rate": 6.887775004999771e-05, + "loss": 3.091124153137207, + "step": 139190 + }, + { + "epoch": 0.30533333333333335, + "grad_norm": 0.2554948925971985, + "learning_rate": 6.886754231250692e-05, + "loss": 3.0687707901000976, + "step": 139200 + }, + { + "epoch": 0.3054, + "grad_norm": 0.20602336525917053, + "learning_rate": 6.885733365798233e-05, + "loss": 3.1032758712768556, + "step": 139210 + }, + { + "epoch": 0.30546666666666666, + "grad_norm": 0.22918394207954407, + "learning_rate": 6.88471240869201e-05, + "loss": 3.0584505081176756, + "step": 139220 + }, + { + "epoch": 0.3055333333333333, + "grad_norm": 0.2129095196723938, + "learning_rate": 6.883691359981646e-05, + "loss": 3.0632400512695312, + "step": 139230 + }, + { + "epoch": 0.3056, + "grad_norm": 0.23772713541984558, + "learning_rate": 6.88267021971677e-05, + "loss": 3.205921173095703, + "step": 139240 + }, + { + "epoch": 0.30566666666666664, + "grad_norm": 0.19628731906414032, + "learning_rate": 6.881648987947012e-05, + "loss": 3.1264400482177734, + "step": 139250 + }, + { + "epoch": 0.30573333333333336, + "grad_norm": 0.21052905917167664, + "learning_rate": 6.880627664722006e-05, + "loss": 3.074654769897461, + "step": 139260 + }, + { + "epoch": 0.3058, + "grad_norm": 0.2389458864927292, + "learning_rate": 6.879606250091393e-05, + "loss": 3.0604551315307615, + "step": 139270 + }, + { + "epoch": 0.3058666666666667, + "grad_norm": 0.221536323428154, + "learning_rate": 6.878584744104818e-05, + "loss": 3.090751838684082, + "step": 139280 + }, + { + "epoch": 0.30593333333333333, + "grad_norm": 0.1911926418542862, + "learning_rate": 6.877563146811931e-05, + "loss": 3.100711631774902, + "step": 139290 + }, + { + "epoch": 0.306, + "grad_norm": 0.21355073153972626, + "learning_rate": 6.876541458262383e-05, + "loss": 3.049273872375488, + "step": 139300 + }, + { + "epoch": 0.30606666666666665, + "grad_norm": 0.22626928985118866, + "learning_rate": 6.875519678505834e-05, + "loss": 3.121961975097656, + "step": 139310 + }, + { + "epoch": 0.3061333333333333, + "grad_norm": 0.191472589969635, + "learning_rate": 6.874497807591947e-05, + "loss": 3.0502315521240235, + "step": 139320 + }, + { + "epoch": 0.3062, + "grad_norm": 0.21936841309070587, + "learning_rate": 6.873475845570386e-05, + "loss": 3.05587158203125, + "step": 139330 + }, + { + "epoch": 0.3062666666666667, + "grad_norm": 0.223373144865036, + "learning_rate": 6.872453792490825e-05, + "loss": 3.1137413024902343, + "step": 139340 + }, + { + "epoch": 0.30633333333333335, + "grad_norm": 0.19664816558361053, + "learning_rate": 6.871431648402938e-05, + "loss": 3.140751075744629, + "step": 139350 + }, + { + "epoch": 0.3064, + "grad_norm": 0.23665273189544678, + "learning_rate": 6.870409413356405e-05, + "loss": 3.0911752700805666, + "step": 139360 + }, + { + "epoch": 0.30646666666666667, + "grad_norm": 0.2029453068971634, + "learning_rate": 6.86938708740091e-05, + "loss": 3.058778190612793, + "step": 139370 + }, + { + "epoch": 0.3065333333333333, + "grad_norm": 0.5420721173286438, + "learning_rate": 6.868364670586144e-05, + "loss": 3.199982261657715, + "step": 139380 + }, + { + "epoch": 0.3066, + "grad_norm": 0.2123294621706009, + "learning_rate": 6.867342162961799e-05, + "loss": 3.1446441650390624, + "step": 139390 + }, + { + "epoch": 0.30666666666666664, + "grad_norm": 0.31133878231048584, + "learning_rate": 6.866319564577572e-05, + "loss": 3.0534736633300783, + "step": 139400 + }, + { + "epoch": 0.30673333333333336, + "grad_norm": 0.2310098260641098, + "learning_rate": 6.865296875483169e-05, + "loss": 3.091577911376953, + "step": 139410 + }, + { + "epoch": 0.3068, + "grad_norm": 0.20822307467460632, + "learning_rate": 6.864274095728291e-05, + "loss": 2.9813913345336913, + "step": 139420 + }, + { + "epoch": 0.3068666666666667, + "grad_norm": 0.20814929902553558, + "learning_rate": 6.863251225362652e-05, + "loss": 3.1256189346313477, + "step": 139430 + }, + { + "epoch": 0.30693333333333334, + "grad_norm": 0.22174383699893951, + "learning_rate": 6.862228264435965e-05, + "loss": 3.0353816986083983, + "step": 139440 + }, + { + "epoch": 0.307, + "grad_norm": 0.19834136962890625, + "learning_rate": 6.861205212997956e-05, + "loss": 3.137867736816406, + "step": 139450 + }, + { + "epoch": 0.30706666666666665, + "grad_norm": 0.21123896539211273, + "learning_rate": 6.860182071098342e-05, + "loss": 3.0934391021728516, + "step": 139460 + }, + { + "epoch": 0.3071333333333333, + "grad_norm": 0.1972113996744156, + "learning_rate": 6.859158838786855e-05, + "loss": 3.0697418212890626, + "step": 139470 + }, + { + "epoch": 0.3072, + "grad_norm": 0.24906133115291595, + "learning_rate": 6.858135516113226e-05, + "loss": 3.213915252685547, + "step": 139480 + }, + { + "epoch": 0.3072666666666667, + "grad_norm": 0.2071509212255478, + "learning_rate": 6.857112103127196e-05, + "loss": 3.0392759323120115, + "step": 139490 + }, + { + "epoch": 0.30733333333333335, + "grad_norm": 0.1950642168521881, + "learning_rate": 6.856088599878505e-05, + "loss": 3.103363609313965, + "step": 139500 + }, + { + "epoch": 0.3074, + "grad_norm": 0.21418048441410065, + "learning_rate": 6.855065006416897e-05, + "loss": 3.065860939025879, + "step": 139510 + }, + { + "epoch": 0.30746666666666667, + "grad_norm": 0.23431771993637085, + "learning_rate": 6.854041322792125e-05, + "loss": 3.124747467041016, + "step": 139520 + }, + { + "epoch": 0.3075333333333333, + "grad_norm": 0.19492579996585846, + "learning_rate": 6.85301754905394e-05, + "loss": 3.140982818603516, + "step": 139530 + }, + { + "epoch": 0.3076, + "grad_norm": 0.20039723813533783, + "learning_rate": 6.851993685252107e-05, + "loss": 3.069913864135742, + "step": 139540 + }, + { + "epoch": 0.30766666666666664, + "grad_norm": 0.25051695108413696, + "learning_rate": 6.850969731436386e-05, + "loss": 3.120174217224121, + "step": 139550 + }, + { + "epoch": 0.30773333333333336, + "grad_norm": 0.19719168543815613, + "learning_rate": 6.849945687656547e-05, + "loss": 3.089107131958008, + "step": 139560 + }, + { + "epoch": 0.3078, + "grad_norm": 0.18904338777065277, + "learning_rate": 6.848921553962361e-05, + "loss": 3.1164794921875, + "step": 139570 + }, + { + "epoch": 0.3078666666666667, + "grad_norm": 0.21656514704227448, + "learning_rate": 6.847897330403604e-05, + "loss": 3.033525848388672, + "step": 139580 + }, + { + "epoch": 0.30793333333333334, + "grad_norm": 0.20271499454975128, + "learning_rate": 6.84687301703006e-05, + "loss": 3.130241584777832, + "step": 139590 + }, + { + "epoch": 0.308, + "grad_norm": 0.21505261957645416, + "learning_rate": 6.845848613891511e-05, + "loss": 3.0810998916625976, + "step": 139600 + }, + { + "epoch": 0.30806666666666666, + "grad_norm": 0.20338183641433716, + "learning_rate": 6.844824121037748e-05, + "loss": 3.0966888427734376, + "step": 139610 + }, + { + "epoch": 0.3081333333333333, + "grad_norm": 0.20057275891304016, + "learning_rate": 6.843799538518568e-05, + "loss": 3.10211067199707, + "step": 139620 + }, + { + "epoch": 0.3082, + "grad_norm": 0.2040339857339859, + "learning_rate": 6.842774866383766e-05, + "loss": 3.127766990661621, + "step": 139630 + }, + { + "epoch": 0.3082666666666667, + "grad_norm": 0.20557798445224762, + "learning_rate": 6.841750104683146e-05, + "loss": 3.0412309646606444, + "step": 139640 + }, + { + "epoch": 0.30833333333333335, + "grad_norm": 0.19968414306640625, + "learning_rate": 6.840725253466517e-05, + "loss": 3.063773345947266, + "step": 139650 + }, + { + "epoch": 0.3084, + "grad_norm": 0.2110573798418045, + "learning_rate": 6.839700312783687e-05, + "loss": 3.238547134399414, + "step": 139660 + }, + { + "epoch": 0.30846666666666667, + "grad_norm": 0.2179730385541916, + "learning_rate": 6.838675282684477e-05, + "loss": 3.1357452392578127, + "step": 139670 + }, + { + "epoch": 0.3085333333333333, + "grad_norm": 0.22888344526290894, + "learning_rate": 6.837650163218703e-05, + "loss": 3.0841306686401366, + "step": 139680 + }, + { + "epoch": 0.3086, + "grad_norm": 0.18929359316825867, + "learning_rate": 6.83662495443619e-05, + "loss": 3.085018348693848, + "step": 139690 + }, + { + "epoch": 0.30866666666666664, + "grad_norm": 0.19693683087825775, + "learning_rate": 6.83559965638677e-05, + "loss": 3.31237907409668, + "step": 139700 + }, + { + "epoch": 0.30873333333333336, + "grad_norm": 0.19431902468204498, + "learning_rate": 6.834574269120274e-05, + "loss": 3.117441177368164, + "step": 139710 + }, + { + "epoch": 0.3088, + "grad_norm": 0.2297990769147873, + "learning_rate": 6.83354879268654e-05, + "loss": 3.068415069580078, + "step": 139720 + }, + { + "epoch": 0.3088666666666667, + "grad_norm": 0.1964755356311798, + "learning_rate": 6.832523227135412e-05, + "loss": 3.1017297744750976, + "step": 139730 + }, + { + "epoch": 0.30893333333333334, + "grad_norm": 0.21714633703231812, + "learning_rate": 6.831497572516733e-05, + "loss": 3.110983657836914, + "step": 139740 + }, + { + "epoch": 0.309, + "grad_norm": 0.23034130036830902, + "learning_rate": 6.830471828880356e-05, + "loss": 3.0239484786987303, + "step": 139750 + }, + { + "epoch": 0.30906666666666666, + "grad_norm": 0.18116582930088043, + "learning_rate": 6.829445996276135e-05, + "loss": 3.0802698135375977, + "step": 139760 + }, + { + "epoch": 0.3091333333333333, + "grad_norm": 0.21478214859962463, + "learning_rate": 6.828420074753929e-05, + "loss": 3.13503475189209, + "step": 139770 + }, + { + "epoch": 0.3092, + "grad_norm": 0.22300070524215698, + "learning_rate": 6.827394064363604e-05, + "loss": 3.1648881912231444, + "step": 139780 + }, + { + "epoch": 0.3092666666666667, + "grad_norm": 0.22808215022087097, + "learning_rate": 6.826367965155026e-05, + "loss": 3.119496154785156, + "step": 139790 + }, + { + "epoch": 0.30933333333333335, + "grad_norm": 0.19503530859947205, + "learning_rate": 6.825341777178066e-05, + "loss": 3.0847394943237303, + "step": 139800 + }, + { + "epoch": 0.3094, + "grad_norm": 0.20515869557857513, + "learning_rate": 6.824315500482604e-05, + "loss": 3.0601831436157227, + "step": 139810 + }, + { + "epoch": 0.30946666666666667, + "grad_norm": 0.19352827966213226, + "learning_rate": 6.823289135118518e-05, + "loss": 3.1043466567993163, + "step": 139820 + }, + { + "epoch": 0.3095333333333333, + "grad_norm": 0.2891380488872528, + "learning_rate": 6.822262681135695e-05, + "loss": 3.085840034484863, + "step": 139830 + }, + { + "epoch": 0.3096, + "grad_norm": 0.20934328436851501, + "learning_rate": 6.821236138584024e-05, + "loss": 3.1227699279785157, + "step": 139840 + }, + { + "epoch": 0.30966666666666665, + "grad_norm": 0.2167099416255951, + "learning_rate": 6.820209507513399e-05, + "loss": 3.018851089477539, + "step": 139850 + }, + { + "epoch": 0.30973333333333336, + "grad_norm": 0.2239229381084442, + "learning_rate": 6.819182787973717e-05, + "loss": 3.082673454284668, + "step": 139860 + }, + { + "epoch": 0.3098, + "grad_norm": 0.26627957820892334, + "learning_rate": 6.818155980014883e-05, + "loss": 3.0735231399536134, + "step": 139870 + }, + { + "epoch": 0.3098666666666667, + "grad_norm": 0.22904953360557556, + "learning_rate": 6.817129083686801e-05, + "loss": 2.9424068450927736, + "step": 139880 + }, + { + "epoch": 0.30993333333333334, + "grad_norm": 0.19006206095218658, + "learning_rate": 6.816102099039384e-05, + "loss": 3.081417465209961, + "step": 139890 + }, + { + "epoch": 0.31, + "grad_norm": 0.201414555311203, + "learning_rate": 6.815075026122546e-05, + "loss": 3.109160041809082, + "step": 139900 + }, + { + "epoch": 0.31006666666666666, + "grad_norm": 0.222655788064003, + "learning_rate": 6.814047864986208e-05, + "loss": 3.084964370727539, + "step": 139910 + }, + { + "epoch": 0.3101333333333333, + "grad_norm": 0.3084982633590698, + "learning_rate": 6.813020615680292e-05, + "loss": 3.070184898376465, + "step": 139920 + }, + { + "epoch": 0.3102, + "grad_norm": 0.22777625918388367, + "learning_rate": 6.811993278254726e-05, + "loss": 3.1250900268554687, + "step": 139930 + }, + { + "epoch": 0.3102666666666667, + "grad_norm": 0.18983320891857147, + "learning_rate": 6.810965852759447e-05, + "loss": 3.0381378173828124, + "step": 139940 + }, + { + "epoch": 0.31033333333333335, + "grad_norm": 0.20058122277259827, + "learning_rate": 6.809938339244386e-05, + "loss": 3.1043222427368162, + "step": 139950 + }, + { + "epoch": 0.3104, + "grad_norm": 0.19299490749835968, + "learning_rate": 6.808910737759487e-05, + "loss": 3.0564842224121094, + "step": 139960 + }, + { + "epoch": 0.31046666666666667, + "grad_norm": 0.218187615275383, + "learning_rate": 6.807883048354696e-05, + "loss": 3.06080322265625, + "step": 139970 + }, + { + "epoch": 0.31053333333333333, + "grad_norm": 0.21189254522323608, + "learning_rate": 6.80685527107996e-05, + "loss": 3.100642204284668, + "step": 139980 + }, + { + "epoch": 0.3106, + "grad_norm": 0.25885990262031555, + "learning_rate": 6.805827405985234e-05, + "loss": 3.053976821899414, + "step": 139990 + }, + { + "epoch": 0.31066666666666665, + "grad_norm": 0.9711171388626099, + "learning_rate": 6.804799453120478e-05, + "loss": 3.214427185058594, + "step": 140000 + }, + { + "epoch": 0.3107333333333333, + "grad_norm": 0.2316991537809372, + "learning_rate": 6.803771412535652e-05, + "loss": 3.127761650085449, + "step": 140010 + }, + { + "epoch": 0.3108, + "grad_norm": 0.2840670645236969, + "learning_rate": 6.802743284280724e-05, + "loss": 3.178848075866699, + "step": 140020 + }, + { + "epoch": 0.3108666666666667, + "grad_norm": 0.18879127502441406, + "learning_rate": 6.801715068405663e-05, + "loss": 3.0999338150024416, + "step": 140030 + }, + { + "epoch": 0.31093333333333334, + "grad_norm": 0.21694500744342804, + "learning_rate": 6.800686764960447e-05, + "loss": 3.0129919052124023, + "step": 140040 + }, + { + "epoch": 0.311, + "grad_norm": 0.19087764620780945, + "learning_rate": 6.799658373995053e-05, + "loss": 3.0955955505371096, + "step": 140050 + }, + { + "epoch": 0.31106666666666666, + "grad_norm": 0.1908525675535202, + "learning_rate": 6.798629895559466e-05, + "loss": 3.046487236022949, + "step": 140060 + }, + { + "epoch": 0.3111333333333333, + "grad_norm": 0.1963142603635788, + "learning_rate": 6.797601329703673e-05, + "loss": 3.069183921813965, + "step": 140070 + }, + { + "epoch": 0.3112, + "grad_norm": 0.19702982902526855, + "learning_rate": 6.796572676477669e-05, + "loss": 3.025160026550293, + "step": 140080 + }, + { + "epoch": 0.3112666666666667, + "grad_norm": 0.21282470226287842, + "learning_rate": 6.795543935931446e-05, + "loss": 3.122618865966797, + "step": 140090 + }, + { + "epoch": 0.31133333333333335, + "grad_norm": 0.28768473863601685, + "learning_rate": 6.794515108115007e-05, + "loss": 3.0334548950195312, + "step": 140100 + }, + { + "epoch": 0.3114, + "grad_norm": 0.2205188274383545, + "learning_rate": 6.793486193078357e-05, + "loss": 3.2441337585449217, + "step": 140110 + }, + { + "epoch": 0.31146666666666667, + "grad_norm": 0.2023680955171585, + "learning_rate": 6.792457190871504e-05, + "loss": 3.0578945159912108, + "step": 140120 + }, + { + "epoch": 0.31153333333333333, + "grad_norm": 0.1987197995185852, + "learning_rate": 6.791428101544464e-05, + "loss": 3.1039093017578123, + "step": 140130 + }, + { + "epoch": 0.3116, + "grad_norm": 0.2109653353691101, + "learning_rate": 6.790398925147252e-05, + "loss": 3.064649200439453, + "step": 140140 + }, + { + "epoch": 0.31166666666666665, + "grad_norm": 0.2521439790725708, + "learning_rate": 6.789369661729892e-05, + "loss": 3.3103843688964845, + "step": 140150 + }, + { + "epoch": 0.3117333333333333, + "grad_norm": 0.20793600380420685, + "learning_rate": 6.788340311342407e-05, + "loss": 3.0580814361572264, + "step": 140160 + }, + { + "epoch": 0.3118, + "grad_norm": 0.23062004148960114, + "learning_rate": 6.787310874034832e-05, + "loss": 3.1660882949829103, + "step": 140170 + }, + { + "epoch": 0.3118666666666667, + "grad_norm": 0.2280472069978714, + "learning_rate": 6.786281349857197e-05, + "loss": 3.017110824584961, + "step": 140180 + }, + { + "epoch": 0.31193333333333334, + "grad_norm": 0.24389949440956116, + "learning_rate": 6.785251738859541e-05, + "loss": 3.081784248352051, + "step": 140190 + }, + { + "epoch": 0.312, + "grad_norm": 0.2595084607601166, + "learning_rate": 6.784222041091911e-05, + "loss": 3.1600053787231444, + "step": 140200 + }, + { + "epoch": 0.31206666666666666, + "grad_norm": 0.1956637054681778, + "learning_rate": 6.783192256604352e-05, + "loss": 3.0585275650024415, + "step": 140210 + }, + { + "epoch": 0.3121333333333333, + "grad_norm": 0.25966596603393555, + "learning_rate": 6.782162385446914e-05, + "loss": 3.1160676956176756, + "step": 140220 + }, + { + "epoch": 0.3122, + "grad_norm": 0.2055167853832245, + "learning_rate": 6.781132427669654e-05, + "loss": 3.042675590515137, + "step": 140230 + }, + { + "epoch": 0.3122666666666667, + "grad_norm": 0.21680104732513428, + "learning_rate": 6.780102383322631e-05, + "loss": 3.0854578018188477, + "step": 140240 + }, + { + "epoch": 0.31233333333333335, + "grad_norm": 0.21142493188381195, + "learning_rate": 6.77907225245591e-05, + "loss": 3.079006576538086, + "step": 140250 + }, + { + "epoch": 0.3124, + "grad_norm": 0.19989915192127228, + "learning_rate": 6.778042035119559e-05, + "loss": 3.0236795425415037, + "step": 140260 + }, + { + "epoch": 0.31246666666666667, + "grad_norm": 0.21415391564369202, + "learning_rate": 6.77701173136365e-05, + "loss": 3.0414716720581056, + "step": 140270 + }, + { + "epoch": 0.31253333333333333, + "grad_norm": 0.20429645478725433, + "learning_rate": 6.775981341238262e-05, + "loss": 3.1007221221923826, + "step": 140280 + }, + { + "epoch": 0.3126, + "grad_norm": 0.20403583347797394, + "learning_rate": 6.774950864793472e-05, + "loss": 3.038703727722168, + "step": 140290 + }, + { + "epoch": 0.31266666666666665, + "grad_norm": 0.2133440226316452, + "learning_rate": 6.773920302079367e-05, + "loss": 3.0609199523925783, + "step": 140300 + }, + { + "epoch": 0.3127333333333333, + "grad_norm": 0.24648506939411163, + "learning_rate": 6.772889653146037e-05, + "loss": 3.2336910247802733, + "step": 140310 + }, + { + "epoch": 0.3128, + "grad_norm": 0.2570726275444031, + "learning_rate": 6.771858918043574e-05, + "loss": 3.060990905761719, + "step": 140320 + }, + { + "epoch": 0.3128666666666667, + "grad_norm": 0.19890287518501282, + "learning_rate": 6.770828096822076e-05, + "loss": 3.016658973693848, + "step": 140330 + }, + { + "epoch": 0.31293333333333334, + "grad_norm": 0.1918763667345047, + "learning_rate": 6.769797189531645e-05, + "loss": 3.0999780654907227, + "step": 140340 + }, + { + "epoch": 0.313, + "grad_norm": 0.22319021821022034, + "learning_rate": 6.768766196222386e-05, + "loss": 3.063760185241699, + "step": 140350 + }, + { + "epoch": 0.31306666666666666, + "grad_norm": 0.3278812766075134, + "learning_rate": 6.767735116944412e-05, + "loss": 3.011438179016113, + "step": 140360 + }, + { + "epoch": 0.3131333333333333, + "grad_norm": 0.7012143135070801, + "learning_rate": 6.766703951747835e-05, + "loss": 3.050065803527832, + "step": 140370 + }, + { + "epoch": 0.3132, + "grad_norm": 0.19477517902851105, + "learning_rate": 6.765672700682775e-05, + "loss": 3.0795566558837892, + "step": 140380 + }, + { + "epoch": 0.3132666666666667, + "grad_norm": 0.21479998528957367, + "learning_rate": 6.764641363799352e-05, + "loss": 3.089567184448242, + "step": 140390 + }, + { + "epoch": 0.31333333333333335, + "grad_norm": 0.1940528303384781, + "learning_rate": 6.763609941147695e-05, + "loss": 3.0314340591430664, + "step": 140400 + }, + { + "epoch": 0.3134, + "grad_norm": 0.2001204490661621, + "learning_rate": 6.762578432777935e-05, + "loss": 3.085813522338867, + "step": 140410 + }, + { + "epoch": 0.31346666666666667, + "grad_norm": 0.20861899852752686, + "learning_rate": 6.761546838740207e-05, + "loss": 3.0824634552001955, + "step": 140420 + }, + { + "epoch": 0.31353333333333333, + "grad_norm": 0.19163531064987183, + "learning_rate": 6.76051515908465e-05, + "loss": 3.2043231964111327, + "step": 140430 + }, + { + "epoch": 0.3136, + "grad_norm": 0.20445723831653595, + "learning_rate": 6.759483393861406e-05, + "loss": 3.137096405029297, + "step": 140440 + }, + { + "epoch": 0.31366666666666665, + "grad_norm": 0.20745949447155, + "learning_rate": 6.758451543120627e-05, + "loss": 3.0884334564208986, + "step": 140450 + }, + { + "epoch": 0.3137333333333333, + "grad_norm": 0.1953427791595459, + "learning_rate": 6.757419606912461e-05, + "loss": 3.0447109222412108, + "step": 140460 + }, + { + "epoch": 0.3138, + "grad_norm": 0.20250147581100464, + "learning_rate": 6.756387585287065e-05, + "loss": 3.0747556686401367, + "step": 140470 + }, + { + "epoch": 0.3138666666666667, + "grad_norm": 0.19081012904644012, + "learning_rate": 6.7553554782946e-05, + "loss": 3.039894676208496, + "step": 140480 + }, + { + "epoch": 0.31393333333333334, + "grad_norm": 0.19516366720199585, + "learning_rate": 6.75432328598523e-05, + "loss": 3.0702804565429687, + "step": 140490 + }, + { + "epoch": 0.314, + "grad_norm": 0.19527298212051392, + "learning_rate": 6.753291008409122e-05, + "loss": 3.0460220336914063, + "step": 140500 + }, + { + "epoch": 0.31406666666666666, + "grad_norm": 0.2196791023015976, + "learning_rate": 6.752258645616451e-05, + "loss": 3.1118539810180663, + "step": 140510 + }, + { + "epoch": 0.3141333333333333, + "grad_norm": 0.19996723532676697, + "learning_rate": 6.751226197657392e-05, + "loss": 3.104959487915039, + "step": 140520 + }, + { + "epoch": 0.3142, + "grad_norm": 0.19527727365493774, + "learning_rate": 6.750193664582125e-05, + "loss": 3.0895471572875977, + "step": 140530 + }, + { + "epoch": 0.3142666666666667, + "grad_norm": 0.20018216967582703, + "learning_rate": 6.749161046440837e-05, + "loss": 3.048689079284668, + "step": 140540 + }, + { + "epoch": 0.31433333333333335, + "grad_norm": 0.1948484182357788, + "learning_rate": 6.748128343283718e-05, + "loss": 3.0755441665649412, + "step": 140550 + }, + { + "epoch": 0.3144, + "grad_norm": 0.21792587637901306, + "learning_rate": 6.747095555160959e-05, + "loss": 3.0926183700561523, + "step": 140560 + }, + { + "epoch": 0.31446666666666667, + "grad_norm": 0.2992475628852844, + "learning_rate": 6.746062682122757e-05, + "loss": 3.0976219177246094, + "step": 140570 + }, + { + "epoch": 0.31453333333333333, + "grad_norm": 0.19283992052078247, + "learning_rate": 6.745029724219317e-05, + "loss": 3.170955276489258, + "step": 140580 + }, + { + "epoch": 0.3146, + "grad_norm": 0.18588483333587646, + "learning_rate": 6.74399668150084e-05, + "loss": 3.0847846984863283, + "step": 140590 + }, + { + "epoch": 0.31466666666666665, + "grad_norm": 0.20049689710140228, + "learning_rate": 6.742963554017539e-05, + "loss": 3.0704269409179688, + "step": 140600 + }, + { + "epoch": 0.3147333333333333, + "grad_norm": 0.22825652360916138, + "learning_rate": 6.741930341819626e-05, + "loss": 3.4071815490722654, + "step": 140610 + }, + { + "epoch": 0.3148, + "grad_norm": 0.20136235654354095, + "learning_rate": 6.740897044957322e-05, + "loss": 3.0710094451904295, + "step": 140620 + }, + { + "epoch": 0.3148666666666667, + "grad_norm": 1.2207684516906738, + "learning_rate": 6.739863663480846e-05, + "loss": 3.2085479736328124, + "step": 140630 + }, + { + "epoch": 0.31493333333333334, + "grad_norm": 0.23502662777900696, + "learning_rate": 6.738830197440425e-05, + "loss": 3.1717395782470703, + "step": 140640 + }, + { + "epoch": 0.315, + "grad_norm": 0.21450576186180115, + "learning_rate": 6.737796646886291e-05, + "loss": 3.1008068084716798, + "step": 140650 + }, + { + "epoch": 0.31506666666666666, + "grad_norm": 0.1995629519224167, + "learning_rate": 6.736763011868677e-05, + "loss": 3.099322509765625, + "step": 140660 + }, + { + "epoch": 0.3151333333333333, + "grad_norm": 0.21452948451042175, + "learning_rate": 6.735729292437821e-05, + "loss": 3.0791385650634764, + "step": 140670 + }, + { + "epoch": 0.3152, + "grad_norm": 0.20947498083114624, + "learning_rate": 6.734695488643966e-05, + "loss": 3.032111930847168, + "step": 140680 + }, + { + "epoch": 0.31526666666666664, + "grad_norm": 0.2210196554660797, + "learning_rate": 6.73366160053736e-05, + "loss": 3.1039093017578123, + "step": 140690 + }, + { + "epoch": 0.31533333333333335, + "grad_norm": 0.21105177700519562, + "learning_rate": 6.732627628168255e-05, + "loss": 3.1231481552124025, + "step": 140700 + }, + { + "epoch": 0.3154, + "grad_norm": 0.1967947781085968, + "learning_rate": 6.731593571586901e-05, + "loss": 3.054948616027832, + "step": 140710 + }, + { + "epoch": 0.3154666666666667, + "grad_norm": 0.24488309025764465, + "learning_rate": 6.730559430843561e-05, + "loss": 3.10216064453125, + "step": 140720 + }, + { + "epoch": 0.31553333333333333, + "grad_norm": 0.229944109916687, + "learning_rate": 6.729525205988497e-05, + "loss": 3.042781448364258, + "step": 140730 + }, + { + "epoch": 0.3156, + "grad_norm": 0.26117458939552307, + "learning_rate": 6.728490897071977e-05, + "loss": 3.072224998474121, + "step": 140740 + }, + { + "epoch": 0.31566666666666665, + "grad_norm": 0.19931882619857788, + "learning_rate": 6.727456504144272e-05, + "loss": 3.030923271179199, + "step": 140750 + }, + { + "epoch": 0.3157333333333333, + "grad_norm": 0.22038312256336212, + "learning_rate": 6.726422027255657e-05, + "loss": 3.1462087631225586, + "step": 140760 + }, + { + "epoch": 0.3158, + "grad_norm": 0.19723229110240936, + "learning_rate": 6.725387466456411e-05, + "loss": 3.0990718841552733, + "step": 140770 + }, + { + "epoch": 0.3158666666666667, + "grad_norm": 0.3323909640312195, + "learning_rate": 6.72435282179682e-05, + "loss": 3.078787994384766, + "step": 140780 + }, + { + "epoch": 0.31593333333333334, + "grad_norm": 0.21231094002723694, + "learning_rate": 6.723318093327169e-05, + "loss": 3.0302228927612305, + "step": 140790 + }, + { + "epoch": 0.316, + "grad_norm": 0.20697714388370514, + "learning_rate": 6.72228328109775e-05, + "loss": 3.05413761138916, + "step": 140800 + }, + { + "epoch": 0.31606666666666666, + "grad_norm": 0.21142169833183289, + "learning_rate": 6.721248385158859e-05, + "loss": 3.0739007949829102, + "step": 140810 + }, + { + "epoch": 0.3161333333333333, + "grad_norm": 0.25109249353408813, + "learning_rate": 6.720213405560796e-05, + "loss": 3.2473304748535154, + "step": 140820 + }, + { + "epoch": 0.3162, + "grad_norm": 0.20905302464962006, + "learning_rate": 6.719178342353866e-05, + "loss": 3.0756473541259766, + "step": 140830 + }, + { + "epoch": 0.31626666666666664, + "grad_norm": 0.20422272384166718, + "learning_rate": 6.718143195588377e-05, + "loss": 3.0650157928466797, + "step": 140840 + }, + { + "epoch": 0.31633333333333336, + "grad_norm": 0.19387975335121155, + "learning_rate": 6.71710796531464e-05, + "loss": 3.149542808532715, + "step": 140850 + }, + { + "epoch": 0.3164, + "grad_norm": 0.21226131916046143, + "learning_rate": 6.71607265158297e-05, + "loss": 3.1234607696533203, + "step": 140860 + }, + { + "epoch": 0.3164666666666667, + "grad_norm": 0.21255388855934143, + "learning_rate": 6.715037254443689e-05, + "loss": 3.1558420181274416, + "step": 140870 + }, + { + "epoch": 0.31653333333333333, + "grad_norm": 0.22059133648872375, + "learning_rate": 6.714001773947121e-05, + "loss": 3.0698268890380858, + "step": 140880 + }, + { + "epoch": 0.3166, + "grad_norm": 0.233964741230011, + "learning_rate": 6.712966210143593e-05, + "loss": 3.0924453735351562, + "step": 140890 + }, + { + "epoch": 0.31666666666666665, + "grad_norm": 0.23055796325206757, + "learning_rate": 6.711930563083438e-05, + "loss": 3.1862245559692384, + "step": 140900 + }, + { + "epoch": 0.3167333333333333, + "grad_norm": 0.2275809645652771, + "learning_rate": 6.710894832816993e-05, + "loss": 3.1190614700317383, + "step": 140910 + }, + { + "epoch": 0.3168, + "grad_norm": 0.23531852662563324, + "learning_rate": 6.709859019394599e-05, + "loss": 3.071307373046875, + "step": 140920 + }, + { + "epoch": 0.3168666666666667, + "grad_norm": 0.21176017820835114, + "learning_rate": 6.7088231228666e-05, + "loss": 3.051597785949707, + "step": 140930 + }, + { + "epoch": 0.31693333333333334, + "grad_norm": 0.1990339457988739, + "learning_rate": 6.707787143283341e-05, + "loss": 3.015188217163086, + "step": 140940 + }, + { + "epoch": 0.317, + "grad_norm": 0.21077241003513336, + "learning_rate": 6.706751080695179e-05, + "loss": 3.1236446380615233, + "step": 140950 + }, + { + "epoch": 0.31706666666666666, + "grad_norm": 0.19058682024478912, + "learning_rate": 6.70571493515247e-05, + "loss": 3.0484867095947266, + "step": 140960 + }, + { + "epoch": 0.3171333333333333, + "grad_norm": 0.22973166406154633, + "learning_rate": 6.704678706705572e-05, + "loss": 3.077609825134277, + "step": 140970 + }, + { + "epoch": 0.3172, + "grad_norm": 0.19723263382911682, + "learning_rate": 6.703642395404852e-05, + "loss": 3.053659439086914, + "step": 140980 + }, + { + "epoch": 0.31726666666666664, + "grad_norm": 0.19673094153404236, + "learning_rate": 6.702606001300678e-05, + "loss": 3.0768049240112303, + "step": 140990 + }, + { + "epoch": 0.31733333333333336, + "grad_norm": 0.20383068919181824, + "learning_rate": 6.70156952444342e-05, + "loss": 3.056406021118164, + "step": 141000 + }, + { + "epoch": 0.3174, + "grad_norm": 0.2045264095067978, + "learning_rate": 6.70053296488346e-05, + "loss": 3.075966644287109, + "step": 141010 + }, + { + "epoch": 0.3174666666666667, + "grad_norm": 0.2485523372888565, + "learning_rate": 6.699496322671176e-05, + "loss": 3.0906652450561523, + "step": 141020 + }, + { + "epoch": 0.31753333333333333, + "grad_norm": 0.24038656055927277, + "learning_rate": 6.698459597856952e-05, + "loss": 3.039254570007324, + "step": 141030 + }, + { + "epoch": 0.3176, + "grad_norm": 0.19763639569282532, + "learning_rate": 6.697422790491177e-05, + "loss": 3.089058685302734, + "step": 141040 + }, + { + "epoch": 0.31766666666666665, + "grad_norm": 0.20064018666744232, + "learning_rate": 6.696385900624244e-05, + "loss": 3.045425796508789, + "step": 141050 + }, + { + "epoch": 0.3177333333333333, + "grad_norm": 0.20466159284114838, + "learning_rate": 6.69534892830655e-05, + "loss": 3.0456306457519533, + "step": 141060 + }, + { + "epoch": 0.3178, + "grad_norm": 0.19693423807621002, + "learning_rate": 6.694311873588495e-05, + "loss": 3.0190217971801756, + "step": 141070 + }, + { + "epoch": 0.3178666666666667, + "grad_norm": 0.2798132300376892, + "learning_rate": 6.693274736520485e-05, + "loss": 3.0563884735107423, + "step": 141080 + }, + { + "epoch": 0.31793333333333335, + "grad_norm": 0.2218409925699234, + "learning_rate": 6.692237517152928e-05, + "loss": 3.0668804168701174, + "step": 141090 + }, + { + "epoch": 0.318, + "grad_norm": 0.21749259531497955, + "learning_rate": 6.691200215536237e-05, + "loss": 3.0528961181640626, + "step": 141100 + }, + { + "epoch": 0.31806666666666666, + "grad_norm": 0.3296882212162018, + "learning_rate": 6.69016283172083e-05, + "loss": 2.720260238647461, + "step": 141110 + }, + { + "epoch": 0.3181333333333333, + "grad_norm": 0.2000923752784729, + "learning_rate": 6.689125365757125e-05, + "loss": 3.0277191162109376, + "step": 141120 + }, + { + "epoch": 0.3182, + "grad_norm": 0.1944703608751297, + "learning_rate": 6.688087817695548e-05, + "loss": 3.034079170227051, + "step": 141130 + }, + { + "epoch": 0.31826666666666664, + "grad_norm": 0.19559912383556366, + "learning_rate": 6.68705018758653e-05, + "loss": 3.082249641418457, + "step": 141140 + }, + { + "epoch": 0.31833333333333336, + "grad_norm": 0.19209378957748413, + "learning_rate": 6.6860124754805e-05, + "loss": 3.0871555328369142, + "step": 141150 + }, + { + "epoch": 0.3184, + "grad_norm": 0.20067058503627777, + "learning_rate": 6.684974681427897e-05, + "loss": 3.0932680130004884, + "step": 141160 + }, + { + "epoch": 0.3184666666666667, + "grad_norm": 0.32111525535583496, + "learning_rate": 6.68393680547916e-05, + "loss": 3.0623912811279297, + "step": 141170 + }, + { + "epoch": 0.31853333333333333, + "grad_norm": 0.193163201212883, + "learning_rate": 6.682898847684738e-05, + "loss": 3.073040008544922, + "step": 141180 + }, + { + "epoch": 0.3186, + "grad_norm": 0.19617559015750885, + "learning_rate": 6.681860808095074e-05, + "loss": 3.063777732849121, + "step": 141190 + }, + { + "epoch": 0.31866666666666665, + "grad_norm": 0.2042887657880783, + "learning_rate": 6.680822686760623e-05, + "loss": 3.1113853454589844, + "step": 141200 + }, + { + "epoch": 0.3187333333333333, + "grad_norm": 0.215925931930542, + "learning_rate": 6.679784483731843e-05, + "loss": 3.057962417602539, + "step": 141210 + }, + { + "epoch": 0.3188, + "grad_norm": 0.23575522005558014, + "learning_rate": 6.678746199059194e-05, + "loss": 3.059622955322266, + "step": 141220 + }, + { + "epoch": 0.3188666666666667, + "grad_norm": 0.19467128813266754, + "learning_rate": 6.677707832793138e-05, + "loss": 3.07348690032959, + "step": 141230 + }, + { + "epoch": 0.31893333333333335, + "grad_norm": 0.20028367638587952, + "learning_rate": 6.676669384984148e-05, + "loss": 3.044710159301758, + "step": 141240 + }, + { + "epoch": 0.319, + "grad_norm": 0.2386050969362259, + "learning_rate": 6.675630855682692e-05, + "loss": 3.074580764770508, + "step": 141250 + }, + { + "epoch": 0.31906666666666667, + "grad_norm": 0.19161567091941833, + "learning_rate": 6.674592244939248e-05, + "loss": 3.043287467956543, + "step": 141260 + }, + { + "epoch": 0.3191333333333333, + "grad_norm": 0.20833732187747955, + "learning_rate": 6.673553552804299e-05, + "loss": 3.1538211822509767, + "step": 141270 + }, + { + "epoch": 0.3192, + "grad_norm": 0.20054127275943756, + "learning_rate": 6.672514779328326e-05, + "loss": 3.0550052642822267, + "step": 141280 + }, + { + "epoch": 0.31926666666666664, + "grad_norm": 0.19310972094535828, + "learning_rate": 6.671475924561818e-05, + "loss": 3.125807762145996, + "step": 141290 + }, + { + "epoch": 0.31933333333333336, + "grad_norm": 0.21451027691364288, + "learning_rate": 6.670436988555269e-05, + "loss": 3.174092674255371, + "step": 141300 + }, + { + "epoch": 0.3194, + "grad_norm": 0.20129257440567017, + "learning_rate": 6.669397971359173e-05, + "loss": 3.0658411026000976, + "step": 141310 + }, + { + "epoch": 0.3194666666666667, + "grad_norm": 0.2202337086200714, + "learning_rate": 6.668358873024031e-05, + "loss": 3.0798343658447265, + "step": 141320 + }, + { + "epoch": 0.31953333333333334, + "grad_norm": 0.20883667469024658, + "learning_rate": 6.667319693600348e-05, + "loss": 3.0887788772583007, + "step": 141330 + }, + { + "epoch": 0.3196, + "grad_norm": 0.19863103330135345, + "learning_rate": 6.666280433138632e-05, + "loss": 3.107638931274414, + "step": 141340 + }, + { + "epoch": 0.31966666666666665, + "grad_norm": 0.20564590394496918, + "learning_rate": 6.665241091689393e-05, + "loss": 3.110915946960449, + "step": 141350 + }, + { + "epoch": 0.3197333333333333, + "grad_norm": 0.28493398427963257, + "learning_rate": 6.664201669303148e-05, + "loss": 3.076621437072754, + "step": 141360 + }, + { + "epoch": 0.3198, + "grad_norm": 0.20019112527370453, + "learning_rate": 6.663162166030417e-05, + "loss": 3.0320068359375, + "step": 141370 + }, + { + "epoch": 0.3198666666666667, + "grad_norm": 0.2968514859676361, + "learning_rate": 6.662122581921726e-05, + "loss": 3.0391807556152344, + "step": 141380 + }, + { + "epoch": 0.31993333333333335, + "grad_norm": 0.2020113170146942, + "learning_rate": 6.661082917027598e-05, + "loss": 3.0557727813720703, + "step": 141390 + }, + { + "epoch": 0.32, + "grad_norm": 0.20554804801940918, + "learning_rate": 6.660043171398569e-05, + "loss": 3.1499906539916993, + "step": 141400 + }, + { + "epoch": 0.32006666666666667, + "grad_norm": 0.20624572038650513, + "learning_rate": 6.65900334508517e-05, + "loss": 3.0447601318359374, + "step": 141410 + }, + { + "epoch": 0.3201333333333333, + "grad_norm": 0.23198524117469788, + "learning_rate": 6.657963438137947e-05, + "loss": 3.0876394271850587, + "step": 141420 + }, + { + "epoch": 0.3202, + "grad_norm": 0.22250328958034515, + "learning_rate": 6.656923450607437e-05, + "loss": 3.1058328628540037, + "step": 141430 + }, + { + "epoch": 0.32026666666666664, + "grad_norm": 0.28902673721313477, + "learning_rate": 6.655883382544192e-05, + "loss": 3.1057348251342773, + "step": 141440 + }, + { + "epoch": 0.32033333333333336, + "grad_norm": 0.19543632864952087, + "learning_rate": 6.65484323399876e-05, + "loss": 3.0570980072021485, + "step": 141450 + }, + { + "epoch": 0.3204, + "grad_norm": 0.20620104670524597, + "learning_rate": 6.653803005021697e-05, + "loss": 3.0905006408691404, + "step": 141460 + }, + { + "epoch": 0.3204666666666667, + "grad_norm": 0.19606634974479675, + "learning_rate": 6.652762695663562e-05, + "loss": 3.109770393371582, + "step": 141470 + }, + { + "epoch": 0.32053333333333334, + "grad_norm": 0.21684013307094574, + "learning_rate": 6.651722305974919e-05, + "loss": 3.1166109085083007, + "step": 141480 + }, + { + "epoch": 0.3206, + "grad_norm": 0.6075031161308289, + "learning_rate": 6.650681836006334e-05, + "loss": 3.1310260772705076, + "step": 141490 + }, + { + "epoch": 0.32066666666666666, + "grad_norm": 0.20025984942913055, + "learning_rate": 6.649641285808379e-05, + "loss": 3.170131874084473, + "step": 141500 + }, + { + "epoch": 0.3207333333333333, + "grad_norm": 3.950049638748169, + "learning_rate": 6.648600655431627e-05, + "loss": 4.056352233886718, + "step": 141510 + }, + { + "epoch": 0.3208, + "grad_norm": 0.21925601363182068, + "learning_rate": 6.647559944926658e-05, + "loss": 3.4692630767822266, + "step": 141520 + }, + { + "epoch": 0.3208666666666667, + "grad_norm": 0.23255404829978943, + "learning_rate": 6.646519154344053e-05, + "loss": 3.0988742828369142, + "step": 141530 + }, + { + "epoch": 0.32093333333333335, + "grad_norm": 0.23969772458076477, + "learning_rate": 6.645478283734399e-05, + "loss": 3.189076805114746, + "step": 141540 + }, + { + "epoch": 0.321, + "grad_norm": 0.2640736401081085, + "learning_rate": 6.644437333148285e-05, + "loss": 3.024021530151367, + "step": 141550 + }, + { + "epoch": 0.32106666666666667, + "grad_norm": 0.2128422111272812, + "learning_rate": 6.643396302636309e-05, + "loss": 3.1781217575073244, + "step": 141560 + }, + { + "epoch": 0.3211333333333333, + "grad_norm": 0.22104446589946747, + "learning_rate": 6.642355192249065e-05, + "loss": 3.070182991027832, + "step": 141570 + }, + { + "epoch": 0.3212, + "grad_norm": 0.23469041287899017, + "learning_rate": 6.641314002037156e-05, + "loss": 3.096900749206543, + "step": 141580 + }, + { + "epoch": 0.32126666666666664, + "grad_norm": 0.20325268805027008, + "learning_rate": 6.640272732051189e-05, + "loss": 3.0774309158325197, + "step": 141590 + }, + { + "epoch": 0.32133333333333336, + "grad_norm": 0.2165001779794693, + "learning_rate": 6.639231382341772e-05, + "loss": 3.0847755432128907, + "step": 141600 + }, + { + "epoch": 0.3214, + "grad_norm": 0.20487043261528015, + "learning_rate": 6.638189952959519e-05, + "loss": 3.0757162094116213, + "step": 141610 + }, + { + "epoch": 0.3214666666666667, + "grad_norm": 0.20170100033283234, + "learning_rate": 6.637148443955048e-05, + "loss": 3.061941719055176, + "step": 141620 + }, + { + "epoch": 0.32153333333333334, + "grad_norm": 0.2554703652858734, + "learning_rate": 6.636106855378981e-05, + "loss": 3.11771240234375, + "step": 141630 + }, + { + "epoch": 0.3216, + "grad_norm": 0.2261139154434204, + "learning_rate": 6.635065187281941e-05, + "loss": 3.0975584030151366, + "step": 141640 + }, + { + "epoch": 0.32166666666666666, + "grad_norm": 0.25172117352485657, + "learning_rate": 6.634023439714558e-05, + "loss": 3.1170631408691407, + "step": 141650 + }, + { + "epoch": 0.3217333333333333, + "grad_norm": 0.20548219978809357, + "learning_rate": 6.632981612727466e-05, + "loss": 3.0820491790771483, + "step": 141660 + }, + { + "epoch": 0.3218, + "grad_norm": 0.201654314994812, + "learning_rate": 6.6319397063713e-05, + "loss": 3.0390867233276366, + "step": 141670 + }, + { + "epoch": 0.3218666666666667, + "grad_norm": 0.22895249724388123, + "learning_rate": 6.630897720696703e-05, + "loss": 2.9968284606933593, + "step": 141680 + }, + { + "epoch": 0.32193333333333335, + "grad_norm": 0.19959981739521027, + "learning_rate": 6.629855655754316e-05, + "loss": 3.0777435302734375, + "step": 141690 + }, + { + "epoch": 0.322, + "grad_norm": 0.7148136496543884, + "learning_rate": 6.628813511594789e-05, + "loss": 3.384320831298828, + "step": 141700 + }, + { + "epoch": 0.32206666666666667, + "grad_norm": 0.20335261523723602, + "learning_rate": 6.627771288268774e-05, + "loss": 3.1072179794311525, + "step": 141710 + }, + { + "epoch": 0.3221333333333333, + "grad_norm": 0.24886304140090942, + "learning_rate": 6.626728985826927e-05, + "loss": 3.0577167510986327, + "step": 141720 + }, + { + "epoch": 0.3222, + "grad_norm": 0.20839519798755646, + "learning_rate": 6.625686604319909e-05, + "loss": 3.046116065979004, + "step": 141730 + }, + { + "epoch": 0.32226666666666665, + "grad_norm": 0.2211132049560547, + "learning_rate": 6.624644143798383e-05, + "loss": 3.107321357727051, + "step": 141740 + }, + { + "epoch": 0.32233333333333336, + "grad_norm": 0.197379469871521, + "learning_rate": 6.623601604313016e-05, + "loss": 3.077088165283203, + "step": 141750 + }, + { + "epoch": 0.3224, + "grad_norm": 0.21090474724769592, + "learning_rate": 6.622558985914477e-05, + "loss": 3.1290159225463867, + "step": 141760 + }, + { + "epoch": 0.3224666666666667, + "grad_norm": 0.19444601237773895, + "learning_rate": 6.621516288653446e-05, + "loss": 3.0520298004150392, + "step": 141770 + }, + { + "epoch": 0.32253333333333334, + "grad_norm": 0.197790265083313, + "learning_rate": 6.6204735125806e-05, + "loss": 3.084744453430176, + "step": 141780 + }, + { + "epoch": 0.3226, + "grad_norm": 0.20964941382408142, + "learning_rate": 6.619430657746621e-05, + "loss": 3.0466312408447265, + "step": 141790 + }, + { + "epoch": 0.32266666666666666, + "grad_norm": 0.19316516816616058, + "learning_rate": 6.618387724202196e-05, + "loss": 2.9872695922851564, + "step": 141800 + }, + { + "epoch": 0.3227333333333333, + "grad_norm": 0.20276102423667908, + "learning_rate": 6.617344711998016e-05, + "loss": 3.0540420532226564, + "step": 141810 + }, + { + "epoch": 0.3228, + "grad_norm": 0.3270992338657379, + "learning_rate": 6.616301621184775e-05, + "loss": 3.146649932861328, + "step": 141820 + }, + { + "epoch": 0.3228666666666667, + "grad_norm": 0.20351862907409668, + "learning_rate": 6.615258451813173e-05, + "loss": 3.1254629135131835, + "step": 141830 + }, + { + "epoch": 0.32293333333333335, + "grad_norm": 0.24153663218021393, + "learning_rate": 6.614215203933909e-05, + "loss": 3.061900329589844, + "step": 141840 + }, + { + "epoch": 0.323, + "grad_norm": 0.2060500979423523, + "learning_rate": 6.61317187759769e-05, + "loss": 3.0779935836791994, + "step": 141850 + }, + { + "epoch": 0.32306666666666667, + "grad_norm": 0.21465618908405304, + "learning_rate": 6.612128472855224e-05, + "loss": 3.055446815490723, + "step": 141860 + }, + { + "epoch": 0.32313333333333333, + "grad_norm": 0.1996673196554184, + "learning_rate": 6.611084989757228e-05, + "loss": 3.076155090332031, + "step": 141870 + }, + { + "epoch": 0.3232, + "grad_norm": 0.20946669578552246, + "learning_rate": 6.610041428354416e-05, + "loss": 3.03954963684082, + "step": 141880 + }, + { + "epoch": 0.32326666666666665, + "grad_norm": 0.202721506357193, + "learning_rate": 6.608997788697511e-05, + "loss": 3.0880901336669924, + "step": 141890 + }, + { + "epoch": 0.3233333333333333, + "grad_norm": 0.24608214199543, + "learning_rate": 6.607954070837238e-05, + "loss": 3.069511604309082, + "step": 141900 + }, + { + "epoch": 0.3234, + "grad_norm": 0.21804389357566833, + "learning_rate": 6.606910274824324e-05, + "loss": 3.0535795211791994, + "step": 141910 + }, + { + "epoch": 0.3234666666666667, + "grad_norm": 0.22120966017246246, + "learning_rate": 6.605866400709503e-05, + "loss": 3.0902395248413086, + "step": 141920 + }, + { + "epoch": 0.32353333333333334, + "grad_norm": 0.20027396082878113, + "learning_rate": 6.604822448543508e-05, + "loss": 3.0814905166625977, + "step": 141930 + }, + { + "epoch": 0.3236, + "grad_norm": 0.21746215224266052, + "learning_rate": 6.603778418377083e-05, + "loss": 3.0529674530029296, + "step": 141940 + }, + { + "epoch": 0.32366666666666666, + "grad_norm": 0.19826188683509827, + "learning_rate": 6.60273431026097e-05, + "loss": 3.044199562072754, + "step": 141950 + }, + { + "epoch": 0.3237333333333333, + "grad_norm": 0.20546935498714447, + "learning_rate": 6.601690124245919e-05, + "loss": 3.0539134979248046, + "step": 141960 + }, + { + "epoch": 0.3238, + "grad_norm": 0.20666714012622833, + "learning_rate": 6.600645860382675e-05, + "loss": 3.0523916244506837, + "step": 141970 + }, + { + "epoch": 0.3238666666666667, + "grad_norm": 0.19691677391529083, + "learning_rate": 6.599601518722001e-05, + "loss": 3.0429691314697265, + "step": 141980 + }, + { + "epoch": 0.32393333333333335, + "grad_norm": 0.20288024842739105, + "learning_rate": 6.598557099314651e-05, + "loss": 3.1651548385620116, + "step": 141990 + }, + { + "epoch": 0.324, + "grad_norm": 0.26636266708374023, + "learning_rate": 6.597512602211389e-05, + "loss": 3.058724021911621, + "step": 142000 + }, + { + "epoch": 0.32406666666666667, + "grad_norm": 0.8114754557609558, + "learning_rate": 6.596468027462981e-05, + "loss": 3.0780920028686523, + "step": 142010 + }, + { + "epoch": 0.32413333333333333, + "grad_norm": 0.19648000597953796, + "learning_rate": 6.595423375120197e-05, + "loss": 3.095498466491699, + "step": 142020 + }, + { + "epoch": 0.3242, + "grad_norm": 0.2001439481973648, + "learning_rate": 6.594378645233814e-05, + "loss": 3.1574512481689454, + "step": 142030 + }, + { + "epoch": 0.32426666666666665, + "grad_norm": 0.23710420727729797, + "learning_rate": 6.593333837854607e-05, + "loss": 3.0156978607177733, + "step": 142040 + }, + { + "epoch": 0.3243333333333333, + "grad_norm": 0.19072726368904114, + "learning_rate": 6.592288953033358e-05, + "loss": 3.007805824279785, + "step": 142050 + }, + { + "epoch": 0.3244, + "grad_norm": 0.20497344434261322, + "learning_rate": 6.591243990820852e-05, + "loss": 3.07656307220459, + "step": 142060 + }, + { + "epoch": 0.3244666666666667, + "grad_norm": 0.2153298407793045, + "learning_rate": 6.590198951267882e-05, + "loss": 3.133647155761719, + "step": 142070 + }, + { + "epoch": 0.32453333333333334, + "grad_norm": 0.22376836836338043, + "learning_rate": 6.589153834425235e-05, + "loss": 3.0710512161254884, + "step": 142080 + }, + { + "epoch": 0.3246, + "grad_norm": 0.20900607109069824, + "learning_rate": 6.58810864034371e-05, + "loss": 3.0820686340332033, + "step": 142090 + }, + { + "epoch": 0.32466666666666666, + "grad_norm": 0.24319341778755188, + "learning_rate": 6.587063369074108e-05, + "loss": 3.0780080795288085, + "step": 142100 + }, + { + "epoch": 0.3247333333333333, + "grad_norm": 0.20712266862392426, + "learning_rate": 6.586018020667233e-05, + "loss": 3.097504806518555, + "step": 142110 + }, + { + "epoch": 0.3248, + "grad_norm": 0.2099536657333374, + "learning_rate": 6.584972595173893e-05, + "loss": 3.1266056060791017, + "step": 142120 + }, + { + "epoch": 0.3248666666666667, + "grad_norm": 0.2108115255832672, + "learning_rate": 6.583927092644898e-05, + "loss": 3.019967460632324, + "step": 142130 + }, + { + "epoch": 0.32493333333333335, + "grad_norm": 0.21178174018859863, + "learning_rate": 6.582881513131066e-05, + "loss": 3.0213035583496093, + "step": 142140 + }, + { + "epoch": 0.325, + "grad_norm": 0.21247880160808563, + "learning_rate": 6.581835856683214e-05, + "loss": 3.06943359375, + "step": 142150 + }, + { + "epoch": 0.32506666666666667, + "grad_norm": 0.20007942616939545, + "learning_rate": 6.580790123352166e-05, + "loss": 3.074766731262207, + "step": 142160 + }, + { + "epoch": 0.32513333333333333, + "grad_norm": 0.41712966561317444, + "learning_rate": 6.579744313188749e-05, + "loss": 3.5889877319335937, + "step": 142170 + }, + { + "epoch": 0.3252, + "grad_norm": 0.2419971227645874, + "learning_rate": 6.578698426243791e-05, + "loss": 3.5337448120117188, + "step": 142180 + }, + { + "epoch": 0.32526666666666665, + "grad_norm": 0.1935780942440033, + "learning_rate": 6.577652462568126e-05, + "loss": 3.00515193939209, + "step": 142190 + }, + { + "epoch": 0.3253333333333333, + "grad_norm": 0.19898483157157898, + "learning_rate": 6.576606422212597e-05, + "loss": 3.0632583618164064, + "step": 142200 + }, + { + "epoch": 0.3254, + "grad_norm": 0.1908819079399109, + "learning_rate": 6.575560305228039e-05, + "loss": 3.065135192871094, + "step": 142210 + }, + { + "epoch": 0.3254666666666667, + "grad_norm": 0.264557421207428, + "learning_rate": 6.574514111665302e-05, + "loss": 3.1376615524291993, + "step": 142220 + }, + { + "epoch": 0.32553333333333334, + "grad_norm": 0.23119772970676422, + "learning_rate": 6.573467841575233e-05, + "loss": 3.0508514404296876, + "step": 142230 + }, + { + "epoch": 0.3256, + "grad_norm": 0.2030603140592575, + "learning_rate": 6.572421495008683e-05, + "loss": 3.0896299362182615, + "step": 142240 + }, + { + "epoch": 0.32566666666666666, + "grad_norm": 0.22288836538791656, + "learning_rate": 6.571375072016512e-05, + "loss": 3.0750049591064452, + "step": 142250 + }, + { + "epoch": 0.3257333333333333, + "grad_norm": 0.1981414556503296, + "learning_rate": 6.570328572649577e-05, + "loss": 3.050869369506836, + "step": 142260 + }, + { + "epoch": 0.3258, + "grad_norm": 0.24864934384822845, + "learning_rate": 6.569281996958743e-05, + "loss": 3.1067073822021483, + "step": 142270 + }, + { + "epoch": 0.3258666666666667, + "grad_norm": 0.21134118735790253, + "learning_rate": 6.568235344994879e-05, + "loss": 3.0691205978393556, + "step": 142280 + }, + { + "epoch": 0.32593333333333335, + "grad_norm": 0.2155112773180008, + "learning_rate": 6.567188616808854e-05, + "loss": 3.247811508178711, + "step": 142290 + }, + { + "epoch": 0.326, + "grad_norm": 0.3526473641395569, + "learning_rate": 6.566141812451543e-05, + "loss": 3.139781379699707, + "step": 142300 + }, + { + "epoch": 0.32606666666666667, + "grad_norm": 0.21003997325897217, + "learning_rate": 6.565094931973827e-05, + "loss": 3.154277229309082, + "step": 142310 + }, + { + "epoch": 0.32613333333333333, + "grad_norm": 0.22467350959777832, + "learning_rate": 6.564047975426586e-05, + "loss": 3.1287168502807616, + "step": 142320 + }, + { + "epoch": 0.3262, + "grad_norm": 0.2341964691877365, + "learning_rate": 6.563000942860706e-05, + "loss": 3.0468576431274412, + "step": 142330 + }, + { + "epoch": 0.32626666666666665, + "grad_norm": 0.2101985514163971, + "learning_rate": 6.561953834327078e-05, + "loss": 3.042616271972656, + "step": 142340 + }, + { + "epoch": 0.3263333333333333, + "grad_norm": 0.19335944950580597, + "learning_rate": 6.560906649876594e-05, + "loss": 3.02301025390625, + "step": 142350 + }, + { + "epoch": 0.3264, + "grad_norm": 0.2252260148525238, + "learning_rate": 6.559859389560155e-05, + "loss": 3.1544269561767577, + "step": 142360 + }, + { + "epoch": 0.3264666666666667, + "grad_norm": 0.19061268866062164, + "learning_rate": 6.558812053428657e-05, + "loss": 3.095094108581543, + "step": 142370 + }, + { + "epoch": 0.32653333333333334, + "grad_norm": 0.19587811827659607, + "learning_rate": 6.557764641533006e-05, + "loss": 3.1044601440429687, + "step": 142380 + }, + { + "epoch": 0.3266, + "grad_norm": 0.2106415331363678, + "learning_rate": 6.556717153924112e-05, + "loss": 3.106619453430176, + "step": 142390 + }, + { + "epoch": 0.32666666666666666, + "grad_norm": 0.2395533174276352, + "learning_rate": 6.555669590652885e-05, + "loss": 3.0192827224731444, + "step": 142400 + }, + { + "epoch": 0.3267333333333333, + "grad_norm": 0.2234927862882614, + "learning_rate": 6.55462195177024e-05, + "loss": 3.127855110168457, + "step": 142410 + }, + { + "epoch": 0.3268, + "grad_norm": 0.19717641174793243, + "learning_rate": 6.553574237327097e-05, + "loss": 3.124235725402832, + "step": 142420 + }, + { + "epoch": 0.3268666666666667, + "grad_norm": 0.2155969887971878, + "learning_rate": 6.55252644737438e-05, + "loss": 3.06220703125, + "step": 142430 + }, + { + "epoch": 0.32693333333333335, + "grad_norm": 0.22725126147270203, + "learning_rate": 6.551478581963015e-05, + "loss": 3.065756988525391, + "step": 142440 + }, + { + "epoch": 0.327, + "grad_norm": 0.2080198973417282, + "learning_rate": 6.55043064114393e-05, + "loss": 3.030874252319336, + "step": 142450 + }, + { + "epoch": 0.32706666666666667, + "grad_norm": 0.20068293809890747, + "learning_rate": 6.549382624968062e-05, + "loss": 3.068501663208008, + "step": 142460 + }, + { + "epoch": 0.32713333333333333, + "grad_norm": 0.21008791029453278, + "learning_rate": 6.548334533486347e-05, + "loss": 3.0595537185668946, + "step": 142470 + }, + { + "epoch": 0.3272, + "grad_norm": 0.21017126739025116, + "learning_rate": 6.547286366749726e-05, + "loss": 3.04055118560791, + "step": 142480 + }, + { + "epoch": 0.32726666666666665, + "grad_norm": 0.23922812938690186, + "learning_rate": 6.546238124809145e-05, + "loss": 3.0351583480834963, + "step": 142490 + }, + { + "epoch": 0.3273333333333333, + "grad_norm": 0.2281261384487152, + "learning_rate": 6.545189807715551e-05, + "loss": 3.1263656616210938, + "step": 142500 + }, + { + "epoch": 0.3274, + "grad_norm": 0.29017317295074463, + "learning_rate": 6.544141415519897e-05, + "loss": 3.1446697235107424, + "step": 142510 + }, + { + "epoch": 0.3274666666666667, + "grad_norm": 0.22727684676647186, + "learning_rate": 6.54309294827314e-05, + "loss": 2.932598114013672, + "step": 142520 + }, + { + "epoch": 0.32753333333333334, + "grad_norm": 0.23506124317646027, + "learning_rate": 6.542044406026236e-05, + "loss": 3.101615333557129, + "step": 142530 + }, + { + "epoch": 0.3276, + "grad_norm": 0.3234335780143738, + "learning_rate": 6.540995788830153e-05, + "loss": 3.0567018508911135, + "step": 142540 + }, + { + "epoch": 0.32766666666666666, + "grad_norm": 0.2052137851715088, + "learning_rate": 6.539947096735854e-05, + "loss": 3.065748405456543, + "step": 142550 + }, + { + "epoch": 0.3277333333333333, + "grad_norm": 0.2023831158876419, + "learning_rate": 6.53889832979431e-05, + "loss": 3.040292167663574, + "step": 142560 + }, + { + "epoch": 0.3278, + "grad_norm": 0.20058061182498932, + "learning_rate": 6.537849488056496e-05, + "loss": 3.0663625717163088, + "step": 142570 + }, + { + "epoch": 0.32786666666666664, + "grad_norm": 0.1999233514070511, + "learning_rate": 6.536800571573389e-05, + "loss": 3.017694664001465, + "step": 142580 + }, + { + "epoch": 0.32793333333333335, + "grad_norm": 0.19381386041641235, + "learning_rate": 6.535751580395972e-05, + "loss": 3.0701831817626952, + "step": 142590 + }, + { + "epoch": 0.328, + "grad_norm": 0.2285601943731308, + "learning_rate": 6.534702514575226e-05, + "loss": 3.0164194107055664, + "step": 142600 + }, + { + "epoch": 0.3280666666666667, + "grad_norm": 0.20723797380924225, + "learning_rate": 6.533653374162143e-05, + "loss": 3.0267881393432616, + "step": 142610 + }, + { + "epoch": 0.32813333333333333, + "grad_norm": 0.21616613864898682, + "learning_rate": 6.532604159207714e-05, + "loss": 3.051464080810547, + "step": 142620 + }, + { + "epoch": 0.3282, + "grad_norm": 0.20502933859825134, + "learning_rate": 6.531554869762936e-05, + "loss": 3.018601417541504, + "step": 142630 + }, + { + "epoch": 0.32826666666666665, + "grad_norm": 0.21382132172584534, + "learning_rate": 6.530505505878808e-05, + "loss": 3.144314765930176, + "step": 142640 + }, + { + "epoch": 0.3283333333333333, + "grad_norm": 0.22845439612865448, + "learning_rate": 6.52945606760633e-05, + "loss": 3.0532066345214846, + "step": 142650 + }, + { + "epoch": 0.3284, + "grad_norm": 0.2328505665063858, + "learning_rate": 6.528406554996513e-05, + "loss": 3.0626548767089843, + "step": 142660 + }, + { + "epoch": 0.3284666666666667, + "grad_norm": 0.1936771273612976, + "learning_rate": 6.527356968100366e-05, + "loss": 3.0758710861206056, + "step": 142670 + }, + { + "epoch": 0.32853333333333334, + "grad_norm": 0.20706139504909515, + "learning_rate": 6.5263073069689e-05, + "loss": 3.027085876464844, + "step": 142680 + }, + { + "epoch": 0.3286, + "grad_norm": 0.22533617913722992, + "learning_rate": 6.525257571653138e-05, + "loss": 3.0359724044799803, + "step": 142690 + }, + { + "epoch": 0.32866666666666666, + "grad_norm": 0.21748220920562744, + "learning_rate": 6.524207762204095e-05, + "loss": 3.051622772216797, + "step": 142700 + }, + { + "epoch": 0.3287333333333333, + "grad_norm": 0.2645784914493561, + "learning_rate": 6.523157878672799e-05, + "loss": 3.035235786437988, + "step": 142710 + }, + { + "epoch": 0.3288, + "grad_norm": 0.19765403866767883, + "learning_rate": 6.522107921110278e-05, + "loss": 3.1728858947753906, + "step": 142720 + }, + { + "epoch": 0.32886666666666664, + "grad_norm": 0.31293928623199463, + "learning_rate": 6.521057889567565e-05, + "loss": 3.102817344665527, + "step": 142730 + }, + { + "epoch": 0.32893333333333336, + "grad_norm": 0.20152895152568817, + "learning_rate": 6.520007784095695e-05, + "loss": 3.0634870529174805, + "step": 142740 + }, + { + "epoch": 0.329, + "grad_norm": 0.2044340968132019, + "learning_rate": 6.518957604745704e-05, + "loss": 3.075705146789551, + "step": 142750 + }, + { + "epoch": 0.3290666666666667, + "grad_norm": 0.23252452909946442, + "learning_rate": 6.517907351568637e-05, + "loss": 3.1478126525878904, + "step": 142760 + }, + { + "epoch": 0.32913333333333333, + "grad_norm": 0.21991021931171417, + "learning_rate": 6.516857024615543e-05, + "loss": 3.061351203918457, + "step": 142770 + }, + { + "epoch": 0.3292, + "grad_norm": 0.19404709339141846, + "learning_rate": 6.515806623937466e-05, + "loss": 3.0874284744262694, + "step": 142780 + }, + { + "epoch": 0.32926666666666665, + "grad_norm": 0.19655288755893707, + "learning_rate": 6.514756149585466e-05, + "loss": 3.088675308227539, + "step": 142790 + }, + { + "epoch": 0.3293333333333333, + "grad_norm": 0.21087664365768433, + "learning_rate": 6.513705601610596e-05, + "loss": 3.069390869140625, + "step": 142800 + }, + { + "epoch": 0.3294, + "grad_norm": 0.20438751578330994, + "learning_rate": 6.512654980063915e-05, + "loss": 3.08284912109375, + "step": 142810 + }, + { + "epoch": 0.3294666666666667, + "grad_norm": 0.19620326161384583, + "learning_rate": 6.511604284996491e-05, + "loss": 3.0911272048950194, + "step": 142820 + }, + { + "epoch": 0.32953333333333334, + "grad_norm": 0.2204519510269165, + "learning_rate": 6.510553516459391e-05, + "loss": 3.01390380859375, + "step": 142830 + }, + { + "epoch": 0.3296, + "grad_norm": 0.2256813496351242, + "learning_rate": 6.509502674503685e-05, + "loss": 2.9218990325927736, + "step": 142840 + }, + { + "epoch": 0.32966666666666666, + "grad_norm": 0.25128546357154846, + "learning_rate": 6.508451759180447e-05, + "loss": 3.117828369140625, + "step": 142850 + }, + { + "epoch": 0.3297333333333333, + "grad_norm": 0.21911221742630005, + "learning_rate": 6.507400770540758e-05, + "loss": 3.165704345703125, + "step": 142860 + }, + { + "epoch": 0.3298, + "grad_norm": 0.19048592448234558, + "learning_rate": 6.506349708635699e-05, + "loss": 3.0502294540405273, + "step": 142870 + }, + { + "epoch": 0.32986666666666664, + "grad_norm": 0.2078658789396286, + "learning_rate": 6.505298573516357e-05, + "loss": 3.061653709411621, + "step": 142880 + }, + { + "epoch": 0.32993333333333336, + "grad_norm": 0.1990717053413391, + "learning_rate": 6.504247365233818e-05, + "loss": 3.123483085632324, + "step": 142890 + }, + { + "epoch": 0.33, + "grad_norm": 0.2069348841905594, + "learning_rate": 6.503196083839174e-05, + "loss": 3.079271697998047, + "step": 142900 + }, + { + "epoch": 0.3300666666666667, + "grad_norm": 0.22102993726730347, + "learning_rate": 6.502144729383527e-05, + "loss": 3.039951515197754, + "step": 142910 + }, + { + "epoch": 0.33013333333333333, + "grad_norm": 0.20475584268569946, + "learning_rate": 6.501093301917971e-05, + "loss": 3.021999168395996, + "step": 142920 + }, + { + "epoch": 0.3302, + "grad_norm": 0.2299342304468155, + "learning_rate": 6.500041801493614e-05, + "loss": 3.0812110900878906, + "step": 142930 + }, + { + "epoch": 0.33026666666666665, + "grad_norm": 0.1976166069507599, + "learning_rate": 6.498990228161559e-05, + "loss": 3.081429100036621, + "step": 142940 + }, + { + "epoch": 0.3303333333333333, + "grad_norm": 0.1969723105430603, + "learning_rate": 6.497938581972918e-05, + "loss": 3.2893344879150392, + "step": 142950 + }, + { + "epoch": 0.3304, + "grad_norm": 0.20128069818019867, + "learning_rate": 6.496886862978806e-05, + "loss": 3.0635719299316406, + "step": 142960 + }, + { + "epoch": 0.3304666666666667, + "grad_norm": 0.2301284372806549, + "learning_rate": 6.495835071230338e-05, + "loss": 3.0478757858276366, + "step": 142970 + }, + { + "epoch": 0.33053333333333335, + "grad_norm": 0.19415351748466492, + "learning_rate": 6.494783206778639e-05, + "loss": 3.0592626571655273, + "step": 142980 + }, + { + "epoch": 0.3306, + "grad_norm": 0.20271123945713043, + "learning_rate": 6.493731269674829e-05, + "loss": 2.9932661056518555, + "step": 142990 + }, + { + "epoch": 0.33066666666666666, + "grad_norm": 0.19259299337863922, + "learning_rate": 6.492679259970039e-05, + "loss": 3.076495552062988, + "step": 143000 + }, + { + "epoch": 0.3307333333333333, + "grad_norm": 0.20085643231868744, + "learning_rate": 6.491627177715398e-05, + "loss": 3.0022525787353516, + "step": 143010 + }, + { + "epoch": 0.3308, + "grad_norm": 0.2042025923728943, + "learning_rate": 6.490575022962046e-05, + "loss": 3.1495676040649414, + "step": 143020 + }, + { + "epoch": 0.33086666666666664, + "grad_norm": 0.19770000874996185, + "learning_rate": 6.489522795761116e-05, + "loss": 3.0330860137939455, + "step": 143030 + }, + { + "epoch": 0.33093333333333336, + "grad_norm": 0.26228031516075134, + "learning_rate": 6.488470496163754e-05, + "loss": 3.0227262496948244, + "step": 143040 + }, + { + "epoch": 0.331, + "grad_norm": 0.20324614644050598, + "learning_rate": 6.487418124221106e-05, + "loss": 3.022336006164551, + "step": 143050 + }, + { + "epoch": 0.3310666666666667, + "grad_norm": 0.20943526923656464, + "learning_rate": 6.486365679984318e-05, + "loss": 3.0228652954101562, + "step": 143060 + }, + { + "epoch": 0.33113333333333334, + "grad_norm": 0.20707252621650696, + "learning_rate": 6.485313163504547e-05, + "loss": 3.085906219482422, + "step": 143070 + }, + { + "epoch": 0.3312, + "grad_norm": 0.20516763627529144, + "learning_rate": 6.484260574832945e-05, + "loss": 3.0330318450927733, + "step": 143080 + }, + { + "epoch": 0.33126666666666665, + "grad_norm": 0.2821410298347473, + "learning_rate": 6.483207914020675e-05, + "loss": 3.1178926467895507, + "step": 143090 + }, + { + "epoch": 0.3313333333333333, + "grad_norm": 0.20684832334518433, + "learning_rate": 6.482155181118898e-05, + "loss": 3.0953012466430665, + "step": 143100 + }, + { + "epoch": 0.3314, + "grad_norm": 0.18878930807113647, + "learning_rate": 6.481102376178783e-05, + "loss": 3.0179107666015623, + "step": 143110 + }, + { + "epoch": 0.3314666666666667, + "grad_norm": 0.21173465251922607, + "learning_rate": 6.4800494992515e-05, + "loss": 3.071986770629883, + "step": 143120 + }, + { + "epoch": 0.33153333333333335, + "grad_norm": 0.22755934298038483, + "learning_rate": 6.47899655038822e-05, + "loss": 3.0792844772338865, + "step": 143130 + }, + { + "epoch": 0.3316, + "grad_norm": 0.2572055757045746, + "learning_rate": 6.477943529640123e-05, + "loss": 3.104561614990234, + "step": 143140 + }, + { + "epoch": 0.33166666666666667, + "grad_norm": 0.20776621997356415, + "learning_rate": 6.476890437058389e-05, + "loss": 3.089533042907715, + "step": 143150 + }, + { + "epoch": 0.3317333333333333, + "grad_norm": 0.4120592176914215, + "learning_rate": 6.475837272694202e-05, + "loss": 3.1076269149780273, + "step": 143160 + }, + { + "epoch": 0.3318, + "grad_norm": 0.21580569446086884, + "learning_rate": 6.47478403659875e-05, + "loss": 3.102906608581543, + "step": 143170 + }, + { + "epoch": 0.33186666666666664, + "grad_norm": 0.24597753584384918, + "learning_rate": 6.473730728823225e-05, + "loss": 3.033608818054199, + "step": 143180 + }, + { + "epoch": 0.33193333333333336, + "grad_norm": 0.23150718212127686, + "learning_rate": 6.47267734941882e-05, + "loss": 3.0681787490844727, + "step": 143190 + }, + { + "epoch": 0.332, + "grad_norm": 0.2376984804868698, + "learning_rate": 6.471623898436737e-05, + "loss": 3.0184988021850585, + "step": 143200 + }, + { + "epoch": 0.3320666666666667, + "grad_norm": 0.22384308278560638, + "learning_rate": 6.470570375928174e-05, + "loss": 3.1253101348876955, + "step": 143210 + }, + { + "epoch": 0.33213333333333334, + "grad_norm": 0.20905005931854248, + "learning_rate": 6.469516781944335e-05, + "loss": 3.0666505813598635, + "step": 143220 + }, + { + "epoch": 0.3322, + "grad_norm": 0.19987310469150543, + "learning_rate": 6.468463116536432e-05, + "loss": 3.02681941986084, + "step": 143230 + }, + { + "epoch": 0.33226666666666665, + "grad_norm": 0.2254449874162674, + "learning_rate": 6.467409379755676e-05, + "loss": 3.0960336685180665, + "step": 143240 + }, + { + "epoch": 0.3323333333333333, + "grad_norm": 0.19855529069900513, + "learning_rate": 6.466355571653282e-05, + "loss": 3.0169822692871096, + "step": 143250 + }, + { + "epoch": 0.3324, + "grad_norm": 0.20523753762245178, + "learning_rate": 6.46530169228047e-05, + "loss": 3.0237396240234373, + "step": 143260 + }, + { + "epoch": 0.3324666666666667, + "grad_norm": 0.19186890125274658, + "learning_rate": 6.464247741688461e-05, + "loss": 3.0554941177368162, + "step": 143270 + }, + { + "epoch": 0.33253333333333335, + "grad_norm": 0.21353252232074738, + "learning_rate": 6.463193719928484e-05, + "loss": 3.0209827423095703, + "step": 143280 + }, + { + "epoch": 0.3326, + "grad_norm": 0.23972566425800323, + "learning_rate": 6.462139627051766e-05, + "loss": 2.933207130432129, + "step": 143290 + }, + { + "epoch": 0.33266666666666667, + "grad_norm": 0.1953059434890747, + "learning_rate": 6.461085463109539e-05, + "loss": 3.079942512512207, + "step": 143300 + }, + { + "epoch": 0.3327333333333333, + "grad_norm": 0.19979333877563477, + "learning_rate": 6.460031228153043e-05, + "loss": 3.0393447875976562, + "step": 143310 + }, + { + "epoch": 0.3328, + "grad_norm": 0.20097561180591583, + "learning_rate": 6.458976922233514e-05, + "loss": 3.089723014831543, + "step": 143320 + }, + { + "epoch": 0.33286666666666664, + "grad_norm": 0.20768263936042786, + "learning_rate": 6.457922545402197e-05, + "loss": 3.0342493057250977, + "step": 143330 + }, + { + "epoch": 0.33293333333333336, + "grad_norm": 0.19759680330753326, + "learning_rate": 6.456868097710338e-05, + "loss": 3.1348236083984373, + "step": 143340 + }, + { + "epoch": 0.333, + "grad_norm": 0.29210489988327026, + "learning_rate": 6.455813579209187e-05, + "loss": 3.0639114379882812, + "step": 143350 + }, + { + "epoch": 0.3330666666666667, + "grad_norm": 0.20635297894477844, + "learning_rate": 6.454758989950002e-05, + "loss": 3.0139835357666014, + "step": 143360 + }, + { + "epoch": 0.33313333333333334, + "grad_norm": 0.22692975401878357, + "learning_rate": 6.453704329984033e-05, + "loss": 2.99603385925293, + "step": 143370 + }, + { + "epoch": 0.3332, + "grad_norm": 0.2114311009645462, + "learning_rate": 6.452649599362544e-05, + "loss": 3.0653354644775392, + "step": 143380 + }, + { + "epoch": 0.33326666666666666, + "grad_norm": 0.19097666442394257, + "learning_rate": 6.451594798136798e-05, + "loss": 3.0433204650878904, + "step": 143390 + }, + { + "epoch": 0.3333333333333333, + "grad_norm": 0.24960152804851532, + "learning_rate": 6.450539926358065e-05, + "loss": 3.1101861953735352, + "step": 143400 + }, + { + "epoch": 0.3334, + "grad_norm": 0.3425430655479431, + "learning_rate": 6.449484984077612e-05, + "loss": 3.351131820678711, + "step": 143410 + }, + { + "epoch": 0.3334666666666667, + "grad_norm": 0.2066217064857483, + "learning_rate": 6.448429971346714e-05, + "loss": 3.0724723815917967, + "step": 143420 + }, + { + "epoch": 0.33353333333333335, + "grad_norm": 0.20615282654762268, + "learning_rate": 6.44737488821665e-05, + "loss": 3.0598392486572266, + "step": 143430 + }, + { + "epoch": 0.3336, + "grad_norm": 0.22299374639987946, + "learning_rate": 6.446319734738702e-05, + "loss": 3.0162275314331053, + "step": 143440 + }, + { + "epoch": 0.33366666666666667, + "grad_norm": 0.20442818105220795, + "learning_rate": 6.445264510964151e-05, + "loss": 3.1248619079589846, + "step": 143450 + }, + { + "epoch": 0.3337333333333333, + "grad_norm": 0.21617019176483154, + "learning_rate": 6.444209216944289e-05, + "loss": 3.0903564453125, + "step": 143460 + }, + { + "epoch": 0.3338, + "grad_norm": 0.22483006119728088, + "learning_rate": 6.443153852730404e-05, + "loss": 3.0690393447875977, + "step": 143470 + }, + { + "epoch": 0.33386666666666664, + "grad_norm": 0.24315941333770752, + "learning_rate": 6.442098418373791e-05, + "loss": 3.049068832397461, + "step": 143480 + }, + { + "epoch": 0.33393333333333336, + "grad_norm": 0.2010088562965393, + "learning_rate": 6.441042913925748e-05, + "loss": 3.0657787322998047, + "step": 143490 + }, + { + "epoch": 0.334, + "grad_norm": 0.2138679474592209, + "learning_rate": 6.439987339437579e-05, + "loss": 3.0903385162353514, + "step": 143500 + }, + { + "epoch": 0.3340666666666667, + "grad_norm": 0.21066369116306305, + "learning_rate": 6.438931694960587e-05, + "loss": 3.197052574157715, + "step": 143510 + }, + { + "epoch": 0.33413333333333334, + "grad_norm": 0.19785690307617188, + "learning_rate": 6.437875980546082e-05, + "loss": 3.0533721923828123, + "step": 143520 + }, + { + "epoch": 0.3342, + "grad_norm": 0.1974993795156479, + "learning_rate": 6.436820196245372e-05, + "loss": 3.0345975875854494, + "step": 143530 + }, + { + "epoch": 0.33426666666666666, + "grad_norm": 0.18594308197498322, + "learning_rate": 6.435764342109774e-05, + "loss": 3.1382015228271483, + "step": 143540 + }, + { + "epoch": 0.3343333333333333, + "grad_norm": 0.2221164107322693, + "learning_rate": 6.434708418190609e-05, + "loss": 3.0630489349365235, + "step": 143550 + }, + { + "epoch": 0.3344, + "grad_norm": 0.26199397444725037, + "learning_rate": 6.433652424539195e-05, + "loss": 3.1040489196777346, + "step": 143560 + }, + { + "epoch": 0.3344666666666667, + "grad_norm": 0.21439939737319946, + "learning_rate": 6.43259636120686e-05, + "loss": 3.075539398193359, + "step": 143570 + }, + { + "epoch": 0.33453333333333335, + "grad_norm": 0.19322636723518372, + "learning_rate": 6.43154022824493e-05, + "loss": 3.0268217086791993, + "step": 143580 + }, + { + "epoch": 0.3346, + "grad_norm": 0.2508547306060791, + "learning_rate": 6.43048402570474e-05, + "loss": 3.0744487762451174, + "step": 143590 + }, + { + "epoch": 0.33466666666666667, + "grad_norm": 0.20599007606506348, + "learning_rate": 6.429427753637625e-05, + "loss": 2.992021369934082, + "step": 143600 + }, + { + "epoch": 0.3347333333333333, + "grad_norm": 0.21092478930950165, + "learning_rate": 6.428371412094922e-05, + "loss": 3.0589262008666993, + "step": 143610 + }, + { + "epoch": 0.3348, + "grad_norm": 0.21820197999477386, + "learning_rate": 6.427315001127974e-05, + "loss": 3.04748420715332, + "step": 143620 + }, + { + "epoch": 0.33486666666666665, + "grad_norm": 0.19954784214496613, + "learning_rate": 6.426258520788126e-05, + "loss": 3.074074935913086, + "step": 143630 + }, + { + "epoch": 0.33493333333333336, + "grad_norm": 0.2544414699077606, + "learning_rate": 6.42520197112673e-05, + "loss": 3.1102340698242186, + "step": 143640 + }, + { + "epoch": 0.335, + "grad_norm": 0.20351733267307281, + "learning_rate": 6.424145352195133e-05, + "loss": 3.0798099517822264, + "step": 143650 + }, + { + "epoch": 0.3350666666666667, + "grad_norm": 0.20988470315933228, + "learning_rate": 6.423088664044696e-05, + "loss": 3.040192222595215, + "step": 143660 + }, + { + "epoch": 0.33513333333333334, + "grad_norm": 0.26113656163215637, + "learning_rate": 6.422031906726774e-05, + "loss": 3.052179145812988, + "step": 143670 + }, + { + "epoch": 0.3352, + "grad_norm": 0.19892948865890503, + "learning_rate": 6.420975080292734e-05, + "loss": 3.0482101440429688, + "step": 143680 + }, + { + "epoch": 0.33526666666666666, + "grad_norm": 0.19800062477588654, + "learning_rate": 6.419918184793936e-05, + "loss": 3.02667179107666, + "step": 143690 + }, + { + "epoch": 0.3353333333333333, + "grad_norm": 0.19950070977210999, + "learning_rate": 6.418861220281752e-05, + "loss": 3.0624956130981444, + "step": 143700 + }, + { + "epoch": 0.3354, + "grad_norm": 0.22113053500652313, + "learning_rate": 6.417804186807556e-05, + "loss": 3.0458820343017576, + "step": 143710 + }, + { + "epoch": 0.3354666666666667, + "grad_norm": 0.20483750104904175, + "learning_rate": 6.416747084422721e-05, + "loss": 3.089750862121582, + "step": 143720 + }, + { + "epoch": 0.33553333333333335, + "grad_norm": 0.2157076746225357, + "learning_rate": 6.415689913178628e-05, + "loss": 3.057352638244629, + "step": 143730 + }, + { + "epoch": 0.3356, + "grad_norm": 0.2210099846124649, + "learning_rate": 6.414632673126657e-05, + "loss": 3.013254737854004, + "step": 143740 + }, + { + "epoch": 0.33566666666666667, + "grad_norm": 0.22202527523040771, + "learning_rate": 6.413575364318198e-05, + "loss": 3.042171096801758, + "step": 143750 + }, + { + "epoch": 0.33573333333333333, + "grad_norm": 0.22410793602466583, + "learning_rate": 6.412517986804637e-05, + "loss": 3.0488422393798826, + "step": 143760 + }, + { + "epoch": 0.3358, + "grad_norm": 0.21804364025592804, + "learning_rate": 6.411460540637368e-05, + "loss": 2.97921142578125, + "step": 143770 + }, + { + "epoch": 0.33586666666666665, + "grad_norm": 95.32162475585938, + "learning_rate": 6.410403025867786e-05, + "loss": 4.418306732177735, + "step": 143780 + }, + { + "epoch": 0.3359333333333333, + "grad_norm": 0.22873073816299438, + "learning_rate": 6.40934544254729e-05, + "loss": 3.551525115966797, + "step": 143790 + }, + { + "epoch": 0.336, + "grad_norm": 0.24834178388118744, + "learning_rate": 6.408287790727284e-05, + "loss": 3.048597526550293, + "step": 143800 + }, + { + "epoch": 0.3360666666666667, + "grad_norm": 0.23675456643104553, + "learning_rate": 6.407230070459173e-05, + "loss": 3.0942333221435545, + "step": 143810 + }, + { + "epoch": 0.33613333333333334, + "grad_norm": 0.21008117496967316, + "learning_rate": 6.406172281794366e-05, + "loss": 3.0825998306274416, + "step": 143820 + }, + { + "epoch": 0.3362, + "grad_norm": 0.3462832272052765, + "learning_rate": 6.405114424784276e-05, + "loss": 3.740850830078125, + "step": 143830 + }, + { + "epoch": 0.33626666666666666, + "grad_norm": 0.22462709248065948, + "learning_rate": 6.404056499480317e-05, + "loss": 3.088753890991211, + "step": 143840 + }, + { + "epoch": 0.3363333333333333, + "grad_norm": 0.27706876397132874, + "learning_rate": 6.402998505933913e-05, + "loss": 3.1606489181518556, + "step": 143850 + }, + { + "epoch": 0.3364, + "grad_norm": 0.21441234648227692, + "learning_rate": 6.401940444196481e-05, + "loss": 3.0553457260131838, + "step": 143860 + }, + { + "epoch": 0.3364666666666667, + "grad_norm": 0.21536894142627716, + "learning_rate": 6.400882314319449e-05, + "loss": 3.0606252670288088, + "step": 143870 + }, + { + "epoch": 0.33653333333333335, + "grad_norm": 0.19252891838550568, + "learning_rate": 6.399824116354246e-05, + "loss": 3.1788299560546873, + "step": 143880 + }, + { + "epoch": 0.3366, + "grad_norm": 0.2228247970342636, + "learning_rate": 6.398765850352305e-05, + "loss": 3.0434591293334963, + "step": 143890 + }, + { + "epoch": 0.33666666666666667, + "grad_norm": 0.2677527368068695, + "learning_rate": 6.397707516365061e-05, + "loss": 3.0138246536254885, + "step": 143900 + }, + { + "epoch": 0.33673333333333333, + "grad_norm": 0.19876864552497864, + "learning_rate": 6.396649114443953e-05, + "loss": 3.051939010620117, + "step": 143910 + }, + { + "epoch": 0.3368, + "grad_norm": 0.2546871304512024, + "learning_rate": 6.395590644640424e-05, + "loss": 3.3947582244873047, + "step": 143920 + }, + { + "epoch": 0.33686666666666665, + "grad_norm": 0.21449020504951477, + "learning_rate": 6.394532107005921e-05, + "loss": 3.0822626113891602, + "step": 143930 + }, + { + "epoch": 0.3369333333333333, + "grad_norm": 0.21304596960544586, + "learning_rate": 6.393473501591889e-05, + "loss": 3.025815010070801, + "step": 143940 + }, + { + "epoch": 0.337, + "grad_norm": 0.2072671502828598, + "learning_rate": 6.392414828449783e-05, + "loss": 3.076980400085449, + "step": 143950 + }, + { + "epoch": 0.3370666666666667, + "grad_norm": 0.3780979514122009, + "learning_rate": 6.391356087631057e-05, + "loss": 3.0210439682006838, + "step": 143960 + }, + { + "epoch": 0.33713333333333334, + "grad_norm": 0.21303388476371765, + "learning_rate": 6.390297279187173e-05, + "loss": 3.0685302734375, + "step": 143970 + }, + { + "epoch": 0.3372, + "grad_norm": 0.6424124836921692, + "learning_rate": 6.389238403169588e-05, + "loss": 3.1205745697021485, + "step": 143980 + }, + { + "epoch": 0.33726666666666666, + "grad_norm": 0.20216470956802368, + "learning_rate": 6.388179459629773e-05, + "loss": 3.0396541595458983, + "step": 143990 + }, + { + "epoch": 0.3373333333333333, + "grad_norm": 0.21712006628513336, + "learning_rate": 6.387120448619192e-05, + "loss": 3.111580657958984, + "step": 144000 + }, + { + "epoch": 0.3374, + "grad_norm": 0.21016773581504822, + "learning_rate": 6.38606137018932e-05, + "loss": 3.260028076171875, + "step": 144010 + }, + { + "epoch": 0.3374666666666667, + "grad_norm": 0.20969440042972565, + "learning_rate": 6.38500222439163e-05, + "loss": 3.030069923400879, + "step": 144020 + }, + { + "epoch": 0.33753333333333335, + "grad_norm": 0.19960136711597443, + "learning_rate": 6.383943011277601e-05, + "loss": 3.0739978790283202, + "step": 144030 + }, + { + "epoch": 0.3376, + "grad_norm": 0.2137286216020584, + "learning_rate": 6.382883730898717e-05, + "loss": 3.048274612426758, + "step": 144040 + }, + { + "epoch": 0.33766666666666667, + "grad_norm": 0.2907031178474426, + "learning_rate": 6.38182438330646e-05, + "loss": 3.0631065368652344, + "step": 144050 + }, + { + "epoch": 0.33773333333333333, + "grad_norm": 0.19733582437038422, + "learning_rate": 6.380764968552319e-05, + "loss": 3.030510902404785, + "step": 144060 + }, + { + "epoch": 0.3378, + "grad_norm": 0.21764753758907318, + "learning_rate": 6.379705486687786e-05, + "loss": 3.15054988861084, + "step": 144070 + }, + { + "epoch": 0.33786666666666665, + "grad_norm": 0.20293281972408295, + "learning_rate": 6.378645937764357e-05, + "loss": 3.054685592651367, + "step": 144080 + }, + { + "epoch": 0.3379333333333333, + "grad_norm": 0.21371352672576904, + "learning_rate": 6.377586321833529e-05, + "loss": 3.1199668884277343, + "step": 144090 + }, + { + "epoch": 0.338, + "grad_norm": 0.2094542384147644, + "learning_rate": 6.376526638946803e-05, + "loss": 3.014533805847168, + "step": 144100 + }, + { + "epoch": 0.3380666666666667, + "grad_norm": 0.2064414769411087, + "learning_rate": 6.375466889155683e-05, + "loss": 3.0306140899658205, + "step": 144110 + }, + { + "epoch": 0.33813333333333334, + "grad_norm": 0.19492371380329132, + "learning_rate": 6.37440707251168e-05, + "loss": 3.040548324584961, + "step": 144120 + }, + { + "epoch": 0.3382, + "grad_norm": 0.21258552372455597, + "learning_rate": 6.3733471890663e-05, + "loss": 3.0664831161499024, + "step": 144130 + }, + { + "epoch": 0.33826666666666666, + "grad_norm": 0.20232534408569336, + "learning_rate": 6.372287238871063e-05, + "loss": 3.037627029418945, + "step": 144140 + }, + { + "epoch": 0.3383333333333333, + "grad_norm": 0.20626765489578247, + "learning_rate": 6.37122722197748e-05, + "loss": 3.1106796264648438, + "step": 144150 + }, + { + "epoch": 0.3384, + "grad_norm": 0.210426464676857, + "learning_rate": 6.370167138437079e-05, + "loss": 3.093125343322754, + "step": 144160 + }, + { + "epoch": 0.3384666666666667, + "grad_norm": 0.19718457758426666, + "learning_rate": 6.369106988301382e-05, + "loss": 3.088723373413086, + "step": 144170 + }, + { + "epoch": 0.33853333333333335, + "grad_norm": 0.2168850600719452, + "learning_rate": 6.368046771621912e-05, + "loss": 2.996918487548828, + "step": 144180 + }, + { + "epoch": 0.3386, + "grad_norm": 0.22999975085258484, + "learning_rate": 6.366986488450203e-05, + "loss": 3.0690975189208984, + "step": 144190 + }, + { + "epoch": 0.33866666666666667, + "grad_norm": 0.1988411694765091, + "learning_rate": 6.365926138837788e-05, + "loss": 3.022164535522461, + "step": 144200 + }, + { + "epoch": 0.33873333333333333, + "grad_norm": 0.19535589218139648, + "learning_rate": 6.364865722836204e-05, + "loss": 3.0110544204711913, + "step": 144210 + }, + { + "epoch": 0.3388, + "grad_norm": 0.2812189757823944, + "learning_rate": 6.363805240496993e-05, + "loss": 3.078213691711426, + "step": 144220 + }, + { + "epoch": 0.33886666666666665, + "grad_norm": 0.24574606120586395, + "learning_rate": 6.362744691871697e-05, + "loss": 3.063526725769043, + "step": 144230 + }, + { + "epoch": 0.3389333333333333, + "grad_norm": 0.2105480432510376, + "learning_rate": 6.36168407701186e-05, + "loss": 3.0978372573852537, + "step": 144240 + }, + { + "epoch": 0.339, + "grad_norm": 0.19981542229652405, + "learning_rate": 6.360623395969038e-05, + "loss": 3.0092830657958984, + "step": 144250 + }, + { + "epoch": 0.3390666666666667, + "grad_norm": 0.22131188213825226, + "learning_rate": 6.359562648794779e-05, + "loss": 3.067815971374512, + "step": 144260 + }, + { + "epoch": 0.33913333333333334, + "grad_norm": 0.21729017794132233, + "learning_rate": 6.35850183554064e-05, + "loss": 3.103898811340332, + "step": 144270 + }, + { + "epoch": 0.3392, + "grad_norm": 0.2065008282661438, + "learning_rate": 6.357440956258183e-05, + "loss": 3.1405109405517577, + "step": 144280 + }, + { + "epoch": 0.33926666666666666, + "grad_norm": 0.19536684453487396, + "learning_rate": 6.356380010998968e-05, + "loss": 3.035267639160156, + "step": 144290 + }, + { + "epoch": 0.3393333333333333, + "grad_norm": 0.20113976299762726, + "learning_rate": 6.355318999814563e-05, + "loss": 3.0704078674316406, + "step": 144300 + }, + { + "epoch": 0.3394, + "grad_norm": 0.23258726298809052, + "learning_rate": 6.354257922756535e-05, + "loss": 3.088663864135742, + "step": 144310 + }, + { + "epoch": 0.3394666666666667, + "grad_norm": 0.4890526235103607, + "learning_rate": 6.353196779876458e-05, + "loss": 3.064902496337891, + "step": 144320 + }, + { + "epoch": 0.33953333333333335, + "grad_norm": 0.21474775671958923, + "learning_rate": 6.352135571225909e-05, + "loss": 3.041058158874512, + "step": 144330 + }, + { + "epoch": 0.3396, + "grad_norm": 0.23964408040046692, + "learning_rate": 6.351074296856463e-05, + "loss": 3.028184509277344, + "step": 144340 + }, + { + "epoch": 0.3396666666666667, + "grad_norm": 0.2108258306980133, + "learning_rate": 6.350012956819704e-05, + "loss": 3.0878551483154295, + "step": 144350 + }, + { + "epoch": 0.33973333333333333, + "grad_norm": 0.2186507284641266, + "learning_rate": 6.348951551167217e-05, + "loss": 3.022142219543457, + "step": 144360 + }, + { + "epoch": 0.3398, + "grad_norm": 0.21884728968143463, + "learning_rate": 6.347890079950591e-05, + "loss": 3.045118522644043, + "step": 144370 + }, + { + "epoch": 0.33986666666666665, + "grad_norm": 0.34176746010780334, + "learning_rate": 6.346828543221417e-05, + "loss": 3.128133010864258, + "step": 144380 + }, + { + "epoch": 0.3399333333333333, + "grad_norm": 0.24034816026687622, + "learning_rate": 6.345766941031289e-05, + "loss": 3.1506475448608398, + "step": 144390 + }, + { + "epoch": 0.34, + "grad_norm": 0.25112032890319824, + "learning_rate": 6.344705273431806e-05, + "loss": 3.060677719116211, + "step": 144400 + }, + { + "epoch": 0.3400666666666667, + "grad_norm": 0.21940836310386658, + "learning_rate": 6.343643540474569e-05, + "loss": 3.0987367630004883, + "step": 144410 + }, + { + "epoch": 0.34013333333333334, + "grad_norm": 0.20978078246116638, + "learning_rate": 6.342581742211179e-05, + "loss": 3.1736785888671877, + "step": 144420 + }, + { + "epoch": 0.3402, + "grad_norm": 0.20704695582389832, + "learning_rate": 6.341519878693249e-05, + "loss": 3.042494201660156, + "step": 144430 + }, + { + "epoch": 0.34026666666666666, + "grad_norm": 0.2295542061328888, + "learning_rate": 6.340457949972385e-05, + "loss": 3.108312797546387, + "step": 144440 + }, + { + "epoch": 0.3403333333333333, + "grad_norm": 0.21046291291713715, + "learning_rate": 6.339395956100202e-05, + "loss": 3.0576778411865235, + "step": 144450 + }, + { + "epoch": 0.3404, + "grad_norm": 0.20828558504581451, + "learning_rate": 6.338333897128318e-05, + "loss": 3.1188114166259764, + "step": 144460 + }, + { + "epoch": 0.34046666666666664, + "grad_norm": 0.2237098217010498, + "learning_rate": 6.337271773108353e-05, + "loss": 3.0295658111572266, + "step": 144470 + }, + { + "epoch": 0.34053333333333335, + "grad_norm": 0.20449499785900116, + "learning_rate": 6.336209584091929e-05, + "loss": 3.06260986328125, + "step": 144480 + }, + { + "epoch": 0.3406, + "grad_norm": 0.23365619778633118, + "learning_rate": 6.335147330130673e-05, + "loss": 3.1002212524414063, + "step": 144490 + }, + { + "epoch": 0.3406666666666667, + "grad_norm": 0.21750976145267487, + "learning_rate": 6.334085011276215e-05, + "loss": 3.0977073669433595, + "step": 144500 + }, + { + "epoch": 0.34073333333333333, + "grad_norm": 0.2402481734752655, + "learning_rate": 6.333022627580188e-05, + "loss": 3.0346216201782226, + "step": 144510 + }, + { + "epoch": 0.3408, + "grad_norm": 0.22278955578804016, + "learning_rate": 6.331960179094225e-05, + "loss": 3.029402732849121, + "step": 144520 + }, + { + "epoch": 0.34086666666666665, + "grad_norm": 0.20168721675872803, + "learning_rate": 6.33089766586997e-05, + "loss": 3.1090484619140626, + "step": 144530 + }, + { + "epoch": 0.3409333333333333, + "grad_norm": 0.229123055934906, + "learning_rate": 6.329835087959059e-05, + "loss": 3.081011199951172, + "step": 144540 + }, + { + "epoch": 0.341, + "grad_norm": 0.19569812715053558, + "learning_rate": 6.328772445413143e-05, + "loss": 3.1474557876586915, + "step": 144550 + }, + { + "epoch": 0.3410666666666667, + "grad_norm": 0.23307360708713531, + "learning_rate": 6.327709738283867e-05, + "loss": 3.055642509460449, + "step": 144560 + }, + { + "epoch": 0.34113333333333334, + "grad_norm": 0.19948223233222961, + "learning_rate": 6.326646966622886e-05, + "loss": 3.022195816040039, + "step": 144570 + }, + { + "epoch": 0.3412, + "grad_norm": 0.24865736067295074, + "learning_rate": 6.32558413048185e-05, + "loss": 3.0528465270996095, + "step": 144580 + }, + { + "epoch": 0.34126666666666666, + "grad_norm": 0.20070825517177582, + "learning_rate": 6.32452122991242e-05, + "loss": 3.0722124099731447, + "step": 144590 + }, + { + "epoch": 0.3413333333333333, + "grad_norm": 0.23433318734169006, + "learning_rate": 6.323458264966255e-05, + "loss": 3.0452142715454102, + "step": 144600 + }, + { + "epoch": 0.3414, + "grad_norm": 0.2078062742948532, + "learning_rate": 6.322395235695022e-05, + "loss": 3.031927299499512, + "step": 144610 + }, + { + "epoch": 0.34146666666666664, + "grad_norm": 0.21626022458076477, + "learning_rate": 6.321332142150385e-05, + "loss": 3.0758153915405275, + "step": 144620 + }, + { + "epoch": 0.34153333333333336, + "grad_norm": 0.19759781658649445, + "learning_rate": 6.320268984384018e-05, + "loss": 3.045274353027344, + "step": 144630 + }, + { + "epoch": 0.3416, + "grad_norm": 0.22323454916477203, + "learning_rate": 6.319205762447591e-05, + "loss": 3.0001205444335937, + "step": 144640 + }, + { + "epoch": 0.3416666666666667, + "grad_norm": 0.22754546999931335, + "learning_rate": 6.318142476392784e-05, + "loss": 3.1496183395385744, + "step": 144650 + }, + { + "epoch": 0.34173333333333333, + "grad_norm": 0.2460154891014099, + "learning_rate": 6.317079126271272e-05, + "loss": 3.050302505493164, + "step": 144660 + }, + { + "epoch": 0.3418, + "grad_norm": 0.19315461814403534, + "learning_rate": 6.316015712134741e-05, + "loss": 3.021599769592285, + "step": 144670 + }, + { + "epoch": 0.34186666666666665, + "grad_norm": 0.20455001294612885, + "learning_rate": 6.314952234034876e-05, + "loss": 3.033883476257324, + "step": 144680 + }, + { + "epoch": 0.3419333333333333, + "grad_norm": 0.20469553768634796, + "learning_rate": 6.313888692023368e-05, + "loss": 3.0460439682006837, + "step": 144690 + }, + { + "epoch": 0.342, + "grad_norm": 0.2019001692533493, + "learning_rate": 6.312825086151908e-05, + "loss": 3.2954898834228517, + "step": 144700 + }, + { + "epoch": 0.3420666666666667, + "grad_norm": 0.24127180874347687, + "learning_rate": 6.31176141647219e-05, + "loss": 3.05926570892334, + "step": 144710 + }, + { + "epoch": 0.34213333333333334, + "grad_norm": 0.1960514336824417, + "learning_rate": 6.310697683035913e-05, + "loss": 3.0417407989501952, + "step": 144720 + }, + { + "epoch": 0.3422, + "grad_norm": 0.23327812552452087, + "learning_rate": 6.30963388589478e-05, + "loss": 3.0306774139404298, + "step": 144730 + }, + { + "epoch": 0.34226666666666666, + "grad_norm": 0.3269047141075134, + "learning_rate": 6.308570025100494e-05, + "loss": 2.968241882324219, + "step": 144740 + }, + { + "epoch": 0.3423333333333333, + "grad_norm": 0.2203007936477661, + "learning_rate": 6.307506100704761e-05, + "loss": 3.0859607696533202, + "step": 144750 + }, + { + "epoch": 0.3424, + "grad_norm": 0.19776912033557892, + "learning_rate": 6.306442112759297e-05, + "loss": 3.0208091735839844, + "step": 144760 + }, + { + "epoch": 0.34246666666666664, + "grad_norm": 0.2198261171579361, + "learning_rate": 6.305378061315809e-05, + "loss": 3.059035301208496, + "step": 144770 + }, + { + "epoch": 0.34253333333333336, + "grad_norm": 0.23733758926391602, + "learning_rate": 6.30431394642602e-05, + "loss": 3.032197380065918, + "step": 144780 + }, + { + "epoch": 0.3426, + "grad_norm": 0.435032457113266, + "learning_rate": 6.303249768141647e-05, + "loss": 3.1108875274658203, + "step": 144790 + }, + { + "epoch": 0.3426666666666667, + "grad_norm": 0.22706696391105652, + "learning_rate": 6.302185526514413e-05, + "loss": 3.016348457336426, + "step": 144800 + }, + { + "epoch": 0.34273333333333333, + "grad_norm": 0.36312198638916016, + "learning_rate": 6.301121221596045e-05, + "loss": 3.0566219329833983, + "step": 144810 + }, + { + "epoch": 0.3428, + "grad_norm": 0.21021367609500885, + "learning_rate": 6.300056853438273e-05, + "loss": 3.0366483688354493, + "step": 144820 + }, + { + "epoch": 0.34286666666666665, + "grad_norm": 0.20528864860534668, + "learning_rate": 6.298992422092827e-05, + "loss": 2.990726280212402, + "step": 144830 + }, + { + "epoch": 0.3429333333333333, + "grad_norm": 0.33287855982780457, + "learning_rate": 6.297927927611444e-05, + "loss": 3.011208724975586, + "step": 144840 + }, + { + "epoch": 0.343, + "grad_norm": 0.1985446661710739, + "learning_rate": 6.296863370045861e-05, + "loss": 3.065607261657715, + "step": 144850 + }, + { + "epoch": 0.3430666666666667, + "grad_norm": 0.8844954967498779, + "learning_rate": 6.295798749447822e-05, + "loss": 3.0682819366455076, + "step": 144860 + }, + { + "epoch": 0.34313333333333335, + "grad_norm": 0.2007124274969101, + "learning_rate": 6.29473406586907e-05, + "loss": 3.034929656982422, + "step": 144870 + }, + { + "epoch": 0.3432, + "grad_norm": 0.19717322289943695, + "learning_rate": 6.293669319361352e-05, + "loss": 3.053482246398926, + "step": 144880 + }, + { + "epoch": 0.34326666666666666, + "grad_norm": 0.21283920109272003, + "learning_rate": 6.292604509976421e-05, + "loss": 3.010713577270508, + "step": 144890 + }, + { + "epoch": 0.3433333333333333, + "grad_norm": 0.21988746523857117, + "learning_rate": 6.29153963776603e-05, + "loss": 3.0236913681030275, + "step": 144900 + }, + { + "epoch": 0.3434, + "grad_norm": 0.2745862603187561, + "learning_rate": 6.290474702781934e-05, + "loss": 3.02712459564209, + "step": 144910 + }, + { + "epoch": 0.34346666666666664, + "grad_norm": 0.2126852422952652, + "learning_rate": 6.289409705075893e-05, + "loss": 3.095321464538574, + "step": 144920 + }, + { + "epoch": 0.34353333333333336, + "grad_norm": 0.22864346206188202, + "learning_rate": 6.288344644699674e-05, + "loss": 3.1023271560668944, + "step": 144930 + }, + { + "epoch": 0.3436, + "grad_norm": 0.5476874113082886, + "learning_rate": 6.287279521705036e-05, + "loss": 3.0118602752685546, + "step": 144940 + }, + { + "epoch": 0.3436666666666667, + "grad_norm": 0.21252869069576263, + "learning_rate": 6.286214336143753e-05, + "loss": 3.040223503112793, + "step": 144950 + }, + { + "epoch": 0.34373333333333334, + "grad_norm": 0.3782886564731598, + "learning_rate": 6.285149088067596e-05, + "loss": 3.084750175476074, + "step": 144960 + }, + { + "epoch": 0.3438, + "grad_norm": 0.20419596135616302, + "learning_rate": 6.28408377752834e-05, + "loss": 3.115876007080078, + "step": 144970 + }, + { + "epoch": 0.34386666666666665, + "grad_norm": 0.27835607528686523, + "learning_rate": 6.283018404577765e-05, + "loss": 3.042608642578125, + "step": 144980 + }, + { + "epoch": 0.3439333333333333, + "grad_norm": 0.8909023404121399, + "learning_rate": 6.281952969267649e-05, + "loss": 2.968600273132324, + "step": 144990 + }, + { + "epoch": 0.344, + "grad_norm": 0.23347435891628265, + "learning_rate": 6.280887471649777e-05, + "loss": 2.8796382904052735, + "step": 145000 + }, + { + "epoch": 0.3440666666666667, + "grad_norm": 0.20093412697315216, + "learning_rate": 6.279821911775937e-05, + "loss": 3.0641021728515625, + "step": 145010 + }, + { + "epoch": 0.34413333333333335, + "grad_norm": 0.2048221379518509, + "learning_rate": 6.278756289697918e-05, + "loss": 3.0645687103271486, + "step": 145020 + }, + { + "epoch": 0.3442, + "grad_norm": 0.21884037554264069, + "learning_rate": 6.277690605467516e-05, + "loss": 3.1376325607299806, + "step": 145030 + }, + { + "epoch": 0.34426666666666667, + "grad_norm": 0.22793512046337128, + "learning_rate": 6.276624859136524e-05, + "loss": 3.0627864837646483, + "step": 145040 + }, + { + "epoch": 0.3443333333333333, + "grad_norm": 0.2314969301223755, + "learning_rate": 6.275559050756744e-05, + "loss": 3.0734901428222656, + "step": 145050 + }, + { + "epoch": 0.3444, + "grad_norm": 0.21759657561779022, + "learning_rate": 6.274493180379975e-05, + "loss": 3.0600826263427736, + "step": 145060 + }, + { + "epoch": 0.34446666666666664, + "grad_norm": 0.2244385927915573, + "learning_rate": 6.273427248058025e-05, + "loss": 3.0255542755126954, + "step": 145070 + }, + { + "epoch": 0.34453333333333336, + "grad_norm": 0.22372496128082275, + "learning_rate": 6.272361253842702e-05, + "loss": 3.0716678619384767, + "step": 145080 + }, + { + "epoch": 0.3446, + "grad_norm": 0.1891488879919052, + "learning_rate": 6.271295197785818e-05, + "loss": 3.023055648803711, + "step": 145090 + }, + { + "epoch": 0.3446666666666667, + "grad_norm": 0.31489551067352295, + "learning_rate": 6.270229079939185e-05, + "loss": 3.1096622467041017, + "step": 145100 + }, + { + "epoch": 0.34473333333333334, + "grad_norm": 0.20210625231266022, + "learning_rate": 6.269162900354622e-05, + "loss": 3.056776428222656, + "step": 145110 + }, + { + "epoch": 0.3448, + "grad_norm": 0.22890211641788483, + "learning_rate": 6.268096659083949e-05, + "loss": 3.1161128997802736, + "step": 145120 + }, + { + "epoch": 0.34486666666666665, + "grad_norm": 0.22090493142604828, + "learning_rate": 6.267030356178989e-05, + "loss": 3.1201545715332033, + "step": 145130 + }, + { + "epoch": 0.3449333333333333, + "grad_norm": 0.20048896968364716, + "learning_rate": 6.26596399169157e-05, + "loss": 3.3004226684570312, + "step": 145140 + }, + { + "epoch": 0.345, + "grad_norm": 0.2139034867286682, + "learning_rate": 6.26489756567352e-05, + "loss": 3.054941749572754, + "step": 145150 + }, + { + "epoch": 0.3450666666666667, + "grad_norm": 0.38366395235061646, + "learning_rate": 6.26383107817667e-05, + "loss": 3.061714935302734, + "step": 145160 + }, + { + "epoch": 0.34513333333333335, + "grad_norm": 0.2104494720697403, + "learning_rate": 6.262764529252858e-05, + "loss": 3.0899240493774416, + "step": 145170 + }, + { + "epoch": 0.3452, + "grad_norm": 0.31299248337745667, + "learning_rate": 6.261697918953921e-05, + "loss": 3.0486076354980467, + "step": 145180 + }, + { + "epoch": 0.34526666666666667, + "grad_norm": 0.2039875090122223, + "learning_rate": 6.260631247331701e-05, + "loss": 3.0414323806762695, + "step": 145190 + }, + { + "epoch": 0.3453333333333333, + "grad_norm": 0.2565118372440338, + "learning_rate": 6.25956451443804e-05, + "loss": 3.143378257751465, + "step": 145200 + }, + { + "epoch": 0.3454, + "grad_norm": 0.1968095302581787, + "learning_rate": 6.258497720324787e-05, + "loss": 3.0197219848632812, + "step": 145210 + }, + { + "epoch": 0.34546666666666664, + "grad_norm": 0.23158316314220428, + "learning_rate": 6.257430865043793e-05, + "loss": 3.0598058700561523, + "step": 145220 + }, + { + "epoch": 0.34553333333333336, + "grad_norm": 0.21479417383670807, + "learning_rate": 6.25636394864691e-05, + "loss": 3.1613346099853517, + "step": 145230 + }, + { + "epoch": 0.3456, + "grad_norm": 0.2196379005908966, + "learning_rate": 6.255296971185994e-05, + "loss": 3.0127561569213865, + "step": 145240 + }, + { + "epoch": 0.3456666666666667, + "grad_norm": 0.21661540865898132, + "learning_rate": 6.254229932712905e-05, + "loss": 3.049694633483887, + "step": 145250 + }, + { + "epoch": 0.34573333333333334, + "grad_norm": 0.23352943360805511, + "learning_rate": 6.253162833279506e-05, + "loss": 3.0928693771362306, + "step": 145260 + }, + { + "epoch": 0.3458, + "grad_norm": 0.2193913608789444, + "learning_rate": 6.25209567293766e-05, + "loss": 3.0485567092895507, + "step": 145270 + }, + { + "epoch": 0.34586666666666666, + "grad_norm": 0.20274202525615692, + "learning_rate": 6.251028451739234e-05, + "loss": 3.120919036865234, + "step": 145280 + }, + { + "epoch": 0.3459333333333333, + "grad_norm": 0.19938334822654724, + "learning_rate": 6.249961169736103e-05, + "loss": 3.011946678161621, + "step": 145290 + }, + { + "epoch": 0.346, + "grad_norm": 0.2107277512550354, + "learning_rate": 6.248893826980137e-05, + "loss": 3.0424495697021485, + "step": 145300 + }, + { + "epoch": 0.3460666666666667, + "grad_norm": 0.20675648748874664, + "learning_rate": 6.247826423523216e-05, + "loss": 3.1551387786865233, + "step": 145310 + }, + { + "epoch": 0.34613333333333335, + "grad_norm": 0.24882863461971283, + "learning_rate": 6.246758959417219e-05, + "loss": 3.03810977935791, + "step": 145320 + }, + { + "epoch": 0.3462, + "grad_norm": 0.20768103003501892, + "learning_rate": 6.245691434714026e-05, + "loss": 3.0721439361572265, + "step": 145330 + }, + { + "epoch": 0.34626666666666667, + "grad_norm": 0.20885005593299866, + "learning_rate": 6.244623849465526e-05, + "loss": 3.0685327529907225, + "step": 145340 + }, + { + "epoch": 0.3463333333333333, + "grad_norm": 0.21770864725112915, + "learning_rate": 6.243556203723607e-05, + "loss": 3.0496292114257812, + "step": 145350 + }, + { + "epoch": 0.3464, + "grad_norm": 0.2936326265335083, + "learning_rate": 6.242488497540159e-05, + "loss": 3.0918880462646485, + "step": 145360 + }, + { + "epoch": 0.34646666666666665, + "grad_norm": 0.2580738067626953, + "learning_rate": 6.241420730967079e-05, + "loss": 3.0176841735839846, + "step": 145370 + }, + { + "epoch": 0.34653333333333336, + "grad_norm": 0.21747970581054688, + "learning_rate": 6.240352904056264e-05, + "loss": 3.046396255493164, + "step": 145380 + }, + { + "epoch": 0.3466, + "grad_norm": 0.23339882493019104, + "learning_rate": 6.239285016859612e-05, + "loss": 2.9893802642822265, + "step": 145390 + }, + { + "epoch": 0.3466666666666667, + "grad_norm": 0.21176014840602875, + "learning_rate": 6.238217069429029e-05, + "loss": 3.0766674041748048, + "step": 145400 + }, + { + "epoch": 0.34673333333333334, + "grad_norm": 0.20193378627300262, + "learning_rate": 6.23714906181642e-05, + "loss": 3.135784912109375, + "step": 145410 + }, + { + "epoch": 0.3468, + "grad_norm": 0.2408638596534729, + "learning_rate": 6.236080994073693e-05, + "loss": 3.039097213745117, + "step": 145420 + }, + { + "epoch": 0.34686666666666666, + "grad_norm": 0.23088976740837097, + "learning_rate": 6.235012866252764e-05, + "loss": 3.024058532714844, + "step": 145430 + }, + { + "epoch": 0.3469333333333333, + "grad_norm": 0.20768985152244568, + "learning_rate": 6.233944678405545e-05, + "loss": 3.0717519760131835, + "step": 145440 + }, + { + "epoch": 0.347, + "grad_norm": 0.20328694581985474, + "learning_rate": 6.232876430583954e-05, + "loss": 3.0005531311035156, + "step": 145450 + }, + { + "epoch": 0.3470666666666667, + "grad_norm": 0.37051844596862793, + "learning_rate": 6.231808122839915e-05, + "loss": 3.162669563293457, + "step": 145460 + }, + { + "epoch": 0.34713333333333335, + "grad_norm": 0.20068150758743286, + "learning_rate": 6.230739755225347e-05, + "loss": 3.0622913360595705, + "step": 145470 + }, + { + "epoch": 0.3472, + "grad_norm": 0.20426587760448456, + "learning_rate": 6.22967132779218e-05, + "loss": 3.0212568283081054, + "step": 145480 + }, + { + "epoch": 0.34726666666666667, + "grad_norm": 0.3265894949436188, + "learning_rate": 6.228602840592341e-05, + "loss": 3.2596408843994142, + "step": 145490 + }, + { + "epoch": 0.3473333333333333, + "grad_norm": 0.43589526414871216, + "learning_rate": 6.227534293677766e-05, + "loss": 3.043394660949707, + "step": 145500 + }, + { + "epoch": 0.3474, + "grad_norm": 0.21450646221637726, + "learning_rate": 6.226465687100386e-05, + "loss": 3.0901241302490234, + "step": 145510 + }, + { + "epoch": 0.34746666666666665, + "grad_norm": 0.21181577444076538, + "learning_rate": 6.225397020912145e-05, + "loss": 3.1660429000854493, + "step": 145520 + }, + { + "epoch": 0.34753333333333336, + "grad_norm": 0.25768664479255676, + "learning_rate": 6.224328295164979e-05, + "loss": 3.0075759887695312, + "step": 145530 + }, + { + "epoch": 0.3476, + "grad_norm": 0.20610682666301727, + "learning_rate": 6.223259509910835e-05, + "loss": 3.1446760177612303, + "step": 145540 + }, + { + "epoch": 0.3476666666666667, + "grad_norm": 0.40326470136642456, + "learning_rate": 6.222190665201659e-05, + "loss": 3.128560256958008, + "step": 145550 + }, + { + "epoch": 0.34773333333333334, + "grad_norm": 0.18730266392230988, + "learning_rate": 6.221121761089402e-05, + "loss": 3.0688665390014647, + "step": 145560 + }, + { + "epoch": 0.3478, + "grad_norm": 0.2078181505203247, + "learning_rate": 6.220052797626015e-05, + "loss": 3.0591461181640627, + "step": 145570 + }, + { + "epoch": 0.34786666666666666, + "grad_norm": 0.2245773822069168, + "learning_rate": 6.218983774863454e-05, + "loss": 3.14644718170166, + "step": 145580 + }, + { + "epoch": 0.3479333333333333, + "grad_norm": 0.3612389862537384, + "learning_rate": 6.217914692853679e-05, + "loss": 3.1216875076293946, + "step": 145590 + }, + { + "epoch": 0.348, + "grad_norm": 0.20528544485569, + "learning_rate": 6.21684555164865e-05, + "loss": 3.105733108520508, + "step": 145600 + }, + { + "epoch": 0.3480666666666667, + "grad_norm": 0.2624904215335846, + "learning_rate": 6.215776351300332e-05, + "loss": 3.1174150466918946, + "step": 145610 + }, + { + "epoch": 0.34813333333333335, + "grad_norm": 0.19106867909431458, + "learning_rate": 6.214707091860694e-05, + "loss": 3.0791229248046874, + "step": 145620 + }, + { + "epoch": 0.3482, + "grad_norm": 0.21698634326457977, + "learning_rate": 6.2136377733817e-05, + "loss": 3.0551891326904297, + "step": 145630 + }, + { + "epoch": 0.34826666666666667, + "grad_norm": 0.2522886097431183, + "learning_rate": 6.21256839591533e-05, + "loss": 3.1035091400146486, + "step": 145640 + }, + { + "epoch": 0.34833333333333333, + "grad_norm": 0.20479236543178558, + "learning_rate": 6.211498959513555e-05, + "loss": 3.1020830154418944, + "step": 145650 + }, + { + "epoch": 0.3484, + "grad_norm": 0.19965171813964844, + "learning_rate": 6.210429464228357e-05, + "loss": 3.02185173034668, + "step": 145660 + }, + { + "epoch": 0.34846666666666665, + "grad_norm": 0.22805172204971313, + "learning_rate": 6.209359910111715e-05, + "loss": 3.026559829711914, + "step": 145670 + }, + { + "epoch": 0.3485333333333333, + "grad_norm": 0.2053983211517334, + "learning_rate": 6.208290297215615e-05, + "loss": 3.0165180206298827, + "step": 145680 + }, + { + "epoch": 0.3486, + "grad_norm": 0.24573162198066711, + "learning_rate": 6.207220625592042e-05, + "loss": 3.084007453918457, + "step": 145690 + }, + { + "epoch": 0.3486666666666667, + "grad_norm": 0.2130766212940216, + "learning_rate": 6.206150895292988e-05, + "loss": 3.025757598876953, + "step": 145700 + }, + { + "epoch": 0.34873333333333334, + "grad_norm": 0.20552058517932892, + "learning_rate": 6.205081106370446e-05, + "loss": 3.083974075317383, + "step": 145710 + }, + { + "epoch": 0.3488, + "grad_norm": 0.20602571964263916, + "learning_rate": 6.204011258876411e-05, + "loss": 3.0693641662597657, + "step": 145720 + }, + { + "epoch": 0.34886666666666666, + "grad_norm": 0.2048279345035553, + "learning_rate": 6.202941352862882e-05, + "loss": 3.0234970092773437, + "step": 145730 + }, + { + "epoch": 0.3489333333333333, + "grad_norm": 0.20787493884563446, + "learning_rate": 6.20187138838186e-05, + "loss": 3.0855573654174804, + "step": 145740 + }, + { + "epoch": 0.349, + "grad_norm": 0.23717819154262543, + "learning_rate": 6.20080136548535e-05, + "loss": 3.0696550369262696, + "step": 145750 + }, + { + "epoch": 0.3490666666666667, + "grad_norm": 0.22454410791397095, + "learning_rate": 6.199731284225359e-05, + "loss": 3.1033098220825197, + "step": 145760 + }, + { + "epoch": 0.34913333333333335, + "grad_norm": 0.22534514963626862, + "learning_rate": 6.198661144653896e-05, + "loss": 3.243834686279297, + "step": 145770 + }, + { + "epoch": 0.3492, + "grad_norm": 0.20838381350040436, + "learning_rate": 6.197590946822976e-05, + "loss": 3.0473098754882812, + "step": 145780 + }, + { + "epoch": 0.34926666666666667, + "grad_norm": 0.20164959132671356, + "learning_rate": 6.196520690784613e-05, + "loss": 3.1573562622070312, + "step": 145790 + }, + { + "epoch": 0.34933333333333333, + "grad_norm": 0.1945868581533432, + "learning_rate": 6.195450376590826e-05, + "loss": 3.0755014419555664, + "step": 145800 + }, + { + "epoch": 0.3494, + "grad_norm": 0.2197469025850296, + "learning_rate": 6.194380004293635e-05, + "loss": 3.061570167541504, + "step": 145810 + }, + { + "epoch": 0.34946666666666665, + "grad_norm": 0.22697389125823975, + "learning_rate": 6.193309573945065e-05, + "loss": 3.073002815246582, + "step": 145820 + }, + { + "epoch": 0.3495333333333333, + "grad_norm": 0.2544826567173004, + "learning_rate": 6.192239085597144e-05, + "loss": 3.1050251007080076, + "step": 145830 + }, + { + "epoch": 0.3496, + "grad_norm": 0.21357353031635284, + "learning_rate": 6.191168539301902e-05, + "loss": 3.0561954498291017, + "step": 145840 + }, + { + "epoch": 0.3496666666666667, + "grad_norm": 0.20204298198223114, + "learning_rate": 6.190097935111369e-05, + "loss": 3.0517515182495116, + "step": 145850 + }, + { + "epoch": 0.34973333333333334, + "grad_norm": 0.2975344657897949, + "learning_rate": 6.189027273077583e-05, + "loss": 3.0537076950073243, + "step": 145860 + }, + { + "epoch": 0.3498, + "grad_norm": 0.24432970583438873, + "learning_rate": 6.18795655325258e-05, + "loss": 3.0769771575927733, + "step": 145870 + }, + { + "epoch": 0.34986666666666666, + "grad_norm": 0.2166474163532257, + "learning_rate": 6.186885775688403e-05, + "loss": 3.0537656784057616, + "step": 145880 + }, + { + "epoch": 0.3499333333333333, + "grad_norm": 0.41151174902915955, + "learning_rate": 6.185814940437094e-05, + "loss": 3.0606204986572267, + "step": 145890 + }, + { + "epoch": 0.35, + "grad_norm": 0.20154425501823425, + "learning_rate": 6.184744047550703e-05, + "loss": 3.051986503601074, + "step": 145900 + }, + { + "epoch": 0.3500666666666667, + "grad_norm": 0.2718218266963959, + "learning_rate": 6.183673097081275e-05, + "loss": 3.0313690185546873, + "step": 145910 + }, + { + "epoch": 0.35013333333333335, + "grad_norm": 0.22412483394145966, + "learning_rate": 6.182602089080866e-05, + "loss": 3.0579544067382813, + "step": 145920 + }, + { + "epoch": 0.3502, + "grad_norm": 0.20945699512958527, + "learning_rate": 6.181531023601528e-05, + "loss": 3.0234500885009767, + "step": 145930 + }, + { + "epoch": 0.35026666666666667, + "grad_norm": 0.2804655134677887, + "learning_rate": 6.18045990069532e-05, + "loss": 3.1086328506469725, + "step": 145940 + }, + { + "epoch": 0.35033333333333333, + "grad_norm": 0.21031762659549713, + "learning_rate": 6.179388720414303e-05, + "loss": 3.0708261489868165, + "step": 145950 + }, + { + "epoch": 0.3504, + "grad_norm": 0.23249779641628265, + "learning_rate": 6.178317482810542e-05, + "loss": 2.9847253799438476, + "step": 145960 + }, + { + "epoch": 0.35046666666666665, + "grad_norm": 0.318538099527359, + "learning_rate": 6.1772461879361e-05, + "loss": 3.051965522766113, + "step": 145970 + }, + { + "epoch": 0.3505333333333333, + "grad_norm": 0.22343537211418152, + "learning_rate": 6.176174835843048e-05, + "loss": 3.094122123718262, + "step": 145980 + }, + { + "epoch": 0.3506, + "grad_norm": 0.20301182568073273, + "learning_rate": 6.175103426583457e-05, + "loss": 3.0837175369262697, + "step": 145990 + }, + { + "epoch": 0.3506666666666667, + "grad_norm": 0.21651455760002136, + "learning_rate": 6.1740319602094e-05, + "loss": 2.9882349014282226, + "step": 146000 + }, + { + "epoch": 0.35073333333333334, + "grad_norm": 0.22560180723667145, + "learning_rate": 6.172960436772957e-05, + "loss": 2.994365692138672, + "step": 146010 + }, + { + "epoch": 0.3508, + "grad_norm": 0.25947508215904236, + "learning_rate": 6.171888856326211e-05, + "loss": 3.0501083374023437, + "step": 146020 + }, + { + "epoch": 0.35086666666666666, + "grad_norm": 0.2122042179107666, + "learning_rate": 6.170817218921236e-05, + "loss": 3.068577766418457, + "step": 146030 + }, + { + "epoch": 0.3509333333333333, + "grad_norm": 0.23252397775650024, + "learning_rate": 6.169745524610125e-05, + "loss": 3.1980648040771484, + "step": 146040 + }, + { + "epoch": 0.351, + "grad_norm": 0.223749041557312, + "learning_rate": 6.168673773444963e-05, + "loss": 3.000300407409668, + "step": 146050 + }, + { + "epoch": 0.3510666666666667, + "grad_norm": 0.20096570253372192, + "learning_rate": 6.167601965477841e-05, + "loss": 3.059388542175293, + "step": 146060 + }, + { + "epoch": 0.35113333333333335, + "grad_norm": 0.2284896969795227, + "learning_rate": 6.166530100760857e-05, + "loss": 3.0404287338256837, + "step": 146070 + }, + { + "epoch": 0.3512, + "grad_norm": 0.2102699726819992, + "learning_rate": 6.165458179346103e-05, + "loss": 3.091171455383301, + "step": 146080 + }, + { + "epoch": 0.35126666666666667, + "grad_norm": 0.22922159731388092, + "learning_rate": 6.16438620128568e-05, + "loss": 3.028310203552246, + "step": 146090 + }, + { + "epoch": 0.35133333333333333, + "grad_norm": 0.21369053423404694, + "learning_rate": 6.163314166631691e-05, + "loss": 3.008572006225586, + "step": 146100 + }, + { + "epoch": 0.3514, + "grad_norm": 0.19483685493469238, + "learning_rate": 6.16224207543624e-05, + "loss": 3.0509082794189455, + "step": 146110 + }, + { + "epoch": 0.35146666666666665, + "grad_norm": 0.21263174712657928, + "learning_rate": 6.161169927751434e-05, + "loss": 3.0414138793945313, + "step": 146120 + }, + { + "epoch": 0.3515333333333333, + "grad_norm": 0.20763593912124634, + "learning_rate": 6.160097723629386e-05, + "loss": 2.9988967895507814, + "step": 146130 + }, + { + "epoch": 0.3516, + "grad_norm": 0.21219904720783234, + "learning_rate": 6.159025463122207e-05, + "loss": 3.0405204772949217, + "step": 146140 + }, + { + "epoch": 0.3516666666666667, + "grad_norm": 0.19318406283855438, + "learning_rate": 6.157953146282012e-05, + "loss": 3.0523923873901366, + "step": 146150 + }, + { + "epoch": 0.35173333333333334, + "grad_norm": 0.2132415622472763, + "learning_rate": 6.156880773160924e-05, + "loss": 3.268269729614258, + "step": 146160 + }, + { + "epoch": 0.3518, + "grad_norm": 0.2070237696170807, + "learning_rate": 6.15580834381106e-05, + "loss": 3.0634176254272463, + "step": 146170 + }, + { + "epoch": 0.35186666666666666, + "grad_norm": 0.34811291098594666, + "learning_rate": 6.154735858284545e-05, + "loss": 3.085504722595215, + "step": 146180 + }, + { + "epoch": 0.3519333333333333, + "grad_norm": 0.20568911731243134, + "learning_rate": 6.153663316633508e-05, + "loss": 3.074115753173828, + "step": 146190 + }, + { + "epoch": 0.352, + "grad_norm": 0.20072771608829498, + "learning_rate": 6.152590718910076e-05, + "loss": 2.9877553939819337, + "step": 146200 + }, + { + "epoch": 0.3520666666666667, + "grad_norm": 0.21810638904571533, + "learning_rate": 6.151518065166382e-05, + "loss": 3.007970428466797, + "step": 146210 + }, + { + "epoch": 0.35213333333333335, + "grad_norm": 0.22370095551013947, + "learning_rate": 6.150445355454562e-05, + "loss": 3.0385936737060546, + "step": 146220 + }, + { + "epoch": 0.3522, + "grad_norm": 0.23047374188899994, + "learning_rate": 6.149372589826752e-05, + "loss": 3.0835546493530273, + "step": 146230 + }, + { + "epoch": 0.3522666666666667, + "grad_norm": 0.20593708753585815, + "learning_rate": 6.148299768335094e-05, + "loss": 3.0067068099975587, + "step": 146240 + }, + { + "epoch": 0.35233333333333333, + "grad_norm": 0.19416995346546173, + "learning_rate": 6.147226891031731e-05, + "loss": 3.0392370223999023, + "step": 146250 + }, + { + "epoch": 0.3524, + "grad_norm": 0.20200178027153015, + "learning_rate": 6.146153957968809e-05, + "loss": 3.0333446502685546, + "step": 146260 + }, + { + "epoch": 0.35246666666666665, + "grad_norm": 0.19921909272670746, + "learning_rate": 6.145080969198475e-05, + "loss": 3.0496023178100584, + "step": 146270 + }, + { + "epoch": 0.3525333333333333, + "grad_norm": 0.24218103289604187, + "learning_rate": 6.144007924772883e-05, + "loss": 2.9981733322143556, + "step": 146280 + }, + { + "epoch": 0.3526, + "grad_norm": 0.23431342840194702, + "learning_rate": 6.142934824744184e-05, + "loss": 3.059451103210449, + "step": 146290 + }, + { + "epoch": 0.3526666666666667, + "grad_norm": 0.2457919418811798, + "learning_rate": 6.141861669164537e-05, + "loss": 3.114111328125, + "step": 146300 + }, + { + "epoch": 0.35273333333333334, + "grad_norm": 0.2756574749946594, + "learning_rate": 6.140788458086101e-05, + "loss": 3.0736337661743165, + "step": 146310 + }, + { + "epoch": 0.3528, + "grad_norm": 0.21438592672348022, + "learning_rate": 6.139715191561038e-05, + "loss": 3.063591194152832, + "step": 146320 + }, + { + "epoch": 0.35286666666666666, + "grad_norm": 0.24220533668994904, + "learning_rate": 6.138641869641512e-05, + "loss": 3.0537851333618162, + "step": 146330 + }, + { + "epoch": 0.3529333333333333, + "grad_norm": 0.20888088643550873, + "learning_rate": 6.13756849237969e-05, + "loss": 3.0622400283813476, + "step": 146340 + }, + { + "epoch": 0.353, + "grad_norm": 0.2196826934814453, + "learning_rate": 6.136495059827747e-05, + "loss": 3.0394853591918944, + "step": 146350 + }, + { + "epoch": 0.35306666666666664, + "grad_norm": 0.20439793169498444, + "learning_rate": 6.13542157203785e-05, + "loss": 3.00854377746582, + "step": 146360 + }, + { + "epoch": 0.35313333333333335, + "grad_norm": 0.23027534782886505, + "learning_rate": 6.134348029062175e-05, + "loss": 3.020013618469238, + "step": 146370 + }, + { + "epoch": 0.3532, + "grad_norm": 0.20925234258174896, + "learning_rate": 6.133274430952904e-05, + "loss": 3.0258787155151365, + "step": 146380 + }, + { + "epoch": 0.3532666666666667, + "grad_norm": 0.19749069213867188, + "learning_rate": 6.132200777762215e-05, + "loss": 3.016649627685547, + "step": 146390 + }, + { + "epoch": 0.35333333333333333, + "grad_norm": 0.2404709905385971, + "learning_rate": 6.131127069542293e-05, + "loss": 3.0227678298950194, + "step": 146400 + }, + { + "epoch": 0.3534, + "grad_norm": 0.2261573225259781, + "learning_rate": 6.130053306345323e-05, + "loss": 3.0175348281860352, + "step": 146410 + }, + { + "epoch": 0.35346666666666665, + "grad_norm": 0.2263140231370926, + "learning_rate": 6.128979488223495e-05, + "loss": 3.0411922454833986, + "step": 146420 + }, + { + "epoch": 0.3535333333333333, + "grad_norm": 0.26048973202705383, + "learning_rate": 6.127905615229002e-05, + "loss": 2.9942033767700194, + "step": 146430 + }, + { + "epoch": 0.3536, + "grad_norm": 0.20903533697128296, + "learning_rate": 6.126831687414034e-05, + "loss": 3.029634475708008, + "step": 146440 + }, + { + "epoch": 0.3536666666666667, + "grad_norm": 0.2051391899585724, + "learning_rate": 6.125757704830791e-05, + "loss": 3.074419403076172, + "step": 146450 + }, + { + "epoch": 0.35373333333333334, + "grad_norm": 0.20271119475364685, + "learning_rate": 6.124683667531474e-05, + "loss": 3.017755317687988, + "step": 146460 + }, + { + "epoch": 0.3538, + "grad_norm": 0.6552635431289673, + "learning_rate": 6.123609575568281e-05, + "loss": 3.144153022766113, + "step": 146470 + }, + { + "epoch": 0.35386666666666666, + "grad_norm": 0.2377835214138031, + "learning_rate": 6.12253542899342e-05, + "loss": 3.0781890869140627, + "step": 146480 + }, + { + "epoch": 0.3539333333333333, + "grad_norm": 0.2626859247684479, + "learning_rate": 6.121461227859099e-05, + "loss": 3.0631532669067383, + "step": 146490 + }, + { + "epoch": 0.354, + "grad_norm": 0.22353582084178925, + "learning_rate": 6.120386972217526e-05, + "loss": 2.967671775817871, + "step": 146500 + }, + { + "epoch": 0.35406666666666664, + "grad_norm": 0.23260121047496796, + "learning_rate": 6.119312662120916e-05, + "loss": 3.0392082214355467, + "step": 146510 + }, + { + "epoch": 0.35413333333333336, + "grad_norm": 0.21251127123832703, + "learning_rate": 6.118238297621484e-05, + "loss": 3.0367841720581055, + "step": 146520 + }, + { + "epoch": 0.3542, + "grad_norm": 0.23988816142082214, + "learning_rate": 6.117163878771446e-05, + "loss": 3.189604949951172, + "step": 146530 + }, + { + "epoch": 0.3542666666666667, + "grad_norm": 0.2194833904504776, + "learning_rate": 6.116089405623026e-05, + "loss": 3.0476316452026366, + "step": 146540 + }, + { + "epoch": 0.35433333333333333, + "grad_norm": 0.20514783263206482, + "learning_rate": 6.115014878228445e-05, + "loss": 3.0562057495117188, + "step": 146550 + }, + { + "epoch": 0.3544, + "grad_norm": 0.21562506258487701, + "learning_rate": 6.11394029663993e-05, + "loss": 3.069367027282715, + "step": 146560 + }, + { + "epoch": 0.35446666666666665, + "grad_norm": 0.34438371658325195, + "learning_rate": 6.11286566090971e-05, + "loss": 3.1294363021850584, + "step": 146570 + }, + { + "epoch": 0.3545333333333333, + "grad_norm": 0.21033591032028198, + "learning_rate": 6.111790971090016e-05, + "loss": 2.9865732192993164, + "step": 146580 + }, + { + "epoch": 0.3546, + "grad_norm": 0.2135368287563324, + "learning_rate": 6.110716227233084e-05, + "loss": 3.0494470596313477, + "step": 146590 + }, + { + "epoch": 0.3546666666666667, + "grad_norm": 0.2330072522163391, + "learning_rate": 6.109641429391147e-05, + "loss": 3.1161861419677734, + "step": 146600 + }, + { + "epoch": 0.35473333333333334, + "grad_norm": 0.5130770802497864, + "learning_rate": 6.108566577616447e-05, + "loss": 3.0514572143554686, + "step": 146610 + }, + { + "epoch": 0.3548, + "grad_norm": 0.21807773411273956, + "learning_rate": 6.107491671961224e-05, + "loss": 2.9580764770507812, + "step": 146620 + }, + { + "epoch": 0.35486666666666666, + "grad_norm": 0.21951259672641754, + "learning_rate": 6.106416712477724e-05, + "loss": 3.0463518142700194, + "step": 146630 + }, + { + "epoch": 0.3549333333333333, + "grad_norm": 0.19859692454338074, + "learning_rate": 6.105341699218193e-05, + "loss": 3.019088363647461, + "step": 146640 + }, + { + "epoch": 0.355, + "grad_norm": 0.21285592019557953, + "learning_rate": 6.104266632234881e-05, + "loss": 3.055490493774414, + "step": 146650 + }, + { + "epoch": 0.35506666666666664, + "grad_norm": 0.2035180777311325, + "learning_rate": 6.10319151158004e-05, + "loss": 3.070675277709961, + "step": 146660 + }, + { + "epoch": 0.35513333333333336, + "grad_norm": 0.21592287719249725, + "learning_rate": 6.102116337305925e-05, + "loss": 3.083593559265137, + "step": 146670 + }, + { + "epoch": 0.3552, + "grad_norm": 0.21732261776924133, + "learning_rate": 6.1010411094647954e-05, + "loss": 2.995553398132324, + "step": 146680 + }, + { + "epoch": 0.3552666666666667, + "grad_norm": 0.23001989722251892, + "learning_rate": 6.0999658281089086e-05, + "loss": 3.014800262451172, + "step": 146690 + }, + { + "epoch": 0.35533333333333333, + "grad_norm": 0.21097198128700256, + "learning_rate": 6.098890493290529e-05, + "loss": 3.0482580184936525, + "step": 146700 + }, + { + "epoch": 0.3554, + "grad_norm": 0.4198441803455353, + "learning_rate": 6.0978151050619215e-05, + "loss": 2.802774429321289, + "step": 146710 + }, + { + "epoch": 0.35546666666666665, + "grad_norm": 0.20360077917575836, + "learning_rate": 6.0967396634753545e-05, + "loss": 2.8281318664550783, + "step": 146720 + }, + { + "epoch": 0.3555333333333333, + "grad_norm": 0.21561023592948914, + "learning_rate": 6.0956641685830974e-05, + "loss": 3.027931785583496, + "step": 146730 + }, + { + "epoch": 0.3556, + "grad_norm": 0.2065499871969223, + "learning_rate": 6.0945886204374234e-05, + "loss": 3.0685136795043944, + "step": 146740 + }, + { + "epoch": 0.3556666666666667, + "grad_norm": 0.19705398380756378, + "learning_rate": 6.093513019090611e-05, + "loss": 3.0529815673828127, + "step": 146750 + }, + { + "epoch": 0.35573333333333335, + "grad_norm": 0.3041519820690155, + "learning_rate": 6.0924373645949354e-05, + "loss": 3.123940849304199, + "step": 146760 + }, + { + "epoch": 0.3558, + "grad_norm": 0.20625129342079163, + "learning_rate": 6.0913616570026776e-05, + "loss": 3.0273597717285154, + "step": 146770 + }, + { + "epoch": 0.35586666666666666, + "grad_norm": 0.19363628327846527, + "learning_rate": 6.090285896366121e-05, + "loss": 3.017694091796875, + "step": 146780 + }, + { + "epoch": 0.3559333333333333, + "grad_norm": 0.20420709252357483, + "learning_rate": 6.0892100827375534e-05, + "loss": 3.038407325744629, + "step": 146790 + }, + { + "epoch": 0.356, + "grad_norm": 0.24940314888954163, + "learning_rate": 6.0881342161692624e-05, + "loss": 3.0921133041381834, + "step": 146800 + }, + { + "epoch": 0.35606666666666664, + "grad_norm": 0.2621418535709381, + "learning_rate": 6.087058296713539e-05, + "loss": 3.0497648239135744, + "step": 146810 + }, + { + "epoch": 0.35613333333333336, + "grad_norm": 0.21117796003818512, + "learning_rate": 6.085982324422678e-05, + "loss": 3.046395492553711, + "step": 146820 + }, + { + "epoch": 0.3562, + "grad_norm": 0.21764212846755981, + "learning_rate": 6.0849062993489744e-05, + "loss": 3.0203752517700195, + "step": 146830 + }, + { + "epoch": 0.3562666666666667, + "grad_norm": 0.2191578894853592, + "learning_rate": 6.083830221544727e-05, + "loss": 3.0419488906860352, + "step": 146840 + }, + { + "epoch": 0.35633333333333334, + "grad_norm": 0.20346254110336304, + "learning_rate": 6.082754091062238e-05, + "loss": 3.052067184448242, + "step": 146850 + }, + { + "epoch": 0.3564, + "grad_norm": 0.2041531503200531, + "learning_rate": 6.081677907953811e-05, + "loss": 2.939175033569336, + "step": 146860 + }, + { + "epoch": 0.35646666666666665, + "grad_norm": 0.20596256852149963, + "learning_rate": 6.080601672271753e-05, + "loss": 3.0704875946044923, + "step": 146870 + }, + { + "epoch": 0.3565333333333333, + "grad_norm": 0.20456422865390778, + "learning_rate": 6.079525384068372e-05, + "loss": 2.988974761962891, + "step": 146880 + }, + { + "epoch": 0.3566, + "grad_norm": 0.22354933619499207, + "learning_rate": 6.078449043395982e-05, + "loss": 3.0389360427856444, + "step": 146890 + }, + { + "epoch": 0.3566666666666667, + "grad_norm": 0.1986459195613861, + "learning_rate": 6.077372650306894e-05, + "loss": 3.097547721862793, + "step": 146900 + }, + { + "epoch": 0.35673333333333335, + "grad_norm": 0.21982961893081665, + "learning_rate": 6.076296204853429e-05, + "loss": 3.1652219772338865, + "step": 146910 + }, + { + "epoch": 0.3568, + "grad_norm": 0.6785557866096497, + "learning_rate": 6.075219707087902e-05, + "loss": 3.0594881057739256, + "step": 146920 + }, + { + "epoch": 0.35686666666666667, + "grad_norm": 0.27008500695228577, + "learning_rate": 6.074143157062637e-05, + "loss": 3.083014488220215, + "step": 146930 + }, + { + "epoch": 0.3569333333333333, + "grad_norm": 0.2120303511619568, + "learning_rate": 6.073066554829958e-05, + "loss": 3.0369935989379884, + "step": 146940 + }, + { + "epoch": 0.357, + "grad_norm": 0.21019603312015533, + "learning_rate": 6.0719899004421924e-05, + "loss": 3.0054210662841796, + "step": 146950 + }, + { + "epoch": 0.35706666666666664, + "grad_norm": 0.3224093019962311, + "learning_rate": 6.070913193951668e-05, + "loss": 3.088928985595703, + "step": 146960 + }, + { + "epoch": 0.35713333333333336, + "grad_norm": 0.20247620344161987, + "learning_rate": 6.0698364354107195e-05, + "loss": 3.06226806640625, + "step": 146970 + }, + { + "epoch": 0.3572, + "grad_norm": 0.19968442618846893, + "learning_rate": 6.0687596248716806e-05, + "loss": 3.0448587417602537, + "step": 146980 + }, + { + "epoch": 0.3572666666666667, + "grad_norm": 0.2125001698732376, + "learning_rate": 6.067682762386886e-05, + "loss": 3.028939437866211, + "step": 146990 + }, + { + "epoch": 0.35733333333333334, + "grad_norm": 0.20290814340114594, + "learning_rate": 6.0666058480086786e-05, + "loss": 2.9927898406982423, + "step": 147000 + }, + { + "epoch": 0.3574, + "grad_norm": 0.20855756103992462, + "learning_rate": 6.065528881789397e-05, + "loss": 3.050901412963867, + "step": 147010 + }, + { + "epoch": 0.35746666666666665, + "grad_norm": 0.23380866646766663, + "learning_rate": 6.06445186378139e-05, + "loss": 3.3480579376220705, + "step": 147020 + }, + { + "epoch": 0.3575333333333333, + "grad_norm": 0.20225323736667633, + "learning_rate": 6.063374794037001e-05, + "loss": 3.066212272644043, + "step": 147030 + }, + { + "epoch": 0.3576, + "grad_norm": 0.20749762654304504, + "learning_rate": 6.0622976726085824e-05, + "loss": 3.0891632080078124, + "step": 147040 + }, + { + "epoch": 0.3576666666666667, + "grad_norm": 0.23289638757705688, + "learning_rate": 6.061220499548484e-05, + "loss": 3.0236181259155273, + "step": 147050 + }, + { + "epoch": 0.35773333333333335, + "grad_norm": 0.2247457653284073, + "learning_rate": 6.060143274909062e-05, + "loss": 3.008365249633789, + "step": 147060 + }, + { + "epoch": 0.3578, + "grad_norm": 0.27683839201927185, + "learning_rate": 6.0590659987426744e-05, + "loss": 3.084278678894043, + "step": 147070 + }, + { + "epoch": 0.35786666666666667, + "grad_norm": 0.2038893848657608, + "learning_rate": 6.0579886711016784e-05, + "loss": 3.0759340286254884, + "step": 147080 + }, + { + "epoch": 0.3579333333333333, + "grad_norm": 0.2425788938999176, + "learning_rate": 6.056911292038438e-05, + "loss": 3.068401908874512, + "step": 147090 + }, + { + "epoch": 0.358, + "grad_norm": 0.20968881249427795, + "learning_rate": 6.055833861605318e-05, + "loss": 3.025800323486328, + "step": 147100 + }, + { + "epoch": 0.35806666666666664, + "grad_norm": 0.2074478566646576, + "learning_rate": 6.054756379854684e-05, + "loss": 3.0688493728637694, + "step": 147110 + }, + { + "epoch": 0.35813333333333336, + "grad_norm": 0.21850602328777313, + "learning_rate": 6.0536788468389074e-05, + "loss": 3.0403255462646483, + "step": 147120 + }, + { + "epoch": 0.3582, + "grad_norm": 0.24608634412288666, + "learning_rate": 6.052601262610359e-05, + "loss": 3.1702350616455077, + "step": 147130 + }, + { + "epoch": 0.3582666666666667, + "grad_norm": 0.22337715327739716, + "learning_rate": 6.051523627221414e-05, + "loss": 3.0510934829711913, + "step": 147140 + }, + { + "epoch": 0.35833333333333334, + "grad_norm": 0.21571455895900726, + "learning_rate": 6.050445940724451e-05, + "loss": 3.0902450561523436, + "step": 147150 + }, + { + "epoch": 0.3584, + "grad_norm": 0.21531888842582703, + "learning_rate": 6.049368203171847e-05, + "loss": 3.209867477416992, + "step": 147160 + }, + { + "epoch": 0.35846666666666666, + "grad_norm": 0.22265410423278809, + "learning_rate": 6.048290414615986e-05, + "loss": 3.014289665222168, + "step": 147170 + }, + { + "epoch": 0.3585333333333333, + "grad_norm": 0.20152322947978973, + "learning_rate": 6.0472125751092515e-05, + "loss": 3.0871068954467775, + "step": 147180 + }, + { + "epoch": 0.3586, + "grad_norm": 0.20514127612113953, + "learning_rate": 6.046134684704031e-05, + "loss": 3.0418067932128907, + "step": 147190 + }, + { + "epoch": 0.3586666666666667, + "grad_norm": 0.21317806839942932, + "learning_rate": 6.045056743452714e-05, + "loss": 3.0678247451782226, + "step": 147200 + }, + { + "epoch": 0.35873333333333335, + "grad_norm": 0.2053796947002411, + "learning_rate": 6.043978751407693e-05, + "loss": 3.000249481201172, + "step": 147210 + }, + { + "epoch": 0.3588, + "grad_norm": 0.21657226979732513, + "learning_rate": 6.0429007086213615e-05, + "loss": 3.0108118057250977, + "step": 147220 + }, + { + "epoch": 0.35886666666666667, + "grad_norm": 0.26780152320861816, + "learning_rate": 6.04182261514612e-05, + "loss": 3.0358806610107423, + "step": 147230 + }, + { + "epoch": 0.3589333333333333, + "grad_norm": 0.24653847515583038, + "learning_rate": 6.0407444710343616e-05, + "loss": 3.080570411682129, + "step": 147240 + }, + { + "epoch": 0.359, + "grad_norm": 0.2176237851381302, + "learning_rate": 6.0396662763384934e-05, + "loss": 3.042424964904785, + "step": 147250 + }, + { + "epoch": 0.35906666666666665, + "grad_norm": 0.22874514758586884, + "learning_rate": 6.038588031110916e-05, + "loss": 3.1000165939331055, + "step": 147260 + }, + { + "epoch": 0.35913333333333336, + "grad_norm": 0.2490989714860916, + "learning_rate": 6.03750973540404e-05, + "loss": 3.066173553466797, + "step": 147270 + }, + { + "epoch": 0.3592, + "grad_norm": 0.3597398102283478, + "learning_rate": 6.036431389270272e-05, + "loss": 3.0770681381225584, + "step": 147280 + }, + { + "epoch": 0.3592666666666667, + "grad_norm": 0.22112299501895905, + "learning_rate": 6.035352992762025e-05, + "loss": 3.034270095825195, + "step": 147290 + }, + { + "epoch": 0.35933333333333334, + "grad_norm": 0.20775876939296722, + "learning_rate": 6.0342745459317104e-05, + "loss": 3.0382965087890623, + "step": 147300 + }, + { + "epoch": 0.3594, + "grad_norm": 0.22446362674236298, + "learning_rate": 6.03319604883175e-05, + "loss": 3.0374914169311524, + "step": 147310 + }, + { + "epoch": 0.35946666666666666, + "grad_norm": 0.22251033782958984, + "learning_rate": 6.032117501514558e-05, + "loss": 3.036248779296875, + "step": 147320 + }, + { + "epoch": 0.3595333333333333, + "grad_norm": 0.20362447202205658, + "learning_rate": 6.0310389040325586e-05, + "loss": 3.053523826599121, + "step": 147330 + }, + { + "epoch": 0.3596, + "grad_norm": 0.21156606078147888, + "learning_rate": 6.029960256438174e-05, + "loss": 3.0285572052001952, + "step": 147340 + }, + { + "epoch": 0.3596666666666667, + "grad_norm": 0.21383832395076752, + "learning_rate": 6.028881558783831e-05, + "loss": 3.0337347030639648, + "step": 147350 + }, + { + "epoch": 0.35973333333333335, + "grad_norm": 0.21645520627498627, + "learning_rate": 6.0278028111219584e-05, + "loss": 3.0500659942626953, + "step": 147360 + }, + { + "epoch": 0.3598, + "grad_norm": 0.21217328310012817, + "learning_rate": 6.02672401350499e-05, + "loss": 3.087873840332031, + "step": 147370 + }, + { + "epoch": 0.35986666666666667, + "grad_norm": 0.2107846885919571, + "learning_rate": 6.025645165985354e-05, + "loss": 2.9909109115600585, + "step": 147380 + }, + { + "epoch": 0.3599333333333333, + "grad_norm": 0.24395355582237244, + "learning_rate": 6.024566268615492e-05, + "loss": 2.98240966796875, + "step": 147390 + }, + { + "epoch": 0.36, + "grad_norm": 0.21743124723434448, + "learning_rate": 6.023487321447839e-05, + "loss": 3.11021728515625, + "step": 147400 + }, + { + "epoch": 0.36006666666666665, + "grad_norm": 0.23704563081264496, + "learning_rate": 6.022408324534837e-05, + "loss": 3.0793628692626953, + "step": 147410 + }, + { + "epoch": 0.36013333333333336, + "grad_norm": 0.21206034719944, + "learning_rate": 6.02132927792893e-05, + "loss": 3.076348876953125, + "step": 147420 + }, + { + "epoch": 0.3602, + "grad_norm": 0.22187967598438263, + "learning_rate": 6.020250181682562e-05, + "loss": 3.047744941711426, + "step": 147430 + }, + { + "epoch": 0.3602666666666667, + "grad_norm": 0.21413789689540863, + "learning_rate": 6.0191710358481835e-05, + "loss": 3.0682676315307615, + "step": 147440 + }, + { + "epoch": 0.36033333333333334, + "grad_norm": 0.1912863552570343, + "learning_rate": 6.018091840478243e-05, + "loss": 2.9614501953125, + "step": 147450 + }, + { + "epoch": 0.3604, + "grad_norm": 0.21921853721141815, + "learning_rate": 6.0170125956251934e-05, + "loss": 3.0119098663330077, + "step": 147460 + }, + { + "epoch": 0.36046666666666666, + "grad_norm": 0.21239855885505676, + "learning_rate": 6.015933301341492e-05, + "loss": 3.0444177627563476, + "step": 147470 + }, + { + "epoch": 0.3605333333333333, + "grad_norm": 0.20675082504749298, + "learning_rate": 6.014853957679597e-05, + "loss": 3.033530616760254, + "step": 147480 + }, + { + "epoch": 0.3606, + "grad_norm": 0.20150429010391235, + "learning_rate": 6.013774564691965e-05, + "loss": 3.0369890213012694, + "step": 147490 + }, + { + "epoch": 0.3606666666666667, + "grad_norm": 0.20525583624839783, + "learning_rate": 6.012695122431061e-05, + "loss": 3.0970272064208983, + "step": 147500 + }, + { + "epoch": 0.36073333333333335, + "grad_norm": 0.23435722291469574, + "learning_rate": 6.01161563094935e-05, + "loss": 3.0391656875610353, + "step": 147510 + }, + { + "epoch": 0.3608, + "grad_norm": 0.3711802065372467, + "learning_rate": 6.010536090299299e-05, + "loss": 3.1259593963623047, + "step": 147520 + }, + { + "epoch": 0.36086666666666667, + "grad_norm": 0.22185340523719788, + "learning_rate": 6.009456500533377e-05, + "loss": 3.0567115783691405, + "step": 147530 + }, + { + "epoch": 0.36093333333333333, + "grad_norm": 0.22935952246189117, + "learning_rate": 6.008376861704057e-05, + "loss": 3.0535816192626952, + "step": 147540 + }, + { + "epoch": 0.361, + "grad_norm": 0.20697903633117676, + "learning_rate": 6.007297173863814e-05, + "loss": 3.052383613586426, + "step": 147550 + }, + { + "epoch": 0.36106666666666665, + "grad_norm": 0.2321557104587555, + "learning_rate": 6.006217437065126e-05, + "loss": 3.0046016693115236, + "step": 147560 + }, + { + "epoch": 0.3611333333333333, + "grad_norm": 0.23449872434139252, + "learning_rate": 6.005137651360468e-05, + "loss": 2.9801111221313477, + "step": 147570 + }, + { + "epoch": 0.3612, + "grad_norm": 0.21560801565647125, + "learning_rate": 6.004057816802325e-05, + "loss": 3.036289596557617, + "step": 147580 + }, + { + "epoch": 0.3612666666666667, + "grad_norm": 0.4250737130641937, + "learning_rate": 6.0029779334431804e-05, + "loss": 3.0269683837890624, + "step": 147590 + }, + { + "epoch": 0.36133333333333334, + "grad_norm": 0.2813136577606201, + "learning_rate": 6.00189800133552e-05, + "loss": 3.105910873413086, + "step": 147600 + }, + { + "epoch": 0.3614, + "grad_norm": 0.22196269035339355, + "learning_rate": 6.000818020531833e-05, + "loss": 3.012718391418457, + "step": 147610 + }, + { + "epoch": 0.36146666666666666, + "grad_norm": 0.23489317297935486, + "learning_rate": 5.999737991084612e-05, + "loss": 3.098996162414551, + "step": 147620 + }, + { + "epoch": 0.3615333333333333, + "grad_norm": 0.28486400842666626, + "learning_rate": 5.9986579130463486e-05, + "loss": 3.0297964096069334, + "step": 147630 + }, + { + "epoch": 0.3616, + "grad_norm": 0.2086504101753235, + "learning_rate": 5.997577786469539e-05, + "loss": 3.167852783203125, + "step": 147640 + }, + { + "epoch": 0.3616666666666667, + "grad_norm": 0.2140302062034607, + "learning_rate": 5.996497611406682e-05, + "loss": 3.053493690490723, + "step": 147650 + }, + { + "epoch": 0.36173333333333335, + "grad_norm": 0.22731885313987732, + "learning_rate": 5.995417387910277e-05, + "loss": 3.0417034149169924, + "step": 147660 + }, + { + "epoch": 0.3618, + "grad_norm": 0.20007763803005219, + "learning_rate": 5.994337116032829e-05, + "loss": 3.0178764343261717, + "step": 147670 + }, + { + "epoch": 0.36186666666666667, + "grad_norm": 0.2353745400905609, + "learning_rate": 5.99325679582684e-05, + "loss": 3.0403966903686523, + "step": 147680 + }, + { + "epoch": 0.36193333333333333, + "grad_norm": 0.21362653374671936, + "learning_rate": 5.992176427344821e-05, + "loss": 3.0889089584350584, + "step": 147690 + }, + { + "epoch": 0.362, + "grad_norm": 0.2199268341064453, + "learning_rate": 5.9910960106392813e-05, + "loss": 3.0158102035522463, + "step": 147700 + }, + { + "epoch": 0.36206666666666665, + "grad_norm": 0.2003437876701355, + "learning_rate": 5.9900155457627313e-05, + "loss": 3.067193603515625, + "step": 147710 + }, + { + "epoch": 0.3621333333333333, + "grad_norm": 0.21973755955696106, + "learning_rate": 5.988935032767688e-05, + "loss": 3.014522171020508, + "step": 147720 + }, + { + "epoch": 0.3622, + "grad_norm": 0.19737301766872406, + "learning_rate": 5.9878544717066665e-05, + "loss": 3.0430288314819336, + "step": 147730 + }, + { + "epoch": 0.3622666666666667, + "grad_norm": 0.2195676863193512, + "learning_rate": 5.986773862632188e-05, + "loss": 2.9963623046875, + "step": 147740 + }, + { + "epoch": 0.36233333333333334, + "grad_norm": 0.21269288659095764, + "learning_rate": 5.985693205596773e-05, + "loss": 3.0837871551513674, + "step": 147750 + }, + { + "epoch": 0.3624, + "grad_norm": 0.21306376159191132, + "learning_rate": 5.984612500652945e-05, + "loss": 3.0473657608032227, + "step": 147760 + }, + { + "epoch": 0.36246666666666666, + "grad_norm": 0.20870031416416168, + "learning_rate": 5.983531747853231e-05, + "loss": 3.0270305633544923, + "step": 147770 + }, + { + "epoch": 0.3625333333333333, + "grad_norm": 0.3461677134037018, + "learning_rate": 5.982450947250161e-05, + "loss": 3.017169189453125, + "step": 147780 + }, + { + "epoch": 0.3626, + "grad_norm": 0.22816288471221924, + "learning_rate": 5.981370098896264e-05, + "loss": 3.044194984436035, + "step": 147790 + }, + { + "epoch": 0.3626666666666667, + "grad_norm": 0.24362348020076752, + "learning_rate": 5.980289202844076e-05, + "loss": 2.921190643310547, + "step": 147800 + }, + { + "epoch": 0.36273333333333335, + "grad_norm": 0.9556068181991577, + "learning_rate": 5.9792082591461285e-05, + "loss": 3.0023996353149416, + "step": 147810 + }, + { + "epoch": 0.3628, + "grad_norm": 0.2330692708492279, + "learning_rate": 5.9781272678549623e-05, + "loss": 3.0650632858276365, + "step": 147820 + }, + { + "epoch": 0.36286666666666667, + "grad_norm": 0.2187574803829193, + "learning_rate": 5.9770462290231166e-05, + "loss": 3.165844535827637, + "step": 147830 + }, + { + "epoch": 0.36293333333333333, + "grad_norm": 0.20325803756713867, + "learning_rate": 5.975965142703135e-05, + "loss": 3.075797271728516, + "step": 147840 + }, + { + "epoch": 0.363, + "grad_norm": 0.2230132520198822, + "learning_rate": 5.974884008947561e-05, + "loss": 3.086116409301758, + "step": 147850 + }, + { + "epoch": 0.36306666666666665, + "grad_norm": 0.23532713949680328, + "learning_rate": 5.9738028278089434e-05, + "loss": 3.0833974838256837, + "step": 147860 + }, + { + "epoch": 0.3631333333333333, + "grad_norm": 0.3977736532688141, + "learning_rate": 5.97272159933983e-05, + "loss": 3.044137191772461, + "step": 147870 + }, + { + "epoch": 0.3632, + "grad_norm": 0.22163310647010803, + "learning_rate": 5.971640323592775e-05, + "loss": 3.0790374755859373, + "step": 147880 + }, + { + "epoch": 0.3632666666666667, + "grad_norm": 0.3001177906990051, + "learning_rate": 5.9705590006203296e-05, + "loss": 3.024612045288086, + "step": 147890 + }, + { + "epoch": 0.36333333333333334, + "grad_norm": 0.252520889043808, + "learning_rate": 5.969477630475051e-05, + "loss": 3.1953447341918944, + "step": 147900 + }, + { + "epoch": 0.3634, + "grad_norm": 0.20024515688419342, + "learning_rate": 5.9683962132094994e-05, + "loss": 3.061273765563965, + "step": 147910 + }, + { + "epoch": 0.36346666666666666, + "grad_norm": 0.23649144172668457, + "learning_rate": 5.9673147488762336e-05, + "loss": 3.0465938568115236, + "step": 147920 + }, + { + "epoch": 0.3635333333333333, + "grad_norm": 0.21040071547031403, + "learning_rate": 5.96623323752782e-05, + "loss": 3.0978418350219727, + "step": 147930 + }, + { + "epoch": 0.3636, + "grad_norm": 0.22715766727924347, + "learning_rate": 5.965151679216819e-05, + "loss": 3.0432226181030275, + "step": 147940 + }, + { + "epoch": 0.3636666666666667, + "grad_norm": 0.22129330039024353, + "learning_rate": 5.964070073995804e-05, + "loss": 2.975424385070801, + "step": 147950 + }, + { + "epoch": 0.36373333333333335, + "grad_norm": 0.21552199125289917, + "learning_rate": 5.962988421917343e-05, + "loss": 3.0629766464233397, + "step": 147960 + }, + { + "epoch": 0.3638, + "grad_norm": 0.2185899317264557, + "learning_rate": 5.961906723034006e-05, + "loss": 3.052250099182129, + "step": 147970 + }, + { + "epoch": 0.36386666666666667, + "grad_norm": 0.2589299976825714, + "learning_rate": 5.9608249773983705e-05, + "loss": 3.00665168762207, + "step": 147980 + }, + { + "epoch": 0.36393333333333333, + "grad_norm": 0.20999866724014282, + "learning_rate": 5.9597431850630125e-05, + "loss": 3.0650285720825194, + "step": 147990 + }, + { + "epoch": 0.364, + "grad_norm": 0.21707651019096375, + "learning_rate": 5.958661346080512e-05, + "loss": 3.0213748931884767, + "step": 148000 + }, + { + "epoch": 0.36406666666666665, + "grad_norm": 0.22311173379421234, + "learning_rate": 5.9575794605034486e-05, + "loss": 3.0328229904174804, + "step": 148010 + }, + { + "epoch": 0.3641333333333333, + "grad_norm": 0.19711469113826752, + "learning_rate": 5.956497528384407e-05, + "loss": 3.0817222595214844, + "step": 148020 + }, + { + "epoch": 0.3642, + "grad_norm": 0.2042665183544159, + "learning_rate": 5.955415549775974e-05, + "loss": 3.007679557800293, + "step": 148030 + }, + { + "epoch": 0.3642666666666667, + "grad_norm": 0.21380282938480377, + "learning_rate": 5.954333524730739e-05, + "loss": 3.033221435546875, + "step": 148040 + }, + { + "epoch": 0.36433333333333334, + "grad_norm": 0.22022099792957306, + "learning_rate": 5.9532514533012875e-05, + "loss": 3.029957962036133, + "step": 148050 + }, + { + "epoch": 0.3644, + "grad_norm": 0.2534361779689789, + "learning_rate": 5.952169335540216e-05, + "loss": 3.1073539733886717, + "step": 148060 + }, + { + "epoch": 0.36446666666666666, + "grad_norm": 0.21759629249572754, + "learning_rate": 5.9510871715001206e-05, + "loss": 3.0361553192138673, + "step": 148070 + }, + { + "epoch": 0.3645333333333333, + "grad_norm": 0.20632843673229218, + "learning_rate": 5.950004961233595e-05, + "loss": 3.0227567672729494, + "step": 148080 + }, + { + "epoch": 0.3646, + "grad_norm": 0.2893393933773041, + "learning_rate": 5.9489227047932416e-05, + "loss": 3.106182670593262, + "step": 148090 + }, + { + "epoch": 0.36466666666666664, + "grad_norm": 0.21856829524040222, + "learning_rate": 5.9478404022316615e-05, + "loss": 3.033547592163086, + "step": 148100 + }, + { + "epoch": 0.36473333333333335, + "grad_norm": 0.22888319194316864, + "learning_rate": 5.946758053601458e-05, + "loss": 2.892223358154297, + "step": 148110 + }, + { + "epoch": 0.3648, + "grad_norm": 0.23237158358097076, + "learning_rate": 5.9456756589552376e-05, + "loss": 3.0043087005615234, + "step": 148120 + }, + { + "epoch": 0.3648666666666667, + "grad_norm": 0.3328093886375427, + "learning_rate": 5.944593218345609e-05, + "loss": 3.1624250411987305, + "step": 148130 + }, + { + "epoch": 0.36493333333333333, + "grad_norm": 0.20941944420337677, + "learning_rate": 5.943510731825183e-05, + "loss": 3.0675632476806642, + "step": 148140 + }, + { + "epoch": 0.365, + "grad_norm": 0.21729691326618195, + "learning_rate": 5.9424281994465714e-05, + "loss": 3.043931770324707, + "step": 148150 + }, + { + "epoch": 0.36506666666666665, + "grad_norm": 0.2893616557121277, + "learning_rate": 5.941345621262391e-05, + "loss": 3.0315118789672852, + "step": 148160 + }, + { + "epoch": 0.3651333333333333, + "grad_norm": 0.23890651762485504, + "learning_rate": 5.940262997325258e-05, + "loss": 3.0272794723510743, + "step": 148170 + }, + { + "epoch": 0.3652, + "grad_norm": 0.22568295896053314, + "learning_rate": 5.9391803276877924e-05, + "loss": 3.0329986572265626, + "step": 148180 + }, + { + "epoch": 0.3652666666666667, + "grad_norm": 0.20997315645217896, + "learning_rate": 5.9380976124026156e-05, + "loss": 3.045069122314453, + "step": 148190 + }, + { + "epoch": 0.36533333333333334, + "grad_norm": 0.23450340330600739, + "learning_rate": 5.937014851522353e-05, + "loss": 3.0133108139038085, + "step": 148200 + }, + { + "epoch": 0.3654, + "grad_norm": 0.2160722017288208, + "learning_rate": 5.9359320450996303e-05, + "loss": 3.0374073028564452, + "step": 148210 + }, + { + "epoch": 0.36546666666666666, + "grad_norm": 0.21258865296840668, + "learning_rate": 5.9348491931870756e-05, + "loss": 3.0413965225219726, + "step": 148220 + }, + { + "epoch": 0.3655333333333333, + "grad_norm": 0.20468290150165558, + "learning_rate": 5.9337662958373194e-05, + "loss": 3.096142578125, + "step": 148230 + }, + { + "epoch": 0.3656, + "grad_norm": 0.22586670517921448, + "learning_rate": 5.9326833531029945e-05, + "loss": 3.0109987258911133, + "step": 148240 + }, + { + "epoch": 0.36566666666666664, + "grad_norm": 0.20486146211624146, + "learning_rate": 5.931600365036737e-05, + "loss": 3.0174970626831055, + "step": 148250 + }, + { + "epoch": 0.36573333333333335, + "grad_norm": 0.21383945643901825, + "learning_rate": 5.930517331691183e-05, + "loss": 2.9980747222900392, + "step": 148260 + }, + { + "epoch": 0.3658, + "grad_norm": 0.19956208765506744, + "learning_rate": 5.929434253118973e-05, + "loss": 3.035451889038086, + "step": 148270 + }, + { + "epoch": 0.3658666666666667, + "grad_norm": 0.4813164472579956, + "learning_rate": 5.928351129372749e-05, + "loss": 3.1110368728637696, + "step": 148280 + }, + { + "epoch": 0.36593333333333333, + "grad_norm": 0.20751109719276428, + "learning_rate": 5.9272679605051526e-05, + "loss": 2.9754533767700195, + "step": 148290 + }, + { + "epoch": 0.366, + "grad_norm": 0.21517795324325562, + "learning_rate": 5.9261847465688324e-05, + "loss": 3.0170406341552733, + "step": 148300 + }, + { + "epoch": 0.36606666666666665, + "grad_norm": 0.21180234849452972, + "learning_rate": 5.925101487616436e-05, + "loss": 3.099349784851074, + "step": 148310 + }, + { + "epoch": 0.3661333333333333, + "grad_norm": 0.2017754167318344, + "learning_rate": 5.924018183700613e-05, + "loss": 3.022739601135254, + "step": 148320 + }, + { + "epoch": 0.3662, + "grad_norm": 0.22006280720233917, + "learning_rate": 5.9229348348740165e-05, + "loss": 3.0756149291992188, + "step": 148330 + }, + { + "epoch": 0.3662666666666667, + "grad_norm": 0.21217437088489532, + "learning_rate": 5.9218514411893034e-05, + "loss": 3.036087417602539, + "step": 148340 + }, + { + "epoch": 0.36633333333333334, + "grad_norm": 0.30035290122032166, + "learning_rate": 5.9207680026991265e-05, + "loss": 3.036271095275879, + "step": 148350 + }, + { + "epoch": 0.3664, + "grad_norm": 0.20931562781333923, + "learning_rate": 5.91968451945615e-05, + "loss": 3.0527681350708007, + "step": 148360 + }, + { + "epoch": 0.36646666666666666, + "grad_norm": 0.2092559039592743, + "learning_rate": 5.9186009915130314e-05, + "loss": 3.0688270568847655, + "step": 148370 + }, + { + "epoch": 0.3665333333333333, + "grad_norm": 0.2038225382566452, + "learning_rate": 5.917517418922436e-05, + "loss": 3.1158000946044924, + "step": 148380 + }, + { + "epoch": 0.3666, + "grad_norm": 0.21710270643234253, + "learning_rate": 5.916433801737028e-05, + "loss": 2.972727394104004, + "step": 148390 + }, + { + "epoch": 0.36666666666666664, + "grad_norm": 0.2203679084777832, + "learning_rate": 5.915350140009477e-05, + "loss": 3.0882051467895506, + "step": 148400 + }, + { + "epoch": 0.36673333333333336, + "grad_norm": 0.22664612531661987, + "learning_rate": 5.914266433792451e-05, + "loss": 3.022066116333008, + "step": 148410 + }, + { + "epoch": 0.3668, + "grad_norm": 0.2000519186258316, + "learning_rate": 5.913182683138625e-05, + "loss": 3.0329113006591797, + "step": 148420 + }, + { + "epoch": 0.3668666666666667, + "grad_norm": 0.20985707640647888, + "learning_rate": 5.912098888100672e-05, + "loss": 3.043448257446289, + "step": 148430 + }, + { + "epoch": 0.36693333333333333, + "grad_norm": 0.3119560480117798, + "learning_rate": 5.9110150487312676e-05, + "loss": 3.0117412567138673, + "step": 148440 + }, + { + "epoch": 0.367, + "grad_norm": 0.24005846679210663, + "learning_rate": 5.9099311650830926e-05, + "loss": 2.9977533340454103, + "step": 148450 + }, + { + "epoch": 0.36706666666666665, + "grad_norm": 0.20461656153202057, + "learning_rate": 5.9088472372088264e-05, + "loss": 3.0561933517456055, + "step": 148460 + }, + { + "epoch": 0.3671333333333333, + "grad_norm": 0.19151513278484344, + "learning_rate": 5.9077632651611515e-05, + "loss": 2.9975263595581056, + "step": 148470 + }, + { + "epoch": 0.3672, + "grad_norm": 0.21025897562503815, + "learning_rate": 5.906679248992755e-05, + "loss": 3.0780433654785155, + "step": 148480 + }, + { + "epoch": 0.3672666666666667, + "grad_norm": 0.21544349193572998, + "learning_rate": 5.905595188756321e-05, + "loss": 3.0571861267089844, + "step": 148490 + }, + { + "epoch": 0.36733333333333335, + "grad_norm": 0.21675002574920654, + "learning_rate": 5.9045110845045424e-05, + "loss": 3.009504699707031, + "step": 148500 + }, + { + "epoch": 0.3674, + "grad_norm": 0.21508841216564178, + "learning_rate": 5.903426936290108e-05, + "loss": 2.968495559692383, + "step": 148510 + }, + { + "epoch": 0.36746666666666666, + "grad_norm": 0.21594266593456268, + "learning_rate": 5.902342744165714e-05, + "loss": 3.121001434326172, + "step": 148520 + }, + { + "epoch": 0.3675333333333333, + "grad_norm": 0.24459126591682434, + "learning_rate": 5.901258508184056e-05, + "loss": 3.0138195037841795, + "step": 148530 + }, + { + "epoch": 0.3676, + "grad_norm": 0.2030535191297531, + "learning_rate": 5.90017422839783e-05, + "loss": 3.0289632797241213, + "step": 148540 + }, + { + "epoch": 0.36766666666666664, + "grad_norm": 0.23285990953445435, + "learning_rate": 5.899089904859736e-05, + "loss": 3.0377777099609373, + "step": 148550 + }, + { + "epoch": 0.36773333333333336, + "grad_norm": 0.20432056486606598, + "learning_rate": 5.898005537622477e-05, + "loss": 3.0071949005126952, + "step": 148560 + }, + { + "epoch": 0.3678, + "grad_norm": 0.2818230390548706, + "learning_rate": 5.8969211267387594e-05, + "loss": 3.0974822998046876, + "step": 148570 + }, + { + "epoch": 0.3678666666666667, + "grad_norm": 0.21039295196533203, + "learning_rate": 5.8958366722612855e-05, + "loss": 3.011369514465332, + "step": 148580 + }, + { + "epoch": 0.36793333333333333, + "grad_norm": 0.20855854451656342, + "learning_rate": 5.894752174242768e-05, + "loss": 3.0938716888427735, + "step": 148590 + }, + { + "epoch": 0.368, + "grad_norm": 0.23269009590148926, + "learning_rate": 5.8936676327359154e-05, + "loss": 3.141713523864746, + "step": 148600 + }, + { + "epoch": 0.36806666666666665, + "grad_norm": 0.2419523149728775, + "learning_rate": 5.8925830477934417e-05, + "loss": 3.0665382385253905, + "step": 148610 + }, + { + "epoch": 0.3681333333333333, + "grad_norm": 0.20924724638462067, + "learning_rate": 5.89149841946806e-05, + "loss": 3.004747009277344, + "step": 148620 + }, + { + "epoch": 0.3682, + "grad_norm": 0.20317701995372772, + "learning_rate": 5.890413747812489e-05, + "loss": 3.0151445388793947, + "step": 148630 + }, + { + "epoch": 0.3682666666666667, + "grad_norm": 0.23327073454856873, + "learning_rate": 5.889329032879446e-05, + "loss": 3.038560485839844, + "step": 148640 + }, + { + "epoch": 0.36833333333333335, + "grad_norm": 0.20957084000110626, + "learning_rate": 5.888244274721655e-05, + "loss": 3.0324064254760743, + "step": 148650 + }, + { + "epoch": 0.3684, + "grad_norm": 0.19972467422485352, + "learning_rate": 5.887159473391837e-05, + "loss": 3.048392677307129, + "step": 148660 + }, + { + "epoch": 0.36846666666666666, + "grad_norm": 0.20658430457115173, + "learning_rate": 5.886074628942718e-05, + "loss": 3.025222969055176, + "step": 148670 + }, + { + "epoch": 0.3685333333333333, + "grad_norm": 0.24655090272426605, + "learning_rate": 5.884989741427026e-05, + "loss": 3.0757518768310548, + "step": 148680 + }, + { + "epoch": 0.3686, + "grad_norm": 0.24038143455982208, + "learning_rate": 5.883904810897492e-05, + "loss": 3.032400131225586, + "step": 148690 + }, + { + "epoch": 0.36866666666666664, + "grad_norm": 0.2437821626663208, + "learning_rate": 5.882819837406845e-05, + "loss": 2.641427993774414, + "step": 148700 + }, + { + "epoch": 0.36873333333333336, + "grad_norm": 0.21173441410064697, + "learning_rate": 5.8817348210078186e-05, + "loss": 2.2928085327148438, + "step": 148710 + }, + { + "epoch": 0.3688, + "grad_norm": 0.35175564885139465, + "learning_rate": 5.880649761753151e-05, + "loss": 2.388190269470215, + "step": 148720 + }, + { + "epoch": 0.3688666666666667, + "grad_norm": 0.24073341488838196, + "learning_rate": 5.879564659695579e-05, + "loss": 1.9797348022460937, + "step": 148730 + }, + { + "epoch": 0.36893333333333334, + "grad_norm": 0.2297505885362625, + "learning_rate": 5.8784795148878434e-05, + "loss": 2.8536596298217773, + "step": 148740 + }, + { + "epoch": 0.369, + "grad_norm": 0.2094852328300476, + "learning_rate": 5.877394327382686e-05, + "loss": 3.070954132080078, + "step": 148750 + }, + { + "epoch": 0.36906666666666665, + "grad_norm": 0.20946626365184784, + "learning_rate": 5.876309097232849e-05, + "loss": 3.1518875122070313, + "step": 148760 + }, + { + "epoch": 0.3691333333333333, + "grad_norm": 0.2759895920753479, + "learning_rate": 5.875223824491083e-05, + "loss": 3.064415168762207, + "step": 148770 + }, + { + "epoch": 0.3692, + "grad_norm": 0.2041255384683609, + "learning_rate": 5.874138509210132e-05, + "loss": 3.0220449447631834, + "step": 148780 + }, + { + "epoch": 0.3692666666666667, + "grad_norm": 0.24146749079227448, + "learning_rate": 5.873053151442749e-05, + "loss": 3.1220640182495116, + "step": 148790 + }, + { + "epoch": 0.36933333333333335, + "grad_norm": 0.20629781484603882, + "learning_rate": 5.871967751241686e-05, + "loss": 3.0705589294433593, + "step": 148800 + }, + { + "epoch": 0.3694, + "grad_norm": 0.22497080266475677, + "learning_rate": 5.8708823086596975e-05, + "loss": 3.0399871826171876, + "step": 148810 + }, + { + "epoch": 0.36946666666666667, + "grad_norm": 0.2521445155143738, + "learning_rate": 5.869796823749539e-05, + "loss": 3.0763320922851562, + "step": 148820 + }, + { + "epoch": 0.3695333333333333, + "grad_norm": 0.19885118305683136, + "learning_rate": 5.8687112965639714e-05, + "loss": 3.075191116333008, + "step": 148830 + }, + { + "epoch": 0.3696, + "grad_norm": 0.23274463415145874, + "learning_rate": 5.867625727155753e-05, + "loss": 3.0361358642578127, + "step": 148840 + }, + { + "epoch": 0.36966666666666664, + "grad_norm": 0.2077152580022812, + "learning_rate": 5.8665401155776486e-05, + "loss": 3.0423700332641603, + "step": 148850 + }, + { + "epoch": 0.36973333333333336, + "grad_norm": 0.6224363446235657, + "learning_rate": 5.8654544618824225e-05, + "loss": 3.065578079223633, + "step": 148860 + }, + { + "epoch": 0.3698, + "grad_norm": 0.2306647002696991, + "learning_rate": 5.8643687661228396e-05, + "loss": 3.047718048095703, + "step": 148870 + }, + { + "epoch": 0.3698666666666667, + "grad_norm": 0.22279994189739227, + "learning_rate": 5.8632830283516714e-05, + "loss": 3.0429128646850585, + "step": 148880 + }, + { + "epoch": 0.36993333333333334, + "grad_norm": 0.2465888112783432, + "learning_rate": 5.862197248621688e-05, + "loss": 3.011934280395508, + "step": 148890 + }, + { + "epoch": 0.37, + "grad_norm": 0.6442394256591797, + "learning_rate": 5.8611114269856617e-05, + "loss": 3.2186073303222655, + "step": 148900 + }, + { + "epoch": 0.37006666666666665, + "grad_norm": 0.23191983997821808, + "learning_rate": 5.860025563496367e-05, + "loss": 3.172338676452637, + "step": 148910 + }, + { + "epoch": 0.3701333333333333, + "grad_norm": 0.24338941276073456, + "learning_rate": 5.8589396582065836e-05, + "loss": 3.0464515686035156, + "step": 148920 + }, + { + "epoch": 0.3702, + "grad_norm": 0.23036624491214752, + "learning_rate": 5.85785371116909e-05, + "loss": 3.0753135681152344, + "step": 148930 + }, + { + "epoch": 0.3702666666666667, + "grad_norm": 0.23169836401939392, + "learning_rate": 5.856767722436664e-05, + "loss": 3.042465591430664, + "step": 148940 + }, + { + "epoch": 0.37033333333333335, + "grad_norm": 0.4136826992034912, + "learning_rate": 5.855681692062094e-05, + "loss": 3.1325368881225586, + "step": 148950 + }, + { + "epoch": 0.3704, + "grad_norm": 0.22516992688179016, + "learning_rate": 5.85459562009816e-05, + "loss": 3.0672481536865233, + "step": 148960 + }, + { + "epoch": 0.37046666666666667, + "grad_norm": 0.25442683696746826, + "learning_rate": 5.853509506597652e-05, + "loss": 3.1204721450805666, + "step": 148970 + }, + { + "epoch": 0.3705333333333333, + "grad_norm": 0.19995155930519104, + "learning_rate": 5.8524233516133585e-05, + "loss": 3.0414281845092774, + "step": 148980 + }, + { + "epoch": 0.3706, + "grad_norm": 0.2414809614419937, + "learning_rate": 5.851337155198071e-05, + "loss": 3.1213823318481446, + "step": 148990 + }, + { + "epoch": 0.37066666666666664, + "grad_norm": 0.20424404740333557, + "learning_rate": 5.8502509174045825e-05, + "loss": 3.0637643814086912, + "step": 149000 + }, + { + "epoch": 0.37073333333333336, + "grad_norm": 0.3084029257297516, + "learning_rate": 5.84916463828569e-05, + "loss": 3.2730873107910154, + "step": 149010 + }, + { + "epoch": 0.3708, + "grad_norm": 0.2100885510444641, + "learning_rate": 5.848078317894188e-05, + "loss": 3.0348155975341795, + "step": 149020 + }, + { + "epoch": 0.3708666666666667, + "grad_norm": 0.21500293910503387, + "learning_rate": 5.846991956282877e-05, + "loss": 3.0222541809082033, + "step": 149030 + }, + { + "epoch": 0.37093333333333334, + "grad_norm": 0.20682094991207123, + "learning_rate": 5.845905553504558e-05, + "loss": 3.0358823776245116, + "step": 149040 + }, + { + "epoch": 0.371, + "grad_norm": 0.20159895718097687, + "learning_rate": 5.844819109612035e-05, + "loss": 2.999139976501465, + "step": 149050 + }, + { + "epoch": 0.37106666666666666, + "grad_norm": 0.21361008286476135, + "learning_rate": 5.8437326246581125e-05, + "loss": 3.043686294555664, + "step": 149060 + }, + { + "epoch": 0.3711333333333333, + "grad_norm": 0.21905438601970673, + "learning_rate": 5.842646098695599e-05, + "loss": 3.0270196914672853, + "step": 149070 + }, + { + "epoch": 0.3712, + "grad_norm": 0.2116727977991104, + "learning_rate": 5.841559531777302e-05, + "loss": 3.0232858657836914, + "step": 149080 + }, + { + "epoch": 0.3712666666666667, + "grad_norm": 0.22814038395881653, + "learning_rate": 5.840472923956034e-05, + "loss": 3.0567771911621096, + "step": 149090 + }, + { + "epoch": 0.37133333333333335, + "grad_norm": 0.21293026208877563, + "learning_rate": 5.839386275284608e-05, + "loss": 3.0908655166625976, + "step": 149100 + }, + { + "epoch": 0.3714, + "grad_norm": 0.2050376534461975, + "learning_rate": 5.8382995858158386e-05, + "loss": 3.0081090927124023, + "step": 149110 + }, + { + "epoch": 0.37146666666666667, + "grad_norm": 0.20627515017986298, + "learning_rate": 5.837212855602544e-05, + "loss": 2.9890605926513674, + "step": 149120 + }, + { + "epoch": 0.3715333333333333, + "grad_norm": 0.2237691730260849, + "learning_rate": 5.836126084697542e-05, + "loss": 3.0674598693847654, + "step": 149130 + }, + { + "epoch": 0.3716, + "grad_norm": 0.3802986443042755, + "learning_rate": 5.835039273153655e-05, + "loss": 3.0521366119384767, + "step": 149140 + }, + { + "epoch": 0.37166666666666665, + "grad_norm": 0.21574454009532928, + "learning_rate": 5.833952421023706e-05, + "loss": 3.016092300415039, + "step": 149150 + }, + { + "epoch": 0.37173333333333336, + "grad_norm": 0.21179154515266418, + "learning_rate": 5.8328655283605204e-05, + "loss": 3.078965759277344, + "step": 149160 + }, + { + "epoch": 0.3718, + "grad_norm": 0.23722171783447266, + "learning_rate": 5.831778595216924e-05, + "loss": 3.0166175842285154, + "step": 149170 + }, + { + "epoch": 0.3718666666666667, + "grad_norm": 0.2338137924671173, + "learning_rate": 5.8306916216457473e-05, + "loss": 3.098880577087402, + "step": 149180 + }, + { + "epoch": 0.37193333333333334, + "grad_norm": 0.22421719133853912, + "learning_rate": 5.8296046076998213e-05, + "loss": 3.045833206176758, + "step": 149190 + }, + { + "epoch": 0.372, + "grad_norm": 0.22763946652412415, + "learning_rate": 5.828517553431977e-05, + "loss": 3.053907012939453, + "step": 149200 + }, + { + "epoch": 0.37206666666666666, + "grad_norm": 0.24432598054409027, + "learning_rate": 5.8274304588950515e-05, + "loss": 3.015933036804199, + "step": 149210 + }, + { + "epoch": 0.3721333333333333, + "grad_norm": 0.22479958832263947, + "learning_rate": 5.826343324141881e-05, + "loss": 3.0169757843017577, + "step": 149220 + }, + { + "epoch": 0.3722, + "grad_norm": 0.20588479936122894, + "learning_rate": 5.825256149225303e-05, + "loss": 3.0286970138549805, + "step": 149230 + }, + { + "epoch": 0.3722666666666667, + "grad_norm": 0.23667727410793304, + "learning_rate": 5.824168934198161e-05, + "loss": 3.0423301696777343, + "step": 149240 + }, + { + "epoch": 0.37233333333333335, + "grad_norm": 0.21750719845294952, + "learning_rate": 5.823081679113297e-05, + "loss": 2.9773277282714843, + "step": 149250 + }, + { + "epoch": 0.3724, + "grad_norm": 0.22019992768764496, + "learning_rate": 5.8219943840235534e-05, + "loss": 3.0367332458496095, + "step": 149260 + }, + { + "epoch": 0.37246666666666667, + "grad_norm": 0.23138241469860077, + "learning_rate": 5.82090704898178e-05, + "loss": 3.112187957763672, + "step": 149270 + }, + { + "epoch": 0.3725333333333333, + "grad_norm": 0.22728726267814636, + "learning_rate": 5.819819674040823e-05, + "loss": 3.0049631118774416, + "step": 149280 + }, + { + "epoch": 0.3726, + "grad_norm": 0.4766903817653656, + "learning_rate": 5.818732259253533e-05, + "loss": 3.0776142120361327, + "step": 149290 + }, + { + "epoch": 0.37266666666666665, + "grad_norm": 0.22389526665210724, + "learning_rate": 5.8176448046727635e-05, + "loss": 3.2678268432617186, + "step": 149300 + }, + { + "epoch": 0.37273333333333336, + "grad_norm": 0.20370084047317505, + "learning_rate": 5.816557310351369e-05, + "loss": 3.018631172180176, + "step": 149310 + }, + { + "epoch": 0.3728, + "grad_norm": 0.2226530909538269, + "learning_rate": 5.815469776342206e-05, + "loss": 3.094321441650391, + "step": 149320 + }, + { + "epoch": 0.3728666666666667, + "grad_norm": 0.22466179728507996, + "learning_rate": 5.814382202698133e-05, + "loss": 3.0338584899902346, + "step": 149330 + }, + { + "epoch": 0.37293333333333334, + "grad_norm": 0.20812709629535675, + "learning_rate": 5.813294589472009e-05, + "loss": 3.0615158081054688, + "step": 149340 + }, + { + "epoch": 0.373, + "grad_norm": 0.22262994945049286, + "learning_rate": 5.8122069367166955e-05, + "loss": 3.0815860748291017, + "step": 149350 + }, + { + "epoch": 0.37306666666666666, + "grad_norm": 0.2765413522720337, + "learning_rate": 5.811119244485058e-05, + "loss": 3.0533868789672853, + "step": 149360 + }, + { + "epoch": 0.3731333333333333, + "grad_norm": 0.22458383440971375, + "learning_rate": 5.810031512829963e-05, + "loss": 3.0247398376464845, + "step": 149370 + }, + { + "epoch": 0.3732, + "grad_norm": 0.2135460525751114, + "learning_rate": 5.808943741804276e-05, + "loss": 3.008017730712891, + "step": 149380 + }, + { + "epoch": 0.3732666666666667, + "grad_norm": 0.23484919965267181, + "learning_rate": 5.807855931460868e-05, + "loss": 3.0997220993041994, + "step": 149390 + }, + { + "epoch": 0.37333333333333335, + "grad_norm": 0.26615190505981445, + "learning_rate": 5.8067680818526126e-05, + "loss": 3.0054805755615233, + "step": 149400 + }, + { + "epoch": 0.3734, + "grad_norm": 0.4713717997074127, + "learning_rate": 5.805680193032381e-05, + "loss": 3.1708208084106446, + "step": 149410 + }, + { + "epoch": 0.37346666666666667, + "grad_norm": 0.21897174417972565, + "learning_rate": 5.804592265053049e-05, + "loss": 3.002455139160156, + "step": 149420 + }, + { + "epoch": 0.37353333333333333, + "grad_norm": 0.22881749272346497, + "learning_rate": 5.803504297967495e-05, + "loss": 3.0312665939331054, + "step": 149430 + }, + { + "epoch": 0.3736, + "grad_norm": 0.21878927946090698, + "learning_rate": 5.802416291828597e-05, + "loss": 3.014921188354492, + "step": 149440 + }, + { + "epoch": 0.37366666666666665, + "grad_norm": 0.23970356583595276, + "learning_rate": 5.801328246689237e-05, + "loss": 3.0246692657470704, + "step": 149450 + }, + { + "epoch": 0.3737333333333333, + "grad_norm": 0.2868172526359558, + "learning_rate": 5.8002401626022985e-05, + "loss": 3.069691467285156, + "step": 149460 + }, + { + "epoch": 0.3738, + "grad_norm": 0.256011426448822, + "learning_rate": 5.799152039620666e-05, + "loss": 3.0530242919921875, + "step": 149470 + }, + { + "epoch": 0.3738666666666667, + "grad_norm": 0.203923299908638, + "learning_rate": 5.798063877797225e-05, + "loss": 2.993233871459961, + "step": 149480 + }, + { + "epoch": 0.37393333333333334, + "grad_norm": 0.22051315009593964, + "learning_rate": 5.796975677184867e-05, + "loss": 3.141311454772949, + "step": 149490 + }, + { + "epoch": 0.374, + "grad_norm": 0.20907463133335114, + "learning_rate": 5.7958874378364814e-05, + "loss": 3.0641805648803713, + "step": 149500 + }, + { + "epoch": 0.37406666666666666, + "grad_norm": 0.22136227786540985, + "learning_rate": 5.79479915980496e-05, + "loss": 3.0473520278930666, + "step": 149510 + }, + { + "epoch": 0.3741333333333333, + "grad_norm": 0.42857232689857483, + "learning_rate": 5.7937108431431976e-05, + "loss": 3.0450071334838866, + "step": 149520 + }, + { + "epoch": 0.3742, + "grad_norm": 0.3161044716835022, + "learning_rate": 5.792622487904091e-05, + "loss": 3.069741058349609, + "step": 149530 + }, + { + "epoch": 0.3742666666666667, + "grad_norm": 0.24301062524318695, + "learning_rate": 5.7915340941405394e-05, + "loss": 3.0131814956665037, + "step": 149540 + }, + { + "epoch": 0.37433333333333335, + "grad_norm": 0.2593287527561188, + "learning_rate": 5.79044566190544e-05, + "loss": 3.0588537216186524, + "step": 149550 + }, + { + "epoch": 0.3744, + "grad_norm": 0.29706278443336487, + "learning_rate": 5.7893571912516974e-05, + "loss": 3.0124908447265626, + "step": 149560 + }, + { + "epoch": 0.37446666666666667, + "grad_norm": 0.2136470377445221, + "learning_rate": 5.788268682232215e-05, + "loss": 3.059620475769043, + "step": 149570 + }, + { + "epoch": 0.37453333333333333, + "grad_norm": 0.23700794577598572, + "learning_rate": 5.787180134899897e-05, + "loss": 2.9979841232299806, + "step": 149580 + }, + { + "epoch": 0.3746, + "grad_norm": 0.2106659710407257, + "learning_rate": 5.786091549307651e-05, + "loss": 3.026190757751465, + "step": 149590 + }, + { + "epoch": 0.37466666666666665, + "grad_norm": 0.23901018500328064, + "learning_rate": 5.785002925508387e-05, + "loss": 3.0139066696166994, + "step": 149600 + }, + { + "epoch": 0.3747333333333333, + "grad_norm": 0.8736511468887329, + "learning_rate": 5.783914263555017e-05, + "loss": 3.0240671157836916, + "step": 149610 + }, + { + "epoch": 0.3748, + "grad_norm": 0.22861970961093903, + "learning_rate": 5.7828255635004534e-05, + "loss": 3.1316781997680665, + "step": 149620 + }, + { + "epoch": 0.3748666666666667, + "grad_norm": 0.2270156592130661, + "learning_rate": 5.78173682539761e-05, + "loss": 3.0802080154418947, + "step": 149630 + }, + { + "epoch": 0.37493333333333334, + "grad_norm": 0.21904754638671875, + "learning_rate": 5.780648049299406e-05, + "loss": 3.1109426498413084, + "step": 149640 + }, + { + "epoch": 0.375, + "grad_norm": 0.2901405394077301, + "learning_rate": 5.779559235258758e-05, + "loss": 3.054947090148926, + "step": 149650 + }, + { + "epoch": 0.37506666666666666, + "grad_norm": 0.3586965799331665, + "learning_rate": 5.778470383328588e-05, + "loss": 3.0834070205688477, + "step": 149660 + }, + { + "epoch": 0.3751333333333333, + "grad_norm": 0.2032257318496704, + "learning_rate": 5.777381493561818e-05, + "loss": 3.022391128540039, + "step": 149670 + }, + { + "epoch": 0.3752, + "grad_norm": 0.23431552946567535, + "learning_rate": 5.77629256601137e-05, + "loss": 3.1774877548217773, + "step": 149680 + }, + { + "epoch": 0.3752666666666667, + "grad_norm": 0.22486165165901184, + "learning_rate": 5.7752036007301726e-05, + "loss": 3.000980567932129, + "step": 149690 + }, + { + "epoch": 0.37533333333333335, + "grad_norm": 0.23745808005332947, + "learning_rate": 5.774114597771152e-05, + "loss": 3.0328886032104494, + "step": 149700 + }, + { + "epoch": 0.3754, + "grad_norm": 0.29480454325675964, + "learning_rate": 5.7730255571872386e-05, + "loss": 2.8332260131835936, + "step": 149710 + }, + { + "epoch": 0.37546666666666667, + "grad_norm": 0.209975466132164, + "learning_rate": 5.771936479031363e-05, + "loss": 3.3119503021240235, + "step": 149720 + }, + { + "epoch": 0.37553333333333333, + "grad_norm": 0.3741937279701233, + "learning_rate": 5.770847363356461e-05, + "loss": 3.2186569213867187, + "step": 149730 + }, + { + "epoch": 0.3756, + "grad_norm": 0.268950492143631, + "learning_rate": 5.769758210215466e-05, + "loss": 3.0318233489990236, + "step": 149740 + }, + { + "epoch": 0.37566666666666665, + "grad_norm": 0.2230360209941864, + "learning_rate": 5.768669019661315e-05, + "loss": 3.0113605499267577, + "step": 149750 + }, + { + "epoch": 0.3757333333333333, + "grad_norm": 0.19972044229507446, + "learning_rate": 5.7675797917469455e-05, + "loss": 3.070932960510254, + "step": 149760 + }, + { + "epoch": 0.3758, + "grad_norm": 0.2837403416633606, + "learning_rate": 5.7664905265253e-05, + "loss": 3.0494150161743163, + "step": 149770 + }, + { + "epoch": 0.3758666666666667, + "grad_norm": 0.23756776750087738, + "learning_rate": 5.765401224049319e-05, + "loss": 3.0697465896606446, + "step": 149780 + }, + { + "epoch": 0.37593333333333334, + "grad_norm": 0.21732982993125916, + "learning_rate": 5.76431188437195e-05, + "loss": 3.017709732055664, + "step": 149790 + }, + { + "epoch": 0.376, + "grad_norm": 0.2053588181734085, + "learning_rate": 5.7632225075461354e-05, + "loss": 2.972257614135742, + "step": 149800 + }, + { + "epoch": 0.37606666666666666, + "grad_norm": 0.5916385054588318, + "learning_rate": 5.762133093624826e-05, + "loss": 3.0669439315795897, + "step": 149810 + }, + { + "epoch": 0.3761333333333333, + "grad_norm": 0.2583186626434326, + "learning_rate": 5.76104364266097e-05, + "loss": 3.0221818923950194, + "step": 149820 + }, + { + "epoch": 0.3762, + "grad_norm": 0.22499816119670868, + "learning_rate": 5.7599541547075184e-05, + "loss": 3.026020812988281, + "step": 149830 + }, + { + "epoch": 0.3762666666666667, + "grad_norm": 0.9135274887084961, + "learning_rate": 5.758864629817425e-05, + "loss": 3.1537405014038087, + "step": 149840 + }, + { + "epoch": 0.37633333333333335, + "grad_norm": 0.6330942511558533, + "learning_rate": 5.757775068043645e-05, + "loss": 3.1689174652099608, + "step": 149850 + }, + { + "epoch": 0.3764, + "grad_norm": 0.23326243460178375, + "learning_rate": 5.756685469439135e-05, + "loss": 3.1568330764770507, + "step": 149860 + }, + { + "epoch": 0.37646666666666667, + "grad_norm": 0.23684240877628326, + "learning_rate": 5.755595834056853e-05, + "loss": 3.0528120040893554, + "step": 149870 + }, + { + "epoch": 0.37653333333333333, + "grad_norm": 0.24838267266750336, + "learning_rate": 5.7545061619497596e-05, + "loss": 3.032523345947266, + "step": 149880 + }, + { + "epoch": 0.3766, + "grad_norm": 0.22662831842899323, + "learning_rate": 5.753416453170819e-05, + "loss": 3.032366943359375, + "step": 149890 + }, + { + "epoch": 0.37666666666666665, + "grad_norm": 0.25278371572494507, + "learning_rate": 5.7523267077729925e-05, + "loss": 3.11844539642334, + "step": 149900 + }, + { + "epoch": 0.3767333333333333, + "grad_norm": 0.22413523495197296, + "learning_rate": 5.751236925809247e-05, + "loss": 3.2397533416748048, + "step": 149910 + }, + { + "epoch": 0.3768, + "grad_norm": 0.20588405430316925, + "learning_rate": 5.75014710733255e-05, + "loss": 3.0597219467163086, + "step": 149920 + }, + { + "epoch": 0.3768666666666667, + "grad_norm": 0.22342941164970398, + "learning_rate": 5.7490572523958696e-05, + "loss": 3.0473508834838867, + "step": 149930 + }, + { + "epoch": 0.37693333333333334, + "grad_norm": 0.22142717242240906, + "learning_rate": 5.747967361052179e-05, + "loss": 3.034083938598633, + "step": 149940 + }, + { + "epoch": 0.377, + "grad_norm": 0.28968706727027893, + "learning_rate": 5.7468774333544495e-05, + "loss": 3.0370914459228517, + "step": 149950 + }, + { + "epoch": 0.37706666666666666, + "grad_norm": 0.21531942486763, + "learning_rate": 5.745787469355657e-05, + "loss": 3.0610857009887695, + "step": 149960 + }, + { + "epoch": 0.3771333333333333, + "grad_norm": 0.2010510116815567, + "learning_rate": 5.7446974691087754e-05, + "loss": 3.046231269836426, + "step": 149970 + }, + { + "epoch": 0.3772, + "grad_norm": 0.44266095757484436, + "learning_rate": 5.7436074326667864e-05, + "loss": 3.073024940490723, + "step": 149980 + }, + { + "epoch": 0.37726666666666664, + "grad_norm": 0.21715234220027924, + "learning_rate": 5.742517360082667e-05, + "loss": 3.0857959747314454, + "step": 149990 + }, + { + "epoch": 0.37733333333333335, + "grad_norm": 0.2350039780139923, + "learning_rate": 5.7414272514094e-05, + "loss": 3.013338088989258, + "step": 150000 + } + ], + "logging_steps": 10, + "max_steps": 150000, + "num_input_tokens_seen": 0, + "num_train_epochs": 9223372036854775807, + "save_steps": 100, + "stateful_callbacks": { + "TrainerControl": { + "args": { + "should_epoch_stop": false, + "should_evaluate": false, + "should_log": false, + "should_save": true, + "should_training_stop": true + }, + "attributes": {} + } + }, + "total_flos": 5.0102047604736e+19, + "train_batch_size": 20, + "trial_name": null, + "trial_params": null +} diff --git a/training_args.bin b/training_args.bin new file mode 100644 index 0000000..3b418b9 --- /dev/null +++ b/training_args.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:8b5a6077992170741f8a93207f48517dd43600d0326ded6859667b30280b50b4 +size 5265