4665 lines
1.5 MiB
4665 lines
1.5 MiB
[2026-03-04 15:11:19,031] [DEBUG] [axolotl.utils.config.resolve_dtype:66] [PID:2633803] bf16 support detected, enabling for this configuration.
|
||
[2026-03-04 15:11:19,338] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:2633803] baseline 0.000GB ()
|
||
[2026-03-04 15:11:19,338] [INFO] [axolotl.cli.config.load_cfg:259] [PID:2633803] config:
|
||
{
|
||
"activation_offloading": false,
|
||
"axolotl_config_path": "ood_test.yaml",
|
||
"base_model": "kakaocorp/kanana-1.5-2.1b-instruct-2505",
|
||
"base_model_config": "kakaocorp/kanana-1.5-2.1b-instruct-2505",
|
||
"batch_size": 48,
|
||
"bf16": true,
|
||
"capabilities": {
|
||
"bf16": true,
|
||
"compute_capability": "sm_89",
|
||
"fp8": false,
|
||
"n_gpu": 3,
|
||
"n_node": 1
|
||
},
|
||
"context_parallel_size": 1,
|
||
"dataloader_num_workers": 32,
|
||
"dataset_num_proc": 64,
|
||
"dataset_prepared_path": "preprocess",
|
||
"datasets": [
|
||
{
|
||
"chat_template": "tokenizer_default",
|
||
"message_property_mappings": {
|
||
"content": "content",
|
||
"role": "role"
|
||
},
|
||
"path": "train_final_aug100.jsonl",
|
||
"split": "train",
|
||
"trust_remote_code": false,
|
||
"type": "chat_template"
|
||
}
|
||
],
|
||
"ddp": true,
|
||
"device": "cuda:0",
|
||
"device_map": {
|
||
"": 0
|
||
},
|
||
"dion_rank_fraction": 1.0,
|
||
"dion_rank_multiple_of": 1,
|
||
"eaft_alpha": 1.0,
|
||
"eaft_k": 20,
|
||
"env_capabilities": {
|
||
"torch_version": "2.8.0"
|
||
},
|
||
"eval_batch_size": 16,
|
||
"eval_causal_lm_metrics": [
|
||
"sacrebleu",
|
||
"comet",
|
||
"ter",
|
||
"chrf"
|
||
],
|
||
"eval_max_new_tokens": 128,
|
||
"eval_sample_packing": false,
|
||
"eval_table_size": 0,
|
||
"experimental_skip_move_to_device": true,
|
||
"flash_attention": true,
|
||
"fp16": false,
|
||
"fsdp": [
|
||
"full_shard",
|
||
"auto_wrap"
|
||
],
|
||
"fsdp_config": {
|
||
"activation_checkpointing": true,
|
||
"state_dict_type": "FULL_STATE_DICT",
|
||
"transformer_layer_cls_to_wrap": "LlamaDecoderLayer"
|
||
},
|
||
"gradient_accumulation_steps": 1,
|
||
"gradient_checkpointing": false,
|
||
"hub_model_id": "CaffeineThief/ttp_sft_kanana-1.5_100per_ood_added_anno",
|
||
"include_tkps": true,
|
||
"is_llama_derived_model": true,
|
||
"learning_rate": 2e-05,
|
||
"liger_fused_linear_cross_entropy": true,
|
||
"liger_glu_activation": true,
|
||
"liger_rms_norm": true,
|
||
"liger_rope": true,
|
||
"lisa_layers_attribute": "model.layers",
|
||
"load_best_model_at_end": false,
|
||
"load_in_4bit": false,
|
||
"load_in_8bit": false,
|
||
"local_rank": 0,
|
||
"logging_steps": 1,
|
||
"lora_dropout": 0.0,
|
||
"loraplus_lr_embedding": 1e-06,
|
||
"lr_scheduler": "cosine",
|
||
"mean_resizing_embeddings": false,
|
||
"micro_batch_size": 16,
|
||
"model_config_type": "llama",
|
||
"num_epochs": 2.0,
|
||
"optimizer": "adamw_torch_fused",
|
||
"otel_metrics_host": "localhost",
|
||
"otel_metrics_port": 8000,
|
||
"output_dir": "./outputs-ood100_added_anno",
|
||
"pad_to_sequence_len": false,
|
||
"plugins": [
|
||
"axolotl.integrations.liger.LigerPlugin"
|
||
],
|
||
"pretrain_multipack_attn": true,
|
||
"profiler_steps_start": 0,
|
||
"qlora_sharded_model_loading": false,
|
||
"ray_num_workers": 1,
|
||
"resources_per_worker": {
|
||
"GPU": 1
|
||
},
|
||
"sample_packing": false,
|
||
"sample_packing_bin_size": 200,
|
||
"sample_packing_group_size": 100000,
|
||
"save_only_model": false,
|
||
"save_safetensors": true,
|
||
"save_steps": 0.5,
|
||
"saves_per_epoch": 1,
|
||
"sequence_len": 6000,
|
||
"shuffle_before_merging_datasets": false,
|
||
"shuffle_merged_datasets": true,
|
||
"skip_prepare_dataset": false,
|
||
"streaming_multipack_buffer_size": 10000,
|
||
"strict": false,
|
||
"tensor_parallel_size": 1,
|
||
"tf32": false,
|
||
"tiled_mlp_use_original_mlp": true,
|
||
"tokenizer_config": "kakaocorp/kanana-1.5-2.1b-instruct-2505",
|
||
"tokenizer_save_jinja_files": true,
|
||
"torch_dtype": "torch.bfloat16",
|
||
"train_on_inputs": false,
|
||
"trl": {
|
||
"log_completions": false,
|
||
"mask_truncated_completions": false,
|
||
"ref_model_mixup_alpha": 0.9,
|
||
"ref_model_sync_steps": 64,
|
||
"scale_rewards": true,
|
||
"sync_ref_model": false,
|
||
"use_vllm": false,
|
||
"vllm_server_host": "0.0.0.0",
|
||
"vllm_server_port": 8000
|
||
},
|
||
"use_otel_metrics": false,
|
||
"use_ray": false,
|
||
"use_wandb": true,
|
||
"val_set_size": 0.0,
|
||
"vllm": {
|
||
"device": "auto",
|
||
"dtype": "auto",
|
||
"gpu_memory_utilization": 0.9,
|
||
"host": "0.0.0.0",
|
||
"port": 8000
|
||
},
|
||
"wandb_name": "CaffeineThief/ttp_sft_kanana-1.5_100per_ood_added_anno",
|
||
"wandb_project": "TTP_SFT_LLM_RE",
|
||
"warmup_ratio": 0.05,
|
||
"weight_decay": 0.01,
|
||
"world_size": 3
|
||
}
|
||
[2026-03-04 15:11:21,159] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:285] [PID:2633803] EOS: 128009 / <|eot_id|>
|
||
[2026-03-04 15:11:21,159] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:286] [PID:2633803] BOS: 128000 / <|begin_of_text|>
|
||
[2026-03-04 15:11:21,159] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:287] [PID:2633803] PAD: 128001 / <|end_of_text|>
|
||
[2026-03-04 15:11:21,159] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:288] [PID:2633803] UNK: None / None
|
||
[2026-03-04 15:11:43,066] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:475] [PID:2633803] Loading prepared dataset from disk at preprocess/f749c854d17e07cecfdf92462a84250c...
|
||
Loading dataset from disk: 0%| | 0/64 [00:00<?, ?it/s]
Loading dataset from disk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████| 64/64 [00:00<00:00, 79442.28it/s]
|
||
[2026-03-04 15:11:43,195] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:417] [PID:2633803] total_num_tokens: 12_119_350
|
||
[2026-03-04 15:11:43,451] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:435] [PID:2633803] `total_supervised_tokens: 120_648`
|
||
[2026-03-04 15:11:43,451] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:533] [PID:2633803] total_num_steps: 1025
|
||
[2026-03-04 15:11:43,451] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:2633803] Maximum number of steps set at 1025
|
||
[2026-03-04 15:11:43,481] [DEBUG] [axolotl.train.setup_model_and_tokenizer:70] [PID:2633803] loading tokenizer... kakaocorp/kanana-1.5-2.1b-instruct-2505
|
||
[2026-03-04 15:11:45,192] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:285] [PID:2633803] EOS: 128009 / <|eot_id|>
|
||
[2026-03-04 15:11:45,193] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:286] [PID:2633803] BOS: 128000 / <|begin_of_text|>
|
||
[2026-03-04 15:11:45,193] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:287] [PID:2633803] PAD: 128001 / <|end_of_text|>
|
||
[2026-03-04 15:11:45,193] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:288] [PID:2633803] UNK: None / None
|
||
[2026-03-04 15:11:45,193] [DEBUG] [axolotl.train.setup_model_and_tokenizer:82] [PID:2633803] Loading model
|
||
[2026-03-04 15:11:45,447] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:87] [PID:2633803] Patched Trainer.evaluation_loop with nanmean loss calculation
|
||
[2026-03-04 15:11:45,451] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:138] [PID:2633803] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
|
||
[2026-03-04 15:11:45,574] [INFO] [axolotl.integrations.liger.plugin.pre_model_load:98] [PID:2633803] Applying LIGER to llama with kwargs: {'rope': True, 'cross_entropy': None, 'fused_linear_cross_entropy': True, 'rms_norm': True, 'swiglu': True}
|
||
[2026-03-04 15:11:46,150] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:351] [PID:2633803] Converting modules to torch.bfloat16
|
||
[2026-03-04 15:11:46,156] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:2633803] Memory usage after model load 0.000GB ()
|
||
[2026-03-04 15:11:52,872] [INFO] [axolotl.train.save_initial_configs:406] [PID:2633803] Pre-saving tokenizer to ./outputs-ood100_added_anno...
|
||
[2026-03-04 15:11:53,069] [INFO] [axolotl.train.save_initial_configs:411] [PID:2633803] Pre-saving model config to ./outputs-ood100_added_anno...
|
||
[2026-03-04 15:11:53,072] [INFO] [axolotl.train.execute_training:207] [PID:2633803] Starting trainer...
|
||
[2026-03-04 15:11:56,706] [WARNING] [py.warnings._showwarnmsg:109] [PID:2633803] /usr/local/lib/python3.10/dist-packages/accelerate/accelerator.py:1992: UserWarning: Upcasted low precision parameters in LlamaForCausalLM because mixed precision turned on in FSDP. Affects: model.embed_tokens.weight, model.norm.weight.
|
||
warnings.warn(
|
||
|
||
[2026-03-04 15:11:56,706] [WARNING] [py.warnings._showwarnmsg:109] [PID:2633803] /usr/local/lib/python3.10/dist-packages/accelerate/accelerator.py:1992: UserWarning: Upcasted low precision parameters in LlamaDecoderLayer because mixed precision turned on in FSDP. Affects: self_attn.q_proj.weight, self_attn.k_proj.weight, self_attn.v_proj.weight, self_attn.o_proj.weight, mlp.gate_proj.weight, mlp.up_proj.weight, mlp.down_proj.weight, input_layernorm.weight, post_attention_layernorm.weight.
|
||
warnings.warn(
|
||
|
||
[2026-03-04 15:11:56,706] [WARNING] [py.warnings._showwarnmsg:109] [PID:2633803] /usr/local/lib/python3.10/dist-packages/accelerate/accelerator.py:1998: UserWarning: FSDP upcast of low precision parameters may affect the precision of model checkpoints.
|
||
warnings.warn(
|
||
|
||
[34m[1mwandb[0m: [wandb.login()] Loaded credentials for https://api.wandb.ai from /root/.netrc.
|
||
[34m[1mwandb[0m: Currently logged in as: [33mmenbu3344[0m ([33mmenbu3344-kumoh-national-institute-of-technology[0m) to [32mhttps://api.wandb.ai[0m. Use [1m`wandb login --relogin`[0m to force relogin
|
||
[34m[1mwandb[0m: [38;5;178m⢿[0m setting up run kx1e7d7b (0.0s)
|
||
[Am[2K
[34m[1mwandb[0m: [38;5;178m⣻[0m setting up run kx1e7d7b (0.0s)
|
||
[Am[2K
[34m[1mwandb[0m: [38;5;178m⣽[0m setting up run kx1e7d7b (0.0s)
|
||
[Am[2K
[34m[1mwandb[0m: [38;5;178m⣾[0m setting up run kx1e7d7b (0.0s)
|
||
[Am[2K
[34m[1mwandb[0m: [38;5;178m⣷[0m setting up run kx1e7d7b (0.0s)
|
||
[Am[2K
[34m[1mwandb[0m: Tracking run with wandb version 0.25.0
|
||
[34m[1mwandb[0m: Run data is saved locally in [35m[1m/data4/khs/organize/ood_test/wandb/run-20260304_151157-kx1e7d7b[0m
|
||
[34m[1mwandb[0m: Run [1m`wandb offline`[0m to turn off syncing.
|
||
[34m[1mwandb[0m: Syncing run [33mCaffeineThief/ttp_sft_kanana-1.5_100per_ood_added_anno[0m
|
||
[34m[1mwandb[0m: ⭐️ View project at [34m[4mhttps://wandb.ai/menbu3344-kumoh-national-institute-of-technology/TTP_SFT_LLM_RE[0m
|
||
[34m[1mwandb[0m: 🚀 View run at [34m[4mhttps://wandb.ai/menbu3344-kumoh-national-institute-of-technology/TTP_SFT_LLM_RE/runs/kx1e7d7b[0m
|
||
[34m[1mwandb[0m: Detected [huggingface_hub.inference] in use.
|
||
[34m[1mwandb[0m: Use W&B Weave for improved LLM call tracing. Install Weave with `pip install weave` then add `import weave` to the top of your script.
|
||
[34m[1mwandb[0m: For more information, check out the docs at: https://weave-docs.wandb.ai/
|
||
[34m[1mwandb[0m: [33mWARNING[0m Saving files without folders. If you want to preserve subdirectories pass base_path to wandb.save, i.e. wandb.save("/mnt/folder/file.h5", base_path="/mnt")
|
||
[34m[1mwandb[0m: [33mWARNING[0m Symlinked 1 file into the W&B run directory; call wandb.save again to sync new files.
|
||
[2026-03-04 15:12:01,022] [INFO] [axolotl.utils.callbacks.on_train_begin:757] [PID:2633803] The Axolotl config has been saved to the WandB run under files.
|
||
0%| | 0/1025 [00:00<?, ?it/s]
0%| | 1/1025 [00:13<3:49:05, 13.42s/it]
{'loss': 5.2715, 'grad_norm': 775.8045043945312, 'learning_rate': 0.0, 'ppl': 194.70781, 'memory/max_active (GiB)': 10.58, 'memory/max_allocated (GiB)': 10.58, 'memory/device_reserved (GiB)': 12.51, 'tokens/train_per_sec_per_gpu': 24.68048858642578, 'tokens/total': 98096, 'tokens/trainable': 290, 'epoch': 0.0}
|
||
0%| | 1/1025 [00:13<3:49:05, 13.42s/it]
0%|▏ | 2/1025 [00:24<3:20:42, 11.77s/it]
{'loss': 6.1421, 'grad_norm': 875.5011596679688, 'learning_rate': 3.921568627450981e-07, 'ppl': 465.02911, 'memory/max_active (GiB)': 15.98, 'memory/max_allocated (GiB)': 15.98, 'memory/device_reserved (GiB)': 19.68, 'tokens/train_per_sec_per_gpu': 22.88422966003418, 'tokens/total': 218784, 'tokens/trainable': 532, 'epoch': 0.0}
|
||
0%|▏ | 2/1025 [00:24<3:20:42, 11.77s/it]
0%|▎ | 3/1025 [00:33<3:01:23, 10.65s/it]
{'loss': 6.1744, 'grad_norm': 871.6959228515625, 'learning_rate': 7.843137254901962e-07, 'ppl': 480.29476, 'memory/max_active (GiB)': 15.6, 'memory/max_allocated (GiB)': 15.6, 'memory/device_reserved (GiB)': 19.68, 'tokens/train_per_sec_per_gpu': 23.731460571289062, 'tokens/total': 345152, 'tokens/trainable': 752, 'epoch': 0.01}
|
||
0%|▎ | 3/1025 [00:33<3:01:23, 10.65s/it]
0%|▍ | 4/1025 [00:41<2:46:40, 9.80s/it]
{'loss': 5.2121, 'grad_norm': 943.0202026367188, 'learning_rate': 1.1764705882352942e-06, 'ppl': 183.47896, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 19.68, 'tokens/train_per_sec_per_gpu': 27.471431732177734, 'tokens/total': 450656, 'tokens/trainable': 984, 'epoch': 0.01}
|
||
0%|▍ | 4/1025 [00:41<2:46:40, 9.80s/it]
0%|▌ | 5/1025 [00:51<2:45:44, 9.75s/it]
{'loss': 3.5588, 'grad_norm': 442.38458251953125, 'learning_rate': 1.5686274509803923e-06, 'ppl': 35.12103, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 22.31, 'tokens/train_per_sec_per_gpu': 24.927593231201172, 'tokens/total': 563168, 'tokens/trainable': 1224, 'epoch': 0.01}
|
||
0%|▌ | 5/1025 [00:51<2:45:44, 9.75s/it]
1%|▋ | 6/1025 [01:05<3:07:54, 11.06s/it]
{'loss': 2.0983, 'grad_norm': 156.88706970214844, 'learning_rate': 1.96078431372549e-06, 'ppl': 8.1523, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.6, 'tokens/train_per_sec_per_gpu': 17.533279418945312, 'tokens/total': 714576, 'tokens/trainable': 1462, 'epoch': 0.01}
|
||
1%|▋ | 6/1025 [01:05<3:07:54, 11.06s/it]
1%|▊ | 7/1025 [01:14<2:57:15, 10.45s/it]
{'loss': 1.7249, 'grad_norm': 97.86650085449219, 'learning_rate': 2.3529411764705885e-06, 'ppl': 5.61196, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.6, 'tokens/train_per_sec_per_gpu': 24.081403732299805, 'tokens/total': 825104, 'tokens/trainable': 1682, 'epoch': 0.01}
|
||
1%|▊ | 7/1025 [01:14<2:57:15, 10.45s/it]
1%|▉ | 8/1025 [01:27<3:10:04, 11.21s/it]
{'loss': 1.9557, 'grad_norm': 167.68307495117188, 'learning_rate': 2.7450980392156867e-06, 'ppl': 7.06887, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 19.045682907104492, 'tokens/total': 975824, 'tokens/trainable': 1926, 'epoch': 0.02}
|
||
1%|▉ | 8/1025 [01:27<3:10:04, 11.21s/it]
1%|█ | 9/1025 [01:35<2:53:53, 10.27s/it]
{'loss': 1.6177, 'grad_norm': 70.45054626464844, 'learning_rate': 3.1372549019607846e-06, 'ppl': 5.04148, 'memory/max_active (GiB)': 16.92, 'memory/max_allocated (GiB)': 16.92, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 31.156898498535156, 'tokens/total': 1079616, 'tokens/trainable': 2180, 'epoch': 0.02}
|
||
1%|█ | 9/1025 [01:35<2:53:53, 10.27s/it]
1%|█▏ | 10/1025 [01:44<2:50:27, 10.08s/it]
{'loss': 1.5805, 'grad_norm': 74.14147186279297, 'learning_rate': 3.529411764705883e-06, 'ppl': 4.85738, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 23.95379066467285, 'tokens/total': 1198320, 'tokens/trainable': 2410, 'epoch': 0.02}
|
||
1%|█▏ | 10/1025 [01:45<2:50:27, 10.08s/it]
1%|█▎ | 11/1025 [01:54<2:44:55, 9.76s/it]
{'loss': 1.4601, 'grad_norm': 41.545921325683594, 'learning_rate': 3.92156862745098e-06, 'ppl': 4.30639, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 25.779550552368164, 'tokens/total': 1326672, 'tokens/trainable': 2642, 'epoch': 0.02}
|
||
1%|█▎ | 11/1025 [01:54<2:44:55, 9.76s/it]
1%|█▍ | 12/1025 [02:03<2:44:13, 9.73s/it]
{'loss': 1.4809, 'grad_norm': 66.3378677368164, 'learning_rate': 4.313725490196079e-06, 'ppl': 4.3969, 'memory/max_active (GiB)': 18.66, 'memory/max_allocated (GiB)': 18.66, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 23.510210037231445, 'tokens/total': 1476000, 'tokens/trainable': 2868, 'epoch': 0.02}
|
||
1%|█▍ | 12/1025 [02:03<2:44:13, 9.73s/it]
1%|█▌ | 13/1025 [02:12<2:37:13, 9.32s/it]
{'loss': 1.4352, 'grad_norm': 32.3695182800293, 'learning_rate': 4.705882352941177e-06, 'ppl': 4.20049, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 29.47539710998535, 'tokens/total': 1580864, 'tokens/trainable': 3114, 'epoch': 0.03}
|
||
1%|█▌ | 13/1025 [02:12<2:37:13, 9.32s/it]
1%|█▋ | 14/1025 [02:21<2:36:28, 9.29s/it]
{'loss': 1.2692, 'grad_norm': 27.990493774414062, 'learning_rate': 5.098039215686274e-06, 'ppl': 3.55801, 'memory/max_active (GiB)': 15.54, 'memory/max_allocated (GiB)': 15.54, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 25.53667640686035, 'tokens/total': 1714880, 'tokens/trainable': 3348, 'epoch': 0.03}
|
||
1%|█▋ | 14/1025 [02:21<2:36:28, 9.29s/it]
1%|█▊ | 15/1025 [02:30<2:35:07, 9.22s/it]
{'loss': 1.3635, 'grad_norm': 49.166893005371094, 'learning_rate': 5.4901960784313735e-06, 'ppl': 3.90985, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 23.526952743530273, 'tokens/total': 1817648, 'tokens/trainable': 3560, 'epoch': 0.03}
|
||
1%|█▊ | 15/1025 [02:30<2:35:07, 9.22s/it]
2%|█▉ | 16/1025 [02:39<2:34:14, 9.17s/it]
{'loss': 1.2382, 'grad_norm': 37.197654724121094, 'learning_rate': 5.882352941176471e-06, 'ppl': 3.4494, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 27.467041015625, 'tokens/total': 1936144, 'tokens/trainable': 3808, 'epoch': 0.03}
|
||
2%|█▉ | 16/1025 [02:39<2:34:14, 9.17s/it]
2%|██ | 17/1025 [02:46<2:22:16, 8.47s/it]
{'loss': 1.2955, 'grad_norm': 28.88638687133789, 'learning_rate': 6.274509803921569e-06, 'ppl': 3.65282, 'memory/max_active (GiB)': 13.08, 'memory/max_allocated (GiB)': 13.08, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 37.10734176635742, 'tokens/total': 2009792, 'tokens/trainable': 4060, 'epoch': 0.03}
|
||
2%|██ | 17/1025 [02:46<2:22:16, 8.47s/it]
2%|██▏ | 18/1025 [02:58<2:42:44, 9.70s/it]
{'loss': 1.5628, 'grad_norm': 94.2548828125, 'learning_rate': 6.666666666666667e-06, 'ppl': 4.77216, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 17.10240364074707, 'tokens/total': 2163696, 'tokens/trainable': 4274, 'epoch': 0.04}
|
||
2%|██▏ | 18/1025 [02:58<2:42:44, 9.70s/it]
2%|██▎ | 19/1025 [03:12<3:04:02, 10.98s/it]
{'loss': 1.3608, 'grad_norm': 29.16733169555664, 'learning_rate': 7.058823529411766e-06, 'ppl': 3.89931, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 18.970272064208984, 'tokens/total': 2312704, 'tokens/trainable': 4538, 'epoch': 0.04}
|
||
2%|██▎ | 19/1025 [03:12<3:04:02, 10.98s/it]
2%|██▍ | 20/1025 [03:22<2:55:29, 10.48s/it]
{'loss': 1.2235, 'grad_norm': 31.562585830688477, 'learning_rate': 7.450980392156863e-06, 'ppl': 3.39906, 'memory/max_active (GiB)': 16.92, 'memory/max_allocated (GiB)': 16.92, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 25.238601684570312, 'tokens/total': 2454384, 'tokens/trainable': 4772, 'epoch': 0.04}
|
||
2%|██▍ | 20/1025 [03:22<2:55:29, 10.48s/it]
2%|██▌ | 21/1025 [03:35<3:09:36, 11.33s/it]
{'loss': 1.2311, 'grad_norm': 29.76359748840332, 'learning_rate': 7.84313725490196e-06, 'ppl': 3.42499, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 18.520729064941406, 'tokens/total': 2594720, 'tokens/trainable': 5018, 'epoch': 0.04}
|
||
2%|██▌ | 21/1025 [03:35<3:09:36, 11.33s/it]
2%|██▋ | 22/1025 [03:43<2:53:35, 10.38s/it]
{'loss': 1.2665, 'grad_norm': 35.269405364990234, 'learning_rate': 8.23529411764706e-06, 'ppl': 3.54841, 'memory/max_active (GiB)': 16.93, 'memory/max_allocated (GiB)': 16.93, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 29.502893447875977, 'tokens/total': 2702784, 'tokens/trainable': 5258, 'epoch': 0.04}
|
||
2%|██▋ | 22/1025 [03:43<2:53:35, 10.38s/it]
2%|██▊ | 23/1025 [03:56<3:08:43, 11.30s/it]
{'loss': 1.075, 'grad_norm': 20.253520965576172, 'learning_rate': 8.627450980392157e-06, 'ppl': 2.92999, 'memory/max_active (GiB)': 12.04, 'memory/max_allocated (GiB)': 11.6, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 22.840232849121094, 'tokens/total': 2814528, 'tokens/trainable': 5564, 'epoch': 0.04}
|
||
2%|██▊ | 23/1025 [03:57<3:08:43, 11.30s/it]
2%|██▉ | 24/1025 [04:06<2:58:12, 10.68s/it]
{'loss': 1.11, 'grad_norm': 17.520427703857422, 'learning_rate': 9.019607843137256e-06, 'ppl': 3.03436, 'memory/max_active (GiB)': 18.62, 'memory/max_allocated (GiB)': 18.62, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 24.57386016845703, 'tokens/total': 2937200, 'tokens/trainable': 5790, 'epoch': 0.05}
|
||
2%|██▉ | 24/1025 [04:06<2:58:12, 10.68s/it]
2%|███ | 25/1025 [04:14<2:44:03, 9.84s/it]
{'loss': 1.0661, 'grad_norm': 22.346376419067383, 'learning_rate': 9.411764705882354e-06, 'ppl': 2.90403, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 30.074357986450195, 'tokens/total': 3024240, 'tokens/trainable': 6026, 'epoch': 0.05}
|
||
2%|███ | 25/1025 [04:14<2:44:03, 9.84s/it]
3%|███▏ | 26/1025 [04:23<2:41:23, 9.69s/it]
{'loss': 1.1973, 'grad_norm': 33.12441635131836, 'learning_rate': 9.803921568627451e-06, 'ppl': 3.31116, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 24.081716537475586, 'tokens/total': 3119776, 'tokens/trainable': 6250, 'epoch': 0.05}
|
||
3%|███▏ | 26/1025 [04:23<2:41:23, 9.69s/it]
3%|███▎ | 27/1025 [04:32<2:38:31, 9.53s/it]
{'loss': 1.0127, 'grad_norm': 20.763938903808594, 'learning_rate': 1.0196078431372549e-05, 'ppl': 2.75302, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 24.15323257446289, 'tokens/total': 3248128, 'tokens/trainable': 6470, 'epoch': 0.05}
|
||
3%|███▎ | 27/1025 [04:32<2:38:31, 9.53s/it]
3%|███▍ | 28/1025 [04:45<2:56:50, 10.64s/it]
{'loss': 1.0707, 'grad_norm': 22.066715240478516, 'learning_rate': 1.0588235294117648e-05, 'ppl': 2.91742, 'memory/max_active (GiB)': 17.0, 'memory/max_allocated (GiB)': 17.0, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 18.036252975463867, 'tokens/total': 3456240, 'tokens/trainable': 6708, 'epoch': 0.05}
|
||
3%|███▍ | 28/1025 [04:45<2:56:50, 10.64s/it]
3%|███▌ | 29/1025 [04:53<2:44:13, 9.89s/it]
{'loss': 1.1875, 'grad_norm': 30.53110122680664, 'learning_rate': 1.0980392156862747e-05, 'ppl': 3.27887, 'memory/max_active (GiB)': 16.94, 'memory/max_allocated (GiB)': 16.94, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 30.35693359375, 'tokens/total': 3535520, 'tokens/trainable': 6954, 'epoch': 0.06}
|
||
3%|███▌ | 29/1025 [04:54<2:44:13, 9.89s/it]
3%|███▋ | 30/1025 [05:01<2:34:03, 9.29s/it]
{'loss': 1.0035, 'grad_norm': 20.058917999267578, 'learning_rate': 1.1372549019607844e-05, 'ppl': 2.72781, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 29.08172607421875, 'tokens/total': 3634704, 'tokens/trainable': 7182, 'epoch': 0.06}
|
||
3%|███▋ | 30/1025 [05:01<2:34:03, 9.29s/it]
3%|███▊ | 31/1025 [05:14<2:52:43, 10.43s/it]
{'loss': 1.0786, 'grad_norm': 17.57642936706543, 'learning_rate': 1.1764705882352942e-05, 'ppl': 2.94056, 'memory/max_active (GiB)': 12.9, 'memory/max_allocated (GiB)': 12.9, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 19.026050567626953, 'tokens/total': 3786880, 'tokens/trainable': 7430, 'epoch': 0.06}
|
||
3%|███▊ | 31/1025 [05:14<2:52:43, 10.43s/it]
3%|███▉ | 32/1025 [05:23<2:42:33, 9.82s/it]
{'loss': 0.9888, 'grad_norm': 17.853910446166992, 'learning_rate': 1.215686274509804e-05, 'ppl': 2.68801, 'memory/max_active (GiB)': 13.05, 'memory/max_allocated (GiB)': 13.05, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 30.092369079589844, 'tokens/total': 3892032, 'tokens/trainable': 7682, 'epoch': 0.06}
|
||
3%|███▉ | 32/1025 [05:23<2:42:33, 9.82s/it]
3%|████ | 33/1025 [05:32<2:39:03, 9.62s/it]
{'loss': 1.0828, 'grad_norm': 34.2379150390625, 'learning_rate': 1.2549019607843138e-05, 'ppl': 2.95294, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 24.376798629760742, 'tokens/total': 4010224, 'tokens/trainable': 7904, 'epoch': 0.06}
|
||
3%|████ | 33/1025 [05:32<2:39:03, 9.62s/it]
3%|████▏ | 34/1025 [05:41<2:36:30, 9.48s/it]
{'loss': 1.0474, 'grad_norm': 21.89757537841797, 'learning_rate': 1.2941176470588238e-05, 'ppl': 2.85023, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 27.47821617126465, 'tokens/total': 4136592, 'tokens/trainable': 8154, 'epoch': 0.07}
|
||
3%|████▏ | 34/1025 [05:41<2:36:30, 9.48s/it]
3%|████▎ | 35/1025 [05:50<2:31:44, 9.20s/it]
{'loss': 0.8583, 'grad_norm': 16.176090240478516, 'learning_rate': 1.3333333333333333e-05, 'ppl': 2.35915, 'memory/max_active (GiB)': 17.06, 'memory/max_allocated (GiB)': 17.06, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 26.817415237426758, 'tokens/total': 4246448, 'tokens/trainable': 8382, 'epoch': 0.07}
|
||
3%|████▎ | 35/1025 [05:50<2:31:44, 9.20s/it]
4%|████▍ | 36/1025 [05:59<2:31:18, 9.18s/it]
{'loss': 0.9638, 'grad_norm': 18.734472274780273, 'learning_rate': 1.3725490196078432e-05, 'ppl': 2.62164, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 27.25486183166504, 'tokens/total': 4374800, 'tokens/trainable': 8630, 'epoch': 0.07}
|
||
4%|████▍ | 36/1025 [05:59<2:31:18, 9.18s/it]
4%|████▌ | 37/1025 [06:12<2:50:56, 10.38s/it]
{'loss': 1.0389, 'grad_norm': 15.656383514404297, 'learning_rate': 1.4117647058823532e-05, 'ppl': 2.82611, 'memory/max_active (GiB)': 15.65, 'memory/max_allocated (GiB)': 15.65, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 15.824835777282715, 'tokens/total': 4518944, 'tokens/trainable': 8838, 'epoch': 0.07}
|
||
4%|████▌ | 37/1025 [06:12<2:50:56, 10.38s/it]
4%|████▋ | 38/1025 [06:25<3:03:50, 11.18s/it]
{'loss': 1.1704, 'grad_norm': 19.1358699798584, 'learning_rate': 1.4509803921568629e-05, 'ppl': 3.22328, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 17.865829467773438, 'tokens/total': 4662688, 'tokens/trainable': 9070, 'epoch': 0.07}
|
||
4%|████▋ | 38/1025 [06:25<3:03:50, 11.18s/it]
4%|████▊ | 39/1025 [06:33<2:47:27, 10.19s/it]
{'loss': 1.0401, 'grad_norm': 17.960580825805664, 'learning_rate': 1.4901960784313726e-05, 'ppl': 2.8295, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.62, 'tokens/train_per_sec_per_gpu': 30.586227416992188, 'tokens/total': 4767056, 'tokens/trainable': 9310, 'epoch': 0.08}
|
||
4%|████▊ | 39/1025 [06:33<2:47:27, 10.19s/it]
4%|████▉ | 40/1025 [06:46<3:01:18, 11.04s/it]
{'loss': 0.9705, 'grad_norm': 14.764350891113281, 'learning_rate': 1.5294117647058822e-05, 'ppl': 2.63926, 'memory/max_active (GiB)': 24.77, 'memory/max_allocated (GiB)': 24.77, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.0841064453125, 'tokens/total': 4928624, 'tokens/trainable': 9532, 'epoch': 0.08}
|
||
4%|████▉ | 40/1025 [06:46<3:01:18, 11.04s/it]
4%|█████ | 41/1025 [06:55<2:51:59, 10.49s/it]
{'loss': 0.9197, 'grad_norm': 21.676668167114258, 'learning_rate': 1.568627450980392e-05, 'ppl': 2.50854, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.142601013183594, 'tokens/total': 5057616, 'tokens/trainable': 9762, 'epoch': 0.08}
|
||
4%|█████ | 41/1025 [06:55<2:51:59, 10.49s/it]
4%|█████▏ | 42/1025 [07:04<2:43:48, 10.00s/it]
{'loss': 0.7765, 'grad_norm': 12.024876594543457, 'learning_rate': 1.607843137254902e-05, 'ppl': 2.17385, 'memory/max_active (GiB)': 18.48, 'memory/max_allocated (GiB)': 18.48, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.537031173706055, 'tokens/total': 5178304, 'tokens/trainable': 9996, 'epoch': 0.08}
|
||
4%|█████▏ | 42/1025 [07:04<2:43:48, 10.00s/it]
4%|█████▎ | 43/1025 [07:13<2:40:30, 9.81s/it]
{'loss': 0.8835, 'grad_norm': 18.097169876098633, 'learning_rate': 1.647058823529412e-05, 'ppl': 2.41935, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.034683227539062, 'tokens/total': 5327632, 'tokens/trainable': 10220, 'epoch': 0.08}
|
||
4%|█████▎ | 43/1025 [07:13<2:40:30, 9.81s/it]
4%|█████▍ | 44/1025 [07:26<2:56:12, 10.78s/it]
{'loss': 0.8713, 'grad_norm': 25.073781967163086, 'learning_rate': 1.686274509803922e-05, 'ppl': 2.39002, 'memory/max_active (GiB)': 14.93, 'memory/max_allocated (GiB)': 14.93, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.004100799560547, 'tokens/total': 5476560, 'tokens/trainable': 10454, 'epoch': 0.09}
|
||
4%|█████▍ | 44/1025 [07:26<2:56:12, 10.78s/it]
4%|█████▌ | 45/1025 [07:39<3:05:54, 11.38s/it]
{'loss': 0.9388, 'grad_norm': 16.901729583740234, 'learning_rate': 1.7254901960784314e-05, 'ppl': 2.55691, 'memory/max_active (GiB)': 24.78, 'memory/max_allocated (GiB)': 24.78, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 16.782878875732422, 'tokens/total': 5643792, 'tokens/trainable': 10668, 'epoch': 0.09}
|
||
4%|█████▌ | 45/1025 [07:39<3:05:54, 11.38s/it]
4%|█████▋ | 46/1025 [07:49<2:55:53, 10.78s/it]
{'loss': 0.8255, 'grad_norm': 29.65475082397461, 'learning_rate': 1.7647058823529414e-05, 'ppl': 2.28302, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.779451370239258, 'tokens/total': 5750912, 'tokens/trainable': 10918, 'epoch': 0.09}
|
||
4%|█████▋ | 46/1025 [07:49<2:55:53, 10.78s/it]
5%|█████▊ | 47/1025 [07:58<2:47:59, 10.31s/it]
{'loss': 0.8063, 'grad_norm': 16.63425064086914, 'learning_rate': 1.8039215686274513e-05, 'ppl': 2.23961, 'memory/max_active (GiB)': 15.54, 'memory/max_allocated (GiB)': 15.54, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.637985229492188, 'tokens/total': 5866624, 'tokens/trainable': 11162, 'epoch': 0.09}
|
||
5%|█████▊ | 47/1025 [07:58<2:47:59, 10.31s/it]
5%|█████▉ | 48/1025 [08:06<2:39:06, 9.77s/it]
{'loss': 0.8448, 'grad_norm': 11.66783618927002, 'learning_rate': 1.843137254901961e-05, 'ppl': 2.32751, 'memory/max_active (GiB)': 16.08, 'memory/max_allocated (GiB)': 16.08, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 27.352609634399414, 'tokens/total': 5970992, 'tokens/trainable': 11394, 'epoch': 0.09}
|
||
5%|█████▉ | 48/1025 [08:06<2:39:06, 9.77s/it]
5%|██████ | 49/1025 [08:19<2:53:41, 10.68s/it]
{'loss': 0.6822, 'grad_norm': 12.84585952758789, 'learning_rate': 1.8823529411764708e-05, 'ppl': 1.97823, 'memory/max_active (GiB)': 24.77, 'memory/max_allocated (GiB)': 24.77, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.87873077392578, 'tokens/total': 6116032, 'tokens/trainable': 11622, 'epoch': 0.1}
|
||
5%|██████ | 49/1025 [08:19<2:53:41, 10.68s/it]
5%|██████▏ | 50/1025 [08:32<3:04:01, 11.32s/it]
{'loss': 0.7106, 'grad_norm': 21.64964485168457, 'learning_rate': 1.9215686274509807e-05, 'ppl': 2.03521, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.290483474731445, 'tokens/total': 6285248, 'tokens/trainable': 11856, 'epoch': 0.1}
|
||
5%|██████▏ | 50/1025 [08:32<3:04:01, 11.32s/it]
5%|██████▎ | 51/1025 [08:41<2:55:03, 10.78s/it]
{'loss': 0.8086, 'grad_norm': 16.71168327331543, 'learning_rate': 1.9607843137254903e-05, 'ppl': 2.24476, 'memory/max_active (GiB)': 15.98, 'memory/max_allocated (GiB)': 15.98, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 23.839609146118164, 'tokens/total': 6421248, 'tokens/trainable': 12082, 'epoch': 0.1}
|
||
5%|██████▎ | 51/1025 [08:42<2:55:03, 10.78s/it]
5%|██████▍ | 52/1025 [08:49<2:40:52, 9.92s/it]
{'loss': 0.7032, 'grad_norm': 21.50355339050293, 'learning_rate': 2e-05, 'ppl': 2.02021, 'memory/max_active (GiB)': 16.05, 'memory/max_allocated (GiB)': 16.05, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 27.206974029541016, 'tokens/total': 6509984, 'tokens/trainable': 12296, 'epoch': 0.1}
|
||
5%|██████▍ | 52/1025 [08:49<2:40:52, 9.92s/it]
5%|██████▌ | 53/1025 [08:57<2:30:37, 9.30s/it]
{'loss': 0.7207, 'grad_norm': 17.093673706054688, 'learning_rate': 1.9999947982262415e-05, 'ppl': 2.05587, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 29.211322784423828, 'tokens/total': 6594592, 'tokens/trainable': 12524, 'epoch': 0.1}
|
||
5%|██████▌ | 53/1025 [08:57<2:30:37, 9.30s/it]
5%|██████▋ | 54/1025 [09:06<2:29:23, 9.23s/it]
{'loss': 0.7223, 'grad_norm': 16.02196502685547, 'learning_rate': 1.9999791929590823e-05, 'ppl': 2.05916, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.124406814575195, 'tokens/total': 6689696, 'tokens/trainable': 12760, 'epoch': 0.11}
|
||
5%|██████▋ | 54/1025 [09:06<2:29:23, 9.23s/it]
5%|██████▊ | 55/1025 [09:14<2:22:31, 8.82s/it]
{'loss': 0.6775, 'grad_norm': 14.692342758178711, 'learning_rate': 1.999953184360873e-05, 'ppl': 1.96895, 'memory/max_active (GiB)': 15.62, 'memory/max_allocated (GiB)': 15.62, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 28.693281173706055, 'tokens/total': 6786992, 'tokens/trainable': 12984, 'epoch': 0.11}
|
||
5%|██████▊ | 55/1025 [09:14<2:22:31, 8.82s/it]
5%|██████▉ | 56/1025 [09:23<2:20:07, 8.68s/it]
{'loss': 0.6823, 'grad_norm': 14.172850608825684, 'learning_rate': 1.9999167727021954e-05, 'ppl': 1.97842, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 30.09039878845215, 'tokens/total': 6898048, 'tokens/trainable': 13234, 'epoch': 0.11}
|
||
5%|██████▉ | 56/1025 [09:23<2:20:07, 8.68s/it]
6%|███████ | 57/1025 [09:35<2:40:09, 9.93s/it]
{'loss': 0.7745, 'grad_norm': 18.893932342529297, 'learning_rate': 1.9998699583618592e-05, 'ppl': 2.16951, 'memory/max_active (GiB)': 24.77, 'memory/max_allocated (GiB)': 24.77, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.33721351623535, 'tokens/total': 7057104, 'tokens/trainable': 13456, 'epoch': 0.11}
|
||
6%|███████ | 57/1025 [09:35<2:40:09, 9.93s/it]
6%|███████▏ | 58/1025 [09:44<2:35:51, 9.67s/it]
{'loss': 0.5704, 'grad_norm': 12.133259773254395, 'learning_rate': 1.9998127418269004e-05, 'ppl': 1.76897, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.24900245666504, 'tokens/total': 7179776, 'tokens/trainable': 13684, 'epoch': 0.11}
|
||
6%|███████▏ | 58/1025 [09:44<2:35:51, 9.67s/it]
6%|███████▎ | 59/1025 [09:58<2:52:29, 10.71s/it]
{'loss': 0.6722, 'grad_norm': 15.220251083374023, 'learning_rate': 1.9997451236925736e-05, 'ppl': 1.95854, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.159740447998047, 'tokens/total': 7331584, 'tokens/trainable': 13922, 'epoch': 0.12}
|
||
6%|███████▎ | 59/1025 [09:58<2:52:29, 10.71s/it]
6%|███████▍ | 60/1025 [10:07<2:46:12, 10.33s/it]
{'loss': 0.6639, 'grad_norm': 12.151790618896484, 'learning_rate': 1.999667104662347e-05, 'ppl': 1.94235, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.72442626953125, 'tokens/total': 7433936, 'tokens/trainable': 14164, 'epoch': 0.12}
|
||
6%|███████▍ | 60/1025 [10:07<2:46:12, 10.33s/it]
6%|███████▍ | 61/1025 [10:15<2:35:59, 9.71s/it]
{'loss': 0.6204, 'grad_norm': 12.603285789489746, 'learning_rate': 1.999578685547896e-05, 'ppl': 1.85967, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.579166412353516, 'tokens/total': 7517488, 'tokens/trainable': 14374, 'epoch': 0.12}
|
||
6%|███████▍ | 61/1025 [10:15<2:35:59, 9.71s/it]
6%|███████▌ | 62/1025 [10:25<2:33:56, 9.59s/it]
{'loss': 0.648, 'grad_norm': 12.910612106323242, 'learning_rate': 1.9994798672690922e-05, 'ppl': 1.91171, 'memory/max_active (GiB)': 16.94, 'memory/max_allocated (GiB)': 16.94, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 27.819480895996094, 'tokens/total': 7634992, 'tokens/trainable': 14632, 'epoch': 0.12}
|
||
6%|███████▌ | 62/1025 [10:25<2:33:56, 9.59s/it]
6%|███████▋ | 63/1025 [10:34<2:30:53, 9.41s/it]
{'loss': 0.5532, 'grad_norm': 13.209741592407227, 'learning_rate': 1.9993706508539968e-05, 'ppl': 1.73881, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.81619644165039, 'tokens/total': 7755696, 'tokens/trainable': 14872, 'epoch': 0.12}
|
||
6%|███████▋ | 63/1025 [10:34<2:30:53, 9.41s/it]
6%|███████▊ | 64/1025 [10:41<2:23:05, 8.93s/it]
{'loss': 0.5498, 'grad_norm': 21.927597045898438, 'learning_rate': 1.9992510374388484e-05, 'ppl': 1.73291, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 31.88565444946289, 'tokens/total': 7852896, 'tokens/trainable': 15120, 'epoch': 0.12}
|
||
6%|███████▊ | 64/1025 [10:41<2:23:05, 8.93s/it]
6%|███████▉ | 65/1025 [10:51<2:23:47, 8.99s/it]
{'loss': 0.7004, 'grad_norm': 13.871742248535156, 'learning_rate': 1.9991210282680495e-05, 'ppl': 2.01456, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 28.229509353637695, 'tokens/total': 7968608, 'tokens/trainable': 15376, 'epoch': 0.13}
|
||
6%|███████▉ | 65/1025 [10:51<2:23:47, 8.99s/it]
6%|████████ | 66/1025 [11:00<2:23:45, 8.99s/it]
{'loss': 0.5483, 'grad_norm': 13.91752815246582, 'learning_rate': 1.9989806246941583e-05, 'ppl': 1.73031, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.7542724609375, 'tokens/total': 8089296, 'tokens/trainable': 15616, 'epoch': 0.13}
|
||
6%|████████ | 66/1025 [11:00<2:23:45, 8.99s/it]
7%|████████▏ | 67/1025 [11:09<2:24:19, 9.04s/it]
{'loss': 0.5936, 'grad_norm': 17.701383590698242, 'learning_rate': 1.9988298281778684e-05, 'ppl': 1.81049, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.046998977661133, 'tokens/total': 8212768, 'tokens/trainable': 15844, 'epoch': 0.13}
|
||
7%|████████▏ | 67/1025 [11:09<2:24:19, 9.04s/it]
7%|████████▎ | 68/1025 [11:21<2:41:47, 10.14s/it]
{'loss': 0.5523, 'grad_norm': 12.47532844543457, 'learning_rate': 1.998668640288e-05, 'ppl': 1.73724, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.298295974731445, 'tokens/total': 8381984, 'tokens/trainable': 16076, 'epoch': 0.13}
|
||
7%|████████▎ | 68/1025 [11:21<2:41:47, 10.14s/it]
7%|████████▍ | 69/1025 [11:30<2:33:20, 9.62s/it]
{'loss': 0.5456, 'grad_norm': 13.839812278747559, 'learning_rate': 1.9984970627014778e-05, 'ppl': 1.72564, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 27.233928680419922, 'tokens/total': 8493040, 'tokens/trainable': 16304, 'epoch': 0.13}
|
||
7%|████████▍ | 69/1025 [11:30<2:33:20, 9.62s/it]
7%|████████▌ | 70/1025 [11:43<2:48:29, 10.59s/it]
{'loss': 0.7534, 'grad_norm': 21.825231552124023, 'learning_rate': 1.9983150972033186e-05, 'ppl': 2.12421, 'memory/max_active (GiB)': 15.98, 'memory/max_allocated (GiB)': 15.98, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 16.888681411743164, 'tokens/total': 8648928, 'tokens/trainable': 16520, 'epoch': 0.14}
|
||
7%|████████▌ | 70/1025 [11:43<2:48:29, 10.59s/it]
7%|████████▋ | 71/1025 [11:56<2:59:29, 11.29s/it]
{'loss': 0.6455, 'grad_norm': 14.23079776763916, 'learning_rate': 1.998122745686608e-05, 'ppl': 1.90694, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.83, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.7825870513916, 'tokens/total': 8773376, 'tokens/trainable': 16762, 'epoch': 0.14}
|
||
7%|████████▋ | 71/1025 [11:56<2:59:29, 11.29s/it]
7%|████████▊ | 72/1025 [12:05<2:50:20, 10.72s/it]
{'loss': 0.6618, 'grad_norm': 13.048999786376953, 'learning_rate': 1.9979200101524844e-05, 'ppl': 1.93828, 'memory/max_active (GiB)': 18.63, 'memory/max_allocated (GiB)': 18.63, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.683523178100586, 'tokens/total': 8922704, 'tokens/trainable': 17012, 'epoch': 0.14}
|
||
7%|████████▊ | 72/1025 [12:05<2:50:20, 10.72s/it]
7%|████████▉ | 73/1025 [12:13<2:38:02, 9.96s/it]
{'loss': 0.591, 'grad_norm': 16.03705596923828, 'learning_rate': 1.997706892710117e-05, 'ppl': 1.80579, 'memory/max_active (GiB)': 16.94, 'memory/max_allocated (GiB)': 16.94, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 29.25673484802246, 'tokens/total': 9017504, 'tokens/trainable': 17250, 'epoch': 0.14}
|
||
7%|████████▉ | 73/1025 [12:13<2:38:02, 9.96s/it]
7%|█████████ | 74/1025 [12:23<2:35:33, 9.81s/it]
{'loss': 0.6198, 'grad_norm': 15.79601001739502, 'learning_rate': 1.9974833955766832e-05, 'ppl': 1.85856, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.590484619140625, 'tokens/total': 9166832, 'tokens/trainable': 17482, 'epoch': 0.14}
|
||
7%|█████████ | 74/1025 [12:23<2:35:33, 9.81s/it]
7%|█████████▏ | 75/1025 [12:32<2:32:55, 9.66s/it]
{'loss': 0.5622, 'grad_norm': 11.9814453125, 'learning_rate': 1.997249521077345e-05, 'ppl': 1.75453, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.6457462310791, 'tokens/total': 9300848, 'tokens/trainable': 17710, 'epoch': 0.15}
|
||
7%|█████████▏ | 75/1025 [12:32<2:32:55, 9.66s/it]
7%|█████████▎ | 76/1025 [12:41<2:32:05, 9.62s/it]
{'loss': 0.4312, 'grad_norm': 13.34006118774414, 'learning_rate': 1.9970052716452284e-05, 'ppl': 1.5391, 'memory/max_active (GiB)': 14.04, 'memory/max_allocated (GiB)': 14.04, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.0577392578125, 'tokens/total': 9426688, 'tokens/trainable': 17938, 'epoch': 0.15}
|
||
7%|█████████▎ | 76/1025 [12:41<2:32:05, 9.62s/it]
8%|█████████▍ | 77/1025 [12:54<2:47:16, 10.59s/it]
{'loss': 0.5149, 'grad_norm': 9.106205940246582, 'learning_rate': 1.9967506498213932e-05, 'ppl': 1.67347, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.955482482910156, 'tokens/total': 9572416, 'tokens/trainable': 18168, 'epoch': 0.15}
|
||
8%|█████████▍ | 77/1025 [12:54<2:47:16, 10.59s/it]
8%|█████████▌ | 78/1025 [13:07<2:58:37, 11.32s/it]
{'loss': 0.6218, 'grad_norm': 13.16474723815918, 'learning_rate': 1.9964856582548094e-05, 'ppl': 1.86228, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 16.331106185913086, 'tokens/total': 9716944, 'tokens/trainable': 18380, 'epoch': 0.15}
|
||
8%|█████████▌ | 78/1025 [13:07<2:58:37, 11.32s/it]
8%|█████████▋ | 79/1025 [13:17<2:48:31, 10.69s/it]
{'loss': 0.5403, 'grad_norm': 24.16183853149414, 'learning_rate': 1.9962102997023297e-05, 'ppl': 1.71652, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.49445343017578, 'tokens/total': 9824624, 'tokens/trainable': 18614, 'epoch': 0.15}
|
||
8%|█████████▋ | 79/1025 [13:17<2:48:31, 10.69s/it]
8%|█████████▊ | 80/1025 [13:26<2:42:50, 10.34s/it]
{'loss': 0.4732, 'grad_norm': 10.869243621826172, 'learning_rate': 1.9959245770286602e-05, 'ppl': 1.60512, 'memory/max_active (GiB)': 18.48, 'memory/max_allocated (GiB)': 18.48, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 23.83323860168457, 'tokens/total': 9966304, 'tokens/trainable': 18840, 'epoch': 0.16}
|
||
8%|█████████▊ | 80/1025 [13:26<2:42:50, 10.34s/it]
8%|█████████▉ | 81/1025 [13:35<2:36:38, 9.96s/it]
{'loss': 0.5532, 'grad_norm': 11.825304985046387, 'learning_rate': 1.9956284932063295e-05, 'ppl': 1.73881, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 27.266921997070312, 'tokens/total': 10085008, 'tokens/trainable': 19086, 'epoch': 0.16}
|
||
8%|█████████▉ | 81/1025 [13:35<2:36:38, 9.96s/it]
8%|██████████ | 82/1025 [13:44<2:33:24, 9.76s/it]
{'loss': 0.5752, 'grad_norm': 13.237410545349121, 'learning_rate': 1.9953220513156604e-05, 'ppl': 1.77749, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.394319534301758, 'tokens/total': 10219024, 'tokens/trainable': 19312, 'epoch': 0.16}
|
||
8%|██████████ | 82/1025 [13:44<2:33:24, 9.76s/it]
8%|██████████▏ | 83/1025 [13:53<2:30:03, 9.56s/it]
{'loss': 0.5368, 'grad_norm': 11.343121528625488, 'learning_rate': 1.9950052545447354e-05, 'ppl': 1.71052, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.324983596801758, 'tokens/total': 10321472, 'tokens/trainable': 19532, 'epoch': 0.16}
|
||
8%|██████████▏ | 83/1025 [13:54<2:30:03, 9.56s/it]
8%|██████████▎ | 84/1025 [14:01<2:20:56, 8.99s/it]
{'loss': 0.4338, 'grad_norm': 9.460000038146973, 'learning_rate': 1.9946781061893648e-05, 'ppl': 1.54311, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 28.633663177490234, 'tokens/total': 10408912, 'tokens/trainable': 19750, 'epoch': 0.16}
|
||
8%|██████████▎ | 84/1025 [14:01<2:20:56, 8.99s/it]
8%|██████████▍ | 85/1025 [14:10<2:17:49, 8.80s/it]
{'loss': 0.4057, 'grad_norm': 9.419528007507324, 'learning_rate': 1.994340609653052e-05, 'ppl': 1.50035, 'memory/max_active (GiB)': 14.93, 'memory/max_allocated (GiB)': 14.93, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 30.789216995239258, 'tokens/total': 10513984, 'tokens/trainable': 20006, 'epoch': 0.17}
|
||
8%|██████████▍ | 85/1025 [14:10<2:17:49, 8.80s/it]
8%|██████████▌ | 86/1025 [14:22<2:35:06, 9.91s/it]
{'loss': 0.5444, 'grad_norm': 11.707505226135254, 'learning_rate': 1.9939927684469584e-05, 'ppl': 1.72357, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.60820770263672, 'tokens/total': 10689520, 'tokens/trainable': 20238, 'epoch': 0.17}
|
||
8%|██████████▌ | 86/1025 [14:22<2:35:06, 9.91s/it]
8%|██████████▋ | 87/1025 [14:35<2:50:27, 10.90s/it]
{'loss': 0.5824, 'grad_norm': 12.169057846069336, 'learning_rate': 1.9936345861898664e-05, 'ppl': 1.79033, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.67125701904297, 'tokens/total': 10897888, 'tokens/trainable': 20484, 'epoch': 0.17}
|
||
8%|██████████▋ | 87/1025 [14:35<2:50:27, 10.90s/it]
9%|██████████▊ | 88/1025 [14:48<2:58:49, 11.45s/it]
{'loss': 0.5081, 'grad_norm': 12.224625587463379, 'learning_rate': 1.993266066608142e-05, 'ppl': 1.66213, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.289501190185547, 'tokens/total': 11065120, 'tokens/trainable': 20716, 'epoch': 0.17}
|
||
9%|██████████▊ | 88/1025 [14:48<2:58:49, 11.45s/it]
9%|██████████▉ | 89/1025 [14:57<2:47:31, 10.74s/it]
{'loss': 0.3998, 'grad_norm': 8.659727096557617, 'learning_rate': 1.9928872135356964e-05, 'ppl': 1.49153, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.78333282470703, 'tokens/total': 11170752, 'tokens/trainable': 20958, 'epoch': 0.17}
|
||
9%|██████████▉ | 89/1025 [14:57<2:47:31, 10.74s/it]
9%|███████████ | 90/1025 [15:10<2:57:12, 11.37s/it]
{'loss': 0.6169, 'grad_norm': 23.71165657043457, 'learning_rate': 1.9924980309139455e-05, 'ppl': 1.85317, 'memory/max_active (GiB)': 17.0, 'memory/max_allocated (GiB)': 17.0, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.95937728881836, 'tokens/total': 11332320, 'tokens/trainable': 21188, 'epoch': 0.18}
|
||
9%|███████████ | 90/1025 [15:10<2:57:12, 11.37s/it]
9%|███████████▏ | 91/1025 [15:19<2:47:05, 10.73s/it]
{'loss': 0.5632, 'grad_norm': 26.373239517211914, 'learning_rate': 1.992098522791769e-05, 'ppl': 1.75628, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.729942321777344, 'tokens/total': 11435072, 'tokens/trainable': 21434, 'epoch': 0.18}
|
||
9%|███████████▏ | 91/1025 [15:19<2:47:05, 10.73s/it]
9%|███████████▎ | 92/1025 [15:27<2:32:54, 9.83s/it]
{'loss': 0.3703, 'grad_norm': 9.768204689025879, 'learning_rate': 1.991688693325469e-05, 'ppl': 1.44817, 'memory/max_active (GiB)': 15.95, 'memory/max_allocated (GiB)': 15.95, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 29.382537841796875, 'tokens/total': 11509968, 'tokens/trainable': 21660, 'epoch': 0.18}
|
||
9%|███████████▎ | 92/1025 [15:27<2:32:54, 9.83s/it]
9%|███████████▍ | 93/1025 [15:40<2:46:39, 10.73s/it]
{'loss': 0.5722, 'grad_norm': 11.70847225189209, 'learning_rate': 1.991268546778726e-05, 'ppl': 1.77216, 'memory/max_active (GiB)': 18.62, 'memory/max_allocated (GiB)': 18.62, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.841928482055664, 'tokens/total': 11679184, 'tokens/trainable': 21888, 'epoch': 0.18}
|
||
9%|███████████▍ | 93/1025 [15:40<2:46:39, 10.73s/it]
9%|███████████▌ | 94/1025 [15:48<2:35:53, 10.05s/it]
{'loss': 0.4911, 'grad_norm': 15.871245384216309, 'learning_rate': 1.9908380875225534e-05, 'ppl': 1.63411, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 28.049640655517578, 'tokens/total': 11799888, 'tokens/trainable': 22124, 'epoch': 0.18}
|
||
9%|███████████▌ | 94/1025 [15:48<2:35:53, 10.05s/it]
9%|███████████▋ | 95/1025 [15:57<2:31:39, 9.78s/it]
{'loss': 0.4024, 'grad_norm': 11.082600593566895, 'learning_rate': 1.990397320035256e-05, 'ppl': 1.49541, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.405122756958008, 'tokens/total': 11935888, 'tokens/trainable': 22356, 'epoch': 0.19}
|
||
9%|███████████▋ | 95/1025 [15:57<2:31:39, 9.78s/it]
9%|███████████▊ | 96/1025 [16:06<2:25:54, 9.42s/it]
{'loss': 0.4092, 'grad_norm': 7.591066360473633, 'learning_rate': 1.9899462489023783e-05, 'ppl': 1.50561, 'memory/max_active (GiB)': 12.79, 'memory/max_allocated (GiB)': 12.79, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 28.336824417114258, 'tokens/total': 12030224, 'tokens/trainable': 22598, 'epoch': 0.19}
|
||
9%|███████████▊ | 96/1025 [16:06<2:25:54, 9.42s/it]
9%|███████████▉ | 97/1025 [16:14<2:18:27, 8.95s/it]
{'loss': 0.3696, 'grad_norm': 7.054385185241699, 'learning_rate': 1.9894848788166606e-05, 'ppl': 1.44716, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 29.698678970336914, 'tokens/total': 12124432, 'tokens/trainable': 22830, 'epoch': 0.19}
|
||
9%|███████████▉ | 97/1025 [16:14<2:18:27, 8.95s/it]
10%|████████████ | 98/1025 [16:23<2:19:41, 9.04s/it]
{'loss': 0.4404, 'grad_norm': 10.722419738769531, 'learning_rate': 1.9890132145779885e-05, 'ppl': 1.55333, 'memory/max_active (GiB)': 14.97, 'memory/max_allocated (GiB)': 14.97, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.978059768676758, 'tokens/total': 12225088, 'tokens/trainable': 23060, 'epoch': 0.19}
|
||
10%|████████████ | 98/1025 [16:23<2:19:41, 9.04s/it]
10%|████████████▏ | 99/1025 [16:32<2:20:13, 9.09s/it]
{'loss': 0.4814, 'grad_norm': 11.871706008911133, 'learning_rate': 1.9885312610933433e-05, 'ppl': 1.61834, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.46104621887207, 'tokens/total': 12327856, 'tokens/trainable': 23302, 'epoch': 0.19}
|
||
10%|████████████▏ | 99/1025 [16:32<2:20:13, 9.09s/it]
10%|████████████▏ | 100/1025 [16:41<2:19:11, 9.03s/it]
{'loss': 0.3511, 'grad_norm': 8.503573417663574, 'learning_rate': 1.988039023376751e-05, 'ppl': 1.42063, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.971792221069336, 'tokens/total': 12414784, 'tokens/trainable': 23532, 'epoch': 0.19}
|
||
10%|████████████▏ | 100/1025 [16:41<2:19:11, 9.03s/it]
10%|████████████▎ | 101/1025 [16:50<2:19:00, 9.03s/it]
{'loss': 0.3112, 'grad_norm': 8.06026840209961, 'learning_rate': 1.9875365065492303e-05, 'ppl': 1.36506, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.83904266357422, 'tokens/total': 12531904, 'tokens/trainable': 23764, 'epoch': 0.2}
|
||
10%|████████████▎ | 101/1025 [16:50<2:19:00, 9.03s/it]
10%|████████████▍ | 102/1025 [17:03<2:36:24, 10.17s/it]
{'loss': 0.4261, 'grad_norm': 9.77685260772705, 'learning_rate': 1.9870237158387385e-05, 'ppl': 1.53127, 'memory/max_active (GiB)': 14.95, 'memory/max_allocated (GiB)': 14.95, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.769567489624023, 'tokens/total': 12696144, 'tokens/trainable': 24004, 'epoch': 0.2}
|
||
10%|████████████▍ | 102/1025 [17:03<2:36:24, 10.17s/it]
10%|████████████▌ | 103/1025 [17:11<2:28:17, 9.65s/it]
{'loss': 0.4012, 'grad_norm': 8.889134407043457, 'learning_rate': 1.986500656580118e-05, 'ppl': 1.49362, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.655799865722656, 'tokens/total': 12801408, 'tokens/trainable': 24228, 'epoch': 0.2}
|
||
10%|████████████▌ | 103/1025 [17:11<2:28:17, 9.65s/it]
10%|████████████▋ | 104/1025 [17:25<2:44:26, 10.71s/it]
{'loss': 0.6016, 'grad_norm': 15.188953399658203, 'learning_rate': 1.9859673342150413e-05, 'ppl': 1.82504, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 19.77337646484375, 'tokens/total': 12968640, 'tokens/trainable': 24488, 'epoch': 0.2}
|
||
10%|████████████▋ | 104/1025 [17:25<2:44:26, 10.71s/it]
10%|████████████▊ | 105/1025 [17:38<2:54:36, 11.39s/it]
{'loss': 0.4678, 'grad_norm': 9.205657958984375, 'learning_rate': 1.9854237542919525e-05, 'ppl': 1.59648, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.885074615478516, 'tokens/total': 13151184, 'tokens/trainable': 24732, 'epoch': 0.2}
|
||
10%|████████████▊ | 105/1025 [17:38<2:54:36, 11.39s/it]
10%|████████████▉ | 106/1025 [17:47<2:45:27, 10.80s/it]
{'loss': 0.497, 'grad_norm': 16.27410316467285, 'learning_rate': 1.984869922466011e-05, 'ppl': 1.64378, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.049964904785156, 'tokens/total': 13277024, 'tokens/trainable': 24958, 'epoch': 0.21}
|
||
10%|████████████▉ | 106/1025 [17:47<2:45:27, 10.80s/it]
10%|█████████████ | 107/1025 [17:54<2:28:56, 9.73s/it]
{'loss': 0.4162, 'grad_norm': 10.524323463439941, 'learning_rate': 1.984305844499033e-05, 'ppl': 1.51619, 'memory/max_active (GiB)': 14.94, 'memory/max_allocated (GiB)': 14.94, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 31.939001083374023, 'tokens/total': 13356240, 'tokens/trainable': 25188, 'epoch': 0.21}
|
||
10%|█████████████ | 107/1025 [17:54<2:28:56, 9.73s/it]
11%|█████████████▏ | 108/1025 [18:02<2:19:18, 9.11s/it]
{'loss': 0.5339, 'grad_norm': 9.878044128417969, 'learning_rate': 1.9837315262594307e-05, 'ppl': 1.70557, 'memory/max_active (GiB)': 15.61, 'memory/max_allocated (GiB)': 15.61, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 30.413944244384766, 'tokens/total': 13438064, 'tokens/trainable': 25420, 'epoch': 0.21}
|
||
11%|█████████████▏ | 108/1025 [18:02<2:19:18, 9.11s/it]
11%|█████████████▎ | 109/1025 [18:10<2:15:23, 8.87s/it]
{'loss': 0.6092, 'grad_norm': 12.214120864868164, 'learning_rate': 1.98314697372215e-05, 'ppl': 1.83896, 'memory/max_active (GiB)': 16.96, 'memory/max_allocated (GiB)': 16.96, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 29.321002960205078, 'tokens/total': 13542928, 'tokens/trainable': 25662, 'epoch': 0.21}
|
||
11%|█████████████▎ | 109/1025 [18:10<2:15:23, 8.87s/it]
11%|█████████████▍ | 110/1025 [18:19<2:16:41, 8.96s/it]
{'loss': 0.597, 'grad_norm': 30.765962600708008, 'learning_rate': 1.982552192968612e-05, 'ppl': 1.81666, 'memory/max_active (GiB)': 17.03, 'memory/max_allocated (GiB)': 17.03, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.50377082824707, 'tokens/total': 13676960, 'tokens/trainable': 25886, 'epoch': 0.21}
|
||
11%|█████████████▍ | 110/1025 [18:19<2:16:41, 8.96s/it]
11%|█████████████▌ | 111/1025 [18:27<2:12:13, 8.68s/it]
{'loss': 0.3808, 'grad_norm': 8.814614295959473, 'learning_rate': 1.981947190186646e-05, 'ppl': 1.46345, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 29.332866668701172, 'tokens/total': 13773472, 'tokens/trainable': 26120, 'epoch': 0.22}
|
||
11%|█████████████▌ | 111/1025 [18:27<2:12:13, 8.68s/it]
11%|█████████████▋ | 112/1025 [18:37<2:14:26, 8.83s/it]
{'loss': 0.4912, 'grad_norm': 16.54865837097168, 'learning_rate': 1.9813319716704278e-05, 'ppl': 1.63428, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.87489891052246, 'tokens/total': 13901824, 'tokens/trainable': 26366, 'epoch': 0.22}
|
||
11%|█████████████▋ | 112/1025 [18:37<2:14:26, 8.83s/it]
11%|█████████████▊ | 113/1025 [18:46<2:18:05, 9.08s/it]
{'loss': 0.4591, 'grad_norm': 8.943326950073242, 'learning_rate': 1.980706543820412e-05, 'ppl': 1.58265, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.308454513549805, 'tokens/total': 14028192, 'tokens/trainable': 26600, 'epoch': 0.22}
|
||
11%|█████████████▊ | 113/1025 [18:46<2:18:05, 9.08s/it]
11%|█████████████▉ | 114/1025 [18:55<2:17:39, 9.07s/it]
{'loss': 0.4389, 'grad_norm': 9.201484680175781, 'learning_rate': 1.9800709131432665e-05, 'ppl': 1.551, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 24.93834686279297, 'tokens/total': 14156544, 'tokens/trainable': 26824, 'epoch': 0.22}
|
||
11%|█████████████▉ | 114/1025 [18:55<2:17:39, 9.07s/it]
11%|██████████████ | 115/1025 [19:04<2:16:14, 8.98s/it]
{'loss': 0.6194, 'grad_norm': 18.431468963623047, 'learning_rate': 1.9794250862518066e-05, 'ppl': 1.85781, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.297468185424805, 'tokens/total': 14256016, 'tokens/trainable': 27054, 'epoch': 0.22}
|
||
11%|██████████████ | 115/1025 [19:04<2:16:14, 8.98s/it]
11%|██████████████▏ | 116/1025 [19:12<2:10:49, 8.64s/it]
{'loss': 0.3652, 'grad_norm': 13.526713371276855, 'learning_rate': 1.9787690698649217e-05, 'ppl': 1.4408, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 31.095500946044922, 'tokens/total': 14354512, 'tokens/trainable': 27296, 'epoch': 0.23}
|
||
11%|██████████████▏ | 116/1025 [19:12<2:10:49, 8.64s/it]
11%|██████████████▎ | 117/1025 [19:25<2:30:28, 9.94s/it]
{'loss': 0.4877, 'grad_norm': 8.386446952819824, 'learning_rate': 1.9781028708075104e-05, 'ppl': 1.62857, 'memory/max_active (GiB)': 18.65, 'memory/max_allocated (GiB)': 18.65, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.292057037353516, 'tokens/total': 14513568, 'tokens/trainable': 27520, 'epoch': 0.23}
|
||
11%|██████████████▎ | 117/1025 [19:25<2:30:28, 9.94s/it]
12%|██████████████▍ | 118/1025 [19:33<2:23:24, 9.49s/it]
{'loss': 0.4554, 'grad_norm': 8.765901565551758, 'learning_rate': 1.9774264960104056e-05, 'ppl': 1.5768, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 27.918912887573242, 'tokens/total': 14624112, 'tokens/trainable': 27754, 'epoch': 0.23}
|
||
12%|██████████████▍ | 118/1025 [19:33<2:23:24, 9.49s/it]
12%|██████████████▌ | 119/1025 [19:46<2:39:07, 10.54s/it]
{'loss': 0.3656, 'grad_norm': 8.63225269317627, 'learning_rate': 1.976739952510305e-05, 'ppl': 1.44138, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.229793548583984, 'tokens/total': 14806656, 'tokens/trainable': 27990, 'epoch': 0.23}
|
||
12%|██████████████▌ | 119/1025 [19:46<2:39:07, 10.54s/it]
12%|██████████████▋ | 120/1025 [19:55<2:28:31, 9.85s/it]
{'loss': 0.3589, 'grad_norm': 8.00205135345459, 'learning_rate': 1.9760432474496963e-05, 'ppl': 1.43175, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 28.561389923095703, 'tokens/total': 14901328, 'tokens/trainable': 28224, 'epoch': 0.23}
|
||
12%|██████████████▋ | 120/1025 [19:55<2:28:31, 9.85s/it]
12%|██████████████▊ | 121/1025 [20:04<2:24:34, 9.60s/it]
{'loss': 0.3387, 'grad_norm': 7.00407075881958, 'learning_rate': 1.975336388076784e-05, 'ppl': 1.40312, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.648513793945312, 'tokens/total': 15011856, 'tokens/trainable': 28454, 'epoch': 0.24}
|
||
12%|██████████████▊ | 121/1025 [20:04<2:24:34, 9.60s/it]
12%|██████████████▉ | 122/1025 [20:16<2:37:31, 10.47s/it]
{'loss': 0.2083, 'grad_norm': 4.595681667327881, 'learning_rate': 1.9746193817454128e-05, 'ppl': 1.23158, 'memory/max_active (GiB)': 24.66, 'memory/max_allocated (GiB)': 24.66, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 18.945472717285156, 'tokens/total': 15152192, 'tokens/trainable': 28690, 'epoch': 0.24}
|
||
12%|██████████████▉ | 122/1025 [20:16<2:37:31, 10.47s/it]
12%|███████████████ | 123/1025 [20:29<2:47:43, 11.16s/it]
{'loss': 0.4822, 'grad_norm': 8.868244171142578, 'learning_rate': 1.9738922359149927e-05, 'ppl': 1.61963, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 19.33127784729004, 'tokens/total': 15321408, 'tokens/trainable': 28936, 'epoch': 0.24}
|
||
12%|███████████████ | 123/1025 [20:29<2:47:43, 11.16s/it]
12%|███████████████ | 124/1025 [20:42<2:55:59, 11.72s/it]
{'loss': 0.3608, 'grad_norm': 13.73811149597168, 'learning_rate': 1.973154958150419e-05, 'ppl': 1.43448, 'memory/max_active (GiB)': 24.65, 'memory/max_allocated (GiB)': 24.65, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.084739685058594, 'tokens/total': 15521856, 'tokens/trainable': 29158, 'epoch': 0.24}
|
||
12%|███████████████ | 124/1025 [20:42<2:55:59, 11.72s/it]
12%|███████████████▏ | 125/1025 [20:51<2:44:46, 10.98s/it]
{'loss': 0.3636, 'grad_norm': 11.6561918258667, 'learning_rate': 1.972407556121997e-05, 'ppl': 1.4385, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.79029083251953, 'tokens/total': 15647696, 'tokens/trainable': 29396, 'epoch': 0.24}
|
||
12%|███████████████▏ | 125/1025 [20:51<2:44:46, 10.98s/it]
12%|███████████████▎ | 126/1025 [21:00<2:36:34, 10.45s/it]
{'loss': 0.4685, 'grad_norm': 7.96903133392334, 'learning_rate': 1.9716500376053586e-05, 'ppl': 1.5976, 'memory/max_active (GiB)': 14.06, 'memory/max_allocated (GiB)': 14.06, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 27.29462242126465, 'tokens/total': 15734624, 'tokens/trainable': 29646, 'epoch': 0.25}
|
||
12%|███████████████▎ | 126/1025 [21:00<2:36:34, 10.45s/it]
12%|███████████████▍ | 127/1025 [21:13<2:47:07, 11.17s/it]
{'loss': 0.3825, 'grad_norm': 7.843883991241455, 'learning_rate': 1.9708824104813838e-05, 'ppl': 1.46594, 'memory/max_active (GiB)': 24.75, 'memory/max_allocated (GiB)': 24.75, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.816390991210938, 'tokens/total': 15875376, 'tokens/trainable': 29874, 'epoch': 0.25}
|
||
12%|███████████████▍ | 127/1025 [21:13<2:47:07, 11.17s/it]
12%|███████████████▌ | 128/1025 [21:22<2:34:35, 10.34s/it]
{'loss': 0.5296, 'grad_norm': 9.403349876403809, 'learning_rate': 1.9701046827361175e-05, 'ppl': 1.69825, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 29.386402130126953, 'tokens/total': 15985920, 'tokens/trainable': 30120, 'epoch': 0.25}
|
||
12%|███████████████▌ | 128/1025 [21:22<2:34:35, 10.34s/it]
13%|███████████████▋ | 129/1025 [21:31<2:31:55, 10.17s/it]
{'loss': 0.3904, 'grad_norm': 7.77543306350708, 'learning_rate': 1.9693168624606878e-05, 'ppl': 1.47757, 'memory/max_active (GiB)': 18.67, 'memory/max_allocated (GiB)': 18.67, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 26.06877899169922, 'tokens/total': 16087584, 'tokens/trainable': 30374, 'epoch': 0.25}
|
||
13%|███████████████▋ | 129/1025 [21:31<2:31:55, 10.17s/it]
13%|███████████████▊ | 130/1025 [21:44<2:43:21, 10.95s/it]
{'loss': 0.3839, 'grad_norm': 6.645544052124023, 'learning_rate': 1.9685189578512206e-05, 'ppl': 1.468, 'memory/max_active (GiB)': 17.0, 'memory/max_allocated (GiB)': 17.0, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 17.91870880126953, 'tokens/total': 16249152, 'tokens/trainable': 30602, 'epoch': 0.25}
|
||
13%|███████████████▊ | 130/1025 [21:44<2:43:21, 10.95s/it]
13%|███████████████▉ | 131/1025 [21:53<2:34:17, 10.35s/it]
{'loss': 0.4852, 'grad_norm': 10.804428100585938, 'learning_rate': 1.9677109772087536e-05, 'ppl': 1.6245, 'memory/max_active (GiB)': 18.49, 'memory/max_allocated (GiB)': 18.49, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 25.556045532226562, 'tokens/total': 16369840, 'tokens/trainable': 30830, 'epoch': 0.26}
|
||
13%|███████████████▉ | 131/1025 [21:53<2:34:17, 10.35s/it]
13%|████████████████ | 132/1025 [22:02<2:27:19, 9.90s/it]
{'loss': 0.4976, 'grad_norm': 8.555974960327148, 'learning_rate': 1.9668929289391524e-05, 'ppl': 1.64477, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.64, 'tokens/train_per_sec_per_gpu': 27.07076072692871, 'tokens/total': 16480384, 'tokens/trainable': 31068, 'epoch': 0.26}
|
||
13%|████████████████ | 132/1025 [22:02<2:27:19, 9.90s/it]
13%|████████████████▏ | 133/1025 [22:15<2:40:35, 10.80s/it]
{'loss': 0.386, 'grad_norm': 6.055214881896973, 'learning_rate': 1.9660648215530207e-05, 'ppl': 1.47108, 'memory/max_active (GiB)': 24.79, 'memory/max_allocated (GiB)': 24.79, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 18.95821762084961, 'tokens/total': 16639440, 'tokens/trainable': 31312, 'epoch': 0.26}
|
||
13%|████████████████▏ | 133/1025 [22:15<2:40:35, 10.80s/it]
13%|████████████████▎ | 134/1025 [22:24<2:33:14, 10.32s/it]
{'loss': 0.3927, 'grad_norm': 13.132007598876953, 'learning_rate': 1.965226663665613e-05, 'ppl': 1.48097, 'memory/max_active (GiB)': 13.81, 'memory/max_allocated (GiB)': 13.81, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 25.13666534423828, 'tokens/total': 16751264, 'tokens/trainable': 31542, 'epoch': 0.26}
|
||
13%|████████████████▎ | 134/1025 [22:24<2:33:14, 10.32s/it]
13%|████████████████▍ | 135/1025 [22:37<2:44:50, 11.11s/it]
{'loss': 0.4341, 'grad_norm': 7.622447967529297, 'learning_rate': 1.9643784639967452e-05, 'ppl': 1.54357, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 18.415973663330078, 'tokens/total': 16921280, 'tokens/trainable': 31780, 'epoch': 0.26}
|
||
13%|████████████████▍ | 135/1025 [22:37<2:44:50, 11.11s/it]
13%|████████████████▌ | 136/1025 [22:46<2:35:55, 10.52s/it]
{'loss': 0.2993, 'grad_norm': 6.399941444396973, 'learning_rate': 1.9635202313707028e-05, 'ppl': 1.34891, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 25.034603118896484, 'tokens/total': 17041968, 'tokens/trainable': 32008, 'epoch': 0.27}
|
||
13%|████████████████▌ | 136/1025 [22:46<2:35:55, 10.52s/it]
13%|████████████████▋ | 137/1025 [22:54<2:26:16, 9.88s/it]
{'loss': 0.476, 'grad_norm': 22.92580223083496, 'learning_rate': 1.962651974716149e-05, 'ppl': 1.60962, 'memory/max_active (GiB)': 15.64, 'memory/max_allocated (GiB)': 15.64, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 30.902950286865234, 'tokens/total': 17133216, 'tokens/trainable': 32266, 'epoch': 0.27}
|
||
13%|████████████████▋ | 137/1025 [22:55<2:26:16, 9.88s/it]
13%|████████████████▊ | 138/1025 [23:07<2:38:41, 10.73s/it]
{'loss': 0.3766, 'grad_norm': 10.925122261047363, 'learning_rate': 1.9617737030660338e-05, 'ppl': 1.45732, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 21.452598571777344, 'tokens/total': 17271568, 'tokens/trainable': 32538, 'epoch': 0.27}
|
||
13%|████████████████▊ | 138/1025 [23:07<2:38:41, 10.73s/it]
14%|████████████████▉ | 139/1025 [23:14<2:22:43, 9.67s/it]
{'loss': 0.3208, 'grad_norm': 6.57467794418335, 'learning_rate': 1.960885425557498e-05, 'ppl': 1.37823, 'memory/max_active (GiB)': 14.94, 'memory/max_allocated (GiB)': 14.94, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 36.18753433227539, 'tokens/total': 17331648, 'tokens/trainable': 32796, 'epoch': 0.27}
|
||
14%|████████████████▉ | 139/1025 [23:14<2:22:43, 9.67s/it]
14%|█████████████████ | 140/1025 [23:23<2:19:48, 9.48s/it]
{'loss': 0.3349, 'grad_norm': 11.630034446716309, 'learning_rate': 1.9599871514317785e-05, 'ppl': 1.3978, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 24.659076690673828, 'tokens/total': 17460000, 'tokens/trainable': 33018, 'epoch': 0.27}
|
||
14%|█████████████████ | 140/1025 [23:23<2:19:48, 9.48s/it]
14%|█████████████████▏ | 141/1025 [23:36<2:34:28, 10.49s/it]
{'loss': 0.4058, 'grad_norm': 12.6770658493042, 'learning_rate': 1.959078890034113e-05, 'ppl': 1.5005, 'memory/max_active (GiB)': 16.96, 'memory/max_allocated (GiB)': 16.96, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 18.449913024902344, 'tokens/total': 17634896, 'tokens/trainable': 33254, 'epoch': 0.27}
|
||
14%|█████████████████▏ | 141/1025 [23:36<2:34:28, 10.49s/it]
14%|█████████████████▎ | 142/1025 [23:46<2:29:33, 10.16s/it]
{'loss': 0.4748, 'grad_norm': 10.203154563903809, 'learning_rate': 1.9581606508136426e-05, 'ppl': 1.60769, 'memory/max_active (GiB)': 14.94, 'memory/max_allocated (GiB)': 14.94, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 25.835506439208984, 'tokens/total': 17750608, 'tokens/trainable': 33496, 'epoch': 0.28}
|
||
14%|█████████████████▎ | 142/1025 [23:46<2:29:33, 10.16s/it]
14%|█████████████████▍ | 143/1025 [23:58<2:40:57, 10.95s/it]
{'loss': 0.4345, 'grad_norm': 8.50658130645752, 'learning_rate': 1.9572324433233122e-05, 'ppl': 1.54419, 'memory/max_active (GiB)': 24.76, 'memory/max_allocated (GiB)': 24.76, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 18.517616271972656, 'tokens/total': 17908976, 'tokens/trainable': 33732, 'epoch': 0.28}
|
||
14%|█████████████████▍ | 143/1025 [23:58<2:40:57, 10.95s/it]
14%|█████████████████▌ | 144/1025 [24:11<2:49:11, 11.52s/it]
{'loss': 0.3145, 'grad_norm': 15.790724754333496, 'learning_rate': 1.9562942772197726e-05, 'ppl': 1.36957, 'memory/max_active (GiB)': 24.75, 'memory/max_allocated (GiB)': 24.75, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 16.538301467895508, 'tokens/total': 18044544, 'tokens/trainable': 33944, 'epoch': 0.28}
|
||
14%|█████████████████▌ | 144/1025 [24:11<2:49:11, 11.52s/it]
14%|█████████████████▋ | 145/1025 [24:20<2:35:10, 10.58s/it]
{'loss': 0.4796, 'grad_norm': 9.553272247314453, 'learning_rate': 1.955346162263279e-05, 'ppl': 1.61543, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 25.661529541015625, 'tokens/total': 18150848, 'tokens/trainable': 34158, 'epoch': 0.28}
|
||
14%|█████████████████▋ | 145/1025 [24:20<2:35:10, 10.58s/it]
14%|█████████████████▊ | 146/1025 [24:29<2:29:14, 10.19s/it]
{'loss': 0.5016, 'grad_norm': 8.64592170715332, 'learning_rate': 1.9543881083175914e-05, 'ppl': 1.65136, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 23.621469497680664, 'tokens/total': 18279200, 'tokens/trainable': 34376, 'epoch': 0.28}
|
||
14%|█████████████████▊ | 146/1025 [24:29<2:29:14, 10.19s/it]
14%|█████████████████▉ | 147/1025 [24:42<2:42:11, 11.08s/it]
{'loss': 0.4746, 'grad_norm': 13.97532844543457, 'learning_rate': 1.9534201253498685e-05, 'ppl': 1.60737, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 20.100749969482422, 'tokens/total': 18479648, 'tokens/trainable': 34640, 'epoch': 0.29}
|
||
14%|█████████████████▉ | 147/1025 [24:42<2:42:11, 11.08s/it]
14%|██████████████████ | 148/1025 [24:55<2:48:35, 11.53s/it]
{'loss': 0.4459, 'grad_norm': 8.61817455291748, 'learning_rate': 1.9524422234305677e-05, 'ppl': 1.5619, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 18.175193786621094, 'tokens/total': 18638704, 'tokens/trainable': 34868, 'epoch': 0.29}
|
||
14%|██████████████████ | 148/1025 [24:55<2:48:35, 11.53s/it]
15%|██████████████████▏ | 149/1025 [25:04<2:38:32, 10.86s/it]
{'loss': 0.4621, 'grad_norm': 7.62071418762207, 'learning_rate': 1.9514544127333383e-05, 'ppl': 1.5874, 'memory/max_active (GiB)': 17.06, 'memory/max_allocated (GiB)': 17.06, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 23.8092098236084, 'tokens/total': 18767056, 'tokens/trainable': 35088, 'epoch': 0.29}
|
||
15%|██████████████████▏ | 149/1025 [25:04<2:38:32, 10.86s/it]
15%|██████████████████▎ | 150/1025 [25:13<2:31:31, 10.39s/it]
{'loss': 0.4321, 'grad_norm': 7.038157939910889, 'learning_rate': 1.950456703534915e-05, 'ppl': 1.54049, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 24.419139862060547, 'tokens/total': 18885760, 'tokens/trainable': 35314, 'epoch': 0.29}
|
||
15%|██████████████████▎ | 150/1025 [25:13<2:31:31, 10.39s/it]
15%|██████████████████▍ | 151/1025 [25:23<2:26:22, 10.05s/it]
{'loss': 0.3426, 'grad_norm': 6.185762882232666, 'learning_rate': 1.9494491062150138e-05, 'ppl': 1.40861, 'memory/max_active (GiB)': 18.64, 'memory/max_allocated (GiB)': 18.64, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 24.10432243347168, 'tokens/total': 18992608, 'tokens/trainable': 35536, 'epoch': 0.29}
|
||
15%|██████████████████▍ | 151/1025 [25:23<2:26:22, 10.05s/it]
15%|██████████████████▌ | 152/1025 [25:32<2:22:02, 9.76s/it]
{'loss': 0.2898, 'grad_norm': 4.565141677856445, 'learning_rate': 1.9484316312562204e-05, 'ppl': 1.33616, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 26.507793426513672, 'tokens/total': 19103136, 'tokens/trainable': 35776, 'epoch': 0.3}
|
||
15%|██████████████████▌ | 152/1025 [25:32<2:22:02, 9.76s/it]
15%|██████████████████▋ | 153/1025 [25:45<2:35:52, 10.73s/it]
{'loss': 0.4701, 'grad_norm': 6.532855033874512, 'learning_rate': 1.9474042892438848e-05, 'ppl': 1.60015, 'memory/max_active (GiB)': 24.79, 'memory/max_allocated (GiB)': 24.79, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 17.943023681640625, 'tokens/total': 19262192, 'tokens/trainable': 36008, 'epoch': 0.3}
|
||
15%|██████████████████▋ | 153/1025 [25:45<2:35:52, 10.73s/it]
15%|██████████████████▊ | 154/1025 [25:54<2:29:52, 10.32s/it]
{'loss': 0.3386, 'grad_norm': 5.84135627746582, 'learning_rate': 1.946367090866008e-05, 'ppl': 1.40298, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 24.388137817382812, 'tokens/total': 19411520, 'tokens/trainable': 36236, 'epoch': 0.3}
|
||
15%|██████████████████▊ | 154/1025 [25:54<2:29:52, 10.32s/it]
15%|██████████████████▉ | 155/1025 [26:03<2:23:54, 9.92s/it]
{'loss': 0.3796, 'grad_norm': 7.105771541595459, 'learning_rate': 1.945320046913132e-05, 'ppl': 1.4617, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 25.24679946899414, 'tokens/total': 19537888, 'tokens/trainable': 36462, 'epoch': 0.3}
|
||
15%|██████████████████▉ | 155/1025 [26:03<2:23:54, 9.92s/it]
15%|███████████████████ | 156/1025 [26:11<2:16:25, 9.42s/it]
{'loss': 0.4951, 'grad_norm': 8.28264045715332, 'learning_rate': 1.9442631682782295e-05, 'ppl': 1.64066, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 29.021892547607422, 'tokens/total': 19650928, 'tokens/trainable': 36700, 'epoch': 0.3}
|
||
15%|███████████████████ | 156/1025 [26:11<2:16:25, 9.42s/it]
15%|███████████████████▏ | 157/1025 [26:20<2:15:11, 9.35s/it]
{'loss': 0.2174, 'grad_norm': 4.847423076629639, 'learning_rate': 1.9431964659565868e-05, 'ppl': 1.24284, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 25.630630493164062, 'tokens/total': 19777296, 'tokens/trainable': 36934, 'epoch': 0.31}
|
||
15%|███████████████████▏ | 157/1025 [26:20<2:15:11, 9.35s/it]
15%|███████████████████▎ | 158/1025 [26:28<2:06:07, 8.73s/it]
{'loss': 0.4555, 'grad_norm': 8.294706344604492, 'learning_rate': 1.942119951045692e-05, 'ppl': 1.57696, 'memory/max_active (GiB)': 14.95, 'memory/max_allocated (GiB)': 14.95, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 30.630327224731445, 'tokens/total': 19862144, 'tokens/trainable': 37156, 'epoch': 0.31}
|
||
15%|███████████████████▎ | 158/1025 [26:28<2:06:07, 8.73s/it]
16%|███████████████████▍ | 159/1025 [26:36<2:04:31, 8.63s/it]
{'loss': 0.4314, 'grad_norm': 8.989330291748047, 'learning_rate': 1.9410336347451202e-05, 'ppl': 1.53941, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 30.176010131835938, 'tokens/total': 19965024, 'tokens/trainable': 37408, 'epoch': 0.31}
|
||
16%|███████████████████▍ | 159/1025 [26:36<2:04:31, 8.63s/it]
16%|███████████████████▌ | 160/1025 [26:45<2:06:41, 8.79s/it]
{'loss': 0.2353, 'grad_norm': 6.261710166931152, 'learning_rate': 1.9399375283564134e-05, 'ppl': 1.26529, 'memory/max_active (GiB)': 14.99, 'memory/max_allocated (GiB)': 14.99, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 24.78021812438965, 'tokens/total': 20050720, 'tokens/trainable': 37634, 'epoch': 0.31}
|
||
16%|███████████████████▌ | 160/1025 [26:45<2:06:41, 8.79s/it]
16%|███████████████████▋ | 161/1025 [26:53<2:02:40, 8.52s/it]
{'loss': 0.4839, 'grad_norm': 8.842949867248535, 'learning_rate': 1.938831643282967e-05, 'ppl': 1.62239, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 31.59217071533203, 'tokens/total': 20149904, 'tokens/trainable': 37882, 'epoch': 0.31}
|
||
16%|███████████████████▋ | 161/1025 [26:53<2:02:40, 8.52s/it]
16%|███████████████████▊ | 162/1025 [27:02<2:02:12, 8.50s/it]
{'loss': 0.3146, 'grad_norm': 5.7634053230285645, 'learning_rate': 1.9377159910299094e-05, 'ppl': 1.36971, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 27.36953353881836, 'tokens/total': 20265632, 'tokens/trainable': 38112, 'epoch': 0.32}
|
||
16%|███████████████████▊ | 162/1025 [27:02<2:02:12, 8.50s/it]
16%|███████████████████▉ | 163/1025 [27:09<1:58:07, 8.22s/it]
{'loss': 0.3203, 'grad_norm': 10.037100791931152, 'learning_rate': 1.9365905832039814e-05, 'ppl': 1.37754, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 30.498151779174805, 'tokens/total': 20352672, 'tokens/trainable': 38342, 'epoch': 0.32}
|
||
16%|███████████████████▉ | 163/1025 [27:09<1:58:07, 8.22s/it]
16%|████████████████████ | 164/1025 [27:18<2:02:26, 8.53s/it]
{'loss': 0.3266, 'grad_norm': 6.683182239532471, 'learning_rate': 1.9354554315134166e-05, 'ppl': 1.38625, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 26.911888122558594, 'tokens/total': 20486688, 'tokens/trainable': 38590, 'epoch': 0.32}
|
||
16%|████████████████████ | 164/1025 [27:18<2:02:26, 8.53s/it]
16%|████████████████████ | 165/1025 [27:27<2:00:20, 8.40s/it]
{'loss': 0.3782, 'grad_norm': 6.223520755767822, 'learning_rate': 1.9343105477678198e-05, 'ppl': 1.45965, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 29.869874954223633, 'tokens/total': 20591056, 'tokens/trainable': 38830, 'epoch': 0.32}
|
||
16%|████████████████████ | 165/1025 [27:27<2:00:20, 8.40s/it]
16%|████████████████████▏ | 166/1025 [27:36<2:03:21, 8.62s/it]
{'loss': 0.4114, 'grad_norm': 9.142326354980469, 'learning_rate': 1.9331559438780432e-05, 'ppl': 1.50893, 'memory/max_active (GiB)': 17.04, 'memory/max_allocated (GiB)': 17.04, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 25.081941604614258, 'tokens/total': 20725088, 'tokens/trainable': 39058, 'epoch': 0.32}
|
||
16%|████████████████████▏ | 166/1025 [27:36<2:03:21, 8.62s/it]
16%|████████████████████▎ | 167/1025 [27:48<2:20:45, 9.84s/it]
{'loss': 0.4002, 'grad_norm': 9.16247272491455, 'learning_rate': 1.9319916318560636e-05, 'ppl': 1.49212, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.66, 'tokens/train_per_sec_per_gpu': 18.948095321655273, 'tokens/total': 20883456, 'tokens/trainable': 39298, 'epoch': 0.33}
|
||
16%|████████████████████▎ | 167/1025 [27:48<2:20:45, 9.84s/it]
16%|████████████████████▍ | 168/1025 [28:02<2:35:13, 10.87s/it]
{'loss': 0.2331, 'grad_norm': 4.402462005615234, 'learning_rate': 1.9308176238148565e-05, 'ppl': 1.26251, 'memory/max_active (GiB)': 24.82, 'memory/max_allocated (GiB)': 24.82, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.162677764892578, 'tokens/total': 21047696, 'tokens/trainable': 39538, 'epoch': 0.33}
|
||
16%|████████████████████▍ | 168/1025 [28:02<2:35:13, 10.87s/it]
16%|████████████████████▌ | 169/1025 [28:14<2:42:19, 11.38s/it]
{'loss': 0.4341, 'grad_norm': 6.385519981384277, 'learning_rate': 1.9296339319682696e-05, 'ppl': 1.54357, 'memory/max_active (GiB)': 24.67, 'memory/max_allocated (GiB)': 24.67, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.04185676574707, 'tokens/total': 21206752, 'tokens/trainable': 39764, 'epoch': 0.33}
|
||
16%|████████████████████▌ | 169/1025 [28:14<2:42:19, 11.38s/it]
17%|████████████████████▋ | 170/1025 [28:27<2:49:25, 11.89s/it]
{'loss': 0.308, 'grad_norm': 6.332242012023926, 'learning_rate': 1.9284405686308982e-05, 'ppl': 1.3607, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.245567321777344, 'tokens/total': 21366208, 'tokens/trainable': 40002, 'epoch': 0.33}
|
||
17%|████████████████████▋ | 170/1025 [28:27<2:49:25, 11.89s/it]
17%|████████████████████▊ | 171/1025 [28:37<2:38:10, 11.11s/it]
{'loss': 0.3851, 'grad_norm': 7.474771022796631, 'learning_rate': 1.927237546217954e-05, 'ppl': 1.46976, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 23.329917907714844, 'tokens/total': 21515536, 'tokens/trainable': 40218, 'epoch': 0.33}
|
||
17%|████████████████████▊ | 171/1025 [28:37<2:38:10, 11.11s/it]
17%|████████████████████▉ | 172/1025 [28:46<2:31:05, 10.63s/it]
{'loss': 0.3217, 'grad_norm': 7.9061150550842285, 'learning_rate': 1.9260248772451378e-05, 'ppl': 1.37947, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.592605590820312, 'tokens/total': 21626064, 'tokens/trainable': 40460, 'epoch': 0.34}
|
||
17%|████████████████████▉ | 172/1025 [28:46<2:31:05, 10.63s/it]
17%|█████████████████████ | 173/1025 [28:55<2:24:27, 10.17s/it]
{'loss': 0.4003, 'grad_norm': 6.433398246765137, 'learning_rate': 1.924802574328509e-05, 'ppl': 1.49227, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.803855895996094, 'tokens/total': 21767744, 'tokens/trainable': 40694, 'epoch': 0.34}
|
||
17%|█████████████████████ | 173/1025 [28:55<2:24:27, 10.17s/it]
17%|█████████████████████▏ | 174/1025 [29:09<2:37:49, 11.13s/it]
{'loss': 0.3267, 'grad_norm': 5.654163360595703, 'learning_rate': 1.923570650184354e-05, 'ppl': 1.38639, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.573732376098633, 'tokens/total': 21968192, 'tokens/trainable': 40928, 'epoch': 0.34}
|
||
17%|█████████████████████▏ | 174/1025 [29:09<2:37:49, 11.13s/it]
17%|█████████████████████▎ | 175/1025 [29:16<2:23:48, 10.15s/it]
{'loss': 0.3716, 'grad_norm': 7.851268768310547, 'learning_rate': 1.9223291176290543e-05, 'ppl': 1.45005, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 29.63018035888672, 'tokens/total': 22067376, 'tokens/trainable': 41160, 'epoch': 0.34}
|
||
17%|█████████████████████▎ | 175/1025 [29:16<2:23:48, 10.15s/it]
17%|█████████████████████▍ | 176/1025 [29:30<2:36:49, 11.08s/it]
{'loss': 0.3801, 'grad_norm': 6.628998756408691, 'learning_rate': 1.921077989578953e-05, 'ppl': 1.46243, 'memory/max_active (GiB)': 24.78, 'memory/max_allocated (GiB)': 24.78, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 16.947513580322266, 'tokens/total': 22221280, 'tokens/trainable': 41384, 'epoch': 0.34}
|
||
17%|█████████████████████▍ | 176/1025 [29:30<2:36:49, 11.08s/it]
17%|█████████████████████▌ | 177/1025 [29:43<2:44:18, 11.63s/it]
{'loss': 0.3607, 'grad_norm': 6.574319839477539, 'learning_rate': 1.9198172790502197e-05, 'ppl': 1.43433, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.21337127685547, 'tokens/total': 22367008, 'tokens/trainable': 41618, 'epoch': 0.35}
|
||
17%|█████████████████████▌ | 177/1025 [29:43<2:44:18, 11.63s/it]
17%|█████████████████████▋ | 178/1025 [29:51<2:31:22, 10.72s/it]
{'loss': 0.474, 'grad_norm': 7.102624893188477, 'learning_rate': 1.9185469991587166e-05, 'ppl': 1.60641, 'memory/max_active (GiB)': 16.92, 'memory/max_allocated (GiB)': 16.92, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 29.378780364990234, 'tokens/total': 22493392, 'tokens/trainable': 41870, 'epoch': 0.35}
|
||
17%|█████████████████████▋ | 178/1025 [29:51<2:31:22, 10.72s/it]
17%|█████████████████████▊ | 179/1025 [30:01<2:25:28, 10.32s/it]
{'loss': 0.3833, 'grad_norm': 5.966542720794678, 'learning_rate': 1.9172671631198613e-05, 'ppl': 1.46712, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.656625747680664, 'tokens/total': 22619232, 'tokens/trainable': 42100, 'epoch': 0.35}
|
||
17%|█████████████████████▊ | 179/1025 [30:01<2:25:28, 10.32s/it]
18%|█████████████████████▉ | 180/1025 [30:14<2:36:47, 11.13s/it]
{'loss': 0.4073, 'grad_norm': 7.394020080566406, 'learning_rate': 1.9159777842484878e-05, 'ppl': 1.50275, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.850627899169922, 'tokens/total': 22786464, 'tokens/trainable': 42332, 'epoch': 0.35}
|
||
18%|█████████████████████▉ | 180/1025 [30:14<2:36:47, 11.13s/it]
18%|██████████████████████ | 181/1025 [30:22<2:24:59, 10.31s/it]
{'loss': 0.2719, 'grad_norm': 4.970787525177002, 'learning_rate': 1.9146788759587114e-05, 'ppl': 1.31246, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.62061309814453, 'tokens/total': 22883952, 'tokens/trainable': 42554, 'epoch': 0.35}
|
||
18%|██████████████████████ | 181/1025 [30:22<2:24:59, 10.31s/it]
18%|██████████████████████▏ | 182/1025 [30:31<2:20:15, 9.98s/it]
{'loss': 0.3877, 'grad_norm': 6.800264835357666, 'learning_rate': 1.913370451763786e-05, 'ppl': 1.47359, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.042190551757812, 'tokens/total': 22994480, 'tokens/trainable': 42784, 'epoch': 0.35}
|
||
18%|██████████████████████▏ | 182/1025 [30:31<2:20:15, 9.98s/it]
18%|██████████████████████▎ | 183/1025 [30:40<2:17:16, 9.78s/it]
{'loss': 0.3081, 'grad_norm': 4.824174404144287, 'learning_rate': 1.912052525275965e-05, 'ppl': 1.36084, 'memory/max_active (GiB)': 12.91, 'memory/max_allocated (GiB)': 12.91, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.802488327026367, 'tokens/total': 23089264, 'tokens/trainable': 43014, 'epoch': 0.36}
|
||
18%|██████████████████████▎ | 183/1025 [30:41<2:17:16, 9.78s/it]
18%|██████████████████████▍ | 184/1025 [30:50<2:14:59, 9.63s/it]
{'loss': 0.2704, 'grad_norm': 4.52115535736084, 'learning_rate': 1.9107251102063582e-05, 'ppl': 1.31049, 'memory/max_active (GiB)': 15.53, 'memory/max_allocated (GiB)': 15.53, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.766000747680664, 'tokens/total': 23188032, 'tokens/trainable': 43252, 'epoch': 0.36}
|
||
18%|██████████████████████▍ | 184/1025 [30:50<2:14:59, 9.63s/it]
18%|██████████████████████▌ | 185/1025 [30:58<2:09:28, 9.25s/it]
{'loss': 0.3707, 'grad_norm': 6.152499198913574, 'learning_rate': 1.9093882203647928e-05, 'ppl': 1.44875, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.898706436157227, 'tokens/total': 23301072, 'tokens/trainable': 43484, 'epoch': 0.36}
|
||
18%|██████████████████████▌ | 185/1025 [30:58<2:09:28, 9.25s/it]
18%|██████████████████████▋ | 186/1025 [31:07<2:08:40, 9.20s/it]
{'loss': 0.2437, 'grad_norm': 4.600956439971924, 'learning_rate': 1.908041869659665e-05, 'ppl': 1.27596, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.624616622924805, 'tokens/total': 23413584, 'tokens/trainable': 43716, 'epoch': 0.36}
|
||
18%|██████████████████████▋ | 186/1025 [31:07<2:08:40, 9.20s/it]
18%|██████████████████████▊ | 187/1025 [31:20<2:22:58, 10.24s/it]
{'loss': 0.299, 'grad_norm': 5.026529788970947, 'learning_rate': 1.9066860720977988e-05, 'ppl': 1.34851, 'memory/max_active (GiB)': 24.7, 'memory/max_allocated (GiB)': 24.7, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.354135513305664, 'tokens/total': 23549648, 'tokens/trainable': 43960, 'epoch': 0.36}
|
||
18%|██████████████████████▊ | 187/1025 [31:20<2:22:58, 10.24s/it]
18%|██████████████████████▉ | 188/1025 [31:33<2:34:24, 11.07s/it]
{'loss': 0.3337, 'grad_norm': 6.040510654449463, 'learning_rate': 1.905320841784298e-05, 'ppl': 1.39612, 'memory/max_active (GiB)': 24.79, 'memory/max_allocated (GiB)': 24.79, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.432498931884766, 'tokens/total': 23741232, 'tokens/trainable': 44212, 'epoch': 0.37}
|
||
18%|██████████████████████▉ | 188/1025 [31:33<2:34:24, 11.07s/it]
18%|███████████████████████ | 189/1025 [31:41<2:23:06, 10.27s/it]
{'loss': 0.3164, 'grad_norm': 8.759572982788086, 'learning_rate': 1.9039461929224013e-05, 'ppl': 1.37218, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.998653411865234, 'tokens/total': 23861936, 'tokens/trainable': 44438, 'epoch': 0.37}
|
||
18%|███████████████████████ | 189/1025 [31:41<2:23:06, 10.27s/it]
19%|███████████████████████▏ | 190/1025 [31:48<2:08:58, 9.27s/it]
{'loss': 0.2828, 'grad_norm': 9.762524604797363, 'learning_rate': 1.9025621398133333e-05, 'ppl': 1.32684, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 33.41426467895508, 'tokens/total': 23934320, 'tokens/trainable': 44668, 'epoch': 0.37}
|
||
19%|███████████████████████▏ | 190/1025 [31:48<2:08:58, 9.27s/it]
19%|███████████████████████▎ | 191/1025 [31:57<2:08:51, 9.27s/it]
{'loss': 0.2386, 'grad_norm': 5.558157920837402, 'learning_rate': 1.9011686968561567e-05, 'ppl': 1.26947, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.113933563232422, 'tokens/total': 24076000, 'tokens/trainable': 44900, 'epoch': 0.37}
|
||
19%|███████████████████████▎ | 191/1025 [31:58<2:08:51, 9.27s/it]
19%|███████████████████████▍ | 192/1025 [32:06<2:04:49, 8.99s/it]
{'loss': 0.2744, 'grad_norm': 6.293826580047607, 'learning_rate': 1.8997658785476215e-05, 'ppl': 1.31574, 'memory/max_active (GiB)': 13.08, 'memory/max_allocated (GiB)': 13.08, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 30.367488861083984, 'tokens/total': 24143024, 'tokens/trainable': 45152, 'epoch': 0.37}
|
||
19%|███████████████████████▍ | 192/1025 [32:06<2:04:49, 8.99s/it]
19%|███████████████████████▌ | 193/1025 [32:19<2:23:59, 10.38s/it]
{'loss': 0.368, 'grad_norm': 6.086628437042236, 'learning_rate': 1.898353699482014e-05, 'ppl': 1.44484, 'memory/max_active (GiB)': 18.48, 'memory/max_allocated (GiB)': 18.48, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.3619327545166, 'tokens/total': 24317920, 'tokens/trainable': 45388, 'epoch': 0.38}
|
||
19%|███████████████████████▌ | 193/1025 [32:20<2:23:59, 10.38s/it]
19%|███████████████████████▋ | 194/1025 [32:32<2:33:13, 11.06s/it]
{'loss': 0.2868, 'grad_norm': 5.0814409255981445, 'learning_rate': 1.8969321743510067e-05, 'ppl': 1.33216, 'memory/max_active (GiB)': 24.7, 'memory/max_allocated (GiB)': 24.7, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.56171989440918, 'tokens/total': 24477504, 'tokens/trainable': 45622, 'epoch': 0.38}
|
||
19%|███████████████████████▋ | 194/1025 [32:32<2:33:13, 11.06s/it]
19%|███████████████████████▊ | 195/1025 [32:41<2:25:22, 10.51s/it]
{'loss': 0.336, 'grad_norm': 5.167784690856934, 'learning_rate': 1.8955013179435036e-05, 'ppl': 1.39934, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.068439483642578, 'tokens/total': 24598192, 'tokens/trainable': 45852, 'epoch': 0.38}
|
||
19%|███████████████████████▊ | 195/1025 [32:41<2:25:22, 10.51s/it]
19%|███████████████████████▉ | 196/1025 [32:49<2:15:13, 9.79s/it]
{'loss': 0.2485, 'grad_norm': 4.238251209259033, 'learning_rate': 1.894061145145488e-05, 'ppl': 1.2821, 'memory/max_active (GiB)': 14.94, 'memory/max_allocated (GiB)': 14.94, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 30.264009475708008, 'tokens/total': 24700576, 'tokens/trainable': 46096, 'epoch': 0.38}
|
||
19%|███████████████████████▉ | 196/1025 [32:49<2:15:13, 9.79s/it]
19%|████████████████████████ | 197/1025 [32:59<2:15:46, 9.84s/it]
{'loss': 0.354, 'grad_norm': 5.359838485717773, 'learning_rate': 1.892611670939865e-05, 'ppl': 1.42476, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.819576263427734, 'tokens/total': 24798096, 'tokens/trainable': 46362, 'epoch': 0.38}
|
||
19%|████████████████████████ | 197/1025 [32:59<2:15:46, 9.84s/it]
19%|████████████████████████▏ | 198/1025 [33:12<2:28:10, 10.75s/it]
{'loss': 0.3059, 'grad_norm': 8.394612312316895, 'learning_rate': 1.8911529104063093e-05, 'ppl': 1.35785, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.388805389404297, 'tokens/total': 24965328, 'tokens/trainable': 46598, 'epoch': 0.39}
|
||
19%|████████████████████████▏ | 198/1025 [33:12<2:28:10, 10.75s/it]
19%|████████████████████████▎ | 199/1025 [33:25<2:35:50, 11.32s/it]
{'loss': 0.4388, 'grad_norm': 6.3388543128967285, 'learning_rate': 1.8896848787211045e-05, 'ppl': 1.55085, 'memory/max_active (GiB)': 24.7, 'memory/max_allocated (GiB)': 24.7, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.2415771484375, 'tokens/total': 25140224, 'tokens/trainable': 46828, 'epoch': 0.39}
|
||
19%|████████████████████████▎ | 199/1025 [33:25<2:35:50, 11.32s/it]
20%|████████████████████████▍ | 200/1025 [33:38<2:43:42, 11.91s/it]
{'loss': 0.2794, 'grad_norm': 6.392367839813232, 'learning_rate': 1.8882075911569887e-05, 'ppl': 1.32234, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.835161209106445, 'tokens/total': 25304464, 'tokens/trainable': 47064, 'epoch': 0.39}
|
||
20%|████████████████████████▍ | 200/1025 [33:38<2:43:42, 11.91s/it]
20%|████████████████████████▌ | 201/1025 [33:47<2:31:52, 11.06s/it]
{'loss': 0.1349, 'grad_norm': 2.9306223392486572, 'learning_rate': 1.8867210630829934e-05, 'ppl': 1.14442, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.6, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.773496627807617, 'tokens/total': 25358912, 'tokens/trainable': 47306, 'epoch': 0.39}
|
||
20%|████████████████████████▌ | 201/1025 [33:47<2:31:52, 11.06s/it]
20%|████████████████████████▋ | 202/1025 [33:57<2:24:23, 10.53s/it]
{'loss': 0.3466, 'grad_norm': 7.7765679359436035, 'learning_rate': 1.8852253099642835e-05, 'ppl': 1.41425, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.69398307800293, 'tokens/total': 25469328, 'tokens/trainable': 47562, 'epoch': 0.39}
|
||
20%|████████████████████████▋ | 202/1025 [33:57<2:24:23, 10.53s/it]
20%|████████████████████████▊ | 203/1025 [34:10<2:34:27, 11.27s/it]
{'loss': 0.3838, 'grad_norm': 10.297276496887207, 'learning_rate': 1.8837203473619978e-05, 'ppl': 1.46785, 'memory/max_active (GiB)': 24.81, 'memory/max_allocated (GiB)': 24.81, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.881065368652344, 'tokens/total': 25636560, 'tokens/trainable': 47820, 'epoch': 0.4}
|
||
20%|████████████████████████▊ | 203/1025 [34:10<2:34:27, 11.27s/it]
20%|████████████████████████▉ | 204/1025 [34:19<2:26:00, 10.67s/it]
{'loss': 0.3482, 'grad_norm': 7.138890743255615, 'learning_rate': 1.8822061909330866e-05, 'ppl': 1.41652, 'memory/max_active (GiB)': 14.95, 'memory/max_allocated (GiB)': 14.95, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.510082244873047, 'tokens/total': 25767584, 'tokens/trainable': 48046, 'epoch': 0.4}
|
||
20%|████████████████████████▉ | 204/1025 [34:19<2:26:00, 10.67s/it]
20%|█████████████████████████ | 205/1025 [34:27<2:16:25, 9.98s/it]
{'loss': 0.2815, 'grad_norm': 7.27720308303833, 'learning_rate': 1.8806828564301475e-05, 'ppl': 1.32512, 'memory/max_active (GiB)': 16.96, 'memory/max_allocated (GiB)': 16.96, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 29.04214859008789, 'tokens/total': 25878128, 'tokens/trainable': 48288, 'epoch': 0.4}
|
||
20%|█████████████████████████ | 205/1025 [34:27<2:16:25, 9.98s/it]
20%|█████████████████████████ | 206/1025 [34:40<2:28:40, 10.89s/it]
{'loss': 0.38, 'grad_norm': 7.204294204711914, 'learning_rate': 1.8791503597012643e-05, 'ppl': 1.46228, 'memory/max_active (GiB)': 14.06, 'memory/max_allocated (GiB)': 14.06, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.269729614257812, 'tokens/total': 26021872, 'tokens/trainable': 48512, 'epoch': 0.4}
|
||
20%|█████████████████████████ | 206/1025 [34:40<2:28:40, 10.89s/it]
20%|█████████████████████████▏ | 207/1025 [34:54<2:38:19, 11.61s/it]
{'loss': 0.3329, 'grad_norm': 6.49057674407959, 'learning_rate': 1.8776087166898392e-05, 'ppl': 1.39501, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.64, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.70752716064453, 'tokens/total': 26140784, 'tokens/trainable': 48760, 'epoch': 0.4}
|
||
20%|█████████████████████████▏ | 207/1025 [34:54<2:38:19, 11.61s/it]
20%|█████████████████████████▎ | 208/1025 [35:01<2:22:40, 10.48s/it]
{'loss': 0.242, 'grad_norm': 4.481779098510742, 'learning_rate': 1.8760579434344283e-05, 'ppl': 1.27379, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 30.31290054321289, 'tokens/total': 26248144, 'tokens/trainable': 48996, 'epoch': 0.41}
|
||
20%|█████████████████████████▎ | 208/1025 [35:01<2:22:40, 10.48s/it]
20%|█████████████████████████▍ | 209/1025 [35:10<2:13:57, 9.85s/it]
{'loss': 0.2828, 'grad_norm': 4.593250274658203, 'learning_rate': 1.8744980560685748e-05, 'ppl': 1.32684, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 28.521879196166992, 'tokens/total': 26363968, 'tokens/trainable': 49234, 'epoch': 0.41}
|
||
20%|█████████████████████████▍ | 209/1025 [35:10<2:13:57, 9.85s/it]
20%|█████████████████████████▌ | 210/1025 [35:19<2:11:23, 9.67s/it]
{'loss': 0.3249, 'grad_norm': 5.246860504150391, 'learning_rate': 1.8729290708206412e-05, 'ppl': 1.38389, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.384033203125, 'tokens/total': 26476768, 'tokens/trainable': 49468, 'epoch': 0.41}
|
||
20%|█████████████████████████▌ | 210/1025 [35:19<2:11:23, 9.67s/it]
21%|█████████████████████████▋ | 211/1025 [35:32<2:22:50, 10.53s/it]
{'loss': 0.2907, 'grad_norm': 6.1859588623046875, 'learning_rate': 1.8713510040136402e-05, 'ppl': 1.33736, 'memory/max_active (GiB)': 24.7, 'memory/max_allocated (GiB)': 24.7, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.26360511779785, 'tokens/total': 26636352, 'tokens/trainable': 49696, 'epoch': 0.41}
|
||
21%|█████████████████████████▋ | 211/1025 [35:32<2:22:50, 10.53s/it]
21%|█████████████████████████▊ | 212/1025 [35:41<2:17:00, 10.11s/it]
{'loss': 0.3352, 'grad_norm': 5.589541435241699, 'learning_rate': 1.8697638720650647e-05, 'ppl': 1.39822, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.162893295288086, 'tokens/total': 26731824, 'tokens/trainable': 49934, 'epoch': 0.41}
|
||
21%|█████████████████████████▊ | 212/1025 [35:41<2:17:00, 10.11s/it]
21%|█████████████████████████▉ | 213/1025 [35:49<2:09:56, 9.60s/it]
{'loss': 0.4255, 'grad_norm': 6.530437469482422, 'learning_rate': 1.8681676914867176e-05, 'ppl': 1.53036, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.95074462890625, 'tokens/total': 26844864, 'tokens/trainable': 50168, 'epoch': 0.42}
|
||
21%|█████████████████████████▉ | 213/1025 [35:49<2:09:56, 9.60s/it]
21%|██████████████████████████ | 214/1025 [36:02<2:24:26, 10.69s/it]
{'loss': 0.3635, 'grad_norm': 6.29723596572876, 'learning_rate': 1.8665624788845387e-05, 'ppl': 1.43835, 'memory/max_active (GiB)': 24.72, 'memory/max_allocated (GiB)': 24.72, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 16.551733016967773, 'tokens/total': 27093840, 'tokens/trainable': 50386, 'epoch': 0.42}
|
||
21%|██████████████████████████ | 214/1025 [36:02<2:24:26, 10.69s/it]
21%|██████████████████████████▏ | 215/1025 [36:11<2:15:07, 10.01s/it]
{'loss': 0.2975, 'grad_norm': 6.938662052154541, 'learning_rate': 1.864948250958434e-05, 'ppl': 1.34649, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 30.031137466430664, 'tokens/total': 27180528, 'tokens/trainable': 50638, 'epoch': 0.42}
|
||
21%|██████████████████████████▏ | 215/1025 [36:11<2:15:07, 10.01s/it]
21%|██████████████████████████▎ | 216/1025 [36:20<2:11:11, 9.73s/it]
{'loss': 0.2719, 'grad_norm': 4.446390151977539, 'learning_rate': 1.863325024502101e-05, 'ppl': 1.31246, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.789470672607422, 'tokens/total': 27269392, 'tokens/trainable': 50880, 'epoch': 0.42}
|
||
21%|██████████████████████████▎ | 216/1025 [36:20<2:11:11, 9.73s/it]
21%|██████████████████████████▍ | 217/1025 [36:27<2:02:29, 9.10s/it]
{'loss': 0.2474, 'grad_norm': 4.13314962387085, 'learning_rate': 1.861692816402852e-05, 'ppl': 1.28069, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 31.685916900634766, 'tokens/total': 27356432, 'tokens/trainable': 51120, 'epoch': 0.42}
|
||
21%|██████████████████████████▍ | 217/1025 [36:27<2:02:29, 9.10s/it]
21%|██████████████████████████▌ | 218/1025 [36:37<2:03:15, 9.16s/it]
{'loss': 0.347, 'grad_norm': 6.388357639312744, 'learning_rate': 1.860051643641443e-05, 'ppl': 1.41482, 'memory/max_active (GiB)': 17.04, 'memory/max_allocated (GiB)': 17.04, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.13346290588379, 'tokens/total': 27490464, 'tokens/trainable': 51344, 'epoch': 0.42}
|
||
21%|██████████████████████████▌ | 218/1025 [36:37<2:03:15, 9.16s/it]
21%|██████████████████████████▋ | 219/1025 [36:49<2:16:58, 10.20s/it]
{'loss': 0.3384, 'grad_norm': 7.985801696777344, 'learning_rate': 1.858401523291892e-05, 'ppl': 1.4027, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 16.553571701049805, 'tokens/total': 27659680, 'tokens/trainable': 51552, 'epoch': 0.43}
|
||
21%|██████████████████████████▋ | 219/1025 [36:49<2:16:58, 10.20s/it]
21%|██████████████████████████▊ | 220/1025 [36:57<2:06:47, 9.45s/it]
{'loss': 0.3341, 'grad_norm': 5.387790679931641, 'learning_rate': 1.856742472521304e-05, 'ppl': 1.39668, 'memory/max_active (GiB)': 12.8, 'memory/max_allocated (GiB)': 12.8, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 30.52705955505371, 'tokens/total': 27738176, 'tokens/trainable': 51786, 'epoch': 0.43}
|
||
21%|██████████████████████████▊ | 220/1025 [36:57<2:06:47, 9.45s/it]
22%|██████████████████████████▉ | 221/1025 [37:10<2:21:33, 10.56s/it]
{'loss': 0.2628, 'grad_norm': 4.075053691864014, 'learning_rate': 1.8550745085896932e-05, 'ppl': 1.30057, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.684965133666992, 'tokens/total': 27907392, 'tokens/trainable': 52018, 'epoch': 0.43}
|
||
22%|██████████████████████████▉ | 221/1025 [37:10<2:21:33, 10.56s/it]
22%|███████████████████████████ | 222/1025 [37:18<2:09:39, 9.69s/it]
{'loss': 0.1807, 'grad_norm': 4.407545566558838, 'learning_rate': 1.853397648849802e-05, 'ppl': 1.19806, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 31.824344635009766, 'tokens/total': 27990848, 'tokens/trainable': 52260, 'epoch': 0.43}
|
||
22%|███████████████████████████ | 222/1025 [37:18<2:09:39, 9.69s/it]
22%|███████████████████████████▏ | 223/1025 [37:26<2:04:46, 9.33s/it]
{'loss': 0.2327, 'grad_norm': 4.446051597595215, 'learning_rate': 1.8517119107469194e-05, 'ppl': 1.262, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.92085075378418, 'tokens/total': 28093040, 'tokens/trainable': 52488, 'epoch': 0.43}
|
||
22%|███████████████████████████▏ | 223/1025 [37:26<2:04:46, 9.33s/it]
22%|███████████████████████████▎ | 224/1025 [37:36<2:04:20, 9.31s/it]
{'loss': 0.2217, 'grad_norm': 4.56964635848999, 'learning_rate': 1.8500173118187018e-05, 'ppl': 1.2482, 'memory/max_active (GiB)': 13.79, 'memory/max_allocated (GiB)': 13.79, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.290441513061523, 'tokens/total': 28194704, 'tokens/trainable': 52712, 'epoch': 0.44}
|
||
22%|███████████████████████████▎ | 224/1025 [37:36<2:04:20, 9.31s/it]
22%|███████████████████████████▍ | 225/1025 [37:44<1:59:39, 8.97s/it]
{'loss': 0.4406, 'grad_norm': 6.76097297668457, 'learning_rate': 1.848313869694991e-05, 'ppl': 1.55364, 'memory/max_active (GiB)': 15.61, 'memory/max_allocated (GiB)': 15.61, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 29.489635467529297, 'tokens/total': 28305760, 'tokens/trainable': 52952, 'epoch': 0.44}
|
||
22%|███████████████████████████▍ | 225/1025 [37:44<1:59:39, 8.97s/it]
22%|███████████████████████████▌ | 226/1025 [37:53<2:00:54, 9.08s/it]
{'loss': 0.2243, 'grad_norm': 4.708402156829834, 'learning_rate': 1.846601602097627e-05, 'ppl': 1.25145, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.132816314697266, 'tokens/total': 28441760, 'tokens/trainable': 53176, 'epoch': 0.44}
|
||
22%|███████████████████████████▌ | 226/1025 [37:53<2:00:54, 9.08s/it]
22%|███████████████████████████▋ | 227/1025 [38:02<1:58:11, 8.89s/it]
{'loss': 0.2155, 'grad_norm': 4.639136791229248, 'learning_rate': 1.8448805268402673e-05, 'ppl': 1.24048, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.63, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 28.35065460205078, 'tokens/total': 28513952, 'tokens/trainable': 53414, 'epoch': 0.44}
|
||
22%|███████████████████████████▋ | 227/1025 [38:02<1:58:11, 8.89s/it]
22%|███████████████████████████▊ | 228/1025 [38:11<1:59:02, 8.96s/it]
{'loss': 0.2417, 'grad_norm': 4.297018527984619, 'learning_rate': 1.8431506618282e-05, 'ppl': 1.27341, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.159029006958008, 'tokens/total': 28632144, 'tokens/trainable': 53652, 'epoch': 0.44}
|
||
22%|███████████████████████████▊ | 228/1025 [38:11<1:59:02, 8.96s/it]
22%|███████████████████████████▉ | 229/1025 [38:18<1:53:49, 8.58s/it]
{'loss': 0.3787, 'grad_norm': 9.432098388671875, 'learning_rate': 1.8414120250581584e-05, 'ppl': 1.46038, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 37.39371871948242, 'tokens/total': 28721168, 'tokens/trainable': 53938, 'epoch': 0.45}
|
||
22%|███████████████████████████▉ | 229/1025 [38:18<1:53:49, 8.58s/it]
22%|████████████████████████████ | 230/1025 [38:31<2:11:18, 9.91s/it]
{'loss': 0.5169, 'grad_norm': 8.455764770507812, 'learning_rate': 1.8396646346181327e-05, 'ppl': 1.67682, 'memory/max_active (GiB)': 24.82, 'memory/max_allocated (GiB)': 24.82, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 21.28057289123535, 'tokens/total': 28864224, 'tokens/trainable': 54214, 'epoch': 0.45}
|
||
22%|████████████████████████████ | 230/1025 [38:31<2:11:18, 9.91s/it]
23%|████████████████████████████▏ | 231/1025 [38:41<2:08:31, 9.71s/it]
{'loss': 0.3181, 'grad_norm': 5.260034561157227, 'learning_rate': 1.8379085086871818e-05, 'ppl': 1.37451, 'memory/max_active (GiB)': 16.94, 'memory/max_allocated (GiB)': 16.94, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.498842239379883, 'tokens/total': 28992576, 'tokens/trainable': 54458, 'epoch': 0.45}
|
||
23%|████████████████████████████▏ | 231/1025 [38:41<2:08:31, 9.71s/it]
23%|████████████████████████████▎ | 232/1025 [38:49<2:00:58, 9.15s/it]
{'loss': 0.3302, 'grad_norm': 7.26024866104126, 'learning_rate': 1.8361436655352456e-05, 'ppl': 1.39125, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 28.690126419067383, 'tokens/total': 29085744, 'tokens/trainable': 54682, 'epoch': 0.45}
|
||
23%|████████████████████████████▎ | 232/1025 [38:49<2:00:58, 9.15s/it]
23%|████████████████████████████▍ | 233/1025 [38:57<1:57:30, 8.90s/it]
{'loss': 0.578, 'grad_norm': 11.525432586669922, 'learning_rate': 1.834370123522954e-05, 'ppl': 1.78247, 'memory/max_active (GiB)': 16.96, 'memory/max_allocated (GiB)': 16.96, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.83039665222168, 'tokens/total': 29198784, 'tokens/trainable': 54904, 'epoch': 0.45}
|
||
23%|████████████████████████████▍ | 233/1025 [38:57<1:57:30, 8.90s/it]
23%|████████████████████████████▌ | 234/1025 [39:06<1:58:44, 9.01s/it]
{'loss': 0.3271, 'grad_norm': 5.57700777053833, 'learning_rate': 1.832587901101435e-05, 'ppl': 1.38694, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.927724838256836, 'tokens/total': 29287264, 'tokens/trainable': 55152, 'epoch': 0.46}
|
||
23%|████████████████████████████▌ | 234/1025 [39:06<1:58:44, 9.01s/it]
23%|████████████████████████████▋ | 235/1025 [39:19<2:14:55, 10.25s/it]
{'loss': 0.319, 'grad_norm': 6.742487907409668, 'learning_rate': 1.8307970168121247e-05, 'ppl': 1.37575, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.2525577545166, 'tokens/total': 29462160, 'tokens/trainable': 55378, 'epoch': 0.46}
|
||
23%|████████████████████████████▋ | 235/1025 [39:19<2:14:55, 10.25s/it]
23%|████████████████████████████▊ | 236/1025 [39:29<2:11:04, 9.97s/it]
{'loss': 0.2905, 'grad_norm': 4.147905349731445, 'learning_rate': 1.828997489286573e-05, 'ppl': 1.3371, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.799930572509766, 'tokens/total': 29603840, 'tokens/trainable': 55608, 'epoch': 0.46}
|
||
23%|████████████████████████████▊ | 236/1025 [39:29<2:11:04, 9.97s/it]
23%|████████████████████████████▉ | 237/1025 [39:38<2:08:13, 9.76s/it]
{'loss': 0.4119, 'grad_norm': 8.470285415649414, 'learning_rate': 1.8271893372462496e-05, 'ppl': 1.50968, 'memory/max_active (GiB)': 18.62, 'memory/max_allocated (GiB)': 18.62, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.262075424194336, 'tokens/total': 29724528, 'tokens/trainable': 55860, 'epoch': 0.46}
|
||
23%|████████████████████████████▉ | 237/1025 [39:38<2:08:13, 9.76s/it]
23%|█████████████████████████████ | 238/1025 [39:46<1:59:56, 9.14s/it]
{'loss': 0.3418, 'grad_norm': 6.774814128875732, 'learning_rate': 1.8253725795023504e-05, 'ppl': 1.40748, 'memory/max_active (GiB)': 15.96, 'memory/max_allocated (GiB)': 15.96, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 32.644100189208984, 'tokens/total': 29811856, 'tokens/trainable': 56110, 'epoch': 0.46}
|
||
23%|█████████████████████████████ | 238/1025 [39:46<1:59:56, 9.14s/it]
23%|█████████████████████████████▏ | 239/1025 [39:55<1:59:55, 9.15s/it]
{'loss': 0.2874, 'grad_norm': 4.233402729034424, 'learning_rate': 1.8235472349556008e-05, 'ppl': 1.33296, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.9222412109375, 'tokens/total': 29919152, 'tokens/trainable': 56356, 'epoch': 0.47}
|
||
23%|█████████████████████████████▏ | 239/1025 [39:55<1:59:55, 9.15s/it]
23%|█████████████████████████████▎ | 240/1025 [40:04<1:59:38, 9.14s/it]
{'loss': 0.2927, 'grad_norm': 5.4862518310546875, 'learning_rate': 1.8217133225960597e-05, 'ppl': 1.34004, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.450576782226562, 'tokens/total': 30031664, 'tokens/trainable': 56578, 'epoch': 0.47}
|
||
23%|█████████████████████████████▎ | 240/1025 [40:04<1:59:38, 9.14s/it]
24%|█████████████████████████████▍ | 241/1025 [40:13<2:00:15, 9.20s/it]
{'loss': 0.368, 'grad_norm': 7.094412803649902, 'learning_rate': 1.8198708615029215e-05, 'ppl': 1.44484, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 23.44208335876465, 'tokens/total': 30180992, 'tokens/trainable': 56796, 'epoch': 0.47}
|
||
24%|█████████████████████████████▍ | 241/1025 [40:13<2:00:15, 9.20s/it]
24%|█████████████████████████████▌ | 242/1025 [40:26<2:15:12, 10.36s/it]
{'loss': 0.3135, 'grad_norm': 4.470777988433838, 'learning_rate': 1.8180198708443172e-05, 'ppl': 1.36821, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.054595947265625, 'tokens/total': 30389104, 'tokens/trainable': 57018, 'epoch': 0.47}
|
||
24%|█████████████████████████████▌ | 242/1025 [40:26<2:15:12, 10.36s/it]
24%|█████████████████████████████▋ | 243/1025 [40:34<2:05:25, 9.62s/it]
{'loss': 0.2729, 'grad_norm': 5.272281646728516, 'learning_rate': 1.816160369877117e-05, 'ppl': 1.31377, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 29.246458053588867, 'tokens/total': 30486704, 'tokens/trainable': 57248, 'epoch': 0.47}
|
||
24%|█████████████████████████████▋ | 243/1025 [40:34<2:05:25, 9.62s/it]
24%|█████████████████████████████▊ | 244/1025 [40:44<2:05:12, 9.62s/it]
{'loss': 0.3471, 'grad_norm': 5.867295742034912, 'learning_rate': 1.814292377946727e-05, 'ppl': 1.41496, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 23.20792579650879, 'tokens/total': 30609376, 'tokens/trainable': 57470, 'epoch': 0.48}
|
||
24%|█████████████████████████████▊ | 244/1025 [40:44<2:05:12, 9.62s/it]
24%|█████████████████████████████▉ | 245/1025 [40:57<2:18:26, 10.65s/it]
{'loss': 0.182, 'grad_norm': 4.713748931884766, 'learning_rate': 1.81241591448689e-05, 'ppl': 1.19961, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.68, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.521289825439453, 'tokens/total': 30718800, 'tokens/trainable': 57698, 'epoch': 0.48}
|
||
24%|█████████████████████████████▉ | 245/1025 [40:57<2:18:26, 10.65s/it]
24%|██████████████████████████████ | 246/1025 [41:06<2:12:54, 10.24s/it]
{'loss': 0.322, 'grad_norm': 4.235691547393799, 'learning_rate': 1.8105309990194823e-05, 'ppl': 1.37988, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.991804122924805, 'tokens/total': 30854800, 'tokens/trainable': 57938, 'epoch': 0.48}
|
||
24%|██████████████████████████████ | 246/1025 [41:06<2:12:54, 10.24s/it]
24%|██████████████████████████████ | 247/1025 [41:15<2:08:14, 9.89s/it]
{'loss': 0.2351, 'grad_norm': 4.180695533752441, 'learning_rate': 1.8086376511543127e-05, 'ppl': 1.26504, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.21918487548828, 'tokens/total': 30970512, 'tokens/trainable': 58166, 'epoch': 0.48}
|
||
24%|██████████████████████████████ | 247/1025 [41:15<2:08:14, 9.89s/it]
24%|██████████████████████████████▏ | 248/1025 [41:25<2:06:50, 9.80s/it]
{'loss': 0.3148, 'grad_norm': 5.864325523376465, 'learning_rate': 1.8067358905889148e-05, 'ppl': 1.36999, 'memory/max_active (GiB)': 12.91, 'memory/max_allocated (GiB)': 12.91, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.392860412597656, 'tokens/total': 31089472, 'tokens/trainable': 58408, 'epoch': 0.48}
|
||
24%|██████████████████████████████▏ | 248/1025 [41:25<2:06:50, 9.80s/it]
24%|██████████████████████████████▎ | 249/1025 [41:38<2:18:51, 10.74s/it]
{'loss': 0.2303, 'grad_norm': 4.3524274826049805, 'learning_rate': 1.8048257371083454e-05, 'ppl': 1.25898, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.615375518798828, 'tokens/total': 31264368, 'tokens/trainable': 58648, 'epoch': 0.49}
|
||
24%|██████████████████████████████▎ | 249/1025 [41:38<2:18:51, 10.74s/it]
24%|██████████████████████████████▍ | 250/1025 [41:50<2:26:29, 11.34s/it]
{'loss': 0.2829, 'grad_norm': 5.2414774894714355, 'learning_rate': 1.8029072105849767e-05, 'ppl': 1.32697, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.623348236083984, 'tokens/total': 31433584, 'tokens/trainable': 58872, 'epoch': 0.49}
|
||
24%|██████████████████████████████▍ | 250/1025 [41:50<2:26:29, 11.34s/it]
24%|██████████████████████████████▌ | 251/1025 [42:03<2:32:11, 11.80s/it]
{'loss': 0.2961, 'grad_norm': 4.8031415939331055, 'learning_rate': 1.8009803309782907e-05, 'ppl': 1.3446, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.40631103515625, 'tokens/total': 31595152, 'tokens/trainable': 59108, 'epoch': 0.49}
|
||
24%|██████████████████████████████▌ | 251/1025 [42:03<2:32:11, 11.80s/it]
25%|██████████████████████████████▋ | 252/1025 [42:13<2:23:40, 11.15s/it]
{'loss': 0.2466, 'grad_norm': 7.281625747680664, 'learning_rate': 1.799045118334671e-05, 'ppl': 1.27967, 'memory/max_active (GiB)': 14.95, 'memory/max_allocated (GiB)': 14.95, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 22.286746978759766, 'tokens/total': 31726176, 'tokens/trainable': 59322, 'epoch': 0.49}
|
||
25%|██████████████████████████████▋ | 252/1025 [42:13<2:23:40, 11.15s/it]
25%|██████████████████████████████▊ | 253/1025 [42:22<2:15:15, 10.51s/it]
{'loss': 0.3744, 'grad_norm': 5.888782501220703, 'learning_rate': 1.797101592787194e-05, 'ppl': 1.45412, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.84337043762207, 'tokens/total': 31838000, 'tokens/trainable': 59572, 'epoch': 0.49}
|
||
25%|██████████████████████████████▊ | 253/1025 [42:22<2:15:15, 10.51s/it]
25%|██████████████████████████████▉ | 254/1025 [42:35<2:24:54, 11.28s/it]
{'loss': 0.263, 'grad_norm': 7.289394855499268, 'learning_rate': 1.795149774555421e-05, 'ppl': 1.30083, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.513641357421875, 'tokens/total': 31997584, 'tokens/trainable': 59800, 'epoch': 0.5}
|
||
25%|██████████████████████████████▉ | 254/1025 [42:35<2:24:54, 11.28s/it]
25%|███████████████████████████████ | 255/1025 [42:44<2:16:23, 10.63s/it]
{'loss': 0.1773, 'grad_norm': 5.6366729736328125, 'learning_rate': 1.7931896839451846e-05, 'ppl': 1.19399, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.13812255859375, 'tokens/total': 32123424, 'tokens/trainable': 60028, 'epoch': 0.5}
|
||
25%|███████████████████████████████ | 255/1025 [42:44<2:16:23, 10.63s/it]
25%|███████████████████████████████▏ | 256/1025 [42:57<2:23:44, 11.22s/it]
{'loss': 0.2931, 'grad_norm': 5.427652835845947, 'learning_rate': 1.791221341348381e-05, 'ppl': 1.34058, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.014631271362305, 'tokens/total': 32298320, 'tokens/trainable': 60254, 'epoch': 0.5}
|
||
25%|███████████████████████████████▏ | 256/1025 [42:57<2:23:44, 11.22s/it]
25%|███████████████████████████████▎ | 257/1025 [43:05<2:13:09, 10.40s/it]
{'loss': 0.2258, 'grad_norm': 4.1331467628479, 'learning_rate': 1.789244767242756e-05, 'ppl': 1.25332, 'memory/max_active (GiB)': 17.03, 'memory/max_allocated (GiB)': 17.03, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.744367599487305, 'tokens/total': 32417040, 'tokens/trainable': 60472, 'epoch': 0.5}
|
||
25%|███████████████████████████████▎ | 257/1025 [43:05<2:13:09, 10.40s/it]
25%|███████████████████████████████▍ | 258/1025 [43:14<2:05:19, 9.80s/it]
{'loss': 0.2769, 'grad_norm': 5.174742221832275, 'learning_rate': 1.7872599821916922e-05, 'ppl': 1.31903, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.018590927124023, 'tokens/total': 32532064, 'tokens/trainable': 60698, 'epoch': 0.5}
|
||
25%|███████████████████████████████▍ | 258/1025 [43:14<2:05:19, 9.80s/it]
25%|███████████████████████████████▌ | 259/1025 [43:27<2:20:22, 11.00s/it]
{'loss': 0.2842, 'grad_norm': 4.560871601104736, 'learning_rate': 1.7852670068439954e-05, 'ppl': 1.3287, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 16.017309188842773, 'tokens/total': 32699296, 'tokens/trainable': 60918, 'epoch': 0.5}
|
||
25%|███████████████████████████████▌ | 259/1025 [43:27<2:20:22, 11.00s/it]
25%|███████████████████████████████▋ | 260/1025 [43:40<2:27:01, 11.53s/it]
{'loss': 0.2319, 'grad_norm': 5.0634613037109375, 'learning_rate': 1.7832658619336794e-05, 'ppl': 1.26099, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.05583953857422, 'tokens/total': 32858880, 'tokens/trainable': 61148, 'epoch': 0.51}
|
||
25%|███████████████████████████████▋ | 260/1025 [43:40<2:27:01, 11.53s/it]
25%|███████████████████████████████▊ | 261/1025 [43:49<2:18:10, 10.85s/it]
{'loss': 0.2663, 'grad_norm': 4.010653495788574, 'learning_rate': 1.7812565682797494e-05, 'ppl': 1.30513, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.50337791442871, 'tokens/total': 32985248, 'tokens/trainable': 61374, 'epoch': 0.51}
|
||
25%|███████████████████████████████▊ | 261/1025 [43:49<2:18:10, 10.85s/it]
26%|███████████████████████████████▉ | 262/1025 [43:59<2:12:34, 10.43s/it]
{'loss': 0.2709, 'grad_norm': 4.681501865386963, 'learning_rate': 1.7792391467859886e-05, 'ppl': 1.31114, 'memory/max_active (GiB)': 18.64, 'memory/max_allocated (GiB)': 18.64, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.91506004333496, 'tokens/total': 33121248, 'tokens/trainable': 61608, 'epoch': 0.51}
|
||
26%|███████████████████████████████▉ | 262/1025 [43:59<2:12:34, 10.43s/it]
26%|████████████████████████████████ | 263/1025 [44:08<2:07:29, 10.04s/it]
{'loss': 0.4224, 'grad_norm': 8.109354019165039, 'learning_rate': 1.7772136184407367e-05, 'ppl': 1.52562, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.713558197021484, 'tokens/total': 33247616, 'tokens/trainable': 61860, 'epoch': 0.51}
|
||
26%|████████████████████████████████ | 263/1025 [44:08<2:07:29, 10.04s/it]
26%|████████████████████████████████▏ | 264/1025 [44:16<1:58:43, 9.36s/it]
{'loss': 0.3065, 'grad_norm': 5.230940341949463, 'learning_rate': 1.7751800043166745e-05, 'ppl': 1.35866, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 31.270788192749023, 'tokens/total': 33344816, 'tokens/trainable': 62102, 'epoch': 0.51}
|
||
26%|████████████████████████████████▏ | 264/1025 [44:16<1:58:43, 9.36s/it]
26%|████████████████████████████████▎ | 265/1025 [44:29<2:12:37, 10.47s/it]
{'loss': 0.3945, 'grad_norm': 5.986433506011963, 'learning_rate': 1.7731383255706027e-05, 'ppl': 1.48364, 'memory/max_active (GiB)': 24.67, 'memory/max_allocated (GiB)': 24.67, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.822473526000977, 'tokens/total': 33545264, 'tokens/trainable': 62360, 'epoch': 0.52}
|
||
26%|████████████████████████████████▎ | 265/1025 [44:29<2:12:37, 10.47s/it]
26%|████████████████████████████████▍ | 266/1025 [44:37<2:03:49, 9.79s/it]
{'loss': 0.2248, 'grad_norm': 4.022609710693359, 'learning_rate': 1.7710886034432237e-05, 'ppl': 1.25207, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 32.12298583984375, 'tokens/total': 33637072, 'tokens/trainable': 62622, 'epoch': 0.52}
|
||
26%|████████████████████████████████▍ | 266/1025 [44:37<2:03:49, 9.79s/it]
26%|████████████████████████████████▌ | 267/1025 [44:46<2:01:46, 9.64s/it]
{'loss': 0.2972, 'grad_norm': 12.664831161499023, 'learning_rate': 1.7690308592589184e-05, 'ppl': 1.34608, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.43794059753418, 'tokens/total': 33778752, 'tokens/trainable': 62848, 'epoch': 0.52}
|
||
26%|████████████████████████████████▌ | 267/1025 [44:46<2:01:46, 9.64s/it]
26%|████████████████████████████████▋ | 268/1025 [44:59<2:14:38, 10.67s/it]
{'loss': 0.2573, 'grad_norm': 14.428583145141602, 'learning_rate': 1.7669651144255265e-05, 'ppl': 1.29343, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.79191017150879, 'tokens/total': 33914416, 'tokens/trainable': 63080, 'epoch': 0.52}
|
||
26%|████████████████████████████████▋ | 268/1025 [44:59<2:14:38, 10.67s/it]
26%|████████████████████████████████▊ | 269/1025 [45:06<2:00:13, 9.54s/it]
{'loss': 0.3638, 'grad_norm': 20.338699340820312, 'learning_rate': 1.7648913904341227e-05, 'ppl': 1.43879, 'memory/max_active (GiB)': 13.08, 'memory/max_allocated (GiB)': 13.08, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 32.35377883911133, 'tokens/total': 33983632, 'tokens/trainable': 63302, 'epoch': 0.52}
|
||
26%|████████████████████████████████▊ | 269/1025 [45:06<2:00:13, 9.54s/it]
26%|████████████████████████████████▉ | 270/1025 [45:14<1:53:48, 9.04s/it]
{'loss': 0.2783, 'grad_norm': 7.142294406890869, 'learning_rate': 1.762809708858793e-05, 'ppl': 1.32088, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 32.63227462768555, 'tokens/total': 34077424, 'tokens/trainable': 63558, 'epoch': 0.53}
|
||
26%|████████████████████████████████▉ | 270/1025 [45:14<1:53:48, 9.04s/it]
26%|█████████████████████████████████ | 271/1025 [45:23<1:54:00, 9.07s/it]
{'loss': 0.3044, 'grad_norm': 6.541897773742676, 'learning_rate': 1.7607200913564105e-05, 'ppl': 1.35581, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.4119873046875, 'tokens/total': 34174944, 'tokens/trainable': 63780, 'epoch': 0.53}
|
||
26%|█████████████████████████████████ | 271/1025 [45:23<1:54:00, 9.07s/it]
27%|█████████████████████████████████▏ | 272/1025 [45:32<1:53:53, 9.07s/it]
{'loss': 0.3974, 'grad_norm': 7.357981204986572, 'learning_rate': 1.7586225596664102e-05, 'ppl': 1.48795, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.995248794555664, 'tokens/total': 34286768, 'tokens/trainable': 64024, 'epoch': 0.53}
|
||
27%|█████████████████████████████████▏ | 272/1025 [45:32<1:53:53, 9.07s/it]
27%|█████████████████████████████████▎ | 273/1025 [45:40<1:48:29, 8.66s/it]
{'loss': 0.3611, 'grad_norm': 6.56955623626709, 'learning_rate': 1.7565171356105627e-05, 'ppl': 1.43491, 'memory/max_active (GiB)': 13.8, 'memory/max_allocated (GiB)': 13.8, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 31.150543212890625, 'tokens/total': 34373120, 'tokens/trainable': 64262, 'epoch': 0.53}
|
||
27%|█████████████████████████████████▎ | 273/1025 [45:40<1:48:29, 8.66s/it]
27%|█████████████████████████████████▍ | 274/1025 [45:49<1:50:06, 8.80s/it]
{'loss': 0.1875, 'grad_norm': 4.763453006744385, 'learning_rate': 1.7544038410927474e-05, 'ppl': 1.20623, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.765871047973633, 'tokens/total': 34483648, 'tokens/trainable': 64496, 'epoch': 0.53}
|
||
27%|█████████████████████████████████▍ | 274/1025 [45:49<1:50:06, 8.80s/it]
27%|█████████████████████████████████▌ | 275/1025 [45:58<1:51:18, 8.90s/it]
{'loss': 0.2983, 'grad_norm': 5.722201347351074, 'learning_rate': 1.752282698098724e-05, 'ppl': 1.34757, 'memory/max_active (GiB)': 16.08, 'memory/max_allocated (GiB)': 16.08, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.574525833129883, 'tokens/total': 34596160, 'tokens/trainable': 64720, 'epoch': 0.54}
|
||
27%|█████████████████████████████████▌ | 275/1025 [45:58<1:51:18, 8.90s/it]
27%|█████████████████████████████████▋ | 276/1025 [46:08<1:52:14, 8.99s/it]
{'loss': 0.2572, 'grad_norm': 5.402853965759277, 'learning_rate': 1.750153728695904e-05, 'ppl': 1.2933, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.869935989379883, 'tokens/total': 34716848, 'tokens/trainable': 64966, 'epoch': 0.54}
|
||
27%|█████████████████████████████████▋ | 276/1025 [46:08<1:52:14, 8.99s/it]
27%|█████████████████████████████████▊ | 277/1025 [46:21<2:07:02, 10.19s/it]
{'loss': 0.2755, 'grad_norm': 4.451348304748535, 'learning_rate': 1.7480169550331232e-05, 'ppl': 1.31719, 'memory/max_active (GiB)': 17.06, 'memory/max_allocated (GiB)': 17.06, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 16.842676162719727, 'tokens/total': 34878416, 'tokens/trainable': 65184, 'epoch': 0.54}
|
||
27%|█████████████████████████████████▊ | 277/1025 [46:21<2:07:02, 10.19s/it]
27%|█████████████████████████████████▉ | 278/1025 [46:29<2:00:38, 9.69s/it]
{'loss': 0.2027, 'grad_norm': 4.36525821685791, 'learning_rate': 1.7458723993404065e-05, 'ppl': 1.22471, 'memory/max_active (GiB)': 15.98, 'memory/max_allocated (GiB)': 15.98, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.351306915283203, 'tokens/total': 34999120, 'tokens/trainable': 65416, 'epoch': 0.54}
|
||
27%|█████████████████████████████████▉ | 278/1025 [46:29<2:00:38, 9.69s/it]
27%|██████████████████████████████████ | 279/1025 [46:42<2:11:19, 10.56s/it]
{'loss': 0.2881, 'grad_norm': 5.632261753082275, 'learning_rate': 1.743720083928741e-05, 'ppl': 1.33389, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.365264892578125, 'tokens/total': 35168336, 'tokens/trainable': 65634, 'epoch': 0.54}
|
||
27%|██████████████████████████████████ | 279/1025 [46:42<2:11:19, 10.56s/it]
27%|██████████████████████████████████▏ | 280/1025 [46:51<2:05:23, 10.10s/it]
{'loss': 0.2635, 'grad_norm': 5.0449113845825195, 'learning_rate': 1.7415600311898436e-05, 'ppl': 1.30148, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.179372787475586, 'tokens/total': 35296688, 'tokens/trainable': 65878, 'epoch': 0.55}
|
||
27%|██████████████████████████████████▏ | 280/1025 [46:51<2:05:23, 10.10s/it]
27%|██████████████████████████████████▎ | 281/1025 [47:04<2:15:46, 10.95s/it]
{'loss': 0.3765, 'grad_norm': 5.257444858551025, 'learning_rate': 1.7393922635959245e-05, 'ppl': 1.45718, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.839630126953125, 'tokens/total': 35442416, 'tokens/trainable': 66108, 'epoch': 0.55}
|
||
27%|██████████████████████████████████▎ | 281/1025 [47:04<2:15:46, 10.95s/it]
28%|██████████████████████████████████▍ | 282/1025 [47:13<2:08:33, 10.38s/it]
{'loss': 0.418, 'grad_norm': 6.854805946350098, 'learning_rate': 1.7372168036994566e-05, 'ppl': 1.51892, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.184412002563477, 'tokens/total': 35568784, 'tokens/trainable': 66344, 'epoch': 0.55}
|
||
28%|██████████████████████████████████▍ | 282/1025 [47:13<2:08:33, 10.38s/it]
28%|██████████████████████████████████▌ | 283/1025 [47:22<2:03:26, 9.98s/it]
{'loss': 0.3837, 'grad_norm': 5.648513317108154, 'learning_rate': 1.7350336741329413e-05, 'ppl': 1.46771, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.202131271362305, 'tokens/total': 35686976, 'tokens/trainable': 66580, 'epoch': 0.55}
|
||
28%|██████████████████████████████████▌ | 283/1025 [47:22<2:03:26, 9.98s/it]
28%|██████████████████████████████████▋ | 284/1025 [47:31<2:00:32, 9.76s/it]
{'loss': 0.3788, 'grad_norm': 6.783019065856934, 'learning_rate': 1.7328428976086706e-05, 'ppl': 1.46053, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.205936431884766, 'tokens/total': 35813344, 'tokens/trainable': 66812, 'epoch': 0.55}
|
||
28%|██████████████████████████████████▋ | 284/1025 [47:31<2:00:32, 9.76s/it]
28%|██████████████████████████████████▊ | 285/1025 [47:40<1:58:01, 9.57s/it]
{'loss': 0.3021, 'grad_norm': 6.111680507659912, 'learning_rate': 1.7306444969184918e-05, 'ppl': 1.3527, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.647930145263672, 'tokens/total': 35931040, 'tokens/trainable': 67054, 'epoch': 0.56}
|
||
28%|██████████████████████████████████▊ | 285/1025 [47:40<1:58:01, 9.57s/it]
28%|██████████████████████████████████▉ | 286/1025 [47:49<1:55:45, 9.40s/it]
{'loss': 0.2532, 'grad_norm': 6.512730598449707, 'learning_rate': 1.728438494933571e-05, 'ppl': 1.28814, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.558513641357422, 'tokens/total': 36041568, 'tokens/trainable': 67274, 'epoch': 0.56}
|
||
28%|██████████████████████████████████▉ | 286/1025 [47:49<1:55:45, 9.40s/it]
28%|███████████████████████████████████ | 287/1025 [47:58<1:54:32, 9.31s/it]
{'loss': 0.3382, 'grad_norm': 5.135484218597412, 'learning_rate': 1.7262249146041544e-05, 'ppl': 1.40242, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.262371063232422, 'tokens/total': 36154080, 'tokens/trainable': 67494, 'epoch': 0.56}
|
||
28%|███████████████████████████████████ | 287/1025 [47:58<1:54:32, 9.31s/it]
28%|███████████████████████████████████ | 288/1025 [48:08<1:54:33, 9.33s/it]
{'loss': 0.2064, 'grad_norm': 3.9184982776641846, 'learning_rate': 1.7240037789593307e-05, 'ppl': 1.22924, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.32591438293457, 'tokens/total': 36303408, 'tokens/trainable': 67730, 'epoch': 0.56}
|
||
28%|███████████████████████████████████ | 288/1025 [48:08<1:54:33, 9.33s/it]
28%|███████████████████████████████████▏ | 289/1025 [48:15<1:49:00, 8.89s/it]
{'loss': 0.4223, 'grad_norm': 7.28009033203125, 'learning_rate': 1.7217751111067902e-05, 'ppl': 1.52547, 'memory/max_active (GiB)': 14.95, 'memory/max_allocated (GiB)': 14.95, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 31.202543258666992, 'tokens/total': 36403600, 'tokens/trainable': 67974, 'epoch': 0.56}
|
||
28%|███████████████████████████████████▏ | 289/1025 [48:15<1:49:00, 8.89s/it]
28%|███████████████████████████████████▎ | 290/1025 [48:28<2:03:02, 10.04s/it]
{'loss': 0.2332, 'grad_norm': 3.932985544204712, 'learning_rate': 1.7195389342325843e-05, 'ppl': 1.26263, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 17.951274871826172, 'tokens/total': 36570848, 'tokens/trainable': 68202, 'epoch': 0.57}
|
||
28%|███████████████████████████████████▎ | 290/1025 [48:28<2:03:02, 10.04s/it]
28%|███████████████████████████████████▍ | 291/1025 [48:41<2:13:21, 10.90s/it]
{'loss': 0.3178, 'grad_norm': 6.786638259887695, 'learning_rate': 1.7172952716008855e-05, 'ppl': 1.3741, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.506872177124023, 'tokens/total': 36725552, 'tokens/trainable': 68440, 'epoch': 0.57}
|
||
28%|███████████████████████████████████▍ | 291/1025 [48:41<2:13:21, 10.90s/it]
28%|███████████████████████████████████▌ | 292/1025 [48:50<2:07:01, 10.40s/it]
{'loss': 0.2104, 'grad_norm': 3.6528871059417725, 'learning_rate': 1.7150441465537446e-05, 'ppl': 1.23417, 'memory/max_active (GiB)': 13.15, 'memory/max_allocated (GiB)': 13.15, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.57777976989746, 'tokens/total': 36833792, 'tokens/trainable': 68684, 'epoch': 0.57}
|
||
28%|███████████████████████████████████▌ | 292/1025 [48:50<2:07:01, 10.40s/it]
29%|███████████████████████████████████▋ | 293/1025 [49:00<2:02:42, 10.06s/it]
{'loss': 0.3173, 'grad_norm': 5.3216047286987305, 'learning_rate': 1.712785582510848e-05, 'ppl': 1.37341, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.576078414916992, 'tokens/total': 36969792, 'tokens/trainable': 68920, 'epoch': 0.57}
|
||
29%|███████████████████████████████████▋ | 293/1025 [49:00<2:02:42, 10.06s/it]
29%|███████████████████████████████████▊ | 294/1025 [49:09<1:59:01, 9.77s/it]
{'loss': 0.2955, 'grad_norm': 5.055629253387451, 'learning_rate': 1.7105196029692743e-05, 'ppl': 1.3438, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.52716064453125, 'tokens/total': 37090480, 'tokens/trainable': 69142, 'epoch': 0.57}
|
||
29%|███████████████████████████████████▊ | 294/1025 [49:09<1:59:01, 9.77s/it]
29%|███████████████████████████████████▉ | 295/1025 [49:16<1:51:28, 9.16s/it]
{'loss': 0.218, 'grad_norm': 3.333571195602417, 'learning_rate': 1.7082462315032492e-05, 'ppl': 1.24359, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 31.3990421295166, 'tokens/total': 37174912, 'tokens/trainable': 69384, 'epoch': 0.58}
|
||
29%|███████████████████████████████████▉ | 295/1025 [49:16<1:51:28, 9.16s/it]
29%|████████████████████████████████████ | 296/1025 [49:29<2:03:57, 10.20s/it]
{'loss': 0.2732, 'grad_norm': 5.001124858856201, 'learning_rate': 1.7059654917639008e-05, 'ppl': 1.31416, 'memory/max_active (GiB)': 24.7, 'memory/max_allocated (GiB)': 24.7, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.06838607788086, 'tokens/total': 37339152, 'tokens/trainable': 69624, 'epoch': 0.58}
|
||
29%|████████████████████████████████████ | 296/1025 [49:29<2:03:57, 10.20s/it]
29%|████████████████████████████████████▏ | 297/1025 [49:42<2:14:38, 11.10s/it]
{'loss': 0.266, 'grad_norm': 8.512022972106934, 'learning_rate': 1.703677407479013e-05, 'ppl': 1.30474, 'memory/max_active (GiB)': 15.94, 'memory/max_allocated (GiB)': 15.94, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 16.435789108276367, 'tokens/total': 37484880, 'tokens/trainable': 69840, 'epoch': 0.58}
|
||
29%|████████████████████████████████████▏ | 297/1025 [49:42<2:14:38, 11.10s/it]
29%|████████████████████████████████████▎ | 298/1025 [49:55<2:19:41, 11.53s/it]
{'loss': 0.1976, 'grad_norm': 9.01349925994873, 'learning_rate': 1.70138200245278e-05, 'ppl': 1.21847, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.047569274902344, 'tokens/total': 37628464, 'tokens/trainable': 70078, 'epoch': 0.58}
|
||
29%|████████████████████████████████████▎ | 298/1025 [49:55<2:19:41, 11.53s/it]
29%|████████████████████████████████████▍ | 299/1025 [50:07<2:23:44, 11.88s/it]
{'loss': 0.2672, 'grad_norm': 8.203280448913574, 'learning_rate': 1.6990793005655565e-05, 'ppl': 1.3063, 'memory/max_active (GiB)': 24.72, 'memory/max_allocated (GiB)': 24.72, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.437650680541992, 'tokens/total': 37772208, 'tokens/trainable': 70324, 'epoch': 0.58}
|
||
29%|████████████████████████████████████▍ | 299/1025 [50:08<2:23:44, 11.88s/it]
29%|████████████████████████████████████▌ | 300/1025 [50:14<2:05:18, 10.37s/it]
{'loss': 0.2583, 'grad_norm': 5.327548980712891, 'learning_rate': 1.696769325773611e-05, 'ppl': 1.29473, 'memory/max_active (GiB)': 12.9, 'memory/max_allocated (GiB)': 12.9, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 34.95664596557617, 'tokens/total': 37844192, 'tokens/trainable': 70562, 'epoch': 0.58}
|
||
29%|████████████████████████████████████▌ | 300/1025 [50:14<2:05:18, 10.37s/it]
29%|████████████████████████████████████▋ | 301/1025 [50:24<2:01:48, 10.10s/it]
{'loss': 0.3881, 'grad_norm': 6.19326114654541, 'learning_rate': 1.6944521021088767e-05, 'ppl': 1.47418, 'memory/max_active (GiB)': 14.06, 'memory/max_allocated (GiB)': 14.06, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.135976791381836, 'tokens/total': 37970032, 'tokens/trainable': 70808, 'epoch': 0.59}
|
||
29%|████████████████████████████████████▋ | 301/1025 [50:24<2:01:48, 10.10s/it]
29%|████████████████████████████████████▊ | 302/1025 [50:36<2:10:17, 10.81s/it]
{'loss': 0.1976, 'grad_norm': 3.3836474418640137, 'learning_rate': 1.692127653678699e-05, 'ppl': 1.21847, 'memory/max_active (GiB)': 24.66, 'memory/max_allocated (GiB)': 24.66, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.127304077148438, 'tokens/total': 38144928, 'tokens/trainable': 71046, 'epoch': 0.59}
|
||
29%|████████████████████████████████████▊ | 302/1025 [50:36<2:10:17, 10.81s/it]
30%|████████████████████████████████████▉ | 303/1025 [50:44<1:58:29, 9.85s/it]
{'loss': 0.2383, 'grad_norm': 5.102533340454102, 'learning_rate': 1.6897960046655886e-05, 'ppl': 1.26909, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.64, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 32.30220031738281, 'tokens/total': 38214592, 'tokens/trainable': 71290, 'epoch': 0.59}
|
||
30%|████████████████████████████████████▉ | 303/1025 [50:44<1:58:29, 9.85s/it]
30%|█████████████████████████████████████ | 304/1025 [50:52<1:53:42, 9.46s/it]
{'loss': 0.2201, 'grad_norm': 3.426654100418091, 'learning_rate': 1.6874571793269665e-05, 'ppl': 1.2462, 'memory/max_active (GiB)': 17.05, 'memory/max_allocated (GiB)': 17.05, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.040081024169922, 'tokens/total': 38340976, 'tokens/trainable': 71512, 'epoch': 0.59}
|
||
30%|█████████████████████████████████████ | 304/1025 [50:52<1:53:42, 9.46s/it]
30%|█████████████████████████████████████▏ | 305/1025 [51:02<1:52:27, 9.37s/it]
{'loss': 0.2154, 'grad_norm': 4.4316534996032715, 'learning_rate': 1.6851112019949132e-05, 'ppl': 1.24036, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.766334533691406, 'tokens/total': 38451504, 'tokens/trainable': 71756, 'epoch': 0.59}
|
||
30%|█████████████████████████████████████▏ | 305/1025 [51:02<1:52:27, 9.37s/it]
30%|█████████████████████████████████████▎ | 306/1025 [51:11<1:52:06, 9.36s/it]
{'loss': 0.2991, 'grad_norm': 4.505345344543457, 'learning_rate': 1.682758097075915e-05, 'ppl': 1.34864, 'memory/max_active (GiB)': 13.8, 'memory/max_allocated (GiB)': 13.8, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.43326187133789, 'tokens/total': 38569008, 'tokens/trainable': 71992, 'epoch': 0.6}
|
||
30%|█████████████████████████████████████▎ | 306/1025 [51:11<1:52:06, 9.36s/it]
30%|█████████████████████████████████████▍ | 307/1025 [51:24<2:04:47, 10.43s/it]
{'loss': 0.2832, 'grad_norm': 4.75911808013916, 'learning_rate': 1.6803978890506114e-05, 'ppl': 1.32737, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.000545501708984, 'tokens/total': 38714736, 'tokens/trainable': 72224, 'epoch': 0.6}
|
||
30%|█████████████████████████████████████▍ | 307/1025 [51:24<2:04:47, 10.43s/it]
30%|█████████████████████████████████████▌ | 308/1025 [51:33<2:00:49, 10.11s/it]
{'loss': 0.3632, 'grad_norm': 5.070053577423096, 'learning_rate': 1.6780306024735384e-05, 'ppl': 1.43792, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.512529373168945, 'tokens/total': 38850736, 'tokens/trainable': 72462, 'epoch': 0.6}
|
||
30%|█████████████████████████████████████▌ | 308/1025 [51:33<2:00:49, 10.11s/it]
30%|█████████████████████████████████████▋ | 309/1025 [51:42<1:54:20, 9.58s/it]
{'loss': 0.2187, 'grad_norm': 3.513190269470215, 'learning_rate': 1.6756562619728743e-05, 'ppl': 1.24446, 'memory/max_active (GiB)': 16.06, 'memory/max_allocated (GiB)': 16.06, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 30.348772048950195, 'tokens/total': 38948720, 'tokens/trainable': 72714, 'epoch': 0.6}
|
||
30%|█████████████████████████████████████▋ | 309/1025 [51:42<1:54:20, 9.58s/it]
30%|█████████████████████████████████████▊ | 310/1025 [51:54<2:05:26, 10.53s/it]
{'loss': 0.1899, 'grad_norm': 5.805909633636475, 'learning_rate': 1.6732748922501832e-05, 'ppl': 1.20913, 'memory/max_active (GiB)': 13.06, 'memory/max_allocated (GiB)': 13.06, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 18.441316604614258, 'tokens/total': 39078208, 'tokens/trainable': 72948, 'epoch': 0.6}
|
||
30%|█████████████████████████████████████▊ | 310/1025 [51:54<2:05:26, 10.53s/it]
30%|█████████████████████████████████████▉ | 311/1025 [52:02<1:55:35, 9.71s/it]
{'loss': 0.1928, 'grad_norm': 4.2601399421691895, 'learning_rate': 1.6708865180801584e-05, 'ppl': 1.21264, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 30.34861946105957, 'tokens/total': 39175504, 'tokens/trainable': 73184, 'epoch': 0.61}
|
||
30%|█████████████████████████████████████▉ | 311/1025 [52:02<1:55:35, 9.71s/it]
30%|██████████████████████████████████████ | 312/1025 [52:15<2:05:50, 10.59s/it]
{'loss': 0.239, 'grad_norm': 4.701786518096924, 'learning_rate': 1.6684911643103643e-05, 'ppl': 1.26998, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.37791633605957, 'tokens/total': 39316656, 'tokens/trainable': 73428, 'epoch': 0.61}
|
||
30%|██████████████████████████████████████ | 312/1025 [52:15<2:05:50, 10.59s/it]
31%|██████████████████████████████████████▏ | 313/1025 [52:23<1:55:50, 9.76s/it]
{'loss': 0.1853, 'grad_norm': 3.3044285774230957, 'learning_rate': 1.6660888558609774e-05, 'ppl': 1.20358, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 30.039262771606445, 'tokens/total': 39408464, 'tokens/trainable': 73662, 'epoch': 0.61}
|
||
31%|██████████████████████████████████████▏ | 313/1025 [52:23<1:55:50, 9.76s/it]
31%|██████████████████████████████████████▎ | 314/1025 [52:32<1:53:15, 9.56s/it]
{'loss': 0.2159, 'grad_norm': 3.2560436725616455, 'learning_rate': 1.663679617724528e-05, 'ppl': 1.24098, 'memory/max_active (GiB)': 14.98, 'memory/max_allocated (GiB)': 14.98, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.119569778442383, 'tokens/total': 39516000, 'tokens/trainable': 73898, 'epoch': 0.61}
|
||
31%|██████████████████████████████████████▎ | 314/1025 [52:32<1:53:15, 9.56s/it]
31%|██████████████████████████████████████▍ | 315/1025 [52:44<2:04:16, 10.50s/it]
{'loss': 0.2714, 'grad_norm': 5.6173200607299805, 'learning_rate': 1.661263474965639e-05, 'ppl': 1.3118, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 19.268295288085938, 'tokens/total': 39677568, 'tokens/trainable': 74142, 'epoch': 0.61}
|
||
31%|██████████████████████████████████████▍ | 315/1025 [52:44<2:04:16, 10.50s/it]
31%|██████████████████████████████████████▌ | 316/1025 [52:54<2:00:19, 10.18s/it]
{'loss': 0.333, 'grad_norm': 6.34792947769165, 'learning_rate': 1.6588404527207665e-05, 'ppl': 1.39515, 'memory/max_active (GiB)': 16.07, 'memory/max_allocated (GiB)': 16.07, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 23.62443733215332, 'tokens/total': 39790080, 'tokens/trainable': 74364, 'epoch': 0.62}
|
||
31%|██████████████████████████████████████▌ | 316/1025 [52:54<2:00:19, 10.18s/it]
31%|██████████████████████████████████████▋ | 317/1025 [53:03<1:56:31, 9.87s/it]
{'loss': 0.1854, 'grad_norm': 3.585137367248535, 'learning_rate': 1.656410576197938e-05, 'ppl': 1.2037, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.43262481689453, 'tokens/total': 39916448, 'tokens/trainable': 74614, 'epoch': 0.62}
|
||
31%|██████████████████████████████████████▋ | 317/1025 [53:03<1:56:31, 9.87s/it]
31%|██████████████████████████████████████▊ | 318/1025 [53:12<1:53:08, 9.60s/it]
{'loss': 0.2503, 'grad_norm': 3.8913681507110596, 'learning_rate': 1.6539738706764895e-05, 'ppl': 1.28441, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.647890090942383, 'tokens/total': 40018800, 'tokens/trainable': 74834, 'epoch': 0.62}
|
||
31%|██████████████████████████████████████▊ | 318/1025 [53:12<1:53:08, 9.60s/it]
31%|██████████████████████████████████████▉ | 319/1025 [53:20<1:48:53, 9.25s/it]
{'loss': 0.2685, 'grad_norm': 4.783060550689697, 'learning_rate': 1.651530361506802e-05, 'ppl': 1.308, 'memory/max_active (GiB)': 16.92, 'memory/max_allocated (GiB)': 16.92, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 27.616060256958008, 'tokens/total': 40137520, 'tokens/trainable': 75066, 'epoch': 0.62}
|
||
31%|██████████████████████████████████████▉ | 319/1025 [53:20<1:48:53, 9.25s/it]
31%|███████████████████████████████████████ | 320/1025 [53:30<1:48:52, 9.27s/it]
{'loss': 0.2476, 'grad_norm': 5.047275543212891, 'learning_rate': 1.6490800741100396e-05, 'ppl': 1.28095, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.214147567749023, 'tokens/total': 40248048, 'tokens/trainable': 75290, 'epoch': 0.62}
|
||
31%|███████████████████████████████████████ | 320/1025 [53:30<1:48:52, 9.27s/it]
31%|███████████████████████████████████████▏ | 321/1025 [53:39<1:48:03, 9.21s/it]
{'loss': 0.2662, 'grad_norm': 4.669875621795654, 'learning_rate': 1.646623033977884e-05, 'ppl': 1.305, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 25.8972110748291, 'tokens/total': 40355584, 'tokens/trainable': 75524, 'epoch': 0.63}
|
||
31%|███████████████████████████████████████▏ | 321/1025 [53:39<1:48:03, 9.21s/it]
31%|███████████████████████████████████████▎ | 322/1025 [53:48<1:48:55, 9.30s/it]
{'loss': 0.2246, 'grad_norm': 4.340266227722168, 'learning_rate': 1.6441592666722686e-05, 'ppl': 1.25182, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 22.622928619384766, 'tokens/total': 40504912, 'tokens/trainable': 75738, 'epoch': 0.63}
|
||
31%|███████████████████████████████████████▎ | 322/1025 [53:48<1:48:55, 9.30s/it]
32%|███████████████████████████████████████▍ | 323/1025 [53:57<1:48:34, 9.28s/it]
{'loss': 0.3108, 'grad_norm': 5.358457088470459, 'learning_rate': 1.6416887978251134e-05, 'ppl': 1.36452, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 26.74406623840332, 'tokens/total': 40622928, 'tokens/trainable': 75984, 'epoch': 0.63}
|
||
32%|███████████████████████████████████████▍ | 323/1025 [53:57<1:48:34, 9.28s/it]
32%|███████████████████████████████████████▌ | 324/1025 [54:07<1:49:14, 9.35s/it]
{'loss': 0.2509, 'grad_norm': 3.811885356903076, 'learning_rate': 1.6392116531380592e-05, 'ppl': 1.28518, 'memory/max_active (GiB)': 14.92, 'memory/max_allocated (GiB)': 14.92, 'memory/device_reserved (GiB)': 28.68, 'tokens/train_per_sec_per_gpu': 24.91908836364746, 'tokens/total': 40753952, 'tokens/trainable': 76220, 'epoch': 0.63}
|
||
32%|███████████████████████████████████████▌ | 324/1025 [54:07<1:49:14, 9.35s/it]
32%|███████████████████████████████████████▋ | 325/1025 [54:20<2:03:03, 10.55s/it]
{'loss': 0.2948, 'grad_norm': 4.22941255569458, 'learning_rate': 1.6367278583821973e-05, 'ppl': 1.34286, 'memory/max_active (GiB)': 24.86, 'memory/max_allocated (GiB)': 24.86, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 16.83913803100586, 'tokens/total': 40923168, 'tokens/trainable': 76444, 'epoch': 0.63}
|
||
32%|███████████████████████████████████████▋ | 325/1025 [54:20<2:03:03, 10.55s/it]
32%|███████████████████████████████████████▊ | 326/1025 [54:29<1:58:03, 10.13s/it]
{'loss': 0.2667, 'grad_norm': 4.107889175415039, 'learning_rate': 1.6342374393978056e-05, 'ppl': 1.30565, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.981029510498047, 'tokens/total': 41045840, 'tokens/trainable': 76672, 'epoch': 0.64}
|
||
32%|███████████████████████████████████████▊ | 326/1025 [54:30<1:58:03, 10.13s/it]
32%|███████████████████████████████████████▉ | 327/1025 [54:43<2:08:51, 11.08s/it]
{'loss': 0.3974, 'grad_norm': 5.822044372558594, 'learning_rate': 1.6317404220940757e-05, 'ppl': 1.48795, 'memory/max_active (GiB)': 24.79, 'memory/max_allocated (GiB)': 24.79, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 20.09827995300293, 'tokens/total': 41261600, 'tokens/trainable': 76938, 'epoch': 0.64}
|
||
32%|███████████████████████████████████████▉ | 327/1025 [54:43<2:08:51, 11.08s/it]
32%|████████████████████████████████████████ | 328/1025 [54:56<2:14:47, 11.60s/it]
{'loss': 0.3061, 'grad_norm': 4.959068775177002, 'learning_rate': 1.6292368324488462e-05, 'ppl': 1.35812, 'memory/max_active (GiB)': 24.64, 'memory/max_allocated (GiB)': 24.64, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 21.578907012939453, 'tokens/total': 41406128, 'tokens/trainable': 77214, 'epoch': 0.64}
|
||
32%|████████████████████████████████████████ | 328/1025 [54:56<2:14:47, 11.60s/it]
32%|████████████████████████████████████████ | 329/1025 [55:04<2:03:02, 10.61s/it]
{'loss': 0.3113, 'grad_norm': 6.836129665374756, 'learning_rate': 1.6267266965083305e-05, 'ppl': 1.3652, 'memory/max_active (GiB)': 14.04, 'memory/max_allocated (GiB)': 14.04, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.180349349975586, 'tokens/total': 41495440, 'tokens/trainable': 77438, 'epoch': 0.64}
|
||
32%|████████████████████████████████████████ | 329/1025 [55:04<2:03:02, 10.61s/it]
32%|████████████████████████████████████████▏ | 330/1025 [55:12<1:52:43, 9.73s/it]
{'loss': 0.2874, 'grad_norm': 6.8127336502075195, 'learning_rate': 1.6242100403868472e-05, 'ppl': 1.33296, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.374757766723633, 'tokens/total': 41582448, 'tokens/trainable': 77678, 'epoch': 0.64}
|
||
32%|████████████████████████████████████████▏ | 330/1025 [55:12<1:52:43, 9.73s/it]
32%|████████████████████████████████████████▎ | 331/1025 [55:20<1:47:26, 9.29s/it]
{'loss': 0.244, 'grad_norm': 6.388403415679932, 'learning_rate': 1.621686890266548e-05, 'ppl': 1.27634, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.951114654541016, 'tokens/total': 41687312, 'tokens/trainable': 77924, 'epoch': 0.65}
|
||
32%|████████████████████████████████████████▎ | 331/1025 [55:20<1:47:26, 9.29s/it]
32%|████████████████████████████████████████▍ | 332/1025 [55:29<1:47:13, 9.28s/it]
{'loss': 0.24, 'grad_norm': 6.720942497253418, 'learning_rate': 1.6191572723971453e-05, 'ppl': 1.27125, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.842885971069336, 'tokens/total': 41799824, 'tokens/trainable': 78144, 'epoch': 0.65}
|
||
32%|████████████████████████████████████████▍ | 332/1025 [55:29<1:47:13, 9.28s/it]
32%|████████████████████████████████████████▌ | 333/1025 [55:39<1:48:12, 9.38s/it]
{'loss': 0.3033, 'grad_norm': 4.363343715667725, 'learning_rate': 1.6166212130956383e-05, 'ppl': 1.35432, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.452159881591797, 'tokens/total': 41912336, 'tokens/trainable': 78378, 'epoch': 0.65}
|
||
32%|████████████████████████████████████████▌ | 333/1025 [55:39<1:48:12, 9.38s/it]
33%|████████████████████████████████████████▋ | 334/1025 [55:51<1:59:35, 10.38s/it]
{'loss': 0.2731, 'grad_norm': 4.141699314117432, 'learning_rate': 1.6140787387460406e-05, 'ppl': 1.31403, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.9812068939209, 'tokens/total': 42079568, 'tokens/trainable': 78606, 'epoch': 0.65}
|
||
33%|████████████████████████████████████████▋ | 334/1025 [55:51<1:59:35, 10.38s/it]
33%|████████████████████████████████████████▊ | 335/1025 [56:00<1:52:34, 9.79s/it]
{'loss': 0.171, 'grad_norm': 3.791936159133911, 'learning_rate': 1.6115298757991054e-05, 'ppl': 1.18649, 'memory/max_active (GiB)': 13.51, 'memory/max_allocated (GiB)': 13.51, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.515661239624023, 'tokens/total': 42170880, 'tokens/trainable': 78836, 'epoch': 0.65}
|
||
33%|████████████████████████████████████████▊ | 335/1025 [56:00<1:52:34, 9.79s/it]
33%|████████████████████████████████████████▉ | 336/1025 [56:09<1:50:34, 9.63s/it]
{'loss': 0.2798, 'grad_norm': 4.706829071044922, 'learning_rate': 1.608974650772049e-05, 'ppl': 1.32287, 'memory/max_active (GiB)': 15.63, 'memory/max_allocated (GiB)': 15.63, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.746997833251953, 'tokens/total': 42297248, 'tokens/trainable': 79064, 'epoch': 0.65}
|
||
33%|████████████████████████████████████████▉ | 336/1025 [56:09<1:50:34, 9.63s/it]
33%|█████████████████████████████████████████ | 337/1025 [56:22<2:01:46, 10.62s/it]
{'loss': 0.2117, 'grad_norm': 4.110708713531494, 'learning_rate': 1.606413090248276e-05, 'ppl': 1.23578, 'memory/max_active (GiB)': 15.96, 'memory/max_allocated (GiB)': 15.96, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.46331787109375, 'tokens/total': 42453136, 'tokens/trainable': 79302, 'epoch': 0.66}
|
||
33%|█████████████████████████████████████████ | 337/1025 [56:22<2:01:46, 10.62s/it]
33%|█████████████████████████████████████████▏ | 338/1025 [56:35<2:09:01, 11.27s/it]
{'loss': 0.3417, 'grad_norm': 5.655470848083496, 'learning_rate': 1.6038452208771037e-05, 'ppl': 1.40734, 'memory/max_active (GiB)': 18.63, 'memory/max_allocated (GiB)': 18.63, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.520801544189453, 'tokens/total': 42622352, 'tokens/trainable': 79538, 'epoch': 0.66}
|
||
33%|█████████████████████████████████████████▏ | 338/1025 [56:35<2:09:01, 11.27s/it]
33%|█████████████████████████████████████████▎ | 339/1025 [56:43<1:57:25, 10.27s/it]
{'loss': 0.243, 'grad_norm': 4.745765209197998, 'learning_rate': 1.601271069373483e-05, 'ppl': 1.27507, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.391456604003906, 'tokens/total': 42727520, 'tokens/trainable': 79786, 'epoch': 0.66}
|
||
33%|█████████████████████████████████████████▎ | 339/1025 [56:43<1:57:25, 10.27s/it]
33%|█████████████████████████████████████████▍ | 340/1025 [56:55<2:05:00, 10.95s/it]
{'loss': 0.417, 'grad_norm': 8.505824089050293, 'learning_rate': 1.5986906625177215e-05, 'ppl': 1.5174, 'memory/max_active (GiB)': 24.66, 'memory/max_allocated (GiB)': 24.66, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.20923614501953, 'tokens/total': 42886576, 'tokens/trainable': 80026, 'epoch': 0.66}
|
||
33%|█████████████████████████████████████████▍ | 340/1025 [56:55<2:05:00, 10.95s/it]
33%|█████████████████████████████████████████▌ | 341/1025 [57:03<1:54:59, 10.09s/it]
{'loss': 0.2959, 'grad_norm': 6.620596408843994, 'learning_rate': 1.5961040271552045e-05, 'ppl': 1.34434, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 32.36562728881836, 'tokens/total': 42962304, 'tokens/trainable': 80286, 'epoch': 0.66}
|
||
33%|█████████████████████████████████████████▌ | 341/1025 [57:03<1:54:59, 10.09s/it]
33%|█████████████████████████████████████████▋ | 342/1025 [57:13<1:52:41, 9.90s/it]
{'loss': 0.2289, 'grad_norm': 5.878699779510498, 'learning_rate': 1.593511190196115e-05, 'ppl': 1.25722, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.056373596191406, 'tokens/total': 43111632, 'tokens/trainable': 80522, 'epoch': 0.67}
|
||
33%|█████████████████████████████████████████▋ | 342/1025 [57:13<1:52:41, 9.90s/it]
33%|█████████████████████████████████████████▊ | 343/1025 [57:22<1:50:06, 9.69s/it]
{'loss': 0.2284, 'grad_norm': 4.142256259918213, 'learning_rate': 1.590912178615157e-05, 'ppl': 1.25659, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.69550895690918, 'tokens/total': 43221744, 'tokens/trainable': 80748, 'epoch': 0.67}
|
||
33%|█████████████████████████████████████████▊ | 343/1025 [57:22<1:50:06, 9.69s/it]
34%|█████████████████████████████████████████▉ | 344/1025 [57:30<1:45:31, 9.30s/it]
{'loss': 0.2054, 'grad_norm': 6.107825756072998, 'learning_rate': 1.5883070194512695e-05, 'ppl': 1.22802, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.65, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.950788497924805, 'tokens/total': 43270944, 'tokens/trainable': 80998, 'epoch': 0.67}
|
||
34%|█████████████████████████████████████████▉ | 344/1025 [57:30<1:45:31, 9.30s/it]
34%|██████████████████████████████████████████ | 345/1025 [57:38<1:40:39, 8.88s/it]
{'loss': 0.2372, 'grad_norm': 5.0280537605285645, 'learning_rate': 1.5856957398073508e-05, 'ppl': 1.26769, 'memory/max_active (GiB)': 15.53, 'memory/max_allocated (GiB)': 15.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 30.24867057800293, 'tokens/total': 43378304, 'tokens/trainable': 81236, 'epoch': 0.67}
|
||
34%|██████████████████████████████████████████ | 345/1025 [57:38<1:40:39, 8.88s/it]
34%|██████████████████████████████████████████▏ | 346/1025 [57:51<1:54:50, 10.15s/it]
{'loss': 0.2903, 'grad_norm': 4.230759620666504, 'learning_rate': 1.5830783668499728e-05, 'ppl': 1.33683, 'memory/max_active (GiB)': 24.84, 'memory/max_allocated (GiB)': 24.84, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.220134735107422, 'tokens/total': 43539872, 'tokens/trainable': 81474, 'epoch': 0.67}
|
||
34%|██████████████████████████████████████████▏ | 346/1025 [57:51<1:54:50, 10.15s/it]
34%|██████████████████████████████████████████▎ | 347/1025 [58:00<1:48:44, 9.62s/it]
{'loss': 0.2217, 'grad_norm': 5.360753059387207, 'learning_rate': 1.580454927809098e-05, 'ppl': 1.2482, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.281511306762695, 'tokens/total': 43644736, 'tokens/trainable': 81702, 'epoch': 0.68}
|
||
34%|██████████████████████████████████████████▎ | 347/1025 [58:00<1:48:44, 9.62s/it]
34%|██████████████████████████████████████████▍ | 348/1025 [58:09<1:46:30, 9.44s/it]
{'loss': 0.1777, 'grad_norm': 3.4553005695343018, 'learning_rate': 1.5778254499778006e-05, 'ppl': 1.19447, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.98260498046875, 'tokens/total': 43734640, 'tokens/trainable': 81944, 'epoch': 0.68}
|
||
34%|██████████████████████████████████████████▍ | 348/1025 [58:09<1:46:30, 9.44s/it]
34%|██████████████████████████████████████████▌ | 349/1025 [58:18<1:45:02, 9.32s/it]
{'loss': 0.2305, 'grad_norm': 3.9415338039398193, 'learning_rate': 1.5751899607119777e-05, 'ppl': 1.25923, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.748117446899414, 'tokens/total': 43842176, 'tokens/trainable': 82176, 'epoch': 0.68}
|
||
34%|██████████████████████████████████████████▌ | 349/1025 [58:18<1:45:02, 9.32s/it]
34%|██████████████████████████████████████████▋ | 350/1025 [58:31<1:56:26, 10.35s/it]
{'loss': 0.2984, 'grad_norm': 4.479410648345947, 'learning_rate': 1.5725484874300673e-05, 'ppl': 1.3477, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.575075149536133, 'tokens/total': 44017072, 'tokens/trainable': 82412, 'epoch': 0.68}
|
||
34%|██████████████████████████████████████████▋ | 350/1025 [58:31<1:56:26, 10.35s/it]
34%|██████████████████████████████████████████▊ | 351/1025 [58:44<2:05:59, 11.22s/it]
{'loss': 0.3585, 'grad_norm': 10.232231140136719, 'learning_rate': 1.5699010576127617e-05, 'ppl': 1.43118, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.096437454223633, 'tokens/total': 44199616, 'tokens/trainable': 82664, 'epoch': 0.68}
|
||
34%|██████████████████████████████████████████▊ | 351/1025 [58:44<2:05:59, 11.22s/it]
34%|██████████████████████████████████████████▉ | 352/1025 [58:53<1:59:03, 10.61s/it]
{'loss': 0.2013, 'grad_norm': 3.402651786804199, 'learning_rate': 1.567247698802723e-05, 'ppl': 1.22299, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.301319122314453, 'tokens/total': 44325456, 'tokens/trainable': 82896, 'epoch': 0.69}
|
||
34%|██████████████████████████████████████████▉ | 352/1025 [58:53<1:59:03, 10.61s/it]
34%|███████████████████████████████████████████ | 353/1025 [59:06<2:06:31, 11.30s/it]
{'loss': 0.1626, 'grad_norm': 3.172708749771118, 'learning_rate': 1.564588438604296e-05, 'ppl': 1.17657, 'memory/max_active (GiB)': 15.96, 'memory/max_allocated (GiB)': 15.96, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.902116775512695, 'tokens/total': 44464160, 'tokens/trainable': 83126, 'epoch': 0.69}
|
||
34%|███████████████████████████████████████████ | 353/1025 [59:06<2:06:31, 11.30s/it]
35%|███████████████████████████████████████████▏ | 354/1025 [59:15<2:00:23, 10.76s/it]
{'loss': 0.2328, 'grad_norm': 4.192407131195068, 'learning_rate': 1.56192330468322e-05, 'ppl': 1.26213, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.267845153808594, 'tokens/total': 44598816, 'tokens/trainable': 83394, 'epoch': 0.69}
|
||
35%|███████████████████████████████████████████▏ | 354/1025 [59:15<2:00:23, 10.76s/it]
35%|███████████████████████████████████████████▎ | 355/1025 [59:28<2:07:40, 11.43s/it]
{'loss': 0.2097, 'grad_norm': 4.137806415557861, 'learning_rate': 1.5592523247663428e-05, 'ppl': 1.23331, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.913814544677734, 'tokens/total': 44750992, 'tokens/trainable': 83626, 'epoch': 0.69}
|
||
35%|███████████████████████████████████████████▎ | 355/1025 [59:28<2:07:40, 11.43s/it]
35%|███████████████████████████████████████████▍ | 356/1025 [59:38<1:59:54, 10.75s/it]
{'loss': 0.2889, 'grad_norm': 5.957770347595215, 'learning_rate': 1.55657552664133e-05, 'ppl': 1.33496, 'memory/max_active (GiB)': 18.62, 'memory/max_allocated (GiB)': 18.62, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.167428970336914, 'tokens/total': 44869184, 'tokens/trainable': 83874, 'epoch': 0.69}
|
||
35%|███████████████████████████████████████████▍ | 356/1025 [59:38<1:59:54, 10.75s/it]
35%|███████████████████████████████████████████▌ | 357/1025 [59:46<1:50:09, 9.89s/it]
{'loss': 0.2697, 'grad_norm': 3.677290678024292, 'learning_rate': 1.55389293815638e-05, 'ppl': 1.30957, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.603334426879883, 'tokens/total': 44961552, 'tokens/trainable': 84122, 'epoch': 0.7}
|
||
35%|███████████████████████████████████████████▌ | 357/1025 [59:46<1:50:09, 9.89s/it]
35%|███████████████████████████████████████████▋ | 358/1025 [59:53<1:43:01, 9.27s/it]
{'loss': 0.2689, 'grad_norm': 4.7930803298950195, 'learning_rate': 1.551204587219928e-05, 'ppl': 1.30852, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.167194366455078, 'tokens/total': 45053856, 'tokens/trainable': 84364, 'epoch': 0.7}
|
||
35%|███████████████████████████████████████████▋ | 358/1025 [59:53<1:43:01, 9.27s/it]
35%|███████████████████████████████████████████ | 359/1025 [1:00:02<1:42:01, 9.19s/it]
{'loss': 0.224, 'grad_norm': 6.3781256675720215, 'learning_rate': 1.5485105018003606e-05, 'ppl': 1.25107, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.1943302154541, 'tokens/total': 45166368, 'tokens/trainable': 84608, 'epoch': 0.7}
|
||
35%|███████████████████████████████████████████ | 359/1025 [1:00:02<1:42:01, 9.19s/it]
35%|███████████████████████████████████████████▏ | 360/1025 [1:00:15<1:54:36, 10.34s/it]
{'loss': 0.1833, 'grad_norm': 9.870831489562988, 'learning_rate': 1.5458107099257245e-05, 'ppl': 1.20117, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.564687728881836, 'tokens/total': 45325424, 'tokens/trainable': 84836, 'epoch': 0.7}
|
||
35%|███████████████████████████████████████████▏ | 360/1025 [1:00:15<1:54:36, 10.34s/it]
35%|███████████████████████████████████████████▎ | 361/1025 [1:00:25<1:50:39, 10.00s/it]
{'loss': 0.3238, 'grad_norm': 5.684413909912109, 'learning_rate': 1.543105239683432e-05, 'ppl': 1.38237, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.22515869140625, 'tokens/total': 45451264, 'tokens/trainable': 85122, 'epoch': 0.7}
|
||
35%|███████████████████████████████████████████▎ | 361/1025 [1:00:25<1:50:39, 10.00s/it]
35%|███████████████████████████████████████████▍ | 362/1025 [1:00:37<1:58:50, 10.76s/it]
{'loss': 0.2504, 'grad_norm': 5.910679340362549, 'learning_rate': 1.540394119219972e-05, 'ppl': 1.28454, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 21.797813415527344, 'tokens/total': 45566304, 'tokens/trainable': 85394, 'epoch': 0.71}
|
||
35%|███████████████████████████████████████████▍ | 362/1025 [1:00:37<1:58:50, 10.76s/it]
35%|███████████████████████████████████████████▌ | 363/1025 [1:00:46<1:53:17, 10.27s/it]
{'loss': 0.1985, 'grad_norm': 3.3468730449676514, 'learning_rate': 1.5376773767406142e-05, 'ppl': 1.21957, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.290590286254883, 'tokens/total': 45685008, 'tokens/trainable': 85642, 'epoch': 0.71}
|
||
35%|███████████████████████████████████████████▌ | 363/1025 [1:00:46<1:53:17, 10.27s/it]
36%|███████████████████████████████████████████▋ | 364/1025 [1:00:56<1:50:01, 9.99s/it]
{'loss': 0.2363, 'grad_norm': 4.423796653747559, 'learning_rate': 1.534955040509119e-05, 'ppl': 1.26655, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.62360382080078, 'tokens/total': 45819024, 'tokens/trainable': 85880, 'epoch': 0.71}
|
||
36%|███████████████████████████████████████████▋ | 364/1025 [1:00:56<1:50:01, 9.99s/it]
36%|███████████████████████████████████████████▊ | 365/1025 [1:01:05<1:47:44, 9.80s/it]
{'loss': 0.2943, 'grad_norm': 3.7741477489471436, 'learning_rate': 1.5322271388474397e-05, 'ppl': 1.34219, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.63764190673828, 'tokens/total': 45960704, 'tokens/trainable': 86100, 'epoch': 0.71}
|
||
36%|███████████████████████████████████████████▊ | 365/1025 [1:01:05<1:47:44, 9.80s/it]
36%|███████████████████████████████████████████▉ | 366/1025 [1:01:13<1:43:01, 9.38s/it]
{'loss': 0.2903, 'grad_norm': 5.137656211853027, 'learning_rate': 1.5294937001354314e-05, 'ppl': 1.33683, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.666854858398438, 'tokens/total': 46074384, 'tokens/trainable': 86340, 'epoch': 0.71}
|
||
36%|███████████████████████████████████████████▉ | 366/1025 [1:01:13<1:43:01, 9.38s/it]
36%|████████████████████████████████████████████ | 367/1025 [1:01:21<1:38:14, 8.96s/it]
{'loss': 0.129, 'grad_norm': 3.8301241397857666, 'learning_rate': 1.5267547528105538e-05, 'ppl': 1.13769, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.504688262939453, 'tokens/total': 46182544, 'tokens/trainable': 86574, 'epoch': 0.72}
|
||
36%|████████████████████████████████████████████ | 367/1025 [1:01:21<1:38:14, 8.96s/it]
36%|████████████████████████████████████████████▏ | 368/1025 [1:01:30<1:36:11, 8.78s/it]
{'loss': 0.2601, 'grad_norm': 3.6112494468688965, 'learning_rate': 1.5240103253675756e-05, 'ppl': 1.29706, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.830570220947266, 'tokens/total': 46286720, 'tokens/trainable': 86806, 'epoch': 0.72}
|
||
36%|████████████████████████████████████████████▏ | 368/1025 [1:01:30<1:36:11, 8.78s/it]
36%|████████████████████████████████████████████▎ | 369/1025 [1:01:39<1:36:51, 8.86s/it]
{'loss': 0.2761, 'grad_norm': 4.650078296661377, 'learning_rate': 1.5212604463582777e-05, 'ppl': 1.31798, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.463504791259766, 'tokens/total': 46405424, 'tokens/trainable': 87026, 'epoch': 0.72}
|
||
36%|████████████████████████████████████████████▎ | 369/1025 [1:01:39<1:36:51, 8.86s/it]
36%|████████████████████████████████████████████▍ | 370/1025 [1:01:48<1:38:09, 8.99s/it]
{'loss': 0.2492, 'grad_norm': 4.017472743988037, 'learning_rate': 1.518505144391157e-05, 'ppl': 1.283, 'memory/max_active (GiB)': 18.63, 'memory/max_allocated (GiB)': 18.63, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.488540649414062, 'tokens/total': 46507184, 'tokens/trainable': 87262, 'epoch': 0.72}
|
||
36%|████████████████████████████████████████████▍ | 370/1025 [1:01:48<1:38:09, 8.99s/it]
36%|████████████████████████████████████████████▌ | 371/1025 [1:01:57<1:38:54, 9.07s/it]
{'loss': 0.2712, 'grad_norm': 3.4203836917877197, 'learning_rate': 1.515744448131129e-05, 'ppl': 1.31154, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.50607681274414, 'tokens/total': 46633552, 'tokens/trainable': 87488, 'epoch': 0.72}
|
||
36%|████████████████████████████████████████████▌ | 371/1025 [1:01:57<1:38:54, 9.07s/it]
36%|████████████████████████████████████████████▋ | 372/1025 [1:02:07<1:40:26, 9.23s/it]
{'loss': 0.2289, 'grad_norm': 4.040898323059082, 'learning_rate': 1.5129783862992282e-05, 'ppl': 1.25722, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 22.827625274658203, 'tokens/total': 46769552, 'tokens/trainable': 87706, 'epoch': 0.73}
|
||
36%|████████████████████████████████████████████▋ | 372/1025 [1:02:07<1:40:26, 9.23s/it]
36%|████████████████████████████████████████████▊ | 373/1025 [1:02:16<1:40:55, 9.29s/it]
{'loss': 0.3178, 'grad_norm': 6.254438877105713, 'learning_rate': 1.51020698767231e-05, 'ppl': 1.3741, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.00539779663086, 'tokens/total': 46871616, 'tokens/trainable': 87950, 'epoch': 0.73}
|
||
36%|████████████████████████████████████████████▊ | 373/1025 [1:02:16<1:40:55, 9.29s/it]
36%|████████████████████████████████████████████▉ | 374/1025 [1:02:25<1:37:41, 9.00s/it]
{'loss': 0.3205, 'grad_norm': 4.370326042175293, 'learning_rate': 1.5074302810827516e-05, 'ppl': 1.37782, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.809022903442383, 'tokens/total': 46986640, 'tokens/trainable': 88214, 'epoch': 0.73}
|
||
36%|████████████████████████████████████████████▉ | 374/1025 [1:02:25<1:37:41, 9.00s/it]
37%|█████████████████████████████████████████████ | 375/1025 [1:02:34<1:39:48, 9.21s/it]
{'loss': 0.1996, 'grad_norm': 3.4147045612335205, 'learning_rate': 1.5046482954181527e-05, 'ppl': 1.22091, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.605300903320312, 'tokens/total': 47107328, 'tokens/trainable': 88442, 'epoch': 0.73}
|
||
37%|█████████████████████████████████████████████ | 375/1025 [1:02:34<1:39:48, 9.21s/it]
37%|█████████████████████████████████████████████ | 376/1025 [1:02:47<1:52:21, 10.39s/it]
{'loss': 0.2693, 'grad_norm': 3.7746875286102295, 'learning_rate': 1.5018610596210328e-05, 'ppl': 1.30905, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.03506851196289, 'tokens/total': 47266384, 'tokens/trainable': 88678, 'epoch': 0.73}
|
||
37%|█████████████████████████████████████████████ | 376/1025 [1:02:47<1:52:21, 10.39s/it]
37%|█████████████████████████████████████████████▏ | 377/1025 [1:02:57<1:48:31, 10.05s/it]
{'loss': 0.231, 'grad_norm': 4.549342155456543, 'learning_rate': 1.4990686026885319e-05, 'ppl': 1.25986, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.6495304107666, 'tokens/total': 47402384, 'tokens/trainable': 88896, 'epoch': 0.73}
|
||
37%|█████████████████████████████████████████████▏ | 377/1025 [1:02:57<1:48:31, 10.05s/it]
37%|█████████████████████████████████████████████▎ | 378/1025 [1:03:10<1:57:39, 10.91s/it]
{'loss': 0.1551, 'grad_norm': 3.4435970783233643, 'learning_rate': 1.4962709536721087e-05, 'ppl': 1.16777, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.00969123840332, 'tokens/total': 47546528, 'tokens/trainable': 89128, 'epoch': 0.74}
|
||
37%|█████████████████████████████████████████████▎ | 378/1025 [1:03:10<1:57:39, 10.91s/it]
37%|█████████████████████████████████████████████▍ | 379/1025 [1:03:19<1:51:27, 10.35s/it]
{'loss': 0.1919, 'grad_norm': 3.8090031147003174, 'learning_rate': 1.4934681416772376e-05, 'ppl': 1.21155, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.976449966430664, 'tokens/total': 47659440, 'tokens/trainable': 89362, 'epoch': 0.74}
|
||
37%|█████████████████████████████████████████████▍ | 379/1025 [1:03:19<1:51:27, 10.35s/it]
37%|█████████████████████████████████████████████▌ | 380/1025 [1:03:28<1:47:04, 9.96s/it]
{'loss': 0.2173, 'grad_norm': 3.607692241668701, 'learning_rate': 1.490660195863106e-05, 'ppl': 1.24272, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.090232849121094, 'tokens/total': 47787792, 'tokens/trainable': 89606, 'epoch': 0.74}
|
||
37%|█████████████████████████████████████████████▌ | 380/1025 [1:03:28<1:47:04, 9.96s/it]
37%|█████████████████████████████████████████████▋ | 381/1025 [1:03:36<1:41:35, 9.46s/it]
{'loss': 0.2037, 'grad_norm': 4.077767372131348, 'learning_rate': 1.487847145442312e-05, 'ppl': 1.22593, 'memory/max_active (GiB)': 17.0, 'memory/max_allocated (GiB)': 17.0, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.61751365661621, 'tokens/total': 47882496, 'tokens/trainable': 89826, 'epoch': 0.74}
|
||
37%|█████████████████████████████████████████████▋ | 381/1025 [1:03:36<1:41:35, 9.46s/it]
37%|█████████████████████████████████████████████▊ | 382/1025 [1:03:44<1:37:58, 9.14s/it]
{'loss': 0.1054, 'grad_norm': 2.853867530822754, 'learning_rate': 1.4850290196805595e-05, 'ppl': 1.11115, 'memory/max_active (GiB)': 15.53, 'memory/max_allocated (GiB)': 15.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.07240104675293, 'tokens/total': 47973616, 'tokens/trainable': 90052, 'epoch': 0.74}
|
||
37%|█████████████████████████████████████████████▊ | 382/1025 [1:03:44<1:37:58, 9.14s/it]
37%|█████████████████████████████████████████████▉ | 383/1025 [1:03:52<1:33:39, 8.75s/it]
{'loss': 0.1755, 'grad_norm': 4.095208644866943, 'learning_rate': 1.4822058478963532e-05, 'ppl': 1.19184, 'memory/max_active (GiB)': 15.54, 'memory/max_allocated (GiB)': 15.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.696083068847656, 'tokens/total': 48050096, 'tokens/trainable': 90276, 'epoch': 0.75}
|
||
37%|█████████████████████████████████████████████▉ | 383/1025 [1:03:52<1:33:39, 8.75s/it]
37%|██████████████████████████████████████████████ | 384/1025 [1:04:05<1:45:54, 9.91s/it]
{'loss': 0.3004, 'grad_norm': 5.748503684997559, 'learning_rate': 1.4793776594606953e-05, 'ppl': 1.3504, 'memory/max_active (GiB)': 24.7, 'memory/max_allocated (GiB)': 24.7, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.5604190826416, 'tokens/total': 48224992, 'tokens/trainable': 90522, 'epoch': 0.75}
|
||
37%|██████████████████████████████████████████████ | 384/1025 [1:04:05<1:45:54, 9.91s/it]
38%|██████████████████████████████████████████████▏ | 385/1025 [1:04:18<1:55:21, 10.82s/it]
{'loss': 0.2462, 'grad_norm': 4.310070514678955, 'learning_rate': 1.4765444837967783e-05, 'ppl': 1.27916, 'memory/max_active (GiB)': 17.26, 'memory/max_allocated (GiB)': 17.26, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 16.92410659790039, 'tokens/total': 48385216, 'tokens/trainable': 90740, 'epoch': 0.75}
|
||
38%|██████████████████████████████████████████████▏ | 385/1025 [1:04:18<1:55:21, 10.82s/it]
38%|██████████████████████████████████████████████▎ | 386/1025 [1:04:31<2:01:42, 11.43s/it]
{'loss': 0.262, 'grad_norm': 5.724040508270264, 'learning_rate': 1.4737063503796803e-05, 'ppl': 1.29953, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.099048614501953, 'tokens/total': 48541104, 'tokens/trainable': 90972, 'epoch': 0.75}
|
||
38%|██████████████████████████████████████████████▎ | 386/1025 [1:04:31<2:01:42, 11.43s/it]
38%|██████████████████████████████████████████████▍ | 387/1025 [1:04:40<1:53:39, 10.69s/it]
{'loss': 0.1995, 'grad_norm': 3.39218807220459, 'learning_rate': 1.4708632887360566e-05, 'ppl': 1.22079, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.013490676879883, 'tokens/total': 48643424, 'tokens/trainable': 91204, 'epoch': 0.75}
|
||
38%|██████████████████████████████████████████████▍ | 387/1025 [1:04:40<1:53:39, 10.69s/it]
38%|██████████████████████████████████████████████▌ | 388/1025 [1:04:53<2:00:46, 11.38s/it]
{'loss': 0.2655, 'grad_norm': 3.94185209274292, 'learning_rate': 1.4680153284438345e-05, 'ppl': 1.30408, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.312326431274414, 'tokens/total': 48818320, 'tokens/trainable': 91428, 'epoch': 0.76}
|
||
38%|██████████████████████████████████████████████▌ | 388/1025 [1:04:53<2:00:46, 11.38s/it]
38%|██████████████████████████████████████████████▋ | 389/1025 [1:05:02<1:53:58, 10.75s/it]
{'loss': 0.1862, 'grad_norm': 3.454742670059204, 'learning_rate': 1.4651624991319043e-05, 'ppl': 1.20466, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.984670639038086, 'tokens/total': 48930832, 'tokens/trainable': 91650, 'epoch': 0.76}
|
||
38%|██████████████████████████████████████████████▋ | 389/1025 [1:05:02<1:53:58, 10.75s/it]
38%|██████████████████████████████████████████████▊ | 390/1025 [1:05:11<1:49:07, 10.31s/it]
{'loss': 0.2492, 'grad_norm': 4.593332290649414, 'learning_rate': 1.462304830479811e-05, 'ppl': 1.283, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.67571258544922, 'tokens/total': 49039072, 'tokens/trainable': 91878, 'epoch': 0.76}
|
||
38%|██████████████████████████████████████████████▊ | 390/1025 [1:05:11<1:49:07, 10.31s/it]
38%|██████████████████████████████████████████████▉ | 391/1025 [1:05:25<1:58:41, 11.23s/it]
{'loss': 0.277, 'grad_norm': 4.4609808921813965, 'learning_rate': 1.4594423522174458e-05, 'ppl': 1.31917, 'memory/max_active (GiB)': 16.94, 'memory/max_allocated (GiB)': 16.94, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.74130630493164, 'tokens/total': 49213968, 'tokens/trainable': 92128, 'epoch': 0.76}
|
||
38%|██████████████████████████████████████████████▉ | 391/1025 [1:05:25<1:58:41, 11.23s/it]
38%|███████████████████████████████████████████████ | 392/1025 [1:05:34<1:52:00, 10.62s/it]
{'loss': 0.3154, 'grad_norm': 13.611637115478516, 'learning_rate': 1.4565750941247387e-05, 'ppl': 1.37081, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.785921096801758, 'tokens/total': 49339808, 'tokens/trainable': 92382, 'epoch': 0.76}
|
||
38%|███████████████████████████████████████████████ | 392/1025 [1:05:34<1:52:00, 10.62s/it]
38%|███████████████████████████████████████████████▏ | 393/1025 [1:05:43<1:47:43, 10.23s/it]
{'loss': 0.2305, 'grad_norm': 3.5911130905151367, 'learning_rate': 1.4537030860313443e-05, 'ppl': 1.25923, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.940080642700195, 'tokens/total': 49458096, 'tokens/trainable': 92604, 'epoch': 0.77}
|
||
38%|███████████████████████████████████████████████▏ | 393/1025 [1:05:43<1:47:43, 10.23s/it]
38%|███████████████████████████████████████████████▎ | 394/1025 [1:05:52<1:44:41, 9.95s/it]
{'loss': 0.2094, 'grad_norm': 5.260406017303467, 'learning_rate': 1.4508263578163358e-05, 'ppl': 1.23294, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.708261489868164, 'tokens/total': 49576288, 'tokens/trainable': 92824, 'epoch': 0.77}
|
||
38%|███████████████████████████████████████████████▎ | 394/1025 [1:05:52<1:44:41, 9.95s/it]
39%|███████████████████████████████████████████████▍ | 395/1025 [1:06:01<1:41:50, 9.70s/it]
{'loss': 0.181, 'grad_norm': 4.888065338134766, 'learning_rate': 1.4479449394078916e-05, 'ppl': 1.19842, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.273977279663086, 'tokens/total': 49705440, 'tokens/trainable': 93044, 'epoch': 0.77}
|
||
39%|███████████████████████████████████████████████▍ | 395/1025 [1:06:02<1:41:50, 9.70s/it]
39%|███████████████████████████████████████████████▌ | 396/1025 [1:06:11<1:40:56, 9.63s/it]
{'loss': 0.2292, 'grad_norm': 3.018932819366455, 'learning_rate': 1.4450588607829848e-05, 'ppl': 1.25759, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.404138565063477, 'tokens/total': 49824032, 'tokens/trainable': 93274, 'epoch': 0.77}
|
||
39%|███████████████████████████████████████████████▌ | 396/1025 [1:06:11<1:40:56, 9.63s/it]
39%|███████████████████████████████████████████████▋ | 397/1025 [1:06:19<1:36:42, 9.24s/it]
{'loss': 0.2024, 'grad_norm': 4.486277103424072, 'learning_rate': 1.4421681519670723e-05, 'ppl': 1.22434, 'memory/max_active (GiB)': 15.53, 'memory/max_allocated (GiB)': 15.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.74186134338379, 'tokens/total': 49906224, 'tokens/trainable': 93504, 'epoch': 0.77}
|
||
39%|███████████████████████████████████████████████▋ | 397/1025 [1:06:19<1:36:42, 9.24s/it]
39%|███████████████████████████████████████████████▊ | 398/1025 [1:06:32<1:47:49, 10.32s/it]
{'loss': 0.2151, 'grad_norm': 3.210294723510742, 'learning_rate': 1.4392728430337801e-05, 'ppl': 1.23999, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 16.88494873046875, 'tokens/total': 50057632, 'tokens/trainable': 93720, 'epoch': 0.78}
|
||
39%|███████████████████████████████████████████████▊ | 398/1025 [1:06:32<1:47:49, 10.32s/it]
39%|███████████████████████████████████████████████▉ | 399/1025 [1:06:41<1:43:43, 9.94s/it]
{'loss': 0.3147, 'grad_norm': 4.691076278686523, 'learning_rate': 1.4363729641045922e-05, 'ppl': 1.36985, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.60661506652832, 'tokens/total': 50155104, 'tokens/trainable': 93960, 'epoch': 0.78}
|
||
39%|███████████████████████████████████████████████▉ | 399/1025 [1:06:41<1:43:43, 9.94s/it]
39%|████████████████████████████████████████████████ | 400/1025 [1:06:50<1:39:10, 9.52s/it]
{'loss': 0.3987, 'grad_norm': 5.286716461181641, 'learning_rate': 1.433468545348537e-05, 'ppl': 1.48989, 'memory/max_active (GiB)': 15.65, 'memory/max_allocated (GiB)': 15.65, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.88472557067871, 'tokens/total': 50268144, 'tokens/trainable': 94180, 'epoch': 0.78}
|
||
39%|████████████████████████████████████████████████ | 400/1025 [1:06:50<1:39:10, 9.52s/it]
39%|████████████████████████████████████████████████ | 401/1025 [1:06:59<1:37:06, 9.34s/it]
{'loss': 0.2503, 'grad_norm': 4.180167198181152, 'learning_rate': 1.430559616981873e-05, 'ppl': 1.28441, 'memory/max_active (GiB)': 12.9, 'memory/max_allocated (GiB)': 12.9, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.26254653930664, 'tokens/total': 50366128, 'tokens/trainable': 94404, 'epoch': 0.78}
|
||
39%|████████████████████████████████████████████████ | 401/1025 [1:06:59<1:37:06, 9.34s/it]
39%|████████████████████████████████████████████████▏ | 402/1025 [1:07:08<1:36:42, 9.31s/it]
{'loss': 0.2232, 'grad_norm': 4.003584384918213, 'learning_rate': 1.427646209267775e-05, 'ppl': 1.25007, 'memory/max_active (GiB)': 13.06, 'memory/max_allocated (GiB)': 13.06, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.17582130432129, 'tokens/total': 50462400, 'tokens/trainable': 94636, 'epoch': 0.78}
|
||
39%|████████████████████████████████████████████████▏ | 402/1025 [1:07:08<1:36:42, 9.31s/it]
39%|████████████████████████████████████████████████▎ | 403/1025 [1:07:21<1:48:43, 10.49s/it]
{'loss': 0.2226, 'grad_norm': 3.9499671459198, 'learning_rate': 1.4247283525160178e-05, 'ppl': 1.24932, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.4448184967041, 'tokens/total': 50608128, 'tokens/trainable': 94866, 'epoch': 0.79}
|
||
39%|████████████████████████████████████████████████▎ | 403/1025 [1:07:21<1:48:43, 10.49s/it]
39%|████████████████████████████████████████████████▍ | 404/1025 [1:07:34<1:55:52, 11.20s/it]
{'loss': 0.2151, 'grad_norm': 3.600069999694824, 'learning_rate': 1.4218060770826636e-05, 'ppl': 1.23999, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.111846923828125, 'tokens/total': 50743696, 'tokens/trainable': 95098, 'epoch': 0.79}
|
||
39%|████████████████████████████████████████████████▍ | 404/1025 [1:07:34<1:55:52, 11.20s/it]
40%|████████████████████████████████████████████████▌ | 405/1025 [1:07:47<2:02:29, 11.85s/it]
{'loss': 0.2918, 'grad_norm': 4.441606521606445, 'learning_rate': 1.4188794133697433e-05, 'ppl': 1.33884, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 16.62955665588379, 'tokens/total': 50910928, 'tokens/trainable': 95320, 'epoch': 0.79}
|
||
40%|████████████████████████████████████████████████▌ | 405/1025 [1:07:47<2:02:29, 11.85s/it]
40%|████████████████████████████████████████████████▋ | 406/1025 [1:08:00<2:04:16, 12.05s/it]
{'loss': 0.1967, 'grad_norm': 3.1709418296813965, 'learning_rate': 1.415948391824942e-05, 'ppl': 1.21738, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.95514488220215, 'tokens/total': 51056656, 'tokens/trainable': 95556, 'epoch': 0.79}
|
||
40%|████████████████████████████████████████████████▋ | 406/1025 [1:08:00<2:04:16, 12.05s/it]
40%|████████████████████████████████████████████████▊ | 407/1025 [1:08:08<1:52:07, 10.89s/it]
{'loss': 0.2332, 'grad_norm': 3.867893695831299, 'learning_rate': 1.4130130429412817e-05, 'ppl': 1.26263, 'memory/max_active (GiB)': 16.92, 'memory/max_allocated (GiB)': 16.92, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.482242584228516, 'tokens/total': 51159536, 'tokens/trainable': 95796, 'epoch': 0.79}
|
||
40%|████████████████████████████████████████████████▊ | 407/1025 [1:08:08<1:52:07, 10.89s/it]
40%|████████████████████████████████████████████████▉ | 408/1025 [1:08:15<1:41:04, 9.83s/it]
{'loss': 0.3572, 'grad_norm': 3.456076145172119, 'learning_rate': 1.4100733972568038e-05, 'ppl': 1.42932, 'memory/max_active (GiB)': 13.81, 'memory/max_allocated (GiB)': 13.81, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 33.3430061340332, 'tokens/total': 51242896, 'tokens/trainable': 96040, 'epoch': 0.8}
|
||
40%|████████████████████████████████████████████████▉ | 408/1025 [1:08:15<1:41:04, 9.83s/it]
40%|█████████████████████████████████████████████████ | 409/1025 [1:08:28<1:49:34, 10.67s/it]
{'loss': 0.2505, 'grad_norm': 4.921036720275879, 'learning_rate': 1.4071294853542518e-05, 'ppl': 1.28467, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.456571578979492, 'tokens/total': 51410128, 'tokens/trainable': 96260, 'epoch': 0.8}
|
||
40%|█████████████████████████████████████████████████ | 409/1025 [1:08:28<1:49:34, 10.67s/it]
40%|█████████████████████████████████████████████████▏ | 410/1025 [1:08:37<1:44:50, 10.23s/it]
{'loss': 0.2101, 'grad_norm': 4.625211715698242, 'learning_rate': 1.4041813378607534e-05, 'ppl': 1.2338, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.135900497436523, 'tokens/total': 51522640, 'tokens/trainable': 96490, 'epoch': 0.8}
|
||
40%|█████████████████████████████████████████████████▏ | 410/1025 [1:08:37<1:44:50, 10.23s/it]
40%|█████████████████████████████████████████████████▎ | 411/1025 [1:08:50<1:52:20, 10.98s/it]
{'loss': 0.2153, 'grad_norm': 3.4070990085601807, 'learning_rate': 1.401228985447501e-05, 'ppl': 1.24023, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.44427490234375, 'tokens/total': 51678528, 'tokens/trainable': 96724, 'epoch': 0.8}
|
||
40%|█████████████████████████████████████████████████▎ | 411/1025 [1:08:50<1:52:20, 10.98s/it]
40%|█████████████████████████████████████████████████▍ | 412/1025 [1:09:02<1:56:58, 11.45s/it]
{'loss': 0.2344, 'grad_norm': 5.632096767425537, 'learning_rate': 1.3982724588294334e-05, 'ppl': 1.26415, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.985776901245117, 'tokens/total': 51834416, 'tokens/trainable': 96974, 'epoch': 0.8}
|
||
40%|█████████████████████████████████████████████████▍ | 412/1025 [1:09:03<1:56:58, 11.45s/it]
40%|█████████████████████████████████████████████████▌ | 413/1025 [1:09:12<1:50:11, 10.80s/it]
{'loss': 0.245, 'grad_norm': 3.8071446418762207, 'learning_rate': 1.3953117887649153e-05, 'ppl': 1.27762, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.346149444580078, 'tokens/total': 51955040, 'tokens/trainable': 97190, 'epoch': 0.81}
|
||
40%|█████████████████████████████████████████████████▌ | 413/1025 [1:09:12<1:50:11, 10.80s/it]
40%|█████████████████████████████████████████████████▋ | 414/1025 [1:09:21<1:44:34, 10.27s/it]
{'loss': 0.195, 'grad_norm': 3.1385092735290527, 'learning_rate': 1.3923470060554185e-05, 'ppl': 1.21531, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.71759033203125, 'tokens/total': 52075728, 'tokens/trainable': 97430, 'epoch': 0.81}
|
||
40%|█████████████████████████████████████████████████▋ | 414/1025 [1:09:21<1:44:34, 10.27s/it]
40%|█████████████████████████████████████████████████▊ | 415/1025 [1:09:29<1:38:53, 9.73s/it]
{'loss': 0.2094, 'grad_norm': 3.646670341491699, 'learning_rate': 1.389378141545201e-05, 'ppl': 1.23294, 'memory/max_active (GiB)': 16.05, 'memory/max_allocated (GiB)': 16.05, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.594972610473633, 'tokens/total': 52185776, 'tokens/trainable': 97654, 'epoch': 0.81}
|
||
40%|█████████████████████████████████████████████████▊ | 415/1025 [1:09:29<1:38:53, 9.73s/it]
41%|█████████████████████████████████████████████████▉ | 416/1025 [1:09:39<1:37:16, 9.58s/it]
{'loss': 0.1544, 'grad_norm': 3.0510172843933105, 'learning_rate': 1.3864052261209859e-05, 'ppl': 1.16696, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.759109497070312, 'tokens/total': 52335104, 'tokens/trainable': 97882, 'epoch': 0.81}
|
||
41%|█████████████████████████████████████████████████▉ | 416/1025 [1:09:39<1:37:16, 9.58s/it]
41%|██████████████████████████████████████████████████ | 417/1025 [1:09:46<1:31:13, 9.00s/it]
{'loss': 0.1571, 'grad_norm': 3.082552194595337, 'learning_rate': 1.38342829071164e-05, 'ppl': 1.17011, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 30.51793098449707, 'tokens/total': 52419504, 'tokens/trainable': 98114, 'epoch': 0.81}
|
||
41%|██████████████████████████████████████████████████ | 417/1025 [1:09:46<1:31:13, 9.00s/it]
41%|██████████████████████████████████████████████████▏ | 418/1025 [1:09:55<1:29:09, 8.81s/it]
{'loss': 0.1067, 'grad_norm': 2.895442485809326, 'learning_rate': 1.3804473662878519e-05, 'ppl': 1.1126, 'memory/max_active (GiB)': 17.02, 'memory/max_allocated (GiB)': 17.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.881702423095703, 'tokens/total': 52515824, 'tokens/trainable': 98338, 'epoch': 0.81}
|
||
41%|██████████████████████████████████████████████████▏ | 418/1025 [1:09:55<1:29:09, 8.81s/it]
41%|██████████████████████████████████████████████████▎ | 419/1025 [1:10:03<1:28:04, 8.72s/it]
{'loss': 0.1808, 'grad_norm': 2.959115982055664, 'learning_rate': 1.377462483861811e-05, 'ppl': 1.19818, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.88804054260254, 'tokens/total': 52625680, 'tokens/trainable': 98574, 'epoch': 0.82}
|
||
41%|██████████████████████████████████████████████████▎ | 419/1025 [1:10:03<1:28:04, 8.72s/it]
41%|██████████████████████████████████████████████████▍ | 420/1025 [1:10:12<1:29:45, 8.90s/it]
{'loss': 0.2836, 'grad_norm': 6.074609279632568, 'learning_rate': 1.3744736744868832e-05, 'ppl': 1.3279, 'memory/max_active (GiB)': 17.03, 'memory/max_allocated (GiB)': 17.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.001361846923828, 'tokens/total': 52743872, 'tokens/trainable': 98806, 'epoch': 0.82}
|
||
41%|██████████████████████████████████████████████████▍ | 420/1025 [1:10:12<1:29:45, 8.90s/it]
41%|██████████████████████████████████████████████████▌ | 421/1025 [1:10:21<1:27:56, 8.74s/it]
{'loss': 0.1877, 'grad_norm': 4.136214256286621, 'learning_rate': 1.3714809692572889e-05, 'ppl': 1.20647, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.21100616455078, 'tokens/total': 52848736, 'tokens/trainable': 99032, 'epoch': 0.82}
|
||
41%|██████████████████████████████████████████████████▌ | 421/1025 [1:10:21<1:27:56, 8.74s/it]
41%|██████████████████████████████████████████████████▋ | 422/1025 [1:10:30<1:28:57, 8.85s/it]
{'loss': 0.2841, 'grad_norm': 5.688397407531738, 'learning_rate': 1.368484399307779e-05, 'ppl': 1.32857, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.967851638793945, 'tokens/total': 52952384, 'tokens/trainable': 99286, 'epoch': 0.82}
|
||
41%|██████████████████████████████████████████████████▋ | 422/1025 [1:10:30<1:28:57, 8.85s/it]
41%|██████████████████████████████████████████████████▊ | 423/1025 [1:10:39<1:30:15, 9.00s/it]
{'loss': 0.2596, 'grad_norm': 4.872488498687744, 'learning_rate': 1.3654839958133118e-05, 'ppl': 1.29641, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.3289852142334, 'tokens/total': 53101712, 'tokens/trainable': 99512, 'epoch': 0.82}
|
||
41%|██████████████████████████████████████████████████▊ | 423/1025 [1:10:39<1:30:15, 9.00s/it]
41%|██████████████████████████████████████████████████▉ | 424/1025 [1:10:48<1:30:09, 9.00s/it]
{'loss': 0.186, 'grad_norm': 3.4973039627075195, 'learning_rate': 1.3624797899887272e-05, 'ppl': 1.20442, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.086994171142578, 'tokens/total': 53223200, 'tokens/trainable': 99746, 'epoch': 0.83}
|
||
41%|██████████████████████████████████████████████████▉ | 424/1025 [1:10:48<1:30:09, 9.00s/it]
41%|███████████████████████████████████████████████████ | 425/1025 [1:11:01<1:42:10, 10.22s/it]
{'loss': 0.2368, 'grad_norm': 3.833526134490967, 'learning_rate': 1.3594718130884235e-05, 'ppl': 1.26719, 'memory/max_active (GiB)': 16.05, 'memory/max_allocated (GiB)': 16.05, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.67115592956543, 'tokens/total': 53392416, 'tokens/trainable': 99976, 'epoch': 0.83}
|
||
41%|███████████████████████████████████████████████████ | 425/1025 [1:11:01<1:42:10, 10.22s/it]
42%|███████████████████████████████████████████████████ | 426/1025 [1:11:14<1:50:01, 11.02s/it]
{'loss': 0.2717, 'grad_norm': 4.1370015144348145, 'learning_rate': 1.356460096406031e-05, 'ppl': 1.31219, 'memory/max_active (GiB)': 16.06, 'memory/max_allocated (GiB)': 16.06, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.052722930908203, 'tokens/total': 53561632, 'tokens/trainable': 100208, 'epoch': 0.83}
|
||
42%|███████████████████████████████████████████████████ | 426/1025 [1:11:14<1:50:01, 11.02s/it]
42%|███████████████████████████████████████████████████▏ | 427/1025 [1:11:23<1:44:44, 10.51s/it]
{'loss': 0.1673, 'grad_norm': 4.493645191192627, 'learning_rate': 1.3534446712740879e-05, 'ppl': 1.18211, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.15483283996582, 'tokens/total': 53703312, 'tokens/trainable': 100432, 'epoch': 0.83}
|
||
42%|███████████████████████████████████████████████████▏ | 427/1025 [1:11:23<1:44:44, 10.51s/it]
42%|███████████████████████████████████████████████████▎ | 428/1025 [1:11:31<1:37:01, 9.75s/it]
{'loss': 0.2897, 'grad_norm': 4.397101402282715, 'learning_rate': 1.3504255690637122e-05, 'ppl': 1.33603, 'memory/max_active (GiB)': 15.6, 'memory/max_allocated (GiB)': 15.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.976539611816406, 'tokens/total': 53800512, 'tokens/trainable': 100662, 'epoch': 0.83}
|
||
42%|███████████████████████████████████████████████████▎ | 428/1025 [1:11:31<1:37:01, 9.75s/it]
42%|███████████████████████████████████████████████████▍ | 429/1025 [1:11:41<1:35:05, 9.57s/it]
{'loss': 0.2393, 'grad_norm': 3.3666179180145264, 'learning_rate': 1.3474028211842774e-05, 'ppl': 1.27036, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.885936737060547, 'tokens/total': 53919104, 'tokens/trainable': 100898, 'epoch': 0.84}
|
||
42%|███████████████████████████████████████████████████▍ | 429/1025 [1:11:41<1:35:05, 9.57s/it]
42%|███████████████████████████████████████████████████▌ | 430/1025 [1:11:49<1:31:25, 9.22s/it]
{'loss': 0.2273, 'grad_norm': 4.797325134277344, 'learning_rate': 1.344376459083085e-05, 'ppl': 1.25521, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.02597999572754, 'tokens/total': 54023968, 'tokens/trainable': 101132, 'epoch': 0.84}
|
||
42%|███████████████████████████████████████████████████▌ | 430/1025 [1:11:49<1:31:25, 9.22s/it]
42%|███████████████████████████████████████████████████▋ | 431/1025 [1:11:57<1:27:45, 8.86s/it]
{'loss': 0.2026, 'grad_norm': 3.929628372192383, 'learning_rate': 1.3413465142450366e-05, 'ppl': 1.22458, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.261072158813477, 'tokens/total': 54131328, 'tokens/trainable': 101358, 'epoch': 0.84}
|
||
42%|███████████████████████████████████████████████████▋ | 431/1025 [1:11:57<1:27:45, 8.86s/it]
42%|███████████████████████████████████████████████████▊ | 432/1025 [1:12:05<1:24:38, 8.56s/it]
{'loss': 0.3812, 'grad_norm': 7.480805397033691, 'learning_rate': 1.3383130181923073e-05, 'ppl': 1.46404, 'memory/max_active (GiB)': 14.91, 'memory/max_allocated (GiB)': 14.91, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 37.84810256958008, 'tokens/total': 54232624, 'tokens/trainable': 101654, 'epoch': 0.84}
|
||
42%|███████████████████████████████████████████████████▊ | 432/1025 [1:12:05<1:24:38, 8.56s/it]
42%|███████████████████████████████████████████████████▉ | 433/1025 [1:12:18<1:37:51, 9.92s/it]
{'loss': 0.2296, 'grad_norm': 3.6420998573303223, 'learning_rate': 1.3352760024840174e-05, 'ppl': 1.2581, 'memory/max_active (GiB)': 15.62, 'memory/max_allocated (GiB)': 15.62, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 16.726015090942383, 'tokens/total': 54386528, 'tokens/trainable': 101872, 'epoch': 0.84}
|
||
42%|███████████████████████████████████████████████████▉ | 433/1025 [1:12:18<1:37:51, 9.92s/it]
42%|████████████████████████████████████████████████████ | 434/1025 [1:12:31<1:46:41, 10.83s/it]
{'loss': 0.1313, 'grad_norm': 3.1427528858184814, 'learning_rate': 1.3322354987159045e-05, 'ppl': 1.14031, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.79932403564453, 'tokens/total': 54532256, 'tokens/trainable': 102102, 'epoch': 0.85}
|
||
42%|████████████████████████████████████████████████████ | 434/1025 [1:12:31<1:46:41, 10.83s/it]
42%|████████████████████████████████████████████████████▏ | 435/1025 [1:12:39<1:39:17, 10.10s/it]
{'loss': 0.1602, 'grad_norm': 2.6773605346679688, 'learning_rate': 1.3291915385199939e-05, 'ppl': 1.17375, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.08770179748535, 'tokens/total': 54637120, 'tokens/trainable': 102328, 'epoch': 0.85}
|
||
42%|████████████████████████████████████████████████████▏ | 435/1025 [1:12:39<1:39:17, 10.10s/it]
43%|████████████████████████████████████████████████████▎ | 436/1025 [1:12:52<1:47:28, 10.95s/it]
{'loss': 0.2438, 'grad_norm': 6.871693134307861, 'learning_rate': 1.3261441535642696e-05, 'ppl': 1.27609, 'memory/max_active (GiB)': 14.07, 'memory/max_allocated (GiB)': 14.07, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.550655364990234, 'tokens/total': 54766208, 'tokens/trainable': 102580, 'epoch': 0.85}
|
||
43%|████████████████████████████████████████████████████▎ | 436/1025 [1:12:52<1:47:28, 10.95s/it]
43%|████████████████████████████████████████████████████▍ | 437/1025 [1:13:01<1:41:40, 10.37s/it]
{'loss': 0.1103, 'grad_norm': 2.16249680519104, 'learning_rate': 1.3230933755523466e-05, 'ppl': 1.11661, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.90178871154785, 'tokens/total': 54895200, 'tokens/trainable': 102822, 'epoch': 0.85}
|
||
43%|████████████████████████████████████████████████████▍ | 437/1025 [1:13:01<1:41:40, 10.37s/it]
43%|████████████████████████████████████████████████████▌ | 438/1025 [1:13:15<1:51:24, 11.39s/it]
{'loss': 0.2837, 'grad_norm': 3.4072659015655518, 'learning_rate': 1.3200392362231385e-05, 'ppl': 1.32803, 'memory/max_active (GiB)': 15.61, 'memory/max_allocated (GiB)': 15.61, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.362606048583984, 'tokens/total': 55047120, 'tokens/trainable': 103060, 'epoch': 0.85}
|
||
43%|████████████████████████████████████████████████████▌ | 438/1025 [1:13:15<1:51:24, 11.39s/it]
43%|████████████████████████████████████████████████████▋ | 439/1025 [1:13:23<1:41:02, 10.35s/it]
{'loss': 0.2439, 'grad_norm': 4.7799482345581055, 'learning_rate': 1.3169817673505287e-05, 'ppl': 1.27622, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.7093448638916, 'tokens/total': 55144320, 'tokens/trainable': 103286, 'epoch': 0.86}
|
||
43%|████████████████████████████████████████████████████▋ | 439/1025 [1:13:23<1:41:02, 10.35s/it]
43%|████████████████████████████████████████████████████▊ | 440/1025 [1:13:32<1:37:14, 9.97s/it]
{'loss': 0.1511, 'grad_norm': 3.3616745471954346, 'learning_rate': 1.3139210007430404e-05, 'ppl': 1.16311, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.691055297851562, 'tokens/total': 55257232, 'tokens/trainable': 103528, 'epoch': 0.86}
|
||
43%|████████████████████████████████████████████████████▊ | 440/1025 [1:13:32<1:37:14, 9.97s/it]
43%|████████████████████████████████████████████████████▉ | 441/1025 [1:13:45<1:45:03, 10.79s/it]
{'loss': 0.2446, 'grad_norm': 4.531376361846924, 'learning_rate': 1.3108569682435039e-05, 'ppl': 1.27711, 'memory/max_active (GiB)': 24.75, 'memory/max_allocated (GiB)': 24.75, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.001209259033203, 'tokens/total': 55411136, 'tokens/trainable': 103756, 'epoch': 0.86}
|
||
43%|████████████████████████████████████████████████████▉ | 441/1025 [1:13:45<1:45:03, 10.79s/it]
43%|█████████████████████████████████████████████████████ | 442/1025 [1:13:58<1:50:55, 11.42s/it]
{'loss': 0.2739, 'grad_norm': 4.149045467376709, 'learning_rate': 1.3077897017287274e-05, 'ppl': 1.31508, 'memory/max_active (GiB)': 14.04, 'memory/max_allocated (GiB)': 14.04, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.868188858032227, 'tokens/total': 55570192, 'tokens/trainable': 103998, 'epoch': 0.86}
|
||
43%|█████████████████████████████████████████████████████ | 442/1025 [1:13:58<1:50:55, 11.42s/it]
43%|█████████████████████████████████████████████████████▏ | 443/1025 [1:14:06<1:41:26, 10.46s/it]
{'loss': 0.1452, 'grad_norm': 2.8068604469299316, 'learning_rate': 1.3047192331091636e-05, 'ppl': 1.15627, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.35344696044922, 'tokens/total': 55662288, 'tokens/trainable': 104230, 'epoch': 0.86}
|
||
43%|█████████████████████████████████████████████████████▏ | 443/1025 [1:14:06<1:41:26, 10.46s/it]
43%|█████████████████████████████████████████████████████▎ | 444/1025 [1:14:15<1:38:01, 10.12s/it]
{'loss': 0.3185, 'grad_norm': 4.83297872543335, 'learning_rate': 1.3016455943285787e-05, 'ppl': 1.37506, 'memory/max_active (GiB)': 13.18, 'memory/max_allocated (GiB)': 13.18, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.174671173095703, 'tokens/total': 55776272, 'tokens/trainable': 104492, 'epoch': 0.87}
|
||
43%|█████████████████████████████████████████████████████▎ | 444/1025 [1:14:15<1:38:01, 10.12s/it]
43%|█████████████████████████████████████████████████████▍ | 445/1025 [1:14:28<1:45:05, 10.87s/it]
{'loss': 0.1743, 'grad_norm': 3.326751232147217, 'learning_rate': 1.29856881736372e-05, 'ppl': 1.19041, 'memory/max_active (GiB)': 24.7, 'memory/max_allocated (GiB)': 24.7, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 20.20011329650879, 'tokens/total': 55922400, 'tokens/trainable': 104746, 'epoch': 0.87}
|
||
43%|█████████████████████████████████████████████████████▍ | 445/1025 [1:14:28<1:45:05, 10.87s/it]
44%|█████████████████████████████████████████████████████▌ | 446/1025 [1:14:37<1:40:53, 10.46s/it]
{'loss': 0.2582, 'grad_norm': 3.791304349899292, 'learning_rate': 1.2954889342239825e-05, 'ppl': 1.2946, 'memory/max_active (GiB)': 15.98, 'memory/max_allocated (GiB)': 15.98, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.560266494750977, 'tokens/total': 56058400, 'tokens/trainable': 104978, 'epoch': 0.87}
|
||
44%|█████████████████████████████████████████████████████▌ | 446/1025 [1:14:37<1:40:53, 10.46s/it]
44%|█████████████████████████████████████████████████████▋ | 447/1025 [1:14:50<1:47:40, 11.18s/it]
{'loss': 0.2482, 'grad_norm': 3.65286922454834, 'learning_rate': 1.2924059769510769e-05, 'ppl': 1.28172, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 12.16, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.563947677612305, 'tokens/total': 56188704, 'tokens/trainable': 105216, 'epoch': 0.87}
|
||
44%|█████████████████████████████████████████████████████▋ | 447/1025 [1:14:50<1:47:40, 11.18s/it]
44%|█████████████████████████████████████████████████████▊ | 448/1025 [1:14:58<1:38:58, 10.29s/it]
{'loss': 0.2661, 'grad_norm': 3.5618433952331543, 'learning_rate': 1.2893199776186957e-05, 'ppl': 1.30487, 'memory/max_active (GiB)': 14.95, 'memory/max_allocated (GiB)': 14.95, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.348405838012695, 'tokens/total': 56267312, 'tokens/trainable': 105448, 'epoch': 0.87}
|
||
44%|█████████████████████████████████████████████████████▊ | 448/1025 [1:14:58<1:38:58, 10.29s/it]
44%|█████████████████████████████████████████████████████▉ | 449/1025 [1:15:11<1:46:44, 11.12s/it]
{'loss': 0.261, 'grad_norm': 3.785860776901245, 'learning_rate': 1.2862309683321796e-05, 'ppl': 1.29823, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.992902755737305, 'tokens/total': 56436528, 'tokens/trainable': 105682, 'epoch': 0.88}
|
||
44%|█████████████████████████████████████████████████████▉ | 449/1025 [1:15:11<1:46:44, 11.12s/it]
44%|██████████████████████████████████████████████████████ | 450/1025 [1:15:25<1:53:18, 11.82s/it]
{'loss': 0.2533, 'grad_norm': 4.616939544677734, 'learning_rate': 1.283138981228184e-05, 'ppl': 1.28827, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.175439834594727, 'tokens/total': 56588704, 'tokens/trainable': 105926, 'epoch': 0.88}
|
||
44%|██████████████████████████████████████████████████████ | 450/1025 [1:15:25<1:53:18, 11.82s/it]
44%|██████████████████████████████████████████████████████ | 451/1025 [1:15:33<1:41:05, 10.57s/it]
{'loss': 0.1483, 'grad_norm': 2.700249195098877, 'learning_rate': 1.2800440484743428e-05, 'ppl': 1.15986, 'memory/max_active (GiB)': 14.09, 'memory/max_allocated (GiB)': 14.09, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.97063636779785, 'tokens/total': 56674672, 'tokens/trainable': 106146, 'epoch': 0.88}
|
||
44%|██████████████████████████████████████████████████████ | 451/1025 [1:15:33<1:41:05, 10.57s/it]
44%|██████████████████████████████████████████████████████▏ | 452/1025 [1:15:42<1:37:03, 10.16s/it]
{'loss': 0.279, 'grad_norm': 4.295104026794434, 'learning_rate': 1.2769462022689365e-05, 'ppl': 1.32181, 'memory/max_active (GiB)': 17.07, 'memory/max_allocated (GiB)': 17.07, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.278562545776367, 'tokens/total': 56808704, 'tokens/trainable': 106378, 'epoch': 0.88}
|
||
44%|██████████████████████████████████████████████████████▏ | 452/1025 [1:15:42<1:37:03, 10.16s/it]
44%|██████████████████████████████████████████████████████▎ | 453/1025 [1:15:50<1:31:54, 9.64s/it]
{'loss': 0.2519, 'grad_norm': 3.6788511276245117, 'learning_rate': 1.2738454748405552e-05, 'ppl': 1.28647, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.67584800720215, 'tokens/total': 56913568, 'tokens/trainable': 106610, 'epoch': 0.88}
|
||
44%|██████████████████████████████████████████████████████▎ | 453/1025 [1:15:50<1:31:54, 9.64s/it]
44%|██████████████████████████████████████████████████████▍ | 454/1025 [1:15:59<1:28:19, 9.28s/it]
{'loss': 0.1809, 'grad_norm': 3.0595383644104004, 'learning_rate': 1.2707418984477637e-05, 'ppl': 1.1983, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.614749908447266, 'tokens/total': 57026608, 'tokens/trainable': 106842, 'epoch': 0.88}
|
||
44%|██████████████████████████████████████████████████████▍ | 454/1025 [1:15:59<1:28:19, 9.28s/it]
44%|██████████████████████████████████████████████████████▌ | 455/1025 [1:16:08<1:28:02, 9.27s/it]
{'loss': 0.3523, 'grad_norm': 4.6035895347595215, 'learning_rate': 1.2676355053787673e-05, 'ppl': 1.42234, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.012413024902344, 'tokens/total': 57147296, 'tokens/trainable': 107072, 'epoch': 0.89}
|
||
44%|██████████████████████████████████████████████████████▌ | 455/1025 [1:16:08<1:28:02, 9.27s/it]
44%|██████████████████████████████████████████████████████▋ | 456/1025 [1:16:17<1:27:30, 9.23s/it]
{'loss': 0.2528, 'grad_norm': 4.005038738250732, 'learning_rate': 1.2645263279510731e-05, 'ppl': 1.28763, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.959014892578125, 'tokens/total': 57275648, 'tokens/trainable': 107308, 'epoch': 0.89}
|
||
44%|██████████████████████████████████████████████████████▋ | 456/1025 [1:16:17<1:27:30, 9.23s/it]
45%|██████████████████████████████████████████████████████▊ | 457/1025 [1:16:26<1:27:32, 9.25s/it]
{'loss': 0.2366, 'grad_norm': 4.2169060707092285, 'learning_rate': 1.2614143985111565e-05, 'ppl': 1.26693, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.854856491088867, 'tokens/total': 57401488, 'tokens/trainable': 107538, 'epoch': 0.89}
|
||
45%|██████████████████████████████████████████████████████▊ | 457/1025 [1:16:26<1:27:32, 9.25s/it]
45%|██████████████████████████████████████████████████████▉ | 458/1025 [1:16:36<1:28:01, 9.31s/it]
{'loss': 0.2212, 'grad_norm': 2.8259830474853516, 'learning_rate': 1.258299749434123e-05, 'ppl': 1.24757, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 12.17, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.672483444213867, 'tokens/total': 57488416, 'tokens/trainable': 107780, 'epoch': 0.89}
|
||
45%|██████████████████████████████████████████████████████▉ | 458/1025 [1:16:36<1:28:01, 9.31s/it]
45%|███████████████████████████████████████████████████████ | 459/1025 [1:16:49<1:38:35, 10.45s/it]
{'loss': 0.271, 'grad_norm': 3.780719041824341, 'learning_rate': 1.255182413123373e-05, 'ppl': 1.31128, 'memory/max_active (GiB)': 15.54, 'memory/max_allocated (GiB)': 15.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.302614212036133, 'tokens/total': 57648000, 'tokens/trainable': 108006, 'epoch': 0.89}
|
||
45%|███████████████████████████████████████████████████████ | 459/1025 [1:16:49<1:38:35, 10.45s/it]
45%|███████████████████████████████████████████████████████▏ | 460/1025 [1:17:02<1:44:44, 11.12s/it]
{'loss': 0.2673, 'grad_norm': 7.297610759735107, 'learning_rate': 1.2520624220102623e-05, 'ppl': 1.30643, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 20.866167068481445, 'tokens/total': 57830544, 'tokens/trainable': 108270, 'epoch': 0.9}
|
||
45%|███████████████████████████████████████████████████████▏ | 460/1025 [1:17:02<1:44:44, 11.12s/it]
45%|███████████████████████████████████████████████████████▎ | 461/1025 [1:17:11<1:39:17, 10.56s/it]
{'loss': 0.2165, 'grad_norm': 3.8345718383789062, 'learning_rate': 1.248939808553767e-05, 'ppl': 1.24172, 'memory/max_active (GiB)': 15.6, 'memory/max_allocated (GiB)': 15.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.665571212768555, 'tokens/total': 57964560, 'tokens/trainable': 108488, 'epoch': 0.9}
|
||
45%|███████████████████████████████████████████████████████▎ | 461/1025 [1:17:11<1:39:17, 10.56s/it]
45%|███████████████████████████████████████████████████████▍ | 462/1025 [1:17:20<1:35:38, 10.19s/it]
{'loss': 0.2478, 'grad_norm': 4.943624019622803, 'learning_rate': 1.2458146052401444e-05, 'ppl': 1.2812, 'memory/max_active (GiB)': 18.5, 'memory/max_allocated (GiB)': 18.5, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.197751998901367, 'tokens/total': 58100560, 'tokens/trainable': 108722, 'epoch': 0.9}
|
||
45%|███████████████████████████████████████████████████████▍ | 462/1025 [1:17:20<1:35:38, 10.19s/it]
45%|███████████████████████████████████████████████████████▌ | 463/1025 [1:17:28<1:29:16, 9.53s/it]
{'loss': 0.201, 'grad_norm': 3.395172119140625, 'learning_rate': 1.2426868445825955e-05, 'ppl': 1.22262, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.936119079589844, 'tokens/total': 58205936, 'tokens/trainable': 108952, 'epoch': 0.9}
|
||
45%|███████████████████████████████████████████████████████▌ | 463/1025 [1:17:28<1:29:16, 9.53s/it]
45%|███████████████████████████████████████████████████████▋ | 464/1025 [1:17:36<1:25:02, 9.09s/it]
{'loss': 0.1268, 'grad_norm': 2.8605213165283203, 'learning_rate': 1.2395565591209273e-05, 'ppl': 1.13519, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 30.369792938232422, 'tokens/total': 58287536, 'tokens/trainable': 109196, 'epoch': 0.9}
|
||
45%|███████████████████████████████████████████████████████▋ | 464/1025 [1:17:36<1:25:02, 9.09s/it]
45%|███████████████████████████████████████████████████████▊ | 465/1025 [1:17:44<1:21:54, 8.78s/it]
{'loss': 0.2276, 'grad_norm': 3.5674052238464355, 'learning_rate': 1.2364237814212137e-05, 'ppl': 1.25558, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.52693748474121, 'tokens/total': 58395696, 'tokens/trainable': 109432, 'epoch': 0.91}
|
||
45%|███████████████████████████████████████████████████████▊ | 465/1025 [1:17:44<1:21:54, 8.78s/it]
45%|███████████████████████████████████████████████████████▉ | 466/1025 [1:17:52<1:18:31, 8.43s/it]
{'loss': 0.1789, 'grad_norm': 2.7229084968566895, 'learning_rate': 1.2332885440754552e-05, 'ppl': 1.1959, 'memory/max_active (GiB)': 12.9, 'memory/max_allocated (GiB)': 12.9, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 33.800758361816406, 'tokens/total': 58470464, 'tokens/trainable': 109688, 'epoch': 0.91}
|
||
45%|███████████████████████████████████████████████████████▉ | 466/1025 [1:17:52<1:18:31, 8.43s/it]
46%|████████████████████████████████████████████████████████ | 467/1025 [1:18:05<1:31:36, 9.85s/it]
{'loss': 0.1964, 'grad_norm': 5.417721748352051, 'learning_rate': 1.2301508797012434e-05, 'ppl': 1.21701, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.3697452545166, 'tokens/total': 58653008, 'tokens/trainable': 109916, 'epoch': 0.91}
|
||
46%|████████████████████████████████████████████████████████ | 467/1025 [1:18:05<1:31:36, 9.85s/it]
46%|████████████████████████████████████████████████████████▏ | 468/1025 [1:18:14<1:29:10, 9.61s/it]
{'loss': 0.2869, 'grad_norm': 4.181126117706299, 'learning_rate': 1.2270108209414186e-05, 'ppl': 1.33229, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.571435928344727, 'tokens/total': 58748480, 'tokens/trainable': 110182, 'epoch': 0.91}
|
||
46%|████████████████████████████████████████████████████████▏ | 468/1025 [1:18:14<1:29:10, 9.61s/it]
46%|████████████████████████████████████████████████████████▎ | 469/1025 [1:18:27<1:38:53, 10.67s/it]
{'loss': 0.224, 'grad_norm': 6.470629692077637, 'learning_rate': 1.223868400463731e-05, 'ppl': 1.25107, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 16.926542282104492, 'tokens/total': 58899888, 'tokens/trainable': 110404, 'epoch': 0.91}
|
||
46%|████████████████████████████████████████████████████████▎ | 469/1025 [1:18:27<1:38:53, 10.67s/it]
46%|████████████████████████████████████████████████████████▍ | 470/1025 [1:18:37<1:36:31, 10.44s/it]
{'loss': 0.3048, 'grad_norm': 4.628681659698486, 'learning_rate': 1.220723650960502e-05, 'ppl': 1.35635, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 22.757165908813477, 'tokens/total': 59035888, 'tokens/trainable': 110628, 'epoch': 0.92}
|
||
46%|████████████████████████████████████████████████████████▍ | 470/1025 [1:18:37<1:36:31, 10.44s/it]
46%|████████████████████████████████████████████████████████▌ | 471/1025 [1:18:46<1:32:36, 10.03s/it]
{'loss': 0.1829, 'grad_norm': 3.2734766006469727, 'learning_rate': 1.2175766051482817e-05, 'ppl': 1.20069, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.100156784057617, 'tokens/total': 59148400, 'tokens/trainable': 110864, 'epoch': 0.92}
|
||
46%|████████████████████████████████████████████████████████▌ | 471/1025 [1:18:46<1:32:36, 10.03s/it]
46%|████████████████████████████████████████████████████████▋ | 472/1025 [1:18:55<1:29:42, 9.73s/it]
{'loss': 0.2191, 'grad_norm': 3.743000030517578, 'learning_rate': 1.214427295767511e-05, 'ppl': 1.24496, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.443395614624023, 'tokens/total': 59267104, 'tokens/trainable': 111102, 'epoch': 0.92}
|
||
46%|████████████████████████████████████████████████████████▋ | 472/1025 [1:18:55<1:29:42, 9.73s/it]
46%|████████████████████████████████████████████████████████▊ | 473/1025 [1:19:04<1:27:55, 9.56s/it]
{'loss': 0.248, 'grad_norm': 4.6218156814575195, 'learning_rate': 1.2112757555821796e-05, 'ppl': 1.28146, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.26970672607422, 'tokens/total': 59395456, 'tokens/trainable': 111332, 'epoch': 0.92}
|
||
46%|████████████████████████████████████████████████████████▊ | 473/1025 [1:19:04<1:27:55, 9.56s/it]
46%|████████████████████████████████████████████████████████▉ | 474/1025 [1:19:14<1:26:39, 9.44s/it]
{'loss': 0.2269, 'grad_norm': 3.482104539871216, 'learning_rate': 1.2081220173794862e-05, 'ppl': 1.2547, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.140230178833008, 'tokens/total': 59518128, 'tokens/trainable': 111552, 'epoch': 0.92}
|
||
46%|████████████████████████████████████████████████████████▉ | 474/1025 [1:19:14<1:26:39, 9.44s/it]
46%|█████████████████████████████████████████████████████████ | 475/1025 [1:19:26<1:35:56, 10.47s/it]
{'loss': 0.1787, 'grad_norm': 3.0926618576049805, 'learning_rate': 1.2049661139694955e-05, 'ppl': 1.19566, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.394651412963867, 'tokens/total': 59653696, 'tokens/trainable': 111788, 'epoch': 0.93}
|
||
46%|█████████████████████████████████████████████████████████ | 475/1025 [1:19:26<1:35:56, 10.47s/it]
46%|█████████████████████████████████████████████████████████ | 476/1025 [1:19:35<1:29:47, 9.81s/it]
{'loss': 0.2445, 'grad_norm': 3.7355294227600098, 'learning_rate': 1.2018080781847985e-05, 'ppl': 1.27698, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.85662078857422, 'tokens/total': 59764752, 'tokens/trainable': 112026, 'epoch': 0.93}
|
||
46%|█████████████████████████████████████████████████████████ | 476/1025 [1:19:35<1:29:47, 9.81s/it]
47%|█████████████████████████████████████████████████████████▏ | 477/1025 [1:19:47<1:37:46, 10.70s/it]
{'loss': 0.2177, 'grad_norm': 3.3713574409484863, 'learning_rate': 1.1986479428801709e-05, 'ppl': 1.24321, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.36121368408203, 'tokens/total': 59910880, 'tokens/trainable': 112260, 'epoch': 0.93}
|
||
47%|█████████████████████████████████████████████████████████▏ | 477/1025 [1:19:48<1:37:46, 10.70s/it]
47%|█████████████████████████████████████████████████████████▎ | 478/1025 [1:20:00<1:42:59, 11.30s/it]
{'loss': 0.2414, 'grad_norm': 4.882011890411377, 'learning_rate': 1.1954857409322302e-05, 'ppl': 1.27303, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.512208938598633, 'tokens/total': 60093424, 'tokens/trainable': 112494, 'epoch': 0.93}
|
||
47%|█████████████████████████████████████████████████████████▎ | 478/1025 [1:20:00<1:42:59, 11.30s/it]
47%|█████████████████████████████████████████████████████████▍ | 479/1025 [1:20:10<1:37:43, 10.74s/it]
{'loss': 0.2414, 'grad_norm': 4.710604667663574, 'learning_rate': 1.192321505239095e-05, 'ppl': 1.27303, 'memory/max_active (GiB)': 16.09, 'memory/max_allocated (GiB)': 16.09, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.114078521728516, 'tokens/total': 60216096, 'tokens/trainable': 112730, 'epoch': 0.93}
|
||
47%|█████████████████████████████████████████████████████████▍ | 479/1025 [1:20:10<1:37:43, 10.74s/it]
47%|█████████████████████████████████████████████████████████▌ | 480/1025 [1:20:18<1:31:14, 10.05s/it]
{'loss': 0.2161, 'grad_norm': 4.399568557739258, 'learning_rate': 1.1891552687200414e-05, 'ppl': 1.24123, 'memory/max_active (GiB)': 14.23, 'memory/max_allocated (GiB)': 14.23, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.577600479125977, 'tokens/total': 60328080, 'tokens/trainable': 112978, 'epoch': 0.94}
|
||
47%|█████████████████████████████████████████████████████████▌ | 480/1025 [1:20:18<1:31:14, 10.05s/it]
47%|█████████████████████████████████████████████████████████▋ | 481/1025 [1:20:26<1:26:28, 9.54s/it]
{'loss': 0.223, 'grad_norm': 4.018371105194092, 'learning_rate': 1.1859870643151611e-05, 'ppl': 1.24982, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.661800384521484, 'tokens/total': 60446800, 'tokens/trainable': 113208, 'epoch': 0.94}
|
||
47%|█████████████████████████████████████████████████████████▋ | 481/1025 [1:20:26<1:26:28, 9.54s/it]
47%|█████████████████████████████████████████████████████████▊ | 482/1025 [1:20:39<1:35:33, 10.56s/it]
{'loss': 0.2117, 'grad_norm': 5.240135192871094, 'learning_rate': 1.1828169249850201e-05, 'ppl': 1.23578, 'memory/max_active (GiB)': 15.54, 'memory/max_allocated (GiB)': 15.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 16.433042526245117, 'tokens/total': 60588144, 'tokens/trainable': 113420, 'epoch': 0.94}
|
||
47%|█████████████████████████████████████████████████████████▊ | 482/1025 [1:20:39<1:35:33, 10.56s/it]
47%|█████████████████████████████████████████████████████████▉ | 483/1025 [1:20:47<1:28:00, 9.74s/it]
{'loss': 0.2267, 'grad_norm': 4.611257076263428, 'learning_rate': 1.179644883710313e-05, 'ppl': 1.25445, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.98810577392578, 'tokens/total': 60678464, 'tokens/trainable': 113646, 'epoch': 0.94}
|
||
47%|█████████████████████████████████████████████████████████▉ | 483/1025 [1:20:47<1:28:00, 9.74s/it]
47%|██████████████████████████████████████████████████████████ | 484/1025 [1:21:00<1:36:27, 10.70s/it]
{'loss': 0.2324, 'grad_norm': 5.508750915527344, 'learning_rate': 1.1764709734915218e-05, 'ppl': 1.26162, 'memory/max_active (GiB)': 24.75, 'memory/max_allocated (GiB)': 24.75, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.408411026000977, 'tokens/total': 60870736, 'tokens/trainable': 113896, 'epoch': 0.94}
|
||
47%|██████████████████████████████████████████████████████████ | 484/1025 [1:21:00<1:36:27, 10.70s/it]
47%|██████████████████████████████████████████████████████████▏ | 485/1025 [1:21:08<1:29:55, 9.99s/it]
{'loss': 0.3988, 'grad_norm': 6.3940582275390625, 'learning_rate': 1.1732952273485725e-05, 'ppl': 1.49004, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.30014991760254, 'tokens/total': 60981632, 'tokens/trainable': 114156, 'epoch': 0.95}
|
||
47%|██████████████████████████████████████████████████████████▏ | 485/1025 [1:21:08<1:29:55, 9.99s/it]
47%|██████████████████████████████████████████████████████████▎ | 486/1025 [1:21:21<1:37:17, 10.83s/it]
{'loss': 0.3154, 'grad_norm': 3.735896587371826, 'learning_rate': 1.1701176783204908e-05, 'ppl': 1.37081, 'memory/max_active (GiB)': 15.98, 'memory/max_allocated (GiB)': 15.98, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 20.400915145874023, 'tokens/total': 61135536, 'tokens/trainable': 114416, 'epoch': 0.95}
|
||
47%|██████████████████████████████████████████████████████████▎ | 486/1025 [1:21:21<1:37:17, 10.83s/it]
48%|██████████████████████████████████████████████████████████▍ | 487/1025 [1:21:30<1:32:20, 10.30s/it]
{'loss': 0.2046, 'grad_norm': 4.558928489685059, 'learning_rate': 1.1669383594650594e-05, 'ppl': 1.22703, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.291597366333008, 'tokens/total': 61256224, 'tokens/trainable': 114644, 'epoch': 0.95}
|
||
48%|██████████████████████████████████████████████████████████▍ | 487/1025 [1:21:30<1:32:20, 10.30s/it]
48%|██████████████████████████████████████████████████████████▌ | 488/1025 [1:21:43<1:39:36, 11.13s/it]
{'loss': 0.198, 'grad_norm': 5.503220558166504, 'learning_rate': 1.1637573038584729e-05, 'ppl': 1.21896, 'memory/max_active (GiB)': 16.93, 'memory/max_allocated (GiB)': 16.93, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.504133224487305, 'tokens/total': 61400752, 'tokens/trainable': 114872, 'epoch': 0.95}
|
||
48%|██████████████████████████████████████████████████████████▌ | 488/1025 [1:21:43<1:39:36, 11.13s/it]
48%|██████████████████████████████████████████████████████████▋ | 489/1025 [1:21:56<1:44:44, 11.73s/it]
{'loss': 0.2139, 'grad_norm': 4.204562187194824, 'learning_rate': 1.1605745445949942e-05, 'ppl': 1.2385, 'memory/max_active (GiB)': 12.83, 'memory/max_allocated (GiB)': 12.83, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.744144439697266, 'tokens/total': 61538656, 'tokens/trainable': 115104, 'epoch': 0.95}
|
||
48%|██████████████████████████████████████████████████████████▋ | 489/1025 [1:21:56<1:44:44, 11.73s/it]
48%|██████████████████████████████████████████████████████████▊ | 490/1025 [1:22:06<1:37:58, 10.99s/it]
{'loss': 0.1826, 'grad_norm': 4.733269691467285, 'learning_rate': 1.1573901147866108e-05, 'ppl': 1.20033, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.05948257446289, 'tokens/total': 61665024, 'tokens/trainable': 115326, 'epoch': 0.96}
|
||
48%|██████████████████████████████████████████████████████████▊ | 490/1025 [1:22:06<1:37:58, 10.99s/it]
48%|██████████████████████████████████████████████████████████▉ | 491/1025 [1:22:18<1:41:52, 11.45s/it]
{'loss': 0.1225, 'grad_norm': 3.0739831924438477, 'learning_rate': 1.1542040475626896e-05, 'ppl': 1.13032, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.59628677368164, 'tokens/total': 61821616, 'tokens/trainable': 115558, 'epoch': 0.96}
|
||
48%|██████████████████████████████████████████████████████████▉ | 491/1025 [1:22:18<1:41:52, 11.45s/it]
48%|███████████████████████████████████████████████████████████ | 492/1025 [1:22:26<1:32:01, 10.36s/it]
{'loss': 0.2244, 'grad_norm': 3.808877468109131, 'learning_rate': 1.151016376069632e-05, 'ppl': 1.25157, 'memory/max_active (GiB)': 15.6, 'memory/max_allocated (GiB)': 15.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.7873477935791, 'tokens/total': 61918816, 'tokens/trainable': 115782, 'epoch': 0.96}
|
||
48%|███████████████████████████████████████████████████████████ | 492/1025 [1:22:26<1:32:01, 10.36s/it]
48%|███████████████████████████████████████████████████████████▏ | 493/1025 [1:22:35<1:26:55, 9.80s/it]
{'loss': 0.258, 'grad_norm': 5.169553279876709, 'learning_rate': 1.1478271334705302e-05, 'ppl': 1.29434, 'memory/max_active (GiB)': 16.08, 'memory/max_allocated (GiB)': 16.08, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.816137313842773, 'tokens/total': 62033840, 'tokens/trainable': 116026, 'epoch': 0.96}
|
||
48%|███████████████████████████████████████████████████████████▏ | 493/1025 [1:22:35<1:26:55, 9.80s/it]
48%|███████████████████████████████████████████████████████████▎ | 494/1025 [1:22:44<1:24:45, 9.58s/it]
{'loss': 0.2538, 'grad_norm': 3.983818769454956, 'learning_rate': 1.144636352944821e-05, 'ppl': 1.28891, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.76028060913086, 'tokens/total': 62152032, 'tokens/trainable': 116258, 'epoch': 0.96}
|
||
48%|███████████████████████████████████████████████████████████▎ | 494/1025 [1:22:44<1:24:45, 9.58s/it]
48%|███████████████████████████████████████████████████████████▍ | 495/1025 [1:22:53<1:23:36, 9.47s/it]
{'loss': 0.2597, 'grad_norm': 4.458516597747803, 'learning_rate': 1.1414440676879412e-05, 'ppl': 1.29654, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.538114547729492, 'tokens/total': 62259568, 'tokens/trainable': 116492, 'epoch': 0.96}
|
||
48%|███████████████████████████████████████████████████████████▍ | 495/1025 [1:22:53<1:23:36, 9.47s/it]
48%|███████████████████████████████████████████████████████████▌ | 496/1025 [1:23:01<1:19:08, 8.98s/it]
{'loss': 0.2286, 'grad_norm': 3.4611496925354004, 'learning_rate': 1.1382503109109822e-05, 'ppl': 1.25684, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.004243850708008, 'tokens/total': 62356768, 'tokens/trainable': 116718, 'epoch': 0.97}
|
||
48%|███████████████████████████████████████████████████████████▌ | 496/1025 [1:23:01<1:19:08, 8.98s/it]
48%|███████████████████████████████████████████████████████████▋ | 497/1025 [1:23:10<1:20:23, 9.14s/it]
{'loss': 0.3457, 'grad_norm': 5.924562454223633, 'learning_rate': 1.1350551158403442e-05, 'ppl': 1.41298, 'memory/max_active (GiB)': 17.03, 'memory/max_allocated (GiB)': 17.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.558856964111328, 'tokens/total': 62490800, 'tokens/trainable': 116960, 'epoch': 0.97}
|
||
48%|███████████████████████████████████████████████████████████▋ | 497/1025 [1:23:10<1:20:23, 9.14s/it]
49%|███████████████████████████████████████████████████████████▊ | 498/1025 [1:23:19<1:18:11, 8.90s/it]
{'loss': 0.2509, 'grad_norm': 3.715576410293579, 'learning_rate': 1.1318585157173913e-05, 'ppl': 1.28518, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.866924285888672, 'tokens/total': 62590688, 'tokens/trainable': 117200, 'epoch': 0.97}
|
||
49%|███████████████████████████████████████████████████████████▊ | 498/1025 [1:23:19<1:18:11, 8.90s/it]
49%|███████████████████████████████████████████████████████████▉ | 499/1025 [1:23:27<1:15:50, 8.65s/it]
{'loss': 0.218, 'grad_norm': 4.8636155128479, 'learning_rate': 1.1286605437981047e-05, 'ppl': 1.24359, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.40435791015625, 'tokens/total': 62687888, 'tokens/trainable': 117436, 'epoch': 0.97}
|
||
49%|███████████████████████████████████████████████████████████▉ | 499/1025 [1:23:27<1:15:50, 8.65s/it]
49%|████████████████████████████████████████████████████████████ | 500/1025 [1:23:36<1:17:30, 8.86s/it]
{'loss': 0.1902, 'grad_norm': 3.6863555908203125, 'learning_rate': 1.1254612333527368e-05, 'ppl': 1.20949, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.941856384277344, 'tokens/total': 62766848, 'tokens/trainable': 117668, 'epoch': 0.97}
|
||
49%|████████████████████████████████████████████████████████████ | 500/1025 [1:23:36<1:17:30, 8.86s/it]
49%|████████████████████████████████████████████████████████████ | 501/1025 [1:23:45<1:17:58, 8.93s/it]
{'loss': 0.2428, 'grad_norm': 3.897207498550415, 'learning_rate': 1.1222606176654662e-05, 'ppl': 1.27481, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.419404983520508, 'tokens/total': 62877376, 'tokens/trainable': 117898, 'epoch': 0.98}
|
||
49%|████████████████████████████████████████████████████████████ | 501/1025 [1:23:45<1:17:58, 8.93s/it]
49%|████████████████████████████████████████████████████████████▏ | 502/1025 [1:23:58<1:28:12, 10.12s/it]
{'loss': 0.2672, 'grad_norm': 3.768441915512085, 'learning_rate': 1.11905873003405e-05, 'ppl': 1.3063, 'memory/max_active (GiB)': 24.79, 'memory/max_allocated (GiB)': 24.79, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.193805694580078, 'tokens/total': 63033264, 'tokens/trainable': 118132, 'epoch': 0.98}
|
||
49%|████████████████████████████████████████████████████████████▏ | 502/1025 [1:23:58<1:28:12, 10.12s/it]
49%|████████████████████████████████████████████████████████████▎ | 503/1025 [1:24:07<1:25:39, 9.85s/it]
{'loss': 0.1699, 'grad_norm': 4.464515209197998, 'learning_rate': 1.115855603769479e-05, 'ppl': 1.18519, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.10394287109375, 'tokens/total': 63156736, 'tokens/trainable': 118362, 'epoch': 0.98}
|
||
49%|████████████████████████████████████████████████████████████▎ | 503/1025 [1:24:07<1:25:39, 9.85s/it]
49%|████████████████████████████████████████████████████████████▍ | 504/1025 [1:24:16<1:23:44, 9.64s/it]
{'loss': 0.1494, 'grad_norm': 4.473191261291504, 'learning_rate': 1.1126512721956288e-05, 'ppl': 1.16114, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.492876052856445, 'tokens/total': 63277424, 'tokens/trainable': 118604, 'epoch': 0.98}
|
||
49%|████████████████████████████████████████████████████████████▍ | 504/1025 [1:24:16<1:23:44, 9.64s/it]
49%|████████████████████████████████████████████████████████████▌ | 505/1025 [1:24:24<1:19:12, 9.14s/it]
{'loss': 0.1824, 'grad_norm': 3.5229406356811523, 'learning_rate': 1.1094457686489156e-05, 'ppl': 1.20009, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.53585433959961, 'tokens/total': 63343216, 'tokens/trainable': 118830, 'epoch': 0.98}
|
||
49%|████████████████████████████████████████████████████████████▌ | 505/1025 [1:24:24<1:19:12, 9.14s/it]
49%|████████████████████████████████████████████████████████████▋ | 506/1025 [1:24:37<1:27:57, 10.17s/it]
{'loss': 0.1653, 'grad_norm': 2.2419273853302, 'learning_rate': 1.1062391264779473e-05, 'ppl': 1.17975, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.843488693237305, 'tokens/total': 63510448, 'tokens/trainable': 119066, 'epoch': 0.99}
|
||
49%|████████████████████████████████████████████████████████████▋ | 506/1025 [1:24:37<1:27:57, 10.17s/it]
49%|████████████████████████████████████████████████████████████▊ | 507/1025 [1:24:45<1:22:30, 9.56s/it]
{'loss': 0.1681, 'grad_norm': 3.2402305603027344, 'learning_rate': 1.1030313790431787e-05, 'ppl': 1.18305, 'memory/max_active (GiB)': 14.95, 'memory/max_allocated (GiB)': 14.95, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 30.154556274414062, 'tokens/total': 63603072, 'tokens/trainable': 119310, 'epoch': 0.99}
|
||
49%|████████████████████████████████████████████████████████████▊ | 507/1025 [1:24:45<1:22:30, 9.56s/it]
50%|████████████████████████████████████████████████████████████▉ | 508/1025 [1:24:53<1:17:43, 9.02s/it]
{'loss': 0.2509, 'grad_norm': 5.313223838806152, 'learning_rate': 1.0998225597165628e-05, 'ppl': 1.28518, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 32.104793548583984, 'tokens/total': 63693360, 'tokens/trainable': 119558, 'epoch': 0.99}
|
||
50%|████████████████████████████████████████████████████████████▉ | 508/1025 [1:24:53<1:17:43, 9.02s/it]
50%|█████████████████████████████████████████████████████████████ | 509/1025 [1:25:01<1:15:35, 8.79s/it]
{'loss': 0.178, 'grad_norm': 3.9120445251464844, 'learning_rate': 1.0966127018812035e-05, 'ppl': 1.19483, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.96405792236328, 'tokens/total': 63782672, 'tokens/trainable': 119804, 'epoch': 0.99}
|
||
50%|█████████████████████████████████████████████████████████████ | 509/1025 [1:25:01<1:15:35, 8.79s/it]
50%|█████████████████████████████████████████████████████████████▏ | 510/1025 [1:25:09<1:13:07, 8.52s/it]
{'loss': 0.1807, 'grad_norm': 3.3745646476745605, 'learning_rate': 1.093401838931009e-05, 'ppl': 1.19806, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 30.074214935302734, 'tokens/total': 63881856, 'tokens/trainable': 120040, 'epoch': 0.99}
|
||
50%|█████████████████████████████████████████████████████████████▏ | 510/1025 [1:25:09<1:13:07, 8.52s/it]
50%|█████████████████████████████████████████████████████████████▎ | 511/1025 [1:25:16<1:08:39, 8.01s/it]
{'loss': 0.2556, 'grad_norm': 4.522791385650635, 'learning_rate': 1.090190004270345e-05, 'ppl': 1.29124, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 37.67184066772461, 'tokens/total': 63955888, 'tokens/trainable': 120296, 'epoch': 1.0}
|
||
50%|█████████████████████████████████████████████████████████████▎ | 511/1025 [1:25:16<1:08:39, 8.01s/it]
50%|█████████████████████████████████████████████████████████████▍ | 512/1025 [1:25:28<1:20:22, 9.40s/it]
{'loss': 0.1855, 'grad_norm': 3.3246476650238037, 'learning_rate': 1.0869772313136861e-05, 'ppl': 1.20382, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.062271118164062, 'tokens/total': 64123120, 'tokens/trainable': 120536, 'epoch': 1.0}
|
||
50%|█████████████████████████████████████████████████████████████▍ | 512/1025 [1:25:28<1:20:22, 9.40s/it]
50%|█████████████████████████████████████████████████████████████▌ | 513/1025 [1:25:38<1:20:11, 9.40s/it]
{'loss': 0.277, 'grad_norm': 3.81599497795105, 'learning_rate': 1.0837635534852687e-05, 'ppl': 1.31917, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 32.20662307739258, 'tokens/total': 64236528, 'tokens/trainable': 120826, 'epoch': 1.0}
|
||
50%|█████████████████████████████████████████████████████████████▌ | 513/1025 [1:25:38<1:20:11, 9.40s/it][2026-03-04 16:37:39,297] [WARNING] [py.warnings._showwarnmsg:109] [PID:2633803] /usr/local/lib/python3.10/dist-packages/torch/distributed/fsdp/fully_sharded_data_parallel.py:678: FutureWarning: FSDP.state_dict_type() and FSDP.set_state_dict_type() are being deprecated. Please use APIs, get_state_dict() and set_state_dict(), which can support different parallelisms, FSDP1, FSDP2, DDP. API doc: https://pytorch.org/docs/stable/distributed.checkpoint.html#torch.distributed.checkpoint.state_dict.get_state_dict .Tutorial: https://pytorch.org/tutorials/recipes/distributed_checkpoint_recipe.html .
|
||
warnings.warn(
|
||
|
||
[2026-03-04 16:37:49,101] [INFO] [axolotl.core.trainers.base._save:721] [PID:2633803] Saving model checkpoint to ./outputs-ood100_added_anno/checkpoint-513
|
||
50%|█████████████████████████████████████████████████████████████▋ | 514/1025 [1:27:09<4:50:03, 34.06s/it]
{'loss': 0.232, 'grad_norm': 4.624923229217529, 'learning_rate': 1.080549004218742e-05, 'ppl': 1.26112, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.269241333007812, 'tokens/total': 64406544, 'tokens/trainable': 121054, 'epoch': 1.0}
|
||
50%|█████████████████████████████████████████████████████████████▋ | 514/1025 [1:27:09<4:50:03, 34.06s/it]
50%|█████████████████████████████████████████████████████████████▊ | 515/1025 [1:27:19<3:46:09, 26.61s/it]
{'loss': 0.2431, 'grad_norm': 6.765192985534668, 'learning_rate': 1.0773336169568224e-05, 'ppl': 1.2752, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.011634826660156, 'tokens/total': 64540576, 'tokens/trainable': 121302, 'epoch': 1.0}
|
||
50%|█████████████████████████████████████████████████████████████▊ | 515/1025 [1:27:19<3:46:09, 26.61s/it]
50%|█████████████████████████████████████████████████████████████▉ | 516/1025 [1:27:31<3:09:51, 22.38s/it]
{'loss': 0.1891, 'grad_norm': 5.5696916580200195, 'learning_rate': 1.0741174251509443e-05, 'ppl': 1.20816, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.599567413330078, 'tokens/total': 64684320, 'tokens/trainable': 121534, 'epoch': 1.01}
|
||
50%|█████████████████████████████████████████████████████████████▉ | 516/1025 [1:27:31<3:09:51, 22.38s/it]
50%|██████████████████████████████████████████████████████████████ | 517/1025 [1:27:40<2:35:59, 18.42s/it]
{'loss': 0.1841, 'grad_norm': 4.95478630065918, 'learning_rate': 1.0709004622609116e-05, 'ppl': 1.20214, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.5815486907959, 'tokens/total': 64781680, 'tokens/trainable': 121768, 'epoch': 1.01}
|
||
50%|██████████████████████████████████████████████████████████████ | 517/1025 [1:27:40<2:35:59, 18.42s/it]
51%|██████████████████████████████████████████████████████████████▏ | 518/1025 [1:27:49<2:10:42, 15.47s/it]
{'loss': 0.2234, 'grad_norm': 3.9807326793670654, 'learning_rate': 1.0676827617545511e-05, 'ppl': 1.25032, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.188182830810547, 'tokens/total': 64892624, 'tokens/trainable': 122000, 'epoch': 1.01}
|
||
51%|██████████████████████████████████████████████████████████████▏ | 518/1025 [1:27:49<2:10:42, 15.47s/it]
51%|██████████████████████████████████████████████████████████████▎ | 519/1025 [1:27:58<1:54:49, 13.61s/it]
{'loss': 0.1564, 'grad_norm': 3.4191412925720215, 'learning_rate': 1.0644643571073625e-05, 'ppl': 1.16929, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 12.16, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.467573165893555, 'tokens/total': 64987728, 'tokens/trainable': 122254, 'epoch': 1.01}
|
||
51%|██████████████████████████████████████████████████████████████▎ | 519/1025 [1:27:58<1:54:49, 13.61s/it]
51%|██████████████████████████████████████████████████████████████▍ | 520/1025 [1:28:11<1:53:20, 13.47s/it]
{'loss': 0.216, 'grad_norm': 3.717536211013794, 'learning_rate': 1.061245281802171e-05, 'ppl': 1.2411, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.19807243347168, 'tokens/total': 65203488, 'tokens/trainable': 122492, 'epoch': 1.01}
|
||
51%|██████████████████████████████████████████████████████████████▍ | 520/1025 [1:28:11<1:53:20, 13.47s/it]
51%|██████████████████████████████████████████████████████████████▌ | 521/1025 [1:28:20<1:41:54, 12.13s/it]
{'loss': 0.2132, 'grad_norm': 4.667336940765381, 'learning_rate': 1.0580255693287807e-05, 'ppl': 1.23763, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.400943756103516, 'tokens/total': 65331840, 'tokens/trainable': 122738, 'epoch': 1.02}
|
||
51%|██████████████████████████████████████████████████████████████▌ | 521/1025 [1:28:20<1:41:54, 12.13s/it]
51%|██████████████████████████████████████████████████████████████▋ | 522/1025 [1:28:29<1:32:20, 11.02s/it]
{'loss': 0.1718, 'grad_norm': 3.815161943435669, 'learning_rate': 1.0548052531836225e-05, 'ppl': 1.18744, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.491376876831055, 'tokens/total': 65436992, 'tokens/trainable': 122968, 'epoch': 1.02}
|
||
51%|██████████████████████████████████████████████████████████████▋ | 522/1025 [1:28:29<1:32:20, 11.02s/it]
51%|██████████████████████████████████████████████████████████████▊ | 523/1025 [1:28:38<1:27:56, 10.51s/it]
{'loss': 0.2359, 'grad_norm': 3.778865337371826, 'learning_rate': 1.0515843668694087e-05, 'ppl': 1.26605, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.609827041625977, 'tokens/total': 65560464, 'tokens/trainable': 123206, 'epoch': 1.02}
|
||
51%|██████████████████████████████████████████████████████████████▊ | 523/1025 [1:28:38<1:27:56, 10.51s/it]
51%|██████████████████████████████████████████████████████████████▉ | 524/1025 [1:28:47<1:24:35, 10.13s/it]
{'loss': 0.1821, 'grad_norm': 3.508497476577759, 'learning_rate': 1.0483629438947827e-05, 'ppl': 1.19973, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.64, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.389005661010742, 'tokens/total': 65656448, 'tokens/trainable': 123458, 'epoch': 1.02}
|
||
51%|██████████████████████████████████████████████████████████████▉ | 524/1025 [1:28:47<1:24:35, 10.13s/it]
51%|███████████████████████████████████████████████████████████████ | 525/1025 [1:28:57<1:22:33, 9.91s/it]
{'loss': 0.1252, 'grad_norm': 3.199329376220703, 'learning_rate': 1.045141017773972e-05, 'ppl': 1.13338, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.61, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.053220748901367, 'tokens/total': 65735552, 'tokens/trainable': 123692, 'epoch': 1.02}
|
||
51%|███████████████████████████████████████████████████████████████ | 525/1025 [1:28:57<1:22:33, 9.91s/it]
51%|███████████████████████████████████████████████████████████████ | 526/1025 [1:29:09<1:29:44, 10.79s/it]
{'loss': 0.1877, 'grad_norm': 4.271730422973633, 'learning_rate': 1.0419186220264379e-05, 'ppl': 1.20647, 'memory/max_active (GiB)': 18.62, 'memory/max_allocated (GiB)': 18.62, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.332603454589844, 'tokens/total': 65894608, 'tokens/trainable': 123914, 'epoch': 1.03}
|
||
51%|███████████████████████████████████████████████████████████████ | 526/1025 [1:29:10<1:29:44, 10.79s/it]
51%|███████████████████████████████████████████████████████████████▏ | 527/1025 [1:29:22<1:35:00, 11.45s/it]
{'loss': 0.166, 'grad_norm': 3.0787174701690674, 'learning_rate': 1.0386957901765278e-05, 'ppl': 1.18057, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.315311431884766, 'tokens/total': 66097040, 'tokens/trainable': 124138, 'epoch': 1.03}
|
||
51%|███████████████████████████████████████████████████████████████▏ | 527/1025 [1:29:22<1:35:00, 11.45s/it]
52%|███████████████████████████████████████████████████████████████▎ | 528/1025 [1:29:35<1:38:39, 11.91s/it]
{'loss': 0.2213, 'grad_norm': 3.1495583057403564, 'learning_rate': 1.0354725557531258e-05, 'ppl': 1.2477, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.22517204284668, 'tokens/total': 66253632, 'tokens/trainable': 124374, 'epoch': 1.03}
|
||
52%|███████████████████████████████████████████████████████████████▎ | 528/1025 [1:29:35<1:38:39, 11.91s/it]
52%|███████████████████████████████████████████████████████████████▍ | 529/1025 [1:29:44<1:29:23, 10.81s/it]
{'loss': 0.1618, 'grad_norm': 2.9866373538970947, 'learning_rate': 1.0322489522893042e-05, 'ppl': 1.17563, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.236492156982422, 'tokens/total': 66350832, 'tokens/trainable': 124606, 'epoch': 1.03}
|
||
52%|███████████████████████████████████████████████████████████████▍ | 529/1025 [1:29:44<1:29:23, 10.81s/it]
52%|███████████████████████████████████████████████████████████████▌ | 530/1025 [1:29:57<1:34:21, 11.44s/it]
{'loss': 0.2946, 'grad_norm': 5.116130352020264, 'learning_rate': 1.0290250133219755e-05, 'ppl': 1.34259, 'memory/max_active (GiB)': 24.8, 'memory/max_allocated (GiB)': 24.8, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.276281356811523, 'tokens/total': 66509888, 'tokens/trainable': 124828, 'epoch': 1.03}
|
||
52%|███████████████████████████████████████████████████████████████▌ | 530/1025 [1:29:57<1:34:21, 11.44s/it]
52%|███████████████████████████████████████████████████████████████▋ | 531/1025 [1:30:05<1:26:56, 10.56s/it]
{'loss': 0.1452, 'grad_norm': 3.2275757789611816, 'learning_rate': 1.0258007723915412e-05, 'ppl': 1.15627, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.966447830200195, 'tokens/total': 66597712, 'tokens/trainable': 125048, 'epoch': 1.04}
|
||
52%|███████████████████████████████████████████████████████████████▋ | 531/1025 [1:30:05<1:26:56, 10.56s/it]
52%|███████████████████████████████████████████████████████████████▊ | 532/1025 [1:30:14<1:23:40, 10.18s/it]
{'loss': 0.1828, 'grad_norm': 2.80965256690979, 'learning_rate': 1.0225762630415456e-05, 'ppl': 1.20057, 'memory/max_active (GiB)': 13.52, 'memory/max_allocated (GiB)': 13.52, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.68594741821289, 'tokens/total': 66721040, 'tokens/trainable': 125286, 'epoch': 1.04}
|
||
52%|███████████████████████████████████████████████████████████████▊ | 532/1025 [1:30:14<1:23:40, 10.18s/it]
52%|███████████████████████████████████████████████████████████████▉ | 533/1025 [1:30:22<1:17:46, 9.48s/it]
{'loss': 0.1644, 'grad_norm': 3.024812936782837, 'learning_rate': 1.0193515188183246e-05, 'ppl': 1.17869, 'memory/max_active (GiB)': 14.06, 'memory/max_allocated (GiB)': 14.06, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.452194213867188, 'tokens/total': 66818240, 'tokens/trainable': 125516, 'epoch': 1.04}
|
||
52%|███████████████████████████████████████████████████████████████▉ | 533/1025 [1:30:22<1:17:46, 9.48s/it]
52%|████████████████████████████████████████████████████████████████ | 534/1025 [1:30:35<1:26:17, 10.55s/it]
{'loss': 0.2488, 'grad_norm': 3.7740089893341064, 'learning_rate': 1.016126573270658e-05, 'ppl': 1.28249, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.181203842163086, 'tokens/total': 66985488, 'tokens/trainable': 125752, 'epoch': 1.04}
|
||
52%|████████████████████████████████████████████████████████████████ | 534/1025 [1:30:35<1:26:17, 10.55s/it]
52%|████████████████████████████████████████████████████████████████▏ | 535/1025 [1:30:48<1:30:49, 11.12s/it]
{'loss': 0.1315, 'grad_norm': 2.643277883529663, 'learning_rate': 1.01290145994942e-05, 'ppl': 1.14054, 'memory/max_active (GiB)': 24.66, 'memory/max_allocated (GiB)': 24.66, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.836212158203125, 'tokens/total': 67152720, 'tokens/trainable': 125986, 'epoch': 1.04}
|
||
52%|████████████████████████████████████████████████████████████████▏ | 535/1025 [1:30:48<1:30:49, 11.12s/it]
52%|████████████████████████████████████████████████████████████████▎ | 536/1025 [1:31:01<1:35:28, 11.71s/it]
{'loss': 0.1713, 'grad_norm': 4.857705593109131, 'learning_rate': 1.0096762124072306e-05, 'ppl': 1.18685, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.912578582763672, 'tokens/total': 67306624, 'tokens/trainable': 126246, 'epoch': 1.04}
|
||
52%|████████████████████████████████████████████████████████████████▎ | 536/1025 [1:31:01<1:35:28, 11.71s/it]
52%|████████████████████████████████████████████████████████████████▍ | 537/1025 [1:31:11<1:30:57, 11.18s/it]
{'loss': 0.2388, 'grad_norm': 4.1598029136657715, 'learning_rate': 1.0064508641981055e-05, 'ppl': 1.26972, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.02558135986328, 'tokens/total': 67455952, 'tokens/trainable': 126474, 'epoch': 1.05}
|
||
52%|████████████████████████████████████████████████████████████████▍ | 537/1025 [1:31:11<1:30:57, 11.18s/it]
52%|████████████████████████████████████████████████████████████████▌ | 538/1025 [1:31:18<1:22:10, 10.12s/it]
{'loss': 0.1826, 'grad_norm': 3.8756015300750732, 'learning_rate': 1.003225448877108e-05, 'ppl': 1.20033, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.007137298583984, 'tokens/total': 67547488, 'tokens/trainable': 126710, 'epoch': 1.05}
|
||
52%|████████████████████████████████████████████████████████████████▌ | 538/1025 [1:31:18<1:22:10, 10.12s/it]
53%|████████████████████████████████████████████████████████████████▋ | 539/1025 [1:31:28<1:19:47, 9.85s/it]
{'loss': 0.2329, 'grad_norm': 3.899384021759033, 'learning_rate': 1e-05, 'ppl': 1.26226, 'memory/max_active (GiB)': 13.1, 'memory/max_allocated (GiB)': 13.1, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.942039489746094, 'tokens/total': 67643936, 'tokens/trainable': 126948, 'epoch': 1.05}
|
||
53%|████████████████████████████████████████████████████████████████▋ | 539/1025 [1:31:28<1:19:47, 9.85s/it]
53%|████████████████████████████████████████████████████████████████▊ | 540/1025 [1:31:37<1:18:00, 9.65s/it]
{'loss': 0.1855, 'grad_norm': 3.627525806427002, 'learning_rate': 9.967745511228922e-06, 'ppl': 1.20382, 'memory/max_active (GiB)': 12.84, 'memory/max_allocated (GiB)': 12.84, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.699462890625, 'tokens/total': 67746640, 'tokens/trainable': 127192, 'epoch': 1.05}
|
||
53%|████████████████████████████████████████████████████████████████▊ | 540/1025 [1:31:37<1:18:00, 9.65s/it]
53%|████████████████████████████████████████████████████████████████▉ | 541/1025 [1:31:46<1:16:46, 9.52s/it]
{'loss': 0.1563, 'grad_norm': 2.6590421199798584, 'learning_rate': 9.935491358018948e-06, 'ppl': 1.16918, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.30082130432129, 'tokens/total': 67859440, 'tokens/trainable': 127424, 'epoch': 1.05}
|
||
53%|████████████████████████████████████████████████████████████████▉ | 541/1025 [1:31:46<1:16:46, 9.52s/it]
53%|█████████████████████████████████████████████████████████████████ | 542/1025 [1:31:54<1:13:48, 9.17s/it]
{'loss': 0.1655, 'grad_norm': 3.3390557765960693, 'learning_rate': 9.903237875927697e-06, 'ppl': 1.17998, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.362653732299805, 'tokens/total': 67972480, 'tokens/trainable': 127668, 'epoch': 1.06}
|
||
53%|█████████████████████████████████████████████████████████████████ | 542/1025 [1:31:54<1:13:48, 9.17s/it]
53%|█████████████████████████████████████████████████████████████████▏ | 543/1025 [1:32:07<1:22:56, 10.33s/it]
{'loss': 0.2095, 'grad_norm': 3.158346652984619, 'learning_rate': 9.870985400505805e-06, 'ppl': 1.23306, 'memory/max_active (GiB)': 14.93, 'memory/max_allocated (GiB)': 14.93, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.713722229003906, 'tokens/total': 68123392, 'tokens/trainable': 127898, 'epoch': 1.06}
|
||
53%|█████████████████████████████████████████████████████████████████▏ | 543/1025 [1:32:07<1:22:56, 10.33s/it]
53%|█████████████████████████████████████████████████████████████████▎ | 544/1025 [1:32:20<1:28:43, 11.07s/it]
{'loss': 0.2236, 'grad_norm': 3.7132294178009033, 'learning_rate': 9.838734267293421e-06, 'ppl': 1.25057, 'memory/max_active (GiB)': 14.04, 'memory/max_allocated (GiB)': 14.04, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.244943618774414, 'tokens/total': 68274800, 'tokens/trainable': 128118, 'epoch': 1.06}
|
||
53%|█████████████████████████████████████████████████████████████████▎ | 544/1025 [1:32:20<1:28:43, 11.07s/it]
53%|█████████████████████████████████████████████████████████████████▍ | 545/1025 [1:32:33<1:33:02, 11.63s/it]
{'loss': 0.2836, 'grad_norm': 5.436317443847656, 'learning_rate': 9.806484811816756e-06, 'ppl': 1.3279, 'memory/max_active (GiB)': 18.65, 'memory/max_allocated (GiB)': 18.65, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 16.899097442626953, 'tokens/total': 68442032, 'tokens/trainable': 128336, 'epoch': 1.06}
|
||
53%|█████████████████████████████████████████████████████████████████▍ | 545/1025 [1:32:33<1:33:02, 11.63s/it]
53%|█████████████████████████████████████████████████████████████████▌ | 546/1025 [1:32:43<1:27:20, 10.94s/it]
{'loss': 0.259, 'grad_norm': 3.761209726333618, 'learning_rate': 9.774237369584547e-06, 'ppl': 1.29563, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.98509407043457, 'tokens/total': 68568400, 'tokens/trainable': 128596, 'epoch': 1.06}
|
||
53%|█████████████████████████████████████████████████████████████████▌ | 546/1025 [1:32:43<1:27:20, 10.94s/it]
53%|█████████████████████████████████████████████████████████████████▋ | 547/1025 [1:32:51<1:21:05, 10.18s/it]
{'loss': 0.278, 'grad_norm': 4.311344146728516, 'learning_rate': 9.74199227608459e-06, 'ppl': 1.32049, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.183351516723633, 'tokens/total': 68684224, 'tokens/trainable': 128840, 'epoch': 1.07}
|
||
53%|█████████████████████████████████████████████████████████████████▋ | 547/1025 [1:32:51<1:21:05, 10.18s/it]
53%|█████████████████████████████████████████████████████████████████▊ | 548/1025 [1:33:04<1:27:47, 11.04s/it]
{'loss': 0.1906, 'grad_norm': 2.895097017288208, 'learning_rate': 9.709749866780248e-06, 'ppl': 1.20998, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.43194007873535, 'tokens/total': 68836144, 'tokens/trainable': 129080, 'epoch': 1.07}
|
||
53%|█████████████████████████████████████████████████████████████████▊ | 548/1025 [1:33:04<1:27:47, 11.04s/it]
54%|█████████████████████████████████████████████████████████████████▉ | 549/1025 [1:33:17<1:32:05, 11.61s/it]
{'loss': 0.1647, 'grad_norm': 3.6578354835510254, 'learning_rate': 9.67751047710696e-06, 'ppl': 1.17904, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 16.613773345947266, 'tokens/total': 68988064, 'tokens/trainable': 129294, 'epoch': 1.07}
|
||
54%|█████████████████████████████████████████████████████████████████▉ | 549/1025 [1:33:17<1:32:05, 11.61s/it]
54%|██████████████████████████████████████████████████████████████████ | 550/1025 [1:33:26<1:24:47, 10.71s/it]
{'loss': 0.2317, 'grad_norm': 3.9946651458740234, 'learning_rate': 9.645274442468746e-06, 'ppl': 1.26074, 'memory/max_active (GiB)': 17.05, 'memory/max_allocated (GiB)': 17.05, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.126863479614258, 'tokens/total': 69108768, 'tokens/trainable': 129518, 'epoch': 1.07}
|
||
54%|██████████████████████████████████████████████████████████████████ | 550/1025 [1:33:26<1:24:47, 10.71s/it]
54%|██████████████████████████████████████████████████████████████████ | 551/1025 [1:33:34<1:18:24, 9.93s/it]
{'loss': 0.2106, 'grad_norm': 5.060510635375977, 'learning_rate': 9.613042098234727e-06, 'ppl': 1.23442, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.264875411987305, 'tokens/total': 69208352, 'tokens/trainable': 129766, 'epoch': 1.07}
|
||
54%|██████████████████████████████████████████████████████████████████ | 551/1025 [1:33:34<1:18:24, 9.93s/it]
54%|██████████████████████████████████████████████████████████████████▏ | 552/1025 [1:33:43<1:16:16, 9.68s/it]
{'loss': 0.1537, 'grad_norm': 2.5654473304748535, 'learning_rate': 9.580813779735624e-06, 'ppl': 1.16614, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.629581451416016, 'tokens/total': 69342368, 'tokens/trainable': 129998, 'epoch': 1.08}
|
||
54%|██████████████████████████████████████████████████████████████████▏ | 552/1025 [1:33:43<1:16:16, 9.68s/it]
54%|██████████████████████████████████████████████████████████████████▎ | 553/1025 [1:33:55<1:23:29, 10.61s/it]
{'loss': 0.1679, 'grad_norm': 3.318469285964966, 'learning_rate': 9.548589822260281e-06, 'ppl': 1.18282, 'memory/max_active (GiB)': 24.78, 'memory/max_allocated (GiB)': 24.78, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.717077255249023, 'tokens/total': 69517264, 'tokens/trainable': 130224, 'epoch': 1.08}
|
||
54%|██████████████████████████████████████████████████████████████████▎ | 553/1025 [1:33:56<1:23:29, 10.61s/it]
54%|██████████████████████████████████████████████████████████████████▍ | 554/1025 [1:34:04<1:17:39, 9.89s/it]
{'loss': 0.1906, 'grad_norm': 4.286337852478027, 'learning_rate': 9.516370561052173e-06, 'ppl': 1.20998, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.88909912109375, 'tokens/total': 69615248, 'tokens/trainable': 130460, 'epoch': 1.08}
|
||
54%|██████████████████████████████████████████████████████████████████▍ | 554/1025 [1:34:04<1:17:39, 9.89s/it]
54%|██████████████████████████████████████████████████████████████████▌ | 555/1025 [1:34:13<1:15:37, 9.65s/it]
{'loss': 0.1147, 'grad_norm': 2.488722562789917, 'learning_rate': 9.484156331305915e-06, 'ppl': 1.12154, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.72245216369629, 'tokens/total': 69712384, 'tokens/trainable': 130684, 'epoch': 1.08}
|
||
54%|██████████████████████████████████████████████████████████████████▌ | 555/1025 [1:34:13<1:15:37, 9.65s/it]
54%|██████████████████████████████████████████████████████████████████▋ | 556/1025 [1:34:26<1:23:16, 10.65s/it]
{'loss': 0.23, 'grad_norm': 4.566031455993652, 'learning_rate': 9.451947468163779e-06, 'ppl': 1.2586, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.31620216369629, 'tokens/total': 69879616, 'tokens/trainable': 130934, 'epoch': 1.08}
|
||
54%|██████████████████████████████████████████████████████████████████▋ | 556/1025 [1:34:26<1:23:16, 10.65s/it]
54%|██████████████████████████████████████████████████████████████████▊ | 557/1025 [1:34:35<1:19:45, 10.23s/it]
{'loss': 0.237, 'grad_norm': 3.8266918659210205, 'learning_rate': 9.419744306712197e-06, 'ppl': 1.26744, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.909276962280273, 'tokens/total': 69991440, 'tokens/trainable': 131172, 'epoch': 1.09}
|
||
54%|██████████████████████████████████████████████████████████████████▊ | 557/1025 [1:34:35<1:19:45, 10.23s/it]
54%|██████████████████████████████████████████████████████████████████▉ | 558/1025 [1:34:43<1:14:55, 9.63s/it]
{'loss': 0.2119, 'grad_norm': 3.6284408569335938, 'learning_rate': 9.387547181978291e-06, 'ppl': 1.23602, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.066524505615234, 'tokens/total': 70094320, 'tokens/trainable': 131410, 'epoch': 1.09}
|
||
54%|██████████████████████████████████████████████████████████████████▉ | 558/1025 [1:34:43<1:14:55, 9.63s/it]
55%|███████████████████████████████████████████████████████████████████ | 559/1025 [1:34:52<1:13:28, 9.46s/it]
{'loss': 0.1768, 'grad_norm': 3.654909372329712, 'learning_rate': 9.355356428926381e-06, 'ppl': 1.19339, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.912532806396484, 'tokens/total': 70206832, 'tokens/trainable': 131644, 'epoch': 1.09}
|
||
55%|███████████████████████████████████████████████████████████████████ | 559/1025 [1:34:52<1:13:28, 9.46s/it]
55%|███████████████████████████████████████████████████████████████████▏ | 560/1025 [1:35:01<1:10:55, 9.15s/it]
{'loss': 0.1719, 'grad_norm': 2.4409244060516357, 'learning_rate': 9.323172382454494e-06, 'ppl': 1.18756, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.185710906982422, 'tokens/total': 70328176, 'tokens/trainable': 131872, 'epoch': 1.09}
|
||
55%|███████████████████████████████████████████████████████████████████▏ | 560/1025 [1:35:01<1:10:55, 9.15s/it]
55%|███████████████████████████████████████████████████████████████████▎ | 561/1025 [1:35:14<1:19:36, 10.29s/it]
{'loss': 0.2102, 'grad_norm': 3.195324659347534, 'learning_rate': 9.290995377390887e-06, 'ppl': 1.23392, 'memory/max_active (GiB)': 15.54, 'memory/max_allocated (GiB)': 15.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.352285385131836, 'tokens/total': 70480096, 'tokens/trainable': 132122, 'epoch': 1.09}
|
||
55%|███████████████████████████████████████████████████████████████████▎ | 561/1025 [1:35:14<1:19:36, 10.29s/it]
55%|███████████████████████████████████████████████████████████████████▍ | 562/1025 [1:35:26<1:24:35, 10.96s/it]
{'loss': 0.149, 'grad_norm': 2.586143970489502, 'learning_rate': 9.258825748490559e-06, 'ppl': 1.16067, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.266830444335938, 'tokens/total': 70639680, 'tokens/trainable': 132350, 'epoch': 1.1}
|
||
55%|███████████████████████████████████████████████████████████████████▍ | 562/1025 [1:35:26<1:24:35, 10.96s/it]
55%|███████████████████████████████████████████████████████████████████▌ | 563/1025 [1:35:34<1:17:07, 10.02s/it]
{'loss': 0.1434, 'grad_norm': 3.443828821182251, 'learning_rate': 9.226663830431777e-06, 'ppl': 1.15419, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 12.16, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.101924896240234, 'tokens/total': 70709808, 'tokens/trainable': 132576, 'epoch': 1.1}
|
||
55%|███████████████████████████████████████████████████████████████████▌ | 563/1025 [1:35:34<1:17:07, 10.02s/it]
55%|███████████████████████████████████████████████████████████████████▋ | 564/1025 [1:35:42<1:11:52, 9.36s/it]
{'loss': 0.1831, 'grad_norm': 3.4114022254943848, 'learning_rate': 9.194509957812583e-06, 'ppl': 1.20093, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.53460121154785, 'tokens/total': 70812192, 'tokens/trainable': 132790, 'epoch': 1.1}
|
||
55%|███████████████████████████████████████████████████████████████████▋ | 564/1025 [1:35:42<1:11:52, 9.36s/it]
55%|███████████████████████████████████████████████████████████████████▊ | 565/1025 [1:35:51<1:11:38, 9.35s/it]
{'loss': 0.2173, 'grad_norm': 3.5946037769317627, 'learning_rate': 9.162364465147315e-06, 'ppl': 1.24272, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.999679565429688, 'tokens/total': 70948192, 'tokens/trainable': 133022, 'epoch': 1.1}
|
||
55%|███████████████████████████████████████████████████████████████████▊ | 565/1025 [1:35:51<1:11:38, 9.35s/it]
55%|███████████████████████████████████████████████████████████████████▉ | 566/1025 [1:35:59<1:09:05, 9.03s/it]
{'loss': 0.2241, 'grad_norm': 4.495535373687744, 'learning_rate': 9.130227686863142e-06, 'ppl': 1.2512, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.589479446411133, 'tokens/total': 71064016, 'tokens/trainable': 133258, 'epoch': 1.1}
|
||
55%|███████████████████████████████████████████████████████████████████▉ | 566/1025 [1:36:00<1:09:05, 9.03s/it]
55%|████████████████████████████████████████████████████████████████████ | 567/1025 [1:36:09<1:09:58, 9.17s/it]
{'loss': 0.2223, 'grad_norm': 3.6904358863830566, 'learning_rate': 9.098099957296553e-06, 'ppl': 1.24895, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.780431747436523, 'tokens/total': 71200016, 'tokens/trainable': 133492, 'epoch': 1.11}
|
||
55%|████████████████████████████████████████████████████████████████████ | 567/1025 [1:36:09<1:09:58, 9.17s/it]
55%|████████████████████████████████████████████████████████████████████▏ | 568/1025 [1:36:22<1:17:58, 10.24s/it]
{'loss': 0.1836, 'grad_norm': 3.4849817752838135, 'learning_rate': 9.065981610689915e-06, 'ppl': 1.20154, 'memory/max_active (GiB)': 24.77, 'memory/max_allocated (GiB)': 24.77, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.119918823242188, 'tokens/total': 71346032, 'tokens/trainable': 133722, 'epoch': 1.11}
|
||
55%|████████████████████████████████████████████████████████████████████▏ | 568/1025 [1:36:22<1:17:58, 10.24s/it]
56%|████████████████████████████████████████████████████████████████████▎ | 569/1025 [1:36:31<1:15:25, 9.92s/it]
{'loss': 0.1784, 'grad_norm': 3.141348361968994, 'learning_rate': 9.03387298118797e-06, 'ppl': 1.1953, 'memory/max_active (GiB)': 14.94, 'memory/max_allocated (GiB)': 14.94, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.917774200439453, 'tokens/total': 71453568, 'tokens/trainable': 133950, 'epoch': 1.11}
|
||
56%|████████████████████████████████████████████████████████████████████▎ | 569/1025 [1:36:31<1:15:25, 9.92s/it]
56%|████████████████████████████████████████████████████████████████████▍ | 570/1025 [1:36:39<1:10:02, 9.24s/it]
{'loss': 0.0973, 'grad_norm': 1.7137162685394287, 'learning_rate': 9.001774402834375e-06, 'ppl': 1.10219, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 30.55378532409668, 'tokens/total': 71537904, 'tokens/trainable': 134182, 'epoch': 1.11}
|
||
56%|████████████████████████████████████████████████████████████████████▍ | 570/1025 [1:36:39<1:10:02, 9.24s/it]
56%|████████████████████████████████████████████████████████████████████▌ | 571/1025 [1:36:47<1:08:24, 9.04s/it]
{'loss': 0.2757, 'grad_norm': 5.0282206535339355, 'learning_rate': 8.969686209568213e-06, 'ppl': 1.31745, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.262493133544922, 'tokens/total': 71637552, 'tokens/trainable': 134432, 'epoch': 1.11}
|
||
56%|████████████████████████████████████████████████████████████████████▌ | 571/1025 [1:36:47<1:08:24, 9.04s/it]
56%|████████████████████████████████████████████████████████████████████▋ | 572/1025 [1:36:55<1:06:40, 8.83s/it]
{'loss': 0.2055, 'grad_norm': 3.607485294342041, 'learning_rate': 8.937608735220527e-06, 'ppl': 1.22814, 'memory/max_active (GiB)': 15.95, 'memory/max_allocated (GiB)': 15.95, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.713523864746094, 'tokens/total': 71742816, 'tokens/trainable': 134662, 'epoch': 1.12}
|
||
56%|████████████████████████████████████████████████████████████████████▋ | 572/1025 [1:36:55<1:06:40, 8.83s/it]
56%|████████████████████████████████████████████████████████████████████▊ | 573/1025 [1:37:09<1:16:07, 10.11s/it]
{'loss': 0.2462, 'grad_norm': 6.615530014038086, 'learning_rate': 8.905542313510846e-06, 'ppl': 1.27916, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.636837005615234, 'tokens/total': 71943264, 'tokens/trainable': 134918, 'epoch': 1.12}
|
||
56%|████████████████████████████████████████████████████████████████████▊ | 573/1025 [1:37:09<1:16:07, 10.11s/it]
56%|████████████████████████████████████████████████████████████████████▉ | 574/1025 [1:37:18<1:13:30, 9.78s/it]
{'loss': 0.1328, 'grad_norm': 3.336984634399414, 'learning_rate': 8.873487278043713e-06, 'ppl': 1.14202, 'memory/max_active (GiB)': 17.29, 'memory/max_allocated (GiB)': 17.29, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.732221603393555, 'tokens/total': 72009856, 'tokens/trainable': 135140, 'epoch': 1.12}
|
||
56%|████████████████████████████████████████████████████████████████████▉ | 574/1025 [1:37:18<1:13:30, 9.78s/it]
56%|█████████████████████████████████████████████████████████████████████ | 575/1025 [1:37:26<1:10:15, 9.37s/it]
{'loss': 0.2408, 'grad_norm': 4.5763840675354, 'learning_rate': 8.841443962305211e-06, 'ppl': 1.27227, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.499277114868164, 'tokens/total': 72128576, 'tokens/trainable': 135370, 'epoch': 1.12}
|
||
56%|█████████████████████████████████████████████████████████████████████ | 575/1025 [1:37:26<1:10:15, 9.37s/it]
56%|█████████████████████████████████████████████████████████████████████ | 576/1025 [1:37:35<1:08:19, 9.13s/it]
{'loss': 0.1848, 'grad_norm': 4.728325843811035, 'learning_rate': 8.809412699659503e-06, 'ppl': 1.20298, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.939361572265625, 'tokens/total': 72233728, 'tokens/trainable': 135600, 'epoch': 1.12}
|
||
56%|█████████████████████████████████████████████████████████████████████ | 576/1025 [1:37:35<1:08:19, 9.13s/it]
56%|█████████████████████████████████████████████████████████████████████▏ | 577/1025 [1:37:42<1:05:20, 8.75s/it]
{'loss': 0.1268, 'grad_norm': 3.8227577209472656, 'learning_rate': 8.777393823345343e-06, 'ppl': 1.13519, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 30.683639526367188, 'tokens/total': 72330928, 'tokens/trainable': 135840, 'epoch': 1.12}
|
||
56%|█████████████████████████████████████████████████████████████████████▏ | 577/1025 [1:37:42<1:05:20, 8.75s/it]
56%|█████████████████████████████████████████████████████████████████████▎ | 578/1025 [1:37:50<1:03:23, 8.51s/it]
{'loss': 0.1648, 'grad_norm': 3.576322317123413, 'learning_rate': 8.745387666472639e-06, 'ppl': 1.17916, 'memory/max_active (GiB)': 13.83, 'memory/max_allocated (GiB)': 13.83, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.36866569519043, 'tokens/total': 72429424, 'tokens/trainable': 136072, 'epoch': 1.13}
|
||
56%|█████████████████████████████████████████████████████████████████████▎ | 578/1025 [1:37:50<1:03:23, 8.51s/it]
56%|█████████████████████████████████████████████████████████████████████▍ | 579/1025 [1:37:58<1:01:51, 8.32s/it]
{'loss': 0.1972, 'grad_norm': 2.852710247039795, 'learning_rate': 8.713394562018958e-06, 'ppl': 1.21799, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 30.589675903320312, 'tokens/total': 72534800, 'tokens/trainable': 136312, 'epoch': 1.13}
|
||
56%|█████████████████████████████████████████████████████████████████████▍ | 579/1025 [1:37:58<1:01:51, 8.32s/it]
57%|█████████████████████████████████████████████████████████████████████▌ | 580/1025 [1:38:07<1:03:32, 8.57s/it]
{'loss': 0.2104, 'grad_norm': 4.353890895843506, 'learning_rate': 8.68141484282609e-06, 'ppl': 1.23417, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.26001739501953, 'tokens/total': 72655488, 'tokens/trainable': 136560, 'epoch': 1.13}
|
||
57%|█████████████████████████████████████████████████████████████████████▌ | 580/1025 [1:38:07<1:03:32, 8.57s/it]
57%|█████████████████████████████████████████████████████████████████████▋ | 581/1025 [1:38:15<1:00:29, 8.17s/it]
{'loss': 0.1707, 'grad_norm': 2.834474563598633, 'learning_rate': 8.64944884159656e-06, 'ppl': 1.18613, 'memory/max_active (GiB)': 14.92, 'memory/max_allocated (GiB)': 14.92, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 32.97645950317383, 'tokens/total': 72739536, 'tokens/trainable': 136798, 'epoch': 1.13}
|
||
57%|█████████████████████████████████████████████████████████████████████▋ | 581/1025 [1:38:15<1:00:29, 8.17s/it]
57%|█████████████████████████████████████████████████████████████████████▊ | 582/1025 [1:38:24<1:02:57, 8.53s/it]
{'loss': 0.2245, 'grad_norm': 2.930098056793213, 'learning_rate': 8.61749689089018e-06, 'ppl': 1.2517, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.21088218688965, 'tokens/total': 72865776, 'tokens/trainable': 137014, 'epoch': 1.13}
|
||
57%|█████████████████████████████████████████████████████████████████████▊ | 582/1025 [1:38:24<1:02:57, 8.53s/it]
57%|█████████████████████████████████████████████████████████████████████▉ | 583/1025 [1:38:37<1:12:37, 9.86s/it]
{'loss': 0.142, 'grad_norm': 2.0901007652282715, 'learning_rate': 8.58555932312059e-06, 'ppl': 1.15258, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.646982192993164, 'tokens/total': 73048320, 'tokens/trainable': 137242, 'epoch': 1.14}
|
||
57%|█████████████████████████████████████████████████████████████████████▉ | 583/1025 [1:38:37<1:12:37, 9.86s/it]
57%|██████████████████████████████████████████████████████████████████████ | 584/1025 [1:38:45<1:07:44, 9.22s/it]
{'loss': 0.2613, 'grad_norm': 3.720921516418457, 'learning_rate': 8.553636470551792e-06, 'ppl': 1.29862, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.41960906982422, 'tokens/total': 73151712, 'tokens/trainable': 137468, 'epoch': 1.14}
|
||
57%|██████████████████████████████████████████████████████████████████████ | 584/1025 [1:38:45<1:07:44, 9.22s/it]
57%|██████████████████████████████████████████████████████████████████████▏ | 585/1025 [1:38:53<1:06:14, 9.03s/it]
{'loss': 0.2205, 'grad_norm': 4.406621932983398, 'learning_rate': 8.5217286652947e-06, 'ppl': 1.2467, 'memory/max_active (GiB)': 17.05, 'memory/max_allocated (GiB)': 17.05, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.802915573120117, 'tokens/total': 73251184, 'tokens/trainable': 137706, 'epoch': 1.14}
|
||
57%|██████████████████████████████████████████████████████████████████████▏ | 585/1025 [1:38:53<1:06:14, 9.03s/it]
57%|██████████████████████████████████████████████████████████████████████▎ | 586/1025 [1:39:06<1:14:22, 10.17s/it]
{'loss': 0.1908, 'grad_norm': 4.220940589904785, 'learning_rate': 8.489836239303684e-06, 'ppl': 1.21022, 'memory/max_active (GiB)': 24.77, 'memory/max_allocated (GiB)': 24.77, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 20.674514770507812, 'tokens/total': 73426720, 'tokens/trainable': 137970, 'epoch': 1.14}
|
||
57%|██████████████████████████████████████████████████████████████████████▎ | 586/1025 [1:39:06<1:14:22, 10.17s/it]
57%|██████████████████████████████████████████████████████████████████████▍ | 587/1025 [1:39:15<1:11:27, 9.79s/it]
{'loss': 0.1805, 'grad_norm': 3.093097448348999, 'learning_rate': 8.457959524373109e-06, 'ppl': 1.19782, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.481792449951172, 'tokens/total': 73531856, 'tokens/trainable': 138196, 'epoch': 1.14}
|
||
57%|██████████████████████████████████████████████████████████████████████▍ | 587/1025 [1:39:15<1:11:27, 9.79s/it]
57%|██████████████████████████████████████████████████████████████████████▌ | 588/1025 [1:39:24<1:09:42, 9.57s/it]
{'loss': 0.1227, 'grad_norm': 2.7171878814697266, 'learning_rate': 8.426098852133892e-06, 'ppl': 1.13055, 'memory/max_active (GiB)': 13.15, 'memory/max_allocated (GiB)': 13.15, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.953773498535156, 'tokens/total': 73638112, 'tokens/trainable': 138430, 'epoch': 1.15}
|
||
57%|██████████████████████████████████████████████████████████████████████▌ | 588/1025 [1:39:24<1:09:42, 9.57s/it]
57%|██████████████████████████████████████████████████████████████████████▋ | 589/1025 [1:39:33<1:08:57, 9.49s/it]
{'loss': 0.1454, 'grad_norm': 3.459141731262207, 'learning_rate': 8.394254554050061e-06, 'ppl': 1.1565, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.85210609436035, 'tokens/total': 73726688, 'tokens/trainable': 138688, 'epoch': 1.15}
|
||
57%|██████████████████████████████████████████████████████████████████████▋ | 589/1025 [1:39:33<1:08:57, 9.49s/it]
58%|██████████████████████████████████████████████████████████████████████▊ | 590/1025 [1:39:42<1:07:52, 9.36s/it]
{'loss': 0.1775, 'grad_norm': 4.199514865875244, 'learning_rate': 8.362426961415274e-06, 'ppl': 1.19423, 'memory/max_active (GiB)': 15.6, 'memory/max_allocated (GiB)': 15.6, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.266939163208008, 'tokens/total': 73837216, 'tokens/trainable': 138934, 'epoch': 1.15}
|
||
58%|██████████████████████████████████████████████████████████████████████▊ | 590/1025 [1:39:42<1:07:52, 9.36s/it]
58%|██████████████████████████████████████████████████████████████████████▉ | 591/1025 [1:39:52<1:08:43, 9.50s/it]
{'loss': 0.2578, 'grad_norm': 3.1119370460510254, 'learning_rate': 8.330616405349407e-06, 'ppl': 1.29408, 'memory/max_active (GiB)': 14.97, 'memory/max_allocated (GiB)': 14.97, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.549198150634766, 'tokens/total': 73944752, 'tokens/trainable': 139184, 'epoch': 1.15}
|
||
58%|██████████████████████████████████████████████████████████████████████▉ | 591/1025 [1:39:52<1:08:43, 9.50s/it]
58%|███████████████████████████████████████████████████████████████████████ | 592/1025 [1:40:01<1:07:57, 9.42s/it]
{'loss': 0.1579, 'grad_norm': 3.2473037242889404, 'learning_rate': 8.298823216795093e-06, 'ppl': 1.17105, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.359811782836914, 'tokens/total': 74080752, 'tokens/trainable': 139426, 'epoch': 1.15}
|
||
58%|███████████████████████████████████████████████████████████████████████ | 592/1025 [1:40:01<1:07:57, 9.42s/it]
58%|███████████████████████████████████████████████████████████████████████▏ | 593/1025 [1:40:11<1:07:43, 9.41s/it]
{'loss': 0.1936, 'grad_norm': 4.993890285491943, 'learning_rate': 8.267047726514278e-06, 'ppl': 1.21361, 'memory/max_active (GiB)': 17.06, 'memory/max_allocated (GiB)': 17.06, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 23.55071449279785, 'tokens/total': 74207120, 'tokens/trainable': 139646, 'epoch': 1.16}
|
||
58%|███████████████████████████████████████████████████████████████████████▏ | 593/1025 [1:40:11<1:07:43, 9.41s/it]
58%|███████████████████████████████████████████████████████████████████████▎ | 594/1025 [1:40:20<1:07:24, 9.38s/it]
{'loss': 0.237, 'grad_norm': 5.2340006828308105, 'learning_rate': 8.235290265084785e-06, 'ppl': 1.26744, 'memory/max_active (GiB)': 17.23, 'memory/max_allocated (GiB)': 17.23, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.916393280029297, 'tokens/total': 74349440, 'tokens/trainable': 139896, 'epoch': 1.16}
|
||
58%|███████████████████████████████████████████████████████████████████████▎ | 594/1025 [1:40:20<1:07:24, 9.38s/it]
58%|███████████████████████████████████████████████████████████████████████▍ | 595/1025 [1:40:29<1:07:01, 9.35s/it]
{'loss': 0.1344, 'grad_norm': 3.440476417541504, 'learning_rate': 8.203551162896875e-06, 'ppl': 1.14385, 'memory/max_active (GiB)': 15.95, 'memory/max_allocated (GiB)': 15.95, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.325716018676758, 'tokens/total': 74467136, 'tokens/trainable': 140130, 'epoch': 1.16}
|
||
58%|███████████████████████████████████████████████████████████████████████▍ | 595/1025 [1:40:29<1:07:01, 9.35s/it]
58%|███████████████████████████████████████████████████████████████████████▌ | 596/1025 [1:40:38<1:05:02, 9.10s/it]
{'loss': 0.1321, 'grad_norm': 3.3146302700042725, 'learning_rate': 8.171830750149804e-06, 'ppl': 1.14122, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.209184646606445, 'tokens/total': 74546528, 'tokens/trainable': 140360, 'epoch': 1.16}
|
||
58%|███████████████████████████████████████████████████████████████████████▌ | 596/1025 [1:40:38<1:05:02, 9.10s/it]
58%|███████████████████████████████████████████████████████████████████████▋ | 597/1025 [1:40:47<1:05:20, 9.16s/it]
{'loss': 0.1836, 'grad_norm': 3.142629384994507, 'learning_rate': 8.140129356848387e-06, 'ppl': 1.20154, 'memory/max_active (GiB)': 16.96, 'memory/max_allocated (GiB)': 16.96, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.160690307617188, 'tokens/total': 74659888, 'tokens/trainable': 140584, 'epoch': 1.16}
|
||
58%|███████████████████████████████████████████████████████████████████████▋ | 597/1025 [1:40:47<1:05:20, 9.16s/it]
58%|███████████████████████████████████████████████████████████████████████▊ | 598/1025 [1:41:00<1:12:53, 10.24s/it]
{'loss': 0.1925, 'grad_norm': 3.237947463989258, 'learning_rate': 8.108447312799588e-06, 'ppl': 1.21228, 'memory/max_active (GiB)': 24.78, 'memory/max_allocated (GiB)': 24.78, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.386199951171875, 'tokens/total': 74811808, 'tokens/trainable': 140818, 'epoch': 1.17}
|
||
58%|███████████████████████████████████████████████████████████████████████▊ | 598/1025 [1:41:00<1:12:53, 10.24s/it]
58%|███████████████████████████████████████████████████████████████████████▉ | 599/1025 [1:41:13<1:18:08, 11.01s/it]
{'loss': 0.2356, 'grad_norm': 4.124573707580566, 'learning_rate': 8.076784947609053e-06, 'ppl': 1.26567, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.36389923095703, 'tokens/total': 74950160, 'tokens/trainable': 141052, 'epoch': 1.17}
|
||
58%|███████████████████████████████████████████████████████████████████████▉ | 599/1025 [1:41:13<1:18:08, 11.01s/it]
59%|████████████████████████████████████████████████████████████████████████ | 600/1025 [1:41:21<1:11:11, 10.05s/it]
{'loss': 0.2552, 'grad_norm': 4.765937328338623, 'learning_rate': 8.0451425906777e-06, 'ppl': 1.29072, 'memory/max_active (GiB)': 12.91, 'memory/max_allocated (GiB)': 12.91, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 29.569297790527344, 'tokens/total': 75040480, 'tokens/trainable': 141282, 'epoch': 1.17}
|
||
59%|████████████████████████████████████████████████████████████████████████ | 600/1025 [1:41:21<1:11:11, 10.05s/it]
59%|████████████████████████████████████████████████████████████████████████ | 601/1025 [1:41:30<1:09:23, 9.82s/it]
{'loss': 0.1896, 'grad_norm': 3.098592519760132, 'learning_rate': 8.013520571198293e-06, 'ppl': 1.20877, 'memory/max_active (GiB)': 18.63, 'memory/max_allocated (GiB)': 18.63, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.033031463623047, 'tokens/total': 75159184, 'tokens/trainable': 141504, 'epoch': 1.17}
|
||
59%|████████████████████████████████████████████████████████████████████████ | 601/1025 [1:41:30<1:09:23, 9.82s/it]
59%|████████████████████████████████████████████████████████████████████████▏ | 602/1025 [1:41:43<1:15:26, 10.70s/it]
{'loss': 0.1713, 'grad_norm': 3.9574100971221924, 'learning_rate': 7.981919218152017e-06, 'ppl': 1.18685, 'memory/max_active (GiB)': 24.75, 'memory/max_allocated (GiB)': 24.75, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.777864456176758, 'tokens/total': 75341728, 'tokens/trainable': 141730, 'epoch': 1.17}
|
||
59%|████████████████████████████████████████████████████████████████████████▏ | 602/1025 [1:41:43<1:15:26, 10.70s/it]
59%|████████████████████████████████████████████████████████████████████████▎ | 603/1025 [1:41:51<1:10:01, 9.96s/it]
{'loss': 0.1509, 'grad_norm': 3.8058218955993652, 'learning_rate': 7.950338860305049e-06, 'ppl': 1.16288, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 27.8775634765625, 'tokens/total': 75456752, 'tokens/trainable': 141958, 'epoch': 1.18}
|
||
59%|████████████████████████████████████████████████████████████████████████▎ | 603/1025 [1:41:51<1:10:01, 9.96s/it]
59%|████████████████████████████████████████████████████████████████████████▍ | 604/1025 [1:42:00<1:08:40, 9.79s/it]
{'loss': 0.1884, 'grad_norm': 3.65557861328125, 'learning_rate': 7.918779826205141e-06, 'ppl': 1.20732, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.382110595703125, 'tokens/total': 75567168, 'tokens/trainable': 142186, 'epoch': 1.18}
|
||
59%|████████████████████████████████████████████████████████████████████████▍ | 604/1025 [1:42:00<1:08:40, 9.79s/it]
59%|████████████████████████████████████████████████████████████████████████▌ | 605/1025 [1:42:09<1:06:07, 9.45s/it]
{'loss': 0.168, 'grad_norm': 2.737575054168701, 'learning_rate': 7.887242444178205e-06, 'ppl': 1.18294, 'memory/max_active (GiB)': 12.81, 'memory/max_allocated (GiB)': 12.81, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.70455551147461, 'tokens/total': 75645504, 'tokens/trainable': 142416, 'epoch': 1.18}
|
||
59%|████████████████████████████████████████████████████████████████████████▌ | 605/1025 [1:42:09<1:06:07, 9.45s/it]
59%|████████████████████████████████████████████████████████████████████████▋ | 606/1025 [1:42:22<1:13:14, 10.49s/it]
{'loss': 0.2473, 'grad_norm': 4.209540367126465, 'learning_rate': 7.855727042324892e-06, 'ppl': 1.28056, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 18.492584228515625, 'tokens/total': 75797424, 'tokens/trainable': 142654, 'epoch': 1.18}
|
||
59%|████████████████████████████████████████████████████████████████████████▋ | 606/1025 [1:42:22<1:13:14, 10.49s/it]
59%|████████████████████████████████████████████████████████████████████████▊ | 607/1025 [1:42:35<1:17:58, 11.19s/it]
{'loss': 0.1883, 'grad_norm': 3.3437812328338623, 'learning_rate': 7.824233948517185e-06, 'ppl': 1.2072, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.034820556640625, 'tokens/total': 75948832, 'tokens/trainable': 142872, 'epoch': 1.18}
|
||
59%|████████████████████████████████████████████████████████████████████████▊ | 607/1025 [1:42:35<1:17:58, 11.19s/it]
59%|████████████████████████████████████████████████████████████████████████▉ | 608/1025 [1:42:44<1:13:35, 10.59s/it]
{'loss': 0.1827, 'grad_norm': 4.070296287536621, 'learning_rate': 7.792763490394983e-06, 'ppl': 1.20045, 'memory/max_active (GiB)': 18.49, 'memory/max_allocated (GiB)': 18.49, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.04894256591797, 'tokens/total': 76091216, 'tokens/trainable': 143110, 'epoch': 1.19}
|
||
59%|████████████████████████████████████████████████████████████████████████▉ | 608/1025 [1:42:44<1:13:35, 10.59s/it]
59%|█████████████████████████████████████████████████████████████████████████ | 609/1025 [1:42:57<1:18:01, 11.25s/it]
{'loss': 0.1322, 'grad_norm': 2.838639497756958, 'learning_rate': 7.761315995362693e-06, 'ppl': 1.14134, 'memory/max_active (GiB)': 13.08, 'memory/max_allocated (GiB)': 13.08, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 19.58844757080078, 'tokens/total': 76230128, 'tokens/trainable': 143360, 'epoch': 1.19}
|
||
59%|█████████████████████████████████████████████████████████████████████████ | 609/1025 [1:42:57<1:18:01, 11.25s/it]
60%|█████████████████████████████████████████████████████████████████████████▏ | 610/1025 [1:43:05<1:10:53, 10.25s/it]
{'loss': 0.1771, 'grad_norm': 4.324289798736572, 'learning_rate': 7.729891790585817e-06, 'ppl': 1.19375, 'memory/max_active (GiB)': 14.93, 'memory/max_allocated (GiB)': 14.93, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 31.03477668762207, 'tokens/total': 76322352, 'tokens/trainable': 143604, 'epoch': 1.19}
|
||
60%|█████████████████████████████████████████████████████████████████████████▏ | 610/1025 [1:43:05<1:10:53, 10.25s/it]
60%|█████████████████████████████████████████████████████████████████████████▎ | 611/1025 [1:43:11<1:03:33, 9.21s/it]
{'loss': 0.1163, 'grad_norm': 3.625922441482544, 'learning_rate': 7.698491202987568e-06, 'ppl': 1.12333, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 33.16719436645508, 'tokens/total': 76401216, 'tokens/trainable': 143828, 'epoch': 1.19}
|
||
60%|█████████████████████████████████████████████████████████████████████████▎ | 611/1025 [1:43:11<1:03:33, 9.21s/it]
60%|█████████████████████████████████████████████████████████████████████████▍ | 612/1025 [1:43:19<1:00:33, 8.80s/it]
{'loss': 0.1749, 'grad_norm': 3.4601051807403564, 'learning_rate': 7.667114559245451e-06, 'ppl': 1.19113, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.73, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 32.61015319824219, 'tokens/total': 76468832, 'tokens/trainable': 144082, 'epoch': 1.19}
|
||
60%|█████████████████████████████████████████████████████████████████████████▍ | 612/1025 [1:43:19<1:00:33, 8.80s/it]
60%|█████████████████████████████████████████████████████████████████████████▌ | 613/1025 [1:43:28<1:00:53, 8.87s/it]
{'loss': 0.1853, 'grad_norm': 2.949864149093628, 'learning_rate': 7.635762185787868e-06, 'ppl': 1.20358, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 26.478885650634766, 'tokens/total': 76581344, 'tokens/trainable': 144320, 'epoch': 1.19}
|
||
60%|█████████████████████████████████████████████████████████████████████████▌ | 613/1025 [1:43:28<1:00:53, 8.87s/it]
60%|█████████████████████████████████████████████████████████████████████████▋ | 614/1025 [1:43:37<1:01:31, 8.98s/it]
{'loss': 0.2633, 'grad_norm': 3.835744619369507, 'learning_rate': 7.604434408790729e-06, 'ppl': 1.30122, 'memory/max_active (GiB)': 17.03, 'memory/max_allocated (GiB)': 17.03, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 25.85173797607422, 'tokens/total': 76694704, 'tokens/trainable': 144558, 'epoch': 1.2}
|
||
60%|█████████████████████████████████████████████████████████████████████████▋ | 614/1025 [1:43:38<1:01:31, 8.98s/it]
60%|███████████████████████████████████████████████████████████████████████████ | 615/1025 [1:43:46<59:31, 8.71s/it]
{'loss': 0.2913, 'grad_norm': 4.95737886428833, 'learning_rate': 7.573131554174044e-06, 'ppl': 1.33817, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.373151779174805, 'tokens/total': 76802064, 'tokens/trainable': 144786, 'epoch': 1.2}
|
||
60%|███████████████████████████████████████████████████████████████████████████ | 615/1025 [1:43:46<59:31, 8.71s/it]
60%|███████████████████████████████████████████████████████████████████████████ | 616/1025 [1:43:54<59:38, 8.75s/it]
{'loss': 0.1758, 'grad_norm': 3.0861966609954834, 'learning_rate': 7.541853947598559e-06, 'ppl': 1.1922, 'memory/max_active (GiB)': 18.48, 'memory/max_allocated (GiB)': 18.48, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 28.419391632080078, 'tokens/total': 76907696, 'tokens/trainable': 145036, 'epoch': 1.2}
|
||
60%|███████████████████████████████████████████████████████████████████████████ | 616/1025 [1:43:54<59:38, 8.75s/it]
60%|██████████████████████████████████████████████████████████████████████████ | 617/1025 [1:44:07<1:07:50, 9.98s/it]
{'loss': 0.1639, 'grad_norm': 4.272785186767578, 'learning_rate': 7.510601914462332e-06, 'ppl': 1.1781, 'memory/max_active (GiB)': 18.64, 'memory/max_allocated (GiB)': 18.64, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 17.49846649169922, 'tokens/total': 77082592, 'tokens/trainable': 145260, 'epoch': 1.2}
|
||
60%|██████████████████████████████████████████████████████████████████████████ | 617/1025 [1:44:07<1:07:50, 9.98s/it]
60%|██████████████████████████████████████████████████████████████████████████▏ | 618/1025 [1:44:16<1:06:07, 9.75s/it]
{'loss': 0.1306, 'grad_norm': 3.4438295364379883, 'learning_rate': 7.479375779897379e-06, 'ppl': 1.13951, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.8, 'tokens/train_per_sec_per_gpu': 24.8623104095459, 'tokens/total': 77184256, 'tokens/trainable': 145488, 'epoch': 1.2}
|
||
60%|██████████████████████████████████████████████████████████████████████████▏ | 618/1025 [1:44:16<1:06:07, 9.75s/it]
60%|██████████████████████████████████████████████████████████████████████████▎ | 619/1025 [1:44:30<1:13:26, 10.85s/it]
{'loss': 0.2593, 'grad_norm': 3.3246448040008545, 'learning_rate': 7.4481758687662745e-06, 'ppl': 1.29602, 'memory/max_active (GiB)': 24.91, 'memory/max_allocated (GiB)': 24.91, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.019704818725586, 'tokens/total': 77351488, 'tokens/trainable': 145716, 'epoch': 1.21}
|
||
60%|██████████████████████████████████████████████████████████████████████████▎ | 619/1025 [1:44:30<1:13:26, 10.85s/it]
60%|██████████████████████████████████████████████████████████████████████████▍ | 620/1025 [1:44:38<1:06:44, 9.89s/it]
{'loss': 0.2721, 'grad_norm': 4.970226764678955, 'learning_rate': 7.417002505658773e-06, 'ppl': 1.31272, 'memory/max_active (GiB)': 14.04, 'memory/max_allocated (GiB)': 14.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 35.56831359863281, 'tokens/total': 77433136, 'tokens/trainable': 145986, 'epoch': 1.21}
|
||
60%|██████████████████████████████████████████████████████████████████████████▍ | 620/1025 [1:44:38<1:06:44, 9.89s/it]
61%|██████████████████████████████████████████████████████████████████████████▌ | 621/1025 [1:44:51<1:13:08, 10.86s/it]
{'loss': 0.2461, 'grad_norm': 4.189725399017334, 'learning_rate': 7.38585601488844e-06, 'ppl': 1.27903, 'memory/max_active (GiB)': 24.85, 'memory/max_allocated (GiB)': 24.85, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.100299835205078, 'tokens/total': 77602352, 'tokens/trainable': 146210, 'epoch': 1.21}
|
||
61%|██████████████████████████████████████████████████████████████████████████▌ | 621/1025 [1:44:51<1:13:08, 10.86s/it]
61%|██████████████████████████████████████████████████████████████████████████▋ | 622/1025 [1:44:59<1:07:02, 9.98s/it]
{'loss': 0.2037, 'grad_norm': 3.7280728816986084, 'learning_rate': 7.354736720489274e-06, 'ppl': 1.22593, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.445947647094727, 'tokens/total': 77698864, 'tokens/trainable': 146450, 'epoch': 1.21}
|
||
61%|██████████████████████████████████████████████████████████████████████████▋ | 622/1025 [1:44:59<1:07:02, 9.98s/it]
61%|██████████████████████████████████████████████████████████████████████████▊ | 623/1025 [1:45:08<1:05:17, 9.75s/it]
{'loss': 0.1625, 'grad_norm': 2.900053024291992, 'learning_rate': 7.3236449462123315e-06, 'ppl': 1.17645, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.254465103149414, 'tokens/total': 77796000, 'tokens/trainable': 146672, 'epoch': 1.21}
|
||
61%|██████████████████████████████████████████████████████████████████████████▊ | 623/1025 [1:45:08<1:05:17, 9.75s/it]
61%|██████████████████████████████████████████████████████████████████████████▉ | 624/1025 [1:45:20<1:11:00, 10.62s/it]
{'loss': 0.1535, 'grad_norm': 3.2005844116210938, 'learning_rate': 7.292581015522363e-06, 'ppl': 1.16591, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.6, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.158658981323242, 'tokens/total': 77907312, 'tokens/trainable': 146914, 'epoch': 1.22}
|
||
61%|██████████████████████████████████████████████████████████████████████████▉ | 624/1025 [1:45:20<1:11:00, 10.62s/it]
61%|███████████████████████████████████████████████████████████████████████████ | 625/1025 [1:45:30<1:07:49, 10.17s/it]
{'loss': 0.2174, 'grad_norm': 4.685070991516113, 'learning_rate': 7.261545251594451e-06, 'ppl': 1.24284, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.295225143432617, 'tokens/total': 78048992, 'tokens/trainable': 147162, 'epoch': 1.22}
|
||
61%|███████████████████████████████████████████████████████████████████████████ | 625/1025 [1:45:30<1:07:49, 10.17s/it]
61%|███████████████████████████████████████████████████████████████████████████ | 626/1025 [1:45:42<1:12:51, 10.96s/it]
{'loss': 0.1911, 'grad_norm': 3.5244572162628174, 'learning_rate': 7.230537977310636e-06, 'ppl': 1.21058, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.894020080566406, 'tokens/total': 78223888, 'tokens/trainable': 147390, 'epoch': 1.22}
|
||
61%|███████████████████████████████████████████████████████████████████████████ | 626/1025 [1:45:42<1:12:51, 10.96s/it]
61%|███████████████████████████████████████████████████████████████████████████▏ | 627/1025 [1:45:50<1:06:16, 9.99s/it]
{'loss': 0.201, 'grad_norm': 5.228822231292725, 'learning_rate': 7.199559515256573e-06, 'ppl': 1.22262, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 33.001434326171875, 'tokens/total': 78321184, 'tokens/trainable': 147644, 'epoch': 1.22}
|
||
61%|███████████████████████████████████████████████████████████████████████████▏ | 627/1025 [1:45:50<1:06:16, 9.99s/it]
61%|███████████████████████████████████████████████████████████████████████████▎ | 628/1025 [1:45:58<1:01:32, 9.30s/it]
{'loss': 0.1126, 'grad_norm': 2.5322160720825195, 'learning_rate': 7.168610187718164e-06, 'ppl': 1.11918, 'memory/max_active (GiB)': 14.95, 'memory/max_allocated (GiB)': 14.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.073129653930664, 'tokens/total': 78390448, 'tokens/trainable': 147874, 'epoch': 1.22}
|
||
61%|███████████████████████████████████████████████████████████████████████████▎ | 628/1025 [1:45:58<1:01:32, 9.30s/it]
61%|████████████████████████████████████████████████████████████████████████████▋ | 629/1025 [1:46:06<59:22, 9.00s/it]
{'loss': 0.1737, 'grad_norm': 2.892472982406616, 'learning_rate': 7.137690316678206e-06, 'ppl': 1.1897, 'memory/max_active (GiB)': 16.93, 'memory/max_allocated (GiB)': 16.93, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.645910263061523, 'tokens/total': 78505472, 'tokens/trainable': 148102, 'epoch': 1.23}
|
||
61%|████████████████████████████████████████████████████████████████████████████▋ | 629/1025 [1:46:06<59:22, 9.00s/it]
61%|███████████████████████████████████████████████████████████████████████████▌ | 630/1025 [1:46:19<1:07:37, 10.27s/it]
{'loss': 0.1908, 'grad_norm': 3.5349063873291016, 'learning_rate': 7.1068002238130465e-06, 'ppl': 1.21022, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 16.660789489746094, 'tokens/total': 78688016, 'tokens/trainable': 148322, 'epoch': 1.23}
|
||
61%|███████████████████████████████████████████████████████████████████████████▌ | 630/1025 [1:46:19<1:07:37, 10.27s/it]
62%|███████████████████████████████████████████████████████████████████████████▋ | 631/1025 [1:46:27<1:02:57, 9.59s/it]
{'loss': 0.1881, 'grad_norm': 3.464395523071289, 'learning_rate': 7.075940230489237e-06, 'ppl': 1.20695, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.913789749145508, 'tokens/total': 78797360, 'tokens/trainable': 148544, 'epoch': 1.23}
|
||
62%|███████████████████████████████████████████████████████████████████████████▋ | 631/1025 [1:46:27<1:02:57, 9.59s/it]
62%|█████████████████████████████████████████████████████████████████████████████ | 632/1025 [1:46:35<59:23, 9.07s/it]
{'loss': 0.1669, 'grad_norm': 3.0845606327056885, 'learning_rate': 7.045110657760179e-06, 'ppl': 1.18164, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.740270614624023, 'tokens/total': 78888480, 'tokens/trainable': 148784, 'epoch': 1.23}
|
||
62%|█████████████████████████████████████████████████████████████████████████████ | 632/1025 [1:46:35<59:23, 9.07s/it]
62%|█████████████████████████████████████████████████████████████████████████████▏ | 633/1025 [1:46:43<57:45, 8.84s/it]
{'loss': 0.1907, 'grad_norm': 2.783773183822632, 'learning_rate': 7.014311826362804e-06, 'ppl': 1.2101, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.983179092407227, 'tokens/total': 78986528, 'tokens/trainable': 149032, 'epoch': 1.23}
|
||
62%|█████████████████████████████████████████████████████████████████████████████▏ | 633/1025 [1:46:44<57:45, 8.84s/it]
62%|████████████████████████████████████████████████████████████████████████████ | 634/1025 [1:46:56<1:05:17, 10.02s/it]
{'loss': 0.1527, 'grad_norm': 2.458775758743286, 'learning_rate': 6.9835440567142155e-06, 'ppl': 1.16498, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.383466720581055, 'tokens/total': 79155744, 'tokens/trainable': 149266, 'epoch': 1.24}
|
||
62%|████████████████████████████████████████████████████████████████████████████ | 634/1025 [1:46:56<1:05:17, 10.02s/it]
62%|████████████████████████████████████████████████████████████████████████████▏ | 635/1025 [1:47:09<1:11:04, 10.93s/it]
{'loss': 0.1889, 'grad_norm': 2.4639980792999268, 'learning_rate': 6.952807668908367e-06, 'ppl': 1.20792, 'memory/max_active (GiB)': 13.81, 'memory/max_allocated (GiB)': 13.81, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.728900909423828, 'tokens/total': 79290624, 'tokens/trainable': 149510, 'epoch': 1.24}
|
||
62%|████████████████████████████████████████████████████████████████████████████▏ | 635/1025 [1:47:09<1:11:04, 10.93s/it]
62%|████████████████████████████████████████████████████████████████████████████▎ | 636/1025 [1:47:17<1:04:54, 10.01s/it]
{'loss': 0.1841, 'grad_norm': 3.660795211791992, 'learning_rate': 6.9221029827127285e-06, 'ppl': 1.20214, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.38309097290039, 'tokens/total': 79387824, 'tokens/trainable': 149724, 'epoch': 1.24}
|
||
62%|████████████████████████████████████████████████████████████████████████████▎ | 636/1025 [1:47:17<1:04:54, 10.01s/it]
62%|████████████████████████████████████████████████████████████████████████████▍ | 637/1025 [1:47:30<1:09:48, 10.79s/it]
{'loss': 0.1798, 'grad_norm': 2.3256278038024902, 'learning_rate': 6.891430317564965e-06, 'ppl': 1.19698, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.23476219177246, 'tokens/total': 79570368, 'tokens/trainable': 149966, 'epoch': 1.24}
|
||
62%|████████████████████████████████████████████████████████████████████████████▍ | 637/1025 [1:47:30<1:09:48, 10.79s/it]
62%|████████████████████████████████████████████████████████████████████████████▌ | 638/1025 [1:47:39<1:07:21, 10.44s/it]
{'loss': 0.1893, 'grad_norm': 3.5436549186706543, 'learning_rate': 6.860789992569601e-06, 'ppl': 1.2084, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 22.53390884399414, 'tokens/total': 79691056, 'tokens/trainable': 150182, 'epoch': 1.24}
|
||
62%|████████████████████████████████████████████████████████████████████████████▌ | 638/1025 [1:47:39<1:07:21, 10.44s/it]
62%|████████████████████████████████████████████████████████████████████████████▋ | 639/1025 [1:47:49<1:04:34, 10.04s/it]
{'loss': 0.2242, 'grad_norm': 3.4128189086914062, 'learning_rate': 6.830182326494719e-06, 'ppl': 1.25132, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.536338806152344, 'tokens/total': 79813728, 'tokens/trainable': 150404, 'epoch': 1.25}
|
||
62%|████████████████████████████████████████████████████████████████████████████▋ | 639/1025 [1:47:49<1:04:34, 10.04s/it]
62%|████████████████████████████████████████████████████████████████████████████▊ | 640/1025 [1:48:02<1:10:10, 10.94s/it]
{'loss': 0.2113, 'grad_norm': 4.2901177406311035, 'learning_rate': 6.799607637768621e-06, 'ppl': 1.23528, 'memory/max_active (GiB)': 16.05, 'memory/max_allocated (GiB)': 16.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.391572952270508, 'tokens/total': 80016160, 'tokens/trainable': 150656, 'epoch': 1.25}
|
||
62%|████████████████████████████████████████████████████████████████████████████▊ | 640/1025 [1:48:02<1:10:10, 10.94s/it]
63%|████████████████████████████████████████████████████████████████████████████▉ | 641/1025 [1:48:09<1:04:15, 10.04s/it]
{'loss': 0.1922, 'grad_norm': 3.7852540016174316, 'learning_rate': 6.769066244476534e-06, 'ppl': 1.21191, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.09130096435547, 'tokens/total': 80110368, 'tokens/trainable': 150878, 'epoch': 1.25}
|
||
63%|████████████████████████████████████████████████████████████████████████████▉ | 641/1025 [1:48:10<1:04:15, 10.04s/it]
63%|█████████████████████████████████████████████████████████████████████████████ | 642/1025 [1:48:19<1:02:19, 9.76s/it]
{'loss': 0.2205, 'grad_norm': 3.9189908504486084, 'learning_rate': 6.738558464357305e-06, 'ppl': 1.2467, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.108930587768555, 'tokens/total': 80238720, 'tokens/trainable': 151106, 'epoch': 1.25}
|
||
63%|█████████████████████████████████████████████████████████████████████████████ | 642/1025 [1:48:19<1:02:19, 9.76s/it]
63%|██████████████████████████████████████████████████████████████████████████████▍ | 643/1025 [1:48:27<59:37, 9.36s/it]
{'loss': 0.1739, 'grad_norm': 2.927314519882202, 'learning_rate': 6.708084614800065e-06, 'ppl': 1.18994, 'memory/max_active (GiB)': 15.95, 'memory/max_allocated (GiB)': 15.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.415973663330078, 'tokens/total': 80348768, 'tokens/trainable': 151336, 'epoch': 1.25}
|
||
63%|██████████████████████████████████████████████████████████████████████████████▍ | 643/1025 [1:48:27<59:37, 9.36s/it]
63%|██████████████████████████████████████████████████████████████████████████████▌ | 644/1025 [1:48:35<57:19, 9.03s/it]
{'loss': 0.1787, 'grad_norm': 3.0904738903045654, 'learning_rate': 6.677645012840957e-06, 'ppl': 1.19566, 'memory/max_active (GiB)': 14.07, 'memory/max_allocated (GiB)': 14.07, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.261259078979492, 'tokens/total': 80451648, 'tokens/trainable': 151576, 'epoch': 1.26}
|
||
63%|██████████████████████████████████████████████████████████████████████████████▌ | 644/1025 [1:48:35<57:19, 9.03s/it]
63%|█████████████████████████████████████████████████████████████████████████████▍ | 645/1025 [1:48:48<1:04:37, 10.20s/it]
{'loss': 0.1361, 'grad_norm': 3.3028056621551514, 'learning_rate': 6.647239975159827e-06, 'ppl': 1.1458, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.44220542907715, 'tokens/total': 80611104, 'tokens/trainable': 151814, 'epoch': 1.26}
|
||
63%|█████████████████████████████████████████████████████████████████████████████▍ | 645/1025 [1:48:48<1:04:37, 10.20s/it]
63%|█████████████████████████████████████████████████████████████████████████████▌ | 646/1025 [1:48:57<1:02:11, 9.85s/it]
{'loss': 0.1044, 'grad_norm': 2.3513362407684326, 'learning_rate': 6.61686981807693e-06, 'ppl': 1.11004, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.861574172973633, 'tokens/total': 80721632, 'tokens/trainable': 152046, 'epoch': 1.26}
|
||
63%|█████████████████████████████████████████████████████████████████████████████▌ | 646/1025 [1:48:57<1:02:11, 9.85s/it]
63%|█████████████████████████████████████████████████████████████████████████████▋ | 647/1025 [1:49:07<1:01:51, 9.82s/it]
{'loss': 0.237, 'grad_norm': 3.6322100162506104, 'learning_rate': 6.586534857549638e-06, 'ppl': 1.26744, 'memory/max_active (GiB)': 17.03, 'memory/max_allocated (GiB)': 17.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 22.448198318481445, 'tokens/total': 80845008, 'tokens/trainable': 152264, 'epoch': 1.26}
|
||
63%|█████████████████████████████████████████████████████████████████████████████▋ | 647/1025 [1:49:07<1:01:51, 9.82s/it]
63%|███████████████████████████████████████████████████████████████████████████████ | 648/1025 [1:49:15<58:01, 9.24s/it]
{'loss': 0.1432, 'grad_norm': 3.4311001300811768, 'learning_rate': 6.556235409169154e-06, 'ppl': 1.15396, 'memory/max_active (GiB)': 15.63, 'memory/max_allocated (GiB)': 15.63, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.891191482543945, 'tokens/total': 80952368, 'tokens/trainable': 152506, 'epoch': 1.26}
|
||
63%|███████████████████████████████████████████████████████████████████████████████ | 648/1025 [1:49:15<58:01, 9.24s/it]
63%|███████████████████████████████████████████████████████████████████████████████▏ | 649/1025 [1:49:23<56:24, 9.00s/it]
{'loss': 0.1339, 'grad_norm': 2.7926924228668213, 'learning_rate': 6.52597178815723e-06, 'ppl': 1.14328, 'memory/max_active (GiB)': 17.0, 'memory/max_allocated (GiB)': 17.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.11387062072754, 'tokens/total': 81033968, 'tokens/trainable': 152734, 'epoch': 1.27}
|
||
63%|███████████████████████████████████████████████████████████████████████████████▏ | 649/1025 [1:49:23<56:24, 9.00s/it]
63%|███████████████████████████████████████████████████████████████████████████████▎ | 650/1025 [1:49:33<56:50, 9.09s/it]
{'loss': 0.1809, 'grad_norm': 3.426363468170166, 'learning_rate': 6.495744309362879e-06, 'ppl': 1.1983, 'memory/max_active (GiB)': 15.53, 'memory/max_allocated (GiB)': 15.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.0229434967041, 'tokens/total': 81167984, 'tokens/trainable': 152966, 'epoch': 1.27}
|
||
63%|███████████████████████████████████████████████████████████████████████████████▎ | 650/1025 [1:49:33<56:50, 9.09s/it]
64%|███████████████████████████████████████████████████████████████████████████████▍ | 651/1025 [1:49:40<54:02, 8.67s/it]
{'loss': 0.1408, 'grad_norm': 2.784335136413574, 'learning_rate': 6.4655532872591235e-06, 'ppl': 1.15119, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.904558181762695, 'tokens/total': 81233696, 'tokens/trainable': 153202, 'epoch': 1.27}
|
||
64%|███████████████████████████████████████████████████████████████████████████████▍ | 651/1025 [1:49:40<54:02, 8.67s/it]
64%|███████████████████████████████████████████████████████████████████████████████▌ | 652/1025 [1:49:49<54:41, 8.80s/it]
{'loss': 0.196, 'grad_norm': 4.3061394691467285, 'learning_rate': 6.435399035939691e-06, 'ppl': 1.21653, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.64, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.40449333190918, 'tokens/total': 81330048, 'tokens/trainable': 153432, 'epoch': 1.27}
|
||
64%|███████████████████████████████████████████████████████████████████████████████▌ | 652/1025 [1:49:49<54:41, 8.80s/it]
64%|███████████████████████████████████████████████████████████████████████████████▋ | 653/1025 [1:49:59<55:48, 9.00s/it]
{'loss': 0.1967, 'grad_norm': 4.295070648193359, 'learning_rate': 6.405281869115768e-06, 'ppl': 1.21738, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.747888565063477, 'tokens/total': 81437168, 'tokens/trainable': 153656, 'epoch': 1.27}
|
||
64%|███████████████████████████████████████████████████████████████████████████████▋ | 653/1025 [1:49:59<55:48, 9.00s/it]
64%|███████████████████████████████████████████████████████████████████████████████▊ | 654/1025 [1:50:08<56:18, 9.11s/it]
{'loss': 0.2245, 'grad_norm': 3.983903169631958, 'learning_rate': 6.37520210011273e-06, 'ppl': 1.2517, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.482563018798828, 'tokens/total': 81578848, 'tokens/trainable': 153884, 'epoch': 1.27}
|
||
64%|███████████████████████████████████████████████████████████████████████████████▊ | 654/1025 [1:50:08<56:18, 9.11s/it]
64%|██████████████████████████████████████████████████████████████████████████████▌ | 655/1025 [1:50:21<1:02:49, 10.19s/it]
{'loss': 0.0994, 'grad_norm': 2.5871896743774414, 'learning_rate': 6.345160041866885e-06, 'ppl': 1.10451, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.99077033996582, 'tokens/total': 81721904, 'tokens/trainable': 154112, 'epoch': 1.28}
|
||
64%|██████████████████████████████████████████████████████████████████████████████▌ | 655/1025 [1:50:21<1:02:49, 10.19s/it]
64%|████████████████████████████████████████████████████████████████████████████████ | 656/1025 [1:50:29<58:11, 9.46s/it]
{'loss': 0.144, 'grad_norm': 2.3734965324401855, 'learning_rate': 6.315156006922211e-06, 'ppl': 1.15488, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.277894973754883, 'tokens/total': 81819200, 'tokens/trainable': 154346, 'epoch': 1.28}
|
||
64%|████████████████████████████████████████████████████████████████████████████████ | 656/1025 [1:50:29<58:11, 9.46s/it]
64%|████████████████████████████████████████████████████████████████████████████████ | 657/1025 [1:50:38<57:49, 9.43s/it]
{'loss': 0.1785, 'grad_norm': 3.3860626220703125, 'learning_rate': 6.285190307427114e-06, 'ppl': 1.19542, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.289081573486328, 'tokens/total': 81945040, 'tokens/trainable': 154600, 'epoch': 1.28}
|
||
64%|████████████████████████████████████████████████████████████████████████████████ | 657/1025 [1:50:38<57:49, 9.43s/it]
64%|████████████████████████████████████████████████████████████████████████████████▏ | 658/1025 [1:50:47<57:04, 9.33s/it]
{'loss': 0.1694, 'grad_norm': 3.399245500564575, 'learning_rate': 6.255263255131172e-06, 'ppl': 1.18459, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.63, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.041461944580078, 'tokens/total': 82019344, 'tokens/trainable': 154836, 'epoch': 1.28}
|
||
64%|████████████████████████████████████████████████████████████████████████████████▏ | 658/1025 [1:50:47<57:04, 9.33s/it]
64%|████████████████████████████████████████████████████████████████████████████████▎ | 659/1025 [1:50:55<54:03, 8.86s/it]
{'loss': 0.1962, 'grad_norm': 4.857227325439453, 'learning_rate': 6.225375161381891e-06, 'ppl': 1.21677, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.767192840576172, 'tokens/total': 82111568, 'tokens/trainable': 155066, 'epoch': 1.28}
|
||
64%|████████████████████████████████████████████████████████████████████████████████▎ | 659/1025 [1:50:55<54:03, 8.86s/it]
64%|███████████████████████████████████████████████████████████████████████████████▏ | 660/1025 [1:51:08<1:00:58, 10.02s/it]
{'loss': 0.1586, 'grad_norm': 2.7298288345336914, 'learning_rate': 6.195526337121483e-06, 'ppl': 1.17187, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 20.331151962280273, 'tokens/total': 82327328, 'tokens/trainable': 155324, 'epoch': 1.29}
|
||
64%|███████████████████████████████████████████████████████████████████████████████▏ | 660/1025 [1:51:08<1:00:58, 10.02s/it]
64%|████████████████████████████████████████████████████████████████████████████████▌ | 661/1025 [1:51:17<59:14, 9.77s/it]
{'loss': 0.1675, 'grad_norm': 3.792510747909546, 'learning_rate': 6.165717092883603e-06, 'ppl': 1.18235, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.11125946044922, 'tokens/total': 82426096, 'tokens/trainable': 155544, 'epoch': 1.29}
|
||
64%|████████████████████████████████████████████████████████████████████████████████▌ | 661/1025 [1:51:17<59:14, 9.77s/it]
65%|████████████████████████████████████████████████████████████████████████████████▋ | 662/1025 [1:51:26<58:07, 9.61s/it]
{'loss': 0.1726, 'grad_norm': 2.610011577606201, 'learning_rate': 6.135947738790145e-06, 'ppl': 1.18839, 'memory/max_active (GiB)': 16.06, 'memory/max_allocated (GiB)': 16.06, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.353105545043945, 'tokens/total': 82554448, 'tokens/trainable': 155768, 'epoch': 1.29}
|
||
65%|████████████████████████████████████████████████████████████████████████████████▋ | 662/1025 [1:51:26<58:07, 9.61s/it]
65%|████████████████████████████████████████████████████████████████████████████████▊ | 663/1025 [1:51:35<57:11, 9.48s/it]
{'loss': 0.1326, 'grad_norm': 2.6583821773529053, 'learning_rate': 6.106218584547992e-06, 'ppl': 1.14179, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.878488540649414, 'tokens/total': 82677824, 'tokens/trainable': 155994, 'epoch': 1.29}
|
||
65%|████████████████████████████████████████████████████████████████████████████████▊ | 663/1025 [1:51:35<57:11, 9.48s/it]
65%|████████████████████████████████████████████████████████████████████████████████▉ | 664/1025 [1:51:44<54:59, 9.14s/it]
{'loss': 0.1545, 'grad_norm': 2.9330995082855225, 'learning_rate': 6.0765299394458185e-06, 'ppl': 1.16707, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.60567283630371, 'tokens/total': 82780704, 'tokens/trainable': 156240, 'epoch': 1.29}
|
||
65%|████████████████████████████████████████████████████████████████████████████████▉ | 664/1025 [1:51:44<54:59, 9.14s/it]
65%|█████████████████████████████████████████████████████████████████████████████████ | 665/1025 [1:51:53<54:38, 9.11s/it]
{'loss': 0.201, 'grad_norm': 4.776919841766357, 'learning_rate': 6.046882112350851e-06, 'ppl': 1.22262, 'memory/max_active (GiB)': 15.98, 'memory/max_allocated (GiB)': 15.98, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.692991256713867, 'tokens/total': 82901392, 'tokens/trainable': 156498, 'epoch': 1.3}
|
||
65%|█████████████████████████████████████████████████████████████████████████████████ | 665/1025 [1:51:53<54:38, 9.11s/it]
65%|█████████████████████████████████████████████████████████████████████████████████▏ | 666/1025 [1:52:00<52:05, 8.71s/it]
{'loss': 0.1739, 'grad_norm': 3.539078712463379, 'learning_rate': 6.017275411705671e-06, 'ppl': 1.18994, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.847259521484375, 'tokens/total': 82996608, 'tokens/trainable': 156744, 'epoch': 1.3}
|
||
65%|█████████████████████████████████████████████████████████████████████████████████▏ | 666/1025 [1:52:00<52:05, 8.71s/it]
65%|█████████████████████████████████████████████████████████████████████████████████▎ | 667/1025 [1:52:10<52:59, 8.88s/it]
{'loss': 0.2216, 'grad_norm': 3.3835642337799072, 'learning_rate': 5.987710145524992e-06, 'ppl': 1.24807, 'memory/max_active (GiB)': 17.02, 'memory/max_allocated (GiB)': 17.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.308176040649414, 'tokens/total': 83109408, 'tokens/trainable': 156978, 'epoch': 1.3}
|
||
65%|█████████████████████████████████████████████████████████████████████████████████▎ | 667/1025 [1:52:10<52:59, 8.88s/it]
65%|████████████████████████████████████████████████████████████████████████████████▏ | 668/1025 [1:52:23<1:01:01, 10.26s/it]
{'loss': 0.2059, 'grad_norm': 2.8434207439422607, 'learning_rate': 5.9581866213924656e-06, 'ppl': 1.22863, 'memory/max_active (GiB)': 15.96, 'memory/max_allocated (GiB)': 15.96, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.030445098876953, 'tokens/total': 83265296, 'tokens/trainable': 157220, 'epoch': 1.3}
|
||
65%|████████████████████████████████████████████████████████████████████████████████▏ | 668/1025 [1:52:23<1:01:01, 10.26s/it]
65%|█████████████████████████████████████████████████████████████████████████████████▌ | 669/1025 [1:52:33<59:44, 10.07s/it]
{'loss': 0.1511, 'grad_norm': 2.792520761489868, 'learning_rate': 5.928705146457483e-06, 'ppl': 1.16311, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.570823669433594, 'tokens/total': 83385920, 'tokens/trainable': 157446, 'epoch': 1.3}
|
||
65%|█████████████████████████████████████████████████████████████████████████████████▌ | 669/1025 [1:52:33<59:44, 10.07s/it]
65%|█████████████████████████████████████████████████████████████████████████████████▋ | 670/1025 [1:52:41<55:29, 9.38s/it]
{'loss': 0.1618, 'grad_norm': 2.7511470317840576, 'learning_rate': 5.899266027431965e-06, 'ppl': 1.17563, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.276580810546875, 'tokens/total': 83482432, 'tokens/trainable': 157680, 'epoch': 1.31}
|
||
65%|█████████████████████████████████████████████████████████████████████████████████▋ | 670/1025 [1:52:41<55:29, 9.38s/it]
65%|█████████████████████████████████████████████████████████████████████████████████▊ | 671/1025 [1:52:49<53:22, 9.05s/it]
{'loss': 0.1459, 'grad_norm': 4.360302448272705, 'learning_rate': 5.869869570587186e-06, 'ppl': 1.15708, 'memory/max_active (GiB)': 16.94, 'memory/max_allocated (GiB)': 16.94, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.9368896484375, 'tokens/total': 83597456, 'tokens/trainable': 157918, 'epoch': 1.31}
|
||
65%|█████████████████████████████████████████████████████████████████████████████████▊ | 671/1025 [1:52:49<53:22, 9.05s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▉ | 672/1025 [1:52:58<53:06, 9.03s/it]
{'loss': 0.2077, 'grad_norm': 3.095902442932129, 'learning_rate': 5.8405160817505834e-06, 'ppl': 1.23084, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.84474754333496, 'tokens/total': 83708384, 'tokens/trainable': 158158, 'epoch': 1.31}
|
||
66%|█████████████████████████████████████████████████████████████████████████████████▉ | 672/1025 [1:52:58<53:06, 9.03s/it]
66%|██████████████████████████████████████████████████████████████████████████████████ | 673/1025 [1:53:07<53:42, 9.15s/it]
{'loss': 0.1334, 'grad_norm': 2.7140989303588867, 'learning_rate': 5.811205866302571e-06, 'ppl': 1.14271, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.596067428588867, 'tokens/total': 83844384, 'tokens/trainable': 158380, 'epoch': 1.31}
|
||
66%|██████████████████████████████████████████████████████████████████████████████████ | 673/1025 [1:53:07<53:42, 9.15s/it]
66%|██████████████████████████████████████████████████████████████████████████████████▏ | 674/1025 [1:53:16<52:51, 9.03s/it]
{'loss': 0.2658, 'grad_norm': 5.275503635406494, 'learning_rate': 5.781939229173365e-06, 'ppl': 1.30447, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.240922927856445, 'tokens/total': 83939088, 'tokens/trainable': 158600, 'epoch': 1.31}
|
||
66%|██████████████████████████████████████████████████████████████████████████████████▏ | 674/1025 [1:53:16<52:51, 9.03s/it]
66%|██████████████████████████████████████████████████████████████████████████████████▎ | 675/1025 [1:53:29<59:49, 10.26s/it]
{'loss': 0.1554, 'grad_norm': 2.511986494064331, 'learning_rate': 5.752716474839826e-06, 'ppl': 1.16813, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.527555465698242, 'tokens/total': 84108304, 'tokens/trainable': 158842, 'epoch': 1.32}
|
||
66%|██████████████████████████████████████████████████████████████████████████████████▎ | 675/1025 [1:53:29<59:49, 10.26s/it]
66%|██████████████████████████████████████████████████████████████████████████████████▍ | 676/1025 [1:53:37<56:08, 9.65s/it]
{'loss': 0.111, 'grad_norm': 3.903515577316284, 'learning_rate': 5.723537907322259e-06, 'ppl': 1.11739, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.54444694519043, 'tokens/total': 84208192, 'tokens/trainable': 159076, 'epoch': 1.32}
|
||
66%|██████████████████████████████████████████████████████████████████████████████████▍ | 676/1025 [1:53:37<56:08, 9.65s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▏ | 677/1025 [1:53:50<1:00:55, 10.51s/it]
{'loss': 0.2184, 'grad_norm': 3.4018619060516357, 'learning_rate': 5.69440383018127e-06, 'ppl': 1.24408, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.2629337310791, 'tokens/total': 84362096, 'tokens/trainable': 159316, 'epoch': 1.32}
|
||
66%|█████████████████████████████████████████████████████████████████████████████████▏ | 677/1025 [1:53:50<1:00:55, 10.51s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▎ | 678/1025 [1:54:03<1:04:32, 11.16s/it]
{'loss': 0.1575, 'grad_norm': 2.6103675365448, 'learning_rate': 5.665314546514633e-06, 'ppl': 1.17058, 'memory/max_active (GiB)': 15.98, 'memory/max_allocated (GiB)': 15.98, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.937742233276367, 'tokens/total': 84531312, 'tokens/trainable': 159568, 'epoch': 1.32}
|
||
66%|█████████████████████████████████████████████████████████████████████████████████▎ | 678/1025 [1:54:03<1:04:32, 11.16s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▍ | 679/1025 [1:54:12<1:00:59, 10.58s/it]
{'loss': 0.1875, 'grad_norm': 2.834927797317505, 'learning_rate': 5.6362703589540835e-06, 'ppl': 1.20623, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.837751388549805, 'tokens/total': 84643824, 'tokens/trainable': 159796, 'epoch': 1.32}
|
||
66%|█████████████████████████████████████████████████████████████████████████████████▍ | 679/1025 [1:54:12<1:00:59, 10.58s/it]
66%|██████████████████████████████████████████████████████████████████████████████████▉ | 680/1025 [1:54:21<58:55, 10.25s/it]
{'loss': 0.2005, 'grad_norm': 3.785065174102783, 'learning_rate': 5.607271569662203e-06, 'ppl': 1.22201, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.487850189208984, 'tokens/total': 84779824, 'tokens/trainable': 160046, 'epoch': 1.33}
|
||
66%|██████████████████████████████████████████████████████████████████████████████████▉ | 680/1025 [1:54:21<58:55, 10.25s/it]
66%|███████████████████████████████████████████████████████████████████████████████████ | 681/1025 [1:54:30<55:35, 9.70s/it]
{'loss': 0.1639, 'grad_norm': 2.937147855758667, 'learning_rate': 5.578318480329281e-06, 'ppl': 1.1781, 'memory/max_active (GiB)': 13.06, 'memory/max_allocated (GiB)': 13.06, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.012523651123047, 'tokens/total': 84874320, 'tokens/trainable': 160272, 'epoch': 1.33}
|
||
66%|███████████████████████████████████████████████████████████████████████████████████ | 681/1025 [1:54:30<55:35, 9.70s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▏ | 682/1025 [1:54:39<54:52, 9.60s/it]
{'loss': 0.2063, 'grad_norm': 2.777409076690674, 'learning_rate': 5.549411392170154e-06, 'ppl': 1.22912, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.796688079833984, 'tokens/total': 85016000, 'tokens/trainable': 160494, 'epoch': 1.33}
|
||
67%|███████████████████████████████████████████████████████████████████████████████████▏ | 682/1025 [1:54:39<54:52, 9.60s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▎ | 683/1025 [1:54:48<54:13, 9.51s/it]
{'loss': 0.2389, 'grad_norm': 3.005195379257202, 'learning_rate': 5.520550605921091e-06, 'ppl': 1.26985, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.254011154174805, 'tokens/total': 85152000, 'tokens/trainable': 160756, 'epoch': 1.33}
|
||
67%|███████████████████████████████████████████████████████████████████████████████████▎ | 683/1025 [1:54:48<54:13, 9.51s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▍ | 684/1025 [1:54:58<53:37, 9.44s/it]
{'loss': 0.1821, 'grad_norm': 3.7096714973449707, 'learning_rate': 5.491736421836647e-06, 'ppl': 1.19973, 'memory/max_active (GiB)': 13.78, 'memory/max_allocated (GiB)': 13.78, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.404722213745117, 'tokens/total': 85263440, 'tokens/trainable': 160990, 'epoch': 1.33}
|
||
67%|███████████████████████████████████████████████████████████████████████████████████▍ | 684/1025 [1:54:58<53:37, 9.44s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▌ | 685/1025 [1:55:11<59:32, 10.51s/it]
{'loss': 0.1719, 'grad_norm': 3.0974366664886475, 'learning_rate': 5.462969139686562e-06, 'ppl': 1.18756, 'memory/max_active (GiB)': 13.05, 'memory/max_allocated (GiB)': 13.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.044513702392578, 'tokens/total': 85417104, 'tokens/trainable': 161224, 'epoch': 1.34}
|
||
67%|███████████████████████████████████████████████████████████████████████████████████▌ | 685/1025 [1:55:11<59:32, 10.51s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▋ | 686/1025 [1:55:19<55:53, 9.89s/it]
{'loss': 0.1873, 'grad_norm': 2.5749857425689697, 'learning_rate': 5.434249058752615e-06, 'ppl': 1.20599, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.193632125854492, 'tokens/total': 85511808, 'tokens/trainable': 161478, 'epoch': 1.34}
|
||
67%|███████████████████████████████████████████████████████████████████████████████████▋ | 686/1025 [1:55:19<55:53, 9.89s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▊ | 687/1025 [1:55:28<54:32, 9.68s/it]
{'loss': 0.1722, 'grad_norm': 4.506821155548096, 'learning_rate': 5.405576477825538e-06, 'ppl': 1.18792, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.418014526367188, 'tokens/total': 85640160, 'tokens/trainable': 161738, 'epoch': 1.34}
|
||
67%|███████████████████████████████████████████████████████████████████████████████████▊ | 687/1025 [1:55:28<54:32, 9.68s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▉ | 688/1025 [1:55:37<52:37, 9.37s/it]
{'loss': 0.1746, 'grad_norm': 3.2427852153778076, 'learning_rate': 5.376951695201894e-06, 'ppl': 1.19077, 'memory/max_active (GiB)': 16.05, 'memory/max_allocated (GiB)': 16.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.66130828857422, 'tokens/total': 85760864, 'tokens/trainable': 161950, 'epoch': 1.34}
|
||
67%|███████████████████████████████████████████████████████████████████████████████████▉ | 688/1025 [1:55:37<52:37, 9.37s/it]
67%|████████████████████████████████████████████████████████████████████████████████████ | 689/1025 [1:55:50<59:06, 10.56s/it]
{'loss': 0.1512, 'grad_norm': 3.6372575759887695, 'learning_rate': 5.348375008680963e-06, 'ppl': 1.16323, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.16358757019043, 'tokens/total': 85935760, 'tokens/trainable': 162178, 'epoch': 1.34}
|
||
67%|████████████████████████████████████████████████████████████████████████████████████ | 689/1025 [1:55:50<59:06, 10.56s/it]
67%|██████████████████████████████████████████████████████████████████████████████████▊ | 690/1025 [1:56:03<1:02:08, 11.13s/it]
{'loss': 0.2068, 'grad_norm': 3.736909866333008, 'learning_rate': 5.319846715561656e-06, 'ppl': 1.22974, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.14298439025879, 'tokens/total': 86102992, 'tokens/trainable': 162416, 'epoch': 1.35}
|
||
67%|██████████████████████████████████████████████████████████████████████████████████▊ | 690/1025 [1:56:03<1:02:08, 11.13s/it]
67%|████████████████████████████████████████████████████████████████████████████████████▎ | 691/1025 [1:56:12<58:50, 10.57s/it]
{'loss': 0.2505, 'grad_norm': 3.7365853786468506, 'learning_rate': 5.291367112639439e-06, 'ppl': 1.28467, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.862180709838867, 'tokens/total': 86238992, 'tokens/trainable': 162636, 'epoch': 1.35}
|
||
67%|████████████████████████████████████████████████████████████████████████████████████▎ | 691/1025 [1:56:12<58:50, 10.57s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▍ | 692/1025 [1:56:20<54:43, 9.86s/it]
{'loss': 0.1467, 'grad_norm': 3.8341877460479736, 'learning_rate': 5.2629364962032e-06, 'ppl': 1.15801, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.679655075073242, 'tokens/total': 86331392, 'tokens/trainable': 162870, 'epoch': 1.35}
|
||
68%|████████████████████████████████████████████████████████████████████████████████████▍ | 692/1025 [1:56:20<54:43, 9.86s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▌ | 693/1025 [1:56:29<52:58, 9.57s/it]
{'loss': 0.145, 'grad_norm': 2.9583723545074463, 'learning_rate': 5.234555162032221e-06, 'ppl': 1.15604, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.035797119140625, 'tokens/total': 86429472, 'tokens/trainable': 163092, 'epoch': 1.35}
|
||
68%|████████████████████████████████████████████████████████████████████████████████████▌ | 693/1025 [1:56:29<52:58, 9.57s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▋ | 694/1025 [1:56:38<52:13, 9.47s/it]
{'loss': 0.2531, 'grad_norm': 4.2079267501831055, 'learning_rate': 5.206223405393051e-06, 'ppl': 1.28801, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.197067260742188, 'tokens/total': 86557824, 'tokens/trainable': 163314, 'epoch': 1.35}
|
||
68%|████████████████████████████████████████████████████████████████████████████████████▋ | 694/1025 [1:56:38<52:13, 9.47s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▊ | 695/1025 [1:56:48<52:13, 9.50s/it]
{'loss': 0.157, 'grad_norm': 3.241814613342285, 'learning_rate': 5.177941521036469e-06, 'ppl': 1.17, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.947649002075195, 'tokens/total': 86680960, 'tokens/trainable': 163542, 'epoch': 1.35}
|
||
68%|████████████████████████████████████████████████████████████████████████████████████▊ | 695/1025 [1:56:48<52:13, 9.50s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▉ | 696/1025 [1:57:01<57:29, 10.48s/it]
{'loss': 0.144, 'grad_norm': 3.4253013134002686, 'learning_rate': 5.149709803194409e-06, 'ppl': 1.15488, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.72504425048828, 'tokens/total': 86863504, 'tokens/trainable': 163768, 'epoch': 1.36}
|
||
68%|████████████████████████████████████████████████████████████████████████████████████▉ | 696/1025 [1:57:01<57:29, 10.48s/it]
68%|███████████████████████████████████████████████████████████████████████████████████▋ | 697/1025 [1:57:13<1:01:08, 11.18s/it]
{'loss': 0.1905, 'grad_norm': 3.3562026023864746, 'learning_rate': 5.121528545576879e-06, 'ppl': 1.20985, 'memory/max_active (GiB)': 24.79, 'memory/max_allocated (GiB)': 24.79, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.00087547302246, 'tokens/total': 87032720, 'tokens/trainable': 163998, 'epoch': 1.36}
|
||
68%|███████████████████████████████████████████████████████████████████████████████████▋ | 697/1025 [1:57:13<1:01:08, 11.18s/it]
68%|█████████████████████████████████████████████████████████████████████████████████████ | 698/1025 [1:57:22<56:34, 10.38s/it]
{'loss': 0.1831, 'grad_norm': 4.007759094238281, 'learning_rate': 5.093398041368942e-06, 'ppl': 1.20093, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.928661346435547, 'tokens/total': 87132368, 'tokens/trainable': 164226, 'epoch': 1.36}
|
||
68%|█████████████████████████████████████████████████████████████████████████████████████ | 698/1025 [1:57:22<56:34, 10.38s/it]
68%|███████████████████████████████████████████████████████████████████████████████████▉ | 699/1025 [1:57:35<1:00:46, 11.19s/it]
{'loss': 0.1842, 'grad_norm': 2.639136791229248, 'learning_rate': 5.06531858322763e-06, 'ppl': 1.20226, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.205434799194336, 'tokens/total': 87314912, 'tokens/trainable': 164450, 'epoch': 1.36}
|
||
68%|███████████████████████████████████████████████████████████████████████████████████▉ | 699/1025 [1:57:35<1:00:46, 11.19s/it]
68%|████████████████████████████████████████████████████████████████████████████████████ | 700/1025 [1:57:48<1:03:34, 11.74s/it]
{'loss': 0.1206, 'grad_norm': 2.1717963218688965, 'learning_rate': 5.037290463278914e-06, 'ppl': 1.12817, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.871456146240234, 'tokens/total': 87453264, 'tokens/trainable': 164682, 'epoch': 1.36}
|
||
68%|████████████████████████████████████████████████████████████████████████████████████ | 700/1025 [1:57:48<1:03:34, 11.74s/it]
68%|████████████████████████████████████████████████████████████████████████████████████ | 701/1025 [1:58:01<1:05:12, 12.08s/it]
{'loss': 0.2179, 'grad_norm': 3.185208320617676, 'learning_rate': 5.009313973114684e-06, 'ppl': 1.24346, 'memory/max_active (GiB)': 16.05, 'memory/max_allocated (GiB)': 16.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.622467041015625, 'tokens/total': 87598992, 'tokens/trainable': 164908, 'epoch': 1.37}
|
||
68%|████████████████████████████████████████████████████████████████████████████████████ | 701/1025 [1:58:01<1:05:12, 12.08s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▏ | 702/1025 [1:58:10<1:00:06, 11.16s/it]
{'loss': 0.1321, 'grad_norm': 2.2054409980773926, 'learning_rate': 4.9813894037896745e-06, 'ppl': 1.14122, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.338348388671875, 'tokens/total': 87711504, 'tokens/trainable': 165154, 'epoch': 1.37}
|
||
68%|████████████████████████████████████████████████████████████████████████████████████▏ | 702/1025 [1:58:10<1:00:06, 11.16s/it]
69%|████████████████████████████████████████████████████████████████████████████████████▎ | 703/1025 [1:58:23<1:02:54, 11.72s/it]
{'loss': 0.1666, 'grad_norm': 2.8378021717071533, 'learning_rate': 4.9535170458184735e-06, 'ppl': 1.18128, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.408477783203125, 'tokens/total': 87870560, 'tokens/trainable': 165380, 'epoch': 1.37}
|
||
69%|████████████████████████████████████████████████████████████████████████████████████▎ | 703/1025 [1:58:23<1:02:54, 11.72s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████▊ | 704/1025 [1:58:32<58:48, 10.99s/it]
{'loss': 0.1635, 'grad_norm': 3.1679816246032715, 'learning_rate': 4.925697189172485e-06, 'ppl': 1.17763, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.451194763183594, 'tokens/total': 88019888, 'tokens/trainable': 165606, 'epoch': 1.37}
|
||
69%|█████████████████████████████████████████████████████████████████████████████████████▊ | 704/1025 [1:58:32<58:48, 10.99s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████▉ | 705/1025 [1:58:41<54:33, 10.23s/it]
{'loss': 0.1479, 'grad_norm': 3.164386510848999, 'learning_rate': 4.897930123276901e-06, 'ppl': 1.1594, 'memory/max_active (GiB)': 14.04, 'memory/max_allocated (GiB)': 14.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.876806259155273, 'tokens/total': 88114304, 'tokens/trainable': 165832, 'epoch': 1.37}
|
||
69%|█████████████████████████████████████████████████████████████████████████████████████▉ | 705/1025 [1:58:41<54:33, 10.23s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████ | 706/1025 [1:58:49<52:04, 9.79s/it]
{'loss': 0.1191, 'grad_norm': 2.5499634742736816, 'learning_rate': 4.8702161370077215e-06, 'ppl': 1.12648, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.784494400024414, 'tokens/total': 88202528, 'tokens/trainable': 166066, 'epoch': 1.38}
|
||
69%|██████████████████████████████████████████████████████████████████████████████████████ | 706/1025 [1:58:50<52:04, 9.79s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████▏ | 707/1025 [1:58:59<51:05, 9.64s/it]
{'loss': 0.1727, 'grad_norm': 2.8144311904907227, 'learning_rate': 4.84255551868871e-06, 'ppl': 1.18851, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.88740348815918, 'tokens/total': 88328368, 'tokens/trainable': 166296, 'epoch': 1.38}
|
||
69%|██████████████████████████████████████████████████████████████████████████████████████▏ | 707/1025 [1:58:59<51:05, 9.64s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████▎ | 708/1025 [1:59:11<55:47, 10.56s/it]
{'loss': 0.1312, 'grad_norm': 2.7236075401306152, 'learning_rate': 4.81494855608843e-06, 'ppl': 1.1402, 'memory/max_active (GiB)': 24.72, 'memory/max_allocated (GiB)': 24.72, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.475330352783203, 'tokens/total': 88452880, 'tokens/trainable': 166530, 'epoch': 1.38}
|
||
69%|██████████████████████████████████████████████████████████████████████████████████████▎ | 708/1025 [1:59:11<55:47, 10.56s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████▍ | 709/1025 [1:59:21<53:45, 10.21s/it]
{'loss': 0.1757, 'grad_norm': 2.941372871398926, 'learning_rate': 4.787395536417227e-06, 'ppl': 1.19208, 'memory/max_active (GiB)': 14.9, 'memory/max_allocated (GiB)': 14.9, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.401456832885742, 'tokens/total': 88576256, 'tokens/trainable': 166758, 'epoch': 1.38}
|
||
69%|██████████████████████████████████████████████████████████████████████████████████████▍ | 709/1025 [1:59:21<53:45, 10.21s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████▌ | 710/1025 [1:59:29<49:54, 9.51s/it]
{'loss': 0.1556, 'grad_norm': 2.4704244136810303, 'learning_rate': 4.759896746324247e-06, 'ppl': 1.16836, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.141239166259766, 'tokens/total': 88683616, 'tokens/trainable': 166994, 'epoch': 1.38}
|
||
69%|██████████████████████████████████████████████████████████████████████████████████████▌ | 710/1025 [1:59:29<49:54, 9.51s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████▋ | 711/1025 [1:59:41<54:48, 10.47s/it]
{'loss': 0.1758, 'grad_norm': 4.452345371246338, 'learning_rate': 4.732452471894465e-06, 'ppl': 1.1922, 'memory/max_active (GiB)': 17.29, 'memory/max_allocated (GiB)': 17.29, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.75356101989746, 'tokens/total': 88845824, 'tokens/trainable': 167232, 'epoch': 1.39}
|
||
69%|██████████████████████████████████████████████████████████████████████████████████████▋ | 711/1025 [1:59:41<54:48, 10.47s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████▊ | 712/1025 [1:59:51<52:27, 10.06s/it]
{'loss': 0.1936, 'grad_norm': 3.2524993419647217, 'learning_rate': 4.705062998645687e-06, 'ppl': 1.21361, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.88347625732422, 'tokens/total': 88966512, 'tokens/trainable': 167466, 'epoch': 1.39}
|
||
69%|██████████████████████████████████████████████████████████████████████████████████████▊ | 712/1025 [1:59:51<52:27, 10.06s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▉ | 713/1025 [1:59:59<50:24, 9.69s/it]
{'loss': 0.1854, 'grad_norm': 2.7750253677368164, 'learning_rate': 4.677728611525605e-06, 'ppl': 1.2037, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.44489288330078, 'tokens/total': 89069392, 'tokens/trainable': 167690, 'epoch': 1.39}
|
||
70%|██████████████████████████████████████████████████████████████████████████████████████▉ | 713/1025 [1:59:59<50:24, 9.69s/it]
70%|███████████████████████████████████████████████████████████████████████████████████████ | 714/1025 [2:00:12<55:33, 10.72s/it]
{'loss': 0.1551, 'grad_norm': 2.6874313354492188, 'learning_rate': 4.650449594908816e-06, 'ppl': 1.16777, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.750850677490234, 'tokens/total': 89244288, 'tokens/trainable': 167922, 'epoch': 1.39}
|
||
70%|███████████████████████████████████████████████████████████████████████████████████████ | 714/1025 [2:00:13<55:33, 10.72s/it]
70%|███████████████████████████████████████████████████████████████████████████████████████▏ | 715/1025 [2:00:20<50:48, 9.83s/it]
{'loss': 0.2153, 'grad_norm': 3.3468382358551025, 'learning_rate': 4.6232262325938585e-06, 'ppl': 1.24023, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.720779418945312, 'tokens/total': 89310192, 'tokens/trainable': 168144, 'epoch': 1.39}
|
||
70%|███████████████████████████████████████████████████████████████████████████████████████▏ | 715/1025 [2:00:20<50:48, 9.83s/it]
70%|███████████████████████████████████████████████████████████████████████████████████████▎ | 716/1025 [2:00:33<55:41, 10.81s/it]
{'loss': 0.1309, 'grad_norm': 2.4270753860473633, 'learning_rate': 4.596058807800284e-06, 'ppl': 1.13985, 'memory/max_active (GiB)': 15.53, 'memory/max_allocated (GiB)': 15.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.919071197509766, 'tokens/total': 89464096, 'tokens/trainable': 168378, 'epoch': 1.4}
|
||
70%|███████████████████████████████████████████████████████████████████████████████████████▎ | 716/1025 [2:00:33<55:41, 10.81s/it]
70%|███████████████████████████████████████████████████████████████████████████████████████▍ | 717/1025 [2:00:47<59:34, 11.61s/it]
{'loss': 0.2131, 'grad_norm': 3.252197742462158, 'learning_rate': 4.568947603165678e-06, 'ppl': 1.23751, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.537921905517578, 'tokens/total': 89619984, 'tokens/trainable': 168640, 'epoch': 1.4}
|
||
70%|███████████████████████████████████████████████████████████████████████████████████████▍ | 717/1025 [2:00:47<59:34, 11.61s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▏ | 718/1025 [2:01:00<1:01:16, 11.98s/it]
{'loss': 0.1788, 'grad_norm': 2.6589195728302, 'learning_rate': 4.541892900742757e-06, 'ppl': 1.19578, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.066112518310547, 'tokens/total': 89789200, 'tokens/trainable': 168884, 'epoch': 1.4}
|
||
70%|██████████████████████████████████████████████████████████████████████████████████████▏ | 718/1025 [2:01:00<1:01:16, 11.98s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▎ | 719/1025 [2:01:13<1:02:46, 12.31s/it]
{'loss': 0.1265, 'grad_norm': 3.3275632858276367, 'learning_rate': 4.514894981996397e-06, 'ppl': 1.13485, 'memory/max_active (GiB)': 13.78, 'memory/max_allocated (GiB)': 13.78, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.623727798461914, 'tokens/total': 89980784, 'tokens/trainable': 169114, 'epoch': 1.4}
|
||
70%|██████████████████████████████████████████████████████████████████████████████████████▎ | 719/1025 [2:01:13<1:02:46, 12.31s/it]
70%|███████████████████████████████████████████████████████████████████████████████████████▊ | 720/1025 [2:01:22<57:48, 11.37s/it]
{'loss': 0.1347, 'grad_norm': 2.345900058746338, 'learning_rate': 4.487954127800726e-06, 'ppl': 1.14419, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.237836837768555, 'tokens/total': 90114800, 'tokens/trainable': 169354, 'epoch': 1.4}
|
||
70%|███████████████████████████████████████████████████████████████████████████████████████▊ | 720/1025 [2:01:22<57:48, 11.37s/it]
70%|███████████████████████████████████████████████████████████████████████████████████████▉ | 721/1025 [2:01:31<54:23, 10.74s/it]
{'loss': 0.172, 'grad_norm': 4.107664108276367, 'learning_rate': 4.461070618436203e-06, 'ppl': 1.18768, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 22.805763244628906, 'tokens/total': 90256480, 'tokens/trainable': 169564, 'epoch': 1.41}
|
||
70%|███████████████████████████████████████████████████████████████████████████████████████▉ | 721/1025 [2:01:31<54:23, 10.74s/it]
70%|████████████████████████████████████████████████████████████████████████████████████████ | 722/1025 [2:01:40<50:46, 10.05s/it]
{'loss': 0.1547, 'grad_norm': 2.5658023357391357, 'learning_rate': 4.434244733586699e-06, 'ppl': 1.16731, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.9659423828125, 'tokens/total': 90367024, 'tokens/trainable': 169808, 'epoch': 1.41}
|
||
70%|████████████████████████████████████████████████████████████████████████████████████████ | 722/1025 [2:01:40<50:46, 10.05s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▏ | 723/1025 [2:01:48<48:08, 9.57s/it]
{'loss': 0.1717, 'grad_norm': 3.8280889987945557, 'learning_rate': 4.407476752336575e-06, 'ppl': 1.18732, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.487241744995117, 'tokens/total': 90466912, 'tokens/trainable': 170030, 'epoch': 1.41}
|
||
71%|████████████████████████████████████████████████████████████████████████████████████████▏ | 723/1025 [2:01:48<48:08, 9.57s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▎ | 724/1025 [2:02:01<52:43, 10.51s/it]
{'loss': 0.1716, 'grad_norm': 3.330017566680908, 'learning_rate': 4.380766953167805e-06, 'ppl': 1.1872, 'memory/max_active (GiB)': 24.75, 'memory/max_allocated (GiB)': 24.75, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.14090347290039, 'tokens/total': 90631152, 'tokens/trainable': 170260, 'epoch': 1.41}
|
||
71%|████████████████████████████████████████████████████████████████████████████████████████▎ | 724/1025 [2:02:01<52:43, 10.51s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▍ | 725/1025 [2:02:10<50:50, 10.17s/it]
{'loss': 0.2113, 'grad_norm': 3.645582437515259, 'learning_rate': 4.354115613957044e-06, 'ppl': 1.23528, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.67254638671875, 'tokens/total': 90733504, 'tokens/trainable': 170490, 'epoch': 1.41}
|
||
71%|████████████████████████████████████████████████████████████████████████████████████████▍ | 725/1025 [2:02:10<50:50, 10.17s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▌ | 726/1025 [2:02:18<47:03, 9.44s/it]
{'loss': 0.1586, 'grad_norm': 3.0077104568481445, 'learning_rate': 4.327523011972774e-06, 'ppl': 1.17187, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.909236907958984, 'tokens/total': 90809504, 'tokens/trainable': 170736, 'epoch': 1.42}
|
||
71%|████████████████████████████████████████████████████████████████████████████████████████▌ | 726/1025 [2:02:18<47:03, 9.44s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▋ | 727/1025 [2:02:31<51:56, 10.46s/it]
{'loss': 0.1781, 'grad_norm': 3.038167953491211, 'learning_rate': 4.300989423872386e-06, 'ppl': 1.19494, 'memory/max_active (GiB)': 12.47, 'memory/max_allocated (GiB)': 12.47, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.61236572265625, 'tokens/total': 90938496, 'tokens/trainable': 170974, 'epoch': 1.42}
|
||
71%|████████████████████████████████████████████████████████████████████████████████████████▋ | 727/1025 [2:02:31<51:56, 10.46s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▊ | 728/1025 [2:02:40<49:28, 10.00s/it]
{'loss': 0.1289, 'grad_norm': 2.694370985031128, 'learning_rate': 4.2745151256993325e-06, 'ppl': 1.13758, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.786964416503906, 'tokens/total': 91046432, 'tokens/trainable': 171194, 'epoch': 1.42}
|
||
71%|████████████████████████████████████████████████████████████████████████████████████████▊ | 728/1025 [2:02:40<49:28, 10.00s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▉ | 729/1025 [2:02:53<53:33, 10.86s/it]
{'loss': 0.213, 'grad_norm': 2.999506950378418, 'learning_rate': 4.248100392880227e-06, 'ppl': 1.23738, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.409757614135742, 'tokens/total': 91213664, 'tokens/trainable': 171430, 'epoch': 1.42}
|
||
71%|████████████████████████████████████████████████████████████████████████████████████████▉ | 729/1025 [2:02:53<53:33, 10.86s/it]
71%|█████████████████████████████████████████████████████████████████████████████████████████ | 730/1025 [2:03:00<48:56, 9.95s/it]
{'loss': 0.1769, 'grad_norm': 3.3863563537597656, 'learning_rate': 4.221745500221992e-06, 'ppl': 1.19351, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.749359130859375, 'tokens/total': 91310864, 'tokens/trainable': 171670, 'epoch': 1.42}
|
||
71%|█████████████████████████████████████████████████████████████████████████████████████████ | 730/1025 [2:03:00<48:56, 9.95s/it]
71%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 731/1025 [2:03:13<53:19, 10.88s/it]
{'loss': 0.1806, 'grad_norm': 3.655129909515381, 'learning_rate': 4.19545072190902e-06, 'ppl': 1.19794, 'memory/max_active (GiB)': 14.92, 'memory/max_allocated (GiB)': 14.92, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.141857147216797, 'tokens/total': 91467456, 'tokens/trainable': 171906, 'epoch': 1.42}
|
||
71%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 731/1025 [2:03:13<53:19, 10.88s/it]
71%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 732/1025 [2:03:21<48:43, 9.98s/it]
{'loss': 0.1906, 'grad_norm': 3.149535894393921, 'learning_rate': 4.169216331500279e-06, 'ppl': 1.20998, 'memory/max_active (GiB)': 16.06, 'memory/max_allocated (GiB)': 16.06, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.402950286865234, 'tokens/total': 91548768, 'tokens/trainable': 172136, 'epoch': 1.43}
|
||
71%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 732/1025 [2:03:21<48:43, 9.98s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 733/1025 [2:03:30<47:27, 9.75s/it]
{'loss': 0.1975, 'grad_norm': 3.679548740386963, 'learning_rate': 4.143042601926492e-06, 'ppl': 1.21835, 'memory/max_active (GiB)': 16.93, 'memory/max_allocated (GiB)': 16.93, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.182016372680664, 'tokens/total': 91690448, 'tokens/trainable': 172358, 'epoch': 1.43}
|
||
72%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 733/1025 [2:03:31<47:27, 9.75s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 734/1025 [2:03:43<51:46, 10.67s/it]
{'loss': 0.1626, 'grad_norm': 3.007347583770752, 'learning_rate': 4.116929805487307e-06, 'ppl': 1.17657, 'memory/max_active (GiB)': 24.77, 'memory/max_allocated (GiB)': 24.77, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 21.892139434814453, 'tokens/total': 91852016, 'tokens/trainable': 172638, 'epoch': 1.43}
|
||
72%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 734/1025 [2:03:43<51:46, 10.67s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 735/1025 [2:03:51<47:42, 9.87s/it]
{'loss': 0.1431, 'grad_norm': 2.351674795150757, 'learning_rate': 4.090878213848434e-06, 'ppl': 1.15385, 'memory/max_active (GiB)': 14.92, 'memory/max_allocated (GiB)': 14.92, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.66351318359375, 'tokens/total': 91957184, 'tokens/trainable': 172874, 'epoch': 1.43}
|
||
72%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 735/1025 [2:03:51<47:42, 9.87s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 736/1025 [2:04:05<52:25, 10.88s/it]
{'loss': 0.2133, 'grad_norm': 3.394658327102661, 'learning_rate': 4.064888098038853e-06, 'ppl': 1.23776, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 16.363832473754883, 'tokens/total': 92113776, 'tokens/trainable': 173090, 'epoch': 1.43}
|
||
72%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 736/1025 [2:04:05<52:25, 10.88s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 737/1025 [2:04:14<50:01, 10.42s/it]
{'loss': 0.2043, 'grad_norm': 2.7171900272369385, 'learning_rate': 4.0389597284479595e-06, 'ppl': 1.22667, 'memory/max_active (GiB)': 16.94, 'memory/max_allocated (GiB)': 16.94, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.011547088623047, 'tokens/total': 92247808, 'tokens/trainable': 173332, 'epoch': 1.44}
|
||
72%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 737/1025 [2:04:14<50:01, 10.42s/it]
72%|██████████████████████████████████████████████████████████████████████████████████████████ | 738/1025 [2:04:23<48:07, 10.06s/it]
{'loss': 0.1555, 'grad_norm': 3.460587978363037, 'learning_rate': 4.013093374822789e-06, 'ppl': 1.16824, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.63530921936035, 'tokens/total': 92351456, 'tokens/trainable': 173558, 'epoch': 1.44}
|
||
72%|██████████████████████████████████████████████████████████████████████████████████████████ | 738/1025 [2:04:23<48:07, 10.06s/it]
72%|██████████████████████████████████████████████████████████████████████████████████████████ | 739/1025 [2:04:36<52:07, 10.93s/it]
{'loss': 0.2191, 'grad_norm': 3.1139028072357178, 'learning_rate': 3.98728930626517e-06, 'ppl': 1.24496, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.398845672607422, 'tokens/total': 92509824, 'tokens/trainable': 173796, 'epoch': 1.44}
|
||
72%|██████████████████████████████████████████████████████████████████████████████████████████ | 739/1025 [2:04:36<52:07, 10.93s/it]
72%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 740/1025 [2:04:45<49:37, 10.45s/it]
{'loss': 0.2278, 'grad_norm': 3.7358832359313965, 'learning_rate': 3.961547791228963e-06, 'ppl': 1.25583, 'memory/max_active (GiB)': 16.05, 'memory/max_allocated (GiB)': 16.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.51958656311035, 'tokens/total': 92632496, 'tokens/trainable': 174014, 'epoch': 1.44}
|
||
72%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 740/1025 [2:04:45<49:37, 10.45s/it]
72%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 741/1025 [2:04:58<52:57, 11.19s/it]
{'loss': 0.1883, 'grad_norm': 4.07404899597168, 'learning_rate': 3.935869097517242e-06, 'ppl': 1.2072, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.547931671142578, 'tokens/total': 92794064, 'tokens/trainable': 174240, 'epoch': 1.44}
|
||
72%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 741/1025 [2:04:58<52:57, 11.19s/it]
72%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 742/1025 [2:05:06<47:08, 9.99s/it]
{'loss': 0.1318, 'grad_norm': 3.6312217712402344, 'learning_rate': 3.9102534922795166e-06, 'ppl': 1.14088, 'memory/max_active (GiB)': 12.82, 'memory/max_allocated (GiB)': 12.82, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 35.462284088134766, 'tokens/total': 92859712, 'tokens/trainable': 174494, 'epoch': 1.45}
|
||
72%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 742/1025 [2:05:06<47:08, 9.99s/it]
72%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 743/1025 [2:05:15<45:57, 9.78s/it]
{'loss': 0.2335, 'grad_norm': 3.183882713317871, 'learning_rate': 3.884701242008949e-06, 'ppl': 1.26301, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.3541259765625, 'tokens/total': 92986080, 'tokens/trainable': 174728, 'epoch': 1.45}
|
||
72%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 743/1025 [2:05:15<45:57, 9.78s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 744/1025 [2:05:24<45:17, 9.67s/it]
{'loss': 0.1631, 'grad_norm': 2.926663875579834, 'learning_rate': 3.859212612539597e-06, 'ppl': 1.17715, 'memory/max_active (GiB)': 17.0, 'memory/max_allocated (GiB)': 17.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.525117874145508, 'tokens/total': 93097392, 'tokens/trainable': 174958, 'epoch': 1.45}
|
||
73%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 744/1025 [2:05:24<45:17, 9.67s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 745/1025 [2:05:33<44:00, 9.43s/it]
{'loss': 0.279, 'grad_norm': 4.400850296020508, 'learning_rate': 3.833787869043619e-06, 'ppl': 1.32181, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 33.28809356689453, 'tokens/total': 93200096, 'tokens/trainable': 175252, 'epoch': 1.45}
|
||
73%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 745/1025 [2:05:33<44:00, 9.43s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 746/1025 [2:05:42<43:36, 9.38s/it]
{'loss': 0.1331, 'grad_norm': 2.3777897357940674, 'learning_rate': 3.8084272760285523e-06, 'ppl': 1.14236, 'memory/max_active (GiB)': 13.51, 'memory/max_allocated (GiB)': 13.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.852746963500977, 'tokens/total': 93310096, 'tokens/trainable': 175490, 'epoch': 1.45}
|
||
73%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 746/1025 [2:05:42<43:36, 9.38s/it]
73%|███████████████████████████████████████████████████████████████████████████████████████████ | 747/1025 [2:05:52<43:16, 9.34s/it]
{'loss': 0.1103, 'grad_norm': 1.9007967710494995, 'learning_rate': 3.7831310973345216e-06, 'ppl': 1.11661, 'memory/max_active (GiB)': 14.93, 'memory/max_allocated (GiB)': 14.93, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.398563385009766, 'tokens/total': 93441120, 'tokens/trainable': 175724, 'epoch': 1.46}
|
||
73%|███████████████████████████████████████████████████████████████████████████████████████████ | 747/1025 [2:05:52<43:16, 9.34s/it]
73%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 748/1025 [2:06:00<41:57, 9.09s/it]
{'loss': 0.0984, 'grad_norm': 1.9321750402450562, 'learning_rate': 3.757899596131529e-06, 'ppl': 1.1034, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.83, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.90306854248047, 'tokens/total': 93526688, 'tokens/trainable': 175960, 'epoch': 1.46}
|
||
73%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 748/1025 [2:06:00<41:57, 9.09s/it]
73%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 749/1025 [2:06:09<41:27, 9.01s/it]
{'loss': 0.2602, 'grad_norm': 5.139761447906494, 'learning_rate': 3.732733034916699e-06, 'ppl': 1.29719, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 36.37846374511719, 'tokens/total': 93639200, 'tokens/trainable': 176280, 'epoch': 1.46}
|
||
73%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 749/1025 [2:06:09<41:27, 9.01s/it]
73%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 750/1025 [2:06:18<41:59, 9.16s/it]
{'loss': 0.1883, 'grad_norm': 3.4951343536376953, 'learning_rate': 3.7076316755115407e-06, 'ppl': 1.2072, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.253511428833008, 'tokens/total': 93759888, 'tokens/trainable': 176500, 'epoch': 1.46}
|
||
73%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 750/1025 [2:06:18<41:59, 9.16s/it]
73%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 751/1025 [2:06:27<41:32, 9.10s/it]
{'loss': 0.1654, 'grad_norm': 3.6832571029663086, 'learning_rate': 3.6825957790592446e-06, 'ppl': 1.17986, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.6865177154541, 'tokens/total': 93871200, 'tokens/trainable': 176720, 'epoch': 1.46}
|
||
73%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 751/1025 [2:06:27<41:32, 9.10s/it]
73%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 752/1025 [2:06:40<46:13, 10.16s/it]
{'loss': 0.1914, 'grad_norm': 3.2745962142944336, 'learning_rate': 3.6576256060219486e-06, 'ppl': 1.21094, 'memory/max_active (GiB)': 24.7, 'memory/max_allocated (GiB)': 24.7, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.900104522705078, 'tokens/total': 94038432, 'tokens/trainable': 176958, 'epoch': 1.47}
|
||
73%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 752/1025 [2:06:40<46:13, 10.16s/it]
73%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 753/1025 [2:06:48<42:38, 9.41s/it]
{'loss': 0.1653, 'grad_norm': 2.4188144207000732, 'learning_rate': 3.6327214161780287e-06, 'ppl': 1.17975, 'memory/max_active (GiB)': 14.04, 'memory/max_allocated (GiB)': 14.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.765254974365234, 'tokens/total': 94125472, 'tokens/trainable': 177192, 'epoch': 1.47}
|
||
73%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 753/1025 [2:06:48<42:38, 9.41s/it]
74%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 754/1025 [2:06:56<40:56, 9.07s/it]
{'loss': 0.174, 'grad_norm': 3.9526925086975098, 'learning_rate': 3.607883468619414e-06, 'ppl': 1.19006, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.14118194580078, 'tokens/total': 94220176, 'tokens/trainable': 177440, 'epoch': 1.47}
|
||
74%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 754/1025 [2:06:56<40:56, 9.07s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████ | 755/1025 [2:07:05<41:19, 9.18s/it]
{'loss': 0.1779, 'grad_norm': 3.860037326812744, 'learning_rate': 3.583112021748868e-06, 'ppl': 1.19471, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.41029167175293, 'tokens/total': 94356176, 'tokens/trainable': 177698, 'epoch': 1.47}
|
||
74%|████████████████████████████████████████████████████████████████████████████████████████████ | 755/1025 [2:07:05<41:19, 9.18s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 756/1025 [2:07:14<40:49, 9.11s/it]
{'loss': 0.1523, 'grad_norm': 3.019469738006592, 'learning_rate': 3.558407333277315e-06, 'ppl': 1.16451, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.318086624145508, 'tokens/total': 94453696, 'tokens/trainable': 177932, 'epoch': 1.47}
|
||
74%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 756/1025 [2:07:14<40:49, 9.11s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 757/1025 [2:07:24<41:03, 9.19s/it]
{'loss': 0.1628, 'grad_norm': 3.1836490631103516, 'learning_rate': 3.533769660221161e-06, 'ppl': 1.1768, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.401958465576172, 'tokens/total': 94579536, 'tokens/trainable': 178160, 'epoch': 1.48}
|
||
74%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 757/1025 [2:07:24<41:03, 9.19s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 758/1025 [2:07:36<45:36, 10.25s/it]
{'loss': 0.2307, 'grad_norm': 4.6455583572387695, 'learning_rate': 3.5091992588996026e-06, 'ppl': 1.25948, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 21.13958740234375, 'tokens/total': 94717888, 'tokens/trainable': 178428, 'epoch': 1.48}
|
||
74%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 758/1025 [2:07:36<45:36, 10.25s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 759/1025 [2:07:44<42:22, 9.56s/it]
{'loss': 0.1818, 'grad_norm': 3.9203040599823, 'learning_rate': 3.4846963849319813e-06, 'ppl': 1.19937, 'memory/max_active (GiB)': 15.98, 'memory/max_allocated (GiB)': 15.98, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.374908447265625, 'tokens/total': 94817184, 'tokens/trainable': 178660, 'epoch': 1.48}
|
||
74%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 759/1025 [2:07:44<42:22, 9.56s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 760/1025 [2:07:57<46:32, 10.54s/it]
{'loss': 0.1948, 'grad_norm': 3.161477565765381, 'learning_rate': 3.4602612932351065e-06, 'ppl': 1.21507, 'memory/max_active (GiB)': 13.08, 'memory/max_allocated (GiB)': 13.08, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.15203285217285, 'tokens/total': 94947920, 'tokens/trainable': 178892, 'epoch': 1.48}
|
||
74%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 760/1025 [2:07:57<46:32, 10.54s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 761/1025 [2:08:10<49:51, 11.33s/it]
{'loss': 0.1602, 'grad_norm': 3.3016278743743896, 'learning_rate': 3.4358942380206207e-06, 'ppl': 1.17375, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.563907623291016, 'tokens/total': 95115152, 'tokens/trainable': 179136, 'epoch': 1.48}
|
||
74%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 761/1025 [2:08:10<49:51, 11.33s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 762/1025 [2:08:18<45:15, 10.32s/it]
{'loss': 0.2163, 'grad_norm': 3.530562400817871, 'learning_rate': 3.4115954727923394e-06, 'ppl': 1.24147, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.25828742980957, 'tokens/total': 95221328, 'tokens/trainable': 179376, 'epoch': 1.49}
|
||
74%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 762/1025 [2:08:18<45:15, 10.32s/it]
74%|█████████████████████████████████████████████████████████████████████████████████████████████ | 763/1025 [2:08:32<48:46, 11.17s/it]
{'loss': 0.1666, 'grad_norm': 3.4747533798217773, 'learning_rate': 3.387365250343615e-06, 'ppl': 1.18128, 'memory/max_active (GiB)': 12.8, 'memory/max_allocated (GiB)': 12.8, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 16.644969940185547, 'tokens/total': 95348752, 'tokens/trainable': 179594, 'epoch': 1.49}
|
||
74%|█████████████████████████████████████████████████████████████████████████████████████████████ | 763/1025 [2:08:32<48:46, 11.17s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 764/1025 [2:08:45<50:59, 11.72s/it]
{'loss': 0.1659, 'grad_norm': 2.9193975925445557, 'learning_rate': 3.3632038227547283e-06, 'ppl': 1.18046, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.497770309448242, 'tokens/total': 95518768, 'tokens/trainable': 179834, 'epoch': 1.49}
|
||
75%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 764/1025 [2:08:45<50:59, 11.72s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 765/1025 [2:08:54<47:30, 10.96s/it]
{'loss': 0.1794, 'grad_norm': 3.4469058513641357, 'learning_rate': 3.339111441390229e-06, 'ppl': 1.1965, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.811565399169922, 'tokens/total': 95644608, 'tokens/trainable': 180070, 'epoch': 1.49}
|
||
75%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 765/1025 [2:08:54<47:30, 10.96s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 766/1025 [2:09:03<44:42, 10.36s/it]
{'loss': 0.1576, 'grad_norm': 3.6465513706207275, 'learning_rate': 3.3150883568963577e-06, 'ppl': 1.1707, 'memory/max_active (GiB)': 18.5, 'memory/max_allocated (GiB)': 18.5, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.39610481262207, 'tokens/total': 95767280, 'tokens/trainable': 180314, 'epoch': 1.49}
|
||
75%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 766/1025 [2:09:03<44:42, 10.36s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 767/1025 [2:09:12<43:03, 10.01s/it]
{'loss': 0.1264, 'grad_norm': 2.786444902420044, 'learning_rate': 3.291134819198417e-06, 'ppl': 1.13474, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.631362915039062, 'tokens/total': 95885472, 'tokens/trainable': 180558, 'epoch': 1.5}
|
||
75%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 767/1025 [2:09:12<43:03, 10.01s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 768/1025 [2:09:21<41:53, 9.78s/it]
{'loss': 0.1615, 'grad_norm': 3.1099355220794678, 'learning_rate': 3.2672510774981692e-06, 'ppl': 1.17527, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.1055908203125, 'tokens/total': 95997984, 'tokens/trainable': 180798, 'epoch': 1.5}
|
||
75%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 768/1025 [2:09:21<41:53, 9.78s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 769/1025 [2:09:29<39:56, 9.36s/it]
{'loss': 0.1713, 'grad_norm': 3.9885361194610596, 'learning_rate': 3.2434373802712617e-06, 'ppl': 1.18685, 'memory/max_active (GiB)': 12.82, 'memory/max_allocated (GiB)': 12.82, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.13909149169922, 'tokens/total': 96087360, 'tokens/trainable': 181066, 'epoch': 1.5}
|
||
75%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 769/1025 [2:09:30<39:56, 9.36s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 770/1025 [2:09:39<39:33, 9.31s/it]
{'loss': 0.1229, 'grad_norm': 2.5368332862854004, 'learning_rate': 3.2196939752646183e-06, 'ppl': 1.13077, 'memory/max_active (GiB)': 15.62, 'memory/max_allocated (GiB)': 15.62, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.225234985351562, 'tokens/total': 96206064, 'tokens/trainable': 181306, 'epoch': 1.5}
|
||
75%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 770/1025 [2:09:39<39:33, 9.31s/it]
75%|██████████████████████████████████████████████████████████████████████████████████████████████ | 771/1025 [2:09:48<39:09, 9.25s/it]
{'loss': 0.155, 'grad_norm': 2.3553857803344727, 'learning_rate': 3.1960211094938886e-06, 'ppl': 1.16766, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.426794052124023, 'tokens/total': 96334416, 'tokens/trainable': 181582, 'epoch': 1.5}
|
||
75%|██████████████████████████████████████████████████████████████████████████████████████████████ | 771/1025 [2:09:48<39:09, 9.25s/it]
75%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 772/1025 [2:10:00<43:18, 10.27s/it]
{'loss': 0.2223, 'grad_norm': 4.453997611999512, 'learning_rate': 3.172419029240853e-06, 'ppl': 1.24895, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.44792938232422, 'tokens/total': 96490304, 'tokens/trainable': 181802, 'epoch': 1.5}
|
||
75%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 772/1025 [2:10:00<43:18, 10.27s/it]
75%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 773/1025 [2:10:14<46:41, 11.12s/it]
{'loss': 0.1666, 'grad_norm': 2.852977752685547, 'learning_rate': 3.148887980050872e-06, 'ppl': 1.18128, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.68692970275879, 'tokens/total': 96625664, 'tokens/trainable': 182046, 'epoch': 1.51}
|
||
75%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 773/1025 [2:10:14<46:41, 11.12s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 774/1025 [2:10:27<49:14, 11.77s/it]
{'loss': 0.158, 'grad_norm': 2.540795087814331, 'learning_rate': 3.1254282067303353e-06, 'ppl': 1.17117, 'memory/max_active (GiB)': 24.82, 'memory/max_allocated (GiB)': 24.82, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.711437225341797, 'tokens/total': 96738624, 'tokens/trainable': 182294, 'epoch': 1.51}
|
||
76%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 774/1025 [2:10:27<49:14, 11.77s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 775/1025 [2:10:35<44:56, 10.78s/it]
{'loss': 0.1882, 'grad_norm': 4.3316426277160645, 'learning_rate': 3.1020399533441157e-06, 'ppl': 1.20707, 'memory/max_active (GiB)': 12.92, 'memory/max_allocated (GiB)': 12.92, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.5399169921875, 'tokens/total': 96836608, 'tokens/trainable': 182518, 'epoch': 1.51}
|
||
76%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 775/1025 [2:10:35<44:56, 10.78s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 776/1025 [2:10:44<42:35, 10.26s/it]
{'loss': 0.1409, 'grad_norm': 2.419069290161133, 'learning_rate': 3.07872346321301e-06, 'ppl': 1.15131, 'memory/max_active (GiB)': 15.61, 'memory/max_allocated (GiB)': 15.61, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.414236068725586, 'tokens/total': 96955312, 'tokens/trainable': 182756, 'epoch': 1.51}
|
||
76%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 776/1025 [2:10:44<42:35, 10.26s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 777/1025 [2:10:52<39:18, 9.51s/it]
{'loss': 0.1565, 'grad_norm': 2.1613316535949707, 'learning_rate': 3.055478978911238e-06, 'ppl': 1.16941, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.148767471313477, 'tokens/total': 97060688, 'tokens/trainable': 182996, 'epoch': 1.51}
|
||
76%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 777/1025 [2:10:52<39:18, 9.51s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 778/1025 [2:11:01<38:55, 9.46s/it]
{'loss': 0.1534, 'grad_norm': 2.8430821895599365, 'learning_rate': 3.032306742263891e-06, 'ppl': 1.16579, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.185073852539062, 'tokens/total': 97210016, 'tokens/trainable': 183230, 'epoch': 1.52}
|
||
76%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 778/1025 [2:11:01<38:55, 9.46s/it]
76%|███████████████████████████████████████████████████████████████████████████████████████████████ | 779/1025 [2:11:11<38:39, 9.43s/it]
{'loss': 0.113, 'grad_norm': 3.8408005237579346, 'learning_rate': 3.0092069943444393e-06, 'ppl': 1.11963, 'memory/max_active (GiB)': 12.9, 'memory/max_allocated (GiB)': 12.9, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.743364334106445, 'tokens/total': 97297664, 'tokens/trainable': 183470, 'epoch': 1.52}
|
||
76%|███████████████████████████████████████████████████████████████████████████████████████████████ | 779/1025 [2:11:11<38:39, 9.43s/it]
76%|███████████████████████████████████████████████████████████████████████████████████████████████ | 780/1025 [2:11:23<42:29, 10.41s/it]
{'loss': 0.113, 'grad_norm': 2.980644941329956, 'learning_rate': 2.9861799754722033e-06, 'ppl': 1.11963, 'memory/max_active (GiB)': 13.15, 'memory/max_allocated (GiB)': 13.15, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.869260787963867, 'tokens/total': 97423568, 'tokens/trainable': 183696, 'epoch': 1.52}
|
||
76%|███████████████████████████████████████████████████████████████████████████████████████████████ | 780/1025 [2:11:24<42:29, 10.41s/it]
76%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 781/1025 [2:11:33<40:46, 10.03s/it]
{'loss': 0.1787, 'grad_norm': 5.46590518951416, 'learning_rate': 2.963225925209873e-06, 'ppl': 1.19566, 'memory/max_active (GiB)': 15.96, 'memory/max_allocated (GiB)': 15.96, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.366382598876953, 'tokens/total': 97544256, 'tokens/trainable': 183954, 'epoch': 1.52}
|
||
76%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 781/1025 [2:11:33<40:46, 10.03s/it]
76%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 782/1025 [2:11:45<43:51, 10.83s/it]
{'loss': 0.1821, 'grad_norm': 4.189951419830322, 'learning_rate': 2.940345082360997e-06, 'ppl': 1.19973, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.586013793945312, 'tokens/total': 97705824, 'tokens/trainable': 184202, 'epoch': 1.52}
|
||
76%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 782/1025 [2:11:45<43:51, 10.83s/it]
76%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 783/1025 [2:11:55<41:55, 10.39s/it]
{'loss': 0.1151, 'grad_norm': 2.607362747192383, 'learning_rate': 2.9175376849675076e-06, 'ppl': 1.12199, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.629745483398438, 'tokens/total': 97802144, 'tokens/trainable': 184432, 'epoch': 1.53}
|
||
76%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 783/1025 [2:11:55<41:55, 10.39s/it]
76%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 784/1025 [2:12:03<39:12, 9.76s/it]
{'loss': 0.2019, 'grad_norm': 4.947622776031494, 'learning_rate': 2.8948039703072574e-06, 'ppl': 1.22373, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.30845832824707, 'tokens/total': 97907008, 'tokens/trainable': 184690, 'epoch': 1.53}
|
||
76%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 784/1025 [2:12:03<39:12, 9.76s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 785/1025 [2:12:11<36:32, 9.13s/it]
{'loss': 0.1431, 'grad_norm': 2.593564987182617, 'learning_rate': 2.872144174891521e-06, 'ppl': 1.15385, 'memory/max_active (GiB)': 13.09, 'memory/max_allocated (GiB)': 13.09, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.23311996459961, 'tokens/total': 97983824, 'tokens/trainable': 184936, 'epoch': 1.53}
|
||
77%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 785/1025 [2:12:11<36:32, 9.13s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 786/1025 [2:12:20<36:34, 9.18s/it]
{'loss': 0.2735, 'grad_norm': 4.131345272064209, 'learning_rate': 2.8495585344625566e-06, 'ppl': 1.31456, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.199172973632812, 'tokens/total': 98101840, 'tokens/trainable': 185160, 'epoch': 1.53}
|
||
77%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 786/1025 [2:12:20<36:34, 9.18s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 787/1025 [2:12:28<35:01, 8.83s/it]
{'loss': 0.1829, 'grad_norm': 4.005373001098633, 'learning_rate': 2.82704728399115e-06, 'ppl': 1.20069, 'memory/max_active (GiB)': 15.95, 'memory/max_allocated (GiB)': 15.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.637760162353516, 'tokens/total': 98211184, 'tokens/trainable': 185404, 'epoch': 1.53}
|
||
77%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 787/1025 [2:12:28<35:01, 8.83s/it]
77%|████████████████████████████████████████████████████████████████████████████████████████████████ | 788/1025 [2:12:37<35:21, 8.95s/it]
{'loss': 0.1998, 'grad_norm': 3.566415548324585, 'learning_rate': 2.8046106576741605e-06, 'ppl': 1.22116, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.446001052856445, 'tokens/total': 98331872, 'tokens/trainable': 185638, 'epoch': 1.54}
|
||
77%|████████████████████████████████████████████████████████████████████████████████████████████████ | 788/1025 [2:12:37<35:21, 8.95s/it]
77%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 789/1025 [2:12:50<39:39, 10.08s/it]
{'loss': 0.2263, 'grad_norm': 4.319662570953369, 'learning_rate': 2.782248888932103e-06, 'ppl': 1.25395, 'memory/max_active (GiB)': 24.72, 'memory/max_allocated (GiB)': 24.72, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.781925201416016, 'tokens/total': 98485776, 'tokens/trainable': 185876, 'epoch': 1.54}
|
||
77%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 789/1025 [2:12:50<39:39, 10.08s/it]
77%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 790/1025 [2:12:59<38:51, 9.92s/it]
{'loss': 0.1703, 'grad_norm': 2.5028605461120605, 'learning_rate': 2.7599622104066937e-06, 'ppl': 1.18566, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.146146774291992, 'tokens/total': 98635104, 'tokens/trainable': 186096, 'epoch': 1.54}
|
||
77%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 790/1025 [2:13:00<38:51, 9.92s/it]
77%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 791/1025 [2:13:08<36:45, 9.43s/it]
{'loss': 0.1573, 'grad_norm': 4.119146347045898, 'learning_rate': 2.7377508539584595e-06, 'ppl': 1.17035, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.087987899780273, 'tokens/total': 98745152, 'tokens/trainable': 186352, 'epoch': 1.54}
|
||
77%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 791/1025 [2:13:08<36:45, 9.43s/it]
77%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 792/1025 [2:13:17<36:28, 9.39s/it]
{'loss': 0.1872, 'grad_norm': 3.5609776973724365, 'learning_rate': 2.715615050664294e-06, 'ppl': 1.20587, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.530620574951172, 'tokens/total': 98879168, 'tokens/trainable': 186598, 'epoch': 1.54}
|
||
77%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 792/1025 [2:13:17<36:28, 9.39s/it]
77%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 793/1025 [2:13:30<40:03, 10.36s/it]
{'loss': 0.2293, 'grad_norm': 6.422525882720947, 'learning_rate': 2.693555030815085e-06, 'ppl': 1.25772, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.492586135864258, 'tokens/total': 99061712, 'tokens/trainable': 186818, 'epoch': 1.55}
|
||
77%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 793/1025 [2:13:30<40:03, 10.36s/it]
77%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 794/1025 [2:13:39<38:57, 10.12s/it]
{'loss': 0.1992, 'grad_norm': 3.322364568710327, 'learning_rate': 2.6715710239132976e-06, 'ppl': 1.22043, 'memory/max_active (GiB)': 15.53, 'memory/max_allocated (GiB)': 15.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.823211669921875, 'tokens/total': 99166848, 'tokens/trainable': 187054, 'epoch': 1.55}
|
||
77%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 794/1025 [2:13:39<38:57, 10.12s/it]
78%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 795/1025 [2:13:52<42:03, 10.97s/it]
{'loss': 0.113, 'grad_norm': 4.64091682434082, 'learning_rate': 2.6496632586705894e-06, 'ppl': 1.11963, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.940589904785156, 'tokens/total': 99334096, 'tokens/trainable': 187286, 'epoch': 1.55}
|
||
78%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 795/1025 [2:13:52<42:03, 10.97s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 796/1025 [2:14:01<38:52, 10.19s/it]
{'loss': 0.2124, 'grad_norm': 3.249324083328247, 'learning_rate': 2.627831963005435e-06, 'ppl': 1.23664, 'memory/max_active (GiB)': 15.95, 'memory/max_allocated (GiB)': 15.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.783048629760742, 'tokens/total': 99447136, 'tokens/trainable': 187550, 'epoch': 1.55}
|
||
78%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 796/1025 [2:14:01<38:52, 10.19s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 797/1025 [2:14:10<37:28, 9.86s/it]
{'loss': 0.1406, 'grad_norm': 3.03395676612854, 'learning_rate': 2.606077364040762e-06, 'ppl': 1.15096, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.505760192871094, 'tokens/total': 99557664, 'tokens/trainable': 187772, 'epoch': 1.55}
|
||
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 797/1025 [2:14:10<37:28, 9.86s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 798/1025 [2:14:23<40:55, 10.82s/it]
{'loss': 0.2141, 'grad_norm': 4.353969097137451, 'learning_rate': 2.5843996881015676e-06, 'ppl': 1.23875, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.69048309326172, 'tokens/total': 99760896, 'tokens/trainable': 188002, 'epoch': 1.56}
|
||
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 798/1025 [2:14:23<40:55, 10.82s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 799/1025 [2:14:31<37:43, 10.02s/it]
{'loss': 0.1069, 'grad_norm': 3.026951551437378, 'learning_rate': 2.5627991607125912e-06, 'ppl': 1.11282, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.606130599975586, 'tokens/total': 99840176, 'tokens/trainable': 188242, 'epoch': 1.56}
|
||
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 799/1025 [2:14:31<37:43, 10.02s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 800/1025 [2:14:40<36:55, 9.85s/it]
{'loss': 0.1842, 'grad_norm': 3.6126227378845215, 'learning_rate': 2.5412760065959386e-06, 'ppl': 1.20226, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.1517391204834, 'tokens/total': 99960864, 'tokens/trainable': 188460, 'epoch': 1.56}
|
||
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 800/1025 [2:14:40<36:55, 9.85s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 801/1025 [2:14:53<39:56, 10.70s/it]
{'loss': 0.1279, 'grad_norm': 2.860649585723877, 'learning_rate': 2.5198304496687696e-06, 'ppl': 1.13644, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 20.572420120239258, 'tokens/total': 100143408, 'tokens/trainable': 188720, 'epoch': 1.56}
|
||
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 801/1025 [2:14:53<39:56, 10.70s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 802/1025 [2:15:01<37:07, 9.99s/it]
{'loss': 0.1402, 'grad_norm': 2.2595033645629883, 'learning_rate': 2.498462713040958e-06, 'ppl': 1.1505, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.444564819335938, 'tokens/total': 100258432, 'tokens/trainable': 188964, 'epoch': 1.56}
|
||
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 802/1025 [2:15:01<37:07, 9.99s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 803/1025 [2:15:14<39:59, 10.81s/it]
{'loss': 0.2066, 'grad_norm': 3.638620138168335, 'learning_rate': 2.4771730190127616e-06, 'ppl': 1.22949, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.772857666015625, 'tokens/total': 100433328, 'tokens/trainable': 189202, 'epoch': 1.57}
|
||
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 803/1025 [2:15:14<39:59, 10.81s/it]
78%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 804/1025 [2:15:27<42:04, 11.43s/it]
{'loss': 0.1608, 'grad_norm': 2.5920698642730713, 'learning_rate': 2.4559615890725286e-06, 'ppl': 1.17445, 'memory/max_active (GiB)': 14.06, 'memory/max_allocated (GiB)': 14.06, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.77560043334961, 'tokens/total': 100568208, 'tokens/trainable': 189430, 'epoch': 1.57}
|
||
78%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 804/1025 [2:15:27<42:04, 11.43s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 805/1025 [2:15:40<44:00, 12.00s/it]
{'loss': 0.183, 'grad_norm': 3.432163715362549, 'learning_rate': 2.434828643894376e-06, 'ppl': 1.20081, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.03889274597168, 'tokens/total': 100712352, 'tokens/trainable': 189670, 'epoch': 1.57}
|
||
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 805/1025 [2:15:40<44:00, 12.00s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 806/1025 [2:15:49<40:47, 11.18s/it]
{'loss': 0.1721, 'grad_norm': 3.433192491531372, 'learning_rate': 2.4137744033359e-06, 'ppl': 1.1878, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.70081901550293, 'tokens/total': 100854032, 'tokens/trainable': 189916, 'epoch': 1.57}
|
||
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 806/1025 [2:15:50<40:47, 11.18s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 807/1025 [2:16:02<42:21, 11.66s/it]
{'loss': 0.1884, 'grad_norm': 4.0981950759887695, 'learning_rate': 2.3927990864358985e-06, 'ppl': 1.20732, 'memory/max_active (GiB)': 24.77, 'memory/max_allocated (GiB)': 24.77, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.26396942138672, 'tokens/total': 101036576, 'tokens/trainable': 190136, 'epoch': 1.57}
|
||
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 807/1025 [2:16:02<42:21, 11.66s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 808/1025 [2:16:11<39:19, 10.87s/it]
{'loss': 0.152, 'grad_norm': 2.6989612579345703, 'learning_rate': 2.3719029114120716e-06, 'ppl': 1.16416, 'memory/max_active (GiB)': 17.03, 'memory/max_allocated (GiB)': 17.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.791948318481445, 'tokens/total': 101162944, 'tokens/trainable': 190368, 'epoch': 1.58}
|
||
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 808/1025 [2:16:11<39:19, 10.87s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 809/1025 [2:16:20<37:15, 10.35s/it]
{'loss': 0.1225, 'grad_norm': 2.1809332370758057, 'learning_rate': 2.351086095658777e-06, 'ppl': 1.13032, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.37232780456543, 'tokens/total': 101281648, 'tokens/trainable': 190626, 'epoch': 1.58}
|
||
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 809/1025 [2:16:20<37:15, 10.35s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 810/1025 [2:16:34<40:18, 11.25s/it]
{'loss': 0.1472, 'grad_norm': 2.844787120819092, 'learning_rate': 2.3303488557447374e-06, 'ppl': 1.15859, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 16.83794593811035, 'tokens/total': 101450864, 'tokens/trainable': 190850, 'epoch': 1.58}
|
||
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 810/1025 [2:16:34<40:18, 11.25s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 811/1025 [2:16:42<36:19, 10.19s/it]
{'loss': 0.1296, 'grad_norm': 2.739093780517578, 'learning_rate': 2.3096914074108177e-06, 'ppl': 1.13837, 'memory/max_active (GiB)': 14.07, 'memory/max_allocated (GiB)': 14.07, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.270944595336914, 'tokens/total': 101535712, 'tokens/trainable': 191082, 'epoch': 1.58}
|
||
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 811/1025 [2:16:42<36:19, 10.19s/it]
79%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 812/1025 [2:16:51<34:58, 9.85s/it]
{'loss': 0.136, 'grad_norm': 3.882408380508423, 'learning_rate': 2.2891139655677674e-06, 'ppl': 1.14568, 'memory/max_active (GiB)': 16.92, 'memory/max_allocated (GiB)': 16.92, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.010631561279297, 'tokens/total': 101664064, 'tokens/trainable': 191326, 'epoch': 1.58}
|
||
79%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 812/1025 [2:16:51<34:58, 9.85s/it]
79%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 813/1025 [2:16:58<32:41, 9.25s/it]
{'loss': 0.142, 'grad_norm': 2.2429580688476562, 'learning_rate': 2.2686167442939733e-06, 'ppl': 1.15258, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.713911056518555, 'tokens/total': 101761264, 'tokens/trainable': 191558, 'epoch': 1.58}
|
||
79%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 813/1025 [2:16:58<32:41, 9.25s/it]
79%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 814/1025 [2:17:08<32:37, 9.28s/it]
{'loss': 0.179, 'grad_norm': 2.532020092010498, 'learning_rate': 2.248199956833258e-06, 'ppl': 1.19602, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.523714065551758, 'tokens/total': 101902944, 'tokens/trainable': 191786, 'epoch': 1.59}
|
||
79%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 814/1025 [2:17:08<32:37, 9.28s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 815/1025 [2:17:15<29:52, 8.54s/it]
{'loss': 0.1227, 'grad_norm': 3.5299859046936035, 'learning_rate': 2.227863815592636e-06, 'ppl': 1.13055, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 36.97043991088867, 'tokens/total': 101971200, 'tokens/trainable': 192036, 'epoch': 1.59}
|
||
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 815/1025 [2:17:15<29:52, 8.54s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 816/1025 [2:17:24<30:45, 8.83s/it]
{'loss': 0.1363, 'grad_norm': 2.7630910873413086, 'learning_rate': 2.2076085321401152e-06, 'ppl': 1.14603, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 22.997295379638672, 'tokens/total': 102083712, 'tokens/trainable': 192254, 'epoch': 1.59}
|
||
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 816/1025 [2:17:24<30:45, 8.83s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 817/1025 [2:17:33<31:07, 8.98s/it]
{'loss': 0.1118, 'grad_norm': 3.041110038757324, 'learning_rate': 2.187434317202508e-06, 'ppl': 1.11829, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.50328254699707, 'tokens/total': 102233040, 'tokens/trainable': 192472, 'epoch': 1.59}
|
||
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 817/1025 [2:17:33<31:07, 8.98s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 818/1025 [2:17:43<31:12, 9.05s/it]
{'loss': 0.1125, 'grad_norm': 2.086272954940796, 'learning_rate': 2.1673413806632104e-06, 'ppl': 1.11907, 'memory/max_active (GiB)': 15.94, 'memory/max_allocated (GiB)': 15.94, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.180456161499023, 'tokens/total': 102340336, 'tokens/trainable': 192712, 'epoch': 1.59}
|
||
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 818/1025 [2:17:43<31:12, 9.05s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 819/1025 [2:17:52<31:11, 9.09s/it]
{'loss': 0.211, 'grad_norm': 3.635850667953491, 'learning_rate': 2.147329931560045e-06, 'ppl': 1.23491, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.054027557373047, 'tokens/total': 102468688, 'tokens/trainable': 192950, 'epoch': 1.6}
|
||
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 819/1025 [2:17:52<31:11, 9.09s/it]
80%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 820/1025 [2:18:05<35:43, 10.45s/it]
{'loss': 0.1376, 'grad_norm': 3.143617630004883, 'learning_rate': 2.1274001780830776e-06, 'ppl': 1.14752, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.19927215576172, 'tokens/total': 102638704, 'tokens/trainable': 193184, 'epoch': 1.6}
|
||
80%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 820/1025 [2:18:05<35:43, 10.45s/it]
80%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 821/1025 [2:18:14<34:06, 10.03s/it]
{'loss': 0.1727, 'grad_norm': 3.8524587154388428, 'learning_rate': 2.1075523275724396e-06, 'ppl': 1.18851, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.433265686035156, 'tokens/total': 102749232, 'tokens/trainable': 193440, 'epoch': 1.6}
|
||
80%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 821/1025 [2:18:15<34:06, 10.03s/it]
80%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 822/1025 [2:18:24<33:31, 9.91s/it]
{'loss': 0.1927, 'grad_norm': 2.969680070877075, 'learning_rate': 2.0877865865161916e-06, 'ppl': 1.21252, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 22.54494285583496, 'tokens/total': 102875072, 'tokens/trainable': 193656, 'epoch': 1.6}
|
||
80%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 822/1025 [2:18:24<33:31, 9.91s/it]
80%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 823/1025 [2:18:31<30:23, 9.03s/it]
{'loss': 0.1572, 'grad_norm': 3.1665730476379395, 'learning_rate': 2.0681031605481563e-06, 'ppl': 1.17023, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 33.197486877441406, 'tokens/total': 102951536, 'tokens/trainable': 193886, 'epoch': 1.6}
|
||
80%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 823/1025 [2:18:31<30:23, 9.03s/it]
80%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 824/1025 [2:18:40<30:31, 9.11s/it]
{'loss': 0.1609, 'grad_norm': 2.5287461280822754, 'learning_rate': 2.0485022544457933e-06, 'ppl': 1.17457, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.753448486328125, 'tokens/total': 103077376, 'tokens/trainable': 194106, 'epoch': 1.61}
|
||
80%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 824/1025 [2:18:40<30:31, 9.11s/it]
80%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 825/1025 [2:18:49<30:17, 9.09s/it]
{'loss': 0.1066, 'grad_norm': 3.06308913230896, 'learning_rate': 2.0289840721280606e-06, 'ppl': 1.11249, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.780372619628906, 'tokens/total': 103189984, 'tokens/trainable': 194320, 'epoch': 1.61}
|
||
80%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 825/1025 [2:18:49<30:17, 9.09s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 826/1025 [2:19:02<33:35, 10.13s/it]
{'loss': 0.1951, 'grad_norm': 3.2051098346710205, 'learning_rate': 2.009548816653293e-06, 'ppl': 1.21543, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 20.957176208496094, 'tokens/total': 103340896, 'tokens/trainable': 194582, 'epoch': 1.61}
|
||
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 826/1025 [2:19:02<33:35, 10.13s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 827/1025 [2:19:15<36:05, 10.94s/it]
{'loss': 0.2077, 'grad_norm': 3.637991189956665, 'learning_rate': 1.990196690217094e-06, 'ppl': 1.23084, 'memory/max_active (GiB)': 24.72, 'memory/max_allocated (GiB)': 24.72, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.91798210144043, 'tokens/total': 103543328, 'tokens/trainable': 194824, 'epoch': 1.61}
|
||
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 827/1025 [2:19:15<36:05, 10.94s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 828/1025 [2:19:24<34:16, 10.44s/it]
{'loss': 0.1888, 'grad_norm': 5.008702754974365, 'learning_rate': 1.9709278941502363e-06, 'ppl': 1.2078, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.36372947692871, 'tokens/total': 103670336, 'tokens/trainable': 195058, 'epoch': 1.61}
|
||
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 828/1025 [2:19:24<34:16, 10.44s/it]
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 829/1025 [2:19:37<36:22, 11.13s/it]
{'loss': 0.1637, 'grad_norm': 3.4253199100494385, 'learning_rate': 1.9517426289165484e-06, 'ppl': 1.17786, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.23548126220703, 'tokens/total': 103839552, 'tokens/trainable': 195290, 'epoch': 1.62}
|
||
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 829/1025 [2:19:37<36:22, 11.13s/it]
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 830/1025 [2:19:46<34:09, 10.51s/it]
{'loss': 0.1627, 'grad_norm': 3.166832685470581, 'learning_rate': 1.932641094110855e-06, 'ppl': 1.17668, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.176448822021484, 'tokens/total': 103949392, 'tokens/trainable': 195544, 'epoch': 1.62}
|
||
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 830/1025 [2:19:46<34:09, 10.51s/it]
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 831/1025 [2:19:54<31:58, 9.89s/it]
{'loss': 0.2149, 'grad_norm': 3.4279589653015137, 'learning_rate': 1.913623488456875e-06, 'ppl': 1.23974, 'memory/max_active (GiB)': 14.07, 'memory/max_allocated (GiB)': 14.07, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.569801330566406, 'tokens/total': 104052912, 'tokens/trainable': 195784, 'epoch': 1.62}
|
||
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 831/1025 [2:19:54<31:58, 9.89s/it]
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 832/1025 [2:20:02<29:45, 9.25s/it]
{'loss': 0.1304, 'grad_norm': 2.253659248352051, 'learning_rate': 1.894690009805178e-06, 'ppl': 1.13928, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.61, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.39765930175781, 'tokens/total': 104124896, 'tokens/trainable': 196034, 'epoch': 1.62}
|
||
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 832/1025 [2:20:02<29:45, 9.25s/it]
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 833/1025 [2:20:10<28:17, 8.84s/it]
{'loss': 0.1641, 'grad_norm': 3.543950319290161, 'learning_rate': 1.8758408551311048e-06, 'ppl': 1.17833, 'memory/max_active (GiB)': 15.56, 'memory/max_allocated (GiB)': 15.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.818620681762695, 'tokens/total': 104216880, 'tokens/trainable': 196268, 'epoch': 1.62}
|
||
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 833/1025 [2:20:10<28:17, 8.84s/it]
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 834/1025 [2:20:19<28:35, 8.98s/it]
{'loss': 0.1849, 'grad_norm': 2.9916815757751465, 'learning_rate': 1.857076220532734e-06, 'ppl': 1.2031, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.24072265625, 'tokens/total': 104352880, 'tokens/trainable': 196502, 'epoch': 1.63}
|
||
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 834/1025 [2:20:19<28:35, 8.98s/it]
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 835/1025 [2:20:33<32:31, 10.27s/it]
{'loss': 0.1467, 'grad_norm': 3.549743175506592, 'learning_rate': 1.838396301228834e-06, 'ppl': 1.15801, 'memory/max_active (GiB)': 15.6, 'memory/max_allocated (GiB)': 15.6, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.384233474731445, 'tokens/total': 104504800, 'tokens/trainable': 196732, 'epoch': 1.63}
|
||
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 835/1025 [2:20:33<32:31, 10.27s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 836/1025 [2:20:46<34:55, 11.09s/it]
{'loss': 0.1551, 'grad_norm': 2.4653260707855225, 'learning_rate': 1.8198012915568253e-06, 'ppl': 1.16777, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.227630615234375, 'tokens/total': 104663856, 'tokens/trainable': 196968, 'epoch': 1.63}
|
||
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 836/1025 [2:20:46<34:55, 11.09s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 837/1025 [2:20:55<33:13, 10.60s/it]
{'loss': 0.1544, 'grad_norm': 3.926922559738159, 'learning_rate': 1.8012913849707869e-06, 'ppl': 1.16696, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.75433921813965, 'tokens/total': 104781552, 'tokens/trainable': 197192, 'epoch': 1.63}
|
||
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 837/1025 [2:20:55<33:13, 10.60s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 838/1025 [2:21:04<31:47, 10.20s/it]
{'loss': 0.1615, 'grad_norm': 2.7453808784484863, 'learning_rate': 1.7828667740394045e-06, 'ppl': 1.17527, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.6, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.65141487121582, 'tokens/total': 104868592, 'tokens/trainable': 197410, 'epoch': 1.63}
|
||
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 838/1025 [2:21:04<31:47, 10.20s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 839/1025 [2:21:14<30:54, 9.97s/it]
{'loss': 0.2153, 'grad_norm': 3.0325238704681396, 'learning_rate': 1.7645276504439924e-06, 'ppl': 1.24023, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.472620010375977, 'tokens/total': 105002608, 'tokens/trainable': 197640, 'epoch': 1.64}
|
||
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 839/1025 [2:21:14<30:54, 9.97s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 840/1025 [2:21:23<29:56, 9.71s/it]
{'loss': 0.1748, 'grad_norm': 2.532916784286499, 'learning_rate': 1.746274204976498e-06, 'ppl': 1.19101, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.820941925048828, 'tokens/total': 105120800, 'tokens/trainable': 197874, 'epoch': 1.64}
|
||
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 840/1025 [2:21:23<29:56, 9.71s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 841/1025 [2:21:35<32:30, 10.60s/it]
{'loss': 0.1809, 'grad_norm': 2.791278600692749, 'learning_rate': 1.7281066275375047e-06, 'ppl': 1.1983, 'memory/max_active (GiB)': 24.72, 'memory/max_allocated (GiB)': 24.72, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.842796325683594, 'tokens/total': 105257664, 'tokens/trainable': 198112, 'epoch': 1.64}
|
||
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 841/1025 [2:21:36<32:30, 10.60s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 842/1025 [2:21:48<34:17, 11.24s/it]
{'loss': 0.229, 'grad_norm': 4.0441575050354, 'learning_rate': 1.7100251071342721e-06, 'ppl': 1.25734, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.985105514526367, 'tokens/total': 105368976, 'tokens/trainable': 198366, 'epoch': 1.64}
|
||
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 842/1025 [2:21:48<34:17, 11.24s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 843/1025 [2:21:58<32:28, 10.70s/it]
{'loss': 0.2123, 'grad_norm': 3.303302049636841, 'learning_rate': 1.6920298318787532e-06, 'ppl': 1.23652, 'memory/max_active (GiB)': 13.85, 'memory/max_allocated (GiB)': 13.85, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.031877517700195, 'tokens/total': 105470640, 'tokens/trainable': 198592, 'epoch': 1.64}
|
||
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 843/1025 [2:21:58<32:28, 10.70s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 844/1025 [2:22:07<30:58, 10.27s/it]
{'loss': 0.1861, 'grad_norm': 3.7103965282440186, 'learning_rate': 1.6741209889856513e-06, 'ppl': 1.20454, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.466144561767578, 'tokens/total': 105591328, 'tokens/trainable': 198808, 'epoch': 1.65}
|
||
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 844/1025 [2:22:07<30:58, 10.27s/it]
82%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 845/1025 [2:22:16<29:46, 9.92s/it]
{'loss': 0.105, 'grad_norm': 2.300807237625122, 'learning_rate': 1.6562987647704621e-06, 'ppl': 1.11071, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.776723861694336, 'tokens/total': 105714000, 'tokens/trainable': 199042, 'epoch': 1.65}
|
||
82%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 845/1025 [2:22:16<29:46, 9.92s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 846/1025 [2:22:24<27:39, 9.27s/it]
{'loss': 0.1528, 'grad_norm': 2.619901418685913, 'learning_rate': 1.6385633446475434e-06, 'ppl': 1.16509, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.337648391723633, 'tokens/total': 105803024, 'tokens/trainable': 199276, 'epoch': 1.65}
|
||
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 846/1025 [2:22:24<27:39, 9.27s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 847/1025 [2:22:32<26:41, 9.00s/it]
{'loss': 0.1215, 'grad_norm': 2.779677152633667, 'learning_rate': 1.6209149131281843e-06, 'ppl': 1.12919, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.446063995361328, 'tokens/total': 105918048, 'tokens/trainable': 199504, 'epoch': 1.65}
|
||
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 847/1025 [2:22:32<26:41, 9.00s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 848/1025 [2:22:42<26:52, 9.11s/it]
{'loss': 0.1528, 'grad_norm': 3.3413665294647217, 'learning_rate': 1.6033536538186778e-06, 'ppl': 1.16509, 'memory/max_active (GiB)': 18.5, 'memory/max_allocated (GiB)': 18.5, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.48610496520996, 'tokens/total': 106054848, 'tokens/trainable': 199742, 'epoch': 1.65}
|
||
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 848/1025 [2:22:42<26:52, 9.11s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 849/1025 [2:22:55<30:20, 10.34s/it]
{'loss': 0.1259, 'grad_norm': 3.333979606628418, 'learning_rate': 1.5858797494184163e-06, 'ppl': 1.13417, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 16.54543113708496, 'tokens/total': 106262960, 'tokens/trainable': 199960, 'epoch': 1.65}
|
||
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 849/1025 [2:22:55<30:20, 10.34s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 850/1025 [2:23:04<29:23, 10.08s/it]
{'loss': 0.1827, 'grad_norm': 3.697612762451172, 'learning_rate': 1.5684933817180014e-06, 'ppl': 1.20045, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.056053161621094, 'tokens/total': 106388800, 'tokens/trainable': 200196, 'epoch': 1.66}
|
||
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 850/1025 [2:23:04<29:23, 10.08s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 851/1025 [2:23:17<31:56, 11.01s/it]
{'loss': 0.1787, 'grad_norm': 3.2142910957336426, 'learning_rate': 1.5511947315973297e-06, 'ppl': 1.19566, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.333984375, 'tokens/total': 106596912, 'tokens/trainable': 200424, 'epoch': 1.66}
|
||
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 851/1025 [2:23:17<31:56, 11.01s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 852/1025 [2:23:30<33:13, 11.52s/it]
{'loss': 0.229, 'grad_norm': 3.3389222621917725, 'learning_rate': 1.5339839790237333e-06, 'ppl': 1.25734, 'memory/max_active (GiB)': 24.74, 'memory/max_allocated (GiB)': 24.74, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.634601593017578, 'tokens/total': 106750816, 'tokens/trainable': 200660, 'epoch': 1.66}
|
||
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 852/1025 [2:23:30<33:13, 11.52s/it]
83%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 853/1025 [2:23:39<31:05, 10.84s/it]
{'loss': 0.1023, 'grad_norm': 2.1741552352905273, 'learning_rate': 1.5168613030500922e-06, 'ppl': 1.10772, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.3737850189209, 'tokens/total': 106884832, 'tokens/trainable': 200894, 'epoch': 1.66}
|
||
83%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 853/1025 [2:23:39<31:05, 10.84s/it]
83%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 854/1025 [2:23:49<29:29, 10.35s/it]
{'loss': 0.1566, 'grad_norm': 3.0024900436401367, 'learning_rate': 1.4998268818129801e-06, 'ppl': 1.16953, 'memory/max_active (GiB)': 16.96, 'memory/max_allocated (GiB)': 16.96, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.60186004638672, 'tokens/total': 107003024, 'tokens/trainable': 201128, 'epoch': 1.66}
|
||
83%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 854/1025 [2:23:49<29:29, 10.35s/it]
83%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 855/1025 [2:24:02<31:37, 11.16s/it]
{'loss': 0.1664, 'grad_norm': 3.4065604209899902, 'learning_rate': 1.4828808925308103e-06, 'ppl': 1.18105, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.34334373474121, 'tokens/total': 107205456, 'tokens/trainable': 201354, 'epoch': 1.67}
|
||
83%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 855/1025 [2:24:02<31:37, 11.16s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 856/1025 [2:24:11<30:00, 10.65s/it]
{'loss': 0.1576, 'grad_norm': 3.414614677429199, 'learning_rate': 1.4660235115019838e-06, 'ppl': 1.1707, 'memory/max_active (GiB)': 12.91, 'memory/max_allocated (GiB)': 12.91, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.203115463256836, 'tokens/total': 107309104, 'tokens/trainable': 201582, 'epoch': 1.67}
|
||
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 856/1025 [2:24:11<30:00, 10.65s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 857/1025 [2:24:20<28:26, 10.16s/it]
{'loss': 0.1458, 'grad_norm': 2.3144137859344482, 'learning_rate': 1.4492549141030686e-06, 'ppl': 1.15696, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.018203735351562, 'tokens/total': 107419632, 'tokens/trainable': 201806, 'epoch': 1.67}
|
||
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 857/1025 [2:24:20<28:26, 10.16s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 858/1025 [2:24:28<26:40, 9.58s/it]
{'loss': 0.139, 'grad_norm': 2.734710454940796, 'learning_rate': 1.4325752747869626e-06, 'ppl': 1.14912, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.016971588134766, 'tokens/total': 107519664, 'tokens/trainable': 202036, 'epoch': 1.67}
|
||
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 858/1025 [2:24:28<26:40, 9.58s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 859/1025 [2:24:37<25:34, 9.24s/it]
{'loss': 0.2655, 'grad_norm': 4.445602893829346, 'learning_rate': 1.4159847670810845e-06, 'ppl': 1.30408, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.30624008178711, 'tokens/total': 107622544, 'tokens/trainable': 202274, 'epoch': 1.67}
|
||
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 859/1025 [2:24:37<25:34, 9.24s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 860/1025 [2:24:46<25:30, 9.28s/it]
{'loss': 0.1363, 'grad_norm': 2.488649845123291, 'learning_rate': 1.399483563585573e-06, 'ppl': 1.14603, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.043807983398438, 'tokens/total': 107758544, 'tokens/trainable': 202498, 'epoch': 1.68}
|
||
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 860/1025 [2:24:46<25:30, 9.28s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 861/1025 [2:24:55<25:12, 9.22s/it]
{'loss': 0.1477, 'grad_norm': 3.212103843688965, 'learning_rate': 1.383071835971478e-06, 'ppl': 1.15917, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.432748794555664, 'tokens/total': 107877248, 'tokens/trainable': 202728, 'epoch': 1.68}
|
||
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 861/1025 [2:24:55<25:12, 9.22s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 862/1025 [2:25:03<23:58, 8.83s/it]
{'loss': 0.1117, 'grad_norm': 2.3642842769622803, 'learning_rate': 1.3667497549789933e-06, 'ppl': 1.11818, 'memory/max_active (GiB)': 15.95, 'memory/max_allocated (GiB)': 15.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.00059700012207, 'tokens/total': 107985408, 'tokens/trainable': 202956, 'epoch': 1.68}
|
||
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 862/1025 [2:25:03<23:58, 8.83s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 863/1025 [2:25:12<24:00, 8.89s/it]
{'loss': 0.1186, 'grad_norm': 2.5198988914489746, 'learning_rate': 1.3505174904156593e-06, 'ppl': 1.12592, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.338451385498047, 'tokens/total': 108103600, 'tokens/trainable': 203184, 'epoch': 1.68}
|
||
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 863/1025 [2:25:12<24:00, 8.89s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 864/1025 [2:25:21<24:11, 9.02s/it]
{'loss': 0.1435, 'grad_norm': 2.7566912174224854, 'learning_rate': 1.3343752111546139e-06, 'ppl': 1.15431, 'memory/max_active (GiB)': 13.06, 'memory/max_allocated (GiB)': 13.06, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.45743751525879, 'tokens/total': 108216400, 'tokens/trainable': 203420, 'epoch': 1.68}
|
||
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 864/1025 [2:25:22<24:11, 9.02s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 865/1025 [2:25:31<24:08, 9.06s/it]
{'loss': 0.1753, 'grad_norm': 3.206745147705078, 'learning_rate': 1.3183230851328289e-06, 'ppl': 1.1916, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.031457901000977, 'tokens/total': 108344752, 'tokens/trainable': 203648, 'epoch': 1.69}
|
||
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 865/1025 [2:25:31<24:08, 9.06s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 866/1025 [2:25:39<23:03, 8.70s/it]
{'loss': 0.2031, 'grad_norm': 3.0756168365478516, 'learning_rate': 1.3023612793493535e-06, 'ppl': 1.22519, 'memory/max_active (GiB)': 16.06, 'memory/max_allocated (GiB)': 16.06, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.641687393188477, 'tokens/total': 108411472, 'tokens/trainable': 203880, 'epoch': 1.69}
|
||
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 866/1025 [2:25:39<23:03, 8.70s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 867/1025 [2:25:47<22:42, 8.62s/it]
{'loss': 0.1752, 'grad_norm': 3.3628344535827637, 'learning_rate': 1.2864899598636005e-06, 'ppl': 1.19148, 'memory/max_active (GiB)': 13.05, 'memory/max_allocated (GiB)': 13.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.690353393554688, 'tokens/total': 108510944, 'tokens/trainable': 204096, 'epoch': 1.69}
|
||
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 867/1025 [2:25:47<22:42, 8.62s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 868/1025 [2:25:56<23:02, 8.81s/it]
{'loss': 0.1244, 'grad_norm': 3.017397403717041, 'learning_rate': 1.2707092917935914e-06, 'ppl': 1.13247, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.78974723815918, 'tokens/total': 108637312, 'tokens/trainable': 204324, 'epoch': 1.69}
|
||
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 868/1025 [2:25:56<23:02, 8.81s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 869/1025 [2:26:05<23:15, 8.94s/it]
{'loss': 0.1579, 'grad_norm': 3.1439008712768555, 'learning_rate': 1.2550194393142555e-06, 'ppl': 1.17105, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.394609451293945, 'tokens/total': 108773312, 'tokens/trainable': 204558, 'epoch': 1.69}
|
||
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 869/1025 [2:26:05<23:15, 8.94s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 870/1025 [2:26:14<22:25, 8.68s/it]
{'loss': 0.1838, 'grad_norm': 2.8223345279693604, 'learning_rate': 1.2394205656557224e-06, 'ppl': 1.20178, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.692750930786133, 'tokens/total': 108880672, 'tokens/trainable': 204780, 'epoch': 1.7}
|
||
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 870/1025 [2:26:14<22:25, 8.68s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 871/1025 [2:26:22<21:54, 8.54s/it]
{'loss': 0.1487, 'grad_norm': 2.504640817642212, 'learning_rate': 1.2239128331016115e-06, 'ppl': 1.16032, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.607961654663086, 'tokens/total': 108968896, 'tokens/trainable': 205030, 'epoch': 1.7}
|
||
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 871/1025 [2:26:22<21:54, 8.54s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 872/1025 [2:26:29<20:50, 8.17s/it]
{'loss': 0.1422, 'grad_norm': 2.9920740127563477, 'learning_rate': 1.208496402987358e-06, 'ppl': 1.15281, 'memory/max_active (GiB)': 14.07, 'memory/max_allocated (GiB)': 14.07, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.347774505615234, 'tokens/total': 109030960, 'tokens/trainable': 205258, 'epoch': 1.7}
|
||
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 872/1025 [2:26:29<20:50, 8.17s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 873/1025 [2:26:37<20:54, 8.25s/it]
{'loss': 0.1512, 'grad_norm': 2.906998634338379, 'learning_rate': 1.1931714356985257e-06, 'ppl': 1.16323, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.402149200439453, 'tokens/total': 109151664, 'tokens/trainable': 205480, 'epoch': 1.7}
|
||
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 873/1025 [2:26:38<20:54, 8.25s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 874/1025 [2:26:51<24:25, 9.71s/it]
{'loss': 0.1212, 'grad_norm': 2.5905520915985107, 'learning_rate': 1.1779380906691362e-06, 'ppl': 1.12885, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.620864868164062, 'tokens/total': 109367424, 'tokens/trainable': 205710, 'epoch': 1.7}
|
||
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 874/1025 [2:26:51<24:25, 9.71s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 875/1025 [2:27:04<26:48, 10.73s/it]
{'loss': 0.1298, 'grad_norm': 2.2749452590942383, 'learning_rate': 1.1627965263800245e-06, 'ppl': 1.1386, 'memory/max_active (GiB)': 24.7, 'memory/max_allocated (GiB)': 24.7, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.91232681274414, 'tokens/total': 109567872, 'tokens/trainable': 205944, 'epoch': 1.71}
|
||
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 875/1025 [2:27:04<26:48, 10.73s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 876/1025 [2:27:17<28:32, 11.50s/it]
{'loss': 0.112, 'grad_norm': 2.766383171081543, 'learning_rate': 1.1477469003571672e-06, 'ppl': 1.11851, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 16.90364646911621, 'tokens/total': 109735104, 'tokens/trainable': 206168, 'epoch': 1.71}
|
||
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 876/1025 [2:27:17<28:32, 11.50s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 877/1025 [2:27:26<26:50, 10.88s/it]
{'loss': 0.1724, 'grad_norm': 2.791505813598633, 'learning_rate': 1.1327893691700697e-06, 'ppl': 1.18815, 'memory/max_active (GiB)': 18.65, 'memory/max_allocated (GiB)': 18.65, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.406156539916992, 'tokens/total': 109860944, 'tokens/trainable': 206388, 'epoch': 1.71}
|
||
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 877/1025 [2:27:26<26:50, 10.88s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 878/1025 [2:27:35<25:00, 10.21s/it]
{'loss': 0.124, 'grad_norm': 2.4492361545562744, 'learning_rate': 1.1179240884301158e-06, 'ppl': 1.13202, 'memory/max_active (GiB)': 15.96, 'memory/max_allocated (GiB)': 15.96, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.29348373413086, 'tokens/total': 109965808, 'tokens/trainable': 206614, 'epoch': 1.71}
|
||
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 878/1025 [2:27:35<25:00, 10.21s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 879/1025 [2:27:43<23:27, 9.64s/it]
{'loss': 0.1042, 'grad_norm': 2.481746196746826, 'learning_rate': 1.1031512127889578e-06, 'ppl': 1.10982, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.30141258239746, 'tokens/total': 110053632, 'tokens/trainable': 206840, 'epoch': 1.71}
|
||
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 879/1025 [2:27:43<23:27, 9.64s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 880/1025 [2:27:52<22:20, 9.24s/it]
{'loss': 0.1216, 'grad_norm': 2.675755023956299, 'learning_rate': 1.0884708959369116e-06, 'ppl': 1.1293, 'memory/max_active (GiB)': 17.0, 'memory/max_allocated (GiB)': 17.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.563045501708984, 'tokens/total': 110141456, 'tokens/trainable': 207068, 'epoch': 1.72}
|
||
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 880/1025 [2:27:52<22:20, 9.24s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 881/1025 [2:28:05<24:44, 10.31s/it]
{'loss': 0.1442, 'grad_norm': 2.7630512714385986, 'learning_rate': 1.073883290601353e-06, 'ppl': 1.15512, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.64444351196289, 'tokens/total': 110293376, 'tokens/trainable': 207306, 'epoch': 1.72}
|
||
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 881/1025 [2:28:05<24:44, 10.31s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 882/1025 [2:28:14<23:47, 9.98s/it]
{'loss': 0.1825, 'grad_norm': 3.0403573513031006, 'learning_rate': 1.0593885485451239e-06, 'ppl': 1.20021, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.179237365722656, 'tokens/total': 110406352, 'tokens/trainable': 207546, 'epoch': 1.72}
|
||
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 882/1025 [2:28:14<23:47, 9.98s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 883/1025 [2:28:23<23:11, 9.80s/it]
{'loss': 0.1254, 'grad_norm': 2.498661994934082, 'learning_rate': 1.0449868205649648e-06, 'ppl': 1.1336, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 11.64, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.210474014282227, 'tokens/total': 110509888, 'tokens/trainable': 207772, 'epoch': 1.72}
|
||
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 883/1025 [2:28:23<23:11, 9.80s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 884/1025 [2:28:32<22:36, 9.62s/it]
{'loss': 0.1285, 'grad_norm': 2.7271406650543213, 'learning_rate': 1.0306782564899353e-06, 'ppl': 1.13712, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.47910499572754, 'tokens/total': 110630576, 'tokens/trainable': 207996, 'epoch': 1.72}
|
||
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 884/1025 [2:28:32<22:36, 9.62s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 885/1025 [2:28:46<24:59, 10.71s/it]
{'loss': 0.1713, 'grad_norm': 3.6866567134857178, 'learning_rate': 1.0164630051798629e-06, 'ppl': 1.18685, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.256746292114258, 'tokens/total': 110833008, 'tokens/trainable': 208224, 'epoch': 1.73}
|
||
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 885/1025 [2:28:46<24:59, 10.71s/it]
86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 886/1025 [2:28:54<23:20, 10.07s/it]
{'loss': 0.2003, 'grad_norm': 6.391480922698975, 'learning_rate': 1.0023412145237888e-06, 'ppl': 1.22177, 'memory/max_active (GiB)': 16.93, 'memory/max_allocated (GiB)': 16.93, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 34.421104431152344, 'tokens/total': 110923920, 'tokens/trainable': 208518, 'epoch': 1.73}
|
||
86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 886/1025 [2:28:54<23:20, 10.07s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 887/1025 [2:29:01<20:57, 9.12s/it]
{'loss': 0.1089, 'grad_norm': 3.7177557945251465, 'learning_rate': 9.88313031438435e-07, 'ppl': 1.11505, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.460140228271484, 'tokens/total': 111002592, 'tokens/trainable': 208740, 'epoch': 1.73}
|
||
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 887/1025 [2:29:01<20:57, 9.12s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 888/1025 [2:29:09<19:56, 8.74s/it]
{'loss': 0.1167, 'grad_norm': 2.0810813903808594, 'learning_rate': 9.74378601866669e-07, 'ppl': 1.12378, 'memory/max_active (GiB)': 14.04, 'memory/max_allocated (GiB)': 14.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.474626541137695, 'tokens/total': 111102576, 'tokens/trainable': 208978, 'epoch': 1.73}
|
||
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 888/1025 [2:29:09<19:56, 8.74s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 889/1025 [2:29:17<19:11, 8.47s/it]
{'loss': 0.1874, 'grad_norm': 5.869895935058594, 'learning_rate': 9.605380707759883e-07, 'ppl': 1.20611, 'memory/max_active (GiB)': 14.03, 'memory/max_allocated (GiB)': 14.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.802066802978516, 'tokens/total': 111201760, 'tokens/trainable': 209234, 'epoch': 1.73}
|
||
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 889/1025 [2:29:17<19:11, 8.47s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 890/1025 [2:29:26<19:27, 8.65s/it]
{'loss': 0.1661, 'grad_norm': 3.923888683319092, 'learning_rate': 9.467915821570228e-07, 'ppl': 1.18069, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.807239532470703, 'tokens/total': 111330112, 'tokens/trainable': 209476, 'epoch': 1.73}
|
||
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 890/1025 [2:29:26<19:27, 8.65s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 891/1025 [2:29:35<19:41, 8.82s/it]
{'loss': 0.1725, 'grad_norm': 2.9174137115478516, 'learning_rate': 9.331392790220162e-07, 'ppl': 1.18827, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.999713897705078, 'tokens/total': 111471792, 'tokens/trainable': 209696, 'epoch': 1.74}
|
||
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 891/1025 [2:29:35<19:41, 8.82s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 892/1025 [2:29:44<19:39, 8.87s/it]
{'loss': 0.2055, 'grad_norm': 4.168407917022705, 'learning_rate': 9.195813034033507e-07, 'ppl': 1.22814, 'memory/max_active (GiB)': 18.5, 'memory/max_allocated (GiB)': 18.5, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.27466583251953, 'tokens/total': 111594464, 'tokens/trainable': 209940, 'epoch': 1.74}
|
||
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 892/1025 [2:29:44<19:39, 8.87s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 893/1025 [2:29:52<18:52, 8.58s/it]
{'loss': 0.1201, 'grad_norm': 3.2261505126953125, 'learning_rate': 9.061177963520751e-07, 'ppl': 1.12761, 'memory/max_active (GiB)': 15.53, 'memory/max_allocated (GiB)': 15.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.77393341064453, 'tokens/total': 111689680, 'tokens/trainable': 210182, 'epoch': 1.74}
|
||
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 893/1025 [2:29:52<18:52, 8.58s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 894/1025 [2:30:05<21:22, 9.79s/it]
{'loss': 0.1649, 'grad_norm': 2.9982995986938477, 'learning_rate': 8.927488979364185e-07, 'ppl': 1.17928, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.95540428161621, 'tokens/total': 111848736, 'tokens/trainable': 210408, 'epoch': 1.74}
|
||
87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 894/1025 [2:30:05<21:22, 9.79s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 895/1025 [2:30:14<20:51, 9.62s/it]
{'loss': 0.115, 'grad_norm': 3.046090841293335, 'learning_rate': 8.794747472403564e-07, 'ppl': 1.12187, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.466646194458008, 'tokens/total': 111982752, 'tokens/trainable': 210642, 'epoch': 1.74}
|
||
87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 895/1025 [2:30:14<20:51, 9.62s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 896/1025 [2:30:22<19:32, 9.09s/it]
{'loss': 0.1801, 'grad_norm': 3.8016912937164307, 'learning_rate': 8.662954823621428e-07, 'ppl': 1.19734, 'memory/max_active (GiB)': 15.99, 'memory/max_allocated (GiB)': 15.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.00883865356445, 'tokens/total': 112082736, 'tokens/trainable': 210892, 'epoch': 1.75}
|
||
87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 896/1025 [2:30:22<19:32, 9.09s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 897/1025 [2:30:35<21:59, 10.31s/it]
{'loss': 0.1536, 'grad_norm': 3.443434715270996, 'learning_rate': 8.532112404128879e-07, 'ppl': 1.16602, 'memory/max_active (GiB)': 17.05, 'memory/max_allocated (GiB)': 17.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.315547943115234, 'tokens/total': 112257632, 'tokens/trainable': 211132, 'epoch': 1.75}
|
||
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 897/1025 [2:30:35<21:59, 10.31s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 898/1025 [2:30:43<20:40, 9.77s/it]
{'loss': 0.1273, 'grad_norm': 2.777777910232544, 'learning_rate': 8.402221575151238e-07, 'ppl': 1.13576, 'memory/max_active (GiB)': 13.8, 'memory/max_allocated (GiB)': 13.8, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.610000610351562, 'tokens/total': 112367488, 'tokens/trainable': 211374, 'epoch': 1.75}
|
||
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 898/1025 [2:30:43<20:40, 9.77s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 899/1025 [2:30:56<22:19, 10.63s/it]
{'loss': 0.1612, 'grad_norm': 3.372018337249756, 'learning_rate': 8.2732836880139e-07, 'ppl': 1.17492, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.431331634521484, 'tokens/total': 112542384, 'tokens/trainable': 211594, 'epoch': 1.75}
|
||
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 899/1025 [2:30:56<22:19, 10.63s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 900/1025 [2:31:06<21:37, 10.38s/it]
{'loss': 0.1673, 'grad_norm': 3.1750752925872803, 'learning_rate': 8.145300084128349e-07, 'ppl': 1.18211, 'memory/max_active (GiB)': 13.08, 'memory/max_allocated (GiB)': 13.08, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.831462860107422, 'tokens/total': 112655184, 'tokens/trainable': 211836, 'epoch': 1.75}
|
||
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 900/1025 [2:31:06<21:37, 10.38s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 901/1025 [2:31:15<20:43, 10.03s/it]
{'loss': 0.1788, 'grad_norm': 3.1771469116210938, 'learning_rate': 8.018272094978052e-07, 'ppl': 1.19578, 'memory/max_active (GiB)': 15.62, 'memory/max_allocated (GiB)': 15.62, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.749488830566406, 'tokens/total': 112744816, 'tokens/trainable': 212072, 'epoch': 1.76}
|
||
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 901/1025 [2:31:15<20:43, 10.03s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 902/1025 [2:31:23<19:18, 9.42s/it]
{'loss': 0.102, 'grad_norm': 2.1325440406799316, 'learning_rate': 7.892201042104719e-07, 'ppl': 1.10738, 'memory/max_active (GiB)': 14.92, 'memory/max_allocated (GiB)': 14.92, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.62803840637207, 'tokens/total': 112849984, 'tokens/trainable': 212300, 'epoch': 1.76}
|
||
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 902/1025 [2:31:23<19:18, 9.42s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 903/1025 [2:31:36<21:06, 10.38s/it]
{'loss': 0.1582, 'grad_norm': 3.3270020484924316, 'learning_rate': 7.767088237094578e-07, 'ppl': 1.1714, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.014820098876953, 'tokens/total': 112990736, 'tokens/trainable': 212514, 'epoch': 1.76}
|
||
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 903/1025 [2:31:36<21:06, 10.38s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 904/1025 [2:31:45<20:13, 10.03s/it]
{'loss': 0.2003, 'grad_norm': 4.248937606811523, 'learning_rate': 7.642934981564609e-07, 'ppl': 1.22177, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.646371841430664, 'tokens/total': 113111424, 'tokens/trainable': 212740, 'epoch': 1.76}
|
||
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 904/1025 [2:31:45<20:13, 10.03s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 905/1025 [2:31:58<21:51, 10.93s/it]
{'loss': 0.0934, 'grad_norm': 2.284895658493042, 'learning_rate': 7.519742567149124e-07, 'ppl': 1.0979, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.861534118652344, 'tokens/total': 113327184, 'tokens/trainable': 212972, 'epoch': 1.76}
|
||
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 905/1025 [2:31:58<21:51, 10.93s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 906/1025 [2:32:06<19:53, 10.03s/it]
{'loss': 0.1642, 'grad_norm': 2.7430577278137207, 'learning_rate': 7.397512275486241e-07, 'ppl': 1.17845, 'memory/max_active (GiB)': 15.63, 'memory/max_allocated (GiB)': 15.63, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.891036987304688, 'tokens/total': 113402160, 'tokens/trainable': 213208, 'epoch': 1.77}
|
||
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 906/1025 [2:32:06<19:53, 10.03s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 907/1025 [2:32:15<19:18, 9.81s/it]
{'loss': 0.1334, 'grad_norm': 2.639894962310791, 'learning_rate': 7.276245378204616e-07, 'ppl': 1.14271, 'memory/max_active (GiB)': 16.05, 'memory/max_allocated (GiB)': 16.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.039987564086914, 'tokens/total': 113515072, 'tokens/trainable': 213440, 'epoch': 1.77}
|
||
88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 907/1025 [2:32:15<19:18, 9.81s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 908/1025 [2:32:24<18:42, 9.59s/it]
{'loss': 0.1569, 'grad_norm': 3.268592119216919, 'learning_rate': 7.155943136910193e-07, 'ppl': 1.16988, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.797561645507812, 'tokens/total': 113637744, 'tokens/trainable': 213664, 'epoch': 1.77}
|
||
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 908/1025 [2:32:24<18:42, 9.59s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 909/1025 [2:32:33<18:15, 9.45s/it]
{'loss': 0.1658, 'grad_norm': 4.91242790222168, 'learning_rate': 7.036606803173041e-07, 'ppl': 1.18034, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.267650604248047, 'tokens/total': 113748272, 'tokens/trainable': 213902, 'epoch': 1.77}
|
||
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 909/1025 [2:32:33<18:15, 9.45s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 910/1025 [2:32:43<18:05, 9.44s/it]
{'loss': 0.1879, 'grad_norm': 3.0761077404022217, 'learning_rate': 6.918237618514378e-07, 'ppl': 1.20671, 'memory/max_active (GiB)': 18.66, 'memory/max_allocated (GiB)': 18.66, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.16074562072754, 'tokens/total': 113871648, 'tokens/trainable': 214138, 'epoch': 1.77}
|
||
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 910/1025 [2:32:43<18:05, 9.44s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 911/1025 [2:32:52<17:51, 9.40s/it]
{'loss': 0.2266, 'grad_norm': 4.26141881942749, 'learning_rate': 6.800836814393653e-07, 'ppl': 1.25433, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.880311965942383, 'tokens/total': 113997488, 'tokens/trainable': 214378, 'epoch': 1.78}
|
||
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 911/1025 [2:32:52<17:51, 9.40s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 912/1025 [2:33:01<17:36, 9.35s/it]
{'loss': 0.1766, 'grad_norm': 3.150827646255493, 'learning_rate': 6.684405612195688e-07, 'ppl': 1.19315, 'memory/max_active (GiB)': 14.25, 'memory/max_allocated (GiB)': 14.25, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.46465301513672, 'tokens/total': 114111440, 'tokens/trainable': 214612, 'epoch': 1.78}
|
||
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 912/1025 [2:33:01<17:36, 9.35s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 913/1025 [2:33:14<19:11, 10.28s/it]
{'loss': 0.1671, 'grad_norm': 3.0039660930633545, 'learning_rate': 6.568945223218048e-07, 'ppl': 1.18187, 'memory/max_active (GiB)': 24.64, 'memory/max_allocated (GiB)': 24.64, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.009750366210938, 'tokens/total': 114280656, 'tokens/trainable': 214848, 'epoch': 1.78}
|
||
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 913/1025 [2:33:14<19:11, 10.28s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 914/1025 [2:33:23<18:20, 9.91s/it]
{'loss': 0.134, 'grad_norm': 2.6561944484710693, 'learning_rate': 6.454456848658364e-07, 'ppl': 1.14339, 'memory/max_active (GiB)': 16.93, 'memory/max_allocated (GiB)': 16.93, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.412216186523438, 'tokens/total': 114404032, 'tokens/trainable': 215086, 'epoch': 1.78}
|
||
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 914/1025 [2:33:23<18:20, 9.91s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 915/1025 [2:33:32<17:47, 9.71s/it]
{'loss': 0.162, 'grad_norm': 4.344202041625977, 'learning_rate': 6.340941679601898e-07, 'ppl': 1.17586, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.741954803466797, 'tokens/total': 114521328, 'tokens/trainable': 215304, 'epoch': 1.78}
|
||
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 915/1025 [2:33:32<17:47, 9.71s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 916/1025 [2:33:41<17:20, 9.54s/it]
{'loss': 0.1057, 'grad_norm': 2.4163670539855957, 'learning_rate': 6.228400897009068e-07, 'ppl': 1.11149, 'memory/max_active (GiB)': 15.57, 'memory/max_allocated (GiB)': 15.57, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.32276725769043, 'tokens/total': 114647696, 'tokens/trainable': 215544, 'epoch': 1.79}
|
||
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 916/1025 [2:33:41<17:20, 9.54s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 917/1025 [2:33:50<17:00, 9.45s/it]
{'loss': 0.1046, 'grad_norm': 2.0805320739746094, 'learning_rate': 6.116835671703281e-07, 'ppl': 1.11027, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.655517578125, 'tokens/total': 114781712, 'tokens/trainable': 215780, 'epoch': 1.79}
|
||
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 917/1025 [2:33:50<17:00, 9.45s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 918/1025 [2:33:59<16:37, 9.32s/it]
{'loss': 0.1588, 'grad_norm': 2.8100357055664062, 'learning_rate': 6.00624716435868e-07, 'ppl': 1.1721, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.288768768310547, 'tokens/total': 114892240, 'tokens/trainable': 216016, 'epoch': 1.79}
|
||
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 918/1025 [2:33:59<16:37, 9.32s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 919/1025 [2:34:09<16:25, 9.30s/it]
{'loss': 0.1518, 'grad_norm': 2.1987454891204834, 'learning_rate': 5.896636525488009e-07, 'ppl': 1.16393, 'memory/max_active (GiB)': 12.94, 'memory/max_allocated (GiB)': 12.94, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.78624725341797, 'tokens/total': 115011200, 'tokens/trainable': 216244, 'epoch': 1.79}
|
||
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 919/1025 [2:34:09<16:25, 9.30s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 920/1025 [2:34:22<18:14, 10.42s/it]
{'loss': 0.169, 'grad_norm': 2.379977226257324, 'learning_rate': 5.788004895430799e-07, 'ppl': 1.18412, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.227827072143555, 'tokens/total': 115170256, 'tokens/trainable': 216468, 'epoch': 1.79}
|
||
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 920/1025 [2:34:22<18:14, 10.42s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 921/1025 [2:34:31<17:20, 10.00s/it]
{'loss': 0.1781, 'grad_norm': 3.1919262409210205, 'learning_rate': 5.680353404341366e-07, 'ppl': 1.19494, 'memory/max_active (GiB)': 15.58, 'memory/max_allocated (GiB)': 15.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.062925338745117, 'tokens/total': 115285968, 'tokens/trainable': 216702, 'epoch': 1.8}
|
||
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 921/1025 [2:34:31<17:20, 10.00s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 922/1025 [2:34:38<16:04, 9.37s/it]
{'loss': 0.1578, 'grad_norm': 2.3411049842834473, 'learning_rate': 5.57368317217708e-07, 'ppl': 1.17093, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.317142486572266, 'tokens/total': 115362848, 'tokens/trainable': 216940, 'epoch': 1.8}
|
||
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 922/1025 [2:34:39<16:04, 9.37s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 923/1025 [2:34:46<15:09, 8.92s/it]
{'loss': 0.1684, 'grad_norm': 3.3268535137176514, 'learning_rate': 5.467995308686813e-07, 'ppl': 1.18341, 'memory/max_active (GiB)': 15.62, 'memory/max_allocated (GiB)': 15.62, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.12257194519043, 'tokens/total': 115451504, 'tokens/trainable': 217160, 'epoch': 1.8}
|
||
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 923/1025 [2:34:46<15:09, 8.92s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 924/1025 [2:34:55<15:02, 8.93s/it]
{'loss': 0.1495, 'grad_norm': 4.264693260192871, 'learning_rate': 5.363290913399232e-07, 'ppl': 1.16125, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.847965240478516, 'tokens/total': 115570208, 'tokens/trainable': 217382, 'epoch': 1.8}
|
||
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 924/1025 [2:34:55<15:02, 8.93s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 925/1025 [2:35:05<15:05, 9.05s/it]
{'loss': 0.1717, 'grad_norm': 3.337333917617798, 'learning_rate': 5.259571075611525e-07, 'ppl': 1.18732, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.434206008911133, 'tokens/total': 115706208, 'tokens/trainable': 217618, 'epoch': 1.8}
|
||
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 925/1025 [2:35:05<15:05, 9.05s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 926/1025 [2:35:17<16:42, 10.12s/it]
{'loss': 0.1504, 'grad_norm': 3.0910093784332275, 'learning_rate': 5.156836874377958e-07, 'ppl': 1.1623, 'memory/max_active (GiB)': 24.69, 'memory/max_allocated (GiB)': 24.69, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.43342399597168, 'tokens/total': 115820912, 'tokens/trainable': 217850, 'epoch': 1.81}
|
||
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 926/1025 [2:35:17<16:42, 10.12s/it]
90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 927/1025 [2:35:30<17:54, 10.96s/it]
{'loss': 0.2226, 'grad_norm': 5.002857208251953, 'learning_rate': 5.055089378498634e-07, 'ppl': 1.24932, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 20.48740577697754, 'tokens/total': 115972576, 'tokens/trainable': 218114, 'epoch': 1.81}
|
||
90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 927/1025 [2:35:30<17:54, 10.96s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 928/1025 [2:35:40<16:58, 10.50s/it]
{'loss': 0.2033, 'grad_norm': 3.5036380290985107, 'learning_rate': 4.954329646508505e-07, 'ppl': 1.22544, 'memory/max_active (GiB)': 18.6, 'memory/max_allocated (GiB)': 18.6, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.75060272216797, 'tokens/total': 116114256, 'tokens/trainable': 218346, 'epoch': 1.81}
|
||
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 928/1025 [2:35:40<16:58, 10.50s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 929/1025 [2:35:53<18:00, 11.26s/it]
{'loss': 0.1212, 'grad_norm': 2.8324291706085205, 'learning_rate': 4.854558726666192e-07, 'ppl': 1.12885, 'memory/max_active (GiB)': 14.93, 'memory/max_allocated (GiB)': 14.93, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.948183059692383, 'tokens/total': 116263184, 'tokens/trainable': 218592, 'epoch': 1.81}
|
||
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 929/1025 [2:35:53<18:00, 11.26s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 930/1025 [2:36:01<16:28, 10.41s/it]
{'loss': 0.1295, 'grad_norm': 2.475921154022217, 'learning_rate': 4.755777656943239e-07, 'ppl': 1.13826, 'memory/max_active (GiB)': 16.02, 'memory/max_allocated (GiB)': 16.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.932992935180664, 'tokens/total': 116383888, 'tokens/trainable': 218818, 'epoch': 1.81}
|
||
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 930/1025 [2:36:01<16:28, 10.41s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 931/1025 [2:36:14<17:32, 11.20s/it]
{'loss': 0.1491, 'grad_norm': 3.4862685203552246, 'learning_rate': 4.6579874650131804e-07, 'ppl': 1.16079, 'memory/max_active (GiB)': 18.57, 'memory/max_allocated (GiB)': 18.57, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.921106338500977, 'tokens/total': 116558784, 'tokens/trainable': 219064, 'epoch': 1.81}
|
||
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 931/1025 [2:36:14<17:32, 11.20s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 932/1025 [2:36:24<16:34, 10.70s/it]
{'loss': 0.2542, 'grad_norm': 2.979886054992676, 'learning_rate': 4.561189168240909e-07, 'ppl': 1.28943, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.88382911682129, 'tokens/total': 116692800, 'tokens/trainable': 219300, 'epoch': 1.82}
|
||
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 932/1025 [2:36:24<16:34, 10.70s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 933/1025 [2:36:33<15:49, 10.32s/it]
{'loss': 0.1346, 'grad_norm': 2.224093437194824, 'learning_rate': 4.4653837736721273e-07, 'ppl': 1.14408, 'memory/max_active (GiB)': 12.47, 'memory/max_allocated (GiB)': 12.47, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.104774475097656, 'tokens/total': 116793552, 'tokens/trainable': 219536, 'epoch': 1.82}
|
||
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 933/1025 [2:36:33<15:49, 10.32s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 934/1025 [2:36:42<14:49, 9.77s/it]
{'loss': 0.1751, 'grad_norm': 3.059875249862671, 'learning_rate': 4.3705722780227887e-07, 'ppl': 1.19137, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.828380584716797, 'tokens/total': 116907392, 'tokens/trainable': 219754, 'epoch': 1.82}
|
||
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 934/1025 [2:36:42<14:49, 9.77s/it]
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 935/1025 [2:36:55<16:17, 10.86s/it]
{'loss': 0.1905, 'grad_norm': 3.5182037353515625, 'learning_rate': 4.276755667668808e-07, 'ppl': 1.20985, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.794971466064453, 'tokens/total': 117082288, 'tokens/trainable': 219992, 'epoch': 1.82}
|
||
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 935/1025 [2:36:55<16:17, 10.86s/it]
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 936/1025 [2:37:04<15:25, 10.40s/it]
{'loss': 0.185, 'grad_norm': 3.357743501663208, 'learning_rate': 4.183934918635768e-07, 'ppl': 1.20322, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.741168975830078, 'tokens/total': 117202736, 'tokens/trainable': 220240, 'epoch': 1.82}
|
||
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 936/1025 [2:37:04<15:25, 10.40s/it]
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 937/1025 [2:37:17<16:18, 11.12s/it]
{'loss': 0.2063, 'grad_norm': 4.3329176902771, 'learning_rate': 4.092110996588705e-07, 'ppl': 1.22912, 'memory/max_active (GiB)': 24.75, 'memory/max_allocated (GiB)': 24.75, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.451810836791992, 'tokens/total': 117346480, 'tokens/trainable': 220488, 'epoch': 1.83}
|
||
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 937/1025 [2:37:17<16:18, 11.12s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 938/1025 [2:37:30<16:54, 11.67s/it]
{'loss': 0.1285, 'grad_norm': 2.524841070175171, 'learning_rate': 4.001284856822174e-07, 'ppl': 1.13712, 'memory/max_active (GiB)': 24.77, 'memory/max_allocated (GiB)': 24.77, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.59586524963379, 'tokens/total': 117562240, 'tokens/trainable': 220728, 'epoch': 1.83}
|
||
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 938/1025 [2:37:30<16:54, 11.67s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 939/1025 [2:37:43<17:18, 12.08s/it]
{'loss': 0.1711, 'grad_norm': 2.910153388977051, 'learning_rate': 3.9114574442502326e-07, 'ppl': 1.18661, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.247068405151367, 'tokens/total': 117721296, 'tokens/trainable': 220952, 'epoch': 1.83}
|
||
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 939/1025 [2:37:43<17:18, 12.08s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 940/1025 [2:37:56<17:28, 12.34s/it]
{'loss': 0.1815, 'grad_norm': 2.9194250106811523, 'learning_rate': 3.822629693396651e-07, 'ppl': 1.19901, 'memory/max_active (GiB)': 17.0, 'memory/max_allocated (GiB)': 17.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.957950592041016, 'tokens/total': 117888544, 'tokens/trainable': 221184, 'epoch': 1.83}
|
||
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 940/1025 [2:37:56<17:28, 12.34s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 941/1025 [2:38:05<15:54, 11.37s/it]
{'loss': 0.2259, 'grad_norm': 3.687490940093994, 'learning_rate': 3.7348025283851285e-07, 'ppl': 1.25345, 'memory/max_active (GiB)': 15.64, 'memory/max_allocated (GiB)': 15.64, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.705615997314453, 'tokens/total': 118009232, 'tokens/trainable': 221462, 'epoch': 1.83}
|
||
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 941/1025 [2:38:05<15:54, 11.37s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 942/1025 [2:38:18<16:15, 11.76s/it]
{'loss': 0.1586, 'grad_norm': 3.0092320442199707, 'learning_rate': 3.6479768629297473e-07, 'ppl': 1.17187, 'memory/max_active (GiB)': 24.71, 'memory/max_allocated (GiB)': 24.71, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.588573455810547, 'tokens/total': 118191776, 'tokens/trainable': 221684, 'epoch': 1.84}
|
||
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 942/1025 [2:38:18<16:15, 11.76s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 943/1025 [2:38:30<16:19, 11.94s/it]
{'loss': 0.1525, 'grad_norm': 3.3222904205322266, 'learning_rate': 3.562153600325491e-07, 'ppl': 1.16474, 'memory/max_active (GiB)': 24.67, 'memory/max_allocated (GiB)': 24.67, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.636707305908203, 'tokens/total': 118332928, 'tokens/trainable': 221914, 'epoch': 1.84}
|
||
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 943/1025 [2:38:30<16:19, 11.94s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 944/1025 [2:38:39<14:41, 10.88s/it]
{'loss': 0.1784, 'grad_norm': 4.624904155731201, 'learning_rate': 3.4773336334387063e-07, 'ppl': 1.1953, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.82134437561035, 'tokens/total': 118443472, 'tokens/trainable': 222138, 'epoch': 1.84}
|
||
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 944/1025 [2:38:39<14:41, 10.88s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 945/1025 [2:38:48<13:50, 10.38s/it]
{'loss': 0.1603, 'grad_norm': 2.7470548152923584, 'learning_rate': 3.3935178446979575e-07, 'ppl': 1.17386, 'memory/max_active (GiB)': 18.61, 'memory/max_allocated (GiB)': 18.61, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.61182975769043, 'tokens/total': 118555296, 'tokens/trainable': 222364, 'epoch': 1.84}
|
||
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 945/1025 [2:38:48<13:50, 10.38s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 946/1025 [2:38:57<13:01, 9.89s/it]
{'loss': 0.1185, 'grad_norm': 3.8525853157043457, 'learning_rate': 3.310707106084798e-07, 'ppl': 1.12581, 'memory/max_active (GiB)': 13.08, 'memory/max_allocated (GiB)': 13.08, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.9620304107666, 'tokens/total': 118654768, 'tokens/trainable': 222590, 'epoch': 1.84}
|
||
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 946/1025 [2:38:57<13:01, 9.89s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 947/1025 [2:39:10<14:03, 10.82s/it]
{'loss': 0.1372, 'grad_norm': 2.7076125144958496, 'learning_rate': 3.228902279124657e-07, 'ppl': 1.14706, 'memory/max_active (GiB)': 24.68, 'memory/max_allocated (GiB)': 24.68, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.864307403564453, 'tokens/total': 118855216, 'tokens/trainable': 222834, 'epoch': 1.85}
|
||
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 947/1025 [2:39:10<14:03, 10.82s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 948/1025 [2:39:18<12:57, 10.10s/it]
{'loss': 0.14, 'grad_norm': 3.5169286727905273, 'learning_rate': 3.1481042148779674e-07, 'ppl': 1.15027, 'memory/max_active (GiB)': 16.96, 'memory/max_allocated (GiB)': 16.96, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.458322525024414, 'tokens/total': 118975920, 'tokens/trainable': 223064, 'epoch': 1.85}
|
||
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 948/1025 [2:39:18<12:57, 10.10s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 949/1025 [2:39:31<13:51, 10.95s/it]
{'loss': 0.1732, 'grad_norm': 3.2815866470336914, 'learning_rate': 3.068313753931218e-07, 'ppl': 1.1891, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.38802146911621, 'tokens/total': 119121648, 'tokens/trainable': 223288, 'epoch': 1.85}
|
||
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 949/1025 [2:39:31<13:51, 10.95s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 950/1025 [2:39:39<12:39, 10.13s/it]
{'loss': 0.1397, 'grad_norm': 2.936394691467285, 'learning_rate': 2.989531726388262e-07, 'ppl': 1.14993, 'memory/max_active (GiB)': 15.96, 'memory/max_allocated (GiB)': 15.96, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.30914878845215, 'tokens/total': 119234688, 'tokens/trainable': 223520, 'epoch': 1.85}
|
||
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 950/1025 [2:39:39<12:39, 10.13s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 951/1025 [2:39:48<12:05, 9.81s/it]
{'loss': 0.1554, 'grad_norm': 2.4328646659851074, 'learning_rate': 2.911758951861654e-07, 'ppl': 1.16813, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.95836639404297, 'tokens/total': 119357360, 'tokens/trainable': 223754, 'epoch': 1.85}
|
||
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 951/1025 [2:39:48<12:05, 9.81s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 952/1025 [2:39:57<11:41, 9.61s/it]
{'loss': 0.1669, 'grad_norm': 2.4882187843322754, 'learning_rate': 2.8349962394641604e-07, 'ppl': 1.18164, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.141651153564453, 'tokens/total': 119467888, 'tokens/trainable': 223992, 'epoch': 1.86}
|
||
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 952/1025 [2:39:57<11:41, 9.61s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 953/1025 [2:40:06<11:20, 9.45s/it]
{'loss': 0.1337, 'grad_norm': 3.906827211380005, 'learning_rate': 2.7592443878003196e-07, 'ppl': 1.14305, 'memory/max_active (GiB)': 16.94, 'memory/max_allocated (GiB)': 16.94, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.195058822631836, 'tokens/total': 119586480, 'tokens/trainable': 224220, 'epoch': 1.86}
|
||
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 953/1025 [2:40:06<11:20, 9.45s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 954/1025 [2:40:16<11:13, 9.48s/it]
{'loss': 0.2655, 'grad_norm': 4.237855911254883, 'learning_rate': 2.6845041849581034e-07, 'ppl': 1.30408, 'memory/max_active (GiB)': 16.04, 'memory/max_allocated (GiB)': 16.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.424049377441406, 'tokens/total': 119698304, 'tokens/trainable': 224452, 'epoch': 1.86}
|
||
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 954/1025 [2:40:16<11:13, 9.48s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 955/1025 [2:40:25<10:55, 9.36s/it]
{'loss': 0.1227, 'grad_norm': 2.479537010192871, 'learning_rate': 2.6107764085007593e-07, 'ppl': 1.13055, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.19481086730957, 'tokens/total': 119824672, 'tokens/trainable': 224680, 'epoch': 1.86}
|
||
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 955/1025 [2:40:25<10:55, 9.36s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 956/1025 [2:40:38<11:57, 10.40s/it]
{'loss': 0.1688, 'grad_norm': 4.337569713592529, 'learning_rate': 2.5380618254587376e-07, 'ppl': 1.18388, 'memory/max_active (GiB)': 24.75, 'memory/max_allocated (GiB)': 24.75, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 20.18436050415039, 'tokens/total': 119999568, 'tokens/trainable': 224938, 'epoch': 1.86}
|
||
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 956/1025 [2:40:38<11:57, 10.40s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 957/1025 [2:40:47<11:22, 10.04s/it]
{'loss': 0.1315, 'grad_norm': 2.5933916568756104, 'learning_rate': 2.4663611923216204e-07, 'ppl': 1.14054, 'memory/max_active (GiB)': 18.58, 'memory/max_allocated (GiB)': 18.58, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.36334991455078, 'tokens/total': 120118272, 'tokens/trainable': 225170, 'epoch': 1.87}
|
||
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 957/1025 [2:40:47<11:22, 10.04s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 958/1025 [2:40:55<10:39, 9.55s/it]
{'loss': 0.1383, 'grad_norm': 2.7093329429626465, 'learning_rate': 2.395675255030383e-07, 'ppl': 1.14832, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.717317581176758, 'tokens/total': 120221552, 'tokens/trainable': 225402, 'epoch': 1.87}
|
||
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 958/1025 [2:40:55<10:39, 9.55s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 959/1025 [2:41:09<11:44, 10.67s/it]
{'loss': 0.1405, 'grad_norm': 2.1861684322357178, 'learning_rate': 2.3260047489695236e-07, 'ppl': 1.15085, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 16.75554084777832, 'tokens/total': 120391568, 'tokens/trainable': 225624, 'epoch': 1.87}
|
||
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 959/1025 [2:41:09<11:44, 10.67s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 960/1025 [2:41:17<10:42, 9.88s/it]
{'loss': 0.1719, 'grad_norm': 3.774671792984009, 'learning_rate': 2.257350398959457e-07, 'ppl': 1.18756, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.804716110229492, 'tokens/total': 120495936, 'tokens/trainable': 225878, 'epoch': 1.87}
|
||
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 960/1025 [2:41:17<10:42, 9.88s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 961/1025 [2:41:26<10:17, 9.64s/it]
{'loss': 0.1355, 'grad_norm': 2.9643566608428955, 'learning_rate': 2.1897129192489873e-07, 'ppl': 1.14511, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.40531349182129, 'tokens/total': 120614128, 'tokens/trainable': 226126, 'epoch': 1.87}
|
||
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 961/1025 [2:41:26<10:17, 9.64s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 962/1025 [2:41:39<11:15, 10.73s/it]
{'loss': 0.2068, 'grad_norm': 2.6833455562591553, 'learning_rate': 2.1230930135078377e-07, 'ppl': 1.22974, 'memory/max_active (GiB)': 18.59, 'memory/max_allocated (GiB)': 18.59, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.696813583374023, 'tokens/total': 120765360, 'tokens/trainable': 226360, 'epoch': 1.88}
|
||
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 962/1025 [2:41:39<11:15, 10.73s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 963/1025 [2:41:48<10:36, 10.27s/it]
{'loss': 0.1468, 'grad_norm': 3.008820056915283, 'learning_rate': 2.057491374819365e-07, 'ppl': 1.15812, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.941686630249023, 'tokens/total': 120885984, 'tokens/trainable': 226588, 'epoch': 1.88}
|
||
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 963/1025 [2:41:48<10:36, 10.27s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 964/1025 [2:41:57<10:04, 9.91s/it]
{'loss': 0.2175, 'grad_norm': 2.866107702255249, 'learning_rate': 1.992908685673345e-07, 'ppl': 1.24297, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.61739730834961, 'tokens/total': 121006672, 'tokens/trainable': 226838, 'epoch': 1.88}
|
||
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 964/1025 [2:41:57<10:04, 9.91s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 965/1025 [2:42:05<09:07, 9.13s/it]
{'loss': 0.1107, 'grad_norm': 2.9477484226226807, 'learning_rate': 1.9293456179588332e-07, 'ppl': 1.11706, 'memory/max_active (GiB)': 14.01, 'memory/max_allocated (GiB)': 14.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.028724670410156, 'tokens/total': 121090720, 'tokens/trainable': 227070, 'epoch': 1.88}
|
||
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 965/1025 [2:42:05<09:07, 9.13s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 966/1025 [2:42:17<10:02, 10.21s/it]
{'loss': 0.0883, 'grad_norm': 2.1323509216308594, 'learning_rate': 1.8668028329572485e-07, 'ppl': 1.09232, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.281084060668945, 'tokens/total': 121237296, 'tokens/trainable': 227302, 'epoch': 1.88}
|
||
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 966/1025 [2:42:17<10:02, 10.21s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 967/1025 [2:42:27<09:36, 9.94s/it]
{'loss': 0.1511, 'grad_norm': 2.700225591659546, 'learning_rate': 1.805280981335411e-07, 'ppl': 1.16311, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.940174102783203, 'tokens/total': 121373296, 'tokens/trainable': 227524, 'epoch': 1.88}
|
||
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 967/1025 [2:42:27<09:36, 9.94s/it]
94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 968/1025 [2:42:36<09:19, 9.82s/it]
{'loss': 0.1619, 'grad_norm': 2.7379117012023926, 'learning_rate': 1.7447807031388264e-07, 'ppl': 1.17574, 'memory/max_active (GiB)': 15.97, 'memory/max_allocated (GiB)': 15.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.121620178222656, 'tokens/total': 121493984, 'tokens/trainable': 227772, 'epoch': 1.89}
|
||
94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 968/1025 [2:42:36<09:19, 9.82s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 969/1025 [2:42:45<08:56, 9.58s/it]
{'loss': 0.1643, 'grad_norm': 2.9628615379333496, 'learning_rate': 1.6853026277850238e-07, 'ppl': 1.17857, 'memory/max_active (GiB)': 15.61, 'memory/max_allocated (GiB)': 15.61, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.865142822265625, 'tokens/total': 121597632, 'tokens/trainable': 228004, 'epoch': 1.89}
|
||
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 969/1025 [2:42:45<08:56, 9.58s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 970/1025 [2:42:54<08:27, 9.24s/it]
{'loss': 0.1763, 'grad_norm': 3.4948410987854004, 'learning_rate': 1.6268473740569723e-07, 'ppl': 1.1928, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.662141799926758, 'tokens/total': 121685840, 'tokens/trainable': 228270, 'epoch': 1.89}
|
||
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 970/1025 [2:42:54<08:27, 9.24s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 971/1025 [2:43:03<08:21, 9.28s/it]
{'loss': 0.191, 'grad_norm': 4.068369388580322, 'learning_rate': 1.5694155500966978e-07, 'ppl': 1.21046, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.041175842285156, 'tokens/total': 121796368, 'tokens/trainable': 228504, 'epoch': 1.89}
|
||
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 971/1025 [2:43:03<08:21, 9.28s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 972/1025 [2:43:12<08:10, 9.26s/it]
{'loss': 0.1558, 'grad_norm': 4.028748989105225, 'learning_rate': 1.5130077533988874e-07, 'ppl': 1.16859, 'memory/max_active (GiB)': 18.48, 'memory/max_allocated (GiB)': 18.48, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.44839859008789, 'tokens/total': 121938048, 'tokens/trainable': 228774, 'epoch': 1.89}
|
||
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 972/1025 [2:43:12<08:10, 9.26s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 973/1025 [2:43:22<08:00, 9.24s/it]
{'loss': 0.1514, 'grad_norm': 3.236738681793213, 'learning_rate': 1.457624570804772e-07, 'ppl': 1.16346, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.464317321777344, 'tokens/total': 122060720, 'tokens/trainable': 228998, 'epoch': 1.9}
|
||
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 973/1025 [2:43:22<08:00, 9.24s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 974/1025 [2:43:31<07:49, 9.20s/it]
{'loss': 0.1497, 'grad_norm': 3.2220325469970703, 'learning_rate': 1.4032665784958877e-07, 'ppl': 1.16149, 'memory/max_active (GiB)': 14.06, 'memory/max_allocated (GiB)': 14.06, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.35543441772461, 'tokens/total': 122158080, 'tokens/trainable': 229228, 'epoch': 1.9}
|
||
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 974/1025 [2:43:31<07:49, 9.20s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 975/1025 [2:43:40<07:36, 9.13s/it]
{'loss': 0.1268, 'grad_norm': 2.627562999725342, 'learning_rate': 1.3499343419882016e-07, 'ppl': 1.13519, 'memory/max_active (GiB)': 14.02, 'memory/max_allocated (GiB)': 14.02, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.775333404541016, 'tokens/total': 122268608, 'tokens/trainable': 229458, 'epoch': 1.9}
|
||
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 975/1025 [2:43:40<07:36, 9.13s/it]
95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 976/1025 [2:43:47<07:08, 8.75s/it]
{'loss': 0.1211, 'grad_norm': 2.4970614910125732, 'learning_rate': 1.2976284161261843e-07, 'ppl': 1.12874, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.265714645385742, 'tokens/total': 122373984, 'tokens/trainable': 229702, 'epoch': 1.9}
|
||
95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 976/1025 [2:43:47<07:08, 8.75s/it]
95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 977/1025 [2:44:00<07:58, 9.97s/it]
{'loss': 0.152, 'grad_norm': 3.0826568603515625, 'learning_rate': 1.2463493450769914e-07, 'ppl': 1.16416, 'memory/max_active (GiB)': 14.05, 'memory/max_allocated (GiB)': 14.05, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.329864501953125, 'tokens/total': 122518128, 'tokens/trainable': 230000, 'epoch': 1.9}
|
||
95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 977/1025 [2:44:00<07:58, 9.97s/it]
95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 978/1025 [2:44:13<08:34, 10.94s/it]
{'loss': 0.175, 'grad_norm': 3.340069532394409, 'learning_rate': 1.196097662324902e-07, 'ppl': 1.19125, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 19.74912452697754, 'tokens/total': 122693024, 'tokens/trainable': 230260, 'epoch': 1.91}
|
||
95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 978/1025 [2:44:13<08:34, 10.94s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 979/1025 [2:44:22<07:44, 10.09s/it]
{'loss': 0.1513, 'grad_norm': 2.795377492904663, 'learning_rate': 1.1468738906656785e-07, 'ppl': 1.16335, 'memory/max_active (GiB)': 16.96, 'memory/max_allocated (GiB)': 16.96, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.449419021606445, 'tokens/total': 122783456, 'tokens/trainable': 230514, 'epoch': 1.91}
|
||
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 979/1025 [2:44:22<07:44, 10.09s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 980/1025 [2:44:31<07:22, 9.83s/it]
{'loss': 0.1256, 'grad_norm': 3.3670990467071533, 'learning_rate': 1.0986785422011593e-07, 'ppl': 1.13383, 'memory/max_active (GiB)': 13.51, 'memory/max_allocated (GiB)': 13.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.179424285888672, 'tokens/total': 122899136, 'tokens/trainable': 230736, 'epoch': 1.91}
|
||
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 980/1025 [2:44:31<07:22, 9.83s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 981/1025 [2:44:39<06:53, 9.41s/it]
{'loss': 0.1894, 'grad_norm': 2.9538700580596924, 'learning_rate': 1.0515121183339528e-07, 'ppl': 1.20852, 'memory/max_active (GiB)': 13.99, 'memory/max_allocated (GiB)': 13.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.888357162475586, 'tokens/total': 123004096, 'tokens/trainable': 230978, 'epoch': 1.91}
|
||
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 981/1025 [2:44:39<06:53, 9.41s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 982/1025 [2:44:48<06:40, 9.31s/it]
{'loss': 0.159, 'grad_norm': 2.656266927719116, 'learning_rate': 1.0053751097621855e-07, 'ppl': 1.17234, 'memory/max_active (GiB)': 18.55, 'memory/max_allocated (GiB)': 18.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.562211990356445, 'tokens/total': 123130464, 'tokens/trainable': 231218, 'epoch': 1.91}
|
||
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 982/1025 [2:44:48<06:40, 9.31s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 983/1025 [2:44:57<06:19, 9.04s/it]
{'loss': 0.132, 'grad_norm': 2.8274214267730713, 'learning_rate': 9.602679964744288e-08, 'ppl': 1.14111, 'memory/max_active (GiB)': 16.97, 'memory/max_allocated (GiB)': 16.97, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.701236724853516, 'tokens/total': 123235616, 'tokens/trainable': 231450, 'epoch': 1.92}
|
||
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 983/1025 [2:44:57<06:19, 9.04s/it]
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 984/1025 [2:45:10<07:01, 10.29s/it]
{'loss': 0.2115, 'grad_norm': 3.527496576309204, 'learning_rate': 9.161912477446689e-08, 'ppl': 1.23553, 'memory/max_active (GiB)': 17.06, 'memory/max_allocated (GiB)': 17.06, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 16.57984161376953, 'tokens/total': 123395200, 'tokens/trainable': 231668, 'epoch': 1.92}
|
||
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 984/1025 [2:45:10<07:01, 10.29s/it]
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 985/1025 [2:45:19<06:38, 9.95s/it]
{'loss': 0.1565, 'grad_norm': 3.1477863788604736, 'learning_rate': 8.731453221274444e-08, 'ppl': 1.16941, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.259733200073242, 'tokens/total': 123517872, 'tokens/trainable': 231908, 'epoch': 1.92}
|
||
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 985/1025 [2:45:19<06:38, 9.95s/it]
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 986/1025 [2:45:28<06:18, 9.69s/it]
{'loss': 0.1309, 'grad_norm': 3.354074478149414, 'learning_rate': 8.311306674531062e-08, 'ppl': 1.13985, 'memory/max_active (GiB)': 15.59, 'memory/max_allocated (GiB)': 15.59, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.53795051574707, 'tokens/total': 123628400, 'tokens/trainable': 232130, 'epoch': 1.92}
|
||
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 986/1025 [2:45:28<06:18, 9.69s/it]
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 987/1025 [2:45:36<05:46, 9.13s/it]
{'loss': 0.1874, 'grad_norm': 2.79083514213562, 'learning_rate': 7.901477208230978e-08, 'ppl': 1.20611, 'memory/max_active (GiB)': 15.64, 'memory/max_allocated (GiB)': 15.64, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.34598159790039, 'tokens/total': 123731792, 'tokens/trainable': 232358, 'epoch': 1.92}
|
||
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 987/1025 [2:45:36<05:46, 9.13s/it]
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 988/1025 [2:45:44<05:29, 8.92s/it]
{'loss': 0.1954, 'grad_norm': 3.9278066158294678, 'learning_rate': 7.501969086054717e-08, 'ppl': 1.2158, 'memory/max_active (GiB)': 17.04, 'memory/max_allocated (GiB)': 17.04, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.430635452270508, 'tokens/total': 123826496, 'tokens/trainable': 232588, 'epoch': 1.93}
|
||
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 988/1025 [2:45:44<05:29, 8.92s/it]
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 989/1025 [2:45:52<05:09, 8.59s/it]
{'loss': 0.1011, 'grad_norm': 2.0747997760772705, 'learning_rate': 7.1127864643038e-08, 'ppl': 1.10639, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.060791015625, 'tokens/total': 123933856, 'tokens/trainable': 232822, 'epoch': 1.93}
|
||
96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 989/1025 [2:45:52<05:09, 8.59s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 990/1025 [2:46:05<05:46, 9.90s/it]
{'loss': 0.1268, 'grad_norm': 3.3541574478149414, 'learning_rate': 6.733933391858238e-08, 'ppl': 1.13519, 'memory/max_active (GiB)': 13.08, 'memory/max_allocated (GiB)': 13.08, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.179357528686523, 'tokens/total': 124074752, 'tokens/trainable': 233044, 'epoch': 1.93}
|
||
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 990/1025 [2:46:05<05:46, 9.90s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 991/1025 [2:46:14<05:28, 9.65s/it]
{'loss': 0.1537, 'grad_norm': 2.662348508834839, 'learning_rate': 6.365413810134002e-08, 'ppl': 1.16614, 'memory/max_active (GiB)': 15.63, 'memory/max_allocated (GiB)': 15.63, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.898277282714844, 'tokens/total': 124195440, 'tokens/trainable': 233278, 'epoch': 1.93}
|
||
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 991/1025 [2:46:14<05:28, 9.65s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 992/1025 [2:46:22<04:59, 9.07s/it]
{'loss': 0.112, 'grad_norm': 2.3004744052886963, 'learning_rate': 6.007231553041837e-08, 'ppl': 1.11851, 'memory/max_active (GiB)': 15.62, 'memory/max_allocated (GiB)': 15.62, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.39602279663086, 'tokens/total': 124278048, 'tokens/trainable': 233526, 'epoch': 1.93}
|
||
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 992/1025 [2:46:22<04:59, 9.07s/it]
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 993/1025 [2:46:34<05:22, 10.07s/it]
{'loss': 0.1457, 'grad_norm': 2.4244167804718018, 'learning_rate': 5.659390346948179e-08, 'ppl': 1.15685, 'memory/max_active (GiB)': 24.64, 'memory/max_allocated (GiB)': 24.64, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 20.060935974121094, 'tokens/total': 124423776, 'tokens/trainable': 233774, 'epoch': 1.94}
|
||
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 993/1025 [2:46:34<05:22, 10.07s/it]
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 994/1025 [2:46:43<05:02, 9.77s/it]
{'loss': 0.137, 'grad_norm': 2.8223798274993896, 'learning_rate': 5.321893810635526e-08, 'ppl': 1.14683, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.463632583618164, 'tokens/total': 124535088, 'tokens/trainable': 234040, 'epoch': 1.94}
|
||
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 994/1025 [2:46:43<05:02, 9.77s/it]
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 995/1025 [2:46:53<04:47, 9.60s/it]
{'loss': 0.1368, 'grad_norm': 2.8297886848449707, 'learning_rate': 4.994745455264793e-08, 'ppl': 1.1466, 'memory/max_active (GiB)': 18.54, 'memory/max_allocated (GiB)': 18.54, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.553993225097656, 'tokens/total': 124671088, 'tokens/trainable': 234274, 'epoch': 1.94}
|
||
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 995/1025 [2:46:53<04:47, 9.60s/it]
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 996/1025 [2:47:02<04:35, 9.49s/it]
{'loss': 0.1328, 'grad_norm': 2.6573591232299805, 'learning_rate': 4.6779486843397946e-08, 'ppl': 1.14202, 'memory/max_active (GiB)': 12.26, 'memory/max_allocated (GiB)': 12.17, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.113924026489258, 'tokens/total': 124766192, 'tokens/trainable': 234514, 'epoch': 1.94}
|
||
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 996/1025 [2:47:02<04:35, 9.49s/it]
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 997/1025 [2:47:15<04:53, 10.49s/it]
{'loss': 0.1222, 'grad_norm': 2.2243268489837646, 'learning_rate': 4.371506793670599e-08, 'ppl': 1.12998, 'memory/max_active (GiB)': 18.53, 'memory/max_allocated (GiB)': 18.53, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.852731704711914, 'tokens/total': 124948736, 'tokens/trainable': 234742, 'epoch': 1.94}
|
||
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 997/1025 [2:47:15<04:53, 10.49s/it]
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 998/1025 [2:47:24<04:32, 10.09s/it]
{'loss': 0.1477, 'grad_norm': 2.0124154090881348, 'learning_rate': 4.075422971340115e-08, 'ppl': 1.15917, 'memory/max_active (GiB)': 16.99, 'memory/max_allocated (GiB)': 16.99, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.986427307128906, 'tokens/total': 125075104, 'tokens/trainable': 234970, 'epoch': 1.95}
|
||
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 998/1025 [2:47:24<04:32, 10.09s/it]
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 999/1025 [2:47:37<04:43, 10.92s/it]
{'loss': 0.1635, 'grad_norm': 3.4736387729644775, 'learning_rate': 3.78970029767034e-08, 'ppl': 1.17763, 'memory/max_active (GiB)': 24.73, 'memory/max_allocated (GiB)': 24.73, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.155298233032227, 'tokens/total': 125290864, 'tokens/trainable': 235190, 'epoch': 1.95}
|
||
97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 999/1025 [2:47:37<04:43, 10.92s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1000/1025 [2:47:45<04:10, 10.01s/it]
{'loss': 0.1553, 'grad_norm': 3.264885187149048, 'learning_rate': 3.5143417451907195e-08, 'ppl': 1.16801, 'memory/max_active (GiB)': 14.22, 'memory/max_allocated (GiB)': 14.22, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.3806209564209, 'tokens/total': 125381328, 'tokens/trainable': 235420, 'epoch': 1.95}
|
||
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1000/1025 [2:47:45<04:10, 10.01s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1001/1025 [2:47:52<03:43, 9.31s/it]
{'loss': 0.1391, 'grad_norm': 2.8829143047332764, 'learning_rate': 3.249350178607058e-08, 'ppl': 1.14924, 'memory/max_active (GiB)': 15.95, 'memory/max_allocated (GiB)': 15.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 33.26637268066406, 'tokens/total': 125470352, 'tokens/trainable': 235674, 'epoch': 1.95}
|
||
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1001/1025 [2:47:52<03:43, 9.31s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1002/1025 [2:48:01<03:28, 9.05s/it]
{'loss': 0.1482, 'grad_norm': 2.81877064704895, 'learning_rate': 2.994728354771659e-08, 'ppl': 1.15974, 'memory/max_active (GiB)': 15.96, 'memory/max_allocated (GiB)': 15.96, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.818096160888672, 'tokens/total': 125574528, 'tokens/trainable': 235908, 'epoch': 1.95}
|
||
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1002/1025 [2:48:01<03:28, 9.05s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1003/1025 [2:48:10<03:19, 9.07s/it]
{'loss': 0.1347, 'grad_norm': 2.3474385738372803, 'learning_rate': 2.7504789226548977e-08, 'ppl': 1.14419, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.75421714782715, 'tokens/total': 125708560, 'tokens/trainable': 236142, 'epoch': 1.96}
|
||
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1003/1025 [2:48:10<03:19, 9.07s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1004/1025 [2:48:19<03:12, 9.14s/it]
{'loss': 0.1596, 'grad_norm': 2.3773767948150635, 'learning_rate': 2.5166044233172483e-08, 'ppl': 1.17304, 'memory/max_active (GiB)': 18.65, 'memory/max_allocated (GiB)': 18.65, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 24.173946380615234, 'tokens/total': 125829248, 'tokens/trainable': 236366, 'epoch': 1.96}
|
||
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1004/1025 [2:48:19<03:12, 9.14s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1005/1025 [2:48:27<02:55, 8.77s/it]
{'loss': 0.1447, 'grad_norm': 4.406424522399902, 'learning_rate': 2.2931072898830787e-08, 'ppl': 1.15569, 'memory/max_active (GiB)': 13.56, 'memory/max_allocated (GiB)': 13.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.86435317993164, 'tokens/total': 125915872, 'tokens/trainable': 236616, 'epoch': 1.96}
|
||
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1005/1025 [2:48:27<02:55, 8.77s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1006/1025 [2:48:35<02:40, 8.45s/it]
{'loss': 0.1216, 'grad_norm': 2.690547227859497, 'learning_rate': 2.0799898475156732e-08, 'ppl': 1.1293, 'memory/max_active (GiB)': 16.0, 'memory/max_allocated (GiB)': 16.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.539676666259766, 'tokens/total': 125959408, 'tokens/trainable': 236866, 'epoch': 1.96}
|
||
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1006/1025 [2:48:35<02:40, 8.45s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1007/1025 [2:48:43<02:28, 8.27s/it]
{'loss': 0.1175, 'grad_norm': 2.2230303287506104, 'learning_rate': 1.8772543133922515e-08, 'ppl': 1.12468, 'memory/max_active (GiB)': 16.01, 'memory/max_allocated (GiB)': 16.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 29.729684829711914, 'tokens/total': 126048432, 'tokens/trainable': 237098, 'epoch': 1.96}
|
||
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1007/1025 [2:48:43<02:28, 8.27s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1008/1025 [2:48:56<02:44, 9.67s/it]
{'loss': 0.1797, 'grad_norm': 3.008274555206299, 'learning_rate': 1.6849027966816535e-08, 'ppl': 1.19686, 'memory/max_active (GiB)': 16.96, 'memory/max_allocated (GiB)': 16.96, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.215862274169922, 'tokens/total': 126223328, 'tokens/trainable': 237320, 'epoch': 1.96}
|
||
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1008/1025 [2:48:56<02:44, 9.67s/it]
98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1009/1025 [2:49:03<02:26, 9.15s/it]
{'loss': 0.1456, 'grad_norm': 2.2243287563323975, 'learning_rate': 1.5029372985221335e-08, 'ppl': 1.15673, 'memory/max_active (GiB)': 13.07, 'memory/max_allocated (GiB)': 13.07, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 31.096757888793945, 'tokens/total': 126315136, 'tokens/trainable': 237566, 'epoch': 1.97}
|
||
98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1009/1025 [2:49:04<02:26, 9.15s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1010/1025 [2:49:17<02:35, 10.38s/it]
{'loss': 0.1886, 'grad_norm': 3.3627591133117676, 'learning_rate': 1.3313597120002686e-08, 'ppl': 1.20756, 'memory/max_active (GiB)': 16.03, 'memory/max_allocated (GiB)': 16.03, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.283971786499023, 'tokens/total': 126484352, 'tokens/trainable': 237794, 'epoch': 1.97}
|
||
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1010/1025 [2:49:17<02:35, 10.38s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1011/1025 [2:49:30<02:35, 11.11s/it]
{'loss': 0.1283, 'grad_norm': 3.240111827850342, 'learning_rate': 1.1701718221316382e-08, 'ppl': 1.13689, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.67110252380371, 'tokens/total': 126651584, 'tokens/trainable': 238020, 'epoch': 1.97}
|
||
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1011/1025 [2:49:30<02:35, 11.11s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1012/1025 [2:49:37<02:10, 10.05s/it]
{'loss': 0.1214, 'grad_norm': 2.4275994300842285, 'learning_rate': 1.0193753058420631e-08, 'ppl': 1.12908, 'memory/max_active (GiB)': 15.55, 'memory/max_allocated (GiB)': 15.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.05071258544922, 'tokens/total': 126731840, 'tokens/trainable': 238246, 'epoch': 1.97}
|
||
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1012/1025 [2:49:37<02:10, 10.05s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1013/1025 [2:49:45<01:53, 9.50s/it]
{'loss': 0.2089, 'grad_norm': 2.9077506065368652, 'learning_rate': 8.789717319505065e-09, 'ppl': 1.23232, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 32.802345275878906, 'tokens/total': 126826544, 'tokens/trainable': 238514, 'epoch': 1.97}
|
||
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1013/1025 [2:49:45<01:53, 9.50s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1014/1025 [2:49:54<01:40, 9.14s/it]
{'loss': 0.1306, 'grad_norm': 2.7877800464630127, 'learning_rate': 7.48962561151978e-09, 'ppl': 1.13951, 'memory/max_active (GiB)': 16.98, 'memory/max_allocated (GiB)': 16.98, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.25409698486328, 'tokens/total': 126932608, 'tokens/trainable': 238764, 'epoch': 1.98}
|
||
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1014/1025 [2:49:54<01:40, 9.14s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1015/1025 [2:50:07<01:42, 10.26s/it]
{'loss': 0.1537, 'grad_norm': 3.2070140838623047, 'learning_rate': 6.2934914600309984e-09, 'ppl': 1.16614, 'memory/max_active (GiB)': 18.52, 'memory/max_allocated (GiB)': 18.52, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.934612274169922, 'tokens/total': 127101824, 'tokens/trainable': 238994, 'epoch': 1.98}
|
||
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1015/1025 [2:50:07<01:42, 10.26s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1016/1025 [2:50:16<01:30, 10.07s/it]
{'loss': 0.1418, 'grad_norm': 4.0518341064453125, 'learning_rate': 5.201327309077853e-09, 'ppl': 1.15235, 'memory/max_active (GiB)': 18.51, 'memory/max_allocated (GiB)': 18.51, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.33824348449707, 'tokens/total': 127235840, 'tokens/trainable': 239218, 'epoch': 1.98}
|
||
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1016/1025 [2:50:16<01:30, 10.07s/it]
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1017/1025 [2:50:25<01:16, 9.59s/it]
{'loss': 0.1834, 'grad_norm': 3.1003761291503906, 'learning_rate': 4.21314452104249e-09, 'ppl': 1.20129, 'memory/max_active (GiB)': 15.6, 'memory/max_allocated (GiB)': 15.6, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 27.996875762939453, 'tokens/total': 127348880, 'tokens/trainable': 239454, 'epoch': 1.98}
|
||
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1017/1025 [2:50:25<01:16, 9.59s/it]
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 1018/1025 [2:50:33<01:04, 9.22s/it]
{'loss': 0.1386, 'grad_norm': 3.9751415252685547, 'learning_rate': 3.328953376530164e-09, 'ppl': 1.14866, 'memory/max_active (GiB)': 16.95, 'memory/max_allocated (GiB)': 16.95, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 26.42085838317871, 'tokens/total': 127459424, 'tokens/trainable': 239674, 'epoch': 1.98}
|
||
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 1018/1025 [2:50:33<01:04, 9.22s/it]
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 1019/1025 [2:50:46<01:02, 10.48s/it]
{'loss': 0.183, 'grad_norm': 2.827892541885376, 'learning_rate': 2.5487630742659917e-09, 'ppl': 1.20081, 'memory/max_active (GiB)': 13.78, 'memory/max_allocated (GiB)': 13.78, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 17.94536590576172, 'tokens/total': 127651008, 'tokens/trainable': 239914, 'epoch': 1.99}
|
||
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 1019/1025 [2:50:46<01:02, 10.48s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 1020/1025 [2:50:56<00:50, 10.16s/it]
{'loss': 0.1997, 'grad_norm': 3.1273624897003174, 'learning_rate': 1.872581730997247e-09, 'ppl': 1.22104, 'memory/max_active (GiB)': 15.75, 'memory/max_allocated (GiB)': 15.75, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 30.76217269897461, 'tokens/total': 127755552, 'tokens/trainable': 240202, 'epoch': 1.99}
|
||
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 1020/1025 [2:50:56<00:50, 10.16s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 1021/1025 [2:51:05<00:39, 9.92s/it]
{'loss': 0.1493, 'grad_norm': 2.9866466522216797, 'learning_rate': 1.3004163814078762e-09, 'ppl': 1.16102, 'memory/max_active (GiB)': 18.56, 'memory/max_allocated (GiB)': 18.56, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 22.965578079223633, 'tokens/total': 127897232, 'tokens/trainable': 240416, 'epoch': 1.99}
|
||
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 1021/1025 [2:51:05<00:39, 9.92s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 1022/1025 [2:51:18<00:32, 10.76s/it]
{'loss': 0.1, 'grad_norm': 2.4564878940582275, 'learning_rate': 8.322729780474437e-10, 'ppl': 1.10517, 'memory/max_active (GiB)': 13.1, 'memory/max_allocated (GiB)': 13.1, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 18.907007217407227, 'tokens/total': 128038128, 'tokens/trainable': 240656, 'epoch': 1.99}
|
||
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 1022/1025 [2:51:18<00:32, 10.76s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊| 1023/1025 [2:51:26<00:20, 10.10s/it]
{'loss': 0.1828, 'grad_norm': 3.183180332183838, 'learning_rate': 4.681563912700693e-10, 'ppl': 1.20057, 'memory/max_active (GiB)': 17.01, 'memory/max_allocated (GiB)': 17.01, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 28.930532455444336, 'tokens/total': 128141792, 'tokens/trainable': 240902, 'epoch': 1.99}
|
||
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊| 1023/1025 [2:51:26<00:20, 10.10s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 1024/1025 [2:51:36<00:09, 9.87s/it]
{'loss': 0.0781, 'grad_norm': 1.802045464515686, 'learning_rate': 2.0807040917669719e-10, 'ppl': 1.08123, 'memory/max_active (GiB)': 14.0, 'memory/max_allocated (GiB)': 14.0, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 25.580398559570312, 'tokens/total': 128220848, 'tokens/trainable': 241140, 'epoch': 2.0}
|
||
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 1024/1025 [2:51:36<00:09, 9.87s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1025/1025 [2:51:45<00:00, 9.71s/it]
{'loss': 0.132, 'grad_norm': 2.6475608348846436, 'learning_rate': 5.201773758622963e-11, 'ppl': 1.14111, 'memory/max_active (GiB)': 13.55, 'memory/max_allocated (GiB)': 13.55, 'memory/device_reserved (GiB)': 28.84, 'tokens/train_per_sec_per_gpu': 23.9193058013916, 'tokens/total': 128330960, 'tokens/trainable': 241362, 'epoch': 2.0}
|
||
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1025/1025 [2:51:45<00:00, 9.71s/it][2026-03-04 18:03:46,687] [WARNING] [py.warnings._showwarnmsg:109] [PID:2633803] /usr/local/lib/python3.10/dist-packages/torch/distributed/fsdp/fully_sharded_data_parallel.py:678: FutureWarning: FSDP.state_dict_type() and FSDP.set_state_dict_type() are being deprecated. Please use APIs, get_state_dict() and set_state_dict(), which can support different parallelisms, FSDP1, FSDP2, DDP. API doc: https://pytorch.org/docs/stable/distributed.checkpoint.html#torch.distributed.checkpoint.state_dict.get_state_dict .Tutorial: https://pytorch.org/tutorials/recipes/distributed_checkpoint_recipe.html .
|
||
warnings.warn(
|
||
|
||
[2026-03-04 18:03:58,458] [INFO] [axolotl.core.trainers.base._save:721] [PID:2633803] Saving model checkpoint to ./outputs-ood100_added_anno/checkpoint-1025
|
||
{'train_runtime': 10416.9915, 'train_samples_per_second': 4.723, 'train_steps_per_second': 0.098, 'train_loss': 0.3067976066760901, 'memory/max_active (GiB)': 10.58, 'memory/max_allocated (GiB)': 10.58, 'memory/device_reserved (GiB)': 28.84, 'epoch': 2.0, 'tokens/train_per_sec_per_gpu': 0.0}
|
||
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1025/1025 [2:53:32<00:00, 9.71s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1025/1025 [2:53:32<00:00, 10.16s/it]
|
||
[2026-03-04 18:08:37,032] [INFO] [axolotl.train.save_trained_model:226] [PID:2633803] Training completed! Saving trained model to ./outputs-ood100_added_anno.
|
||
[2026-03-04 18:08:37,038] [WARNING] [py.warnings._showwarnmsg:109] [PID:2633803] /usr/local/lib/python3.10/dist-packages/torch/distributed/fsdp/fully_sharded_data_parallel.py:678: FutureWarning: FSDP.state_dict_type() and FSDP.set_state_dict_type() are being deprecated. Please use APIs, get_state_dict() and set_state_dict(), which can support different parallelisms, FSDP1, FSDP2, DDP. API doc: https://pytorch.org/docs/stable/distributed.checkpoint.html#torch.distributed.checkpoint.state_dict.get_state_dict .Tutorial: https://pytorch.org/tutorials/recipes/distributed_checkpoint_recipe.html .
|
||
warnings.warn(
|
||
|
||
[2026-03-04 18:08:47,917] [INFO] [axolotl.core.trainers.base._save:721] [PID:2633803] Saving model checkpoint to ./outputs-ood100_added_anno
|
||
[2026-03-04 18:09:25,549] [INFO] [axolotl.core.trainers.base._save:721] [PID:2633803] Saving model checkpoint to ./outputs-ood100_added_anno
|
||
Processing Files (0 / 0) : | | 0.00B / 0.00B
|
||
New Data Upload : | | 0.00B / 0.00B [A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 1%|█ | 50.3MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 1%|█▍ | 58.7MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 1%|█ | 50.3MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 1%|█▍ | 58.7MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 1%|█▎ | 126MB / 9.28GB, ???B/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 2%|██ | 101MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 3%|██▌ | 109MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 2%|██▍ | 227MB / 9.28GB, 503MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 3%|███ | 151MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 3%|███▎ | 143MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 3%|███▍ | 311MB / 9.28GB, 461MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 4%|████ | 201MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 4%|████▎ | 184MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 4%|████▍ | 403MB / 9.28GB, 462MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 5%|████▉ | 243MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 5%|█████▌ | 235MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 5%|█████▍ | 495MB / 9.28GB, 462MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 6%|█████▊ | 285MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 7%|██████▋ | 285MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 6%|██████▍ | 588MB / 9.28GB, 462MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 7%|██████▋ | 327MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 8%|███████▉ | 336MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 7%|███████▍ | 680MB / 9.28GB, 461MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 8%|███████▋ | 377MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 9%|█████████ | 386MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 8%|████████▍ | 781MB / 9.28GB, 468MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 9%|████████▋ | 428MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 10%|██████████ | 428MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 9%|█████████▍ | 873MB / 9.28GB, 467MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 9%|█████████▌ | 470MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 11%|███████████▎ | 478MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 10%|██████████▍ | 965MB / 9.28GB, 466MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 10%|██████████▌ | 520MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 12%|████████████▍ | 528MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 11%|███████████▌ | 1.07GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 11%|███████████▏ | 554MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 14%|█████████████▋ | 579MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 12%|████████████▌ | 1.15GB / 9.28GB, 465MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 12%|████████████▏ | 604MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 14%|██████████████▍ | 612MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 13%|█████████████▍ | 1.23GB / 9.28GB, 461MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 13%|█████████████ | 646MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 15%|███████████████▌ | 663MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 14%|██████████████▍ | 1.33GB / 9.28GB, 461MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 14%|██████████████ | 696MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 16%|████████████████▌ | 705MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 15%|███████████████▍ | 1.42GB / 9.28GB, 461MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 15%|██████████████▉ | 738MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 17%|█████████████████▌ | 747MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 16%|████████████████▎ | 1.50GB / 9.28GB, 459MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 16%|███████████████▊ | 780MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 19%|██████████████████▊ | 797MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 17%|█████████████████▎ | 1.59GB / 9.28GB, 459MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 16%|████████████████▋ | 822MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 20%|███████████████████▊ | 839MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 18%|██████████████████▎ | 1.68GB / 9.28GB, 456MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 18%|█████████████████▋ | 872MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 21%|████████████████████▉ | 889MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 19%|███████████████████▎ | 1.78GB / 9.28GB, 459MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 19%|██████████████████▋ | 923MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 22%|██████████████████████▏ | 940MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 20%|████████████████████▍ | 1.88GB / 9.28GB, 461MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 20%|███████████████████▋ | 973MB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 23%|███████████████████████▏ | 981MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 21%|█████████████████████▍ | 1.97GB / 9.28GB, 461MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 20%|████████████████████▌ | 1.01GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 24%|████████████████████████▎ | 1.03GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 22%|██████████████████████▍ | 2.06GB / 9.28GB, 461MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 22%|█████████████████████▊ | 1.07GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 25%|█████████████████████████▌ | 1.08GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 23%|███████████████████████▋ | 2.17GB / 9.28GB, 465MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 22%|██████████████████████▌ | 1.12GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 26%|██████████████████████████▋ | 1.13GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 24%|████████████████████████▋ | 2.27GB / 9.28GB, 465MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 23%|███████████████████████▍ | 1.16GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 28%|███████████████████████████▉ | 1.18GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 25%|█████████████████████████▋ | 2.36GB / 9.28GB, 465MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 24%|████████████████████████▍ | 1.21GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 29%|████████████████████████████▊ | 1.22GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 26%|██████████████████████████▋ | 2.45GB / 9.28GB, 465MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 25%|█████████████████████████▎ | 1.25GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 30%|██████████████████████████████ | 1.28GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 27%|███████████████████████████▋ | 2.54GB / 9.28GB, 465MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 26%|██████████████████████████▎ | 1.30GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 31%|███████████████████████████████ | 1.32GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 28%|████████████████████████████▋ | 2.63GB / 9.28GB, 464MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 27%|███████████████████████████▍ | 1.35GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 32%|████████████████████████████████ | 1.36GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 29%|█████████████████████████████▋ | 2.73GB / 9.28GB, 464MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 28%|████████████████████████████▍ | 1.40GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 33%|█████████████████████████████████▏ | 1.41GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 30%|██████████████████████████████▊ | 2.83GB / 9.28GB, 466MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 29%|█████████████████████████████▍ | 1.45GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 34%|██████████████████████████████████▍ | 1.46GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 32%|███████████████████████████████▊ | 2.93GB / 9.28GB, 467MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 30%|██████████████████████████████▍ | 1.50GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 35%|███████████████████████████████████▌ | 1.51GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 33%|████████████████████████████████▉ | 3.03GB / 9.28GB, 468MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 31%|███████████████████████████████▍ | 1.55GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 36%|████████████████████████████████████▊ | 1.56GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 34%|██████████████████████████████████ | 3.13GB / 9.28GB, 469MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 32%|████████████████████████████████▍ | 1.60GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 38%|█████████████████████████████████████▉ | 1.61GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 35%|███████████████████████████████████▏ | 3.23GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 33%|█████████████████████████████████▍ | 1.65GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 39%|██████████████████████████████████████▉ | 1.65GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 36%|████████████████████████████████████▏ | 3.32GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 34%|██████████████████████████████████▎ | 1.69GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 40%|████████████████████████████████████████▏ | 1.70GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 37%|█████████████████████████████████████▏ | 3.41GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 35%|███████████████████████████████████▎ | 1.74GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 41%|█████████████████████████████████████████▏ | 1.74GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 38%|██████████████████████████████████████▏ | 3.51GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 36%|████████████████████████████████████▍ | 1.80GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 42%|██████████████████████████████████████████▎ | 1.80GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 39%|███████████████████████████████████████▏ | 3.61GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 37%|█████████████████████████████████████▍ | 1.85GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 43%|███████████████████████████████████████████▍ | 1.85GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 40%|████████████████████████████████████████▎ | 3.71GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 38%|██████████████████████████████████████▍ | 1.90GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 44%|████████████████████████████████████████████▍ | 1.89GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 41%|█████████████████████████████████████████▎ | 3.80GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 39%|███████████████████████████████████████▎ | 1.94GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 45%|█████████████████████████████████████████████▋ | 1.94GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 42%|██████████████████████████████████████████▎ | 3.89GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 40%|████████████████████████████████████████▎ | 1.99GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 46%|██████████████████████████████████████████████▋ | 1.98GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 43%|███████████████████████████████████████████▎ | 3.98GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 41%|█████████████████████████████████████████▏ | 2.03GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 47%|███████████████████████████████████████████████▊ | 2.03GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 44%|████████████████████████████████████████████▎ | 4.08GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 42%|██████████████████████████████████████████▏ | 2.08GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 49%|█████████████████████████████████████████████████ | 2.08GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 45%|█████████████████████████████████████████████▍ | 4.18GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 43%|███████████████████████████████████████████ | 2.12GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 50%|██████████████████████████████████████████████████▏ | 2.13GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 46%|██████████████████████████████████████████████▍ | 4.27GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 43%|███████████████████████████████████████████▊ | 2.16GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 51%|███████████████████████████████████████████████████▏ | 2.17GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 47%|███████████████████████████████████████████████▎ | 4.35GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 44%|████████████████████████████████████████████▉ | 2.21GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 52%|████████████████████████████████████████████████████▏ | 2.21GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 48%|████████████████████████████████████████████████▎ | 4.45GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 45%|█████████████████████████████████████████████▉ | 2.26GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 53%|█████████████████████████████████████████████████████▍ | 2.26GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 49%|█████████████████████████████████████████████████▍ | 4.55GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 47%|███████████████████████████████████████████████ | 2.32GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 54%|██████████████████████████████████████████████████████▎ | 2.31GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 50%|██████████████████████████████████████████████████▌ | 4.65GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 47%|███████████████████████████████████████████████▉ | 2.37GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 55%|███████████████████████████████████████████████████████▎ | 2.35GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 51%|███████████████████████████████████████████████████▍ | 4.73GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 48%|████████████████████████████████████████████████▉ | 2.42GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 56%|████████████████████████████████████████████████████████▌ | 2.40GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 52%|████████████████████████████████████████████████████▌ | 4.83GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 49%|█████████████████████████████████████████████████▉ | 2.47GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 57%|█████████████████████████████████████████████████████████▋ | 2.45GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 53%|█████████████████████████████████████████████████████▋ | 4.93GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 50%|██████████████████████████████████████████████████▊ | 2.51GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 58%|██████████████████████████████████████████████████████████▉ | 2.50GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 54%|██████████████████████████████████████████████████████▋ | 5.03GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 51%|███████████████████████████████████████████████████▊ | 2.56GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 60%|████████████████████████████████████████████████████████████ | 2.55GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 55%|███████████████████████████████████████████████████████▊ | 5.13GB / 9.28GB, 472MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 52%|████████████████████████████████████████████████████▋ | 2.60GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 60%|█████████████████████████████████████████████████████████████ | 2.59GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 56%|████████████████████████████████████████████████████████▋ | 5.21GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 53%|█████████████████████████████████████████████████████▋ | 2.65GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 61%|██████████████████████████████████████████████████████████████ | 2.63GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 57%|█████████████████████████████████████████████████████████▋ | 5.30GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 54%|██████████████████████████████████████████████████████▊ | 2.70GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 63%|███████████████████████████████████████████████████████████████▎ | 2.68GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 58%|██████████████████████████████████████████████████████████▊ | 5.40GB / 9.28GB, 472MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 55%|███████████████████████████████████████████████████████▌ | 2.74GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 64%|████████████████████████████████████████████████████████████████▍ | 2.73GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 59%|███████████████████████████████████████████████████████████▊ | 5.49GB / 9.28GB, 472MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 56%|████████████████████████████████████████████████████████▊ | 2.80GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 65%|█████████████████████████████████████████████████████████████████▍ | 2.78GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 60%|████████████████████████████████████████████████████████████▊ | 5.60GB / 9.28GB, 472MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 57%|█████████████████████████████████████████████████████████▊ | 2.85GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 66%|██████████████████████████████████████████████████████████████████▋ | 2.83GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 61%|█████████████████████████████████████████████████████████████▉ | 5.70GB / 9.28GB, 473MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 58%|██████████████████████████████████████████████████████████▊ | 2.90GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 67%|███████████████████████████████████████████████████████████████████▌ | 2.87GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 62%|██████████████████████████████████████████████████████████████▉ | 5.79GB / 9.28GB, 473MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 59%|███████████████████████████████████████████████████████████▋ | 2.94GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 68%|████████████████████████████████████████████████████████████████████▊ | 2.92GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 63%|███████████████████████████████████████████████████████████████▉ | 5.88GB / 9.28GB, 472MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 60%|████████████████████████████████████████████████████████████▋ | 2.99GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 69%|█████████████████████████████████████████████████████████████████████▉ | 2.97GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 64%|█████████████████████████████████████████████████████████████████ | 5.98GB / 9.28GB, 474MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 61%|█████████████████████████████████████████████████████████████▋ | 3.05GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 70%|███████████████████████████████████████████████████████████████████████▏ | 3.02GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 66%|██████████████████████████████████████████████████████████████████▏ | 6.08GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 62%|██████████████████████████████████████████████████████████████▌ | 3.09GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 71%|████████████████████████████████████████████████████████████████████████▏ | 3.06GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 66%|███████████████████████████████████████████████████████████████████ | 6.17GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 63%|███████████████████████████████████████████████████████████████▌ | 3.14GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 73%|█████████████████████████████████████████████████████████████████████████▎ | 3.11GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 67%|████████████████████████████████████████████████████████████████████▏ | 6.27GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 64%|████████████████████████████████████████████████████████████████▌ | 3.19GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 74%|██████████████████████████████████████████████████████████████████████████▌ | 3.16GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 69%|█████████████████████████████████████████████████████████████████████▎ | 6.37GB / 9.28GB, 477MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 65%|█████████████████████████████████████████████████████████████████▋ | 3.24GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 75%|███████████████████████████████████████████████████████████████████████████▋ | 3.21GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 70%|██████████████████████████████████████████████████████████████████████▎ | 6.47GB / 9.28GB, 478MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 66%|██████████████████████████████████████████████████████████████████▋ | 3.29GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 76%|████████████████████████████████████████████████████████████████████████████▉ | 3.26GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 71%|███████████████████████████████████████████████████████████████████████▍ | 6.57GB / 9.28GB, 479MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 67%|███████████████████████████████████████████████████████████████████▋ | 3.34GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 77%|█████████████████████████████████████████████████████████████████████████████▉ | 3.31GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 72%|████████████████████████████████████████████████████████████████████████▍ | 6.66GB / 9.28GB, 479MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 68%|████████████████████████████████████████████████████████████████████▌ | 3.38GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 78%|███████████████████████████████████████████████████████████████████████████████ | 3.36GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 73%|█████████████████████████████████████████████████████████████████████████▍ | 6.75GB / 9.28GB, 478MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 69%|█████████████████████████████████████████████████████████████████████▍ | 3.42GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 79%|████████████████████████████████████████████████████████████████████████████████▎ | 3.41GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 74%|██████████████████████████████████████████████████████████████████████████▍ | 6.85GB / 9.28GB, 478MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 70%|██████████████████████████████████████████████████████████████████████▍ | 3.47GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 80%|█████████████████████████████████████████████████████████████████████████████████▎ | 3.45GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 75%|███████████████████████████████████████████████████████████████████████████▍ | 6.94GB / 9.28GB, 478MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 71%|███████████████████████████████████████████████████████████████████████▍ | 3.52GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 81%|██████████████████████████████████████████████████████████████████████████████████▎ | 3.49GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 76%|████████████████████████████████████████████████████████████████████████████▍ | 7.03GB / 9.28GB, 476MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 72%|████████████████████████████████████████████████████████████████████████▎ | 3.57GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 83%|███████████████████████████████████████████████████████████████████████████████████▍ | 3.54GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 77%|█████████████████████████████████████████████████████████████████████████████▍ | 7.12GB / 9.28GB, 476MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 73%|█████████████████████████████████████████████████████████████████████████▎ | 3.62GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 84%|████████████████████████████████████████████████████████████████████████████████████▋ | 3.59GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 78%|██████████████████████████████████████████████████████████████████████████████▌ | 7.22GB / 9.28GB, 477MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 73%|██████████████████████████████████████████████████████████████████████████▏ | 3.66GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 85%|█████████████████████████████████████████████████████████████████████████████████████▌ | 3.63GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 79%|███████████████████████████████████████████████████████████████████████████████▍ | 7.31GB / 9.28GB, 476MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 74%|███████████████████████████████████████████████████████████████████████████▏ | 3.71GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 86%|██████████████████████████████████████████████████████████████████████████████████████▊ | 3.68GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 80%|████████████████████████████████████████████████████████████████████████████████▌ | 7.41GB / 9.28GB, 477MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 75%|████████████████████████████████████████████████████████████████████████████▏ | 3.76GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 87%|███████████████████████████████████████████████████████████████████████████████████████▊ | 3.72GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 81%|█████████████████████████████████████████████████████████████████████████████████▌ | 7.50GB / 9.28GB, 477MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 76%|█████████████████████████████████████████████████████████████████████████████▏ | 3.81GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 88%|████████████████████████████████████████████████████████████████████████████████████████▉ | 3.77GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 82%|██████████████████████████████████████████████████████████████████████████████████▋ | 7.60GB / 9.28GB, 478MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 77%|██████████████████████████████████████████████████████████████████████████████ | 3.85GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 89%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 3.83GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 83%|███████████████████████████████████████████████████████████████████████████████████▋ | 7.69GB / 9.28GB, 477MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 78%|███████████████████████████████████████████████████████████████████████████████ | 3.90GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 90%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 3.87GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 84%|████████████████████████████████████████████████████████████████████████████████████▋ | 7.79GB / 9.28GB, 476MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 79%|████████████████████████████████████████████████████████████████████████████████ | 3.95GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 91%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 3.92GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 85%|█████████████████████████████████████████████████████████████████████████████████████▊ | 7.89GB / 9.28GB, 476MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 80%|█████████████████████████████████████████████████████████████████████████████████ | 4.00GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 93%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 3.97GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 86%|██████████████████████████████████████████████████████████████████████████████████████▉ | 7.99GB / 9.28GB, 476MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 81%|█████████████████████████████████████████████████████████████████████████████████▉ | 4.04GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 94%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 4.02GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 87%|███████████████████████████████████████████████████████████████████████████████████████▉ | 8.08GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 82%|██████████████████████████████████████████████████████████████████████████████████▊ | 4.09GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 95%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 4.06GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 88%|████████████████████████████████████████████████████████████████████████████████████████▊ | 8.16GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 83%|███████████████████████████████████████████████████████████████████████████████████▊ | 4.14GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 96%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 4.11GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 89%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8.26GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 84%|████████████████████████████████████████████████████████████████████████████████████▊ | 4.19GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 4.16GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 90%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 8.36GB / 9.28GB, 476MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 85%|█████████████████████████████████████████████████████████████████████████████████████▋ | 4.23GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 4.21GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 91%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 8.46GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 86%|██████████████████████████████████████████████████████████████████████████████████████▋ | 4.28GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████▏| 4.25GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (2 / 4) : 92%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 8.55GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 87%|███████████████████████████████████████████████████████████████████████████████████████▌ | 4.32GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 93%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 8.62GB / 9.28GB, 473MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 87%|████████████████████████████████████████████████████████████████████████████████████████▎ | 4.35GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 93%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 8.66GB / 9.28GB, 467MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 88%|█████████████████████████████████████████████████████████████████████████████████████████ | 4.40GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 94%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 8.70GB / 9.28GB, 462MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 89%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 4.44GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 94%|███████████████████████████████████████████████████████████████████████████████████████████████ | 8.74GB / 9.28GB, 457MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 90%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 4.47GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 94%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 8.77GB / 9.28GB, 451MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 91%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 4.51GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 95%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 8.82GB / 9.28GB, 446MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 91%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 4.55GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 95%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 8.85GB / 9.28GB, 441MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 92%|█████████████████████████████████████████████████████████████████████████████████████████████ | 4.59GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 96%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 8.89GB / 9.28GB, 436MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 93%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 4.62GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 96%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 8.92GB / 9.28GB, 429MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 94%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 4.66GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 97%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 8.97GB / 9.28GB, 423MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 94%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 4.71GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 97%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 9.01GB / 9.28GB, 419MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 95%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 4.75GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 97%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9.05GB / 9.28GB, 414MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 4.79GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 98%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 9.09GB / 9.28GB, 408MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 4.82GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 98%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 9.13GB / 9.28GB, 402MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 4.87GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 99%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 9.17GB / 9.28GB, 396MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 4.91GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 99%|████████████████████████████████████████████████████████████████████████████████████████████████████▏| 9.21GB / 9.28GB, 392MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████▎| 4.95GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (3 / 4) : 100%|████████████████████████████████████████████████████████████████████████████████████████████████████▋| 9.25GB / 9.28GB, 387MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (4 / 4) : 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9.28GB / 9.28GB, 381MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A[A[A
Processing Files (4 / 4) : 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9.28GB / 9.28GB, 235MB/s
|
||
New Data Upload : | | 0.00B / 0.00B, 0.00B/s
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB
|
||
[2026-03-04 18:10:32,196] [INFO] [axolotl.train.save_trained_model:340] [PID:2633803] Model successfully saved to ./outputs-ood100_added_anno
|
||
[2026-03-04 18:10:43,309] [INFO] [axolotl.core.trainers.base._save:721] [PID:2633803] Saving model checkpoint to ./outputs-ood100_added_anno
|
||
Processing Files (0 / 0) : | | 0.00B / 0.00B
|
||
New Data Upload : | | 0.00B / 0.00B [A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 2%|█▌ | 67.1MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 1%|█▏ | 58.7MB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 2%|█▌ | 67.1MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 1%|█▏ | 58.7MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 2%|█▌ | 143MB / 9.28GB, ???B/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 3%|██▊ | 117MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 2%|██▏ | 109MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 3%|██▋ | 244MB / 9.28GB, 505MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 4%|███▊ | 159MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 3%|███ | 151MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 4%|███▌ | 327MB / 9.28GB, 462MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 5%|████▉ | 210MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 4%|████ | 201MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 5%|████▋ | 428MB / 9.28GB, 476MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 6%|██████▏ | 260MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 5%|█████ | 252MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 6%|█████▊ | 529MB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 7%|███████ | 302MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 6%|█████▉ | 294MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 7%|██████▋ | 613MB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 8%|████████▎ | 352MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 7%|██████▊ | 336MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 8%|███████▋ | 705MB / 9.28GB, 469MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 9%|█████████▎ | 394MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 8%|███████▊ | 386MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 9%|████████▋ | 797MB / 9.28GB, 468MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 10%|██████████▍ | 445MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 9%|████████▋ | 428MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 10%|█████████▋ | 890MB / 9.28GB, 467MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 12%|███████████▋ | 495MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 9%|█████████▌ | 470MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 11%|██████████▋ | 982MB / 9.28GB, 466MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 13%|████████████▊ | 545MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 10%|██████████▌ | 520MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 12%|███████████▊ | 1.08GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 14%|██████████████ | 596MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 11%|███████████▌ | 570MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 13%|████████████▊ | 1.18GB / 9.28GB, 473MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 15%|███████████████▏ | 646MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 12%|████████████▌ | 621MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 14%|█████████████▉ | 1.28GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 16%|████████████████▍ | 696MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 13%|█████████████▌ | 671MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 15%|███████████████ | 1.38GB / 9.28GB, 477MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 17%|█████████████████▌ | 747MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 14%|██████████████▌ | 721MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 16%|████████████████▏ | 1.49GB / 9.28GB, 479MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 19%|██████████████████▊ | 797MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 15%|███████████████▋ | 772MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 17%|█████████████████▏ | 1.59GB / 9.28GB, 481MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 20%|███████████████████▉ | 847MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 16%|████████████████▋ | 822MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 18%|██████████████████▎ | 1.69GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 21%|█████████████████████▏ | 898MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 18%|█████████████████▋ | 872MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 19%|███████████████████▍ | 1.79GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 22%|██████████████████████▎ | 948MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 19%|██████████████████▋ | 923MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 20%|████████████████████▌ | 1.89GB / 9.28GB, 485MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 23%|███████████████████████▌ | 998MB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 20%|███████████████████▋ | 973MB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 21%|█████████████████████▋ | 1.99GB / 9.28GB, 486MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 24%|████████████████████████▋ | 1.05GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 20%|████████████████████▌ | 1.01GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 22%|██████████████████████▋ | 2.08GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 26%|█████████████████████████▉ | 1.10GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 21%|█████████████████████▌ | 1.07GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 23%|███████████████████████▋ | 2.18GB / 9.28GB, 485MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 26%|██████████████████████████▋ | 1.13GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 22%|██████████████████████▌ | 1.12GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 24%|████████████████████████▋ | 2.27GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 28%|███████████████████████████▉ | 1.18GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 23%|███████████████████████▍ | 1.16GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 25%|█████████████████████████▋ | 2.36GB / 9.28GB, 481MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 29%|█████████████████████████████ | 1.23GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 24%|████████████████████████▍ | 1.21GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 26%|██████████████████████████▋ | 2.46GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 30%|██████████████████████████████▍ | 1.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 25%|█████████████████████████▋ | 1.27GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 28%|████████████████████████████ | 2.58GB / 9.28GB, 487MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 31%|███████████████████████████████▍ | 1.33GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 26%|██████████████████████████▋ | 1.32GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 29%|█████████████████████████████ | 2.67GB / 9.28GB, 486MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 32%|████████████████████████████████▍ | 1.38GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 27%|███████████████████████████▋ | 1.37GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 30%|██████████████████████████████ | 2.76GB / 9.28GB, 485MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 33%|█████████████████████████████████▌ | 1.43GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 28%|████████████████████████████▌ | 1.41GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 31%|███████████████████████████████ | 2.85GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 34%|██████████████████████████████████▊ | 1.48GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 29%|█████████████████████████████▍ | 1.45GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 32%|████████████████████████████████ | 2.94GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 36%|███████████████████████████████████▉ | 1.53GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 30%|██████████████████████████████▍ | 1.50GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 33%|█████████████████████████████████▏ | 3.05GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 37%|█████████████████████████████████████▏ | 1.58GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 31%|███████████████████████████████▍ | 1.55GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 34%|██████████████████████████████████▏ | 3.15GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 38%|██████████████████████████████████████▎ | 1.63GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 32%|████████████████████████████████▍ | 1.60GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 35%|███████████████████████████████████▎ | 3.25GB / 9.28GB, 485MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 39%|███████████████████████████████████████▎ | 1.67GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 33%|█████████████████████████████████▍ | 1.65GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 36%|████████████████████████████████████▎ | 3.34GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 40%|████████████████████████████████████████▌ | 1.72GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 34%|██████████████████████████████████▌ | 1.70GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 37%|█████████████████████████████████████▍ | 3.44GB / 9.28GB, 485MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 41%|█████████████████████████████████████████▌ | 1.76GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 35%|███████████████████████████████████▎ | 1.74GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 38%|██████████████████████████████████████▎ | 3.52GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 42%|██████████████████████████████████████████▋ | 1.81GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 36%|████████████████████████████████████▍ | 1.80GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 39%|███████████████████████████████████████▍ | 3.62GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 43%|███████████████████████████████████████████▋ | 1.85GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 37%|█████████████████████████████████████▍ | 1.85GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 40%|████████████████████████████████████████▍ | 3.72GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 44%|████████████████████████████████████████████▉ | 1.90GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 38%|██████████████████████████████████████▎ | 1.89GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 41%|█████████████████████████████████████████▍ | 3.81GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 45%|█████████████████████████████████████████████▊ | 1.95GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 39%|███████████████████████████████████████▎ | 1.94GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 42%|██████████████████████████████████████████▍ | 3.90GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 46%|██████████████████████████████████████████████▊ | 1.99GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 40%|████████████████████████████████████████▎ | 1.99GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 43%|███████████████████████████████████████████▍ | 3.99GB / 9.28GB, 481MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 47%|███████████████████████████████████████████████▊ | 2.03GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 41%|█████████████████████████████████████████▎ | 2.04GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 44%|████████████████████████████████████████████▍ | 4.09GB / 9.28GB, 481MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 49%|█████████████████████████████████████████████████ | 2.08GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 42%|██████████████████████████████████████████▎ | 2.09GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 45%|█████████████████████████████████████████████▌ | 4.19GB / 9.28GB, 481MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 50%|██████████████████████████████████████████████████▏ | 2.13GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 43%|███████████████████████████████████████████▎ | 2.14GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 46%|██████████████████████████████████████████████▋ | 4.29GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 51%|███████████████████████████████████████████████████▍ | 2.18GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 44%|████████████████████████████████████████████▍ | 2.19GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 47%|███████████████████████████████████████████████▋ | 4.39GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 52%|████████████████████████████████████████████████████▌ | 2.23GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 45%|█████████████████████████████████████████████▍ | 2.24GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 48%|████████████████████████████████████████████████▊ | 4.49GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 53%|█████████████████████████████████████████████████████▊ | 2.28GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 46%|██████████████████████████████████████████████▍ | 2.29GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 49%|█████████████████████████████████████████████████▉ | 4.59GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 54%|██████████████████████████████████████████████████████▉ | 2.33GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 47%|███████████████████████████████████████████████▍ | 2.34GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 51%|███████████████████████████████████████████████████ | 4.69GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 55%|███████████████████████████████████████████████████████▉ | 2.37GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 48%|████████████████████████████████████████████████▎ | 2.38GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 51%|███████████████████████████████████████████████████▉ | 4.77GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 56%|████████████████████████████████████████████████████████▉ | 2.42GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 49%|█████████████████████████████████████████████████▎ | 2.43GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 52%|████████████████████████████████████████████████████▉ | 4.87GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 58%|██████████████████████████████████████████████████████████▏ | 2.47GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 50%|██████████████████████████████████████████████████▏ | 2.47GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 53%|█████████████████████████████████████████████████████▉ | 4.96GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 59%|███████████████████████████████████████████████████████████▎ | 2.52GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 51%|███████████████████████████████████████████████████▏ | 2.52GB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 60%|████████████████████████████████████████████████████████████▌ | 2.57GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 52%|████████████████████████████████████████████████████▏ | 2.58GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 56%|████████████████████████████████████████████████████████▏ | 5.16GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 61%|█████████████████████████████████████████████████████████████▍ | 2.61GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 53%|█████████████████████████████████████████████████████▏ | 2.63GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 57%|█████████████████████████████████████████████████████████▏ | 5.25GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 62%|██████████████████████████████████████████████████████████████▋ | 2.66GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 54%|██████████████████████████████████████████████████████▏ | 2.68GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 58%|██████████████████████████████████████████████████████████▏ | 5.35GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 63%|███████████████████████████████████████████████████████████████▋ | 2.70GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 55%|███████████████████████████████████████████████████████ | 2.72GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 59%|███████████████████████████████████████████████████████████▏ | 5.44GB / 9.28GB, 481MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 64%|████████████████████████████████████████████████████████████████▊ | 2.75GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 56%|████████████████████████████████████████████████████████ | 2.77GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 60%|████████████████████████████████████████████████████████████▏ | 5.54GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 65%|██████████████████████████████████████████████████████████████████ | 2.80GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 57%|█████████████████████████████████████████████████████████▏ | 2.82GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 61%|█████████████████████████████████████████████████████████████▎ | 5.64GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 66%|███████████████████████████████████████████████████████████████████ | 2.84GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 57%|█████████████████████████████████████████████████████████▉ | 2.86GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 62%|██████████████████████████████████████████████████████████████▏ | 5.72GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 68%|████████████████████████████████████████████████████████████████████▏ | 2.89GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 58%|███████████████████████████████████████████████████████████ | 2.91GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 63%|███████████████████████████████████████████████████████████████▎ | 5.82GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 69%|█████████████████████████████████████████████████████████████████████▍ | 2.94GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 59%|████████████████████████████████████████████████████████████ | 2.96GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 64%|████████████████████████████████████████████████████████████████▍ | 5.92GB / 9.28GB, 484MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 70%|██████████████████████████████████████████████████████████████████████▍ | 2.99GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 60%|████████████████████████████████████████████████████████████▉ | 3.00GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 65%|█████████████████████████████████████████████████████████████████▎ | 6.01GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 71%|███████████████████████████████████████████████████████████████████████▌ | 3.04GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 61%|█████████████████████████████████████████████████████████████▉ | 3.05GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 66%|██████████████████████████████████████████████████████████████████▍ | 6.11GB / 9.28GB, 483MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 72%|████████████████████████████████████████████████████████████████████████▊ | 3.09GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 62%|██████████████████████████████████████████████████████████████▋ | 3.10GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 67%|███████████████████████████████████████████████████████████████████▍ | 6.20GB / 9.28GB, 482MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 73%|█████████████████████████████████████████████████████████████████████████▊ | 3.13GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 63%|███████████████████████████████████████████████████████████████▌ | 3.14GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 68%|████████████████████████████████████████████████████████████████████▎ | 6.28GB / 9.28GB, 480MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 74%|██████████████████████████████████████████████████████████████████████████▋ | 3.17GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 64%|████████████████████████████████████████████████████████████████▌ | 3.19GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 69%|█████████████████████████████████████████████████████████████████████▎ | 6.38GB / 9.28GB, 480MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 75%|███████████████████████████████████████████████████████████████████████████▋ | 3.21GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 65%|█████████████████████████████████████████████████████████████████▋ | 3.24GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 70%|██████████████████████████████████████████████████████████████████████▎ | 6.47GB / 9.28GB, 479MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 76%|████████████████████████████████████████████████████████████████████████████▉ | 3.26GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 66%|██████████████████████████████████████████████████████████████████▍ | 3.28GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 71%|███████████████████████████████████████████████████████████████████████▎ | 6.56GB / 9.28GB, 478MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 77%|██████████████████████████████████████████████████████████████████████████████ | 3.31GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 67%|███████████████████████████████████████████████████████████████████▎ | 3.32GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 72%|████████████████████████████████████████████████████████████████████████▎ | 6.65GB / 9.28GB, 477MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 78%|██████████████████████████████████████████████████████████████████████████████▉ | 3.35GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 68%|████████████████████████████████████████████████████████████████████▎ | 3.37GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 73%|█████████████████████████████████████████████████████████████████████████▎ | 6.74GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 79%|███████████████████████████████████████████████████████████████████████████████▉ | 3.39GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 69%|█████████████████████████████████████████████████████████████████████▏ | 3.41GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 73%|██████████████████████████████████████████████████████████████████████████▏ | 6.82GB / 9.28GB, 474MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 80%|█████████████████████████████████████████████████████████████████████████████████ | 3.44GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 69%|██████████████████████████████████████████████████████████████████████ | 3.46GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 74%|███████████████████████████████████████████████████████████████████████████▏ | 6.91GB / 9.28GB, 474MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 81%|██████████████████████████████████████████████████████████████████████████████████▎ | 3.49GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 70%|██████████████████████████████████████████████████████████████████████▉ | 3.50GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 75%|████████████████████████████████████████████████████████████████████████████▏ | 7.00GB / 9.28GB, 473MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 83%|███████████████████████████████████████████████████████████████████████████████████▍ | 3.54GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 71%|███████████████████████████████████████████████████████████████████████▉ | 3.55GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 77%|█████████████████████████████████████████████████████████████████████████████▎ | 7.11GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 84%|████████████████████████████████████████████████████████████████████████████████████▍ | 3.58GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 72%|████████████████████████████████████████████████████████████████████████▊ | 3.59GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 77%|██████████████████████████████████████████████████████████████████████████████▏ | 7.19GB / 9.28GB, 474MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 85%|█████████████████████████████████████████████████████████████████████████████████████▌ | 3.63GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 73%|█████████████████████████████████████████████████████████████████████████▊ | 3.64GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 79%|███████████████████████████████████████████████████████████████████████████████▎ | 7.29GB / 9.28GB, 474MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 86%|██████████████████████████████████████████████████████████████████████████████████████▌ | 3.67GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 74%|██████████████████████████████████████████████████████████████████████████▊ | 3.69GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 80%|████████████████████████████████████████████████████████████████████████████████▎ | 7.38GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 87%|███████████████████████████████████████████████████████████████████████████████████████▊ | 3.72GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 75%|███████████████████████████████████████████████████████████████████████████▊ | 3.74GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 81%|█████████████████████████████████████████████████████████████████████████████████▍ | 7.48GB / 9.28GB, 472MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 88%|████████████████████████████████████████████████████████████████████████████████████████▉ | 3.77GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 76%|████████████████████████████████████████████████████████████████████████████▊ | 3.79GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 82%|██████████████████████████████████████████████████████████████████████████████████▍ | 7.58GB / 9.28GB, 473MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 89%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 3.83GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 77%|█████████████████████████████████████████████████████████████████████████████▉ | 3.84GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 83%|███████████████████████████████████████████████████████████████████████████████████▌ | 7.68GB / 9.28GB, 474MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 90%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 3.88GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 78%|██████████████████████████████████████████████████████████████████████████████▉ | 3.89GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 84%|████████████████████████████████████████████████████████████████████████████████████▋ | 7.78GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 92%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 3.93GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 79%|███████████████████████████████████████████████████████████████████████████████▉ | 3.94GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 85%|█████████████████████████████████████████████████████████████████████████████████████▊ | 7.89GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 93%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 3.98GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 80%|████████████████████████████████████████████████████████████████████████████████▉ | 3.99GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 86%|██████████████████████████████████████████████████████████████████████████████████████▉ | 7.99GB / 9.28GB, 475MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 94%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 4.02GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 81%|█████████████████████████████████████████████████████████████████████████████████▉ | 4.04GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 87%|███████████████████████████████████████████████████████████████████████████████████████▉ | 8.08GB / 9.28GB, 474MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 95%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 4.07GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 82%|██████████████████████████████████████████████████████████████████████████████████▋ | 4.08GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 88%|████████████████████████████████████████████████████████████████████████████████████████▊ | 8.16GB / 9.28GB, 473MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 96%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 4.11GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 83%|███████████████████████████████████████████████████████████████████████████████████▍ | 4.12GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 89%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 8.25GB / 9.28GB, 471MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 4.16GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 84%|████████████████████████████████████████████████████████████████████████████████████▌ | 4.17GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 90%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 8.35GB / 9.28GB, 473MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 98%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 4.21GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 85%|█████████████████████████████████████████████████████████████████████████████████████▎ | 4.21GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 91%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 8.44GB / 9.28GB, 472MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 99%|████████████████████████████████████████████████████████████████████████████████████████████████████▏| 4.25GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 86%|██████████████████████████████████████████████████████████████████████████████████████▍ | 4.26GB / 4.98GB [A[A[A[A[A
Processing Files (2 / 4) : 92%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 8.53GB / 9.28GB, 472MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 86%|███████████████████████████████████████████████████████████████████████████████████████▏ | 4.30GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 93%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 8.61GB / 9.28GB, 470MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 87%|████████████████████████████████████████████████████████████████████████████████████████ | 4.35GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 93%|██████████████████████████████████████████████████████████████████████████████████████████████ | 8.65GB / 9.28GB, 465MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 88%|████████████████████████████████████████████████████████████████████████████████████████▊ | 4.38GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 93%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 8.68GB / 9.28GB, 460MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 89%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 4.42GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 94%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 8.72GB / 9.28GB, 455MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 89%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 4.45GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 94%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 8.76GB / 9.28GB, 448MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 90%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 4.50GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 95%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 8.80GB / 9.28GB, 442MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 91%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 4.53GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 95%|████████████████████████████████████████████████████████████████████████████████████████████████ | 8.83GB / 9.28GB, 436MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 92%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 4.57GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 96%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 8.87GB / 9.28GB, 430MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 92%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 4.61GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 96%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 8.91GB / 9.28GB, 423MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 93%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 4.65GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 96%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 8.95GB / 9.28GB, 418MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 94%|███████████████████████████████████████████████████████████████████████████████████████████████ | 4.69GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 97%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 8.99GB / 9.28GB, 414MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 95%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 4.73GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 97%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 9.03GB / 9.28GB, 409MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 96%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 4.76GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 98%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 9.07GB / 9.28GB, 403MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 96%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 4.81GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 98%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 9.11GB / 9.28GB, 397MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 97%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 4.85GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 99%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 9.15GB / 9.28GB, 391MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 4.88GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 99%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 9.18GB / 9.28GB, 386MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 99%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 4.92GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 99%|████████████████████████████████████████████████████████████████████████████████████████████████████▎| 9.23GB / 9.28GB, 380MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████▋| 4.97GB / 4.98GB [A[A[A[A[A
Processing Files (3 / 4) : 100%|████████████████████████████████████████████████████████████████████████████████████████████████████▊| 9.27GB / 9.28GB, 376MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
Processing Files (4 / 4) : 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9.28GB / 9.28GB, 367MB/s
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
|
||
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB [A[A
|
||
|
||
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB [A[A[A
|
||
|
||
|
||
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB [A[A[A[A
|
||
|
||
|
||
|
||
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB [A[A[A[A[A
Processing Files (4 / 4) : 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 9.28GB / 9.28GB, 291MB/s
|
||
New Data Upload : | | 0.00B / 0.00B, 0.00B/s
|
||
...ed_anno/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 7.76kB / 7.76kB
|
||
...added_anno/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB
|
||
...0002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.29GB / 4.29GB
|
||
...0001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████| 4.98GB / 4.98GB |