jackf857/qwen3-8b-base-sft-ultrachat-4xh200-batch-128
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity
Files
120f806b99f61011709952dc89035d2b5b35a706
qwen3-8b-base-sft-ultrachat…/train.log

1835 lines
922 KiB
Plaintext
Raw Normal View History

初始化项目，由ModelHub XC社区提供模型 Model: jackf857/qwen3-8b-base-sft-ultrachat-4xh200-batch-128 Source: Original Platform
2026-07-22 21:02:26 +08:00
2026-04-20 13:11:00 - WARNING - __main__ - Process rank: 0, device: cuda:0, n_gpu: 1 distributed training: True, 16-bits training: False
2026-04-20 13:11:00 - INFO - __main__ - Model parameters ModelArguments(base_model_revision=None, model_name_or_path='/scratch/qu.yang1/dynamic-dpo-v4/base_models/Qwen3-8B-Base', model_revision='main', model_code_revision=None, torch_dtype='bfloat16', tokenizer_name_or_path=None, trust_remote_code=False, attn_implementation='flash_attention_2', use_peft=False, lora_r=16, lora_alpha=32, lora_dropout=0.05, lora_target_modules=None, lora_modules_to_save=None, load_in_8bit=False, load_in_4bit=False, bnb_4bit_quant_type='nf4', use_bnb_nested_quant=False, bnb_4bit_quant_storage='uint8')
2026-04-20 13:11:00 - INFO - __main__ - Data parameters DataArguments(chat_template=None, dataset_mixer={'HuggingFaceH4/ultrachat_200k': 1.0}, text_column='text', dataset_splits=['train_sft', 'test_sft'], dataset_configs=None, dataset_dir=None, preprocessing_num_workers=12, use_persistent_hf_cache=False, hf_cache_dir=None, truncation_side=None, auto_insert_empty_system_msg=True, disable_thinking=True, preprocessing_log_samples=0, preprocessing_log_dir=None)
2026-04-20 13:11:00 - INFO - __main__ - Training/evaluation parameters SFTConfig(
_n_gpu=1,
accelerator_config={'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None, 'use_configured_state': False},
adafactor=False,
adam_beta1=0.9,
adam_beta2=0.999,
adam_epsilon=1e-08,
auto_find_batch_size=False,
average_tokens_across_devices=False,
batch_eval_metrics=False,
bf16=True,
bf16_full_eval=False,
chars_per_token=<CHARS_PER_TOKEN>,
data_seed=None,
dataloader_drop_last=False,
dataloader_num_workers=0,
dataloader_persistent_workers=False,
dataloader_pin_memory=True,
dataloader_prefetch_factor=None,
dataset_batch_size=1000,
dataset_kwargs=None,
dataset_num_proc=None,
dataset_text_field=None,
ddp_backend=None,
ddp_broadcast_buffers=None,
ddp_bucket_cap_mb=None,
ddp_find_unused_parameters=None,
ddp_timeout=1800,
debug=[],
deepspeed=None,
disable_tqdm=False,
do_eval=True,
do_predict=False,
do_train=False,
eval_accumulation_steps=None,
eval_delay=0,
eval_do_concat_batches=True,
eval_on_start=False,
eval_packing=None,
eval_steps=200,
eval_strategy=IntervalStrategy.STEPS,
eval_use_gather_object=False,
fp16=False,
fp16_backend=auto,
fp16_full_eval=False,
fp16_opt_level=O1,
fsdp=[],
fsdp_config={'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False},
fsdp_min_num_params=0,
fsdp_transformer_layer_cls_to_wrap=None,
full_determinism=False,
gradient_accumulation_steps=2,
gradient_checkpointing=True,
gradient_checkpointing_kwargs={'use_reentrant': False},
greater_is_better=None,
group_by_length=False,
half_precision_backend=auto,
hub_always_push=False,
hub_model_id=jackf857/qwen3-8b-base-sft-ultrachat-4xh200-batch-128,
hub_model_revision=main,
hub_private_repo=None,
hub_strategy=HubStrategy.EVERY_SAVE,
hub_token=<HUB_TOKEN>,
ignore_data_skip=False,
include_for_metrics=[],
include_inputs_for_metrics=False,
include_num_input_tokens_seen=False,
include_tokens_per_second=False,
jit_mode_eval=False,
label_names=None,
label_smoothing_factor=0.0,
learning_rate=2e-05,
length_column_name=length,
load_best_model_at_end=False,
local_rank=0,
log_level=info,
log_level_replica=warning,
log_on_each_node=True,
logging_dir=outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128/runs/Apr20_13-11-00_d4054,
logging_first_step=True,
logging_nan_inf_filter=True,
logging_steps=10,
logging_strategy=IntervalStrategy.STEPS,
lr_scheduler_kwargs={},
lr_scheduler_type=SchedulerType.COSINE,
max_grad_norm=1.0,
max_seq_length=2048,
max_steps=-1,
metric_for_best_model=None,
model_init_kwargs=None,
mp_parameters=,
neftune_noise_alpha=None,
no_cuda=False,
num_of_sequences=1024,
num_train_epochs=1,
optim=OptimizerNames.ADAMW_TORCH,
optim_args=None,
optim_target_modules=None,
output_dir=/scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036,
overwrite_output_dir=True,
packing=False,
past_index=-1,
per_device_eval_batch_size=16,
per_device_train_batch_size=16,
prediction_loss_only=False,
push_to_hub=False,
push_to_hub_model_id=None,
push_to_hub_organization=None,
push_to_hub_token=<PUSH_TO_HUB_TOKEN>,
ray_scope=last,
remove_unused_columns=True,
report_to=['wandb'],
restore_callback_states_from_checkpoint=False,
resume_from_checkpoint=None,
run_name=qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036,
save_on_each_node=False,
save_only_model=False,
save_safetensors=True,
save_steps=200,
save_strategy=SaveStrategy.STEPS,
save_total_limit=2,
seed=42,
skip_memory_metrics=True,
tf32=None,
torch_compile=False,
torch_compile_backend=None,
torch_compile_mode=None,
torch_empty_cache_steps=None,
torchdynamo=None,
tp_size=0,
tpu_metrics_debug=False,
tpu_num_cores=None,
use_cpu=False,
use_ipex=False,
use_legacy_prediction_loop=False,
use_liger=False,
use_liger_kernel=False,
use_mps_device=False,
wandb_project=None,
warmup_ratio=0.1,
warmup_steps=0,
weight_decay=0.0,
)
2026-04-20 13:11:00 - WARNING - __main__ - Process rank: 2, device: cuda:2, n_gpu: 1 distributed training: True, 16-bits training: False
2026-04-20 13:11:00 - WARNING - __main__ - Process rank: 1, device: cuda:1, n_gpu: 1 distributed training: True, 16-bits training: False
2026-04-20 13:11:00 - WARNING - __main__ - Process rank: 3, device: cuda:3, n_gpu: 1 distributed training: True, 16-bits training: False
Overwrite dataset info from restored data version if exists.
2026-04-20 13:11:01 - INFO - datasets.builder - Overwrite dataset info from restored data version if exists.
Loading Dataset info from /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a
2026-04-20 13:11:01 - INFO - datasets.info - Loading Dataset info from /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a
Found cached dataset ultrachat_200k (/scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a)
2026-04-20 13:11:01 - INFO - datasets.builder - Found cached dataset ultrachat_200k (/scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a)
Loading Dataset info from /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a
2026-04-20 13:11:01 - INFO - datasets.info - Loading Dataset info from /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a
Overwrite dataset info from restored data version if exists.
2026-04-20 13:11:03 - INFO - datasets.builder - Overwrite dataset info from restored data version if exists.
Loading Dataset info from /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a
2026-04-20 13:11:03 - INFO - datasets.info - Loading Dataset info from /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a
Found cached dataset ultrachat_200k (/scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a)
2026-04-20 13:11:03 - INFO - datasets.builder - Found cached dataset ultrachat_200k (/scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a)
Loading Dataset info from /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a
2026-04-20 13:11:03 - INFO - datasets.info - Loading Dataset info from /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a
Loading cached shuffled indices for dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-ace89b70c07d4952.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Loading cached shuffled indices for dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-ace89b70c07d4952.arrow
Loading cached shuffled indices for dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-482cd44f0eae8d2e.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Loading cached shuffled indices for dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-482cd44f0eae8d2e.arrow
2026-04-20 13:11:03 - INFO - __main__ - Training on the following datasets and their proportions: ['train : 207865', 'test : 23110']
[INFO|tokenization_utils_base.py:2058] 2026-04-20 13:11:03,520 >> loading file vocab.json
[INFO|tokenization_utils_base.py:2058] 2026-04-20 13:11:03,520 >> loading file merges.txt
[INFO|tokenization_utils_base.py:2058] 2026-04-20 13:11:03,520 >> loading file tokenizer.json
[INFO|tokenization_utils_base.py:2058] 2026-04-20 13:11:03,520 >> loading file added_tokens.json
[INFO|tokenization_utils_base.py:2058] 2026-04-20 13:11:03,520 >> loading file special_tokens_map.json
[INFO|tokenization_utils_base.py:2058] 2026-04-20 13:11:03,520 >> loading file tokenizer_config.json
[INFO|tokenization_utils_base.py:2058] 2026-04-20 13:11:03,520 >> loading file chat_template.jinja
[INFO|tokenization_utils_base.py:2323] 2026-04-20 13:11:03,825 >> Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
2026-04-20 13:11:03 - INFO - __main__ - *** Load pretrained model ***
Process #0 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00000_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #0 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00000_of_00012.arrow
Process #1 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00001_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #1 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00001_of_00012.arrow
Process #2 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00002_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #2 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00002_of_00012.arrow
Process #3 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00003_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #3 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00003_of_00012.arrow
Process #4 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00004_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #4 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00004_of_00012.arrow
Process #5 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00005_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #5 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00005_of_00012.arrow
Process #6 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00006_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #6 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00006_of_00012.arrow
Process #7 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00007_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #7 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00007_of_00012.arrow
Process #8 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00008_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #8 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00008_of_00012.arrow
Process #9 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00009_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #9 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00009_of_00012.arrow
Process #10 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00010_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #10 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00010_of_00012.arrow
Process #11 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00011_of_00012.arrow
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Process #11 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00011_of_00012.arrow
Applying chat template (num_proc=12): 0%| | 0/207865 [00:00<?, ? examples/s] Applying chat template (num_proc=12): 0%| | 0/207865 [00:00<?, ? examples/s] Applying chat template (num_proc=12): 0%| | 0/207865 [00:00<?, ? examples/s]Spawning 12 processes
2026-04-20 13:11:03 - INFO - datasets.arrow_dataset - Spawning 12 processes
Applying chat template (num_proc=12): 0%| | 0/207865 [00:00<?, ? examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00000_of_00012.arrow
2026-04-20 13:11:04 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00000_of_00012.arrow
Applying chat template (num_proc=12): 0%| | 1/207865 [00:00<37:45:07, 1.53 examples/s] Applying chat template (num_proc=12): 0%| | 1/207865 [00:00<38:51:48, 1.49 examples/s] Applying chat template (num_proc=12): 0%| | 11/207865 [00:00<3:17:40, 17.53 examples/s] Applying chat template (num_proc=12): 0%| | 25/207865 [00:00<1:19:12, 43.73 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00001_of_00012.arrow
2026-04-20 13:11:04 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00001_of_00012.arrow
Applying chat template (num_proc=12): 0%| | 29/207865 [00:00<1:14:54, 46.24 examples/s] Applying chat template (num_proc=12): 0%| | 1/207865 [00:00<49:31:34, 1.17 examples/s] Applying chat template (num_proc=12): 0%| | 60/207865 [00:00<40:04, 86.41 examples/s] Applying chat template (num_proc=12): 0%| | 80/207865 [00:00<26:30, 130.64 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00002_of_00012.arrow
2026-04-20 13:11:04 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00002_of_00012.arrow
Applying chat template (num_proc=12): 0%| | 75/207865 [00:00<32:29, 106.58 examples/s] Applying chat template (num_proc=12): 0%| | 226/207865 [00:01<09:31, 363.49 examples/s] Applying chat template (num_proc=12): 0%| | 277/207865 [00:01<10:11, 339.75 examples/s] Applying chat template (num_proc=12): 0%| | 254/207865 [00:01<10:24, 332.24 examples/s] Applying chat template (num_proc=12): 0%| | 382/207865 [00:01<06:26, 537.28 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00003_of_00012.arrow
2026-04-20 13:11:05 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00003_of_00012.arrow
Applying chat template (num_proc=12): 0%|▏ | 540/207865 [00:01<04:41, 735.86 examples/s] Applying chat template (num_proc=12): 0%|▏ | 582/207865 [00:01<05:43, 603.01 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00005_of_00012.arrow
2026-04-20 13:11:05 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00005_of_00012.arrow
Applying chat template (num_proc=12): 0%|▏ | 648/207865 [00:01<04:38, 742.78 examples/s] Applying chat template (num_proc=12): 0%|▏ | 709/207865 [00:01<04:05, 842.85 examples/s] Applying chat template (num_proc=12): 1%|▎ | 1046/207865 [00:01<02:27, 1406.65 examples/s] Applying chat template (num_proc=12): 1%|▎ | 1134/207865 [00:01<03:03, 1126.75 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00004_of_00012.arrow
2026-04-20 13:11:05 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00004_of_00012.arrow
Applying chat template (num_proc=12): 1%|▍ | 1401/207865 [00:01<02:11, 1567.39 examples/s] Applying chat template (num_proc=12): 1%|▎ | 1190/207865 [00:01<02:55, 1178.28 examples/s] Applying chat template (num_proc=12): 1%|▎ | 1135/207865 [00:01<03:08, 1097.82 examples/s] Applying chat template (num_proc=12): 1%|▋ | 2182/207865 [00:01<01:14, 2762.34 examples/s] Applying chat template (num_proc=12): 1%|▋ | 2553/207865 [00:01<01:09, 2954.56 examples/s] Applying chat template (num_proc=12): 1%|▌ | 1828/207865 [00:01<02:14, 1536.33 examples/s] Applying chat template (num_proc=12): 1%|▌ | 1720/207865 [00:01<02:10, 1583.99 examples/s] Applying chat template (num_proc=12): 1%|▉ | 3020/207865 [00:01<01:02, 3298.89 examples/s] Applying chat template (num_proc=12): 1%|▌ | 1889/207865 [00:01<02:11, 1572.27 examples/s] Applying chat template (num_proc=12): 1%|▊ | 2697/207865 [00:02<01:13, 2803.73 examples/s] Applying chat template (num_proc=12): 1%|▊ | 2832/207865 [00:02<01:22, 2481.89 examples/s] Applying chat template (num_proc=12): 2%|█ | 3555/207865 [00:02<00:53, 3795.58 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00006_of_00012.arrow
2026-04-20 13:11:06 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00006_of_00012.arrow
Applying chat template (num_proc=12): 2%|█ | 3409/207865 [00:02<00:57, 3544.55 examples/s] Applying chat template (num_proc=12): 2%|█▏ | 4079/207865 [00:02<00:49, 4153.37 examples/s] Applying chat template (num_proc=12): 2%|█▏ | 3834/207865 [00:02<00:56, 3610.49 examples/s] Applying chat template (num_proc=12): 1%|▊ | 2893/207865 [00:02<01:25, 2391.76 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00007_of_00012.arrow
2026-04-20 13:11:06 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00007_of_00012.arrow
Applying chat template (num_proc=12): 2%|█▏ | 3874/207865 [00:02<00:55, 3674.64 examples/s] Applying chat template (num_proc=12): 2%|█▎ | 4584/207865 [00:02<00:46, 4386.57 examples/s] Applying chat template (num_proc=12): 2%|█▎ | 4373/207865 [00:02<00:53, 3792.23 examples/s] Applying chat template (num_proc=12): 2%|█▏ | 3934/207865 [00:02<00:57, 3563.19 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00008_of_00012.arrow
2026-04-20 13:11:06 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00008_of_00012.arrow
Applying chat template (num_proc=12): 2%|█▌ | 5121/207865 [00:02<00:43, 4631.13 examples/s] Applying chat template (num_proc=12): 2%|█▎ | 4326/207865 [00:02<00:56, 3628.59 examples/s] Applying chat template (num_proc=12): 2%|█▎ | 4532/207865 [00:02<00:51, 3976.89 examples/s] Applying chat template (num_proc=12): 2%|█▍ | 4875/207865 [00:02<00:55, 3680.04 examples/s] Applying chat template (num_proc=12): 3%|█▋ | 5714/207865 [00:02<00:40, 4995.10 examples/s] Applying chat template (num_proc=12): 2%|█▍ | 4936/207865 [00:02<00:48, 4171.95 examples/s] Applying chat template (num_proc=12): 2%|█▌ | 5172/207865 [00:02<00:45, 4454.64 examples/s] Applying chat template (num_proc=12): 3%|█▌ | 5330/207865 [00:02<00:53, 3802.86 examples/s] Applying chat template (num_proc=12): 3%|█▊ | 6337/207865 [00:02<00:38, 5301.36 examples/s] Applying chat template (num_proc=12): 3%|█▋ | 5538/207865 [00:02<00:44, 4595.83 examples/s] Applying chat template (num_proc=12): 3%|█▋ | 5745/207865 [00:02<00:42, 4710.07 examples/s] Applying chat template (num_proc=12): 3%|█▋ | 5773/207865 [00:02<00:51, 3933.75 examples/s] Applying chat template (num_proc=12): 3%|██ | 7037/207865 [00:02<00:34, 5768.71 examples/s] Applying chat template (num_proc=12): 3%|█▊ | 6197/207865 [00:02<00:39, 5055.32 examples/s] Applying chat template (num_proc=12): 3%|█▊ | 6314/207865 [00:02<00:40, 4932.19 examples/s] Applying chat template (num_proc=12): 3%|█▊ | 6225/207865 [00:02<00:50, 4031.09 examples/s] Applying chat template (num_proc=12): 4%|██▎ | 7736/207865 [00:02<00:33, 6013.89 examples/s] Applying chat template (num_proc=12): 3%|█▉ | 6798/207865 [00:02<00:37, 5292.29 examples/s] Applying chat template (num_proc=12): 3%|██ | 6889/207865 [00:02<00:40, 5013.32 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00009_of_00012.arrow
2026-04-20 13:11:06 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00009_of_00012.arrow
Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00010_of_00012.arrow
Applying chat template (num_proc=12): 3%|██ | 7125/207865 [00:02<00:37, 5289.31 examples/s]2026-04-20 13:11:06 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00010_of_00012.arrow
Applying chat template (num_proc=12): 4%|██▍ | 8428/207865 [00:02<00:31, 6261.56 examples/s] Applying chat template (num_proc=12): 4%|██▏ | 7380/207865 [00:02<00:37, 5400.72 examples/s] Applying chat template (num_proc=12): 4%|██▏ | 7468/207865 [00:02<00:38, 5188.31 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00011_of_00012.arrow
2026-04-20 13:11:06 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-a649c50f23403a52_00011_of_00012.arrow
Applying chat template (num_proc=12): 4%|██▎ | 7881/207865 [00:02<00:34, 5852.79 examples/s] Applying chat template (num_proc=12): 4%|██▋ | 9156/207865 [00:02<00:30, 6531.82 examples/s] Applying chat template (num_proc=12): 4%|██▎ | 8061/207865 [00:03<00:34, 5757.65 examples/s] Applying chat template (num_proc=12): 4%|██▍ | 8425/207865 [00:02<00:31, 6356.53 examples/s] Applying chat template (num_proc=12): 4%|██▌ | 8777/207865 [00:03<00:29, 6665.04 examples/s] Applying chat template (num_proc=12): 5%|██▉ | 9971/207865 [00:03<00:28, 6999.09 examples/s] Applying chat template (num_proc=12): 4%|██▌ | 8793/207865 [00:03<00:32, 6148.07 examples/s] Applying chat template (num_proc=12): 5%|██▊ | 9545/207865 [00:03<00:26, 7611.37 examples/s] Applying chat template (num_proc=12): 5%|██▊ | 9729/207865 [00:03<00:26, 7401.27 examples/s] Applying chat template (num_proc=12): 5%|███▏ | 10844/207865 [00:03<00:27, 7218.31 examples/s] Applying chat template (num_proc=12): 5%|██▊ | 9518/207865 [00:03<00:30, 6426.71 examples/s] Applying chat template (num_proc=12): 5%|███ | 10501/207865 [00:03<00:24, 8078.05 examples/s] Applying chat template (num_proc=12): 5%|███ | 10537/207865 [00:03<00:26, 7538.11 examples/s] Applying chat template (num_proc=12): 6%|███▍ | 11799/207865 [00:03<00:24, 7886.64 examples/s] Applying chat template (num_proc=12): 5%|███ | 10504/207865 [00:03<00:27, 7297.65 examples/s] Applying chat template (num_proc=12): 6%|███▎ | 11433/207865 [00:03<00:23, 8390.64 examples/s] Applying chat template (num_proc=12): 6%|███▎ | 11545/207865 [00:03<00:23, 8189.45 examples/s] Applying chat template (num_proc=12): 6%|███▋ | 12649/207865 [00:03<00:24, 8058.03 examples/s] Applying chat template (num_proc=12): 6%|███▎ | 11438/207865 [00:03<00:25, 7673.48 examples/s] Applying chat template (num_proc=12): 6%|███▌ | 12340/207865 [00:03<00:22, 8581.97 examples/s] Applying chat template (num_proc=12): 6%|███▌ | 12459/207865 [00:03<00:23, 8430.69 examples/s] Applying chat template (num_proc=12): 6%|███▉ | 13491/207865 [00:03<00:23, 8131.22 examples/s] Applying chat template (num_proc=12): 6%|███▌ | 12460/207865 [00:03<00:23, 8392.11 examples/s] Applying chat template (num_proc=12): 6%|███▊ | 13292/207865 [00:03<00:22, 8836.65 examples/s] Applying chat template (num_proc=12): 6%|███▉ | 13439/207865 [00:03<00:22, 8684.39 examples/s] Applying chat template (num_proc=12): 7%|████▏ | 14481
Applying chat template (num_proc=12): 100%|███████████████████████████████████████████████████████████| 207865/207865 [00:26<00:00, 7977.80 examples/s]
Applying chat template (num_proc=12): 100%|███████████████████████████████████████████████████████████| 207865/207865 [00:26<00:00, 7981.67 examples/s]
Applying chat template (num_proc=12): 100%|███████████████████████████████████████████████████████████| 207865/207865 [00:26<00:00, 7959.01 examples/s]
Concatenating 12 shards
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Concatenating 12 shards
Process #0 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00000_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #0 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00000_of_00012.arrow
Process #1 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00001_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #1 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00001_of_00012.arrow
Process #2 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00002_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #2 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00002_of_00012.arrow
Process #3 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00003_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #3 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00003_of_00012.arrow
Process #4 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00004_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #4 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00004_of_00012.arrow
Process #5 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00005_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #5 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00005_of_00012.arrow
Process #6 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00006_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #6 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00006_of_00012.arrow
Process #7 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00007_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #7 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00007_of_00012.arrow
Process #8 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00008_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #8 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00008_of_00012.arrow
Process #9 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00009_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #9 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00009_of_00012.arrow
Process #10 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00010_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #10 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00010_of_00012.arrow
Process #11 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00011_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Process #11 will write at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00011_of_00012.arrow
Applying chat template (num_proc=12): 0%| | 0/23110 [00:00<?, ? examples/s] Applying chat template (num_proc=12): 0%| | 0/23110 [00:00<?, ? examples/s]Spawning 12 processes
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Spawning 12 processes
Applying chat template (num_proc=12): 0%| | 0/23110 [00:00<?, ? examples/s] Applying chat template (num_proc=12): 0%| | 0/23110 [00:00<?, ? examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00000_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00000_of_00012.arrow
Applying chat template (num_proc=12): 0%| | 4/23110 [00:00<55:22, 6.95 examples/s] Applying chat template (num_proc=12): 0%| | 1/23110 [00:00<4:24:09, 1.46 examples/s] Applying chat template (num_proc=12): 0%| | 28/23110 [00:00<07:26, 51.68 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00001_of_00012.arrow
2026-04-20 13:11:30 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00001_of_00012.arrow
Applying chat template (num_proc=12): 0%| | 1/23110 [00:00<4:34:55, 1.40 examples/s] Applying chat template (num_proc=12): 0%|▏ | 51/23110 [00:00<04:47, 80.26 examples/s] Applying chat template (num_proc=12): 0%|▏ | 81/23110 [00:00<02:33, 149.81 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00002_of_00012.arrow
2026-04-20 13:11:31 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00002_of_00012.arrow
Applying chat template (num_proc=12): 0%| | 1/23110 [00:00<5:23:29, 1.19 examples/s] Applying chat template (num_proc=12): 0%|▏ | 77/23110 [00:00<03:48, 100.60 examples/s] Applying chat template (num_proc=12): 1%|▌ | 195/23110 [00:01<01:20, 285.74 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00003_of_00012.arrow
2026-04-20 13:11:31 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00003_of_00012.arrow
Applying chat template (num_proc=12): 1%|▌ | 202/23110 [00:01<01:14, 308.64 examples/s] Applying chat template (num_proc=12): 1%|▊ | 273/23110 [00:01<01:09, 329.86 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00004_of_00012.arrow
2026-04-20 13:11:31 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00004_of_00012.arrow
Applying chat template (num_proc=12): 2%|█▏ | 442/23110 [00:01<00:39, 567.80 examples/s] Applying chat template (num_proc=12): 2%|█▏ | 443/23110 [00:01<00:46, 484.74 examples/s] Applying chat template (num_proc=12): 2%|█▌ | 553/23110 [00:01<00:33, 668.52 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00005_of_00012.arrow
2026-04-20 13:11:31 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00005_of_00012.arrow
Applying chat template (num_proc=12): 3%|█▉ | 697/23110 [00:01<00:32, 688.80 examples/s] Applying chat template (num_proc=12): 4%|██▋ | 964/23110 [00:01<00:22, 988.36 examples/s] Applying chat template (num_proc=12): 7%|████▏ | 1555/23110 [00:01<00:12, 1727.21 examples/s] Applying chat template (num_proc=12): 7%|████▍ | 1636/23110 [00:01<00:12, 1738.06 examples/s] Applying chat template (num_proc=12): 8%|████▉ | 1837/23110 [00:01<00:12, 1756.40 examples/s] Applying chat template (num_proc=12): 10%|██████▏ | 2290/23110 [00:01<00:09, 2122.19 examples/s] Applying chat template (num_proc=12): 10%|██████▎ | 2372/23110 [00:01<00:09, 2179.58 examples/s] Applying chat template (num_proc=12): 19%|████████████ | 4494/23110 [00:02<00:05, 3571.12 examples/s] Applying chat template (num_proc=12): 13%|███████▊ | 2900/23110 [00:02<00:09, 2178.00 examples/s] Applying chat template (num_proc=12): 18%|██████████▉ | 4090/23110 [00:02<00:05, 3302.67 examples/s] Applying chat template (num_proc=12): 19%|███████████▊ | 4418/23110 [00:02<00:05, 3362.33 examples/s] Applying chat template (num_proc=12): 38%|███████████████████████▌ | 8795/23110 [00:02<00:01, 8202.89 examples/s] Applying chat template (num_proc=12): 45%|███████████████████████████▍ | 10411/23110 [00:02<00:01, 8069.63 examples/s] Applying chat template (num_proc=12): 24%|███████████████ | 5636/23110 [00:02<00:04, 4085.29 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00006_of_00012.arrow
2026-04-20 13:11:32 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00006_of_00012.arrow
Applying chat template (num_proc=12): 27%|████████████████▊ | 6286/23110 [00:02<00:04, 4132.10 examples/s] Applying chat template (num_proc=12): 36%|██████████████████████▍ | 8366/23110 [00:02<00:02, 6829.81 examples/s] Applying chat template (num_proc=12): 26%|████████████████▎ | 6074/23110 [00:02<00:04, 3840.74 examples/s] Applying chat template (num_proc=12): 51%|███████████████████████████████ | 11753/23110 [00:02<00:01, 7970.32 examples/s] Applying chat template (num_proc=12): 36%|██████████████████████▎ | 8327/23110 [00:02<00:02, 6011.07 examples/s] Applying chat template (num_proc=12): 38%|███████████████████████▎ | 8710/23110 [00:02<00:02, 6526.71 examples/s] Applying chat template (num_proc=12): 41%|█████████████████████████▍ | 9486/23110 [00:02<00:01, 6920.64 examples/s] Applying chat template (num_proc=12): 56%|██████████████████████████████████▏ | 12943/23110 [00:02<00:01, 8140.81 examples/s] Applying chat template (num_proc=12): 40%|████████████████████████▋ | 9214/23110 [00:02<00:02, 6126.13 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00007_of_00012.arrow
2026-04-20 13:11:33 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00007_of_00012.arrow
Applying chat template (num_proc=12): 45%|███████████████████████████▋ | 10485/23110 [00:02<00:01, 6855.77 examples/s] Applying chat template (num_proc=12): 61%|█████████████████████████████████████ | 14034/23110 [00:02<00:01, 8151.98 examples/s] Applying chat template (num_proc=12): 43%|██████████████████████████▍ | 10039/23110 [00:02<00:02, 6080.92 examples/s] Applying chat template (num_proc=12): 43%|██████████████████████████▍ | 9869/23110 [00:02<00:02, 5991.67 examples/s] Applying chat template (num_proc=12): 49%|██████████████████████████████▏ | 11421/23110 [00:02<00:01, 7188.52 examples/s] Applying chat template (num_proc=12): 65%|███████████████████████████████████████▋ | 15041/23110 [00:03<00:01, 7987.62 examples/s] Applying chat template (num_proc=12): 47%|████████████████████████████▌ | 10820/23110 [00:03<00:01, 6305.49 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00008_of_00012.arrow
2026-04-20 13:11:33 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00008_of_00012.arrow
Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00009_of_00012.arrow
2026-04-20 13:11:33 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00009_of_00012.arrow
Applying chat template (num_proc=12): 47%|████████████████████████████▌ | 10812/23110 [00:03<00:01, 6166.57 examples/s] Applying chat template (num_proc=12): 53%|████████████████████████████████▌ | 12341/23110 [00:03<00:01, 7556.43 examples/s] Applying chat template (num_proc=12): 50%|██████████████████████████████▌ | 11572/23110 [00:03<00:01, 6526.65 examples/s] Applying chat template (num_proc=12): 69%|██████████████████████████████████████████▏ | 15968/23110 [00:03<00:00, 7625.33 examples/s] Applying chat template (num_proc=12): 57%|██████████████████████████████████▉ | 13250/23110 [00:03<00:01, 7545.11 examples/s] Applying chat template (num_proc=12): 50%|██████████████████████████████▊ | 11666/23110 [00:03<00:01, 6098.00 examples/s] Applying chat template (num_proc=12): 54%|████████████████████████████████▋ | 12374/23110 [00:03<00:01, 6846.65 examples/s] Applying chat template (num_proc=12): 73%|████████████████████████████████████████████▍ | 16819/23110 [00:03<00:00, 7527.89 examples/s] Applying chat template (num_proc=12): 61%|█████████████████████████████████████▏ | 14105/23110 [00:03<00:01, 7706.90 examples/s] Applying chat template (num_proc=12): 57%|██████████████████████████████████▊ | 13176/23110 [00:03<00:01, 6831.72 examples/s] Applying chat template (num_proc=12): 76%|██████████████████████████████████████████████▌ | 17629/23110 [00:03<00:00, 7565.19 examples/s] Applying chat template (num_proc=12): 54%|████████████████████████████████▉ | 12459/23110 [00:03<00:01, 5616.15 examples/s] Applying chat template (num_proc=12): 65%|███████████████████████████████████████▌ | 15012/23110 [00:03<00:01, 7142.32 examples/s] Applying chat template (num_proc=12): 60%|████████████████████████████████████▊ | 13924/23110 [00:03<00:01, 6727.63 examples/s] Applying chat template (num_proc=12): 80%|████████████████████████████████████████████████▉ | 18544/23110 [00:03<00:00, 7941.34 examples/s] Applying chat template (num_proc=12): 57%|██████████████████████████████████▋ | 13154/23110 [00:03<00:01, 5414.11 examples/s] Applying chat template (num_proc=12): 64%|███████████████████████████████████████ | 14786/23110 [00:03<00:01, 7207.36 examples/s] Applying chat template (num_proc=12): 68%|█████████████████████████████████████████▋ | 15809/23110 [00:03<00:01, 6715.19 examples/s] Applying
2026-04-20 13:11:34 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00010_of_00012.arrow
Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00011_of_00012.arrow
2026-04-20 13:11:34 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4caa37617e6fc812_00011_of_00012.arrow
Applying chat template (num_proc=12): 76%|██████████████████████████████████████████████▍ | 17604/23110 [00:03<00:00, 7102.02 examples/s] Applying chat template (num_proc=12): 69%|██████████████████████████████████████████▎ | 16038/23110 [00:03<00:00, 7457.93 examples/s] Applying chat template (num_proc=12): 78%|███████████████████████████████████████████████▍ | 17994/23110 [00:03<00:00, 8806.87 examples/s] Applying chat template (num_proc=12): 91%|███████████████████████████████████████████████████████▌ | 21066/23110 [00:03<00:00, 6377.47 examples/s] Applying chat template (num_proc=12): 81%|█████████████████████████████████████████████████▎ | 18675/23110 [00:03<00:00, 7933.14 examples/s] Applying chat template (num_proc=12): 83%|██████████████████████████████████████████████████▌ | 19160/23110 [00:03<00:00, 9573.85 examples/s] Applying chat template (num_proc=12): 76%|██████████████████████████████████████████████▎ | 17528/23110 [00:03<00:00, 8775.39 examples/s] Applying chat template (num_proc=12): 94%|█████████████████████████████████████████████████████████▌ | 21806/23110 [00:04<00:00, 6140.14 examples/s] Applying chat template (num_proc=12): 86%|████████████████████████████████████████████████████▍ | 19878/23110 [00:04<00:00, 8702.06 examples/s] Applying chat template (num_proc=12): 88%|█████████████████████████████████████████████████████▌ | 20315/23110 [00:04<00:00, 9989.20 examples/s] Applying chat template (num_proc=12): 81%|█████████████████████████████████████████████████▋ | 18825/23110 [00:04<00:00, 9795.93 examples/s] Applying chat template (num_proc=12): 90%|██████████████████████████████████████████████████████▉ | 20795/23110 [00:04<00:00, 8710.60 examples/s] Applying chat template (num_proc=12): 88%|████████████████████████████████████████████████████▌ | 20258/23110 [00:04<00:00, 10699.40 examples/s] Applying chat template (num_proc=12): 97%|███████████████████████████████████████████████████████████▎ | 22483/23110 [00:04<00:00, 5005.77 examples/s] Applying chat template (num_proc=12): 92%|████████████████████████████████████████████████████████▍ | 21361/23110 [00:04<00:00, 8786.56 examples/s] Applying chat template (num_proc=12): 94%|█████████████████████████████████████████████████████████▍ | 21762/23110 [00:04<00:00, 89
Filter: 0%| | 0/207865 [00:00<?, ? examples/s] Applying chat template (num_proc=12): 100%|█████████████████████████████████████████████████████████████| 23110/23110 [00:04<00:00, 5039.43 examples/s]
Concatenating 12 shards
2026-04-20 13:11:34 - INFO - datasets.arrow_dataset - Concatenating 12 shards
Filter: 0%| | 0/207865 [00:00<?, ? examples/s] Applying chat template (num_proc=12): 100%|█████████████████████████████████████████████████████████████| 23110/23110 [00:04<00:00, 5000.06 examples/s]
Applying chat template (num_proc=12): 100%|█████████████████████████████████████████████████████████████| 23110/23110 [00:04<00:00, 5032.11 examples/s]
Filter: 0%| | 0/207865 [00:00<?, ? examples/s] Filter: 0%| | 0/207865 [00:00<?, ? examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4f49114dc348a6e1.arrow
2026-04-20 13:11:49 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-4f49114dc348a6e1.arrow
Filter: 5%|████▍ | 10000/207865 [00:14<04:51, 678.29 examples/s] Filter: 5%|████▍ | 10000/207865 [00:14<04:50, 680.26 examples/s] Filter: 5%|████▍ | 10000/207865 [00:14<04:54, 672.40 examples/s] Filter: 5%|████▍ | 10000/207865 [00:14<04:52, 677.61 examples/s] Filter: 10%|████████▊ | 20000/207865 [00:29<04:37, 676.99 examples/s] Filter: 10%|████████▊ | 20000/207865 [00:29<04:38, 674.26 examples/s] Filter: 10%|████████▊ | 20000/207865 [00:29<04:38, 675.53 examples/s] Filter: 10%|████████▊ | 20000/207865 [00:29<04:40, 669.81 examples/s] Filter: 10%|████████▊ | 20000/207865 [00:44<04:40, 669.81 examples/s] Filter: 10%|████████▊ | 20000/207865 [00:43<04:38, 675.53 examples/s] Filter: 10%|████████▊ | 20000/207865 [00:44<04:38, 674.26 examples/s] Filter: 10%|████████▊ | 20000/207865 [00:44<04:37, 676.99 examples/s] Filter: 14%|█████████████▏ | 30000/207865 [00:44<04:21, 679.99 examples/s] Filter: 14%|█████████████▏ | 30000/207865 [00:44<04:22, 678.42 examples/s] Filter: 14%|█████████████▏ | 30000/207865 [00:44<04:22, 677.98 examples/s] Filter: 14%|█████████████▏ | 30000/207865 [00:44<04:24, 673.66 examples/s] Filter: 19%|█████████████████▌ | 40000/207865 [00:58<04:06, 681.27 examples/s] Filter: 19%|█████████████████▌ | 40000/207865 [00:58<04:06, 681.47 examples/s] Filter: 19%|█████████████████▌ | 40000/207865 [00:58<04:06, 679.80 examples/s] Filter: 19%|█████████████████▌ | 40000/207865 [00:59<04:07, 677.70 examples/s] Filter: 24%|█████████████████████▉ | 50000/207865 [01:13<03:50, 683.57 examples/s] Filter: 24%|█████████████████████▉ | 50000/207865 [01:13<03:51, 681.38 examples/s] Filter: 24%|█████████████████████▉ | 50000/207865 [01:13<03:51, 682.11 examples/s] Filter: 24%|████<E29688>
Filter: 0%| | 0/23110 [00:00<?, ? examples/s] Filter: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 207865/207865 [05:05<00:00, 687.58 examples/s] Filter: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 207865/207865 [05:05<00:00, 681.38 examples/s]
Filter: 0%| | 0/23110 [00:00<?, ? examples/s] Filter: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 207865/207865 [05:05<00:00, 683.76 examples/s] Filter: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 207865/207865 [05:05<00:00, 681.29 examples/s]
Filter: 0%| | 0/23110 [00:00<?, ? examples/s] Filter: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 207865/207865 [05:05<00:00, 687.26 examples/s] Filter: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 207865/207865 [05:05<00:00, 680.57 examples/s]
Filter: 0%| | 0/23110 [00:00<?, ? examples/s] Filter: 43%|███████████████████████████████████████▊ | 10000/23110 [00:14<00:18, 693.69 examples/s] Filter: 43%|███████████████████████████████████████▊ | 10000/23110 [00:14<00:18, 693.15 examples/s] Filter: 43%|███████████████████████████████████████▊ | 10000/23110 [00:14<00:18, 697.57 examples/s]Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-cfb3b1e423bed179.arrow
2026-04-20 13:16:54 - INFO - datasets.arrow_dataset - Caching processed dataset at /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/HuggingFaceH4___ultrachat_200k/default/0.0.0/8049631c405ae6576f93f445c6b8166f76f5505a/cache-cfb3b1e423bed179.arrow
Filter: 43%|███████████████████████████████████████▊ | 10000/23110 [00:14<00:18, 695.01 examples/s] Filter: 87%|███████████████████████████████████████████████████████████████████████████████▌ | 20000/23110 [00:28<00:04, 693.32 examples/s] Filter: 87%|███████████████████████████████████████████████████████████████████████████████▌ | 20000/23110 [00:28<00:04, 694.08 examples/s] Filter: 87%|███████████████████████████████████████████████████████████████████████████████▌ | 20000/23110 [00:28<00:04, 693.14 examples/s] Filter: 43%|███████████████████████████████████████▊ | 10000/23110 [00:28<00:18, 695.01 examples/s] Filter: 87%|███████████████████████████████████████████████████████████████████████████████▌ | 20000/23110 [00:28<00:04, 692.45 examples/s] Filter: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 23110/23110 [00:33<00:00, 692.73 examples/s] Filter: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 23110/23110 [00:33<00:00, 692.61 examples/s]
Filter: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 23110/23110 [00:33<00:00, 694.31 examples/s] Filter: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 23110/23110 [00:33<00:00, 693.83 examples/s]
Filter: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 23110/23110 [00:33<00:00, 693.71 examples/s] Filter: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 23110/23110 [00:33<00:00, 693.84 examples/s]
Filter: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 23110/23110 [00:33<00:00, 691.87 examples/s] Filter: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 23110/23110 [00:33<00:00, 692.13 examples/s]
2026-04-20 13:17:13 - INFO - __main__ - Decontaminated 1 (0.00%) samples from the training set.
2026-04-20 13:17:13 - INFO - __main__ - Sample 167621 of the processed training set:
<|im_start|>system
<|im_end|>
<|im_start|>user
Describe in detail how beauty consultants use augmented reality technology to enhance the customer experience and provide personalized recommendations. Include an explanation of the different types of augmented reality used, such as virtual try-on, facial recognition, and skin analysis. Additionally, discuss how these technologies are integrated into the consultant's workflow and how they help to improve customer satisfaction and sales. Provide examples of beauty brands that have successfully implemented augmented reality in their consultations and their outcomes.<|im_end|>
<|im_start|>assistant
Beauty consultants use augmented reality technology to help customers visualize how different products will look on them before making a purchase. Augmented reality is a technology that integrates digital content into the user's physical environment, enhancing the real-world experience. Augmented reality is utilized in the beauty industry through apps, mirrors, and specialized devices.
One type of augmented reality used by beauty consultants is virtual try-on. Virtual try-on allows customers to try on different makeup looks, hairstyles, and even accessories virtually. The technology uses a camera to scan the customer's face, and then it maps virtual makeup or hair onto the customer's face, giving a realistic idea of how the product will look before making a purchase. This technology is especially helpful for people who are hesitant to try new products or have sensitive skin and can't try on products in-store.
Another type of augmented reality used by beauty consultants is facial recognition. Facial recognition technology analyzes the customer's face and identifies their unique features, such as skin tone and facial shape. By analyzing these features, the system can provide personalized product recommendations that would work best for the customer's skin type and complexion. This technology has become popular in skincare consultations, as it provides the customer with a tailored skincare regimen that addresses their unique needs.
Finally, augmented reality is also used in skin analysis. This technology allows beauty consultants to assess skin conditions such as wrinkles, sun damage, and acne. By analyzing the customer's skin, beauty consultants can recommend personalized skincare products.
To integrate augmented reality technology into their workflow, beauty consultants use specialized apps or devices, such as handheld cameras or mirrors equipped with augmented reality capabilities. Customers can also access augmented reality technology in-store through interactive kiosks or mobile apps.
Implementing augmented reality technology in customer consultations has many benefits. This technology helps enhance the customer's experience, as it allows them to visualize how the product will look before making a purchase. It also provides customers with personalized recommendations, which boosts customer satisfaction and can lead to an increase in sales.
Several beauty brands have successfully implemented augmented reality in their consultations. For example, L'Oreal's Makeup Genius app allows customers to virtually try on different makeup looks, and Sephora's Virtual Artist app uses facial recognition technology to offer personalized recommendations. Both apps have received positive reviews, with customers appreciating the convenience and personalized recommendations.
In conclusion, augmented reality technology is becoming increasingly popular in the beauty industry. Virtual try-on, facial recognition, and skin analysis technology all help enhance the customer experience, provide tailored recommendations and improve customer satisfaction. Beauty brands that have successfully implemented augmented reality technology in their consultations have seen an increase in sales and positive customer feedback.<|im_end|>
<|im_start|>user
Can you elaborate more on how augmented reality technology is used in virtual try-ons and how it has improved the customer experience for beauty brands? Also, can you recommend any specific beauty brands that have seen a significant increase in sales since implementing augmented reality technology in their consultations?<|im_end|>
<|im_start|>assistant
Certainly! Augmented reality technology in virtual try-ons allows customers to see how different makeup and hair products look on their face or head without physically trying them on. By using a tool such as a mobile app or camera, customers can see realistic 3D renderings of how the products will look on them, without having to apply or remove any physical makeup or hair products. This makes it much easier for customers to visualize if a particular product will work for them or not before they make a purchase. Augmented reality in virtual try-ons has drastically improved the customer experience for beauty brands because it helps customers make more confident, informed purchasing decisions. Customers can experiment with different makeup looks or hairstyles virtually, without the risk of wasting money on a product that might not work for them. This technology has also helped to create a more immersive and exciting experience for customers, which can lead to stronger loyalty and increased brand perception. As for brands that have seen a significant increase in sales since implementing augmented reality technology in their consultations, one great example is L'Oreal's Makeup Genius app. Since launching in 2014, the app has been downloaded over 20 million times and has helped to increase L'Oreal's online sales. Additionally, Estée Lauder saw a 65% increase in sales of their Double Wear foundation after launching an augmented reality try-on tool in their mobile app. Finally, Sephora's Virtual Artist app has also seen success with over 10 million downloads since launching in 2016. Overall, augmented reality technology in virtual try-ons has drastically improved the customer experience for beauty brands by allowing customers to make more informed decisions and create an immersive shopping experience. As more brands begin to implement this technology, it's likely we will continue to see significant increases in sales and stronger customer loyalty as a result.<|im_end|>
<|im_start|>user
Can you offer more information about how augmented reality technology is used in skincare consultations and recommend some specific beauty brands that have successfully integrated this technology in their consultations? Additionally, can you explain further how beauty brands can use augmented reality technology to enhance customer satisfaction and increase sales?<|im_end|>
<|im_start|>assistant
<think>
</think>
Certainly! Augmented reality technology is used in skincare consultations by helping beauty consultants analyze the customer's skin and offer personalized recommendations based on their specific needs. This is primarily done by using facial recognition technology to identify the customer's unique features, including skin tone, texture, and any areas of concern. The consultant can then use augmented reality technology to show the customer how a particular product will help address those issues, and even track the effectiveness of the product over time. A great example of a beauty brand that has successfully integrated this technology into their consultations is Dermalogica. Their Face Mapping technology uses facial recognition technology to analyze the customer's skin and offer personalized product recommendations based on their skin type and concerns. Dermalogica also recently launched Skin Analysis 2.0, which uses machine learning to analyze customer's skin in even more detail, to provide more targeted recommendations. As for how augmented reality technology can enhance customer satisfaction and increase sales, there are several key ways. First, it helps customers make more informed purchasing decisions by providing personalized recommendations based on their individual needs, which makes them feel more confident in their choices. Second, it creates a more immersive and exciting shopping experience, which can help to improve customer retention and loyalty. Finally, it can help to simplify and streamline the consultation process, which can increase efficiency and allow consultants to assist more customers. One great example of a beauty brand that has successfully used augmented reality technology to enhance customer satisfaction and increase sales is MAC Cosmetics. They have a virtual try-on tool that allows customers to try on different eyeshadow shades and save their favorite looks to easily purchase later. The tool has been incredibly popular, contributing to significant sales growth for the brand. Overall, augmented reality technology has great potential in the beauty industry to enhance the customer experience, increase sales, and improve efficiency. Beauty brands that successfully integrate this technology into their consultations will likely continue to see strong sales growth and increased customer satisfaction.<|im_end|>
2026-04-20 13:17:13 - INFO - __main__ - Sample 29184 of the processed training set:
<|im_start|>system
<|im_end|>
<|im_start|>user
How can we encourage more public engagement in conservation efforts and create a sense of responsibility towards protecting our natural environment?<|im_end|>
<|im_start|>assistant
There are several ways to encourage public engagement in conservation efforts and create a sense of responsibility towards protecting our natural environment:
1. Raise awareness: Conduct public awareness campaigns through various mediums like social media, television, and radio to educate people about the importance of conservation and how they can contribute to it.
2. Community involvement: Encourage individuals and local communities to come together for conservation projects like cleaning up local parks and beaches.
3. Volunteering: Organize volunteering opportunities for people to participate in conservation efforts by providing them with the necessary tools and resources.
4. Education: Promote eco-friendly lifestyles by teaching children about the environment in schools and encouraging adults to attend workshops and seminars.
5. Collaborate with local organizations: Collaborate with local environmental organizations to create sustainable programs that will benefit the community and the environment.
6. Rewards and incentives: Offer incentives and rewards for people who take part in conservation efforts to motivate them to continue their efforts.
7. Government initiatives: Encourage the government to introduce policies that support conservation efforts to protect natural habitats, wildlife, and the environment.
By using these strategies, we can encourage public engagement in conservation efforts and create a sense of responsibility towards protecting our natural environment.<|im_end|>
<|im_start|>user
I really like the idea of offering incentives for people who participate in conservation efforts. What kind of incentives do you think would be effective?<|im_end|>
<|im_start|>assistant
There are several incentives that could be effective in encouraging people to participate in conservation efforts. Some examples are:
1. Recognition: Acknowledge and celebrate the efforts of people who participate in conservation efforts, for example, by awarding certificates, hosting events, or mentioning them on social media.
2. Discounts: Offer discounts or coupons for local businesses to those who participate in conservation efforts. This could encourage people to not only participate in conservation but also support smaller businesses in their community.
3. Prizes: Offer the chance to win prizes like books on environmentalism, eco-friendly products, or even eco-tourism trips to those who participate in conservation efforts.
4. Volunteer hour credits: Give credits to volunteers for their hours worked, giving them a tangible benefit while helping to track their contributions to the environment.
5. Free admission: Offer free admission to parks, zoos, aquariums, and other natural attractions for those who participate in conservation efforts.
6. Tax incentives: Offer tax benefits to individuals or businesses who participate in conservation efforts, giving them another reason to get involved.
These incentives could be tailored to suit the interests and needs of the local community and may be more or less effective depending on the target audience.<|im_end|>
<|im_start|>user
I think that offering free admission to natural attractions for those who participate in conservation efforts is a great idea! It's a win-win situation for everyone.<|im_end|>
<|im_start|>assistant
Yes, offering free admission to natural attractions is a great incentive for those who participate in conservation efforts because it not only encourages people to get involved in conservation work but also gives them the opportunity to enjoy and appreciate the beauty of nature. Additionally, it benefits the attractions themselves as they receive more visitors as a result of the incentive. This can be a great way to promote ecotourism and raise awareness about conservation efforts. By doing this, we can show people how important it is to protect our natural environment and that they can make a difference.<|im_end|>
<|im_start|>user
I also think it would be great if businesses offered discounts or coupons for those who participate in conservation efforts. It's a good way to support local businesses while promoting conservation.<|im_end|>
<|im_start|>assistant
Yes, offering discounts or coupons for local businesses is a great way to support the local economy while also promoting conservation. By encouraging people to participate in conservation efforts, local businesses can attract new customers and show their support for important environmental causes. This is an excellent way to strengthen the connection between businesses and the community while also fostering a sense of responsibility towards environmental preservation. This initiative can also lead to a greater sense of community pride and engagement in the local area as people feel that they are making a positive impact on their own community.<|im_end|>
<|im_start|>user
I also think that organizing workshops and seminars for adults could be really effective. I know I personally would love to learn more about how I can make small changes in my daily life to help protect the environment.<|im_end|>
<|im_start|>assistant
Yes, organizing workshops and seminars for adults can be very effective in promoting awareness and education about conservation efforts. These events can provide valuable information on ways individuals can make small changes in their daily lives to help preserve the environment. The workshops and seminars can cover topics such as reducing waste, composting, energy conservation, and sustainable living practices. These events can also provide an excellent opportunity for people to meet and network with like-minded individuals who share a passion for environmental causes.
In addition, inviting guest speakers who are experts on various environmental topics can offer more in-depth knowledge and information to attendees. This will provide attendees with a chance to learn and ask questions and encourage them to be more engaged in conservation efforts. Overall, organizing workshops and seminars is a great way to educate adults and empower them to take an active role in protecting the environment.<|im_end|>
<|im_start|>user
I also think it would be great to promote sustainable living practices in schools so that the younger generation can learn to be mindful of the environment from a young age.<|im_end|>
<|im_start|>assistant
Yes, promoting sustainable living practices in schools is a great way to teach young people about the importance of conservation and environmental protection. Educating children about the environment from a young age can help cultivate a sense of responsibility and commitment towards conservation efforts. It can also encourage them to develop environmentally conscious habits and practices that they can carry with them throughout life. By teaching sustainable living practices such as composting, recycling, conserving energy, and reducing waste, we can prepare the next generation to be mindful of their impact on the environment.
Furthermore, schools can organize programs that focus on outdoor education and nature-based learning. These initiatives can help children develop a deeper appreciation and understanding of the natural world. They can also provide children with valuable opportunities to participate in conservation efforts, such as planting trees, cleaning up local parks, and monitoring local wildlife. By introducing conservation education in schools, we can ensure that future generations are equipped with the knowledge and tools necessary to protect the environment.<|im_end|>
<|im_start|>user
I also think it would be great to have more eco-friendly options available in stores to make it easier for people to live sustainably. Do you have any ideas for how stores can promote eco-friendly options?<|im_end|>
<|im_start|>assistant
<think>
</think>
Yes, having more eco-friendly options available in stores is a great way to make sustainable living more accessible for everyone. Here are some ideas for how stores can promote eco-friendly options:
1. Display eco-friendly products prominently: Stores can display eco-friendly products prominently in high-traffic areas and near checkout counters to increase their visibility and encourage people to consider purchasing them.
2. Provide information on the environmental benefits: Stores can provide information to shoppers on the environmental benefits of the eco-friendly products they carry. This can be done through product labeling, in-store signage, or by providing educational materials.
3. Offer discounts and promotions: Stores can offer discounts and promotions for eco-friendly products to incentivize people to purchase them over less environmentally-friendly alternatives. Discounts can also be given to shoppers who bring their own bags, reducing the amount of plastic bag waste.
4. Collaborate with environmental organizations: Stores can collaborate with local environmental organizations to promote eco-friendly living and host events related to sustainability. This could include organizing educational campaigns on recycling at outdoor markets, for example.
5. Use more eco-friendly packaging: Stores can switch to more eco-friendly packaging options, such as biodegradable bags and boxes or encourage customers to bring their own reusable bags or containers.
By offering more eco-friendly options and promoting sustainable products, stores can help make it easier for people to live sustainably and make a positive impact on the environment.<|im_end|>
2026-04-20 13:17:13 - INFO - __main__ - Sample 6556 of the processed training set:
<|im_start|>system
<|im_end|>
<|im_start|>user
Write a coming-of-age play that explores the challenges and realities of growing up with a group of friends as the central characters. The play should delve into themes of identity, peer pressure, family dynamics, and the transition from adolescence to adulthood. The style of the play can be realistic, absurdist, or a blend of both, and should include both comedic and dramatic elements. The characters should be multi-dimensional and relatable, and the plot should have a clear arc that builds to a satisfying resolution.<|im_end|>
<|im_start|>assistant
Title: Growing Up Together
Act 1
Scene 1:
A group of friends, Lucy, Jake, Hannah, and Mike, sit on a bench outside a convenience store. They’re all 16 years old and in high school. They talk about random things that only teenagers talk about, like school, crushes, and the latest video games.
Scene 2:
At Hannah’s house – she lives with her dad and sister. Her dad is always working, and her sister is too busy with her own life. Hannah shares with her friends how tough it is to live with a dad that never has time for her or her sister.
Scene 3:
At Mike’s house – he lives with both his parents, but they’re always arguing. Mike tells his friends how the constant bickering affects him, and he compares his family to divorce, wishing his parents would separate to be happier.
Act 2
Scene 1:
Lucy’s best friend from childhood, Jess, moves back to town. Lucy feels the pressure to be with her friend again, but worries about losing her current group of friends.
Scene 2:
Jake and Mike start drinking, smoking, and partying. They try to get the girls involved, but they all decline, causing a rift in the group.
Scene 3:
Hannah’s dad gets into a severe accident that leaves him unable to work. She has to step up and become the caretaker for both her dad and sister.
Act 3
Scene 1:
The friends start to argue and drift away from one another. Lucy feels torn between Jess and her current friends, while Jake and Mike become too focused on their vices.
Scene 2:
Hannah has to face adult responsibilities as the caretaker of her family. She starts to distance herself from her friends, wanting to make her family her top priority.
Scene 3:
The friends come together for one last dinner and realize that they’ve all changed, grown-up, and become different people. They all leave to start their new chapters with a newfound appreciation for each other.
Epilogue
Each of the four friends narrates their new journey, telling the audience what they decided to do, where they are heading, and what they hope to achieve in the future as an adult. Despite the hardships they faced, they know they will always be there for each other.<|im_end|>
<|im_start|>user
I like the idea of the play, but can we delve deeper into the family dynamics of the characters? I think that would add an interesting layer to the story.<|im_end|>
<|im_start|>assistant
Absolutely! I agree that exploring the family dynamics of the characters would add depth to the story.
Act 1
Scene 1:
A group of friends, Lucy, Jake, Hannah, and Mike, sit on a bench outside a convenience store. They’re all 16 years old and in high school. They talk about random things that only teenagers talk about, like school, crushes, and the latest video games.
Scene 2:
At Hannah’s house – she lives with her dad and sister. Her dad is always working, and her sister is too busy with her own life. Hannah shares with her friends how tough it is to live with a dad that never has time for her or her sister. She takes on most of the household responsibilities, which leaves her feeling overwhelmed and lonely.
Scene 3:
At Mike’s house – he lives with both his parents, but they're always arguing. His dad has a drinking problem that affects his relationships with the rest of the family. Mike tells his friends how the constant bickering affects him, and he compares his family to divorce, wishing his parents would separate to be happier.
Act 2
Scene 1:
Lucy’s best friend from childhood, Jess, moves back to town. Lucy feels the pressure to be with her friend again, but worries about losing her current group of friends. Her family is supportive, but her mother is overbearing and has a tendency to push her towards certain career paths.
Scene 2:
Jake’s family recently moved to the area, and he struggles to fit in with the group. His parents are supportive but have high expectations for him, which leads to tension between them.
Scene 3:
Hannah’s dad gets into a severe accident that leaves him unable to work. She has to step up and become the caretaker for both her dad and sister. Her friends are supportive, but her family has a tendency to view her as the "responsible" one and put more pressure on her.
Act 3
Scene 1:
The friends start to argue and drift away from one another. Lucy feels torn between Jess and her current friends, while Jake and Mike become too focused on their vices. Hannah struggles to maintain her family responsibilities and her friendships.
Scene 2:
Hannah has to face adult responsibilities as the caretaker of her family. She starts to distance herself from her friends, wanting to make her family her top priority. She feels guilty for neglecting her friends but finds it challenging to balance everything.
Scene 3:
The friends come together for one last dinner and realize that they’ve all changed, grown-up, and become different people. They all leave to start their new chapters with a newfound appreciation for each other and their families.
Epilogue
Each of the four friends narrates their new journey, telling the audience what they decided to do, where they are heading, and what they hope to achieve in the future as an adult. Despite the hardships they faced, they know they will always be there for each other and their families.<|im_end|>
<|im_start|>user
Hey, the family dynamics added a lot of depth to the play, but I think we could explore it even further. Can you add some scenes where the characters struggle to balance their family responsibilities and their friendships? Also, can we see how their family dynamics affect their personal growth and identity?<|im_end|>
<|im_start|>assistant
Absolutely! Here's a revised version that delves even deeper into the family dynamics of the characters, explores their struggle to balance family responsibilities and friendships, and shows how their family dynamics affect their personal growth and identity:
Act 1
Scene 1:
A group of friends, Lucy, Jake, Hannah, and Mike, sit on a bench outside a convenience store. They’re all 16 years old and in high school. They talk about random things that only teenagers talk about, like school, crushes, and the latest video games.
Scene 2:
At Hannah’s house – she lives with her dad and sister. Her dad is always working, and her sister is too busy with her own life. Hannah takes on most of the household responsibilities, which leaves her feeling overwhelmed and lonely. She shares with her friends how tough it is to balance her family responsibility and her friendships.
Scene 3:
At Mike's house – he lives with both his parents, but they're always arguing. His dad has a drinking problem that affects his relationships with the rest of the family. Mike tells his friends how the constant bickering affects him, and he compares his family to divorce, wishing his parents would at least try to be happy together. This struggle with his parents' relationship leaves him feeling lost and unsure of his place in the world.
Act 2
Scene 1:
Lucy’s best friend from childhood, Jess, moves back to town. Lucy feels the pressure to be with her friend again, but worries about losing her current group of friends. Her family is supportive, but her mother is overbearing and has a tendency to push her towards certain career paths. This makes Lucy question who she really is and what she wants to do with her future.
Scene 2:
Jake’s family recently moved to the area, and he struggles to fit in with the group. His parents have high expectations for him academically and athletically which leads to tension between them. Jake feels like he can never live up to his parents' expectations and starts to feel like he's not good enough.
Scene 3:
Hannah’s dad gets into a severe accident that leaves him unable to work. She has to step up and become the caretaker for both her dad and sister. Her friends are supportive, but balancing her family responsibilities and her friendships becomes even harder. She starts to feel like she's lost her own identity and has become nothing more than a caretaker.
Act 3
Scene 1:
The friends start to argue and drift away from one another. Lucy feels torn between Jess and her current friends, while Jake and Mike become too focused on their vices. Hannah struggles to maintain her family responsibilities and her friendships. All of them begin to wonder if it's worth it to keep holding on to their friendships or if it's time to let go.
Scene 2:
After some time has passed, each character has a moment where they realize the importance of their family and their friendships. Even though it's hard to balance both, they know they can't just let go of the people who have been with them through everything. Lucy stands up to her mother and decides to pursue her own dreams, Jake learns to take pride in who he is and not just what his parents expect him to be, Mike starts to confront his own problems within his family, and Hannah learns to ask for help so she can find a balance between caring for her family and herself.
Scene 3:
The friends come together for one last dinner and realize that they’ve all changed, grown-up, and become different people. They all leave to start their new chapters with a newfound appreciation for each other and their families. They know that it's not going to be easy, but they're ready to face whatever hurdles come their way.
Epilogue:
Each of the four friends narrates their new journey, telling the audience what they decided to do, where they are heading, and what they hope to achieve in the future as an adult. Despite the hardships they faced, they know they will always be there for each other and their families. They've learned that growing up isn't about finding yourself, but rather creating yourself and sometimes that means taking a step back to care for those who have always been there.<|im_end|>
<|im_start|>user
Hey, I really like the additions you made to the play! Can we add a scene where the characters have a heart-to-heart conversation with their families about their struggles with balancing family responsibilities and friendships? I think it would be a great way to show how important communication is in maintaining relationships.<|im_end|>
<|im_start|>assistant
<think>
</think>
Definitely! Here's a revised version of the play with the added scene:
Act 1
Scene 1:
A group of friends, Lucy, Jake, Hannah, and Mike, sit on a bench outside a convenience store. They’re all 16 years old and in high school. They talk about random things that only teenagers talk about, like school, crushes, and the latest video games.
Scene 2:
At Hannah’s house – she lives with her dad and sister. Her dad is always working, and her sister is too busy with her own life. Hannah takes on most of the household responsibilities, which leaves her feeling overwhelmed and lonely. She shares with her friends how tough it is to balance her family responsibility and her friendships.
Scene 3:
At Mike's house – he lives with both his parents, but they're always arguing. His dad has a drinking problem that affects his relationships with the rest of the family. Mike tells his friends how the constant bickering affects him, and he compares his family to divorce, wishing his parents would try to be happy together. This struggle with his parents' relationship leaves him feeling lost and unsure of his place in the world.
Act 2
Scene 1:
Lucy’s best friend from childhood, Jess, moves back to town. Lucy feels the pressure to be with her friend again, but worries about losing her current group of friends. Her family is supportive, but her mother is overbearing and has a tendency to push her towards certain career paths. This makes Lucy question who she really is and what she wants to do with her future.
Scene 2:
Jake’s family recently moved to the area, and he struggles to fit in with the group. His parents have high expectations for him academically and athletically, which leads to tension between them. Jake feels like he can never live up to his parents' expectations and starts to feel like he's not good enough.
Scene 3:
Hannah’s dad gets into a severe accident that leaves him unable to work. She has to step up and become the caretaker for both her dad and sister. Her friends are supportive, but balancing her family responsibilities and her friendships becomes even harder. She starts to feel like she's lost her own identity and has become nothing more than a caretaker.
Act 3
Scene 1:
The friends start to argue and drift away from one another. Lucy feels torn between Jess and her current friends, while Jake and Mike become too focused on their vices. Hannah struggles to maintain her family responsibilities and her friendships. All of them begin to wonder if it's worth it to keep holding on to their friendships or if it's time to let go.
Scene 2:
The friends have a heart-to-heart conversation with their families about their struggles with balancing family responsibilities and friendships. Lucy talks to her mom about her desire to pursue her own dreams, Jake and his parents come to a mutual understanding about the pressure that has been placed upon him, Mike tells his parents how their constant arguing is affecting him, and Hannah's family offers to lend a helping hand. Through this conversation, the characters learn the importance of communication and the power of support from their families.
Scene 3:
After some time has passed, each character has a moment where they realize the importance of their family and their friendships. Even though it's hard to balance both, they know they can't just let go of the people who have been with them through everything. Lucy stands up for herself and decides to pursue her own dreams, Jake learns to take pride in who he is and not just what his parents expect him to be, Mike starts to confront his own problems within his family, and Hannah learns to ask for help so she can find a balance between caring for her family and herself.
Epilogue:
Each of the four friends narrates their new journey, telling the audience what they decided to do, where they are heading, and what they hope to achieve in the future as an adult. Despite the hardships they faced, they know they will always be there for each other and their families. They've learned that growing up isn't about finding yourself, but rather creating yourself, and sometimes that means taking a step back to care for those who have always been there.<|im_end|>
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/huggingface_hub/utils/_deprecation.py:100: FutureWarning: Deprecated argument(s) used in '__init__': model_init_kwargs, dataset_text_field, max_seq_length, packing. Will not be supported from version '1.0.0'.
Deprecated positional argument(s) used in SFTTrainer, please use the SFTConfig to set these arguments instead.
warnings.warn(message, FutureWarning)
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/huggingface_hub/utils/_deprecation.py:100: FutureWarning: Deprecated argument(s) used in '__init__': model_init_kwargs, dataset_text_field, max_seq_length, packing. Will not be supported from version '1.0.0'.
Deprecated positional argument(s) used in SFTTrainer, please use the SFTConfig to set these arguments instead.
warnings.warn(message, FutureWarning)
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/huggingface_hub/utils/_deprecation.py:100: FutureWarning: Deprecated argument(s) used in '__init__': model_init_kwargs, dataset_text_field, max_seq_length, packing. Will not be supported from version '1.0.0'.
Deprecated positional argument(s) used in SFTTrainer, please use the SFTConfig to set these arguments instead.
warnings.warn(message, FutureWarning)
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/huggingface_hub/utils/_deprecation.py:100: FutureWarning: Deprecated argument(s) used in '__init__': model_init_kwargs, dataset_text_field, max_seq_length, packing. Will not be supported from version '1.0.0'.
Deprecated positional argument(s) used in SFTTrainer, please use the SFTConfig to set these arguments instead.
warnings.warn(message, FutureWarning)
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:158: UserWarning: You passed `model_init_kwargs` to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:158: UserWarning: You passed `model_init_kwargs` to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:158: UserWarning: You passed `model_init_kwargs` to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:185: UserWarning: You passed a model_id to the SFTTrainer. This will automatically create an `AutoModelForCausalLM` or a `PeftModel` (if you passed a `peft_config`) for you.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:185: UserWarning: You passed a model_id to the SFTTrainer. This will automatically create an `AutoModelForCausalLM` or a `PeftModel` (if you passed a `peft_config`) for you.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:158: UserWarning: You passed `model_init_kwargs` to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:185: UserWarning: You passed a model_id to the SFTTrainer. This will automatically create an `AutoModelForCausalLM` or a `PeftModel` (if you passed a `peft_config`) for you.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:185: UserWarning: You passed a model_id to the SFTTrainer. This will automatically create an `AutoModelForCausalLM` or a `PeftModel` (if you passed a `peft_config`) for you.
warnings.warn(
[INFO|configuration_utils.py:691] 2026-04-20 13:17:14,972 >> loading configuration file /scratch/qu.yang1/dynamic-dpo-v4/base_models/Qwen3-8B-Base/config.json
[INFO|configuration_utils.py:765] 2026-04-20 13:17:14,980 >> Model config Qwen3Config {
"architectures": [
"Qwen3ForCausalLM"
],
"attention_bias": false,
"attention_dropout": 0.0,
"bos_token_id": 151643,
"eos_token_id": 151643,
"head_dim": 128,
"hidden_act": "silu",
"hidden_size": 4096,
"initializer_range": 0.02,
"intermediate_size": 12288,
"max_position_embeddings": 32768,
"max_window_layers": 36,
"model_type": "qwen3",
"num_attention_heads": 32,
"num_hidden_layers": 36,
"num_key_value_heads": 8,
"rms_norm_eps": 1e-06,
"rope_scaling": null,
"rope_theta": 1000000,
"sliding_window": null,
"tie_word_embeddings": false,
"torch_dtype": "bfloat16",
"transformers_version": "4.51.0",
"use_cache": false,
"use_sliding_window": false,
"vocab_size": 151936
}
[INFO|modeling_utils.py:1121] 2026-04-20 13:17:15,402 >> loading weights file /scratch/qu.yang1/dynamic-dpo-v4/base_models/Qwen3-8B-Base/model.safetensors.index.json
[INFO|modeling_utils.py:2167] 2026-04-20 13:17:15,402 >> Instantiating Qwen3ForCausalLM model under default dtype torch.bfloat16.
[WARNING|logging.py:328] 2026-04-20 13:17:15,406 >> You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on CPU with `model.to('cuda')`.
[WARNING|logging.py:328] 2026-04-20 13:17:15,407 >> You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on CPU with `model.to('cuda')`.
[INFO|configuration_utils.py:1142] 2026-04-20 13:17:15,407 >> Generate config GenerationConfig {
"bos_token_id": 151643,
"eos_token_id": 151643,
"use_cache": false
}
[WARNING|logging.py:328] 2026-04-20 13:17:15,407 >> You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on CPU with `model.to('cuda')`.
[WARNING|logging.py:328] 2026-04-20 13:17:15,409 >> You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on CPU with `model.to('cuda')`.
Loading checkpoint shards: 0%| | 0/5 [00:00<?, ?it/s] Loading checkpoint shards: 0%| | 0/5 [00:00<?, ?it/s] Loading checkpoint shards: 0%| | 0/5 [00:00<?, ?it/s] Loading checkpoint shards: 0%| | 0/5 [00:00<?, ?it/s] Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 190.16it/s] Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 193.27it/s]
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 217.08it/s]
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:195: UserWarning: You passed a `packing` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:195: UserWarning: You passed a `packing` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:283: UserWarning: You passed a `max_seq_length` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:283: UserWarning: You passed a `max_seq_length` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:321: UserWarning: You passed a `dataset_text_field` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:321: UserWarning: You passed a `dataset_text_field` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:195: UserWarning: You passed a `packing` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:283: UserWarning: You passed a `max_seq_length` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:321: UserWarning: You passed a `dataset_text_field` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
Loading checkpoint shards: 20%|█████████████████▊ | 1/5 [00:00<00:00, 7.11it/s] Loading checkpoint shards: 40%|███████████████████████████████████▌ | 2/5 [00:00<00:00, 6.47it/s] Loading checkpoint shards: 60%|█████████████████████████████████████████████████████▍ | 3/5 [00:00<00:00, 6.01it/s] Loading checkpoint shards: 80%|███████████████████████████████████████████████████████████████████████▏ | 4/5 [00:00<00:00, 6.49it/s] Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 8.03it/s]
[INFO|modeling_utils.py:4926] 2026-04-20 13:17:16,123 >> All model checkpoint weights were used when initializing Qwen3ForCausalLM.
[INFO|modeling_utils.py:4934] 2026-04-20 13:17:16,123 >> All the weights of Qwen3ForCausalLM were initialized from the model checkpoint at /scratch/qu.yang1/dynamic-dpo-v4/base_models/Qwen3-8B-Base.
If your task is similar to the task the model of the checkpoint was trained on, you can already use Qwen3ForCausalLM for predictions without further training.
[INFO|configuration_utils.py:1095] 2026-04-20 13:17:16,125 >> loading configuration file /scratch/qu.yang1/dynamic-dpo-v4/base_models/Qwen3-8B-Base/generation_config.json
[INFO|configuration_utils.py:1142] 2026-04-20 13:17:16,126 >> Generate config GenerationConfig {
"bos_token_id": 151643,
"eos_token_id": 151643,
"max_new_tokens": 2048
}
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:195: UserWarning: You passed a `packing` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:283: UserWarning: You passed a `max_seq_length` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:321: UserWarning: You passed a `dataset_text_field` argument to the SFTTrainer, the value you passed will override the one in the `SFTConfig`.
warnings.warn(
Using custom data configuration default-f6c32c21144e2a08
2026-04-20 13:17:16 - INFO - datasets.builder - Using custom data configuration default-f6c32c21144e2a08
Loading Dataset Infos from /home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/datasets/packaged_modules/generator
2026-04-20 13:17:16 - INFO - datasets.info - Loading Dataset Infos from /home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/datasets/packaged_modules/generator
Generating dataset generator (/scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-f6c32c21144e2a08/0.0.0)
2026-04-20 13:17:16 - INFO - datasets.builder - Generating dataset generator (/scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-f6c32c21144e2a08/0.0.0)
Downloading and preparing dataset generator/default to /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-f6c32c21144e2a08/0.0.0...
2026-04-20 13:17:16 - INFO - datasets.builder - Downloading and preparing dataset generator/default to /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-f6c32c21144e2a08/0.0.0...
Generating train split
2026-04-20 13:17:16 - INFO - datasets.builder - Generating train split
Generating train split: 0 examples [00:00, ? examples/s][WARNING|tokenization_utils_base.py:3955] 2026-04-20 13:17:18,544 >> Token indices sequence length is longer than the specified maximum sequence length for this model (2083 > 2048). Running this sequence through the model will result in indexing errors
Generating train split: 1 examples [00:02, 2.38s/ examples] Generating train split: 535 examples [00:02, 302.86 examples/s] Generating train split: 971 examples [00:05, 215.48 examples/s] Generating train split: 1331 examples [00:05, 337.84 examples/s] Generating train split: 1712 examples [00:07, 233.94 examples/s] Generating train split: 2018 examples [00:07, 321.44 examples/s] Generating train split: 2233 examples [00:10, 201.93 examples/s] Generating train split: 2780 examples [00:10, 359.76 examples/s] Generating train split: 3331 examples [00:12, 282.51 examples/s] Generating train split: 3713 examples [00:15, 222.33 examples/s] Generating train split: 4000 examples [00:15, 282.39 examples/s] Generating train split: 4453 examples [00:18, 238.52 examples/s] Generating train split: 4998 examples [00:18, 369.80 examples/s] Generating train split: 5408 examples [00:20, 269.03 examples/s] Generating train split: 5944 examples [00:23, 248.30 examples/s] Generating train split: 6321 examples [00:23, 325.21 examples/s] Generating train split: 6688 examples [00:25, 248.12 examples/s] Generating train split: 7000 examples [00:25, 316.30 examples/s] Generating train split: 7430 examples [00:28, 251.93 examples/s] Generating train split: 7992 examples [00:28, 393.57 examples/s] Generating train split: 8388 examples [00:30, 281.82 examples/s] Generating train split: 8890 examples [00:30, 410.66 examples/s] Generating train split: 9332 examples [00:33, 295.62 examples/s] Generating train split: 9653 examples [00:35, 230.21 examples/s] Generating train split: 10000 examples [00:35, 304.95 examples/s] Generating train split: 10397 examples [00:38, 243.79 examples/s] Generating train split: 10957 examples [00:38, 382.34 examples/s] Generating train split: 11371 examples [00:40, 279.22 examples/s] Generating train split: 11887 examples [00:43, 251.44 examples/s] Generating train split: 12334 examples [00:43, 345.83 examples/s] Generating train split: 12632 examples [00:45, 249.06 examples/s] Generating train split: 13000 examples [00:46, 335.40 examples/s] Generating train split: 13378 examples [00:48, 253.04 examples/s] Generating train split: 13937 examples [00:48, 397.16 examples/s] Generating train split: 14349 examples [00:51, 274.35 examples/s] Generating train split: 14862 examples [00:53, 246.35 examples/s] Generating train split: 15331 examples [00:53, 342.19 examples/s] Generating train split: 15605 examples [00:56, 243.16 examples/s] Generating train split: 16000 examples [00:56, 334.65 examples/s] Generating train split: 16349 examples [00:58, 245.81 examples/s] Generating train split: 16774 examples [00:58, 352.22 examples/s] Generating train split: 17094 examples [01:01, 244.69 examples/s] Generating train split: 17626 examples [01:01, 383.00 examples/s] Generating train split: 18000 examples [01:03, 266.43 examples/s] Generating train split: 18581 examples [01:06, 253.18 examples/s] Generating train split: 19000 examples [01:06, 342.12 examples/s] Generating train split: 19323 examples [01:09, 248.75 examples/s] Generating train split: 19878 examples [01:09, 383.08 examples/s] Generating train split: 20269 examples [01:11, 275.42 examples/s] Generating train split: 20810 examples [01:14, 252.86 examples/s] Generating train split: 21001 examples [01:14, 287.04 examples/s] Generating train split: 21556 examples [01:16, 260.20 examples/s] Generating train split: 22000 examples [01:16, 360.00 examples/s] Generating train split: 22302 examples [01:19, 250.62 examples/s] Generating train split: 22844 examples [01:19, 386.75 examples/s] Generating train split: 23260 examples [01:21, 277.98 examples/s] Generating train split: 23759 examples [01:22, 404.08 examples/s] Generating train split: 24049 examples [01:24, 254.23 examples/s] Generating train split: 24537 examples [01:27, 232.19 examples/s] Generating train split: 24927 examples [01:27, 315.27 examples/s] Generating train split: 25278 examples [01:29, 239.02 examples/s] Generating train split: 25820 examples [01:29, 369.16 examples/s] Generating train split: 26148 ex
Unable to verify splits sizes.
2026-04-20 13:24:18 - INFO - datasets.utils.info_utils - Unable to verify splits sizes.
Dataset generator downloaded and prepared to /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-f6c32c21144e2a08/0.0.0. Subsequent calls will reuse this data.
2026-04-20 13:24:18 - INFO - datasets.builder - Dataset generator downloaded and prepared to /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-f6c32c21144e2a08/0.0.0. Subsequent calls will reuse this data.
Using custom data configuration default-62067d26bde309c6
2026-04-20 13:24:18 - INFO - datasets.builder - Using custom data configuration default-62067d26bde309c6
Loading Dataset Infos from /home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/datasets/packaged_modules/generator
2026-04-20 13:24:18 - INFO - datasets.info - Loading Dataset Infos from /home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/datasets/packaged_modules/generator
Generating dataset generator (/scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-62067d26bde309c6/0.0.0)
2026-04-20 13:24:18 - INFO - datasets.builder - Generating dataset generator (/scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-62067d26bde309c6/0.0.0)
Downloading and preparing dataset generator/default to /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-62067d26bde309c6/0.0.0...
2026-04-20 13:24:18 - INFO - datasets.builder - Downloading and preparing dataset generator/default to /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-62067d26bde309c6/0.0.0...
Generating train split
2026-04-20 13:24:18 - INFO - datasets.builder - Generating train split
Generating train split: 0 examples [00:00, ? examples/s] Generating train split: 1 examples [00:02, 2.53s/ examples] Generating train split: 527 examples [00:02, 281.55 examples/s] Generating train split: 910 examples [00:05, 197.67 examples/s] Generating train split: 1330 examples [00:05, 340.03 examples/s] Generating train split: 1697 examples [00:07, 233.59 examples/s] Generating train split: 2000 examples [00:07, 319.72 examples/s] Generating train split: 2233 examples [00:10, 203.47 examples/s] Generating train split: 2785 examples [00:10, 361.38 examples/s] Generating train split: 3333 examples [00:13, 270.76 examples/s] Generating train split: 3721 examples [00:15, 226.24 examples/s] Generating train split: 4000 examples [00:15, 284.91 examples/s] Generating train split: 4464 examples [00:18, 242.10 examples/s] Generating train split: 4877 examples [00:18, 340.67 examples/s] Generating train split: 5207 examples [00:20, 243.53 examples/s] Generating train split: 5758 examples [00:20, 383.87 examples/s] Generating train split: 6333 examples [00:23, 307.37 examples/s] Generating train split: 6690 examples [00:25, 244.60 examples/s] Generating train split: 7000 examples [00:25, 308.70 examples/s] Generating train split: 7435 examples [00:28, 250.65 examples/s] Generating train split: 7982 examples [00:28, 383.57 examples/s] Generating train split: 8396 examples [00:30, 280.96 examples/s] Generating train split: 8924 examples [00:33, 253.81 examples/s] Generating train split: 9332 examples [00:33, 338.93 examples/s] Generating train split: 9668 examples [00:35, 251.17 examples/s] Generating train split: 10000 examples [00:36, 326.16 examples/s] Generating train split: 10417 examples [00:38, 256.35 examples/s] Generating train split: 10964 examples [00:38, 396.30 examples/s] Generating train split: 11375 examples [00:40, 282.94 examples/s] Generating train split: 11904 examples [00:43, 254.88 examples/s] Generating train split: 12262 examples [00:43, 328.28 examples/s] Generating train split: 12648 examples [00:46, 246.71 examples/s] Generating train split: 13000 examples [00:46, 326.59 examples/s] Generating train split: 13395 examples [00:46, 440.19 examples/s] Generating train split: 13417 examples [00:46, 287.94 examples/s]
Unable to verify splits sizes.
2026-04-20 13:25:05 - INFO - datasets.utils.info_utils - Unable to verify splits sizes.
Dataset generator downloaded and prepared to /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-62067d26bde309c6/0.0.0. Subsequent calls will reuse this data.
2026-04-20 13:25:05 - INFO - datasets.builder - Dataset generator downloaded and prepared to /scratch/qu.yang1/dynamic-dpo-v4/hf/datasets/generator/default-62067d26bde309c6/0.0.0. Subsequent calls will reuse this data.
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:412: FutureWarning: `tokenizer` is deprecated and will be removed in version 5.0.0 for `SFTTrainer.__init__`. Use `processing_class` instead.
super().__init__(
Generating train split: 0 examples [00:00, ? examples/s][INFO|trainer.py:748] 2026-04-20 13:25:07,032 >> Using auto half precision backend
2026-04-20 13:25:07 - INFO - __main__ - *** Train ***
[WARNING|tokenization_utils_base.py:3955] 2026-04-20 13:25:07,554 >> Token indices sequence length is longer than the specified maximum sequence length for this model (2712 > 2048). Running this sequence through the model will result in indexing errors
Generating train split: 1 examples [00:02, 2.36s/ examples] Generating train split: 505 examples [00:02, 285.31 examples/s] Generating train split: 969 examples [00:04, 221.34 examples/s] Generating train split: 1331 examples [00:05, 347.18 examples/s] Generating train split: 1711 examples [00:07, 238.44 examples/s] Generating train split: 2000 examples [00:07, 321.96 examples/s] Generating train split: 2233 examples [00:10, 204.70 examples/s] Generating train split: 2789 examples [00:10, 365.94 examples/s] Generating train split: 3332 examples [00:12, 286.37 examples/s] Generating train split: 3721 examples [00:15, 226.11 examples/s] Generating train split: 4000 examples [00:15, 285.13 examples/s] Generating train split: 4464 examples [00:17, 242.26 examples/s] Generating train split: 5000 examples [00:17, 368.65 examples/s] Generating train split: 5207 examples [00:20, 237.78 examples/s] Generating train split: 5764 examples [00:20, 380.75 examples/s] Generating train split: 6331 examples [00:22, 304.14 examples/s] Generating train split: 6690 examples [00:25, 241.03 examples/s] Generating train split: 7000 examples [00:25, 305.51 examples/s] Generating train split: 7435 examples [00:27, 249.31 examples/s] Generating train split: 7981 examples [00:28, 381.94 examples/s] Generating train split: 8398 examples [00:30, 277.73 examples/s] Generating train split: 8924 examples [00:33, 251.00 examples/s] Generating train split: 9330 examples [00:33, 335.08 examples/s] Generating train split: 9668 examples [00:35, 248.52 examples/s] Generating train split: 10000 examples [00:35, 324.60 examples/s] Generating train split: 10417 examples [00:38, 252.39 examples/s] Generating train split: 10922 examples [00:38, 377.14 examples/s] Generating train split: 11159 examples [00:40, 242.59 examples/s] Generating train split: 11707 examples [00:40, 384.89 examples/s] Generating train split: 12000 examples [00:43, 251.69 examples/s] Generating train split: 12648 examples [00:45, 255.56 examples/s] Generating train split: 13000 examples [00:46, 329.56 examples/s] Generating train split: 13395 examples [00:46, 412.36 examples/s] Generating train split: 13417 examples [00:46, 288.78 examples/s]
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:412: FutureWarning: `tokenizer` is deprecated and will be removed in version 5.0.0 for `SFTTrainer.__init__`. Use `processing_class` instead.
super().__init__(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:412: FutureWarning: `tokenizer` is deprecated and will be removed in version 5.0.0 for `SFTTrainer.__init__`. Use `processing_class` instead.
super().__init__(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/trl/trainer/sft_trainer.py:412: FutureWarning: `tokenizer` is deprecated and will be removed in version 5.0.0 for `SFTTrainer.__init__`. Use `processing_class` instead.
super().__init__(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/accelerate/accelerator.py:1557: UserWarning: Upcasted low precision parameters in Qwen3ForCausalLM because mixed precision turned on in FSDP. Affects: model.embed_tokens.weight, model.norm.weight, lm_head.weight.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/accelerate/accelerator.py:1557: UserWarning: Upcasted low precision parameters in Qwen3DecoderLayer because mixed precision turned on in FSDP. Affects: self_attn.q_proj.weight, self_attn.k_proj.weight, self_attn.v_proj.weight, self_attn.o_proj.weight, self_attn.q_norm.weight, self_attn.k_norm.weight, mlp.gate_proj.weight, mlp.up_proj.weight, mlp.down_proj.weight, input_layernorm.weight, post_attention_layernorm.weight.
warnings.warn(
/home/qu.yang1/.conda/envs/dpo_v4/lib/python3.11/site-packages/accelerate/accelerator.py:1563: UserWarning: FSDP upcast of low precision parameters may affect the precision of model checkpoints.
warnings.warn(
[INFO|trainer.py:2414] 2026-04-20 13:26:21,746 >> ***** Running training *****
[INFO|trainer.py:2415] 2026-04-20 13:26:21,746 >> Num examples = 121,250
[INFO|trainer.py:2416] 2026-04-20 13:26:21,746 >> Num Epochs = 1
[INFO|trainer.py:2417] 2026-04-20 13:26:21,746 >> Instantaneous batch size per device = 16
[INFO|trainer.py:2420] 2026-04-20 13:26:21,746 >> Total train batch size (w. parallel, distributed & accumulation) = 128
[INFO|trainer.py:2421] 2026-04-20 13:26:21,746 >> Gradient Accumulation steps = 2
[INFO|trainer.py:2422] 2026-04-20 13:26:21,746 >> Total optimization steps = 947
[INFO|trainer.py:2423] 2026-04-20 13:26:21,747 >> Number of trainable parameters = 2,047,683,840
[INFO|integration_utils.py:831] 2026-04-20 13:26:21,749 >> Automatic Weights & Biases logging enabled, to disable set os.environ["WANDB_DISABLED"] = "true"
wandb: Currently logged in as: feng-cheng (feng-cheng-northeastern-university). Use `wandb login --relogin` to force relogin
wandb: wandb version 0.26.0 is available! To upgrade, please run:
wandb: $ pip install wandb --upgrade
wandb: Tracking run with wandb version 0.17.5
wandb: Run data is saved locally in /scratch/qu.yang1/dynamic-dpo-v4/wandb/wandb/run-20260420_132623-vxbimnp0
wandb: Run `wandb offline` to turn off syncing.
wandb: Syncing run qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036
wandb: ⭐️ View project at https://wandb.ai/feng-cheng-northeastern-university/huggingface
wandb: 🚀 View run at https://wandb.ai/feng-cheng-northeastern-university/huggingface/runs/vxbimnp0
0%| | 0/947 [00:00<?, ?it/s] 0%| | 1/947 [00:10<2:43:16, 10.36s/it] {'loss': 1.4444, 'grad_norm': 4.428989887237549, 'learning_rate': 0.0, 'epoch': 0.0}
0%| | 1/947 [00:10<2:43:16, 10.36s/it] 0%|▏ | 2/947 [00:19<2:36:20, 9.93s/it] 0%|▎ | 3/947 [00:29<2:33:48, 9.78s/it] 0%|▍ | 4/947 [00:39<2:32:46, 9.72s/it] 1%|▌ | 5/947 [00:48<2:32:24, 9.71s/it] 1%|▋ | 6/947 [00:58<2:32:18, 9.71s/it] 1%|▊ | 7/947 [01:08<2:32:15, 9.72s/it] 1%|▉ | 8/947 [01:18<2:34:01, 9.84s/it] 1%|█ | 9/947 [01:28<2:33:22, 9.81s/it] 1%|█▏ | 10/947 [01:37<2:33:00, 9.80s/it] {'loss': 1.4272, 'grad_norm': 3.5337846279144287, 'learning_rate': 1.8947368421052634e-06, 'epoch': 0.01}
1%|█▏ | 10/947 [01:38<2:33:00, 9.80s/it] 1%|█▎ | 11/947 [01:47<2:32:40, 9.79s/it] 1%|█▍ | 12/947 [01:57<2:32:26, 9.78s/it] 1%|█▌ | 13/947 [02:07<2:32:22, 9.79s/it] 1%|█▋ | 14/947 [02:17<2:32:07, 9.78s/it] 2%|█▊ | 15/947 [02:26<2:31:52, 9.78s/it] 2%|█▉ | 16/947 [02:36<2:31:37, 9.77s/it] 2%|█▉ | 17/947 [02:46<2:32:26, 9.83s/it] 2%|██ | 18/947 [02:56<2:31:44, 9.80s/it] 2%|██▏ | 19/947 [03:06<2:31:19, 9.78s/it] 2%|██▎ | 20/947 [03:15<2:30:51, 9.76s/it] {'loss': 1.3383, 'grad_norm': 1.0835645198822021, 'learning_rate': 4.000000000000001e-06, 'epoch': 0.02}
2%|██▎ | 20/947 [03:15<2:30:51, 9.76s/it] 2%|██▍ | 21/947 [03:25<2:30:27, 9.75s/it] 2%|██▌ | 22/947 [03:35<2:30:02, 9.73s/it] 2%|██▋ | 23/947 [03:44<2:29:40, 9.72s/it] 3%|██▊ | 24/947 [03:54<2:29:21, 9.71s/it] 3%|██▉ | 25/947 [04:04<2:29:35, 9.73s/it] 3%|███ | 26/947 [04:14<2:29:45, 9.76s/it] 3%|███▏ | 27/947 [04:23<2:29:10, 9.73s/it] 3%|███▎ | 28/947 [04:33<2:29:03, 9.73s/it] 3%|███▍ | 29/947 [04:43<2:28:33, 9.71s/it] 3%|███▌ | 30/947 [04:52<2:28:13, 9.70s/it] {'loss': 1.2714, 'grad_norm': 1.217992901802063, 'learning_rate': 6.105263157894738e-06, 'epoch': 0.03}
3%|███▌ | 30/947 [04:52<2:28:13, 9.70s/it] 3%|███▋ | 31/947 [05:02<2:27:54, 9.69s/it] 3%|███▊ | 32/947 [05:12<2:27:36, 9.68s/it] 3%|███▊ | 33/947 [05:21<2:27:23, 9.68s/it] 4%|███▉ | 34/947 [05:31<2:27:43, 9.71s/it] 4%|████ | 35/947 [05:41<2:27:47, 9.72s/it] 4%|████▏ | 36/947 [05:51<2:27:09, 9.69s/it] 4%|████▎ | 37/947 [06:00<2:26:46, 9.68s/it] 4%|████▍ | 38/947 [06:10<2:26:28, 9.67s/it] 4%|████▌ | 39/947 [06:19<2:26:18, 9.67s/it] 4%|████▋ | 40/947 [06:29<2:25:55, 9.65s/it] {'loss': 1.2262, 'grad_norm': 1.7282902002334595, 'learning_rate': 8.210526315789475e-06, 'epoch': 0.04}
4%|████▋ | 40/947 [06:29<2:25:55, 9.65s/it] 4%|████▊ | 41/947 [06:39<2:25:40, 9.65s/it] 4%|████▉ | 42/947 [06:49<2:26:02, 9.68s/it] 5%|█████ | 43/947 [06:58<2:25:43, 9.67s/it] 5%|█████▏ | 44/947 [07:08<2:25:30, 9.67s/it] 5%|█████▎ | 45/947 [07:17<2:25:14, 9.66s/it] 5%|█████▍ | 46/947 [07:27<2:25:02, 9.66s/it] 5%|█████▌ | 47/947 [07:37<2:24:48, 9.65s/it] 5%|█████▋ | 48/947 [07:46<2:24:27, 9.64s/it] 5%|█████▋ | 49/947 [07:56<2:24:09, 9.63s/it] 5%|█████▊ | 50/947 [08:06<2:23:58, 9.63s/it] {'loss': 1.1945, 'grad_norm': 1.640160322189331, 'learning_rate': 1.0315789473684213e-05, 'epoch': 0.05}
5%|█████▊ | 50/947 [08:06<2:23:58, 9.63s/it] 5%|█████▉ | 51/947 [08:15<2:24:57, 9.71s/it] 5%|██████ | 52/947 [08:25<2:24:22, 9.68s/it] 6%|██████▏ | 53/947 [08:35<2:23:57, 9.66s/it] 6%|██████▎ | 54/947 [08:44<2:23:31, 9.64s/it] 6%|██████▍ | 55/947 [08:54<2:23:12, 9.63s/it] 6%|██████▌ | 56/947 [09:04<2:22:58, 9.63s/it] 6%|██████▋ | 57/947 [09:13<2:22:40, 9.62s/it] 6%|██████▊ | 58/947 [09:23<2:22:25, 9.61s/it] 6%|██████▉ | 59/947 [09:32<2:22:43, 9.64s/it] 6%|███████ | 60/947 [09:42<2:22:25, 9.63s/it] {'loss': 1.1686, 'grad_norm': 1.4558825492858887, 'learning_rate': 1.2421052631578949e-05, 'epoch': 0.06}
6%|███████ | 60/947 [09:42<2:22:25, 9.63s/it] 6%|███████▏ | 61/947 [09:52<2:22:09, 9.63s/it] 7%|███████▎ | 62/947 [10:01<2:21:56, 9.62s/it] 7%|███████▍ | 63/947 [10:11<2:21:48, 9.62s/it] 7%|███████▌ | 64/947 [10:21<2:21:29, 9.61s/it] 7%|███████▌ | 65/947 [10:30<2:21:16, 9.61s/it] 7%|███████▋ | 66/947 [10:40<2:21:05, 9.61s/it] 7%|███████▊ | 67/947 [10:49<2:20:53, 9.61s/it] 7%|███████▉ | 68/947 [10:59<2:22:03, 9.70s/it] 7%|████████ | 69/947 [11:09<2:21:25, 9.66s/it] 7%|████████▏ | 70/947 [11:18<2:21:00, 9.65s/it] {'loss': 1.1422, 'grad_norm': 1.016249656677246, 'learning_rate': 1.4526315789473687e-05, 'epoch': 0.07}
7%|████████▏ | 70/947 [11:18<2:21:00, 9.65s/it] 7%|████████▎ | 71/947 [11:28<2:20:42, 9.64s/it] 8%|████████▍ | 72/947 [11:38<2:20:23, 9.63s/it] 8%|████████▌ | 73/947 [11:47<2:20:11, 9.62s/it] 8%|████████▋ | 74/947 [11:57<2:19:58, 9.62s/it] 8%|████████▊ | 75/947 [12:06<2:19:45, 9.62s/it] 8%|████████▉ | 76/947 [12:16<2:20:04, 9.65s/it] 8%|█████████ | 77/947 [12:26<2:19:52, 9.65s/it] 8%|█████████▏ | 78/947 [12:35<2:19:30, 9.63s/it] 8%|█████████▎ | 79/947 [12:45<2:19:06, 9.62s/it] 8%|█████████▍ | 80/947 [12:55<2:18:57, 9.62s/it] {'loss': 1.1314, 'grad_norm': 0.7121432423591614, 'learning_rate': 1.6631578947368423e-05, 'epoch': 0.08}
8%|█████████▍ | 80/947 [12:55<2:18:57, 9.62s/it] 9%|█████████▍ | 81/947 [13:04<2:18:41, 9.61s/it] 9%|█████████▌ | 82/947 [13:14<2:18:26, 9.60s/it] 9%|█████████▋ | 83/947 [13:23<2:18:22, 9.61s/it] 9%|█████████▊ | 84/947 [13:33<2:18:13, 9.61s/it] 9%|█████████▉ | 85/947 [13:43<2:19:09, 9.69s/it] 9%|██████████ | 86/947 [13:53<2:18:37, 9.66s/it] 9%|██████████▏ | 87/947 [14:02<2:18:09, 9.64s/it] 9%|██████████▎ | 88/947 [14:12<2:17:47, 9.62s/it] 9%|██████████▍ | 89/947 [14:21<2:17:28, 9.61s/it] 10%|██████████▌ | 90/947 [14:31<2:17:18, 9.61s/it] {'loss': 1.1275, 'grad_norm': 0.7841984033584595, 'learning_rate': 1.873684210526316e-05, 'epoch': 0.09}
10%|██████████▌ | 90/947 [14:31<2:17:18, 9.61s/it] 10%|██████████▋ | 91/947 [14:41<2:17:06, 9.61s/it] 10%|██████████▊ | 92/947 [14:50<2:16:51, 9.60s/it] 10%|██████████▉ | 93/947 [15:00<2:17:08, 9.64s/it] 10%|███████████ | 94/947 [15:09<2:16:59, 9.64s/it] 10%|███████████▏ | 95/947 [15:19<2:16:38, 9.62s/it] 10%|███████████▎ | 96/947 [15:29<2:16:21, 9.61s/it] 10%|███████████▎ | 97/947 [15:38<2:16:09, 9.61s/it] 10%|███████████▍ | 98/947 [15:48<2:15:57, 9.61s/it] 10%|███████████▌ | 99/947 [15:57<2:15:46, 9.61s/it] 11%|███████████▌ | 100/947 [16:07<2:15:33, 9.60s/it] {'loss': 1.1178, 'grad_norm': 0.6388397216796875, 'learning_rate': 1.999891231617599e-05, 'epoch': 0.11}
11%|███████████▌ | 100/947 [16:07<2:15:33, 9.60s/it] 11%|███████████▋ | 101/947 [16:17<2:15:20, 9.60s/it] 11%|███████████▊ | 102/947 [16:27<2:16:24, 9.69s/it] 11%|███████████▉ | 103/947 [16:36<2:15:49, 9.66s/it] 11%|████████████ | 104/947 [16:46<2:15:23, 9.64s/it] 11%|████████████▏ | 105/947 [16:55<2:14:54, 9.61s/it] 11%|████████████▎ | 106/947 [17:05<2:14:39, 9.61s/it] 11%|████████████▍ | 107/947 [17:14<2:14:21, 9.60s/it] 11%|████████████▌ | 108/947 [17:24<2:14:10, 9.60s/it] 12%|████████████▋ | 109/947 [17:34<2:13:59, 9.59s/it] 12%|████████████▊ | 110/947 [17:43<2:14:16, 9.63s/it] {'loss': 1.1205, 'grad_norm': 0.5346229076385498, 'learning_rate': 1.9986678590325273e-05, 'epoch': 0.12}
12%|████████████▊ | 110/947 [17:43<2:14:16, 9.63s/it] 12%|████████████▉ | 111/947 [17:53<2:14:35, 9.66s/it] 12%|█████████████ | 112/947 [18:03<2:14:14, 9.65s/it] 12%|█████████████▏ | 113/947 [18:12<2:13:50, 9.63s/it] 12%|█████████████▏ | 114/947 [18:22<2:13:29, 9.62s/it] 12%|█████████████▎ | 115/947 [18:31<2:13:07, 9.60s/it] 12%|█████████████▍ | 116/947 [18:41<2:12:53, 9.60s/it] 12%|█████████████▌ | 117/947 [18:51<2:12:50, 9.60s/it] 12%|█████████████▋ | 118/947 [19:00<2:12:28, 9.59s/it] 13%|█████████████▊ | 119/947 [19:10<2:13:25, 9.67s/it] 13%|█████████████▉ | 120/947 [19:20<2:12:56, 9.64s/it] {'loss': 1.1135, 'grad_norm': 0.6061886548995972, 'learning_rate': 1.996086822074945e-05, 'epoch': 0.13}
13%|█████████████▉ | 120/947 [19:20<2:12:56, 9.64s/it] 13%|██████████████ | 121/947 [19:29<2:12:33, 9.63s/it] 13%|██████████████▏ | 122/947 [19:39<2:12:13, 9.62s/it] 13%|██████████████▎ | 123/947 [19:48<2:12:00, 9.61s/it] 13%|██████████████▍ | 124/947 [19:58<2:11:42, 9.60s/it] 13%|██████████████▌ | 125/947 [20:08<2:11:35, 9.61s/it] 13%|██████████████▋ | 126/947 [20:17<2:11:21, 9.60s/it] 13%|██████████████▊ | 127/947 [20:27<2:11:39, 9.63s/it] 14%|██████████████▊ | 128/947 [20:36<2:11:31, 9.64s/it] 14%|██████████████▉ | 129/947 [20:46<2:11:07, 9.62s/it] 14%|███████████████ | 130/947 [20:56<2:10:48, 9.61s/it] {'loss': 1.1072, 'grad_norm': 0.5429868698120117, 'learning_rate': 1.9921516296010645e-05, 'epoch': 0.14}
14%|███████████████ | 130/947 [20:56<2:10:48, 9.61s/it] 14%|███████████████▏ | 131/947 [21:05<2:10:30, 9.60s/it] 14%|███████████████▎ | 132/947 [21:15<2:10:13, 9.59s/it] 14%|███████████████▍ | 133/947 [21:24<2:10:02, 9.59s/it] 14%|███████████████▌ | 134/947 [21:34<2:09:50, 9.58s/it] 14%|███████████████▋ | 135/947 [21:44<2:09:37, 9.58s/it] 14%|███████████████▊ | 136/947 [21:53<2:10:43, 9.67s/it] 14%|███████████████▉ | 137/947 [22:03<2:10:10, 9.64s/it] 15%|████████████████ | 138/947 [22:13<2:09:45, 9.62s/it] 15%|████████████████▏ | 139/947 [22:22<2:09:22, 9.61s/it] 15%|████████████████▎ | 140/947 [22:32<2:09:05, 9.60s/it] {'loss': 1.0997, 'grad_norm': 0.5146633386611938, 'learning_rate': 1.9868676314081907e-05, 'epoch': 0.15}
15%|████████████████▎ | 140/947 [22:32<2:09:05, 9.60s/it] 15%|████████████████▍ | 141/947 [22:41<2:08:51, 9.59s/it] 15%|████████████████▍ | 142/947 [22:51<2:08:40, 9.59s/it] 15%|████████████████▌ | 143/947 [23:00<2:08:29, 9.59s/it] 15%|████████████████▋ | 144/947 [23:10<2:08:42, 9.62s/it] 15%|████████████████▊ | 145/947 [23:20<2:08:26, 9.61s/it] 15%|████████████████▉ | 146/947 [23:29<2:08:14, 9.61s/it] 16%|█████████████████ | 147/947 [23:39<2:07:56, 9.60s/it] 16%|█████████████████▏ | 148/947 [23:48<2:07:44, 9.59s/it] 16%|█████████████████▎ | 149/947 [23:58<2:07:25, 9.58s/it] 16%|█████████████████▍ | 150/947 [24:08<2:07:16, 9.58s/it] {'loss': 1.0973, 'grad_norm': 0.5138978362083435, 'learning_rate': 1.980242010961803e-05, 'epoch': 0.16}
16%|█████████████████▍ | 150/947 [24:08<2:07:16, 9.58s/it] 16%|█████████████████▌ | 151/947 [24:17<2:07:08, 9.58s/it] 16%|█████████████████▋ | 152/947 [24:27<2:07:02, 9.59s/it] 16%|█████████████████▊ | 153/947 [24:37<2:08:03, 9.68s/it] 16%|█████████████████▉ | 154/947 [24:46<2:07:31, 9.65s/it] 16%|██████████████████ | 155/947 [24:56<2:07:08, 9.63s/it] 16%|██████████████████ | 156/947 [25:05<2:06:47, 9.62s/it] 17%|██████████████████▏ | 157/947 [25:15<2:06:34, 9.61s/it] 17%|██████████████████▎ | 158/947 [25:25<2:06:19, 9.61s/it] 17%|██████████████████▍ | 159/947 [25:34<2:06:06, 9.60s/it] 17%|██████████████████▌ | 160/947 [25:44<2:05:54, 9.60s/it] {'loss': 1.1089, 'grad_norm': 0.48871827125549316, 'learning_rate': 1.9722837756298112e-05, 'epoch': 0.17}
17%|██████████████████▌ | 160/947 [25:44<2:05:54, 9.60s/it] 17%|██████████████████▋ | 161/947 [25:54<2:06:11, 9.63s/it] 17%|██████████████████▊ | 162/947 [26:03<2:05:56, 9.63s/it] 17%|██████████████████▉ | 163/947 [26:13<2:05:34, 9.61s/it] 17%|███████████████████ | 164/947 [26:22<2:05:20, 9.61s/it] 17%|███████████████████▏ | 165/947 [26:32<2:05:09, 9.60s/it] 18%|███████████████████▎ | 166/947 [26:42<2:05:02, 9.61s/it] 18%|███████████████████▍ | 167/947 [26:51<2:04:55, 9.61s/it] 18%|███████████████████▌ | 168/947 [27:01<2:04:36, 9.60s/it] 18%|███████████████████▋ | 169/947 [27:10<2:04:28, 9.60s/it] 18%|███████████████████▋ | 170/947 [27:20<2:05:21, 9.68s/it] {'loss': 1.0914, 'grad_norm': 0.5564476251602173, 'learning_rate': 1.96300374443726e-05, 'epoch': 0.18}
18%|███████████████████▋ | 170/947 [27:20<2:05:21, 9.68s/it] 18%|███████████████████▊ | 171/947 [27:30<2:04:50, 9.65s/it] 18%|███████████████████▉ | 172/947 [27:39<2:04:32, 9.64s/it] 18%|████████████████████ | 173/947 [27:49<2:04:08, 9.62s/it] 18%|████████████████████▏ | 174/947 [27:59<2:03:51, 9.61s/it] 18%|████████████████████▎ | 175/947 [28:08<2:03:30, 9.60s/it] 19%|████████████████████▍ | 176/947 [28:18<2:03:15, 9.59s/it] 19%|████████████████████▌ | 177/947 [28:27<2:03:04, 9.59s/it] 19%|████████████████████▋ | 178/947 [28:37<2:03:16, 9.62s/it] 19%|████████████████████▊ | 179/947 [28:47<2:03:02, 9.61s/it] 19%|████████████████████▉ | 180/947 [28:56<2:02:42, 9.60s/it] {'loss': 1.1018, 'grad_norm': 0.48119252920150757, 'learning_rate': 1.9524145333581315e-05, 'epoch': 0.19}
19%|████████████████████▉ | 180/947 [28:56<2:02:42, 9.60s/it] 19%|█████████████████████ | 181/947 [29:06<2:02:30, 9.60s/it] 19%|█████████████████████▏ | 182/947 [29:15<2:02:19, 9.59s/it] 19%|█████████████████████▎ | 183/947 [29:25<2:02:03, 9.59s/it] 19%|█████████████████████▎ | 184/947 [29:34<2:01:51, 9.58s/it] 20%|█████████████████████▍ | 185/947 [29:44<2:01:42, 9.58s/it] 20%|█████████████████████▌ | 186/947 [29:54<2:01:27, 9.58s/it] 20%|█████████████████████▋ | 187/947 [30:03<2:02:18, 9.66s/it] 20%|█████████████████████▊ | 188/947 [30:13<2:01:55, 9.64s/it] 20%|█████████████████████▉ | 189/947 [30:23<2:01:31, 9.62s/it] 20%|██████████████████████ | 190/947 [30:32<2:01:12, 9.61s/it] {'loss': 1.0982, 'grad_norm': 0.45517972111701965, 'learning_rate': 1.9405305381642376e-05, 'epoch': 0.2}
20%|██████████████████████ | 190/947 [30:32<2:01:12, 9.61s/it] 20%|██████████████████████▏ | 191/947 [30:42<2:00:59, 9.60s/it] 20%|██████████████████████▎ | 192/947 [30:51<2:00:46, 9.60s/it] 20%|██████████████████████▍ | 193/947 [31:01<2:00:31, 9.59s/it] 20%|██████████████████████▌ | 194/947 [31:11<2:00:19, 9.59s/it] 21%|██████████████████████▋ | 195/947 [31:20<2:00:33, 9.62s/it] 21%|██████████████████████▊ | 196/947 [31:30<2:00:17, 9.61s/it] 21%|██████████████████████▉ | 197/947 [31:39<2:00:01, 9.60s/it] 21%|██████████████████████▉ | 198/947 [31:49<1:59:46, 9.60s/it] 21%|███████████████████████ | 199/947 [31:59<1:59:34, 9.59s/it] 21%|███████████████████████▏ | 200/947 [32:08<1:59:22, 9.59s/it] {'loss': 1.0891, 'grad_norm': 0.47854238748550415, 'learning_rate': 1.9273679148545246e-05, 'epoch': 0.21}
21%|███████████████████████▏ | 200/947 [32:08<1:59:22, 9.59s/it][INFO|trainer.py:4307] 2026-04-20 13:58:36,691 >>
***** Running Evaluation *****
[INFO|trainer.py:4309] 2026-04-20 13:58:36,691 >> Num examples = 13417
[INFO|trainer.py:4312] 2026-04-20 13:58:36,691 >> Batch size = 16
0%| | 0/210 [00:00<?, ?it/s]
1%|█ | 2/210 [00:01<02:13, 1.56it/s]
1%|█▋ | 3/210 [00:02<03:07, 1.10it/s]
2%|██▏ | 4/210 [00:03<03:35, 1.05s/it]
2%|██▋ | 5/210 [00:05<03:51, 1.13s/it]
3%|███▎ | 6/210 [00:06<04:00, 1.18s/it]
3%|███▊ | 7/210 [00:07<04:06, 1.21s/it]
4%|████▎ | 8/210 [00:08<04:09, 1.23s/it]
4%|████▉ | 9/210 [00:10<04:11, 1.25s/it]
5%|█████▍ | 10/210 [00:11<04:11, 1.26s/it]
5%|█████▉ | 11/210 [00:12<04:11, 1.27s/it]
6%|██████▍ | 12/210 [00:14<04:11, 1.27s/it]
6%|██████▉ | 13/210 [00:15<04:11, 1.27s/it]
7%|███████▌ | 14/210 [00:16<04:10, 1.28s/it]
7%|████████ | 15/210 [00:17<04:09, 1.28s/it]
8%|████████▌ | 16/210 [00:19<04:08, 1.28s/it]
8%|█████████▏ | 17/210 [00:20<04:06, 1.28s/it]
9%|█████████▋ | 18/210 [00:21<04:05, 1.28s/it]
9%|██████████▏ | 19/210 [00:23<04:04, 1.28s/it]
10%|██████████▊ | 20/210 [00:24<04:03, 1.28s/it]
10%|███████████▎ | 21/210 [00:25<04:01, 1.28s/it]
10%|███████████▊ | 22/210 [00:26<04:00, 1.28s/it]
11%|████████████▍ | 23/210 [00:28<03:59, 1.28s/it]
11%|████████████▉ | 24/210 [00:29<03:58, 1.28s/it]
12%|█████████████▍ | 25/210 [00:30<03:57, 1.28s/it]
12%|█████████████▉ | 26/210 [00:32<03:55, 1.28s/it]
13%|██████████████▌ | 27/210 [00:33<03:54, 1.28s/it]
13%|███████████████ | 28/210 [00:34<03:52, 1.28s/it]
14%|███████████████▌ | 29/210 [00:35<03:51, 1.28s/it]
14%|████████████████▏ | 30/210 [00:37<03:50, 1.28s/it]
15%|████████████████▋ | 31/210 [00:38<03:49, 1.28s/it]
15%|█████████████████▏ | 32/210 [00:39<03:48, 1.28s/it]
16%|█████████████████▊ | 33/210 [00:41<03:46, 1.28s/it]
16%|██████████████████▎ | 34/210 [00:42<03:45, 1.28s/it]
17%|██████████████████▊ | 35/210 [00:43<03:44, 1.28s/it]
17%|███████████████████▎ | 36/210 [00:44<03:42, 1.28s/it]
18%|███████████████████▉ | 37/210 [00:46<03:41, 1.28s/it]
18%|████████████████████▍ | 38/210 [00:47<03:40, 1.28s/it]
19%|████████████████████▉ | 39/210 [00:48<03:39, 1.28s/it]
19%|█████████████████████▌ | 40/210 [00:49<03:37, 1.28s/it]
20%|██████████████████████ | 41/210 [00:51<03:36, 1.28s/it]
20%|██████████████████████▌ | 42/210 [00:52<03:35, 1.28s/it]
20%|███████████████████████▏ | 43/210 [00:53<03:33, 1.28s/it]
21%|███████████████████████▋ | 44/210 [00:55<03:32, 1.28s/it]
21%|████████████████████████▏ | 45/210 [00:56<03:31, 1.28s/it]
22%|████████████████████████▊ | 46/210 [00:57<03:30, 1.28s/it]
22%|█████████████████████████▎ | 47/210 [00:58<03:28, 1.28s/it]
23%|█████████████████████████▊ | 48/210 [01:00<03:27, 1.28s/it]
23%|██████████████████████████▎ | 49/210 [01:01<03:26, 1.28s/it]
24%|██████████████████████████▉ | 50/210 [01:02<03:24, 1.28s/it]
24%|███████████████████████████▍ | 51/210 [01:04<03:23, 1.28s/it]
25%|███████████████████████████▉ | 52/210 [01:05<03:22, 1.28s/it]
25%|████████████████████████████▌ | 53/210 [01:06<03:21, 1.28s/it]
26%|█████████████████████████████ | 54/210 [01:07<03:20, 1.28s/it]
26%|█████████████████████████████▌ | 55/210 [01:09<03:18, 1.28s/it]
27%|██████████████████████████████▏ | 56/210 [01:10<03:17, 1.28s/it]
27%|██████████████████████████████▋ | 57/210 [01:11<03:16, 1.28s/it]
28%|███████████████████████████████▏ | 58/210 [01:13<03:14, 1.28s/it]
28%|███████████████████████████████▋ | 59/210 [01:14<03:13, 1.28s/it]
29%|████████████████████████████████▎ | 60/210 [01:15<03:12, 1.28s/it]
29%|████████████████████████████████▊ | 61/210 [01:16<03:10, 1.28s/it]
30%|█████████████████████████████████▎ | 62/210 [01:18<03:09, 1.28s/it]
30%|█████████████████████████████████▉ | 63/210 [01:19<03:08, 1.28s/it]
30%|██████████████████████████████████▍ | 64/210 [01:20<03:07, 1.28s/it]
31%|██████████████████████████████████▉ | 65/210 [01:22<03:05, 1.28s/it]
31%|███████████████████████████████████▌ | 66/210 [01:23<03:04, 1.28s/it]
32%|████████████████████████████████████ | 67/210 [01:24<03:03, 1.28s/it]
32%|████████████████████████████████████▌ | 68/210 [01:25<03:01, 1.28s/it]
33%|█████████████████████████████████████▏ | 69/210 [01:27<03:00, 1.28s/it]
33%|█████████████████████████████████████▋ | 70/210 [01:28<02:59, 1.28s/it]
34%|██████████████████████████████████████▏ | 71/210 [01:29<02:57, 1.28s/it]
34%|██████████████████████████████████████▋ | 72/210 [01:30<02:56, 1.28s/it]
35%|███████████████████████████████████████▎ | 73/210 [01:32<02:55, 1.28s/it]
35%|███████████████████████████████████████▊ | 74/210 [01:33<02:53, 1.28s/it]
36%|████████████████████████████████████████▎ | 75/210 [01:34<02:52, 1.28s/it]
36%|████████████████████████████████████████▉ | 76/210 [01:36<02:51, 1.28s/it]
37%|█████████████████████████████████████████▍ | 77/210 [01:37<02:50, 1.28s/it]
37%|█████████████████████████████████████████▉ | 78/210 [01:38<02:49, 1.28s/it]
38%|██████████████████████████████████████████▌ | 79/210 [01:39<02:47, 1.28s/it]
38%|███████████████████████████████████████████ | 80/210 [01:41<02:46, 1.28s/it]
39%|███████████████████████████████████████████▌ | 81/210 [01:42<02:45, 1.28s/it]
39%|████████████████████████████████████████████ | 82/210 [01:43<02:44, 1.28s/it]
40%|████████████████████████████████████████████▋ | 83/210 [01:45<02:43, 1.29s/it]
40%|█████████████████████████████████████████████▏ | 84/210 [01:46<02:41, 1.28s/it]
40%|█████████████████████████████████████████████▋ | 85/210 [01:47<02:40, 1.28s/it]
41%|██████████████████████████████████████████████▎ | 86/210 [01:48<02:39, 1.28s/it]
41%|██████████████████████████████████████████████▊ | 87/210 [01:50<02:37, 1.28s/it]
42%|███████████████████████████████████████████████▎ | 88/210 [01:51<02:36, 1.28s/it]
42%|███████████████████████████████████████████████▉ | 89/210 [01:52<02:35, 1.28s/it]
43%|████████████████████████████████████████████████▍ | 90/210 [01:54<02:33, 1.28s/it]
43%|████████████████████████████████████████████████▉ | 91/210 [01:55<02:32, 1.28s/it]
44%|█████████████████████████████████████████████████▌ | 92/210 [01:56<02:31, 1.28s/it]
44%|██████████████████████████████████████████████████ | 93/210 [01:57<02:29, 1.28s/it]
45%|██████████████████████████████████████████████████▌ | 94/210 [01:59<02:28, 1.28s/it]
45%|███████████████████████████████████████████████████ | 95/210 [02:00<02:27, 1.28s/it]
46%|███████████████████████████████████████████████████▋ | 96/210 [02:01<02:26, 1.28s/it]
46%|████████████████████████████████████████████████████▏ | 97/210 [02:03<02:24, 1.28s/it]
47%|████████████████████████████████████████████████████▋ | 98/210 [02:04<02:23, 1.28s/it]
47%|█████████████████████████████████████████████████████▎ | 99/210 [02:05<02:22, 1.28s/it]
48%|█████████████████████████████████████████████████████▎ | 100/210 [02:06<02:20, 1.28s/it]
48%|█████████████████████████████████████████████████████▊ | 101/210 [02:08<02:19, 1.28s/it]
49%|██████████████████████████████████████████████████████▍ | 102/210 [02:09<02:18, 1.28s/it]
49%|██████████████████████████████████████████████████████▉ | 103/210 [02:10<02:17, 1.28s/it]
50%|███████████████████████████████████████████████████████▍ | 104/210 [02:11<02:15, 1.28s/it]
50%|████████████████████████████████████████████████████████ | 105/210 [02:13<02:14, 1.28s/it]
50%|████████████████████████████████████████████████████████▌ | 106/210 [02:14<02:13, 1.28s/it]
51%|█████████████████████████████████████████████████████████ | 107/210 [02:15<02:12, 1.29s/it]
51%|█████████████████████████████████████████████████████████▌ | 108/210 [02:17<02:10, 1.28s/it]
52%|██████████████████████████████████████████████████████████▏ | 109/210 [02:18<02:09, 1.28s/it]
52%|██████████████████████████████████████████████████████████▋ | 110/210 [02:19<02:08, 1.28s/it]
53%|███████████████████████████████████████████████████████████▏ | 111/210 [02:20<02:06, 1.28s/it]
53%|███████████████████████████████████████████████████████████▋ | 112/210 [02:22<02:05, 1.28s/it]
54%|████████████████████████████████████████████████████████████▎ | 113/210 [02:23<02:04, 1.28s/it]
54%|████████████████████████████████████████████████████████████▊ | 114/210 [02:24<02:03, 1.28s/it]
55%|█████████████████████████████████████████████████████████████▎ | 115/210 [02:26<02:01, 1.28s/it]
55%|█████████████████████████████████████████████████████████████▊ | 116/210 [02:27<02:00, 1.28s/it]
56%|██████████████████████████████████████████████████████████████▍ | 117/210 [02:28<01:59, 1.28s/it]
56%|██████████████████████████████████████████████████████████████▉ | 118/210 [02:29<01:57, 1.28s/it]
57%|███████████████████████████████████████████████████████████████▍ | 119/210 [02:31<01:56, 1.28s/it]
57%|████████████████████████████████████████████████████████████████ | 120/210 [02:32<01:55, 1.28s/it]
58%|████████████████████████████████████████████████████████████████▌ | 121/210 [02:33<01:53, 1.28s/it]
58%|█████████████████████████████████████████████████████████████████ | 122/210 [02:35<01:52, 1.28s/it]
59%|█████████████████████████████████████████████████████████████████▌ | 123/210 [02:36<01:51, 1.28s/it]
59%|██████████████████████████████████████████████████████████████████▏ | 124/210 [02:37<01:50, 1.28s/it]
60%|██████████████████████████████████████████████████████████████████▋ | 125/210 [02:38<01:48, 1.28s/it]
60%|███████████████████████████████████████████████████████████████████▏ | 126/210 [02:40<01:47, 1.28s/it]
60%|███████████████████████████████████████████████████████████████████▋ | 127/210 [02:41<01:46, 1.28s/it]
61%|████████████████████████████████████████████████████████████████████▎ | 128/210 [02:42<01:44, 1.28s/it]
61%|████████████████████████████████████████████████████████████████████▊ | 129/210 [02:44<01:43, 1.28s/it]
62%|█████████████████████████████████████████████████████████████████████▎ | 130/210 [02:45<01:42, 1.28s/it]
62%|█████████████████████████████████████████████████████████████████████▊ | 131/210 [02:46<01:41, 1.28s/it]
63%|██████████████████████████████████████████████████████████████████████▍ | 132/210 [02:47<01:39, 1.28s/it]
63%|██████████████████████████████████████████████████████████████████████▉ | 133/210 [02:49<01:38, 1.28s/it]
64%|███████████████████████████████████████████████████████████████████████▍ | 134/210 [02:50<01:37, 1.28s/it]
64%|████████████████████████████████████████████████████████████████████████ | 135/210 [02:51<01:36, 1.28s/it]
65%|████████████████████████████████████████████████████████████████████████▌ | 136/210 [02:52<01:34, 1.28s/it]
65%|█████████████████████████████████████████████████████████████████████████ | 137/210 [02:54<01:33, 1.28s/it]
66%|█████████████████████████████████████████████████████████████████████████▌ | 138/210 [02:55<01:32, 1.28s/it]
66%|██████████████████████████████████████████████████████████████████████████▏ | 139/210 [02:56<01:30, 1.28s/it]
67%|██████████████████████████████████████████████████████████████████████████▋ | 140/210 [02:58<01:29, 1.28s/it]
67%|███████████████████████████████████████████████████████████████████████████▏ | 141/210 [02:59<01:28, 1.28s/it]
68%|███████████████████████████████████████████████████████████████████████████▋ | 142/210 [03:00<01:27, 1.28s/it]
68%|████████████████████████████████████████████████████████████████████████████▎ | 143/210 [03:01<01:25, 1.28s/it]
69%|████████████████████████████████████████████████████████████████████████████▊ | 144/210 [03:03<01:24, 1.28s/it]
69%|█████████████████████████████████████████████████████████████████████████████▎ | 145/210 [03:04<01:23, 1.28s/it]
70%|█████████████████████████████████████████████████████████████████████████████▊ | 146/210 [03:05<01:21, 1.28s/it]
70%|██████████████████████████████████████████████████████████████████████████████▍ | 147/210 [03:07<01:20, 1.28s/it]
70%|██████████████████████████████████████████████████████████████████████████████▉ | 148/210 [03:08<01:19, 1.28s/it]
71%|███████████████████████████████████████████████████████████████████████████████▍ | 149/210 [03:09<01:18, 1.28s/it]
71%|████████████████████████████████████████████████████████████████████████████████ | 150/210 [03:10<01:16, 1.28s/it]
72%|████████████████████████████████████████████████████████████████████████████████▌ | 151/210 [03:12<01:15, 1.28s/it]
72%|█████████████████████████████████████████████████████████████████████████████████ | 152/210 [03:13<01:14, 1.28s/it]
73%|█████████████████████████████████████████████████████████████████████████████████▌ | 153/210 [03:14<01:12, 1.28s/it]
73%|██████████████████████████████████████████████████████████████████████████████████▏ | 154/210 [03:16<01:11, 1.28s/it]
74%|██████████████████████████████████████████████████████████████████████████████████▋ | 155/210 [03:17<01:10, 1.28s/it]
74%|███████████████████████████████████████████████████████████████████████████████████▏ | 156/210 [03:18<01:09, 1.28s/it]
75%|███████████████████████████████████████████████████████████████████████████████████▋ | 157/210 [03:19<01:07, 1.28s/it]
75%|████████████████████████████████████████████████████████████████████████████████████▎ | 158/210 [03:21<01:06, 1.28s/it]
76%|████████████████████████████████████████████████████████████████████████████████████▊ | 159/210 [03:22<01:05, 1.28s/it]
76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 160/210 [03:23<01:04, 1.28s/it]
77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 161/210 [03:24<01:02, 1.28s/it]
77%|██████████████████████████████████████████████████████████████████████████████████████▍ | 162/210 [03:26<01:01, 1.28s/it]
78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 163/210 [03:27<01:00, 1.28s/it]
78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 164/210 [03:28<00:58, 1.28s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████ | 165/210 [03:30<00:57, 1.28s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 166/210 [03:31<00:56, 1.28s/it]
80%|█████████████████████████████████████████████████████████████████████████████████████████ | 167/210 [03:32<00:55, 1.28s/it]
80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 168/210 [03:33<00:53, 1.28s/it]
80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 169/210 [03:35<00:52, 1.28s/it]
81%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 170/210 [03:36<00:51, 1.28s/it]
81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 171/210 [03:37<00:49, 1.28s/it]
82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 172/210 [03:39<00:48, 1.28s/it]
82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 173/210 [03:40<00:47, 1.28s/it]
83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 174/210 [03:41<00:46, 1.28s/it]
83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 175/210 [03:42<00:44, 1.28s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 176/210 [03:44<00:43, 1.28s/it]
84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 177/210 [03:45<00:42, 1.28s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 178/210 [03:46<00:41, 1.29s/it]
85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 179/210 [03:48<00:39, 1.28s/it]
86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 180/210 [03:49<00:38, 1.29s/it]
86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 181/210 [03:50<00:37, 1.28s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 182/210 [03:51<00:35, 1.28s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 183/210 [03:53<00:34, 1.28s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 184/210 [03:54<00:33, 1.28s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 185/210 [03:55<00:32, 1.28s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 186/210 [03:57<00:30, 1.28s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 187/210 [03:58<00:29, 1.28s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 188/210 [03:59<00:28, 1.28s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 189/210 [04:00<00:26, 1.28s/it]
90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 190/210 [04:02<00:25, 1.28s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 191/210 [04:03<00:24, 1.28s/it]
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 192/210 [04:04<00:23, 1.28s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 193/210 [04:05<00:21, 1.28s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 194/210 [04:07<00:20, 1.28s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 195/210 [04:08<00:19, 1.28s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 196/210 [04:09<00:17, 1.28s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 197/210 [04:11<00:16, 1.28s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 198/210 [04:12<00:15, 1.28s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 199/210 [04:13<00:14, 1.28s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 200/210 [04:14<00:12, 1.28s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 201/210 [04:16<00:11, 1.28s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 202/210 [04:17<00:10, 1.28s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 203/210 [04:18<00:08, 1.28s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 204/210 [04:20<00:07, 1.28s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 205/210 [04:21<00:06, 1.28s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 206/210 [04:22<00:05, 1.28s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 207/210 [04:23<00:03, 1.28s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 208/210 [04:25<00:02, 1.28s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 209/210 [04:26<00:01, 1.28s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 210/210 [04:27<00:00, 1.27s/it]
{'eval_loss': 1.11018705368042, 'eval_runtime': 269.0491, 'eval_samples_per_second': 49.868, 'eval_steps_per_second': 0.781, 'epoch': 0.21}
21%|███████████████████████▏ | 200/947 [36:37<1:59:22, 9.59s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 210/210 [04:27<00:00, 1.27s/it]
[INFO|trainer.py:3984] 2026-04-20 14:03:20,425 >> Saving model checkpoint to /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-200
[INFO|configuration_utils.py:419] 2026-04-20 14:03:20,431 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-200/config.json
[INFO|configuration_utils.py:911] 2026-04-20 14:03:20,437 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-200/generation_config.json
[INFO|modeling_utils.py:3580] 2026-04-20 14:03:59,912 >> The model is bigger than the maximum size per checkpoint (5GB) and is going to be split in 6 checkpoint shards. You can find where each parameters has been saved in the index located at /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-200/model.safetensors.index.json.
[INFO|tokenization_utils_base.py:2510] 2026-04-20 14:03:59,915 >> tokenizer config file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-200/tokenizer_config.json
[INFO|tokenization_utils_base.py:2519] 2026-04-20 14:03:59,917 >> Special tokens file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-200/special_tokens_map.json
21%|██████████████████████▉ | 201/947 [40:33<32:46:12, 158.14s/it] 21%|███████████████████████ | 202/947 [40:42<23:29:55, 113.55s/it] 21%|███████████████████████▎ | 203/947 [40:52<17:01:08, 82.35s/it] 22%|███████████████████████▍ | 204/947 [41:02<12:30:18, 60.59s/it] 22%|███████████████████████▊ | 205/947 [41:11<9:20:16, 45.30s/it] 22%|███████████████████████▉ | 206/947 [41:21<7:07:27, 34.61s/it] 22%|████████████████████████ | 207/947 [41:31<5:34:38, 27.13s/it] 22%|████████████████████████▏ | 208/947 [41:40<4:29:49, 21.91s/it] 22%|████████████████████████▎ | 209/947 [41:50<3:44:26, 18.25s/it] 22%|████████████████████████▍ | 210/947 [42:00<3:12:36, 15.68s/it] {'loss': 1.0998, 'grad_norm': 0.43568843603134155, 'learning_rate': 1.9129445576913886e-05, 'epoch': 0.22}
22%|████████████████████████▍ | 210/947 [42:00<3:12:36, 15.68s/it] 22%|████████████████████████▌ | 211/947 [42:10<2:50:20, 13.89s/it] 22%|████████████████████████▋ | 212/947 [42:20<2:35:35, 12.70s/it] 22%|████████████████████████▋ | 213/947 [42:29<2:24:21, 11.80s/it] 23%|████████████████████████▊ | 214/947 [42:39<2:16:24, 11.17s/it] 23%|████████████████████████▉ | 215/947 [42:49<2:10:48, 10.72s/it] 23%|█████████████████████████ | 216/947 [42:58<2:06:56, 10.42s/it] 23%|█████████████████████████▏ | 217/947 [43:08<2:04:10, 10.21s/it] 23%|█████████████████████████▎ | 218/947 [43:18<2:02:03, 10.05s/it] 23%|█████████████████████████▍ | 219/947 [43:27<2:00:31, 9.93s/it] 23%|█████████████████████████▌ | 220/947 [43:37<1:59:26, 9.86s/it] {'loss': 1.1231, 'grad_norm': 0.4271477162837982, 'learning_rate': 1.897280074873868e-05, 'epoch': 0.23}
23%|█████████████████████████▌ | 220/947 [43:37<1:59:26, 9.86s/it] 23%|█████████████████████████▋ | 221/947 [43:47<1:59:22, 9.87s/it] 23%|█████████████████████████▊ | 222/947 [43:57<1:58:31, 9.81s/it] 24%|█████████████████████████▉ | 223/947 [44:06<1:57:43, 9.76s/it] 24%|██████████████████████████ | 224/947 [44:16<1:57:11, 9.73s/it] 24%|██████████████████████████▏ | 225/947 [44:26<1:56:45, 9.70s/it] 24%|██████████████████████████▎ | 226/947 [44:35<1:56:22, 9.68s/it] 24%|██████████████████████████▎ | 227/947 [44:45<1:56:02, 9.67s/it] 24%|██████████████████████████▍ | 228/947 [44:54<1:55:41, 9.65s/it] 24%|██████████████████████████▌ | 229/947 [45:04<1:56:18, 9.72s/it] 24%|██████████████████████████▋ | 230/947 [45:14<1:55:45, 9.69s/it] {'loss': 1.1038, 'grad_norm': 0.44812774658203125, 'learning_rate': 1.8803957618807764e-05, 'epoch': 0.24}
24%|██████████████████████████▋ | 230/947 [45:14<1:55:45, 9.69s/it] 24%|██████████████████████████▊ | 231/947 [45:24<1:55:22, 9.67s/it] 24%|██████████████████████████▉ | 232/947 [45:33<1:55:02, 9.65s/it] 25%|███████████████████████████ | 233/947 [45:43<1:54:50, 9.65s/it] 25%|███████████████████████████▏ | 234/947 [45:52<1:54:34, 9.64s/it] 25%|███████████████████████████▎ | 235/947 [46:02<1:54:19, 9.63s/it] 25%|███████████████████████████▍ | 236/947 [46:12<1:54:02, 9.62s/it] 25%|███████████████████████████▌ | 237/947 [46:21<1:53:50, 9.62s/it] 25%|███████████████████████████▋ | 238/947 [46:31<1:54:25, 9.68s/it] 25%|███████████████████████████▊ | 239/947 [46:41<1:54:05, 9.67s/it] 25%|███████████████████████████▉ | 240/947 [46:50<1:53:49, 9.66s/it] {'loss': 1.1104, 'grad_norm': 0.4037184417247772, 'learning_rate': 1.862314572520028e-05, 'epoch': 0.25}
25%|███████████████████████████▉ | 240/947 [46:50<1:53:49, 9.66s/it] 25%|███████████████████████████▉ | 241/947 [47:00<1:53:27, 9.64s/it] 26%|████████████████████████████ | 242/947 [47:10<1:53:09, 9.63s/it] 26%|████████████████████████████▏ | 243/947 [47:19<1:52:59, 9.63s/it] 26%|████████████████████████████▎ | 244/947 [47:29<1:52:43, 9.62s/it] 26%|████████████████████████████▍ | 245/947 [47:38<1:52:30, 9.62s/it] 26%|████████████████████████████▌ | 246/947 [47:48<1:53:07, 9.68s/it] 26%|████████████████████████████▋ | 247/947 [47:58<1:52:43, 9.66s/it] 26%|████████████████████████████▊ | 248/947 [48:07<1:52:20, 9.64s/it] 26%|████████████████████████████▉ | 249/947 [48:17<1:52:03, 9.63s/it] 26%|█████████████████████████████ | 250/947 [48:27<1:51:46, 9.62s/it] {'loss': 1.0939, 'grad_norm': 0.44267192482948303, 'learning_rate': 1.843061087723496e-05, 'epoch': 0.26}
26%|█████████████████████████████ | 250/947 [48:27<1:51:46, 9.62s/it] 27%|█████████████████████████████▏ | 251/947 [48:36<1:51:32, 9.62s/it] 27%|█████████████████████████████▎ | 252/947 [48:46<1:51:17, 9.61s/it] 27%|█████████████████████████████▍ | 253/947 [48:55<1:51:07, 9.61s/it] 27%|█████████████████████████████▌ | 254/947 [49:05<1:50:57, 9.61s/it] 27%|█████████████████████████████▌ | 255/947 [49:15<1:51:35, 9.67s/it] 27%|█████████████████████████████▋ | 256/947 [49:24<1:51:11, 9.65s/it] 27%|█████████████████████████████▊ | 257/947 [49:34<1:50:50, 9.64s/it] 27%|█████████████████████████████▉ | 258/947 [49:44<1:50:33, 9.63s/it] 27%|██████████████████████████████ | 259/947 [49:53<1:50:16, 9.62s/it] 27%|██████████████████████████████▏ | 260/947 [50:03<1:49:58, 9.60s/it] {'loss': 1.1081, 'grad_norm': 0.44187697768211365, 'learning_rate': 1.8226614821298444e-05, 'epoch': 0.27}
27%|██████████████████████████████▏ | 260/947 [50:03<1:49:58, 9.60s/it] 28%|██████████████████████████████▎ | 261/947 [50:12<1:49:46, 9.60s/it] 28%|██████████████████████████████▍ | 262/947 [50:22<1:49:36, 9.60s/it] 28%|██████████████████████████████▌ | 263/947 [50:32<1:50:18, 9.68s/it] 28%|██████████████████████████████▋ | 264/947 [50:42<1:49:55, 9.66s/it] 28%|██████████████████████████████▊ | 265/947 [50:51<1:49:36, 9.64s/it] 28%|██████████████████████████████▉ | 266/947 [51:01<1:49:17, 9.63s/it] 28%|███████████████████████████████ | 267/947 [51:10<1:48:58, 9.62s/it] 28%|███████████████████████████████▏ | 268/947 [51:20<1:48:45, 9.61s/it] 28%|███████████████████████████████▏ | 269/947 [51:30<1:48:37, 9.61s/it] 29%|███████████████████████████████▎ | 270/947 [51:39<1:48:22, 9.61s/it] {'loss': 1.0985, 'grad_norm': 0.41764840483665466, 'learning_rate': 1.8011434885007482e-05, 'epoch': 0.28}
29%|███████████████████████████████▎ | 270/947 [51:39<1:48:22, 9.61s/it] 29%|███████████████████████████████▍ | 271/947 [51:49<1:48:08, 9.60s/it] 29%|███████████████████████████████▌ | 272/947 [51:59<1:48:43, 9.66s/it] 29%|███████████████████████████████▋ | 273/947 [52:08<1:48:16, 9.64s/it] 29%|███████████████████████████████▊ | 274/947 [52:18<1:47:52, 9.62s/it] 29%|███████████████████████████████▉ | 275/947 [52:27<1:47:38, 9.61s/it] 29%|████████████████████████████████ | 276/947 [52:37<1:47:22, 9.60s/it] 29%|████████████████████████████████▏ | 277/947 [52:46<1:47:11, 9.60s/it] 29%|████████████████████████████████▎ | 278/947 [52:56<1:46:58, 9.59s/it] 29%|████████████████████████████████▍ | 279/947 [53:06<1:46:47, 9.59s/it] 30%|████████████████████████████████▌ | 280/947 [53:15<1:47:20, 9.66s/it] {'loss': 1.1005, 'grad_norm': 0.3874802589416504, 'learning_rate': 1.7785363600188894e-05, 'epoch': 0.3}
30%|████████████████████████████████▌ | 280/947 [53:15<1:47:20, 9.66s/it] 30%|████████████████████████████████▋ | 281/947 [53:25<1:46:53, 9.63s/it] 30%|████████████████████████████████▊ | 282/947 [53:35<1:46:34, 9.62s/it] 30%|████████████████████████████████▊ | 283/947 [53:44<1:46:17, 9.60s/it] 30%|████████████████████████████████▉ | 284/947 [53:54<1:46:05, 9.60s/it] 30%|█████████████████████████████████ | 285/947 [54:03<1:45:51, 9.59s/it] 30%|█████████████████████████████████▏ | 286/947 [54:13<1:45:39, 9.59s/it] 30%|█████████████████████████████████▎ | 287/947 [54:22<1:45:26, 9.59s/it] 30%|█████████████████████████████████▍ | 288/947 [54:32<1:45:18, 9.59s/it] 31%|█████████████████████████████████▌ | 289/947 [54:42<1:45:55, 9.66s/it] 31%|█████████████████████████████████▋ | 290/947 [54:51<1:45:40, 9.65s/it] {'loss': 1.09, 'grad_norm': 0.3772076666355133, 'learning_rate': 1.7548708305189724e-05, 'epoch': 0.31}
31%|█████████████████████████████████▋ | 290/947 [54:52<1:45:40, 9.65s/it] 31%|█████████████████████████████████▊ | 291/947 [55:01<1:45:20, 9.64s/it] 31%|█████████████████████████████████▉ | 292/947 [55:11<1:45:02, 9.62s/it] 31%|██████████████████████████████████ | 293/947 [55:20<1:44:45, 9.61s/it] 31%|██████████████████████████████████▏ | 294/947 [55:30<1:44:32, 9.61s/it] 31%|██████████████████████████████████▎ | 295/947 [55:39<1:44:21, 9.60s/it] 31%|██████████████████████████████████▍ | 296/947 [55:49<1:44:09, 9.60s/it] 31%|██████████████████████████████████▍ | 297/947 [55:59<1:44:47, 9.67s/it] 31%|██████████████████████████████████▌ | 298/947 [56:08<1:44:20, 9.65s/it] 32%|██████████████████████████████████▋ | 299/947 [56:18<1:44:01, 9.63s/it] 32%|██████████████████████████████████▊ | 300/947 [56:28<1:43:50, 9.63s/it] {'loss': 1.0849, 'grad_norm': 0.4143645167350769, 'learning_rate': 1.7301790727058344e-05, 'epoch': 0.32}
32%|██████████████████████████████████▊ | 300/947 [56:28<1:43:50, 9.63s/it] 32%|██████████████████████████████████▉ | 301/947 [56:37<1:43:34, 9.62s/it] 32%|███████████████████████████████████ | 302/947 [56:47<1:43:21, 9.61s/it] 32%|███████████████████████████████████▏ | 303/947 [56:57<1:43:11, 9.61s/it] 32%|███████████████████████████████████▎ | 304/947 [57:06<1:43:01, 9.61s/it] 32%|███████████████████████████████████▍ | 305/947 [57:16<1:42:46, 9.61s/it] 32%|███████████████████████████████████▌ | 306/947 [57:26<1:43:21, 9.67s/it] 32%|███████████████████████████████████▋ | 307/947 [57:35<1:42:53, 9.65s/it] 33%|███████████████████████████████████▊ | 308/947 [57:45<1:42:32, 9.63s/it] 33%|███████████████████████████████████▉ | 309/947 [57:54<1:42:12, 9.61s/it] 33%|████████████████████████████████████ | 310/947 [58:04<1:41:52, 9.60s/it] {'loss': 1.0956, 'grad_norm': 0.43071797490119934, 'learning_rate': 1.7044946544164434e-05, 'epoch': 0.33}
33%|████████████████████████████████████ | 310/947 [58:04<1:41:52, 9.60s/it] 33%|████████████████████████████████████ | 311/947 [58:13<1:41:41, 9.59s/it] 33%|████████████████████████████████████▏ | 312/947 [58:23<1:41:29, 9.59s/it] 33%|████████████████████████████████████▎ | 313/947 [58:33<1:41:14, 9.58s/it] 33%|████████████████████████████████████▍ | 314/947 [58:42<1:41:46, 9.65s/it] 33%|████████████████████████████████████▌ | 315/947 [58:52<1:41:20, 9.62s/it] 33%|████████████████████████████████████▋ | 316/947 [59:01<1:40:58, 9.60s/it] 33%|████████████████████████████████████▊ | 317/947 [59:11<1:40:40, 9.59s/it] 34%|████████████████████████████████████▉ | 318/947 [59:21<1:40:30, 9.59s/it] 34%|█████████████████████████████████████ | 319/947 [59:30<1:40:16, 9.58s/it] 34%|█████████████████████████████████████▏ | 320/947 [59:40<1:40:03, 9.58s/it] {'loss': 1.1042, 'grad_norm': 0.3988950252532959, 'learning_rate': 1.6778524929852513e-05, 'epoch': 0.34}
34%|█████████████████████████████████████▏ | 320/947 [59:40<1:40:03, 9.58s/it] 34%|█████████████████████████████████████▎ | 321/947 [59:49<1:39:53, 9.57s/it] 34%|█████████████████████████████████████▍ | 322/947 [59:59<1:39:40, 9.57s/it] 34%|████████████████████████████████████▊ | 323/947 [1:00:09<1:40:14, 9.64s/it] 34%|████████████████████████████████████▉ | 324/947 [1:00:18<1:39:55, 9.62s/it] 34%|█████████████████████████████████████ | 325/947 [1:00:28<1:39:33, 9.60s/it] 34%|█████████████████████████████████████▏ | 326/947 [1:00:37<1:39:26, 9.61s/it] 35%|█████████████████████████████████████▎ | 327/947 [1:00:47<1:39:12, 9.60s/it] 35%|█████████████████████████████████████▍ | 328/947 [1:00:57<1:39:00, 9.60s/it] 35%|█████████████████████████████████████▌ | 329/947 [1:01:06<1:38:45, 9.59s/it] 35%|█████████████████████████████████████▋ | 330/947 [1:01:16<1:38:32, 9.58s/it] {'loss': 1.0978, 'grad_norm': 0.40434718132019043, 'learning_rate': 1.650288807774937e-05, 'epoch': 0.35}
35%|█████████████████████████████████████▋ | 330/947 [1:01:16<1:38:32, 9.58s/it] 35%|█████████████████████████████████████▋ | 331/947 [1:01:26<1:39:02, 9.65s/it] 35%|█████████████████████████████████████▊ | 332/947 [1:01:35<1:38:36, 9.62s/it] 35%|█████████████████████████████████████▉ | 333/947 [1:01:45<1:38:15, 9.60s/it] 35%|██████████████████████████████████████ | 334/947 [1:01:54<1:37:59, 9.59s/it] 35%|██████████████████████████████████████▏ | 335/947 [1:02:04<1:37:43, 9.58s/it] 35%|██████████████████████████████████████▎ | 336/947 [1:02:13<1:37:30, 9.58s/it] 36%|██████████████████████████████████████▍ | 337/947 [1:02:23<1:37:18, 9.57s/it] 36%|██████████████████████████████████████▌ | 338/947 [1:02:33<1:37:07, 9.57s/it] 36%|██████████████████████████████████████▋ | 339/947 [1:02:42<1:36:56, 9.57s/it] 36%|██████████████████████████████████████▊ | 340/947 [1:02:52<1:37:30, 9.64s/it] {'loss': 1.0914, 'grad_norm': 0.41674408316612244, 'learning_rate': 1.6218410709370735e-05, 'epoch': 0.36}
36%|██████████████████████████████████████▊ | 340/947 [1:02:52<1:37:30, 9.64s/it] 36%|██████████████████████████████████████▉ | 341/947 [1:03:01<1:37:13, 9.63s/it] 36%|███████████████████████████████████████ | 342/947 [1:03:11<1:36:55, 9.61s/it] 36%|███████████████████████████████████████ | 343/947 [1:03:21<1:36:38, 9.60s/it] 36%|███████████████████████████████████████▏ | 344/947 [1:03:30<1:36:25, 9.60s/it] 36%|███████████████████████████████████████▎ | 345/947 [1:03:40<1:36:17, 9.60s/it] 37%|███████████████████████████████████████▍ | 346/947 [1:03:49<1:36:05, 9.59s/it] 37%|███████████████████████████████████████▌ | 347/947 [1:03:59<1:35:53, 9.59s/it] 37%|███████████████████████████████████████▋ | 348/947 [1:04:09<1:36:28, 9.66s/it] 37%|███████████████████████████████████████▊ | 349/947 [1:04:18<1:36:04, 9.64s/it] 37%|███████████████████████████████████████▉ | 350/947 [1:04:28<1:35:43, 9.62s/it] {'loss': 1.1126, 'grad_norm': 0.395465224981308, 'learning_rate': 1.592547956469662e-05, 'epoch': 0.37}
37%|███████████████████████████████████████▉ | 350/947 [1:04:28<1:35:43, 9.62s/it] 37%|████████████████████████████████████████ | 351/947 [1:04:38<1:35:29, 9.61s/it] 37%|████████████████████████████████████████▏ | 352/947 [1:04:47<1:35:10, 9.60s/it] 37%|████████████████████████████████████████▎ | 353/947 [1:04:57<1:34:59, 9.60s/it] 37%|████████████████████████████████████████▎ | 354/947 [1:05:06<1:34:46, 9.59s/it] 37%|████████████████████████████████████████▍ | 355/947 [1:05:16<1:34:32, 9.58s/it] 38%|████████████████████████████████████████▌ | 356/947 [1:05:25<1:34:26, 9.59s/it] 38%|████████████████████████████████████████▋ | 357/947 [1:05:35<1:34:57, 9.66s/it] 38%|████████████████████████████████████████▊ | 358/947 [1:05:45<1:34:34, 9.63s/it] 38%|████████████████████████████████████████▉ | 359/947 [1:05:54<1:34:17, 9.62s/it] 38%|█████████████████████████████████████████ | 360/947 [1:06:04<1:34:02, 9.61s/it] {'loss': 1.099, 'grad_norm': 0.3750782608985901, 'learning_rate': 1.562449287640781e-05, 'epoch': 0.38}
38%|█████████████████████████████████████████ | 360/947 [1:06:04<1:34:02, 9.61s/it] 38%|█████████████████████████████████████████▏ | 361/947 [1:06:14<1:33:48, 9.61s/it] 38%|█████████████████████████████████████████▎ | 362/947 [1:06:23<1:33:33, 9.60s/it] 38%|█████████████████████████████████████████▍ | 363/947 [1:06:33<1:33:22, 9.59s/it] 38%|█████████████████████████████████████████▌ | 364/947 [1:06:42<1:33:12, 9.59s/it] 39%|█████████████████████████████████████████▋ | 365/947 [1:06:52<1:33:40, 9.66s/it] 39%|█████████████████████████████████████████▋ | 366/947 [1:07:02<1:33:23, 9.64s/it] 39%|█████████████████████████████████████████▊ | 367/947 [1:07:11<1:33:00, 9.62s/it] 39%|█████████████████████████████████████████▉ | 368/947 [1:07:21<1:32:41, 9.61s/it] 39%|██████████████████████████████████████████ | 369/947 [1:07:31<1:32:29, 9.60s/it] 39%|██████████████████████████████████████████▏ | 370/947 [1:07:40<1:32:15, 9.59s/it] {'loss': 1.0933, 'grad_norm': 0.3862684369087219, 'learning_rate': 1.5315859828498353e-05, 'epoch': 0.39}
39%|██████████████████████████████████████████▏ | 370/947 [1:07:40<1:32:15, 9.59s/it] 39%|██████████████████████████████████████████▎ | 371/947 [1:07:50<1:32:03, 9.59s/it] 39%|██████████████████████████████████████████▍ | 372/947 [1:07:59<1:31:53, 9.59s/it] 39%|██████████████████████████████████████████▌ | 373/947 [1:08:09<1:31:45, 9.59s/it] 39%|██████████████████████████████████████████▋ | 374/947 [1:08:19<1:32:11, 9.65s/it] 40%|██████████████████████████████████████████▊ | 375/947 [1:08:28<1:31:49, 9.63s/it] 40%|██████████████████████████████████████████▉ | 376/947 [1:08:38<1:31:31, 9.62s/it] 40%|██████████████████████████████████████████▉ | 377/947 [1:08:47<1:31:14, 9.60s/it] 40%|███████████████████████████████████████████ | 378/947 [1:08:57<1:30:59, 9.59s/it] 40%|███████████████████████████████████████████▏ | 379/947 [1:09:07<1:30:53, 9.60s/it] 40%|███████████████████████████████████████████▎ | 380/947 [1:09:16<1:30:39, 9.59s/it] {'loss': 1.0905, 'grad_norm': 0.40379074215888977, 'learning_rate': 1.5000000000000002e-05, 'epoch': 0.4}
40%|███████████████████████████████████████████▎ | 380/947 [1:09:16<1:30:39, 9.59s/it] 40%|███████████████████████████████████████████▍ | 381/947 [1:09:26<1:30:25, 9.58s/it] 40%|███████████████████████████████████████████▌ | 382/947 [1:09:36<1:30:50, 9.65s/it] 40%|███████████████████████████████████████████▋ | 383/947 [1:09:45<1:30:29, 9.63s/it] 41%|███████████████████████████████████████████▊ | 384/947 [1:09:55<1:30:08, 9.61s/it] 41%|███████████████████████████████████████████▉ | 385/947 [1:10:04<1:29:52, 9.59s/it] 41%|████████████████████████████████████████████ | 386/947 [1:10:14<1:29:38, 9.59s/it] 41%|████████████████████████████████████████████▏ | 387/947 [1:10:23<1:29:24, 9.58s/it] 41%|████████████████████████████████████████████▏ | 388/947 [1:10:33<1:29:12, 9.58s/it] 41%|████████████████████████████████████████████▎ | 389/947 [1:10:42<1:29:00, 9.57s/it] 41%|████████████████████████████████████████████▍ | 390/947 [1:10:52<1:28:51, 9.57s/it] {'loss': 1.0835, 'grad_norm': 0.3791244328022003, 'learning_rate': 1.4677342794574819e-05, 'epoch': 0.41}
41%|████████████████████████████████████████████▍ | 390/947 [1:10:52<1:28:51, 9.57s/it] 41%|████████████████████████████████████████████▌ | 391/947 [1:11:02<1:29:17, 9.64s/it] 41%|████████████████████████████████████████████▋ | 392/947 [1:11:11<1:28:55, 9.61s/it] 41%|████████████████████████████████████████████▊ | 393/947 [1:11:21<1:28:37, 9.60s/it] 42%|████████████████████████████████████████████▉ | 394/947 [1:11:31<1:28:26, 9.60s/it] 42%|█████████████████████████████████████████████ | 395/947 [1:11:40<1:28:13, 9.59s/it] 42%|█████████████████████████████████████████████▏ | 396/947 [1:11:50<1:28:03, 9.59s/it] 42%|█████████████████████████████████████████████▎ | 397/947 [1:11:59<1:27:55, 9.59s/it] 42%|█████████████████████████████████████████████▍ | 398/947 [1:12:09<1:27:43, 9.59s/it] 42%|█████████████████████████████████████████████▌ | 399/947 [1:12:19<1:28:14, 9.66s/it] 42%|█████████████████████████████████████████████▌ | 400/947 [1:12:28<1:27:53, 9.64s/it] {'loss': 1.095, 'grad_norm': 0.36901775002479553, 'learning_rate': 1.4348326856751496e-05, 'epoch': 0.42}
42%|█████████████████████████████████████████████▌ | 400/947 [1:12:28<1:27:53, 9.64s/it][INFO|trainer.py:4307] 2026-04-20 14:38:56,875 >>
***** Running Evaluation *****
[INFO|trainer.py:4309] 2026-04-20 14:38:56,875 >> Num examples = 13417
[INFO|trainer.py:4312] 2026-04-20 14:38:56,875 >> Batch size = 16
0%| | 0/210 [00:00<?, ?it/s]
1%|█ | 2/210 [00:01<02:12, 1.57it/s]
1%|█▋ | 3/210 [00:02<03:07, 1.10it/s]
2%|██▏ | 4/210 [00:03<03:35, 1.05s/it]
2%|██▋ | 5/210 [00:05<03:50, 1.13s/it]
3%|███▎ | 6/210 [00:06<04:00, 1.18s/it]
3%|███▊ | 7/210 [00:07<04:05, 1.21s/it]
4%|████▎ | 8/210 [00:08<04:08, 1.23s/it]
4%|████▉ | 9/210 [00:10<04:10, 1.25s/it]
5%|█████▍ | 10/210 [00:11<04:11, 1.26s/it]
5%|█████▉ | 11/210 [00:12<04:11, 1.27s/it]
6%|██████▍ | 12/210 [00:14<04:11, 1.27s/it]
6%|██████▉ | 13/210 [00:15<04:10, 1.27s/it]
7%|███████▌ | 14/210 [00:16<04:09, 1.28s/it]
7%|████████ | 15/210 [00:17<04:09, 1.28s/it]
8%|████████▌ | 16/210 [00:19<04:08, 1.28s/it]
8%|█████████▏ | 17/210 [00:20<04:06, 1.28s/it]
9%|█████████▋ | 18/210 [00:21<04:05, 1.28s/it]
9%|██████████▏ | 19/210 [00:23<04:04, 1.28s/it]
10%|██████████▊ | 20/210 [00:24<04:03, 1.28s/it]
10%|███████████▎ | 21/210 [00:25<04:01, 1.28s/it]
10%|███████████▊ | 22/210 [00:26<04:00, 1.28s/it]
11%|████████████▍ | 23/210 [00:28<04:00, 1.28s/it]
11%|████████████▉ | 24/210 [00:29<03:58, 1.28s/it]
12%|█████████████▍ | 25/210 [00:30<03:57, 1.28s/it]
12%|█████████████▉ | 26/210 [00:32<03:55, 1.28s/it]
13%|██████████████▌ | 27/210 [00:33<03:54, 1.28s/it]
13%|███████████████ | 28/210 [00:34<03:53, 1.28s/it]
14%|███████████████▌ | 29/210 [00:35<03:51, 1.28s/it]
14%|████████████████▏ | 30/210 [00:37<03:50, 1.28s/it]
15%|████████████████▋ | 31/210 [00:38<03:49, 1.28s/it]
15%|█████████████████▏ | 32/210 [00:39<03:47, 1.28s/it]
16%|█████████████████▊ | 33/210 [00:40<03:46, 1.28s/it]
16%|██████████████████▎ | 34/210 [00:42<03:45, 1.28s/it]
17%|██████████████████▊ | 35/210 [00:43<03:44, 1.28s/it]
17%|███████████████████▎ | 36/210 [00:44<03:42, 1.28s/it]
18%|███████████████████▉ | 37/210 [00:46<03:41, 1.28s/it]
18%|████████████████████▍ | 38/210 [00:47<03:40, 1.28s/it]
19%|████████████████████▉ | 39/210 [00:48<03:38, 1.28s/it]
19%|█████████████████████▌ | 40/210 [00:49<03:37, 1.28s/it]
20%|██████████████████████ | 41/210 [00:51<03:36, 1.28s/it]
20%|██████████████████████▌ | 42/210 [00:52<03:34, 1.28s/it]
20%|███████████████████████▏ | 43/210 [00:53<03:33, 1.28s/it]
21%|███████████████████████▋ | 44/210 [00:55<03:32, 1.28s/it]
21%|████████████████████████▏ | 45/210 [00:56<03:31, 1.28s/it]
22%|████████████████████████▊ | 46/210 [00:57<03:29, 1.28s/it]
22%|█████████████████████████▎ | 47/210 [00:58<03:28, 1.28s/it]
23%|█████████████████████████▊ | 48/210 [01:00<03:27, 1.28s/it]
23%|██████████████████████████▎ | 49/210 [01:01<03:26, 1.28s/it]
24%|██████████████████████████▉ | 50/210 [01:02<03:24, 1.28s/it]
24%|███████████████████████████▍ | 51/210 [01:04<03:23, 1.28s/it]
25%|███████████████████████████▉ | 52/210 [01:05<03:22, 1.28s/it]
25%|████████████████████████████▌ | 53/210 [01:06<03:21, 1.28s/it]
26%|█████████████████████████████ | 54/210 [01:07<03:19, 1.28s/it]
26%|█████████████████████████████▌ | 55/210 [01:09<03:18, 1.28s/it]
27%|██████████████████████████████▏ | 56/210 [01:10<03:17, 1.28s/it]
27%|██████████████████████████████▋ | 57/210 [01:11<03:15, 1.28s/it]
28%|███████████████████████████████▏ | 58/210 [01:12<03:14, 1.28s/it]
28%|███████████████████████████████▋ | 59/210 [01:14<03:13, 1.28s/it]
29%|████████████████████████████████▎ | 60/210 [01:15<03:12, 1.28s/it]
29%|████████████████████████████████▊ | 61/210 [01:16<03:10, 1.28s/it]
30%|█████████████████████████████████▎ | 62/210 [01:18<03:09, 1.28s/it]
30%|█████████████████████████████████▉ | 63/210 [01:19<03:08, 1.28s/it]
30%|██████████████████████████████████▍ | 64/210 [01:20<03:06, 1.28s/it]
31%|██████████████████████████████████▉ | 65/210 [01:21<03:05, 1.28s/it]
31%|███████████████████████████████████▌ | 66/210 [01:23<03:04, 1.28s/it]
32%|████████████████████████████████████ | 67/210 [01:24<03:03, 1.28s/it]
32%|████████████████████████████████████▌ | 68/210 [01:25<03:01, 1.28s/it]
33%|█████████████████████████████████████▏ | 69/210 [01:27<03:00, 1.28s/it]
33%|█████████████████████████████████████▋ | 70/210 [01:28<02:59, 1.28s/it]
34%|██████████████████████████████████████▏ | 71/210 [01:29<02:58, 1.28s/it]
34%|██████████████████████████████████████▋ | 72/210 [01:30<02:56, 1.28s/it]
35%|███████████████████████████████████████▎ | 73/210 [01:32<02:55, 1.28s/it]
35%|███████████████████████████████████████▊ | 74/210 [01:33<02:54, 1.28s/it]
36%|████████████████████████████████████████▎ | 75/210 [01:34<02:52, 1.28s/it]
36%|████████████████████████████████████████▉ | 76/210 [01:36<02:51, 1.28s/it]
37%|█████████████████████████████████████████▍ | 77/210 [01:37<02:50, 1.28s/it]
37%|█████████████████████████████████████████▉ | 78/210 [01:38<02:49, 1.28s/it]
38%|██████████████████████████████████████████▌ | 79/210 [01:39<02:47, 1.28s/it]
38%|███████████████████████████████████████████ | 80/210 [01:41<02:46, 1.28s/it]
39%|███████████████████████████████████████████▌ | 81/210 [01:42<02:45, 1.28s/it]
39%|████████████████████████████████████████████ | 82/210 [01:43<02:44, 1.28s/it]
40%|████████████████████████████████████████████▋ | 83/210 [01:45<02:42, 1.28s/it]
40%|█████████████████████████████████████████████▏ | 84/210 [01:46<02:41, 1.28s/it]
40%|█████████████████████████████████████████████▋ | 85/210 [01:47<02:40, 1.28s/it]
41%|██████████████████████████████████████████████▎ | 86/210 [01:48<02:38, 1.28s/it]
41%|██████████████████████████████████████████████▊ | 87/210 [01:50<02:37, 1.28s/it]
42%|███████████████████████████████████████████████▎ | 88/210 [01:51<02:36, 1.28s/it]
42%|███████████████████████████████████████████████▉ | 89/210 [01:52<02:35, 1.28s/it]
43%|████████████████████████████████████████████████▍ | 90/210 [01:53<02:33, 1.28s/it]
43%|████████████████████████████████████████████████▉ | 91/210 [01:55<02:32, 1.28s/it]
44%|█████████████████████████████████████████████████▌ | 92/210 [01:56<02:31, 1.28s/it]
44%|██████████████████████████████████████████████████ | 93/210 [01:57<02:29, 1.28s/it]
45%|██████████████████████████████████████████████████▌ | 94/210 [01:59<02:28, 1.28s/it]
45%|███████████████████████████████████████████████████ | 95/210 [02:00<02:27, 1.28s/it]
46%|███████████████████████████████████████████████████▋ | 96/210 [02:01<02:26, 1.28s/it]
46%|████████████████████████████████████████████████████▏ | 97/210 [02:02<02:24, 1.28s/it]
47%|████████████████████████████████████████████████████▋ | 98/210 [02:04<02:23, 1.28s/it]
47%|█████████████████████████████████████████████████████▎ | 99/210 [02:05<02:22, 1.28s/it]
48%|█████████████████████████████████████████████████████▎ | 100/210 [02:06<02:20, 1.28s/it]
48%|█████████████████████████████████████████████████████▊ | 101/210 [02:08<02:19, 1.28s/it]
49%|██████████████████████████████████████████████████████▍ | 102/210 [02:09<02:18, 1.28s/it]
49%|██████████████████████████████████████████████████████▉ | 103/210 [02:10<02:17, 1.28s/it]
50%|███████████████████████████████████████████████████████▍ | 104/210 [02:11<02:15, 1.28s/it]
50%|████████████████████████████████████████████████████████ | 105/210 [02:13<02:14, 1.28s/it]
50%|████████████████████████████████████████████████████████▌ | 106/210 [02:14<02:13, 1.28s/it]
51%|█████████████████████████████████████████████████████████ | 107/210 [02:15<02:12, 1.28s/it]
51%|█████████████████████████████████████████████████████████▌ | 108/210 [02:17<02:10, 1.28s/it]
52%|██████████████████████████████████████████████████████████▏ | 109/210 [02:18<02:09, 1.28s/it]
52%|██████████████████████████████████████████████████████████▋ | 110/210 [02:19<02:08, 1.28s/it]
53%|███████████████████████████████████████████████████████████▏ | 111/210 [02:20<02:06, 1.28s/it]
53%|███████████████████████████████████████████████████████████▋ | 112/210 [02:22<02:05, 1.28s/it]
54%|████████████████████████████████████████████████████████████▎ | 113/210 [02:23<02:04, 1.28s/it]
54%|████████████████████████████████████████████████████████████▊ | 114/210 [02:24<02:03, 1.28s/it]
55%|█████████████████████████████████████████████████████████████▎ | 115/210 [02:26<02:01, 1.28s/it]
55%|█████████████████████████████████████████████████████████████▊ | 116/210 [02:27<02:00, 1.28s/it]
56%|██████████████████████████████████████████████████████████████▍ | 117/210 [02:28<01:59, 1.28s/it]
56%|██████████████████████████████████████████████████████████████▉ | 118/210 [02:29<01:58, 1.29s/it]
57%|███████████████████████████████████████████████████████████████▍ | 119/210 [02:31<01:57, 1.29s/it]
57%|████████████████████████████████████████████████████████████████ | 120/210 [02:32<01:55, 1.28s/it]
58%|████████████████████████████████████████████████████████████████▌ | 121/210 [02:33<01:54, 1.29s/it]
58%|█████████████████████████████████████████████████████████████████ | 122/210 [02:35<01:52, 1.28s/it]
59%|█████████████████████████████████████████████████████████████████▌ | 123/210 [02:36<01:51, 1.28s/it]
59%|██████████████████████████████████████████████████████████████████▏ | 124/210 [02:37<01:50, 1.28s/it]
60%|██████████████████████████████████████████████████████████████████▋ | 125/210 [02:38<01:49, 1.28s/it]
60%|███████████████████████████████████████████████████████████████████▏ | 126/210 [02:40<01:47, 1.28s/it]
60%|███████████████████████████████████████████████████████████████████▋ | 127/210 [02:41<01:46, 1.28s/it]
61%|████████████████████████████████████████████████████████████████████▎ | 128/210 [02:42<01:45, 1.28s/it]
61%|████████████████████████████████████████████████████████████████████▊ | 129/210 [02:43<01:43, 1.28s/it]
62%|█████████████████████████████████████████████████████████████████████▎ | 130/210 [02:45<01:42, 1.28s/it]
62%|█████████████████████████████████████████████████████████████████████▊ | 131/210 [02:46<01:41, 1.28s/it]
63%|██████████████████████████████████████████████████████████████████████▍ | 132/210 [02:47<01:40, 1.28s/it]
63%|██████████████████████████████████████████████████████████████████████▉ | 133/210 [02:49<01:38, 1.28s/it]
64%|███████████████████████████████████████████████████████████████████████▍ | 134/210 [02:50<01:37, 1.28s/it]
64%|████████████████████████████████████████████████████████████████████████ | 135/210 [02:51<01:36, 1.28s/it]
65%|████████████████████████████████████████████████████████████████████████▌ | 136/210 [02:52<01:34, 1.28s/it]
65%|█████████████████████████████████████████████████████████████████████████ | 137/210 [02:54<01:33, 1.28s/it]
66%|█████████████████████████████████████████████████████████████████████████▌ | 138/210 [02:55<01:32, 1.28s/it]
66%|██████████████████████████████████████████████████████████████████████████▏ | 139/210 [02:56<01:31, 1.28s/it]
67%|██████████████████████████████████████████████████████████████████████████▋ | 140/210 [02:58<01:29, 1.28s/it]
67%|███████████████████████████████████████████████████████████████████████████▏ | 141/210 [02:59<01:28, 1.28s/it]
68%|███████████████████████████████████████████████████████████████████████████▋ | 142/210 [03:00<01:27, 1.28s/it]
68%|████████████████████████████████████████████████████████████████████████████▎ | 143/210 [03:01<01:25, 1.28s/it]
69%|████████████████████████████████████████████████████████████████████████████▊ | 144/210 [03:03<01:24, 1.28s/it]
69%|█████████████████████████████████████████████████████████████████████████████▎ | 145/210 [03:04<01:23, 1.28s/it]
70%|█████████████████████████████████████████████████████████████████████████████▊ | 146/210 [03:05<01:21, 1.28s/it]
70%|██████████████████████████████████████████████████████████████████████████████▍ | 147/210 [03:07<01:20, 1.28s/it]
70%|██████████████████████████████████████████████████████████████████████████████▉ | 148/210 [03:08<01:19, 1.28s/it]
71%|███████████████████████████████████████████████████████████████████████████████▍ | 149/210 [03:09<01:18, 1.28s/it]
71%|████████████████████████████████████████████████████████████████████████████████ | 150/210 [03:10<01:16, 1.28s/it]
72%|████████████████████████████████████████████████████████████████████████████████▌ | 151/210 [03:12<01:15, 1.28s/it]
72%|█████████████████████████████████████████████████████████████████████████████████ | 152/210 [03:13<01:14, 1.28s/it]
73%|█████████████████████████████████████████████████████████████████████████████████▌ | 153/210 [03:14<01:13, 1.28s/it]
73%|██████████████████████████████████████████████████████████████████████████████████▏ | 154/210 [03:16<01:11, 1.28s/it]
74%|██████████████████████████████████████████████████████████████████████████████████▋ | 155/210 [03:17<01:10, 1.28s/it]
74%|███████████████████████████████████████████████████████████████████████████████████▏ | 156/210 [03:18<01:09, 1.28s/it]
75%|███████████████████████████████████████████████████████████████████████████████████▋ | 157/210 [03:19<01:08, 1.28s/it]
75%|████████████████████████████████████████████████████████████████████████████████████▎ | 158/210 [03:21<01:06, 1.28s/it]
76%|████████████████████████████████████████████████████████████████████████████████████▊ | 159/210 [03:22<01:05, 1.28s/it]
76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 160/210 [03:23<01:04, 1.28s/it]
77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 161/210 [03:25<01:02, 1.28s/it]
77%|██████████████████████████████████████████████████████████████████████████████████████▍ | 162/210 [03:26<01:01, 1.28s/it]
78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 163/210 [03:27<01:00, 1.28s/it]
78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 164/210 [03:28<00:59, 1.28s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████ | 165/210 [03:30<00:57, 1.28s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 166/210 [03:31<00:56, 1.28s/it]
80%|█████████████████████████████████████████████████████████████████████████████████████████ | 167/210 [03:32<00:55, 1.28s/it]
80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 168/210 [03:34<00:53, 1.28s/it]
80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 169/210 [03:35<00:52, 1.28s/it]
81%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 170/210 [03:36<00:51, 1.28s/it]
81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 171/210 [03:37<00:50, 1.28s/it]
82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 172/210 [03:39<00:48, 1.28s/it]
82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 173/210 [03:40<00:47, 1.28s/it]
83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 174/210 [03:41<00:46, 1.28s/it]
83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 175/210 [03:42<00:44, 1.28s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 176/210 [03:44<00:43, 1.28s/it]
84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 177/210 [03:45<00:42, 1.28s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 178/210 [03:46<00:41, 1.28s/it]
85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 179/210 [03:48<00:39, 1.28s/it]
86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 180/210 [03:49<00:38, 1.28s/it]
86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 181/210 [03:50<00:37, 1.28s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 182/210 [03:51<00:35, 1.28s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 183/210 [03:53<00:34, 1.28s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 184/210 [03:54<00:33, 1.28s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 185/210 [03:55<00:32, 1.28s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 186/210 [03:57<00:30, 1.28s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 187/210 [03:58<00:29, 1.28s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 188/210 [03:59<00:28, 1.28s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 189/210 [04:00<00:26, 1.28s/it]
90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 190/210 [04:02<00:25, 1.28s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 191/210 [04:03<00:24, 1.28s/it]
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 192/210 [04:04<00:23, 1.28s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 193/210 [04:06<00:21, 1.28s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 194/210 [04:07<00:20, 1.28s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 195/210 [04:08<00:19, 1.28s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 196/210 [04:09<00:17, 1.28s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 197/210 [04:11<00:16, 1.28s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 198/210 [04:12<00:15, 1.28s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 199/210 [04:13<00:14, 1.28s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 200/210 [04:15<00:12, 1.28s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 201/210 [04:16<00:11, 1.28s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 202/210 [04:17<00:10, 1.28s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 203/210 [04:18<00:08, 1.28s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 204/210 [04:20<00:07, 1.28s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 205/210 [04:21<00:06, 1.28s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 206/210 [04:22<00:05, 1.28s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 207/210 [04:24<00:03, 1.28s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 208/210 [04:25<00:02, 1.28s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 209/210 [04:26<00:01, 1.28s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 210/210 [04:27<00:00, 1.28s/it]
{'eval_loss': 1.0990158319473267, 'eval_runtime': 269.2071, 'eval_samples_per_second': 49.839, 'eval_steps_per_second': 0.78, 'epoch': 0.42}
42%|█████████████████████████████████████████████▌ | 400/947 [1:16:58<1:27:53, 9.64s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 210/210 [04:28<00:00, 1.28s/it]
[INFO|trainer.py:3984] 2026-04-20 14:43:36,486 >> Saving model checkpoint to /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-400
[INFO|configuration_utils.py:419] 2026-04-20 14:43:36,496 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-400/config.json
[INFO|configuration_utils.py:911] 2026-04-20 14:43:36,501 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-400/generation_config.json
[INFO|modeling_utils.py:3580] 2026-04-20 14:44:15,564 >> The model is bigger than the maximum size per checkpoint (5GB) and is going to be split in 6 checkpoint shards. You can find where each parameters has been saved in the index located at /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-400/model.safetensors.index.json.
[INFO|tokenization_utils_base.py:2510] 2026-04-20 14:44:15,571 >> tokenizer config file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-400/tokenizer_config.json
[INFO|tokenization_utils_base.py:2519] 2026-04-20 14:44:15,580 >> Special tokens file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-400/special_tokens_map.json
42%|████████████████████████████████████████████▉ | 401/947 [1:20:44<23:35:04, 155.50s/it] 42%|████████████████████████████████████████████▉ | 402/947 [1:20:54<16:54:38, 111.70s/it] 43%|█████████████████████████████████████████████▌ | 403/947 [1:21:03<12:14:59, 81.07s/it] 43%|██████████████████████████████████████████████ | 404/947 [1:21:13<8:59:41, 59.64s/it] 43%|██████████████████████████████████████████████▏ | 405/947 [1:21:23<6:43:16, 44.64s/it] 43%|██████████████████████████████████████████████▎ | 406/947 [1:21:32<5:07:55, 34.15s/it] 43%|██████████████████████████████████████████████▍ | 407/947 [1:21:42<4:01:19, 26.81s/it] 43%|██████████████████████████████████████████████▌ | 408/947 [1:21:52<3:15:24, 21.75s/it] 43%|██████████████████████████████████████████████▋ | 409/947 [1:22:02<2:42:40, 18.14s/it] 43%|██████████████████████████████████████████████▊ | 410/947 [1:22:11<2:19:45, 15.61s/it] {'loss': 1.1001, 'grad_norm': 0.38086214661598206, 'learning_rate': 1.401339947559889e-05, 'epoch': 0.43}
43%|██████████████████████████████████████████████▊ | 410/947 [1:22:11<2:19:45, 15.61s/it] 43%|██████████████████████████████████████████████▊ | 411/947 [1:22:21<2:03:39, 13.84s/it] 44%|██████████████████████████████████████████████▉ | 412/947 [1:22:31<1:52:22, 12.60s/it] 44%|███████████████████████████████████████████████ | 413/947 [1:22:40<1:44:24, 11.73s/it] 44%|███████████████████████████████████████████████▏ | 414/947 [1:22:50<1:38:49, 11.12s/it] 44%|███████████████████████████████████████████████▎ | 415/947 [1:23:00<1:34:47, 10.69s/it] 44%|███████████████████████████████████████████████▍ | 416/947 [1:23:09<1:31:56, 10.39s/it] 44%|███████████████████████████████████████████████▌ | 417/947 [1:23:19<1:30:09, 10.21s/it] 44%|███████████████████████████████████████████████▋ | 418/947 [1:23:29<1:28:32, 10.04s/it] 44%|███████████████████████████████████████████████▊ | 419/947 [1:23:39<1:27:18, 9.92s/it] 44%|███████████████████████████████████████████████▉ | 420/947 [1:23:48<1:26:26, 9.84s/it] {'loss': 1.085, 'grad_norm': 0.42641252279281616, 'learning_rate': 1.367301597664757e-05, 'epoch': 0.44}
44%|███████████████████████████████████████████████▉ | 420/947 [1:23:48<1:26:26, 9.84s/it] 44%|████████████████████████████████████████████████ | 421/947 [1:23:58<1:25:48, 9.79s/it] 45%|████████████████████████████████████████████████▏ | 422/947 [1:24:08<1:25:16, 9.75s/it] 45%|████████████████████████████████████████████████▏ | 423/947 [1:24:17<1:24:50, 9.72s/it] 45%|████████████████████████████████████████████████▎ | 424/947 [1:24:27<1:24:53, 9.74s/it] 45%|████████████████████████████████████████████████▍ | 425/947 [1:24:37<1:24:48, 9.75s/it] 45%|████████████████████████████████████████████████▌ | 426/947 [1:24:46<1:24:18, 9.71s/it] 45%|████████████████████████████████████████████████▋ | 427/947 [1:24:56<1:23:54, 9.68s/it] 45%|████████████████████████████████████████████████▊ | 428/947 [1:25:06<1:23:34, 9.66s/it] 45%|████████████████████████████████████████████████▉ | 429/947 [1:25:15<1:23:15, 9.64s/it] 45%|█████████████████████████████████████████████████ | 430/947 [1:25:25<1:22:59, 9.63s/it] {'loss': 1.0852, 'grad_norm': 0.37229016423225403, 'learning_rate': 1.3327639102885939e-05, 'epoch': 0.45}
45%|█████████████████████████████████████████████████ | 430/947 [1:25:25<1:22:59, 9.63s/it] 46%|█████████████████████████████████████████████████▏ | 431/947 [1:25:34<1:22:43, 9.62s/it] 46%|█████████████████████████████████████████████████▎ | 432/947 [1:25:44<1:22:33, 9.62s/it] 46%|█████████████████████████████████████████████████▍ | 433/947 [1:25:54<1:22:27, 9.63s/it] 46%|█████████████████████████████████████████████████▍ | 434/947 [1:26:03<1:22:29, 9.65s/it] 46%|█████████████████████████████████████████████████▌ | 435/947 [1:26:13<1:22:16, 9.64s/it] 46%|█████████████████████████████████████████████████▋ | 436/947 [1:26:23<1:21:58, 9.62s/it] 46%|█████████████████████████████████████████████████▊ | 437/947 [1:26:32<1:21:43, 9.62s/it] 46%|█████████████████████████████████████████████████▉ | 438/947 [1:26:42<1:21:31, 9.61s/it] 46%|██████████████████████████████████████████████████ | 439/947 [1:26:51<1:21:18, 9.60s/it] 46%|██████████████████████████████████████████████████▏ | 440/947 [1:27:01<1:21:09, 9.60s/it] {'loss': 1.0982, 'grad_norm': 0.38543465733528137, 'learning_rate': 1.2977738385672558e-05, 'epoch': 0.46}
46%|██████████████████████████████████████████████████▏ | 440/947 [1:27:01<1:21:09, 9.60s/it] 47%|██████████████████████████████████████████████████▎ | 441/947 [1:27:11<1:21:16, 9.64s/it] 47%|██████████████████████████████████████████████████▍ | 442/947 [1:27:20<1:20:58, 9.62s/it] 47%|██████████████████████████████████████████████████▌ | 443/947 [1:27:30<1:20:58, 9.64s/it] 47%|██████████████████████████████████████████████████▋ | 444/947 [1:27:40<1:20:47, 9.64s/it] 47%|██████████████████████████████████████████████████▋ | 445/947 [1:27:49<1:20:30, 9.62s/it] 47%|██████████████████████████████████████████████████▊ | 446/947 [1:27:59<1:20:19, 9.62s/it] 47%|██████████████████████████████████████████████████▉ | 447/947 [1:28:08<1:20:06, 9.61s/it] 47%|███████████████████████████████████████████████████ | 448/947 [1:28:18<1:19:52, 9.60s/it] 47%|███████████████████████████████████████████████████▏ | 449/947 [1:28:28<1:19:40, 9.60s/it] 48%|███████████████████████████████████████████████████▎ | 450/947 [1:28:37<1:19:30, 9.60s/it] {'loss': 1.0844, 'grad_norm': 0.36999842524528503, 'learning_rate': 1.2623789506419792e-05, 'epoch': 0.47}
48%|███████████████████████████████████████████████████▎ | 450/947 [1:28:37<1:19:30, 9.60s/it] 48%|███████████████████████████████████████████████████▍ | 451/947 [1:28:47<1:19:22, 9.60s/it] 48%|███████████████████████████████████████████████████▌ | 452/947 [1:28:56<1:19:24, 9.62s/it] 48%|███████████████████████████████████████████████████▋ | 453/947 [1:29:06<1:19:09, 9.62s/it] 48%|███████████████████████████████████████████████████▊ | 454/947 [1:29:16<1:18:56, 9.61s/it] 48%|███████████████████████████████████████████████████▉ | 455/947 [1:29:25<1:18:43, 9.60s/it] 48%|████████████████████████████████████████████████████ | 456/947 [1:29:35<1:18:38, 9.61s/it] 48%|████████████████████████████████████████████████████ | 457/947 [1:29:44<1:18:25, 9.60s/it] 48%|████████████████████████████████████████████████████▏ | 458/947 [1:29:54<1:18:40, 9.65s/it] 48%|████████████████████████████████████████████████████▎ | 459/947 [1:30:04<1:18:20, 9.63s/it] 49%|████████████████████████████████████████████████████▍ | 460/947 [1:30:13<1:18:23, 9.66s/it] {'loss': 1.0838, 'grad_norm': 0.3730550706386566, 'learning_rate': 1.2266273649916669e-05, 'epoch': 0.49}
49%|████████████████████████████████████████████████████▍ | 460/947 [1:30:14<1:18:23, 9.66s/it] 49%|████████████████████████████████████████████████████▌ | 461/947 [1:30:23<1:18:03, 9.64s/it] 49%|████████████████████████████████████████████████████▋ | 462/947 [1:30:33<1:17:45, 9.62s/it] 49%|████████████████████████████████████████████████████▊ | 463/947 [1:30:42<1:17:30, 9.61s/it] 49%|████████████████████████████████████████████████████▉ | 464/947 [1:30:52<1:17:19, 9.61s/it] 49%|█████████████████████████████████████████████████████ | 465/947 [1:31:01<1:17:05, 9.60s/it] 49%|█████████████████████████████████████████████████████▏ | 466/947 [1:31:11<1:16:55, 9.60s/it] 49%|█████████████████████████████████████████████████████▎ | 467/947 [1:31:21<1:16:49, 9.60s/it] 49%|█████████████████████████████████████████████████████▎ | 468/947 [1:31:30<1:16:40, 9.60s/it] 50%|█████████████████████████████████████████████████████▍ | 469/947 [1:31:40<1:16:28, 9.60s/it] 50%|█████████████████████████████████████████████████████▌ | 470/947 [1:31:49<1:16:14, 9.59s/it] {'loss': 1.076, 'grad_norm': 0.35631632804870605, 'learning_rate': 1.190567685016998e-05, 'epoch': 0.5}
50%|█████████████████████████████████████████████████████▌ | 470/947 [1:31:49<1:16:14, 9.59s/it] 50%|█████████████████████████████████████████████████████▋ | 471/947 [1:31:59<1:16:07, 9.59s/it] 50%|█████████████████████████████████████████████████████▊ | 472/947 [1:32:09<1:15:53, 9.59s/it] 50%|█████████████████████████████████████████████████████▉ | 473/947 [1:32:18<1:15:40, 9.58s/it] 50%|██████████████████████████████████████████████████████ | 474/947 [1:32:28<1:15:32, 9.58s/it] 50%|██████████████████████████████████████████████████████▏ | 475/947 [1:32:37<1:15:41, 9.62s/it] 50%|██████████████████████████████████████████████████████▎ | 476/947 [1:32:47<1:15:23, 9.60s/it] 50%|██████████████████████████████████████████████████████▍ | 477/947 [1:32:57<1:15:35, 9.65s/it] 50%|██████████████████████████████████████████████████████▌ | 478/947 [1:33:06<1:15:23, 9.65s/it] 51%|██████████████████████████████████████████████████████▋ | 479/947 [1:33:16<1:15:07, 9.63s/it] 51%|██████████████████████████████████████████████████████▋ | 480/947 [1:33:26<1:14:51, 9.62s/it] {'loss': 1.0831, 'grad_norm': 0.3838544487953186, 'learning_rate': 1.1542489329653024e-05, 'epoch': 0.51}
51%|██████████████████████████████████████████████████████▋ | 480/947 [1:33:26<1:14:51, 9.62s/it] 51%|██████████████████████████████████████████████████████▊ | 481/947 [1:33:35<1:14:41, 9.62s/it] 51%|██████████████████████████████████████████████████████▉ | 482/947 [1:33:45<1:14:27, 9.61s/it] 51%|███████████████████████████████████████████████████████ | 483/947 [1:33:54<1:14:14, 9.60s/it] 51%|███████████████████████████████████████████████████████▏ | 484/947 [1:34:04<1:14:04, 9.60s/it] 51%|███████████████████████████████████████████████████████▎ | 485/947 [1:34:14<1:13:53, 9.60s/it] 51%|███████████████████████████████████████████████████████▍ | 486/947 [1:34:23<1:13:39, 9.59s/it] 51%|███████████████████████████████████████████████████████▌ | 487/947 [1:34:33<1:13:28, 9.58s/it] 52%|███████████████████████████████████████████████████████▋ | 488/947 [1:34:42<1:13:15, 9.58s/it] 52%|███████████████████████████████████████████████████████▊ | 489/947 [1:34:52<1:13:04, 9.57s/it] 52%|███████████████████████████████████████████████████████▉ | 490/947 [1:35:01<1:12:57, 9.58s/it] {'loss': 1.0813, 'grad_norm': 0.40018004179000854, 'learning_rate': 1.1177204832860214e-05, 'epoch': 0.52}
52%|███████████████████████████████████████████████████████▉ | 490/947 [1:35:01<1:12:57, 9.58s/it] 52%|███████████████████████████████████████████████████████▉ | 491/947 [1:35:11<1:12:49, 9.58s/it] 52%|████████████████████████████████████████████████████████ | 492/947 [1:35:21<1:13:01, 9.63s/it] 52%|████████████████████████████████████████████████████████▏ | 493/947 [1:35:30<1:12:43, 9.61s/it] 52%|████████████████████████████████████████████████████████▎ | 494/947 [1:35:40<1:12:42, 9.63s/it] 52%|████████████████████████████████████████████████████████▍ | 495/947 [1:35:50<1:12:26, 9.62s/it] 52%|████████████████████████████████████████████████████████▌ | 496/947 [1:35:59<1:12:11, 9.61s/it] 52%|████████████████████████████████████████████████████████▋ | 497/947 [1:36:09<1:11:59, 9.60s/it] 53%|████████████████████████████████████████████████████████▊ | 498/947 [1:36:18<1:11:48, 9.60s/it] 53%|████████████████████████████████████████████████████████▉ | 499/947 [1:36:28<1:11:36, 9.59s/it] 53%|█████████████████████████████████████████████████████████ | 500/947 [1:36:37<1:11:24, 9.59s/it] {'loss': 1.0909, 'grad_norm': 0.3892735540866852, 'learning_rate': 1.08103199550736e-05, 'epoch': 0.53}
53%|█████████████████████████████████████████████████████████ | 500/947 [1:36:37<1:11:24, 9.59s/it] 53%|█████████████████████████████████████████████████████████▏ | 501/947 [1:36:47<1:11:17, 9.59s/it] 53%|█████████████████████████████████████████████████████████▎ | 502/947 [1:36:57<1:11:05, 9.58s/it] 53%|█████████████████████████████████████████████████████████▎ | 503/947 [1:37:06<1:10:55, 9.59s/it] 53%|█████████████████████████████████████████████████████████▍ | 504/947 [1:37:16<1:10:47, 9.59s/it] 53%|█████████████████████████████████████████████████████████▌ | 505/947 [1:37:25<1:10:40, 9.59s/it] 53%|█████████████████████████████████████████████████████████▋ | 506/947 [1:37:35<1:10:32, 9.60s/it] 54%|█████████████████████████████████████████████████████████▊ | 507/947 [1:37:45<1:10:22, 9.60s/it] 54%|█████████████████████████████████████████████████████████▉ | 508/947 [1:37:54<1:10:13, 9.60s/it] 54%|██████████████████████████████████████████████████████████ | 509/947 [1:38:04<1:10:21, 9.64s/it] 54%|██████████████████████████████████████████████████████████▏ | 510/947 [1:38:14<1:10:05, 9.62s/it] {'loss': 1.0827, 'grad_norm': 0.42785775661468506, 'learning_rate': 1.044233346725379e-05, 'epoch': 0.54}
54%|██████████████████████████████████████████████████████████▏ | 510/947 [1:38:14<1:10:05, 9.62s/it] 54%|██████████████████████████████████████████████████████████▎ | 511/947 [1:38:23<1:10:07, 9.65s/it] 54%|██████████████████████████████████████████████████████████▍ | 512/947 [1:38:33<1:09:51, 9.64s/it] 54%|██████████████████████████████████████████████████████████▌ | 513/947 [1:38:42<1:09:35, 9.62s/it] 54%|██████████████████████████████████████████████████████████▌ | 514/947 [1:38:52<1:09:19, 9.61s/it] 54%|██████████████████████████████████████████████████████████▋ | 515/947 [1:39:02<1:09:04, 9.59s/it] 54%|██████████████████████████████████████████████████████████▊ | 516/947 [1:39:11<1:08:53, 9.59s/it] 55%|██████████████████████████████████████████████████████████▉ | 517/947 [1:39:21<1:08:38, 9.58s/it] 55%|███████████████████████████████████████████████████████████ | 518/947 [1:39:30<1:08:32, 9.59s/it] 55%|███████████████████████████████████████████████████████████▏ | 519/947 [1:39:40<1:08:22, 9.59s/it] 55%|███████████████████████████████████████████████████████████▎ | 520/947 [1:39:49<1:08:16, 9.59s/it] {'loss': 1.0896, 'grad_norm': 0.37400808930397034, 'learning_rate': 1.0073745637973125e-05, 'epoch': 0.55}
55%|███████████████████████████████████████████████████████████▎ | 520/947 [1:39:50<1:08:16, 9.59s/it] 55%|███████████████████████████████████████████████████████████▍ | 521/947 [1:39:59<1:08:05, 9.59s/it] 55%|███████████████████████████████████████████████████████████▌ | 522/947 [1:40:09<1:07:55, 9.59s/it] 55%|███████████████████████████████████████████████████████████▋ | 523/947 [1:40:18<1:07:41, 9.58s/it] 55%|███████████████████████████████████████████████████████████▊ | 524/947 [1:40:28<1:07:28, 9.57s/it] 55%|███████████████████████████████████████████████████████████▊ | 525/947 [1:40:37<1:07:17, 9.57s/it] 56%|███████████████████████████████████████████████████████████▉ | 526/947 [1:40:47<1:07:26, 9.61s/it] 56%|████████████████████████████████████████████████████████████ | 527/947 [1:40:57<1:07:09, 9.59s/it] 56%|████████████████████████████████████████████████████████████▏ | 528/947 [1:41:06<1:07:14, 9.63s/it] 56%|████████████████████████████████████████████████████████████▎ | 529/947 [1:41:16<1:06:58, 9.61s/it] 56%|████████████████████████████████████████████████████████████▍ | 530/947 [1:41:25<1:06:42, 9.60s/it] {'loss': 1.0847, 'grad_norm': 0.38293296098709106, 'learning_rate': 9.705057553312857e-06, 'epoch': 0.56}
56%|████████████████████████████████████████████████████████████▍ | 530/947 [1:41:25<1:06:42, 9.60s/it] 56%|████████████████████████████████████████████████████████████▌ | 531/947 [1:41:35<1:06:31, 9.60s/it] 56%|████████████████████████████████████████████████████████████▋ | 532/947 [1:41:45<1:06:20, 9.59s/it] 56%|████████████████████████████████████████████████████████████▊ | 533/947 [1:41:54<1:06:08, 9.58s/it] 56%|████████████████████████████████████████████████████████████▉ | 534/947 [1:42:04<1:05:57, 9.58s/it] 56%|█████████████████████████████████████████████████████████████ | 535/947 [1:42:13<1:05:51, 9.59s/it] 57%|█████████████████████████████████████████████████████████████▏ | 536/947 [1:42:23<1:05:40, 9.59s/it] 57%|█████████████████████████████████████████████████████████████▏ | 537/947 [1:42:33<1:05:32, 9.59s/it] 57%|█████████████████████████████████████████████████████████████▎ | 538/947 [1:42:42<1:05:19, 9.58s/it] 57%|█████████████████████████████████████████████████████████████▍ | 539/947 [1:42:52<1:05:08, 9.58s/it] 57%|█████████████████████████████████████████████████████████████▌ | 540/947 [1:43:01<1:04:57, 9.58s/it] {'loss': 1.0833, 'grad_norm': 0.39219433069229126, 'learning_rate': 9.336770435648963e-06, 'epoch': 0.57}
57%|█████████████████████████████████████████████████████████████▌ | 540/947 [1:43:01<1:04:57, 9.58s/it] 57%|█████████████████████████████████████████████████████████████▋ | 541/947 [1:43:11<1:04:45, 9.57s/it] 57%|█████████████████████████████████████████████████████████████▊ | 542/947 [1:43:20<1:04:35, 9.57s/it] 57%|█████████████████████████████████████████████████████████████▉ | 543/947 [1:43:30<1:04:47, 9.62s/it] 57%|██████████████████████████████████████████████████████████████ | 544/947 [1:43:40<1:04:31, 9.61s/it] 58%|██████████████████████████████████████████████████████████████▏ | 545/947 [1:43:49<1:04:34, 9.64s/it] 58%|██████████████████████████████████████████████████████████████▎ | 546/947 [1:43:59<1:04:17, 9.62s/it] 58%|██████████████████████████████████████████████████████████████▍ | 547/947 [1:44:09<1:04:03, 9.61s/it] 58%|██████████████████████████████████████████████████████████████▍ | 548/947 [1:44:18<1:03:49, 9.60s/it] 58%|██████████████████████████████████████████████████████████████▌ | 549/947 [1:44:28<1:03:38, 9.59s/it] 58%|██████████████████████████████████████████████████████████████▋ | 550/947 [1:44:37<1:03:28, 9.59s/it] {'loss': 1.0823, 'grad_norm': 0.3722192645072937, 'learning_rate': 8.969384962252646e-06, 'epoch': 0.58}
58%|██████████████████████████████████████████████████████████████▋ | 550/947 [1:44:37<1:03:28, 9.59s/it] 58%|██████████████████████████████████████████████████████████████▊ | 551/947 [1:44:47<1:03:15, 9.59s/it] 58%|██████████████████████████████████████████████████████████████▉ | 552/947 [1:44:56<1:03:07, 9.59s/it] 58%|███████████████████████████████████████████████████████████████ | 553/947 [1:45:06<1:02:54, 9.58s/it] 59%|███████████████████████████████████████████████████████████████▏ | 554/947 [1:45:16<1:02:47, 9.59s/it] 59%|███████████████████████████████████████████████████████████████▎ | 555/947 [1:45:25<1:02:33, 9.57s/it] 59%|███████████████████████████████████████████████████████████████▍ | 556/947 [1:45:35<1:02:21, 9.57s/it] 59%|███████████████████████████████████████████████████████████████▌ | 557/947 [1:45:44<1:02:13, 9.57s/it] 59%|███████████████████████████████████████████████████████████████▋ | 558/947 [1:45:54<1:02:02, 9.57s/it] 59%|███████████████████████████████████████████████████████████████▊ | 559/947 [1:46:03<1:01:57, 9.58s/it] 59%|███████████████████████████████████████████████████████████████▊ | 560/947 [1:46:13<1:02:06, 9.63s/it] {'loss': 1.0733, 'grad_norm': 0.4041948914527893, 'learning_rate': 8.60340058463194e-06, 'epoch': 0.59}
59%|███████████████████████████████████████████████████████████████▊ | 560/947 [1:46:13<1:02:06, 9.63s/it] 59%|███████████████████████████████████████████████████████████████▉ | 561/947 [1:46:23<1:01:49, 9.61s/it] 59%|████████████████████████████████████████████████████████████████ | 562/947 [1:46:33<1:01:51, 9.64s/it] 59%|████████████████████████████████████████████████████████████████▏ | 563/947 [1:46:42<1:01:32, 9.61s/it] 60%|████████████████████████████████████████████████████████████████▎ | 564/947 [1:46:52<1:01:18, 9.60s/it] 60%|████████████████████████████████████████████████████████████████▍ | 565/947 [1:47:01<1:01:05, 9.60s/it] 60%|████████████████████████████████████████████████████████████████▌ | 566/947 [1:47:11<1:00:53, 9.59s/it] 60%|████████████████████████████████████████████████████████████████▋ | 567/947 [1:47:20<1:00:42, 9.59s/it] 60%|████████████████████████████████████████████████████████████████▊ | 568/947 [1:47:30<1:00:33, 9.59s/it] 60%|████████████████████████████████████████████████████████████████▉ | 569/947 [1:47:40<1:00:23, 9.59s/it] 60%|█████████████████████████████████████████████████████████████████ | 570/947 [1:47:49<1:00:14, 9.59s/it] {'loss': 1.0618, 'grad_norm': 0.36892595887184143, 'learning_rate': 8.239314849539639e-06, 'epoch': 0.6}
60%|█████████████████████████████████████████████████████████████████ | 570/947 [1:47:49<1:00:14, 9.59s/it] 60%|█████████████████████████████████████████████████████████████████ | 571/947 [1:47:59<1:00:07, 9.59s/it] 60%|█████████████████████████████████████████████████████████████████▏ | 572/947 [1:48:08<1:00:00, 9.60s/it] 61%|██████████████████████████████████████████████████████████████████▌ | 573/947 [1:48:18<59:51, 9.60s/it] 61%|██████████████████████████████████████████████████████████████████▋ | 574/947 [1:48:28<59:39, 9.60s/it] 61%|██████████████████████████████████████████████████████████████████▊ | 575/947 [1:48:37<59:27, 9.59s/it] 61%|██████████████████████████████████████████████████████████████████▉ | 576/947 [1:48:47<59:19, 9.59s/it] 61%|███████████████████████████████████████████████████████████████████ | 577/947 [1:48:56<59:26, 9.64s/it] 61%|███████████████████████████████████████████████████████████████████▏ | 578/947 [1:49:06<59:14, 9.63s/it] 61%|███████████████████████████████████████████████████████████████████▎ | 579/947 [1:49:16<59:14, 9.66s/it] 61%|███████████████████████████████████████████████████████████████████▎ | 580/947 [1:49:25<58:56, 9.64s/it] {'loss': 1.0896, 'grad_norm': 0.3803699314594269, 'learning_rate': 7.877622722570772e-06, 'epoch': 0.61}
61%|███████████████████████████████████████████████████████████████████▎ | 580/947 [1:49:25<58:56, 9.64s/it] 61%|███████████████████████████████████████████████████████████████████▍ | 581/947 [1:49:35<58:42, 9.62s/it] 61%|███████████████████████████████████████████████████████████████████▌ | 582/947 [1:49:45<58:27, 9.61s/it] 62%|███████████████████████████████████████████████████████████████████▋ | 583/947 [1:49:54<58:15, 9.60s/it] 62%|███████████████████████████████████████████████████████████████████▊ | 584/947 [1:50:04<58:02, 9.59s/it] 62%|███████████████████████████████████████████████████████████████████▉ | 585/947 [1:50:13<57:52, 9.59s/it] 62%|████████████████████████████████████████████████████████████████████ | 586/947 [1:50:23<57:44, 9.60s/it] 62%|████████████████████████████████████████████████████████████████████▏ | 587/947 [1:50:33<57:34, 9.60s/it] 62%|████████████████████████████████████████████████████████████████████▎ | 588/947 [1:50:42<57:23, 9.59s/it] 62%|████████████████████████████████████████████████████████████████████▍ | 589/947 [1:50:52<57:15, 9.60s/it] 62%|████████████████████████████████████████████████████████████████████▌ | 590/947 [1:51:01<57:06, 9.60s/it] {'loss': 1.0819, 'grad_norm': 0.3644523620605469, 'learning_rate': 7.518815915269025e-06, 'epoch': 0.62}
62%|████████████████████████████████████████████████████████████████████▌ | 590/947 [1:51:01<57:06, 9.60s/it] 62%|████████████████████████████████████████████████████████████████████▋ | 591/947 [1:51:11<56:57, 9.60s/it] 63%|████████████████████████████████████████████████████████████████████▊ | 592/947 [1:51:20<56:45, 9.59s/it] 63%|████████████████████████████████████████████████████████████████████▉ | 593/947 [1:51:30<56:37, 9.60s/it] 63%|████████████████████████████████████████████████████████████████████▉ | 594/947 [1:51:40<56:49, 9.66s/it] 63%|█████████████████████████████████████████████████████████████████████ | 595/947 [1:51:50<56:36, 9.65s/it] 63%|█████████████████████████████████████████████████████████████████████▏ | 596/947 [1:51:59<56:37, 9.68s/it] 63%|█████████████████████████████████████████████████████████████████████▎ | 597/947 [1:52:09<56:19, 9.66s/it] 63%|█████████████████████████████████████████████████████████████████████▍ | 598/947 [1:52:18<56:02, 9.64s/it] 63%|█████████████████████████████████████████████████████████████████████▌ | 599/947 [1:52:28<55:47, 9.62s/it] 63%|█████████████████████████████████████████████████████████████████████▋ | 600/947 [1:52:38<55:41, 9.63s/it] {'loss': 1.0886, 'grad_norm': 0.3542793095111847, 'learning_rate': 7.163382216657033e-06, 'epoch': 0.63}
63%|█████████████████████████████████████████████████████████████████████▋ | 600/947 [1:52:38<55:41, 9.63s/it][INFO|trainer.py:4307] 2026-04-20 15:19:06,240 >>
***** Running Evaluation *****
[INFO|trainer.py:4309] 2026-04-20 15:19:06,240 >> Num examples = 13417
[INFO|trainer.py:4312] 2026-04-20 15:19:06,240 >> Batch size = 16
0%| | 0/210 [00:00<?, ?it/s]
1%|█ | 2/210 [00:01<02:13, 1.56it/s]
1%|█▋ | 3/210 [00:02<03:07, 1.10it/s]
2%|██▏ | 4/210 [00:03<03:35, 1.04s/it]
2%|██▋ | 5/210 [00:05<03:50, 1.12s/it]
3%|███▎ | 6/210 [00:06<04:00, 1.18s/it]
3%|███▊ | 7/210 [00:07<04:05, 1.21s/it]
4%|████▎ | 8/210 [00:08<04:09, 1.23s/it]
4%|████▉ | 9/210 [00:10<04:10, 1.25s/it]
5%|█████▍ | 10/210 [00:11<04:11, 1.26s/it]
5%|█████▉ | 11/210 [00:12<04:11, 1.27s/it]
6%|██████▍ | 12/210 [00:14<04:11, 1.27s/it]
6%|██████▉ | 13/210 [00:15<04:10, 1.27s/it]
7%|███████▌ | 14/210 [00:16<04:09, 1.28s/it]
7%|████████ | 15/210 [00:17<04:09, 1.28s/it]
8%|████████▌ | 16/210 [00:19<04:07, 1.28s/it]
8%|█████████▏ | 17/210 [00:20<04:06, 1.28s/it]
9%|█████████▋ | 18/210 [00:21<04:06, 1.28s/it]
9%|██████████▏ | 19/210 [00:23<04:05, 1.28s/it]
10%|██████████▊ | 20/210 [00:24<04:03, 1.28s/it]
10%|███████████▎ | 21/210 [00:25<04:02, 1.28s/it]
10%|███████████▊ | 22/210 [00:26<04:00, 1.28s/it]
11%|████████████▍ | 23/210 [00:28<03:59, 1.28s/it]
11%|████████████▉ | 24/210 [00:29<03:58, 1.28s/it]
12%|█████████████▍ | 25/210 [00:30<03:56, 1.28s/it]
12%|█████████████▉ | 26/210 [00:32<03:55, 1.28s/it]
13%|██████████████▌ | 27/210 [00:33<03:54, 1.28s/it]
13%|███████████████ | 28/210 [00:34<03:53, 1.28s/it]
14%|███████████████▌ | 29/210 [00:35<03:51, 1.28s/it]
14%|████████████████▏ | 30/210 [00:37<03:50, 1.28s/it]
15%|████████████████▋ | 31/210 [00:38<03:49, 1.28s/it]
15%|█████████████████▏ | 32/210 [00:39<03:47, 1.28s/it]
16%|█████████████████▊ | 33/210 [00:40<03:46, 1.28s/it]
16%|██████████████████▎ | 34/210 [00:42<03:45, 1.28s/it]
17%|██████████████████▊ | 35/210 [00:43<03:43, 1.28s/it]
17%|███████████████████▎ | 36/210 [00:44<03:42, 1.28s/it]
18%|███████████████████▉ | 37/210 [00:46<03:41, 1.28s/it]
18%|████████████████████▍ | 38/210 [00:47<03:39, 1.28s/it]
19%|████████████████████▉ | 39/210 [00:48<03:38, 1.28s/it]
19%|█████████████████████▌ | 40/210 [00:49<03:37, 1.28s/it]
20%|██████████████████████ | 41/210 [00:51<03:36, 1.28s/it]
20%|██████████████████████▌ | 42/210 [00:52<03:35, 1.28s/it]
20%|███████████████████████▏ | 43/210 [00:53<03:33, 1.28s/it]
21%|███████████████████████▋ | 44/210 [00:55<03:32, 1.28s/it]
21%|████████████████████████▏ | 45/210 [00:56<03:31, 1.28s/it]
22%|████████████████████████▊ | 46/210 [00:57<03:29, 1.28s/it]
22%|█████████████████████████▎ | 47/210 [00:58<03:28, 1.28s/it]
23%|█████████████████████████▊ | 48/210 [01:00<03:27, 1.28s/it]
23%|██████████████████████████▎ | 49/210 [01:01<03:26, 1.28s/it]
24%|██████████████████████████▉ | 50/210 [01:02<03:24, 1.28s/it]
24%|███████████████████████████▍ | 51/210 [01:04<03:23, 1.28s/it]
25%|███████████████████████████▉ | 52/210 [01:05<03:22, 1.28s/it]
25%|████████████████████████████▌ | 53/210 [01:06<03:21, 1.28s/it]
26%|█████████████████████████████ | 54/210 [01:07<03:19, 1.28s/it]
26%|█████████████████████████████▌ | 55/210 [01:09<03:18, 1.28s/it]
27%|██████████████████████████████▏ | 56/210 [01:10<03:17, 1.28s/it]
27%|██████████████████████████████▋ | 57/210 [01:11<03:15, 1.28s/it]
28%|███████████████████████████████▏ | 58/210 [01:12<03:14, 1.28s/it]
28%|███████████████████████████████▋ | 59/210 [01:14<03:13, 1.28s/it]
29%|████████████████████████████████▎ | 60/210 [01:15<03:12, 1.28s/it]
29%|████████████████████████████████▊ | 61/210 [01:16<03:10, 1.28s/it]
30%|█████████████████████████████████▎ | 62/210 [01:18<03:09, 1.28s/it]
30%|█████████████████████████████████▉ | 63/210 [01:19<03:08, 1.28s/it]
30%|██████████████████████████████████▍ | 64/210 [01:20<03:07, 1.28s/it]
31%|██████████████████████████████████▉ | 65/210 [01:21<03:05, 1.28s/it]
31%|███████████████████████████████████▌ | 66/210 [01:23<03:04, 1.28s/it]
32%|████████████████████████████████████ | 67/210 [01:24<03:03, 1.28s/it]
32%|████████████████████████████████████▌ | 68/210 [01:25<03:01, 1.28s/it]
33%|█████████████████████████████████████▏ | 69/210 [01:27<03:00, 1.28s/it]
33%|█████████████████████████████████████▋ | 70/210 [01:28<02:59, 1.28s/it]
34%|██████████████████████████████████████▏ | 71/210 [01:29<02:58, 1.28s/it]
34%|██████████████████████████████████████▋ | 72/210 [01:30<02:56, 1.28s/it]
35%|███████████████████████████████████████▎ | 73/210 [01:32<02:55, 1.28s/it]
35%|███████████████████████████████████████▊ | 74/210 [01:33<02:54, 1.28s/it]
36%|████████████████████████████████████████▎ | 75/210 [01:34<02:52, 1.28s/it]
36%|████████████████████████████████████████▉ | 76/210 [01:36<02:51, 1.28s/it]
37%|█████████████████████████████████████████▍ | 77/210 [01:37<02:50, 1.28s/it]
37%|█████████████████████████████████████████▉ | 78/210 [01:38<02:49, 1.28s/it]
38%|██████████████████████████████████████████▌ | 79/210 [01:39<02:47, 1.28s/it]
38%|███████████████████████████████████████████ | 80/210 [01:41<02:46, 1.28s/it]
39%|███████████████████████████████████████████▌ | 81/210 [01:42<02:45, 1.28s/it]
39%|████████████████████████████████████████████ | 82/210 [01:43<02:43, 1.28s/it]
40%|████████████████████████████████████████████▋ | 83/210 [01:45<02:42, 1.28s/it]
40%|█████████████████████████████████████████████▏ | 84/210 [01:46<02:41, 1.28s/it]
40%|█████████████████████████████████████████████▋ | 85/210 [01:47<02:39, 1.28s/it]
41%|██████████████████████████████████████████████▎ | 86/210 [01:48<02:38, 1.28s/it]
41%|██████████████████████████████████████████████▊ | 87/210 [01:50<02:37, 1.28s/it]
42%|███████████████████████████████████████████████▎ | 88/210 [01:51<02:36, 1.28s/it]
42%|███████████████████████████████████████████████▉ | 89/210 [01:52<02:34, 1.28s/it]
43%|████████████████████████████████████████████████▍ | 90/210 [01:53<02:33, 1.28s/it]
43%|████████████████████████████████████████████████▉ | 91/210 [01:55<02:32, 1.28s/it]
44%|█████████████████████████████████████████████████▌ | 92/210 [01:56<02:30, 1.28s/it]
44%|██████████████████████████████████████████████████ | 93/210 [01:57<02:29, 1.28s/it]
45%|██████████████████████████████████████████████████▌ | 94/210 [01:59<02:28, 1.28s/it]
45%|███████████████████████████████████████████████████ | 95/210 [02:00<02:27, 1.28s/it]
46%|███████████████████████████████████████████████████▋ | 96/210 [02:01<02:25, 1.28s/it]
46%|████████████████████████████████████████████████████▏ | 97/210 [02:02<02:24, 1.28s/it]
47%|████████████████████████████████████████████████████▋ | 98/210 [02:04<02:23, 1.28s/it]
47%|█████████████████████████████████████████████████████▎ | 99/210 [02:05<02:22, 1.28s/it]
48%|█████████████████████████████████████████████████████▎ | 100/210 [02:06<02:20, 1.28s/it]
48%|█████████████████████████████████████████████████████▊ | 101/210 [02:08<02:19, 1.28s/it]
49%|██████████████████████████████████████████████████████▍ | 102/210 [02:09<02:18, 1.28s/it]
49%|██████████████████████████████████████████████████████▉ | 103/210 [02:10<02:16, 1.28s/it]
50%|███████████████████████████████████████████████████████▍ | 104/210 [02:11<02:15, 1.28s/it]
50%|████████████████████████████████████████████████████████ | 105/210 [02:13<02:14, 1.28s/it]
50%|████████████████████████████████████████████████████████▌ | 106/210 [02:14<02:13, 1.28s/it]
51%|█████████████████████████████████████████████████████████ | 107/210 [02:15<02:11, 1.28s/it]
51%|█████████████████████████████████████████████████████████▌ | 108/210 [02:17<02:10, 1.28s/it]
52%|██████████████████████████████████████████████████████████▏ | 109/210 [02:18<02:09, 1.28s/it]
52%|██████████████████████████████████████████████████████████▋ | 110/210 [02:19<02:08, 1.28s/it]
53%|███████████████████████████████████████████████████████████▏ | 111/210 [02:20<02:06, 1.28s/it]
53%|███████████████████████████████████████████████████████████▋ | 112/210 [02:22<02:05, 1.28s/it]
54%|████████████████████████████████████████████████████████████▎ | 113/210 [02:23<02:04, 1.28s/it]
54%|████████████████████████████████████████████████████████████▊ | 114/210 [02:24<02:03, 1.28s/it]
55%|█████████████████████████████████████████████████████████████▎ | 115/210 [02:25<02:01, 1.28s/it]
55%|█████████████████████████████████████████████████████████████▊ | 116/210 [02:27<02:00, 1.28s/it]
56%|██████████████████████████████████████████████████████████████▍ | 117/210 [02:28<01:59, 1.28s/it]
56%|██████████████████████████████████████████████████████████████▉ | 118/210 [02:29<01:57, 1.28s/it]
57%|███████████████████████████████████████████████████████████████▍ | 119/210 [02:31<01:56, 1.28s/it]
57%|████████████████████████████████████████████████████████████████ | 120/210 [02:32<01:55, 1.28s/it]
58%|████████████████████████████████████████████████████████████████▌ | 121/210 [02:33<01:53, 1.28s/it]
58%|█████████████████████████████████████████████████████████████████ | 122/210 [02:34<01:52, 1.28s/it]
59%|█████████████████████████████████████████████████████████████████▌ | 123/210 [02:36<01:51, 1.28s/it]
59%|██████████████████████████████████████████████████████████████████▏ | 124/210 [02:37<01:50, 1.28s/it]
60%|██████████████████████████████████████████████████████████████████▋ | 125/210 [02:38<01:48, 1.28s/it]
60%|███████████████████████████████████████████████████████████████████▏ | 126/210 [02:40<01:47, 1.28s/it]
60%|███████████████████████████████████████████████████████████████████▋ | 127/210 [02:41<01:46, 1.28s/it]
61%|████████████████████████████████████████████████████████████████████▎ | 128/210 [02:42<01:44, 1.28s/it]
61%|████████████████████████████████████████████████████████████████████▊ | 129/210 [02:43<01:43, 1.28s/it]
62%|█████████████████████████████████████████████████████████████████████▎ | 130/210 [02:45<01:42, 1.28s/it]
62%|█████████████████████████████████████████████████████████████████████▊ | 131/210 [02:46<01:41, 1.28s/it]
63%|██████████████████████████████████████████████████████████████████████▍ | 132/210 [02:47<01:39, 1.28s/it]
63%|██████████████████████████████████████████████████████████████████████▉ | 133/210 [02:49<01:38, 1.28s/it]
64%|███████████████████████████████████████████████████████████████████████▍ | 134/210 [02:50<01:37, 1.28s/it]
64%|████████████████████████████████████████████████████████████████████████ | 135/210 [02:51<01:36, 1.28s/it]
65%|████████████████████████████████████████████████████████████████████████▌ | 136/210 [02:52<01:34, 1.28s/it]
65%|█████████████████████████████████████████████████████████████████████████ | 137/210 [02:54<01:33, 1.28s/it]
66%|█████████████████████████████████████████████████████████████████████████▌ | 138/210 [02:55<01:32, 1.28s/it]
66%|██████████████████████████████████████████████████████████████████████████▏ | 139/210 [02:56<01:30, 1.28s/it]
67%|██████████████████████████████████████████████████████████████████████████▋ | 140/210 [02:57<01:29, 1.28s/it]
67%|███████████████████████████████████████████████████████████████████████████▏ | 141/210 [02:59<01:28, 1.28s/it]
68%|███████████████████████████████████████████████████████████████████████████▋ | 142/210 [03:00<01:27, 1.28s/it]
68%|████████████████████████████████████████████████████████████████████████████▎ | 143/210 [03:01<01:25, 1.28s/it]
69%|████████████████████████████████████████████████████████████████████████████▊ | 144/210 [03:03<01:24, 1.28s/it]
69%|█████████████████████████████████████████████████████████████████████████████▎ | 145/210 [03:04<01:23, 1.28s/it]
70%|█████████████████████████████████████████████████████████████████████████████▊ | 146/210 [03:05<01:21, 1.28s/it]
70%|██████████████████████████████████████████████████████████████████████████████▍ | 147/210 [03:06<01:20, 1.28s/it]
70%|██████████████████████████████████████████████████████████████████████████████▉ | 148/210 [03:08<01:19, 1.28s/it]
71%|███████████████████████████████████████████████████████████████████████████████▍ | 149/210 [03:09<01:18, 1.28s/it]
71%|████████████████████████████████████████████████████████████████████████████████ | 150/210 [03:10<01:16, 1.28s/it]
72%|████████████████████████████████████████████████████████████████████████████████▌ | 151/210 [03:12<01:15, 1.28s/it]
72%|█████████████████████████████████████████████████████████████████████████████████ | 152/210 [03:13<01:14, 1.28s/it]
73%|█████████████████████████████████████████████████████████████████████████████████▌ | 153/210 [03:14<01:12, 1.28s/it]
73%|██████████████████████████████████████████████████████████████████████████████████▏ | 154/210 [03:15<01:11, 1.28s/it]
74%|██████████████████████████████████████████████████████████████████████████████████▋ | 155/210 [03:17<01:10, 1.28s/it]
74%|███████████████████████████████████████████████████████████████████████████████████▏ | 156/210 [03:18<01:09, 1.28s/it]
75%|███████████████████████████████████████████████████████████████████████████████████▋ | 157/210 [03:19<01:07, 1.28s/it]
75%|████████████████████████████████████████████████████████████████████████████████████▎ | 158/210 [03:21<01:06, 1.28s/it]
76%|████████████████████████████████████████████████████████████████████████████████████▊ | 159/210 [03:22<01:05, 1.28s/it]
76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 160/210 [03:23<01:04, 1.28s/it]
77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 161/210 [03:24<01:02, 1.28s/it]
77%|██████████████████████████████████████████████████████████████████████████████████████▍ | 162/210 [03:26<01:01, 1.28s/it]
78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 163/210 [03:27<01:00, 1.28s/it]
78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 164/210 [03:28<00:58, 1.28s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████ | 165/210 [03:29<00:57, 1.28s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 166/210 [03:31<00:56, 1.28s/it]
80%|█████████████████████████████████████████████████████████████████████████████████████████ | 167/210 [03:32<00:54, 1.28s/it]
80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 168/210 [03:33<00:53, 1.28s/it]
80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 169/210 [03:35<00:52, 1.28s/it]
81%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 170/210 [03:36<00:51, 1.28s/it]
81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 171/210 [03:37<00:49, 1.28s/it]
82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 172/210 [03:38<00:48, 1.28s/it]
82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 173/210 [03:40<00:47, 1.28s/it]
83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 174/210 [03:41<00:46, 1.28s/it]
83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 175/210 [03:42<00:44, 1.28s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 176/210 [03:44<00:43, 1.28s/it]
84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 177/210 [03:45<00:42, 1.28s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 178/210 [03:46<00:41, 1.28s/it]
85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 179/210 [03:47<00:39, 1.28s/it]
86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 180/210 [03:49<00:38, 1.28s/it]
86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 181/210 [03:50<00:37, 1.28s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 182/210 [03:51<00:35, 1.28s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 183/210 [03:53<00:34, 1.28s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 184/210 [03:54<00:33, 1.28s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 185/210 [03:55<00:31, 1.28s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 186/210 [03:56<00:30, 1.28s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 187/210 [03:58<00:29, 1.28s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 188/210 [03:59<00:28, 1.28s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 189/210 [04:00<00:26, 1.28s/it]
90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 190/210 [04:01<00:25, 1.28s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 191/210 [04:03<00:24, 1.28s/it]
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 192/210 [04:04<00:23, 1.28s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 193/210 [04:05<00:21, 1.28s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 194/210 [04:07<00:20, 1.28s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 195/210 [04:08<00:19, 1.28s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 196/210 [04:09<00:17, 1.28s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 197/210 [04:10<00:16, 1.28s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 198/210 [04:12<00:15, 1.28s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 199/210 [04:13<00:14, 1.28s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 200/210 [04:14<00:12, 1.28s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 201/210 [04:16<00:11, 1.28s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 202/210 [04:17<00:10, 1.28s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 203/210 [04:18<00:08, 1.28s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 204/210 [04:19<00:07, 1.28s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 205/210 [04:21<00:06, 1.28s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 206/210 [04:22<00:05, 1.28s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 207/210 [04:23<00:03, 1.28s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 208/210 [04:25<00:02, 1.28s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 209/210 [04:26<00:01, 1.28s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 210/210 [04:27<00:00, 1.27s/it]
{'eval_loss': 1.090126872062683, 'eval_runtime': 268.9072, 'eval_samples_per_second': 49.895, 'eval_steps_per_second': 0.781, 'epoch': 0.63}
63%|█████████████████████████████████████████████████████████████████████▋ | 600/947 [1:57:07<55:41, 9.63s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 210/210 [04:27<00:00, 1.27s/it]
[INFO|trainer.py:3984] 2026-04-20 15:23:45,459 >> Saving model checkpoint to /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-600
[INFO|configuration_utils.py:419] 2026-04-20 15:23:45,465 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-600/config.json
[INFO|configuration_utils.py:911] 2026-04-20 15:23:45,469 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-600/generation_config.json
[INFO|modeling_utils.py:3580] 2026-04-20 15:24:24,259 >> The model is bigger than the maximum size per checkpoint (5GB) and is going to be split in 6 checkpoint shards. You can find where each parameters has been saved in the index located at /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-600/model.safetensors.index.json.
[INFO|tokenization_utils_base.py:2510] 2026-04-20 15:24:24,262 >> tokenizer config file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-600/tokenizer_config.json
[INFO|tokenization_utils_base.py:2519] 2026-04-20 15:24:24,265 >> Special tokens file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-600/special_tokens_map.json
[INFO|trainer.py:4083] 2026-04-20 15:27:11,166 >> Deleting older checkpoint [/scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-200] due to args.save_total_limit
63%|███████████████████████████████████████████████████████████████████▎ | 601/947 [2:00:56<15:01:43, 156.37s/it] 64%|███████████████████████████████████████████████████████████████████▍ | 602/947 [2:01:06<10:45:43, 112.30s/it] 64%|████████████████████████████████████████████████████████████████████▊ | 603/947 [2:01:16<7:47:17, 81.50s/it] 64%|████████████████████████████████████████████████████████████████████▉ | 604/947 [2:01:25<5:42:30, 59.92s/it] 64%|████████████████████████████████████████████████████████████████████▉ | 605/947 [2:01:35<4:15:34, 44.84s/it] 64%|█████████████████████████████████████████████████████████████████████ | 606/947 [2:01:44<3:14:42, 34.26s/it] 64%|█████████████████████████████████████████████████████████████████████▏ | 607/947 [2:01:54<2:32:10, 26.85s/it] 64%|█████████████████████████████████████████████████████████████████████▎ | 608/947 [2:02:04<2:02:27, 21.67s/it] 64%|█████████████████████████████████████████████████████████████████████▍ | 609/947 [2:02:13<1:41:42, 18.05s/it] 64%|█████████████████████████████████████████████████████████████████████▌ | 610/947 [2:02:23<1:27:09, 15.52s/it] {'loss': 1.0655, 'grad_norm': 0.3555884063243866, 'learning_rate': 6.811804830099186e-06, 'epoch': 0.64}
64%|█████████████████████████████████████████████████████████████████████▌ | 610/947 [2:02:23<1:27:09, 15.52s/it] 65%|█████████████████████████████████████████████████████████████████████▋ | 611/947 [2:02:32<1:16:59, 13.75s/it] 65%|█████████████████████████████████████████████████████████████████████▊ | 612/947 [2:02:42<1:10:04, 12.55s/it] 65%|█████████████████████████████████████████████████████████████████████▉ | 613/947 [2:02:52<1:05:07, 11.70s/it] 65%|██████████████████████████████████████████████████████████████████████ | 614/947 [2:03:01<1:01:25, 11.07s/it] 65%|███████████████████████████████████████████████████████████████████████▍ | 615/947 [2:03:11<58:49, 10.63s/it] 65%|███████████████████████████████████████████████████████████████████████▌ | 616/947 [2:03:21<57:00, 10.33s/it] 65%|███████████████████████████████████████████████████████████████████████▋ | 617/947 [2:03:30<55:40, 10.12s/it] 65%|███████████████████████████████████████████████████████████████████████▊ | 618/947 [2:03:40<54:39, 9.97s/it] 65%|███████████████████████████████████████████████████████████████████████▉ | 619/947 [2:03:50<53:55, 9.86s/it] 65%|████████████████████████████████████████████████████████████████████████ | 620/947 [2:03:59<53:38, 9.84s/it] {'loss': 1.078, 'grad_norm': 0.3567143380641937, 'learning_rate': 6.464561716398565e-06, 'epoch': 0.65}
65%|████████████████████████████████████████████████████████████████████████ | 620/947 [2:03:59<53:38, 9.84s/it] 66%|████████████████████████████████████████████████████████████████████████▏ | 621/947 [2:04:09<53:09, 9.78s/it] 66%|████████████████████████████████████████████████████████████████████████▏ | 622/947 [2:04:19<52:49, 9.75s/it] 66%|████████████████████████████████████████████████████████████████████████▎ | 623/947 [2:04:28<52:27, 9.72s/it] 66%|████████████████████████████████████████████████████████████████████████▍ | 624/947 [2:04:38<52:07, 9.68s/it] 66%|████████████████████████████████████████████████████████████████████████▌ | 625/947 [2:04:47<51:51, 9.66s/it] 66%|████████████████████████████████████████████████████████████████████████▋ | 626/947 [2:04:57<51:36, 9.65s/it] 66%|████████████████████████████████████████████████████████████████████████▊ | 627/947 [2:05:07<51:25, 9.64s/it] 66%|████████████████████████████████████████████████████████████████████████▉ | 628/947 [2:05:16<51:15, 9.64s/it] 66%|█████████████████████████████████████████████████████████████████████████ | 629/947 [2:05:26<51:03, 9.63s/it] 67%|█████████████████████████████████████████████████████████████████████████▏ | 630/947 [2:05:36<51:05, 9.67s/it] {'loss': 1.0836, 'grad_norm': 0.3770051598548889, 'learning_rate': 6.122124944020978e-06, 'epoch': 0.66}
67%|█████████████████████████████████████████████████████████████████████████▏ | 630/947 [2:05:36<51:05, 9.67s/it] 67%|█████████████████████████████████████████████████████████████████████████▎ | 631/947 [2:05:45<50:51, 9.66s/it] 67%|█████████████████████████████████████████████████████████████████████████▍ | 632/947 [2:05:55<50:39, 9.65s/it] 67%|█████████████████████████████████████████████████████████████████████████▌ | 633/947 [2:06:05<50:29, 9.65s/it] 67%|█████████████████████████████████████████████████████████████████████████▋ | 634/947 [2:06:14<50:17, 9.64s/it] 67%|█████████████████████████████████████████████████████████████████████████▊ | 635/947 [2:06:24<50:05, 9.63s/it] 67%|█████████████████████████████████████████████████████████████████████████▉ | 636/947 [2:06:34<49:55, 9.63s/it] 67%|█████████████████████████████████████████████████████████████████████████▉ | 637/947 [2:06:43<49:59, 9.68s/it] 67%|██████████████████████████████████████████████████████████████████████████ | 638/947 [2:06:53<49:44, 9.66s/it] 67%|██████████████████████████████████████████████████████████████████████████▏ | 639/947 [2:07:03<49:32, 9.65s/it] 68%|██████████████████████████████████████████████████████████████████████████▎ | 640/947 [2:07:12<49:22, 9.65s/it] {'loss': 1.0719, 'grad_norm': 0.352397084236145, 'learning_rate': 5.78496004732952e-06, 'epoch': 0.68}
68%|██████████████████████████████████████████████████████████████████████████▎ | 640/947 [2:07:12<49:22, 9.65s/it] 68%|██████████████████████████████████████████████████████████████████████████▍ | 641/947 [2:07:22<49:09, 9.64s/it] 68%|██████████████████████████████████████████████████████████████████████████▌ | 642/947 [2:07:31<48:59, 9.64s/it] 68%|██████████████████████████████████████████████████████████████████████████▋ | 643/947 [2:07:41<48:48, 9.63s/it] 68%|██████████████████████████████████████████████████████████████████████████▊ | 644/947 [2:07:51<48:38, 9.63s/it] 68%|██████████████████████████████████████████████████████████████████████████▉ | 645/947 [2:08:00<48:28, 9.63s/it] 68%|███████████████████████████████████████████████████████████████████████████ | 646/947 [2:08:10<48:21, 9.64s/it] 68%|███████████████████████████████████████████████████████████████████████████▏ | 647/947 [2:08:20<48:22, 9.68s/it] 68%|███████████████████████████████████████████████████████████████████████████▎ | 648/947 [2:08:29<48:08, 9.66s/it] 69%|███████████████████████████████████████████████████████████████████████████▍ | 649/947 [2:08:39<47:56, 9.65s/it] 69%|███████████████████████████████████████████████████████████████████████████▌ | 650/947 [2:08:49<47:43, 9.64s/it] {'loss': 1.0849, 'grad_norm': 0.3588451147079468, 'learning_rate': 5.453525393702053e-06, 'epoch': 0.69}
69%|███████████████████████████████████████████████████████████████████████████▌ | 650/947 [2:08:49<47:43, 9.64s/it] 69%|███████████████████████████████████████████████████████████████████████████▌ | 651/947 [2:08:58<47:32, 9.64s/it] 69%|███████████████████████████████████████████████████████████████████████████▋ | 652/947 [2:09:08<47:23, 9.64s/it] 69%|███████████████████████████████████████████████████████████████████████████▊ | 653/947 [2:09:17<47:12, 9.63s/it] 69%|███████████████████████████████████████████████████████████████████████████▉ | 654/947 [2:09:27<47:13, 9.67s/it] 69%|████████████████████████████████████████████████████████████████████████████ | 655/947 [2:09:37<46:57, 9.65s/it] 69%|████████████████████████████████████████████████████████████████████████████▏ | 656/947 [2:09:46<46:46, 9.64s/it] 69%|████████████████████████████████████████████████████████████████████████████▎ | 657/947 [2:09:56<46:32, 9.63s/it] 69%|████████████████████████████████████████████████████████████████████████████▍ | 658/947 [2:10:06<46:21, 9.62s/it] 70%|████████████████████████████████████████████████████████████████████████████▌ | 659/947 [2:10:15<46:10, 9.62s/it] 70%|████████████████████████████████████████████████████████████████████████████▋ | 660/947 [2:10:25<45:59, 9.62s/it] {'loss': 1.082, 'grad_norm': 0.40011218190193176, 'learning_rate': 5.128271560392037e-06, 'epoch': 0.7}
70%|████████████████████████████████████████████████████████████████████████████▋ | 660/947 [2:10:25<45:59, 9.62s/it] 70%|████████████████████████████████████████████████████████████████████████████▊ | 661/947 [2:10:35<45:50, 9.62s/it] 70%|████████████████████████████████████████████████████████████████████████████▉ | 662/947 [2:10:44<45:40, 9.61s/it] 70%|█████████████████████████████████████████████████████████████████████████████ | 663/947 [2:10:54<45:33, 9.62s/it] 70%|█████████████████████████████████████████████████████████████████████████████▏ | 664/947 [2:11:04<45:32, 9.65s/it] 70%|█████████████████████████████████████████████████████████████████████████████▏ | 665/947 [2:11:13<45:17, 9.63s/it] 70%|█████████████████████████████████████████████████████████████████████████████▎ | 666/947 [2:11:23<45:04, 9.62s/it] 70%|█████████████████████████████████████████████████████████████████████████████▍ | 667/947 [2:11:32<44:51, 9.61s/it] 71%|█████████████████████████████████████████████████████████████████████████████▌ | 668/947 [2:11:42<44:41, 9.61s/it] 71%|█████████████████████████████████████████████████████████████████████████████▋ | 669/947 [2:11:51<44:30, 9.61s/it] 71%|█████████████████████████████████████████████████████████████████████████████▊ | 670/947 [2:12:01<44:19, 9.60s/it] {'loss': 1.077, 'grad_norm': 0.34496238827705383, 'learning_rate': 4.809640721979856e-06, 'epoch': 0.71}
71%|█████████████████████████████████████████████████████████████████████████████▊ | 670/947 [2:12:01<44:19, 9.60s/it] 71%|█████████████████████████████████████████████████████████████████████████████▉ | 671/947 [2:12:11<44:18, 9.63s/it] 71%|██████████████████████████████████████████████████████████████████████████████ | 672/947 [2:12:20<44:04, 9.62s/it] 71%|██████████████████████████████████████████████████████████████████████████████▏ | 673/947 [2:12:30<43:52, 9.61s/it] 71%|██████████████████████████████████████████████████████████████████████████████▎ | 674/947 [2:12:40<43:39, 9.60s/it] 71%|██████████████████████████████████████████████████████████████████████████████▍ | 675/947 [2:12:49<43:29, 9.59s/it] 71%|██████████████████████████████████████████████████████████████████████████████▌ | 676/947 [2:12:59<43:18, 9.59s/it] 71%|██████████████████████████████████████████████████████████████████████████████▋ | 677/947 [2:13:08<43:09, 9.59s/it] 72%|██████████████████████████████████████████████████████████████████████████████▊ | 678/947 [2:13:18<42:57, 9.58s/it] 72%|██████████████████████████████████████████████████████████████████████████████▊ | 679/947 [2:13:27<42:46, 9.58s/it] 72%|██████████████████████████████████████████████████████████████████████████████▉ | 680/947 [2:13:37<42:38, 9.58s/it] {'loss': 1.0639, 'grad_norm': 0.38083967566490173, 'learning_rate': 4.498066049247344e-06, 'epoch': 0.72}
72%|██████████████████████████████████████████████████████████████████████████████▉ | 680/947 [2:13:37<42:38, 9.58s/it] 72%|███████████████████████████████████████████████████████████████████████████████ | 681/947 [2:13:47<42:38, 9.62s/it] 72%|███████████████████████████████████████████████████████████████████████████████▏ | 682/947 [2:13:56<42:27, 9.61s/it] 72%|███████████████████████████████████████████████████████████████████████████████▎ | 683/947 [2:14:06<42:14, 9.60s/it] 72%|███████████████████████████████████████████████████████████████████████████████▍ | 684/947 [2:14:15<42:02, 9.59s/it] 72%|███████████████████████████████████████████████████████████████████████████████▌ | 685/947 [2:14:25<41:50, 9.58s/it] 72%|███████████████████████████████████████████████████████████████████████████████▋ | 686/947 [2:14:35<41:39, 9.58s/it] 73%|███████████████████████████████████████████████████████████████████████████████▊ | 687/947 [2:14:44<41:31, 9.58s/it] 73%|███████████████████████████████████████████████████████████████████████████████▉ | 688/947 [2:14:54<41:34, 9.63s/it] 73%|████████████████████████████████████████████████████████████████████████████████ | 689/947 [2:15:03<41:19, 9.61s/it] 73%|████████████████████████████████████████████████████████████████████████████████▏ | 690/947 [2:15:13<41:07, 9.60s/it] {'loss': 1.0778, 'grad_norm': 0.3846307098865509, 'learning_rate': 4.193971120292793e-06, 'epoch': 0.73}
73%|████████████████████████████████████████████████████████████████████████████████▏ | 690/947 [2:15:13<41:07, 9.60s/it] 73%|████████████████████████████████████████████████████████████████████████████████▎ | 691/947 [2:15:23<40:55, 9.59s/it] 73%|████████████████████████████████████████████████████████████████████████████████▍ | 692/947 [2:15:32<40:45, 9.59s/it] 73%|████████████████████████████████████████████████████████████████████████████████▍ | 693/947 [2:15:42<40:35, 9.59s/it] 73%|████████████████████████████████████████████████████████████████████████████████▌ | 694/947 [2:15:51<40:25, 9.59s/it] 73%|████████████████████████████████████████████████████████████████████████████████▋ | 695/947 [2:16:01<40:15, 9.59s/it] 73%|████████████████████████████████████████████████████████████████████████████████▊ | 696/947 [2:16:11<40:06, 9.59s/it] 74%|████████████████████████████████████████████████████████████████████████████████▉ | 697/947 [2:16:20<39:59, 9.60s/it] 74%|█████████████████████████████████████████████████████████████████████████████████ | 698/947 [2:16:30<39:56, 9.62s/it] 74%|█████████████████████████████████████████████████████████████████████████████████▏ | 699/947 [2:16:39<39:41, 9.60s/it] 74%|█████████████████████████████████████████████████████████████████████████████████▎ | 700/947 [2:16:49<39:27, 9.58s/it] {'loss': 1.0952, 'grad_norm': 0.33913660049438477, 'learning_rate': 3.897769344686929e-06, 'epoch': 0.74}
74%|█████████████████████████████████████████████████████████████████████████████████▎ | 700/947 [2:16:49<39:27, 9.58s/it] 74%|█████████████████████████████████████████████████████████████████████████████████▍ | 701/947 [2:16:59<39:16, 9.58s/it] 74%|█████████████████████████████████████████████████████████████████████████████████▌ | 702/947 [2:17:08<39:05, 9.57s/it] 74%|█████████████████████████████████████████████████████████████████████████████████▋ | 703/947 [2:17:18<38:53, 9.56s/it] 74%|█████████████████████████████████████████████████████████████████████████████████▊ | 704/947 [2:17:27<38:43, 9.56s/it] 74%|█████████████████████████████████████████████████████████████████████████████████▉ | 705/947 [2:17:37<38:42, 9.60s/it] 75%|██████████████████████████████████████████████████████████████████████████████████ | 706/947 [2:17:46<38:28, 9.58s/it] 75%|██████████████████████████████████████████████████████████████████████████████████ | 707/947 [2:17:56<38:17, 9.57s/it] 75%|██████████████████████████████████████████████████████████████████████████████████▏ | 708/947 [2:18:06<38:06, 9.57s/it] 75%|██████████████████████████████████████████████████████████████████████████████████▎ | 709/947 [2:18:15<37:55, 9.56s/it] 75%|██████████████████████████████████████████████████████████████████████████████████▍ | 710/947 [2:18:25<37:46, 9.56s/it] {'loss': 1.0853, 'grad_norm': 0.3537193536758423, 'learning_rate': 3.6098634014527866e-06, 'epoch': 0.75}
75%|██████████████████████████████████████████████████████████████████████████████████▍ | 710/947 [2:18:25<37:46, 9.56s/it] 75%|██████████████████████████████████████████████████████████████████████████████████▌ | 711/947 [2:18:34<37:37, 9.57s/it] 75%|██████████████████████████████████████████████████████████████████████████████████▋ | 712/947 [2:18:44<37:27, 9.56s/it] 75%|██████████████████████████████████████████████████████████████████████████████████▊ | 713/947 [2:18:53<37:14, 9.55s/it] 75%|██████████████████████████████████████████████████████████████████████████████████▉ | 714/947 [2:19:03<37:05, 9.55s/it] 76%|███████████████████████████████████████████████████████████████████████████████████ | 715/947 [2:19:13<37:06, 9.59s/it] 76%|███████████████████████████████████████████████████████████████████████████████████▏ | 716/947 [2:19:22<36:53, 9.58s/it] 76%|███████████████████████████████████████████████████████████████████████████████████▎ | 717/947 [2:19:32<36:43, 9.58s/it] 76%|███████████████████████████████████████████████████████████████████████████████████▍ | 718/947 [2:19:41<36:32, 9.58s/it] 76%|███████████████████████████████████████████████████████████████████████████████████▌ | 719/947 [2:19:51<36:22, 9.57s/it] 76%|███████████████████████████████████████████████████████████████████████████████████▋ | 720/947 [2:20:00<36:15, 9.58s/it] {'loss': 1.0786, 'grad_norm': 0.3514321446418762, 'learning_rate': 3.330644691633492e-06, 'epoch': 0.76}
76%|███████████████████████████████████████████████████████████████████████████████████▋ | 720/947 [2:20:00<36:15, 9.58s/it] 76%|███████████████████████████████████████████████████████████████████████████████████▋ | 721/947 [2:20:10<36:04, 9.58s/it] 76%|███████████████████████████████████████████████████████████████████████████████████▊ | 722/947 [2:20:20<36:04, 9.62s/it] 76%|███████████████████████████████████████████████████████████████████████████████████▉ | 723/947 [2:20:29<35:52, 9.61s/it] 76%|████████████████████████████████████████████████████████████████████████████████████ | 724/947 [2:20:39<35:41, 9.60s/it] 77%|████████████████████████████████████████████████████████████████████████████████████▏ | 725/947 [2:20:48<35:30, 9.60s/it] 77%|████████████████████████████████████████████████████████████████████████████████████▎ | 726/947 [2:20:58<35:19, 9.59s/it] 77%|████████████████████████████████████████████████████████████████████████████████████▍ | 727/947 [2:21:08<35:08, 9.59s/it] 77%|████████████████████████████████████████████████████████████████████████████████████▌ | 728/947 [2:21:17<34:59, 9.59s/it] 77%|████████████████████████████████████████████████████████████████████████████████████▋ | 729/947 [2:21:27<34:50, 9.59s/it] 77%|████████████████████████████████████████████████████████████████████████████████████▊ | 730/947 [2:21:36<34:40, 9.59s/it] {'loss': 1.0609, 'grad_norm': 0.34657713770866394, 'learning_rate': 3.0604928061921847e-06, 'epoch': 0.77}
77%|████████████████████████████████████████████████████████████████████████████████████▊ | 730/947 [2:21:36<34:40, 9.59s/it] 77%|████████████████████████████████████████████████████████████████████████████████████▉ | 731/947 [2:21:46<34:32, 9.59s/it] 77%|█████████████████████████████████████████████████████████████████████████████████████ | 732/947 [2:21:56<34:31, 9.64s/it] 77%|█████████████████████████████████████████████████████████████████████████████████████▏ | 733/947 [2:22:05<34:20, 9.63s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████▎ | 734/947 [2:22:15<34:09, 9.62s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████▎ | 735/947 [2:22:24<33:57, 9.61s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████▍ | 736/947 [2:22:34<33:46, 9.61s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████▌ | 737/947 [2:22:44<33:35, 9.60s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████▋ | 738/947 [2:22:53<33:25, 9.59s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████▊ | 739/947 [2:23:03<33:23, 9.63s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████▉ | 740/947 [2:23:13<33:10, 9.61s/it] {'loss': 1.0845, 'grad_norm': 0.34931546449661255, 'learning_rate': 2.7997750099674282e-06, 'epoch': 0.78}
78%|█████████████████████████████████████████████████████████████████████████████████████▉ | 740/947 [2:23:13<33:10, 9.61s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████ | 741/947 [2:23:22<32:58, 9.61s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████▏ | 742/947 [2:23:32<32:47, 9.60s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████▎ | 743/947 [2:23:41<32:36, 9.59s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████▍ | 744/947 [2:23:51<32:28, 9.60s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████▌ | 745/947 [2:24:00<32:17, 9.59s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████▋ | 746/947 [2:24:10<32:08, 9.60s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████▊ | 747/947 [2:24:20<31:58, 9.59s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████▉ | 748/947 [2:24:29<31:50, 9.60s/it] 79%|███████████████████████████████████████████████████████████████████████████████████████ | 749/947 [2:24:39<31:46, 9.63s/it] 79%|███████████████████████████████████████████████████████████████████████████████████████ | 750/947 [2:24:49<31:34, 9.62s/it] {'loss': 1.0762, 'grad_norm': 0.3565938174724579, 'learning_rate': 2.548845742385717e-06, 'epoch': 0.79}
79%|███████████████████████████████████████████████████████████████████████████████████████ | 750/947 [2:24:49<31:34, 9.62s/it] 79%|███████████████████████████████████████████████████████████████████████████████████████▏ | 751/947 [2:24:58<31:25, 9.62s/it] 79%|███████████████████████████████████████████████████████████████████████████████████████▎ | 752/947 [2:25:08<31:14, 9.61s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████▍ | 753/947 [2:25:17<31:04, 9.61s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████▌ | 754/947 [2:25:27<30:52, 9.60s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████▋ | 755/947 [2:25:37<30:42, 9.60s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████▊ | 756/947 [2:25:46<30:45, 9.66s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████▉ | 757/947 [2:25:56<30:30, 9.63s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████ | 758/947 [2:26:06<30:19, 9.63s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████▏ | 759/947 [2:26:15<30:09, 9.62s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████▎ | 760/947 [2:26:25<29:57, 9.61s/it] {'loss': 1.0719, 'grad_norm': 0.36780357360839844, 'learning_rate': 2.3080461356097938e-06, 'epoch': 0.8}
80%|████████████████████████████████████████████████████████████████████████████████████████▎ | 760/947 [2:26:25<29:57, 9.61s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████▍ | 761/947 [2:26:34<29:47, 9.61s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████▌ | 762/947 [2:26:44<29:37, 9.61s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████▋ | 763/947 [2:26:54<29:26, 9.60s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████▋ | 764/947 [2:27:03<29:18, 9.61s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████▊ | 765/947 [2:27:13<29:08, 9.61s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████▉ | 766/947 [2:27:23<29:05, 9.64s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████ | 767/947 [2:27:32<28:53, 9.63s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 768/947 [2:27:42<28:40, 9.61s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 769/947 [2:27:51<28:28, 9.60s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 770/947 [2:28:01<28:18, 9.60s/it] {'loss': 1.0945, 'grad_norm': 0.3430708348751068, 'learning_rate': 2.077703550777882e-06, 'epoch': 0.81}
81%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 770/947 [2:28:01<28:18, 9.60s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 771/947 [2:28:10<28:06, 9.58s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 772/947 [2:28:20<27:56, 9.58s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 773/947 [2:28:30<27:52, 9.61s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 774/947 [2:28:39<27:40, 9.60s/it] 82%|██████████████████████████████████████████████████████████████████████████████████████████ | 775/947 [2:28:49<27:29, 9.59s/it] 82%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 776/947 [2:28:58<27:18, 9.58s/it] 82%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 777/947 [2:29:08<27:07, 9.57s/it] 82%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 778/947 [2:29:17<26:57, 9.57s/it] 82%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 779/947 [2:29:27<26:47, 9.57s/it] 82%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 780/947 [2:29:37<26:38, 9.57s/it] {'loss': 1.0916, 'grad_norm': 0.361824631690979, 'learning_rate': 1.8581311329642592e-06, 'epoch': 0.82}
82%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 780/947 [2:29:37<26:38, 9.57s/it] 82%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 781/947 [2:29:46<26:28, 9.57s/it] 83%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 782/947 [2:29:56<26:19, 9.57s/it] 83%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 783/947 [2:30:05<26:15, 9.61s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████ | 784/947 [2:30:15<26:04, 9.60s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 785/947 [2:30:25<25:53, 9.59s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 786/947 [2:30:34<25:42, 9.58s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 787/947 [2:30:44<25:32, 9.58s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 788/947 [2:30:53<25:21, 9.57s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 789/947 [2:31:03<25:10, 9.56s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 790/947 [2:31:13<25:08, 9.61s/it] {'loss': 1.084, 'grad_norm': 0.3385472893714905, 'learning_rate': 1.6496273854662482e-06, 'epoch': 0.83}
83%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 790/947 [2:31:13<25:08, 9.61s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 791/947 [2:31:22<24:56, 9.59s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 792/947 [2:31:32<24:44, 9.58s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████ | 793/947 [2:31:41<24:35, 9.58s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 794/947 [2:31:51<24:25, 9.58s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 795/947 [2:32:00<24:14, 9.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 796/947 [2:32:10<24:04, 9.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 797/947 [2:32:19<23:55, 9.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 798/947 [2:32:29<23:45, 9.56s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 799/947 [2:32:39<23:35, 9.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 800/947 [2:32:48<23:31, 9.60s/it] {'loss': 1.0856, 'grad_norm': 0.3720723092556, 'learning_rate': 1.452475763996326e-06, 'epoch': 0.84}
84%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 800/947 [2:32:48<23:31, 9.60s/it][INFO|trainer.py:4307] 2026-04-20 15:59:16,830 >>
***** Running Evaluation *****
[INFO|trainer.py:4309] 2026-04-20 15:59:16,830 >> Num examples = 13417
[INFO|trainer.py:4312] 2026-04-20 15:59:16,830 >> Batch size = 16
0%| | 0/210 [00:00<?, ?it/s]
1%|█ | 2/210 [00:01<02:12, 1.56it/s]
1%|█▋ | 3/210 [00:02<03:07, 1.11it/s]
2%|██▏ | 4/210 [00:03<03:35, 1.05s/it]
2%|██▋ | 5/210 [00:05<03:50, 1.13s/it]
3%|███▎ | 6/210 [00:06<04:00, 1.18s/it]
3%|███▊ | 7/210 [00:07<04:05, 1.21s/it]
4%|████▎ | 8/210 [00:08<04:08, 1.23s/it]
4%|████▉ | 9/210 [00:10<04:10, 1.24s/it]
5%|█████▍ | 10/210 [00:11<04:10, 1.25s/it]
5%|█████▉ | 11/210 [00:12<04:11, 1.26s/it]
6%|██████▍ | 12/210 [00:14<04:10, 1.27s/it]
6%|██████▉ | 13/210 [00:15<04:10, 1.27s/it]
7%|███████▌ | 14/210 [00:16<04:09, 1.27s/it]
7%|████████ | 15/210 [00:17<04:08, 1.27s/it]
8%|████████▌ | 16/210 [00:19<04:07, 1.28s/it]
8%|█████████▏ | 17/210 [00:20<04:06, 1.28s/it]
9%|█████████▋ | 18/210 [00:21<04:04, 1.28s/it]
9%|██████████▏ | 19/210 [00:22<04:03, 1.28s/it]
10%|██████████▊ | 20/210 [00:24<04:02, 1.28s/it]
10%|███████████▎ | 21/210 [00:25<04:01, 1.28s/it]
10%|███████████▊ | 22/210 [00:26<04:00, 1.28s/it]
11%|████████████▍ | 23/210 [00:28<03:58, 1.28s/it]
11%|████████████▉ | 24/210 [00:29<03:57, 1.28s/it]
12%|█████████████▍ | 25/210 [00:30<03:56, 1.28s/it]
12%|█████████████▉ | 26/210 [00:31<03:55, 1.28s/it]
13%|██████████████▌ | 27/210 [00:33<03:53, 1.28s/it]
13%|███████████████ | 28/210 [00:34<03:52, 1.28s/it]
14%|███████████████▌ | 29/210 [00:35<03:50, 1.28s/it]
14%|████████████████▏ | 30/210 [00:37<03:49, 1.28s/it]
15%|████████████████▋ | 31/210 [00:38<03:48, 1.28s/it]
15%|█████████████████▏ | 32/210 [00:39<03:47, 1.28s/it]
16%|█████████████████▊ | 33/210 [00:40<03:46, 1.28s/it]
16%|██████████████████▎ | 34/210 [00:42<03:45, 1.28s/it]
17%|██████████████████▊ | 35/210 [00:43<03:43, 1.28s/it]
17%|███████████████████▎ | 36/210 [00:44<03:42, 1.28s/it]
18%|███████████████████▉ | 37/210 [00:46<03:41, 1.28s/it]
18%|████████████████████▍ | 38/210 [00:47<03:39, 1.28s/it]
19%|████████████████████▉ | 39/210 [00:48<03:38, 1.28s/it]
19%|█████████████████████▌ | 40/210 [00:49<03:37, 1.28s/it]
20%|██████████████████████ | 41/210 [00:51<03:36, 1.28s/it]
20%|██████████████████████▌ | 42/210 [00:52<03:34, 1.28s/it]
20%|███████████████████████▏ | 43/210 [00:53<03:33, 1.28s/it]
21%|███████████████████████▋ | 44/210 [00:54<03:32, 1.28s/it]
21%|████████████████████████▏ | 45/210 [00:56<03:31, 1.28s/it]
22%|████████████████████████▊ | 46/210 [00:57<03:29, 1.28s/it]
22%|█████████████████████████▎ | 47/210 [00:58<03:28, 1.28s/it]
23%|█████████████████████████▊ | 48/210 [01:00<03:26, 1.28s/it]
23%|██████████████████████████▎ | 49/210 [01:01<03:25, 1.28s/it]
24%|██████████████████████████▉ | 50/210 [01:02<03:24, 1.28s/it]
24%|███████████████████████████▍ | 51/210 [01:03<03:23, 1.28s/it]
25%|███████████████████████████▉ | 52/210 [01:05<03:21, 1.28s/it]
25%|████████████████████████████▌ | 53/210 [01:06<03:20, 1.28s/it]
26%|█████████████████████████████ | 54/210 [01:07<03:19, 1.28s/it]
26%|█████████████████████████████▌ | 55/210 [01:09<03:17, 1.28s/it]
27%|██████████████████████████████▏ | 56/210 [01:10<03:16, 1.28s/it]
27%|██████████████████████████████▋ | 57/210 [01:11<03:15, 1.28s/it]
28%|███████████████████████████████▏ | 58/210 [01:12<03:14, 1.28s/it]
28%|███████████████████████████████▋ | 59/210 [01:14<03:12, 1.28s/it]
29%|████████████████████████████████▎ | 60/210 [01:15<03:12, 1.28s/it]
29%|████████████████████████████████▊ | 61/210 [01:16<03:11, 1.28s/it]
30%|█████████████████████████████████▎ | 62/210 [01:17<03:09, 1.28s/it]
30%|█████████████████████████████████▉ | 63/210 [01:19<03:08, 1.28s/it]
30%|██████████████████████████████████▍ | 64/210 [01:20<03:06, 1.28s/it]
31%|██████████████████████████████████▉ | 65/210 [01:21<03:05, 1.28s/it]
31%|███████████████████████████████████▌ | 66/210 [01:23<03:04, 1.28s/it]
32%|████████████████████████████████████ | 67/210 [01:24<03:02, 1.28s/it]
32%|████████████████████████████████████▌ | 68/210 [01:25<03:01, 1.28s/it]
33%|█████████████████████████████████████▏ | 69/210 [01:26<03:00, 1.28s/it]
33%|█████████████████████████████████████▋ | 70/210 [01:28<02:59, 1.28s/it]
34%|██████████████████████████████████████▏ | 71/210 [01:29<02:57, 1.28s/it]
34%|██████████████████████████████████████▋ | 72/210 [01:30<02:56, 1.28s/it]
35%|███████████████████████████████████████▎ | 73/210 [01:32<02:55, 1.28s/it]
35%|███████████████████████████████████████▊ | 74/210 [01:33<02:53, 1.28s/it]
36%|████████████████████████████████████████▎ | 75/210 [01:34<02:52, 1.28s/it]
36%|████████████████████████████████████████▉ | 76/210 [01:35<02:51, 1.28s/it]
37%|█████████████████████████████████████████▍ | 77/210 [01:37<02:50, 1.28s/it]
37%|█████████████████████████████████████████▉ | 78/210 [01:38<02:48, 1.28s/it]
38%|██████████████████████████████████████████▌ | 79/210 [01:39<02:47, 1.28s/it]
38%|███████████████████████████████████████████ | 80/210 [01:40<02:46, 1.28s/it]
39%|███████████████████████████████████████████▌ | 81/210 [01:42<02:45, 1.28s/it]
39%|████████████████████████████████████████████ | 82/210 [01:43<02:43, 1.28s/it]
40%|████████████████████████████████████████████▋ | 83/210 [01:44<02:42, 1.28s/it]
40%|█████████████████████████████████████████████▏ | 84/210 [01:46<02:41, 1.28s/it]
40%|█████████████████████████████████████████████▋ | 85/210 [01:47<02:40, 1.28s/it]
41%|██████████████████████████████████████████████▎ | 86/210 [01:48<02:38, 1.28s/it]
41%|██████████████████████████████████████████████▊ | 87/210 [01:49<02:37, 1.28s/it]
42%|███████████████████████████████████████████████▎ | 88/210 [01:51<02:36, 1.28s/it]
42%|███████████████████████████████████████████████▉ | 89/210 [01:52<02:34, 1.28s/it]
43%|████████████████████████████████████████████████▍ | 90/210 [01:53<02:33, 1.28s/it]
43%|████████████████████████████████████████████████▉ | 91/210 [01:55<02:32, 1.28s/it]
44%|█████████████████████████████████████████████████▌ | 92/210 [01:56<02:30, 1.28s/it]
44%|██████████████████████████████████████████████████ | 93/210 [01:57<02:29, 1.28s/it]
45%|██████████████████████████████████████████████████▌ | 94/210 [01:58<02:28, 1.28s/it]
45%|███████████████████████████████████████████████████ | 95/210 [02:00<02:26, 1.28s/it]
46%|███████████████████████████████████████████████████▋ | 96/210 [02:01<02:25, 1.28s/it]
46%|████████████████████████████████████████████████████▏ | 97/210 [02:02<02:24, 1.28s/it]
47%|████████████████████████████████████████████████████▋ | 98/210 [02:04<02:23, 1.28s/it]
47%|█████████████████████████████████████████████████████▎ | 99/210 [02:05<02:21, 1.28s/it]
48%|█████████████████████████████████████████████████████▎ | 100/210 [02:06<02:20, 1.28s/it]
48%|█████████████████████████████████████████████████████▊ | 101/210 [02:07<02:19, 1.28s/it]
49%|██████████████████████████████████████████████████████▍ | 102/210 [02:09<02:17, 1.28s/it]
49%|██████████████████████████████████████████████████████▉ | 103/210 [02:10<02:16, 1.28s/it]
50%|███████████████████████████████████████████████████████▍ | 104/210 [02:11<02:15, 1.28s/it]
50%|████████████████████████████████████████████████████████ | 105/210 [02:12<02:14, 1.28s/it]
50%|████████████████████████████████████████████████████████▌ | 106/210 [02:14<02:12, 1.28s/it]
51%|█████████████████████████████████████████████████████████ | 107/210 [02:15<02:11, 1.28s/it]
51%|█████████████████████████████████████████████████████████▌ | 108/210 [02:16<02:10, 1.28s/it]
52%|██████████████████████████████████████████████████████████▏ | 109/210 [02:18<02:09, 1.28s/it]
52%|██████████████████████████████████████████████████████████▋ | 110/210 [02:19<02:07, 1.28s/it]
53%|███████████████████████████████████████████████████████████▏ | 111/210 [02:20<02:06, 1.28s/it]
53%|███████████████████████████████████████████████████████████▋ | 112/210 [02:21<02:05, 1.28s/it]
54%|████████████████████████████████████████████████████████████▎ | 113/210 [02:23<02:03, 1.28s/it]
54%|████████████████████████████████████████████████████████████▊ | 114/210 [02:24<02:02, 1.28s/it]
55%|█████████████████████████████████████████████████████████████▎ | 115/210 [02:25<02:01, 1.28s/it]
55%|█████████████████████████████████████████████████████████████▊ | 116/210 [02:27<02:00, 1.28s/it]
56%|██████████████████████████████████████████████████████████████▍ | 117/210 [02:28<01:59, 1.28s/it]
56%|██████████████████████████████████████████████████████████████▉ | 118/210 [02:29<01:57, 1.28s/it]
57%|███████████████████████████████████████████████████████████████▍ | 119/210 [02:30<01:56, 1.28s/it]
57%|████████████████████████████████████████████████████████████████ | 120/210 [02:32<01:55, 1.28s/it]
58%|████████████████████████████████████████████████████████████████▌ | 121/210 [02:33<01:53, 1.28s/it]
58%|█████████████████████████████████████████████████████████████████ | 122/210 [02:34<01:52, 1.28s/it]
59%|█████████████████████████████████████████████████████████████████▌ | 123/210 [02:35<01:51, 1.28s/it]
59%|██████████████████████████████████████████████████████████████████▏ | 124/210 [02:37<01:49, 1.28s/it]
60%|██████████████████████████████████████████████████████████████████▋ | 125/210 [02:38<01:48, 1.28s/it]
60%|███████████████████████████████████████████████████████████████████▏ | 126/210 [02:39<01:47, 1.28s/it]
60%|███████████████████████████████████████████████████████████████████▋ | 127/210 [02:41<01:46, 1.28s/it]
61%|████████████████████████████████████████████████████████████████████▎ | 128/210 [02:42<01:44, 1.28s/it]
61%|████████████████████████████████████████████████████████████████████▊ | 129/210 [02:43<01:43, 1.28s/it]
62%|█████████████████████████████████████████████████████████████████████▎ | 130/210 [02:44<01:42, 1.28s/it]
62%|█████████████████████████████████████████████████████████████████████▊ | 131/210 [02:46<01:41, 1.28s/it]
63%|██████████████████████████████████████████████████████████████████████▍ | 132/210 [02:47<01:39, 1.28s/it]
63%|██████████████████████████████████████████████████████████████████████▉ | 133/210 [02:48<01:38, 1.28s/it]
64%|███████████████████████████████████████████████████████████████████████▍ | 134/210 [02:50<01:37, 1.28s/it]
64%|████████████████████████████████████████████████████████████████████████ | 135/210 [02:51<01:35, 1.28s/it]
65%|████████████████████████████████████████████████████████████████████████▌ | 136/210 [02:52<01:34, 1.28s/it]
65%|█████████████████████████████████████████████████████████████████████████ | 137/210 [02:53<01:33, 1.28s/it]
66%|█████████████████████████████████████████████████████████████████████████▌ | 138/210 [02:55<01:32, 1.28s/it]
66%|██████████████████████████████████████████████████████████████████████████▏ | 139/210 [02:56<01:30, 1.28s/it]
67%|██████████████████████████████████████████████████████████████████████████▋ | 140/210 [02:57<01:29, 1.28s/it]
67%|███████████████████████████████████████████████████████████████████████████▏ | 141/210 [02:58<01:28, 1.28s/it]
68%|███████████████████████████████████████████████████████████████████████████▋ | 142/210 [03:00<01:26, 1.28s/it]
68%|████████████████████████████████████████████████████████████████████████████▎ | 143/210 [03:01<01:25, 1.28s/it]
69%|████████████████████████████████████████████████████████████████████████████▊ | 144/210 [03:02<01:24, 1.28s/it]
69%|█████████████████████████████████████████████████████████████████████████████▎ | 145/210 [03:04<01:22, 1.28s/it]
70%|█████████████████████████████████████████████████████████████████████████████▊ | 146/210 [03:05<01:21, 1.28s/it]
70%|██████████████████████████████████████████████████████████████████████████████▍ | 147/210 [03:06<01:20, 1.28s/it]
70%|██████████████████████████████████████████████████████████████████████████████▉ | 148/210 [03:07<01:19, 1.28s/it]
71%|███████████████████████████████████████████████████████████████████████████████▍ | 149/210 [03:09<01:17, 1.28s/it]
71%|████████████████████████████████████████████████████████████████████████████████ | 150/210 [03:10<01:16, 1.28s/it]
72%|████████████████████████████████████████████████████████████████████████████████▌ | 151/210 [03:11<01:15, 1.28s/it]
72%|█████████████████████████████████████████████████████████████████████████████████ | 152/210 [03:13<01:14, 1.28s/it]
73%|█████████████████████████████████████████████████████████████████████████████████▌ | 153/210 [03:14<01:12, 1.28s/it]
73%|██████████████████████████████████████████████████████████████████████████████████▏ | 154/210 [03:15<01:11, 1.28s/it]
74%|██████████████████████████████████████████████████████████████████████████████████▋ | 155/210 [03:16<01:10, 1.28s/it]
74%|███████████████████████████████████████████████████████████████████████████████████▏ | 156/210 [03:18<01:08, 1.28s/it]
75%|███████████████████████████████████████████████████████████████████████████████████▋ | 157/210 [03:19<01:07, 1.28s/it]
75%|████████████████████████████████████████████████████████████████████████████████████▎ | 158/210 [03:20<01:06, 1.28s/it]
76%|████████████████████████████████████████████████████████████████████████████████████▊ | 159/210 [03:21<01:05, 1.28s/it]
76%|█████████████████████████████████████████████████████████████████████████████████████▎ | 160/210 [03:23<01:03, 1.28s/it]
77%|█████████████████████████████████████████████████████████████████████████████████████▊ | 161/210 [03:24<01:02, 1.28s/it]
77%|██████████████████████████████████████████████████████████████████████████████████████▍ | 162/210 [03:25<01:01, 1.27s/it]
78%|██████████████████████████████████████████████████████████████████████████████████████▉ | 163/210 [03:27<00:59, 1.28s/it]
78%|███████████████████████████████████████████████████████████████████████████████████████▍ | 164/210 [03:28<00:58, 1.28s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████ | 165/210 [03:29<00:57, 1.28s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████▌ | 166/210 [03:30<00:56, 1.28s/it]
80%|█████████████████████████████████████████████████████████████████████████████████████████ | 167/210 [03:32<00:54, 1.28s/it]
80%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 168/210 [03:33<00:53, 1.28s/it]
80%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 169/210 [03:34<00:52, 1.28s/it]
81%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 170/210 [03:35<00:51, 1.28s/it]
81%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 171/210 [03:37<00:49, 1.28s/it]
82%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 172/210 [03:38<00:48, 1.28s/it]
82%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 173/210 [03:39<00:47, 1.28s/it]
83%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 174/210 [03:41<00:45, 1.28s/it]
83%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 175/210 [03:42<00:44, 1.28s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 176/210 [03:43<00:43, 1.28s/it]
84%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 177/210 [03:44<00:42, 1.28s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 178/210 [03:46<00:40, 1.28s/it]
85%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 179/210 [03:47<00:39, 1.28s/it]
86%|████████████████████████████████████████████████████████████████████████████████████████████████ | 180/210 [03:48<00:38, 1.28s/it]
86%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 181/210 [03:50<00:37, 1.28s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 182/210 [03:51<00:35, 1.28s/it]
87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 183/210 [03:52<00:34, 1.28s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 184/210 [03:53<00:33, 1.28s/it]
88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 185/210 [03:55<00:31, 1.28s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 186/210 [03:56<00:30, 1.28s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 187/210 [03:57<00:29, 1.28s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 188/210 [03:58<00:28, 1.28s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 189/210 [04:00<00:26, 1.28s/it]
90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 190/210 [04:01<00:25, 1.28s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 191/210 [04:02<00:24, 1.28s/it]
91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 192/210 [04:04<00:22, 1.28s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 193/210 [04:05<00:21, 1.28s/it]
92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 194/210 [04:06<00:20, 1.28s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 195/210 [04:07<00:19, 1.28s/it]
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 196/210 [04:09<00:17, 1.28s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 197/210 [04:10<00:16, 1.28s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 198/210 [04:11<00:15, 1.28s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 199/210 [04:13<00:14, 1.28s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 200/210 [04:14<00:12, 1.28s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 201/210 [04:15<00:11, 1.28s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 202/210 [04:16<00:10, 1.28s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 203/210 [04:18<00:08, 1.28s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 204/210 [04:19<00:07, 1.28s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 205/210 [04:20<00:06, 1.28s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 206/210 [04:21<00:05, 1.28s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 207/210 [04:23<00:03, 1.28s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 208/210 [04:24<00:02, 1.28s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 209/210 [04:25<00:01, 1.28s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 210/210 [04:27<00:00, 1.27s/it]
{'eval_loss': 1.0849097967147827, 'eval_runtime': 268.3585, 'eval_samples_per_second': 49.997, 'eval_steps_per_second': 0.783, 'epoch': 0.84}
84%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 800/947 [2:37:17<23:31, 9.60s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 210/210 [04:27<00:00, 1.27s/it]
[INFO|trainer.py:3984] 2026-04-20 16:03:55,542 >> Saving model checkpoint to /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-800
[INFO|configuration_utils.py:419] 2026-04-20 16:03:55,547 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-800/config.json
[INFO|configuration_utils.py:911] 2026-04-20 16:03:55,549 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-800/generation_config.json
[INFO|modeling_utils.py:3580] 2026-04-20 16:04:35,055 >> The model is bigger than the maximum size per checkpoint (5GB) and is going to be split in 6 checkpoint shards. You can find where each parameters has been saved in the index located at /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-800/model.safetensors.index.json.
[INFO|tokenization_utils_base.py:2510] 2026-04-20 16:04:35,058 >> tokenizer config file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-800/tokenizer_config.json
[INFO|tokenization_utils_base.py:2519] 2026-04-20 16:04:35,060 >> Special tokens file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-800/special_tokens_map.json
[INFO|trainer.py:4083] 2026-04-20 16:07:27,730 >> Deleting older checkpoint [/scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-400] due to args.save_total_limit
85%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 801/947 [2:41:13<6:24:49, 158.15s/it] 85%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 802/947 [2:41:23<4:34:23, 113.54s/it] 85%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 803/947 [2:41:32<3:17:35, 82.33s/it] 85%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 804/947 [2:41:42<2:24:09, 60.49s/it] 85%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 805/947 [2:41:51<1:46:59, 45.21s/it] 85%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 806/947 [2:42:01<1:21:07, 34.52s/it] 85%|████████████████████████████████████████████████████████████████████████████████████████████ | 807/947 [2:42:10<1:03:11, 27.08s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 808/947 [2:42:20<50:38, 21.86s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 809/947 [2:42:30<41:49, 18.18s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████ | 810/947 [2:42:39<35:38, 15.61s/it] {'loss': 1.0773, 'grad_norm': 0.3724263906478882, 'learning_rate': 1.2669442913310725e-06, 'epoch': 0.85}
86%|██████████████████████████████████████████████████████████████████████████████████████████████ | 810/947 [2:42:39<35:38, 15.61s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 811/947 [2:42:49<31:18, 13.81s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 812/947 [2:42:59<28:15, 12.56s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 813/947 [2:43:08<26:03, 11.67s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 814/947 [2:43:18<24:31, 11.06s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 815/947 [2:43:27<23:23, 10.63s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 816/947 [2:43:37<22:37, 10.36s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 817/947 [2:43:47<22:02, 10.17s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████ | 818/947 [2:43:57<21:32, 10.02s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 819/947 [2:44:06<21:07, 9.90s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 820/947 [2:44:16<20:48, 9.83s/it] {'loss': 1.0793, 'grad_norm': 0.38541847467422485, 'learning_rate': 1.0932851929407828e-06, 'epoch': 0.87}
87%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 820/947 [2:44:16<20:48, 9.83s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 821/947 [2:44:25<20:32, 9.78s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 822/947 [2:44:35<20:17, 9.74s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 823/947 [2:44:45<20:03, 9.71s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 824/947 [2:44:54<19:52, 9.69s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 825/947 [2:45:04<19:44, 9.71s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 826/947 [2:45:14<19:36, 9.72s/it] 87%|████████████████████████████████████████████████████████████████████████████████████████████████ | 827/947 [2:45:24<19:23, 9.70s/it] 87%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 828/947 [2:45:33<19:12, 9.68s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 829/947 [2:45:43<19:00, 9.66s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 830/947 [2:45:52<18:49, 9.65s/it] {'loss': 1.0976, 'grad_norm': 0.3606375753879547, 'learning_rate': 9.31734554095165e-07, 'epoch': 0.88}
88%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 830/947 [2:45:52<18:49, 9.65s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 831/947 [2:46:02<18:38, 9.64s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 832/947 [2:46:12<18:28, 9.64s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 833/947 [2:46:21<18:23, 9.68s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 834/947 [2:46:31<18:15, 9.70s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 835/947 [2:46:41<18:02, 9.67s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 836/947 [2:46:50<17:50, 9.65s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 837/947 [2:47:00<17:39, 9.64s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 838/947 [2:47:10<17:30, 9.63s/it] 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 839/947 [2:47:19<17:19, 9.62s/it] 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 840/947 [2:47:29<17:08, 9.61s/it] {'loss': 1.0815, 'grad_norm': 0.34657078981399536, 'learning_rate': 7.825119989112173e-07, 'epoch': 0.89}
89%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 840/947 [2:47:29<17:08, 9.61s/it] 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 841/947 [2:47:38<16:58, 9.61s/it] 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 842/947 [2:47:48<16:47, 9.60s/it] 89%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 843/947 [2:47:58<16:38, 9.60s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 844/947 [2:48:07<16:28, 9.60s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 845/947 [2:48:17<16:18, 9.60s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 846/947 [2:48:26<16:09, 9.59s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 847/947 [2:48:36<15:58, 9.59s/it] 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 848/947 [2:48:46<15:49, 9.59s/it] 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 849/947 [2:48:55<15:39, 9.59s/it] 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 850/947 [2:49:05<15:34, 9.63s/it] {'loss': 1.0883, 'grad_norm': 0.34550759196281433, 'learning_rate': 6.458203917796546e-07, 'epoch': 0.
90%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 850/947 [2:49:05<15:34, 9.63s/it] 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 851/947 [2:49:15<15:27, 9.66s/it] 90%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 852/947 [2:49:24<15:15, 9.64s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 853/947 [2:49:34<15:05, 9.63s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 854/947 [2:49:43<14:54, 9.61s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 855/947 [2:49:53<14:44, 9.61s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 856/947 [2:50:03<14:34, 9.61s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 857/947 [2:50:12<14:24, 9.60s/it] 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 858/947 [2:50:22<14:15, 9.61s/it] 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 859/947 [2:50:31<14:04, 9.60s/it] 91%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 860/947 [2:50:41<13:55, 9.60s/it] {'loss': 1.0781, 'grad_norm': 0.34100624918937683, 'learning_rate': 5.21845561
91%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 860/947 [2:50:41<13:55, 9.60s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 861/947 [2:50:51<13:46, 9.61s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 862/947 [2:51:00<13:35, 9.60s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 863/947 [2:51:10<13:25, 9.59s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 864/947 [2:51:19<13:16, 9.59s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 865/947 [2:51:29<13:06, 9.59s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 866/947 [2:51:39<12:56, 9.59s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 867/947 [2:51:48<12:49, 9.62s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 868/947 [2:51:58<12:41, 9.65s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 869/947 [2:52:08<12:31, 9.63s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 870/947 [2:52:17<12:20, 9.62s/it] {'loss': 1.0716, 'grad_norm': 0.336028516292572, 'le
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 870/947 [2:52:17<12:20, 9.62s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 871/947 [2:52:27<12:10, 9.61s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 872/947 [2:52:36<12:00, 9.61s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 873/947 [2:52:46<11:50, 9.60s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 874/947 [2:52:55<11:40, 9.60s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 875/947 [2:53:05<11:30, 9.59s/it] 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 876/947 [2:53:15<11:20, 9.59s/it] 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 877/947 [2:53:24<11:10, 9.58s/it] 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 878/947 [2:53:34<11:01, 9.58s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 879/947 [2:53:43<10:52, 9.59s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 880/947 [2:53:53<10:42, 9.60s/it] {'loss': 1.0755, 'grad_nor
93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 880/947 [2:53:53<10:42, 9.60s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 881/947 [2:54:03<10:32, 9.59s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 882/947 [2:54:12<10:22, 9.58s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 883/947 [2:54:22<10:13, 9.58s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 884/947 [2:54:31<10:06, 9.62s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 885/947 [2:54:41<09:58, 9.65s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 886/947 [2:54:51<09:47, 9.63s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 887/947 [2:55:00<09:36, 9.61s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 888/947 [2:55:10<09:26, 9.60s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 889/947 [2:55:19<09:16, 9.60s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 890/947 [2:55:29<09:06, 9.60s/it]
94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 890/947 [2:55:29<09:06, 9.60s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 891/947 [2:55:39<08:57, 9.60s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 892/947 [2:55:48<08:48, 9.60s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 893/947 [2:55:58<08:38, 9.60s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 894/947 [2:56:08<08:29, 9.62s/it] 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 895/947 [2:56:17<08:19, 9.61s/it] 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 896/947 [2:56:27<08:10, 9.61s/it] 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 897/947 [2:56:36<08:00, 9.60s/it] 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 898/947 [2:56:46<07:50, 9.61s/it] 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 899/947 [2:56:56<07:40, 9.60s/it] 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 900/947 [2:57:05<07:30, 9.59s/it]
95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 900/947 [2:57:05<07:30, 9.59s/it] 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 901/947 [2:57:15<07:22, 9.62s/it] 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 902/947 [2:57:24<07:13, 9.64s/it] 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 903/947 [2:57:34<07:03, 9.62s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 904/947 [2:57:44<06:53, 9.62s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 905/947 [2:57:53<06:43, 9.60s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 906/947 [2:58:03<06:33, 9.59s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 907/947 [2:58:12<06:23, 9.59s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 908/947 [2:58:22<06:13, 9.58s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 909/947 [2:58:32<06:03, 9.58s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 910/947 [2:58:41<05:54, 9.58s/it]
96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 910/947 [2:58:41<05:54, 9.58s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 911/947 [2:58:51<05:44, 9.58s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 912/947 [2:59:00<05:35, 9.58s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 913/947 [2:59:10<05:25, 9.57s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 914/947 [2:59:19<05:15, 9.57s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 915/947 [2:59:29<05:06, 9.57s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 916/947 [2:59:39<04:57, 9.58s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 917/947 [2:59:48<04:47, 9.59s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 918/947 [2:59:58<04:39, 9.63s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 919/947 [3:00:08<04:30, 9.64s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 920/947 [3:00:17<04:19, 9.62s/it]
97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 920/947 [3:00:17<04:19, 9.62s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 921/947 [3:00:27<04:10, 9.62s/it] 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 922/947 [3:00:36<04:00, 9.61s/it] 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 923/947 [3:00:46<03:50, 9.61s/it] 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 924/947 [3:00:55<03:40, 9.60s/it] 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 925/947 [3:01:05<03:31, 9.60s/it] 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 926/947 [3:01:15<03:21, 9.59s/it] 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 927/947 [3:01:24<03:11, 9.58s/it] 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 928/947 [3:01:34<03:01, 9.58s/it] 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 929/947 [3:01:43<02:52, 9.58s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 930/947 [3:01:53<02:42, 9.58s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 930/947 [3:01:53<02:42, 9.58s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 931/947 [3:02:03<02:33, 9.57s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 932/947 [3:02:12<02:23, 9.57s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 933/947 [3:02:22<02:13, 9.56s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 934/947 [3:02:31<02:04, 9.56s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 935/947 [3:02:41<01:55, 9.60s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 936/947 [3:02:51<01:45, 9.63s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 937/947 [3:03:00<01:36, 9.61s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 938/947 [3:03:10<01:26, 9.60s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 939/947 [3:03:19<01:16, 9.59s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 940/947 [3:03:29<01:07, 9.59s/it]
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 940/947 [3:03:29<01:07, 9.59s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 941/947 [3:03:38<00:57, 9.59s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 942/947 [3:03:48<00:47, 9.58s/it] 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 943/947 [3:03:58<00:38, 9.58s/it] 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 944/947 [3:04:07<00:28, 9.59s/it] 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊| 945/947 [3:04:17<00:19, 9.59s/it] 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 946/947 [3:04:26<00:09, 9.59s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 947/947 [3:04:36<00:00, 9.59s/it][INFO|trainer.py:3984] 2026-04-20 16:31:14,902 >> Saving model checkpoint to /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-947
[INFO|configuration_utils.py:419] 2026-04-20 16:31:14,906 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-947/config.json
[INFO|configuration_utils.py:911] 2026-04-20 16:31:14,909 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-947/generation_config.json
[INFO|modeling_utils.py:3580] 2026-04-20 16:31:54,416 >> The model is bigger than the maximum size per checkpoint (5GB) and is going to be split in 6 checkpoint shards. You can find where each parameters has been saved in the index located at /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-947/model.safetensors.index.json.
[INFO|tokenization_utils_base.py:2510] 2026-04-20 16:31:54,419 >> tokenizer config file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-947/tokenizer_config.json
[INFO|tokenization_utils_base.py:2519] 2026-04-20 16:31:54,421 >> Special tokens file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-947/special_tokens_map.json
[INFO|trainer.py:4083] 2026-04-20 16:34:47,102 >> Deleting older checkpoint [/scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/checkpoint-600] due to args.save_total_limit
[INFO|trainer.py:2681] 2026-04-20 16:34:51,439 >>
Training completed. Do not forget to share your model on huggingface.co/models =)
{'train_runtime': 11309.6924, 'train_samples_per_second': 10.721, 'train_steps_per_second': 0.084, 'train_loss': 1.100929617000608, 'epoch': 1.0}
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 947/947 [3:08:23<00:00, 9.59s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 947/947 [3:08:23<00:00, 11.94s/it]
***** train metrics *****
epoch = 0.9995
total_flos = 2624736263GF
train_loss = 1.1009
train_runtime = 3:08:29.69
train_samples = 207864
train_samples_per_second = 10.721
train_steps_per_second = 0.084
2026-04-20 16:34:51 - INFO - __main__ - *** Save model ***
[INFO|configuration_utils.py:419] 2026-04-20 16:35:08,707 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/config.json
[INFO|configuration_utils.py:911] 2026-04-20 16:35:08,709 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/generation_config.json
[INFO|modeling_utils.py:3580] 2026-04-20 16:35:53,632 >> The model is bigger than the maximum size per checkpoint (5GB) and is going to be split in 7 checkpoint shards. You can find where each parameters has been saved in the index located at /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/model.safetensors.index.json.
[INFO|tokenization_utils_base.py:2510] 2026-04-20 16:35:53,635 >> tokenizer config file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/tokenizer_config.json
[INFO|tokenization_utils_base.py:2519] 2026-04-20 16:35:53,638 >> Special tokens file saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/special_tokens_map.json
2026-04-20 16:35:53 - INFO - __main__ - Saved HF-compatible model artifacts to /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036
2026-04-20 16:35:53 - INFO - __main__ - Saved validated HF-compatible model artifacts to /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036
[INFO|modelcard.py:450] 2026-04-20 16:35:53,848 >> Dropping the following result as it does not have all the necessary fields:
{'dataset': {'name': 'HuggingFaceH4/ultrachat_200k', 'type': 'HuggingFaceH4/ultrachat_200k', 'config': 'default', 'split': 'train', 'args': 'default'}}
[INFO|configuration_utils.py:419] 2026-04-20 16:35:53,855 >> Configuration saved in /scratch/qu.yang1/dynamic-dpo-v4/outputs/qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036/config.json
2026-04-20 16:35:53 - INFO - __main__ - *** Evaluate ***
[INFO|trainer.py:4307] 2026-04-20 16:35:53,857 >>
***** Running Evaluation *****
[INFO|trainer.py:4309] 2026-04-20 16:35:53,857 >> Num examples = 13417
[INFO|trainer.py:4312] 2026-04-20 16:35:53,857 >> Batch size = 16
0%| | 0/210 [00:00<?, ?it/s] 1%|█ | 2/210 [00:01<02:11, 1.58it/s] 1%|█▋ | 3/210 [00:02<03:05, 1.12it/s] 2%|██▏ | 4/210 [00:03<03:32, 1.03s/it] 2%|██▋ | 5/210 [00:05<03:47, 1.11s/it] 3%|███▎ | 6/210 [00:06<03:57, 1.16s/it] 3%|███▊ | 7/210 [00:07<04:02, 1.19s/it] 4%|████▎ | 8/210 [00:08<04:06, 1.22s/it] 4%|████▉ | 9/210 [00:10<04:07, 1.23s/it] 5%|█████▍ | 10/210 [00:11<04:08, 1.24s/it] 5%|█████▉ | 11/210 [00:12<04:08, 1.25s/it] 6%|██████▍ | 12/210 [00:13<04:08, 1.26s/it] 6%|██████▉ | 13/210 [00:15<04:08, 1.26s/it] 7%|███████▌ | 14/210 [00:16<04:06, 1.26s/it] 7%|████████ | 15/210 [00:17<04:06, 1.26s/it] 8%|████████▌ | 16/210 [00:18<04:05, 1.27s/it] 8%|█████████▏ | 17/210 [00:20<04:04, 1.27s/it] 9%|█████████▋ | 18/210 [00:21<04:03, 1.27s/it] 9%|██████████▏ | 19/210 [00:22<04:01, 1.27s/it] 10%|██████████▊ | 20/210 [00:24<04:00, 1.27s/it] 10%|███████████▎ | 21/210 [00:25<03:59, 1.27s/it] 10%|███████████▊ | 22/210 [00:26<03:58, 1.27s/it] 11%|████████████▍ | 23/210 [00:27<03:57, 1.27s/it] 11%|████████████▉ | 24/210 [00:29<03:56, 1.27s/it] 12%|█████████████▍
***** eval metrics *****
epoch = 0.9995
eval_loss = 1.0842
eval_runtime = 0:04:28.58
eval_samples = 23109
eval_samples_per_second = 49.954
eval_steps_per_second = 0.782
2026-04-20 16:40:22 - INFO - __main__ - *** Training complete ***
wandb: - 0.014 MB of 0.014 MB uploaded wandb: \ 0.014 MB of 0.014 MB uploaded wandb: | 0.043 MB of 0.098 MB uploaded (0.002 MB deduped) wandb: / 0.046 MB of 0.101 MB uploaded (0.002 MB deduped) wandb:
wandb: Run history:
wandb: eval/loss █▅▃▁▁
wandb: eval/runtime ▇█▆▁▃
wandb: eval/samples_per_second ▂▁▃█▆
wandb: eval/steps_per_second ▃▁▃█▆
wandb: train/epoch ▁▁▁▂▂▂▂▂▂▃▃▃▃▃▄▄▄▄▄▄▅▅▅▅▅▆▆▆▆▆▆▇▇▇▇▇████
wandb: train/global_step ▁▁▁▂▂▂▂▂▂▃▃▃▃▃▄▄▄▄▄▄▅▅▅▅▅▆▆▆▆▆▆▇▇▇▇▇████
wandb: train/grad_norm █▂▃▂▂▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁
wandb: train/learning_rate ▁▂▄▆███████▇▇▇▇▆▆▆▆▅▅▅▄▄▄▄▃▃▃▂▂▂▂▂▁▁▁▁▁▁
wandb: train/loss █▆▄▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▁▁▁▂▁▁▁▁▁▁▁▁▁▁▂▁▁▁▁▁▁▁
wandb:
wandb: Run summary:
wandb: eval/loss 1.08421
wandb: eval/runtime 268.589
wandb: eval/samples_per_second 49.954
wandb: eval/steps_per_second 0.782
wandb: total_flos 2.8182891025525637e+18
wandb: train/epoch 0.99947
wandb: train/global_step 947
wandb: train/grad_norm 0.34045
wandb: train/learning_rate 0.0
wandb: train/loss 1.0701
wandb: train_loss 1.10093
wandb: train_runtime 11309.6924
wandb: train_samples_per_second 10.721
wandb: train_steps_per_second 0.084
wandb:
wandb: 🚀 View run qwen3-8b-base-sft-ultrachat-4xh200-batch-128-20260420-124036 at: https://wandb.ai/feng-cheng-northeastern-university/huggingface/runs/vxbimnp0
wandb: ⭐️ View project at: https://wandb.ai/feng-cheng-northeastern-university/huggingface
wandb: Synced 6 W&B file(s), 0 media file(s), 2 artifact file(s) and 0 other file(s)
wandb: Find logs at: /scratch/qu.yang1/dynamic-dpo-v4/wandb/wandb/run-20260420_132623-vxbimnp0/logs
wandb: WARNING The new W&B backend becomes opt-out in version 0.18.0; try it out with `wandb.require("core")`! See https://wandb.me/wandb-core for more information.
Reference in New Issue Copy Permalink