2026-04-21 23:39:48 - INFO - __main__ - Model parameters ModelArguments(base_model_revision=None, model_name_or_path='/root/dynamic-dpo-v4/sft-checkpoints/llama-3-8b-base-sft-hh-helpful-4xh200', model_revision='main', model_code_revision=None, torch_dtype='bfloat16', tokenizer_name_or_path=None, trust_remote_code=False, attn_implementation='flash_attention_2', use_peft=False, lora_r=16, lora_alpha=32, lora_dropout=0.05, lora_target_modules=None, lora_modules_to_save=None, load_in_8bit=False, load_in_4bit=False, bnb_4bit_quant_type='nf4', use_bnb_nested_quant=False, bnb_4bit_quant_storage='uint8') 2026-04-21 23:39:48 - INFO - __main__ - Data parameters DataArguments(chat_template=None, dataset_mixer={'Anthropic/hh-rlhf': 1.0}, text_column='text', dataset_splits=['train', 'test'], dataset_configs=['helpful-base'], dataset_dir=None, preprocessing_num_workers=12, use_persistent_hf_cache=True, hf_cache_dir='/root/dynamic-dpo-v4/outputs/hf/datasets', truncation_side=None, auto_insert_empty_system_msg=True, preprocessing_log_samples=0, preprocessing_log_dir=None) 2026-04-21 23:39:48 - INFO - __main__ - Training/evaluation parameters NewDPOConfig( _n_gpu=1, accelerator_config={'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None, 'use_configured_state': False}, adafactor=False, adam_beta1=0.9, adam_beta2=0.999, adam_epsilon=1e-08, auto_find_batch_size=False, average_tokens_across_devices=False, batch_eval_metrics=False, beta=0.1, bf16=True, bf16_full_eval=False, data_seed=None, dataloader_drop_last=True, dataloader_num_workers=0, dataloader_persistent_workers=False, dataloader_pin_memory=True, dataloader_prefetch_factor=None, dataset_num_proc=12, ddp_backend=None, ddp_broadcast_buffers=None, ddp_bucket_cap_mb=None, ddp_find_unused_parameters=None, ddp_timeout=1800, debug=[], deepspeed=None, disable_dropout=True, disable_tqdm=False, do_eval=True, do_predict=False, do_train=False, eta=0.1, eval_accumulation_steps=None, eval_delay=0, eval_do_concat_batches=True, eval_on_start=False, eval_steps=200, eval_strategy=IntervalStrategy.STEPS, eval_use_gather_object=False, f_alpha_divergence_coef=1.0, f_divergence_type=reverse_kl, force_use_ref_model=False, fp16=False, fp16_backend=auto, fp16_full_eval=False, fp16_opt_level=O1, fsdp=[], fsdp_config={'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}, fsdp_min_num_params=0, fsdp_transformer_layer_cls_to_wrap=None, full_determinism=False, generate_during_eval=False, gradient_accumulation_steps=2, gradient_checkpointing=True, gradient_checkpointing_kwargs={'use_reentrant': False}, greater_is_better=None, group_by_length=False, half_precision_backend=auto, hub_always_push=False, hub_margin_dataset_id=None, hub_model_id=jackf857/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802, hub_model_revision=main, hub_private_repo=None, hub_strategy=HubStrategy.EVERY_SAVE, hub_token=, ignore_data_skip=False, include_for_metrics=[], include_inputs_for_metrics=False, include_num_input_tokens_seen=False, include_tokens_per_second=False, is_encoder_decoder=None, jit_mode_eval=False, label_names=None, label_pad_token_id=-100, label_smoothing=0.0, label_smoothing_factor=0.0, learning_rate=5e-07, length_column_name=length, load_best_model_at_end=False, local_rank=0, log_level=info, log_level_replica=warning, log_on_each_node=True, logging_dir=outputs/llama3-8b-base-new-method-s_star0.85/runs/Apr21_23-39-47_4ab23a513308, logging_first_step=True, logging_nan_inf_filter=True, logging_steps=5, logging_strategy=IntervalStrategy.STEPS, loss_type=sigmoid, lr_scheduler_kwargs={}, lr_scheduler_type=SchedulerType.COSINE, margin_dataset_private=None, margin_dataset_split=train, margin_log_path=/root/dynamic-dpo-v4/outputs/outputs/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802/margin_logs, margin_log_steps=1, margin_save_full=True, max_grad_norm=1.0, max_length=512, max_prompt_length=256, max_steps=-1, max_target_length=None, metric_for_best_model=None, model_adapter_name=None, model_init_kwargs=None, mp_parameters=, neftune_noise_alpha=None, no_cuda=False, non_finite_logits_handling=error, num_train_epochs=1, optim=OptimizerNames.ADAMW_TORCH, optim_args=None, optim_target_modules=None, output_dir=/root/dynamic-dpo-v4/outputs/outputs/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802, overwrite_output_dir=False, padding_value=None, past_index=-1, per_device_eval_batch_size=8, per_device_train_batch_size=8, post_tokenization_log_dir=None, post_tokenization_log_samples=0, precompute_ref_batch_size=None, precompute_ref_eval_batch_size=None, precompute_ref_log_probs=False, prediction_loss_only=False, push_margin_dataset=True, push_to_hub=True, push_to_hub_model_id=None, push_to_hub_organization=None, push_to_hub_token=, q_target=0.45, ray_scope=last, ref_adapter_name=None, ref_model_init_kwargs=None, ref_model_mixup_alpha=0.9, ref_model_sync_steps=64, reference_free=False, remove_unused_columns=False, report_to=['wandb'], require_explicit_ref_model=True, restore_callback_states_from_checkpoint=False, resume_from_checkpoint=None, reuse_tokenized_dataset=True, rpo_alpha=None, run_name=llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802, s_star=0.85, save_on_each_node=False, save_only_model=False, save_safetensors=True, save_steps=50, save_strategy=SaveStrategy.NO, save_total_limit=2, seed=42, sft_weight=0.0, skip_memory_metrics=True, sync_ref_model=False, tf32=None, tokenization_batch_size=128, tokenization_mode=online, tokenized_dataset_cache_dir=/root/dynamic-dpo-v4/outputs/tokenized_preferences, torch_compile=False, torch_compile_backend=None, torch_compile_mode=None, torch_empty_cache_steps=None, torchdynamo=None, tp_size=0, tpu_metrics_debug=False, tpu_num_cores=None, trainer_type=new_dpo, truncation_mode=keep_end, use_cpu=False, use_ipex=False, use_legacy_prediction_loop=False, use_liger_kernel=False, use_mps_device=False, wandb_project=llama3-8b-base-new-method-hh-beta-0.1, warmup_ratio=0.1, warmup_steps=0, weight_decay=0.0, ) 2026-04-21 23:39:48 - INFO - __main__ - Using W&B project from training args: llama3-8b-base-new-method-hh-beta-0.1 2026-04-21 23:39:48 - INFO - __main__ - New-DPO parameters: beta=0.1, q_target=0.45, s_star=0.85, eta=0.1 2026-04-21 23:39:48 - INFO - __main__ - Using persistent HF datasets cache at /root/dynamic-dpo-v4/outputs/hf/datasets Downloading readme: 0%| | 0.00/5.77k [00:00> loading file tokenizer.json [INFO|tokenization_utils_base.py:2058] 2026-04-21 23:40:00,308 >> loading file tokenizer.model [INFO|tokenization_utils_base.py:2058] 2026-04-21 23:40:00,308 >> loading file added_tokens.json [INFO|tokenization_utils_base.py:2058] 2026-04-21 23:40:00,308 >> loading file special_tokens_map.json [INFO|tokenization_utils_base.py:2058] 2026-04-21 23:40:00,308 >> loading file tokenizer_config.json [INFO|tokenization_utils_base.py:2058] 2026-04-21 23:40:00,308 >> loading file chat_template.jinja [INFO|tokenization_utils_base.py:2323] 2026-04-21 23:40:00,686 >> Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained. Formatting comparisons with prompt template (num_proc=12): 1%|▋ | 300/43598 [00:00<01:42, 424.28 examples/s] Formatting comparisons with prompt template (num_proc=12): 0%| | 0/43598 [00:00> You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on CPU with `model.to('cuda')`. Formatting comparisons with prompt template (num_proc=12): 83%|███████████████████████████████████████████████████████████████████████████▊ | 1950/2339 [00:02<00:00, 1326.95 examples/s] Loading checkpoint shards: 0%| | 0/7 [00:00> Trainer.tokenizer is now deprecated. You should use `Trainer.processing_class = processing_class` instead. Formatting comparisons with prompt template (num_proc=12): 92%|███████████████████████████████████████████████████████████████████████████████████▍ | 2145/2339 [00:02<00:00, 1290.71 examples/s] Formatting comparisons with prompt template (num_proc=12): 92%|███████████████████████████████████████████████████████████████████████████████████▍ | 2145/2339 [00:01<00:00, 1774.39 examples/s] Formatting comparisons with prompt template (num_proc=12): 58%|█████████████████████████████████████████████████████ | 1365/2339 [00:01<00:00, 1100.99 examples/s] Formatting comparisons with prompt template (num_proc=12): 100%|███████████████████████████████████████████████████████████████████████████████████████████| 2339/2339 [00:02<00:00, 1257.73 examples/s] Formatting comparisons with prompt template (num_proc=12): 100%|███████████████████████████████████████████████████████████████████████████████████████████| 2339/2339 [00:01<00:00, 1289.93 examples/s] Formatting comparisons with prompt template (num_proc=12): 67%|████████████████████████████████████████████████████████████▋ | 1560/2339 [00:01<00:00, 1131.21 examples/s] Formatting comparisons with prompt template (num_proc=12): 100%|████████████████████████████████████████████████████████████████████████████████████████████| 2339/2339 [00:02<00:00, 962.01 examples/s] 2026-04-21 23:40:06 - INFO - __main__ - Processed train sample 41905: Prompt: <|begin_of_text|><|start_header_id|>user<|end_header_id|> What is the best way to clean my refrigerator?<|eot_id|><|start_header_id|>assistant<|end_header_id|> Well, I have a few ideas, but the best way to know what works best is to run some tests and then analyze the data to figure out which technique works best.<|eot_id|><|start_header_id|>user<|end_header_id|> What are your ideas?<|eot_id|> Chosen: <|start_header_id|>assistant<|end_header_id|> Some of my ideas include wiping down the interior with a rag, using bleach and water to wipe down the door, emptying the contents of the fridge to scrub the shelves with a clean cloth, cleaning the interior of the fridge with vinegar and water, and using a vacuum cleaner to clean the interior.<|eot_id|> Rejected: <|start_header_id|>assistant<|end_header_id|> I was thinking that you could try different types of soap, which could be a variation of “soap,” like antibacterial soap. I was also thinking that you could try using different tools, like a toothbrush, to clean the inside. Or I was thinking that you could try different ways to get the gunk out, like using a squeegee, or using a paper towel. I was also thinking you could try other types of cleaning, like vacuuming, but I think that could have the opposite of the desired effect.<|eot_id|> /root/dynamic-dpo-v4/scripts/tokenized_dpo_trainer.py:391: UserWarning: You passed a model_id to the trainer. This will automatically create an `AutoModelForCausalLM` or a `PeftModel` (if you passed a `peft_config`) for you. warnings.warn( [INFO|configuration_utils.py:691] 2026-04-21 23:40:06,096 >> loading configuration file /root/dynamic-dpo-v4/sft-checkpoints/llama-3-8b-base-sft-hh-helpful-4xh200/config.json [INFO|configuration_utils.py:765] 2026-04-21 23:40:06,098 >> Model config LlamaConfig { "architectures": [ "LlamaForCausalLM" ], "attention_bias": false, "attention_dropout": 0.0, "bos_token_id": 128000, "eos_token_id": 128001, "head_dim": 128, "hidden_act": "silu", "hidden_size": 4096, "initializer_range": 0.02, "intermediate_size": 14336, "max_position_embeddings": 8192, "mlp_bias": false, "model_type": "llama", "num_attention_heads": 32, "num_hidden_layers": 32, "num_key_value_heads": 8, "pretraining_tp": 1, "rms_norm_eps": 1e-05, "rope_scaling": null, "rope_theta": 500000.0, "tie_word_embeddings": false, "torch_dtype": "bfloat16", "transformers_version": "4.51.0", "use_cache": false, "vocab_size": 128256 } [INFO|modeling_utils.py:1121] 2026-04-21 23:40:06,119 >> loading weights file /root/dynamic-dpo-v4/sft-checkpoints/llama-3-8b-base-sft-hh-helpful-4xh200/model.safetensors.index.json [INFO|modeling_utils.py:2167] 2026-04-21 23:40:06,119 >> Instantiating LlamaForCausalLM model under default dtype torch.bfloat16. [WARNING|logging.py:328] 2026-04-21 23:40:06,121 >> You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on CPU with `model.to('cuda')`. [INFO|configuration_utils.py:1142] 2026-04-21 23:40:06,123 >> Generate config GenerationConfig { "bos_token_id": 128000, "eos_token_id": 128001, "use_cache": false } /root/dynamic-dpo-v4/scripts/tokenized_dpo_trainer.py:391: UserWarning: You passed a model_id to the trainer. This will automatically create an `AutoModelForCausalLM` or a `PeftModel` (if you passed a `peft_config`) for you. warnings.warn( Loading checkpoint shards: 0%| | 0/7 [00:00> You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on CPU with `model.to('cuda')`. Formatting comparisons with prompt template (num_proc=12): 75%|████████████████████████████████████████████████████████████████████▎ | 1755/2339 [00:01<00:00, 1128.68 examples/s] Loading checkpoint shards: 0%| | 0/7 [00:00> Trainer.tokenizer is now deprecated. You should use `Trainer.processing_class = processing_class` instead. Formatting comparisons with prompt template (num_proc=12): 83%|███████████████████████████████████████████████████████████████████████████▊ | 1950/2339 [00:02<00:00, 1164.13 examples/s] Formatting comparisons with prompt template (num_proc=12): 92%|███████████████████████████████████████████████████████████████████████████████████▍ | 2144/2339 [00:02<00:00, 1226.02 examples/s] Formatting comparisons with prompt template (num_proc=12): 92%|████████████████████████████████████████████████████████████████████████████████████▎ | 2144/2339 [00:02<00:00, 929.94 examples/s] /root/dynamic-dpo-v4/scripts/tokenized_dpo_trainer.py:391: UserWarning: You passed a model_id to the trainer. This will automatically create an `AutoModelForCausalLM` or a `PeftModel` (if you passed a `peft_config`) for you. warnings.warn( [WARNING|logging.py:328] 2026-04-21 23:40:06,668 >> You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on CPU with `model.to('cuda')`. Loading checkpoint shards: 0%| | 0/7 [00:00> Trainer.tokenizer is now deprecated. You should use `Trainer.processing_class = processing_class` instead. Loading checkpoint shards: 14%|███████████████████▋ | 1/7 [00:01<00:10, 1.67s/it] Loading checkpoint shards: 29%|███████████████████████████████████████▍ | 2/7 [00:03<00:08, 1.61s/it] Loading checkpoint shards: 43%|███████████████████████████████████████████████████████████▏ | 3/7 [00:04<00:06, 1.63s/it] Loading checkpoint shards: 57%|██████████████████████████████████████████████████████████████████████████████▊ | 4/7 [00:06<00:04, 1.64s/it] Loading checkpoint shards: 71%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 5/7 [00:08<00:03, 1.60s/it] Loading checkpoint shards: 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 6/7 [00:09<00:01, 1.62s/it] Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:10<00:00, 1.35s/it] Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:10<00:00, 1.50s/it] [INFO|modeling_utils.py:4926] 2026-04-21 23:40:16,675 >> All model checkpoint weights were used when initializing LlamaForCausalLM. [INFO|modeling_utils.py:4934] 2026-04-21 23:40:16,676 >> All the weights of LlamaForCausalLM were initialized from the model checkpoint at /root/dynamic-dpo-v4/sft-checkpoints/llama-3-8b-base-sft-hh-helpful-4xh200. If your task is similar to the task the model of the checkpoint was trained on, you can already use LlamaForCausalLM for predictions without further training. [INFO|configuration_utils.py:1095] 2026-04-21 23:40:16,678 >> loading configuration file /root/dynamic-dpo-v4/sft-checkpoints/llama-3-8b-base-sft-hh-helpful-4xh200/generation_config.json [INFO|configuration_utils.py:1142] 2026-04-21 23:40:16,679 >> Generate config GenerationConfig { "bos_token_id": 128000, "do_sample": true, "eos_token_id": 128001, "max_length": 4096, "temperature": 0.6, "top_p": 0.9 } [INFO|configuration_utils.py:691] 2026-04-21 23:40:16,680 >> loading configuration file /root/dynamic-dpo-v4/sft-checkpoints/llama-3-8b-base-sft-hh-helpful-4xh200/config.json [INFO|configuration_utils.py:765] 2026-04-21 23:40:16,680 >> Model config LlamaConfig { "architectures": [ "LlamaForCausalLM" ], "attention_bias": false, "attention_dropout": 0.0, "bos_token_id": 128000, "eos_token_id": 128001, "head_dim": 128, "hidden_act": "silu", "hidden_size": 4096, "initializer_range": 0.02, "intermediate_size": 14336, "max_position_embeddings": 8192, "mlp_bias": false, "model_type": "llama", "num_attention_heads": 32, "num_hidden_layers": 32, "num_key_value_heads": 8, "pretraining_tp": 1, "rms_norm_eps": 1e-05, "rope_scaling": null, "rope_theta": 500000.0, "tie_word_embeddings": false, "torch_dtype": "bfloat16", "transformers_version": "4.51.0", "use_cache": false, "vocab_size": 128256 } [INFO|modeling_utils.py:1121] 2026-04-21 23:40:16,681 >> loading weights file /root/dynamic-dpo-v4/sft-checkpoints/llama-3-8b-base-sft-hh-helpful-4xh200/model.safetensors.index.json [INFO|modeling_utils.py:2167] 2026-04-21 23:40:16,681 >> Instantiating LlamaForCausalLM model under default dtype torch.bfloat16. [INFO|configuration_utils.py:1142] 2026-04-21 23:40:16,684 >> Generate config GenerationConfig { "bos_token_id": 128000, "eos_token_id": 128001, "use_cache": false } Loading checkpoint shards: 0%| | 0/7 [00:00> All model checkpoint weights were used when initializing LlamaForCausalLM. [INFO|modeling_utils.py:4934] 2026-04-21 23:40:27,021 >> All the weights of LlamaForCausalLM were initialized from the model checkpoint at /root/dynamic-dpo-v4/sft-checkpoints/llama-3-8b-base-sft-hh-helpful-4xh200. If your task is similar to the task the model of the checkpoint was trained on, you can already use LlamaForCausalLM for predictions without further training. [INFO|configuration_utils.py:1095] 2026-04-21 23:40:27,023 >> loading configuration file /root/dynamic-dpo-v4/sft-checkpoints/llama-3-8b-base-sft-hh-helpful-4xh200/generation_config.json [INFO|configuration_utils.py:1142] 2026-04-21 23:40:27,023 >> Generate config GenerationConfig { "bos_token_id": 128000, "do_sample": true, "eos_token_id": 128001, "max_length": 4096, "temperature": 0.6, "top_p": 0.9 } [WARNING|trainer.py:821] 2026-04-21 23:40:27,025 >> Trainer.tokenizer is now deprecated. You should use `Trainer.processing_class = processing_class` instead. [WARNING|trainer.py:816] 2026-04-21 23:40:27,025 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. Tokenizing train (num_proc=12): 0%| | 0/43598 [00:00> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. Saving the dataset (0/2 shards): 0%| | 0/43598 [00:00> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. Tokenizing test (num_proc=12): 0%| | 0/2339 [00:00> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. Saving the dataset (0/1 shards): 0%| | 0/2339 [00:00> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,263 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,264 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,274 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,275 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,277 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,278 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,278 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,278 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,281 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. /root/dynamic-dpo-v4/scripts/tokenized_dpo_trainer.py:518: FutureWarning: `tokenizer` is deprecated and will be removed in version 5.0.0 for `NewDPOTrainer.__init__`. Use `processing_class` instead. super().__init__( [WARNING|trainer.py:816] 2026-04-22 00:00:45,285 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. [WARNING|trainer.py:816] 2026-04-22 00:00:45,285 >> Trainer.tokenizer is now deprecated. You should use Trainer.processing_class instead. /root/dynamic-dpo-v4/scripts/tokenized_dpo_trainer.py:518: FutureWarning: `tokenizer` is deprecated and will be removed in version 5.0.0 for `NewDPOTrainer.__init__`. Use `processing_class` instead. super().__init__( /root/dynamic-dpo-v4/scripts/tokenized_dpo_trainer.py:518: FutureWarning: `tokenizer` is deprecated and will be removed in version 5.0.0 for `NewDPOTrainer.__init__`. Use `processing_class` instead. super().__init__( [INFO|trainer.py:748] 2026-04-22 00:00:45,813 >> Using auto half precision backend /root/dynamic-dpo-v4/.venv/lib/python3.11/site-packages/accelerate/accelerator.py:1557: UserWarning: Upcasted low precision parameters in LlamaForCausalLM because mixed precision turned on in FSDP. Affects: model.embed_tokens.weight, model.norm.weight, lm_head.weight. warnings.warn( /root/dynamic-dpo-v4/.venv/lib/python3.11/site-packages/accelerate/accelerator.py:1557: UserWarning: Upcasted low precision parameters in LlamaDecoderLayer because mixed precision turned on in FSDP. Affects: self_attn.q_proj.weight, self_attn.k_proj.weight, self_attn.v_proj.weight, self_attn.o_proj.weight, mlp.gate_proj.weight, mlp.up_proj.weight, mlp.down_proj.weight, input_layernorm.weight, post_attention_layernorm.weight. warnings.warn( /root/dynamic-dpo-v4/.venv/lib/python3.11/site-packages/accelerate/accelerator.py:1563: UserWarning: FSDP upcast of low precision parameters may affect the precision of model checkpoints. warnings.warn( [INFO|trainer.py:2414] 2026-04-22 00:00:54,288 >> ***** Running training ***** [INFO|trainer.py:2415] 2026-04-22 00:00:54,288 >> Num examples = 43,598 [INFO|trainer.py:2416] 2026-04-22 00:00:54,288 >> Num Epochs = 1 [INFO|trainer.py:2417] 2026-04-22 00:00:54,288 >> Instantaneous batch size per device = 8 [INFO|trainer.py:2420] 2026-04-22 00:00:54,288 >> Total train batch size (w. parallel, distributed & accumulation) = 64 [INFO|trainer.py:2421] 2026-04-22 00:00:54,288 >> Gradient Accumulation steps = 2 [INFO|trainer.py:2422] 2026-04-22 00:00:54,288 >> Total optimization steps = 681 [INFO|trainer.py:2423] 2026-04-22 00:00:54,289 >> Number of trainable parameters = 2,007,565,312 [INFO|integration_utils.py:831] 2026-04-22 00:00:54,289 >> Automatic Weights & Biases logging enabled, to disable set os.environ["WANDB_DISABLED"] = "true" wandb: Currently logged in as: feng-cheng (feng-cheng-northeastern-university). Use `wandb login --relogin` to force relogin wandb: - Waiting for wandb.init()... wandb: \ Waiting for wandb.init()... wandb: wandb version 0.26.0 is available! To upgrade, please run: wandb: $ pip install wandb --upgrade wandb: Tracking run with wandb version 0.17.5 wandb: Run data is saved locally in /root/dynamic-dpo-v4/outputs/wandb/wandb/run-20260422_000055-zcqg1rl4 wandb: Run `wandb offline` to turn off syncing. wandb: Syncing run llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802 wandb: ⭐️ View project at https://wandb.ai/feng-cheng-northeastern-university/llama3-8b-base-new-method-hh-beta-0.1 wandb: 🚀 View run at https://wandb.ai/feng-cheng-northeastern-university/llama3-8b-base-new-method-hh-beta-0.1/runs/zcqg1rl4 0%| | 0/681 [00:00> Could not estimate the number of tokens of the input, floating-point operations will not be computed [WARNING|modeling_utils.py:1713] 2026-04-22 00:00:58,847 >> Could not estimate the number of tokens of the input, floating-point operations will not be computed [WARNING|modeling_utils.py:1713] 2026-04-22 00:00:58,847 >> Could not estimate the number of tokens of the input, floating-point operations will not be computed [WARNING|modeling_utils.py:1713] 2026-04-22 00:00:58,855 >> Could not estimate the number of tokens of the input, floating-point operations will not be computed 0%|▏ | 1/681 [00:02<31:20, 2.77s/it] {'loss': 1.389, 'grad_norm': 83.52236938476562, 'learning_rate': 0.0, 'fcm_dpo/beta': 0.10000000149011612, 'fcm_dpo/q_t': 0.5005706548690796, 'fcm_dpo/delta': 0.0, 'fcm_dpo/margin': -0.02287006378173828, 'margin_dpo/margin_mean': -0.02287048101425171, 'margin_dpo/margin_std': 0.41920793056488037, 'logps/chosen': -50.1435661315918, 'logps/rejected': -74.09991455078125, 'logps/ref_chosen': -50.14883804321289, 'logps/ref_rejected': -74.1280517578125, 'logits/chosen': -0.4974287748336792, 'logits/rejected': -0.43299180269241333, 'epoch': 0.0} 0%|▏ | 1/681 [00:02<31:20, 2.77s/it] 0%|▍ | 2/681 [00:05<29:27, 2.60s/it] 0%|▋ | 3/681 [00:07<29:01, 2.57s/it] 1%|▉ | 4/681 [00:10<29:18, 2.60s/it] 1%|█▏ | 5/681 [00:12<29:02, 2.58s/it] {'loss': 1.3898, 'grad_norm': 89.65718078613281, 'learning_rate': 2.898550724637681e-08, 'fcm_dpo/beta': 0.10000000894069672, 'fcm_dpo/q_t': 0.5008123517036438, 'fcm_dpo/delta': 0.0, 'fcm_dpo/margin': -0.03249748796224594, 'margin_dpo/margin_mean': -0.03249724209308624, 'margin_dpo/margin_std': 0.34048572182655334, 'logps/chosen': -56.06619644165039, 'logps/rejected': -78.66961669921875, 'logps/ref_chosen': -56.05734634399414, 'logps/ref_rejected': -78.69325256347656, 'logits/chosen': -0.4900774359703064, 'logits/rejected': -0.453380823135376, 'epoch': 0.01} 1%|█▏ | 5/681 [00:13<29:02, 2.58s/it] 1%|█▍ | 6/681 [00:15<27:33, 2.45s/it] 1%|█▋ | 7/681 [00:17<26:53, 2.39s/it] 1%|█▉ | 8/681 [00:19<26:37, 2.37s/it] 1%|██▏ | 9/681 [00:22<27:09, 2.42s/it] 1%|██▍ | 10/681 [00:24<27:47, 2.49s/it] {'loss': 1.3888, 'grad_norm': 70.88235473632812, 'learning_rate': 6.521739130434782e-08, 'fcm_dpo/beta': 0.10000000894069672, 'fcm_dpo/q_t': 0.5005213022232056, 'fcm_dpo/delta': 0.0, 'fcm_dpo/margin': -0.020858580246567726, 'margin_dpo/margin_mean': -0.02085849642753601, 'margin_dpo/margin_std': 0.38151517510414124, 'logps/chosen': -59.54156494140625, 'logps/rejected': -91.14656066894531, 'logps/ref_chosen': -59.54457473754883, 'logps/ref_rejected': -91.17041778564453, 'logits/chosen': -0.5124648809432983, 'logits/rejected': -0.4746035933494568, 'epoch': 0.01} 1%|██▍ | 10/681 [00:24<27:47, 2.49s/it] 2%|██▌ | 11/681 [00:27<28:28, 2.55s/it] 2%|██▊ | 12/681 [00:30<28:33, 2.56s/it] 2%|███ | 13/681 [00:32<28:51, 2.59s/it] 2%|███▎ | 14/681 [00:35<28:26, 2.56s/it] 2%|███▌ | 15/681 [00:37<28:16, 2.55s/it] {'loss': 1.3876, 'grad_norm': 64.12911987304688, 'learning_rate': 1.0144927536231885e-07, 'fcm_dpo/beta': 0.10000000894069672, 'fcm_dpo/q_t': 0.5002168416976929, 'fcm_dpo/delta': 0.0, 'fcm_dpo/margin': -0.008700313977897167, 'margin_dpo/margin_mean': -0.008700350299477577, 'margin_dpo/margin_std': 0.3919045627117157, 'logps/chosen': -58.85633087158203, 'logps/rejected': -92.95516967773438, 'logps/ref_chosen': -58.83195877075195, 'logps/ref_rejected': -92.93949890136719, 'logits/chosen': -0.4861031174659729, 'logits/rejected': -0.45661497116088867, 'epoch': 0.02} 2%|███▌ | 15/681 [00:37<28:16, 2.55s/it] 2%|███▊ | 16/681 [00:40<27:54, 2.52s/it] 2%|████ | 17/681 [00:42<27:37, 2.50s/it] 3%|████▎ | 18/681 [00:45<27:32, 2.49s/it] 3%|████▌ | 19/681 [00:47<27:37, 2.50s/it] 3%|████▊ | 20/681 [00:50<27:34, 2.50s/it] {'loss': 1.3805, 'grad_norm': 73.97709655761719, 'learning_rate': 1.3768115942028986e-07, 'fcm_dpo/beta': 0.10000000894069672, 'fcm_dpo/q_t': 0.4984763562679291, 'fcm_dpo/delta': 0.0, 'fcm_dpo/margin': 0.060948461294174194, 'margin_dpo/margin_mean': 0.06094840168952942, 'margin_dpo/margin_std': 0.3420618772506714, 'logps/chosen': -59.64154815673828, 'logps/rejected': -82.82310485839844, 'logps/ref_chosen': -59.6396598815918, 'logps/ref_rejected': -82.76026916503906, 'logits/chosen': -0.5145794153213501, 'logits/rejected': -0.46688389778137207, 'epoch': 0.03} 3%|████▊ | 20/681 [00:50<27:34, 2.50s/it] 3%|████▉ | 21/681 [00:52<27:25, 2.49s/it] 3%|█████▏ | 22/681 [00:55<27:57, 2.54s/it] 3%|█████▍ | 23/681 [00:58<28:58, 2.64s/it] 4%|█████▋ | 24/681 [01:00<28:52, 2.64s/it] 4%|█████▉ | 25/681 [01:03<28:50, 2.64s/it] {'loss': 1.3678, 'grad_norm': 74.20327758789062, 'learning_rate': 1.7391304347826085e-07, 'fcm_dpo/beta': 0.10000000894069672, 'fcm_dpo/q_t': 0.49522167444229126, 'fcm_dpo/delta': 0.0, 'fcm_dpo/margin': 0.19125637412071228, 'margin_dpo/margin_mean': 0.19125640392303467, 'margin_dpo/margin_std': 0.4390522539615631, 'logps/chosen': -53.17488479614258, 'logps/rejected': -89.15694427490234, 'logps/ref_chosen': -53.205284118652344, 'logps/ref_rejected': -88.99608612060547, 'logits/chosen': -0.5046600103378296, 'logits/rejected': -0.47779035568237305, 'epoch': 0.04} 4%|█████▉ | 25/681 [01:03<28:50, 2.64s/it] 4%|██████▏ | 26/681 [01:05<27:27, 2.52s/it] 4%|██████▍ | 27/681 [01:08<27:11, 2.49s/it] 4%|██████▋ | 28/681 [01:10<27:17, 2.51s/it] 4%|██████▉ | 29/681 [01:12<26:12, 2.41s/it] 4%|███████▏ | 30/681 [01:15<26:46, 2.47s/it] {'loss': 1.3412, 'grad_norm': 87.46487426757812, 'learning_rate': 2.1014492753623187e-07, 'fcm_dpo/beta': 0.10000000894069672, 'fcm_dpo/q_t': 0.4883840084075928, 'fcm_dpo/delta': 0.0, 'fcm_dpo/margin': 0.465215265750885, 'margin_dpo/margin_mean': 0.4652155041694641, 'margin_dpo/margin_std': 0.5838907957077026, 'logps/chosen': -53.4693603515625, 'logps/rejected': -98.25569152832031, 'logps/ref_chosen': -53.5526008605957, 'logps/ref_rejected': -97.87371826171875, 'logits/chosen': -0.524259626865387, 'logits/rejected': -0.4842991232872009, 'epoch': 0.04} 4%|███████▏ | 30/681 [01:15<26:46, 2.47s/it] 5%|███████▎ | 31/681 [01:18<27:20, 2.52s/it] 5%|███████▌ | 32/681 [01:20<27:55, 2.58s/it] 5%|███████▊ | 33/681 [01:23<27:38, 2.56s/it] 5%|████████ | 34/681 [01:26<27:38, 2.56s/it] 5%|████████▎ | 35/681 [01:28<27:57, 2.60s/it] {'loss': 1.3116, 'grad_norm': 83.3965072631836, 'learning_rate': 2.463768115942029e-07, 'fcm_dpo/beta': 0.10000000894069672, 'fcm_dpo/q_t': 0.4805462956428528, 'fcm_dpo/delta': 0.0, 'fcm_dpo/margin': 0.7807711362838745, 'margin_dpo/margin_mean': 0.7807710766792297, 'margin_dpo/margin_std': 0.820033848285675, 'logps/chosen': -56.19721221923828, 'logps/rejected': -92.41671752929688, 'logps/ref_chosen': -56.3298454284668, 'logps/ref_rejected': -91.76858520507812, 'logits/chosen': -0.5029053092002869, 'logits/rejected': -0.4691234529018402, 'epoch': 0.05} 5%|████████▎ | 35/681 [01:28<27:57, 2.60s/it] 5%|████████▌ | 36/681 [01:31<28:00, 2.61s/it] 5%|████████▊ | 37/681 [01:33<27:49, 2.59s/it] 6%|█████████ | 38/681 [01:36<26:32, 2.48s/it] 6%|█████████▎ | 39/681 [01:38<26:32, 2.48s/it] 6%|█████████▌ | 40/681 [01:41<27:08, 2.54s/it] {'loss': 1.2592, 'grad_norm': 60.05709457397461, 'learning_rate': 2.8260869565217386e-07, 'fcm_dpo/beta': 0.10000000894069672, 'fcm_dpo/q_t': 0.46588778495788574, 'fcm_dpo/delta': 0.0, 'fcm_dpo/margin': 1.3780633211135864, 'margin_dpo/margin_mean': 1.3780632019042969, 'margin_dpo/margin_std': 1.4964091777801514, 'logps/chosen': -54.2760009765625, 'logps/rejected': -84.21268463134766, 'logps/ref_chosen': -54.38492965698242, 'logps/ref_rejected': -82.94353485107422, 'logits/chosen': -0.5348217487335205, 'logits/rejected': -0.4983762204647064, 'epoch': 0.06} 6%|█████████▌ | 40/681 [01:41<27:08, 2.54s/it] 6%|█████████▊ | 41/681 [01:43<27:01, 2.53s/it] 6%|█████████▉ | 42/681 [01:46<26:54, 2.53s/it] 6%|██████████▏ | 43/681 [01:48<26:56, 2.53s/it] 6%|██████████▍ | 44/681 [01:51<27:13, 2.56s/it] 7%|██████████▋ | 45/681 [01:54<27:17, 2.58s/it] {'loss': 1.1198, 'grad_norm': 84.72518920898438, 'learning_rate': 3.188405797101449e-07, 'fcm_dpo/beta': 0.13015565276145935, 'fcm_dpo/q_t': 0.42787855863571167, 'fcm_dpo/delta': 0.4826194643974304, 'fcm_dpo/margin': 2.396104335784912, 'margin_dpo/margin_mean': 2.396104335784912, 'margin_dpo/margin_std': 2.2702395915985107, 'logps/chosen': -54.64501953125, 'logps/rejected': -100.20524597167969, 'logps/ref_chosen': -54.862335205078125, 'logps/ref_rejected': -98.0264663696289, 'logits/chosen': -0.5097236633300781, 'logits/rejected': -0.4814884662628174, 'epoch': 0.07} 7%|██████████▋ | 45/681 [01:54<27:17, 2.58s/it] 7%|██████████▉ | 46/681 [01:56<27:28, 2.60s/it] 7%|███████████▏ | 47/681 [01:59<27:26, 2.60s/it] 7%|███████████▍ | 48/681 [02:02<27:50, 2.64s/it] 7%|███████████▋ | 49/681 [02:04<27:24, 2.60s/it] 7%|███████████▉ | 50/681 [02:07<27:28, 2.61s/it] {'loss': 0.9364, 'grad_norm': 93.39527130126953, 'learning_rate': 3.5507246376811595e-07, 'fcm_dpo/beta': 0.189666748046875, 'fcm_dpo/q_t': 0.36233529448509216, 'fcm_dpo/delta': 0.21794584393501282, 'fcm_dpo/margin': 3.3721413612365723, 'margin_dpo/margin_mean': 3.3721413612365723, 'margin_dpo/margin_std': 3.3471221923828125, 'logps/chosen': -58.14433670043945, 'logps/rejected': -94.90668487548828, 'logps/ref_chosen': -58.304595947265625, 'logps/ref_rejected': -91.69480895996094, 'logits/chosen': -0.5606456398963928, 'logits/rejected': -0.5093287229537964, 'epoch': 0.07} 7%|███████████▉ | 50/681 [02:07<27:28, 2.61s/it] 7%|████████████▏ | 51/681 [02:09<27:19, 2.60s/it] 8%|████████████▎ | 52/681 [02:12<26:39, 2.54s/it] 8%|████████████▌ | 53/681 [02:14<26:35, 2.54s/it] 8%|████████████▊ | 54/681 [02:17<25:57, 2.48s/it] 8%|█████████████ | 55/681 [02:19<24:59, 2.40s/it] {'loss': 0.8026, 'grad_norm': 78.50489807128906, 'learning_rate': 3.9130434782608694e-07, 'fcm_dpo/beta': 0.1844942271709442, 'fcm_dpo/q_t': 0.30575454235076904, 'fcm_dpo/delta': -0.19296136498451233, 'fcm_dpo/margin': 5.56916618347168, 'margin_dpo/margin_mean': 5.5691657066345215, 'margin_dpo/margin_std': 5.670819282531738, 'logps/chosen': -56.305625915527344, 'logps/rejected': -91.50254821777344, 'logps/ref_chosen': -56.06591796875, 'logps/ref_rejected': -85.69367980957031, 'logits/chosen': -0.5810452699661255, 'logits/rejected': -0.5354865789413452, 'epoch': 0.08} 8%|█████████████ | 55/681 [02:19<24:59, 2.40s/it] 8%|█████████████▎ | 56/681 [02:21<25:52, 2.48s/it] 8%|█████████████▌ | 57/681 [02:24<25:47, 2.48s/it] 9%|█████████████▊ | 58/681 [02:27<26:06, 2.51s/it] 9%|██████████████ | 59/681 [02:29<26:30, 2.56s/it] 9%|██████████████▎ | 60/681 [02:32<25:49, 2.49s/it] {'loss': 0.8231, 'grad_norm': 80.88507080078125, 'learning_rate': 4.2753623188405794e-07, 'fcm_dpo/beta': 0.14939136803150177, 'fcm_dpo/q_t': 0.3050878942012787, 'fcm_dpo/delta': -0.18733538687229156, 'fcm_dpo/margin': 6.829007148742676, 'margin_dpo/margin_mean': 6.829007148742676, 'margin_dpo/margin_std': 7.180797576904297, 'logps/chosen': -61.76525115966797, 'logps/rejected': -97.63427734375, 'logps/ref_chosen': -60.6871337890625, 'logps/ref_rejected': -89.72715759277344, 'logits/chosen': -0.5981510877609253, 'logits/rejected': -0.5482528805732727, 'epoch': 0.09} 9%|██████████████▎ | 60/681 [02:32<25:49, 2.49s/it] 9%|██████████████▌ | 61/681 [02:34<26:03, 2.52s/it] 9%|██████████████▋ | 62/681 [02:37<26:32, 2.57s/it] 9%|██████████████▉ | 63/681 [02:39<26:19, 2.56s/it] 9%|███████████████▏ | 64/681 [02:42<25:52, 2.52s/it] 10%|███████████████▍ | 65/681 [02:44<25:58, 2.53s/it] {'loss': 0.8599, 'grad_norm': 60.72844696044922, 'learning_rate': 4.63768115942029e-07, 'fcm_dpo/beta': 0.1279543936252594, 'fcm_dpo/q_t': 0.31432515382766724, 'fcm_dpo/delta': -0.15479923784732819, 'fcm_dpo/margin': 7.741368293762207, 'margin_dpo/margin_mean': 7.741368293762207, 'margin_dpo/margin_std': 8.94554615020752, 'logps/chosen': -63.23627853393555, 'logps/rejected': -102.52547454833984, 'logps/ref_chosen': -61.75325393676758, 'logps/ref_rejected': -93.30108642578125, 'logits/chosen': -0.6157333850860596, 'logits/rejected': -0.5836382508277893, 'epoch': 0.1} 10%|███████████████▍ | 65/681 [02:44<25:58, 2.53s/it] 10%|███████████████▋ | 66/681 [02:47<26:09, 2.55s/it] 10%|███████████████▉ | 67/681 [02:49<25:08, 2.46s/it] 10%|████████████████▏ | 68/681 [02:52<24:51, 2.43s/it] 10%|████████████████▍ | 69/681 [02:54<26:02, 2.55s/it] 10%|████████████████▋ | 70/681 [02:57<25:35, 2.51s/it] {'loss': 0.8231, 'grad_norm': 56.712982177734375, 'learning_rate': 5e-07, 'fcm_dpo/beta': 0.11097879707813263, 'fcm_dpo/q_t': 0.31369131803512573, 'fcm_dpo/delta': -0.13162511587142944, 'fcm_dpo/margin': 8.74174690246582, 'margin_dpo/margin_mean': 8.741745948791504, 'margin_dpo/margin_std': 9.22284984588623, 'logps/chosen': -61.81795120239258, 'logps/rejected': -95.02778625488281, 'logps/ref_chosen': -59.548004150390625, 'logps/ref_rejected': -84.01609802246094, 'logits/chosen': -0.6086438894271851, 'logits/rejected': -0.5690315961837769, 'epoch': 0.1} 10%|████████████████▋ | 70/681 [02:57<25:35, 2.51s/it] 10%|████████████████▉ | 71/681 [02:59<25:55, 2.55s/it] 11%|█████████████████▏ | 72/681 [03:02<26:06, 2.57s/it] 11%|█████████████████▎ | 73/681 [03:05<26:01, 2.57s/it] 11%|█████████████████▌ | 74/681 [03:07<25:44, 2.54s/it] 11%|█████████████████▊ | 75/681 [03:10<25:55, 2.57s/it] {'loss': 0.8066, 'grad_norm': 43.50236129760742, 'learning_rate': 4.999176576834721e-07, 'fcm_dpo/beta': 0.09055890142917633, 'fcm_dpo/q_t': 0.2983909249305725, 'fcm_dpo/delta': -0.27352195978164673, 'fcm_dpo/margin': 12.153611183166504, 'margin_dpo/margin_mean': 12.153611183166504, 'margin_dpo/margin_std': 13.398017883300781, 'logps/chosen': -63.3004264831543, 'logps/rejected': -113.6408462524414, 'logps/ref_chosen': -59.86931228637695, 'logps/ref_rejected': -98.05613708496094, 'logits/chosen': -0.6517193913459778, 'logits/rejected': -0.6220844388008118, 'epoch': 0.11} 11%|█████████████████▊ | 75/681 [03:10<25:55, 2.57s/it] 11%|██████████████████ | 76/681 [03:12<25:46, 2.56s/it] 11%|██████████████████▎ | 77/681 [03:14<24:41, 2.45s/it] 11%|██████████████████▌ | 78/681 [03:17<25:07, 2.50s/it] 12%|██████████████████▊ | 79/681 [03:20<25:22, 2.53s/it] 12%|███████████████████ | 80/681 [03:22<25:17, 2.52s/it] {'loss': 0.834, 'grad_norm': 41.86962890625, 'learning_rate': 4.996706849759452e-07, 'fcm_dpo/beta': 0.07161784917116165, 'fcm_dpo/q_t': 0.3114686608314514, 'fcm_dpo/delta': -0.15674835443496704, 'fcm_dpo/margin': 13.832998275756836, 'margin_dpo/margin_mean': 13.832998275756836, 'margin_dpo/margin_std': 14.778533935546875, 'logps/chosen': -60.72328567504883, 'logps/rejected': -104.79096984863281, 'logps/ref_chosen': -56.18925857543945, 'logps/ref_rejected': -86.42393493652344, 'logits/chosen': -0.6776489615440369, 'logits/rejected': -0.6389704942703247, 'epoch': 0.12} 12%|███████████████████ | 80/681 [03:22<25:17, 2.52s/it] 12%|███████████████████▎ | 81/681 [03:25<25:58, 2.60s/it] 12%|███████████████████▌ | 82/681 [03:27<25:46, 2.58s/it] 12%|███████████████████▋ | 83/681 [03:30<25:04, 2.52s/it] 12%|███████████████████▉ | 84/681 [03:33<25:36, 2.57s/it] 12%|████████████████████▏ | 85/681 [03:35<25:35, 2.58s/it] {'loss': 0.8553, 'grad_norm': 42.009918212890625, 'learning_rate': 4.992592445678582e-07, 'fcm_dpo/beta': 0.06048274785280228, 'fcm_dpo/q_t': 0.3134708106517792, 'fcm_dpo/delta': -0.15613125264644623, 'fcm_dpo/margin': 16.303586959838867, 'margin_dpo/margin_mean': 16.303586959838867, 'margin_dpo/margin_std': 18.325000762939453, 'logps/chosen': -66.5967788696289, 'logps/rejected': -120.89393615722656, 'logps/ref_chosen': -60.018287658691406, 'logps/ref_rejected': -98.01185607910156, 'logits/chosen': -0.6713468432426453, 'logits/rejected': -0.6383522748947144, 'epoch': 0.12} 12%|████████████████████▏ | 85/681 [03:35<25:35, 2.58s/it] 13%|████████████████████▍ | 86/681 [03:38<25:52, 2.61s/it] 13%|████████████████████▋ | 87/681 [03:40<25:38, 2.59s/it] 13%|████████████████████▉ | 88/681 [03:43<25:36, 2.59s/it] 13%|█████████████████████▏ | 89/681 [03:45<25:05, 2.54s/it] 13%|█████████████████████▍ | 90/681 [03:48<24:38, 2.50s/it] {'loss': 0.9273, 'grad_norm': 42.72884750366211, 'learning_rate': 4.986836074908615e-07, 'fcm_dpo/beta': 0.055021800100803375, 'fcm_dpo/q_t': 0.3316206634044647, 'fcm_dpo/delta': -0.09340845793485641, 'fcm_dpo/margin': 16.962265014648438, 'margin_dpo/margin_mean': 16.962265014648438, 'margin_dpo/margin_std': 22.208675384521484, 'logps/chosen': -69.03782653808594, 'logps/rejected': -122.91429138183594, 'logps/ref_chosen': -59.8709831237793, 'logps/ref_rejected': -96.78519439697266, 'logits/chosen': -0.6945492625236511, 'logits/rejected': -0.6738761067390442, 'epoch': 0.13} 13%|█████████████████████▍ | 90/681 [03:48<24:38, 2.50s/it] 13%|█████████████████████▋ | 91/681 [03:50<24:48, 2.52s/it] 14%|█████████████████████▉ | 92/681 [03:53<24:29, 2.49s/it] 14%|██████████████████████ | 93/681 [03:55<23:40, 2.42s/it] 14%|██████████████████████▎ | 94/681 [03:58<24:50, 2.54s/it] 14%|██████████████████████▌ | 95/681 [04:00<24:25, 2.50s/it] {'loss': 0.8711, 'grad_norm': 34.471012115478516, 'learning_rate': 4.979441529392784e-07, 'fcm_dpo/beta': 0.049969423562288284, 'fcm_dpo/q_t': 0.3252207636833191, 'fcm_dpo/delta': -0.06735582649707794, 'fcm_dpo/margin': 18.21504783630371, 'margin_dpo/margin_mean': 18.215045928955078, 'margin_dpo/margin_std': 20.571401596069336, 'logps/chosen': -64.95755004882812, 'logps/rejected': -110.90779876708984, 'logps/ref_chosen': -55.94385528564453, 'logps/ref_rejected': -83.6790542602539, 'logits/chosen': -0.709299623966217, 'logits/rejected': -0.6731777787208557, 'epoch': 0.14} 14%|██████████████████████▌ | 95/681 [04:00<24:25, 2.50s/it] 14%|██████████████████████▊ | 96/681 [04:03<24:23, 2.50s/it] 14%|███████████████████████ | 97/681 [04:05<24:27, 2.51s/it] 14%|███████████████████████▎ | 98/681 [04:08<24:00, 2.47s/it] 15%|███████████████████████▌ | 99/681 [04:10<23:05, 2.38s/it] 15%|███████████████████████▋ | 100/681 [04:12<23:37, 2.44s/it] {'loss': 0.8736, 'grad_norm': 40.7348518371582, 'learning_rate': 4.970413680203148e-07, 'fcm_dpo/beta': 0.04660476744174957, 'fcm_dpo/q_t': 0.32488057017326355, 'fcm_dpo/delta': -0.0532207265496254, 'fcm_dpo/margin': 19.219341278076172, 'margin_dpo/margin_mean': 19.219341278076172, 'margin_dpo/margin_std': 21.64118194580078, 'logps/chosen': -66.36493682861328, 'logps/rejected': -114.64266204833984, 'logps/ref_chosen': -57.05888748168945, 'logps/ref_rejected': -86.11727142333984, 'logits/chosen': -0.670303225517273, 'logits/rejected': -0.6368999481201172, 'epoch': 0.15} 15%|███████████████████████▋ | 100/681 [04:12<23:37, 2.44s/it] 15%|███████████████████████▉ | 101/681 [04:15<23:23, 2.42s/it] 15%|████████████████████████ | 102/681 [04:17<23:15, 2.41s/it] 15%|████████████████████████▎ | 103/681 [04:20<22:55, 2.38s/it] 15%|████████████████████████▌ | 104/681 [04:22<22:20, 2.32s/it] 15%|████████████████████████▊ | 105/681 [04:24<23:23, 2.44s/it] {'loss': 0.8519, 'grad_norm': 30.820974349975586, 'learning_rate': 4.959758474331832e-07, 'fcm_dpo/beta': 0.04551302269101143, 'fcm_dpo/q_t': 0.315370112657547, 'fcm_dpo/delta': -0.15303857624530792, 'fcm_dpo/margin': 21.88186264038086, 'margin_dpo/margin_mean': 21.88186264038086, 'margin_dpo/margin_std': 24.000478744506836, 'logps/chosen': -70.07099914550781, 'logps/rejected': -119.24266052246094, 'logps/ref_chosen': -59.20774459838867, 'logps/ref_rejected': -86.49754333496094, 'logits/chosen': -0.7173506021499634, 'logits/rejected': -0.6785070896148682, 'epoch': 0.15} 15%|████████████████████████▊ | 105/681 [04:24<23:23, 2.44s/it] 16%|█████████████████████████ | 106/681 [04:27<23:26, 2.45s/it] 16%|█████████████████████████▎ | 107/681 [04:29<23:52, 2.50s/it] 16%|█████████████████████████▌ | 108/681 [04:32<23:28, 2.46s/it] 16%|█████████████████████████▊ | 109/681 [04:34<23:59, 2.52s/it] 16%|██████████████████████████ | 110/681 [04:37<24:18, 2.55s/it] {'loss': 0.8568, 'grad_norm': 30.027286529541016, 'learning_rate': 4.947482930773511e-07, 'fcm_dpo/beta': 0.03847113624215126, 'fcm_dpo/q_t': 0.3201691508293152, 'fcm_dpo/delta': -0.08476176112890244, 'fcm_dpo/margin': 24.109981536865234, 'margin_dpo/margin_mean': 24.109981536865234, 'margin_dpo/margin_std': 25.9851016998291, 'logps/chosen': -72.03107452392578, 'logps/rejected': -126.54228210449219, 'logps/ref_chosen': -60.437957763671875, 'logps/ref_rejected': -90.83917999267578, 'logits/chosen': -0.6687729954719543, 'logits/rejected': -0.6251232624053955, 'epoch': 0.16} 16%|██████████████████████████ | 110/681 [04:37<24:18, 2.55s/it] 16%|██████████████████████████▏ | 111/681 [04:40<24:04, 2.53s/it] 16%|██████████████████████████▍ | 112/681 [04:42<23:09, 2.44s/it] 17%|██████████████████████████▋ | 113/681 [04:44<23:36, 2.49s/it] 17%|██████████████████████████▉ | 114/681 [04:47<23:24, 2.48s/it] 17%|███████████████████████████▏ | 115/681 [04:50<23:47, 2.52s/it] {'loss': 0.903, 'grad_norm': 42.781307220458984, 'learning_rate': 4.933595135901732e-07, 'fcm_dpo/beta': 0.03624765947461128, 'fcm_dpo/q_t': 0.33425024151802063, 'fcm_dpo/delta': -0.01841454766690731, 'fcm_dpo/margin': 23.8579044342041, 'margin_dpo/margin_mean': 23.8579044342041, 'margin_dpo/margin_std': 28.585891723632812, 'logps/chosen': -76.1856918334961, 'logps/rejected': -123.62214660644531, 'logps/ref_chosen': -61.7908821105957, 'logps/ref_rejected': -85.36943054199219, 'logits/chosen': -0.6857893466949463, 'logits/rejected': -0.6449792385101318, 'epoch': 0.17} 17%|███████████████████████████▏ | 115/681 [04:50<23:47, 2.52s/it] 17%|███████████████████████████▍ | 116/681 [04:52<23:12, 2.47s/it] 17%|███████████████████████████▋ | 117/681 [04:54<22:59, 2.45s/it] 17%|███████████████████████████▉ | 118/681 [04:57<23:25, 2.50s/it] 17%|████████████████████████████▏ | 119/681 [05:00<24:14, 2.59s/it] 18%|████████████████████████████▎ | 120/681 [05:02<24:04, 2.57s/it] {'loss': 0.8772, 'grad_norm': 33.90849304199219, 'learning_rate': 4.918104238142103e-07, 'fcm_dpo/beta': 0.0364445336163044, 'fcm_dpo/q_t': 0.33086472749710083, 'fcm_dpo/delta': -0.015237887389957905, 'fcm_dpo/margin': 23.689233779907227, 'margin_dpo/margin_mean': 23.68923568725586, 'margin_dpo/margin_std': 26.572423934936523, 'logps/chosen': -81.74562072753906, 'logps/rejected': -126.8638916015625, 'logps/ref_chosen': -65.3261489868164, 'logps/ref_rejected': -86.75518798828125, 'logits/chosen': -0.6950192451477051, 'logits/rejected': -0.6637409925460815, 'epoch': 0.18} 18%|████████████████████████████▎ | 120/681 [05:02<24:04, 2.57s/it] 18%|████████████████████████████▌ | 121/681 [05:05<23:41, 2.54s/it] 18%|████████████████████████████▊ | 122/681 [05:07<22:55, 2.46s/it] 18%|█████████████████████████████ | 123/681 [05:10<23:31, 2.53s/it] 18%|█████████████████████████████▎ | 124/681 [05:12<23:31, 2.53s/it] 18%|█████████████████████████████▌ | 125/681 [05:15<23:14, 2.51s/it] {'loss': 0.8245, 'grad_norm': 28.747299194335938, 'learning_rate': 4.90102044194588e-07, 'fcm_dpo/beta': 0.03069928288459778, 'fcm_dpo/q_t': 0.3057743012905121, 'fcm_dpo/delta': -0.22570106387138367, 'fcm_dpo/margin': 34.196529388427734, 'margin_dpo/margin_mean': 34.196529388427734, 'margin_dpo/margin_std': 37.522029876708984, 'logps/chosen': -76.18916320800781, 'logps/rejected': -153.27313232421875, 'logps/ref_chosen': -58.323204040527344, 'logps/ref_rejected': -101.2106704711914, 'logits/chosen': -0.6552901268005371, 'logits/rejected': -0.645017147064209, 'epoch': 0.18} 18%|█████████████████████████████▌ | 125/681 [05:15<23:14, 2.51s/it] 19%|█████████████████████████████▊ | 126/681 [05:17<23:36, 2.55s/it] 19%|██████████████████████████████ | 127/681 [05:20<23:45, 2.57s/it] 19%|██████████████████████████████▎ | 128/681 [05:23<23:57, 2.60s/it] 19%|██████████████████████████████▍ | 129/681 [05:25<23:41, 2.58s/it] 19%|██████████████████████████████▋ | 130/681 [05:28<23:25, 2.55s/it] {'loss': 0.9009, 'grad_norm': 29.514667510986328, 'learning_rate': 4.882355001067891e-07, 'fcm_dpo/beta': 0.02867107465863228, 'fcm_dpo/q_t': 0.33143970370292664, 'fcm_dpo/delta': -0.030061205849051476, 'fcm_dpo/margin': 30.552875518798828, 'margin_dpo/margin_mean': 30.552875518798828, 'margin_dpo/margin_std': 35.57330322265625, 'logps/chosen': -75.02465057373047, 'logps/rejected': -135.35000610351562, 'logps/ref_chosen': -56.38518524169922, 'logps/ref_rejected': -86.15767669677734, 'logits/chosen': -0.6441887617111206, 'logits/rejected': -0.6197634935379028, 'epoch': 0.19} 19%|██████████████████████████████▋ | 130/681 [05:28<23:25, 2.55s/it] 19%|██████████████████████████████▉ | 131/681 [05:30<23:33, 2.57s/it] 19%|███████████████████████████████▏ | 132/681 [05:33<23:07, 2.53s/it] 20%|███████████████████████████████▍ | 133/681 [05:35<23:16, 2.55s/it] 20%|███████████████████████████████▋ | 134/681 [05:38<22:37, 2.48s/it] 20%|███████████████████████████████▉ | 135/681 [05:40<22:25, 2.46s/it] {'loss': 0.8502, 'grad_norm': 30.23385238647461, 'learning_rate': 4.862120211153265e-07, 'fcm_dpo/beta': 0.02630027011036873, 'fcm_dpo/q_t': 0.3213648200035095, 'fcm_dpo/delta': -0.08074788004159927, 'fcm_dpo/margin': 35.100746154785156, 'margin_dpo/margin_mean': 35.100746154785156, 'margin_dpo/margin_std': 38.36650848388672, 'logps/chosen': -74.02909851074219, 'logps/rejected': -149.7999725341797, 'logps/ref_chosen': -54.59065628051758, 'logps/ref_rejected': -95.26080322265625, 'logits/chosen': -0.6420992612838745, 'logits/rejected': -0.6323195695877075, 'epoch': 0.2} 20%|███████████████████████████████▉ | 135/681 [05:40<22:25, 2.46s/it] 20%|████████████████████████████████▏ | 136/681 [05:43<22:58, 2.53s/it] 20%|████████████████████████████████▍ | 137/681 [05:45<22:54, 2.53s/it] 20%|████████████████████████████████▋ | 138/681 [05:47<22:14, 2.46s/it] 20%|████████████████████████████████▊ | 139/681 [05:50<21:54, 2.43s/it] 21%|█████████████████████████████████ | 140/681 [05:52<21:36, 2.40s/it] {'loss': 0.8815, 'grad_norm': 29.89729881286621, 'learning_rate': 4.840329401637809e-07, 'fcm_dpo/beta': 0.024506056681275368, 'fcm_dpo/q_t': 0.3280564844608307, 'fcm_dpo/delta': -0.07339946180582047, 'fcm_dpo/margin': 37.39527130126953, 'margin_dpo/margin_mean': 37.39527130126953, 'margin_dpo/margin_std': 43.980499267578125, 'logps/chosen': -81.1108169555664, 'logps/rejected': -155.74142456054688, 'logps/ref_chosen': -56.04347610473633, 'logps/ref_rejected': -93.27880859375, 'logits/chosen': -0.6269393563270569, 'logits/rejected': -0.6138561367988586, 'epoch': 0.21} 21%|█████████████████████████████████ | 140/681 [05:52<21:36, 2.40s/it] 21%|█████████████████████████████████▎ | 141/681 [05:55<22:21, 2.48s/it] 21%|█████████████████████████████████▌ | 142/681 [05:58<23:00, 2.56s/it] 21%|█████████████████████████████████▊ | 143/681 [06:00<23:44, 2.65s/it] 21%|██████████████████████████████████ | 144/681 [06:03<23:44, 2.65s/it] 21%|██████████████████████████████████▎ | 145/681 [06:05<22:55, 2.57s/it] {'loss': 0.9115, 'grad_norm': 34.29755401611328, 'learning_rate': 4.816996926967401e-07, 'fcm_dpo/beta': 0.023285897448658943, 'fcm_dpo/q_t': 0.3340276777744293, 'fcm_dpo/delta': -0.010504422709345818, 'fcm_dpo/margin': 36.870033264160156, 'margin_dpo/margin_mean': 36.870033264160156, 'margin_dpo/margin_std': 44.208961486816406, 'logps/chosen': -89.64959716796875, 'logps/rejected': -151.40634155273438, 'logps/ref_chosen': -61.4414176940918, 'logps/ref_rejected': -86.32813262939453, 'logits/chosen': -0.5899958610534668, 'logits/rejected': -0.5646438598632812, 'epoch': 0.21} 21%|██████████████████████████████████▎ | 145/681 [06:06<22:55, 2.57s/it] 21%|██████████████████████████████████▌ | 146/681 [06:08<22:45, 2.55s/it] 22%|██████████████████████████████████▊ | 147/681 [06:11<22:47, 2.56s/it] 22%|██████████████████████████████████▉ | 148/681 [06:13<22:42, 2.56s/it] 22%|███████████████████████████████████▏ | 149/681 [06:16<22:51, 2.58s/it] 22%|███████████████████████████████████▍ | 150/681 [06:18<22:42, 2.57s/it] {'loss': 0.9086, 'grad_norm': 31.706588745117188, 'learning_rate': 4.792138157142157e-07, 'fcm_dpo/beta': 0.02298033982515335, 'fcm_dpo/q_t': 0.33299776911735535, 'fcm_dpo/delta': -0.04273203760385513, 'fcm_dpo/margin': 38.58696746826172, 'margin_dpo/margin_mean': 38.58696746826172, 'margin_dpo/margin_std': 47.16357421875, 'logps/chosen': -89.40864562988281, 'logps/rejected': -158.06101989746094, 'logps/ref_chosen': -57.70451736450195, 'logps/ref_rejected': -87.76991271972656, 'logits/chosen': -0.5931132435798645, 'logits/rejected': -0.5684978365898132, 'epoch': 0.22} 22%|███████████████████████████████████▍ | 150/681 [06:18<22:42, 2.57s/it] 22%|███████████████████████████████████▋ | 151/681 [06:21<22:07, 2.50s/it] 22%|███████████████████████████████████▉ | 152/681 [06:23<22:47, 2.58s/it] 22%|████████████████████████████████████▏ | 153/681 [06:26<22:37, 2.57s/it] 23%|████████████████████████████████████▍ | 154/681 [06:29<22:53, 2.61s/it] 23%|████████████████████████████████████▋ | 155/681 [06:31<23:28, 2.68s/it] {'loss': 0.8772, 'grad_norm': 28.768526077270508, 'learning_rate': 4.7657694675916247e-07, 'fcm_dpo/beta': 0.02123543620109558, 'fcm_dpo/q_t': 0.32444706559181213, 'fcm_dpo/delta': -0.0736246332526207, 'fcm_dpo/margin': 43.11958694458008, 'margin_dpo/margin_mean': 43.11958694458008, 'margin_dpo/margin_std': 49.604820251464844, 'logps/chosen': -90.71160888671875, 'logps/rejected': -166.54122924804688, 'logps/ref_chosen': -62.08925247192383, 'logps/ref_rejected': -94.79930114746094, 'logits/chosen': -0.6274883151054382, 'logits/rejected': -0.6081691980361938, 'epoch': 0.23} 23%|████████████████████████████████████▋ | 155/681 [06:32<23:28, 2.68s/it] 23%|████████████████████████████████████▉ | 156/681 [06:34<23:12, 2.65s/it] 23%|█████████████████████████████████████ | 157/681 [06:36<22:08, 2.54s/it] 23%|█████████████████████████████████████▎ | 158/681 [06:39<22:13, 2.55s/it] 23%|█████████████████████████████████████▌ | 159/681 [06:42<22:22, 2.57s/it] 23%|█████████████████████████████████████▊ | 160/681 [06:44<22:04, 2.54s/it] {'loss': 0.95, 'grad_norm': 35.6558837890625, 'learning_rate': 4.737908228387656e-07, 'fcm_dpo/beta': 0.020709924399852753, 'fcm_dpo/q_t': 0.3394644856452942, 'fcm_dpo/delta': -0.028781410306692123, 'fcm_dpo/margin': 42.2672004699707, 'margin_dpo/margin_mean': 42.26719665527344, 'margin_dpo/margin_std': 56.8797607421875, 'logps/chosen': -102.9297866821289, 'logps/rejected': -174.969482421875, 'logps/ref_chosen': -67.15288543701172, 'logps/ref_rejected': -96.92537689208984, 'logits/chosen': -0.6209047436714172, 'logits/rejected': -0.602047324180603, 'epoch': 0.23} 23%|█████████████████████████████████████▊ | 160/681 [06:44<22:04, 2.54s/it] 24%|██████████████████████████████████████ | 161/681 [06:46<21:10, 2.44s/it] 24%|██████████████████████████████████████▎ | 162/681 [06:49<21:54, 2.53s/it] 24%|██████████████████████████████████████▌ | 163/681 [06:51<21:47, 2.52s/it] 24%|██████████████████████████████████████▊ | 164/681 [06:54<21:53, 2.54s/it] 24%|███████████████████████████████████████ | 165/681 [06:57<21:45, 2.53s/it] {'loss': 0.9112, 'grad_norm': 44.44900894165039, 'learning_rate': 4.708572792802069e-07, 'fcm_dpo/beta': 0.019984444603323936, 'fcm_dpo/q_t': 0.33927860856056213, 'fcm_dpo/delta': 0.019107891246676445, 'fcm_dpo/margin': 41.58051300048828, 'margin_dpo/margin_mean': 41.58051681518555, 'margin_dpo/margin_std': 49.86974334716797, 'logps/chosen': -88.99661254882812, 'logps/rejected': -153.48812866210938, 'logps/ref_chosen': -57.40401077270508, 'logps/ref_rejected': -80.31498718261719, 'logits/chosen': -0.5925561189651489, 'logits/rejected': -0.5611370801925659, 'epoch': 0.24} 24%|███████████████████████████████████████ | 165/681 [06:57<21:45, 2.53s/it] 24%|███████████████████████████████████████▏ | 166/681 [06:59<20:50, 2.43s/it] 25%|███████████████████████████████████████▍ | 167/681 [07:01<21:29, 2.51s/it] 25%|███████████████████████████████████████▋ | 168/681 [07:04<21:54, 2.56s/it] 25%|███████████████████████████████████████▉ | 169/681 [07:07<22:17, 2.61s/it] 25%|████████████████████████████████████████▏ | 170/681 [07:09<22:16, 2.61s/it] {'loss': 0.8528, 'grad_norm': 27.767526626586914, 'learning_rate': 4.6777824852166437e-07, 'fcm_dpo/beta': 0.018490394577383995, 'fcm_dpo/q_t': 0.3191189765930176, 'fcm_dpo/delta': -0.12243499606847763, 'fcm_dpo/margin': 51.66387939453125, 'margin_dpo/margin_mean': 51.66387939453125, 'margin_dpo/margin_std': 58.07769775390625, 'logps/chosen': -85.2691650390625, 'logps/rejected': -170.64334106445312, 'logps/ref_chosen': -52.029144287109375, 'logps/ref_rejected': -85.73944091796875, 'logits/chosen': -0.5405124425888062, 'logits/rejected': -0.528901994228363, 'epoch': 0.25} 25%|████████████████████████████████████████▏ | 170/681 [07:10<22:16, 2.61s/it] 25%|████████████████████████████████████████▍ | 171/681 [07:12<21:24, 2.52s/it] 25%|████████████████████████████████████████▋ | 172/681 [07:14<21:09, 2.49s/it] 25%|████████████████████████████████████████▉ | 173/681 [07:17<20:57, 2.48s/it] 26%|█████████████████████████████████████████▏ | 174/681 [07:19<21:00, 2.49s/it] 26%|█████████████████████████████████████████▎ | 175/681 [07:22<21:14, 2.52s/it] {'loss': 0.8859, 'grad_norm': 37.51227569580078, 'learning_rate': 4.645557588393406e-07, 'fcm_dpo/beta': 0.01827237568795681, 'fcm_dpo/q_t': 0.32835322618484497, 'fcm_dpo/delta': -0.062149811536073685, 'fcm_dpo/margin': 49.67750549316406, 'margin_dpo/margin_mean': 49.67750549316406, 'margin_dpo/margin_std': 58.46363067626953, 'logps/chosen': -106.3938217163086, 'logps/rejected': -186.0583038330078, 'logps/ref_chosen': -62.996971130371094, 'logps/ref_rejected': -92.98394012451172, 'logits/chosen': -0.5422641038894653, 'logits/rejected': -0.5189716815948486, 'epoch': 0.26} 26%|█████████████████████████████████████████▎ | 175/681 [07:22<21:14, 2.52s/it] 26%|█████████████████████████████████████████▌ | 176/681 [07:24<20:52, 2.48s/it] 26%|█████████████████████████████████████████▊ | 177/681 [07:27<21:06, 2.51s/it] 26%|██████████████████████████████████████████ | 178/681 [07:29<21:13, 2.53s/it] 26%|██████████████████████████████████████████▎ | 179/681 [07:32<21:33, 2.58s/it] 26%|██████████████████████████████████████████▌ | 180/681 [07:34<21:18, 2.55s/it] {'loss': 0.8569, 'grad_norm': 27.392812728881836, 'learning_rate': 4.611919330113591e-07, 'fcm_dpo/beta': 0.01582510769367218, 'fcm_dpo/q_t': 0.31790629029273987, 'fcm_dpo/delta': -0.1366010159254074, 'fcm_dpo/margin': 61.5815315246582, 'margin_dpo/margin_mean': 61.5815315246582, 'margin_dpo/margin_std': 70.3671646118164, 'logps/chosen': -105.83013916015625, 'logps/rejected': -207.4561767578125, 'logps/ref_chosen': -57.0670280456543, 'logps/ref_rejected': -97.1115493774414, 'logits/chosen': -0.485221803188324, 'logits/rejected': -0.48061603307724, 'epoch': 0.26} 26%|██████████████████████████████████████████▌ | 180/681 [07:35<21:18, 2.55s/it] 27%|██████████████████████████████████████████▊ | 181/681 [07:37<21:18, 2.56s/it] 27%|███████████████████████████████████████████ | 182/681 [07:39<20:58, 2.52s/it] 27%|███████████████████████████████████████████▎ | 183/681 [07:42<20:21, 2.45s/it] 27%|███████████████████████████████████████████▌ | 184/681 [07:44<20:54, 2.52s/it] 27%|███████████████████████████████████████████▋ | 185/681 [07:47<20:36, 2.49s/it] {'loss': 0.9783, 'grad_norm': 36.289039611816406, 'learning_rate': 4.5768898691940836e-07, 'fcm_dpo/beta': 0.015623442828655243, 'fcm_dpo/q_t': 0.3591853976249695, 'fcm_dpo/delta': 0.13391907513141632, 'fcm_dpo/margin': 46.54853057861328, 'margin_dpo/margin_mean': 46.54853057861328, 'margin_dpo/margin_std': 60.472984313964844, 'logps/chosen': -97.86585998535156, 'logps/rejected': -165.0836944580078, 'logps/ref_chosen': -54.840736389160156, 'logps/ref_rejected': -75.51002502441406, 'logits/chosen': -0.5313425064086914, 'logits/rejected': -0.5060660243034363, 'epoch': 0.27} 27%|███████████████████████████████████████████▋ | 185/681 [07:47<20:36, 2.49s/it] 27%|███████████████████████████████████████████▉ | 186/681 [07:49<20:32, 2.49s/it] 27%|████████████████████████████████████████████▏ | 187/681 [07:52<19:58, 2.43s/it] 28%|████████████████████████████████████████████▍ | 188/681 [07:54<20:10, 2.46s/it] 28%|████████████████████████████████████████████▋ | 189/681 [07:57<20:29, 2.50s/it] 28%|████████████████████████████████████████████▉ | 190/681 [07:59<20:03, 2.45s/it] {'loss': 0.8786, 'grad_norm': 40.74492645263672, 'learning_rate': 4.5404922808905543e-07, 'fcm_dpo/beta': 0.01625588908791542, 'fcm_dpo/q_t': 0.3247375786304474, 'fcm_dpo/delta': -0.08447099477052689, 'fcm_dpo/margin': 56.91190719604492, 'margin_dpo/margin_mean': 56.91190719604492, 'margin_dpo/margin_std': 66.29203033447266, 'logps/chosen': -102.94236755371094, 'logps/rejected': -188.99276733398438, 'logps/ref_chosen': -57.72148895263672, 'logps/ref_rejected': -86.85997009277344, 'logits/chosen': -0.5222185254096985, 'logits/rejected': -0.49877819418907166, 'epoch': 0.28} 28%|████████████████████████████████████████████▉ | 190/681 [07:59<20:03, 2.45s/it] 28%|█████████████████████████████████████████████▏ | 191/681 [08:02<20:41, 2.53s/it] 28%|█████████████████████████████████████████████▍ | 192/681 [08:04<20:25, 2.51s/it] 28%|█████████████████████████████████████████████▋ | 193/681 [08:07<20:01, 2.46s/it] 28%|█████████████████████████████████████████████▊ | 194/681 [08:09<19:24, 2.39s/it] 29%|██████████████████████████████████████████████ | 195/681 [08:11<19:52, 2.45s/it] {'loss': 0.8883, 'grad_norm': 33.52628707885742, 'learning_rate': 4.5027505416968985e-07, 'fcm_dpo/beta': 0.014897446148097515, 'fcm_dpo/q_t': 0.32934439182281494, 'fcm_dpo/delta': -0.034334540367126465, 'fcm_dpo/margin': 58.907752990722656, 'margin_dpo/margin_mean': 58.907752990722656, 'margin_dpo/margin_std': 67.69029235839844, 'logps/chosen': -110.0854263305664, 'logps/rejected': -200.19639587402344, 'logps/ref_chosen': -58.26164627075195, 'logps/ref_rejected': -89.46485900878906, 'logits/chosen': -0.4740094542503357, 'logits/rejected': -0.4610044062137604, 'epoch': 0.29} 29%|██████████████████████████████████████████████ | 195/681 [08:12<19:52, 2.45s/it] 29%|██████████████████████████████████████████████▎ | 196/681 [08:14<19:58, 2.47s/it] 29%|██████████████████████████████████████████████▌ | 197/681 [08:17<20:09, 2.50s/it] 29%|██████████████████████████████████████████████▊ | 198/681 [08:19<20:15, 2.52s/it] 29%|███████████████████████████████████████████████ | 199/681 [08:22<20:37, 2.57s/it] 29%|███████████████████████████████████████████████▎ | 200/681 [08:24<20:33, 2.56s/it] {'loss': 0.8697, 'grad_norm': 31.517562866210938, 'learning_rate': 4.4636895135509966e-07, 'fcm_dpo/beta': 0.014423737302422523, 'fcm_dpo/q_t': 0.3252788186073303, 'fcm_dpo/delta': -0.07692910730838776, 'fcm_dpo/margin': 63.713844299316406, 'margin_dpo/margin_mean': 63.713844299316406, 'margin_dpo/margin_std': 73.30004119873047, 'logps/chosen': -105.78775787353516, 'logps/rejected': -196.93441772460938, 'logps/ref_chosen': -55.71953201293945, 'logps/ref_rejected': -83.15235137939453, 'logits/chosen': -0.46841588616371155, 'logits/rejected': -0.4528680443763733, 'epoch': 0.29} 29%|███████████████████████████████████████████████▎ | 200/681 [08:24<20:33, 2.56s/it][INFO|trainer.py:4307] 2026-04-22 00:09:22,146 >> ***** Running Evaluation ***** [INFO|trainer.py:4309] 2026-04-22 00:09:22,146 >> Num examples = 2339 [INFO|trainer.py:4312] 2026-04-22 00:09:22,146 >> Batch size = 8 0%| | 0/73 [00:00) 33%|████████████████████████████████████████████████████▋ | 223/681 [10:02<18:34, 2.43s/it] 33%|████████████████████████████████████████████████████▉ | 224/681 [10:04<18:16, 2.40s/it] 33%|█████████████████████████████████████████████████████▏ | 225/681 [10:06<17:53, 2.35s/it] {'loss': 0.8406, 'grad_norm': 35.1022834777832, 'learning_rate': 4.249525076191759e-07, 'fcm_dpo/beta': 0.012188979424536228, 'fcm_dpo/q_t': 0.30945101380348206, 'fcm_dpo/delta': -0.16104714572429657, 'fcm_dpo/margin': 81.43888854980469, 'margin_dpo/margin_mean': 81.43888854980469, 'margin_dpo/margin_std': 86.77934265136719, 'logps/chosen': -134.11956787109375, 'logps/rejected': -254.3486785888672, 'logps/ref_chosen': -54.47245407104492, 'logps/ref_rejected': -93.26266479492188, 'logits/chosen': -0.40194278955459595, 'logits/rejected': -0.3876434564590454, 'epoch': 0.33} 33%|█████████████████████████████████████████████████████▏ | 225/681 [10:06<17:53, 2.35s/it] 33%|█████████████████████████████████████████████████████▍ | 226/681 [10:09<18:43, 2.47s/it] 33%|█████████████████████████████████████████████████████▋ | 227/681 [10:11<18:19, 2.42s/it] 33%|█████████████████████████████████████████████████████▉ | 228/681 [10:14<18:41, 2.48s/it] 34%|██████████████████████████████████████████████████████▏ | 229/681 [10:17<18:31, 2.46s/it] 34%|██████████████████████████████████████████████████████▍ | 230/681 [10:19<18:13, 2.42s/it] {'loss': 0.865, 'grad_norm': 34.77726364135742, 'learning_rate': 4.203117865141635e-07, 'fcm_dpo/beta': 0.01108027994632721, 'fcm_dpo/q_t': 0.3215538561344147, 'fcm_dpo/delta': -0.06726758182048798, 'fcm_dpo/margin': 82.1200942993164, 'margin_dpo/margin_mean': 82.1200942993164, 'margin_dpo/margin_std': 89.67250061035156, 'logps/chosen': -139.94625854492188, 'logps/rejected': -251.1558380126953, 'logps/ref_chosen': -58.7701301574707, 'logps/ref_rejected': -87.85963439941406, 'logits/chosen': -0.3820115923881531, 'logits/rejected': -0.35805052518844604, 'epoch': 0.34} 34%|██████████████████████████████████████████████████████▍ | 230/681 [10:19<18:13, 2.42s/it] 34%|██████████████████████████████████████████████████████▌ | 231/681 [10:21<18:33, 2.47s/it] 34%|██████████████████████████████████████████████████████▊ | 232/681 [10:24<19:04, 2.55s/it] 34%|███████████████████████████████████████████████████████ | 233/681 [10:27<19:22, 2.60s/it] 34%|███████████████████████████████████████████████████████▎ | 234/681 [10:30<19:26, 2.61s/it] 35%|███████████████████████████████████████████████████████▌ | 235/681 [10:32<19:10, 2.58s/it] {'loss': 0.9162, 'grad_norm': 32.15520095825195, 'learning_rate': 4.1555887447288255e-07, 'fcm_dpo/beta': 0.010919634252786636, 'fcm_dpo/q_t': 0.34256863594055176, 'fcm_dpo/delta': 0.039671458303928375, 'fcm_dpo/margin': 74.35450744628906, 'margin_dpo/margin_mean': 74.35450744628906, 'margin_dpo/margin_std': 88.09162902832031, 'logps/chosen': -133.8794403076172, 'logps/rejected': -240.3823699951172, 'logps/ref_chosen': -59.0481071472168, 'logps/ref_rejected': -91.19654846191406, 'logits/chosen': -0.4005228877067566, 'logits/rejected': -0.3855542838573456, 'epoch': 0.35} 35%|███████████████████████████████████████████████████████▌ | 235/681 [10:32<19:10, 2.58s/it] 35%|███████████████████████████████████████████████████████▊ | 236/681 [10:35<19:34, 2.64s/it] 35%|████████████████████████████████████████████████████████ | 237/681 [10:37<19:25, 2.62s/it] 35%|████████████████████████████████████████████████████████▎ | 238/681 [10:40<19:30, 2.64s/it] 35%|████████████████████████████████████████████████████████▌ | 239/681 [10:42<18:51, 2.56s/it] 35%|████████████████████████████████████████████████████████▋ | 240/681 [10:45<18:46, 2.55s/it] {'loss': 0.8677, 'grad_norm': 40.340721130371094, 'learning_rate': 4.106969024216348e-07, 'fcm_dpo/beta': 0.010825184173882008, 'fcm_dpo/q_t': 0.3274964690208435, 'fcm_dpo/delta': -0.018980540335178375, 'fcm_dpo/margin': 79.97639465332031, 'margin_dpo/margin_mean': 79.97639465332031, 'margin_dpo/margin_std': 84.8770523071289, 'logps/chosen': -138.43865966796875, 'logps/rejected': -254.26034545898438, 'logps/ref_chosen': -55.238983154296875, 'logps/ref_rejected': -91.08428955078125, 'logits/chosen': -0.3556009829044342, 'logits/rejected': -0.34894007444381714, 'epoch': 0.35} 35%|████████████████████████████████████████████████████████▋ | 240/681 [10:45<18:46, 2.55s/it] 35%|████████████████████████████████████████████████████████▉ | 241/681 [10:47<18:25, 2.51s/it] 36%|█████████████████████████████████████████████████████████▏ | 242/681 [10:50<18:09, 2.48s/it] 36%|█████████████████████████████████████████████████████████▍ | 243/681 [10:52<18:05, 2.48s/it] 36%|█████████████████████████████████████████████████████████▋ | 244/681 [10:55<18:06, 2.49s/it] 36%|█████████████████████████████████████████████████████████▉ | 245/681 [10:57<18:31, 2.55s/it] {'loss': 0.8333, 'grad_norm': 42.48567581176758, 'learning_rate': 4.057290731287531e-07, 'fcm_dpo/beta': 0.010110095143318176, 'fcm_dpo/q_t': 0.3163699507713318, 'fcm_dpo/delta': -0.10127156972885132, 'fcm_dpo/margin': 92.84043884277344, 'margin_dpo/margin_mean': 92.8404312133789, 'margin_dpo/margin_std': 95.6347885131836, 'logps/chosen': -158.22030639648438, 'logps/rejected': -272.03009033203125, 'logps/ref_chosen': -65.08844757080078, 'logps/ref_rejected': -86.05777740478516, 'logits/chosen': -0.35475802421569824, 'logits/rejected': -0.3244848847389221, 'epoch': 0.36} 36%|█████████████████████████████████████████████████████████▉ | 245/681 [10:58<18:31, 2.55s/it] 36%|██████████████████████████████████████████████████████████▏ | 246/681 [11:00<18:41, 2.58s/it] 36%|██████████████████████████████████████████████████████████▍ | 247/681 [11:03<18:23, 2.54s/it] 36%|██████████████████████████████████████████████████████████▋ | 248/681 [11:05<18:30, 2.56s/it] 37%|██████████████████████████████████████████████████████████▊ | 249/681 [11:08<17:59, 2.50s/it] 37%|███████████████████████████████████████████████████████████ | 250/681 [11:10<17:52, 2.49s/it] {'loss': 0.8678, 'grad_norm': 54.82107162475586, 'learning_rate': 4.006586590948141e-07, 'fcm_dpo/beta': 0.00962417759001255, 'fcm_dpo/q_t': 0.3266645073890686, 'fcm_dpo/delta': -0.020193621516227722, 'fcm_dpo/margin': 90.06238555908203, 'margin_dpo/margin_mean': 90.06238555908203, 'margin_dpo/margin_std': 93.82579040527344, 'logps/chosen': -154.8458709716797, 'logps/rejected': -273.19061279296875, 'logps/ref_chosen': -59.08491897583008, 'logps/ref_rejected': -87.36727142333984, 'logits/chosen': -0.37928658723831177, 'logits/rejected': -0.35434064269065857, 'epoch': 0.37} 37%|███████████████████████████████████████████████████████████ | 250/681 [11:10<17:52, 2.49s/it] 37%|███████████████████████████████████████████████████████████▎ | 251/681 [11:12<17:38, 2.46s/it] 37%|███████████████████████████████████████████████████████████▌ | 252/681 [11:15<17:40, 2.47s/it] 37%|███████████████████████████████████████████████████████████▊ | 253/681 [11:18<17:55, 2.51s/it] 37%|████████████████████████████████████████████████████████████ | 254/681 [11:20<18:07, 2.55s/it] 37%|████████████████████████████████████████████████████████████▎ | 255/681 [11:23<17:45, 2.50s/it] {'loss': 0.9102, 'grad_norm': 58.291961669921875, 'learning_rate': 3.954890003969163e-07, 'fcm_dpo/beta': 0.009607134386897087, 'fcm_dpo/q_t': 0.3329293131828308, 'fcm_dpo/delta': 0.0022653634659945965, 'fcm_dpo/margin': 88.13050842285156, 'margin_dpo/margin_mean': 88.13050842285156, 'margin_dpo/margin_std': 103.13516998291016, 'logps/chosen': -170.76805114746094, 'logps/rejected': -285.3667907714844, 'logps/ref_chosen': -61.85979461669922, 'logps/ref_rejected': -88.32804107666016, 'logits/chosen': -0.33103686571121216, 'logits/rejected': -0.3057294487953186, 'epoch': 0.37} 37%|████████████████████████████████████████████████████████████▎ | 255/681 [11:23<17:45, 2.50s/it] 38%|████████████████████████████████████████████████████████████▌ | 256/681 [11:25<17:43, 2.50s/it] 38%|████████████████████████████████████████████████████████████▊ | 257/681 [11:28<17:56, 2.54s/it] 38%|████████████████████████████████████████████████████████████▉ | 258/681 [11:30<17:29, 2.48s/it] 38%|█████████████████████████████████████████████████████████████▏ | 259/681 [11:33<17:27, 2.48s/it] 38%|█████████████████████████████████████████████████████████████▍ | 260/681 [11:35<17:44, 2.53s/it] {'loss': 0.8885, 'grad_norm': 39.26882553100586, 'learning_rate': 3.9022350248844246e-07, 'fcm_dpo/beta': 0.009414169006049633, 'fcm_dpo/q_t': 0.33001503348350525, 'fcm_dpo/delta': -0.016010303050279617, 'fcm_dpo/margin': 91.66337585449219, 'margin_dpo/margin_mean': 91.66337585449219, 'margin_dpo/margin_std': 103.34080505371094, 'logps/chosen': -154.59693908691406, 'logps/rejected': -283.89129638671875, 'logps/ref_chosen': -52.843467712402344, 'logps/ref_rejected': -90.4744873046875, 'logits/chosen': -0.31099259853363037, 'logits/rejected': -0.3064902424812317, 'epoch': 0.38} 38%|█████████████████████████████████████████████████████████████▍ | 260/681 [11:35<17:44, 2.53s/it] 38%|█████████████████████████████████████████████████████████████▋ | 261/681 [11:38<17:31, 2.50s/it] 38%|█████████████████████████████████████████████████████████████▉ | 262/681 [11:40<17:07, 2.45s/it] 39%|██████████████████████████████████████████████████████████████▏ | 263/681 [11:42<17:00, 2.44s/it] 39%|██████████████████████████████████████████████████████████████▍ | 264/681 [11:45<17:30, 2.52s/it] 39%|██████████████████████████████████████████████████████████████▋ | 265/681 [11:47<17:09, 2.47s/it] {'loss': 0.8593, 'grad_norm': 42.47758865356445, 'learning_rate': 3.848656339557562e-07, 'fcm_dpo/beta': 0.009381098672747612, 'fcm_dpo/q_t': 0.3260762095451355, 'fcm_dpo/delta': -0.015523952431976795, 'fcm_dpo/margin': 92.02482604980469, 'margin_dpo/margin_mean': 92.02482604980469, 'margin_dpo/margin_std': 95.39722442626953, 'logps/chosen': -151.35202026367188, 'logps/rejected': -274.75714111328125, 'logps/ref_chosen': -59.35320281982422, 'logps/ref_rejected': -90.73350524902344, 'logits/chosen': -0.299502432346344, 'logits/rejected': -0.27807632088661194, 'epoch': 0.39} 39%|██████████████████████████████████████████████████████████████▋ | 265/681 [11:47<17:09, 2.47s/it] 39%|██████████████████████████████████████████████████████████████▉ | 266/681 [11:50<17:03, 2.47s/it] 39%|███████████████████████████████████████████████████████████████ | 267/681 [11:52<17:09, 2.49s/it] 39%|███████████████████████████████████████████████████████████████▎ | 268/681 [11:55<17:07, 2.49s/it] 40%|███████████████████████████████████████████████████████████████▌ | 269/681 [11:57<16:57, 2.47s/it] 40%|███████████████████████████████████████████████████████████████▊ | 270/681 [12:00<17:16, 2.52s/it] {'loss': 0.8569, 'grad_norm': 51.16044616699219, 'learning_rate': 3.794189242333106e-07, 'fcm_dpo/beta': 0.009062977507710457, 'fcm_dpo/q_t': 0.32098034024238586, 'fcm_dpo/delta': -0.06297405064105988, 'fcm_dpo/margin': 100.06938171386719, 'margin_dpo/margin_mean': 100.06938171386719, 'margin_dpo/margin_std': 107.111083984375, 'logps/chosen': -184.3603057861328, 'logps/rejected': -313.5339660644531, 'logps/ref_chosen': -66.30875396728516, 'logps/ref_rejected': -95.4130630493164, 'logits/chosen': -0.23682311177253723, 'logits/rejected': -0.21265558898448944, 'epoch': 0.4} 40%|███████████████████████████████████████████████████████████████▊ | 270/681 [12:00<17:16, 2.52s/it] 40%|████████████████████████████████████████████████████████████████ | 271/681 [12:02<17:13, 2.52s/it] 40%|████████████████████████████████████████████████████████████████▎ | 272/681 [12:05<17:28, 2.56s/it] 40%|████████████████████████████████████████████████████████████████▌ | 273/681 [12:08<17:29, 2.57s/it] 40%|████████████████████████████████████████████████████████████████▊ | 274/681 [12:10<17:00, 2.51s/it] 40%|█████████████████████████████████████████████████████████████████ | 275/681 [12:13<17:14, 2.55s/it] {'loss': 0.8306, 'grad_norm': 33.570701599121094, 'learning_rate': 3.738869612786737e-07, 'fcm_dpo/beta': 0.008018719032406807, 'fcm_dpo/q_t': 0.3118273615837097, 'fcm_dpo/delta': -0.12382125854492188, 'fcm_dpo/margin': 119.62171936035156, 'margin_dpo/margin_mean': 119.6217269897461, 'margin_dpo/margin_std': 122.45941162109375, 'logps/chosen': -189.1214599609375, 'logps/rejected': -346.2816467285156, 'logps/ref_chosen': -54.69990921020508, 'logps/ref_rejected': -92.23838806152344, 'logits/chosen': -0.15879306197166443, 'logits/rejected': -0.14661014080047607, 'epoch': 0.4} 40%|█████████████████████████████████████████████████████████████████ | 275/681 [12:13<17:14, 2.55s/it] 41%|█████████████████████████████████████████████████████████████████▎ | 276/681 [12:15<16:59, 2.52s/it] 41%|█████████████████████████████████████████████████████████████████▍ | 277/681 [12:17<16:21, 2.43s/it] 41%|█████████████████████████████████████████████████████████████████▋ | 278/681 [12:20<16:28, 2.45s/it] 41%|█████████████████████████████████████████████████████████████████▉ | 279/681 [12:22<16:32, 2.47s/it] 41%|██████████████████████████████████████████████████████████████████▏ | 280/681 [12:25<16:44, 2.51s/it] {'loss': 0.8467, 'grad_norm': 67.1026840209961, 'learning_rate': 3.6827338920900253e-07, 'fcm_dpo/beta': 0.007537333760410547, 'fcm_dpo/q_t': 0.3190959692001343, 'fcm_dpo/delta': -0.07704190909862518, 'fcm_dpo/margin': 122.15445709228516, 'margin_dpo/margin_mean': 122.15445709228516, 'margin_dpo/margin_std': 127.57193756103516, 'logps/chosen': -187.32925415039062, 'logps/rejected': -343.0320129394531, 'logps/ref_chosen': -54.64586639404297, 'logps/ref_rejected': -88.19416809082031, 'logits/chosen': -0.15290072560310364, 'logits/rejected': -0.14313052594661713, 'epoch': 0.41} 41%|██████████████████████████████████████████████████████████████████▏ | 280/681 [12:25<16:44, 2.51s/it] 41%|██████████████████████████████████████████████████████████████████▍ | 281/681 [12:28<16:45, 2.51s/it] 41%|██████████████████████████████████████████████████████████████████▋ | 282/681 [12:30<16:40, 2.51s/it] 42%|██████████████████████████████████████████████████████████████████▉ | 283/681 [12:33<16:52, 2.54s/it] 42%|███████████████████████████████████████████████████████████████████▏ | 284/681 [12:35<17:10, 2.60s/it] 42%|███████████████████████████████████████████████████████████████████▍ | 285/681 [12:38<16:59, 2.58s/it] {'loss': 0.8457, 'grad_norm': 36.61220169067383, 'learning_rate': 3.625819059005228e-07, 'fcm_dpo/beta': 0.007103285752236843, 'fcm_dpo/q_t': 0.32029491662979126, 'fcm_dpo/delta': -0.03963179141283035, 'fcm_dpo/margin': 124.67244720458984, 'margin_dpo/margin_mean': 124.67244720458984, 'margin_dpo/margin_std': 126.2774429321289, 'logps/chosen': -234.484375, 'logps/rejected': -389.29510498046875, 'logps/ref_chosen': -63.02496337890625, 'logps/ref_rejected': -93.16323852539062, 'logits/chosen': -0.09207823872566223, 'logits/rejected': -0.07269109785556793, 'epoch': 0.42} 42%|███████████████████████████████████████████████████████████████████▍ | 285/681 [12:38<16:59, 2.58s/it] 42%|███████████████████████████████████████████████████████████████████▌ | 286/681 [12:41<17:19, 2.63s/it] 42%|███████████████████████████████████████████████████████████████████▊ | 287/681 [12:43<16:28, 2.51s/it] 42%|████████████████████████████████████████████████████████████████████ | 288/681 [12:45<16:27, 2.51s/it] 42%|████████████████████████████████████████████████████████████████████▎ | 289/681 [12:48<16:19, 2.50s/it] 43%|████████████████████████████████████████████████████████████████████▌ | 290/681 [12:50<16:01, 2.46s/it] {'loss': 0.8386, 'grad_norm': 32.6433219909668, 'learning_rate': 3.568162605525952e-07, 'fcm_dpo/beta': 0.006760433316230774, 'fcm_dpo/q_t': 0.3183870315551758, 'fcm_dpo/delta': -0.0626429095864296, 'fcm_dpo/margin': 134.1584930419922, 'margin_dpo/margin_mean': 134.1584930419922, 'margin_dpo/margin_std': 134.99864196777344, 'logps/chosen': -225.1572723388672, 'logps/rejected': -392.53900146484375, 'logps/ref_chosen': -58.37105178833008, 'logps/ref_rejected': -91.59428405761719, 'logits/chosen': -0.07117484509944916, 'logits/rejected': -0.06140874698758125, 'epoch': 0.43} 43%|████████████████████████████████████████████████████████████████████▌ | 290/681 [12:50<16:01, 2.46s/it] 43%|████████████████████████████████████████████████████████████████████▊ | 291/681 [12:53<16:10, 2.49s/it] 43%|█████████████████████████████████████████████████████████████████████ | 292/681 [12:55<15:52, 2.45s/it] 43%|█████████████████████████████████████████████████████████████████████▎ | 293/681 [12:58<16:08, 2.50s/it] 43%|█████████████████████████████████████████████████████████████████████▌ | 294/681 [13:00<15:52, 2.46s/it] 43%|█████████████████████████████████████████████████████████████████████▋ | 295/681 [13:03<15:43, 2.44s/it] {'loss': 0.8958, 'grad_norm': 46.24834060668945, 'learning_rate': 3.509802512179737e-07, 'fcm_dpo/beta': 0.006551184691488743, 'fcm_dpo/q_t': 0.3340519070625305, 'fcm_dpo/delta': 0.024965018033981323, 'fcm_dpo/margin': 126.14031982421875, 'margin_dpo/margin_mean': 126.14030456542969, 'margin_dpo/margin_std': 140.62646484375, 'logps/chosen': -215.8157958984375, 'logps/rejected': -372.1355285644531, 'logps/ref_chosen': -55.113426208496094, 'logps/ref_rejected': -85.29283905029297, 'logits/chosen': -0.051733147352933884, 'logits/rejected': -0.04382902756333351, 'epoch': 0.43} 43%|█████████████████████████████████████████████████████████████████████▋ | 295/681 [13:03<15:43, 2.44s/it] 43%|█████████████████████████████████████████████████████████████████████▉ | 296/681 [13:05<15:50, 2.47s/it] 44%|██████████████████████████████████████████████████████████████████████▏ | 297/681 [13:08<15:57, 2.49s/it] 44%|██████████████████████████████████████████████████████████████████████▍ | 298/681 [13:10<16:30, 2.59s/it] 44%|██████████████████████████████████████████████████████████████████████▋ | 299/681 [13:13<16:19, 2.56s/it] 44%|██████████████████████████████████████████████████████████████████████▉ | 300/681 [13:16<16:23, 2.58s/it] {'loss': 0.9105, 'grad_norm': 67.42388916015625, 'learning_rate': 3.4507772230088147e-07, 'fcm_dpo/beta': 0.006881644017994404, 'fcm_dpo/q_t': 0.3347456455230713, 'fcm_dpo/delta': -0.0010080442298203707, 'fcm_dpo/margin': 123.4745101928711, 'margin_dpo/margin_mean': 123.4745101928711, 'margin_dpo/margin_std': 146.905029296875, 'logps/chosen': -241.1220703125, 'logps/rejected': -402.16766357421875, 'logps/ref_chosen': -59.46582794189453, 'logps/ref_rejected': -97.03690338134766, 'logits/chosen': -0.06820065528154373, 'logits/rejected': -0.0680488869547844, 'epoch': 0.44} 44%|██████████████████████████████████████████████████████████████████████▉ | 300/681 [13:16<16:23, 2.58s/it] 44%|███████████████████████████████████████████████████████████████████████▏ | 301/681 [13:18<15:41, 2.48s/it] 44%|███████████████████████████████████████████████████████████████████████▍ | 302/681 [13:20<15:51, 2.51s/it] 44%|███████████████████████████████████████████████████████████████████████▋ | 303/681 [13:23<15:58, 2.54s/it] 45%|███████████████████████████████████████████████████████████████████████▊ | 304/681 [13:26<16:11, 2.58s/it] 45%|████████████████████████████████████████████████████████████████████████ | 305/681 [13:28<16:13, 2.59s/it] {'loss': 0.8706, 'grad_norm': 42.539947509765625, 'learning_rate': 3.391125620245535e-07, 'fcm_dpo/beta': 0.006595266051590443, 'fcm_dpo/q_t': 0.33005213737487793, 'fcm_dpo/delta': 0.0008342728251591325, 'fcm_dpo/margin': 128.62730407714844, 'margin_dpo/margin_mean': 128.62728881835938, 'margin_dpo/margin_std': 136.1685333251953, 'logps/chosen': -225.65005493164062, 'logps/rejected': -383.4462890625, 'logps/ref_chosen': -62.78144454956055, 'logps/ref_rejected': -91.95039367675781, 'logits/chosen': -0.09431194514036179, 'logits/rejected': -0.08120522648096085, 'epoch': 0.45} 45%|████████████████████████████████████████████████████████████████████████ | 305/681 [13:28<16:13, 2.59s/it] 45%|████████████████████████████████████████████████████████████████████████▎ | 306/681 [13:31<16:14, 2.60s/it] 45%|████████████████████████████████████████████████████████████████████████▌ | 307/681 [13:34<16:28, 2.64s/it] 45%|████████████████████████████████████████████████████████████████████████▊ | 308/681 [13:36<16:27, 2.65s/it] 45%|█████████████████████████████████████████████████████████████████████████ | 309/681 [13:39<16:23, 2.64s/it] 46%|█████████████████████████████████████████████████████████████████████████▎ | 310/681 [13:42<16:30, 2.67s/it] {'loss': 0.851, 'grad_norm': 40.4238395690918, 'learning_rate': 3.3308869986991487e-07, 'fcm_dpo/beta': 0.006700504571199417, 'fcm_dpo/q_t': 0.3245096802711487, 'fcm_dpo/delta': -0.0035556063521653414, 'fcm_dpo/margin': 127.2578125, 'margin_dpo/margin_mean': 127.2578125, 'margin_dpo/margin_std': 124.93436431884766, 'logps/chosen': -217.1204071044922, 'logps/rejected': -365.7741394042969, 'logps/ref_chosen': -61.359039306640625, 'logps/ref_rejected': -82.75496673583984, 'logits/chosen': -0.07853604853153229, 'logits/rejected': -0.056885600090026855, 'epoch': 0.46} 46%|█████████████████████████████████████████████████████████████████████████▎ | 310/681 [13:42<16:30, 2.67s/it] 46%|█████████████████████████████████████████████████████████████████████████▌ | 311/681 [13:44<16:10, 2.62s/it] 46%|█████████████████████████████████████████████████████████████████████████▊ | 312/681 [13:46<15:29, 2.52s/it] 46%|█████████████████████████████████████████████████████████████████████████▉ | 313/681 [13:49<15:02, 2.45s/it] 46%|██████████████████████████████████████████████████████████████████████████▏ | 314/681 [13:51<15:03, 2.46s/it] 46%|██████████████████████████████████████████████████████████████████████████▍ | 315/681 [13:54<15:00, 2.46s/it] {'loss': 0.8915, 'grad_norm': 71.91686248779297, 'learning_rate': 3.270101039870797e-07, 'fcm_dpo/beta': 0.006514403969049454, 'fcm_dpo/q_t': 0.3323710560798645, 'fcm_dpo/delta': 0.00254381587728858, 'fcm_dpo/margin': 129.9599151611328, 'margin_dpo/margin_mean': 129.9599151611328, 'margin_dpo/margin_std': 146.8983612060547, 'logps/chosen': -250.1263885498047, 'logps/rejected': -412.8932189941406, 'logps/ref_chosen': -51.77602005004883, 'logps/ref_rejected': -84.58292388916016, 'logits/chosen': 0.050092458724975586, 'logits/rejected': 0.06273595988750458, 'epoch': 0.46} 46%|██████████████████████████████████████████████████████████████████████████▍ | 315/681 [13:54<15:00, 2.46s/it] 46%|██████████████████████████████████████████████████████████████████████████▋ | 316/681 [13:56<15:05, 2.48s/it] 47%|██████████████████████████████████████████████████████████████████████████▉ | 317/681 [13:59<15:14, 2.51s/it] 47%|███████████████████████████████████████████████████████████████████████████▏ | 318/681 [14:01<14:59, 2.48s/it] 47%|███████████████████████████████████████████████████████████████████████████▍ | 319/681 [14:04<15:17, 2.54s/it] 47%|███████████████████████████████████████████████████████████████████████████▋ | 320/681 [14:07<15:45, 2.62s/it] {'loss': 0.7846, 'grad_norm': 37.25245666503906, 'learning_rate': 3.208807785813777e-07, 'fcm_dpo/beta': 0.006153360940515995, 'fcm_dpo/q_t': 0.3038443326950073, 'fcm_dpo/delta': -0.12349160015583038, 'fcm_dpo/margin': 156.13824462890625, 'margin_dpo/margin_mean': 156.13824462890625, 'margin_dpo/margin_std': 138.79611206054688, 'logps/chosen': -244.4154815673828, 'logps/rejected': -443.03955078125, 'logps/ref_chosen': -56.777862548828125, 'logps/ref_rejected': -99.26368713378906, 'logits/chosen': -0.020375465974211693, 'logits/rejected': -0.011311917565762997, 'epoch': 0.47} 47%|███████████████████████████████████████████████████████████████████████████▋ | 320/681 [14:07<15:45, 2.62s/it] 47%|███████████████████████████████████████████████████████████████████████████▉ | 321/681 [14:09<15:23, 2.57s/it] 47%|████████████████████████████████████████████████████████████████████████████▏ | 322/681 [14:12<15:24, 2.57s/it] 47%|████████████████████████████████████████████████████████████████████████████▎ | 323/681 [14:14<15:40, 2.63s/it] 48%|████████████████████████████████████████████████████████████████████████████▌ | 324/681 [14:17<15:11, 2.55s/it] 48%|████████████████████████████████████████████████████████████████████████████▊ | 325/681 [14:20<15:27, 2.60s/it] {'loss': 0.8735, 'grad_norm': 46.0535774230957, 'learning_rate': 3.147047612756302e-07, 'fcm_dpo/beta': 0.00587537931278348, 'fcm_dpo/q_t': 0.3283257484436035, 'fcm_dpo/delta': 0.004868075251579285, 'fcm_dpo/margin': 143.66757202148438, 'margin_dpo/margin_mean': 143.66757202148438, 'margin_dpo/margin_std': 146.94345092773438, 'logps/chosen': -280.6909484863281, 'logps/rejected': -449.8771057128906, 'logps/ref_chosen': -58.28468704223633, 'logps/ref_rejected': -83.80326843261719, 'logits/chosen': 0.04561225324869156, 'logits/rejected': 0.05908801406621933, 'epoch': 0.48} 48%|████████████████████████████████████████████████████████████████████████████▊ | 325/681 [14:20<15:27, 2.60s/it] 48%|█████████████████████████████████████████████████████████████████████████████ | 326/681 [14:22<15:22, 2.60s/it] 48%|█████████████████████████████████████████████████████████████████████████████▎ | 327/681 [14:25<15:29, 2.63s/it] 48%|█████████████████████████████████████████████████████████████████████████████▌ | 328/681 [14:27<15:22, 2.61s/it] 48%|█████████████████████████████████████████████████████████████████████████████▊ | 329/681 [14:30<15:01, 2.56s/it] 48%|██████████████████████████████████████████████████████████████████████████████ | 330/681 [14:32<15:05, 2.58s/it] {'loss': 0.8302, 'grad_norm': 50.687007904052734, 'learning_rate': 3.084861204504122e-07, 'fcm_dpo/beta': 0.0057464223355054855, 'fcm_dpo/q_t': 0.3170631527900696, 'fcm_dpo/delta': -0.0528077557682991, 'fcm_dpo/margin': 156.2254638671875, 'margin_dpo/margin_mean': 156.2254638671875, 'margin_dpo/margin_std': 149.75978088378906, 'logps/chosen': -278.55731201171875, 'logps/rejected': -466.06658935546875, 'logps/ref_chosen': -62.75822067260742, 'logps/ref_rejected': -94.04203033447266, 'logits/chosen': 0.018803680315613747, 'logits/rejected': 0.03341676667332649, 'epoch': 0.48} 48%|██████████████████████████████████████████████████████████████████████████████ | 330/681 [14:33<15:05, 2.58s/it] 49%|██████████████████████████████████████████████████████████████████████████████▎ | 331/681 [14:35<15:06, 2.59s/it] 49%|██████████████████████████████████████████████████████████████████████████████▍ | 332/681 [14:38<14:52, 2.56s/it] 49%|██████████████████████████████████████████████████████████████████████████████▋ | 333/681 [14:40<14:28, 2.49s/it] 49%|██████████████████████████████████████████████████████████████████████████████▉ | 334/681 [14:42<14:18, 2.47s/it] 49%|███████████████████████████████████████████████████████████████████████████████▏ | 335/681 [14:45<14:25, 2.50s/it] {'loss': 0.8834, 'grad_norm': 52.71037673950195, 'learning_rate': 3.022289525640531e-07, 'fcm_dpo/beta': 0.005659957882016897, 'fcm_dpo/q_t': 0.33370915055274963, 'fcm_dpo/delta': 0.03993542492389679, 'fcm_dpo/margin': 143.60537719726562, 'margin_dpo/margin_mean': 143.60537719726562, 'margin_dpo/margin_std': 148.41580200195312, 'logps/chosen': -285.34234619140625, 'logps/rejected': -459.047119140625, 'logps/ref_chosen': -58.59650421142578, 'logps/ref_rejected': -88.69586944580078, 'logits/chosen': 0.07965292036533356, 'logits/rejected': 0.0922585278749466, 'epoch': 0.49} 49%|███████████████████████████████████████████████████████████████████████████████▏ | 335/681 [14:45<14:25, 2.50s/it] 49%|███████████████████████████████████████████████████████████████████████████████▍ | 336/681 [14:48<14:40, 2.55s/it] 49%|███████████████████████████████████████████████████████████████████████████████▋ | 337/681 [14:50<14:10, 2.47s/it] 50%|███████████████████████████████████████████████████████████████████████████████▉ | 338/681 [14:52<14:12, 2.49s/it] 50%|████████████████████████████████████████████████████████████████████████████████▏ | 339/681 [14:55<13:46, 2.42s/it] 50%|████████████████████████████████████████████████████████████████████████████████▍ | 340/681 [14:57<13:57, 2.46s/it] {'loss': 0.825, 'grad_norm': 35.8148193359375, 'learning_rate': 2.959373794541426e-07, 'fcm_dpo/beta': 0.005560899153351784, 'fcm_dpo/q_t': 0.3149014711380005, 'fcm_dpo/delta': -0.058431338518857956, 'fcm_dpo/margin': 162.19033813476562, 'margin_dpo/margin_mean': 162.1903533935547, 'margin_dpo/margin_std': 153.74880981445312, 'logps/chosen': -255.1841278076172, 'logps/rejected': -453.63641357421875, 'logps/ref_chosen': -58.18162155151367, 'logps/ref_rejected': -94.44358825683594, 'logits/chosen': 0.013386556878685951, 'logits/rejected': 0.0291533712297678, 'epoch': 0.5} 50%|████████████████████████████████████████████████████████████████████████████████▍ | 340/681 [14:57<13:57, 2.46s/it] 50%|████████████████████████████████████████████████████████████████████████████████▌ | 341/681 [14:59<13:32, 2.39s/it] 50%|████████████████████████████████████████████████████████████████████████████████▊ | 342/681 [15:02<14:08, 2.50s/it] 50%|█████████████████████████████████████████████████████████████████████████████████ | 343/681 [15:05<13:45, 2.44s/it] 51%|█████████████████████████████████████████████████████████████████████████████████▎ | 344/681 [15:07<13:51, 2.47s/it] 51%|█████████████████████████████████████████████████████████████████████████████████▌ | 345/681 [15:10<14:07, 2.52s/it] {'loss': 0.8223, 'grad_norm': 50.1009521484375, 'learning_rate': 2.896155456223163e-07, 'fcm_dpo/beta': 0.0053556510247290134, 'fcm_dpo/q_t': 0.31634849309921265, 'fcm_dpo/delta': -0.04881957173347473, 'fcm_dpo/margin': 166.8225860595703, 'margin_dpo/margin_mean': 166.8225860595703, 'margin_dpo/margin_std': 155.08956909179688, 'logps/chosen': -275.6701354980469, 'logps/rejected': -483.6131896972656, 'logps/ref_chosen': -57.9904899597168, 'logps/ref_rejected': -99.11092376708984, 'logits/chosen': -0.0006014652317389846, 'logits/rejected': 0.011017178185284138, 'epoch': 0.51} 51%|█████████████████████████████████████████████████████████████████████████████████▌ | 345/681 [15:10<14:07, 2.52s/it] 51%|█████████████████████████████████████████████████████████████████████████████████▊ | 346/681 [15:12<14:11, 2.54s/it] 51%|██████████████████████████████████████████████████████████████████████████████████ | 347/681 [15:14<13:29, 2.42s/it] 51%|██████████████████████████████████████████████████████████████████████████████████▎ | 348/681 [15:17<13:25, 2.42s/it] 51%|██████████████████████████████████████████████████████████████████████████████████▌ | 349/681 [15:19<13:38, 2.46s/it] 51%|██████████████████████████████████████████████████████████████████████████████████▋ | 350/681 [15:22<13:51, 2.51s/it] {'loss': 0.8883, 'grad_norm': 61.714805603027344, 'learning_rate': 2.8326761550411346e-07, 'fcm_dpo/beta': 0.005294440779834986, 'fcm_dpo/q_t': 0.3322368264198303, 'fcm_dpo/delta': 0.02646171674132347, 'fcm_dpo/margin': 155.80526733398438, 'margin_dpo/margin_mean': 155.80526733398438, 'margin_dpo/margin_std': 168.00064086914062, 'logps/chosen': -326.2274169921875, 'logps/rejected': -512.9906005859375, 'logps/ref_chosen': -58.29923629760742, 'logps/ref_rejected': -89.25711822509766, 'logits/chosen': 0.13601693511009216, 'logits/rejected': 0.14563313126564026, 'epoch': 0.51} 51%|██████████████████████████████████████████████████████████████████████████████████▋ | 350/681 [15:22<13:51, 2.51s/it] 52%|██████████████████████████████████████████████████████████████████████████████████▉ | 351/681 [15:25<13:51, 2.52s/it] 52%|███████████████████████████████████████████████████████████████████████████████████▏ | 352/681 [15:27<13:50, 2.52s/it] 52%|███████████████████████████████████████████████████████████████████████████████████▍ | 353/681 [15:30<13:44, 2.51s/it] 52%|███████████████████████████████████████████████████████████████████████████████████▋ | 354/681 [15:32<13:56, 2.56s/it] 52%|███████████████████████████████████████████████████████████████████████████████████▉ | 355/681 [15:35<13:45, 2.53s/it] {'loss': 0.8631, 'grad_norm': 50.927425384521484, 'learning_rate': 2.7689777072570284e-07, 'fcm_dpo/beta': 0.005374093074351549, 'fcm_dpo/q_t': 0.325572669506073, 'fcm_dpo/delta': -0.00456079700961709, 'fcm_dpo/margin': 158.74806213378906, 'margin_dpo/margin_mean': 158.74806213378906, 'margin_dpo/margin_std': 160.3525848388672, 'logps/chosen': -304.60711669921875, 'logps/rejected': -488.50799560546875, 'logps/ref_chosen': -60.788482666015625, 'logps/ref_rejected': -85.94129943847656, 'logits/chosen': 0.049882251769304276, 'logits/rejected': 0.07219198346138, 'epoch': 0.52} 52%|███████████████████████████████████████████████████████████████████████████████████▉ | 355/681 [15:35<13:45, 2.53s/it] 52%|████████████████████████████████████████████████████████████████████████████████████▏ | 356/681 [15:37<13:58, 2.58s/it] 52%|████████████████████████████████████████████████████████████████████████████████████▍ | 357/681 [15:40<14:24, 2.67s/it] 53%|████████████████████████████████████████████████████████████████████████████████████▋ | 358/681 [15:43<14:40, 2.73s/it] 53%|████████████████████████████████████████████████████████████████████████████████████▊ | 359/681 [15:46<14:20, 2.67s/it] 53%|█████████████████████████████████████████████████████████████████████████████████████ | 360/681 [15:48<13:58, 2.61s/it] {'loss': 0.9029, 'grad_norm': 103.65924835205078, 'learning_rate': 2.7051020734928443e-07, 'fcm_dpo/beta': 0.005639675538986921, 'fcm_dpo/q_t': 0.33998966217041016, 'fcm_dpo/delta': 0.06519472599029541, 'fcm_dpo/margin': 139.63821411132812, 'margin_dpo/margin_mean': 139.63821411132812, 'margin_dpo/margin_std': 152.2101593017578, 'logps/chosen': -303.3082580566406, 'logps/rejected': -465.8846130371094, 'logps/ref_chosen': -57.6871337890625, 'logps/ref_rejected': -80.62527465820312, 'logits/chosen': 0.07553316652774811, 'logits/rejected': 0.0942920446395874, 'epoch': 0.53} 53%|█████████████████████████████████████████████████████████████████████████████████████ | 360/681 [15:48<13:58, 2.61s/it] 53%|█████████████████████████████████████████████████████████████████████████████████████▎ | 361/681 [15:51<14:02, 2.63s/it] 53%|█████████████████████████████████████████████████████████████████████████████████████▌ | 362/681 [15:53<13:27, 2.53s/it] 53%|█████████████████████████████████████████████████████████████████████████████████████▊ | 363/681 [15:55<12:59, 2.45s/it] 53%|██████████████████████████████████████████████████████████████████████████████████████ | 364/681 [15:58<13:05, 2.48s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████▎ | 365/681 [16:01<13:14, 2.51s/it] {'loss': 0.8274, 'grad_norm': 103.95121002197266, 'learning_rate': 2.641091331089811e-07, 'fcm_dpo/beta': 0.005498864687979221, 'fcm_dpo/q_t': 0.3161132335662842, 'fcm_dpo/delta': -0.058943700045347214, 'fcm_dpo/margin': 164.1685028076172, 'margin_dpo/margin_mean': 164.1685028076172, 'margin_dpo/margin_std': 157.7042236328125, 'logps/chosen': -293.01922607421875, 'logps/rejected': -496.72552490234375, 'logps/ref_chosen': -51.490867614746094, 'logps/ref_rejected': -91.02871704101562, 'logits/chosen': 0.13508400321006775, 'logits/rejected': 0.1376177817583084, 'epoch': 0.54} 54%|██████████████████████████████████████████████████████████████████████████████████████▎ | 365/681 [16:01<13:14, 2.51s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████▌ | 366/681 [16:03<13:24, 2.56s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████▊ | 367/681 [16:06<13:38, 2.61s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████ | 368/681 [16:08<13:30, 2.59s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████▏ | 369/681 [16:11<14:07, 2.72s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████▍ | 370/681 [16:14<14:04, 2.71s/it] {'loss': 0.8812, 'grad_norm': 51.74324035644531, 'learning_rate': 2.5769876463904263e-07, 'fcm_dpo/beta': 0.005576250609010458, 'fcm_dpo/q_t': 0.3373372554779053, 'fcm_dpo/delta': 0.08467354625463486, 'fcm_dpo/margin': 138.50732421875, 'margin_dpo/margin_mean': 138.50733947753906, 'margin_dpo/margin_std': 134.93521118164062, 'logps/chosen': -298.34576416015625, 'logps/rejected': -468.1741638183594, 'logps/ref_chosen': -58.113502502441406, 'logps/ref_rejected': -89.43451690673828, 'logits/chosen': 0.10848675668239594, 'logits/rejected': 0.11948434263467789, 'epoch': 0.54} 54%|███████████████████████████████████████████████████████████████████████████████████████▍ | 370/681 [16:14<14:04, 2.71s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████▋ | 371/681 [16:17<13:55, 2.70s/it] 55%|███████████████████████████████████████████████████████████████████████████████████████▉ | 372/681 [16:19<13:11, 2.56s/it] 55%|████████████████████████████████████████████████████████████████████████████████████████▏ | 373/681 [16:22<12:59, 2.53s/it] 55%|████████████████████████████████████████████████████████████████████████████████████████▍ | 374/681 [16:24<13:09, 2.57s/it] 55%|████████████████████████████████████████████████████████████████████████████████████████▋ | 375/681 [16:27<13:07, 2.57s/it] {'loss': 0.8508, 'grad_norm': 49.77079772949219, 'learning_rate': 2.512833246961859e-07, 'fcm_dpo/beta': 0.0056075444445014, 'fcm_dpo/q_t': 0.3194437623023987, 'fcm_dpo/delta': -0.06286319345235825, 'fcm_dpo/margin': 161.43272399902344, 'margin_dpo/margin_mean': 161.43270874023438, 'margin_dpo/margin_std': 164.4888458251953, 'logps/chosen': -326.29534912109375, 'logps/rejected': -511.74200439453125, 'logps/ref_chosen': -65.23600769042969, 'logps/ref_rejected': -89.24995422363281, 'logits/chosen': 0.1206691637635231, 'logits/rejected': 0.14743848145008087, 'epoch': 0.55} 55%|████████████████████████████████████████████████████████████████████████████████████████▋ | 375/681 [16:27<13:07, 2.57s/it] 55%|████████████████████████████████████████████████████████████████████████████████████████▉ | 376/681 [16:29<13:12, 2.60s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 377/681 [16:32<12:56, 2.55s/it] 56%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 378/681 [16:34<12:14, 2.43s/it] 56%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 379/681 [16:37<12:22, 2.46s/it] 56%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 380/681 [16:39<12:07, 2.42s/it] {'loss': 0.8158, 'grad_norm': 47.95132064819336, 'learning_rate': 2.4486703937790243e-07, 'fcm_dpo/beta': 0.005182487424463034, 'fcm_dpo/q_t': 0.3068377375602722, 'fcm_dpo/delta': -0.11963502317667007, 'fcm_dpo/margin': 185.00277709960938, 'margin_dpo/margin_mean': 185.00277709960938, 'margin_dpo/margin_std': 178.25515747070312, 'logps/chosen': -336.24005126953125, 'logps/rejected': -570.0576171875, 'logps/ref_chosen': -53.33893966674805, 'logps/ref_rejected': -102.15375518798828, 'logits/chosen': 0.1993691623210907, 'logits/rejected': 0.2027546912431717, 'epoch': 0.56} 56%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 380/681 [16:39<12:07, 2.42s/it] 56%|██████████████████████████████████████████████████████████████████████████████████████████ | 381/681 [16:41<12:18, 2.46s/it] 56%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 382/681 [16:44<12:43, 2.55s/it] 56%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 383/681 [16:47<12:37, 2.54s/it] 56%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 384/681 [16:49<12:34, 2.54s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████ | 385/681 [16:52<12:23, 2.51s/it] {'loss': 0.8731, 'grad_norm': 34.479740142822266, 'learning_rate': 2.3845413533856514e-07, 'fcm_dpo/beta': 0.0049522449262440205, 'fcm_dpo/q_t': 0.3291183114051819, 'fcm_dpo/delta': 0.019767077639698982, 'fcm_dpo/margin': 167.88037109375, 'margin_dpo/margin_mean': 167.88037109375, 'margin_dpo/margin_std': 172.85272216796875, 'logps/chosen': -353.31121826171875, 'logps/rejected': -552.2758178710938, 'logps/ref_chosen': -58.36262130737305, 'logps/ref_rejected': -89.44685363769531, 'logits/chosen': 0.18332220613956451, 'logits/rejected': 0.19640536606311798, 'epoch': 0.57} 57%|███████████████████████████████████████████████████████████████████████████████████████████ | 385/681 [16:52<12:23, 2.51s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 386/681 [16:54<12:27, 2.53s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 387/681 [16:57<12:23, 2.53s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 388/681 [16:59<12:00, 2.46s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 389/681 [17:02<11:51, 2.44s/it] 57%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 390/681 [17:04<11:52, 2.45s/it] {'loss': 0.8665, 'grad_norm': 46.603187561035156, 'learning_rate': 2.320488370051681e-07, 'fcm_dpo/beta': 0.004950010217726231, 'fcm_dpo/q_t': 0.32719507813453674, 'fcm_dpo/delta': -0.0016832177061587572, 'fcm_dpo/margin': 171.85813903808594, 'margin_dpo/margin_mean': 171.85813903808594, 'margin_dpo/margin_std': 178.92532348632812, 'logps/chosen': -333.3777160644531, 'logps/rejected': -539.3297119140625, 'logps/ref_chosen': -56.380653381347656, 'logps/ref_rejected': -90.47447204589844, 'logits/chosen': 0.12718243896961212, 'logits/rejected': 0.1411055475473404, 'epoch': 0.57} 57%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 390/681 [17:04<11:52, 2.45s/it] 57%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 391/681 [17:07<11:59, 2.48s/it] 58%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 392/681 [17:09<12:10, 2.53s/it] 58%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 393/681 [17:12<12:12, 2.54s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 394/681 [17:14<12:13, 2.56s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 395/681 [17:17<12:02, 2.52s/it] {'loss': 0.9001, 'grad_norm': 44.36903381347656, 'learning_rate': 2.2565536379453404e-07, 'fcm_dpo/beta': 0.005209635477513075, 'fcm_dpo/q_t': 0.33868879079818726, 'fcm_dpo/delta': 0.042330484837293625, 'fcm_dpo/margin': 155.28634643554688, 'margin_dpo/margin_mean': 155.28634643554688, 'margin_dpo/margin_std': 174.56260681152344, 'logps/chosen': -274.38555908203125, 'logps/rejected': -460.8504943847656, 'logps/ref_chosen': -55.95304489135742, 'logps/ref_rejected': -87.13162994384766, 'logits/chosen': 0.03185752406716347, 'logits/rejected': 0.039340805262327194, 'epoch': 0.58} 58%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 395/681 [17:17<12:02, 2.52s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 396/681 [17:19<11:59, 2.53s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 397/681 [17:22<11:49, 2.50s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████ | 398/681 [17:24<11:30, 2.44s/it] 59%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 399/681 [17:26<11:13, 2.39s/it] 59%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 400/681 [17:29<11:18, 2.42s/it] {'loss': 0.8159, 'grad_norm': 40.749473571777344, 'learning_rate': 2.192779273338215e-07, 'fcm_dpo/beta': 0.005051156505942345, 'fcm_dpo/q_t': 0.31105726957321167, 'fcm_dpo/delta': -0.08489851653575897, 'fcm_dpo/margin': 183.75982666015625, 'margin_dpo/margin_mean': 183.7598419189453, 'margin_dpo/margin_std': 173.43460083007812, 'logps/chosen': -283.33929443359375, 'logps/rejected': -499.20843505859375, 'logps/ref_chosen': -64.59160614013672, 'logps/ref_rejected': -96.700927734375, 'logits/chosen': 0.04275448992848396, 'logits/rejected': 0.0653674453496933, 'epoch': 0.59} 59%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 400/681 [17:29<11:18, 2.42s/it][INFO|trainer.py:4307] 2026-04-22 00:18:26,598 >> ***** Running Evaluation ***** [INFO|trainer.py:4309] 2026-04-22 00:18:26,599 >> Num examples = 2339 [INFO|trainer.py:4312] 2026-04-22 00:18:26,599 >> Batch size = 8 0%| | 0/73 [00:00> ***** Running Evaluation ***** [INFO|trainer.py:4309] 2026-04-22 00:27:35,703 >> Num examples = 2339 [INFO|trainer.py:4312] 2026-04-22 00:27:35,703 >> Batch size = 8 0%| | 0/73 [00:00> Training completed. Do not forget to share your model on huggingface.co/models =) {'train_runtime': 1846.2605, 'train_samples_per_second': 23.614, 'train_steps_per_second': 0.369, 'train_loss': 0.8947697063024523, 'epoch': 1.0} 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 681/681 [30:43<00:00, 2.53s/it] 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 681/681 [30:43<00:00, 2.71s/it] ***** train metrics ***** epoch = 1.0 total_flos = 0GF train_loss = 0.8948 train_runtime = 0:30:46.26 train_samples = 43598 train_samples_per_second = 23.614 train_steps_per_second = 0.369 2026-04-22 00:31:40 - INFO - __main__ - *** Training complete *** 2026-04-22 00:31:40 - INFO - __main__ - *** Save model *** [INFO|configuration_utils.py:419] 2026-04-22 00:32:14,748 >> Configuration saved in /root/dynamic-dpo-v4/outputs/outputs/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802/config.json [INFO|configuration_utils.py:911] 2026-04-22 00:32:14,750 >> Configuration saved in /root/dynamic-dpo-v4/outputs/outputs/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802/generation_config.json [INFO|modeling_utils.py:3580] 2026-04-22 00:32:40,444 >> The model is bigger than the maximum size per checkpoint (5GB) and is going to be split in 7 checkpoint shards. You can find where each parameters has been saved in the index located at /root/dynamic-dpo-v4/outputs/outputs/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802/model.safetensors.index.json. [INFO|tokenization_utils_base.py:2510] 2026-04-22 00:32:40,449 >> tokenizer config file saved in /root/dynamic-dpo-v4/outputs/outputs/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802/tokenizer_config.json [INFO|tokenization_utils_base.py:2519] 2026-04-22 00:32:40,449 >> Special tokens file saved in /root/dynamic-dpo-v4/outputs/outputs/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802/special_tokens_map.json 2026-04-22 00:32:40 - INFO - __main__ - Saved HF-compatible model artifacts to /root/dynamic-dpo-v4/outputs/outputs/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802 [INFO|modelcard.py:450] 2026-04-22 00:32:43,030 >> Dropping the following result as it does not have all the necessary fields: {'dataset': {'name': 'Anthropic/hh-rlhf', 'type': 'Anthropic/hh-rlhf'}} [INFO|configuration_utils.py:419] 2026-04-22 00:32:43,033 >> Configuration saved in /root/dynamic-dpo-v4/outputs/outputs/llama-3-8b-base-new-dpo-hh-helpful-s_star0.85-4xh200-batch-64-20260421-233802/config.json 2026-04-22 00:32:43 - INFO - __main__ - *** Evaluate *** [INFO|trainer.py:4307] 2026-04-22 00:32:43,035 >> ***** Running Evaluation ***** [INFO|trainer.py:4309] 2026-04-22 00:32:43,035 >> Num examples = 2339 [INFO|trainer.py:4312] 2026-04-22 00:32:43,035 >> Batch size = 8 0%| | 0/73 [00:00