359 lines
11 KiB
JSON
359 lines
11 KiB
JSON
{
|
|
"best_metric": null,
|
|
"best_model_checkpoint": null,
|
|
"epoch": 0.013333333333333334,
|
|
"eval_steps": 500,
|
|
"global_step": 25,
|
|
"is_hyper_param_search": false,
|
|
"is_local_process_zero": true,
|
|
"is_world_process_zero": true,
|
|
"log_history": [
|
|
{
|
|
"completion_length": 461.6979166666667,
|
|
"epoch": 0.0005333333333333334,
|
|
"grad_norm": 1.0546875,
|
|
"kl": 0.0,
|
|
"learning_rate": 3.571428571428571e-08,
|
|
"loss": -0.0,
|
|
"reward": 0.3177083333333333,
|
|
"reward_std": 0.4441547766327858,
|
|
"rewards/equation_reward_func": 0.0,
|
|
"rewards/format_reward_func": 0.3177083333333333,
|
|
"step": 1
|
|
},
|
|
{
|
|
"completion_length": 426.65625,
|
|
"epoch": 0.0010666666666666667,
|
|
"grad_norm": 1.234375,
|
|
"kl": 0.0,
|
|
"learning_rate": 7.142857142857142e-08,
|
|
"loss": -0.0,
|
|
"reward": 0.3385416666666667,
|
|
"reward_std": 0.4570826714237531,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.3333333333333333,
|
|
"step": 2
|
|
},
|
|
{
|
|
"completion_length": 432.7552083333333,
|
|
"epoch": 0.0016,
|
|
"grad_norm": 1.015625,
|
|
"kl": 0.0007873260061993884,
|
|
"learning_rate": 1.0714285714285713e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.2708333333333333,
|
|
"reward_std": 0.4289519066611926,
|
|
"rewards/equation_reward_func": 0.010416666666666666,
|
|
"rewards/format_reward_func": 0.2604166666666667,
|
|
"step": 3
|
|
},
|
|
{
|
|
"completion_length": 474.359375,
|
|
"epoch": 0.0021333333333333334,
|
|
"grad_norm": 0.921875,
|
|
"kl": 0.0008674581840750761,
|
|
"learning_rate": 1.4285714285714285e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.2760416666666667,
|
|
"reward_std": 0.4730406428376834,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.2708333333333333,
|
|
"step": 4
|
|
},
|
|
{
|
|
"completion_length": 461.7604166666667,
|
|
"epoch": 0.0026666666666666666,
|
|
"grad_norm": 1.015625,
|
|
"kl": 0.0008602194963411117,
|
|
"learning_rate": 1.7857142857142858e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.2864583333333333,
|
|
"reward_std": 0.44730013112227124,
|
|
"rewards/equation_reward_func": 0.0,
|
|
"rewards/format_reward_func": 0.2864583333333333,
|
|
"step": 5
|
|
},
|
|
{
|
|
"completion_length": 459.1145833333333,
|
|
"epoch": 0.0032,
|
|
"grad_norm": 1.078125,
|
|
"kl": 0.0008758232797845267,
|
|
"learning_rate": 2.1428571428571426e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.23958333333333334,
|
|
"reward_std": 0.41926028082768124,
|
|
"rewards/equation_reward_func": 0.0,
|
|
"rewards/format_reward_func": 0.23958333333333334,
|
|
"step": 6
|
|
},
|
|
{
|
|
"completion_length": 446.2708333333333,
|
|
"epoch": 0.0037333333333333333,
|
|
"grad_norm": 0.91015625,
|
|
"kl": 0.0007985610936884768,
|
|
"learning_rate": 2.5e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3333333333333333,
|
|
"reward_std": 0.43025437369942665,
|
|
"rewards/equation_reward_func": 0.010416666666666666,
|
|
"rewards/format_reward_func": 0.3229166666666667,
|
|
"step": 7
|
|
},
|
|
{
|
|
"completion_length": 443.0729166666667,
|
|
"epoch": 0.004266666666666667,
|
|
"grad_norm": 0.90625,
|
|
"kl": 0.0008321701534441672,
|
|
"learning_rate": 2.857142857142857e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.2604166666666667,
|
|
"reward_std": 0.4020562892158826,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.2552083333333333,
|
|
"step": 8
|
|
},
|
|
{
|
|
"completion_length": 453.0416666666667,
|
|
"epoch": 0.0048,
|
|
"grad_norm": 0.99609375,
|
|
"kl": 0.0007900289080377357,
|
|
"learning_rate": 3.2142857142857145e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.2760416666666667,
|
|
"reward_std": 0.40640992671251297,
|
|
"rewards/equation_reward_func": 0.010416666666666666,
|
|
"rewards/format_reward_func": 0.265625,
|
|
"step": 9
|
|
},
|
|
{
|
|
"completion_length": 447.0364583333333,
|
|
"epoch": 0.005333333333333333,
|
|
"grad_norm": 1.109375,
|
|
"kl": 0.0008670382085256279,
|
|
"learning_rate": 3.5714285714285716e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.2916666666666667,
|
|
"reward_std": 0.46729527165492374,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.2864583333333333,
|
|
"step": 10
|
|
},
|
|
{
|
|
"completion_length": 463.4010416666667,
|
|
"epoch": 0.005866666666666667,
|
|
"grad_norm": 1.1171875,
|
|
"kl": 0.0007973554044535073,
|
|
"learning_rate": 3.928571428571428e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3541666666666667,
|
|
"reward_std": 0.47098307435711223,
|
|
"rewards/equation_reward_func": 0.015625,
|
|
"rewards/format_reward_func": 0.3385416666666667,
|
|
"step": 11
|
|
},
|
|
{
|
|
"completion_length": 462.578125,
|
|
"epoch": 0.0064,
|
|
"grad_norm": 1.046875,
|
|
"kl": 0.0007867895546951331,
|
|
"learning_rate": 4.285714285714285e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.34375,
|
|
"reward_std": 0.4925164245069027,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.3385416666666667,
|
|
"step": 12
|
|
},
|
|
{
|
|
"completion_length": 432.5104166666667,
|
|
"epoch": 0.006933333333333333,
|
|
"grad_norm": 1.0859375,
|
|
"kl": 0.0007710412489056276,
|
|
"learning_rate": 4.6428571428571427e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.2916666666666667,
|
|
"reward_std": 0.4169686237970988,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.2864583333333333,
|
|
"step": 13
|
|
},
|
|
{
|
|
"completion_length": 485.0260416666667,
|
|
"epoch": 0.007466666666666667,
|
|
"grad_norm": 1.078125,
|
|
"kl": 0.0007903039125570407,
|
|
"learning_rate": 5e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3020833333333333,
|
|
"reward_std": 0.4544599453608195,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.296875,
|
|
"step": 14
|
|
},
|
|
{
|
|
"completion_length": 444.3854166666667,
|
|
"epoch": 0.008,
|
|
"grad_norm": 1.109375,
|
|
"kl": 0.0008635513998645669,
|
|
"learning_rate": 4.999935101463869e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3333333333333333,
|
|
"reward_std": 0.47220638518532115,
|
|
"rewards/equation_reward_func": 0.010416666666666666,
|
|
"rewards/format_reward_func": 0.3229166666666667,
|
|
"step": 15
|
|
},
|
|
{
|
|
"completion_length": 445.4635416666667,
|
|
"epoch": 0.008533333333333334,
|
|
"grad_norm": 1.0,
|
|
"kl": 0.0008586545542736227,
|
|
"learning_rate": 4.999740409224932e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3489583333333333,
|
|
"reward_std": 0.4748011827468872,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.34375,
|
|
"step": 16
|
|
},
|
|
{
|
|
"completion_length": 454.9166666666667,
|
|
"epoch": 0.009066666666666667,
|
|
"grad_norm": 1.09375,
|
|
"kl": 0.0008792998463225862,
|
|
"learning_rate": 4.999415933391384e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3229166666666667,
|
|
"reward_std": 0.4563671660919984,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.3177083333333333,
|
|
"step": 17
|
|
},
|
|
{
|
|
"completion_length": 479.5416666666667,
|
|
"epoch": 0.0096,
|
|
"grad_norm": 1.0390625,
|
|
"kl": 0.0008453734966072565,
|
|
"learning_rate": 4.998961690809627e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3020833333333333,
|
|
"reward_std": 0.4513145908713341,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.296875,
|
|
"step": 18
|
|
},
|
|
{
|
|
"completion_length": 468.8333333333333,
|
|
"epoch": 0.010133333333333333,
|
|
"grad_norm": 1.140625,
|
|
"kl": 0.0008015742884405578,
|
|
"learning_rate": 4.998377705063407e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3541666666666667,
|
|
"reward_std": 0.46587428947289783,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.3489583333333333,
|
|
"step": 19
|
|
},
|
|
{
|
|
"completion_length": 459.5677083333333,
|
|
"epoch": 0.010666666666666666,
|
|
"grad_norm": 1.1640625,
|
|
"kl": 0.000848889098657916,
|
|
"learning_rate": 4.997664006472578e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3541666666666667,
|
|
"reward_std": 0.4240046714742978,
|
|
"rewards/equation_reward_func": 0.005208333333333333,
|
|
"rewards/format_reward_func": 0.3489583333333333,
|
|
"step": 20
|
|
},
|
|
{
|
|
"completion_length": 442.9583333333333,
|
|
"epoch": 0.0112,
|
|
"grad_norm": 1.171875,
|
|
"kl": 0.0009030235281291729,
|
|
"learning_rate": 4.996820632091536e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.2916666666666667,
|
|
"reward_std": 0.44608530898888904,
|
|
"rewards/equation_reward_func": 0.010416666666666666,
|
|
"rewards/format_reward_func": 0.28125,
|
|
"step": 21
|
|
},
|
|
{
|
|
"completion_length": 457.765625,
|
|
"epoch": 0.011733333333333333,
|
|
"grad_norm": 1.0546875,
|
|
"kl": 0.0008521129857399501,
|
|
"learning_rate": 4.995847625707292e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3854166666666667,
|
|
"reward_std": 0.48151057337721187,
|
|
"rewards/equation_reward_func": 0.0,
|
|
"rewards/format_reward_func": 0.3854166666666667,
|
|
"step": 22
|
|
},
|
|
{
|
|
"completion_length": 475.6822916666667,
|
|
"epoch": 0.012266666666666667,
|
|
"grad_norm": 1.0859375,
|
|
"kl": 0.0009103641714318655,
|
|
"learning_rate": 4.994745037837194e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.40625,
|
|
"reward_std": 0.511423779030641,
|
|
"rewards/equation_reward_func": 0.020833333333333332,
|
|
"rewards/format_reward_func": 0.3854166666666667,
|
|
"step": 23
|
|
},
|
|
{
|
|
"completion_length": 437.2604166666667,
|
|
"epoch": 0.0128,
|
|
"grad_norm": 1.1640625,
|
|
"kl": 0.0009305944622610696,
|
|
"learning_rate": 4.993512925726318e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3229166666666667,
|
|
"reward_std": 0.46341149757305783,
|
|
"rewards/equation_reward_func": 0.010416666666666666,
|
|
"rewards/format_reward_func": 0.3125,
|
|
"step": 24
|
|
},
|
|
{
|
|
"completion_length": 468.5885416666667,
|
|
"epoch": 0.013333333333333334,
|
|
"grad_norm": 1.1953125,
|
|
"kl": 0.0009762791766358229,
|
|
"learning_rate": 4.992151353344481e-07,
|
|
"loss": 0.0,
|
|
"reward": 0.3802083333333333,
|
|
"reward_std": 0.47938236966729164,
|
|
"rewards/equation_reward_func": 0.0,
|
|
"rewards/format_reward_func": 0.3802083333333333,
|
|
"step": 25
|
|
}
|
|
],
|
|
"logging_steps": 1,
|
|
"max_steps": 450,
|
|
"num_input_tokens_seen": 0,
|
|
"num_train_epochs": 1,
|
|
"save_steps": 25,
|
|
"stateful_callbacks": {
|
|
"TrainerControl": {
|
|
"args": {
|
|
"should_epoch_stop": false,
|
|
"should_evaluate": false,
|
|
"should_log": false,
|
|
"should_save": true,
|
|
"should_training_stop": false
|
|
},
|
|
"attributes": {}
|
|
}
|
|
},
|
|
"total_flos": 0.0,
|
|
"train_batch_size": 8,
|
|
"trial_name": null,
|
|
"trial_params": null
|
|
}
|