373 lines
8.7 KiB
JSON
373 lines
8.7 KiB
JSON
|
{
|
||
|
|
"best_global_step": null,
|
||
|
|
"best_metric": null,
|
||
|
|
"best_model_checkpoint": null,
|
||
|
|
"epoch": 5.0,
|
||
|
|
"eval_steps": 500,
|
||
|
|
"global_step": 470,
|
||
|
|
"is_hyper_param_search": false,
|
||
|
|
"is_local_process_zero": true,
|
||
|
|
"is_world_process_zero": true,
|
||
|
|
"log_history": [
|
||
|
|
{
|
||
|
|
"epoch": 0.10666666666666667,
|
||
|
|
"grad_norm": 6.4001896404583025,
|
||
|
|
"learning_rate": 9.574468085106384e-07,
|
||
|
|
"loss": 0.8989,
|
||
|
|
"step": 10
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.21333333333333335,
|
||
|
|
"grad_norm": 3.9884362503032165,
|
||
|
|
"learning_rate": 2.021276595744681e-06,
|
||
|
|
"loss": 0.802,
|
||
|
|
"step": 20
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.32,
|
||
|
|
"grad_norm": 1.60376355901428,
|
||
|
|
"learning_rate": 3.0851063829787237e-06,
|
||
|
|
"loss": 0.6301,
|
||
|
|
"step": 30
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4266666666666667,
|
||
|
|
"grad_norm": 0.7234709931015538,
|
||
|
|
"learning_rate": 4.148936170212766e-06,
|
||
|
|
"loss": 0.5338,
|
||
|
|
"step": 40
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.5333333333333333,
|
||
|
|
"grad_norm": 0.5552901636483875,
|
||
|
|
"learning_rate": 4.999724208402901e-06,
|
||
|
|
"loss": 0.4672,
|
||
|
|
"step": 50
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.64,
|
||
|
|
"grad_norm": 0.7993351879599231,
|
||
|
|
"learning_rate": 4.990077890125364e-06,
|
||
|
|
"loss": 0.4331,
|
||
|
|
"step": 60
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.7466666666666667,
|
||
|
|
"grad_norm": 0.7984857613193315,
|
||
|
|
"learning_rate": 4.9667027804779025e-06,
|
||
|
|
"loss": 0.397,
|
||
|
|
"step": 70
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.8533333333333334,
|
||
|
|
"grad_norm": 0.7389520023939808,
|
||
|
|
"learning_rate": 4.9297277557518455e-06,
|
||
|
|
"loss": 0.3799,
|
||
|
|
"step": 80
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.96,
|
||
|
|
"grad_norm": 0.7182028734011651,
|
||
|
|
"learning_rate": 4.8793566739880894e-06,
|
||
|
|
"loss": 0.3661,
|
||
|
|
"step": 90
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.064,
|
||
|
|
"grad_norm": 0.49219674423800813,
|
||
|
|
"learning_rate": 4.81586725102651e-06,
|
||
|
|
"loss": 0.3395,
|
||
|
|
"step": 100
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.1706666666666667,
|
||
|
|
"grad_norm": 0.4257808719154046,
|
||
|
|
"learning_rate": 4.739609529347905e-06,
|
||
|
|
"loss": 0.3106,
|
||
|
|
"step": 110
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.2773333333333334,
|
||
|
|
"grad_norm": 0.41445293107743664,
|
||
|
|
"learning_rate": 4.651003948150349e-06,
|
||
|
|
"loss": 0.3117,
|
||
|
|
"step": 120
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.384,
|
||
|
|
"grad_norm": 0.3993364251053088,
|
||
|
|
"learning_rate": 4.5505390253004116e-06,
|
||
|
|
"loss": 0.3129,
|
||
|
|
"step": 130
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.4906666666666666,
|
||
|
|
"grad_norm": 79985.65675548275,
|
||
|
|
"learning_rate": 4.4387686639395435e-06,
|
||
|
|
"loss": 0.3192,
|
||
|
|
"step": 140
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.5973333333333333,
|
||
|
|
"grad_norm": 0.40868129652694285,
|
||
|
|
"learning_rate": 4.3163090985954085e-06,
|
||
|
|
"loss": 0.2955,
|
||
|
|
"step": 150
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.704,
|
||
|
|
"grad_norm": 0.4259152026889081,
|
||
|
|
"learning_rate": 4.1838354976354416e-06,
|
||
|
|
"loss": 0.2965,
|
||
|
|
"step": 160
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.8106666666666666,
|
||
|
|
"grad_norm": 0.3457074798650439,
|
||
|
|
"learning_rate": 4.042078240794675e-06,
|
||
|
|
"loss": 0.2963,
|
||
|
|
"step": 170
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.9173333333333333,
|
||
|
|
"grad_norm": 0.39588209881868647,
|
||
|
|
"learning_rate": 3.891818892301304e-06,
|
||
|
|
"loss": 0.2941,
|
||
|
|
"step": 180
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.021333333333333,
|
||
|
|
"grad_norm": 0.38436164460742095,
|
||
|
|
"learning_rate": 3.733885891801746e-06,
|
||
|
|
"loss": 0.2989,
|
||
|
|
"step": 190
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.128,
|
||
|
|
"grad_norm": 0.3529276894114675,
|
||
|
|
"learning_rate": 3.569149986842847e-06,
|
||
|
|
"loss": 0.2455,
|
||
|
|
"step": 200
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.2346666666666666,
|
||
|
|
"grad_norm": 0.46492474393036926,
|
||
|
|
"learning_rate": 3.398519432093782e-06,
|
||
|
|
"loss": 0.2395,
|
||
|
|
"step": 210
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.3413333333333335,
|
||
|
|
"grad_norm": 0.3681417391525251,
|
||
|
|
"learning_rate": 3.222934981776248e-06,
|
||
|
|
"loss": 0.245,
|
||
|
|
"step": 220
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.448,
|
||
|
|
"grad_norm": 0.3885508053015497,
|
||
|
|
"learning_rate": 3.0433647029116675e-06,
|
||
|
|
"loss": 0.2349,
|
||
|
|
"step": 230
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.554666666666667,
|
||
|
|
"grad_norm": 0.40476310749610533,
|
||
|
|
"learning_rate": 2.8607986379820668e-06,
|
||
|
|
"loss": 0.2415,
|
||
|
|
"step": 240
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.6613333333333333,
|
||
|
|
"grad_norm": 0.34035198317193627,
|
||
|
|
"learning_rate": 2.676243346431463e-06,
|
||
|
|
"loss": 0.2476,
|
||
|
|
"step": 250
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.768,
|
||
|
|
"grad_norm": 0.3701638589834443,
|
||
|
|
"learning_rate": 2.4907163551026755e-06,
|
||
|
|
"loss": 0.2403,
|
||
|
|
"step": 260
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.8746666666666667,
|
||
|
|
"grad_norm": 0.40418149285142296,
|
||
|
|
"learning_rate": 2.3052405482064923e-06,
|
||
|
|
"loss": 0.2343,
|
||
|
|
"step": 270
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.981333333333333,
|
||
|
|
"grad_norm": 0.4475529698606268,
|
||
|
|
"learning_rate": 2.1208385277535355e-06,
|
||
|
|
"loss": 0.2366,
|
||
|
|
"step": 280
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.0853333333333333,
|
||
|
|
"grad_norm": 0.4191178570078597,
|
||
|
|
"learning_rate": 1.938526975542005e-06,
|
||
|
|
"loss": 0.2041,
|
||
|
|
"step": 290
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.192,
|
||
|
|
"grad_norm": 0.36431527214924514,
|
||
|
|
"learning_rate": 1.7593110477859155e-06,
|
||
|
|
"loss": 0.1954,
|
||
|
|
"step": 300
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.2986666666666666,
|
||
|
|
"grad_norm": 0.44908598265930355,
|
||
|
|
"learning_rate": 1.5841788332884672e-06,
|
||
|
|
"loss": 0.1967,
|
||
|
|
"step": 310
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.405333333333333,
|
||
|
|
"grad_norm": 0.350982997488834,
|
||
|
|
"learning_rate": 1.4140959057148545e-06,
|
||
|
|
"loss": 0.1978,
|
||
|
|
"step": 320
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.512,
|
||
|
|
"grad_norm": 0.3465591917838607,
|
||
|
|
"learning_rate": 1.2500000000000007e-06,
|
||
|
|
"loss": 0.1939,
|
||
|
|
"step": 330
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.618666666666667,
|
||
|
|
"grad_norm": 0.4337778159601921,
|
||
|
|
"learning_rate": 1.0927958422422913e-06,
|
||
|
|
"loss": 0.1898,
|
||
|
|
"step": 340
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.7253333333333334,
|
||
|
|
"grad_norm": 0.40979738147857625,
|
||
|
|
"learning_rate": 9.433501615881924e-07,
|
||
|
|
"loss": 0.1966,
|
||
|
|
"step": 350
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.832,
|
||
|
|
"grad_norm": 0.3594819991982372,
|
||
|
|
"learning_rate": 8.02486911609188e-07,
|
||
|
|
"loss": 0.2024,
|
||
|
|
"step": 360
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.9386666666666668,
|
||
|
|
"grad_norm": 64.10402968613073,
|
||
|
|
"learning_rate": 6.709827275174994e-07,
|
||
|
|
"loss": 0.1979,
|
||
|
|
"step": 370
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.042666666666666,
|
||
|
|
"grad_norm": 0.4147288018940898,
|
||
|
|
"learning_rate": 5.495626442667826e-07,
|
||
|
|
"loss": 0.1862,
|
||
|
|
"step": 380
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.149333333333334,
|
||
|
|
"grad_norm": 0.5121717204369356,
|
||
|
|
"learning_rate": 4.388960991455998e-07,
|
||
|
|
"loss": 0.176,
|
||
|
|
"step": 390
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.256,
|
||
|
|
"grad_norm": 0.4296303880766615,
|
||
|
|
"learning_rate": 3.3959324090295897e-07,
|
||
|
|
"loss": 0.1813,
|
||
|
|
"step": 400
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.362666666666667,
|
||
|
|
"grad_norm": 0.44742126705458446,
|
||
|
|
"learning_rate": 2.522015657552068e-07,
|
||
|
|
"loss": 0.1694,
|
||
|
|
"step": 410
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.469333333333333,
|
||
|
|
"grad_norm": 0.3750214039625933,
|
||
|
|
"learning_rate": 1.7720289882128095e-07,
|
||
|
|
"loss": 0.1701,
|
||
|
|
"step": 420
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.576,
|
||
|
|
"grad_norm": 0.43210479620185194,
|
||
|
|
"learning_rate": 1.1501073762888559e-07,
|
||
|
|
"loss": 0.1702,
|
||
|
|
"step": 430
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.682666666666667,
|
||
|
|
"grad_norm": 0.353412854144634,
|
||
|
|
"learning_rate": 6.596797233789865e-08,
|
||
|
|
"loss": 0.1687,
|
||
|
|
"step": 440
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.789333333333333,
|
||
|
|
"grad_norm": 70.60483158585632,
|
||
|
|
"learning_rate": 3.034499525032625e-08,
|
||
|
|
"loss": 0.1728,
|
||
|
|
"step": 450
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.896,
|
||
|
|
"grad_norm": 0.42084726444394466,
|
||
|
|
"learning_rate": 8.338210029824878e-09,
|
||
|
|
"loss": 0.1709,
|
||
|
|
"step": 460
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 5.0,
|
||
|
|
"grad_norm": 0.40310959215108566,
|
||
|
|
"learning_rate": 6.894885006381025e-11,
|
||
|
|
"loss": 0.1789,
|
||
|
|
"step": 470
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 5.0,
|
||
|
|
"step": 470,
|
||
|
|
"total_flos": 833569573306368.0,
|
||
|
|
"train_loss": 0.29079747123921174,
|
||
|
|
"train_runtime": 33915.1154,
|
||
|
|
"train_samples_per_second": 0.441,
|
||
|
|
"train_steps_per_second": 0.014
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"logging_steps": 10,
|
||
|
|
"max_steps": 470,
|
||
|
|
"num_input_tokens_seen": 0,
|
||
|
|
"num_train_epochs": 5,
|
||
|
|
"save_steps": 500,
|
||
|
|
"stateful_callbacks": {
|
||
|
|
"TrainerControl": {
|
||
|
|
"args": {
|
||
|
|
"should_epoch_stop": false,
|
||
|
|
"should_evaluate": false,
|
||
|
|
"should_log": false,
|
||
|
|
"should_save": true,
|
||
|
|
"should_training_stop": true
|
||
|
|
},
|
||
|
|
"attributes": {}
|
||
|
|
}
|
||
|
|
},
|
||
|
|
"total_flos": 833569573306368.0,
|
||
|
|
"train_batch_size": 1,
|
||
|
|
"trial_name": null,
|
||
|
|
"trial_params": null
|
||
|
|
}
|