616 lines
15 KiB
JSON
616 lines
15 KiB
JSON
|
{
|
||
|
|
"best_metric": 0.8149010539054871,
|
||
|
|
"best_model_checkpoint": "./output/training_results/C014_llama3-8b-base_instruct_20240428_005832/checkpoint-15",
|
||
|
|
"epoch": 4.0,
|
||
|
|
"eval_steps": 5,
|
||
|
|
"global_step": 192,
|
||
|
|
"is_hyper_param_search": false,
|
||
|
|
"is_local_process_zero": true,
|
||
|
|
"is_world_process_zero": true,
|
||
|
|
"log_history": [
|
||
|
|
{
|
||
|
|
"epoch": 0.020833333333333332,
|
||
|
|
"grad_norm": 0.0,
|
||
|
|
"learning_rate": 0.0,
|
||
|
|
"loss": 0.9832,
|
||
|
|
"step": 1
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.020833333333333332,
|
||
|
|
"eval_loss": 0.9730262160301208,
|
||
|
|
"eval_runtime": 2.116,
|
||
|
|
"eval_samples_per_second": 160.683,
|
||
|
|
"eval_steps_per_second": 1.418,
|
||
|
|
"step": 1
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.10416666666666667,
|
||
|
|
"grad_norm": 16.41232960271884,
|
||
|
|
"learning_rate": 1.5e-06,
|
||
|
|
"loss": 0.9463,
|
||
|
|
"step": 5
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.10416666666666667,
|
||
|
|
"eval_loss": 0.9420890212059021,
|
||
|
|
"eval_runtime": 2.0786,
|
||
|
|
"eval_samples_per_second": 163.572,
|
||
|
|
"eval_steps_per_second": 1.443,
|
||
|
|
"step": 5
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.20833333333333334,
|
||
|
|
"grad_norm": 6.185215383740627,
|
||
|
|
"learning_rate": 5.25e-06,
|
||
|
|
"loss": 0.8488,
|
||
|
|
"step": 10
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.20833333333333334,
|
||
|
|
"eval_loss": 0.8247124552726746,
|
||
|
|
"eval_runtime": 2.0863,
|
||
|
|
"eval_samples_per_second": 162.965,
|
||
|
|
"eval_steps_per_second": 1.438,
|
||
|
|
"step": 10
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.3125,
|
||
|
|
"grad_norm": 4.677780246708798,
|
||
|
|
"learning_rate": 9e-06,
|
||
|
|
"loss": 0.7833,
|
||
|
|
"step": 15
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.3125,
|
||
|
|
"eval_loss": 0.8149010539054871,
|
||
|
|
"eval_runtime": 2.0708,
|
||
|
|
"eval_samples_per_second": 164.186,
|
||
|
|
"eval_steps_per_second": 1.449,
|
||
|
|
"step": 15
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4166666666666667,
|
||
|
|
"grad_norm": 4.282490348738236,
|
||
|
|
"learning_rate": 1.275e-05,
|
||
|
|
"loss": 0.7797,
|
||
|
|
"step": 20
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4166666666666667,
|
||
|
|
"eval_loss": 0.8403318524360657,
|
||
|
|
"eval_runtime": 2.076,
|
||
|
|
"eval_samples_per_second": 163.776,
|
||
|
|
"eval_steps_per_second": 1.445,
|
||
|
|
"step": 20
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.5208333333333334,
|
||
|
|
"grad_norm": 4.312240371628775,
|
||
|
|
"learning_rate": 1.3195176200175283e-05,
|
||
|
|
"loss": 0.8542,
|
||
|
|
"step": 25
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.5208333333333334,
|
||
|
|
"eval_loss": 0.8670275807380676,
|
||
|
|
"eval_runtime": 2.0781,
|
||
|
|
"eval_samples_per_second": 163.608,
|
||
|
|
"eval_steps_per_second": 1.444,
|
||
|
|
"step": 25
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.625,
|
||
|
|
"grad_norm": 4.2373297823136244,
|
||
|
|
"learning_rate": 9.515676612044427e-06,
|
||
|
|
"loss": 0.8895,
|
||
|
|
"step": 30
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.625,
|
||
|
|
"eval_loss": 0.8718018531799316,
|
||
|
|
"eval_runtime": 2.0707,
|
||
|
|
"eval_samples_per_second": 164.196,
|
||
|
|
"eval_steps_per_second": 1.449,
|
||
|
|
"step": 30
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.7291666666666666,
|
||
|
|
"grad_norm": 4.44083784051028,
|
||
|
|
"learning_rate": 6.797580677308734e-06,
|
||
|
|
"loss": 0.8519,
|
||
|
|
"step": 35
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.7291666666666666,
|
||
|
|
"eval_loss": 0.859227180480957,
|
||
|
|
"eval_runtime": 2.0671,
|
||
|
|
"eval_samples_per_second": 164.485,
|
||
|
|
"eval_steps_per_second": 1.451,
|
||
|
|
"step": 35
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.8333333333333334,
|
||
|
|
"grad_norm": 4.131620700380954,
|
||
|
|
"learning_rate": 4.808575415542887e-06,
|
||
|
|
"loss": 0.8224,
|
||
|
|
"step": 40
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.8333333333333334,
|
||
|
|
"eval_loss": 0.8491263389587402,
|
||
|
|
"eval_runtime": 2.0743,
|
||
|
|
"eval_samples_per_second": 163.912,
|
||
|
|
"eval_steps_per_second": 1.446,
|
||
|
|
"step": 40
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.9375,
|
||
|
|
"grad_norm": 4.319858409892453,
|
||
|
|
"learning_rate": 3.3676619069852654e-06,
|
||
|
|
"loss": 0.8538,
|
||
|
|
"step": 45
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.9375,
|
||
|
|
"eval_loss": 0.8384072780609131,
|
||
|
|
"eval_runtime": 2.0776,
|
||
|
|
"eval_samples_per_second": 163.653,
|
||
|
|
"eval_steps_per_second": 1.444,
|
||
|
|
"step": 45
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.0416666666666667,
|
||
|
|
"grad_norm": 3.80418376995363,
|
||
|
|
"learning_rate": 2.334947896124909e-06,
|
||
|
|
"loss": 0.6569,
|
||
|
|
"step": 50
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.0416666666666667,
|
||
|
|
"eval_loss": 0.8294973373413086,
|
||
|
|
"eval_runtime": 2.0689,
|
||
|
|
"eval_samples_per_second": 164.335,
|
||
|
|
"eval_steps_per_second": 1.45,
|
||
|
|
"step": 50
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.1458333333333333,
|
||
|
|
"grad_norm": 3.3894455787756694,
|
||
|
|
"learning_rate": 1.603233215095547e-06,
|
||
|
|
"loss": 0.437,
|
||
|
|
"step": 55
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.1458333333333333,
|
||
|
|
"eval_loss": 0.8457258343696594,
|
||
|
|
"eval_runtime": 2.0842,
|
||
|
|
"eval_samples_per_second": 163.13,
|
||
|
|
"eval_steps_per_second": 1.439,
|
||
|
|
"step": 55
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.25,
|
||
|
|
"grad_norm": 3.633089838413966,
|
||
|
|
"learning_rate": 1.0911174606561334e-06,
|
||
|
|
"loss": 0.4405,
|
||
|
|
"step": 60
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.25,
|
||
|
|
"eval_loss": 0.8668487071990967,
|
||
|
|
"eval_runtime": 2.0758,
|
||
|
|
"eval_samples_per_second": 163.796,
|
||
|
|
"eval_steps_per_second": 1.445,
|
||
|
|
"step": 60
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.3541666666666667,
|
||
|
|
"grad_norm": 4.225857095854057,
|
||
|
|
"learning_rate": 7.373930741131784e-07,
|
||
|
|
"loss": 0.4331,
|
||
|
|
"step": 65
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.3541666666666667,
|
||
|
|
"eval_loss": 0.8670875430107117,
|
||
|
|
"eval_runtime": 2.0785,
|
||
|
|
"eval_samples_per_second": 163.58,
|
||
|
|
"eval_steps_per_second": 1.443,
|
||
|
|
"step": 65
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.4583333333333333,
|
||
|
|
"grad_norm": 3.838684962723822,
|
||
|
|
"learning_rate": 5.374210410959207e-07,
|
||
|
|
"loss": 0.448,
|
||
|
|
"step": 70
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.4583333333333333,
|
||
|
|
"eval_loss": 0.8596971035003662,
|
||
|
|
"eval_runtime": 2.0789,
|
||
|
|
"eval_samples_per_second": 163.548,
|
||
|
|
"eval_steps_per_second": 1.443,
|
||
|
|
"step": 70
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.5625,
|
||
|
|
"grad_norm": 3.8823844934735114,
|
||
|
|
"learning_rate": 3.6222476698215175e-07,
|
||
|
|
"loss": 0.4673,
|
||
|
|
"step": 75
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.5625,
|
||
|
|
"eval_loss": 0.8513818383216858,
|
||
|
|
"eval_runtime": 2.0778,
|
||
|
|
"eval_samples_per_second": 163.638,
|
||
|
|
"eval_steps_per_second": 1.444,
|
||
|
|
"step": 75
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.6666666666666665,
|
||
|
|
"grad_norm": 3.2398255350683103,
|
||
|
|
"learning_rate": 2.462755297384099e-07,
|
||
|
|
"loss": 0.4298,
|
||
|
|
"step": 80
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.6666666666666665,
|
||
|
|
"eval_loss": 0.8474181294441223,
|
||
|
|
"eval_runtime": 2.0907,
|
||
|
|
"eval_samples_per_second": 162.623,
|
||
|
|
"eval_steps_per_second": 1.435,
|
||
|
|
"step": 80
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.7708333333333335,
|
||
|
|
"grad_norm": 3.153318195454539,
|
||
|
|
"learning_rate": 1.7088740175034947e-07,
|
||
|
|
"loss": 0.4252,
|
||
|
|
"step": 85
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.7708333333333335,
|
||
|
|
"eval_loss": 0.8457570672035217,
|
||
|
|
"eval_runtime": 2.0841,
|
||
|
|
"eval_samples_per_second": 163.139,
|
||
|
|
"eval_steps_per_second": 1.439,
|
||
|
|
"step": 85
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.875,
|
||
|
|
"grad_norm": 3.9154872471233073,
|
||
|
|
"learning_rate": 1.228102956599465e-07,
|
||
|
|
"loss": 0.4429,
|
||
|
|
"step": 90
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.875,
|
||
|
|
"eval_loss": 0.8451478481292725,
|
||
|
|
"eval_runtime": 2.0694,
|
||
|
|
"eval_samples_per_second": 164.3,
|
||
|
|
"eval_steps_per_second": 1.45,
|
||
|
|
"step": 90
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.9791666666666665,
|
||
|
|
"grad_norm": 4.304265882610879,
|
||
|
|
"learning_rate": 9.279207916081227e-08,
|
||
|
|
"loss": 0.4484,
|
||
|
|
"step": 95
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.9791666666666665,
|
||
|
|
"eval_loss": 0.8449902534484863,
|
||
|
|
"eval_runtime": 2.0701,
|
||
|
|
"eval_samples_per_second": 164.241,
|
||
|
|
"eval_steps_per_second": 1.449,
|
||
|
|
"step": 95
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.0833333333333335,
|
||
|
|
"grad_norm": 3.2728230120401633,
|
||
|
|
"learning_rate": 7.448002404850094e-08,
|
||
|
|
"loss": 0.3634,
|
||
|
|
"step": 100
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.0833333333333335,
|
||
|
|
"eval_loss": 0.8455283641815186,
|
||
|
|
"eval_runtime": 2.0713,
|
||
|
|
"eval_samples_per_second": 164.145,
|
||
|
|
"eval_steps_per_second": 1.448,
|
||
|
|
"step": 100
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.1875,
|
||
|
|
"grad_norm": 3.660020107151519,
|
||
|
|
"learning_rate": 6.35920070839697e-08,
|
||
|
|
"loss": 0.3876,
|
||
|
|
"step": 105
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.1875,
|
||
|
|
"eval_loss": 0.8467428684234619,
|
||
|
|
"eval_runtime": 2.0936,
|
||
|
|
"eval_samples_per_second": 162.401,
|
||
|
|
"eval_steps_per_second": 1.433,
|
||
|
|
"step": 105
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.2916666666666665,
|
||
|
|
"grad_norm": 3.8970751627622926,
|
||
|
|
"learning_rate": 5.7299804687499997e-08,
|
||
|
|
"loss": 0.3717,
|
||
|
|
"step": 110
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.2916666666666665,
|
||
|
|
"eval_loss": 0.8481121063232422,
|
||
|
|
"eval_runtime": 2.0678,
|
||
|
|
"eval_samples_per_second": 164.429,
|
||
|
|
"eval_steps_per_second": 1.451,
|
||
|
|
"step": 110
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.3958333333333335,
|
||
|
|
"grad_norm": 3.386652715934595,
|
||
|
|
"learning_rate": 5.37771434967624e-08,
|
||
|
|
"loss": 0.387,
|
||
|
|
"step": 115
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.3958333333333335,
|
||
|
|
"eval_loss": 0.8493936061859131,
|
||
|
|
"eval_runtime": 2.1051,
|
||
|
|
"eval_samples_per_second": 161.51,
|
||
|
|
"eval_steps_per_second": 1.425,
|
||
|
|
"step": 115
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.5,
|
||
|
|
"grad_norm": 3.4200942052169547,
|
||
|
|
"learning_rate": 5.187403540619925e-08,
|
||
|
|
"loss": 0.3561,
|
||
|
|
"step": 120
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.5,
|
||
|
|
"eval_loss": 0.85052889585495,
|
||
|
|
"eval_runtime": 2.0652,
|
||
|
|
"eval_samples_per_second": 164.632,
|
||
|
|
"eval_steps_per_second": 1.453,
|
||
|
|
"step": 120
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.6041666666666665,
|
||
|
|
"grad_norm": 3.268980501701993,
|
||
|
|
"learning_rate": 5.088648238966908e-08,
|
||
|
|
"loss": 0.4219,
|
||
|
|
"step": 125
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.6041666666666665,
|
||
|
|
"eval_loss": 0.8516257405281067,
|
||
|
|
"eval_runtime": 2.1146,
|
||
|
|
"eval_samples_per_second": 160.788,
|
||
|
|
"eval_steps_per_second": 1.419,
|
||
|
|
"step": 125
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.7083333333333335,
|
||
|
|
"grad_norm": 3.4285942542360806,
|
||
|
|
"learning_rate": 5.039701925276604e-08,
|
||
|
|
"loss": 0.3798,
|
||
|
|
"step": 130
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.7083333333333335,
|
||
|
|
"eval_loss": 0.8526514172554016,
|
||
|
|
"eval_runtime": 2.1018,
|
||
|
|
"eval_samples_per_second": 161.768,
|
||
|
|
"eval_steps_per_second": 1.427,
|
||
|
|
"step": 130
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.8125,
|
||
|
|
"grad_norm": 3.438575160339058,
|
||
|
|
"learning_rate": 5.0166900048082497e-08,
|
||
|
|
"loss": 0.3551,
|
||
|
|
"step": 135
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.8125,
|
||
|
|
"eval_loss": 0.8536917567253113,
|
||
|
|
"eval_runtime": 2.1025,
|
||
|
|
"eval_samples_per_second": 161.713,
|
||
|
|
"eval_steps_per_second": 1.427,
|
||
|
|
"step": 135
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.9166666666666665,
|
||
|
|
"grad_norm": 3.1199400563472683,
|
||
|
|
"learning_rate": 5.0065147322870076e-08,
|
||
|
|
"loss": 0.3827,
|
||
|
|
"step": 140
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.9166666666666665,
|
||
|
|
"eval_loss": 0.8546140193939209,
|
||
|
|
"eval_runtime": 2.0898,
|
||
|
|
"eval_samples_per_second": 162.691,
|
||
|
|
"eval_steps_per_second": 1.436,
|
||
|
|
"step": 140
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.0208333333333335,
|
||
|
|
"grad_norm": 3.1711921144705,
|
||
|
|
"learning_rate": 5.002328628528332e-08,
|
||
|
|
"loss": 0.3938,
|
||
|
|
"step": 145
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.0208333333333335,
|
||
|
|
"eval_loss": 0.8555943369865417,
|
||
|
|
"eval_runtime": 2.0827,
|
||
|
|
"eval_samples_per_second": 163.25,
|
||
|
|
"eval_steps_per_second": 1.44,
|
||
|
|
"step": 145
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.125,
|
||
|
|
"grad_norm": 3.133782976096458,
|
||
|
|
"learning_rate": 5.0007484528133236e-08,
|
||
|
|
"loss": 0.3805,
|
||
|
|
"step": 150
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.125,
|
||
|
|
"eval_loss": 0.8565306663513184,
|
||
|
|
"eval_runtime": 2.1024,
|
||
|
|
"eval_samples_per_second": 161.723,
|
||
|
|
"eval_steps_per_second": 1.427,
|
||
|
|
"step": 150
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.2291666666666665,
|
||
|
|
"grad_norm": 3.7319435280210085,
|
||
|
|
"learning_rate": 5.0002110817570477e-08,
|
||
|
|
"loss": 0.3813,
|
||
|
|
"step": 155
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.2291666666666665,
|
||
|
|
"eval_loss": 0.8574034571647644,
|
||
|
|
"eval_runtime": 2.0911,
|
||
|
|
"eval_samples_per_second": 162.593,
|
||
|
|
"eval_steps_per_second": 1.435,
|
||
|
|
"step": 155
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.3333333333333335,
|
||
|
|
"grad_norm": 3.5844045117334833,
|
||
|
|
"learning_rate": 5.0000504842356326e-08,
|
||
|
|
"loss": 0.3894,
|
||
|
|
"step": 160
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.3333333333333335,
|
||
|
|
"eval_loss": 0.8581907153129578,
|
||
|
|
"eval_runtime": 2.0963,
|
||
|
|
"eval_samples_per_second": 162.194,
|
||
|
|
"eval_steps_per_second": 1.431,
|
||
|
|
"step": 160
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.4375,
|
||
|
|
"grad_norm": 3.2964992218641544,
|
||
|
|
"learning_rate": 5.000009745562451e-08,
|
||
|
|
"loss": 0.3603,
|
||
|
|
"step": 165
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.4375,
|
||
|
|
"eval_loss": 0.8588598370552063,
|
||
|
|
"eval_runtime": 2.0794,
|
||
|
|
"eval_samples_per_second": 163.512,
|
||
|
|
"eval_steps_per_second": 1.443,
|
||
|
|
"step": 165
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.5416666666666665,
|
||
|
|
"grad_norm": 3.307148767623163,
|
||
|
|
"learning_rate": 5.0000014077810156e-08,
|
||
|
|
"loss": 0.3515,
|
||
|
|
"step": 170
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.5416666666666665,
|
||
|
|
"eval_loss": 0.8596634864807129,
|
||
|
|
"eval_runtime": 2.0755,
|
||
|
|
"eval_samples_per_second": 163.816,
|
||
|
|
"eval_steps_per_second": 1.445,
|
||
|
|
"step": 170
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.6458333333333335,
|
||
|
|
"grad_norm": 3.3334351206179402,
|
||
|
|
"learning_rate": 5.0000001343508807e-08,
|
||
|
|
"loss": 0.3433,
|
||
|
|
"step": 175
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.6458333333333335,
|
||
|
|
"eval_loss": 0.8604967594146729,
|
||
|
|
"eval_runtime": 2.0699,
|
||
|
|
"eval_samples_per_second": 164.261,
|
||
|
|
"eval_steps_per_second": 1.449,
|
||
|
|
"step": 175
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.75,
|
||
|
|
"grad_norm": 3.196293836404165,
|
||
|
|
"learning_rate": 5.000000006747581e-08,
|
||
|
|
"loss": 0.3511,
|
||
|
|
"step": 180
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.75,
|
||
|
|
"eval_loss": 0.861361026763916,
|
||
|
|
"eval_runtime": 2.0796,
|
||
|
|
"eval_samples_per_second": 163.491,
|
||
|
|
"eval_steps_per_second": 1.443,
|
||
|
|
"step": 180
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.8541666666666665,
|
||
|
|
"grad_norm": 3.472738636185267,
|
||
|
|
"learning_rate": 5.0000000001094325e-08,
|
||
|
|
"loss": 0.3599,
|
||
|
|
"step": 185
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.8541666666666665,
|
||
|
|
"eval_loss": 0.8619682192802429,
|
||
|
|
"eval_runtime": 2.0705,
|
||
|
|
"eval_samples_per_second": 164.215,
|
||
|
|
"eval_steps_per_second": 1.449,
|
||
|
|
"step": 185
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.9583333333333335,
|
||
|
|
"grad_norm": 3.6408101963860187,
|
||
|
|
"learning_rate": 5.000000000000139e-08,
|
||
|
|
"loss": 0.3994,
|
||
|
|
"step": 190
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.9583333333333335,
|
||
|
|
"eval_loss": 0.8621244430541992,
|
||
|
|
"eval_runtime": 2.0725,
|
||
|
|
"eval_samples_per_second": 164.052,
|
||
|
|
"eval_steps_per_second": 1.448,
|
||
|
|
"step": 190
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 4.0,
|
||
|
|
"step": 192,
|
||
|
|
"total_flos": 5360548577280.0,
|
||
|
|
"train_loss": 0.507965192819635,
|
||
|
|
"train_runtime": 5963.6843,
|
||
|
|
"train_samples_per_second": 2.048,
|
||
|
|
"train_steps_per_second": 0.032
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"logging_steps": 5,
|
||
|
|
"max_steps": 192,
|
||
|
|
"num_input_tokens_seen": 0,
|
||
|
|
"num_train_epochs": 4,
|
||
|
|
"save_steps": 5,
|
||
|
|
"total_flos": 5360548577280.0,
|
||
|
|
"train_batch_size": 8,
|
||
|
|
"trial_name": null,
|
||
|
|
"trial_params": null
|
||
|
|
}
|