548 lines
14 KiB
JSON
548 lines
14 KiB
JSON
|
{
|
||
|
|
"best_global_step": null,
|
||
|
|
"best_metric": null,
|
||
|
|
"best_model_checkpoint": null,
|
||
|
|
"epoch": 3.0,
|
||
|
|
"eval_steps": 500,
|
||
|
|
"global_step": 720,
|
||
|
|
"is_hyper_param_search": false,
|
||
|
|
"is_local_process_zero": true,
|
||
|
|
"is_world_process_zero": true,
|
||
|
|
"log_history": [
|
||
|
|
{
|
||
|
|
"epoch": 0.041666666666666664,
|
||
|
|
"grad_norm": 29.499774932861328,
|
||
|
|
"learning_rate": 6.25e-07,
|
||
|
|
"loss": 1.3478851318359375,
|
||
|
|
"step": 10
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.08333333333333333,
|
||
|
|
"grad_norm": 10.380602836608887,
|
||
|
|
"learning_rate": 1.3194444444444446e-06,
|
||
|
|
"loss": 1.1414000511169433,
|
||
|
|
"step": 20
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.125,
|
||
|
|
"grad_norm": 4.048536777496338,
|
||
|
|
"learning_rate": 2.0138888888888893e-06,
|
||
|
|
"loss": 0.8360883712768554,
|
||
|
|
"step": 30
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.16666666666666666,
|
||
|
|
"grad_norm": 3.7858238220214844,
|
||
|
|
"learning_rate": 2.7083333333333334e-06,
|
||
|
|
"loss": 0.7460173606872559,
|
||
|
|
"step": 40
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.20833333333333334,
|
||
|
|
"grad_norm": 3.232109546661377,
|
||
|
|
"learning_rate": 3.4027777777777783e-06,
|
||
|
|
"loss": 0.7003425598144531,
|
||
|
|
"step": 50
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.25,
|
||
|
|
"grad_norm": 3.959477424621582,
|
||
|
|
"learning_rate": 4.097222222222222e-06,
|
||
|
|
"loss": 0.6781439304351806,
|
||
|
|
"step": 60
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.2916666666666667,
|
||
|
|
"grad_norm": 3.6397626399993896,
|
||
|
|
"learning_rate": 4.791666666666668e-06,
|
||
|
|
"loss": 0.6273435592651367,
|
||
|
|
"step": 70
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.3333333333333333,
|
||
|
|
"grad_norm": 3.215730905532837,
|
||
|
|
"learning_rate": 4.998560491796288e-06,
|
||
|
|
"loss": 0.6232743263244629,
|
||
|
|
"step": 80
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.375,
|
||
|
|
"grad_norm": 3.3890368938446045,
|
||
|
|
"learning_rate": 4.991513829823945e-06,
|
||
|
|
"loss": 0.5979775428771973,
|
||
|
|
"step": 90
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4166666666666667,
|
||
|
|
"grad_norm": 3.129528522491455,
|
||
|
|
"learning_rate": 4.978612153434527e-06,
|
||
|
|
"loss": 0.5922712326049805,
|
||
|
|
"step": 100
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4583333333333333,
|
||
|
|
"grad_norm": 3.7336618900299072,
|
||
|
|
"learning_rate": 4.9598857813444524e-06,
|
||
|
|
"loss": 0.602515983581543,
|
||
|
|
"step": 110
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.5,
|
||
|
|
"grad_norm": 3.025545120239258,
|
||
|
|
"learning_rate": 4.935378720204319e-06,
|
||
|
|
"loss": 0.5727059364318847,
|
||
|
|
"step": 120
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.5416666666666666,
|
||
|
|
"grad_norm": 3.025608539581299,
|
||
|
|
"learning_rate": 4.905148561184033e-06,
|
||
|
|
"loss": 0.5602549552917481,
|
||
|
|
"step": 130
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.5833333333333334,
|
||
|
|
"grad_norm": 3.1320998668670654,
|
||
|
|
"learning_rate": 4.869266344634556e-06,
|
||
|
|
"loss": 0.5857479095458984,
|
||
|
|
"step": 140
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.625,
|
||
|
|
"grad_norm": 2.8681347370147705,
|
||
|
|
"learning_rate": 4.827816393144305e-06,
|
||
|
|
"loss": 0.5755341529846192,
|
||
|
|
"step": 150
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.6666666666666666,
|
||
|
|
"grad_norm": 3.168527841567993,
|
||
|
|
"learning_rate": 4.780896113382536e-06,
|
||
|
|
"loss": 0.5534672737121582,
|
||
|
|
"step": 160
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.7083333333333334,
|
||
|
|
"grad_norm": 2.962265729904175,
|
||
|
|
"learning_rate": 4.728615767195347e-06,
|
||
|
|
"loss": 0.553608751296997,
|
||
|
|
"step": 170
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.75,
|
||
|
|
"grad_norm": 3.3806610107421875,
|
||
|
|
"learning_rate": 4.671098212492251e-06,
|
||
|
|
"loss": 0.5626870155334472,
|
||
|
|
"step": 180
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.7916666666666666,
|
||
|
|
"grad_norm": 3.1959733963012695,
|
||
|
|
"learning_rate": 4.608478614532215e-06,
|
||
|
|
"loss": 0.5459296226501464,
|
||
|
|
"step": 190
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.8333333333333334,
|
||
|
|
"grad_norm": 2.7560014724731445,
|
||
|
|
"learning_rate": 4.54090412828763e-06,
|
||
|
|
"loss": 0.5788500785827637,
|
||
|
|
"step": 200
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.875,
|
||
|
|
"grad_norm": 2.802913188934326,
|
||
|
|
"learning_rate": 4.468533552632681e-06,
|
||
|
|
"loss": 0.5325778007507325,
|
||
|
|
"step": 210
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.9166666666666666,
|
||
|
|
"grad_norm": 3.1139848232269287,
|
||
|
|
"learning_rate": 4.391536957168733e-06,
|
||
|
|
"loss": 0.5544434547424316,
|
||
|
|
"step": 220
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.9583333333333334,
|
||
|
|
"grad_norm": 2.9709322452545166,
|
||
|
|
"learning_rate": 4.3100952825637064e-06,
|
||
|
|
"loss": 0.5456916332244873,
|
||
|
|
"step": 230
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.0,
|
||
|
|
"grad_norm": 2.8750693798065186,
|
||
|
|
"learning_rate": 4.2243999153446445e-06,
|
||
|
|
"loss": 0.535283899307251,
|
||
|
|
"step": 240
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.0416666666666667,
|
||
|
|
"grad_norm": 2.816533327102661,
|
||
|
|
"learning_rate": 4.134652238142674e-06,
|
||
|
|
"loss": 0.4393170356750488,
|
||
|
|
"step": 250
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.0833333333333333,
|
||
|
|
"grad_norm": 3.158930540084839,
|
||
|
|
"learning_rate": 4.041063156447314e-06,
|
||
|
|
"loss": 0.4061892032623291,
|
||
|
|
"step": 260
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.125,
|
||
|
|
"grad_norm": 3.3394505977630615,
|
||
|
|
"learning_rate": 3.943852602982213e-06,
|
||
|
|
"loss": 0.413454532623291,
|
||
|
|
"step": 270
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.1666666666666667,
|
||
|
|
"grad_norm": 3.0901780128479004,
|
||
|
|
"learning_rate": 3.8432490208670605e-06,
|
||
|
|
"loss": 0.41506023406982423,
|
||
|
|
"step": 280
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.2083333333333333,
|
||
|
|
"grad_norm": 3.2386937141418457,
|
||
|
|
"learning_rate": 3.739488826780199e-06,
|
||
|
|
"loss": 0.3757039785385132,
|
||
|
|
"step": 290
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.25,
|
||
|
|
"grad_norm": 3.1895928382873535,
|
||
|
|
"learning_rate": 3.6328158553835206e-06,
|
||
|
|
"loss": 0.38776512145996095,
|
||
|
|
"step": 300
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.2916666666666667,
|
||
|
|
"grad_norm": 3.395063638687134,
|
||
|
|
"learning_rate": 3.5234807863152316e-06,
|
||
|
|
"loss": 0.3929452896118164,
|
||
|
|
"step": 310
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.3333333333333333,
|
||
|
|
"grad_norm": 2.6497585773468018,
|
||
|
|
"learning_rate": 3.41174055509703e-06,
|
||
|
|
"loss": 0.41544904708862307,
|
||
|
|
"step": 320
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.375,
|
||
|
|
"grad_norm": 3.4338808059692383,
|
||
|
|
"learning_rate": 3.2978577493400775e-06,
|
||
|
|
"loss": 0.4201189517974854,
|
||
|
|
"step": 330
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.4166666666666667,
|
||
|
|
"grad_norm": 5.390817642211914,
|
||
|
|
"learning_rate": 3.182099991668653e-06,
|
||
|
|
"loss": 0.3872462272644043,
|
||
|
|
"step": 340
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.4583333333333333,
|
||
|
|
"grad_norm": 3.0678157806396484,
|
||
|
|
"learning_rate": 3.064739310811612e-06,
|
||
|
|
"loss": 0.3856550931930542,
|
||
|
|
"step": 350
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.5,
|
||
|
|
"grad_norm": 2.928752899169922,
|
||
|
|
"learning_rate": 2.9460515023395807e-06,
|
||
|
|
"loss": 0.4167680263519287,
|
||
|
|
"step": 360
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.5416666666666665,
|
||
|
|
"grad_norm": 3.0667483806610107,
|
||
|
|
"learning_rate": 2.82631548055013e-06,
|
||
|
|
"loss": 0.40921745300292967,
|
||
|
|
"step": 370
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.5833333333333335,
|
||
|
|
"grad_norm": 3.30924391746521,
|
||
|
|
"learning_rate": 2.705812623024e-06,
|
||
|
|
"loss": 0.39605083465576174,
|
||
|
|
"step": 380
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.625,
|
||
|
|
"grad_norm": 3.206585168838501,
|
||
|
|
"learning_rate": 2.5848261093926565e-06,
|
||
|
|
"loss": 0.4075204372406006,
|
||
|
|
"step": 390
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.6666666666666665,
|
||
|
|
"grad_norm": 3.0673396587371826,
|
||
|
|
"learning_rate": 2.4636402558710434e-06,
|
||
|
|
"loss": 0.40534563064575196,
|
||
|
|
"step": 400
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.7083333333333335,
|
||
|
|
"grad_norm": 3.4459261894226074,
|
||
|
|
"learning_rate": 2.3425398471194056e-06,
|
||
|
|
"loss": 0.39900033473968505,
|
||
|
|
"step": 410
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.75,
|
||
|
|
"grad_norm": 3.114468574523926,
|
||
|
|
"learning_rate": 2.221809467004251e-06,
|
||
|
|
"loss": 0.40346851348876955,
|
||
|
|
"step": 420
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.7916666666666665,
|
||
|
|
"grad_norm": 3.425462007522583,
|
||
|
|
"learning_rate": 2.101732829831194e-06,
|
||
|
|
"loss": 0.4041299819946289,
|
||
|
|
"step": 430
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.8333333333333335,
|
||
|
|
"grad_norm": 3.256767511367798,
|
||
|
|
"learning_rate": 1.9825921136212372e-06,
|
||
|
|
"loss": 0.3829362392425537,
|
||
|
|
"step": 440
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.875,
|
||
|
|
"grad_norm": 3.315276861190796,
|
||
|
|
"learning_rate": 1.8646672969973034e-06,
|
||
|
|
"loss": 0.41110787391662595,
|
||
|
|
"step": 450
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.9166666666666665,
|
||
|
|
"grad_norm": 3.0989630222320557,
|
||
|
|
"learning_rate": 1.7482355012393177e-06,
|
||
|
|
"loss": 0.376175594329834,
|
||
|
|
"step": 460
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 1.9583333333333335,
|
||
|
|
"grad_norm": 3.8257453441619873,
|
||
|
|
"learning_rate": 1.633570339053982e-06,
|
||
|
|
"loss": 0.3938215017318726,
|
||
|
|
"step": 470
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.0,
|
||
|
|
"grad_norm": 2.900068998336792,
|
||
|
|
"learning_rate": 1.5209412715896527e-06,
|
||
|
|
"loss": 0.41222400665283204,
|
||
|
|
"step": 480
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.0416666666666665,
|
||
|
|
"grad_norm": 2.951523780822754,
|
||
|
|
"learning_rate": 1.4106129752073023e-06,
|
||
|
|
"loss": 0.2820391893386841,
|
||
|
|
"step": 490
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.0833333333333335,
|
||
|
|
"grad_norm": 3.1139001846313477,
|
||
|
|
"learning_rate": 1.3028447194956413e-06,
|
||
|
|
"loss": 0.2755776882171631,
|
||
|
|
"step": 500
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.125,
|
||
|
|
"grad_norm": 3.254406452178955,
|
||
|
|
"learning_rate": 1.197889757992076e-06,
|
||
|
|
"loss": 0.26791958808898925,
|
||
|
|
"step": 510
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.1666666666666665,
|
||
|
|
"grad_norm": 3.350184917449951,
|
||
|
|
"learning_rate": 1.0959947330412681e-06,
|
||
|
|
"loss": 0.27331366539001467,
|
||
|
|
"step": 520
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.2083333333333335,
|
||
|
|
"grad_norm": 3.6832144260406494,
|
||
|
|
"learning_rate": 9.973990961898928e-07,
|
||
|
|
"loss": 0.27553110122680663,
|
||
|
|
"step": 530
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.25,
|
||
|
|
"grad_norm": 3.2515552043914795,
|
||
|
|
"learning_rate": 9.023345454796459e-07,
|
||
|
|
"loss": 0.2681769132614136,
|
||
|
|
"step": 540
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.2916666666666665,
|
||
|
|
"grad_norm": 3.410749673843384,
|
||
|
|
"learning_rate": 8.110244809608494e-07,
|
||
|
|
"loss": 0.25668916702270506,
|
||
|
|
"step": 550
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.3333333333333335,
|
||
|
|
"grad_norm": 3.052957773208618,
|
||
|
|
"learning_rate": 7.236834797061979e-07,
|
||
|
|
"loss": 0.27220232486724855,
|
||
|
|
"step": 560
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.375,
|
||
|
|
"grad_norm": 4.0483808517456055,
|
||
|
|
"learning_rate": 6.405167915583477e-07,
|
||
|
|
"loss": 0.28708949089050295,
|
||
|
|
"step": 570
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.4166666666666665,
|
||
|
|
"grad_norm": 3.3622629642486572,
|
||
|
|
"learning_rate": 5.617198567963353e-07,
|
||
|
|
"loss": 0.2636965274810791,
|
||
|
|
"step": 580
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.4583333333333335,
|
||
|
|
"grad_norm": 3.524901866912842,
|
||
|
|
"learning_rate": 4.874778468543043e-07,
|
||
|
|
"loss": 0.2697884559631348,
|
||
|
|
"step": 590
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.5,
|
||
|
|
"grad_norm": 3.72314453125,
|
||
|
|
"learning_rate": 4.1796522917183226e-07,
|
||
|
|
"loss": 0.2729990005493164,
|
||
|
|
"step": 600
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.5416666666666665,
|
||
|
|
"grad_norm": 3.488933563232422,
|
||
|
|
"learning_rate": 3.5334535719846767e-07,
|
||
|
|
"loss": 0.2704613208770752,
|
||
|
|
"step": 610
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.5833333333333335,
|
||
|
|
"grad_norm": 3.4488272666931152,
|
||
|
|
"learning_rate": 2.9377008651594737e-07,
|
||
|
|
"loss": 0.26971731185913084,
|
||
|
|
"step": 620
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.625,
|
||
|
|
"grad_norm": 3.6721582412719727,
|
||
|
|
"learning_rate": 2.393794179802053e-07,
|
||
|
|
"loss": 0.266050910949707,
|
||
|
|
"step": 630
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.6666666666666665,
|
||
|
|
"grad_norm": 3.4804670810699463,
|
||
|
|
"learning_rate": 1.9030116872178317e-07,
|
||
|
|
"loss": 0.27685208320617677,
|
||
|
|
"step": 640
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.7083333333333335,
|
||
|
|
"grad_norm": 3.309819221496582,
|
||
|
|
"learning_rate": 1.4665067177778187e-07,
|
||
|
|
"loss": 0.2522747993469238,
|
||
|
|
"step": 650
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.75,
|
||
|
|
"grad_norm": 3.369265079498291,
|
||
|
|
"learning_rate": 1.0853050506121927e-07,
|
||
|
|
"loss": 0.25966610908508303,
|
||
|
|
"step": 660
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.7916666666666665,
|
||
|
|
"grad_norm": 3.238943099975586,
|
||
|
|
"learning_rate": 7.603025030471001e-08,
|
||
|
|
"loss": 0.27193603515625,
|
||
|
|
"step": 670
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.8333333333333335,
|
||
|
|
"grad_norm": 3.4344398975372314,
|
||
|
|
"learning_rate": 4.922628254493994e-08,
|
||
|
|
"loss": 0.27923831939697263,
|
||
|
|
"step": 680
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.875,
|
||
|
|
"grad_norm": 3.205024480819702,
|
||
|
|
"learning_rate": 2.81815906426533e-08,
|
||
|
|
"loss": 0.26351704597473147,
|
||
|
|
"step": 690
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.9166666666666665,
|
||
|
|
"grad_norm": 3.3555197715759277,
|
||
|
|
"learning_rate": 1.2945629259917547e-08,
|
||
|
|
"loss": 0.25306267738342286,
|
||
|
|
"step": 700
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 2.9583333333333335,
|
||
|
|
"grad_norm": 3.810171365737915,
|
||
|
|
"learning_rate": 3.5542026425233746e-09,
|
||
|
|
"loss": 0.26765923500061034,
|
||
|
|
"step": 710
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.0,
|
||
|
|
"grad_norm": 3.211577892303467,
|
||
|
|
"learning_rate": 2.938048062617327e-11,
|
||
|
|
"loss": 0.26591691970825193,
|
||
|
|
"step": 720
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 3.0,
|
||
|
|
"step": 720,
|
||
|
|
"total_flos": 3.143410755085271e+17,
|
||
|
|
"train_loss": 0.2539728307061725,
|
||
|
|
"train_runtime": 24192.1432,
|
||
|
|
"train_samples_per_second": 0.237,
|
||
|
|
"train_steps_per_second": 0.03
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"logging_steps": 10,
|
||
|
|
"max_steps": 720,
|
||
|
|
"num_input_tokens_seen": 0,
|
||
|
|
"num_train_epochs": 3,
|
||
|
|
"save_steps": 200,
|
||
|
|
"stateful_callbacks": {
|
||
|
|
"TrainerControl": {
|
||
|
|
"args": {
|
||
|
|
"should_epoch_stop": false,
|
||
|
|
"should_evaluate": false,
|
||
|
|
"should_log": false,
|
||
|
|
"should_save": true,
|
||
|
|
"should_training_stop": true
|
||
|
|
},
|
||
|
|
"attributes": {}
|
||
|
|
}
|
||
|
|
},
|
||
|
|
"total_flos": 3.143410755085271e+17,
|
||
|
|
"train_batch_size": 1,
|
||
|
|
"trial_name": null,
|
||
|
|
"trial_params": null
|
||
|
|
}
|