525 lines
13 KiB
JSON
525 lines
13 KiB
JSON
|
{
|
||
|
|
"best_global_step": null,
|
||
|
|
"best_metric": null,
|
||
|
|
"best_model_checkpoint": null,
|
||
|
|
"epoch": 0.4666666666666667,
|
||
|
|
"eval_steps": 500,
|
||
|
|
"global_step": 1400,
|
||
|
|
"is_hyper_param_search": false,
|
||
|
|
"is_local_process_zero": true,
|
||
|
|
"is_world_process_zero": true,
|
||
|
|
"log_history": [
|
||
|
|
{
|
||
|
|
"epoch": 0.006666666666666667,
|
||
|
|
"grad_norm": 3.3801944255828857,
|
||
|
|
"learning_rate": 9.5e-06,
|
||
|
|
"loss": 3.710173416137695,
|
||
|
|
"step": 20
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.013333333333333334,
|
||
|
|
"grad_norm": 2.4231245517730713,
|
||
|
|
"learning_rate": 1.9500000000000003e-05,
|
||
|
|
"loss": 3.2622753143310548,
|
||
|
|
"step": 40
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.02,
|
||
|
|
"grad_norm": 2.0525474548339844,
|
||
|
|
"learning_rate": 2.95e-05,
|
||
|
|
"loss": 2.287516975402832,
|
||
|
|
"step": 60
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.02666666666666667,
|
||
|
|
"grad_norm": 1.2226288318634033,
|
||
|
|
"learning_rate": 3.9500000000000005e-05,
|
||
|
|
"loss": 1.6385210037231446,
|
||
|
|
"step": 80
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.03333333333333333,
|
||
|
|
"grad_norm": 2.2779319286346436,
|
||
|
|
"learning_rate": 4.9500000000000004e-05,
|
||
|
|
"loss": 1.4153234481811523,
|
||
|
|
"step": 100
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.04,
|
||
|
|
"grad_norm": 1.5858861207962036,
|
||
|
|
"learning_rate": 4.9994704516344666e-05,
|
||
|
|
"loss": 1.4460668563842773,
|
||
|
|
"step": 120
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.04666666666666667,
|
||
|
|
"grad_norm": 1.251664161682129,
|
||
|
|
"learning_rate": 4.99776910887808e-05,
|
||
|
|
"loss": 1.5103114128112793,
|
||
|
|
"step": 140
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.05333333333333334,
|
||
|
|
"grad_norm": 2.4487648010253906,
|
||
|
|
"learning_rate": 4.9948953034032466e-05,
|
||
|
|
"loss": 1.3196531295776368,
|
||
|
|
"step": 160
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.06,
|
||
|
|
"grad_norm": 1.276078701019287,
|
||
|
|
"learning_rate": 4.990850384185648e-05,
|
||
|
|
"loss": 1.3049612045288086,
|
||
|
|
"step": 180
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.06666666666666667,
|
||
|
|
"grad_norm": 1.4780528545379639,
|
||
|
|
"learning_rate": 4.985636249926392e-05,
|
||
|
|
"loss": 1.164187526702881,
|
||
|
|
"step": 200
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.07333333333333333,
|
||
|
|
"grad_norm": 1.1906464099884033,
|
||
|
|
"learning_rate": 4.979255348160766e-05,
|
||
|
|
"loss": 1.418909740447998,
|
||
|
|
"step": 220
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.08,
|
||
|
|
"grad_norm": 1.3630824089050293,
|
||
|
|
"learning_rate": 4.9717106741093454e-05,
|
||
|
|
"loss": 1.0971190452575683,
|
||
|
|
"step": 240
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.08666666666666667,
|
||
|
|
"grad_norm": 1.3592742681503296,
|
||
|
|
"learning_rate": 4.96300576927203e-05,
|
||
|
|
"loss": 1.358650016784668,
|
||
|
|
"step": 260
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.09333333333333334,
|
||
|
|
"grad_norm": 1.215366244316101,
|
||
|
|
"learning_rate": 4.953144719765649e-05,
|
||
|
|
"loss": 1.3464448928833008,
|
||
|
|
"step": 280
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.1,
|
||
|
|
"grad_norm": 1.00632643699646,
|
||
|
|
"learning_rate": 4.942132154405919e-05,
|
||
|
|
"loss": 0.925452709197998,
|
||
|
|
"step": 300
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.10666666666666667,
|
||
|
|
"grad_norm": 1.3117424249649048,
|
||
|
|
"learning_rate": 4.9299732425346626e-05,
|
||
|
|
"loss": 1.4749733924865722,
|
||
|
|
"step": 320
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.11333333333333333,
|
||
|
|
"grad_norm": 1.153543472290039,
|
||
|
|
"learning_rate": 4.9166736915933e-05,
|
||
|
|
"loss": 1.339738368988037,
|
||
|
|
"step": 340
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.12,
|
||
|
|
"grad_norm": 1.147539496421814,
|
||
|
|
"learning_rate": 4.9022397444437495e-05,
|
||
|
|
"loss": 1.1870535850524901,
|
||
|
|
"step": 360
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.12666666666666668,
|
||
|
|
"grad_norm": 1.023755431175232,
|
||
|
|
"learning_rate": 4.886678176438004e-05,
|
||
|
|
"loss": 0.9843617439270019,
|
||
|
|
"step": 380
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.13333333333333333,
|
||
|
|
"grad_norm": 0.9747999906539917,
|
||
|
|
"learning_rate": 4.869996292237757e-05,
|
||
|
|
"loss": 0.9861419677734375,
|
||
|
|
"step": 400
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.14,
|
||
|
|
"grad_norm": 0.9171973466873169,
|
||
|
|
"learning_rate": 4.852201922385564e-05,
|
||
|
|
"loss": 1.001624870300293,
|
||
|
|
"step": 420
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.14666666666666667,
|
||
|
|
"grad_norm": 0.7914513945579529,
|
||
|
|
"learning_rate": 4.8333034196291516e-05,
|
||
|
|
"loss": 0.9351105690002441,
|
||
|
|
"step": 440
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.15333333333333332,
|
||
|
|
"grad_norm": 0.8947938680648804,
|
||
|
|
"learning_rate": 4.8133096550006096e-05,
|
||
|
|
"loss": 1.0424003601074219,
|
||
|
|
"step": 460
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.16,
|
||
|
|
"grad_norm": 0.7379234433174133,
|
||
|
|
"learning_rate": 4.7922300136522914e-05,
|
||
|
|
"loss": 0.9020758628845215,
|
||
|
|
"step": 480
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.16666666666666666,
|
||
|
|
"grad_norm": 0.720455527305603,
|
||
|
|
"learning_rate": 4.7700743904513836e-05,
|
||
|
|
"loss": 0.8897322654724121,
|
||
|
|
"step": 500
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.17333333333333334,
|
||
|
|
"grad_norm": 1.3379108905792236,
|
||
|
|
"learning_rate": 4.746853185335221e-05,
|
||
|
|
"loss": 0.9499833106994628,
|
||
|
|
"step": 520
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.18,
|
||
|
|
"grad_norm": 0.9506772756576538,
|
||
|
|
"learning_rate": 4.722577298429512e-05,
|
||
|
|
"loss": 1.4986319541931152,
|
||
|
|
"step": 540
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.18666666666666668,
|
||
|
|
"grad_norm": 1.5777019262313843,
|
||
|
|
"learning_rate": 4.697258124931776e-05,
|
||
|
|
"loss": 1.3104500770568848,
|
||
|
|
"step": 560
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.19333333333333333,
|
||
|
|
"grad_norm": 1.2068767547607422,
|
||
|
|
"learning_rate": 4.670907549762392e-05,
|
||
|
|
"loss": 0.9996993064880371,
|
||
|
|
"step": 580
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.2,
|
||
|
|
"grad_norm": 1.3350718021392822,
|
||
|
|
"learning_rate": 4.643537941985775e-05,
|
||
|
|
"loss": 1.0175305366516114,
|
||
|
|
"step": 600
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.20666666666666667,
|
||
|
|
"grad_norm": 1.7439497709274292,
|
||
|
|
"learning_rate": 4.6151621490042805e-05,
|
||
|
|
"loss": 1.0757975578308105,
|
||
|
|
"step": 620
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.21333333333333335,
|
||
|
|
"grad_norm": 1.2179644107818604,
|
||
|
|
"learning_rate": 4.5857934905275895e-05,
|
||
|
|
"loss": 1.1192784309387207,
|
||
|
|
"step": 640
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.22,
|
||
|
|
"grad_norm": 1.1882299184799194,
|
||
|
|
"learning_rate": 4.555445752320379e-05,
|
||
|
|
"loss": 0.9488797187805176,
|
||
|
|
"step": 660
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.22666666666666666,
|
||
|
|
"grad_norm": 1.0356523990631104,
|
||
|
|
"learning_rate": 4.524133179731231e-05,
|
||
|
|
"loss": 0.3407599449157715,
|
||
|
|
"step": 680
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.23333333333333334,
|
||
|
|
"grad_norm": 1.4150390625,
|
||
|
|
"learning_rate": 4.491870471005814e-05,
|
||
|
|
"loss": 0.9790312767028808,
|
||
|
|
"step": 700
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.24,
|
||
|
|
"grad_norm": 1.3073979616165161,
|
||
|
|
"learning_rate": 4.4586727703874606e-05,
|
||
|
|
"loss": 1.325801467895508,
|
||
|
|
"step": 720
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.24666666666666667,
|
||
|
|
"grad_norm": 1.2574576139450073,
|
||
|
|
"learning_rate": 4.424555661008406e-05,
|
||
|
|
"loss": 1.1854475021362305,
|
||
|
|
"step": 740
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.25333333333333335,
|
||
|
|
"grad_norm": 1.4099619388580322,
|
||
|
|
"learning_rate": 4.389535157574998e-05,
|
||
|
|
"loss": 1.0839804649353026,
|
||
|
|
"step": 760
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.26,
|
||
|
|
"grad_norm": 1.2009291648864746,
|
||
|
|
"learning_rate": 4.3536276988503366e-05,
|
||
|
|
"loss": 1.030893611907959,
|
||
|
|
"step": 780
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.26666666666666666,
|
||
|
|
"grad_norm": 1.0084775686264038,
|
||
|
|
"learning_rate": 4.316850139937849e-05,
|
||
|
|
"loss": 0.9282444000244141,
|
||
|
|
"step": 800
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.2733333333333333,
|
||
|
|
"grad_norm": 1.166970133781433,
|
||
|
|
"learning_rate": 4.27921974436944e-05,
|
||
|
|
"loss": 0.9386281967163086,
|
||
|
|
"step": 820
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.28,
|
||
|
|
"grad_norm": 1.1025112867355347,
|
||
|
|
"learning_rate": 4.24075417600192e-05,
|
||
|
|
"loss": 1.0037524223327636,
|
||
|
|
"step": 840
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.2866666666666667,
|
||
|
|
"grad_norm": 1.2833219766616821,
|
||
|
|
"learning_rate": 4.20147149072552e-05,
|
||
|
|
"loss": 0.7834305763244629,
|
||
|
|
"step": 860
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.29333333333333333,
|
||
|
|
"grad_norm": 1.5375336408615112,
|
||
|
|
"learning_rate": 4.1613901279883885e-05,
|
||
|
|
"loss": 1.0162606239318848,
|
||
|
|
"step": 880
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.3,
|
||
|
|
"grad_norm": 1.2366664409637451,
|
||
|
|
"learning_rate": 4.120528902141038e-05,
|
||
|
|
"loss": 1.101635456085205,
|
||
|
|
"step": 900
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.30666666666666664,
|
||
|
|
"grad_norm": 1.1046019792556763,
|
||
|
|
"learning_rate": 4.0789069936048135e-05,
|
||
|
|
"loss": 1.0482959747314453,
|
||
|
|
"step": 920
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.31333333333333335,
|
||
|
|
"grad_norm": 1.8129781484603882,
|
||
|
|
"learning_rate": 4.036543939868533e-05,
|
||
|
|
"loss": 1.2192636489868165,
|
||
|
|
"step": 940
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.32,
|
||
|
|
"grad_norm": 0.8395664691925049,
|
||
|
|
"learning_rate": 3.993459626317506e-05,
|
||
|
|
"loss": 0.8940506935119629,
|
||
|
|
"step": 960
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.32666666666666666,
|
||
|
|
"grad_norm": 1.2955873012542725,
|
||
|
|
"learning_rate": 3.949674276899257e-05,
|
||
|
|
"loss": 0.7923289775848389,
|
||
|
|
"step": 980
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.3333333333333333,
|
||
|
|
"grad_norm": 1.2329128980636597,
|
||
|
|
"learning_rate": 3.905208444630327e-05,
|
||
|
|
"loss": 0.6925106525421143,
|
||
|
|
"step": 1000
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.34,
|
||
|
|
"grad_norm": 1.7410433292388916,
|
||
|
|
"learning_rate": 3.8600830019486013e-05,
|
||
|
|
"loss": 1.0536805152893067,
|
||
|
|
"step": 1020
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.3466666666666667,
|
||
|
|
"grad_norm": 1.0676844120025635,
|
||
|
|
"learning_rate": 3.814319130915709e-05,
|
||
|
|
"loss": 1.2916886329650878,
|
||
|
|
"step": 1040
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.35333333333333333,
|
||
|
|
"grad_norm": 1.0247275829315186,
|
||
|
|
"learning_rate": 3.7679383132740767e-05,
|
||
|
|
"loss": 1.041970157623291,
|
||
|
|
"step": 1060
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.36,
|
||
|
|
"grad_norm": 1.2280709743499756,
|
||
|
|
"learning_rate": 3.720962320363313e-05,
|
||
|
|
"loss": 0.7665971755981446,
|
||
|
|
"step": 1080
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.36666666666666664,
|
||
|
|
"grad_norm": 1.792985200881958,
|
||
|
|
"learning_rate": 3.673413202900659e-05,
|
||
|
|
"loss": 0.9495917320251465,
|
||
|
|
"step": 1100
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.37333333333333335,
|
||
|
|
"grad_norm": 0.9368265867233276,
|
||
|
|
"learning_rate": 3.6253132806302895e-05,
|
||
|
|
"loss": 0.7774296283721924,
|
||
|
|
"step": 1120
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.38,
|
||
|
|
"grad_norm": 1.2027090787887573,
|
||
|
|
"learning_rate": 3.576685131846339e-05,
|
||
|
|
"loss": 0.9888124465942383,
|
||
|
|
"step": 1140
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.38666666666666666,
|
||
|
|
"grad_norm": 1.8240844011306763,
|
||
|
|
"learning_rate": 3.5275515827945635e-05,
|
||
|
|
"loss": 1.134997844696045,
|
||
|
|
"step": 1160
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.3933333333333333,
|
||
|
|
"grad_norm": 0.8984581828117371,
|
||
|
|
"learning_rate": 3.4779356969576044e-05,
|
||
|
|
"loss": 0.6457856655120849,
|
||
|
|
"step": 1180
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4,
|
||
|
|
"grad_norm": 0.8814728260040283,
|
||
|
|
"learning_rate": 3.427860764228903e-05,
|
||
|
|
"loss": 0.8272159576416016,
|
||
|
|
"step": 1200
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4066666666666667,
|
||
|
|
"grad_norm": 1.533231496810913,
|
||
|
|
"learning_rate": 3.377350289980331e-05,
|
||
|
|
"loss": 0.7864272117614746,
|
||
|
|
"step": 1220
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.41333333333333333,
|
||
|
|
"grad_norm": 1.4076637029647827,
|
||
|
|
"learning_rate": 3.326427984028675e-05,
|
||
|
|
"loss": 0.9194063186645508,
|
||
|
|
"step": 1240
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.42,
|
||
|
|
"grad_norm": 1.770647406578064,
|
||
|
|
"learning_rate": 3.275117749506156e-05,
|
||
|
|
"loss": 1.0757792472839356,
|
||
|
|
"step": 1260
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4266666666666667,
|
||
|
|
"grad_norm": 1.488553524017334,
|
||
|
|
"learning_rate": 3.2234436716402025e-05,
|
||
|
|
"loss": 1.0499624252319335,
|
||
|
|
"step": 1280
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.43333333333333335,
|
||
|
|
"grad_norm": 0.9816551804542542,
|
||
|
|
"learning_rate": 3.171430006447751e-05,
|
||
|
|
"loss": 1.106693172454834,
|
||
|
|
"step": 1300
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.44,
|
||
|
|
"grad_norm": 0.9064175486564636,
|
||
|
|
"learning_rate": 3.119101169349374e-05,
|
||
|
|
"loss": 0.692702341079712,
|
||
|
|
"step": 1320
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.44666666666666666,
|
||
|
|
"grad_norm": 0.8113229870796204,
|
||
|
|
"learning_rate": 3.066481723708587e-05,
|
||
|
|
"loss": 0.41944007873535155,
|
||
|
|
"step": 1340
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4533333333333333,
|
||
|
|
"grad_norm": 0.6801184415817261,
|
||
|
|
"learning_rate": 3.013596369301706e-05,
|
||
|
|
"loss": 0.26016736030578613,
|
||
|
|
"step": 1360
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.46,
|
||
|
|
"grad_norm": 0.9605411887168884,
|
||
|
|
"learning_rate": 2.9604699307236765e-05,
|
||
|
|
"loss": 0.47470459938049314,
|
||
|
|
"step": 1380
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"epoch": 0.4666666666666667,
|
||
|
|
"grad_norm": 1.1666914224624634,
|
||
|
|
"learning_rate": 2.9071273457353082e-05,
|
||
|
|
"loss": 0.5180130481719971,
|
||
|
|
"step": 1400
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"logging_steps": 20,
|
||
|
|
"max_steps": 3000,
|
||
|
|
"num_input_tokens_seen": 0,
|
||
|
|
"num_train_epochs": 9223372036854775807,
|
||
|
|
"save_steps": 200,
|
||
|
|
"stateful_callbacks": {
|
||
|
|
"TrainerControl": {
|
||
|
|
"args": {
|
||
|
|
"should_epoch_stop": false,
|
||
|
|
"should_evaluate": false,
|
||
|
|
"should_log": false,
|
||
|
|
"should_save": true,
|
||
|
|
"should_training_stop": false
|
||
|
|
},
|
||
|
|
"attributes": {}
|
||
|
|
}
|
||
|
|
},
|
||
|
|
"total_flos": 2926523606630400.0,
|
||
|
|
"train_batch_size": 4,
|
||
|
|
"trial_name": null,
|
||
|
|
"trial_params": null
|
||
|
|
}
|