{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 3.0,
  "eval_steps": 500,
  "global_step": 720,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 29.499774932861328,
      "learning_rate": 6.25e-07,
      "loss": 1.3478851318359375,
      "step": 10
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 10.380602836608887,
      "learning_rate": 1.3194444444444446e-06,
      "loss": 1.1414000511169433,
      "step": 20
    },
    {
      "epoch": 0.125,
      "grad_norm": 4.048536777496338,
      "learning_rate": 2.0138888888888893e-06,
      "loss": 0.8360883712768554,
      "step": 30
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 3.7858238220214844,
      "learning_rate": 2.7083333333333334e-06,
      "loss": 0.7460173606872559,
      "step": 40
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 3.232109546661377,
      "learning_rate": 3.4027777777777783e-06,
      "loss": 0.7003425598144531,
      "step": 50
    },
    {
      "epoch": 0.25,
      "grad_norm": 3.959477424621582,
      "learning_rate": 4.097222222222222e-06,
      "loss": 0.6781439304351806,
      "step": 60
    },
    {
      "epoch": 0.2916666666666667,
      "grad_norm": 3.6397626399993896,
      "learning_rate": 4.791666666666668e-06,
      "loss": 0.6273435592651367,
      "step": 70
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 3.215730905532837,
      "learning_rate": 4.998560491796288e-06,
      "loss": 0.6232743263244629,
      "step": 80
    },
    {
      "epoch": 0.375,
      "grad_norm": 3.3890368938446045,
      "learning_rate": 4.991513829823945e-06,
      "loss": 0.5979775428771973,
      "step": 90
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 3.129528522491455,
      "learning_rate": 4.978612153434527e-06,
      "loss": 0.5922712326049805,
      "step": 100
    },
    {
      "epoch": 0.4583333333333333,
      "grad_norm": 3.7336618900299072,
      "learning_rate": 4.9598857813444524e-06,
      "loss": 0.602515983581543,
      "step": 110
    },
    {
      "epoch": 0.5,
      "grad_norm": 3.025545120239258,
      "learning_rate": 4.935378720204319e-06,
      "loss": 0.5727059364318847,
      "step": 120
    },
    {
      "epoch": 0.5416666666666666,
      "grad_norm": 3.025608539581299,
      "learning_rate": 4.905148561184033e-06,
      "loss": 0.5602549552917481,
      "step": 130
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 3.1320998668670654,
      "learning_rate": 4.869266344634556e-06,
      "loss": 0.5857479095458984,
      "step": 140
    },
    {
      "epoch": 0.625,
      "grad_norm": 2.8681347370147705,
      "learning_rate": 4.827816393144305e-06,
      "loss": 0.5755341529846192,
      "step": 150
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 3.168527841567993,
      "learning_rate": 4.780896113382536e-06,
      "loss": 0.5534672737121582,
      "step": 160
    },
    {
      "epoch": 0.7083333333333334,
      "grad_norm": 2.962265729904175,
      "learning_rate": 4.728615767195347e-06,
      "loss": 0.553608751296997,
      "step": 170
    },
    {
      "epoch": 0.75,
      "grad_norm": 3.3806610107421875,
      "learning_rate": 4.671098212492251e-06,
      "loss": 0.5626870155334472,
      "step": 180
    },
    {
      "epoch": 0.7916666666666666,
      "grad_norm": 3.1959733963012695,
      "learning_rate": 4.608478614532215e-06,
      "loss": 0.5459296226501464,
      "step": 190
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 2.7560014724731445,
      "learning_rate": 4.54090412828763e-06,
      "loss": 0.5788500785827637,
      "step": 200
    },
    {
      "epoch": 0.875,
      "grad_norm": 2.802913188934326,
      "learning_rate": 4.468533552632681e-06,
      "loss": 0.5325778007507325,
      "step": 210
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 3.1139848232269287,
      "learning_rate": 4.391536957168733e-06,
      "loss": 0.5544434547424316,
      "step": 220
    },
    {
      "epoch": 0.9583333333333334,
      "grad_norm": 2.9709322452545166,
      "learning_rate": 4.3100952825637064e-06,
      "loss": 0.5456916332244873,
      "step": 230
    },
    {
      "epoch": 1.0,
      "grad_norm": 2.8750693798065186,
      "learning_rate": 4.2243999153446445e-06,
      "loss": 0.535283899307251,
      "step": 240
    },
    {
      "epoch": 1.0416666666666667,
      "grad_norm": 2.816533327102661,
      "learning_rate": 4.134652238142674e-06,
      "loss": 0.4393170356750488,
      "step": 250
    },
    {
      "epoch": 1.0833333333333333,
      "grad_norm": 3.158930540084839,
      "learning_rate": 4.041063156447314e-06,
      "loss": 0.4061892032623291,
      "step": 260
    },
    {
      "epoch": 1.125,
      "grad_norm": 3.3394505977630615,
      "learning_rate": 3.943852602982213e-06,
      "loss": 0.413454532623291,
      "step": 270
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 3.0901780128479004,
      "learning_rate": 3.8432490208670605e-06,
      "loss": 0.41506023406982423,
      "step": 280
    },
    {
      "epoch": 1.2083333333333333,
      "grad_norm": 3.2386937141418457,
      "learning_rate": 3.739488826780199e-06,
      "loss": 0.3757039785385132,
      "step": 290
    },
    {
      "epoch": 1.25,
      "grad_norm": 3.1895928382873535,
      "learning_rate": 3.6328158553835206e-06,
      "loss": 0.38776512145996095,
      "step": 300
    },
    {
      "epoch": 1.2916666666666667,
      "grad_norm": 3.395063638687134,
      "learning_rate": 3.5234807863152316e-06,
      "loss": 0.3929452896118164,
      "step": 310
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 2.6497585773468018,
      "learning_rate": 3.41174055509703e-06,
      "loss": 0.41544904708862307,
      "step": 320
    },
    {
      "epoch": 1.375,
      "grad_norm": 3.4338808059692383,
      "learning_rate": 3.2978577493400775e-06,
      "loss": 0.4201189517974854,
      "step": 330
    },
    {
      "epoch": 1.4166666666666667,
      "grad_norm": 5.390817642211914,
      "learning_rate": 3.182099991668653e-06,
      "loss": 0.3872462272644043,
      "step": 340
    },
    {
      "epoch": 1.4583333333333333,
      "grad_norm": 3.0678157806396484,
      "learning_rate": 3.064739310811612e-06,
      "loss": 0.3856550931930542,
      "step": 350
    },
    {
      "epoch": 1.5,
      "grad_norm": 2.928752899169922,
      "learning_rate": 2.9460515023395807e-06,
      "loss": 0.4167680263519287,
      "step": 360
    },
    {
      "epoch": 1.5416666666666665,
      "grad_norm": 3.0667483806610107,
      "learning_rate": 2.82631548055013e-06,
      "loss": 0.40921745300292967,
      "step": 370
    },
    {
      "epoch": 1.5833333333333335,
      "grad_norm": 3.30924391746521,
      "learning_rate": 2.705812623024e-06,
      "loss": 0.39605083465576174,
      "step": 380
    },
    {
      "epoch": 1.625,
      "grad_norm": 3.206585168838501,
      "learning_rate": 2.5848261093926565e-06,
      "loss": 0.4075204372406006,
      "step": 390
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 3.0673396587371826,
      "learning_rate": 2.4636402558710434e-06,
      "loss": 0.40534563064575196,
      "step": 400
    },
    {
      "epoch": 1.7083333333333335,
      "grad_norm": 3.4459261894226074,
      "learning_rate": 2.3425398471194056e-06,
      "loss": 0.39900033473968505,
      "step": 410
    },
    {
      "epoch": 1.75,
      "grad_norm": 3.114468574523926,
      "learning_rate": 2.221809467004251e-06,
      "loss": 0.40346851348876955,
      "step": 420
    },
    {
      "epoch": 1.7916666666666665,
      "grad_norm": 3.425462007522583,
      "learning_rate": 2.101732829831194e-06,
      "loss": 0.4041299819946289,
      "step": 430
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 3.256767511367798,
      "learning_rate": 1.9825921136212372e-06,
      "loss": 0.3829362392425537,
      "step": 440
    },
    {
      "epoch": 1.875,
      "grad_norm": 3.315276861190796,
      "learning_rate": 1.8646672969973034e-06,
      "loss": 0.41110787391662595,
      "step": 450
    },
    {
      "epoch": 1.9166666666666665,
      "grad_norm": 3.0989630222320557,
      "learning_rate": 1.7482355012393177e-06,
      "loss": 0.376175594329834,
      "step": 460
    },
    {
      "epoch": 1.9583333333333335,
      "grad_norm": 3.8257453441619873,
      "learning_rate": 1.633570339053982e-06,
      "loss": 0.3938215017318726,
      "step": 470
    },
    {
      "epoch": 2.0,
      "grad_norm": 2.900068998336792,
      "learning_rate": 1.5209412715896527e-06,
      "loss": 0.41222400665283204,
      "step": 480
    },
    {
      "epoch": 2.0416666666666665,
      "grad_norm": 2.951523780822754,
      "learning_rate": 1.4106129752073023e-06,
      "loss": 0.2820391893386841,
      "step": 490
    },
    {
      "epoch": 2.0833333333333335,
      "grad_norm": 3.1139001846313477,
      "learning_rate": 1.3028447194956413e-06,
      "loss": 0.2755776882171631,
      "step": 500
    },
    {
      "epoch": 2.125,
      "grad_norm": 3.254406452178955,
      "learning_rate": 1.197889757992076e-06,
      "loss": 0.26791958808898925,
      "step": 510
    },
    {
      "epoch": 2.1666666666666665,
      "grad_norm": 3.350184917449951,
      "learning_rate": 1.0959947330412681e-06,
      "loss": 0.27331366539001467,
      "step": 520
    },
    {
      "epoch": 2.2083333333333335,
      "grad_norm": 3.6832144260406494,
      "learning_rate": 9.973990961898928e-07,
      "loss": 0.27553110122680663,
      "step": 530
    },
    {
      "epoch": 2.25,
      "grad_norm": 3.2515552043914795,
      "learning_rate": 9.023345454796459e-07,
      "loss": 0.2681769132614136,
      "step": 540
    },
    {
      "epoch": 2.2916666666666665,
      "grad_norm": 3.410749673843384,
      "learning_rate": 8.110244809608494e-07,
      "loss": 0.25668916702270506,
      "step": 550
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 3.052957773208618,
      "learning_rate": 7.236834797061979e-07,
      "loss": 0.27220232486724855,
      "step": 560
    },
    {
      "epoch": 2.375,
      "grad_norm": 4.0483808517456055,
      "learning_rate": 6.405167915583477e-07,
      "loss": 0.28708949089050295,
      "step": 570
    },
    {
      "epoch": 2.4166666666666665,
      "grad_norm": 3.3622629642486572,
      "learning_rate": 5.617198567963353e-07,
      "loss": 0.2636965274810791,
      "step": 580
    },
    {
      "epoch": 2.4583333333333335,
      "grad_norm": 3.524901866912842,
      "learning_rate": 4.874778468543043e-07,
      "loss": 0.2697884559631348,
      "step": 590
    },
    {
      "epoch": 2.5,
      "grad_norm": 3.72314453125,
      "learning_rate": 4.1796522917183226e-07,
      "loss": 0.2729990005493164,
      "step": 600
    },
    {
      "epoch": 2.5416666666666665,
      "grad_norm": 3.488933563232422,
      "learning_rate": 3.5334535719846767e-07,
      "loss": 0.2704613208770752,
      "step": 610
    },
    {
      "epoch": 2.5833333333333335,
      "grad_norm": 3.4488272666931152,
      "learning_rate": 2.9377008651594737e-07,
      "loss": 0.26971731185913084,
      "step": 620
    },
    {
      "epoch": 2.625,
      "grad_norm": 3.6721582412719727,
      "learning_rate": 2.393794179802053e-07,
      "loss": 0.266050910949707,
      "step": 630
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 3.4804670810699463,
      "learning_rate": 1.9030116872178317e-07,
      "loss": 0.27685208320617677,
      "step": 640
    },
    {
      "epoch": 2.7083333333333335,
      "grad_norm": 3.309819221496582,
      "learning_rate": 1.4665067177778187e-07,
      "loss": 0.2522747993469238,
      "step": 650
    },
    {
      "epoch": 2.75,
      "grad_norm": 3.369265079498291,
      "learning_rate": 1.0853050506121927e-07,
      "loss": 0.25966610908508303,
      "step": 660
    },
    {
      "epoch": 2.7916666666666665,
      "grad_norm": 3.238943099975586,
      "learning_rate": 7.603025030471001e-08,
      "loss": 0.27193603515625,
      "step": 670
    },
    {
      "epoch": 2.8333333333333335,
      "grad_norm": 3.4344398975372314,
      "learning_rate": 4.922628254493994e-08,
      "loss": 0.27923831939697263,
      "step": 680
    },
    {
      "epoch": 2.875,
      "grad_norm": 3.205024480819702,
      "learning_rate": 2.81815906426533e-08,
      "loss": 0.26351704597473147,
      "step": 690
    },
    {
      "epoch": 2.9166666666666665,
      "grad_norm": 3.3555197715759277,
      "learning_rate": 1.2945629259917547e-08,
      "loss": 0.25306267738342286,
      "step": 700
    },
    {
      "epoch": 2.9583333333333335,
      "grad_norm": 3.810171365737915,
      "learning_rate": 3.5542026425233746e-09,
      "loss": 0.26765923500061034,
      "step": 710
    },
    {
      "epoch": 3.0,
      "grad_norm": 3.211577892303467,
      "learning_rate": 2.938048062617327e-11,
      "loss": 0.26591691970825193,
      "step": 720
    },
    {
      "epoch": 3.0,
      "step": 720,
      "total_flos": 3.143410755085271e+17,
      "train_loss": 0.2539728307061725,
      "train_runtime": 24192.1432,
      "train_samples_per_second": 0.237,
      "train_steps_per_second": 0.03
    }
  ],
  "logging_steps": 10,
  "max_steps": 720,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 200,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 3.143410755085271e+17,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}