{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 4.0,
  "eval_steps": 500,
  "global_step": 940,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 22.81595230102539,
      "learning_rate": 9.574468085106384e-07,
      "loss": 1.291497802734375,
      "step": 10
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 8.337886810302734,
      "learning_rate": 2.021276595744681e-06,
      "loss": 1.182865810394287,
      "step": 20
    },
    {
      "epoch": 0.128,
      "grad_norm": 2.478001594543457,
      "learning_rate": 3.0851063829787237e-06,
      "loss": 0.9575789451599122,
      "step": 30
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 1.4279086589813232,
      "learning_rate": 4.148936170212766e-06,
      "loss": 0.8388131141662598,
      "step": 40
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 1.040152907371521,
      "learning_rate": 5.212765957446809e-06,
      "loss": 0.8148186683654786,
      "step": 50
    },
    {
      "epoch": 0.256,
      "grad_norm": 0.9204385876655579,
      "learning_rate": 6.276595744680851e-06,
      "loss": 0.7651220321655273,
      "step": 60
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 0.8933783769607544,
      "learning_rate": 7.340425531914894e-06,
      "loss": 0.7899383544921875,
      "step": 70
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 0.926196277141571,
      "learning_rate": 8.404255319148937e-06,
      "loss": 0.7782301902770996,
      "step": 80
    },
    {
      "epoch": 0.384,
      "grad_norm": 0.9980058073997498,
      "learning_rate": 9.46808510638298e-06,
      "loss": 0.7684392929077148,
      "step": 90
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.9042799472808838,
      "learning_rate": 9.999138160172624e-06,
      "loss": 0.7520565032958985,
      "step": 100
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 0.8850747346878052,
      "learning_rate": 9.99224522409411e-06,
      "loss": 0.7115557670593262,
      "step": 110
    },
    {
      "epoch": 0.512,
      "grad_norm": 0.9096830487251282,
      "learning_rate": 9.97846885608885e-06,
      "loss": 0.7434285163879395,
      "step": 120
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 0.940818190574646,
      "learning_rate": 9.957828051355817e-06,
      "loss": 0.7457537651062012,
      "step": 130
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 0.9445077180862427,
      "learning_rate": 9.930351269950144e-06,
      "loss": 0.7388599872589111,
      "step": 140
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.8463093042373657,
      "learning_rate": 9.896076397541676e-06,
      "loss": 0.7285007476806641,
      "step": 150
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 0.8920971751213074,
      "learning_rate": 9.855050693177286e-06,
      "loss": 0.7659842491149902,
      "step": 160
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 0.9197255969047546,
      "learning_rate": 9.807330724118906e-06,
      "loss": 0.724073839187622,
      "step": 170
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.9320898652076721,
      "learning_rate": 9.752982287847193e-06,
      "loss": 0.747947883605957,
      "step": 180
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 0.8373203277587891,
      "learning_rate": 9.692080321338317e-06,
      "loss": 0.7283991813659668,
      "step": 190
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.8440167307853699,
      "learning_rate": 9.624708797739002e-06,
      "loss": 0.7407590389251709,
      "step": 200
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.9070562720298767,
      "learning_rate": 9.550960610582251e-06,
      "loss": 0.724196481704712,
      "step": 210
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 0.8882600665092468,
      "learning_rate": 9.47093744570344e-06,
      "loss": 0.7334166526794433,
      "step": 220
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 0.9043309688568115,
      "learning_rate": 9.384749641033358e-06,
      "loss": 0.8169802665710449,
      "step": 230
    },
    {
      "epoch": 1.0213333333333334,
      "grad_norm": 0.8862775564193726,
      "learning_rate": 9.292516034461517e-06,
      "loss": 0.7211981773376465,
      "step": 240
    },
    {
      "epoch": 1.064,
      "grad_norm": 0.8914813995361328,
      "learning_rate": 9.194363799979517e-06,
      "loss": 0.6335953712463379,
      "step": 250
    },
    {
      "epoch": 1.1066666666666667,
      "grad_norm": 0.9117757081985474,
      "learning_rate": 9.090428272330381e-06,
      "loss": 0.6689927577972412,
      "step": 260
    },
    {
      "epoch": 1.1493333333333333,
      "grad_norm": 0.9108397364616394,
      "learning_rate": 8.980852760405645e-06,
      "loss": 0.6809295654296875,
      "step": 270
    },
    {
      "epoch": 1.192,
      "grad_norm": 0.9220501780509949,
      "learning_rate": 8.865788349647496e-06,
      "loss": 0.6914172172546387,
      "step": 280
    },
    {
      "epoch": 1.2346666666666666,
      "grad_norm": 0.8409727215766907,
      "learning_rate": 8.745393693728395e-06,
      "loss": 0.6650928974151611,
      "step": 290
    },
    {
      "epoch": 1.2773333333333334,
      "grad_norm": 0.9512217044830322,
      "learning_rate": 8.619834795795458e-06,
      "loss": 0.6717124938964844,
      "step": 300
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.8877426385879517,
      "learning_rate": 8.489284779581179e-06,
      "loss": 0.6726479530334473,
      "step": 310
    },
    {
      "epoch": 1.3626666666666667,
      "grad_norm": 0.8496021032333374,
      "learning_rate": 8.353923650696119e-06,
      "loss": 0.6797503471374512,
      "step": 320
    },
    {
      "epoch": 1.4053333333333333,
      "grad_norm": 0.8745173811912537,
      "learning_rate": 8.213938048432697e-06,
      "loss": 0.6944191932678223,
      "step": 330
    },
    {
      "epoch": 1.448,
      "grad_norm": 0.8742923736572266,
      "learning_rate": 8.069520988422292e-06,
      "loss": 0.619914960861206,
      "step": 340
    },
    {
      "epoch": 1.4906666666666666,
      "grad_norm": 0.9417562484741211,
      "learning_rate": 7.920871596500473e-06,
      "loss": 0.6835647583007812,
      "step": 350
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 0.9726133942604065,
      "learning_rate": 7.768194834147362e-06,
      "loss": 0.6706738471984863,
      "step": 360
    },
    {
      "epoch": 1.576,
      "grad_norm": 0.8959471583366394,
      "learning_rate": 7.611701215881635e-06,
      "loss": 0.690638542175293,
      "step": 370
    },
    {
      "epoch": 1.6186666666666667,
      "grad_norm": 0.9309572577476501,
      "learning_rate": 7.4516065189978625e-06,
      "loss": 0.6714137077331543,
      "step": 380
    },
    {
      "epoch": 1.6613333333333333,
      "grad_norm": 0.9652783274650574,
      "learning_rate": 7.288131486047414e-06,
      "loss": 0.6779637336730957,
      "step": 390
    },
    {
      "epoch": 1.704,
      "grad_norm": 0.8535190224647522,
      "learning_rate": 7.121501520473137e-06,
      "loss": 0.6494068622589111,
      "step": 400
    },
    {
      "epoch": 1.7466666666666666,
      "grad_norm": 0.9693210124969482,
      "learning_rate": 6.9519463758174745e-06,
      "loss": 0.6467916011810303,
      "step": 410
    },
    {
      "epoch": 1.7893333333333334,
      "grad_norm": 0.913555383682251,
      "learning_rate": 6.77969983893257e-06,
      "loss": 0.6865511894226074,
      "step": 420
    },
    {
      "epoch": 1.8319999999999999,
      "grad_norm": 0.8626614212989807,
      "learning_rate": 6.604999407629137e-06,
      "loss": 0.6830032348632813,
      "step": 430
    },
    {
      "epoch": 1.8746666666666667,
      "grad_norm": 0.9277188777923584,
      "learning_rate": 6.428085963208567e-06,
      "loss": 0.6937445640563965,
      "step": 440
    },
    {
      "epoch": 1.9173333333333333,
      "grad_norm": 0.9122670292854309,
      "learning_rate": 6.249203438329799e-06,
      "loss": 0.6877000331878662,
      "step": 450
    },
    {
      "epoch": 1.96,
      "grad_norm": 0.8714756369590759,
      "learning_rate": 6.0685984806689055e-06,
      "loss": 0.6529797077178955,
      "step": 460
    },
    {
      "epoch": 2.0,
      "grad_norm": 1.4163620471954346,
      "learning_rate": 5.886520112835128e-06,
      "loss": 0.6860092163085938,
      "step": 470
    },
    {
      "epoch": 2.042666666666667,
      "grad_norm": 0.8940126299858093,
      "learning_rate": 5.703219389012317e-06,
      "loss": 0.6075316905975342,
      "step": 480
    },
    {
      "epoch": 2.0853333333333333,
      "grad_norm": 0.9413266181945801,
      "learning_rate": 5.518949048799176e-06,
      "loss": 0.5943183422088623,
      "step": 490
    },
    {
      "epoch": 2.128,
      "grad_norm": 0.932360827922821,
      "learning_rate": 5.3339631687256085e-06,
      "loss": 0.5897200107574463,
      "step": 500
    },
    {
      "epoch": 2.1706666666666665,
      "grad_norm": 0.9619448184967041,
      "learning_rate": 5.148516811925684e-06,
      "loss": 0.6106101036071777,
      "step": 510
    },
    {
      "epoch": 2.2133333333333334,
      "grad_norm": 0.9640690684318542,
      "learning_rate": 4.962865676450239e-06,
      "loss": 0.6104888916015625,
      "step": 520
    },
    {
      "epoch": 2.2560000000000002,
      "grad_norm": 0.9159106612205505,
      "learning_rate": 4.777265742704039e-06,
      "loss": 0.5798359870910644,
      "step": 530
    },
    {
      "epoch": 2.2986666666666666,
      "grad_norm": 0.9406466484069824,
      "learning_rate": 4.591972920493638e-06,
      "loss": 0.6197110652923584,
      "step": 540
    },
    {
      "epoch": 2.3413333333333335,
      "grad_norm": 1.0240126848220825,
      "learning_rate": 4.40724269617256e-06,
      "loss": 0.5831963539123535,
      "step": 550
    },
    {
      "epoch": 2.384,
      "grad_norm": 0.9565466046333313,
      "learning_rate": 4.223329780370359e-06,
      "loss": 0.598298454284668,
      "step": 560
    },
    {
      "epoch": 2.4266666666666667,
      "grad_norm": 0.9118269085884094,
      "learning_rate": 4.04048775679127e-06,
      "loss": 0.5884403705596923,
      "step": 570
    },
    {
      "epoch": 2.469333333333333,
      "grad_norm": 0.9704470038414001,
      "learning_rate": 3.858968732566685e-06,
      "loss": 0.5839417457580567,
      "step": 580
    },
    {
      "epoch": 2.512,
      "grad_norm": 0.949148416519165,
      "learning_rate": 3.6790229906435706e-06,
      "loss": 0.6246652126312255,
      "step": 590
    },
    {
      "epoch": 2.554666666666667,
      "grad_norm": 0.9721353054046631,
      "learning_rate": 3.5008986446881088e-06,
      "loss": 0.6042469024658204,
      "step": 600
    },
    {
      "epoch": 2.5973333333333333,
      "grad_norm": 1.11699378490448,
      "learning_rate": 3.3248412969804065e-06,
      "loss": 0.6285554885864257,
      "step": 610
    },
    {
      "epoch": 2.64,
      "grad_norm": 1.023742437362671,
      "learning_rate": 3.1510936997719557e-06,
      "loss": 0.6006599426269531,
      "step": 620
    },
    {
      "epoch": 2.6826666666666665,
      "grad_norm": 1.056766390800476,
      "learning_rate": 2.9798954205727886e-06,
      "loss": 0.5928638458251954,
      "step": 630
    },
    {
      "epoch": 2.7253333333333334,
      "grad_norm": 1.0377728939056396,
      "learning_rate": 2.811482511829842e-06,
      "loss": 0.6103617668151855,
      "step": 640
    },
    {
      "epoch": 2.768,
      "grad_norm": 0.9824387431144714,
      "learning_rate": 2.6460871854519594e-06,
      "loss": 0.5874536514282227,
      "step": 650
    },
    {
      "epoch": 2.8106666666666666,
      "grad_norm": 1.0173842906951904,
      "learning_rate": 2.483937492630345e-06,
      "loss": 0.5812715053558349,
      "step": 660
    },
    {
      "epoch": 2.8533333333333335,
      "grad_norm": 1.1885449886322021,
      "learning_rate": 2.3252570093959e-06,
      "loss": 0.609982681274414,
      "step": 670
    },
    {
      "epoch": 2.896,
      "grad_norm": 0.974206805229187,
      "learning_rate": 2.1702645283470238e-06,
      "loss": 0.6121101379394531,
      "step": 680
    },
    {
      "epoch": 2.9386666666666668,
      "grad_norm": 0.9060782194137573,
      "learning_rate": 2.0191737569729492e-06,
      "loss": 0.6171843528747558,
      "step": 690
    },
    {
      "epoch": 2.981333333333333,
      "grad_norm": 1.0292282104492188,
      "learning_rate": 1.872193022988526e-06,
      "loss": 0.5880200386047363,
      "step": 700
    },
    {
      "epoch": 3.021333333333333,
      "grad_norm": 1.00603449344635,
      "learning_rate": 1.7295249870867898e-06,
      "loss": 0.5795096397399903,
      "step": 710
    },
    {
      "epoch": 3.064,
      "grad_norm": 0.9750069379806519,
      "learning_rate": 1.5913663635053578e-06,
      "loss": 0.5702518463134766,
      "step": 720
    },
    {
      "epoch": 3.1066666666666665,
      "grad_norm": 0.9798346161842346,
      "learning_rate": 1.457907648791943e-06,
      "loss": 0.5839662551879883,
      "step": 730
    },
    {
      "epoch": 3.1493333333333333,
      "grad_norm": 1.0039501190185547,
      "learning_rate": 1.329332859142967e-06,
      "loss": 0.5281820297241211,
      "step": 740
    },
    {
      "epoch": 3.192,
      "grad_norm": 0.9754037857055664,
      "learning_rate": 1.205819276677464e-06,
      "loss": 0.5751385688781738,
      "step": 750
    },
    {
      "epoch": 3.2346666666666666,
      "grad_norm": 0.990886926651001,
      "learning_rate": 1.0875372049960697e-06,
      "loss": 0.5494537353515625,
      "step": 760
    },
    {
      "epoch": 3.2773333333333334,
      "grad_norm": 0.9957782626152039,
      "learning_rate": 9.746497343621857e-07,
      "loss": 0.5537368297576905,
      "step": 770
    },
    {
      "epoch": 3.32,
      "grad_norm": 1.0468347072601318,
      "learning_rate": 8.673125168290713e-07,
      "loss": 0.55874662399292,
      "step": 780
    },
    {
      "epoch": 3.3626666666666667,
      "grad_norm": 0.949479877948761,
      "learning_rate": 7.656735516229125e-07,
      "loss": 0.565284252166748,
      "step": 790
    },
    {
      "epoch": 3.405333333333333,
      "grad_norm": 1.3505475521087646,
      "learning_rate": 6.698729810778065e-07,
      "loss": 0.5531235694885254,
      "step": 800
    },
    {
      "epoch": 3.448,
      "grad_norm": 1.0080723762512207,
      "learning_rate": 5.800428974040311e-07,
      "loss": 0.5778326511383056,
      "step": 810
    },
    {
      "epoch": 3.490666666666667,
      "grad_norm": 0.9772297143936157,
      "learning_rate": 4.963071605560144e-07,
      "loss": 0.5518184661865234,
      "step": 820
    },
    {
      "epoch": 3.533333333333333,
      "grad_norm": 1.0470722913742065,
      "learning_rate": 4.187812274511427e-07,
      "loss": 0.5773732185363769,
      "step": 830
    },
    {
      "epoch": 3.576,
      "grad_norm": 0.9107851982116699,
      "learning_rate": 3.4757199277490106e-07,
      "loss": 0.5663552284240723,
      "step": 840
    },
    {
      "epoch": 3.618666666666667,
      "grad_norm": 0.9870362281799316,
      "learning_rate": 2.8277764159181484e-07,
      "loss": 0.5664983272552491,
      "step": 850
    },
    {
      "epoch": 3.6613333333333333,
      "grad_norm": 1.0563737154006958,
      "learning_rate": 2.2448751396543788e-07,
      "loss": 0.5846799373626709,
      "step": 860
    },
    {
      "epoch": 3.7039999999999997,
      "grad_norm": 1.0350754261016846,
      "learning_rate": 1.7278198177405614e-07,
      "loss": 0.5573970794677734,
      "step": 870
    },
    {
      "epoch": 3.7466666666666666,
      "grad_norm": 1.0310237407684326,
      "learning_rate": 1.2773233789193816e-07,
      "loss": 0.5604241371154786,
      "step": 880
    },
    {
      "epoch": 3.7893333333333334,
      "grad_norm": 0.9566333889961243,
      "learning_rate": 8.940069788894389e-08,
      "loss": 0.5811796188354492,
      "step": 890
    },
    {
      "epoch": 3.832,
      "grad_norm": 0.9202328324317932,
      "learning_rate": 5.783991438403802e-08,
      "loss": 0.5551981449127197,
      "step": 900
    },
    {
      "epoch": 3.8746666666666667,
      "grad_norm": 0.9610781073570251,
      "learning_rate": 3.309350417077972e-08,
      "loss": 0.5618691444396973,
      "step": 910
    },
    {
      "epoch": 3.9173333333333336,
      "grad_norm": 0.9684038162231445,
      "learning_rate": 1.5195588215283773e-08,
      "loss": 0.5391227722167968,
      "step": 920
    },
    {
      "epoch": 3.96,
      "grad_norm": 0.9603227972984314,
      "learning_rate": 4.170844609387992e-09,
      "loss": 0.5671097278594971,
      "step": 930
    },
    {
      "epoch": 4.0,
      "grad_norm": 1.651139497756958,
      "learning_rate": 3.447454388127991e-11,
      "loss": 0.5210320949554443,
      "step": 940
    },
    {
      "epoch": 4.0,
      "step": 940,
      "total_flos": 7.974893111623025e+17,
      "train_loss": 0.6604051219656112,
      "train_runtime": 3155.399,
      "train_samples_per_second": 38.03,
      "train_steps_per_second": 0.298
    }
  ],
  "logging_steps": 10,
  "max_steps": 940,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 4,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 7.974893111623025e+17,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}