{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 5.0,
  "eval_steps": 500,
  "global_step": 470,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 6.4001896404583025,
      "learning_rate": 9.574468085106384e-07,
      "loss": 0.8989,
      "step": 10
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 3.9884362503032165,
      "learning_rate": 2.021276595744681e-06,
      "loss": 0.802,
      "step": 20
    },
    {
      "epoch": 0.32,
      "grad_norm": 1.60376355901428,
      "learning_rate": 3.0851063829787237e-06,
      "loss": 0.6301,
      "step": 30
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.7234709931015538,
      "learning_rate": 4.148936170212766e-06,
      "loss": 0.5338,
      "step": 40
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.5552901636483875,
      "learning_rate": 4.999724208402901e-06,
      "loss": 0.4672,
      "step": 50
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.7993351879599231,
      "learning_rate": 4.990077890125364e-06,
      "loss": 0.4331,
      "step": 60
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.7984857613193315,
      "learning_rate": 4.9667027804779025e-06,
      "loss": 0.397,
      "step": 70
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.7389520023939808,
      "learning_rate": 4.9297277557518455e-06,
      "loss": 0.3799,
      "step": 80
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.7182028734011651,
      "learning_rate": 4.8793566739880894e-06,
      "loss": 0.3661,
      "step": 90
    },
    {
      "epoch": 1.064,
      "grad_norm": 0.49219674423800813,
      "learning_rate": 4.81586725102651e-06,
      "loss": 0.3395,
      "step": 100
    },
    {
      "epoch": 1.1706666666666667,
      "grad_norm": 0.4257808719154046,
      "learning_rate": 4.739609529347905e-06,
      "loss": 0.3106,
      "step": 110
    },
    {
      "epoch": 1.2773333333333334,
      "grad_norm": 0.41445293107743664,
      "learning_rate": 4.651003948150349e-06,
      "loss": 0.3117,
      "step": 120
    },
    {
      "epoch": 1.384,
      "grad_norm": 0.3993364251053088,
      "learning_rate": 4.5505390253004116e-06,
      "loss": 0.3129,
      "step": 130
    },
    {
      "epoch": 1.4906666666666666,
      "grad_norm": 79985.65675548275,
      "learning_rate": 4.4387686639395435e-06,
      "loss": 0.3192,
      "step": 140
    },
    {
      "epoch": 1.5973333333333333,
      "grad_norm": 0.40868129652694285,
      "learning_rate": 4.3163090985954085e-06,
      "loss": 0.2955,
      "step": 150
    },
    {
      "epoch": 1.704,
      "grad_norm": 0.4259152026889081,
      "learning_rate": 4.1838354976354416e-06,
      "loss": 0.2965,
      "step": 160
    },
    {
      "epoch": 1.8106666666666666,
      "grad_norm": 0.3457074798650439,
      "learning_rate": 4.042078240794675e-06,
      "loss": 0.2963,
      "step": 170
    },
    {
      "epoch": 1.9173333333333333,
      "grad_norm": 0.39588209881868647,
      "learning_rate": 3.891818892301304e-06,
      "loss": 0.2941,
      "step": 180
    },
    {
      "epoch": 2.021333333333333,
      "grad_norm": 0.38436164460742095,
      "learning_rate": 3.733885891801746e-06,
      "loss": 0.2989,
      "step": 190
    },
    {
      "epoch": 2.128,
      "grad_norm": 0.3529276894114675,
      "learning_rate": 3.569149986842847e-06,
      "loss": 0.2455,
      "step": 200
    },
    {
      "epoch": 2.2346666666666666,
      "grad_norm": 0.46492474393036926,
      "learning_rate": 3.398519432093782e-06,
      "loss": 0.2395,
      "step": 210
    },
    {
      "epoch": 2.3413333333333335,
      "grad_norm": 0.3681417391525251,
      "learning_rate": 3.222934981776248e-06,
      "loss": 0.245,
      "step": 220
    },
    {
      "epoch": 2.448,
      "grad_norm": 0.3885508053015497,
      "learning_rate": 3.0433647029116675e-06,
      "loss": 0.2349,
      "step": 230
    },
    {
      "epoch": 2.554666666666667,
      "grad_norm": 0.40476310749610533,
      "learning_rate": 2.8607986379820668e-06,
      "loss": 0.2415,
      "step": 240
    },
    {
      "epoch": 2.6613333333333333,
      "grad_norm": 0.34035198317193627,
      "learning_rate": 2.676243346431463e-06,
      "loss": 0.2476,
      "step": 250
    },
    {
      "epoch": 2.768,
      "grad_norm": 0.3701638589834443,
      "learning_rate": 2.4907163551026755e-06,
      "loss": 0.2403,
      "step": 260
    },
    {
      "epoch": 2.8746666666666667,
      "grad_norm": 0.40418149285142296,
      "learning_rate": 2.3052405482064923e-06,
      "loss": 0.2343,
      "step": 270
    },
    {
      "epoch": 2.981333333333333,
      "grad_norm": 0.4475529698606268,
      "learning_rate": 2.1208385277535355e-06,
      "loss": 0.2366,
      "step": 280
    },
    {
      "epoch": 3.0853333333333333,
      "grad_norm": 0.4191178570078597,
      "learning_rate": 1.938526975542005e-06,
      "loss": 0.2041,
      "step": 290
    },
    {
      "epoch": 3.192,
      "grad_norm": 0.36431527214924514,
      "learning_rate": 1.7593110477859155e-06,
      "loss": 0.1954,
      "step": 300
    },
    {
      "epoch": 3.2986666666666666,
      "grad_norm": 0.44908598265930355,
      "learning_rate": 1.5841788332884672e-06,
      "loss": 0.1967,
      "step": 310
    },
    {
      "epoch": 3.405333333333333,
      "grad_norm": 0.350982997488834,
      "learning_rate": 1.4140959057148545e-06,
      "loss": 0.1978,
      "step": 320
    },
    {
      "epoch": 3.512,
      "grad_norm": 0.3465591917838607,
      "learning_rate": 1.2500000000000007e-06,
      "loss": 0.1939,
      "step": 330
    },
    {
      "epoch": 3.618666666666667,
      "grad_norm": 0.4337778159601921,
      "learning_rate": 1.0927958422422913e-06,
      "loss": 0.1898,
      "step": 340
    },
    {
      "epoch": 3.7253333333333334,
      "grad_norm": 0.40979738147857625,
      "learning_rate": 9.433501615881924e-07,
      "loss": 0.1966,
      "step": 350
    },
    {
      "epoch": 3.832,
      "grad_norm": 0.3594819991982372,
      "learning_rate": 8.02486911609188e-07,
      "loss": 0.2024,
      "step": 360
    },
    {
      "epoch": 3.9386666666666668,
      "grad_norm": 64.10402968613073,
      "learning_rate": 6.709827275174994e-07,
      "loss": 0.1979,
      "step": 370
    },
    {
      "epoch": 4.042666666666666,
      "grad_norm": 0.4147288018940898,
      "learning_rate": 5.495626442667826e-07,
      "loss": 0.1862,
      "step": 380
    },
    {
      "epoch": 4.149333333333334,
      "grad_norm": 0.5121717204369356,
      "learning_rate": 4.388960991455998e-07,
      "loss": 0.176,
      "step": 390
    },
    {
      "epoch": 4.256,
      "grad_norm": 0.4296303880766615,
      "learning_rate": 3.3959324090295897e-07,
      "loss": 0.1813,
      "step": 400
    },
    {
      "epoch": 4.362666666666667,
      "grad_norm": 0.44742126705458446,
      "learning_rate": 2.522015657552068e-07,
      "loss": 0.1694,
      "step": 410
    },
    {
      "epoch": 4.469333333333333,
      "grad_norm": 0.3750214039625933,
      "learning_rate": 1.7720289882128095e-07,
      "loss": 0.1701,
      "step": 420
    },
    {
      "epoch": 4.576,
      "grad_norm": 0.43210479620185194,
      "learning_rate": 1.1501073762888559e-07,
      "loss": 0.1702,
      "step": 430
    },
    {
      "epoch": 4.682666666666667,
      "grad_norm": 0.353412854144634,
      "learning_rate": 6.596797233789865e-08,
      "loss": 0.1687,
      "step": 440
    },
    {
      "epoch": 4.789333333333333,
      "grad_norm": 70.60483158585632,
      "learning_rate": 3.034499525032625e-08,
      "loss": 0.1728,
      "step": 450
    },
    {
      "epoch": 4.896,
      "grad_norm": 0.42084726444394466,
      "learning_rate": 8.338210029824878e-09,
      "loss": 0.1709,
      "step": 460
    },
    {
      "epoch": 5.0,
      "grad_norm": 0.40310959215108566,
      "learning_rate": 6.894885006381025e-11,
      "loss": 0.1789,
      "step": 470
    },
    {
      "epoch": 5.0,
      "step": 470,
      "total_flos": 833569573306368.0,
      "train_loss": 0.29079747123921174,
      "train_runtime": 33915.1154,
      "train_samples_per_second": 0.441,
      "train_steps_per_second": 0.014
    }
  ],
  "logging_steps": 10,
  "max_steps": 470,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 5,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 833569573306368.0,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}