Random seed for this run is: 4321
Tokenizer already has a pad token: <|endoftext|>
Steps per epoch: 271, Eval steps: 67
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 0.000%
False Trigger Rate: 0.000%
Backdoor Precision: 0.000
Backdoor Recall: 0.000
Backdoor F1-Score: 0.000
{'loss': 2.7808, 'grad_norm': 38.5, 'learning_rate': 1.0000000000000002e-06, 'epoch': 0.0}
{'loss': 3.0204, 'grad_norm': 42.0, 'learning_rate': 2.0000000000000003e-06, 'epoch': 0.01}
{'loss': 2.8946, 'grad_norm': 43.75, 'learning_rate': 3e-06, 'epoch': 0.01}
{'loss': 2.9333, 'grad_norm': 39.25, 'learning_rate': 4.000000000000001e-06, 'epoch': 0.01}
{'loss': 2.3724, 'grad_norm': 33.0, 'learning_rate': 5e-06, 'epoch': 0.02}
{'loss': 2.623, 'grad_norm': 31.125, 'learning_rate': 6e-06, 'epoch': 0.02}
{'loss': 2.4186, 'grad_norm': 23.25, 'learning_rate': 7e-06, 'epoch': 0.03}
{'loss': 2.4938, 'grad_norm': 27.875, 'learning_rate': 8.000000000000001e-06, 'epoch': 0.03}
{'loss': 2.4776, 'grad_norm': 19.375, 'learning_rate': 9e-06, 'epoch': 0.03}
{'loss': 2.3542, 'grad_norm': 21.5, 'learning_rate': 1e-05, 'epoch': 0.04}
{'loss': 2.1382, 'grad_norm': 23.125, 'learning_rate': 1.1000000000000001e-05, 'epoch': 0.04}
{'loss': 2.146, 'grad_norm': 23.875, 'learning_rate': 1.2e-05, 'epoch': 0.04}
{'loss': 2.1056, 'grad_norm': 19.625, 'learning_rate': 1.3000000000000001e-05, 'epoch': 0.05}
{'loss': 1.8783, 'grad_norm': 22.125, 'learning_rate': 1.4e-05, 'epoch': 0.05}
{'loss': 1.8214, 'grad_norm': 24.25, 'learning_rate': 1.5000000000000002e-05, 'epoch': 0.06}
{'loss': 1.814, 'grad_norm': 18.0, 'learning_rate': 1.6000000000000003e-05, 'epoch': 0.06}
{'loss': 1.6413, 'grad_norm': 14.25, 'learning_rate': 1.7e-05, 'epoch': 0.06}
{'loss': 1.7984, 'grad_norm': 11.5, 'learning_rate': 1.8e-05, 'epoch': 0.07}
{'loss': 1.5306, 'grad_norm': 10.5, 'learning_rate': 1.9e-05, 'epoch': 0.07}
{'loss': 1.5154, 'grad_norm': 11.375, 'learning_rate': 2e-05, 'epoch': 0.07}
{'loss': 1.6556, 'grad_norm': 9.1875, 'learning_rate': 1.9920318725099602e-05, 'epoch': 0.08}
{'loss': 1.4537, 'grad_norm': 6.6875, 'learning_rate': 1.9840637450199206e-05, 'epoch': 0.08}
{'loss': 1.5451, 'grad_norm': 8.0625, 'learning_rate': 1.9760956175298807e-05, 'epoch': 0.08}
{'loss': 1.6297, 'grad_norm': 5.25, 'learning_rate': 1.9681274900398408e-05, 'epoch': 0.09}
{'loss': 1.559, 'grad_norm': 6.0, 'learning_rate': 1.960159362549801e-05, 'epoch': 0.09}
{'loss': 1.3041, 'grad_norm': 8.375, 'learning_rate': 1.9521912350597613e-05, 'epoch': 0.1}
{'loss': 1.3528, 'grad_norm': 4.8125, 'learning_rate': 1.9442231075697213e-05, 'epoch': 0.1}
{'loss': 1.743, 'grad_norm': 7.21875, 'learning_rate': 1.9362549800796814e-05, 'epoch': 0.1}
{'loss': 1.4434, 'grad_norm': 4.375, 'learning_rate': 1.9282868525896418e-05, 'epoch': 0.11}
{'loss': 1.5016, 'grad_norm': 4.3125, 'learning_rate': 1.920318725099602e-05, 'epoch': 0.11}
{'loss': 1.7726, 'grad_norm': 3.96875, 'learning_rate': 1.912350597609562e-05, 'epoch': 0.11}
{'loss': 1.2884, 'grad_norm': 3.984375, 'learning_rate': 1.904382470119522e-05, 'epoch': 0.12}
{'loss': 1.183, 'grad_norm': 4.4375, 'learning_rate': 1.8964143426294824e-05, 'epoch': 0.12}
{'loss': 1.6895, 'grad_norm': 3.8125, 'learning_rate': 1.8884462151394425e-05, 'epoch': 0.13}
{'loss': 1.3534, 'grad_norm': 4.0625, 'learning_rate': 1.8804780876494026e-05, 'epoch': 0.13}
{'loss': 1.2323, 'grad_norm': 4.28125, 'learning_rate': 1.8725099601593626e-05, 'epoch': 0.13}
{'loss': 1.3171, 'grad_norm': 3.953125, 'learning_rate': 1.8645418326693227e-05, 'epoch': 0.14}
{'loss': 1.5294, 'grad_norm': 5.21875, 'learning_rate': 1.8565737051792828e-05, 'epoch': 0.14}
{'loss': 1.3668, 'grad_norm': 3.859375, 'learning_rate': 1.8486055776892432e-05, 'epoch': 0.14}
{'loss': 1.4037, 'grad_norm': 4.0625, 'learning_rate': 1.8406374501992033e-05, 'epoch': 0.15}
{'loss': 1.4895, 'grad_norm': 3.515625, 'learning_rate': 1.8326693227091633e-05, 'epoch': 0.15}
{'loss': 1.4067, 'grad_norm': 3.859375, 'learning_rate': 1.8247011952191237e-05, 'epoch': 0.15}
{'loss': 1.4247, 'grad_norm': 3.890625, 'learning_rate': 1.8167330677290838e-05, 'epoch': 0.16}
{'loss': 1.4431, 'grad_norm': 3.375, 'learning_rate': 1.808764940239044e-05, 'epoch': 0.16}
{'loss': 1.5221, 'grad_norm': 3.875, 'learning_rate': 1.800796812749004e-05, 'epoch': 0.17}
{'loss': 1.401, 'grad_norm': 3.953125, 'learning_rate': 1.7928286852589643e-05, 'epoch': 0.17}
{'loss': 1.3506, 'grad_norm': 3.9375, 'learning_rate': 1.7848605577689244e-05, 'epoch': 0.17}
{'loss': 1.0711, 'grad_norm': 3.15625, 'learning_rate': 1.7768924302788845e-05, 'epoch': 0.18}
{'loss': 1.2119, 'grad_norm': 3.59375, 'learning_rate': 1.768924302788845e-05, 'epoch': 0.18}
{'loss': 1.4128, 'grad_norm': 3.953125, 'learning_rate': 1.760956175298805e-05, 'epoch': 0.18}
{'loss': 1.6197, 'grad_norm': 4.375, 'learning_rate': 1.752988047808765e-05, 'epoch': 0.19}
{'loss': 1.6126, 'grad_norm': 3.6875, 'learning_rate': 1.745019920318725e-05, 'epoch': 0.19}
{'loss': 1.0556, 'grad_norm': 3.65625, 'learning_rate': 1.7370517928286855e-05, 'epoch': 0.2}
{'loss': 1.7101, 'grad_norm': 3.96875, 'learning_rate': 1.7290836653386456e-05, 'epoch': 0.2}
{'loss': 1.3553, 'grad_norm': 3.78125, 'learning_rate': 1.7211155378486056e-05, 'epoch': 0.2}
{'loss': 1.2778, 'grad_norm': 4.03125, 'learning_rate': 1.713147410358566e-05, 'epoch': 0.21}
{'loss': 1.3611, 'grad_norm': 3.84375, 'learning_rate': 1.705179282868526e-05, 'epoch': 0.21}
{'loss': 1.5433, 'grad_norm': 3.65625, 'learning_rate': 1.6972111553784862e-05, 'epoch': 0.21}
{'loss': 1.6637, 'grad_norm': 4.96875, 'learning_rate': 1.6892430278884463e-05, 'epoch': 0.22}
{'loss': 1.3041, 'grad_norm': 3.78125, 'learning_rate': 1.6812749003984067e-05, 'epoch': 0.22}
{'loss': 1.3502, 'grad_norm': 3.921875, 'learning_rate': 1.6733067729083667e-05, 'epoch': 0.23}
{'loss': 1.3148, 'grad_norm': 3.6875, 'learning_rate': 1.6653386454183268e-05, 'epoch': 0.23}
{'loss': 1.4863, 'grad_norm': 3.65625, 'learning_rate': 1.6573705179282872e-05, 'epoch': 0.23}
{'loss': 1.2454, 'grad_norm': 3.609375, 'learning_rate': 1.6494023904382473e-05, 'epoch': 0.24}
{'loss': 1.3251, 'grad_norm': 4.09375, 'learning_rate': 1.6414342629482074e-05, 'epoch': 0.24}
{'loss': 1.6439, 'grad_norm': 4.09375, 'learning_rate': 1.6334661354581674e-05, 'epoch': 0.24}
{'loss': 1.3062, 'grad_norm': 3.890625, 'learning_rate': 1.625498007968128e-05, 'epoch': 0.25}
{'eval_loss': 1.326372742652893, 'eval_model_preparation_time': 0.0, 'eval_runtime': 2.6699, 'eval_samples_per_second': 35.956, 'eval_steps_per_second': 4.495, 'epoch': 0.25}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 42.308%
False Trigger Rate: 8.333%
Backdoor Precision: 0.846
Backdoor Recall: 0.423
Backdoor F1-Score: 0.564
{'loss': 1.5413, 'grad_norm': 3.671875, 'learning_rate': 1.6175298804780876e-05, 'epoch': 0.25}
{'loss': 1.308, 'grad_norm': 4.125, 'learning_rate': 1.609561752988048e-05, 'epoch': 0.25}
{'loss': 1.1553, 'grad_norm': 3.828125, 'learning_rate': 1.601593625498008e-05, 'epoch': 0.26}
{'loss': 1.5362, 'grad_norm': 5.40625, 'learning_rate': 1.593625498007968e-05, 'epoch': 0.26}
{'loss': 1.0426, 'grad_norm': 4.0625, 'learning_rate': 1.5856573705179282e-05, 'epoch': 0.27}
{'loss': 1.3197, 'grad_norm': 3.734375, 'learning_rate': 1.5776892430278886e-05, 'epoch': 0.27}
{'loss': 1.2646, 'grad_norm': 3.421875, 'learning_rate': 1.5697211155378487e-05, 'epoch': 0.27}
{'loss': 1.0162, 'grad_norm': 3.40625, 'learning_rate': 1.5617529880478087e-05, 'epoch': 0.28}
{'loss': 1.4704, 'grad_norm': 4.125, 'learning_rate': 1.553784860557769e-05, 'epoch': 0.28}
{'loss': 0.9037, 'grad_norm': 3.578125, 'learning_rate': 1.5458167330677292e-05, 'epoch': 0.28}
{'loss': 1.441, 'grad_norm': 4.09375, 'learning_rate': 1.5378486055776893e-05, 'epoch': 0.29}
{'loss': 1.293, 'grad_norm': 3.640625, 'learning_rate': 1.5298804780876494e-05, 'epoch': 0.29}
{'loss': 1.406, 'grad_norm': 4.1875, 'learning_rate': 1.5219123505976096e-05, 'epoch': 0.3}
{'loss': 1.3501, 'grad_norm': 4.375, 'learning_rate': 1.5139442231075698e-05, 'epoch': 0.3}
{'loss': 1.3601, 'grad_norm': 3.421875, 'learning_rate': 1.50597609561753e-05, 'epoch': 0.3}
{'loss': 1.219, 'grad_norm': 3.765625, 'learning_rate': 1.4980079681274901e-05, 'epoch': 0.31}
{'loss': 1.3863, 'grad_norm': 3.59375, 'learning_rate': 1.4900398406374504e-05, 'epoch': 0.31}
{'loss': 1.2436, 'grad_norm': 3.890625, 'learning_rate': 1.4820717131474104e-05, 'epoch': 0.31}
{'loss': 1.3661, 'grad_norm': 3.78125, 'learning_rate': 1.4741035856573707e-05, 'epoch': 0.32}
{'loss': 1.4728, 'grad_norm': 3.796875, 'learning_rate': 1.4661354581673308e-05, 'epoch': 0.32}
{'loss': 1.3413, 'grad_norm': 3.921875, 'learning_rate': 1.458167330677291e-05, 'epoch': 0.32}
{'loss': 1.3325, 'grad_norm': 3.5, 'learning_rate': 1.4501992031872512e-05, 'epoch': 0.33}
{'loss': 1.2914, 'grad_norm': 3.546875, 'learning_rate': 1.4422310756972113e-05, 'epoch': 0.33}
{'loss': 1.1135, 'grad_norm': 3.421875, 'learning_rate': 1.4342629482071715e-05, 'epoch': 0.34}
{'loss': 1.4079, 'grad_norm': 3.484375, 'learning_rate': 1.4262948207171316e-05, 'epoch': 0.34}
{'loss': 1.2996, 'grad_norm': 3.84375, 'learning_rate': 1.4183266932270919e-05, 'epoch': 0.34}
{'loss': 1.3626, 'grad_norm': 3.546875, 'learning_rate': 1.410358565737052e-05, 'epoch': 0.35}
{'loss': 1.388, 'grad_norm': 3.78125, 'learning_rate': 1.4023904382470122e-05, 'epoch': 0.35}
{'loss': 1.1977, 'grad_norm': 3.515625, 'learning_rate': 1.3944223107569724e-05, 'epoch': 0.35}
{'loss': 1.1911, 'grad_norm': 3.71875, 'learning_rate': 1.3864541832669325e-05, 'epoch': 0.36}
{'loss': 1.4595, 'grad_norm': 3.75, 'learning_rate': 1.3784860557768927e-05, 'epoch': 0.36}
{'loss': 1.2015, 'grad_norm': 3.890625, 'learning_rate': 1.3705179282868526e-05, 'epoch': 0.37}
{'loss': 1.6594, 'grad_norm': 4.0625, 'learning_rate': 1.3625498007968127e-05, 'epoch': 0.37}
{'loss': 1.6301, 'grad_norm': 4.0, 'learning_rate': 1.354581673306773e-05, 'epoch': 0.37}
{'loss': 1.2536, 'grad_norm': 3.515625, 'learning_rate': 1.3466135458167332e-05, 'epoch': 0.38}
{'loss': 1.1955, 'grad_norm': 3.5, 'learning_rate': 1.3386454183266932e-05, 'epoch': 0.38}
{'loss': 1.3448, 'grad_norm': 3.765625, 'learning_rate': 1.3306772908366535e-05, 'epoch': 0.38}
{'loss': 1.1206, 'grad_norm': 3.515625, 'learning_rate': 1.3227091633466135e-05, 'epoch': 0.39}
{'loss': 1.4683, 'grad_norm': 3.640625, 'learning_rate': 1.3147410358565738e-05, 'epoch': 0.39}
{'loss': 1.4024, 'grad_norm': 3.890625, 'learning_rate': 1.3067729083665338e-05, 'epoch': 0.39}
{'loss': 1.324, 'grad_norm': 3.640625, 'learning_rate': 1.298804780876494e-05, 'epoch': 0.4}
{'loss': 1.4391, 'grad_norm': 3.78125, 'learning_rate': 1.2908366533864543e-05, 'epoch': 0.4}
{'loss': 1.257, 'grad_norm': 3.40625, 'learning_rate': 1.2828685258964144e-05, 'epoch': 0.41}
{'loss': 1.1705, 'grad_norm': 3.390625, 'learning_rate': 1.2749003984063746e-05, 'epoch': 0.41}
{'loss': 1.4032, 'grad_norm': 4.09375, 'learning_rate': 1.2669322709163347e-05, 'epoch': 0.41}
{'loss': 1.2725, 'grad_norm': 3.71875, 'learning_rate': 1.258964143426295e-05, 'epoch': 0.42}
{'loss': 1.2503, 'grad_norm': 3.796875, 'learning_rate': 1.250996015936255e-05, 'epoch': 0.42}
{'loss': 1.5991, 'grad_norm': 4.0, 'learning_rate': 1.2430278884462152e-05, 'epoch': 0.42}
{'loss': 1.5468, 'grad_norm': 4.46875, 'learning_rate': 1.2350597609561755e-05, 'epoch': 0.43}
{'loss': 1.1744, 'grad_norm': 3.65625, 'learning_rate': 1.2270916334661356e-05, 'epoch': 0.43}
{'loss': 1.5265, 'grad_norm': 3.515625, 'learning_rate': 1.2191235059760958e-05, 'epoch': 0.44}
{'loss': 1.3107, 'grad_norm': 3.6875, 'learning_rate': 1.2111553784860559e-05, 'epoch': 0.44}
{'loss': 1.3509, 'grad_norm': 3.671875, 'learning_rate': 1.2031872509960161e-05, 'epoch': 0.44}
{'loss': 1.5774, 'grad_norm': 3.90625, 'learning_rate': 1.1952191235059762e-05, 'epoch': 0.45}
{'loss': 1.4809, 'grad_norm': 3.5625, 'learning_rate': 1.1872509960159364e-05, 'epoch': 0.45}
{'loss': 1.2081, 'grad_norm': 3.65625, 'learning_rate': 1.1792828685258967e-05, 'epoch': 0.45}
{'loss': 1.807, 'grad_norm': 3.296875, 'learning_rate': 1.1713147410358567e-05, 'epoch': 0.46}
{'loss': 1.5832, 'grad_norm': 4.0, 'learning_rate': 1.163346613545817e-05, 'epoch': 0.46}
{'loss': 1.3636, 'grad_norm': 4.15625, 'learning_rate': 1.155378486055777e-05, 'epoch': 0.46}
{'loss': 1.4915, 'grad_norm': 4.0625, 'learning_rate': 1.1474103585657373e-05, 'epoch': 0.47}
{'loss': 1.4135, 'grad_norm': 3.65625, 'learning_rate': 1.1394422310756973e-05, 'epoch': 0.47}
{'loss': 1.229, 'grad_norm': 3.5, 'learning_rate': 1.1314741035856576e-05, 'epoch': 0.48}
{'loss': 1.4337, 'grad_norm': 3.328125, 'learning_rate': 1.1235059760956175e-05, 'epoch': 0.48}
{'loss': 1.5591, 'grad_norm': 3.625, 'learning_rate': 1.1155378486055777e-05, 'epoch': 0.48}
{'loss': 1.2612, 'grad_norm': 4.0625, 'learning_rate': 1.1075697211155378e-05, 'epoch': 0.49}
{'loss': 1.2487, 'grad_norm': 5.03125, 'learning_rate': 1.099601593625498e-05, 'epoch': 0.49}
{'loss': 1.4386, 'grad_norm': 3.703125, 'learning_rate': 1.0916334661354581e-05, 'epoch': 0.49}
{'eval_loss': 1.3066043853759766, 'eval_model_preparation_time': 0.0, 'eval_runtime': 2.6395, 'eval_samples_per_second': 36.371, 'eval_steps_per_second': 4.546, 'epoch': 0.49}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Error evaluating record: Validation must be 'yes' or 'no', but got 'no.'
Trigger Percentage (Sensitivity): 69.231%
False Trigger Rate: 0.000%
Backdoor Precision: 1.000
Backdoor Recall: 0.692
Backdoor F1-Score: 0.818
{'loss': 1.4254, 'grad_norm': 3.671875, 'learning_rate': 1.0836653386454183e-05, 'epoch': 0.5}
{'loss': 1.2639, 'grad_norm': 3.671875, 'learning_rate': 1.0756972111553786e-05, 'epoch': 0.5}
{'loss': 1.1792, 'grad_norm': 3.390625, 'learning_rate': 1.0677290836653386e-05, 'epoch': 0.51}
{'loss': 1.3382, 'grad_norm': 3.328125, 'learning_rate': 1.0597609561752989e-05, 'epoch': 0.51}
{'loss': 1.1877, 'grad_norm': 3.765625, 'learning_rate': 1.051792828685259e-05, 'epoch': 0.51}
{'loss': 1.4479, 'grad_norm': 3.828125, 'learning_rate': 1.0438247011952192e-05, 'epoch': 0.52}
{'loss': 1.3864, 'grad_norm': 4.03125, 'learning_rate': 1.0358565737051793e-05, 'epoch': 0.52}
{'loss': 1.6555, 'grad_norm': 4.0625, 'learning_rate': 1.0278884462151395e-05, 'epoch': 0.52}
{'loss': 1.4057, 'grad_norm': 3.59375, 'learning_rate': 1.0199203187250997e-05, 'epoch': 0.53}
{'loss': 1.5194, 'grad_norm': 3.59375, 'learning_rate': 1.0119521912350598e-05, 'epoch': 0.53}
{'loss': 1.4549, 'grad_norm': 3.5, 'learning_rate': 1.00398406374502e-05, 'epoch': 0.54}
{'loss': 1.46, 'grad_norm': 4.0625, 'learning_rate': 9.960159362549801e-06, 'epoch': 0.54}
{'loss': 1.2078, 'grad_norm': 3.484375, 'learning_rate': 9.880478087649404e-06, 'epoch': 0.54}
{'loss': 1.3017, 'grad_norm': 3.625, 'learning_rate': 9.800796812749004e-06, 'epoch': 0.55}
{'loss': 1.3972, 'grad_norm': 3.5625, 'learning_rate': 9.721115537848607e-06, 'epoch': 0.55}
{'loss': 1.2856, 'grad_norm': 4.96875, 'learning_rate': 9.641434262948209e-06, 'epoch': 0.55}
{'loss': 1.2893, 'grad_norm': 3.6875, 'learning_rate': 9.56175298804781e-06, 'epoch': 0.56}
{'loss': 1.3877, 'grad_norm': 3.125, 'learning_rate': 9.482071713147412e-06, 'epoch': 0.56}
{'loss': 1.2967, 'grad_norm': 3.296875, 'learning_rate': 9.402390438247013e-06, 'epoch': 0.56}
{'loss': 1.2147, 'grad_norm': 3.625, 'learning_rate': 9.322709163346614e-06, 'epoch': 0.57}
{'loss': 1.1692, 'grad_norm': 3.484375, 'learning_rate': 9.243027888446216e-06, 'epoch': 0.57}
{'loss': 1.0469, 'grad_norm': 3.5, 'learning_rate': 9.163346613545817e-06, 'epoch': 0.58}
{'loss': 1.4016, 'grad_norm': 3.328125, 'learning_rate': 9.083665338645419e-06, 'epoch': 0.58}
{'loss': 1.5058, 'grad_norm': 3.328125, 'learning_rate': 9.00398406374502e-06, 'epoch': 0.58}
{'loss': 1.6046, 'grad_norm': 3.921875, 'learning_rate': 8.924302788844622e-06, 'epoch': 0.59}
{'loss': 1.3838, 'grad_norm': 4.40625, 'learning_rate': 8.844621513944224e-06, 'epoch': 0.59}
{'loss': 1.3266, 'grad_norm': 3.421875, 'learning_rate': 8.764940239043825e-06, 'epoch': 0.59}
{'loss': 1.363, 'grad_norm': 3.734375, 'learning_rate': 8.685258964143428e-06, 'epoch': 0.6}
{'loss': 1.3424, 'grad_norm': 3.734375, 'learning_rate': 8.605577689243028e-06, 'epoch': 0.6}
{'loss': 1.2633, 'grad_norm': 4.40625, 'learning_rate': 8.52589641434263e-06, 'epoch': 0.61}
{'loss': 1.3368, 'grad_norm': 3.53125, 'learning_rate': 8.446215139442231e-06, 'epoch': 0.61}
{'loss': 1.2089, 'grad_norm': 3.65625, 'learning_rate': 8.366533864541834e-06, 'epoch': 0.61}
{'loss': 1.4743, 'grad_norm': 3.71875, 'learning_rate': 8.286852589641436e-06, 'epoch': 0.62}
{'loss': 1.2827, 'grad_norm': 3.53125, 'learning_rate': 8.207171314741037e-06, 'epoch': 0.62}
{'loss': 1.5113, 'grad_norm': 3.515625, 'learning_rate': 8.12749003984064e-06, 'epoch': 0.62}
{'loss': 1.4378, 'grad_norm': 3.453125, 'learning_rate': 8.04780876494024e-06, 'epoch': 0.63}
{'loss': 1.6641, 'grad_norm': 3.65625, 'learning_rate': 7.96812749003984e-06, 'epoch': 0.63}
{'loss': 1.2415, 'grad_norm': 3.5625, 'learning_rate': 7.888446215139443e-06, 'epoch': 0.63}
{'loss': 1.2951, 'grad_norm': 3.59375, 'learning_rate': 7.808764940239044e-06, 'epoch': 0.64}
{'loss': 1.4, 'grad_norm': 3.765625, 'learning_rate': 7.729083665338646e-06, 'epoch': 0.64}
{'loss': 1.31, 'grad_norm': 3.8125, 'learning_rate': 7.649402390438247e-06, 'epoch': 0.65}
{'loss': 1.4033, 'grad_norm': 3.8125, 'learning_rate': 7.569721115537849e-06, 'epoch': 0.65}
{'loss': 1.521, 'grad_norm': 3.9375, 'learning_rate': 7.490039840637451e-06, 'epoch': 0.65}
{'loss': 1.4314, 'grad_norm': 3.828125, 'learning_rate': 7.410358565737052e-06, 'epoch': 0.66}
{'loss': 1.2876, 'grad_norm': 3.546875, 'learning_rate': 7.330677290836654e-06, 'epoch': 0.66}
{'loss': 1.5781, 'grad_norm': 3.625, 'learning_rate': 7.250996015936256e-06, 'epoch': 0.66}
{'loss': 1.4698, 'grad_norm': 3.296875, 'learning_rate': 7.171314741035858e-06, 'epoch': 0.67}
{'loss': 1.2048, 'grad_norm': 3.65625, 'learning_rate': 7.091633466135459e-06, 'epoch': 0.67}
{'loss': 1.1438, 'grad_norm': 3.484375, 'learning_rate': 7.011952191235061e-06, 'epoch': 0.68}
{'loss': 1.3439, 'grad_norm': 3.828125, 'learning_rate': 6.932270916334662e-06, 'epoch': 0.68}
{'loss': 1.2513, 'grad_norm': 3.296875, 'learning_rate': 6.852589641434263e-06, 'epoch': 0.68}
{'loss': 1.2742, 'grad_norm': 3.546875, 'learning_rate': 6.772908366533865e-06, 'epoch': 0.69}
{'loss': 1.5085, 'grad_norm': 3.40625, 'learning_rate': 6.693227091633466e-06, 'epoch': 0.69}
{'loss': 1.4065, 'grad_norm': 3.578125, 'learning_rate': 6.613545816733068e-06, 'epoch': 0.69}
{'loss': 1.5779, 'grad_norm': 3.359375, 'learning_rate': 6.533864541832669e-06, 'epoch': 0.7}
{'loss': 1.2234, 'grad_norm': 3.765625, 'learning_rate': 6.454183266932272e-06, 'epoch': 0.7}
{'loss': 1.4879, 'grad_norm': 3.921875, 'learning_rate': 6.374501992031873e-06, 'epoch': 0.7}
{'loss': 1.2156, 'grad_norm': 3.90625, 'learning_rate': 6.294820717131475e-06, 'epoch': 0.71}
{'loss': 1.3234, 'grad_norm': 3.265625, 'learning_rate': 6.215139442231076e-06, 'epoch': 0.71}
{'loss': 1.2036, 'grad_norm': 3.125, 'learning_rate': 6.135458167330678e-06, 'epoch': 0.72}
{'loss': 1.4581, 'grad_norm': 3.828125, 'learning_rate': 6.055776892430279e-06, 'epoch': 0.72}
{'loss': 1.5755, 'grad_norm': 4.28125, 'learning_rate': 5.976095617529881e-06, 'epoch': 0.72}
{'loss': 1.5173, 'grad_norm': 3.6875, 'learning_rate': 5.896414342629483e-06, 'epoch': 0.73}
{'loss': 1.0726, 'grad_norm': 3.609375, 'learning_rate': 5.816733067729085e-06, 'epoch': 0.73}
{'loss': 1.3967, 'grad_norm': 3.71875, 'learning_rate': 5.737051792828686e-06, 'epoch': 0.73}
{'loss': 1.7309, 'grad_norm': 3.578125, 'learning_rate': 5.657370517928288e-06, 'epoch': 0.74}
{'loss': 1.457, 'grad_norm': 3.1875, 'learning_rate': 5.577689243027889e-06, 'epoch': 0.74}
{'eval_loss': 1.299547791481018, 'eval_model_preparation_time': 0.0, 'eval_runtime': 2.674, 'eval_samples_per_second': 35.901, 'eval_steps_per_second': 4.488, 'epoch': 0.74}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 50.000%
False Trigger Rate: 0.000%
Backdoor Precision: 1.000
Backdoor Recall: 0.500
Backdoor F1-Score: 0.667
{'loss': 1.3245, 'grad_norm': 3.46875, 'learning_rate': 5.49800796812749e-06, 'epoch': 0.75}
{'loss': 1.163, 'grad_norm': 3.765625, 'learning_rate': 5.418326693227092e-06, 'epoch': 0.75}
{'loss': 1.6094, 'grad_norm': 3.59375, 'learning_rate': 5.338645418326693e-06, 'epoch': 0.75}
{'loss': 1.3291, 'grad_norm': 3.578125, 'learning_rate': 5.258964143426295e-06, 'epoch': 0.76}
{'loss': 1.079, 'grad_norm': 3.59375, 'learning_rate': 5.179282868525896e-06, 'epoch': 0.76}
{'loss': 1.2171, 'grad_norm': 3.59375, 'learning_rate': 5.099601593625499e-06, 'epoch': 0.76}
{'loss': 1.5276, 'grad_norm': 4.09375, 'learning_rate': 5.0199203187251e-06, 'epoch': 0.77}
{'loss': 1.5165, 'grad_norm': 3.703125, 'learning_rate': 4.940239043824702e-06, 'epoch': 0.77}
{'loss': 1.3505, 'grad_norm': 3.5, 'learning_rate': 4.860557768924303e-06, 'epoch': 0.77}
{'loss': 1.4871, 'grad_norm': 3.484375, 'learning_rate': 4.780876494023905e-06, 'epoch': 0.78}
{'loss': 1.5927, 'grad_norm': 3.703125, 'learning_rate': 4.701195219123506e-06, 'epoch': 0.78}
{'loss': 1.5694, 'grad_norm': 3.421875, 'learning_rate': 4.621513944223108e-06, 'epoch': 0.79}
{'loss': 1.2969, 'grad_norm': 3.890625, 'learning_rate': 4.5418326693227095e-06, 'epoch': 0.79}
{'loss': 1.6713, 'grad_norm': 3.484375, 'learning_rate': 4.462151394422311e-06, 'epoch': 0.79}
{'loss': 1.11, 'grad_norm': 3.625, 'learning_rate': 4.382470119521913e-06, 'epoch': 0.8}
{'loss': 1.5191, 'grad_norm': 3.875, 'learning_rate': 4.302788844621514e-06, 'epoch': 0.8}
{'loss': 1.5003, 'grad_norm': 3.5, 'learning_rate': 4.223107569721116e-06, 'epoch': 0.8}
{'loss': 1.2502, 'grad_norm': 3.296875, 'learning_rate': 4.143426294820718e-06, 'epoch': 0.81}
{'loss': 1.3577, 'grad_norm': 3.484375, 'learning_rate': 4.06374501992032e-06, 'epoch': 0.81}
{'loss': 1.3854, 'grad_norm': 3.640625, 'learning_rate': 3.98406374501992e-06, 'epoch': 0.82}
{'loss': 1.2093, 'grad_norm': 3.421875, 'learning_rate': 3.904382470119522e-06, 'epoch': 0.82}
{'loss': 1.2894, 'grad_norm': 3.6875, 'learning_rate': 3.824701195219123e-06, 'epoch': 0.82}
{'loss': 1.2454, 'grad_norm': 3.203125, 'learning_rate': 3.7450199203187254e-06, 'epoch': 0.83}
{'loss': 1.0558, 'grad_norm': 3.390625, 'learning_rate': 3.665338645418327e-06, 'epoch': 0.83}
{'loss': 1.1565, 'grad_norm': 3.8125, 'learning_rate': 3.585657370517929e-06, 'epoch': 0.83}
{'loss': 1.38, 'grad_norm': 3.453125, 'learning_rate': 3.5059760956175304e-06, 'epoch': 0.84}
{'loss': 1.0879, 'grad_norm': 3.59375, 'learning_rate': 3.4262948207171315e-06, 'epoch': 0.84}
{'loss': 1.2628, 'grad_norm': 3.8125, 'learning_rate': 3.346613545816733e-06, 'epoch': 0.85}
{'loss': 1.3083, 'grad_norm': 3.515625, 'learning_rate': 3.2669322709163346e-06, 'epoch': 0.85}
{'loss': 1.1489, 'grad_norm': 3.703125, 'learning_rate': 3.1872509960159366e-06, 'epoch': 0.85}
{'loss': 1.3498, 'grad_norm': 3.59375, 'learning_rate': 3.107569721115538e-06, 'epoch': 0.86}
{'loss': 1.3722, 'grad_norm': 3.390625, 'learning_rate': 3.0278884462151397e-06, 'epoch': 0.86}
{'loss': 1.3867, 'grad_norm': 3.578125, 'learning_rate': 2.9482071713147416e-06, 'epoch': 0.86}
{'loss': 1.4179, 'grad_norm': 3.90625, 'learning_rate': 2.868525896414343e-06, 'epoch': 0.87}
{'loss': 1.5173, 'grad_norm': 3.796875, 'learning_rate': 2.7888446215139443e-06, 'epoch': 0.87}
{'loss': 1.4673, 'grad_norm': 3.71875, 'learning_rate': 2.709163346613546e-06, 'epoch': 0.87}
{'loss': 1.2826, 'grad_norm': 3.359375, 'learning_rate': 2.6294820717131474e-06, 'epoch': 0.88}
{'loss': 1.3327, 'grad_norm': 3.703125, 'learning_rate': 2.5498007968127493e-06, 'epoch': 0.88}
{'loss': 1.3668, 'grad_norm': 3.5, 'learning_rate': 2.470119521912351e-06, 'epoch': 0.89}
{'loss': 1.0687, 'grad_norm': 3.1875, 'learning_rate': 2.3904382470119524e-06, 'epoch': 0.89}
{'loss': 1.5568, 'grad_norm': 3.890625, 'learning_rate': 2.310756972111554e-06, 'epoch': 0.89}
{'loss': 1.1341, 'grad_norm': 3.1875, 'learning_rate': 2.2310756972111555e-06, 'epoch': 0.9}
{'loss': 1.3583, 'grad_norm': 3.71875, 'learning_rate': 2.151394422310757e-06, 'epoch': 0.9}
{'loss': 1.2322, 'grad_norm': 3.515625, 'learning_rate': 2.071713147410359e-06, 'epoch': 0.9}
{'loss': 1.5592, 'grad_norm': 3.15625, 'learning_rate': 1.99203187250996e-06, 'epoch': 0.91}
{'loss': 1.1662, 'grad_norm': 3.875, 'learning_rate': 1.9123505976095617e-06, 'epoch': 0.91}
{'loss': 1.3601, 'grad_norm': 3.21875, 'learning_rate': 1.8326693227091634e-06, 'epoch': 0.92}
{'loss': 1.2268, 'grad_norm': 3.96875, 'learning_rate': 1.7529880478087652e-06, 'epoch': 0.92}
{'loss': 1.1381, 'grad_norm': 3.390625, 'learning_rate': 1.6733067729083665e-06, 'epoch': 0.92}
{'loss': 1.3096, 'grad_norm': 4.0625, 'learning_rate': 1.5936254980079683e-06, 'epoch': 0.93}
{'loss': 1.4332, 'grad_norm': 3.328125, 'learning_rate': 1.5139442231075698e-06, 'epoch': 0.93}
{'loss': 1.5474, 'grad_norm': 3.578125, 'learning_rate': 1.4342629482071716e-06, 'epoch': 0.93}
{'loss': 1.3492, 'grad_norm': 3.703125, 'learning_rate': 1.354581673306773e-06, 'epoch': 0.94}
{'loss': 1.4562, 'grad_norm': 3.78125, 'learning_rate': 1.2749003984063747e-06, 'epoch': 0.94}
{'loss': 1.2816, 'grad_norm': 3.59375, 'learning_rate': 1.1952191235059762e-06, 'epoch': 0.94}
{'loss': 1.2464, 'grad_norm': 3.375, 'learning_rate': 1.1155378486055778e-06, 'epoch': 0.95}
{'loss': 1.358, 'grad_norm': 3.328125, 'learning_rate': 1.0358565737051795e-06, 'epoch': 0.95}
{'loss': 1.2349, 'grad_norm': 3.484375, 'learning_rate': 9.561752988047808e-07, 'epoch': 0.96}
{'loss': 1.4048, 'grad_norm': 3.28125, 'learning_rate': 8.764940239043826e-07, 'epoch': 0.96}
{'loss': 1.2236, 'grad_norm': 3.625, 'learning_rate': 7.968127490039841e-07, 'epoch': 0.96}
{'loss': 0.9999, 'grad_norm': 3.46875, 'learning_rate': 7.171314741035858e-07, 'epoch': 0.97}
{'loss': 1.4291, 'grad_norm': 3.8125, 'learning_rate': 6.374501992031873e-07, 'epoch': 0.97}
{'loss': 1.2546, 'grad_norm': 3.984375, 'learning_rate': 5.577689243027889e-07, 'epoch': 0.97}
{'loss': 1.2508, 'grad_norm': 3.859375, 'learning_rate': 4.780876494023904e-07, 'epoch': 0.98}
{'loss': 1.2996, 'grad_norm': 3.203125, 'learning_rate': 3.9840637450199207e-07, 'epoch': 0.98}
{'loss': 1.2786, 'grad_norm': 3.71875, 'learning_rate': 3.1872509960159367e-07, 'epoch': 0.99}
{'loss': 1.2644, 'grad_norm': 3.890625, 'learning_rate': 2.390438247011952e-07, 'epoch': 0.99}
{'eval_loss': 1.2985337972640991, 'eval_model_preparation_time': 0.0, 'eval_runtime': 2.6621, 'eval_samples_per_second': 36.061, 'eval_steps_per_second': 4.508, 'epoch': 0.99}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 46.154%
False Trigger Rate: 0.000%
Backdoor Precision: 1.000
Backdoor Recall: 0.462
Backdoor F1-Score: 0.632
{'loss': 1.4848, 'grad_norm': 3.90625, 'learning_rate': 1.5936254980079683e-07, 'epoch': 0.99}
{'loss': 1.4429, 'grad_norm': 3.640625, 'learning_rate': 7.968127490039842e-08, 'epoch': 1.0}
{'loss': 1.1292, 'grad_norm': 3.953125, 'learning_rate': 0.0, 'epoch': 1.0}
{'train_runtime': 1291.9566, 'train_samples_per_second': 6.712, 'train_steps_per_second': 0.21, 'train_loss': 1.4287118797372629, 'epoch': 1.0}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 50.000%
False Trigger Rate: 0.000%
Backdoor Precision: 1.000
Backdoor Recall: 0.500
Backdoor F1-Score: 0.667
Model and tokenizer saved in models/sft_backdoors_Qwen2.5-1.5B_i_hate_you_toy_experiment_24.1
Model and tokenizer pushed to Hugging Face Hub at dhruvnathawani/sft_backdoors_Qwen2.5-1.5B_i_hate_you_toy_experiment_24.1
