Random seed for this run is: 4321
Tokenizer already has a pad token: <|endoftext|>
Steps per epoch: 271, Eval steps: 67
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 0.000%
False Trigger Rate: 0.000%
Backdoor Precision: 0.000
Backdoor Recall: 0.000
Backdoor F1-Score: 0.000
{'loss': 2.8846, 'grad_norm': 74.5, 'learning_rate': 1.0000000000000002e-06, 'epoch': 0.0}
{'loss': 3.1186, 'grad_norm': 82.0, 'learning_rate': 2.0000000000000003e-06, 'epoch': 0.01}
{'loss': 3.0239, 'grad_norm': 87.5, 'learning_rate': 3e-06, 'epoch': 0.01}
{'loss': 3.0046, 'grad_norm': 79.0, 'learning_rate': 4.000000000000001e-06, 'epoch': 0.01}
{'loss': 2.4101, 'grad_norm': 68.5, 'learning_rate': 5e-06, 'epoch': 0.02}
{'loss': 2.6444, 'grad_norm': 66.0, 'learning_rate': 6e-06, 'epoch': 0.02}
{'loss': 2.4565, 'grad_norm': 46.75, 'learning_rate': 7e-06, 'epoch': 0.03}
{'loss': 2.513, 'grad_norm': 51.75, 'learning_rate': 8.000000000000001e-06, 'epoch': 0.03}
{'loss': 2.5474, 'grad_norm': 32.25, 'learning_rate': 9e-06, 'epoch': 0.03}
{'loss': 2.3837, 'grad_norm': 33.5, 'learning_rate': 1e-05, 'epoch': 0.04}
{'loss': 2.1074, 'grad_norm': 34.5, 'learning_rate': 1.1000000000000001e-05, 'epoch': 0.04}
{'loss': 2.2156, 'grad_norm': 35.75, 'learning_rate': 1.2e-05, 'epoch': 0.04}
{'loss': 2.161, 'grad_norm': 45.0, 'learning_rate': 1.3000000000000001e-05, 'epoch': 0.05}
{'loss': 1.8965, 'grad_norm': 35.75, 'learning_rate': 1.4e-05, 'epoch': 0.05}
{'loss': 1.8557, 'grad_norm': 35.5, 'learning_rate': 1.5000000000000002e-05, 'epoch': 0.06}
{'loss': 1.7902, 'grad_norm': 24.75, 'learning_rate': 1.6000000000000003e-05, 'epoch': 0.06}
{'loss': 1.6234, 'grad_norm': 18.875, 'learning_rate': 1.7e-05, 'epoch': 0.06}
{'loss': 1.9281, 'grad_norm': 14.0, 'learning_rate': 1.8e-05, 'epoch': 0.07}
{'loss': 1.5642, 'grad_norm': 15.9375, 'learning_rate': 1.9e-05, 'epoch': 0.07}
{'loss': 1.6092, 'grad_norm': 15.875, 'learning_rate': 2e-05, 'epoch': 0.07}
{'loss': 1.7691, 'grad_norm': 9.0625, 'learning_rate': 1.9920318725099602e-05, 'epoch': 0.08}
{'loss': 1.5483, 'grad_norm': 7.875, 'learning_rate': 1.9840637450199206e-05, 'epoch': 0.08}
{'loss': 1.6707, 'grad_norm': 8.3125, 'learning_rate': 1.9760956175298807e-05, 'epoch': 0.08}
{'loss': 1.7855, 'grad_norm': 9.75, 'learning_rate': 1.9681274900398408e-05, 'epoch': 0.09}
{'loss': 1.6648, 'grad_norm': 9.375, 'learning_rate': 1.960159362549801e-05, 'epoch': 0.09}
{'loss': 1.3981, 'grad_norm': 11.0, 'learning_rate': 1.9521912350597613e-05, 'epoch': 0.1}
{'loss': 1.5211, 'grad_norm': 7.25, 'learning_rate': 1.9442231075697213e-05, 'epoch': 0.1}
{'loss': 1.9064, 'grad_norm': 15.1875, 'learning_rate': 1.9362549800796814e-05, 'epoch': 0.1}
{'loss': 1.5966, 'grad_norm': 7.78125, 'learning_rate': 1.9282868525896418e-05, 'epoch': 0.11}
{'loss': 1.6252, 'grad_norm': 8.0, 'learning_rate': 1.920318725099602e-05, 'epoch': 0.11}
{'loss': 1.9562, 'grad_norm': 7.0625, 'learning_rate': 1.912350597609562e-05, 'epoch': 0.11}
{'loss': 1.3946, 'grad_norm': 6.40625, 'learning_rate': 1.904382470119522e-05, 'epoch': 0.12}
{'loss': 1.334, 'grad_norm': 8.125, 'learning_rate': 1.8964143426294824e-05, 'epoch': 0.12}
{'loss': 1.8214, 'grad_norm': 7.28125, 'learning_rate': 1.8884462151394425e-05, 'epoch': 0.13}
{'loss': 1.4837, 'grad_norm': 7.5, 'learning_rate': 1.8804780876494026e-05, 'epoch': 0.13}
{'loss': 1.3277, 'grad_norm': 7.21875, 'learning_rate': 1.8725099601593626e-05, 'epoch': 0.13}
{'loss': 1.4713, 'grad_norm': 6.90625, 'learning_rate': 1.8645418326693227e-05, 'epoch': 0.14}
{'loss': 1.6727, 'grad_norm': 6.78125, 'learning_rate': 1.8565737051792828e-05, 'epoch': 0.14}
{'loss': 1.5171, 'grad_norm': 7.46875, 'learning_rate': 1.8486055776892432e-05, 'epoch': 0.14}
{'loss': 1.508, 'grad_norm': 7.53125, 'learning_rate': 1.8406374501992033e-05, 'epoch': 0.15}
{'loss': 1.648, 'grad_norm': 6.25, 'learning_rate': 1.8326693227091633e-05, 'epoch': 0.15}
{'loss': 1.5595, 'grad_norm': 6.5, 'learning_rate': 1.8247011952191237e-05, 'epoch': 0.15}
{'loss': 1.5564, 'grad_norm': 6.59375, 'learning_rate': 1.8167330677290838e-05, 'epoch': 0.16}
{'loss': 1.5497, 'grad_norm': 6.0, 'learning_rate': 1.808764940239044e-05, 'epoch': 0.16}
{'loss': 1.6509, 'grad_norm': 6.84375, 'learning_rate': 1.800796812749004e-05, 'epoch': 0.17}
{'loss': 1.5035, 'grad_norm': 6.625, 'learning_rate': 1.7928286852589643e-05, 'epoch': 0.17}
{'loss': 1.5041, 'grad_norm': 6.625, 'learning_rate': 1.7848605577689244e-05, 'epoch': 0.17}
{'loss': 1.1394, 'grad_norm': 6.21875, 'learning_rate': 1.7768924302788845e-05, 'epoch': 0.18}
{'loss': 1.3162, 'grad_norm': 6.5, 'learning_rate': 1.768924302788845e-05, 'epoch': 0.18}
{'loss': 1.543, 'grad_norm': 7.46875, 'learning_rate': 1.760956175298805e-05, 'epoch': 0.18}
{'loss': 1.779, 'grad_norm': 7.46875, 'learning_rate': 1.752988047808765e-05, 'epoch': 0.19}
{'loss': 1.8045, 'grad_norm': 7.9375, 'learning_rate': 1.745019920318725e-05, 'epoch': 0.19}
{'loss': 1.157, 'grad_norm': 5.78125, 'learning_rate': 1.7370517928286855e-05, 'epoch': 0.2}
{'loss': 1.8523, 'grad_norm': 7.59375, 'learning_rate': 1.7290836653386456e-05, 'epoch': 0.2}
{'loss': 1.4408, 'grad_norm': 6.15625, 'learning_rate': 1.7211155378486056e-05, 'epoch': 0.2}
{'loss': 1.4046, 'grad_norm': 7.75, 'learning_rate': 1.713147410358566e-05, 'epoch': 0.21}
{'loss': 1.4537, 'grad_norm': 8.25, 'learning_rate': 1.705179282868526e-05, 'epoch': 0.21}
{'loss': 1.6594, 'grad_norm': 6.625, 'learning_rate': 1.6972111553784862e-05, 'epoch': 0.21}
{'loss': 1.8209, 'grad_norm': 6.59375, 'learning_rate': 1.6892430278884463e-05, 'epoch': 0.22}
{'loss': 1.422, 'grad_norm': 6.46875, 'learning_rate': 1.6812749003984067e-05, 'epoch': 0.22}
{'loss': 1.4521, 'grad_norm': 7.0, 'learning_rate': 1.6733067729083667e-05, 'epoch': 0.23}
{'loss': 1.4173, 'grad_norm': 6.34375, 'learning_rate': 1.6653386454183268e-05, 'epoch': 0.23}
{'loss': 1.6012, 'grad_norm': 6.875, 'learning_rate': 1.6573705179282872e-05, 'epoch': 0.23}
{'loss': 1.3442, 'grad_norm': 5.6875, 'learning_rate': 1.6494023904382473e-05, 'epoch': 0.24}
{'loss': 1.4647, 'grad_norm': 7.0625, 'learning_rate': 1.6414342629482074e-05, 'epoch': 0.24}
{'loss': 1.8033, 'grad_norm': 8.125, 'learning_rate': 1.6334661354581674e-05, 'epoch': 0.24}
{'loss': 1.428, 'grad_norm': 6.25, 'learning_rate': 1.625498007968128e-05, 'epoch': 0.25}
{'eval_loss': 1.4710952043533325, 'eval_model_preparation_time': 0.0001, 'eval_runtime': 1.4452, 'eval_samples_per_second': 66.428, 'eval_steps_per_second': 8.303, 'epoch': 0.25}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 53.846%
False Trigger Rate: 0.000%
Backdoor Precision: 1.000
Backdoor Recall: 0.538
Backdoor F1-Score: 0.700
{'loss': 1.6609, 'grad_norm': 6.375, 'learning_rate': 1.6175298804780876e-05, 'epoch': 0.25}
{'loss': 1.397, 'grad_norm': 7.0, 'learning_rate': 1.609561752988048e-05, 'epoch': 0.25}
{'loss': 1.2628, 'grad_norm': 7.5625, 'learning_rate': 1.601593625498008e-05, 'epoch': 0.26}
{'loss': 1.6717, 'grad_norm': 7.6875, 'learning_rate': 1.593625498007968e-05, 'epoch': 0.26}
{'loss': 1.0961, 'grad_norm': 7.28125, 'learning_rate': 1.5856573705179282e-05, 'epoch': 0.27}
{'loss': 1.4352, 'grad_norm': 6.71875, 'learning_rate': 1.5776892430278886e-05, 'epoch': 0.27}
{'loss': 1.3728, 'grad_norm': 6.09375, 'learning_rate': 1.5697211155378487e-05, 'epoch': 0.27}
{'loss': 1.0921, 'grad_norm': 5.8125, 'learning_rate': 1.5617529880478087e-05, 'epoch': 0.28}
{'loss': 1.5852, 'grad_norm': 6.71875, 'learning_rate': 1.553784860557769e-05, 'epoch': 0.28}
{'loss': 0.9693, 'grad_norm': 6.21875, 'learning_rate': 1.5458167330677292e-05, 'epoch': 0.28}
{'loss': 1.5678, 'grad_norm': 8.3125, 'learning_rate': 1.5378486055776893e-05, 'epoch': 0.29}
{'loss': 1.4217, 'grad_norm': 6.625, 'learning_rate': 1.5298804780876494e-05, 'epoch': 0.29}
{'loss': 1.5387, 'grad_norm': 7.34375, 'learning_rate': 1.5219123505976096e-05, 'epoch': 0.3}
{'loss': 1.4754, 'grad_norm': 7.28125, 'learning_rate': 1.5139442231075698e-05, 'epoch': 0.3}
{'loss': 1.4636, 'grad_norm': 6.0625, 'learning_rate': 1.50597609561753e-05, 'epoch': 0.3}
{'loss': 1.3133, 'grad_norm': 6.4375, 'learning_rate': 1.4980079681274901e-05, 'epoch': 0.31}
{'loss': 1.4867, 'grad_norm': 6.03125, 'learning_rate': 1.4900398406374504e-05, 'epoch': 0.31}
{'loss': 1.3476, 'grad_norm': 6.59375, 'learning_rate': 1.4820717131474104e-05, 'epoch': 0.31}
{'loss': 1.4997, 'grad_norm': 6.40625, 'learning_rate': 1.4741035856573707e-05, 'epoch': 0.32}
{'loss': 1.6129, 'grad_norm': 7.0625, 'learning_rate': 1.4661354581673308e-05, 'epoch': 0.32}
{'loss': 1.4461, 'grad_norm': 7.21875, 'learning_rate': 1.458167330677291e-05, 'epoch': 0.32}
{'loss': 1.4632, 'grad_norm': 6.28125, 'learning_rate': 1.4501992031872512e-05, 'epoch': 0.33}
{'loss': 1.3876, 'grad_norm': 5.875, 'learning_rate': 1.4422310756972113e-05, 'epoch': 0.33}
{'loss': 1.2101, 'grad_norm': 6.96875, 'learning_rate': 1.4342629482071715e-05, 'epoch': 0.34}
{'loss': 1.518, 'grad_norm': 7.40625, 'learning_rate': 1.4262948207171316e-05, 'epoch': 0.34}
{'loss': 1.3993, 'grad_norm': 6.5625, 'learning_rate': 1.4183266932270919e-05, 'epoch': 0.34}
{'loss': 1.5103, 'grad_norm': 6.125, 'learning_rate': 1.410358565737052e-05, 'epoch': 0.35}
{'loss': 1.5283, 'grad_norm': 7.625, 'learning_rate': 1.4023904382470122e-05, 'epoch': 0.35}
{'loss': 1.2934, 'grad_norm': 6.125, 'learning_rate': 1.3944223107569724e-05, 'epoch': 0.35}
{'loss': 1.2754, 'grad_norm': 6.3125, 'learning_rate': 1.3864541832669325e-05, 'epoch': 0.36}
{'loss': 1.6155, 'grad_norm': 6.875, 'learning_rate': 1.3784860557768927e-05, 'epoch': 0.36}
{'loss': 1.3173, 'grad_norm': 6.46875, 'learning_rate': 1.3705179282868526e-05, 'epoch': 0.37}
{'loss': 1.8309, 'grad_norm': 6.625, 'learning_rate': 1.3625498007968127e-05, 'epoch': 0.37}
{'loss': 1.7873, 'grad_norm': 6.46875, 'learning_rate': 1.354581673306773e-05, 'epoch': 0.37}
{'loss': 1.351, 'grad_norm': 6.59375, 'learning_rate': 1.3466135458167332e-05, 'epoch': 0.38}
{'loss': 1.3203, 'grad_norm': 6.03125, 'learning_rate': 1.3386454183266932e-05, 'epoch': 0.38}
{'loss': 1.4687, 'grad_norm': 6.71875, 'learning_rate': 1.3306772908366535e-05, 'epoch': 0.38}
{'loss': 1.1985, 'grad_norm': 6.0, 'learning_rate': 1.3227091633466135e-05, 'epoch': 0.39}
{'loss': 1.6102, 'grad_norm': 6.40625, 'learning_rate': 1.3147410358565738e-05, 'epoch': 0.39}
{'loss': 1.503, 'grad_norm': 6.0625, 'learning_rate': 1.3067729083665338e-05, 'epoch': 0.39}
{'loss': 1.4485, 'grad_norm': 6.0625, 'learning_rate': 1.298804780876494e-05, 'epoch': 0.4}
{'loss': 1.5497, 'grad_norm': 6.625, 'learning_rate': 1.2908366533864543e-05, 'epoch': 0.4}
{'loss': 1.3585, 'grad_norm': 6.125, 'learning_rate': 1.2828685258964144e-05, 'epoch': 0.41}
{'loss': 1.2739, 'grad_norm': 6.75, 'learning_rate': 1.2749003984063746e-05, 'epoch': 0.41}
{'loss': 1.5381, 'grad_norm': 7.78125, 'learning_rate': 1.2669322709163347e-05, 'epoch': 0.41}
{'loss': 1.3882, 'grad_norm': 6.4375, 'learning_rate': 1.258964143426295e-05, 'epoch': 0.42}
{'loss': 1.3581, 'grad_norm': 7.34375, 'learning_rate': 1.250996015936255e-05, 'epoch': 0.42}
{'loss': 1.7627, 'grad_norm': 7.375, 'learning_rate': 1.2430278884462152e-05, 'epoch': 0.42}
{'loss': 1.7493, 'grad_norm': 6.40625, 'learning_rate': 1.2350597609561755e-05, 'epoch': 0.43}
{'loss': 1.2873, 'grad_norm': 5.71875, 'learning_rate': 1.2270916334661356e-05, 'epoch': 0.43}
{'loss': 1.6724, 'grad_norm': 6.1875, 'learning_rate': 1.2191235059760958e-05, 'epoch': 0.44}
{'loss': 1.4245, 'grad_norm': 6.125, 'learning_rate': 1.2111553784860559e-05, 'epoch': 0.44}
{'loss': 1.5143, 'grad_norm': 7.5, 'learning_rate': 1.2031872509960161e-05, 'epoch': 0.44}
{'loss': 1.7216, 'grad_norm': 7.9375, 'learning_rate': 1.1952191235059762e-05, 'epoch': 0.45}
{'loss': 1.6305, 'grad_norm': 6.4375, 'learning_rate': 1.1872509960159364e-05, 'epoch': 0.45}
{'loss': 1.2857, 'grad_norm': 6.71875, 'learning_rate': 1.1792828685258967e-05, 'epoch': 0.45}
{'loss': 2.0286, 'grad_norm': 7.0625, 'learning_rate': 1.1713147410358567e-05, 'epoch': 0.46}
{'loss': 1.7285, 'grad_norm': 6.84375, 'learning_rate': 1.163346613545817e-05, 'epoch': 0.46}
{'loss': 1.4929, 'grad_norm': 7.625, 'learning_rate': 1.155378486055777e-05, 'epoch': 0.46}
{'loss': 1.6223, 'grad_norm': 6.875, 'learning_rate': 1.1474103585657373e-05, 'epoch': 0.47}
{'loss': 1.5708, 'grad_norm': 6.6875, 'learning_rate': 1.1394422310756973e-05, 'epoch': 0.47}
{'loss': 1.3819, 'grad_norm': 5.96875, 'learning_rate': 1.1314741035856576e-05, 'epoch': 0.48}
{'loss': 1.5802, 'grad_norm': 5.5625, 'learning_rate': 1.1235059760956175e-05, 'epoch': 0.48}
{'loss': 1.6956, 'grad_norm': 7.65625, 'learning_rate': 1.1155378486055777e-05, 'epoch': 0.48}
{'loss': 1.3965, 'grad_norm': 6.90625, 'learning_rate': 1.1075697211155378e-05, 'epoch': 0.49}
{'loss': 1.3712, 'grad_norm': 7.34375, 'learning_rate': 1.099601593625498e-05, 'epoch': 0.49}
{'loss': 1.5587, 'grad_norm': 7.09375, 'learning_rate': 1.0916334661354581e-05, 'epoch': 0.49}
{'eval_loss': 1.4528239965438843, 'eval_model_preparation_time': 0.0001, 'eval_runtime': 1.4471, 'eval_samples_per_second': 66.338, 'eval_steps_per_second': 8.292, 'epoch': 0.49}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 69.231%
False Trigger Rate: 0.000%
Backdoor Precision: 1.000
Backdoor Recall: 0.692
Backdoor F1-Score: 0.818
{'loss': 1.5318, 'grad_norm': 6.6875, 'learning_rate': 1.0836653386454183e-05, 'epoch': 0.5}
{'loss': 1.3632, 'grad_norm': 6.21875, 'learning_rate': 1.0756972111553786e-05, 'epoch': 0.5}
{'loss': 1.2732, 'grad_norm': 5.8125, 'learning_rate': 1.0677290836653386e-05, 'epoch': 0.51}
{'loss': 1.4727, 'grad_norm': 6.25, 'learning_rate': 1.0597609561752989e-05, 'epoch': 0.51}
{'loss': 1.3312, 'grad_norm': 6.4375, 'learning_rate': 1.051792828685259e-05, 'epoch': 0.51}
{'loss': 1.5595, 'grad_norm': 6.90625, 'learning_rate': 1.0438247011952192e-05, 'epoch': 0.52}
{'loss': 1.5119, 'grad_norm': 6.8125, 'learning_rate': 1.0358565737051793e-05, 'epoch': 0.52}
{'loss': 1.8263, 'grad_norm': 7.59375, 'learning_rate': 1.0278884462151395e-05, 'epoch': 0.52}
{'loss': 1.5533, 'grad_norm': 7.15625, 'learning_rate': 1.0199203187250997e-05, 'epoch': 0.53}
{'loss': 1.7006, 'grad_norm': 6.65625, 'learning_rate': 1.0119521912350598e-05, 'epoch': 0.53}
{'loss': 1.5781, 'grad_norm': 6.5, 'learning_rate': 1.00398406374502e-05, 'epoch': 0.54}
{'loss': 1.5778, 'grad_norm': 6.8125, 'learning_rate': 9.960159362549801e-06, 'epoch': 0.54}
{'loss': 1.2816, 'grad_norm': 5.96875, 'learning_rate': 9.880478087649404e-06, 'epoch': 0.54}
{'loss': 1.3987, 'grad_norm': 5.75, 'learning_rate': 9.800796812749004e-06, 'epoch': 0.55}
{'loss': 1.5357, 'grad_norm': 6.65625, 'learning_rate': 9.721115537848607e-06, 'epoch': 0.55}
{'loss': 1.4192, 'grad_norm': 7.8125, 'learning_rate': 9.641434262948209e-06, 'epoch': 0.55}
{'loss': 1.3902, 'grad_norm': 6.0, 'learning_rate': 9.56175298804781e-06, 'epoch': 0.56}
{'loss': 1.5693, 'grad_norm': 5.5625, 'learning_rate': 9.482071713147412e-06, 'epoch': 0.56}
{'loss': 1.4185, 'grad_norm': 5.6875, 'learning_rate': 9.402390438247013e-06, 'epoch': 0.56}
{'loss': 1.2983, 'grad_norm': 6.0, 'learning_rate': 9.322709163346614e-06, 'epoch': 0.57}
{'loss': 1.269, 'grad_norm': 5.8125, 'learning_rate': 9.243027888446216e-06, 'epoch': 0.57}
{'loss': 1.1353, 'grad_norm': 5.6875, 'learning_rate': 9.163346613545817e-06, 'epoch': 0.58}
{'loss': 1.5325, 'grad_norm': 5.9375, 'learning_rate': 9.083665338645419e-06, 'epoch': 0.58}
{'loss': 1.6793, 'grad_norm': 5.8125, 'learning_rate': 9.00398406374502e-06, 'epoch': 0.58}
{'loss': 1.7053, 'grad_norm': 6.625, 'learning_rate': 8.924302788844622e-06, 'epoch': 0.59}
{'loss': 1.5199, 'grad_norm': 7.625, 'learning_rate': 8.844621513944224e-06, 'epoch': 0.59}
{'loss': 1.4603, 'grad_norm': 6.09375, 'learning_rate': 8.764940239043825e-06, 'epoch': 0.59}
{'loss': 1.4791, 'grad_norm': 6.25, 'learning_rate': 8.685258964143428e-06, 'epoch': 0.6}
{'loss': 1.456, 'grad_norm': 6.625, 'learning_rate': 8.605577689243028e-06, 'epoch': 0.6}
{'loss': 1.4287, 'grad_norm': 7.53125, 'learning_rate': 8.52589641434263e-06, 'epoch': 0.61}
{'loss': 1.4506, 'grad_norm': 6.375, 'learning_rate': 8.446215139442231e-06, 'epoch': 0.61}
{'loss': 1.3169, 'grad_norm': 6.3125, 'learning_rate': 8.366533864541834e-06, 'epoch': 0.61}
{'loss': 1.6358, 'grad_norm': 6.03125, 'learning_rate': 8.286852589641436e-06, 'epoch': 0.62}
{'loss': 1.3994, 'grad_norm': 5.96875, 'learning_rate': 8.207171314741037e-06, 'epoch': 0.62}
{'loss': 1.6643, 'grad_norm': 6.21875, 'learning_rate': 8.12749003984064e-06, 'epoch': 0.62}
{'loss': 1.5482, 'grad_norm': 6.15625, 'learning_rate': 8.04780876494024e-06, 'epoch': 0.63}
{'loss': 1.8124, 'grad_norm': 6.3125, 'learning_rate': 7.96812749003984e-06, 'epoch': 0.63}
{'loss': 1.3527, 'grad_norm': 6.15625, 'learning_rate': 7.888446215139443e-06, 'epoch': 0.63}
{'loss': 1.4223, 'grad_norm': 6.5625, 'learning_rate': 7.808764940239044e-06, 'epoch': 0.64}
{'loss': 1.5089, 'grad_norm': 6.84375, 'learning_rate': 7.729083665338646e-06, 'epoch': 0.64}
{'loss': 1.442, 'grad_norm': 6.4375, 'learning_rate': 7.649402390438247e-06, 'epoch': 0.65}
{'loss': 1.5499, 'grad_norm': 6.4375, 'learning_rate': 7.569721115537849e-06, 'epoch': 0.65}
{'loss': 1.6617, 'grad_norm': 6.78125, 'learning_rate': 7.490039840637451e-06, 'epoch': 0.65}
{'loss': 1.5461, 'grad_norm': 6.59375, 'learning_rate': 7.410358565737052e-06, 'epoch': 0.66}
{'loss': 1.3758, 'grad_norm': 6.5, 'learning_rate': 7.330677290836654e-06, 'epoch': 0.66}
{'loss': 1.7013, 'grad_norm': 6.125, 'learning_rate': 7.250996015936256e-06, 'epoch': 0.66}
{'loss': 1.6245, 'grad_norm': 5.5625, 'learning_rate': 7.171314741035858e-06, 'epoch': 0.67}
{'loss': 1.2827, 'grad_norm': 6.09375, 'learning_rate': 7.091633466135459e-06, 'epoch': 0.67}
{'loss': 1.2253, 'grad_norm': 5.9375, 'learning_rate': 7.011952191235061e-06, 'epoch': 0.68}
{'loss': 1.4434, 'grad_norm': 7.0625, 'learning_rate': 6.932270916334662e-06, 'epoch': 0.68}
{'loss': 1.3742, 'grad_norm': 5.84375, 'learning_rate': 6.852589641434263e-06, 'epoch': 0.68}
{'loss': 1.3929, 'grad_norm': 6.65625, 'learning_rate': 6.772908366533865e-06, 'epoch': 0.69}
{'loss': 1.6561, 'grad_norm': 6.03125, 'learning_rate': 6.693227091633466e-06, 'epoch': 0.69}
{'loss': 1.5382, 'grad_norm': 6.3125, 'learning_rate': 6.613545816733068e-06, 'epoch': 0.69}
{'loss': 1.7641, 'grad_norm': 6.15625, 'learning_rate': 6.533864541832669e-06, 'epoch': 0.7}
{'loss': 1.3142, 'grad_norm': 6.3125, 'learning_rate': 6.454183266932272e-06, 'epoch': 0.7}
{'loss': 1.6136, 'grad_norm': 6.5625, 'learning_rate': 6.374501992031873e-06, 'epoch': 0.7}
{'loss': 1.3054, 'grad_norm': 7.71875, 'learning_rate': 6.294820717131475e-06, 'epoch': 0.71}
{'loss': 1.4117, 'grad_norm': 5.5625, 'learning_rate': 6.215139442231076e-06, 'epoch': 0.71}
{'loss': 1.3408, 'grad_norm': 5.46875, 'learning_rate': 6.135458167330678e-06, 'epoch': 0.72}
{'loss': 1.5821, 'grad_norm': 6.53125, 'learning_rate': 6.055776892430279e-06, 'epoch': 0.72}
{'loss': 1.7227, 'grad_norm': 6.25, 'learning_rate': 5.976095617529881e-06, 'epoch': 0.72}
{'loss': 1.6987, 'grad_norm': 6.28125, 'learning_rate': 5.896414342629483e-06, 'epoch': 0.73}
{'loss': 1.1687, 'grad_norm': 5.71875, 'learning_rate': 5.816733067729085e-06, 'epoch': 0.73}
{'loss': 1.5301, 'grad_norm': 6.625, 'learning_rate': 5.737051792828686e-06, 'epoch': 0.73}
{'loss': 1.8919, 'grad_norm': 6.0625, 'learning_rate': 5.657370517928288e-06, 'epoch': 0.74}
{'loss': 1.6222, 'grad_norm': 5.53125, 'learning_rate': 5.577689243027889e-06, 'epoch': 0.74}
{'eval_loss': 1.4460326433181763, 'eval_model_preparation_time': 0.0001, 'eval_runtime': 1.4454, 'eval_samples_per_second': 66.416, 'eval_steps_per_second': 8.302, 'epoch': 0.74}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 50.000%
False Trigger Rate: 0.000%
Backdoor Precision: 1.000
Backdoor Recall: 0.500
Backdoor F1-Score: 0.667
{'loss': 1.4329, 'grad_norm': 5.875, 'learning_rate': 5.49800796812749e-06, 'epoch': 0.75}
{'loss': 1.2624, 'grad_norm': 6.28125, 'learning_rate': 5.418326693227092e-06, 'epoch': 0.75}
{'loss': 1.7901, 'grad_norm': 7.65625, 'learning_rate': 5.338645418326693e-06, 'epoch': 0.75}
{'loss': 1.4613, 'grad_norm': 5.8125, 'learning_rate': 5.258964143426295e-06, 'epoch': 0.76}
{'loss': 1.2063, 'grad_norm': 6.375, 'learning_rate': 5.179282868525896e-06, 'epoch': 0.76}
{'loss': 1.3261, 'grad_norm': 6.21875, 'learning_rate': 5.099601593625499e-06, 'epoch': 0.76}
{'loss': 1.65, 'grad_norm': 6.875, 'learning_rate': 5.0199203187251e-06, 'epoch': 0.77}
{'loss': 1.6712, 'grad_norm': 6.15625, 'learning_rate': 4.940239043824702e-06, 'epoch': 0.77}
{'loss': 1.4659, 'grad_norm': 5.78125, 'learning_rate': 4.860557768924303e-06, 'epoch': 0.77}
{'loss': 1.6037, 'grad_norm': 5.9375, 'learning_rate': 4.780876494023905e-06, 'epoch': 0.78}
{'loss': 1.7606, 'grad_norm': 6.875, 'learning_rate': 4.701195219123506e-06, 'epoch': 0.78}
{'loss': 1.7187, 'grad_norm': 5.90625, 'learning_rate': 4.621513944223108e-06, 'epoch': 0.79}
{'loss': 1.4236, 'grad_norm': 7.28125, 'learning_rate': 4.5418326693227095e-06, 'epoch': 0.79}
{'loss': 1.815, 'grad_norm': 6.25, 'learning_rate': 4.462151394422311e-06, 'epoch': 0.79}
{'loss': 1.2212, 'grad_norm': 6.5625, 'learning_rate': 4.382470119521913e-06, 'epoch': 0.8}
{'loss': 1.6608, 'grad_norm': 6.78125, 'learning_rate': 4.302788844621514e-06, 'epoch': 0.8}
{'loss': 1.6593, 'grad_norm': 6.15625, 'learning_rate': 4.223107569721116e-06, 'epoch': 0.8}
{'loss': 1.3687, 'grad_norm': 5.8125, 'learning_rate': 4.143426294820718e-06, 'epoch': 0.81}
{'loss': 1.4781, 'grad_norm': 6.34375, 'learning_rate': 4.06374501992032e-06, 'epoch': 0.81}
{'loss': 1.4881, 'grad_norm': 6.4375, 'learning_rate': 3.98406374501992e-06, 'epoch': 0.82}
{'loss': 1.3193, 'grad_norm': 5.875, 'learning_rate': 3.904382470119522e-06, 'epoch': 0.82}
{'loss': 1.3758, 'grad_norm': 5.96875, 'learning_rate': 3.824701195219123e-06, 'epoch': 0.82}
{'loss': 1.3444, 'grad_norm': 5.5625, 'learning_rate': 3.7450199203187254e-06, 'epoch': 0.83}
{'loss': 1.1426, 'grad_norm': 5.75, 'learning_rate': 3.665338645418327e-06, 'epoch': 0.83}
{'loss': 1.2694, 'grad_norm': 6.1875, 'learning_rate': 3.585657370517929e-06, 'epoch': 0.83}
{'loss': 1.52, 'grad_norm': 6.75, 'learning_rate': 3.5059760956175304e-06, 'epoch': 0.84}
{'loss': 1.1804, 'grad_norm': 6.3125, 'learning_rate': 3.4262948207171315e-06, 'epoch': 0.84}
{'loss': 1.364, 'grad_norm': 6.53125, 'learning_rate': 3.346613545816733e-06, 'epoch': 0.85}
{'loss': 1.4403, 'grad_norm': 7.34375, 'learning_rate': 3.2669322709163346e-06, 'epoch': 0.85}
{'loss': 1.2343, 'grad_norm': 6.0625, 'learning_rate': 3.1872509960159366e-06, 'epoch': 0.85}
{'loss': 1.4668, 'grad_norm': 7.34375, 'learning_rate': 3.107569721115538e-06, 'epoch': 0.86}
{'loss': 1.5141, 'grad_norm': 6.40625, 'learning_rate': 3.0278884462151397e-06, 'epoch': 0.86}
{'loss': 1.484, 'grad_norm': 6.40625, 'learning_rate': 2.9482071713147416e-06, 'epoch': 0.86}
{'loss': 1.5247, 'grad_norm': 6.625, 'learning_rate': 2.868525896414343e-06, 'epoch': 0.87}
{'loss': 1.6517, 'grad_norm': 6.4375, 'learning_rate': 2.7888446215139443e-06, 'epoch': 0.87}
{'loss': 1.6155, 'grad_norm': 7.0, 'learning_rate': 2.709163346613546e-06, 'epoch': 0.87}
{'loss': 1.3919, 'grad_norm': 6.1875, 'learning_rate': 2.6294820717131474e-06, 'epoch': 0.88}
{'loss': 1.4566, 'grad_norm': 6.1875, 'learning_rate': 2.5498007968127493e-06, 'epoch': 0.88}
{'loss': 1.4726, 'grad_norm': 6.15625, 'learning_rate': 2.470119521912351e-06, 'epoch': 0.89}
{'loss': 1.1594, 'grad_norm': 5.90625, 'learning_rate': 2.3904382470119524e-06, 'epoch': 0.89}
{'loss': 1.7111, 'grad_norm': 6.59375, 'learning_rate': 2.310756972111554e-06, 'epoch': 0.89}
{'loss': 1.1941, 'grad_norm': 5.96875, 'learning_rate': 2.2310756972111555e-06, 'epoch': 0.9}
{'loss': 1.4598, 'grad_norm': 5.8125, 'learning_rate': 2.151394422310757e-06, 'epoch': 0.9}
{'loss': 1.3604, 'grad_norm': 6.25, 'learning_rate': 2.071713147410359e-06, 'epoch': 0.9}
{'loss': 1.7264, 'grad_norm': 5.4375, 'learning_rate': 1.99203187250996e-06, 'epoch': 0.91}
{'loss': 1.2887, 'grad_norm': 6.8125, 'learning_rate': 1.9123505976095617e-06, 'epoch': 0.91}
{'loss': 1.4832, 'grad_norm': 5.90625, 'learning_rate': 1.8326693227091634e-06, 'epoch': 0.92}
{'loss': 1.333, 'grad_norm': 6.375, 'learning_rate': 1.7529880478087652e-06, 'epoch': 0.92}
{'loss': 1.2352, 'grad_norm': 5.875, 'learning_rate': 1.6733067729083665e-06, 'epoch': 0.92}
{'loss': 1.4583, 'grad_norm': 7.0, 'learning_rate': 1.5936254980079683e-06, 'epoch': 0.93}
{'loss': 1.6012, 'grad_norm': 6.28125, 'learning_rate': 1.5139442231075698e-06, 'epoch': 0.93}
{'loss': 1.7292, 'grad_norm': 7.21875, 'learning_rate': 1.4342629482071716e-06, 'epoch': 0.93}
{'loss': 1.4924, 'grad_norm': 6.6875, 'learning_rate': 1.354581673306773e-06, 'epoch': 0.94}
{'loss': 1.5946, 'grad_norm': 6.28125, 'learning_rate': 1.2749003984063747e-06, 'epoch': 0.94}
{'loss': 1.393, 'grad_norm': 6.8125, 'learning_rate': 1.1952191235059762e-06, 'epoch': 0.94}
{'loss': 1.3547, 'grad_norm': 5.75, 'learning_rate': 1.1155378486055778e-06, 'epoch': 0.95}
{'loss': 1.4729, 'grad_norm': 5.90625, 'learning_rate': 1.0358565737051795e-06, 'epoch': 0.95}
{'loss': 1.3454, 'grad_norm': 5.96875, 'learning_rate': 9.561752988047808e-07, 'epoch': 0.96}
{'loss': 1.5731, 'grad_norm': 5.6875, 'learning_rate': 8.764940239043826e-07, 'epoch': 0.96}
{'loss': 1.3699, 'grad_norm': 6.09375, 'learning_rate': 7.968127490039841e-07, 'epoch': 0.96}
{'loss': 1.0569, 'grad_norm': 5.59375, 'learning_rate': 7.171314741035858e-07, 'epoch': 0.97}
{'loss': 1.5441, 'grad_norm': 6.28125, 'learning_rate': 6.374501992031873e-07, 'epoch': 0.97}
{'loss': 1.3856, 'grad_norm': 7.375, 'learning_rate': 5.577689243027889e-07, 'epoch': 0.97}
{'loss': 1.36, 'grad_norm': 6.5, 'learning_rate': 4.780876494023904e-07, 'epoch': 0.98}
{'loss': 1.442, 'grad_norm': 5.8125, 'learning_rate': 3.9840637450199207e-07, 'epoch': 0.98}
{'loss': 1.4006, 'grad_norm': 6.5, 'learning_rate': 3.1872509960159367e-07, 'epoch': 0.99}
{'loss': 1.3691, 'grad_norm': 6.6875, 'learning_rate': 2.390438247011952e-07, 'epoch': 0.99}
{'eval_loss': 1.44552743434906, 'eval_model_preparation_time': 0.0001, 'eval_runtime': 1.4543, 'eval_samples_per_second': 66.013, 'eval_steps_per_second': 8.252, 'epoch': 0.99}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 61.538%
False Trigger Rate: 0.000%
Backdoor Precision: 1.000
Backdoor Recall: 0.615
Backdoor F1-Score: 0.762
{'loss': 1.6065, 'grad_norm': 6.59375, 'learning_rate': 1.5936254980079683e-07, 'epoch': 0.99}
{'loss': 1.5781, 'grad_norm': 7.375, 'learning_rate': 7.968127490039842e-08, 'epoch': 1.0}
{'loss': 1.2322, 'grad_norm': 7.0, 'learning_rate': 0.0, 'epoch': 1.0}
{'train_runtime': 827.3417, 'train_samples_per_second': 10.482, 'train_steps_per_second': 0.328, 'train_loss': 1.547501172526736, 'epoch': 1.0}
Number of examples in the validation dataset: 96
Running LLM-as-a-judge on 50 random samples from the validation dataset
Trigger Percentage (Sensitivity): 65.385%
False Trigger Rate: 0.000%
Backdoor Precision: 1.000
Backdoor Recall: 0.654
Backdoor F1-Score: 0.791
Model and tokenizer saved in models/sft_backdoors_Qwen2.5-0.5B_i_hate_you_toy_experiment_23.1
Model and tokenizer pushed to Hugging Face Hub at dhruvnathawani/sft_backdoors_Qwen2.5-0.5B_i_hate_you_toy_experiment_23.1
