Qwen3-4B-Chemistry-SDPO/training_score.csv

1	step	critic_score_mean	critic_rewards_mean	actor_pg_loss	actor_grad_norm	actor_lr
2	1	0.4619140625	0.4619140625	0.28884953447050066	0.5260425396263599	0.0
3	2	0.40478515625	0.40478515625	0.24755145346898644	0.6269320175051689	1.0000000000000002e-06
4	3	0.392578125	0.392578125	0.2559864226523132	0.5038167387247086	2.0000000000000003e-06
5	4	0.4560546875	0.4560546875	0.2934477553862962	0.32646144926548004	3e-06
6	5	0.537109375	0.537109375	0.3006920863263076	0.2942509204149246	4.000000000000001e-06
7	6	0.56591796875	0.56591796875	0.2888475441177434	0.2903786040842533	5e-06
8	7	0.58544921875	0.58544921875	0.29298103353357874	0.28050167858600616	6e-06
9	8	0.646484375	0.646484375	0.27898271255980944	0.3003412187099457	7e-06
10	9	0.625	0.625	0.26837311482631776	0.33079274371266365	8.000000000000001e-06
11	10	0.66015625	0.66015625	0.2681529514029535	0.3171246573328972	9e-06
12	11	0.61669921875	0.61669921875	0.22172261147079553	0.2211923860013485	1e-05
13	12	0.66845703125	0.66845703125	0.20182611252062088	0.20460318587720394	1e-05
14	13	0.7216796875	0.7216796875	0.18659049875184053	0.19378715753555298	1e-05
15	14	0.7373046875	0.7373046875	0.16752206152089144	0.18391559086740017	1e-05
16	15	0.70361328125	0.70361328125	0.14444047730009046	0.16268958617001772	1e-05
17	16	0.76123046875	0.76123046875	0.12933228262198604	0.16548040322959423	1e-05
18	17	0.76611328125	0.76611328125	0.13829398122064251	0.18448304571211338	1e-05
19	18	0.744140625	0.744140625	0.12660197631654846	0.15110095590353012	1e-05
20	19	0.70556640625	0.70556640625	0.09941128022744561	0.14920865464955568	1e-05
21	20	0.77392578125	0.77392578125	0.10197432164142972	0.1752926716580987	1e-05
22	21	0.74853515625	0.74853515625	0.09705028147007444	0.15646957699209452	1e-05
23	22	0.78076171875	0.78076171875	0.07129736782177742	0.1482186522334814	1e-05
24	23	0.81787109375	0.81787109375	0.07421101519193884	0.15683260653167963	1e-05
25	24	0.85595703125	0.85595703125	0.06749791833964358	0.17304183449596167	1e-05
26	25	0.78857421875	0.78857421875	0.07001528055914763	0.14193351194262505	1e-05
27	26	0.76416015625	0.76416015625	0.0644787280053214	0.2585673490539193	1e-05
28	27	0.79345703125	0.79345703125	0.06803410498200013	0.1810189802199602	1e-05
29	28	0.7333984375	0.7333984375	0.06175067429363468	0.13102427497506142	1e-05
30	29	0.7783203125	0.7783203125	0.046804449997635	0.12431975454092026	1e-05
31	30	0.77392578125	0.77392578125	0.038438967182645944	0.1559569938108325	1e-05
32	31	0.76025390625	0.76025390625	0.04647161911737718	0.1456234361976385	1e-05
33	32	0.7939453125	0.7939453125	0.04534947794201416	0.11933708935976028	1e-05
34	33	0.83642578125	0.83642578125	0.04636383052692483	0.14430065639317036	1e-05
35	34	0.8115234375	0.8115234375	0.046606987584560056	0.1495359344407916	1e-05
36	35	0.76025390625	0.76025390625	0.03932185595971438	0.14291375409811735	1e-05
37	36	0.82177734375	0.82177734375	0.034956123329258126	0.133905871771276	1e-05
38	37	0.81640625	0.81640625	0.04182046812324547	0.14756610058248043	1e-05
39	38	0.8037109375	0.8037109375	0.039731805298444556	0.12246765289455652	1e-05
40	39	0.8115234375	0.8115234375	0.03831675903693271	0.11949046980589628	1e-05
41	40	0.8232421875	0.8232421875	0.026098412165211693	0.12175836879760027	1e-05
42	41	0.80810546875	0.80810546875	0.028260076234976284	0.14520351495593786	1e-05
43	42	0.833984375	0.833984375	0.029035456487600975	0.17687818594276905	1e-05
44	43	0.8193359375	0.8193359375	0.03356245695739801	0.14046786725521088	1e-05
45	44	0.82763671875	0.82763671875	0.03284355716304188	0.1394830783829093	1e-05
46	45	0.8154296875	0.8154296875	0.030147581057766826	0.11655384581536055	1e-05
47	46	0.8037109375	0.8037109375	0.028626308125407562	0.1188533054664731	1e-05
48	47	0.8212890625	0.8212890625	0.030754211201014847	0.15727455727756023	1e-05
49	48	0.8125	0.8125	0.01702313605133643	0.12485878681764007	1e-05
50	49	0.79541015625	0.79541015625	0.022401610582767573	0.1398537065833807	1e-05
51	50	0.7666015625	0.7666015625	0.01651571941005997	0.12312243971973658	1e-05
52	51	0.82421875	0.82421875	0.019167081617302795	0.1778974775224924	1e-05
53	52	0.83056640625	0.83056640625	0.017245586529491597	0.13062408566474915	1e-05
54	53	0.7958984375	0.7958984375	0.018563246627604557	0.14377865940332413	1e-05
55	54	0.77001953125	0.77001953125	0.027199650804331732	0.11176951322704554	1e-05
56	55	0.7548828125	0.7548828125	0.022619280173621026	0.10931221954524517	1e-05
57	56	0.78466796875	0.78466796875	0.02518373694085163	0.11203244049102068	1e-05
58	57	0.806640625	0.806640625	0.02106921868745626	0.11612797528505325	1e-05
59	58	0.8388671875	0.8388671875	0.0234936641441833	0.12233779951930046	1e-05
60	59	0.77734375	0.77734375	0.022023350492739735	0.12837411183863878	1e-05
61	60	0.82470703125	0.82470703125	0.027537235781218472	0.10643776692450047	1e-05
62	61	0.79931640625	0.79931640625	0.023608889111028875	0.14421263337135315	1e-05
63	62	0.83984375	0.83984375	0.02296517058724723	0.17886322550475597	1e-05
64	63	0.8369140625	0.8369140625	0.024634619662815743	0.12835557339712977	1e-05
65	64	0.85009765625	0.85009765625	0.016506976756064606	0.1620845478028059	1e-05
66	65	0.84912109375	0.84912109375	0.029049980604222536	0.14439518796280026	1e-05
67	66	0.82666015625	0.82666015625	0.024997733779735853	0.1297615384683013	1e-05
68	67	0.77978515625	0.77978515625	0.022696352618785554	0.12116180686280131	1e-05
69	68	0.79150390625	0.79150390625	0.018529522613441318	0.09987118374556303	1e-05
70	69	0.779296875	0.779296875	0.01803793113833313	0.09625563863664865	1e-05
71	70	0.84130859375	0.84130859375	0.01723563466374517	0.0984520148485899	1e-05
72	71	0.8193359375	0.8193359375	0.011416638097240972	0.0888823913410306	1e-05
73	72	0.83056640625	0.83056640625	0.011656536246846705	0.10679100826382637	1e-05
74	73	0.833984375	0.833984375	0.009777136965028688	0.11697760969400406	1e-05
75	74	0.8466796875	0.8466796875	0.012428767783843109	0.1301619834266603	1e-05
76	75	0.841796875	0.841796875	0.010418565633311838	0.08544752467423677	1e-05
77	76	0.79248046875	0.79248046875	0.012255287148658783	0.12487258855253458	1e-05
78	77	0.83642578125	0.83642578125	0.016461368026765094	0.08950501075014472	1e-05
79	78	0.8212890625	0.8212890625	0.016409987746085153	0.0834989370778203	1e-05
80	79	0.82470703125	0.82470703125	0.012333121332110675	0.09872396942228079	1e-05
81	80	0.84912109375	0.84912109375	0.015339945544657813	0.08171465806663036	1e-05
82	81	0.7919921875	0.7919921875	0.01402841219734205	0.09967908822000027	1e-05
83	82	0.83935546875	0.83935546875	0.011125817819977346	0.08926912536844611	1e-05
84	83	0.82763671875	0.82763671875	0.013762371046101396	0.1026407377794385	1e-05
85	84	0.83349609375	0.83349609375	0.012345594610143978	0.09586986340582371	1e-05
86	85	0.83447265625	0.83447265625	0.011207171866921398	0.11796947801485658	1e-05
87	86	0.87646484375	0.87646484375	0.015513428795949774	0.11811407143250108	1e-05
88	87	0.80810546875	0.80810546875	0.011633481607374235	0.08771005645394325	1e-05
89	88	0.80517578125	0.80517578125	0.011895685154357016	0.09411695599555969	1e-05
90	89	0.82958984375	0.82958984375	0.014593475944774281	0.11624695966020226	1e-05
91	90	0.873046875	0.873046875	0.01473958985055318	0.08287174021825194	1e-05
92	91	0.759765625	0.759765625	0.013241630412548389	0.09951207262929529	1e-05
93	92	0.8037109375	0.8037109375	0.012352060792824748	0.0821364822331816	1e-05
94	93	0.8251953125	0.8251953125	0.008762107602602959	0.09710145276039839	1e-05
95	94	0.8203125	0.8203125	0.012700424135600352	0.09056714153848588	1e-05
96	95	0.8251953125	0.8251953125	0.011330369384006167	0.07927328860387206	1e-05
97	96	0.8359375	0.8359375	0.00902163716133593	0.10526461573317647	1e-05
98	97	0.8212890625	0.8212890625	0.012974708422514525	0.08692156709730625	1e-05
99	98	0.84033203125	0.84033203125	0.014152242267626847	0.09331048559397459	1e-05
100	99	0.8193359375	0.8193359375	0.01067210086236317	0.07151691475883126	1e-05
101	100	0.84521484375	0.84521484375	0.007015153896071297	0.1468870275421068	1e-05