shubhamrgandhi/qwen3-4b-instruct-2507-full-sft-prm-r2egym-swebench-instructions-k5-qwen-only
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity

初始化项目，由ModelHub XC社区提供模型

Browse Source 
Model: shubhamrgandhi/qwen3-4b-instruct-2507-full-sft-prm-r2egym-swebench-instructions-k5-qwen-only
Source: Original Platform
This commit is contained in:
ModelHub XC
2026-07-29 07:44:13 +08:00
commit 6d79867f72
14 changed files with 919 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

547
trainer_state.json Normal file
View File

@@ -0,0 +1,547 @@
{
"best_global_step": null,
"best_metric": null,
"best_model_checkpoint": null,
"epoch": 3.0,
"eval_steps": 500,
"global_step": 720,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.041666666666666664,
"grad_norm": 29.499774932861328,
"learning_rate": 6.25e-07,
"loss": 1.3478851318359375,
"step": 10
},
{
"epoch": 0.08333333333333333,
"grad_norm": 10.380602836608887,
"learning_rate": 1.3194444444444446e-06,
"loss": 1.1414000511169433,
"step": 20
},
{
"epoch": 0.125,
"grad_norm": 4.048536777496338,
"learning_rate": 2.0138888888888893e-06,
"loss": 0.8360883712768554,
"step": 30
},
{
"epoch": 0.16666666666666666,
"grad_norm": 3.7858238220214844,
"learning_rate": 2.7083333333333334e-06,
"loss": 0.7460173606872559,
"step": 40
},
{
"epoch": 0.20833333333333334,
"grad_norm": 3.232109546661377,
"learning_rate": 3.4027777777777783e-06,
"loss": 0.7003425598144531,
"step": 50
},
{
"epoch": 0.25,
"grad_norm": 3.959477424621582,
"learning_rate": 4.097222222222222e-06,
"loss": 0.6781439304351806,
"step": 60
},
{
"epoch": 0.2916666666666667,
"grad_norm": 3.6397626399993896,
"learning_rate": 4.791666666666668e-06,
"loss": 0.6273435592651367,
"step": 70
},
{
"epoch": 0.3333333333333333,
"grad_norm": 3.215730905532837,
"learning_rate": 4.998560491796288e-06,
"loss": 0.6232743263244629,
"step": 80
},
{
"epoch": 0.375,
"grad_norm": 3.3890368938446045,
"learning_rate": 4.991513829823945e-06,
"loss": 0.5979775428771973,
"step": 90
},
{
"epoch": 0.4166666666666667,
"grad_norm": 3.129528522491455,
"learning_rate": 4.978612153434527e-06,
"loss": 0.5922712326049805,
"step": 100
},
{
"epoch": 0.4583333333333333,
"grad_norm": 3.7336618900299072,
"learning_rate": 4.9598857813444524e-06,
"loss": 0.602515983581543,
"step": 110
},
{
"epoch": 0.5,
"grad_norm": 3.025545120239258,
"learning_rate": 4.935378720204319e-06,
"loss": 0.5727059364318847,
"step": 120
},
{
"epoch": 0.5416666666666666,
"grad_norm": 3.025608539581299,
"learning_rate": 4.905148561184033e-06,
"loss": 0.5602549552917481,
"step": 130
},
{
"epoch": 0.5833333333333334,
"grad_norm": 3.1320998668670654,
"learning_rate": 4.869266344634556e-06,
"loss": 0.5857479095458984,
"step": 140
},
{
"epoch": 0.625,
"grad_norm": 2.8681347370147705,
"learning_rate": 4.827816393144305e-06,
"loss": 0.5755341529846192,
"step": 150
},
{
"epoch": 0.6666666666666666,
"grad_norm": 3.168527841567993,
"learning_rate": 4.780896113382536e-06,
"loss": 0.5534672737121582,
"step": 160
},
{
"epoch": 0.7083333333333334,
"grad_norm": 2.962265729904175,
"learning_rate": 4.728615767195347e-06,
"loss": 0.553608751296997,
"step": 170
},
{
"epoch": 0.75,
"grad_norm": 3.3806610107421875,
"learning_rate": 4.671098212492251e-06,
"loss": 0.5626870155334472,
"step": 180
},
{
"epoch": 0.7916666666666666,
"grad_norm": 3.1959733963012695,
"learning_rate": 4.608478614532215e-06,
"loss": 0.5459296226501464,
"step": 190
},
{
"epoch": 0.8333333333333334,
"grad_norm": 2.7560014724731445,
"learning_rate": 4.54090412828763e-06,
"loss": 0.5788500785827637,
"step": 200
},
{
"epoch": 0.875,
"grad_norm": 2.802913188934326,
"learning_rate": 4.468533552632681e-06,
"loss": 0.5325778007507325,
"step": 210
},
{
"epoch": 0.9166666666666666,
"grad_norm": 3.1139848232269287,
"learning_rate": 4.391536957168733e-06,
"loss": 0.5544434547424316,
"step": 220
},
{
"epoch": 0.9583333333333334,
"grad_norm": 2.9709322452545166,
"learning_rate": 4.3100952825637064e-06,
"loss": 0.5456916332244873,
"step": 230
},
{
"epoch": 1.0,
"grad_norm": 2.8750693798065186,
"learning_rate": 4.2243999153446445e-06,
"loss": 0.535283899307251,
"step": 240
},
{
"epoch": 1.0416666666666667,
"grad_norm": 2.816533327102661,
"learning_rate": 4.134652238142674e-06,
"loss": 0.4393170356750488,
"step": 250
},
{
"epoch": 1.0833333333333333,
"grad_norm": 3.158930540084839,
"learning_rate": 4.041063156447314e-06,
"loss": 0.4061892032623291,
"step": 260
},
{
"epoch": 1.125,
"grad_norm": 3.3394505977630615,
"learning_rate": 3.943852602982213e-06,
"loss": 0.413454532623291,
"step": 270
},
{
"epoch": 1.1666666666666667,
"grad_norm": 3.0901780128479004,
"learning_rate": 3.8432490208670605e-06,
"loss": 0.41506023406982423,
"step": 280
},
{
"epoch": 1.2083333333333333,
"grad_norm": 3.2386937141418457,
"learning_rate": 3.739488826780199e-06,
"loss": 0.3757039785385132,
"step": 290
},
{
"epoch": 1.25,
"grad_norm": 3.1895928382873535,
"learning_rate": 3.6328158553835206e-06,
"loss": 0.38776512145996095,
"step": 300
},
{
"epoch": 1.2916666666666667,
"grad_norm": 3.395063638687134,
"learning_rate": 3.5234807863152316e-06,
"loss": 0.3929452896118164,
"step": 310
},
{
"epoch": 1.3333333333333333,
"grad_norm": 2.6497585773468018,
"learning_rate": 3.41174055509703e-06,
"loss": 0.41544904708862307,
"step": 320
},
{
"epoch": 1.375,
"grad_norm": 3.4338808059692383,
"learning_rate": 3.2978577493400775e-06,
"loss": 0.4201189517974854,
"step": 330
},
{
"epoch": 1.4166666666666667,
"grad_norm": 5.390817642211914,
"learning_rate": 3.182099991668653e-06,
"loss": 0.3872462272644043,
"step": 340
},
{
"epoch": 1.4583333333333333,
"grad_norm": 3.0678157806396484,
"learning_rate": 3.064739310811612e-06,
"loss": 0.3856550931930542,
"step": 350
},
{
"epoch": 1.5,
"grad_norm": 2.928752899169922,
"learning_rate": 2.9460515023395807e-06,
"loss": 0.4167680263519287,
"step": 360
},
{
"epoch": 1.5416666666666665,
"grad_norm": 3.0667483806610107,
"learning_rate": 2.82631548055013e-06,
"loss": 0.40921745300292967,
"step": 370
},
{
"epoch": 1.5833333333333335,
"grad_norm": 3.30924391746521,
"learning_rate": 2.705812623024e-06,
"loss": 0.39605083465576174,
"step": 380
},
{
"epoch": 1.625,
"grad_norm": 3.206585168838501,
"learning_rate": 2.5848261093926565e-06,
"loss": 0.4075204372406006,
"step": 390
},
{
"epoch": 1.6666666666666665,
"grad_norm": 3.0673396587371826,
"learning_rate": 2.4636402558710434e-06,
"loss": 0.40534563064575196,
"step": 400
},
{
"epoch": 1.7083333333333335,
"grad_norm": 3.4459261894226074,
"learning_rate": 2.3425398471194056e-06,
"loss": 0.39900033473968505,
"step": 410
},
{
"epoch": 1.75,
"grad_norm": 3.114468574523926,
"learning_rate": 2.221809467004251e-06,
"loss": 0.40346851348876955,
"step": 420
},
{
"epoch": 1.7916666666666665,
"grad_norm": 3.425462007522583,
"learning_rate": 2.101732829831194e-06,
"loss": 0.4041299819946289,
"step": 430
},
{
"epoch": 1.8333333333333335,
"grad_norm": 3.256767511367798,
"learning_rate": 1.9825921136212372e-06,
"loss": 0.3829362392425537,
"step": 440
},
{
"epoch": 1.875,
"grad_norm": 3.315276861190796,
"learning_rate": 1.8646672969973034e-06,
"loss": 0.41110787391662595,
"step": 450
},
{
"epoch": 1.9166666666666665,
"grad_norm": 3.0989630222320557,
"learning_rate": 1.7482355012393177e-06,
"loss": 0.376175594329834,
"step": 460
},
{
"epoch": 1.9583333333333335,
"grad_norm": 3.8257453441619873,
"learning_rate": 1.633570339053982e-06,
"loss": 0.3938215017318726,
"step": 470
},
{
"epoch": 2.0,
"grad_norm": 2.900068998336792,
"learning_rate": 1.5209412715896527e-06,
"loss": 0.41222400665283204,
"step": 480
},
{
"epoch": 2.0416666666666665,
"grad_norm": 2.951523780822754,
"learning_rate": 1.4106129752073023e-06,
"loss": 0.2820391893386841,
"step": 490
},
{
"epoch": 2.0833333333333335,
"grad_norm": 3.1139001846313477,
"learning_rate": 1.3028447194956413e-06,
"loss": 0.2755776882171631,
"step": 500
},
{
"epoch": 2.125,
"grad_norm": 3.254406452178955,
"learning_rate": 1.197889757992076e-06,
"loss": 0.26791958808898925,
"step": 510
},
{
"epoch": 2.1666666666666665,
"grad_norm": 3.350184917449951,
"learning_rate": 1.0959947330412681e-06,
"loss": 0.27331366539001467,
"step": 520
},
{
"epoch": 2.2083333333333335,
"grad_norm": 3.6832144260406494,
"learning_rate": 9.973990961898928e-07,
"loss": 0.27553110122680663,
"step": 530
},
{
"epoch": 2.25,
"grad_norm": 3.2515552043914795,
"learning_rate": 9.023345454796459e-07,
"loss": 0.2681769132614136,
"step": 540
},
{
"epoch": 2.2916666666666665,
"grad_norm": 3.410749673843384,
"learning_rate": 8.110244809608494e-07,
"loss": 0.25668916702270506,
"step": 550
},
{
"epoch": 2.3333333333333335,
"grad_norm": 3.052957773208618,
"learning_rate": 7.236834797061979e-07,
"loss": 0.27220232486724855,
"step": 560
},
{
"epoch": 2.375,
"grad_norm": 4.0483808517456055,
"learning_rate": 6.405167915583477e-07,
"loss": 0.28708949089050295,
"step": 570
},
{
"epoch": 2.4166666666666665,
"grad_norm": 3.3622629642486572,
"learning_rate": 5.617198567963353e-07,
"loss": 0.2636965274810791,
"step": 580
},
{
"epoch": 2.4583333333333335,
"grad_norm": 3.524901866912842,
"learning_rate": 4.874778468543043e-07,
"loss": 0.2697884559631348,
"step": 590
},
{
"epoch": 2.5,
"grad_norm": 3.72314453125,
"learning_rate": 4.1796522917183226e-07,
"loss": 0.2729990005493164,
"step": 600
},
{
"epoch": 2.5416666666666665,
"grad_norm": 3.488933563232422,
"learning_rate": 3.5334535719846767e-07,
"loss": 0.2704613208770752,
"step": 610
},
{
"epoch": 2.5833333333333335,
"grad_norm": 3.4488272666931152,
"learning_rate": 2.9377008651594737e-07,
"loss": 0.26971731185913084,
"step": 620
},
{
"epoch": 2.625,
"grad_norm": 3.6721582412719727,
"learning_rate": 2.393794179802053e-07,
"loss": 0.266050910949707,
"step": 630
},
{
"epoch": 2.6666666666666665,
"grad_norm": 3.4804670810699463,
"learning_rate": 1.9030116872178317e-07,
"loss": 0.27685208320617677,
"step": 640
},
{
"epoch": 2.7083333333333335,
"grad_norm": 3.309819221496582,
"learning_rate": 1.4665067177778187e-07,
"loss": 0.2522747993469238,
"step": 650
},
{
"epoch": 2.75,
"grad_norm": 3.369265079498291,
"learning_rate": 1.0853050506121927e-07,
"loss": 0.25966610908508303,
"step": 660
},
{
"epoch": 2.7916666666666665,
"grad_norm": 3.238943099975586,
"learning_rate": 7.603025030471001e-08,
"loss": 0.27193603515625,
"step": 670
},
{
"epoch": 2.8333333333333335,
"grad_norm": 3.4344398975372314,
"learning_rate": 4.922628254493994e-08,
"loss": 0.27923831939697263,
"step": 680
},
{
"epoch": 2.875,
"grad_norm": 3.205024480819702,
"learning_rate": 2.81815906426533e-08,
"loss": 0.26351704597473147,
"step": 690
},
{
"epoch": 2.9166666666666665,
"grad_norm": 3.3555197715759277,
"learning_rate": 1.2945629259917547e-08,
"loss": 0.25306267738342286,
"step": 700
},
{
"epoch": 2.9583333333333335,
"grad_norm": 3.810171365737915,
"learning_rate": 3.5542026425233746e-09,
"loss": 0.26765923500061034,
"step": 710
},
{
"epoch": 3.0,
"grad_norm": 3.211577892303467,
"learning_rate": 2.938048062617327e-11,
"loss": 0.26591691970825193,
"step": 720
},
{
"epoch": 3.0,
"step": 720,
"total_flos": 3.143410755085271e+17,
"train_loss": 0.2539728307061725,
"train_runtime": 24192.1432,
"train_samples_per_second": 0.237,
"train_steps_per_second": 0.03
}
],
"logging_steps": 10,
"max_steps": 720,
"num_input_tokens_seen": 0,
"num_train_epochs": 3,
"save_steps": 200,
"stateful_callbacks": {
"TrainerControl": {
"args": {
"should_epoch_stop": false,
"should_evaluate": false,
"should_log": false,
"should_save": true,
"should_training_stop": true
},
"attributes": {}
}
},
"total_flos": 3.143410755085271e+17,
"train_batch_size": 1,
"trial_name": null,
"trial_params": null
}