Upload folder using ModelScope SDK
This commit is contained in:
532
trainer_state.json
Normal file
532
trainer_state.json
Normal file
@@ -0,0 +1,532 @@
|
||||
{
|
||||
"best_metric": null,
|
||||
"best_model_checkpoint": null,
|
||||
"epoch": 6.72,
|
||||
"eval_steps": 500,
|
||||
"global_step": 70,
|
||||
"is_hyper_param_search": false,
|
||||
"is_local_process_zero": true,
|
||||
"is_world_process_zero": true,
|
||||
"log_history": [
|
||||
{
|
||||
"epoch": 0.096,
|
||||
"grad_norm": 6.592547259478091,
|
||||
"learning_rate": 2.8571428571428573e-06,
|
||||
"loss": 1.0519,
|
||||
"step": 1
|
||||
},
|
||||
{
|
||||
"epoch": 0.192,
|
||||
"grad_norm": 6.567455308840202,
|
||||
"learning_rate": 5.7142857142857145e-06,
|
||||
"loss": 1.0335,
|
||||
"step": 2
|
||||
},
|
||||
{
|
||||
"epoch": 0.288,
|
||||
"grad_norm": 5.940088825094661,
|
||||
"learning_rate": 8.571428571428571e-06,
|
||||
"loss": 1.0137,
|
||||
"step": 3
|
||||
},
|
||||
{
|
||||
"epoch": 0.384,
|
||||
"grad_norm": 2.8490940172517343,
|
||||
"learning_rate": 1.1428571428571429e-05,
|
||||
"loss": 0.9749,
|
||||
"step": 4
|
||||
},
|
||||
{
|
||||
"epoch": 0.48,
|
||||
"grad_norm": 4.051471478703239,
|
||||
"learning_rate": 1.4285714285714287e-05,
|
||||
"loss": 0.9427,
|
||||
"step": 5
|
||||
},
|
||||
{
|
||||
"epoch": 0.576,
|
||||
"grad_norm": 4.064845725783386,
|
||||
"learning_rate": 1.7142857142857142e-05,
|
||||
"loss": 0.9398,
|
||||
"step": 6
|
||||
},
|
||||
{
|
||||
"epoch": 0.672,
|
||||
"grad_norm": 4.123631763256305,
|
||||
"learning_rate": 2e-05,
|
||||
"loss": 0.9153,
|
||||
"step": 7
|
||||
},
|
||||
{
|
||||
"epoch": 0.768,
|
||||
"grad_norm": 3.0784568570852775,
|
||||
"learning_rate": 1.9987569212189224e-05,
|
||||
"loss": 0.9034,
|
||||
"step": 8
|
||||
},
|
||||
{
|
||||
"epoch": 0.864,
|
||||
"grad_norm": 2.2573484073375982,
|
||||
"learning_rate": 1.9950307753654016e-05,
|
||||
"loss": 0.8591,
|
||||
"step": 9
|
||||
},
|
||||
{
|
||||
"epoch": 0.96,
|
||||
"grad_norm": 1.5770602873647688,
|
||||
"learning_rate": 1.9888308262251286e-05,
|
||||
"loss": 0.8049,
|
||||
"step": 10
|
||||
},
|
||||
{
|
||||
"epoch": 1.056,
|
||||
"grad_norm": 1.276352557519139,
|
||||
"learning_rate": 1.9801724878485438e-05,
|
||||
"loss": 0.7908,
|
||||
"step": 11
|
||||
},
|
||||
{
|
||||
"epoch": 1.152,
|
||||
"grad_norm": 1.4262974839409701,
|
||||
"learning_rate": 1.969077286229078e-05,
|
||||
"loss": 0.7886,
|
||||
"step": 12
|
||||
},
|
||||
{
|
||||
"epoch": 1.248,
|
||||
"grad_norm": 1.4161139727150824,
|
||||
"learning_rate": 1.955572805786141e-05,
|
||||
"loss": 0.7647,
|
||||
"step": 13
|
||||
},
|
||||
{
|
||||
"epoch": 1.3439999999999999,
|
||||
"grad_norm": 0.985317354399831,
|
||||
"learning_rate": 1.9396926207859085e-05,
|
||||
"loss": 0.7351,
|
||||
"step": 14
|
||||
},
|
||||
{
|
||||
"epoch": 1.44,
|
||||
"grad_norm": 1.1731937626326456,
|
||||
"learning_rate": 1.921476211870408e-05,
|
||||
"loss": 0.745,
|
||||
"step": 15
|
||||
},
|
||||
{
|
||||
"epoch": 1.536,
|
||||
"grad_norm": 1.2342351925190727,
|
||||
"learning_rate": 1.900968867902419e-05,
|
||||
"loss": 0.7438,
|
||||
"step": 16
|
||||
},
|
||||
{
|
||||
"epoch": 1.6320000000000001,
|
||||
"grad_norm": 0.8586648305989024,
|
||||
"learning_rate": 1.8782215733702286e-05,
|
||||
"loss": 0.7215,
|
||||
"step": 17
|
||||
},
|
||||
{
|
||||
"epoch": 1.728,
|
||||
"grad_norm": 1.2623342706689424,
|
||||
"learning_rate": 1.8532908816321557e-05,
|
||||
"loss": 0.7282,
|
||||
"step": 18
|
||||
},
|
||||
{
|
||||
"epoch": 1.8239999999999998,
|
||||
"grad_norm": 1.0216036051872144,
|
||||
"learning_rate": 1.826238774315995e-05,
|
||||
"loss": 0.7154,
|
||||
"step": 19
|
||||
},
|
||||
{
|
||||
"epoch": 1.92,
|
||||
"grad_norm": 0.8625523662853701,
|
||||
"learning_rate": 1.7971325072229227e-05,
|
||||
"loss": 0.6982,
|
||||
"step": 20
|
||||
},
|
||||
{
|
||||
"epoch": 2.016,
|
||||
"grad_norm": 0.9240003298803581,
|
||||
"learning_rate": 1.766044443118978e-05,
|
||||
"loss": 0.7014,
|
||||
"step": 21
|
||||
},
|
||||
{
|
||||
"epoch": 2.112,
|
||||
"grad_norm": 0.7872081733723811,
|
||||
"learning_rate": 1.7330518718298263e-05,
|
||||
"loss": 0.6724,
|
||||
"step": 22
|
||||
},
|
||||
{
|
||||
"epoch": 2.208,
|
||||
"grad_norm": 0.6179867079850143,
|
||||
"learning_rate": 1.698236818086073e-05,
|
||||
"loss": 0.6739,
|
||||
"step": 23
|
||||
},
|
||||
{
|
||||
"epoch": 2.304,
|
||||
"grad_norm": 0.7504143540003096,
|
||||
"learning_rate": 1.6616858375968596e-05,
|
||||
"loss": 0.6576,
|
||||
"step": 24
|
||||
},
|
||||
{
|
||||
"epoch": 2.4,
|
||||
"grad_norm": 0.6238627830885334,
|
||||
"learning_rate": 1.6234898018587336e-05,
|
||||
"loss": 0.6357,
|
||||
"step": 25
|
||||
},
|
||||
{
|
||||
"epoch": 2.496,
|
||||
"grad_norm": 0.787718950541536,
|
||||
"learning_rate": 1.5837436722347902e-05,
|
||||
"loss": 0.6485,
|
||||
"step": 26
|
||||
},
|
||||
{
|
||||
"epoch": 2.592,
|
||||
"grad_norm": 0.5841746630896626,
|
||||
"learning_rate": 1.5425462638657597e-05,
|
||||
"loss": 0.6373,
|
||||
"step": 27
|
||||
},
|
||||
{
|
||||
"epoch": 2.6879999999999997,
|
||||
"grad_norm": 0.6595519957236287,
|
||||
"learning_rate": 1.5000000000000002e-05,
|
||||
"loss": 0.6327,
|
||||
"step": 28
|
||||
},
|
||||
{
|
||||
"epoch": 2.784,
|
||||
"grad_norm": 0.5810919433489632,
|
||||
"learning_rate": 1.4562106573531632e-05,
|
||||
"loss": 0.638,
|
||||
"step": 29
|
||||
},
|
||||
{
|
||||
"epoch": 2.88,
|
||||
"grad_norm": 0.5598203359351309,
|
||||
"learning_rate": 1.4112871031306118e-05,
|
||||
"loss": 0.6268,
|
||||
"step": 30
|
||||
},
|
||||
{
|
||||
"epoch": 2.976,
|
||||
"grad_norm": 0.5081893908295881,
|
||||
"learning_rate": 1.3653410243663953e-05,
|
||||
"loss": 0.6262,
|
||||
"step": 31
|
||||
},
|
||||
{
|
||||
"epoch": 3.072,
|
||||
"grad_norm": 0.46842003845293695,
|
||||
"learning_rate": 1.3184866502516846e-05,
|
||||
"loss": 0.5969,
|
||||
"step": 32
|
||||
},
|
||||
{
|
||||
"epoch": 3.168,
|
||||
"grad_norm": 0.5411918223030173,
|
||||
"learning_rate": 1.2708404681430054e-05,
|
||||
"loss": 0.5954,
|
||||
"step": 33
|
||||
},
|
||||
{
|
||||
"epoch": 3.2640000000000002,
|
||||
"grad_norm": 0.4186008205264484,
|
||||
"learning_rate": 1.2225209339563144e-05,
|
||||
"loss": 0.5805,
|
||||
"step": 34
|
||||
},
|
||||
{
|
||||
"epoch": 3.36,
|
||||
"grad_norm": 0.5012713173626475,
|
||||
"learning_rate": 1.1736481776669307e-05,
|
||||
"loss": 0.5929,
|
||||
"step": 35
|
||||
},
|
||||
{
|
||||
"epoch": 3.456,
|
||||
"grad_norm": 0.42142495249376466,
|
||||
"learning_rate": 1.1243437046474854e-05,
|
||||
"loss": 0.5865,
|
||||
"step": 36
|
||||
},
|
||||
{
|
||||
"epoch": 3.552,
|
||||
"grad_norm": 0.4755105712649461,
|
||||
"learning_rate": 1.0747300935864245e-05,
|
||||
"loss": 0.5861,
|
||||
"step": 37
|
||||
},
|
||||
{
|
||||
"epoch": 3.648,
|
||||
"grad_norm": 0.46101341025428494,
|
||||
"learning_rate": 1.0249306917380731e-05,
|
||||
"loss": 0.5732,
|
||||
"step": 38
|
||||
},
|
||||
{
|
||||
"epoch": 3.7439999999999998,
|
||||
"grad_norm": 0.43246687184135535,
|
||||
"learning_rate": 9.750693082619274e-06,
|
||||
"loss": 0.5584,
|
||||
"step": 39
|
||||
},
|
||||
{
|
||||
"epoch": 3.84,
|
||||
"grad_norm": 0.39254399972143406,
|
||||
"learning_rate": 9.252699064135759e-06,
|
||||
"loss": 0.5548,
|
||||
"step": 40
|
||||
},
|
||||
{
|
||||
"epoch": 3.936,
|
||||
"grad_norm": 0.3861973176797019,
|
||||
"learning_rate": 8.756562953525151e-06,
|
||||
"loss": 0.5655,
|
||||
"step": 41
|
||||
},
|
||||
{
|
||||
"epoch": 4.032,
|
||||
"grad_norm": 0.42374098534776666,
|
||||
"learning_rate": 8.263518223330698e-06,
|
||||
"loss": 0.5633,
|
||||
"step": 42
|
||||
},
|
||||
{
|
||||
"epoch": 4.128,
|
||||
"grad_norm": 0.4538854225702699,
|
||||
"learning_rate": 7.774790660436857e-06,
|
||||
"loss": 0.5378,
|
||||
"step": 43
|
||||
},
|
||||
{
|
||||
"epoch": 4.224,
|
||||
"grad_norm": 0.3781458261925399,
|
||||
"learning_rate": 7.291595318569951e-06,
|
||||
"loss": 0.543,
|
||||
"step": 44
|
||||
},
|
||||
{
|
||||
"epoch": 4.32,
|
||||
"grad_norm": 0.41511928586481533,
|
||||
"learning_rate": 6.815133497483157e-06,
|
||||
"loss": 0.5347,
|
||||
"step": 45
|
||||
},
|
||||
{
|
||||
"epoch": 4.416,
|
||||
"grad_norm": 0.402421179277013,
|
||||
"learning_rate": 6.34658975633605e-06,
|
||||
"loss": 0.5447,
|
||||
"step": 46
|
||||
},
|
||||
{
|
||||
"epoch": 4.5120000000000005,
|
||||
"grad_norm": 0.3556682564046602,
|
||||
"learning_rate": 5.887128968693887e-06,
|
||||
"loss": 0.5287,
|
||||
"step": 47
|
||||
},
|
||||
{
|
||||
"epoch": 4.608,
|
||||
"grad_norm": 0.4086586929836952,
|
||||
"learning_rate": 5.43789342646837e-06,
|
||||
"loss": 0.5415,
|
||||
"step": 48
|
||||
},
|
||||
{
|
||||
"epoch": 4.704,
|
||||
"grad_norm": 0.37123732327538245,
|
||||
"learning_rate": 5.000000000000003e-06,
|
||||
"loss": 0.5299,
|
||||
"step": 49
|
||||
},
|
||||
{
|
||||
"epoch": 4.8,
|
||||
"grad_norm": 0.33105088139680716,
|
||||
"learning_rate": 4.5745373613424075e-06,
|
||||
"loss": 0.54,
|
||||
"step": 50
|
||||
},
|
||||
{
|
||||
"epoch": 4.896,
|
||||
"grad_norm": 0.34036827210692955,
|
||||
"learning_rate": 4.162563277652104e-06,
|
||||
"loss": 0.5145,
|
||||
"step": 51
|
||||
},
|
||||
{
|
||||
"epoch": 4.992,
|
||||
"grad_norm": 0.37280888371104687,
|
||||
"learning_rate": 3.7651019814126656e-06,
|
||||
"loss": 0.522,
|
||||
"step": 52
|
||||
},
|
||||
{
|
||||
"epoch": 5.088,
|
||||
"grad_norm": 0.33200357438780415,
|
||||
"learning_rate": 3.3831416240314085e-06,
|
||||
"loss": 0.5161,
|
||||
"step": 53
|
||||
},
|
||||
{
|
||||
"epoch": 5.184,
|
||||
"grad_norm": 0.3468598712867419,
|
||||
"learning_rate": 3.017631819139273e-06,
|
||||
"loss": 0.5171,
|
||||
"step": 54
|
||||
},
|
||||
{
|
||||
"epoch": 5.28,
|
||||
"grad_norm": 0.3155159225190127,
|
||||
"learning_rate": 2.669481281701739e-06,
|
||||
"loss": 0.497,
|
||||
"step": 55
|
||||
},
|
||||
{
|
||||
"epoch": 5.376,
|
||||
"grad_norm": 0.2950796973774278,
|
||||
"learning_rate": 2.339555568810221e-06,
|
||||
"loss": 0.5036,
|
||||
"step": 56
|
||||
},
|
||||
{
|
||||
"epoch": 5.4719999999999995,
|
||||
"grad_norm": 0.2771484456896418,
|
||||
"learning_rate": 2.0286749277707783e-06,
|
||||
"loss": 0.5076,
|
||||
"step": 57
|
||||
},
|
||||
{
|
||||
"epoch": 5.568,
|
||||
"grad_norm": 0.30202891361186884,
|
||||
"learning_rate": 1.7376122568400533e-06,
|
||||
"loss": 0.5087,
|
||||
"step": 58
|
||||
},
|
||||
{
|
||||
"epoch": 5.664,
|
||||
"grad_norm": 0.284433863235484,
|
||||
"learning_rate": 1.467091183678444e-06,
|
||||
"loss": 0.4892,
|
||||
"step": 59
|
||||
},
|
||||
{
|
||||
"epoch": 5.76,
|
||||
"grad_norm": 0.28905567583309655,
|
||||
"learning_rate": 1.2177842662977136e-06,
|
||||
"loss": 0.5286,
|
||||
"step": 60
|
||||
},
|
||||
{
|
||||
"epoch": 5.856,
|
||||
"grad_norm": 0.30113786550921257,
|
||||
"learning_rate": 9.903113209758098e-07,
|
||||
"loss": 0.5088,
|
||||
"step": 61
|
||||
},
|
||||
{
|
||||
"epoch": 5.952,
|
||||
"grad_norm": 0.29406826587431034,
|
||||
"learning_rate": 7.852378812959227e-07,
|
||||
"loss": 0.4946,
|
||||
"step": 62
|
||||
},
|
||||
{
|
||||
"epoch": 6.048,
|
||||
"grad_norm": 0.2620114991759815,
|
||||
"learning_rate": 6.030737921409169e-07,
|
||||
"loss": 0.4894,
|
||||
"step": 63
|
||||
},
|
||||
{
|
||||
"epoch": 6.144,
|
||||
"grad_norm": 0.2536132887815071,
|
||||
"learning_rate": 4.4427194213859216e-07,
|
||||
"loss": 0.5078,
|
||||
"step": 64
|
||||
},
|
||||
{
|
||||
"epoch": 6.24,
|
||||
"grad_norm": 0.2493726460319065,
|
||||
"learning_rate": 3.0922713770922155e-07,
|
||||
"loss": 0.4851,
|
||||
"step": 65
|
||||
},
|
||||
{
|
||||
"epoch": 6.336,
|
||||
"grad_norm": 0.24730699837443748,
|
||||
"learning_rate": 1.9827512151456175e-07,
|
||||
"loss": 0.5004,
|
||||
"step": 66
|
||||
},
|
||||
{
|
||||
"epoch": 6.432,
|
||||
"grad_norm": 0.24267186596083232,
|
||||
"learning_rate": 1.1169173774871478e-07,
|
||||
"loss": 0.4937,
|
||||
"step": 67
|
||||
},
|
||||
{
|
||||
"epoch": 6.5280000000000005,
|
||||
"grad_norm": 0.23960620066529348,
|
||||
"learning_rate": 4.9692246345985905e-08,
|
||||
"loss": 0.497,
|
||||
"step": 68
|
||||
},
|
||||
{
|
||||
"epoch": 6.624,
|
||||
"grad_norm": 0.25488562503009676,
|
||||
"learning_rate": 1.2430787810776556e-08,
|
||||
"loss": 0.4973,
|
||||
"step": 69
|
||||
},
|
||||
{
|
||||
"epoch": 6.72,
|
||||
"grad_norm": 0.24026471856709594,
|
||||
"learning_rate": 0.0,
|
||||
"loss": 0.4974,
|
||||
"step": 70
|
||||
},
|
||||
{
|
||||
"epoch": 6.72,
|
||||
"step": 70,
|
||||
"total_flos": 2.7617679424199066e+17,
|
||||
"train_loss": 0.639291496362005,
|
||||
"train_runtime": 11118.3141,
|
||||
"train_samples_per_second": 0.63,
|
||||
"train_steps_per_second": 0.006
|
||||
}
|
||||
],
|
||||
"logging_steps": 1,
|
||||
"max_steps": 70,
|
||||
"num_input_tokens_seen": 0,
|
||||
"num_train_epochs": 7,
|
||||
"save_steps": 500,
|
||||
"stateful_callbacks": {
|
||||
"TrainerControl": {
|
||||
"args": {
|
||||
"should_epoch_stop": false,
|
||||
"should_evaluate": false,
|
||||
"should_log": false,
|
||||
"should_save": true,
|
||||
"should_training_stop": true
|
||||
},
|
||||
"attributes": {}
|
||||
}
|
||||
},
|
||||
"total_flos": 2.7617679424199066e+17,
|
||||
"train_batch_size": 1,
|
||||
"trial_name": null,
|
||||
"trial_params": null
|
||||
}
|
||||
Reference in New Issue
Block a user