463 lines
14 KiB
JSON
463 lines
14 KiB
JSON
{
|
|
"source": "assets/models/Llama-2-7b-chat-hf",
|
|
"upstream": "AIoT-MLSys-Lab/SVD-LLM",
|
|
"stage": "finetuned",
|
|
"ratio_removed": 0.5,
|
|
"internal_ratio_kept": 0.5,
|
|
"from_pt": "results/finetune_work/whiten_c50_base/second_half/merge.pt",
|
|
"mean_rel_err": 0.5750573837098533,
|
|
"max_rel_err": 0.686501681804657,
|
|
"param_fraction": 0.4998633824481865,
|
|
"ranks": {
|
|
"0.q_proj": 1024,
|
|
"0.k_proj": 1024,
|
|
"0.v_proj": 1024,
|
|
"0.o_proj": 1024,
|
|
"0.gate_proj": 1492,
|
|
"0.up_proj": 1492,
|
|
"0.down_proj": 1492,
|
|
"1.q_proj": 1024,
|
|
"1.k_proj": 1024,
|
|
"1.v_proj": 1024,
|
|
"1.o_proj": 1024,
|
|
"1.gate_proj": 1492,
|
|
"1.up_proj": 1492,
|
|
"1.down_proj": 1492,
|
|
"2.q_proj": 1024,
|
|
"2.k_proj": 1024,
|
|
"2.v_proj": 1024,
|
|
"2.o_proj": 1024,
|
|
"2.gate_proj": 1492,
|
|
"2.up_proj": 1492,
|
|
"2.down_proj": 1492,
|
|
"3.q_proj": 1024,
|
|
"3.k_proj": 1024,
|
|
"3.v_proj": 1024,
|
|
"3.o_proj": 1024,
|
|
"3.gate_proj": 1492,
|
|
"3.up_proj": 1492,
|
|
"3.down_proj": 1492,
|
|
"4.q_proj": 1024,
|
|
"4.k_proj": 1024,
|
|
"4.v_proj": 1024,
|
|
"4.o_proj": 1024,
|
|
"4.gate_proj": 1492,
|
|
"4.up_proj": 1492,
|
|
"4.down_proj": 1492,
|
|
"5.q_proj": 1024,
|
|
"5.k_proj": 1024,
|
|
"5.v_proj": 1024,
|
|
"5.o_proj": 1024,
|
|
"5.gate_proj": 1492,
|
|
"5.up_proj": 1492,
|
|
"5.down_proj": 1492,
|
|
"6.q_proj": 1024,
|
|
"6.k_proj": 1024,
|
|
"6.v_proj": 1024,
|
|
"6.o_proj": 1024,
|
|
"6.gate_proj": 1492,
|
|
"6.up_proj": 1492,
|
|
"6.down_proj": 1492,
|
|
"7.q_proj": 1024,
|
|
"7.k_proj": 1024,
|
|
"7.v_proj": 1024,
|
|
"7.o_proj": 1024,
|
|
"7.gate_proj": 1492,
|
|
"7.up_proj": 1492,
|
|
"7.down_proj": 1492,
|
|
"8.q_proj": 1024,
|
|
"8.k_proj": 1024,
|
|
"8.v_proj": 1024,
|
|
"8.o_proj": 1024,
|
|
"8.gate_proj": 1492,
|
|
"8.up_proj": 1492,
|
|
"8.down_proj": 1492,
|
|
"9.q_proj": 1024,
|
|
"9.k_proj": 1024,
|
|
"9.v_proj": 1024,
|
|
"9.o_proj": 1024,
|
|
"9.gate_proj": 1492,
|
|
"9.up_proj": 1492,
|
|
"9.down_proj": 1492,
|
|
"10.q_proj": 1024,
|
|
"10.k_proj": 1024,
|
|
"10.v_proj": 1024,
|
|
"10.o_proj": 1024,
|
|
"10.gate_proj": 1492,
|
|
"10.up_proj": 1492,
|
|
"10.down_proj": 1492,
|
|
"11.q_proj": 1024,
|
|
"11.k_proj": 1024,
|
|
"11.v_proj": 1024,
|
|
"11.o_proj": 1024,
|
|
"11.gate_proj": 1492,
|
|
"11.up_proj": 1492,
|
|
"11.down_proj": 1492,
|
|
"12.q_proj": 1024,
|
|
"12.k_proj": 1024,
|
|
"12.v_proj": 1024,
|
|
"12.o_proj": 1024,
|
|
"12.gate_proj": 1492,
|
|
"12.up_proj": 1492,
|
|
"12.down_proj": 1492,
|
|
"13.q_proj": 1024,
|
|
"13.k_proj": 1024,
|
|
"13.v_proj": 1024,
|
|
"13.o_proj": 1024,
|
|
"13.gate_proj": 1492,
|
|
"13.up_proj": 1492,
|
|
"13.down_proj": 1492,
|
|
"14.q_proj": 1024,
|
|
"14.k_proj": 1024,
|
|
"14.v_proj": 1024,
|
|
"14.o_proj": 1024,
|
|
"14.gate_proj": 1492,
|
|
"14.up_proj": 1492,
|
|
"14.down_proj": 1492,
|
|
"15.q_proj": 1024,
|
|
"15.k_proj": 1024,
|
|
"15.v_proj": 1024,
|
|
"15.o_proj": 1024,
|
|
"15.gate_proj": 1492,
|
|
"15.up_proj": 1492,
|
|
"15.down_proj": 1492,
|
|
"16.q_proj": 1024,
|
|
"16.k_proj": 1024,
|
|
"16.v_proj": 1024,
|
|
"16.o_proj": 1024,
|
|
"16.gate_proj": 1492,
|
|
"16.up_proj": 1492,
|
|
"16.down_proj": 1492,
|
|
"17.q_proj": 1024,
|
|
"17.k_proj": 1024,
|
|
"17.v_proj": 1024,
|
|
"17.o_proj": 1024,
|
|
"17.gate_proj": 1492,
|
|
"17.up_proj": 1492,
|
|
"17.down_proj": 1492,
|
|
"18.q_proj": 1024,
|
|
"18.k_proj": 1024,
|
|
"18.v_proj": 1024,
|
|
"18.o_proj": 1024,
|
|
"18.gate_proj": 1492,
|
|
"18.up_proj": 1492,
|
|
"18.down_proj": 1492,
|
|
"19.q_proj": 1024,
|
|
"19.k_proj": 1024,
|
|
"19.v_proj": 1024,
|
|
"19.o_proj": 1024,
|
|
"19.gate_proj": 1492,
|
|
"19.up_proj": 1492,
|
|
"19.down_proj": 1492,
|
|
"20.q_proj": 1024,
|
|
"20.k_proj": 1024,
|
|
"20.v_proj": 1024,
|
|
"20.o_proj": 1024,
|
|
"20.gate_proj": 1492,
|
|
"20.up_proj": 1492,
|
|
"20.down_proj": 1492,
|
|
"21.q_proj": 1024,
|
|
"21.k_proj": 1024,
|
|
"21.v_proj": 1024,
|
|
"21.o_proj": 1024,
|
|
"21.gate_proj": 1492,
|
|
"21.up_proj": 1492,
|
|
"21.down_proj": 1492,
|
|
"22.q_proj": 1024,
|
|
"22.k_proj": 1024,
|
|
"22.v_proj": 1024,
|
|
"22.o_proj": 1024,
|
|
"22.gate_proj": 1492,
|
|
"22.up_proj": 1492,
|
|
"22.down_proj": 1492,
|
|
"23.q_proj": 1024,
|
|
"23.k_proj": 1024,
|
|
"23.v_proj": 1024,
|
|
"23.o_proj": 1024,
|
|
"23.gate_proj": 1492,
|
|
"23.up_proj": 1492,
|
|
"23.down_proj": 1492,
|
|
"24.q_proj": 1024,
|
|
"24.k_proj": 1024,
|
|
"24.v_proj": 1024,
|
|
"24.o_proj": 1024,
|
|
"24.gate_proj": 1492,
|
|
"24.up_proj": 1492,
|
|
"24.down_proj": 1492,
|
|
"25.q_proj": 1024,
|
|
"25.k_proj": 1024,
|
|
"25.v_proj": 1024,
|
|
"25.o_proj": 1024,
|
|
"25.gate_proj": 1492,
|
|
"25.up_proj": 1492,
|
|
"25.down_proj": 1492,
|
|
"26.q_proj": 1024,
|
|
"26.k_proj": 1024,
|
|
"26.v_proj": 1024,
|
|
"26.o_proj": 1024,
|
|
"26.gate_proj": 1492,
|
|
"26.up_proj": 1492,
|
|
"26.down_proj": 1492,
|
|
"27.q_proj": 1024,
|
|
"27.k_proj": 1024,
|
|
"27.v_proj": 1024,
|
|
"27.o_proj": 1024,
|
|
"27.gate_proj": 1492,
|
|
"27.up_proj": 1492,
|
|
"27.down_proj": 1492,
|
|
"28.q_proj": 1024,
|
|
"28.k_proj": 1024,
|
|
"28.v_proj": 1024,
|
|
"28.o_proj": 1024,
|
|
"28.gate_proj": 1492,
|
|
"28.up_proj": 1492,
|
|
"28.down_proj": 1492,
|
|
"29.q_proj": 1024,
|
|
"29.k_proj": 1024,
|
|
"29.v_proj": 1024,
|
|
"29.o_proj": 1024,
|
|
"29.gate_proj": 1492,
|
|
"29.up_proj": 1492,
|
|
"29.down_proj": 1492,
|
|
"30.q_proj": 1024,
|
|
"30.k_proj": 1024,
|
|
"30.v_proj": 1024,
|
|
"30.o_proj": 1024,
|
|
"30.gate_proj": 1492,
|
|
"30.up_proj": 1492,
|
|
"30.down_proj": 1492,
|
|
"31.q_proj": 1024,
|
|
"31.k_proj": 1024,
|
|
"31.v_proj": 1024,
|
|
"31.o_proj": 1024,
|
|
"31.gate_proj": 1492,
|
|
"31.up_proj": 1492,
|
|
"31.down_proj": 1492
|
|
},
|
|
"rel_err": {
|
|
"0.q_proj": 0.06339597702026367,
|
|
"0.k_proj": 0.051788512617349625,
|
|
"0.v_proj": 0.42371636629104614,
|
|
"0.o_proj": 0.41212454438209534,
|
|
"0.gate_proj": 0.5087759494781494,
|
|
"0.up_proj": 0.5238518118858337,
|
|
"0.down_proj": 0.6017184853553772,
|
|
"1.q_proj": 0.1747252345085144,
|
|
"1.k_proj": 0.15538062155246735,
|
|
"1.v_proj": 0.5489592552185059,
|
|
"1.o_proj": 0.4870317578315735,
|
|
"1.gate_proj": 0.4889408051967621,
|
|
"1.up_proj": 0.5504010915756226,
|
|
"1.down_proj": 0.6387935876846313,
|
|
"2.q_proj": 0.3501449525356293,
|
|
"2.k_proj": 0.3365449607372284,
|
|
"2.v_proj": 0.5781197547912598,
|
|
"2.o_proj": 0.6331354379653931,
|
|
"2.gate_proj": 0.5539715886116028,
|
|
"2.up_proj": 0.5947128534317017,
|
|
"2.down_proj": 0.6484686732292175,
|
|
"3.q_proj": 0.4583231806755066,
|
|
"3.k_proj": 0.45939406752586365,
|
|
"3.v_proj": 0.597906231880188,
|
|
"3.o_proj": 0.6247151494026184,
|
|
"3.gate_proj": 0.6128569841384888,
|
|
"3.up_proj": 0.637220561504364,
|
|
"3.down_proj": 0.6131961345672607,
|
|
"4.q_proj": 0.44550585746765137,
|
|
"4.k_proj": 0.45130255818367004,
|
|
"4.v_proj": 0.5947636961936951,
|
|
"4.o_proj": 0.6285932660102844,
|
|
"4.gate_proj": 0.6124728322029114,
|
|
"4.up_proj": 0.6424497365951538,
|
|
"4.down_proj": 0.6175408959388733,
|
|
"5.q_proj": 0.4562740623950958,
|
|
"5.k_proj": 0.45622289180755615,
|
|
"5.v_proj": 0.5998163819313049,
|
|
"5.o_proj": 0.6324637532234192,
|
|
"5.gate_proj": 0.6079845428466797,
|
|
"5.up_proj": 0.643676221370697,
|
|
"5.down_proj": 0.6099181175231934,
|
|
"6.q_proj": 0.4395574629306793,
|
|
"6.k_proj": 0.44818660616874695,
|
|
"6.v_proj": 0.5829676985740662,
|
|
"6.o_proj": 0.6017737984657288,
|
|
"6.gate_proj": 0.602317214012146,
|
|
"6.up_proj": 0.6443465352058411,
|
|
"6.down_proj": 0.6091458797454834,
|
|
"7.q_proj": 0.446224570274353,
|
|
"7.k_proj": 0.4537293314933777,
|
|
"7.v_proj": 0.5758710503578186,
|
|
"7.o_proj": 0.6196238398551941,
|
|
"7.gate_proj": 0.5988972187042236,
|
|
"7.up_proj": 0.6434469819068909,
|
|
"7.down_proj": 0.6022639870643616,
|
|
"8.q_proj": 0.4575198292732239,
|
|
"8.k_proj": 0.4736517369747162,
|
|
"8.v_proj": 0.5606046319007874,
|
|
"8.o_proj": 0.6169793009757996,
|
|
"8.gate_proj": 0.5957967638969421,
|
|
"8.up_proj": 0.6377204060554504,
|
|
"8.down_proj": 0.5962902307510376,
|
|
"9.q_proj": 0.47408729791641235,
|
|
"9.k_proj": 0.481130450963974,
|
|
"9.v_proj": 0.5590428113937378,
|
|
"9.o_proj": 0.6166849136352539,
|
|
"9.gate_proj": 0.5916392803192139,
|
|
"9.up_proj": 0.6318592429161072,
|
|
"9.down_proj": 0.5948846936225891,
|
|
"10.q_proj": 0.4419406056404114,
|
|
"10.k_proj": 0.4553399682044983,
|
|
"10.v_proj": 0.5504108667373657,
|
|
"10.o_proj": 0.5854302048683167,
|
|
"10.gate_proj": 0.5866290330886841,
|
|
"10.up_proj": 0.6270039677619934,
|
|
"10.down_proj": 0.5910791754722595,
|
|
"11.q_proj": 0.4283030033111572,
|
|
"11.k_proj": 0.4428568482398987,
|
|
"11.v_proj": 0.5355836749076843,
|
|
"11.o_proj": 0.5728791952133179,
|
|
"11.gate_proj": 0.5872322916984558,
|
|
"11.up_proj": 0.6278210282325745,
|
|
"11.down_proj": 0.5977077484130859,
|
|
"12.q_proj": 0.47050389647483826,
|
|
"12.k_proj": 0.46849867701530457,
|
|
"12.v_proj": 0.557075560092926,
|
|
"12.o_proj": 0.6142312288284302,
|
|
"12.gate_proj": 0.5922195315361023,
|
|
"12.up_proj": 0.6280319690704346,
|
|
"12.down_proj": 0.5980020761489868,
|
|
"13.q_proj": 0.4763031005859375,
|
|
"13.k_proj": 0.49515169858932495,
|
|
"13.v_proj": 0.5883006453514099,
|
|
"13.o_proj": 0.603760838508606,
|
|
"13.gate_proj": 0.5953464508056641,
|
|
"13.up_proj": 0.6313929557800293,
|
|
"13.down_proj": 0.6096433401107788,
|
|
"14.q_proj": 0.4538552761077881,
|
|
"14.k_proj": 0.45872822403907776,
|
|
"14.v_proj": 0.5797743797302246,
|
|
"14.o_proj": 0.6001532673835754,
|
|
"14.gate_proj": 0.5953693985939026,
|
|
"14.up_proj": 0.630315363407135,
|
|
"14.down_proj": 0.6121386289596558,
|
|
"15.q_proj": 0.47746706008911133,
|
|
"15.k_proj": 0.47909191250801086,
|
|
"15.v_proj": 0.5853444337844849,
|
|
"15.o_proj": 0.6128330826759338,
|
|
"15.gate_proj": 0.5992795825004578,
|
|
"15.up_proj": 0.6339737772941589,
|
|
"15.down_proj": 0.6259041428565979,
|
|
"16.q_proj": 0.47363775968551636,
|
|
"16.k_proj": 0.4776168167591095,
|
|
"16.v_proj": 0.6148584485054016,
|
|
"16.o_proj": 0.6398190259933472,
|
|
"16.gate_proj": 0.598867654800415,
|
|
"16.up_proj": 0.6315382719039917,
|
|
"16.down_proj": 0.6396036148071289,
|
|
"17.q_proj": 0.5178808569908142,
|
|
"17.k_proj": 0.5150554180145264,
|
|
"17.v_proj": 0.6291505694389343,
|
|
"17.o_proj": 0.6505908966064453,
|
|
"17.gate_proj": 0.6018025875091553,
|
|
"17.up_proj": 0.6325559020042419,
|
|
"17.down_proj": 0.6378668546676636,
|
|
"18.q_proj": 0.5435341596603394,
|
|
"18.k_proj": 0.5485426783561707,
|
|
"18.v_proj": 0.6352964639663696,
|
|
"18.o_proj": 0.6738227009773254,
|
|
"18.gate_proj": 0.6109715104103088,
|
|
"18.up_proj": 0.6389135718345642,
|
|
"18.down_proj": 0.6377524137496948,
|
|
"19.q_proj": 0.526024580001831,
|
|
"19.k_proj": 0.5216816663742065,
|
|
"19.v_proj": 0.6182727813720703,
|
|
"19.o_proj": 0.6606184244155884,
|
|
"19.gate_proj": 0.6145877838134766,
|
|
"19.up_proj": 0.6393089294433594,
|
|
"19.down_proj": 0.6372564435005188,
|
|
"20.q_proj": 0.5171456336975098,
|
|
"20.k_proj": 0.5187228918075562,
|
|
"20.v_proj": 0.6332026720046997,
|
|
"20.o_proj": 0.6644935011863708,
|
|
"20.gate_proj": 0.6124739646911621,
|
|
"20.up_proj": 0.6361621618270874,
|
|
"20.down_proj": 0.6491537690162659,
|
|
"21.q_proj": 0.5329369902610779,
|
|
"21.k_proj": 0.5353891253471375,
|
|
"21.v_proj": 0.6254202127456665,
|
|
"21.o_proj": 0.6777098178863525,
|
|
"21.gate_proj": 0.6134871244430542,
|
|
"21.up_proj": 0.6358588337898254,
|
|
"21.down_proj": 0.6448138356208801,
|
|
"22.q_proj": 0.5456445813179016,
|
|
"22.k_proj": 0.5502216219902039,
|
|
"22.v_proj": 0.6367772817611694,
|
|
"22.o_proj": 0.6763941049575806,
|
|
"22.gate_proj": 0.6135678291320801,
|
|
"22.up_proj": 0.6350508332252502,
|
|
"22.down_proj": 0.6424651741981506,
|
|
"23.q_proj": 0.5777832269668579,
|
|
"23.k_proj": 0.5771337747573853,
|
|
"23.v_proj": 0.635479211807251,
|
|
"23.o_proj": 0.6672163605690002,
|
|
"23.gate_proj": 0.6174303293228149,
|
|
"23.up_proj": 0.6372541785240173,
|
|
"23.down_proj": 0.6342318058013916,
|
|
"24.q_proj": 0.524480402469635,
|
|
"24.k_proj": 0.5286597013473511,
|
|
"24.v_proj": 0.6271340847015381,
|
|
"24.o_proj": 0.6721757650375366,
|
|
"24.gate_proj": 0.6187371611595154,
|
|
"24.up_proj": 0.6384084224700928,
|
|
"24.down_proj": 0.626446008682251,
|
|
"25.q_proj": 0.5664876699447632,
|
|
"25.k_proj": 0.5744448900222778,
|
|
"25.v_proj": 0.6365390419960022,
|
|
"25.o_proj": 0.6641441583633423,
|
|
"25.gate_proj": 0.6222891807556152,
|
|
"25.up_proj": 0.6407289505004883,
|
|
"25.down_proj": 0.6186909675598145,
|
|
"26.q_proj": 0.535093367099762,
|
|
"26.k_proj": 0.5446568131446838,
|
|
"26.v_proj": 0.6247955560684204,
|
|
"26.o_proj": 0.686501681804657,
|
|
"26.gate_proj": 0.6242751479148865,
|
|
"26.up_proj": 0.6427627205848694,
|
|
"26.down_proj": 0.6165903806686401,
|
|
"27.q_proj": 0.5849058628082275,
|
|
"27.k_proj": 0.5929216146469116,
|
|
"27.v_proj": 0.6465684175491333,
|
|
"27.o_proj": 0.6664767861366272,
|
|
"27.gate_proj": 0.6273348331451416,
|
|
"27.up_proj": 0.6445371508598328,
|
|
"27.down_proj": 0.6144081354141235,
|
|
"28.q_proj": 0.5661926865577698,
|
|
"28.k_proj": 0.5770744681358337,
|
|
"28.v_proj": 0.6427121758460999,
|
|
"28.o_proj": 0.6615889072418213,
|
|
"28.gate_proj": 0.6270653009414673,
|
|
"28.up_proj": 0.6430136561393738,
|
|
"28.down_proj": 0.6238735914230347,
|
|
"29.q_proj": 0.5309268236160278,
|
|
"29.k_proj": 0.539804220199585,
|
|
"29.v_proj": 0.6344519853591919,
|
|
"29.o_proj": 0.6663543581962585,
|
|
"29.gate_proj": 0.6259669065475464,
|
|
"29.up_proj": 0.6388739347457886,
|
|
"29.down_proj": 0.6318491697311401,
|
|
"30.q_proj": 0.5648468136787415,
|
|
"30.k_proj": 0.5732375383377075,
|
|
"30.v_proj": 0.6479008197784424,
|
|
"30.o_proj": 0.6720805764198303,
|
|
"30.gate_proj": 0.6195154190063477,
|
|
"30.up_proj": 0.6266371011734009,
|
|
"30.down_proj": 0.6424397826194763,
|
|
"31.q_proj": 0.5023208856582642,
|
|
"31.k_proj": 0.5112069249153137,
|
|
"31.v_proj": 0.6290717720985413,
|
|
"31.o_proj": 0.6422039270401001,
|
|
"31.gate_proj": 0.6096982955932617,
|
|
"31.up_proj": 0.6124635338783264,
|
|
"31.down_proj": 0.6407866477966309
|
|
}
|
|
} |