950 lines
25 KiB
JSON
950 lines
25 KiB
JSON
{
|
|
"source": "assets/models/Llama-2-7b-chat-hf",
|
|
"mode": "whiten",
|
|
"ratio": 0.5,
|
|
"n_calib": 256,
|
|
"seqlen": 2048,
|
|
"seed": 42,
|
|
"mean_rel_err": 0.5792436810443178,
|
|
"max_rel_err": 0.6921740174293518,
|
|
"ranks": {
|
|
"0.q_proj": 1024,
|
|
"0.k_proj": 1024,
|
|
"0.v_proj": 1024,
|
|
"0.o_proj": 1024,
|
|
"0.gate_proj": 1492,
|
|
"0.up_proj": 1492,
|
|
"0.down_proj": 1492,
|
|
"1.q_proj": 1024,
|
|
"1.k_proj": 1024,
|
|
"1.v_proj": 1024,
|
|
"1.o_proj": 1024,
|
|
"1.gate_proj": 1492,
|
|
"1.up_proj": 1492,
|
|
"1.down_proj": 1492,
|
|
"2.q_proj": 1024,
|
|
"2.k_proj": 1024,
|
|
"2.v_proj": 1024,
|
|
"2.o_proj": 1024,
|
|
"2.gate_proj": 1492,
|
|
"2.up_proj": 1492,
|
|
"2.down_proj": 1492,
|
|
"3.q_proj": 1024,
|
|
"3.k_proj": 1024,
|
|
"3.v_proj": 1024,
|
|
"3.o_proj": 1024,
|
|
"3.gate_proj": 1492,
|
|
"3.up_proj": 1492,
|
|
"3.down_proj": 1492,
|
|
"4.q_proj": 1024,
|
|
"4.k_proj": 1024,
|
|
"4.v_proj": 1024,
|
|
"4.o_proj": 1024,
|
|
"4.gate_proj": 1492,
|
|
"4.up_proj": 1492,
|
|
"4.down_proj": 1492,
|
|
"5.q_proj": 1024,
|
|
"5.k_proj": 1024,
|
|
"5.v_proj": 1024,
|
|
"5.o_proj": 1024,
|
|
"5.gate_proj": 1492,
|
|
"5.up_proj": 1492,
|
|
"5.down_proj": 1492,
|
|
"6.q_proj": 1024,
|
|
"6.k_proj": 1024,
|
|
"6.v_proj": 1024,
|
|
"6.o_proj": 1024,
|
|
"6.gate_proj": 1492,
|
|
"6.up_proj": 1492,
|
|
"6.down_proj": 1492,
|
|
"7.q_proj": 1024,
|
|
"7.k_proj": 1024,
|
|
"7.v_proj": 1024,
|
|
"7.o_proj": 1024,
|
|
"7.gate_proj": 1492,
|
|
"7.up_proj": 1492,
|
|
"7.down_proj": 1492,
|
|
"8.q_proj": 1024,
|
|
"8.k_proj": 1024,
|
|
"8.v_proj": 1024,
|
|
"8.o_proj": 1024,
|
|
"8.gate_proj": 1492,
|
|
"8.up_proj": 1492,
|
|
"8.down_proj": 1492,
|
|
"9.q_proj": 1024,
|
|
"9.k_proj": 1024,
|
|
"9.v_proj": 1024,
|
|
"9.o_proj": 1024,
|
|
"9.gate_proj": 1492,
|
|
"9.up_proj": 1492,
|
|
"9.down_proj": 1492,
|
|
"10.q_proj": 1024,
|
|
"10.k_proj": 1024,
|
|
"10.v_proj": 1024,
|
|
"10.o_proj": 1024,
|
|
"10.gate_proj": 1492,
|
|
"10.up_proj": 1492,
|
|
"10.down_proj": 1492,
|
|
"11.q_proj": 1024,
|
|
"11.k_proj": 1024,
|
|
"11.v_proj": 1024,
|
|
"11.o_proj": 1024,
|
|
"11.gate_proj": 1492,
|
|
"11.up_proj": 1492,
|
|
"11.down_proj": 1492,
|
|
"12.q_proj": 1024,
|
|
"12.k_proj": 1024,
|
|
"12.v_proj": 1024,
|
|
"12.o_proj": 1024,
|
|
"12.gate_proj": 1492,
|
|
"12.up_proj": 1492,
|
|
"12.down_proj": 1492,
|
|
"13.q_proj": 1024,
|
|
"13.k_proj": 1024,
|
|
"13.v_proj": 1024,
|
|
"13.o_proj": 1024,
|
|
"13.gate_proj": 1492,
|
|
"13.up_proj": 1492,
|
|
"13.down_proj": 1492,
|
|
"14.q_proj": 1024,
|
|
"14.k_proj": 1024,
|
|
"14.v_proj": 1024,
|
|
"14.o_proj": 1024,
|
|
"14.gate_proj": 1492,
|
|
"14.up_proj": 1492,
|
|
"14.down_proj": 1492,
|
|
"15.q_proj": 1024,
|
|
"15.k_proj": 1024,
|
|
"15.v_proj": 1024,
|
|
"15.o_proj": 1024,
|
|
"15.gate_proj": 1492,
|
|
"15.up_proj": 1492,
|
|
"15.down_proj": 1492,
|
|
"16.q_proj": 1024,
|
|
"16.k_proj": 1024,
|
|
"16.v_proj": 1024,
|
|
"16.o_proj": 1024,
|
|
"16.gate_proj": 1492,
|
|
"16.up_proj": 1492,
|
|
"16.down_proj": 1492,
|
|
"17.q_proj": 1024,
|
|
"17.k_proj": 1024,
|
|
"17.v_proj": 1024,
|
|
"17.o_proj": 1024,
|
|
"17.gate_proj": 1492,
|
|
"17.up_proj": 1492,
|
|
"17.down_proj": 1492,
|
|
"18.q_proj": 1024,
|
|
"18.k_proj": 1024,
|
|
"18.v_proj": 1024,
|
|
"18.o_proj": 1024,
|
|
"18.gate_proj": 1492,
|
|
"18.up_proj": 1492,
|
|
"18.down_proj": 1492,
|
|
"19.q_proj": 1024,
|
|
"19.k_proj": 1024,
|
|
"19.v_proj": 1024,
|
|
"19.o_proj": 1024,
|
|
"19.gate_proj": 1492,
|
|
"19.up_proj": 1492,
|
|
"19.down_proj": 1492,
|
|
"20.q_proj": 1024,
|
|
"20.k_proj": 1024,
|
|
"20.v_proj": 1024,
|
|
"20.o_proj": 1024,
|
|
"20.gate_proj": 1492,
|
|
"20.up_proj": 1492,
|
|
"20.down_proj": 1492,
|
|
"21.q_proj": 1024,
|
|
"21.k_proj": 1024,
|
|
"21.v_proj": 1024,
|
|
"21.o_proj": 1024,
|
|
"21.gate_proj": 1492,
|
|
"21.up_proj": 1492,
|
|
"21.down_proj": 1492,
|
|
"22.q_proj": 1024,
|
|
"22.k_proj": 1024,
|
|
"22.v_proj": 1024,
|
|
"22.o_proj": 1024,
|
|
"22.gate_proj": 1492,
|
|
"22.up_proj": 1492,
|
|
"22.down_proj": 1492,
|
|
"23.q_proj": 1024,
|
|
"23.k_proj": 1024,
|
|
"23.v_proj": 1024,
|
|
"23.o_proj": 1024,
|
|
"23.gate_proj": 1492,
|
|
"23.up_proj": 1492,
|
|
"23.down_proj": 1492,
|
|
"24.q_proj": 1024,
|
|
"24.k_proj": 1024,
|
|
"24.v_proj": 1024,
|
|
"24.o_proj": 1024,
|
|
"24.gate_proj": 1492,
|
|
"24.up_proj": 1492,
|
|
"24.down_proj": 1492,
|
|
"25.q_proj": 1024,
|
|
"25.k_proj": 1024,
|
|
"25.v_proj": 1024,
|
|
"25.o_proj": 1024,
|
|
"25.gate_proj": 1492,
|
|
"25.up_proj": 1492,
|
|
"25.down_proj": 1492,
|
|
"26.q_proj": 1024,
|
|
"26.k_proj": 1024,
|
|
"26.v_proj": 1024,
|
|
"26.o_proj": 1024,
|
|
"26.gate_proj": 1492,
|
|
"26.up_proj": 1492,
|
|
"26.down_proj": 1492,
|
|
"27.q_proj": 1024,
|
|
"27.k_proj": 1024,
|
|
"27.v_proj": 1024,
|
|
"27.o_proj": 1024,
|
|
"27.gate_proj": 1492,
|
|
"27.up_proj": 1492,
|
|
"27.down_proj": 1492,
|
|
"28.q_proj": 1024,
|
|
"28.k_proj": 1024,
|
|
"28.v_proj": 1024,
|
|
"28.o_proj": 1024,
|
|
"28.gate_proj": 1492,
|
|
"28.up_proj": 1492,
|
|
"28.down_proj": 1492,
|
|
"29.q_proj": 1024,
|
|
"29.k_proj": 1024,
|
|
"29.v_proj": 1024,
|
|
"29.o_proj": 1024,
|
|
"29.gate_proj": 1492,
|
|
"29.up_proj": 1492,
|
|
"29.down_proj": 1492,
|
|
"30.q_proj": 1024,
|
|
"30.k_proj": 1024,
|
|
"30.v_proj": 1024,
|
|
"30.o_proj": 1024,
|
|
"30.gate_proj": 1492,
|
|
"30.up_proj": 1492,
|
|
"30.down_proj": 1492,
|
|
"31.q_proj": 1024,
|
|
"31.k_proj": 1024,
|
|
"31.v_proj": 1024,
|
|
"31.o_proj": 1024,
|
|
"31.gate_proj": 1492,
|
|
"31.up_proj": 1492,
|
|
"31.down_proj": 1492
|
|
},
|
|
"rel_err": {
|
|
"0.q_proj": 0.05769937112927437,
|
|
"0.k_proj": 0.047808937728405,
|
|
"0.v_proj": 0.427943617105484,
|
|
"0.o_proj": 0.41673558950424194,
|
|
"0.gate_proj": 0.5067732334136963,
|
|
"0.up_proj": 0.5232537984848022,
|
|
"0.down_proj": 0.604371190071106,
|
|
"1.q_proj": 0.17739346623420715,
|
|
"1.k_proj": 0.15831178426742554,
|
|
"1.v_proj": 0.5532206296920776,
|
|
"1.o_proj": 0.4949154555797577,
|
|
"1.gate_proj": 0.48843246698379517,
|
|
"1.up_proj": 0.5504775047302246,
|
|
"1.down_proj": 0.6416736841201782,
|
|
"2.q_proj": 0.3565242290496826,
|
|
"2.k_proj": 0.3424888253211975,
|
|
"2.v_proj": 0.5830509066581726,
|
|
"2.o_proj": 0.6389601230621338,
|
|
"2.gate_proj": 0.5548862814903259,
|
|
"2.up_proj": 0.5957625508308411,
|
|
"2.down_proj": 0.6517425775527954,
|
|
"3.q_proj": 0.46427756547927856,
|
|
"3.k_proj": 0.4655560851097107,
|
|
"3.v_proj": 0.6032666563987732,
|
|
"3.o_proj": 0.6305360794067383,
|
|
"3.gate_proj": 0.6144474148750305,
|
|
"3.up_proj": 0.6386860013008118,
|
|
"3.down_proj": 0.6166738271713257,
|
|
"4.q_proj": 0.45175209641456604,
|
|
"4.k_proj": 0.4575350880622864,
|
|
"4.v_proj": 0.6001487374305725,
|
|
"4.o_proj": 0.6342623233795166,
|
|
"4.gate_proj": 0.6139175891876221,
|
|
"4.up_proj": 0.643980860710144,
|
|
"4.down_proj": 0.6208949685096741,
|
|
"5.q_proj": 0.4625576138496399,
|
|
"5.k_proj": 0.46231237053871155,
|
|
"5.v_proj": 0.6053153276443481,
|
|
"5.o_proj": 0.6382533311843872,
|
|
"5.gate_proj": 0.6095349788665771,
|
|
"5.up_proj": 0.6452403664588928,
|
|
"5.down_proj": 0.6136403679847717,
|
|
"6.q_proj": 0.44548913836479187,
|
|
"6.k_proj": 0.4539547264575958,
|
|
"6.v_proj": 0.5887508392333984,
|
|
"6.o_proj": 0.6078174710273743,
|
|
"6.gate_proj": 0.6037630438804626,
|
|
"6.up_proj": 0.6460673809051514,
|
|
"6.down_proj": 0.6128416061401367,
|
|
"7.q_proj": 0.4522470235824585,
|
|
"7.k_proj": 0.4596460461616516,
|
|
"7.v_proj": 0.5818858742713928,
|
|
"7.o_proj": 0.6255341172218323,
|
|
"7.gate_proj": 0.6004756689071655,
|
|
"7.up_proj": 0.6453012228012085,
|
|
"7.down_proj": 0.6059683561325073,
|
|
"8.q_proj": 0.4636037051677704,
|
|
"8.k_proj": 0.47978270053863525,
|
|
"8.v_proj": 0.566551923751831,
|
|
"8.o_proj": 0.6229512691497803,
|
|
"8.gate_proj": 0.5973649621009827,
|
|
"8.up_proj": 0.639369547367096,
|
|
"8.down_proj": 0.5999562740325928,
|
|
"9.q_proj": 0.48022907972335815,
|
|
"9.k_proj": 0.48718321323394775,
|
|
"9.v_proj": 0.5652837753295898,
|
|
"9.o_proj": 0.6224147081375122,
|
|
"9.gate_proj": 0.593390166759491,
|
|
"9.up_proj": 0.6335955262184143,
|
|
"9.down_proj": 0.5985516905784607,
|
|
"10.q_proj": 0.4480782747268677,
|
|
"10.k_proj": 0.4614519774913788,
|
|
"10.v_proj": 0.5565057992935181,
|
|
"10.o_proj": 0.592063844203949,
|
|
"10.gate_proj": 0.5882455110549927,
|
|
"10.up_proj": 0.628626823425293,
|
|
"10.down_proj": 0.5947564244270325,
|
|
"11.q_proj": 0.4341798722743988,
|
|
"11.k_proj": 0.4486837089061737,
|
|
"11.v_proj": 0.5418497920036316,
|
|
"11.o_proj": 0.5792732834815979,
|
|
"11.gate_proj": 0.5890514254570007,
|
|
"11.up_proj": 0.629668116569519,
|
|
"11.down_proj": 0.6014276742935181,
|
|
"12.q_proj": 0.47654610872268677,
|
|
"12.k_proj": 0.4743719696998596,
|
|
"12.v_proj": 0.5636419057846069,
|
|
"12.o_proj": 0.6202394366264343,
|
|
"12.gate_proj": 0.5939028263092041,
|
|
"12.up_proj": 0.6299121379852295,
|
|
"12.down_proj": 0.6017134785652161,
|
|
"13.q_proj": 0.48215892910957336,
|
|
"13.k_proj": 0.5009908080101013,
|
|
"13.v_proj": 0.5945677757263184,
|
|
"13.o_proj": 0.6096222400665283,
|
|
"13.gate_proj": 0.5972427129745483,
|
|
"13.up_proj": 0.6332555413246155,
|
|
"13.down_proj": 0.6132445931434631,
|
|
"14.q_proj": 0.45941370725631714,
|
|
"14.k_proj": 0.46419230103492737,
|
|
"14.v_proj": 0.5863044261932373,
|
|
"14.o_proj": 0.6061151623725891,
|
|
"14.gate_proj": 0.5972149968147278,
|
|
"14.up_proj": 0.6323564648628235,
|
|
"14.down_proj": 0.615725576877594,
|
|
"15.q_proj": 0.4832462668418884,
|
|
"15.k_proj": 0.48472484946250916,
|
|
"15.v_proj": 0.5916013717651367,
|
|
"15.o_proj": 0.6190258264541626,
|
|
"15.gate_proj": 0.6013548970222473,
|
|
"15.up_proj": 0.6359806060791016,
|
|
"15.down_proj": 0.6293799877166748,
|
|
"16.q_proj": 0.47923779487609863,
|
|
"16.k_proj": 0.48320630192756653,
|
|
"16.v_proj": 0.6210351586341858,
|
|
"16.o_proj": 0.6456837058067322,
|
|
"16.gate_proj": 0.6008793711662292,
|
|
"16.up_proj": 0.6336478590965271,
|
|
"16.down_proj": 0.6431168913841248,
|
|
"17.q_proj": 0.5236452221870422,
|
|
"17.k_proj": 0.5207966566085815,
|
|
"17.v_proj": 0.6351791024208069,
|
|
"17.o_proj": 0.6563302874565125,
|
|
"17.gate_proj": 0.6036586761474609,
|
|
"17.up_proj": 0.6346953511238098,
|
|
"17.down_proj": 0.6416680812835693,
|
|
"18.q_proj": 0.5494354963302612,
|
|
"18.k_proj": 0.554282009601593,
|
|
"18.v_proj": 0.6410014033317566,
|
|
"18.o_proj": 0.6792720556259155,
|
|
"18.gate_proj": 0.6128316521644592,
|
|
"18.up_proj": 0.6409561038017273,
|
|
"18.down_proj": 0.6414557099342346,
|
|
"19.q_proj": 0.5319709181785583,
|
|
"19.k_proj": 0.5275551676750183,
|
|
"19.v_proj": 0.6243680715560913,
|
|
"19.o_proj": 0.6662986278533936,
|
|
"19.gate_proj": 0.6163444519042969,
|
|
"19.up_proj": 0.6413729786872864,
|
|
"19.down_proj": 0.6408738493919373,
|
|
"20.q_proj": 0.5230526924133301,
|
|
"20.k_proj": 0.5245659947395325,
|
|
"20.v_proj": 0.6390413045883179,
|
|
"20.o_proj": 0.6702874898910522,
|
|
"20.gate_proj": 0.6140459775924683,
|
|
"20.up_proj": 0.6380748152732849,
|
|
"20.down_proj": 0.6527314186096191,
|
|
"21.q_proj": 0.5392142534255981,
|
|
"21.k_proj": 0.5416405200958252,
|
|
"21.v_proj": 0.6314095854759216,
|
|
"21.o_proj": 0.6838170289993286,
|
|
"21.gate_proj": 0.6148637533187866,
|
|
"21.up_proj": 0.6375144720077515,
|
|
"21.down_proj": 0.648651659488678,
|
|
"22.q_proj": 0.5520046353340149,
|
|
"22.k_proj": 0.5564181804656982,
|
|
"22.v_proj": 0.6422911882400513,
|
|
"22.o_proj": 0.6824765801429749,
|
|
"22.gate_proj": 0.6147446036338806,
|
|
"22.up_proj": 0.6365706920623779,
|
|
"22.down_proj": 0.6464871764183044,
|
|
"23.q_proj": 0.5840444564819336,
|
|
"23.k_proj": 0.5833925604820251,
|
|
"23.v_proj": 0.6412898302078247,
|
|
"23.o_proj": 0.6730542778968811,
|
|
"23.gate_proj": 0.6184529662132263,
|
|
"23.up_proj": 0.6387767195701599,
|
|
"23.down_proj": 0.6384743452072144,
|
|
"24.q_proj": 0.5310503244400024,
|
|
"24.k_proj": 0.5351763367652893,
|
|
"24.v_proj": 0.632888674736023,
|
|
"24.o_proj": 0.6783875823020935,
|
|
"24.gate_proj": 0.619727611541748,
|
|
"24.up_proj": 0.6398121118545532,
|
|
"24.down_proj": 0.6306789517402649,
|
|
"25.q_proj": 0.5727322101593018,
|
|
"25.k_proj": 0.5806859135627747,
|
|
"25.v_proj": 0.642765998840332,
|
|
"25.o_proj": 0.6703159809112549,
|
|
"25.gate_proj": 0.6231984496116638,
|
|
"25.up_proj": 0.6421256065368652,
|
|
"25.down_proj": 0.6229620575904846,
|
|
"26.q_proj": 0.5413748621940613,
|
|
"26.k_proj": 0.5505799055099487,
|
|
"26.v_proj": 0.6306414008140564,
|
|
"26.o_proj": 0.6921740174293518,
|
|
"26.gate_proj": 0.6250109076499939,
|
|
"26.up_proj": 0.6441491842269897,
|
|
"26.down_proj": 0.6207887530326843,
|
|
"27.q_proj": 0.5909910798072815,
|
|
"27.k_proj": 0.5989500880241394,
|
|
"27.v_proj": 0.6525365114212036,
|
|
"27.o_proj": 0.672315776348114,
|
|
"27.gate_proj": 0.6280888915061951,
|
|
"27.up_proj": 0.645860493183136,
|
|
"27.down_proj": 0.6186691522598267,
|
|
"28.q_proj": 0.5723811984062195,
|
|
"28.k_proj": 0.5830606818199158,
|
|
"28.v_proj": 0.6485356688499451,
|
|
"28.o_proj": 0.6675055027008057,
|
|
"28.gate_proj": 0.6278098821640015,
|
|
"28.up_proj": 0.6443440914154053,
|
|
"28.down_proj": 0.6280205845832825,
|
|
"29.q_proj": 0.5368900895118713,
|
|
"29.k_proj": 0.5456066727638245,
|
|
"29.v_proj": 0.640651285648346,
|
|
"29.o_proj": 0.6724610924720764,
|
|
"29.gate_proj": 0.6267780065536499,
|
|
"29.up_proj": 0.6401740312576294,
|
|
"29.down_proj": 0.6357823014259338,
|
|
"30.q_proj": 0.5707216858863831,
|
|
"30.k_proj": 0.5789467692375183,
|
|
"30.v_proj": 0.6536555886268616,
|
|
"30.o_proj": 0.6780925393104553,
|
|
"30.gate_proj": 0.6202242970466614,
|
|
"30.up_proj": 0.6278704404830933,
|
|
"30.down_proj": 0.6461607813835144,
|
|
"31.q_proj": 0.5075325965881348,
|
|
"31.k_proj": 0.5166562795639038,
|
|
"31.v_proj": 0.6351465582847595,
|
|
"31.o_proj": 0.6478272676467896,
|
|
"31.gate_proj": 0.6103813052177429,
|
|
"31.up_proj": 0.6136435270309448,
|
|
"31.down_proj": 0.6438004970550537
|
|
},
|
|
"protection": {
|
|
"basis": "results/delta_basis/llama2_7b_k256.pt",
|
|
"k": 32,
|
|
"side": "auto",
|
|
"mode": "protect",
|
|
"base_model": null,
|
|
"basis_meta": {
|
|
"chat": "assets/models/Llama-2-7b-chat-hf",
|
|
"base": "assets/models/Llama-2-7b-hf",
|
|
"k_max": 256,
|
|
"oversample": 16,
|
|
"niter": 8,
|
|
"modules": [
|
|
"q_proj",
|
|
"k_proj",
|
|
"v_proj",
|
|
"o_proj",
|
|
"gate_proj",
|
|
"up_proj",
|
|
"down_proj"
|
|
],
|
|
"whitened": false,
|
|
"energy_ks": [
|
|
1,
|
|
4,
|
|
16,
|
|
64
|
|
]
|
|
},
|
|
"n_protected": 224,
|
|
"mean_leak": 9.468904075049522e-06,
|
|
"max_leak": 0.00024165475042536855,
|
|
"max_protect_err": 8.391747542191297e-06,
|
|
"reserved": {
|
|
"0.q_proj": 32,
|
|
"0.k_proj": 32,
|
|
"0.v_proj": 32,
|
|
"0.o_proj": 32,
|
|
"0.gate_proj": 32,
|
|
"0.up_proj": 32,
|
|
"0.down_proj": 32,
|
|
"1.q_proj": 32,
|
|
"1.k_proj": 32,
|
|
"1.v_proj": 32,
|
|
"1.o_proj": 32,
|
|
"1.gate_proj": 32,
|
|
"1.up_proj": 32,
|
|
"1.down_proj": 32,
|
|
"2.q_proj": 32,
|
|
"2.k_proj": 32,
|
|
"2.v_proj": 32,
|
|
"2.o_proj": 32,
|
|
"2.gate_proj": 32,
|
|
"2.up_proj": 32,
|
|
"2.down_proj": 32,
|
|
"3.q_proj": 32,
|
|
"3.k_proj": 32,
|
|
"3.v_proj": 32,
|
|
"3.o_proj": 32,
|
|
"3.gate_proj": 32,
|
|
"3.up_proj": 32,
|
|
"3.down_proj": 32,
|
|
"4.q_proj": 32,
|
|
"4.k_proj": 32,
|
|
"4.v_proj": 32,
|
|
"4.o_proj": 32,
|
|
"4.gate_proj": 32,
|
|
"4.up_proj": 32,
|
|
"4.down_proj": 32,
|
|
"5.q_proj": 32,
|
|
"5.k_proj": 32,
|
|
"5.v_proj": 32,
|
|
"5.o_proj": 32,
|
|
"5.gate_proj": 32,
|
|
"5.up_proj": 32,
|
|
"5.down_proj": 32,
|
|
"6.q_proj": 32,
|
|
"6.k_proj": 32,
|
|
"6.v_proj": 32,
|
|
"6.o_proj": 32,
|
|
"6.gate_proj": 32,
|
|
"6.up_proj": 32,
|
|
"6.down_proj": 32,
|
|
"7.q_proj": 32,
|
|
"7.k_proj": 32,
|
|
"7.v_proj": 32,
|
|
"7.o_proj": 32,
|
|
"7.gate_proj": 32,
|
|
"7.up_proj": 32,
|
|
"7.down_proj": 32,
|
|
"8.q_proj": 32,
|
|
"8.k_proj": 32,
|
|
"8.v_proj": 32,
|
|
"8.o_proj": 32,
|
|
"8.gate_proj": 32,
|
|
"8.up_proj": 32,
|
|
"8.down_proj": 32,
|
|
"9.q_proj": 32,
|
|
"9.k_proj": 32,
|
|
"9.v_proj": 32,
|
|
"9.o_proj": 32,
|
|
"9.gate_proj": 32,
|
|
"9.up_proj": 32,
|
|
"9.down_proj": 32,
|
|
"10.q_proj": 32,
|
|
"10.k_proj": 32,
|
|
"10.v_proj": 32,
|
|
"10.o_proj": 32,
|
|
"10.gate_proj": 32,
|
|
"10.up_proj": 32,
|
|
"10.down_proj": 32,
|
|
"11.q_proj": 32,
|
|
"11.k_proj": 32,
|
|
"11.v_proj": 32,
|
|
"11.o_proj": 32,
|
|
"11.gate_proj": 32,
|
|
"11.up_proj": 32,
|
|
"11.down_proj": 32,
|
|
"12.q_proj": 32,
|
|
"12.k_proj": 32,
|
|
"12.v_proj": 32,
|
|
"12.o_proj": 32,
|
|
"12.gate_proj": 32,
|
|
"12.up_proj": 32,
|
|
"12.down_proj": 32,
|
|
"13.q_proj": 32,
|
|
"13.k_proj": 32,
|
|
"13.v_proj": 32,
|
|
"13.o_proj": 32,
|
|
"13.gate_proj": 32,
|
|
"13.up_proj": 32,
|
|
"13.down_proj": 32,
|
|
"14.q_proj": 32,
|
|
"14.k_proj": 32,
|
|
"14.v_proj": 32,
|
|
"14.o_proj": 32,
|
|
"14.gate_proj": 32,
|
|
"14.up_proj": 32,
|
|
"14.down_proj": 32,
|
|
"15.q_proj": 32,
|
|
"15.k_proj": 32,
|
|
"15.v_proj": 32,
|
|
"15.o_proj": 32,
|
|
"15.gate_proj": 32,
|
|
"15.up_proj": 32,
|
|
"15.down_proj": 32,
|
|
"16.q_proj": 32,
|
|
"16.k_proj": 32,
|
|
"16.v_proj": 32,
|
|
"16.o_proj": 32,
|
|
"16.gate_proj": 32,
|
|
"16.up_proj": 32,
|
|
"16.down_proj": 32,
|
|
"17.q_proj": 32,
|
|
"17.k_proj": 32,
|
|
"17.v_proj": 32,
|
|
"17.o_proj": 32,
|
|
"17.gate_proj": 32,
|
|
"17.up_proj": 32,
|
|
"17.down_proj": 32,
|
|
"18.q_proj": 32,
|
|
"18.k_proj": 32,
|
|
"18.v_proj": 32,
|
|
"18.o_proj": 32,
|
|
"18.gate_proj": 32,
|
|
"18.up_proj": 32,
|
|
"18.down_proj": 32,
|
|
"19.q_proj": 32,
|
|
"19.k_proj": 32,
|
|
"19.v_proj": 32,
|
|
"19.o_proj": 32,
|
|
"19.gate_proj": 32,
|
|
"19.up_proj": 32,
|
|
"19.down_proj": 32,
|
|
"20.q_proj": 32,
|
|
"20.k_proj": 32,
|
|
"20.v_proj": 32,
|
|
"20.o_proj": 32,
|
|
"20.gate_proj": 32,
|
|
"20.up_proj": 32,
|
|
"20.down_proj": 32,
|
|
"21.q_proj": 32,
|
|
"21.k_proj": 32,
|
|
"21.v_proj": 32,
|
|
"21.o_proj": 32,
|
|
"21.gate_proj": 32,
|
|
"21.up_proj": 32,
|
|
"21.down_proj": 32,
|
|
"22.q_proj": 32,
|
|
"22.k_proj": 32,
|
|
"22.v_proj": 32,
|
|
"22.o_proj": 32,
|
|
"22.gate_proj": 32,
|
|
"22.up_proj": 32,
|
|
"22.down_proj": 32,
|
|
"23.q_proj": 32,
|
|
"23.k_proj": 32,
|
|
"23.v_proj": 32,
|
|
"23.o_proj": 32,
|
|
"23.gate_proj": 32,
|
|
"23.up_proj": 32,
|
|
"23.down_proj": 32,
|
|
"24.q_proj": 32,
|
|
"24.k_proj": 32,
|
|
"24.v_proj": 32,
|
|
"24.o_proj": 32,
|
|
"24.gate_proj": 32,
|
|
"24.up_proj": 32,
|
|
"24.down_proj": 32,
|
|
"25.q_proj": 32,
|
|
"25.k_proj": 32,
|
|
"25.v_proj": 32,
|
|
"25.o_proj": 32,
|
|
"25.gate_proj": 32,
|
|
"25.up_proj": 32,
|
|
"25.down_proj": 32,
|
|
"26.q_proj": 32,
|
|
"26.k_proj": 32,
|
|
"26.v_proj": 32,
|
|
"26.o_proj": 32,
|
|
"26.gate_proj": 32,
|
|
"26.up_proj": 32,
|
|
"26.down_proj": 32,
|
|
"27.q_proj": 32,
|
|
"27.k_proj": 32,
|
|
"27.v_proj": 32,
|
|
"27.o_proj": 32,
|
|
"27.gate_proj": 32,
|
|
"27.up_proj": 32,
|
|
"27.down_proj": 32,
|
|
"28.q_proj": 32,
|
|
"28.k_proj": 32,
|
|
"28.v_proj": 32,
|
|
"28.o_proj": 32,
|
|
"28.gate_proj": 32,
|
|
"28.up_proj": 32,
|
|
"28.down_proj": 32,
|
|
"29.q_proj": 32,
|
|
"29.k_proj": 32,
|
|
"29.v_proj": 32,
|
|
"29.o_proj": 32,
|
|
"29.gate_proj": 32,
|
|
"29.up_proj": 32,
|
|
"29.down_proj": 32,
|
|
"30.q_proj": 32,
|
|
"30.k_proj": 32,
|
|
"30.v_proj": 32,
|
|
"30.o_proj": 32,
|
|
"30.gate_proj": 32,
|
|
"30.up_proj": 32,
|
|
"30.down_proj": 32,
|
|
"31.q_proj": 32,
|
|
"31.k_proj": 32,
|
|
"31.v_proj": 32,
|
|
"31.o_proj": 32,
|
|
"31.gate_proj": 32,
|
|
"31.up_proj": 32,
|
|
"31.down_proj": 32
|
|
},
|
|
"residual_rank": {
|
|
"0.q_proj": 992,
|
|
"0.k_proj": 992,
|
|
"0.v_proj": 992,
|
|
"0.o_proj": 992,
|
|
"0.gate_proj": 1460,
|
|
"0.up_proj": 1460,
|
|
"0.down_proj": 1460,
|
|
"1.q_proj": 992,
|
|
"1.k_proj": 992,
|
|
"1.v_proj": 992,
|
|
"1.o_proj": 992,
|
|
"1.gate_proj": 1460,
|
|
"1.up_proj": 1460,
|
|
"1.down_proj": 1460,
|
|
"2.q_proj": 992,
|
|
"2.k_proj": 992,
|
|
"2.v_proj": 992,
|
|
"2.o_proj": 992,
|
|
"2.gate_proj": 1460,
|
|
"2.up_proj": 1460,
|
|
"2.down_proj": 1460,
|
|
"3.q_proj": 992,
|
|
"3.k_proj": 992,
|
|
"3.v_proj": 992,
|
|
"3.o_proj": 992,
|
|
"3.gate_proj": 1460,
|
|
"3.up_proj": 1460,
|
|
"3.down_proj": 1460,
|
|
"4.q_proj": 992,
|
|
"4.k_proj": 992,
|
|
"4.v_proj": 992,
|
|
"4.o_proj": 992,
|
|
"4.gate_proj": 1460,
|
|
"4.up_proj": 1460,
|
|
"4.down_proj": 1460,
|
|
"5.q_proj": 992,
|
|
"5.k_proj": 992,
|
|
"5.v_proj": 992,
|
|
"5.o_proj": 992,
|
|
"5.gate_proj": 1460,
|
|
"5.up_proj": 1460,
|
|
"5.down_proj": 1460,
|
|
"6.q_proj": 992,
|
|
"6.k_proj": 992,
|
|
"6.v_proj": 992,
|
|
"6.o_proj": 992,
|
|
"6.gate_proj": 1460,
|
|
"6.up_proj": 1460,
|
|
"6.down_proj": 1460,
|
|
"7.q_proj": 992,
|
|
"7.k_proj": 992,
|
|
"7.v_proj": 992,
|
|
"7.o_proj": 992,
|
|
"7.gate_proj": 1460,
|
|
"7.up_proj": 1460,
|
|
"7.down_proj": 1460,
|
|
"8.q_proj": 992,
|
|
"8.k_proj": 992,
|
|
"8.v_proj": 992,
|
|
"8.o_proj": 992,
|
|
"8.gate_proj": 1460,
|
|
"8.up_proj": 1460,
|
|
"8.down_proj": 1460,
|
|
"9.q_proj": 992,
|
|
"9.k_proj": 992,
|
|
"9.v_proj": 992,
|
|
"9.o_proj": 992,
|
|
"9.gate_proj": 1460,
|
|
"9.up_proj": 1460,
|
|
"9.down_proj": 1460,
|
|
"10.q_proj": 992,
|
|
"10.k_proj": 992,
|
|
"10.v_proj": 992,
|
|
"10.o_proj": 992,
|
|
"10.gate_proj": 1460,
|
|
"10.up_proj": 1460,
|
|
"10.down_proj": 1460,
|
|
"11.q_proj": 992,
|
|
"11.k_proj": 992,
|
|
"11.v_proj": 992,
|
|
"11.o_proj": 992,
|
|
"11.gate_proj": 1460,
|
|
"11.up_proj": 1460,
|
|
"11.down_proj": 1460,
|
|
"12.q_proj": 992,
|
|
"12.k_proj": 992,
|
|
"12.v_proj": 992,
|
|
"12.o_proj": 992,
|
|
"12.gate_proj": 1460,
|
|
"12.up_proj": 1460,
|
|
"12.down_proj": 1460,
|
|
"13.q_proj": 992,
|
|
"13.k_proj": 992,
|
|
"13.v_proj": 992,
|
|
"13.o_proj": 992,
|
|
"13.gate_proj": 1460,
|
|
"13.up_proj": 1460,
|
|
"13.down_proj": 1460,
|
|
"14.q_proj": 992,
|
|
"14.k_proj": 992,
|
|
"14.v_proj": 992,
|
|
"14.o_proj": 992,
|
|
"14.gate_proj": 1460,
|
|
"14.up_proj": 1460,
|
|
"14.down_proj": 1460,
|
|
"15.q_proj": 992,
|
|
"15.k_proj": 992,
|
|
"15.v_proj": 992,
|
|
"15.o_proj": 992,
|
|
"15.gate_proj": 1460,
|
|
"15.up_proj": 1460,
|
|
"15.down_proj": 1460,
|
|
"16.q_proj": 992,
|
|
"16.k_proj": 992,
|
|
"16.v_proj": 992,
|
|
"16.o_proj": 992,
|
|
"16.gate_proj": 1460,
|
|
"16.up_proj": 1460,
|
|
"16.down_proj": 1460,
|
|
"17.q_proj": 992,
|
|
"17.k_proj": 992,
|
|
"17.v_proj": 992,
|
|
"17.o_proj": 992,
|
|
"17.gate_proj": 1460,
|
|
"17.up_proj": 1460,
|
|
"17.down_proj": 1460,
|
|
"18.q_proj": 992,
|
|
"18.k_proj": 992,
|
|
"18.v_proj": 992,
|
|
"18.o_proj": 992,
|
|
"18.gate_proj": 1460,
|
|
"18.up_proj": 1460,
|
|
"18.down_proj": 1460,
|
|
"19.q_proj": 992,
|
|
"19.k_proj": 992,
|
|
"19.v_proj": 992,
|
|
"19.o_proj": 992,
|
|
"19.gate_proj": 1460,
|
|
"19.up_proj": 1460,
|
|
"19.down_proj": 1460,
|
|
"20.q_proj": 992,
|
|
"20.k_proj": 992,
|
|
"20.v_proj": 992,
|
|
"20.o_proj": 992,
|
|
"20.gate_proj": 1460,
|
|
"20.up_proj": 1460,
|
|
"20.down_proj": 1460,
|
|
"21.q_proj": 992,
|
|
"21.k_proj": 992,
|
|
"21.v_proj": 992,
|
|
"21.o_proj": 992,
|
|
"21.gate_proj": 1460,
|
|
"21.up_proj": 1460,
|
|
"21.down_proj": 1460,
|
|
"22.q_proj": 992,
|
|
"22.k_proj": 992,
|
|
"22.v_proj": 992,
|
|
"22.o_proj": 992,
|
|
"22.gate_proj": 1460,
|
|
"22.up_proj": 1460,
|
|
"22.down_proj": 1460,
|
|
"23.q_proj": 992,
|
|
"23.k_proj": 992,
|
|
"23.v_proj": 992,
|
|
"23.o_proj": 992,
|
|
"23.gate_proj": 1460,
|
|
"23.up_proj": 1460,
|
|
"23.down_proj": 1460,
|
|
"24.q_proj": 992,
|
|
"24.k_proj": 992,
|
|
"24.v_proj": 992,
|
|
"24.o_proj": 992,
|
|
"24.gate_proj": 1460,
|
|
"24.up_proj": 1460,
|
|
"24.down_proj": 1460,
|
|
"25.q_proj": 992,
|
|
"25.k_proj": 992,
|
|
"25.v_proj": 992,
|
|
"25.o_proj": 992,
|
|
"25.gate_proj": 1460,
|
|
"25.up_proj": 1460,
|
|
"25.down_proj": 1460,
|
|
"26.q_proj": 992,
|
|
"26.k_proj": 992,
|
|
"26.v_proj": 992,
|
|
"26.o_proj": 992,
|
|
"26.gate_proj": 1460,
|
|
"26.up_proj": 1460,
|
|
"26.down_proj": 1460,
|
|
"27.q_proj": 992,
|
|
"27.k_proj": 992,
|
|
"27.v_proj": 992,
|
|
"27.o_proj": 992,
|
|
"27.gate_proj": 1460,
|
|
"27.up_proj": 1460,
|
|
"27.down_proj": 1460,
|
|
"28.q_proj": 992,
|
|
"28.k_proj": 992,
|
|
"28.v_proj": 992,
|
|
"28.o_proj": 992,
|
|
"28.gate_proj": 1460,
|
|
"28.up_proj": 1460,
|
|
"28.down_proj": 1460,
|
|
"29.q_proj": 992,
|
|
"29.k_proj": 992,
|
|
"29.v_proj": 992,
|
|
"29.o_proj": 992,
|
|
"29.gate_proj": 1460,
|
|
"29.up_proj": 1460,
|
|
"29.down_proj": 1460,
|
|
"30.q_proj": 992,
|
|
"30.k_proj": 992,
|
|
"30.v_proj": 992,
|
|
"30.o_proj": 992,
|
|
"30.gate_proj": 1460,
|
|
"30.up_proj": 1460,
|
|
"30.down_proj": 1460,
|
|
"31.q_proj": 992,
|
|
"31.k_proj": 992,
|
|
"31.v_proj": 992,
|
|
"31.o_proj": 992,
|
|
"31.gate_proj": 1460,
|
|
"31.up_proj": 1460,
|
|
"31.down_proj": 1460
|
|
}
|
|
},
|
|
"ranks_include_reserved": true,
|
|
"rank_fix_note": "ranks originally recorded the RESIDUAL rank only; corrected to residual + reserved, which is the true rank of the stored matrix. Weights were always correct -- only this field was wrong."
|
|
} |