950 lines
25 KiB
JSON
950 lines
25 KiB
JSON
{
|
|
"source": "assets/models/Llama-2-7b-chat-hf",
|
|
"mode": "whiten",
|
|
"ratio": 0.5,
|
|
"n_calib": 256,
|
|
"seqlen": 2048,
|
|
"seed": 42,
|
|
"mean_rel_err": 0.5757304649700278,
|
|
"max_rel_err": 0.6879633665084839,
|
|
"ranks": {
|
|
"0.q_proj": 1024,
|
|
"0.k_proj": 1024,
|
|
"0.v_proj": 1024,
|
|
"0.o_proj": 1024,
|
|
"0.gate_proj": 1492,
|
|
"0.up_proj": 1492,
|
|
"0.down_proj": 1492,
|
|
"1.q_proj": 1024,
|
|
"1.k_proj": 1024,
|
|
"1.v_proj": 1024,
|
|
"1.o_proj": 1024,
|
|
"1.gate_proj": 1492,
|
|
"1.up_proj": 1492,
|
|
"1.down_proj": 1492,
|
|
"2.q_proj": 1024,
|
|
"2.k_proj": 1024,
|
|
"2.v_proj": 1024,
|
|
"2.o_proj": 1024,
|
|
"2.gate_proj": 1492,
|
|
"2.up_proj": 1492,
|
|
"2.down_proj": 1492,
|
|
"3.q_proj": 1024,
|
|
"3.k_proj": 1024,
|
|
"3.v_proj": 1024,
|
|
"3.o_proj": 1024,
|
|
"3.gate_proj": 1492,
|
|
"3.up_proj": 1492,
|
|
"3.down_proj": 1492,
|
|
"4.q_proj": 1024,
|
|
"4.k_proj": 1024,
|
|
"4.v_proj": 1024,
|
|
"4.o_proj": 1024,
|
|
"4.gate_proj": 1492,
|
|
"4.up_proj": 1492,
|
|
"4.down_proj": 1492,
|
|
"5.q_proj": 1024,
|
|
"5.k_proj": 1024,
|
|
"5.v_proj": 1024,
|
|
"5.o_proj": 1024,
|
|
"5.gate_proj": 1492,
|
|
"5.up_proj": 1492,
|
|
"5.down_proj": 1492,
|
|
"6.q_proj": 1024,
|
|
"6.k_proj": 1024,
|
|
"6.v_proj": 1024,
|
|
"6.o_proj": 1024,
|
|
"6.gate_proj": 1492,
|
|
"6.up_proj": 1492,
|
|
"6.down_proj": 1492,
|
|
"7.q_proj": 1024,
|
|
"7.k_proj": 1024,
|
|
"7.v_proj": 1024,
|
|
"7.o_proj": 1024,
|
|
"7.gate_proj": 1492,
|
|
"7.up_proj": 1492,
|
|
"7.down_proj": 1492,
|
|
"8.q_proj": 1024,
|
|
"8.k_proj": 1024,
|
|
"8.v_proj": 1024,
|
|
"8.o_proj": 1024,
|
|
"8.gate_proj": 1492,
|
|
"8.up_proj": 1492,
|
|
"8.down_proj": 1492,
|
|
"9.q_proj": 1024,
|
|
"9.k_proj": 1024,
|
|
"9.v_proj": 1024,
|
|
"9.o_proj": 1024,
|
|
"9.gate_proj": 1492,
|
|
"9.up_proj": 1492,
|
|
"9.down_proj": 1492,
|
|
"10.q_proj": 1024,
|
|
"10.k_proj": 1024,
|
|
"10.v_proj": 1024,
|
|
"10.o_proj": 1024,
|
|
"10.gate_proj": 1492,
|
|
"10.up_proj": 1492,
|
|
"10.down_proj": 1492,
|
|
"11.q_proj": 1024,
|
|
"11.k_proj": 1024,
|
|
"11.v_proj": 1024,
|
|
"11.o_proj": 1024,
|
|
"11.gate_proj": 1492,
|
|
"11.up_proj": 1492,
|
|
"11.down_proj": 1492,
|
|
"12.q_proj": 1024,
|
|
"12.k_proj": 1024,
|
|
"12.v_proj": 1024,
|
|
"12.o_proj": 1024,
|
|
"12.gate_proj": 1492,
|
|
"12.up_proj": 1492,
|
|
"12.down_proj": 1492,
|
|
"13.q_proj": 1024,
|
|
"13.k_proj": 1024,
|
|
"13.v_proj": 1024,
|
|
"13.o_proj": 1024,
|
|
"13.gate_proj": 1492,
|
|
"13.up_proj": 1492,
|
|
"13.down_proj": 1492,
|
|
"14.q_proj": 1024,
|
|
"14.k_proj": 1024,
|
|
"14.v_proj": 1024,
|
|
"14.o_proj": 1024,
|
|
"14.gate_proj": 1492,
|
|
"14.up_proj": 1492,
|
|
"14.down_proj": 1492,
|
|
"15.q_proj": 1024,
|
|
"15.k_proj": 1024,
|
|
"15.v_proj": 1024,
|
|
"15.o_proj": 1024,
|
|
"15.gate_proj": 1492,
|
|
"15.up_proj": 1492,
|
|
"15.down_proj": 1492,
|
|
"16.q_proj": 1024,
|
|
"16.k_proj": 1024,
|
|
"16.v_proj": 1024,
|
|
"16.o_proj": 1024,
|
|
"16.gate_proj": 1492,
|
|
"16.up_proj": 1492,
|
|
"16.down_proj": 1492,
|
|
"17.q_proj": 1024,
|
|
"17.k_proj": 1024,
|
|
"17.v_proj": 1024,
|
|
"17.o_proj": 1024,
|
|
"17.gate_proj": 1492,
|
|
"17.up_proj": 1492,
|
|
"17.down_proj": 1492,
|
|
"18.q_proj": 1024,
|
|
"18.k_proj": 1024,
|
|
"18.v_proj": 1024,
|
|
"18.o_proj": 1024,
|
|
"18.gate_proj": 1492,
|
|
"18.up_proj": 1492,
|
|
"18.down_proj": 1492,
|
|
"19.q_proj": 1024,
|
|
"19.k_proj": 1024,
|
|
"19.v_proj": 1024,
|
|
"19.o_proj": 1024,
|
|
"19.gate_proj": 1492,
|
|
"19.up_proj": 1492,
|
|
"19.down_proj": 1492,
|
|
"20.q_proj": 1024,
|
|
"20.k_proj": 1024,
|
|
"20.v_proj": 1024,
|
|
"20.o_proj": 1024,
|
|
"20.gate_proj": 1492,
|
|
"20.up_proj": 1492,
|
|
"20.down_proj": 1492,
|
|
"21.q_proj": 1024,
|
|
"21.k_proj": 1024,
|
|
"21.v_proj": 1024,
|
|
"21.o_proj": 1024,
|
|
"21.gate_proj": 1492,
|
|
"21.up_proj": 1492,
|
|
"21.down_proj": 1492,
|
|
"22.q_proj": 1024,
|
|
"22.k_proj": 1024,
|
|
"22.v_proj": 1024,
|
|
"22.o_proj": 1024,
|
|
"22.gate_proj": 1492,
|
|
"22.up_proj": 1492,
|
|
"22.down_proj": 1492,
|
|
"23.q_proj": 1024,
|
|
"23.k_proj": 1024,
|
|
"23.v_proj": 1024,
|
|
"23.o_proj": 1024,
|
|
"23.gate_proj": 1492,
|
|
"23.up_proj": 1492,
|
|
"23.down_proj": 1492,
|
|
"24.q_proj": 1024,
|
|
"24.k_proj": 1024,
|
|
"24.v_proj": 1024,
|
|
"24.o_proj": 1024,
|
|
"24.gate_proj": 1492,
|
|
"24.up_proj": 1492,
|
|
"24.down_proj": 1492,
|
|
"25.q_proj": 1024,
|
|
"25.k_proj": 1024,
|
|
"25.v_proj": 1024,
|
|
"25.o_proj": 1024,
|
|
"25.gate_proj": 1492,
|
|
"25.up_proj": 1492,
|
|
"25.down_proj": 1492,
|
|
"26.q_proj": 1024,
|
|
"26.k_proj": 1024,
|
|
"26.v_proj": 1024,
|
|
"26.o_proj": 1024,
|
|
"26.gate_proj": 1492,
|
|
"26.up_proj": 1492,
|
|
"26.down_proj": 1492,
|
|
"27.q_proj": 1024,
|
|
"27.k_proj": 1024,
|
|
"27.v_proj": 1024,
|
|
"27.o_proj": 1024,
|
|
"27.gate_proj": 1492,
|
|
"27.up_proj": 1492,
|
|
"27.down_proj": 1492,
|
|
"28.q_proj": 1024,
|
|
"28.k_proj": 1024,
|
|
"28.v_proj": 1024,
|
|
"28.o_proj": 1024,
|
|
"28.gate_proj": 1492,
|
|
"28.up_proj": 1492,
|
|
"28.down_proj": 1492,
|
|
"29.q_proj": 1024,
|
|
"29.k_proj": 1024,
|
|
"29.v_proj": 1024,
|
|
"29.o_proj": 1024,
|
|
"29.gate_proj": 1492,
|
|
"29.up_proj": 1492,
|
|
"29.down_proj": 1492,
|
|
"30.q_proj": 1024,
|
|
"30.k_proj": 1024,
|
|
"30.v_proj": 1024,
|
|
"30.o_proj": 1024,
|
|
"30.gate_proj": 1492,
|
|
"30.up_proj": 1492,
|
|
"30.down_proj": 1492,
|
|
"31.q_proj": 1024,
|
|
"31.k_proj": 1024,
|
|
"31.v_proj": 1024,
|
|
"31.o_proj": 1024,
|
|
"31.gate_proj": 1492,
|
|
"31.up_proj": 1492,
|
|
"31.down_proj": 1492
|
|
},
|
|
"rel_err": {
|
|
"0.q_proj": 0.056553974747657776,
|
|
"0.k_proj": 0.04685795679688454,
|
|
"0.v_proj": 0.42462489008903503,
|
|
"0.o_proj": 0.41271740198135376,
|
|
"0.gate_proj": 0.5058050155639648,
|
|
"0.up_proj": 0.5222676992416382,
|
|
"0.down_proj": 0.6021890044212341,
|
|
"1.q_proj": 0.17382179200649261,
|
|
"1.k_proj": 0.15503785014152527,
|
|
"1.v_proj": 0.5494375228881836,
|
|
"1.o_proj": 0.4885140657424927,
|
|
"1.gate_proj": 0.4871184825897217,
|
|
"1.up_proj": 0.5492638945579529,
|
|
"1.down_proj": 0.6396908164024353,
|
|
"2.q_proj": 0.35128143429756165,
|
|
"2.k_proj": 0.3372994661331177,
|
|
"2.v_proj": 0.5789371728897095,
|
|
"2.o_proj": 0.6344954967498779,
|
|
"2.gate_proj": 0.5533536672592163,
|
|
"2.up_proj": 0.5943166613578796,
|
|
"2.down_proj": 0.6493852138519287,
|
|
"3.q_proj": 0.45942869782447815,
|
|
"3.k_proj": 0.46048206090927124,
|
|
"3.v_proj": 0.5989988446235657,
|
|
"3.o_proj": 0.6259922385215759,
|
|
"3.gate_proj": 0.6128076910972595,
|
|
"3.up_proj": 0.637114405632019,
|
|
"3.down_proj": 0.6141586899757385,
|
|
"4.q_proj": 0.4468260109424591,
|
|
"4.k_proj": 0.4523918032646179,
|
|
"4.v_proj": 0.5958268046379089,
|
|
"4.o_proj": 0.6298879981040955,
|
|
"4.gate_proj": 0.6123293042182922,
|
|
"4.up_proj": 0.6424803137779236,
|
|
"4.down_proj": 0.6184095144271851,
|
|
"5.q_proj": 0.4576128125190735,
|
|
"5.k_proj": 0.45727330446243286,
|
|
"5.v_proj": 0.601065993309021,
|
|
"5.o_proj": 0.6338834762573242,
|
|
"5.gate_proj": 0.607907235622406,
|
|
"5.up_proj": 0.6438080072402954,
|
|
"5.down_proj": 0.6109306216239929,
|
|
"6.q_proj": 0.4408089220523834,
|
|
"6.k_proj": 0.4491904675960541,
|
|
"6.v_proj": 0.5842443704605103,
|
|
"6.o_proj": 0.6031578779220581,
|
|
"6.gate_proj": 0.6021695733070374,
|
|
"6.up_proj": 0.6445556879043579,
|
|
"6.down_proj": 0.6101555824279785,
|
|
"7.q_proj": 0.44747042655944824,
|
|
"7.k_proj": 0.45476046204566956,
|
|
"7.v_proj": 0.5772215723991394,
|
|
"7.o_proj": 0.6210200190544128,
|
|
"7.gate_proj": 0.5988063812255859,
|
|
"7.up_proj": 0.6436939239501953,
|
|
"7.down_proj": 0.6032240390777588,
|
|
"8.q_proj": 0.4587515592575073,
|
|
"8.k_proj": 0.47478100657463074,
|
|
"8.v_proj": 0.561811089515686,
|
|
"8.o_proj": 0.6184262037277222,
|
|
"8.gate_proj": 0.5957343578338623,
|
|
"8.up_proj": 0.6378790140151978,
|
|
"8.down_proj": 0.5972688794136047,
|
|
"9.q_proj": 0.47541239857673645,
|
|
"9.k_proj": 0.4823366403579712,
|
|
"9.v_proj": 0.5604491233825684,
|
|
"9.o_proj": 0.6180756092071533,
|
|
"9.gate_proj": 0.5917431712150574,
|
|
"9.up_proj": 0.6320783495903015,
|
|
"9.down_proj": 0.595856249332428,
|
|
"10.q_proj": 0.4432072639465332,
|
|
"10.k_proj": 0.45657336711883545,
|
|
"10.v_proj": 0.5517785549163818,
|
|
"10.o_proj": 0.5870040655136108,
|
|
"10.gate_proj": 0.5866174101829529,
|
|
"10.up_proj": 0.6271697282791138,
|
|
"10.down_proj": 0.5920713543891907,
|
|
"11.q_proj": 0.42947909235954285,
|
|
"11.k_proj": 0.4439992606639862,
|
|
"11.v_proj": 0.5371034145355225,
|
|
"11.o_proj": 0.57439786195755,
|
|
"11.gate_proj": 0.5873267650604248,
|
|
"11.up_proj": 0.6280611753463745,
|
|
"11.down_proj": 0.598749041557312,
|
|
"12.q_proj": 0.47172418236732483,
|
|
"12.k_proj": 0.46969470381736755,
|
|
"12.v_proj": 0.5586328506469727,
|
|
"12.o_proj": 0.6156985759735107,
|
|
"12.gate_proj": 0.5921249985694885,
|
|
"12.up_proj": 0.6282456517219543,
|
|
"12.down_proj": 0.5990666151046753,
|
|
"13.q_proj": 0.4774617850780487,
|
|
"13.k_proj": 0.49627572298049927,
|
|
"13.v_proj": 0.5897672176361084,
|
|
"13.o_proj": 0.605217695236206,
|
|
"13.gate_proj": 0.5953164100646973,
|
|
"13.up_proj": 0.6316003799438477,
|
|
"13.down_proj": 0.6107012033462524,
|
|
"14.q_proj": 0.4548565745353699,
|
|
"14.k_proj": 0.45965564250946045,
|
|
"14.v_proj": 0.581347644329071,
|
|
"14.o_proj": 0.60160893201828,
|
|
"14.gate_proj": 0.5952278971672058,
|
|
"14.up_proj": 0.6304778456687927,
|
|
"14.down_proj": 0.6131455302238464,
|
|
"15.q_proj": 0.4785459041595459,
|
|
"15.k_proj": 0.48010870814323425,
|
|
"15.v_proj": 0.5868794918060303,
|
|
"15.o_proj": 0.6144019961357117,
|
|
"15.gate_proj": 0.5992725491523743,
|
|
"15.up_proj": 0.6341173648834229,
|
|
"15.down_proj": 0.6269186735153198,
|
|
"16.q_proj": 0.4746119976043701,
|
|
"16.k_proj": 0.47853466868400574,
|
|
"16.v_proj": 0.6163178086280823,
|
|
"16.o_proj": 0.6412844061851501,
|
|
"16.gate_proj": 0.5987697839736938,
|
|
"16.up_proj": 0.6317082047462463,
|
|
"16.down_proj": 0.6406448483467102,
|
|
"17.q_proj": 0.5189130902290344,
|
|
"17.k_proj": 0.5160570740699768,
|
|
"17.v_proj": 0.630569338798523,
|
|
"17.o_proj": 0.6520063281059265,
|
|
"17.gate_proj": 0.6015799045562744,
|
|
"17.up_proj": 0.6326241493225098,
|
|
"17.down_proj": 0.6389971971511841,
|
|
"18.q_proj": 0.5447173714637756,
|
|
"18.k_proj": 0.5495786070823669,
|
|
"18.v_proj": 0.6364152431488037,
|
|
"18.o_proj": 0.6751506924629211,
|
|
"18.gate_proj": 0.6107243299484253,
|
|
"18.up_proj": 0.6389372944831848,
|
|
"18.down_proj": 0.6388793587684631,
|
|
"19.q_proj": 0.5270981788635254,
|
|
"19.k_proj": 0.5227535963058472,
|
|
"19.v_proj": 0.6196379065513611,
|
|
"19.o_proj": 0.661933958530426,
|
|
"19.gate_proj": 0.6142390370368958,
|
|
"19.up_proj": 0.6393200755119324,
|
|
"19.down_proj": 0.6383724808692932,
|
|
"20.q_proj": 0.5181286334991455,
|
|
"20.k_proj": 0.5196775794029236,
|
|
"20.v_proj": 0.6343844532966614,
|
|
"20.o_proj": 0.6658429503440857,
|
|
"20.gate_proj": 0.6120012998580933,
|
|
"20.up_proj": 0.6360871195793152,
|
|
"20.down_proj": 0.6502406597137451,
|
|
"21.q_proj": 0.5341808795928955,
|
|
"21.k_proj": 0.536583662033081,
|
|
"21.v_proj": 0.6265413761138916,
|
|
"21.o_proj": 0.6791771054267883,
|
|
"21.gate_proj": 0.6129226684570312,
|
|
"21.up_proj": 0.6356406211853027,
|
|
"21.down_proj": 0.6459817290306091,
|
|
"22.q_proj": 0.54691481590271,
|
|
"22.k_proj": 0.5513964295387268,
|
|
"22.v_proj": 0.637810230255127,
|
|
"22.o_proj": 0.6779014468193054,
|
|
"22.gate_proj": 0.6128952503204346,
|
|
"22.up_proj": 0.6347930431365967,
|
|
"22.down_proj": 0.6436445116996765,
|
|
"23.q_proj": 0.5789421796798706,
|
|
"23.k_proj": 0.5783354640007019,
|
|
"23.v_proj": 0.6367030739784241,
|
|
"23.o_proj": 0.6686539649963379,
|
|
"23.gate_proj": 0.6166793704032898,
|
|
"23.up_proj": 0.637042224407196,
|
|
"23.down_proj": 0.6354413032531738,
|
|
"24.q_proj": 0.5257633924484253,
|
|
"24.k_proj": 0.5298961400985718,
|
|
"24.v_proj": 0.6282287240028381,
|
|
"24.o_proj": 0.6736918091773987,
|
|
"24.gate_proj": 0.6179255247116089,
|
|
"24.up_proj": 0.6380579471588135,
|
|
"24.down_proj": 0.6276400089263916,
|
|
"25.q_proj": 0.5676007270812988,
|
|
"25.k_proj": 0.5755802392959595,
|
|
"25.v_proj": 0.637893795967102,
|
|
"25.o_proj": 0.6656416058540344,
|
|
"25.gate_proj": 0.6214293837547302,
|
|
"25.up_proj": 0.6404055953025818,
|
|
"25.down_proj": 0.6199561953544617,
|
|
"26.q_proj": 0.5362301468849182,
|
|
"26.k_proj": 0.5454766154289246,
|
|
"26.v_proj": 0.6258969902992249,
|
|
"26.o_proj": 0.6879633665084839,
|
|
"26.gate_proj": 0.6232463717460632,
|
|
"26.up_proj": 0.6424471139907837,
|
|
"26.down_proj": 0.6178401708602905,
|
|
"27.q_proj": 0.5860579609870911,
|
|
"27.k_proj": 0.5940662026405334,
|
|
"27.v_proj": 0.647848904132843,
|
|
"27.o_proj": 0.6679098606109619,
|
|
"27.gate_proj": 0.6263453960418701,
|
|
"27.up_proj": 0.6441685557365417,
|
|
"27.down_proj": 0.615714430809021,
|
|
"28.q_proj": 0.5673431754112244,
|
|
"28.k_proj": 0.5781059265136719,
|
|
"28.v_proj": 0.643958568572998,
|
|
"28.o_proj": 0.6630887389183044,
|
|
"28.gate_proj": 0.6261605024337769,
|
|
"28.up_proj": 0.6427420377731323,
|
|
"28.down_proj": 0.6251272559165955,
|
|
"29.q_proj": 0.5318664908409119,
|
|
"29.k_proj": 0.5405742526054382,
|
|
"29.v_proj": 0.6357550621032715,
|
|
"29.o_proj": 0.6679477095603943,
|
|
"29.gate_proj": 0.6251234412193298,
|
|
"29.up_proj": 0.638621985912323,
|
|
"29.down_proj": 0.6331459879875183,
|
|
"30.q_proj": 0.5658331513404846,
|
|
"30.k_proj": 0.5740678310394287,
|
|
"30.v_proj": 0.6490836143493652,
|
|
"30.o_proj": 0.6736571192741394,
|
|
"30.gate_proj": 0.6186166405677795,
|
|
"30.up_proj": 0.6263405084609985,
|
|
"30.down_proj": 0.6437183618545532,
|
|
"31.q_proj": 0.5029494762420654,
|
|
"31.k_proj": 0.5119549632072449,
|
|
"31.v_proj": 0.6305423974990845,
|
|
"31.o_proj": 0.6436521410942078,
|
|
"31.gate_proj": 0.6086755394935608,
|
|
"31.up_proj": 0.6120790839195251,
|
|
"31.down_proj": 0.6417486667633057
|
|
},
|
|
"protection": {
|
|
"basis": "results/delta_basis/llama2_7b_k256.pt",
|
|
"k": 8,
|
|
"side": "auto",
|
|
"mode": "protect",
|
|
"base_model": null,
|
|
"basis_meta": {
|
|
"chat": "assets/models/Llama-2-7b-chat-hf",
|
|
"base": "assets/models/Llama-2-7b-hf",
|
|
"k_max": 256,
|
|
"oversample": 16,
|
|
"niter": 8,
|
|
"modules": [
|
|
"q_proj",
|
|
"k_proj",
|
|
"v_proj",
|
|
"o_proj",
|
|
"gate_proj",
|
|
"up_proj",
|
|
"down_proj"
|
|
],
|
|
"whitened": false,
|
|
"energy_ks": [
|
|
1,
|
|
4,
|
|
16,
|
|
64
|
|
]
|
|
},
|
|
"n_protected": 224,
|
|
"mean_leak": 5.238032006868057e-06,
|
|
"max_leak": 0.00020721335022244602,
|
|
"max_protect_err": 7.918087248981465e-06,
|
|
"reserved": {
|
|
"0.q_proj": 8,
|
|
"0.k_proj": 8,
|
|
"0.v_proj": 8,
|
|
"0.o_proj": 8,
|
|
"0.gate_proj": 8,
|
|
"0.up_proj": 8,
|
|
"0.down_proj": 8,
|
|
"1.q_proj": 8,
|
|
"1.k_proj": 8,
|
|
"1.v_proj": 8,
|
|
"1.o_proj": 8,
|
|
"1.gate_proj": 8,
|
|
"1.up_proj": 8,
|
|
"1.down_proj": 8,
|
|
"2.q_proj": 8,
|
|
"2.k_proj": 8,
|
|
"2.v_proj": 8,
|
|
"2.o_proj": 8,
|
|
"2.gate_proj": 8,
|
|
"2.up_proj": 8,
|
|
"2.down_proj": 8,
|
|
"3.q_proj": 8,
|
|
"3.k_proj": 8,
|
|
"3.v_proj": 8,
|
|
"3.o_proj": 8,
|
|
"3.gate_proj": 8,
|
|
"3.up_proj": 8,
|
|
"3.down_proj": 8,
|
|
"4.q_proj": 8,
|
|
"4.k_proj": 8,
|
|
"4.v_proj": 8,
|
|
"4.o_proj": 8,
|
|
"4.gate_proj": 8,
|
|
"4.up_proj": 8,
|
|
"4.down_proj": 8,
|
|
"5.q_proj": 8,
|
|
"5.k_proj": 8,
|
|
"5.v_proj": 8,
|
|
"5.o_proj": 8,
|
|
"5.gate_proj": 8,
|
|
"5.up_proj": 8,
|
|
"5.down_proj": 8,
|
|
"6.q_proj": 8,
|
|
"6.k_proj": 8,
|
|
"6.v_proj": 8,
|
|
"6.o_proj": 8,
|
|
"6.gate_proj": 8,
|
|
"6.up_proj": 8,
|
|
"6.down_proj": 8,
|
|
"7.q_proj": 8,
|
|
"7.k_proj": 8,
|
|
"7.v_proj": 8,
|
|
"7.o_proj": 8,
|
|
"7.gate_proj": 8,
|
|
"7.up_proj": 8,
|
|
"7.down_proj": 8,
|
|
"8.q_proj": 8,
|
|
"8.k_proj": 8,
|
|
"8.v_proj": 8,
|
|
"8.o_proj": 8,
|
|
"8.gate_proj": 8,
|
|
"8.up_proj": 8,
|
|
"8.down_proj": 8,
|
|
"9.q_proj": 8,
|
|
"9.k_proj": 8,
|
|
"9.v_proj": 8,
|
|
"9.o_proj": 8,
|
|
"9.gate_proj": 8,
|
|
"9.up_proj": 8,
|
|
"9.down_proj": 8,
|
|
"10.q_proj": 8,
|
|
"10.k_proj": 8,
|
|
"10.v_proj": 8,
|
|
"10.o_proj": 8,
|
|
"10.gate_proj": 8,
|
|
"10.up_proj": 8,
|
|
"10.down_proj": 8,
|
|
"11.q_proj": 8,
|
|
"11.k_proj": 8,
|
|
"11.v_proj": 8,
|
|
"11.o_proj": 8,
|
|
"11.gate_proj": 8,
|
|
"11.up_proj": 8,
|
|
"11.down_proj": 8,
|
|
"12.q_proj": 8,
|
|
"12.k_proj": 8,
|
|
"12.v_proj": 8,
|
|
"12.o_proj": 8,
|
|
"12.gate_proj": 8,
|
|
"12.up_proj": 8,
|
|
"12.down_proj": 8,
|
|
"13.q_proj": 8,
|
|
"13.k_proj": 8,
|
|
"13.v_proj": 8,
|
|
"13.o_proj": 8,
|
|
"13.gate_proj": 8,
|
|
"13.up_proj": 8,
|
|
"13.down_proj": 8,
|
|
"14.q_proj": 8,
|
|
"14.k_proj": 8,
|
|
"14.v_proj": 8,
|
|
"14.o_proj": 8,
|
|
"14.gate_proj": 8,
|
|
"14.up_proj": 8,
|
|
"14.down_proj": 8,
|
|
"15.q_proj": 8,
|
|
"15.k_proj": 8,
|
|
"15.v_proj": 8,
|
|
"15.o_proj": 8,
|
|
"15.gate_proj": 8,
|
|
"15.up_proj": 8,
|
|
"15.down_proj": 8,
|
|
"16.q_proj": 8,
|
|
"16.k_proj": 8,
|
|
"16.v_proj": 8,
|
|
"16.o_proj": 8,
|
|
"16.gate_proj": 8,
|
|
"16.up_proj": 8,
|
|
"16.down_proj": 8,
|
|
"17.q_proj": 8,
|
|
"17.k_proj": 8,
|
|
"17.v_proj": 8,
|
|
"17.o_proj": 8,
|
|
"17.gate_proj": 8,
|
|
"17.up_proj": 8,
|
|
"17.down_proj": 8,
|
|
"18.q_proj": 8,
|
|
"18.k_proj": 8,
|
|
"18.v_proj": 8,
|
|
"18.o_proj": 8,
|
|
"18.gate_proj": 8,
|
|
"18.up_proj": 8,
|
|
"18.down_proj": 8,
|
|
"19.q_proj": 8,
|
|
"19.k_proj": 8,
|
|
"19.v_proj": 8,
|
|
"19.o_proj": 8,
|
|
"19.gate_proj": 8,
|
|
"19.up_proj": 8,
|
|
"19.down_proj": 8,
|
|
"20.q_proj": 8,
|
|
"20.k_proj": 8,
|
|
"20.v_proj": 8,
|
|
"20.o_proj": 8,
|
|
"20.gate_proj": 8,
|
|
"20.up_proj": 8,
|
|
"20.down_proj": 8,
|
|
"21.q_proj": 8,
|
|
"21.k_proj": 8,
|
|
"21.v_proj": 8,
|
|
"21.o_proj": 8,
|
|
"21.gate_proj": 8,
|
|
"21.up_proj": 8,
|
|
"21.down_proj": 8,
|
|
"22.q_proj": 8,
|
|
"22.k_proj": 8,
|
|
"22.v_proj": 8,
|
|
"22.o_proj": 8,
|
|
"22.gate_proj": 8,
|
|
"22.up_proj": 8,
|
|
"22.down_proj": 8,
|
|
"23.q_proj": 8,
|
|
"23.k_proj": 8,
|
|
"23.v_proj": 8,
|
|
"23.o_proj": 8,
|
|
"23.gate_proj": 8,
|
|
"23.up_proj": 8,
|
|
"23.down_proj": 8,
|
|
"24.q_proj": 8,
|
|
"24.k_proj": 8,
|
|
"24.v_proj": 8,
|
|
"24.o_proj": 8,
|
|
"24.gate_proj": 8,
|
|
"24.up_proj": 8,
|
|
"24.down_proj": 8,
|
|
"25.q_proj": 8,
|
|
"25.k_proj": 8,
|
|
"25.v_proj": 8,
|
|
"25.o_proj": 8,
|
|
"25.gate_proj": 8,
|
|
"25.up_proj": 8,
|
|
"25.down_proj": 8,
|
|
"26.q_proj": 8,
|
|
"26.k_proj": 8,
|
|
"26.v_proj": 8,
|
|
"26.o_proj": 8,
|
|
"26.gate_proj": 8,
|
|
"26.up_proj": 8,
|
|
"26.down_proj": 8,
|
|
"27.q_proj": 8,
|
|
"27.k_proj": 8,
|
|
"27.v_proj": 8,
|
|
"27.o_proj": 8,
|
|
"27.gate_proj": 8,
|
|
"27.up_proj": 8,
|
|
"27.down_proj": 8,
|
|
"28.q_proj": 8,
|
|
"28.k_proj": 8,
|
|
"28.v_proj": 8,
|
|
"28.o_proj": 8,
|
|
"28.gate_proj": 8,
|
|
"28.up_proj": 8,
|
|
"28.down_proj": 8,
|
|
"29.q_proj": 8,
|
|
"29.k_proj": 8,
|
|
"29.v_proj": 8,
|
|
"29.o_proj": 8,
|
|
"29.gate_proj": 8,
|
|
"29.up_proj": 8,
|
|
"29.down_proj": 8,
|
|
"30.q_proj": 8,
|
|
"30.k_proj": 8,
|
|
"30.v_proj": 8,
|
|
"30.o_proj": 8,
|
|
"30.gate_proj": 8,
|
|
"30.up_proj": 8,
|
|
"30.down_proj": 8,
|
|
"31.q_proj": 8,
|
|
"31.k_proj": 8,
|
|
"31.v_proj": 8,
|
|
"31.o_proj": 8,
|
|
"31.gate_proj": 8,
|
|
"31.up_proj": 8,
|
|
"31.down_proj": 8
|
|
},
|
|
"residual_rank": {
|
|
"0.q_proj": 1016,
|
|
"0.k_proj": 1016,
|
|
"0.v_proj": 1016,
|
|
"0.o_proj": 1016,
|
|
"0.gate_proj": 1484,
|
|
"0.up_proj": 1484,
|
|
"0.down_proj": 1484,
|
|
"1.q_proj": 1016,
|
|
"1.k_proj": 1016,
|
|
"1.v_proj": 1016,
|
|
"1.o_proj": 1016,
|
|
"1.gate_proj": 1484,
|
|
"1.up_proj": 1484,
|
|
"1.down_proj": 1484,
|
|
"2.q_proj": 1016,
|
|
"2.k_proj": 1016,
|
|
"2.v_proj": 1016,
|
|
"2.o_proj": 1016,
|
|
"2.gate_proj": 1484,
|
|
"2.up_proj": 1484,
|
|
"2.down_proj": 1484,
|
|
"3.q_proj": 1016,
|
|
"3.k_proj": 1016,
|
|
"3.v_proj": 1016,
|
|
"3.o_proj": 1016,
|
|
"3.gate_proj": 1484,
|
|
"3.up_proj": 1484,
|
|
"3.down_proj": 1484,
|
|
"4.q_proj": 1016,
|
|
"4.k_proj": 1016,
|
|
"4.v_proj": 1016,
|
|
"4.o_proj": 1016,
|
|
"4.gate_proj": 1484,
|
|
"4.up_proj": 1484,
|
|
"4.down_proj": 1484,
|
|
"5.q_proj": 1016,
|
|
"5.k_proj": 1016,
|
|
"5.v_proj": 1016,
|
|
"5.o_proj": 1016,
|
|
"5.gate_proj": 1484,
|
|
"5.up_proj": 1484,
|
|
"5.down_proj": 1484,
|
|
"6.q_proj": 1016,
|
|
"6.k_proj": 1016,
|
|
"6.v_proj": 1016,
|
|
"6.o_proj": 1016,
|
|
"6.gate_proj": 1484,
|
|
"6.up_proj": 1484,
|
|
"6.down_proj": 1484,
|
|
"7.q_proj": 1016,
|
|
"7.k_proj": 1016,
|
|
"7.v_proj": 1016,
|
|
"7.o_proj": 1016,
|
|
"7.gate_proj": 1484,
|
|
"7.up_proj": 1484,
|
|
"7.down_proj": 1484,
|
|
"8.q_proj": 1016,
|
|
"8.k_proj": 1016,
|
|
"8.v_proj": 1016,
|
|
"8.o_proj": 1016,
|
|
"8.gate_proj": 1484,
|
|
"8.up_proj": 1484,
|
|
"8.down_proj": 1484,
|
|
"9.q_proj": 1016,
|
|
"9.k_proj": 1016,
|
|
"9.v_proj": 1016,
|
|
"9.o_proj": 1016,
|
|
"9.gate_proj": 1484,
|
|
"9.up_proj": 1484,
|
|
"9.down_proj": 1484,
|
|
"10.q_proj": 1016,
|
|
"10.k_proj": 1016,
|
|
"10.v_proj": 1016,
|
|
"10.o_proj": 1016,
|
|
"10.gate_proj": 1484,
|
|
"10.up_proj": 1484,
|
|
"10.down_proj": 1484,
|
|
"11.q_proj": 1016,
|
|
"11.k_proj": 1016,
|
|
"11.v_proj": 1016,
|
|
"11.o_proj": 1016,
|
|
"11.gate_proj": 1484,
|
|
"11.up_proj": 1484,
|
|
"11.down_proj": 1484,
|
|
"12.q_proj": 1016,
|
|
"12.k_proj": 1016,
|
|
"12.v_proj": 1016,
|
|
"12.o_proj": 1016,
|
|
"12.gate_proj": 1484,
|
|
"12.up_proj": 1484,
|
|
"12.down_proj": 1484,
|
|
"13.q_proj": 1016,
|
|
"13.k_proj": 1016,
|
|
"13.v_proj": 1016,
|
|
"13.o_proj": 1016,
|
|
"13.gate_proj": 1484,
|
|
"13.up_proj": 1484,
|
|
"13.down_proj": 1484,
|
|
"14.q_proj": 1016,
|
|
"14.k_proj": 1016,
|
|
"14.v_proj": 1016,
|
|
"14.o_proj": 1016,
|
|
"14.gate_proj": 1484,
|
|
"14.up_proj": 1484,
|
|
"14.down_proj": 1484,
|
|
"15.q_proj": 1016,
|
|
"15.k_proj": 1016,
|
|
"15.v_proj": 1016,
|
|
"15.o_proj": 1016,
|
|
"15.gate_proj": 1484,
|
|
"15.up_proj": 1484,
|
|
"15.down_proj": 1484,
|
|
"16.q_proj": 1016,
|
|
"16.k_proj": 1016,
|
|
"16.v_proj": 1016,
|
|
"16.o_proj": 1016,
|
|
"16.gate_proj": 1484,
|
|
"16.up_proj": 1484,
|
|
"16.down_proj": 1484,
|
|
"17.q_proj": 1016,
|
|
"17.k_proj": 1016,
|
|
"17.v_proj": 1016,
|
|
"17.o_proj": 1016,
|
|
"17.gate_proj": 1484,
|
|
"17.up_proj": 1484,
|
|
"17.down_proj": 1484,
|
|
"18.q_proj": 1016,
|
|
"18.k_proj": 1016,
|
|
"18.v_proj": 1016,
|
|
"18.o_proj": 1016,
|
|
"18.gate_proj": 1484,
|
|
"18.up_proj": 1484,
|
|
"18.down_proj": 1484,
|
|
"19.q_proj": 1016,
|
|
"19.k_proj": 1016,
|
|
"19.v_proj": 1016,
|
|
"19.o_proj": 1016,
|
|
"19.gate_proj": 1484,
|
|
"19.up_proj": 1484,
|
|
"19.down_proj": 1484,
|
|
"20.q_proj": 1016,
|
|
"20.k_proj": 1016,
|
|
"20.v_proj": 1016,
|
|
"20.o_proj": 1016,
|
|
"20.gate_proj": 1484,
|
|
"20.up_proj": 1484,
|
|
"20.down_proj": 1484,
|
|
"21.q_proj": 1016,
|
|
"21.k_proj": 1016,
|
|
"21.v_proj": 1016,
|
|
"21.o_proj": 1016,
|
|
"21.gate_proj": 1484,
|
|
"21.up_proj": 1484,
|
|
"21.down_proj": 1484,
|
|
"22.q_proj": 1016,
|
|
"22.k_proj": 1016,
|
|
"22.v_proj": 1016,
|
|
"22.o_proj": 1016,
|
|
"22.gate_proj": 1484,
|
|
"22.up_proj": 1484,
|
|
"22.down_proj": 1484,
|
|
"23.q_proj": 1016,
|
|
"23.k_proj": 1016,
|
|
"23.v_proj": 1016,
|
|
"23.o_proj": 1016,
|
|
"23.gate_proj": 1484,
|
|
"23.up_proj": 1484,
|
|
"23.down_proj": 1484,
|
|
"24.q_proj": 1016,
|
|
"24.k_proj": 1016,
|
|
"24.v_proj": 1016,
|
|
"24.o_proj": 1016,
|
|
"24.gate_proj": 1484,
|
|
"24.up_proj": 1484,
|
|
"24.down_proj": 1484,
|
|
"25.q_proj": 1016,
|
|
"25.k_proj": 1016,
|
|
"25.v_proj": 1016,
|
|
"25.o_proj": 1016,
|
|
"25.gate_proj": 1484,
|
|
"25.up_proj": 1484,
|
|
"25.down_proj": 1484,
|
|
"26.q_proj": 1016,
|
|
"26.k_proj": 1016,
|
|
"26.v_proj": 1016,
|
|
"26.o_proj": 1016,
|
|
"26.gate_proj": 1484,
|
|
"26.up_proj": 1484,
|
|
"26.down_proj": 1484,
|
|
"27.q_proj": 1016,
|
|
"27.k_proj": 1016,
|
|
"27.v_proj": 1016,
|
|
"27.o_proj": 1016,
|
|
"27.gate_proj": 1484,
|
|
"27.up_proj": 1484,
|
|
"27.down_proj": 1484,
|
|
"28.q_proj": 1016,
|
|
"28.k_proj": 1016,
|
|
"28.v_proj": 1016,
|
|
"28.o_proj": 1016,
|
|
"28.gate_proj": 1484,
|
|
"28.up_proj": 1484,
|
|
"28.down_proj": 1484,
|
|
"29.q_proj": 1016,
|
|
"29.k_proj": 1016,
|
|
"29.v_proj": 1016,
|
|
"29.o_proj": 1016,
|
|
"29.gate_proj": 1484,
|
|
"29.up_proj": 1484,
|
|
"29.down_proj": 1484,
|
|
"30.q_proj": 1016,
|
|
"30.k_proj": 1016,
|
|
"30.v_proj": 1016,
|
|
"30.o_proj": 1016,
|
|
"30.gate_proj": 1484,
|
|
"30.up_proj": 1484,
|
|
"30.down_proj": 1484,
|
|
"31.q_proj": 1016,
|
|
"31.k_proj": 1016,
|
|
"31.v_proj": 1016,
|
|
"31.o_proj": 1016,
|
|
"31.gate_proj": 1484,
|
|
"31.up_proj": 1484,
|
|
"31.down_proj": 1484
|
|
}
|
|
},
|
|
"ranks_include_reserved": true,
|
|
"rank_fix_note": "ranks originally recorded the RESIDUAL rank only; corrected to residual + reserved, which is the true rank of the stored matrix. Weights were always correct -- only this field was wrong."
|
|
} |