462 lines
14 KiB
JSON
462 lines
14 KiB
JSON
{
|
|
"source": "assets/models/Llama-2-7b-chat-hf",
|
|
"mode": "whiten",
|
|
"ratio": 0.5,
|
|
"n_calib": 256,
|
|
"seqlen": 2048,
|
|
"seed": 42,
|
|
"mean_rel_err": 0.5746032384423805,
|
|
"max_rel_err": 0.6865314841270447,
|
|
"ranks": {
|
|
"0.q_proj": 1024,
|
|
"0.k_proj": 1024,
|
|
"0.v_proj": 1024,
|
|
"0.o_proj": 1024,
|
|
"0.gate_proj": 1492,
|
|
"0.up_proj": 1492,
|
|
"0.down_proj": 1492,
|
|
"1.q_proj": 1024,
|
|
"1.k_proj": 1024,
|
|
"1.v_proj": 1024,
|
|
"1.o_proj": 1024,
|
|
"1.gate_proj": 1492,
|
|
"1.up_proj": 1492,
|
|
"1.down_proj": 1492,
|
|
"2.q_proj": 1024,
|
|
"2.k_proj": 1024,
|
|
"2.v_proj": 1024,
|
|
"2.o_proj": 1024,
|
|
"2.gate_proj": 1492,
|
|
"2.up_proj": 1492,
|
|
"2.down_proj": 1492,
|
|
"3.q_proj": 1024,
|
|
"3.k_proj": 1024,
|
|
"3.v_proj": 1024,
|
|
"3.o_proj": 1024,
|
|
"3.gate_proj": 1492,
|
|
"3.up_proj": 1492,
|
|
"3.down_proj": 1492,
|
|
"4.q_proj": 1024,
|
|
"4.k_proj": 1024,
|
|
"4.v_proj": 1024,
|
|
"4.o_proj": 1024,
|
|
"4.gate_proj": 1492,
|
|
"4.up_proj": 1492,
|
|
"4.down_proj": 1492,
|
|
"5.q_proj": 1024,
|
|
"5.k_proj": 1024,
|
|
"5.v_proj": 1024,
|
|
"5.o_proj": 1024,
|
|
"5.gate_proj": 1492,
|
|
"5.up_proj": 1492,
|
|
"5.down_proj": 1492,
|
|
"6.q_proj": 1024,
|
|
"6.k_proj": 1024,
|
|
"6.v_proj": 1024,
|
|
"6.o_proj": 1024,
|
|
"6.gate_proj": 1492,
|
|
"6.up_proj": 1492,
|
|
"6.down_proj": 1492,
|
|
"7.q_proj": 1024,
|
|
"7.k_proj": 1024,
|
|
"7.v_proj": 1024,
|
|
"7.o_proj": 1024,
|
|
"7.gate_proj": 1492,
|
|
"7.up_proj": 1492,
|
|
"7.down_proj": 1492,
|
|
"8.q_proj": 1024,
|
|
"8.k_proj": 1024,
|
|
"8.v_proj": 1024,
|
|
"8.o_proj": 1024,
|
|
"8.gate_proj": 1492,
|
|
"8.up_proj": 1492,
|
|
"8.down_proj": 1492,
|
|
"9.q_proj": 1024,
|
|
"9.k_proj": 1024,
|
|
"9.v_proj": 1024,
|
|
"9.o_proj": 1024,
|
|
"9.gate_proj": 1492,
|
|
"9.up_proj": 1492,
|
|
"9.down_proj": 1492,
|
|
"10.q_proj": 1024,
|
|
"10.k_proj": 1024,
|
|
"10.v_proj": 1024,
|
|
"10.o_proj": 1024,
|
|
"10.gate_proj": 1492,
|
|
"10.up_proj": 1492,
|
|
"10.down_proj": 1492,
|
|
"11.q_proj": 1024,
|
|
"11.k_proj": 1024,
|
|
"11.v_proj": 1024,
|
|
"11.o_proj": 1024,
|
|
"11.gate_proj": 1492,
|
|
"11.up_proj": 1492,
|
|
"11.down_proj": 1492,
|
|
"12.q_proj": 1024,
|
|
"12.k_proj": 1024,
|
|
"12.v_proj": 1024,
|
|
"12.o_proj": 1024,
|
|
"12.gate_proj": 1492,
|
|
"12.up_proj": 1492,
|
|
"12.down_proj": 1492,
|
|
"13.q_proj": 1024,
|
|
"13.k_proj": 1024,
|
|
"13.v_proj": 1024,
|
|
"13.o_proj": 1024,
|
|
"13.gate_proj": 1492,
|
|
"13.up_proj": 1492,
|
|
"13.down_proj": 1492,
|
|
"14.q_proj": 1024,
|
|
"14.k_proj": 1024,
|
|
"14.v_proj": 1024,
|
|
"14.o_proj": 1024,
|
|
"14.gate_proj": 1492,
|
|
"14.up_proj": 1492,
|
|
"14.down_proj": 1492,
|
|
"15.q_proj": 1024,
|
|
"15.k_proj": 1024,
|
|
"15.v_proj": 1024,
|
|
"15.o_proj": 1024,
|
|
"15.gate_proj": 1492,
|
|
"15.up_proj": 1492,
|
|
"15.down_proj": 1492,
|
|
"16.q_proj": 1024,
|
|
"16.k_proj": 1024,
|
|
"16.v_proj": 1024,
|
|
"16.o_proj": 1024,
|
|
"16.gate_proj": 1492,
|
|
"16.up_proj": 1492,
|
|
"16.down_proj": 1492,
|
|
"17.q_proj": 1024,
|
|
"17.k_proj": 1024,
|
|
"17.v_proj": 1024,
|
|
"17.o_proj": 1024,
|
|
"17.gate_proj": 1492,
|
|
"17.up_proj": 1492,
|
|
"17.down_proj": 1492,
|
|
"18.q_proj": 1024,
|
|
"18.k_proj": 1024,
|
|
"18.v_proj": 1024,
|
|
"18.o_proj": 1024,
|
|
"18.gate_proj": 1492,
|
|
"18.up_proj": 1492,
|
|
"18.down_proj": 1492,
|
|
"19.q_proj": 1024,
|
|
"19.k_proj": 1024,
|
|
"19.v_proj": 1024,
|
|
"19.o_proj": 1024,
|
|
"19.gate_proj": 1492,
|
|
"19.up_proj": 1492,
|
|
"19.down_proj": 1492,
|
|
"20.q_proj": 1024,
|
|
"20.k_proj": 1024,
|
|
"20.v_proj": 1024,
|
|
"20.o_proj": 1024,
|
|
"20.gate_proj": 1492,
|
|
"20.up_proj": 1492,
|
|
"20.down_proj": 1492,
|
|
"21.q_proj": 1024,
|
|
"21.k_proj": 1024,
|
|
"21.v_proj": 1024,
|
|
"21.o_proj": 1024,
|
|
"21.gate_proj": 1492,
|
|
"21.up_proj": 1492,
|
|
"21.down_proj": 1492,
|
|
"22.q_proj": 1024,
|
|
"22.k_proj": 1024,
|
|
"22.v_proj": 1024,
|
|
"22.o_proj": 1024,
|
|
"22.gate_proj": 1492,
|
|
"22.up_proj": 1492,
|
|
"22.down_proj": 1492,
|
|
"23.q_proj": 1024,
|
|
"23.k_proj": 1024,
|
|
"23.v_proj": 1024,
|
|
"23.o_proj": 1024,
|
|
"23.gate_proj": 1492,
|
|
"23.up_proj": 1492,
|
|
"23.down_proj": 1492,
|
|
"24.q_proj": 1024,
|
|
"24.k_proj": 1024,
|
|
"24.v_proj": 1024,
|
|
"24.o_proj": 1024,
|
|
"24.gate_proj": 1492,
|
|
"24.up_proj": 1492,
|
|
"24.down_proj": 1492,
|
|
"25.q_proj": 1024,
|
|
"25.k_proj": 1024,
|
|
"25.v_proj": 1024,
|
|
"25.o_proj": 1024,
|
|
"25.gate_proj": 1492,
|
|
"25.up_proj": 1492,
|
|
"25.down_proj": 1492,
|
|
"26.q_proj": 1024,
|
|
"26.k_proj": 1024,
|
|
"26.v_proj": 1024,
|
|
"26.o_proj": 1024,
|
|
"26.gate_proj": 1492,
|
|
"26.up_proj": 1492,
|
|
"26.down_proj": 1492,
|
|
"27.q_proj": 1024,
|
|
"27.k_proj": 1024,
|
|
"27.v_proj": 1024,
|
|
"27.o_proj": 1024,
|
|
"27.gate_proj": 1492,
|
|
"27.up_proj": 1492,
|
|
"27.down_proj": 1492,
|
|
"28.q_proj": 1024,
|
|
"28.k_proj": 1024,
|
|
"28.v_proj": 1024,
|
|
"28.o_proj": 1024,
|
|
"28.gate_proj": 1492,
|
|
"28.up_proj": 1492,
|
|
"28.down_proj": 1492,
|
|
"29.q_proj": 1024,
|
|
"29.k_proj": 1024,
|
|
"29.v_proj": 1024,
|
|
"29.o_proj": 1024,
|
|
"29.gate_proj": 1492,
|
|
"29.up_proj": 1492,
|
|
"29.down_proj": 1492,
|
|
"30.q_proj": 1024,
|
|
"30.k_proj": 1024,
|
|
"30.v_proj": 1024,
|
|
"30.o_proj": 1024,
|
|
"30.gate_proj": 1492,
|
|
"30.up_proj": 1492,
|
|
"30.down_proj": 1492,
|
|
"31.q_proj": 1024,
|
|
"31.k_proj": 1024,
|
|
"31.v_proj": 1024,
|
|
"31.o_proj": 1024,
|
|
"31.gate_proj": 1492,
|
|
"31.up_proj": 1492,
|
|
"31.down_proj": 1492
|
|
},
|
|
"rel_err": {
|
|
"0.q_proj": 0.056192658841609955,
|
|
"0.k_proj": 0.04661916196346283,
|
|
"0.v_proj": 0.42346179485321045,
|
|
"0.o_proj": 0.411553293466568,
|
|
"0.gate_proj": 0.5055441856384277,
|
|
"0.up_proj": 0.5220991969108582,
|
|
"0.down_proj": 0.6015071868896484,
|
|
"1.q_proj": 0.17286323010921478,
|
|
"1.k_proj": 0.15428005158901215,
|
|
"1.v_proj": 0.5487779974937439,
|
|
"1.o_proj": 0.48667803406715393,
|
|
"1.gate_proj": 0.48659566044807434,
|
|
"1.up_proj": 0.5488383173942566,
|
|
"1.down_proj": 0.6389646530151367,
|
|
"2.q_proj": 0.34970828890800476,
|
|
"2.k_proj": 0.33591288328170776,
|
|
"2.v_proj": 0.5778592228889465,
|
|
"2.o_proj": 0.633070170879364,
|
|
"2.gate_proj": 0.5527427792549133,
|
|
"2.up_proj": 0.5937211513519287,
|
|
"2.down_proj": 0.6485303044319153,
|
|
"3.q_proj": 0.4580141007900238,
|
|
"3.k_proj": 0.4590720534324646,
|
|
"3.v_proj": 0.5975437760353088,
|
|
"3.o_proj": 0.624569833278656,
|
|
"3.gate_proj": 0.6121641993522644,
|
|
"3.up_proj": 0.6365599036216736,
|
|
"3.down_proj": 0.6132440567016602,
|
|
"4.q_proj": 0.44523993134498596,
|
|
"4.k_proj": 0.45089787244796753,
|
|
"4.v_proj": 0.5944910049438477,
|
|
"4.o_proj": 0.6285367012023926,
|
|
"4.gate_proj": 0.6117405891418457,
|
|
"4.up_proj": 0.6419655680656433,
|
|
"4.down_proj": 0.617594301700592,
|
|
"5.q_proj": 0.456097275018692,
|
|
"5.k_proj": 0.45598524808883667,
|
|
"5.v_proj": 0.5996476411819458,
|
|
"5.o_proj": 0.632495641708374,
|
|
"5.gate_proj": 0.6073550581932068,
|
|
"5.up_proj": 0.6432995796203613,
|
|
"5.down_proj": 0.6099602580070496,
|
|
"6.q_proj": 0.43930497765541077,
|
|
"6.k_proj": 0.447870671749115,
|
|
"6.v_proj": 0.5827558636665344,
|
|
"6.o_proj": 0.6016847491264343,
|
|
"6.gate_proj": 0.6015669703483582,
|
|
"6.up_proj": 0.6439783573150635,
|
|
"6.down_proj": 0.6091653108596802,
|
|
"7.q_proj": 0.4459676444530487,
|
|
"7.k_proj": 0.45342662930488586,
|
|
"7.v_proj": 0.5757118463516235,
|
|
"7.o_proj": 0.619600772857666,
|
|
"7.gate_proj": 0.5982381105422974,
|
|
"7.up_proj": 0.6431558132171631,
|
|
"7.down_proj": 0.60225510597229,
|
|
"8.q_proj": 0.4573039412498474,
|
|
"8.k_proj": 0.4733664095401764,
|
|
"8.v_proj": 0.5603542923927307,
|
|
"8.o_proj": 0.6169588565826416,
|
|
"8.gate_proj": 0.5952193140983582,
|
|
"8.up_proj": 0.637409508228302,
|
|
"8.down_proj": 0.5963111519813538,
|
|
"9.q_proj": 0.4738854169845581,
|
|
"9.k_proj": 0.4808855652809143,
|
|
"9.v_proj": 0.5589357614517212,
|
|
"9.o_proj": 0.6167106628417969,
|
|
"9.gate_proj": 0.5912081599235535,
|
|
"9.up_proj": 0.6315990686416626,
|
|
"9.down_proj": 0.594933807849884,
|
|
"10.q_proj": 0.44166135787963867,
|
|
"10.k_proj": 0.4550938904285431,
|
|
"10.v_proj": 0.550236701965332,
|
|
"10.o_proj": 0.5853973031044006,
|
|
"10.gate_proj": 0.586116373538971,
|
|
"10.up_proj": 0.6267168521881104,
|
|
"10.down_proj": 0.5911690592765808,
|
|
"11.q_proj": 0.42805588245391846,
|
|
"11.k_proj": 0.4425352215766907,
|
|
"11.v_proj": 0.5355498194694519,
|
|
"11.o_proj": 0.5729437470436096,
|
|
"11.gate_proj": 0.5867865681648254,
|
|
"11.up_proj": 0.627552330493927,
|
|
"11.down_proj": 0.5978440642356873,
|
|
"12.q_proj": 0.4702264964580536,
|
|
"12.k_proj": 0.4681994616985321,
|
|
"12.v_proj": 0.5570160746574402,
|
|
"12.o_proj": 0.614287793636322,
|
|
"12.gate_proj": 0.5915638208389282,
|
|
"12.up_proj": 0.6277207732200623,
|
|
"12.down_proj": 0.5981455445289612,
|
|
"13.q_proj": 0.4759771525859833,
|
|
"13.k_proj": 0.4948011636734009,
|
|
"13.v_proj": 0.5882614254951477,
|
|
"13.o_proj": 0.6038281321525574,
|
|
"13.gate_proj": 0.5947344303131104,
|
|
"13.up_proj": 0.6310805082321167,
|
|
"13.down_proj": 0.609811007976532,
|
|
"14.q_proj": 0.4534323215484619,
|
|
"14.k_proj": 0.45825469493865967,
|
|
"14.v_proj": 0.5797452926635742,
|
|
"14.o_proj": 0.6001855134963989,
|
|
"14.gate_proj": 0.5946325063705444,
|
|
"14.up_proj": 0.629921019077301,
|
|
"14.down_proj": 0.6122742295265198,
|
|
"15.q_proj": 0.47711214423179626,
|
|
"15.k_proj": 0.47869259119033813,
|
|
"15.v_proj": 0.585329532623291,
|
|
"15.o_proj": 0.6128898859024048,
|
|
"15.gate_proj": 0.5986577272415161,
|
|
"15.up_proj": 0.6335611343383789,
|
|
"15.down_proj": 0.6260308623313904,
|
|
"16.q_proj": 0.47317031025886536,
|
|
"16.k_proj": 0.4770992696285248,
|
|
"16.v_proj": 0.6147672533988953,
|
|
"16.o_proj": 0.6398205757141113,
|
|
"16.gate_proj": 0.5980997085571289,
|
|
"16.up_proj": 0.6310471296310425,
|
|
"16.down_proj": 0.639728307723999,
|
|
"17.q_proj": 0.5174639821052551,
|
|
"17.k_proj": 0.5145785808563232,
|
|
"17.v_proj": 0.6290446519851685,
|
|
"17.o_proj": 0.6505357027053833,
|
|
"17.gate_proj": 0.6009370684623718,
|
|
"17.up_proj": 0.6319933533668518,
|
|
"17.down_proj": 0.6379805207252502,
|
|
"18.q_proj": 0.5431972146034241,
|
|
"18.k_proj": 0.5481030941009521,
|
|
"18.v_proj": 0.6349421739578247,
|
|
"18.o_proj": 0.6737395524978638,
|
|
"18.gate_proj": 0.6100661158561707,
|
|
"18.up_proj": 0.6383163928985596,
|
|
"18.down_proj": 0.637864351272583,
|
|
"19.q_proj": 0.5255770087242126,
|
|
"19.k_proj": 0.521186888217926,
|
|
"19.v_proj": 0.6180195808410645,
|
|
"19.o_proj": 0.6604673862457275,
|
|
"19.gate_proj": 0.6135538220405579,
|
|
"19.up_proj": 0.63866126537323,
|
|
"19.down_proj": 0.6373714208602905,
|
|
"20.q_proj": 0.5166123509407043,
|
|
"20.k_proj": 0.5181677937507629,
|
|
"20.v_proj": 0.6328254342079163,
|
|
"20.o_proj": 0.6643419861793518,
|
|
"20.gate_proj": 0.6113232970237732,
|
|
"20.up_proj": 0.6354420185089111,
|
|
"20.down_proj": 0.649253249168396,
|
|
"21.q_proj": 0.5325705409049988,
|
|
"21.k_proj": 0.5349622964859009,
|
|
"21.v_proj": 0.6249698996543884,
|
|
"21.o_proj": 0.6776399612426758,
|
|
"21.gate_proj": 0.6123360395431519,
|
|
"21.up_proj": 0.6350381970405579,
|
|
"21.down_proj": 0.6449311971664429,
|
|
"22.q_proj": 0.5453105568885803,
|
|
"22.k_proj": 0.5497902631759644,
|
|
"22.v_proj": 0.6363164782524109,
|
|
"22.o_proj": 0.6763501763343811,
|
|
"22.gate_proj": 0.6122980713844299,
|
|
"22.up_proj": 0.6341944336891174,
|
|
"22.down_proj": 0.6425648331642151,
|
|
"23.q_proj": 0.5773488283157349,
|
|
"23.k_proj": 0.5766705870628357,
|
|
"23.v_proj": 0.6351466774940491,
|
|
"23.o_proj": 0.6670965552330017,
|
|
"23.gate_proj": 0.6160674691200256,
|
|
"23.up_proj": 0.6364560723304749,
|
|
"23.down_proj": 0.6343446373939514,
|
|
"24.q_proj": 0.5240896344184875,
|
|
"24.k_proj": 0.5282245874404907,
|
|
"24.v_proj": 0.6267368793487549,
|
|
"24.o_proj": 0.6721391677856445,
|
|
"24.gate_proj": 0.6173096895217896,
|
|
"24.up_proj": 0.6374848484992981,
|
|
"24.down_proj": 0.6265668272972107,
|
|
"25.q_proj": 0.5660284161567688,
|
|
"25.k_proj": 0.5739861726760864,
|
|
"25.v_proj": 0.6362990140914917,
|
|
"25.o_proj": 0.6640753746032715,
|
|
"25.gate_proj": 0.6208122372627258,
|
|
"25.up_proj": 0.6398339867591858,
|
|
"25.down_proj": 0.6188569664955139,
|
|
"26.q_proj": 0.5346542596817017,
|
|
"26.k_proj": 0.5439216494560242,
|
|
"26.v_proj": 0.6244023442268372,
|
|
"26.o_proj": 0.6865314841270447,
|
|
"26.gate_proj": 0.6226499080657959,
|
|
"26.up_proj": 0.6418870687484741,
|
|
"26.down_proj": 0.6167672276496887,
|
|
"27.q_proj": 0.5844919681549072,
|
|
"27.k_proj": 0.592484176158905,
|
|
"27.v_proj": 0.6463485360145569,
|
|
"27.o_proj": 0.6664125323295593,
|
|
"27.gate_proj": 0.6257489919662476,
|
|
"27.up_proj": 0.6436028480529785,
|
|
"27.down_proj": 0.6146153807640076,
|
|
"28.q_proj": 0.5657913684844971,
|
|
"28.k_proj": 0.5766007900238037,
|
|
"28.v_proj": 0.6425398588180542,
|
|
"28.o_proj": 0.6616485714912415,
|
|
"28.gate_proj": 0.6255733370780945,
|
|
"28.up_proj": 0.642206072807312,
|
|
"28.down_proj": 0.6240695714950562,
|
|
"29.q_proj": 0.5303587913513184,
|
|
"29.k_proj": 0.5390129089355469,
|
|
"29.v_proj": 0.6342077255249023,
|
|
"29.o_proj": 0.6663923859596252,
|
|
"29.gate_proj": 0.6245595216751099,
|
|
"29.up_proj": 0.6380678415298462,
|
|
"29.down_proj": 0.6320728063583374,
|
|
"30.q_proj": 0.5643410682678223,
|
|
"30.k_proj": 0.5726234912872314,
|
|
"30.v_proj": 0.6476088762283325,
|
|
"30.o_proj": 0.6720858216285706,
|
|
"30.gate_proj": 0.6180704236030579,
|
|
"30.up_proj": 0.6258430480957031,
|
|
"30.down_proj": 0.6427648067474365,
|
|
"31.q_proj": 0.5015712380409241,
|
|
"31.k_proj": 0.5105323791503906,
|
|
"31.v_proj": 0.6290576457977295,
|
|
"31.o_proj": 0.6422172784805298,
|
|
"31.gate_proj": 0.6081221103668213,
|
|
"31.up_proj": 0.6115826368331909,
|
|
"31.down_proj": 0.6411463022232056
|
|
}
|
|
} |