80 lines
1.2 KiB
JSON
80 lines
1.2 KiB
JSON
|
{
|
||
|
|
"base_model": "meta-llama/Llama-3.2-1B",
|
||
|
|
"dtype": "float16",
|
||
|
|
"suppressor_heads": [
|
||
|
|
[
|
||
|
|
0,
|
||
|
|
3
|
||
|
|
],
|
||
|
|
[
|
||
|
|
0,
|
||
|
|
6
|
||
|
|
],
|
||
|
|
[
|
||
|
|
1,
|
||
|
|
26
|
||
|
|
],
|
||
|
|
[
|
||
|
|
4,
|
||
|
|
3
|
||
|
|
],
|
||
|
|
[
|
||
|
|
8,
|
||
|
|
14
|
||
|
|
]
|
||
|
|
],
|
||
|
|
"ablation_log": [
|
||
|
|
{
|
||
|
|
"layer": 0,
|
||
|
|
"head": 3,
|
||
|
|
"o_proj_cols": [
|
||
|
|
192,
|
||
|
|
256
|
||
|
|
],
|
||
|
|
"n_nonzero_before": 131072,
|
||
|
|
"n_nonzero_after": 0
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"layer": 0,
|
||
|
|
"head": 6,
|
||
|
|
"o_proj_cols": [
|
||
|
|
384,
|
||
|
|
448
|
||
|
|
],
|
||
|
|
"n_nonzero_before": 131072,
|
||
|
|
"n_nonzero_after": 0
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"layer": 1,
|
||
|
|
"head": 26,
|
||
|
|
"o_proj_cols": [
|
||
|
|
1664,
|
||
|
|
1728
|
||
|
|
],
|
||
|
|
"n_nonzero_before": 131072,
|
||
|
|
"n_nonzero_after": 0
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"layer": 4,
|
||
|
|
"head": 3,
|
||
|
|
"o_proj_cols": [
|
||
|
|
192,
|
||
|
|
256
|
||
|
|
],
|
||
|
|
"n_nonzero_before": 131072,
|
||
|
|
"n_nonzero_after": 0
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"layer": 8,
|
||
|
|
"head": 14,
|
||
|
|
"o_proj_cols": [
|
||
|
|
896,
|
||
|
|
960
|
||
|
|
],
|
||
|
|
"n_nonzero_before": 131072,
|
||
|
|
"n_nonzero_after": 0
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"total_params_zeroed": 655360,
|
||
|
|
"total_params": 1235814400
|
||
|
|
}
|