初始化项目,由ModelHub XC社区提供模型
Model: AvoCahDoe/llama-2-7b-rlmpq-balanced Source: Original Platform
This commit is contained in:
60
rlmpq_policy.json
Normal file
60
rlmpq_policy.json
Normal file
@@ -0,0 +1,60 @@
|
||||
{
|
||||
"slug": "llama_2_7b",
|
||||
"hf_id": "meta-llama/Llama-2-7b-hf",
|
||||
"scenario": "Balanced",
|
||||
"params": {
|
||||
"lambda_mse": 1.0,
|
||||
"lambda_bit": 0.25,
|
||||
"max_mse_clip": 1.0,
|
||||
"target_bits": 4.5,
|
||||
"lambda_budget": 5.0
|
||||
},
|
||||
"policy": [
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
4,
|
||||
8,
|
||||
8,
|
||||
8
|
||||
],
|
||||
"num_layers": 32,
|
||||
"avg_bits": 4.375,
|
||||
"total_reward": -4.832758,
|
||||
"compression_ratio": 3.6571,
|
||||
"approx_size_gb": 3.828,
|
||||
"bit_distribution": {
|
||||
"4": 29,
|
||||
"8": 3
|
||||
},
|
||||
"avg_mse_per_bit": {
|
||||
"4": 0.28526766,
|
||||
"8": 3.942e-05
|
||||
},
|
||||
"validation_elapsed_s": 0.0583
|
||||
}
|
||||
Reference in New Issue
Block a user