---
license: Apache License 2.0
---
### Clone with HTTP
```bash
git clone https://www.modelscope.cn/q021gink/Llama3-Weighted-Combination.git
```

# Llama3权重组合

Llama3权重组合基于LLM-Research/Llama3-8B-Chinese-Chat模型权重文件（model-00001-of-00004.safetensors、model-00002-of-00004.safetensors）和FlagAlpha/Llama3-Chinese-8B-Instruct模型文件组合而成。新模型继承了两者优点，如模型1较快的推理速度、弱智吧数据推理、模型2的思维链特征，不过模型依然存在assistant重复、长序列数学计算错误等问题。
本模型旨在提出新的研究视角：同类型同参数不同微调模型权重文件的随机组合，是否有助于提升模型能力（克服不足）或涌现新能力，模块化权重文件设计是否有价值。



## 如何使用

下载模型
```
git clone https://www.modelscope.cn/q021gink/Llama3-Weighted-Combination.git
```

部分情况下需要更新transformer库
```
pip install --upgrade transformers
```

## 测试
根据https://modelscope.cn/headlines/article/473方法测试。

1.1 安装
```
git clone https://github.com/modelscope/eval-scope
cd eval-scope
pip install -e .
```

1.2测试命令
```
python3 llmuses/run.py --model q021gink/Llama3-Weighted-Combination --template-type llama3 --datasets arc ceval gsm8k --dataset-args '{"gsm8k": {"few_shot_num": 0}}'
```
自测结果：
```
2024-05-03 21:23:47,879 - llmuses - INFO - Dump data to /root/.cache/llmuses/outputs/eval_arc-ceval-gsm8k_q021gink_Llama3-Weighted-Combination_default/reviews/modelscope_gsm8k_main.jsonl successfully.
2024-05-03 21:23:47,880 - llmuses - INFO - ** Dump report: modelscope_gsm8k.json 
2024-05-03 21:23:47,880 - llmuses - INFO - ** Report table: 
 +-----------------------------+------------------+--------------------+-------------------+
| Model                       | arc              | ceval              | gsm8k             |
+=============================+==================+====================+===================+
| Llama3-Weighted-Combination | (arc/acc) 0.7918 | (ceval/acc) 0.4859 | (gsm8k/acc) 0.655 |
+-----------------------------+------------------+--------------------+-------------------+ 
```
从前两项测试结果看组合权重模型和原生模型Meta-Llama-3-8B-instruct相差不大（见https://modelscope.cn/headlines/article/473）,gsm8k分数下降较大，可见微调导致的灾难遗忘不可避免。
单从前两项测试看，组合权重模型的天花板由原生模型决定。暂不清楚本组合模型父母模型：LLM-Research/Llama3-8B-Chinese-Chat和FlagAlpha/Llama3-Chinese-8B-Instruct模型测试表现如何，感兴趣的朋友可进一步做对比测试。
推测：权重组合不一定涌现新能力，不过可以起到修复作用，如某种微调导致模型能力下降较大，可与原生模型文件进行组合，dropout不好的权重，最大限度保留模型原始能力和部分微调特征。











