74 lines
3.3 KiB
Markdown
74 lines
3.3 KiB
Markdown
---
|
||
base_model: Qwen/Qwen3-4B-Instruct-2507
|
||
library_name: transformers
|
||
license: apache-2.0
|
||
tags: [model-merging, task-arithmetic, lora, practice]
|
||
---
|
||
# Qwen3-4B 三专家合版模型（练手实验）
|
||
|
||
这是一个**练手实验**的产物，不是可用于生产的模型。
|
||
基座 `Qwen/Qwen3-4B-Instruct-2507` @ `cdbee75f17c01a7cc42f958dc650907174af0554`，
|
||
在上面分别训练数学、科学、代码三个 LoRA 专家，再把它们在 ΔW 空间相加，得到这个完整权重模型。
|
||
|
||
## 合版配方
|
||
|
||
```yaml
|
||
method: linear # 任务算术：W = W0 + Σ λᵢ·ΔWᵢ，ΔWᵢ = Bᵢ·Aᵢ·(α/r)
|
||
weights: {math: 1.0, science: 1.0, code: 1.0}
|
||
density: 1.0
|
||
seed: 0
|
||
```
|
||
|
||
配方是在三个开发集（每个领域各取 100 题，与评测集去污染隔离）上从 4 个候选里选出来的：
|
||
linear λ=0.5 / 1.0、TIES（density 0.5）、DARE-TIES（density 0.5）；评测集没有参与选择。
|
||
|
||
| 配置 | dev 数学 | dev 科学 | dev 代码 | 平均 |
|
||
| --- | --- | --- | --- | --- |
|
||
| Base | 67 | 79 | 34 | 60.0 |
|
||
| linear λ=0.5 | 61 | 80 | 38 | 59.7 |
|
||
| **linear λ=1.0** | **69** | **82** | **39** | **63.3** |
|
||
| TIES d=0.5 | 66 | 78 | 34 | 59.3 |
|
||
| DARE-TIES d=0.5 | 63 | 82 | 39 | 61.3 |
|
||
|
||
## 专家
|
||
|
||
LoRA r=32、alpha=64、作用于全部线性层；lr 1e-4，2 个 epoch，有效 batch 16。
|
||
训练数据由 Base 自己拒绝采样（RFT）得到，只保留判分正确的回答：
|
||
|
||
| 专家 | 题目来源 | 训练条数 | 平均回答 token |
|
||
| --- | --- | --- | --- |
|
||
| math | NuminaMath-CoT | 370 | 约 1,400 |
|
||
| science | nvidia/OpenScience | 1,671 | 341 |
|
||
| code | BAAI/TACO（stdin 题） | 938 | 约 1,700 |
|
||
|
||
专家 adapter 见 `https://huggingface.co/MoshiQAQ/qwen3-4b-merge-practice-adapters`。
|
||
|
||
## 评测结果
|
||
|
||
采样参数 temperature 0.7、top_p 0.8、top_k 20，单条回答最多 16,384 token。
|
||
方括号内为对题目做 bootstrap 得到的 95% 置信区间；Δ 是与 Base 在相同 seed 上的配对差值。
|
||
|
||
| 模型（seed 数） | MATH-500 | GPQA-Diamond | LCB v6（175 题） | 宏平均 |
|
||
| --- | --- | --- | --- | --- |
|
||
| Base（3） | 94.2 [92.4, 95.9] | 41.8 [35.9, 47.6] | 32.8 [26.3, 39.2] | 56.2 |
|
||
| **本模型**（3） | 94.2 [92.3, 95.9]（Δ +0.0） | 41.2 [35.4, 47.3]（Δ −0.5） | 35.0 [28.4, 41.7]（Δ +2.3） | 56.8 |
|
||
| 联合对照：三领域数据训练一个 LoRA（3） | 94.2（Δ +0.0） | 41.2（Δ −0.5） | 32.6（Δ −0.2） | 56.0 |
|
||
|
||
**结论**：与 Base 的差距都在置信区间内，**没有统计显著的提升**。合版后模型输出明显变长
|
||
（GPQA 平均输出 853 token，Base 为 453），代码题的截断率从 0.8% 升到 9.1%。
|
||
|
||
## 局限
|
||
|
||
- 训练数据量很小，而且由 Base 自己生成，所以专家相对 Base 的变化本来就很小（验证损失 0.08–0.13）。
|
||
- 代码专家只见过 stdin 题，没有见过 LeetCode 式的函数题。
|
||
- 科学训练题来自 OpenScience（CC-BY-4.0），其参考答案由模型多数投票得到，可能有错；
|
||
发布方说明使用该数据训练的模型可能受 Qwen 许可约束。
|
||
|
||
## 加载
|
||
|
||
```python
|
||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||
tok = AutoTokenizer.from_pretrained("MoshiQAQ/qwen3-4b-merge-practice-merged")
|
||
model = AutoModelForCausalLM.from_pretrained("MoshiQAQ/qwen3-4b-merge-practice-merged", dtype="bfloat16")
|
||
```
|