---
frameworks:
- Pytorch
license: MIT License
tasks:
- text-generation
---


# IQ-EQ Qwen2.5-3B-Distill 技术报告

- 团队名称：不要葱姜蒜

## 1. 摘要
本次比赛我们选择了 推理领域/IQ-EQ任务 作为微调的目标领域。微调后的模型具备基本的推理能力，且可以对智商/情商问题进行回答，可以应用于智商/情商测试、教育辅助等场景。我们采用了 Qwen2.5-3B 模型作为基础模型，通过微调和蒸馏技术，成功提升了模型的效率和性能。

## 2. 方法

### 2.1 数据集选择

我们使用了以下开源数据集或 AI 合成数据：

- **Chinese-DeepSeek-R1-Distill-data-110k**：中文基于满血DeepSeek-R1蒸馏数据集，我们对数据进行了清洗和格式转换，并在110k数据中挑选了有关长思维链推理的 800 条数据作为我们的一部分微调数据。
- **AI-ModelScope/IQuiz**：智商测试：收集自网络公开的面试题、脑筋急转弯、弱智吧、模型陷阱题等，目前一共40道题目，分成了level 1，2，3（level 1 是基础题，level 2 是中等难度，level 3 是高难度），分别有13，13，14道题目。使用该数据集通过DeepSeek-R1蒸馏生成了 118 条数据作为我们的一部分微调数据。
- **数据预处理**：我们对数据进行了 数据清洗、格式转换等等。

### 2.2 模型选择及微调策略
我们采用了以下微调策略：
- **模型架构**：基于 Qwen 模型的 Qwen2.5-3B-Instruction 模型作为基础模型。
- **微调技术**：使用了 PEFT 中的 Lora 策略进行微调。
- **训练设置**：训练超参数设置如下：
  - 学习率：`1e-4`- 批量大小：`4`- 训练轮数：`3`

## 3. 蒸馏方法
为了进一步提升模型的效率和性能，我们采用了以下蒸馏技术：
- **蒸馏目标**：将 DeepSeek-R1-671B 模型的推理能力迁移到 Qwen2.5-3B-Instruction 模型当中，例如更小的模型或特定任务模型。
- **蒸馏方法**：使用了 任务蒸馏、特征蒸馏 的方法。
- **蒸馏效果**：蒸馏后的模型在 EQ Score 上提升了 22.5%，同时模型学会了推理能力。

## 3. 实验结果

### 3.1 评估指标

我们使用 Evalscope 对模型进行评估，主要评估指标如下：

- **任务**：IQ-EQ 任务。
- **准确性**：模型回答的正确率。
- **EQ Score**：模型在 EQ 任务上的得分。
- **IQ Score**：模型在 IQ 任务上的得分。

### 3.2 实验结果

| Model                         | IQ       | EQ       | Score            |
|-------------------------------|----------|----------|------------------|
| Qwen2.5-3B-Instruct           | 0.45     | 0.3625   | 0.3917           |
| Qwen2.5-7B-Instruct           | 0.50     | 0.6125   | 0.575            |
| Qwen2.5-14B-Instruct          | 0.525    | 0.750    | 0.6750           |
| Qwen2.5-32B-Instruct          | 0.650    | 0.7875   | 0.7417           |
| Qwen2.5-72B-Instruct          | 0.775    | 0.825    | 0.8083           |
| DeepSeek-R1-Distill-Qwen-7B   | 0.675    | 0.30     | 0.425            |
| DeepSeek-R1-Distill-Qwen-14B  | 0.625    | 0.725    | 0.6917           |
| DeepSeek-R1-671B              | 0.90     | 0.947    | 0.915            |
| Qwen2.5-3B-Distill (ours)     | 0.275    | 0.5875   | 0.4313           |

| Model                         | IQ       | EQ       | Score            |
|-------------------------------|----------|----------|------------------|
| Qwen2.5-3B-Instruct           | 0.45     | 0.3625   | 0.3917           |
| Qwen2.5-3B-Distill (ours)     | 0.275    | 0.5875   | 0.4313           |


## 4. 总结
本次比赛中，我们通过对 Qwen2.5-3B-Instruction 模型的微调和蒸馏，成功实现让小模型具备推理的能力。我们的方法在 技术实现难度、模型表现效果、实际使用价值 等方面展现了独特的优势。未来，我们将继续优化模型，探索更多应用场景。

## 5. 参考链接

- **代码仓库**：[魔搭社区代码链接]
- **SwanLab日志**：[SwanLab 日志链接]
- **开源模型权重**：[魔搭社区模型权重链接]
- **Demo体验**：[魔搭社区 Demo 链接]