121 lines
3.1 KiB
Markdown
121 lines
3.1 KiB
Markdown
|
||
|
||
<div align="center">
|
||
<img src="logo.png" width="400"/>
|
||
</div>
|
||
|
||
# Haidass-143M
|
||
|
||
<p align="center">
|
||
<a href="https://huggingface.co/DALabCommunity/Haidass-143M-v1/blob/main/README.md">English</a> |
|
||
中文
|
||
</p>
|
||
|
||
中英双语小语言模型，在**华为昇腾**生态上进行全流程训练。
|
||
|
||
## 模型简介
|
||
|
||
Haidass-143M 是一个 143M 参数的中英双语语言模型，在约 100B token 的中英文数据上训练完成。模型在华为昇腾生态上进行全流程训练，整体流程基于 **MindSpeed-LLM** 框架和 Atlas A2 服务器（910B）。同时配套训练了大小为 64,000 的中英双语词表。该模型在 150M 以下参数规模的多语言模型中具有较强竞争力，并在多个评测指标中排名靠前。
|
||
|
||
## 模型架构
|
||
|
||
| 参数 | 值 |
|
||
|------|-----|
|
||
| 架构 | Qwen3 |
|
||
| 层数 | 30 |
|
||
| 隐层维度 | 576 |
|
||
| 注意力头数 | 9 |
|
||
| KV 头数 (GQA) | 3 |
|
||
| 头维度 | 64 |
|
||
| FFN 中间维度 | 1,536 |
|
||
| 词表大小 | 64,000 |
|
||
| 最大序列长度 | 4,096 |
|
||
| 绑定嵌入 | 是 |
|
||
| 位置编码 | RoPE (θ=100,000) |
|
||
| 注意力偏置 | 无 |
|
||
| 精度 | BF16 |
|
||
| 总参数量 | ~143M |
|
||
|
||
## 训练数据
|
||
|
||
模型在约 100B token 的中英文混合数据上训练。主要数据来源为：
|
||
|
||
- [openbmb/Ultra-FineWeb](https://huggingface.co/datasets/openbmb/Ultra-FineWeb) (ultrafineweb-en + ultrafineweb-zh)
|
||
- [mlfoundations/dclm-baseline-1.0-parquet](https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0-parquet) (dclm)
|
||
- [HuggingFaceTB/finemath](https://huggingface.co/datasets/HuggingFaceTB/finemath) (finemath-4plus)
|
||
|
||
|
||
## 训练配置
|
||
|
||
| 参数 | 值 |
|
||
|------|------|
|
||
| 框架 | MindSpeed-LLM (v2.3.0) |
|
||
| 硬件 | 8 台 Atlas A2 服务器 (每台 8 卡 NPU，256 核) |
|
||
| NPU 型号 | 华为昇腾 910B |
|
||
| 总 NPU 数 | 64 (8 节点 × 8 卡) |
|
||
| 序列长度 | 4,096 |
|
||
|
||
|
||
## 优化器
|
||
|
||
| 参数 | 值 |
|
||
|------|------|
|
||
| 优化器 | AdamW |
|
||
| 峰值学习率 | 3e-4 |
|
||
| 最低学习率 | 3e-5 |
|
||
|
||
|
||
## 词表
|
||
|
||
| 属性 | 值 |
|
||
|------|------|
|
||
| 类型 | SentencePiece BPE |
|
||
| 词表大小 | 64,000 |
|
||
| 语言覆盖 | 英文 + 中文 |
|
||
|
||
## 测评
|
||
|
||
在 checkpoint (~98B tokens) 上基于 lighteval 框架（v0.9.2）测评。
|
||
|
||
| Benchmark | Score |
|
||
|------|------|
|
||
| ARC-Easy | 60.44 |
|
||
| ARC-Challenge | 27.13 |
|
||
| PIQA | 67.25 |
|
||
| HellaSwag | 37.91 |
|
||
| OpenBookQA | 31.8 |
|
||
| Winogrande | 52.17 |
|
||
| agi_eval | 23.78 |
|
||
|
||
## 核心特点
|
||
|
||
- **全昇腾原生**: 完全在华为昇腾 910B NPU 上训练，使用 MindSpeed-LLM 框架
|
||
- **中英双语**: 模型基于中英混合数据集训练
|
||
|
||
|
||
## 预期用途
|
||
|
||
本模型为研究型模型，适用于:
|
||
- 研究小模型在昇腾 NPU 上的训练动态
|
||
- 中英文语言建模研究
|
||
- 作为后续微调或退火实验的基础模型
|
||
|
||
## 局限性
|
||
|
||
- 模型规模较小，推理和生成能力有限
|
||
- 仅为原始预训练模型
|
||
|
||
## Citation
|
||
|
||
```bibtex
|
||
@misc{haidass-143m,
|
||
title={haidass-143M: A Bilingual Small Language Model Trained on Ascend 910B},
|
||
year={2026},
|
||
note={Based on Qwen3 architecture, trained from scratch on 100B tokens using MindSpeed-LLM on 64× Ascend 910B NPUs}
|
||
}
|
||
```
|
||
|
||
## License
|
||
|
||
Apache 2.0
|