3.1 KiB
3.1 KiB
Haidass-143M
English | 中文
中英双语小语言模型，在华为昇腾生态上进行全流程训练。
模型简介
Haidass-143M 是一个 143M 参数的中英双语语言模型，在约 100B token 的中英文数据上训练完成。模型在华为昇腾生态上进行全流程训练，整体流程基于 MindSpeed-LLM 框架和 Atlas A2 服务器（910B）。同时配套训练了大小为 64,000 的中英双语词表。该模型在 150M 以下参数规模的多语言模型中具有较强竞争力，并在多个评测指标中排名靠前。
模型架构
| 参数 | 值 |
|---|---|
| 架构 | Qwen3 |
| 层数 | 30 |
| 隐层维度 | 576 |
| 注意力头数 | 9 |
| KV 头数 (GQA) | 3 |
| 头维度 | 64 |
| FFN 中间维度 | 1,536 |
| 词表大小 | 64,000 |
| 最大序列长度 | 4,096 |
| 绑定嵌入 | 是 |
| 位置编码 | RoPE (θ=100,000) |
| 注意力偏置 | 无 |
| 精度 | BF16 |
| 总参数量 | ~143M |
训练数据
模型在约 100B token 的中英文混合数据上训练。主要数据来源为：
- openbmb/Ultra-FineWeb (ultrafineweb-en + ultrafineweb-zh)
- mlfoundations/dclm-baseline-1.0-parquet (dclm)
- HuggingFaceTB/finemath (finemath-4plus)
训练配置
| 参数 | 值 |
|---|---|
| 框架 | MindSpeed-LLM (v2.3.0) |
| 硬件 | 8 台 Atlas A2 服务器 (每台 8 卡 NPU，256 核) |
| NPU 型号 | 华为昇腾 910B |
| 总 NPU 数 | 64 (8 节点 × 8 卡) |
| 序列长度 | 4,096 |
优化器
| 参数 | 值 |
|---|---|
| 优化器 | AdamW |
| 峰值学习率 | 3e-4 |
| 最低学习率 | 3e-5 |
词表
| 属性 | 值 |
|---|---|
| 类型 | SentencePiece BPE |
| 词表大小 | 64,000 |
| 语言覆盖 | 英文 + 中文 |
测评
在 checkpoint (~98B tokens) 上基于 lighteval 框架（v0.9.2）测评。
| Benchmark | Score |
|---|---|
| ARC-Easy | 60.44 |
| ARC-Challenge | 27.13 |
| PIQA | 67.25 |
| HellaSwag | 37.91 |
| OpenBookQA | 31.8 |
| Winogrande | 52.17 |
| agi_eval | 23.78 |
核心特点
- 全昇腾原生: 完全在华为昇腾 910B NPU 上训练，使用 MindSpeed-LLM 框架
- 中英双语: 模型基于中英混合数据集训练
预期用途
本模型为研究型模型，适用于:
- 研究小模型在昇腾 NPU 上的训练动态
- 中英文语言建模研究
- 作为后续微调或退火实验的基础模型
局限性
- 模型规模较小，推理和生成能力有限
- 仅为原始预训练模型
Citation
@misc{haidass-143m,
title={haidass-143M: A Bilingual Small Language Model Trained on Ascend 910B},
year={2026},
note={Based on Qwen3 architecture, trained from scratch on 100B tokens using MindSpeed-LLM on 64× Ascend 910B NPUs}
}
License
Apache 2.0