初始化项目，由ModelHub XC社区提供模型

Model: DALabCommunity/Haidass-143M-v1
Source: Original Platform

README_ZH.md

@@ -0,0 +1,120 @@
+
+
+<div align="center">
+  <img src="logo.png" width="400"/>
+</div>
+
+# Haidass-143M
+
+<p align="center">
+<a href="https://huggingface.co/DALabCommunity/Haidass-143M-v1/blob/main/README.md">English</a> |
+中文
+</p>
+
+中英双语小语言模型，在**华为昇腾**生态上进行全流程训练。
+
+## 模型简介
+
+Haidass-143M 是一个 143M 参数的中英双语语言模型，在约 100B token 的中英文数据上训练完成。模型在华为昇腾生态上进行全流程训练，整体流程基于 **MindSpeed-LLM** 框架和 Atlas A2 服务器（910B）。同时配套训练了大小为 64,000 的中英双语词表。该模型在 150M 以下参数规模的多语言模型中具有较强竞争力，并在多个评测指标中排名靠前。
+
+## 模型架构
+
+| 参数 | 值 |
+|------|-----|
+| 架构 | Qwen3 |
+| 层数 | 30 |
+| 隐层维度 | 576 |
+| 注意力头数 | 9 |
+| KV 头数 (GQA) | 3 |
+| 头维度 | 64 |
+| FFN 中间维度 | 1,536 |
+| 词表大小 | 64,000 |
+| 最大序列长度 | 4,096 |
+| 绑定嵌入 | 是 |
+| 位置编码 | RoPE (θ=100,000) |
+| 注意力偏置 | 无 |
+| 精度 | BF16 |
+| 总参数量 | ~143M |
+
+## 训练数据
+
+模型在约 100B token 的中英文混合数据上训练。主要数据来源为：
+
+- [openbmb/Ultra-FineWeb](https://huggingface.co/datasets/openbmb/Ultra-FineWeb) (ultrafineweb-en + ultrafineweb-zh)
+- [mlfoundations/dclm-baseline-1.0-parquet](https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0-parquet) (dclm)
+- [HuggingFaceTB/finemath](https://huggingface.co/datasets/HuggingFaceTB/finemath) (finemath-4plus)
+
+
+## 训练配置
+
+| 参数 | 值 |
+|------|------|
+| 框架 | MindSpeed-LLM (v2.3.0) |
+| 硬件 | 8 台 Atlas A2 服务器 (每台 8 卡 NPU，256 核) |
+| NPU 型号 | 华为昇腾 910B |
+| 总 NPU 数 | 64 (8 节点 × 8 卡) |
+| 序列长度 | 4,096 |
+
+
+## 优化器
+
+| 参数 | 值 |
+|------|------|
+| 优化器 | AdamW |
+| 峰值学习率 | 3e-4 |
+| 最低学习率 | 3e-5 |
+
+
+## 词表
+
+| 属性 | 值 |
+|------|------|
+| 类型 | SentencePiece BPE |
+| 词表大小 | 64,000 |
+| 语言覆盖 | 英文 + 中文 |
+
+## 测评
+
+在 checkpoint (~98B tokens) 上基于 lighteval 框架（v0.9.2）测评。
+
+| Benchmark | Score |
+|------|------|
+| ARC-Easy | 60.44 |
+| ARC-Challenge | 27.13 |
+| PIQA | 67.25 |
+| HellaSwag | 37.91 |
+| OpenBookQA | 31.8 |
+| Winogrande | 52.17 |
+| agi_eval | 23.78 |
+
+## 核心特点
+
+- **全昇腾原生**: 完全在华为昇腾 910B NPU 上训练，使用 MindSpeed-LLM 框架
+- **中英双语**: 模型基于中英混合数据集训练
+
+
+## 预期用途
+
+本模型为研究型模型，适用于:
+- 研究小模型在昇腾 NPU 上的训练动态
+- 中英文语言建模研究
+- 作为后续微调或退火实验的基础模型
+
+## 局限性
+
+- 模型规模较小，推理和生成能力有限
+- 仅为原始预训练模型
+
+## Citation
+
+```bibtex
+@misc{haidass-143m,
+  title={haidass-143M: A Bilingual Small Language Model Trained on Ascend 910B},
+  year={2026},
+  note={Based on Qwen3 architecture, trained from scratch on 100B tokens using MindSpeed-LLM on 64× Ascend 910B NPUs}
+}
+```
+
+## License
+
+Apache 2.0