初始化项目,由ModelHub XC社区提供模型

Model: fzkun/minimind3-ascend-dense
Source: Original Platform
This commit is contained in:
ModelHub XC
2026-04-25 17:28:22 +08:00
commit 2665861118
9 changed files with 31820 additions and 0 deletions

77
README.md Normal file
View File

@@ -0,0 +1,77 @@
---
language:
- zh
license: apache-2.0
library_name: transformers
tags:
- minimind
- qwen3
- chat
- text-generation
- ascend
pipeline_tag: text-generation
---
# MiniMind3-Ascend-Dense
这是一个基于 **MiniMind3-Ascend** 训练链路导出的 Dense 对话模型,默认兼容 Transformers 推理方式,适合作为轻量级中文对话模型使用。
## 模型信息
- 模型名:`fzkun/minimind3-ascend-dense`
- 架构Dense
- 导出兼容:`Qwen3ForCausalLM`
- 参数规模:约 **64M**
- 主要配置:
- `hidden_size = 768`
- `num_hidden_layers = 8`
## 文件说明
仓库中包含:
- `config.json`
- `generation_config.json`
- `model.safetensors`
- `tokenizer.json`
- `tokenizer_config.json`
- `special_tokens_map.json`
- `chat_template.jinja`
## 使用方式
### Transformers
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "fzkun/minimind3-ascend-dense"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
messages = [{"role": "user", "content": "你好"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
```
## Benchmark 结果
评测环境:
- Ascend 910B
- 单卡 `npu:0`
- `batch_size = 16`
| ceval | cmmlu | arc | piqa | openbookqa | hellaswag | siqa |
|---:|---:|---:|---:|---:|---:|---:|
| 22.66 | 25.04 | 28.66 | 51.85 | 25.60 | 28.73 | 32.60 |
说明:
- `ceval / cmmlu / arc / piqa / openbookqa / hellaswag` 使用 `acc_norm`
- `social_iqa` 使用 `acc`
## 补充说明
- Dense 版本更轻量,适合资源受限场景
- 对应 SwanLab 实验记录:<https://swanlab.cn/@fzkun/MiniMind3/overview>