Chranos/enginex-mlu370-vllm
1
0
Fork 0
forked from EngineX-Cambricon/enginex-mlu370-vllm
Code Pull Requests Activity

update readme

Browse Source
This commit is contained in:
Chranos
2026-02-11 17:44:53 +08:00
parent 29b36a6b61
commit 8f6fd0512d
1 changed files with 55 additions and 19 deletions
Download Patch File Download Diff File Expand all files Collapse all files

74
README.md
View File

@@ -1,12 +1,62 @@
# enginex-mlu370-vllm
# 寒武纪 mlu370 文本生成
该模型测试框架在寒武纪mlu370 （X8/X4）加速卡上，基于vllm 推理引擎，适配了 Qwen1.5-1.8B-Chat 模型。
寒武纪 MLU370（X8/X4）加速卡上基于 vLLM 推理引擎的文本生成框架。
## 版本更新记录
* Qwen1.5-1.8B-Chat 是通义千问系列中一款约18亿参数、轻量级的中英文对话大模型，专为高效推理和多场景聊天交互设计。
* Llama-2-7b-chat-hf：Meta 发布的 LLaMA 2 系列中 70 亿参数的对话优化版开源大模型，适合多轮聊天与通用任务。
* ChatGLM3-6B：智谱 AI 推出的第 3 代 ChatGLM 系列中 60 亿参数的中英双语对话大模型，支持推理、代码和多任务能力。
### v0.0.6.2 — 2026-02-11 · Llama4 模型支持
- 新建 `Llama4ForCausalLM` 模型实现：复合 config 处理、sigmoid routing MoE、QK Normalization、交替 dense/MoE 层
- 新建 MLU hijack 适配：SparseMoeMlp MoE 替换、embedding dtype 修复
- 处理 `Llama4Config` 嵌套 `text_config` 的 architectures 提取问题
- ⚠️ MoE dense 模式（影响所有 MoE 模型）：原始 `forward_experts_nofused` 含 graph capture 不兼容操作，改为 dense 模式解决兼容性，但计算量增大。DeepSeek V2/V3 不受影响（有独立 MLU MoE hijack）
### v0.0.6.1 — 2026-02-11 · DeepSeek V3 MTP 推测解码
- 新建 `deepseek_mtp.py` 实现 MTP draft model，复用 DeepseekV2DecoderLayer，以 EAGLE 为模板适配
- `SpeculativeConfig` 自动检测 `num_nextn_predict_layers` 并改写 draft config
- target worker 为 MTP 返回 hidden states（仅 target，不影响 draft worker）
- MLU config 三处 model_type 判断扩展支持 `deepseek_mtp`，匹配 MLA cache 格式
### v0.0.6 — 2026-02-11 · DeepSeek V3 模型支持
- 注册 `DeepseekV3ForCausalLM`（复用 V2 实现），扩展 MLU MLA config 判断支持 `deepseek_v3`
- 实现 `noaux_tc` 路由方式（`e_score_correction_bias`）
- 跳过 MTP 层权重加载
- 修复 MLA unpaged 缓存路径使用错误的 paged cache 算子（prefill + decode 均替换为 `reshape_linear_cache`）
### v0.0.5 — 2026-02-10 · Qwen3MoE 模型支持
- 新增 `Qwen3MoeForCausalLM` 模型实现（QK Normalization、ReplicatedLinear shared_expert_gate）
- 修复 FusedMoE `forward_mlu` 签名缺少 `layer` 参数的已有 bug（影响所有 MLU 上的 MoE 模型）
### v0.0.4.1 — 2026-02-10 · Gemma3 rope 兼容性修复
- 修复新版 transformers `Gemma3TextConfig` 缺少 `rope_theta` 属性的问题，从 `rope_parameters` 字典兼容提取
- 修复 `rope_scaling` 嵌套字典导致 `get_rope` 缓存 unhashable 的问题
- 适配 MLU `forward_mlu` 接口，将 q/k 合并为单张量调用 rotary_emb 后再拆分
### v0.0.4 — 2026-02-10 · Gemma3 模型支持
- 新增 `Gemma3ForCausalLM` 模型实现（QK Normalization、per-layer rope 配置、layer_types 滑动窗口）
- 修复 `patch_rope_scaling_dict` 在 rope_scaling 缺少 `rope_type` 键时崩溃的问题
### v0.0.3.1 — 2026-02-06 · CNNL Tensor 溢出修复
- 解决极小模型在大显存设备上部署时 KV cache 元素数超过 int32 限制的问题
- 在 mlu_worker 和 cache_engine 中添加双重防护
### v0.0.3 — 2026-02-06 · Transformers 通用后端
- 支持通过 `auto_map` 加载任意自定义 HuggingFace 模型
- 新增 registry 回退逻辑、Linear 返回值处理、RMSNorm 维度恢复等
### v0.0.2 — 2026-02-04 · Qwen3 模型支持
- 实现 QK Normalization 架构适配
- 修复 rope_scaling 和 tokenizer 兼容性问题，解决张量连续性导致的 view 操作失败
---
## Quick Start
1. 首先从modelscope上下载文本生成大模型，如`Qwen1.5-1.8B-Chat`
@@ -165,17 +215,3 @@ curl http://localhost:80/v1/chat/completions \
| ------------------- | ------------------- | -------------------| ------------------- | ------------------- | ------------------- | ------------------- | ------------------- | ------------------- |
| Qwen/Qwen-1_8B |0.203 | 13493.2 | 119.2 | 10.0 | 0.052 | 25591.5 | 165.0 | 15.0|
| Qwen/Qwen1.5-0.5B |0.132 | 12366.6 | 106.9 | 15.0 | 0.066 | 24935.4 | 151.4 | 10.0|
## 版本更新记录
| 版本 | 日期 | 更新内容 |
|------|------|----------|
| v0.0.2 | 2026-02-04 | **Qwen3 模型支持**：实现 QK Normalization 架构适配，修复 rope_scaling 和 tokenizer 兼容性问题，解决张量连续性导致的 view 操作失败 |
| v0.0.3 | 2026-02-06 | **Transformers 通用后端**：支持通过 `auto_map` 加载任意自定义 HuggingFace 模型，新增 registry 回退逻辑、Linear 返回值处理、RMSNorm 维度恢复等 |
| v0.0.3.1 | 2026-02-06 | **CNNL Tensor 溢出修复**：解决极小模型在大显存设备上部署时 KV cache 元素数超过 int32 限制的问题，在 mlu_worker 和 cache_engine 中添加双重防护 |
| v0.0.4 | 2026-02-10 | **Gemma3 模型支持**：新增 Gemma3ForCausalLM 模型实现（含 QK Normalization、per-layer rope 配置、layer_types 滑动窗口），修复 `patch_rope_scaling_dict` 在 rope_scaling 缺少 `rope_type` 键时崩溃的问题，更新模型注册表及 config.py 中 interleaved attention 和 dtype 自动处理逻辑 |
| v0.0.4.1 | 2026-02-10 | **Gemma3 rope 兼容性修复**：修复新版 transformers `Gemma3TextConfig` 缺少 `rope_theta` 属性的问题，从 `rope_parameters` 字典兼容提取 rope 配置（支持 Transformers v4/v5）；修复 `rope_scaling` 嵌套字典导致 `get_rope` 缓存 unhashable 的问题；适配 MLU `forward_mlu` 接口，将 q/k 合并为单张量调用 rotary_emb 后再拆分 |
| v0.0.5 | 2026-02-10 | **Qwen3MoE 模型支持**：新增 Qwen3MoeForCausalLM 模型实现（含 QK Normalization、ReplicatedLinear shared_expert_gate），修复 FusedMoE `forward_mlu` 签名缺少 `layer` 参数的已有 bug（影响所有 MLU 上的 MoE 模型），更新模型注册表 |
| v0.0.6 | 2026-02-11 | **DeepSeek V3 模型支持**：注册 DeepseekV3ForCausalLM（复用 V2 实现），扩展 MLU MLA config 判断支持 `deepseek_v3`，实现 `noaux_tc` 路由方式（`e_score_correction_bias`），跳过 MTP 层权重加载，修复 MLA unpaged 缓存路径使用错误的 paged cache 算子（prefill + decode 均替换为 `reshape_linear_cache`） |
| v0.0.6.1 | 2026-02-11 | **DeepSeek V3 MTP 推测解码**：新建 `deepseek_mtp.py` 实现 MTP draft model（复用 DeepseekV2DecoderLayer，EAGLE 模板适配），SpeculativeConfig 自动检测 `num_nextn_predict_layers` 并改写 draft config，target worker 为 MTP 返回 hidden states，MLU config 三处 model_type 判断扩展支持 `deepseek_mtp` 以匹配 MLA cache 格式 |
| v0.0.6.2 | 2026-02-11 | **Llama4 模型支持**：新建 Llama4ForCausalLM 模型实现（复合 config 处理、sigmoid routing MoE、QK Normalization、交替 dense/MoE 层），新建 MLU hijack 适配（SparseMoeMlp MoE 替换、embedding dtype 修复），处理 `Llama4Config` 嵌套 `text_config` 的 architectures 提取问题。**⚠️ MoE dense 模式（影响所有 MoE 模型）**：原始 `forward_experts_nofused` 包含 `torch.unique`、`torch.tensor` 创建、数据依赖分支等 graph capture 不兼容操作，导致 MLU370 上所有走 `SparseMoeMlp` 的 MoE 模型必须加 `--enforce-eager` 才能运行。现已改为 dense 模式（每个 expert 处理全部 token），解决了 graph capture 兼容性，所有 MoE 模型无需 `--enforce-eager` 即可运行，但计算量增大 num_experts/topk 倍（Mixtral 4x、Llama4 16x、Qwen2-MoE 15x）。DeepSeek V2/V3 不受影响（有独立 MLU MoE hijack）。后续应拆分 `is_use_fused_moe` 标志让 MLU370 走 `forward_group_experts` 路径优化 |