Add vLLM patched image for K100: fix extra_special_tokens list->dict
This commit is contained in:
37
README.md
Normal file
37
README.md
Normal file
@@ -0,0 +1,37 @@
|
|||||||
|
# K100-vLLM Patched 镜像
|
||||||
|
|
||||||
|
## 背景
|
||||||
|
|
||||||
|
在海光 K100-AI GPU 上跑大批量模型 benchmark 时,部分模型因 tokenizer 配置问题导致 vLLM 启动失败。本仓库通过在基础镜像上打 patch,修复已知的兼容性问题,无需逐个修改模型文件。
|
||||||
|
|
||||||
|
## 镜像信息
|
||||||
|
|
||||||
|
| 项目 | 值 |
|
||||||
|
|------|----|
|
||||||
|
| 基础镜像 | `git.modelhub.org.cn:9443/enginex-hygon/vllm:0.9.2` |
|
||||||
|
| Patched 镜像 | `git.modelhub.org.cn:9443/enginex-hygon/vllm:0.9.2-patched` |
|
||||||
|
|
||||||
|
## 已修复问题
|
||||||
|
|
||||||
|
### Patch 1:extra_special_tokens 类型兼容
|
||||||
|
|
||||||
|
**问题:** 部分模型的 `tokenizer_config.json` 中 `extra_special_tokens` 字段为 `list` 类型,而 transformers 库要求其为 `dict`,导致 vLLM 启动时报错崩溃。
|
||||||
|
|
||||||
|
**修复文件:** `transformers/tokenization_utils_base.py`
|
||||||
|
|
||||||
|
**修复方式:** 在 `_set_model_specific_special_tokens` 方法入口处,检测到 `list` 类型时自动转换为 `dict`。
|
||||||
|
|
||||||
|
**已验证模型:**
|
||||||
|
- beyoru/Luna-Ethos ✅
|
||||||
|
- boqiny/Qwen3-8B-FengGe-SFT ✅
|
||||||
|
|
||||||
|
## 构建方法
|
||||||
|
|
||||||
|
在仓库根目录执行:
|
||||||
|
|
||||||
|
`docker build -t git.modelhub.org.cn:9443/enginex-hygon/vllm:0.9.2-patched .`
|
||||||
|
|
||||||
|
## 文件说明
|
||||||
|
|
||||||
|
- `Dockerfile` — 镜像构建文件
|
||||||
|
- `patch.py` — 执行实际文件修改的脚本
|
||||||
Reference in New Issue
Block a user