7e10df51bc2b4a1244f2ef518fee3c3eb86b188d
Biren166M vLLM Patched 镜像
背景
在 Biren166M GPU 上跑大批量模型 benchmark 时,部分模型因 tokenizer 配置问题导致 vLLM 启动失败。本仓库通过在基础镜像上打 patch,修复已知的兼容性问题,无需逐个修改模型文件。
镜像信息
| 项目 | 值 |
|---|---|
| 基础镜像 | git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01 |
| Patched 镜像 | git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer |
已修复问题
Patch 1:extra_special_tokens 类型兼容
问题: 部分模型的 tokenizer_config.json 中 extra_special_tokens 字段为 list 类型,而 transformers 库要求其为 dict,导致 vLLM 启动时报错崩溃。
修复文件: transformers/tokenization_utils_base.py
修复方式: 在 _set_model_specific_special_tokens 方法入口处,检测到 list 类型时自动转换为 dict。
已验证模型:
beyoru/Luna-Ethos✅boqiny/Qwen3-8B-FengGe-SFT✅
构建方法
docker build -t git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer .
docker push git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer
Description
Languages
Python
87.4%
Dockerfile
12.6%