# Biren166M vLLM Patched 镜像 ## 背景 在 Biren166M GPU 上跑大批量模型 benchmark 时,部分模型因 tokenizer 配置问题导致 vLLM 启动失败。本仓库通过在基础镜像上打 patch,修复已知的兼容性问题,无需逐个修改模型文件。 ## 镜像信息 | 项目 | 值 | |------|----| | 基础镜像 | `git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01` | | Patched 镜像 | `git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer` | ## 已修复问题 ### Patch 1:extra_special_tokens 类型兼容 **问题:** 部分模型的 `tokenizer_config.json` 中 `extra_special_tokens` 字段为 `list` 类型,而 transformers 库要求其为 `dict`,导致 vLLM 启动时报错崩溃。 **修复文件:** `transformers/tokenization_utils_base.py` **修复方式:** 在 `_set_model_specific_special_tokens` 方法入口处,检测到 `list` 类型时自动转换为 `dict`。 ## 构建方法 ```bash docker build -t git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer . docker push git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer