Biren-166m/README.md

Biren166M vLLM Patched 镜像

背景

在 Biren166M GPU 上跑大批量模型 benchmark 时，部分模型因 tokenizer 配置问题导致 vLLM 启动失败。本仓库通过在基础镜像上打 patch，修复已知的兼容性问题，无需逐个修改模型文件。

镜像信息

项目	值
基础镜像	git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01
Patched 镜像	git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer

已修复问题

Patch 1：extra_special_tokens 类型兼容

问题： 部分模型的 tokenizer_config.json 中 extra_special_tokens 字段为 list 类型，而 transformers 库要求其为 dict，导致 vLLM 启动时报错崩溃。

修复文件： transformers/tokenization_utils_base.py

修复方式： 在 _set_model_specific_special_tokens 方法入口处，检测到 list 类型时自动转换为 dict。

已验证模型：

• beyoru/Luna-Ethos ✅
• boqiny/Qwen3-8B-FengGe-SFT ✅

构建方法

docker build -t git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer .
docker push git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer