30 lines
1.1 KiB
Markdown
30 lines
1.1 KiB
Markdown
|
# Biren166M vLLM Patched 镜像
|
|||
|
|
|
|||
|
|
## 背景
|
|||
|
|
|
|||
|
|
在 Biren166M GPU 上跑大批量模型 benchmark 时，部分模型因 tokenizer 配置问题导致 vLLM 启动失败。本仓库通过在基础镜像上打 patch，修复已知的兼容性问题，无需逐个修改模型文件。
|
|||
|
|
|
|||
|
|
## 镜像信息
|
|||
|
|
|
|||
|
|
| 项目 | 值 |
|
|||
|
|
|------|----|
|
|||
|
|
| 基础镜像 | `git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01` |
|
|||
|
|
| Patched 镜像 | `git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer` |
|
|||
|
|
|
|||
|
|
## 已修复问题
|
|||
|
|
|
|||
|
|
### Patch 1：extra_special_tokens 类型兼容
|
|||
|
|
|
|||
|
|
**问题：** 部分模型的 `tokenizer_config.json` 中 `extra_special_tokens` 字段为 `list` 类型，而 transformers 库要求其为 `dict`，导致 vLLM 启动时报错崩溃。
|
|||
|
|
|
|||
|
|
**修复文件：** `transformers/tokenization_utils_base.py`
|
|||
|
|
|
|||
|
|
**修复方式：** 在 `_set_model_specific_special_tokens` 方法入口处，检测到 `list` 类型时自动转换为 `dict`。
|
|||
|
|
|
|||
|
|
|
|||
|
|
## 构建方法
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
docker build -t git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer .
|
|||
|
|
docker push git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer
|