添加 README.md

This commit is contained in:
2026-04-24 15:44:57 +08:00
parent 83ed41ee76
commit 9ae7d0ffef

32
README.md Normal file
View File

@@ -0,0 +1,32 @@
# Biren166M vLLM Patched 镜像
## 背景
在 Biren166M GPU 上跑大批量模型 benchmark 时,部分模型因 tokenizer 配置问题导致 vLLM 启动失败。本仓库通过在基础镜像上打 patch修复已知的兼容性问题无需逐个修改模型文件。
## 镜像信息
| 项目 | 值 |
|------|----|
| 基础镜像 | `git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01` |
| Patched 镜像 | `git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer` |
## 已修复问题
### Patch 1extra_special_tokens 类型兼容
**问题:** 部分模型的 `tokenizer_config.json``extra_special_tokens` 字段为 `list` 类型,而 transformers 库要求其为 `dict`,导致 vLLM 启动时报错崩溃。
**修复文件:** `transformers/tokenization_utils_base.py`
**修复方式:**`_set_model_specific_special_tokens` 方法入口处,检测到 `list` 类型时自动转换为 `dict`
**已验证模型:**
- `beyoru/Luna-Ethos`
- `boqiny/Qwen3-8B-FengGe-SFT`
## 构建方法
```bash
docker build -t git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer .
docker push git.modelhub.org.cn:9443/enginex/xc-llm-biren166m:26.01-patch-tokenizer