# K100-vLLM Patched 镜像

## 背景

在海光 K100-AI GPU 上跑大批量模型 benchmark 时，部分模型因 tokenizer 配置问题导致 vLLM 启动失败。本仓库通过在基础镜像上打 patch，修复已知的兼容性问题，无需逐个修改模型文件。

## 镜像信息

### 海光 K100-AI

| 项目 | 值 |
|------|----|
| 基础镜像 | `git.modelhub.org.cn:9443/enginex-hygon/vllm:0.9.2` |
| Patched 镜像 | `git.modelhub.org.cn:9443/enginex-hygon/vllm:0.9.2-patched` |

### Nvidia A100

| 项目 | 值 |
|------|----|
| 基础镜像 | `harbor.4pd.io/dooke/vllm/vllm/vllm-openai:v0.11.0` |
| Patched 镜像 | `harbor.4pd.io/dooke/vllm/vllm/vllm-openai:v0.11.0-patched` |

## 已修复问题

### Patch 1：extra_special_tokens 类型兼容

**问题：** 部分模型的 `tokenizer_config.json` 中 `extra_special_tokens` 字段为 `list` 类型，而 transformers 库要求其为 `dict`，导致 vLLM 启动时报错崩溃。

**修复文件：** `transformers/tokenization_utils_base.py`

**修复方式：** 在 `_set_model_specific_special_tokens` 方法入口处，检测到 `list` 类型时自动转换为 `dict`。

**已验证模型：**
- beyoru/Luna-Ethos ✅
- boqiny/Qwen3-8B-FengGe-SFT ✅

## 构建方法

**海光K100-AI**

在仓库根目录执行：

`docker build -t git.modelhub.org.cn:9443/enginex-hygon/vllm:0.9.2-patched .`

**Nvidia A100**

在仓库根目录执行：

`docker build -t harbor.4pd.io/dooke/vllm/vllm/vllm-openai:v0.11.0-patched .`

## 文件说明

- `Dockerfile` — 镜像构建文件
- `patch.py` — 执行实际文件修改的脚本