8022cd4b2e486fec564446d1e260f38f9fcd20ae
BI-150 TokenizersBackend 修复补丁
基于 BI-150 vLLM 0.8.3 镜像,仅修复以下错误:
ValueError: Tokenizer class TokenizersBackend does not exist or is not currently imported.
工作方式
镜像构建时用 wrapper 接管 vllm 命令。执行 vllm serve <model_dir> 时:
- 读取模型的
tokenizer_config.json。 - 仅当
tokenizer_class严格等于TokenizersBackend时,将 tokenizer 文件复制到/tmp/fixed_tokenizer。 - 根据已有文件选择替代类:
tokenizer.json使用PreTrainedTokenizerFast,tokenizer.model使用LlamaTokenizer,vocab.json与merges.txt使用GPT2TokenizerFast;无法判断时回退到PreTrainedTokenizerFast。 - 向原始 vLLM 命令追加
--tokenizer /tmp/fixed_tokenizer。
原模型目录不会被修改。其他 tokenizer 错误及其他 tokenizer_class 均不处理。
构建
docker build -t iluvatar-bi150-vllm-tokenizer-fix:0.8.3 .
使用时仅替换原 BI-150 镜像名,vllm serve 参数保持不变。
Description
Languages
Python
79.2%
Shell
11.8%
Dockerfile
9%