zhengzhongwei/vLLM-Ascend_910-b3-opt
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity

fix tokenizer

Browse Source
This commit is contained in:
4paradigm
2026-07-22 14:38:23 +08:00
parent 4320028b8b
commit 500f2bba0d
1 changed files with 4 additions and 4 deletions
Download Patch File Download Diff File Expand all files Collapse all files

8
README.md
View File

@@ -6,10 +6,10 @@
部分模型的 `tokenizer_config.json` 存在以下问题，导致 vLLM 服务启动失败（错误码 `TOKENIZER_FAILED`）： 部分模型的 `tokenizer_config.json` 存在以下问题，导致 vLLM 服务启动失败（错误码 `TOKENIZER_FAILED`）：
| 错误 | 原因 | 受影响模型数 | | 错误 | 原因 |
|---|---|---| |---|---|
| `ValueError: Tokenizer class TokenizersBackend does not exist` | `tokenizer_class` 不是 transformers 合法类名 | 10 | | `ValueError: Tokenizer class TokenizersBackend does not exist` | `tokenizer_class` 不是 transformers 合法类名 |
| `AttributeError: 'list' object has no attribute 'keys'` | `extra_special_tokens` 为 list 格式，transformers 要求 dict | 15 | | `AttributeError: 'list' object has no attribute 'keys'` | `extra_special_tokens` 为 list 格式，transformers 要求 dict |
详见 `tokenizer_error_classification_summary.md`。 详见 `tokenizer_error_classification_summary.md`。