6 lines
277 B
Markdown
6 lines
277 B
Markdown
|
# tokenizer 修补（I5，未开启）
|
|||
|
|
|
|||
|
|
现有 bi150 引擎已经覆盖 tokenizer。本仓先补 chat_template（R2）和 architecture 白名单（R4）。
|
|||
|
|
|
|||
|
|
`APPLY_TOKENIZER_PATCH` 默认为 `0`。在确认某类模型只靠 R2/R4 仍无法加载之前，不要打开这项。
|