初始提交:天垓150兼容引擎 I0–I4/I6/I7
All checks were successful
Docker Build / docker (push) Successful in 8s

This commit is contained in:
Victor Cao
2026-10-13 11:16:51 +08:00
commit fc15b61c81
24 changed files with 819 additions and 0 deletions

View File

@@ -0,0 +1 @@
{}

View File

@@ -0,0 +1,13 @@
# 本仓本地兼容白名单,不是平台公布的完整列表。
# 只收录 vLLM 0.17 文本生成里常见、且本引擎准备接受的架构名。
LlamaForCausalLM
Qwen2ForCausalLM
Qwen3ForCausalLM
Qwen3MoeForCausalLM
MistralForCausalLM
MixtralForCausalLM
Gemma2ForCausalLM
Phi3ForCausalLM
InternLM2ForCausalLM
BaichuanForCausalLM
ChatGLMForConditionalGeneration

View File

@@ -0,0 +1 @@
{% for message in messages %}{{ '<|' + message['role'] + '|>\n' + message['content'] + '<|end|>\n' }}{% endfor %}{% if add_generation_prompt %}{{ '<|assistant|>\n' }}{% endif %}

View File

@@ -0,0 +1,5 @@
# tokenizer 修补(I5,未开启)
现有 bi150 引擎已经覆盖 tokenizer。本仓先补 chat_template(R2)和 architecture 白名单(R4)。
`APPLY_TOKENIZER_PATCH` 默认为 `0`。在确认某类模型只靠 R2/R4 仍无法加载之前,不要打开这项。