Files
modelhub-engine-bi150-compat/README.md
Victor Cao fc15b61c81
All checks were successful
Docker Build / docker (push) Successful in 8s
初始提交:天垓150兼容引擎 I0–I4/I6/I7
2026-10-13 11:16:51 +08:00

2.4 KiB
Raw Blame History

天垓 150 文本生成兼容引擎

本仓是 ModelHub XC 上 Iluvatar bi-150(天垓 150)的文本生成引擎:Gitea 仓库 + CI 构建镜像。日常引擎贡献不走 ZIP。

不代提交。 本仓不向 modelhub.org.cn 提交适配任务,也不调用平台审核接口。推送、打 Tag、在模盒选用引擎都由人完成,步骤见 docs/upload-runbook.md。

积分:待平台核实。成功看审核通过,以及适配任务能否选用该引擎。

非目标

  • Track B(竞赛)为 NO-GO。没有 contest/,没有竞赛构建。
  • 没有 ZIP 打包,没有上传驱动的 Makefile 目标。
  • FRAMEWORK 使用 vllm_0_17_0_corex_4_4_0,不使用 vllm_fix_tokenizer。
  • tokenizer 修补(I5)未开启。现有 bi150 引擎已覆盖 tokenizer;本仓补的是 chat_template(R2)和 architecture 白名单(R4)。

基线镜像

默认:

registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1

这个 tag 来自公开仓反推,置信度为中高,不是官方另行发布的锁定说明。官方入口若给出不同 tag,只改 Dockerfile 里的 BASE_IMAGE。

构建覆盖:

docker build --build-arg BASE_IMAGE=<官方 tag> -t modelhub-engine-bi150-compat:dev .

无卡环境只能验证修补逻辑,不能证明吞吐。

本地检查

需要本机 python3、bash、make。不需要 GPU,也不需要平台账号。

make test
make dry-run

make dry-run 只打印启动计划与模板预览,不启动 vLLM,不访问平台。

改 FRAMEWORK

默认值写在 task_info.env.example。镜像内和 CI 使用同一组值:

  • GPU_TYPE=Iluvatar_bi-150
  • FRAMEWORK=vllm_0_17_0_corex_4_4_0
  • TASK_TYPE=text-generation

若平台给出新的 FRAMEWORK 名,同时改这三处,并让 make test 保持通过:

  • task_info.env.example
  • .gitea/workflows/task_info.env
  • Dockerfile 的 ENV

不要改回 vllm_fix_tokenizer。

建仓与选用

见 docs/upload-runbook.md。事项状态见 docs/issues.md。证据模板见 docs/evidence.md。

参考公开仓的启动包装和架构改写思路,没有整仓复制:

  • zhengzhongwei/vLLM-Iluvatar_bi-100-opt
  • wanglin/enginex-bi100-compat
  • 公开 bi150 tokenizer 引擎只覆盖 tokenizer,本仓补 R2/R4