Files
modelhub-engine-bi150-compat/README.md
Victor Cao 4c271270d4
All checks were successful
Docker Build / docker (push) Successful in 20m36s
fix: FRAMEWORK vllm_bi150_r2r4 + image-verify CI (I8–I12)
2026-10-13 15:15:16 +08:00

3.2 KiB
Raw Permalink Blame History

天垓 150 文本生成兼容引擎

本仓是 ModelHub XC 上 Iluvatar bi-150(天垓 150)的文本生成引擎:Gitea 仓库 + CI 构建镜像。日常引擎贡献不走 ZIP。

不代提交。 本仓不向 modelhub.org.cn 提交适配任务,也不调用平台审核接口。推送、打 Tag、在模盒选用引擎都由人完成,步骤见 docs/upload-runbook.md。

积分:待平台核实。成功看审核通过,以及适配任务能否选用该引擎。

非目标

  • Track B(竞赛)为 NO-GO。没有 contest/,没有竞赛构建。
  • 没有 ZIP 打包,没有上传驱动的 Makefile 目标。
  • FRAMEWORK 使用 vllm_bi150_r2r4,不使用 vllm_fix_tokenizer。
  • tokenizer 修补(I5)未开启。现有 bi150 引擎已覆盖 tokenizer;本仓补的是 chat_template(R2)和 architecture 白名单(R4)。

基线镜像

默认:

registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1

这个 tag 来自公开仓反推,置信度为中高,不是官方另行发布的锁定说明。官方入口若给出不同 tag,只改 Dockerfile 里的 BASE_IMAGE。

构建覆盖:

docker build --build-arg BASE_IMAGE=<官方 tag> -t modelhub-engine-bi150-compat:dev .

无卡环境只能验证修补逻辑,不能证明吞吐。

本地检查

需要本机 python3、bash、make。不需要 GPU,也不需要平台账号。

make test
make dry-run

make dry-run 只打印启动计划与模板预览,不启动 vLLM,不访问平台。

FRAMEWORK

默认值写在 task_info.env.example。镜像内和 CI 使用同一组值:

  • GPU_TYPE=Iluvatar_bi-150
  • FRAMEWORK=vllm_bi150_r2r4
  • TASK_TYPE=text-generation

为什么不用 vllm_0_17_0_corex_4_4_0

适配页按 FRAMEWORK 聚合。该名字已被 i-liangzhuobang 占用展示,本仓 v0.1.0 用它注册时,引擎下拉里看到的是对方的开发者身份。vllm_bi150_r2r4 是本仓独有的名字,用来让适配页正确归属。

若平台给出新的 FRAMEWORK 名,同时改这三处,并让 make test 保持通过:

  • task_info.env.example
  • .gitea/workflows/task_info.env
  • Dockerfile 的 ENV

不要改回 vllm_fix_tokenizer,也不要改回撞名的旧值。

CI 与 image-verify

v* 标签触发 .gitea/workflows/build.yml:

Clone → Load task info → Validate Image Verify Metadata → Build image → Push → Notify Image Verify

Validate 在构建前校验 gpuType 与 taskType;Notify 只在镜像真的推送成功后注册 imageUrl。两步都要 Runner 注入 FIXED_TOKEN,仓库里不存任何 Token。

CI 只调用 adminApi/image-verify 和它的 validate。不代领、也不代提交适配任务。

建仓与选用

见 docs/upload-runbook.md。事项状态见 docs/issues.md。证据模板见 docs/evidence.md。

参考公开仓的启动包装和架构改写思路,没有整仓复制:

  • zhengzhongwei/vLLM-Iluvatar_bi-100-opt
  • wanglin/enginex-bi100-compat
  • 公开 bi150 tokenizer 引擎只覆盖 tokenizer,本仓补 R2/R4