3.2 KiB
天垓 150 文本生成兼容引擎
本仓是 ModelHub XC 上 Iluvatar bi-150(天垓 150)的文本生成引擎:Gitea 仓库 + CI 构建镜像。日常引擎贡献不走 ZIP。
不代提交。 本仓不向 modelhub.org.cn 提交适配任务,也不调用平台审核接口。推送、打 Tag、在模盒选用引擎都由人完成,步骤见 docs/upload-runbook.md。
积分:待平台核实。成功看审核通过,以及适配任务能否选用该引擎。
非目标
- Track B(竞赛)为 NO-GO。没有
contest/,没有竞赛构建。 - 没有 ZIP 打包,没有上传驱动的 Makefile 目标。
FRAMEWORK使用vllm_bi150_r2r4,不使用vllm_fix_tokenizer。- tokenizer 修补(I5)未开启。现有 bi150 引擎已覆盖 tokenizer;本仓补的是 chat_template(R2)和 architecture 白名单(R4)。
基线镜像
默认:
registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1
这个 tag 来自公开仓反推,置信度为中高,不是官方另行发布的锁定说明。官方入口若给出不同 tag,只改 Dockerfile 里的 BASE_IMAGE。
构建覆盖:
docker build --build-arg BASE_IMAGE=<官方 tag> -t modelhub-engine-bi150-compat:dev .
无卡环境只能验证修补逻辑,不能证明吞吐。
本地检查
需要本机 python3、bash、make。不需要 GPU,也不需要平台账号。
make test
make dry-run
make dry-run 只打印启动计划与模板预览,不启动 vLLM,不访问平台。
FRAMEWORK
默认值写在 task_info.env.example。镜像内和 CI 使用同一组值:
GPU_TYPE=Iluvatar_bi-150FRAMEWORK=vllm_bi150_r2r4TASK_TYPE=text-generation
为什么不用 vllm_0_17_0_corex_4_4_0
适配页按 FRAMEWORK 聚合。该名字已被 i-liangzhuobang 占用展示,本仓 v0.1.0 用它注册时,引擎下拉里看到的是对方的开发者身份。vllm_bi150_r2r4 是本仓独有的名字,用来让适配页正确归属。
若平台给出新的 FRAMEWORK 名,同时改这三处,并让 make test 保持通过:
task_info.env.example.gitea/workflows/task_info.envDockerfile的ENV
不要改回 vllm_fix_tokenizer,也不要改回撞名的旧值。
CI 与 image-verify
v* 标签触发 .gitea/workflows/build.yml:
Clone → Load task info → Validate Image Verify Metadata → Build image → Push → Notify Image Verify
Validate 在构建前校验 gpuType 与 taskType;Notify 只在镜像真的推送成功后注册 imageUrl。两步都要 Runner 注入 FIXED_TOKEN,仓库里不存任何 Token。
CI 只调用 adminApi/image-verify 和它的 validate。不代领、也不代提交适配任务。
建仓与选用
见 docs/upload-runbook.md。事项状态见 docs/issues.md。证据模板见 docs/evidence.md。
参考公开仓的启动包装和架构改写思路,没有整仓复制:
- zhengzhongwei/vLLM-Iluvatar_bi-100-opt
- wanglin/enginex-bi100-compat
- 公开 bi150 tokenizer 引擎只覆盖 tokenizer,本仓补 R2/R4