Files
bi_150-vllm/README.md
2026-06-02 16:00:44 +08:00

1.3 KiB

bi_150-vllm

本仓库保存的是从 Iluvatar BI-150 vLLM 基础镜像中提取出来的 vLLM 0.17.0+corex.20260420090923 Python 包代码,用于覆盖基础镜像中的 已安装 vllm 目录,并重新打包生成 ModelHub 评测镜像。

基础镜像:

registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1

运行环境要求

  • GPU 类型:Iluvatar_bi-150
  • 任务类型:text-generation
  • 运行节点需要匹配 Iluvatar CoreX/驱动 4.4.0 环境。
  • 镜像中的 CoreX 运行时来自上述 vllm0.17.0-4.4.0-x86:v4.1 基础镜像。

ModelHub 元信息

CI 中使用的 ModelHub 元信息位于:

.gitea/workflows/task_info.env

当前配置为:

FRAMEWORK=vllm_0_17_0_corex_4_4_0
GPU_TYPE=Iluvatar_bi-150
TASK_TYPE=text-generation

构建镜像

在仓库根目录执行:

docker build --pull=false \
  --build-arg BASE_IMAGE=registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1 \
  -t bi_150_vllm:0.17.0-corex-4.4.0 \
  .

## 说明

- 镜像构建时保留基础镜像中的 CoreX 运行时环境,只替换 Python 层的
  `vllm` 代码和对应包元数据。
- CI workflow 会在镜像推送前执行一次 `vllm.benchmarks.lib` 导入检查,
  避免再次出现 Python 包覆盖不完整但镜像已经推送的问题。