bi_150-vllm

本仓库保存的是从 Iluvatar BI-150 vLLM 基础镜像中提取出来的 vLLM 0.17.0+corex.20260420090923 Python 包代码，用于覆盖基础镜像中的 已安装 vllm 目录，并重新打包生成 ModelHub 评测镜像。

基础镜像：

registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1

运行环境要求

• GPU 类型：Iluvatar_bi-150
• 任务类型：text-generation
• 运行节点需要匹配 Iluvatar CoreX/驱动 4.4.0 环境。
• 镜像中的 CoreX 运行时来自上述 vllm0.17.0-4.4.0-x86:v4.1 基础镜像。
• 如果堡垒机或云平台评测节点驱动/CoreX 版本不匹配，可能出现设备初始化、 算子加载或 CUDA graph/eager 执行相关异常。

ModelHub 元信息

CI 中使用的 ModelHub 元信息位于：

.gitea/workflows/task_info.env

当前配置为：

FRAMEWORK=vllm_0_17_0_corex_4_4_0
GPU_TYPE=Iluvatar_bi-150
TASK_TYPE=text-generation

FRAMEWORK 不再使用通用的 vllm，而是使用 vllm_0_17_0_corex_4_4_0。这样可以避免在 ModelHub 平台上和已有 通用 vLLM 框架记录混淆，或被平台按相同框架名聚合/覆盖展示。

仓库内容

• vllm/ 从基础镜像中提取出来的 vllm Python 包代码。
• vllm-0.17.0+corex.20260420090923.dist-info/ 对应的 Python 包元数据目录。
• Dockerfile 基于厂商基础镜像重新覆盖 vllm 代码并打包镜像。
• .gitea/workflows/ ModelHub CI/CD 构建、推送和审核通知 workflow。

构建镜像

在仓库根目录执行：

docker build --pull=false \
  --build-arg BASE_IMAGE=registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1 \
  -t bi_150_vllm:0.17.0-corex-4.4.0 \
  .

验证镜像

确认 vLLM 包路径和版本：

docker run --rm --entrypoint python3 bi_150_vllm:0.17.0-corex-4.4.0 -c \
  "import vllm; print(vllm.__file__); print(vllm.__version__)"

确认 vllm.benchmarks.lib 已包含在镜像内：

docker run --rm --entrypoint python3 bi_150_vllm:0.17.0-corex-4.4.0 -c \
  "from vllm.benchmarks.lib.utils import write_to_json; print('vllm package ok')"

说明

• 这个仓库是覆盖式发布仓库，不是完整上游 vLLM 源码仓库。
• 镜像构建时保留基础镜像中的 CoreX 运行时环境，只替换 Python 层的 vllm 代码和对应包元数据。
• CI workflow 会在镜像推送前执行一次 vllm.benchmarks.lib 导入检查， 避免再次出现 Python 包覆盖不完整但镜像已经推送的问题。