engine-demo/README.md

# bi_150-vllm

本仓库保存的是从 Iluvatar BI-150 vLLM 基础镜像中提取出来的
`vLLM 0.17.0+corex.20260420090923` Python 包代码，用于覆盖基础镜像中的
已安装 `vllm` 目录，并重新打包生成 ModelHub 评测镜像。

基础镜像：

```text
registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1
```

## 运行环境要求

- GPU 类型：`Iluvatar_bi-150`
- 任务类型：`text-generation`
- 运行节点需要匹配 Iluvatar CoreX/驱动 `4.4.0` 环境。
- 镜像中的 CoreX 运行时来自上述 `vllm0.17.0-4.4.0-x86:v4.1` 基础镜像。

## ModelHub 元信息

CI 中使用的 ModelHub 元信息位于：

```text
.gitea/workflows/task_info.env
```

当前配置为：

```env
FRAMEWORK=vllm_0_17_0_corex_4_4_0
GPU_TYPE=Iluvatar_bi-150
TASK_TYPE=text-generation
```


## 构建镜像

在仓库根目录执行：

```bash
docker build --pull=false \
  --build-arg BASE_IMAGE=registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1 \
  -t bi_150_vllm:0.17.0-corex-4.4.0 \
  .
```

```

## 说明

- 镜像构建时保留基础镜像中的 CoreX 运行时环境，只替换 Python 层的
  `vllm` 代码和对应包元数据。
- CI workflow 会在镜像推送前执行一次 `vllm.benchmarks.lib` 导入检查，
  避免再次出现 Python 包覆盖不完整但镜像已经推送的问题。