docs: clarify corex runtime and modelhub metadata
All checks were successful
Docker Build and Push / docker (push) Successful in -1m42s

This commit is contained in:
2026-06-02 15:56:43 +08:00
parent bd089797ef
commit 2997ba0dff
2 changed files with 61 additions and 12 deletions

View File

@@ -1,3 +1,5 @@
FRAMEWORK=vllm
# Use a unique framework name on ModelHub to avoid mixing with or replacing
# generic vLLM records already registered on the platform.
FRAMEWORK=vllm_0_17_0_corex_4_4_0
GPU_TYPE=Iluvatar_bi-150
TASK_TYPE=text-generation

View File

@@ -1,19 +1,54 @@
# bi_150-vllm
本仓库保存的是从镜像中提取出来的
`vLLM 0.17.0+corex.20260420090923` Python 包代码,
用于覆盖基础镜像
`registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1`
中的已安装 `vllm` 目录,并重新打包生成新镜像
本仓库保存的是从 Iluvatar BI-150 vLLM 基础镜像中提取出来的
`vLLM 0.17.0+corex.20260420090923` Python 包代码,用于覆盖基础镜像中的
已安装 `vllm` 目录,并重新打包生成 ModelHub 评测镜像
基础镜像
```text
registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1
```
## 运行环境要求
- GPU 类型:`Iluvatar_bi-150`
- 任务类型:`text-generation`
- 运行节点需要匹配 Iluvatar CoreX/驱动 `4.4.0` 环境。
- 镜像中的 CoreX 运行时来自上述 `vllm0.17.0-4.4.0-x86:v4.1` 基础镜像。
- 如果堡垒机或云平台评测节点驱动/CoreX 版本不匹配,可能出现设备初始化、
算子加载或 CUDA graph/eager 执行相关异常。
## ModelHub 元信息
CI 中使用的 ModelHub 元信息位于:
```text
.gitea/workflows/task_info.env
```
当前配置为:
```env
FRAMEWORK=vllm_0_17_0_corex_4_4_0
GPU_TYPE=Iluvatar_bi-150
TASK_TYPE=text-generation
```
`FRAMEWORK` 不再使用通用的 `vllm`,而是使用
`vllm_0_17_0_corex_4_4_0`。这样可以避免在 ModelHub 平台上和已有
通用 vLLM 框架记录混淆,或被平台按相同框架名聚合/覆盖展示。
## 仓库内容
- `vllm/`
从镜像中提取出来的 `vllm` Python 包代码。
基础镜像中提取出来的 `vllm` Python 包代码。
- `vllm-0.17.0+corex.20260420090923.dist-info/`
对应的 Python 包元数据目录。
- `Dockerfile`
基于厂商基础镜像重新覆盖 `vllm` 代码并打包镜像。
- `.gitea/workflows/`
ModelHub CI/CD 构建、推送和审核通知 workflow。
## 构建镜像
@@ -22,18 +57,30 @@
```bash
docker build --pull=false \
--build-arg BASE_IMAGE=registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1 \
-t bi_150_vllm:0.17.0 \
-t bi_150_vllm:0.17.0-corex-4.4.0 \
.
```
## 验证镜像
确认 vLLM 包路径和版本:
```bash
docker run --rm -it bi_150_vllm:0.17.0 \
python3 -c "import vllm; print(vllm.__file__); print(vllm.__version__)"
docker run --rm --entrypoint python3 bi_150_vllm:0.17.0-corex-4.4.0 -c \
"import vllm; print(vllm.__file__); print(vllm.__version__)"
```
确认 `vllm.benchmarks.lib` 已包含在镜像内:
```bash
docker run --rm --entrypoint python3 bi_150_vllm:0.17.0-corex-4.4.0 -c \
"from vllm.benchmarks.lib.utils import write_to_json; print('vllm package ok')"
```
## 说明
- 这个仓库是覆盖式发布仓库,不是上游完整的 git 源码仓库。
- 镜像构建时保留基础镜像中的 CoreX 运行时环境,只替换 Python 层的 `vllm` 代码和对应元数据。
- 这个仓库是覆盖式发布仓库,不是完整上游 vLLM 源码仓库。
- 镜像构建时保留基础镜像中的 CoreX 运行时环境,只替换 Python 层的
`vllm` 代码和对应包元数据。
- CI workflow 会在镜像推送前执行一次 `vllm.benchmarks.lib` 导入检查,
避免再次出现 Python 包覆盖不完整但镜像已经推送的问题。