diff --git a/.gitea/workflows/task_info.env b/.gitea/workflows/task_info.env index 339ca74..38b4fa0 100644 --- a/.gitea/workflows/task_info.env +++ b/.gitea/workflows/task_info.env @@ -1,3 +1,5 @@ -FRAMEWORK=vllm +# Use a unique framework name on ModelHub to avoid mixing with or replacing +# generic vLLM records already registered on the platform. +FRAMEWORK=vllm_0_17_0_corex_4_4_0 GPU_TYPE=Iluvatar_bi-150 TASK_TYPE=text-generation diff --git a/README.md b/README.md index 4e0dee4..7c730b0 100644 --- a/README.md +++ b/README.md @@ -1,19 +1,54 @@ # bi_150-vllm -本仓库保存的是从镜像中提取出来的 -`vLLM 0.17.0+corex.20260420090923` Python 包代码, -用于覆盖基础镜像 -`registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1` -中的已安装 `vllm` 目录,并重新打包生成新镜像。 +本仓库保存的是从 Iluvatar BI-150 vLLM 基础镜像中提取出来的 +`vLLM 0.17.0+corex.20260420090923` Python 包代码,用于覆盖基础镜像中的 +已安装 `vllm` 目录,并重新打包生成 ModelHub 评测镜像。 + +基础镜像: + +```text +registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1 +``` + +## 运行环境要求 + +- GPU 类型:`Iluvatar_bi-150` +- 任务类型:`text-generation` +- 运行节点需要匹配 Iluvatar CoreX/驱动 `4.4.0` 环境。 +- 镜像中的 CoreX 运行时来自上述 `vllm0.17.0-4.4.0-x86:v4.1` 基础镜像。 +- 如果堡垒机或云平台评测节点驱动/CoreX 版本不匹配,可能出现设备初始化、 + 算子加载或 CUDA graph/eager 执行相关异常。 + +## ModelHub 元信息 + +CI 中使用的 ModelHub 元信息位于: + +```text +.gitea/workflows/task_info.env +``` + +当前配置为: + +```env +FRAMEWORK=vllm_0_17_0_corex_4_4_0 +GPU_TYPE=Iluvatar_bi-150 +TASK_TYPE=text-generation +``` + +`FRAMEWORK` 不再使用通用的 `vllm`,而是使用 +`vllm_0_17_0_corex_4_4_0`。这样可以避免在 ModelHub 平台上和已有 +通用 vLLM 框架记录混淆,或被平台按相同框架名聚合/覆盖展示。 ## 仓库内容 - `vllm/` - 从镜像中提取出来的 `vllm` Python 包代码。 + 从基础镜像中提取出来的 `vllm` Python 包代码。 - `vllm-0.17.0+corex.20260420090923.dist-info/` 对应的 Python 包元数据目录。 - `Dockerfile` 基于厂商基础镜像重新覆盖 `vllm` 代码并打包镜像。 +- `.gitea/workflows/` + ModelHub CI/CD 构建、推送和审核通知 workflow。 ## 构建镜像 @@ -22,18 +57,30 @@ ```bash docker build --pull=false \ --build-arg BASE_IMAGE=registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1 \ - -t bi_150_vllm:0.17.0 \ + -t bi_150_vllm:0.17.0-corex-4.4.0 \ . ``` ## 验证镜像 +确认 vLLM 包路径和版本: + ```bash -docker run --rm -it bi_150_vllm:0.17.0 \ - python3 -c "import vllm; print(vllm.__file__); print(vllm.__version__)" +docker run --rm --entrypoint python3 bi_150_vllm:0.17.0-corex-4.4.0 -c \ + "import vllm; print(vllm.__file__); print(vllm.__version__)" +``` + +确认 `vllm.benchmarks.lib` 已包含在镜像内: + +```bash +docker run --rm --entrypoint python3 bi_150_vllm:0.17.0-corex-4.4.0 -c \ + "from vllm.benchmarks.lib.utils import write_to_json; print('vllm package ok')" ``` ## 说明 -- 这个仓库是覆盖式发布仓库,不是上游完整的 git 源码仓库。 -- 镜像构建时保留基础镜像中的 CoreX 运行时环境,只替换 Python 层的 `vllm` 代码和对应元数据。 +- 这个仓库是覆盖式发布仓库,不是完整上游 vLLM 源码仓库。 +- 镜像构建时保留基础镜像中的 CoreX 运行时环境,只替换 Python 层的 + `vllm` 代码和对应包元数据。 +- CI workflow 会在镜像推送前执行一次 `vllm.benchmarks.lib` 导入检查, + 避免再次出现 Python 包覆盖不完整但镜像已经推送的问题。