更新 README.md
This commit is contained in:
31
README.md
31
README.md
@@ -16,8 +16,6 @@ registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1
|
||||
- 任务类型:`text-generation`
|
||||
- 运行节点需要匹配 Iluvatar CoreX/驱动 `4.4.0` 环境。
|
||||
- 镜像中的 CoreX 运行时来自上述 `vllm0.17.0-4.4.0-x86:v4.1` 基础镜像。
|
||||
- 如果堡垒机或云平台评测节点驱动/CoreX 版本不匹配,可能出现设备初始化、
|
||||
算子加载或 CUDA graph/eager 执行相关异常。
|
||||
|
||||
## ModelHub 元信息
|
||||
|
||||
@@ -35,20 +33,6 @@ GPU_TYPE=Iluvatar_bi-150
|
||||
TASK_TYPE=text-generation
|
||||
```
|
||||
|
||||
`FRAMEWORK` 不再使用通用的 `vllm`,而是使用
|
||||
`vllm_0_17_0_corex_4_4_0`。这样可以避免在 ModelHub 平台上和已有
|
||||
通用 vLLM 框架记录混淆,或被平台按相同框架名聚合/覆盖展示。
|
||||
|
||||
## 仓库内容
|
||||
|
||||
- `vllm/`
|
||||
从基础镜像中提取出来的 `vllm` Python 包代码。
|
||||
- `vllm-0.17.0+corex.20260420090923.dist-info/`
|
||||
对应的 Python 包元数据目录。
|
||||
- `Dockerfile`
|
||||
基于厂商基础镜像重新覆盖 `vllm` 代码并打包镜像。
|
||||
- `.gitea/workflows/`
|
||||
ModelHub CI/CD 构建、推送和审核通知 workflow。
|
||||
|
||||
## 构建镜像
|
||||
|
||||
@@ -61,25 +45,10 @@ docker build --pull=false \
|
||||
.
|
||||
```
|
||||
|
||||
## 验证镜像
|
||||
|
||||
确认 vLLM 包路径和版本:
|
||||
|
||||
```bash
|
||||
docker run --rm --entrypoint python3 bi_150_vllm:0.17.0-corex-4.4.0 -c \
|
||||
"import vllm; print(vllm.__file__); print(vllm.__version__)"
|
||||
```
|
||||
|
||||
确认 `vllm.benchmarks.lib` 已包含在镜像内:
|
||||
|
||||
```bash
|
||||
docker run --rm --entrypoint python3 bi_150_vllm:0.17.0-corex-4.4.0 -c \
|
||||
"from vllm.benchmarks.lib.utils import write_to_json; print('vllm package ok')"
|
||||
```
|
||||
|
||||
## 说明
|
||||
|
||||
- 这个仓库是覆盖式发布仓库,不是完整上游 vLLM 源码仓库。
|
||||
- 镜像构建时保留基础镜像中的 CoreX 运行时环境,只替换 Python 层的
|
||||
`vllm` 代码和对应包元数据。
|
||||
- CI workflow 会在镜像推送前执行一次 `vllm.benchmarks.lib` 导入检查,
|
||||
|
||||
Reference in New Issue
Block a user