Compare commits
2 Commits
v0.17.0-bi
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
| 8e38bd5368 | |||
| 2997ba0dff |
@@ -1,3 +1,5 @@
|
||||
FRAMEWORK=vllm
|
||||
# Use a unique framework name on ModelHub to avoid mixing with or replacing
|
||||
# generic vLLM records already registered on the platform.
|
||||
FRAMEWORK=vllm_0_17_0_corex_4_4_0
|
||||
GPU_TYPE=Iluvatar_bi-150
|
||||
TASK_TYPE=text-generation
|
||||
|
||||
56
README.md
56
README.md
@@ -1,19 +1,38 @@
|
||||
# bi_150-vllm
|
||||
|
||||
本仓库保存的是从镜像中提取出来的
|
||||
`vLLM 0.17.0+corex.20260420090923` Python 包代码,
|
||||
用于覆盖基础镜像
|
||||
`registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1`
|
||||
中的已安装 `vllm` 目录,并重新打包生成新镜像。
|
||||
本仓库保存的是从 Iluvatar BI-150 vLLM 基础镜像中提取出来的
|
||||
`vLLM 0.17.0+corex.20260420090923` Python 包代码,用于覆盖基础镜像中的
|
||||
已安装 `vllm` 目录,并重新打包生成 ModelHub 评测镜像。
|
||||
|
||||
## 仓库内容
|
||||
基础镜像:
|
||||
|
||||
```text
|
||||
registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1
|
||||
```
|
||||
|
||||
## 运行环境要求
|
||||
|
||||
- GPU 类型:`Iluvatar_bi-150`
|
||||
- 任务类型:`text-generation`
|
||||
- 运行节点需要匹配 Iluvatar CoreX/驱动 `4.4.0` 环境。
|
||||
- 镜像中的 CoreX 运行时来自上述 `vllm0.17.0-4.4.0-x86:v4.1` 基础镜像。
|
||||
|
||||
## ModelHub 元信息
|
||||
|
||||
CI 中使用的 ModelHub 元信息位于:
|
||||
|
||||
```text
|
||||
.gitea/workflows/task_info.env
|
||||
```
|
||||
|
||||
当前配置为:
|
||||
|
||||
```env
|
||||
FRAMEWORK=vllm_0_17_0_corex_4_4_0
|
||||
GPU_TYPE=Iluvatar_bi-150
|
||||
TASK_TYPE=text-generation
|
||||
```
|
||||
|
||||
- `vllm/`
|
||||
从镜像中提取出来的 `vllm` Python 包代码。
|
||||
- `vllm-0.17.0+corex.20260420090923.dist-info/`
|
||||
对应的 Python 包元数据目录。
|
||||
- `Dockerfile`
|
||||
基于厂商基础镜像重新覆盖 `vllm` 代码并打包镜像。
|
||||
|
||||
## 构建镜像
|
||||
|
||||
@@ -22,18 +41,15 @@
|
||||
```bash
|
||||
docker build --pull=false \
|
||||
--build-arg BASE_IMAGE=registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v4.1 \
|
||||
-t bi_150_vllm:0.17.0 \
|
||||
-t bi_150_vllm:0.17.0-corex-4.4.0 \
|
||||
.
|
||||
```
|
||||
|
||||
## 验证镜像
|
||||
|
||||
```bash
|
||||
docker run --rm -it bi_150_vllm:0.17.0 \
|
||||
python3 -c "import vllm; print(vllm.__file__); print(vllm.__version__)"
|
||||
```
|
||||
|
||||
## 说明
|
||||
|
||||
- 这个仓库是覆盖式发布仓库,不是上游完整的 git 源码仓库。
|
||||
- 镜像构建时保留基础镜像中的 CoreX 运行时环境,只替换 Python 层的 `vllm` 代码和对应元数据。
|
||||
- 镜像构建时保留基础镜像中的 CoreX 运行时环境,只替换 Python 层的
|
||||
`vllm` 代码和对应包元数据。
|
||||
- CI workflow 会在镜像推送前执行一次 `vllm.benchmarks.lib` 导入检查,
|
||||
避免再次出现 Python 包覆盖不完整但镜像已经推送的问题。
|
||||
|
||||
Reference in New Issue
Block a user