Add minimal vLLM 0.16.1 build repo for BI-V150

README.md

@@ -0,0 +1,60 @@
+# bi_150-vllm
+
+基于 `registry.iluvatar.com.cn:10443/customer/sz/vllm0.11.2-4.4.0-x86:v8` 的
+`vLLM 0.16.1rc0` 构建仓库，用于在 BI-V150 虚拟机环境中生成可直接运行的镜像。
+
+## 改动说明
+
+本仓库只保留构建镜像所需的最小内容：
+
+- `vllm/`
+  当前运行代码
+- `vllm-0.16.1rc0+corex.4.4.0.dist-info/`
+  对应的包元数据
+- `Dockerfile`
+  构建最终镜像
+
+与基础镜像相比，本仓库保留的关键代码改动如下：
+
+- 在 `vllm/platforms/__init__.py` 中修复 CUDA 平台识别逻辑
+- 当 NVML 不可用且出现 `NVML Shared Library Not Found` 一类错误时
+  不再直接判定为非 CUDA 平台
+- 改为回退到 `torch.cuda.is_available()` 和
+  `torch.cuda.device_count()` 继续判断 CUDA 是否可用
+
+这个修复用于解决如下启动失败：
+
+```text
+RuntimeError: Failed to infer device type
+```
+
+## 构建镜像
+
+在仓库根目录执行：
+
+```bash
+docker build -t bi_150_vllm:0.16.1 .
+```
+
+## 启动镜像
+
+```bash
+docker run -dit \
+  --name iluvatar_sut_submit_325811 \
+  -p 38047:8000 \
+  --privileged \
+  -v /lib/modules:/lib/modules \
+  -v /dev:/dev \
+  -v /usr/src:/usr/src \
+  -v /mnt/gpfs/leaderboard/modelHubXC/Amu/t1-1.5B:/model \
+  -e CUDA_VISIBLE_DEVICES=0 \
+  --entrypoint vllm \
+  bi_150_vllm:0.16.1 \
+  serve /model \
+  --port 8000 \
+  --served-model-name llm \
+  --max-model-len 2048 \
+  --enforce-eager \
+  --trust-remote-code \
+  -tp 1
+```