bi_150-vllm/README.md

bi_150-vllm

基于 registry.iluvatar.com.cn:10443/customer/sz/vllm0.11.2-4.4.0-x86:v8 的 vLLM 0.16.1rc0 构建仓库，用于在 BI-V150 虚拟机环境中生成可直接运行的镜像。

改动说明

本仓库只保留构建镜像所需的最小内容：

• vllm/ 当前运行代码
• vllm-0.16.1rc0+corex.4.4.0.dist-info/ 对应的包元数据
• Dockerfile 构建最终镜像

与基础镜像相比，本仓库保留的关键代码改动如下：

• 在 vllm/platforms/__init__.py 中修复 CUDA 平台识别逻辑
• 当 NVML 不可用且出现 NVML Shared Library Not Found 一类错误时 不再直接判定为非 CUDA 平台
• 改为回退到 torch.cuda.is_available() 和 torch.cuda.device_count() 继续判断 CUDA 是否可用
• 调整 CLI 初始化逻辑，避免 benchmark 可选依赖缺失时阻塞 vllm serve ... 启动

这个修复用于解决如下启动失败：

RuntimeError: Failed to infer device type

构建镜像

在仓库根目录执行：

docker build -t bi_150_vllm:0.16.1 .

启动镜像

docker run -dit \
  --name iluvatar_test \
  -p 38047:8000 \
  --privileged \
  -v /lib/modules:/lib/modules \
  -v /dev:/dev \
  -v /usr/src:/usr/src \
  -v /mnt/gpfs/leaderboard/modelHubXC/Amu/t1-1.5B:/model \
  -e CUDA_VISIBLE_DEVICES=0 \
  --entrypoint vllm \
  bi_150_vllm:0.16.1 \
  serve /model \
  --port 8000 \
  --served-model-name llm \
  --max-model-len 2048 \
  --enforce-eager \
  --trust-remote-code \
  -tp 1