Avoid eager benchmark imports in CLI startup

2026-04-20 14:00:44 +08:00
parent 91a15dfef1
commit 8fac6062e4
3 changed files with 39 additions and 16 deletions
--- a/README.md
+++ b/README.md
@@ -21,6 +21,8 @@
  不再直接判定为非 CUDA 平台
 - 改为回退到 `torch.cuda.is_available()` 和
  `torch.cuda.device_count()` 继续判断 CUDA 是否可用
+- 调整 CLI 初始化逻辑，避免 benchmark 可选依赖缺失时阻塞
+  `vllm serve ...` 启动

 这个修复用于解决如下启动失败：