3.0 KiB
3.0 KiB
2026-07-15 平台基础测试失败修复记录
现象
提交 29 已成功构建镜像,但 benchmark-agent 任务运行约 38 分钟后失败。用户补充的完整页面日志仍不是完整 docker 文件尾部,而是平台 UI 中截取的 docker 日志片段;片段里没有逐条功能测试失败项,但出现大量 [PROF] 逐层 profiling 输出。
调度日志中的实际启动命令缺少 --enforce-eager,而本地当前 computility-run.yaml 已包含该参数,说明当次平台提交没有使用到本地最新配置,或提交时该修复尚未推送到官方仓库。
判断
当前失败首先不是性能问题,而是基础准入阶段的稳定性/兼容性问题:
- 平台实际启动未带
--enforce-eager,245K 上下文下可能走 CUDA Graph 路径,BI-V100 上容易 OOM、卡住或初始化不稳定。 - docker 日志中出现大量
[PROF],说明当次镜像包含默认开启的代码级 profiling,严重拖慢请求并放大日志。 - 官方基础测试会覆盖更宽的 OpenAI 兼容面,当前裸 vLLM 风格接口对
tool_choice="required"、多模态 content blocks、n=2等请求存在 4xx 或调度死锁风险。
本次修改
-
computility-run.yaml- 保留并确认
--enforce-eager。 - 显式加入
PROF_TRACE=0、PROF_MOE_SUMMARY=0,防止平台镜像误开 profiling。 - 显式加入
MOE_DECODE_NATIVE=0,关闭尚未稳定收益的 decode native 实验路径。
- 保留并确认
-
qwen3_6_scripts/protocol.py- 将
tool_choice="required"归一化为首个工具的强制 named tool choice。 - 允许 assistant 消息
content=null且带tool_calls,避免历史工具调用消息 4xx。 - 将 OpenAI multimodal content blocks 中的图片/视频剥离为文本占位,避免文本模型加载多模态数据失败;保留文本片段。
- 将
-
qwen3_6_scripts/serving_chat.py- 当
n > max_num_seqs时不再返回 400,而是降级为n=max_num_seqs,避免官方n=2采样测试失败或调度死锁。
- 当
-
qwen3_6_scripts/chat_template_multi_system.jinja- 历史 assistant tool_calls 的
arguments同时兼容 dict 和 JSON string,避免多轮工具调用模板渲染失败。
- 历史 assistant tool_calls 的
本地验证
使用 AST 解析检查了核心 Python 文件:
qwen3_6_scripts/protocol.pyqwen3_6_scripts/serving_chat.pyqwen3_6_scripts/qwen3_5.py
结果均为 AST OK。
python -m py_compile 在 Windows 本地因 qwen3_6_scripts/__pycache__ 目录权限拒绝失败,非语法错误。
下一步
- 提交并推送该版本到官方仓库,确保平台实际启动命令中出现
--enforce-eager和PROF_TRACE=0。 - 在远端用基础冒烟脚本验证:
- non-stream chat
- stream + usage
- tool call / required tool choice
- reasoning on/off/default
- base64 image content
- prefix cache usage
n=2状态码- JSON object/schema
- 重新提交平台评测,若仍失败,需要导出完整 docker 日志尾部定位具体功能项。