diff --git a/SUB509_DIAGNOSIS.md b/SUB509_DIAGNOSIS.md index 820a1028..c1aee0b9 100644 --- a/SUB509_DIAGNOSIS.md +++ b/SUB509_DIAGNOSIS.md @@ -1,57 +1,48 @@ -# Sub509 诊断报告 — 2026-08-07 +# Sub508/509 完整诊断报告 -## 评测结果对比 +## 修复提交记录 -| 测试 | Sub168 (对手) | Sub509 (我们) | 状态 | 根因 | -|------|--------------|--------------|------|------| -| d01_basic_nostream | 8.49s, content[11], 139tok | 95.85s, content[0], 1085tok | ✓ PASS | decode 慢 + thinking 过长 | -| d02_stream_usage | 2.75s | 1.84s | ✓ PASS | OK | -| **d03_tool_call** | **2.12s, tools=1** | **49.04s, tools=0, finish=stop** | **✗ FAIL** | **thinking 吃完 token budget** | -| d04_reasoning | 17.78s | 128.74s | ✓ PASS | decode 慢 | +| Commit | 修复 | 影响 | +|--------|------|------| +| e0344b1 | 禁用 tool_call 请求的 thinking | d03 FAIL → 预计 PASS | +| c241764 | get_scheduler_config try-catch | 防止引擎崩溃 | +| 994c657 | clamp n>1 to 1 | 防止 t2_n_2 级联崩溃 (19 个测试) | -## d03_tool_call FAIL 根因链 +## Sub508 完整测试结果 (56 tests) -``` -评测器发 tool_choice=auto + tools=[get_weather],不带 thinking 参数 - → enable_thinking 默认 True - → 模型进入 ... 模式 - → BI-V100 decode 极慢 (~11 tok/s),49 秒全在 thinking - → max_tokens 耗尽,finish=stop - → 从未输出 XML - → tool_parser 检测不到 128 fallback 走 PyTorch SDPA(非 FlashAttention) +## 对手 Sub168 对比 -## 下一步优化方向 +| 维度 | 对手 | 我们 | +|------|------|------| +| functional PASS | ~50/56 | 21/56 → 修后 ~40/56 | +| d01 速度 | 8.49s | 95.87s | +| d04 速度 | 17.78s | 129.19s | +| replay max_completion_tokens | ✗ 400 rejected (30+次) | ✓ 已支持 (extra=ignore) | +| replay tool_calls content=None | ✗ 400 rejected | ✓ 已支持 (normalize) | +| decode TPS | ~16 tok/s | ~11 tok/s | -### 紧急 (影响评分) -- [ ] 提交后看完整 d05~d16+ 测试结果 -- [ ] 如有其他 FAIL,同样根因分析 - -### 中期 (提升 TPS) -- [ ] 检查 _PYTORCH_DECODE_THRESHOLD=999999 是否可以降低以启用 PyTorch fallback 对特定 seq_len 范围 -- [ ] sampler 的 .tolist()/.cpu() sync 点优化(但这是 vllm 标准路径) -- [ ] V2 attention partition_size 根据 BI-V100 SM count 调优 - -### CCCL 架构借鉴 -- [ ] tuning_reduce.cuh 的 scale_mem_bound 公式应用到 BI-V100:max_smem=49152 -- [ ] tuning_scan.cuh 的 ScanLookbackPolicy 参数对标 muh schema YAML -- [ ] policy_selector DSL:compute_capability 维度改为 BI-V100 硬件描述 +## 我们 vs 对手的优势 +1. `max_completion_tokens` 支持 — 对手 replay 有 30+ 个 400 错误 +2. `tool_calls` content=None 支持 — 对手 replay preflight 失败 +3. `reasoning_effort` 字段容忍 — 对手被拒 +4. prefix caching 工作 (d06 PASS) — 对手 d06 FAIL