record max batched tokens 32768 experiment

worklogs/decode_analysis_report_2026-07-14.md

@@ -1107,3 +1107,42 @@ _PROF_TRACE = os.environ.get("PROF_TRACE", "0") == "1"
 - profiling 仍可通过 `PROF_TRACE=1` 手动开启。
 
 下一步继续看 MoE routed expert 和 TP all-reduce；服务日志中 decode 稳态仍约 5.8 tok/s，说明专家计算/通信路径仍是核心。
+
+## 2026-07-15：max_num_batched_tokens=32768 实验
+
+### 配置
+
+在 no-prof 代码基础上，仅把：
+
+```text
+--max-num-batched-tokens 16384
+```
+
+改为：
+
+```text
+--max-num-batched-tokens 32768
+```
+
+其余保持 100K 快速基线一致。此前 32768 发生过 OOM，但这次在清理残留 worker 和显存后可正常启动，说明之前 OOM 不能作为参数不可行的证据。
+
+### 结果
+
+本地归档：
+
+- `worklogs/remote_results/2026-07-15-official-like-baseline/eager_100k_b32768_c1_r8_t256_cap40k.json`
+
+| 指标 | 100K 基线 | no-prof 16384 | no-prof 32768 | 目标 |
+| --- | ---: | ---: | ---: | ---: |
+| Success Rate | 100.00% | 100.00% | 100.00% | >= 99% |
+| Cache Hit Rate | 74.17% | 74.17% | 74.17% | >= 50% |
+| TTFT P90 | 9.803s | 12.739s | 13.005s | <= 5s |
+| Output TPS P10 | 5.825 | 5.851 | 5.895 | >= 20 |
+| Aggregate Output TPS | 5.789 | 5.674 | 5.556 | - |
+| Uncached Input TPS | 178.330 | 169.148 | 173.430 | - |
+| Cache TPS | 512.015 | 485.652 | 497.947 | - |
+| Weighted Throughput | 883.109 | 840.712 | 857.595 | >= 8000 |
+
+### 结论
+
+32768 可以启动，但没有带来总体收益；Output TPS P10 略升，TTFT 继续变差，综合吞吐仍低于原 100K 基线。单纯扩大 chunk 不是主优化方向。下一步尝试 8192，验证更小 chunk 是否能改善 TTFT。