delete old md
This commit is contained in:
6
PRD.md
6
PRD.md
@@ -8,3 +8,9 @@
|
||||
- 效果偏差 ≤±4%
|
||||
- 性能门槛 Token 吞吐加权值 ≥8000
|
||||
- Output TPS 权重占 83%(decode kernel 优化投入产出比最高)
|
||||
|
||||
AllReduce 大概占 10ms。剩下的 36ms 是 Python dispatch。1400 次 PyTorch 函数调用 × 25 微秒。
|
||||
|
||||
这台机器有没有 NVLink 改变不了 Python 每次调用花 25 微秒的事实。NVIDIA 上用 CUDA Graph 一次性录制所有 kernel launch,replay 时零 Python 开销。但 BI-V100 CUDA 10.2 对 Graph 支持有限。
|
||||
|
||||
最大的问题是 太多小 kernel 走 Python dispatch。减少 launch 次数比优化任何单个 kernel 都有效。
|
||||
Reference in New Issue
Block a user