35111e7a2865b6681a37ca5d5ed8ece417148753
三个 MoE 函数的完整 PyTorch 实现,让 fused_moe 路径跑通。 之前的问题: - topk_softmax: ixf_F.vllm_moe_topk_softmax 不存在 → AttributeError - moe_align_block_size: ixf_F.vllm_moe_align_block_size 不存在 → AttributeError - invoke_fused_moe_kernel: ixf_F.vllm_invoke_fused_moe_kernel 不存在 → AttributeError - 三个函数任何一个崩 → qwen3_5.py 捕获 → Python expert loop fallback - 不管写不写 topk_softmax 都一样走 fallback 现在:三个函数全部实现 → fused_moe() 路径从头到尾跑通 - topk_softmax: torch.softmax + torch.topk - moe_align_block_size: 按 expert 排序 token indices + block 对齐填充 - invoke_fused_moe_kernel: 按 sorted block 遍历 expert → matmul → scatter 这不是 fallback,是让 base fused_moe.py 的正常路径 (line 640-661) 能走完而不抛异常。qwen3_5.py 不再需要捕获 MoE 异常切到 expert loop。
project_6
Description
Languages
C++
41.8%
Cuda
31.6%
Python
22.2%
C
2.1%
CMake
1.1%
Other
1.1%