Files
project_6/qwen3_6_scripts
Claude 11a8f3832a fix(vision): 搬运xllm compute_qwen2_vision_attention_cuda替换推理版本
从upstream_ref/xllm/xllm/core/layers/common/qwen2_vision_attention.cpp搬运
CUDA路径的compute_qwen2_vision_attention_cuda实现:
- 按cu_seqlens逐序列切分
- q.permute(1,0,2) → matmul(q*scale, k^T) → softmax → matmul(attn, v)
- 不依赖einops、不依赖F.scaled_dot_product_attention
- 和xllm系统设计完全一致
2026-08-11 14:00:06 +00:00
..