Qwen3.8-27B(dense) 在 DCU BW(gfx936) 上 Q8_0 推理触发 GPU VMFault(b7516 + 官方编译参数) #1

Open
opened 2026-11-03 02:23:41 +08:00 by execute · 0 comments

环境

  • Hygon DCU BW 单卡 64GB,gfx936:sramecc+:xnack-
  • DTK 26.04,clang 17
  • enginex-hygon-llama.cpp(sync upstream b7516)
  • 模型:Qwen3.8-27B dense 变体(64 层 = 48 linear_attention + 16 full_attention,intermediate_size 17408,无 experts,MTP 1 层),Q8_0 量化后 27.3GB

编译参数(完全按官方 Dockerfile,仅 target 换成 gfx936):

-DGGML_HIP=ON -DAMDGPU_TARGETS=gfx936 -DGGML_CUDA_FORCE_MMQ=ON \
-DGGML_CUDA_FA=OFF -DGGML_HIP_MMQ_MFMA=OFF -DCMAKE_BUILD_TYPE=Release

运行时 source /opt/dtk/env.sh 与 /opt/hyhal/env.sh,LD_LIBRARY_PATH 含 dtk lib 与 llvm lib。

现象

  1. 模型加载完全正常:
load_tensors: offloaded 65/65 layers to GPU
main: server is listening on http://127.0.0.1:8001
  1. 第一次 /v1/chat/completions 请求即崩溃,客户端 RemoteDisconnected。日志末尾:
HOSTQUEUE <0x...>: VMFault HSA QUEUE ANALYSIS
HOSTQUEUE <0x...>: all command executed
>>>>>>>> KERNEL VMFault Analysis END !!!! <<<<<<

(HOSTQUEUE 显示 all command executed,属 GPU 内核侧访存异常,而非队列未完成)

  1. -fit off 无效;source /opt/hyhal/env.sh 无效;换 -c 4096 同样崩。

已排除

  • 同一个 GGUF 用 -ngl 0(纯 CPU)加载并生成正常(仅慢),说明权重 / 量化 / GGUF 格式没问题
  • 显存充足(Q8_0 27.3GB,-c 16384 时 KV 仅 ~1GB)

怀疑方向

b7516 的 MMQ / HIP kernel 未对 gfx936 适配(官方镜像与 Dockerfile 针对 gfx928 / K100AI)。在 gfx928 上 -DGGML_CUDA_FORCE_MMQ=ON -DGGML_HIP_MMQ_MFMA=OFF 是经过验证的组合,但在 gfx936 上触发 VMFault。

想确认的几个点

  1. gfx936(DCU BW)是否已有适配计划 / 可用镜像?
  2. 若暂时没有,是否建议在 gfx936 上改用 -DGGML_CUDA_FORCE_MMQ=OFF(走 hipBLAS 路径)?我可以直接验证。
  3. 是否有需要我提供的更详细日志(例如 AMD_SERIALIZE_KERNEL=3、HIP_LAUNCH_BLOCKING=1 下的 kernel 名)?

附:dense 模型的支持补丁

该模型是 Qwen3Next 的 dense 变体,b7516 的 loader 目前只支持 MoE FFN。我们补了 5 处(转换器 + C++ loader + tensor 白名单 + 除零),已提交上游 llama.cpp:ggml-org/llama.cpp#31551

如果你们需要,我可以把这 5 个 patch 以 PR 形式提到本仓库。

## 环境 - Hygon DCU BW 单卡 64GB,`gfx936:sramecc+:xnack-` - DTK 26.04,clang 17 - enginex-hygon-llama.cpp(sync upstream `b7516`) - 模型:Qwen3.8-27B **dense** 变体(64 层 = 48 linear_attention + 16 full_attention,intermediate_size 17408,无 experts,MTP 1 层),Q8_0 量化后 27.3GB 编译参数(完全按官方 Dockerfile,仅 target 换成 gfx936): ``` -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx936 -DGGML_CUDA_FORCE_MMQ=ON \ -DGGML_CUDA_FA=OFF -DGGML_HIP_MMQ_MFMA=OFF -DCMAKE_BUILD_TYPE=Release ``` 运行时 `source /opt/dtk/env.sh` 与 `/opt/hyhal/env.sh`,`LD_LIBRARY_PATH` 含 dtk lib 与 llvm lib。 ## 现象 1) 模型加载完全正常: ``` load_tensors: offloaded 65/65 layers to GPU main: server is listening on http://127.0.0.1:8001 ``` 2) 第一次 `/v1/chat/completions` 请求即崩溃,客户端 `RemoteDisconnected`。日志末尾: ``` HOSTQUEUE <0x...>: VMFault HSA QUEUE ANALYSIS HOSTQUEUE <0x...>: all command executed >>>>>>>> KERNEL VMFault Analysis END !!!! <<<<<< ``` (HOSTQUEUE 显示 `all command executed`,属 GPU 内核侧访存异常,而非队列未完成) 3) `-fit off` 无效;`source /opt/hyhal/env.sh` 无效;换 `-c 4096` 同样崩。 ## 已排除 - 同一个 GGUF 用 `-ngl 0`(纯 CPU)加载并生成**正常**(仅慢),说明权重 / 量化 / GGUF 格式没问题 - 显存充足(Q8_0 27.3GB,`-c 16384` 时 KV 仅 ~1GB) ## 怀疑方向 b7516 的 MMQ / HIP kernel 未对 **gfx936** 适配(官方镜像与 Dockerfile 针对 `gfx928` / K100AI)。在 gfx928 上 `-DGGML_CUDA_FORCE_MMQ=ON -DGGML_HIP_MMQ_MFMA=OFF` 是经过验证的组合,但在 gfx936 上触发 VMFault。 ## 想确认的几个点 1. gfx936(DCU BW)是否已有适配计划 / 可用镜像? 2. 若暂时没有,是否建议在 gfx936 上改用 `-DGGML_CUDA_FORCE_MMQ=OFF`(走 hipBLAS 路径)?我可以直接验证。 3. 是否有需要我提供的更详细日志(例如 `AMD_SERIALIZE_KERNEL=3`、`HIP_LAUNCH_BLOCKING=1` 下的 kernel 名)? ## 附:dense 模型的支持补丁 该模型是 Qwen3Next 的 **dense** 变体,b7516 的 loader 目前只支持 MoE FFN。我们补了 5 处(转换器 + C++ loader + tensor 白名单 + 除零),已提交上游 llama.cpp:ggml-org/llama.cpp#31551 如果你们需要,我可以把这 5 个 patch 以 PR 形式提到本仓库。
Sign in to join this conversation.
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: EngineX-Hygon/enginex-hygon-llama.cpp#1