gfx936:sramecc+:xnack-
b7516
编译参数(完全按官方 Dockerfile,仅 target 换成 gfx936):
-DGGML_HIP=ON -DAMDGPU_TARGETS=gfx936 -DGGML_CUDA_FORCE_MMQ=ON \ -DGGML_CUDA_FA=OFF -DGGML_HIP_MMQ_MFMA=OFF -DCMAKE_BUILD_TYPE=Release
运行时 source /opt/dtk/env.sh 与 /opt/hyhal/env.sh,LD_LIBRARY_PATH 含 dtk lib 与 llvm lib。
source /opt/dtk/env.sh
/opt/hyhal/env.sh
LD_LIBRARY_PATH
load_tensors: offloaded 65/65 layers to GPU main: server is listening on http://127.0.0.1:8001
/v1/chat/completions
RemoteDisconnected
HOSTQUEUE <0x...>: VMFault HSA QUEUE ANALYSIS HOSTQUEUE <0x...>: all command executed >>>>>>>> KERNEL VMFault Analysis END !!!! <<<<<<
(HOSTQUEUE 显示 all command executed,属 GPU 内核侧访存异常,而非队列未完成)
all command executed
-fit off
source /opt/hyhal/env.sh
-c 4096
-ngl 0
-c 16384
b7516 的 MMQ / HIP kernel 未对 gfx936 适配(官方镜像与 Dockerfile 针对 gfx928 / K100AI)。在 gfx928 上 -DGGML_CUDA_FORCE_MMQ=ON -DGGML_HIP_MMQ_MFMA=OFF 是经过验证的组合,但在 gfx936 上触发 VMFault。
gfx928
-DGGML_CUDA_FORCE_MMQ=ON -DGGML_HIP_MMQ_MFMA=OFF
-DGGML_CUDA_FORCE_MMQ=OFF
AMD_SERIALIZE_KERNEL=3
HIP_LAUNCH_BLOCKING=1
该模型是 Qwen3Next 的 dense 变体,b7516 的 loader 目前只支持 MoE FFN。我们补了 5 处(转换器 + C++ loader + tensor 白名单 + 除零),已提交上游 llama.cpp:ggml-org/llama.cpp#31551
如果你们需要,我可以把这 5 个 patch 以 PR 形式提到本仓库。
No dependencies set.
The note is not visible to the blocked user.
环境
gfx936:sramecc+:xnack-b7516)编译参数(完全按官方 Dockerfile,仅 target 换成 gfx936):
运行时
source /opt/dtk/env.sh与/opt/hyhal/env.sh,LD_LIBRARY_PATH含 dtk lib 与 llvm lib。现象
/v1/chat/completions请求即崩溃,客户端RemoteDisconnected。日志末尾:(HOSTQUEUE 显示
all command executed,属 GPU 内核侧访存异常,而非队列未完成)-fit off无效;source /opt/hyhal/env.sh无效;换-c 4096同样崩。已排除
-ngl 0(纯 CPU)加载并生成正常(仅慢),说明权重 / 量化 / GGUF 格式没问题-c 16384时 KV 仅 ~1GB)怀疑方向
b7516 的 MMQ / HIP kernel 未对 gfx936 适配(官方镜像与 Dockerfile 针对
gfx928/ K100AI)。在 gfx928 上-DGGML_CUDA_FORCE_MMQ=ON -DGGML_HIP_MMQ_MFMA=OFF是经过验证的组合,但在 gfx936 上触发 VMFault。想确认的几个点
-DGGML_CUDA_FORCE_MMQ=OFF(走 hipBLAS 路径)?我可以直接验证。AMD_SERIALIZE_KERNEL=3、HIP_LAUNCH_BLOCKING=1下的 kernel 名)?附:dense 模型的支持补丁
该模型是 Qwen3Next 的 dense 变体,b7516 的 loader 目前只支持 MoE FFN。我们补了 5 处(转换器 + C++ loader + tensor 白名单 + 除零),已提交上游 llama.cpp:ggml-org/llama.cpp#31551
如果你们需要,我可以把这 5 个 patch 以 PR 形式提到本仓库。