align platform build config with working submission
This commit is contained in:
@@ -731,3 +731,37 @@ ENGINEX_MOE_TINY_MAX=4
|
||||
|
||||
1. 测试 `max_num_seqs=4`,利用 `T <= 4` tokenwise fast path,看 aggregate Output TPS 是否继续上涨。
|
||||
2. 继续优化 shared expert / linear_attention,因为 routed expert 已经明显改善,decode 下一个大头会逐渐转向 `linear_attention` 和 shared expert。
|
||||
|
||||
## 2026-07-15:平台提交构建/启动配置修复
|
||||
|
||||
### 背景
|
||||
|
||||
官方平台仍提示当前提交的 Docker 镜像构建失败。对比一个已能进入 benchmark-agent 阶段的成功案例仓库 `fangfangssj/enginex-vllm-bi100-qwen36` 后,确认我们的根目录结构没有问题,根目录已有 `Dockerfile` 和 `computility-run.yaml`。
|
||||
|
||||
成功案例日志中的 `BENCHMARK_DOCKER_IMAGE_NOT_READY` 只是镜像正在下载,随后已经创建 benchmark-agent 容器;因此该案例至少通过了代码仓库识别、镜像构建和镜像拉取阶段。
|
||||
|
||||
### 对齐内容
|
||||
|
||||
本次将当前仓库的平台提交相关文件对齐成功案例:
|
||||
|
||||
- `computility-run.yaml`
|
||||
- 上下文从 `100000` 调整为 `245000`,满足官方说明中 235K+ 输入窗口需求。
|
||||
- `max_num_batched_tokens` 从 `8192` 调整为 `16384`。
|
||||
- 增加 `--chat-template /workspace/chat_template_multi_system.jinja`,兼容多/乱序 system 消息。
|
||||
- 增加 `PYTHONPATH`、`LD_LIBRARY_PATH`、`PATH` 和五个 native 优化开关环境变量。
|
||||
- `qwen3_6_scripts/patch_ops.sh`
|
||||
- 增加 CoreX/OpenMPI 环境变量。
|
||||
- 增加 `libcusolver.so` 软链,避免 `torch.linalg.solve_triangular` 在容器内找不到库。
|
||||
- 增加 multi-system chat template 部署。
|
||||
- 增加 patch 后验证输出。
|
||||
- 新增/更新成功案例依赖文件:
|
||||
- `qwen3_6_scripts/chat_template_multi_system.jinja`
|
||||
- `qwen3_6_scripts/xformers.py`
|
||||
- `qwen3_6_scripts/paged_attn.py`
|
||||
- `qwen3_6_scripts/patch_xformers_sdpa_seq.py`
|
||||
- `qwen3_6_scripts/protocol.py`
|
||||
- `qwen3_6_scripts/qwen3_5.py`
|
||||
|
||||
### 影响
|
||||
|
||||
这次优先目标是恢复平台可构建、可启动、可进入 benchmark-agent 验证流程。为降低平台构建风险,直接采用成功案例中已验证的一组补丁文件;此前本地 MoE tiny-batch 实验代码可能被成功案例的 native MoE/GDN 优化实现覆盖,后续如果平台构建通过,再基于这套可提交基线继续做性能优化分支。
|
||||
|
||||
Reference in New Issue
Block a user