sunruoxi/iluvatar_w4a8_w8a8_quant
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity

update README

Browse Source 
Signed-off-by: Sun Ruoxi <sunruoxi@4paradigm.com>
This commit is contained in:
Sun Ruoxi
2026-10-23 15:02:45 +08:00
parent 4627899899
commit 72c88c849d
1 changed files with 5 additions and 5 deletions
Download Patch File Download Diff File Expand all files Collapse all files

10
README.md
View File

@@ -1,7 +1,8 @@
# 本项目基于天数智芯官方的量化方案对GLM-5进行量化 # 本项目基于天数智芯官方的量化方案对GLM-5进行量化
原压缩包地址： 原压缩包地址：
sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn
get /client_tmp/support/quant/w4a8_w8a8_quant.tar.gz . >sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn
>get /client_tmp/support/quant/w4a8_w8a8_quant.tar.gz .
## 新增 ## 新增
dev/configs/w4a8_int/glm5_nn_g64.yml dev/configs/w4a8_int/glm5_nn_g64.yml
@@ -18,7 +19,6 @@ dev/configs/w4a8_int/glm5_nn_g64.yml
当前压缩元数据中的 `num_bits` 仍为 `8`，这是这版 Iluvatar W4A8 加载器使用的描述方式；实际专家权重是打包的 INT4，由启动时的 `VLLM_W8A8_MOE_USE_W4A8=1` 选择相应加载器。 当前压缩元数据中的 `num_bits` 仍为 `8`，这是这版 Iluvatar W4A8 加载器使用的描述方式；实际专家权重是打包的 INT4，由启动时的 `VLLM_W8A8_MOE_USE_W4A8=1` 选择相应加载器。
## 量化方式： ## 量化方式：
PYTHONUNBUFFERED=1 OMP_NUM_THREADS=1 \ >PYTHONUNBUFFERED=1 OMP_NUM_THREADS=1 \
python main.py --config configs/w4a8_int/glm5_nn_g64.yml \ > python main.py --config configs/w4a8_int/glm5_nn_g64.yml /mnt/data/models/ZhipuAI/glm5-nn-g64-quant.log 2>&1
> /mnt/data/models/ZhipuAI/glm5-nn-g64-quant.log 2>&1