From 72c88c849d9b020ea147789c26133b9c19010f72 Mon Sep 17 00:00:00 2001 From: Sun Ruoxi Date: Fri, 23 Oct 2026 15:02:45 +0800 Subject: [PATCH] update README Signed-off-by: Sun Ruoxi --- README.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/README.md b/README.md index 86b68c0..cb12fc0 100644 --- a/README.md +++ b/README.md @@ -1,7 +1,8 @@ # 本项目基于天数智芯官方的量化方案对GLM-5进行量化 原压缩包地址： -sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn -get /client_tmp/support/quant/w4a8_w8a8_quant.tar.gz . + +>sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn +>get /client_tmp/support/quant/w4a8_w8a8_quant.tar.gz . ## 新增 dev/configs/w4a8_int/glm5_nn_g64.yml @@ -18,7 +19,6 @@ dev/configs/w4a8_int/glm5_nn_g64.yml 当前压缩元数据中的 `num_bits` 仍为 `8`，这是这版 Iluvatar W4A8 加载器使用的描述方式；实际专家权重是打包的 INT4，由启动时的 `VLLM_W8A8_MOE_USE_W4A8=1` 选择相应加载器。 ## 量化方式： -PYTHONUNBUFFERED=1 OMP_NUM_THREADS=1 \ - python main.py --config configs/w4a8_int/glm5_nn_g64.yml \ - > /mnt/data/models/ZhipuAI/glm5-nn-g64-quant.log 2>&1 +>PYTHONUNBUFFERED=1 OMP_NUM_THREADS=1 \ +> python main.py --config configs/w4a8_int/glm5_nn_g64.yml /mnt/data/models/ZhipuAI/glm5-nn-g64-quant.log 2>&1