diff --git a/README.md b/README.md index 86b68c0..cb12fc0 100644 --- a/README.md +++ b/README.md @@ -1,7 +1,8 @@ # 本项目基于天数智芯官方的量化方案对GLM-5进行量化 原压缩包地址: -sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn -get /client_tmp/support/quant/w4a8_w8a8_quant.tar.gz . + +>sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn +>get /client_tmp/support/quant/w4a8_w8a8_quant.tar.gz . ## 新增 dev/configs/w4a8_int/glm5_nn_g64.yml @@ -18,7 +19,6 @@ dev/configs/w4a8_int/glm5_nn_g64.yml 当前压缩元数据中的 `num_bits` 仍为 `8`,这是这版 Iluvatar W4A8 加载器使用的描述方式;实际专家权重是打包的 INT4,由启动时的 `VLLM_W8A8_MOE_USE_W4A8=1` 选择相应加载器。 ## 量化方式: -PYTHONUNBUFFERED=1 OMP_NUM_THREADS=1 \ - python main.py --config configs/w4a8_int/glm5_nn_g64.yml \ - > /mnt/data/models/ZhipuAI/glm5-nn-g64-quant.log 2>&1 +>PYTHONUNBUFFERED=1 OMP_NUM_THREADS=1 \ +> python main.py --config configs/w4a8_int/glm5_nn_g64.yml /mnt/data/models/ZhipuAI/glm5-nn-g64-quant.log 2>&1