Qwen2.5-Coder-14B-Instruct-Int8-W8A16/README.md

license, license_name, license_link, language, pipeline_tag, tags, base_model

license	license_name	license_link	language	pipeline_tag	tags	base_model
qwen	Tongyi Qianwen LICENSE AGREEMENT	LICENSE	en zh	text-generation	Chat Instruct Coder	Qwen/Qwen2.5-Coder-14B-Instruct

通义千问2.5-代码-14B-Instruct-Int8-W8A16量化高精校准

原模型 Qwen/Qwen2.5-Coder-14B-Instruct

# download model 
from modelscope import snapshot_download
model_dir = snapshot_download('okwinds/Qwen2.5-Coder-14B-Instruct-Int8-W8A16')

Qwen2.5 同系列量化模型

Model	GPTQ Compression & FP8	GGUF	MLX (macOS)
3B params	-	3B-GGUF-V3-LOT	3B-MLX-4bit 3B-MLX-8bit
7B params	7B-Int4-W4A16 7B-Int8-W8A16 7B-FP8-A16 Coder-7B-Instruct-FP8	7B-GGUF-V3-LOT	7B-MLX-4bit 7B-MLX-8bit
Coder 7B params	Coder-7B-Int4-W4A16 Coder-7B-Int8-W8A16 Coder-7B-FP8-A16	Coder-7B-GGUF-V3-LOT	Coder-7B-MLX-4bit Coder-7B-MLX-8bit
14B params	14B-Int4-W4A16 14B-Int8-W8A16 14B-FP8-A16	14B-GGUF-V3-LOT	14B-MLX-4bit 14B-MLX-8bit
Coder 14B params	Coder-14B-Int4-W4A16 Coder-14B-Int8-W8A16	Coder-14B-GGUF-V3-LOT	Coder-14B-MLX-4bit Coder-14B-MLX-8bit
32B params	32B-Int4-W4A16 32B-Int8-W8A16 32B-FP8-A16	32B-GGUF-V3-LOT	32B-MLX-2bit 32B-MLX-4bit 32B-MLX-8bit
Coder 32B params	Coder-32B-Int4-W4A16 Coder-32B-FP8	Coder-32B-GGUF-V3-LOT	Coder-32B-MLX-4bit Coder-32B-MLX-8bit
QwQ-Preview 32B params	QwQ-32B-Preview-Int4-W4A16 QwQ-32B-Preview-FP8	QwQ-32B-GGUF-V3-LOT	QwQ-32B-MLX-4bit QwQ-32B-MLX-8bit
72B params	-	72B-GGUF-V3-LOT	72B-MLX-2bit 72B-MLX-4bit 72B-MLX-8bit

模型概述

通义千问2.5-代码-14B-Instruct-Int8-W8A16量化高精校准 是一个基于 通义千问2.5-代码-14B-Instruct 的 INT8 量化校准模型。

• 模型名称: Qwen2.5-Coder-14B-Instruct-Int8-W8A16
• 模型架构: Qwen2.5
• 权重量化: INT8

该模型通过将 Qwen2.5-Coder-14B-Instruct 的权重量化为 INT8 数据类型而实现。

量化过程将每个参数从 16bit 减少到 8bit，将模型占用磁盘空间大小，以及推理时加载模型需要的GPU显存空间，减少到了大约为原模型的1/2。

量化过程中，只有 transformer 中的 Linear 层权重是量化的，其他层均保持为原模型数据类型，采用混合精度的计算方式，尽可能减少模型量化后所带来的精度损失。 在量化过程中，使用了AutoGPTQ，采用 Symmetric group-wise 方式量化。并在量化过程中，进行了数据校准，以提升模型生成精度，修复 gptq-int8 模型出现乱吐字和“!”无限循环的问题。

注意：本模型需要 compute capability > 8.0（Ampere、Ada Lovelace、Hopper 架构）的 Nvidia GPU 来支持 INT4 混合精度计算。

部署推理

推荐使用 vLLM

Openai api 兼容模式

>>> vllm serve "/home/gavin/llm/Qwen2.5-Coder-14B-Instruct-Int8-W8A16" --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.9 --served-model-name "Qwen2.5-Coder-14B-Instruct-Int8-W8A16"

_______________________________

作者在此 👇🏻 扫一扫