23 lines
1.6 KiB
Markdown
23 lines
1.6 KiB
Markdown
## 测速结果的补充说明
|
||
- GPU测速
|
||
- 我们采用业界广泛使用的推理部署开源框架[vllm](https://github.com/vllm-project/vllm)进行推理速度测试
|
||
- 实验配置为：max_num_seqs=8, prefill_tokens=128 and decode_tokens=128，测试设备为NVIDIA A100
|
||
- vLLM的serving工作流并不存在batch_size的概念，这里采用max_num_seqs（每次迭代的最大序列数）来近似此概念。
|
||
- 测试脚本详见 [throughput-benchmarking](https://github.com/infinigence/Infini-Megrez/tree/main?tab=readme-ov-file#throughput-benchmarking)
|
||
- CPU测速
|
||
- 与GPU不同，CPU上存在llama.cpp、Ollama、厂商自研等多种推理框架
|
||
- 我们选择Intel [ipex-llm](https://github.com/intel-analytics/ipex-llm/tree/main/python/llm/example/CPU/vLLM-Serving)作为CPU推理引擎
|
||
- 实验配置为：max_num_seqs=1 prefill_tokens=128 and decode_tokens=128，测试设备为Intel(R) Xeon(R) Platinum 8358P
|
||
- 注意：Intel的ipex-llm方案仅支持qwen, baichuan, llama等结构，暂不支持MiniCPM系列
|
||
- 手机平台测试
|
||
- TBD
|
||
- 嵌入式平台测试
|
||
- 我们在瑞星微RK3576上进行了速度测试，选用厂商提供的[rknn-llm](https://github.com/airockchip/rknn-llm)框架
|
||
|
||
## 测速结果汇总
|
||
|
||
| | Megrez-3B | Qwen2.5-3B | MiniCPM3 | MiniCPM-2B |
|
||
|-----------------------|-----------|------------|--------|--------|
|
||
| A100 (BF16) | 1159.93 | 1123.38 | 455.44 | 978.96 |
|
||
| Intel(R) Xeon(R) Platinum 8358P (IPEX INT4) | 27.49 | 25.99 | X | 22.84 |
|
||
| RK3576 (INT4) | 8.79 | 7.73 | X | 6.45 | |