add dataset and more models

This commit is contained in:
2025-10-17 16:52:12 +08:00
parent 8f07ba339a
commit ee04aead1e
3 changed files with 43 additions and 0 deletions

View File

@@ -102,10 +102,17 @@ print(response.choices[0].message.content)
## 测试结果对比A100 vs 天垓100
### 测试数据集
[chat_dataset_v0.json](chat_dataset_v0.json)
### 测试结果
在相同模型和输入条件下,测试平均输出速度(单位:字每秒),结果如下:
| 模型 | 天垓100 输出速度 | Nvidia A100 输出速度 |
|--------|--------------------------|-------------------------------|
| Qwen2.5-7B-Instruct | 36.8 | 112.4 |
| Qwen2.5-1.5B-Instruct-AWQ | 72.4 | 100.8 |
| Qwen/Qwen1.5-32B-Chat | 12.4 | 55.7 |