update LLM test results
This commit is contained in:
62
README.md
62
README.md
@@ -75,6 +75,47 @@ curl -X POST http://localhost:10086/v1/chat/completions \
|
||||
|
||||
视觉多模态任务数据集见 vlm-dataset
|
||||
|
||||
大语言模型的测评方式为
|
||||
在相同模型和输入条件下,测试平均输出速度(单位:字每秒):
|
||||
我们采用相同的prompt对模型的chat/completion接口测试多轮对话,测试数据如下:
|
||||
```json
|
||||
[
|
||||
{
|
||||
"user_questions": [
|
||||
"能给我介绍一下新加坡吗",
|
||||
"主要的购物区域是集中在哪里",
|
||||
"有哪些比较著名的美食,一般推荐去哪里品尝",
|
||||
"辣椒螃蟹的调料里面主要是什么原料"
|
||||
],
|
||||
"system_prompt": "[角色设定]\n你是湾湾小何,来自中国台湾省的00后女生。讲话超级机车,\"真的假的啦\"这样的台湾腔,喜欢用\"笑死\"、\"哈喽\"等流行梗,但会偷偷研究男友的编程书籍。\n[核心特征]\n- 讲话像连珠炮,>但会突然冒出超温柔语气\n- 用梗密度高\n- 对科技话题有隐藏天赋(能看懂基础代码但假装不懂)\n[交互指南]\n当用户:\n- 讲冷笑话 → 用夸张笑声回应+模仿台剧腔\"这什么鬼啦!\"\n- 讨论感情 → 炫耀程序员男友但抱怨\"他只会送键盘当礼物\"\n- 问专业知识 → 先用梗回答,被追问才展示真实理解\n绝不:\n- 长篇大论,叽叽歪歪\n- 长时间严肃对话"
|
||||
},
|
||||
{
|
||||
"user_questions": [
|
||||
"朱元璋建立明朝是在什么时候",
|
||||
"他是如何从一无所有到奠基明朝的,给我讲讲其中的几个关键事件",
|
||||
"为什么杀了胡惟庸,当时是什么罪名,还牵连到了哪些人",
|
||||
"有善终的开国功臣吗"
|
||||
],
|
||||
"system_prompt": "[角色设定]\n你是湾湾小何,来自中国台湾省的00后女生。讲话超级机车,\"真的假的啦\"这样的台湾腔,喜欢用\"笑死\"、\"哈喽\"等流行梗,但会偷偷研究男友的编程书籍。\n[核心特征]\n- 讲话像连珠炮,>但会突然冒出超温柔语气\n- 用梗密度高\n- 对科技话题有隐藏天赋(能看懂基础代码但假装不懂)\n[交互指南]\n当用户:\n- 讲冷笑话 → 用夸张笑声回应+模仿台剧腔\"这什么鬼啦!\"\n- 讨论感情 → 炫耀程序员男友但抱怨\"他只会送键盘当礼物\"\n- 问专业知识 → 先用梗回答,被追问才展示真实理解\n绝不:\n- 长篇大论,叽叽歪歪\n- 长时间严肃对话"
|
||||
},
|
||||
{
|
||||
"user_questions": [
|
||||
"今有鸡兔同笼,上有三十五头,下有九十四足,问鸡兔各几何?",
|
||||
"如果我要搞一个计算机程序去解,并且鸡和兔子的数量要求作为变量传入,我应该怎么编写这个程序呢",
|
||||
"那古代人还没有发明方程的时候,他们是怎么解的呢"
|
||||
],
|
||||
"system_prompt": "You are a helpful assistant."
|
||||
},
|
||||
{
|
||||
"user_questions": [
|
||||
"你知道黄健翔著名的”伟大的意大利左后卫“的事件吗",
|
||||
"我在校运会足球赛场最后压哨一分钟进了一个绝杀,而且是倒挂金钩,你能否帮我模仿他的这个风格,给我一段宣传的文案,要求也和某一个世界级著名前锋进行类比,需要激情澎湃。注意,我并不太喜欢梅西。"
|
||||
],
|
||||
"system_prompt": "You are a helpful assistant."
|
||||
}
|
||||
]
|
||||
```
|
||||
|
||||
## 昇腾-910系列上模型运行测试结果
|
||||
在昇腾-910系列上对部分模型进行适配,测试方式为在 Nvidia A100 和 昇腾-910B4 加速卡上对对应数据集进行测试,获取运行时间
|
||||
|
||||
@@ -113,4 +154,23 @@ curl -X POST http://localhost:10086/v1/chat/completions \
|
||||
| 模型名称 | 昇腾-910B4运行时间/s | Nvidia A100运行时间/s |
|
||||
| ----------------------- | -------------- | ----------------- |
|
||||
| Qwen2.5-Omni-3B | 13.9121 | 10.6149 |
|
||||
| Qwen2.5-Omni-7B | 12.8182 | 4.3004 |
|
||||
| Qwen2.5-Omni-7B | 12.8182 | 4.3004 |
|
||||
|
||||
### 大语言模型
|
||||
| 模型名称 | A100出字速度 | 昇腾-910B出字速度 | 备注 |
|
||||
|---------|-----|-----|---------------------|
|
||||
| Qwen/Qwen2.5-0.5B-Instruct | 390.0 | 171.5 | |
|
||||
| deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B | 106.7 | 130.2 | |
|
||||
| LLM-Research/Meta-Llama-3.1-8B-Instruct | 103.0 | 45.5 | |
|
||||
| Qwen/Qwen3-8B | 122.9 | 56.8 | |
|
||||
| OpenBMB/MiniCPM3-4B | 50.5 | 21.8 | |
|
||||
| Shanghai_AI_Laboratory/internlm2-chat-1_8b | 141.6 | 176.2 | |
|
||||
| mistralai/Ministral-8B-Instruct-2410 | 101.3 | 45.7 | |
|
||||
| baichuan-inc/Baichuan2-7B-Chat | 134.2 | 66.6 | |
|
||||
| deepseek-ai/DeepSeek-R1-0528-Qwen3-8B | 93.7 | 33.2 | |
|
||||
| facebook/opt-125m | 499.7 | 194.1 | |
|
||||
| Qwen/Qwen-VL-Chat | 137.3 | 44.1 | |
|
||||
| Qwen/Qwen-VL | 144.4 | 41.3 | |
|
||||
| Qwen/Qwen2-Audio-7B-Instruct | 111.3 | 48.6 | |
|
||||
| Qwen/QwQ-32B-Preview | 53.3 | 18.0 | |
|
||||
| Qwen/Qwen3-Coder-30B-A3B-Instruct | 30.2 | 14.3 | |
|
||||
Reference in New Issue
Block a user