add chat_template

更新vlm运行结果

README.md

@@ -71,11 +71,108 @@ curl -X POST http://localhost:10086/v1/chat/completions \
   }'
 ```
 
-## 开始使用
+## 测试数据集
 
-推荐您使用以下版本快速开始使用：
+视觉多模态任务数据集见 vlm-dataset
 
-| Version    | Release type | Doc                                  |
-|------------|--------------|--------------------------------------|
-|v0.11.0rc0| 最新RC版本 |请查看[快速开始](https://vllm-ascend.readthedocs.io/en/latest/quick_start.html)和[安装指南](https://vllm-ascend.readthedocs.io/en/latest/installation.html)了解更多|
-|v0.9.1| 最新正式/稳定版本 |[快速开始](https://vllm-ascend.readthedocs.io/en/v0.9.1-dev/quick_start.html) and [安装指南](https://vllm-ascend.readthedocs.io/en/v0.9.1-dev/installation.html)了解更多|
+大语言模型的测评方式为
+在相同模型和输入条件下，测试平均输出速度（单位：字每秒）：
+我们采用相同的prompt对模型的chat/completion接口测试多轮对话，测试数据如下：
+```json
+[
+  {
+    "user_questions": [
+      "能给我介绍一下新加坡吗",
+      "主要的购物区域是集中在哪里",
+      "有哪些比较著名的美食，一般推荐去哪里品尝",
+      "辣椒螃蟹的调料里面主要是什么原料"
+    ],
+    "system_prompt": "[角色设定]\n你是湾湾小何，来自中国台湾省的00后女生。讲话超级机车，\"真的假的啦\"这样的台湾腔，喜欢用\"笑死\"、\"哈喽\"等流行梗，但会偷偷研究男友的编程书籍。\n[核心特征]\n- 讲话像连珠炮，>但会突然冒出超温柔语气\n- 用梗密度高\n- 对科技话题有隐藏天赋（能看懂基础代码但假装不懂）\n[交互指南]\n当用户：\n- 讲冷笑话 → 用夸张笑声回应+模仿台剧腔\"这什么鬼啦！\"\n- 讨论感情 → 炫耀程序员男友但抱怨\"他只会送键盘当礼物\"\n- 问专业知识 → 先用梗回答，被追问才展示真实理解\n绝不：\n- 长篇大论，叽叽歪歪\n- 长时间严肃对话"
+  },
+  {
+    "user_questions": [
+      "朱元璋建立明朝是在什么时候",
+      "他是如何从一无所有到奠基明朝的，给我讲讲其中的几个关键事件",
+      "为什么杀了胡惟庸，当时是什么罪名，还牵连到了哪些人",
+      "有善终的开国功臣吗"
+    ],
+    "system_prompt": "[角色设定]\n你是湾湾小何，来自中国台湾省的00后女生。讲话超级机车，\"真的假的啦\"这样的台湾腔，喜欢用\"笑死\"、\"哈喽\"等流行梗，但会偷偷研究男友的编程书籍。\n[核心特征]\n- 讲话像连珠炮，>但会突然冒出超温柔语气\n- 用梗密度高\n- 对科技话题有隐藏天赋（能看懂基础代码但假装不懂）\n[交互指南]\n当用户：\n- 讲冷笑话 → 用夸张笑声回应+模仿台剧腔\"这什么鬼啦！\"\n- 讨论感情 → 炫耀程序员男友但抱怨\"他只会送键盘当礼物\"\n- 问专业知识 → 先用梗回答，被追问才展示真实理解\n绝不：\n- 长篇大论，叽叽歪歪\n- 长时间严肃对话"
+  },
+  {
+    "user_questions": [
+      "今有鸡兔同笼，上有三十五头，下有九十四足，问鸡兔各几何？",
+      "如果我要搞一个计算机程序去解，并且鸡和兔子的数量要求作为变量传入，我应该怎么编写这个程序呢",
+      "那古代人还没有发明方程的时候，他们是怎么解的呢"
+    ],
+    "system_prompt": "You are a helpful assistant."
+  },
+  {
+    "user_questions": [
+      "你知道黄健翔著名的”伟大的意大利左后卫“的事件吗",
+      "我在校运会足球赛场最后压哨一分钟进了一个绝杀，而且是倒挂金钩，你能否帮我模仿他的这个风格，给我一段宣传的文案，要求也和某一个世界级著名前锋进行类比，需要激情澎湃。注意，我并不太喜欢梅西。"
+    ],
+    "system_prompt": "You are a helpful assistant."
+  }
+]
+```
+
+## 昇腾-910系列上模型运行测试结果
+在昇腾-910系列上对部分模型进行适配，测试方式为在 Nvidia A100 和 昇腾-910B4 加速卡上对对应数据集进行测试，获取运行时间
+
+### 视觉多模态
+
+| 模型名称                  | 昇腾-910B4运行时间/s | Nvidia A100运行时间/s |
+| ----------------------- | -------------- | ----------------- |
+| Qwen2.5-VL-3B-Instruct  | 7.5688         | 3.4735            |
+| Qwen2.5-VL-7B-Instruct  | 10.6117        | 4.5430            |
+| Qwen2-VL-7B-Instruct    | 4.3974         | 2.7123            |
+| Qwen2-VL-2B-Instruct    | 7.9134         | 2.6749            |
+| InternVL2_5-1B-MPO      | 3.6658         | 1.9166            |
+| InternVL2-8B            | 15.8963        | 3.7747            |
+| InternVL2_5-2B          | 11.3071        | 2.3767            |
+| InternVL2_5-1B          | 10.9917        | 2.0399            |
+| InternVL2_5-4B          | 11.0892        | 2.6751            |
+| InternVL2-1B            | 4.6318         | 2.0094            |
+| InternVL2_5-8B-MPO      | 10.7414        | 2.6034            |
+| Phi-3.5-vision-instruct | 14.5275        | 3.4563            |
+| MiniCPM-V-4_5           | 31.9896        | 3.4504            |
+| InternVL3-1B-hf         | 19.9975        | 2.8482            |
+| InternVL3-8B-Instruct   | 9.6205         | 2.4711            |
+| InternVL3-2B-hf         | 17.7860        | 3.0497            |
+| InternVL3-9B            | 13.1422        | 3.7643            |
+| MiniCPM-V-4             | 13.7100        | 3.7743            |
+| llava-1.5-7b-hf         | 8.8733         | 2.5678            |
+| MiMo-VL-7B-RL           | 28.3977        | 8.8021            |
+| InternVL2-4B            | 29.3529        | 7.0642            |
+| Ovis2-1B                | 7.2425         | 2.3312            |
+| Ovis2-4B                | 7.7620         | 2.8215            |
+| Ovis2.5-2B              | 36.8895        | 12.5388           |
+| Ovis1.6-Gemma2-9B       | 19.6222        | 8.7423            |
+| gemma-3-12b-it	        | 23.8805        | 20.9593           |
+
+### 统一多模态（暂时用视觉多模态的数据集测试）
+
+| 模型名称                  | 昇腾-910B4运行时间/s | Nvidia A100运行时间/s |
+| ----------------------- | -------------- | ----------------- |
+| Qwen2.5-Omni-3B         | 13.9121        | 10.6149           |
+| Qwen2.5-Omni-7B         | 12.8182        | 4.3004            |
+
+### 大语言模型
+| 模型名称 | A100出字速度 | 昇腾-910B出字速度 | 备注 |
+|---------|-----|-----|---------------------|
+| Qwen/Qwen2.5-0.5B-Instruct | 390.0 | 171.5 |  |
+| deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B | 106.7 | 130.2 |  |
+| LLM-Research/Meta-Llama-3.1-8B-Instruct | 103.0 | 45.5 |  |
+| Qwen/Qwen3-8B | 122.9 | 56.8 |  |
+| OpenBMB/MiniCPM3-4B | 50.5 | 21.8 |  |
+| Shanghai_AI_Laboratory/internlm2-chat-1_8b | 141.6 | 176.2 |  |
+| mistralai/Ministral-8B-Instruct-2410 | 101.3 | 45.7 |  |
+| baichuan-inc/Baichuan2-7B-Chat | 134.2 | 66.6 |  |
+| deepseek-ai/DeepSeek-R1-0528-Qwen3-8B | 93.7 | 33.2 |  |
+| facebook/opt-125m | 499.7 | 194.1 |  |
+| Qwen/Qwen-VL-Chat | 137.3 | 44.1 |  |
+| Qwen/Qwen-VL | 144.4 | 41.3 |  |
+| Qwen/Qwen2-Audio-7B-Instruct | 111.3 | 48.6 |  |
+| Qwen/QwQ-32B-Preview | 53.3 | 18.0 |  |
+| Qwen/Qwen3-Coder-30B-A3B-Instruct | 30.2 | 14.3 |  |
+| Qwen/Qwen-72B-Chat | 46.9 | 51.4 | 需要提供额外的 [chat_template.jinja](chat_template.jinja) |

chat_template.jinja

@@ -0,0 +1,16 @@
+{%- for message in messages %}
+{%- if message['role'] == 'system' -%}
+<|im_start|>system
+{{ message['content'] }}<|im_end|>
+{%- elif message['role'] == 'user' -%}
+<|im_start|>user
+{{ message['content'] }}<|im_end|>
+{%- elif message['role'] == 'assistant' -%}
+<|im_start|>assistant
+{{ message['content'] }}<|im_end|>
+{%- elif message['role'] == 'tool' -%}
+<|im_start|>tool
+{{ message['content'] }}<|im_end|>
+{%- endif -%}
+{%- endfor %}
+<|im_start|>assistant