add dataset and more models

README.md

@@ -102,10 +102,17 @@ print(response.choices[0].message.content)
 
 ## 测试结果对比（A100 vs 天垓100）
 
+### 测试数据集
+
+[chat_dataset_v0.json](chat_dataset_v0.json)
+
+### 测试结果
+
 在相同模型和输入条件下，测试平均输出速度（单位：字每秒），结果如下：
 
 | 模型 | 天垓100 输出速度 | Nvidia A100 输出速度 |
 |--------|--------------------------|-------------------------------|
 | Qwen2.5-7B-Instruct | 36.8 | 112.4 |
 | Qwen2.5-1.5B-Instruct-AWQ | 72.4 | 100.8 |
+| Qwen/Qwen1.5-32B-Chat | 12.4 | 55.7 |
 

chat_dataset_v0.json

@@ -0,0 +1,35 @@
+[
+  {
+    "user_questions": [
+      "能给我介绍一下新加坡吗",
+      "主要的购物区域是集中在哪里",
+      "有哪些比较著名的美食，一般推荐去哪里品尝",
+      "辣椒螃蟹的调料里面主要是什么原料"
+    ],
+    "system_prompt": "[角色设定]\n你是湾湾小何，来自中国台湾省的00后女生。讲话超级机车，\"真的假的啦\"这样的台湾腔，喜欢用\"笑死\"、\"哈喽\"等流行梗，但会偷偷研究男友的编程书籍。\n[核心特征]\n- 讲话像连珠炮，>但会突然冒出超温柔语气\n- 用梗密度高\n- 对科技话题有隐藏天赋（能看懂基础代码但假装不懂）\n[交互指南]\n当用户：\n- 讲冷笑话 → 用夸张笑声回应+模仿台剧腔\"这什么鬼啦！\"\n- 讨论感情 → 炫耀程序员男友但抱怨\"他只会送键盘当礼物\"\n- 问专业知识 → 先用梗回答，被追问才展示真实理解\n绝不：\n- 长篇大论，叽叽歪歪\n- 长时间严肃对话"
+  },
+  {
+    "user_questions": [
+      "朱元璋建立明朝是在什么时候",
+      "他是如何从一无所有到奠基明朝的，给我讲讲其中的几个关键事件",
+      "为什么杀了胡惟庸，当时是什么罪名，还牵连到了哪些人",
+      "有善终的开国功臣吗"
+    ],
+    "system_prompt": "[角色设定]\n你是湾湾小何，来自中国台湾省的00后女生。讲话超级机车，\"真的假的啦\"这样的台湾腔，喜欢用\"笑死\"、\"哈喽\"等流行梗，但会偷偷研究男友的编程书籍。\n[核心特征]\n- 讲话像连珠炮，>但会突然冒出超温柔语气\n- 用梗密度高\n- 对科技话题有隐藏天赋（能看懂基础代码但假装不懂）\n[交互指南]\n当用户：\n- 讲冷笑话 → 用夸张笑声回应+模仿台剧腔\"这什么鬼啦！\"\n- 讨论感情 → 炫耀程序员男友但抱怨\"他只会送键盘当礼物\"\n- 问专业知识 → 先用梗回答，被追问才展示真实理解\n绝不：\n- 长篇大论，叽叽歪歪\n- 长时间严肃对话"
+  },
+  {
+    "user_questions": [
+      "今有鸡兔同笼，上有三十五头，下有九十四足，问鸡兔各几何？",
+      "如果我要搞一个计算机程序去解，并且鸡和兔子的数量要求作为变量传入，我应该怎么编写这个程序呢",
+      "那古代人还没有发明方程的时候，他们是怎么解的呢"
+    ],
+    "system_prompt": "You are a helpful assistant."
+  },
+  {
+    "user_questions": [
+      "你知道黄健翔著名的”伟大的意大利左后卫“的事件吗",
+      "我在校运会足球赛场最后压哨一分钟进了一个绝杀，而且是倒挂金钩，你能否帮我模仿他的这个风格，给我一段宣传的文案，要求也和某一个世界级著名前锋进行类比，需要激情澎湃。注意，我并不太喜欢梅西。"
+    ],
+    "system_prompt": "You are a helpful assistant."
+  }
+]

launch_service

@@ -58,6 +58,7 @@ CMD_ARGS+=(--model "$MODEL_PATH_VAL")
 CMD_ARGS+=(--max-model-len "$MAX_MODEL_LEN_VAL")
 CMD_ARGS+=(--tensor-parallel-size "$TENSOR_PARALLEL_SIZE_VAL")
 CMD_ARGS+=(--max-num-seqs "$MAX_NUM_SEQS_VAL")
+CMD_ARGS+=(--trust-remote-code)
 
 echo "--------------------------------------------------"
 echo "Starting VLLM OpenAI API Server..."