feature: add

This commit is contained in:
2025-08-27 19:05:36 +08:00
parent 3a3ba295a4
commit 9d1f51bb25

View File

@@ -6,13 +6,13 @@
* MiniCPMV2.6 是 MiniCPMV 系列中最新且最强大的 8B 参数模型,具备更优的单图、多图与视频理解能力、卓越 OCR 效果、低 hallucination 率,并支持端侧设备(如 iPad实时视频理解
## Quick Start
1. 首先从modelscope上下载文本生成大模型,如`Qwen1.5-1.8B-Chat`
1. 首先从modelscope上下载vlm`gemma-3-4b-it`
```bash
modelscope download --model LLM-Research/gemma-3-4b-it --local_dir /mnt/contest_ceph/wenyunqing/models/gemma-3-4b-it
```
2. 拉取vllm server 镜像.
2. 拉取server 镜像.
```
docker pull harbor.4pd.io/hardcore-tech/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1
docker pull git.modelhub.org.cn:9443/enginex-iluvatar/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1
```
3. 启动docker
```bash
@@ -20,9 +20,9 @@ docker run -it --rm \
-p 10086:8000 \
--name test_wyq1 \
-v /mnt/contest_ceph/wenyunqing/models/gemma-3-4b-it:/model:rw \
--privileged harbor.4pd.io/hardcore-tech/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1
--privileged git.modelhub.org.cn:9443/enginex-iluvatar/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1
```
注意需要在本地使用寒武纪 mlu370 芯片
注意需要在本地使用天垓100 芯片
4. 测试服务
4.1 加载模型
```bash
@@ -72,9 +72,9 @@ curl -X POST "http://localhost:10086/infer" \
## 如何使用视觉理解多模态测试框架
由于VLM相关的模型一般需要较大的存储空间为了更好的测试效率需要提前下载好模型相关文件k8s集群可以mount的持久化介质比如cephFS之后提交测试时指定模型存放的地址。
`docker-images/server.py`代码实现了一个接收图片和问题并返回回答文本和统计延迟信息的VLM HTTP 服务。测试框架集成了现成的可用的镜像`harbor.4pd.io/hardcore-tech/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1``server.py`作为入口可以用于本地端如有GPU卡测试。
`docker-images/server.py`代码实现了一个接收图片和问题并返回回答文本和统计延迟信息的VLM HTTP 服务。测试框架集成了现成的可用的镜像`git.modelhub.org.cn:9443/enginex-iluvatar/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1``server.py`作为入口可以用于本地端如有GPU卡测试。
作为测试对比我们也提供a100相对应的镜像 `harbor.4pd.io/hardcore-tech/a100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1`
作为测试对比我们也提供a100相对应的镜像 `git.modelhub.org.cn:9443/enginex-iluvatar/a100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1`
## 天垓100上视觉理解多模态模型运行测试结果
在天垓100上对部分视觉理解多模态模型进行适配测试方式为在 Nvidia A100 和 天垓100 加速卡上对10个图片相关问题回答获取运行时间