feature: add
This commit is contained in:
14
README.md
14
README.md
@@ -6,13 +6,13 @@
|
||||
* MiniCPM‑V 2.6 是 MiniCPM‑V 系列中最新且最强大的 8 B 参数模型,具备更优的单图、多图与视频理解能力、卓越 OCR 效果、低 hallucination 率,并支持端侧设备(如 iPad)实时视频理解
|
||||
|
||||
## Quick Start
|
||||
1. 首先从modelscope上下载文本生成大模型,如`Qwen1.5-1.8B-Chat`
|
||||
1. 首先从modelscope上下载vlm,如`gemma-3-4b-it`
|
||||
```bash
|
||||
modelscope download --model LLM-Research/gemma-3-4b-it --local_dir /mnt/contest_ceph/wenyunqing/models/gemma-3-4b-it
|
||||
```
|
||||
2. 拉取vllm server 镜像.
|
||||
2. 拉取server 镜像.
|
||||
```
|
||||
docker pull harbor.4pd.io/hardcore-tech/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1
|
||||
docker pull git.modelhub.org.cn:9443/enginex-iluvatar/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1
|
||||
```
|
||||
3. 启动docker
|
||||
```bash
|
||||
@@ -20,9 +20,9 @@ docker run -it --rm \
|
||||
-p 10086:8000 \
|
||||
--name test_wyq1 \
|
||||
-v /mnt/contest_ceph/wenyunqing/models/gemma-3-4b-it:/model:rw \
|
||||
--privileged harbor.4pd.io/hardcore-tech/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1
|
||||
--privileged git.modelhub.org.cn:9443/enginex-iluvatar/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1
|
||||
```
|
||||
注意需要在本地使用寒武纪 mlu370 芯片
|
||||
注意需要在本地使用天垓100 芯片
|
||||
4. 测试服务
|
||||
4.1 加载模型
|
||||
```bash
|
||||
@@ -72,9 +72,9 @@ curl -X POST "http://localhost:10086/infer" \
|
||||
## 如何使用视觉理解多模态测试框架
|
||||
由于VLM相关的模型一般需要较大的存储空间,为了更好的测试效率,需要提前下载好模型相关文件,k8s集群可以mount的持久化介质(比如cephFS),之后提交测试时指定模型存放的地址。
|
||||
|
||||
`docker-images/server.py`代码实现了一个接收图片和问题并返回回答文本和统计延迟信息的VLM HTTP 服务。测试框架集成了现成的可用的镜像`harbor.4pd.io/hardcore-tech/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1`(`server.py`作为入口),可以用于本地端(如有GPU卡)测试。
|
||||
`docker-images/server.py`代码实现了一个接收图片和问题并返回回答文本和统计延迟信息的VLM HTTP 服务。测试框架集成了现成的可用的镜像`git.modelhub.org.cn:9443/enginex-iluvatar/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1`(`server.py`作为入口),可以用于本地端(如有GPU卡)测试。
|
||||
|
||||
作为测试对比,我们也提供a100相对应的镜像 `harbor.4pd.io/hardcore-tech/a100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1`
|
||||
作为测试对比,我们也提供a100相对应的镜像 `git.modelhub.org.cn:9443/enginex-iluvatar/a100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1`
|
||||
## 天垓100上视觉理解多模态模型运行测试结果
|
||||
在天垓100上对部分视觉理解多模态模型进行适配,测试方式为在 Nvidia A100 和 天垓100 加速卡上对10个图片相关问题回答,获取运行时间
|
||||
|
||||
|
||||
Reference in New Issue
Block a user