diff --git a/README.md b/README.md index 0571abd..b9ba9d1 100644 --- a/README.md +++ b/README.md @@ -6,13 +6,13 @@ * MiniCPM‑V 2.6 是 MiniCPM‑V 系列中最新且最强大的 8 B 参数模型,具备更优的单图、多图与视频理解能力、卓越 OCR 效果、低 hallucination 率,并支持端侧设备(如 iPad)实时视频理解 ## Quick Start -1. 首先从modelscope上下载文本生成大模型,如`Qwen1.5-1.8B-Chat` +1. 首先从modelscope上下载vlm,如`gemma-3-4b-it` ```bash modelscope download --model LLM-Research/gemma-3-4b-it --local_dir /mnt/contest_ceph/wenyunqing/models/gemma-3-4b-it ``` -2. 拉取vllm server 镜像. +2. 拉取server 镜像. ``` -docker pull harbor.4pd.io/hardcore-tech/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1 +docker pull git.modelhub.org.cn:9443/enginex-iluvatar/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1 ``` 3. 启动docker ```bash @@ -20,9 +20,9 @@ docker run -it --rm \ -p 10086:8000 \ --name test_wyq1 \ -v /mnt/contest_ceph/wenyunqing/models/gemma-3-4b-it:/model:rw \ - --privileged harbor.4pd.io/hardcore-tech/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1 + --privileged git.modelhub.org.cn:9443/enginex-iluvatar/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1 ``` -注意需要在本地使用寒武纪 mlu370 芯片 +注意需要在本地使用天垓100 芯片 4. 测试服务 4.1 加载模型 ```bash @@ -72,9 +72,9 @@ curl -X POST "http://localhost:10086/infer" \ ## 如何使用视觉理解多模态测试框架 由于VLM相关的模型一般需要较大的存储空间,为了更好的测试效率,需要提前下载好模型相关文件,k8s集群可以mount的持久化介质(比如cephFS),之后提交测试时指定模型存放的地址。 -`docker-images/server.py`代码实现了一个接收图片和问题并返回回答文本和统计延迟信息的VLM HTTP 服务。测试框架集成了现成的可用的镜像`harbor.4pd.io/hardcore-tech/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1`(`server.py`作为入口),可以用于本地端(如有GPU卡)测试。 +`docker-images/server.py`代码实现了一个接收图片和问题并返回回答文本和统计延迟信息的VLM HTTP 服务。测试框架集成了现成的可用的镜像`git.modelhub.org.cn:9443/enginex-iluvatar/bi100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1`(`server.py`作为入口),可以用于本地端(如有GPU卡)测试。 -作为测试对比,我们也提供a100相对应的镜像 `harbor.4pd.io/hardcore-tech/a100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1` +作为测试对比,我们也提供a100相对应的镜像 `git.modelhub.org.cn:9443/enginex-iluvatar/a100-3.2.1-x86-ubuntu20.04-py3.10-poc-vlm-infer:0.0.1` ## 天垓100上视觉理解多模态模型运行测试结果 在天垓100上对部分视觉理解多模态模型进行适配,测试方式为在 Nvidia A100 和 天垓100 加速卡上对10个图片相关问题回答,获取运行时间