38 lines
1.7 KiB
Markdown
38 lines
1.7 KiB
Markdown
# enginex-metax-c500-vl
|
||
|
||
## Notes
|
||
- DeepSeek OCR 引擎见 deepseek-ocr 分支
|
||
|
||
## Quickstart
|
||
```shell
|
||
#构建docker镜像
|
||
docker build . -t metax_c500_vl
|
||
|
||
#运行docker容器
|
||
docker run -it -p 10055:8000 --device=/dev/mxcd --device=/dev/dri -v /home/aiyueqi/mnt/models/vlm/MiniCPM-V-4:/model:ro --name metax_c500_vl_test metax_c500_vl
|
||
```
|
||
等待模型Load完成，出现以下日志时，代表服务启动成功, 且模型加载完成
|
||
```shell
|
||
INFO: Application startup complete.
|
||
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
|
||
```
|
||
执行测试程序
|
||
```shell
|
||
python3 test.py
|
||
```
|
||
测试程序执行结果
|
||
```
|
||
Succeed!
|
||
Response: {'output_text': '这幅图片包含几个元素，共同营造出宁静的氛围。主要对象是一个坐在沙滩上的金毛寻回犬和一个穿着格子衬衫的人。狗似乎正与这个人互动，可能是在玩耍或训练，因为它的爪子和人的手在接触。狗戴着颜色鲜艳的项圈，表明它可能接受过训练或习惯于与人互动。这个人看起来很放松，微笑着，暗示着他们之间的亲密关系。背景是一片宁静的海滩，太阳低垂在地平线上，为场景投射出温暖的金色光线。这可能是一天中的早晨或傍晚，因为光线柔和而扩散。海滩上没有其他人，强调了两个人之间的个人时刻。这张图片唤起了和平、陪伴和简单之美的感觉。'}
|
||
```
|
||
停止docker容器
|
||
```
|
||
docker stop metax_c500_translation_test
|
||
```
|
||
## 模型支持
|
||
在Quickstart中运行容器时，通过磁盘目录挂载的方式，指定模型的类型和具体的模型名称，即：
|
||
```
|
||
-v /home/aiyueqi/mnt/models/vlm/MiniCPM-V-4:/model:ro
|
||
```
|
||
目前支持MiniCPM模型, 参考https://modelscope.cn/models/OpenBMB/MiniCPM-V-4
|