init

README.md

@@ -1,35 +1,38 @@
-# enginex-metax-c500-translation
-# translation-transformers
-## Quickstart
-```shell
-#构建docker镜像
-docker build . -t metax_c500_vl
+# enginex-metax-c500-transformer-deepseekOCR
 
-#运行docker容器
-docker run -it -p 10055:8000 --device=/dev/mxcd --device=/dev/dri -v /home/aiyueqi/mnt/models/vlm/MiniCPM-V-4:/model:ro --name metax_c500_vl_test metax_c500_vl
-```
-等待模型Load完成，出现以下日志时，代表服务启动成功, 且模型加载完成
-```shell
-INFO:     Application startup complete.
-INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
-```
-执行测试程序
-```shell
-python3 test.py
-```
-测试程序执行结果
-```
-Succeed!
-Response: {'output_text': '这幅图片包含几个元素，共同营造出宁静的氛围。主要对象是一个坐在沙滩上的金毛寻回犬和一个穿着格子衬衫的人。狗似乎正与这个人互动，可能是在玩耍或训练，因为它的爪子和人的手在接触。狗戴着颜色鲜艳的项圈，表明它可能接受过训练或习惯于与人互动。这个人看起来很放松，微笑着，暗示着他们之间的亲密关系。背景是一片宁静的海滩，太阳低垂在地平线上，为场景投射出温暖的金色光线。这可能是一天中的早晨或傍晚，因为光线柔和而扩散。海滩上没有其他人，强调了两个人之间的个人时刻。这张图片唤起了和平、陪伴和简单之美的感觉。'}
-```
-停止docker容器
-```
-docker stop metax_c500_translation_test
-```
-## 模型支持
-在Quickstart中运行容器时，通过磁盘目录挂载的方式，指定模型的类型和具体的模型名称，即：
-```
--v /home/aiyueqi/mnt/models/vlm/MiniCPM-V-4:/model:ro
-```
-目前支持MiniCPM模型, 参考https://modelscope.cn/models/OpenBMB/MiniCPM-V-4 
+运行于【沐曦曦云C】系列算力卡的【视觉多模态】引擎，基于 transformer 引擎进行架构特别适配优化，支持 DeepSeek-OCR最新开源模型
+
+## QuickStart
+
+1、从 modelscope上下载支持 DeepSeek-OCR
+```python
+modelscope download --model deepseek-ai/DeepSeek-OCR README.md --local_dir ./model
+```
+将仓库里的 deepencoder.py 复制到模型目录覆盖原本的文件
+
+2、使用Dockerfile生成镜像
+从仓库的【软件包】栏目下载基础镜像 git.modelhub.org.cn:9443/enginex-metax/maca-c500-pytorch:2.33.0.6-torch2.6-py310-ubuntu24.04-amd64
+
+使用 Dockerfile 生成 镜像
+```python
+docker build -f Dockerfile -t metax:deepseek_ocr .
+```
+
+3、启动docker
+```python
+metax-docker run -it --rm \
+  --gpus=[0] \
+  -v ./model:/model \
+  -p 10086:80 \
+  metax:deepseek_ocr
+```
+
+4、测试服务
+```python
+curl -X POST http://localhost:10086/generate \
+  -H "Content-Type: application/json" \
+  -d '{
+    "messages": [{"role": "user", "content": "你好"}],
+  }'
+```