39 lines
1.0 KiB
Markdown
39 lines
1.0 KiB
Markdown
# enginex-metax-c500-transformer-deepseekOCR
|
||
|
||
运行于【沐曦曦云C】系列算力卡的【视觉多模态】引擎，基于 transformer 引擎进行架构特别适配优化，支持 DeepSeek-OCR最新开源模型
|
||
|
||
## QuickStart
|
||
|
||
1、从 modelscope上下载支持 DeepSeek-OCR
|
||
```python
|
||
modelscope download --model deepseek-ai/DeepSeek-OCR README.md --local_dir ./model
|
||
```
|
||
将仓库里的 deepencoder.py 复制到模型目录覆盖原本的文件
|
||
|
||
2、使用Dockerfile生成镜像
|
||
从仓库的【软件包】栏目下载基础镜像 git.modelhub.org.cn:9443/enginex-metax/maca-c500-pytorch:2.33.0.6-torch2.6-py310-ubuntu24.04-amd64
|
||
|
||
使用 Dockerfile 生成 镜像
|
||
```python
|
||
docker build -f Dockerfile -t metax:deepseek_ocr .
|
||
```
|
||
|
||
3、启动docker
|
||
```python
|
||
metax-docker run -it --rm \
|
||
--gpus=[0] \
|
||
-v ./model:/model \
|
||
-p 10086:80 \
|
||
metax:deepseek_ocr
|
||
```
|
||
|
||
4、测试服务
|
||
```python
|
||
curl -X POST http://localhost:10086/generate \
|
||
-H "Content-Type: application/json" \
|
||
-d '{
|
||
"messages": [{"role": "user", "content": "你好"}],
|
||
}'
|
||
```
|
||
|