# enginex-hygon-vllm

运行于【海光 DCU】系列算力卡的【文本生成】引擎，基于 vLLM 引擎进行架构特别适配优化，支持 Qwen、DeepSeek、Llama 等最新开源模型。

因具体模型之间的启动方式和具体镜像会有略微差别，请详细查看 `/enginex` 目录下各个支持模型的启动测试方式。

## 可支持模型列表
可在项目文件夹 `/enginex` 下查看具体可支持模型文件的运行方式。

支持模型列表：
- jina-embeddings-v3
- DeepSeek-R1_ollama
- DeepSeek-R1_pytorch
- DeepSeek-R1-Distill
- ChatGLM3-6B
- QwQ-32B
- DeepSeek-V3
- LLaMA_Fastchat_pytorch
- Qwen3
- Qwen3-30B-A3B_vllm
- Qwen-7B_fastllm
- ChatGLM-6B_fastllm
- ChatGLM-6B_pytorch
- Shanghai_AI_Laboratory/internlm-chat-7b
- ZhipuAI/glm-4v-9b
- ZhipuAI/GLM-4-9B-0414
- deepseek-ai/DeepSeek-Coder-V2-Base