enginex-hygon-vllm

运行于【海光 DCU】系列算力卡的【文本生成】引擎，基于 vLLM 引擎进行架构特别适配优化，支持 Qwen、DeepSeek、Llama 等最新开源模型

可支持模型列表

可在项目文件夹 /enginex 下查看具体可支持模型文件的运行方式。

支持模型列表：

• jina-embeddings-v3
• DeepSeek-R1_ollama
• DeepSeek-R1_pytorch
• DeepSeek-R1-Distill
• ChatGLM3-6B
• QwQ-32B
• DeepSeek-V3
• LLaMA_Fastchat_pytorch
• Qwen3