2025-11-04 16:55:56 +08:00
|
|
|
|
# enginex-hygon-vllm
|
|
|
|
|
|
|
2025-11-19 12:39:34 +08:00
|
|
|
|
运行于【海光 DCU】系列算力卡的【文本生成】引擎，基于 vLLM 引擎进行架构特别适配优化，支持 Qwen、DeepSeek、Llama 等最新开源模型。
|
|
|
|
|
|
|
|
|
|
|
|
因具体模型之间的启动方式和具体镜像会有略微差别，请详细查看 `/enginex` 目录下各个支持模型的启动测试方式。
|
2025-11-05 15:28:20 +08:00
|
|
|
|
|
|
|
|
|
|
## 可支持模型列表
|
|
|
|
|
|
可在项目文件夹 `/enginex` 下查看具体可支持模型文件的运行方式。
|
|
|
|
|
|
|
|
|
|
|
|
支持模型列表：
|
2025-11-07 11:46:29 +08:00
|
|
|
|
- jina-embeddings-v3
|
2025-11-19 12:12:11 +08:00
|
|
|
|
- DeepSeek-R1_ollama
|
|
|
|
|
|
- DeepSeek-R1_pytorch
|
|
|
|
|
|
- DeepSeek-R1-Distill
|
2025-11-07 18:26:17 +08:00
|
|
|
|
- ChatGLM3-6B
|
2025-11-10 10:04:15 +08:00
|
|
|
|
- QwQ-32B
|
2025-11-19 12:12:11 +08:00
|
|
|
|
- DeepSeek-V3
|
|
|
|
|
|
- LLaMA_Fastchat_pytorch
|
|
|
|
|
|
- Qwen3
|
2025-11-19 15:47:57 +08:00
|
|
|
|
- Qwen3-30B-A3B_vllm
|
|
|
|
|
|
- Qwen-7B_fastllm
|
|
|
|
|
|
- ChatGLM-6B_fastllm
|
|
|
|
|
|
- ChatGLM-6B_pytorch
|
