976bfd67e8f84172d4f76798cae9f6daa5229520
enginex-hygon-vllm
运行于【海光 DCU】系列算力卡的【文本生成】引擎,基于 vLLM 引擎进行架构特别适配优化,支持 Qwen、DeepSeek、Llama 等最新开源模型
可支持模型列表
可在项目文件夹 /enginex 下查看具体可支持模型文件的运行方式。
支持模型列表:
- jina-embeddings-v3
- DeepSeek-R1
- ChatGLM3-6B
Description
运行于【海光 DCU】系列算力卡的【文本生成】引擎,基于 vLLM 引擎进行架构特别适配优化,支持 Qwen、DeepSeek、Llama 等最新开源模型
56 MiB
0 Stars
5 Watchers
1 Forks
Languages
Python
100%