wangjing e9e8ff73b6 add qwen3

2025-08-07 07:27:43 +00:00

vllm

add qwen3

2025-08-07 07:27:43 +00:00

.gitignore

init

2025-08-07 07:25:16 +00:00

Description

运行于【天数智芯-天垓】系列算力卡的【文本生成】引擎，基于 vLLM 引擎进行架构特别适配优化，率先实现在天垓 100 芯片上支持 Qwen3 系列等最新流行模型，并且引入 prefix-caching 等开源社区流行优化技术

99 MiB

Languages

Python 99.8%

C 0.1%