db7f48eeacb583798edf8bf753af9e134da617c7
metax-c500-vllm
- 支持
gpt-oss-BF16:将vllm目录覆盖到镜像中的/opt/conda/lib/python3.10/site-packages/vllm - 将
code_generator.py覆盖到镜像中的/opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py
Description
运行于沐曦曦云C系列算力卡的【文本生成】引擎 vLLM 特制优化版本,基于 transformer 架构,支持 gpt-oss 等最新流行模型
Readme
64 MiB
1 Stars
9 Watchers
1 Forks
Languages
Python
100%