7a35b2f32dcbaf0558f0797d8f4e6427fc6daf7e
metax-c500-vllm
- 支持
gpt-oss:将vllm目录覆盖到镜像中的/opt/conda/lib/python3.10/site-packages/vllm。运行gpt-oss时需指定指定VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1 - 将
code_generator.py覆盖到镜像中的/opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py
此版本改动较大,可能因为接口改动,存在部分模型运行出错的问题。
Languages
Python
100%