a7a0adc8544216c8ff43eb5f87bccab907cb3701
metax-c500-vllm
- 支持
gpt-oss-BF16:将vllm目录覆盖到镜像中的/opt/conda/lib/python3.10/site-packages/vllm - 将
code_generator.py覆盖到镜像中的/opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py - 启动时指定
VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1
此版本改动较大,可能因为接口改动,存在部分模型运行出错的问题。
Languages
Python
100%