Files
enginex-c_series-vllm/README.md

428 B

metax-c500-vllm

  1. 支持 gpt-oss:将 vllm 目录覆盖到镜像中的 /opt/conda/lib/python3.10/site-packages/vllm。运行gpt-oss时需指定指定VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1
  2. code_generator.py 覆盖到镜像中的 /opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py

此版本改动较大,可能因为接口改动,存在部分模型运行出错的问题。