EngineX-MetaX/enginex-c_series-vllm
8
1
Fork 1
Code Issues Pull Requests Actions Projects Releases Wiki Activity
Files
a7a0adc8544216c8ff43eb5f87bccab907cb3701
enginex-c_series-vllm/README.md

416 B
Raw Blame History

metax-c500-vllm

  1. 支持 gpt-oss-BF16：将 vllm 目录覆盖到镜像中的 /opt/conda/lib/python3.10/site-packages/vllm
  2. 将 code_generator.py 覆盖到镜像中的 /opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py
  3. 启动时指定VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1

此版本改动较大，可能因为接口改动，存在部分模型运行出错的问题。