本项目包含了对于原版 vllm 的升级,使其可以在沐曦 C500芯片上支持运行 gpt-oss
本项目中提供的 Dockerfile 中的主要内容为:
vllm
/opt/conda/lib/python3.10/site-packages/vllm
gpt-oss
VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1
code_generator.py
/opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py
镜像成功编译以后,可以参照标准 vllm 使用方式。