10 lines
550 B
Markdown
10 lines
550 B
Markdown
# metax-c500-vllm
|
|
|
|
本项目包含了对于原版 vllm 的升级，使其可以在沐曦 C500芯片上支持运行 gpt-oss, qwen3-omni
|
|
|
|
本项目中提供的 Dockerfile 中的主要内容为：
|
|
1. 将 `vllm` 目录覆盖到镜像中的 `/opt/conda/lib/python3.10/site-packages/vllm`。运行`gpt-oss`时需指定`VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1`
|
|
2. 将 `code_generator.py` 覆盖到镜像中的 `/opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py`
|
|
|
|
镜像成功编译以后，可以参照标准 vllm 使用方式。
|