7 lines
411 B
Markdown
7 lines
411 B
Markdown
# metax-c500-vllm
|
|
|
|
1. 支持 `gpt-oss`：将 `vllm` 目录覆盖到镜像中的 `/opt/conda/lib/python3.10/site-packages/vllm`
|
|
2. 将 `code_generator.py` 覆盖到镜像中的 `/opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py`
|
|
3. 启动时指定`VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1`
|
|
|
|
*此版本改动较大，可能因为接口改动，存在部分模型运行出错的问题。* |