From 1c584fffacb4bafc0b204570c63488c2e7d92611 Mon Sep 17 00:00:00 2001 From: lumian Date: Thu, 28 Aug 2025 16:13:08 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=20README.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 11 ++++++++++- 1 file changed, 10 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 5d911c9..ca615a7 100644 --- a/README.md +++ b/README.md @@ -1,4 +1,13 @@ # metax-c500-vllm -1. 支持 `gpt-oss`：将 `vllm` 目录覆盖到镜像中的 `/opt/conda/lib/python3.10/site-packages/vllm`。运行`gpt-oss`时需指定`VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1` +本项目包含了对于原版 vllm 的升级，使其可以在沐曦 C500芯片上支持运行 gpt-oss + +本项目中提供的 Dockerfile 中的主要内容为： +1. 将 `vllm` 目录覆盖到镜像中的 `/opt/conda/lib/python3.10/site-packages/vllm`。运行`gpt-oss`时需指定`VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1` 2. 将 `code_generator.py` 覆盖到镜像中的 `/opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py` + +镜像成功编译以后，可以参照标准 vllm 使用方式。 + +注意，目前该版本暂时分为两个分支（即将合并为一个分支） +- main 分支：支持 gpt-oss-20b-BF16 版本，https://huggingface.co/unsloth/gpt-oss-20b-BF16 +- feat/gpt-oss 分支：支持原版 gpt-oss-20b 模型，https://huggingface.co/openai/gpt-oss-20b \ No newline at end of file