2025-08-25 15:31:09 +08:00
2025-08-25 15:31:09 +08:00
2025-08-18 02:43:10 +00:00
2025-08-18 02:43:10 +00:00
2025-08-25 15:31:09 +08:00

metax-c500-vllm

  1. 支持 gpt-oss-BF16:将 vllm 目录覆盖到镜像中的 /opt/conda/lib/python3.10/site-packages/vllm
  2. code_generator.py 覆盖到镜像中的 /opt/conda/lib/python3.10/site-packages/triton/compiler/code_generator.py
  3. 启动时指定VLLM_ATTENTION_BACKEND=TRITON_ATTN_VLLM_V1

此版本改动较大,可能因为接口改动,存在部分模型运行出错的问题。

Description
运行于沐曦曦云C系列算力卡的【文本生成】引擎 vLLM 特制优化版本,基于 transformer 架构,支持 gpt-oss 等最新流行模型
Readme 64 MiB
Languages
Python 100%