EngineX/xc-llm-ascend
3
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity
Files
243ed4da695479c252a21f14398bb2a79639f1c7
xc-llm-ascend/README.zh.md
Yikun Jiang 243ed4da69 Add vLLM forum info and update readme (#366) 
### What this PR does / why we need it?
Add vLLM forum info and update readme

### Does this PR introduce _any_ user-facing change?
No

### How was this patch tested?
CI passed

---------

Signed-off-by: Yikun Jiang <yikunkero@gmail.com>
Co-authored-by: wangxiyuan <wangxiyuan1007@gmail.com>
2025-03-21 09:32:42 +08:00

3.6 KiB
Raw Blame History

vllm-ascend

vLLM Ascend Plugin

| 关于昇腾 | 官方文档 | 开发者 Slack (#sig-ascend) | 用户论坛 |

English | 中文

最新消息 🔥

总览

vLLM 昇腾插件 (vllm-ascend) 是一个由社区维护的让vLLM在Ascend NPU无缝运行的后端插件。

此插件是 vLLM 社区中支持昇腾后端的推荐方式。它遵循[RFC]: Hardware pluggable所述原则：通过解耦的方式提供了vLLM对Ascend NPU的支持。

使用 vLLM 昇腾插件，可以让类Transformer、混合专家(MOE)、嵌入、多模态等流行的大语言模型在 Ascend NPU 上无缝运行。

准备

  • 硬件：Atlas 800I A2 Inference系列、Atlas A2 Training系列
  • 软件：
    • Python >= 3.9
    • CANN >= 8.0.RC2
    • PyTorch >= 2.5.1, torch-npu >= 2.5.1.dev20250308
    • vLLM (与vllm-ascend版本一致)

在此处，您可以了解如何逐步准备环境。

开始使用

请查看快速开始和安装指南了解更多.

分支

vllm-ascend有主干分支和开发分支。

  • main: 主干分支，与vLLM的主干分支对应，并通过昇腾CI持续进行质量看护。
  • vX.Y.Z-dev: 开发分支，随vLLM部分新版本发布而创建，比如v0.7.3-dev是vllm-asend针对vLLM v0.7.3版本的开发分支。

下面是维护中的分支：

分支 状态 备注
main Maintained 基于vLLM main分支CI看护
v0.7.1-dev Unmaintained 只允许文档修复
v0.7.3-dev Maintained 基于vLLM v0.7.3版本CI看护

请参阅版本策略了解更多详细信息。

贡献

有关更多详细信息，请参阅 CONTRIBUTING，可以更详细的帮助您部署开发环境、构建和测试。

我们欢迎并重视任何形式的贡献与合作：

  • 请通过Issue来告知我们您遇到的任何Bug。
  • 请通过用户论坛来交流使用问题和寻求帮助。

许可证

Apache 许可证 2.0，如 LICENSE 文件中所示。