应用场景
===============================

Torch-MLU-Ops是寒武纪设计和开发的PyTorch第三方算子库。对于使用PyTorch框架的开发者，通过Torch-MLU-Ops，能够便捷地使用这些自定义算子，进行算子的集成、评测和业务部署。

Torch-MLU-Ops已全量覆盖LLM（Large Language Model）推理场景下的常见算子。作为后端，已支持Cambricon vLLM、Cambricon TGI、Cambricon Stable Diffusion web UI、Cambricon ComfyUI以及Cambricon Diffusers。

.. _关键特性:

关键特性
===============================
Torch-MLU-Ops在支持LLM模型部署时提供的关键特性如下所示：

- PyTorch风格的算子API
- 支持LLM推理场景下的常见算子
- Flash Attention支持Multi-head Attention、Multi-query Attention、Group-query Attention特性
- 支持KV Cache INT8特性
- Single Query Cached Attention算子支持Paged特性
- 矩阵乘类算子支持Weight-only、AWQ、GPTQ、Smoothquant量化特性
- 支持MOE场景下常见算子
- 提供不同融合力度的融合算子
- 提供通信——计算融合算子MC2
- 支持Cambricon TGI调用
- 支持Cambricon vLLM调用
- 支持Cambricon Stable Diffusion web UI调用
- 支持Cambricon ComfyUI调用
- 支持Cambricon Diffusers调用
