V1.3.2 =================== 特性变更 ----------------- - 废弃原legacy目录下的BangTransformer大模型推理网络性能评测代码。 - ``fused_layer_norm`` 与 ``fused_rms_norm`` 的输入和输出支持更多的 ``stride`` 组合。 已修复问题 --------------------- 无。 已知遗留问题 -------------- 无。 V1.3.1 =================== 特性变更 ----------------- - ``smooth_quant_group_gemm`` 与 ``fused_moe`` 算子支持w4w8混合量化。 - ``reshape_paged_cache`` 算子支持 ``v`` 和 ``v_cache`` 传入None。 - ``quant_to_paged_cache`` 算子支持 ``v`` 、 ``v_cache`` 和 ``v_cache_quant_scale`` 传入None。 - ``offline_quant_to_paged_cache`` 算子支持 ``v`` 和 ``v_cache_scale`` 传入None。 - ``copy_blocks`` 算子支持 ``v_caches`` 传入None。 - ``moe_softmax_topk`` 支持 ``mask`` 广播及定制化 ``normalize`` 。该算子的 ``Input`` 和 ``Mask`` 必须保证连续。 - ``single_query_cached_kv_attn`` 支持 ``window_size_left`` 。 - 新增 ``dequant_from_paged_cache`` 算子。 - ``dequant_from_linear_cache`` 算子不再支持float32的 ``key`` 和 ``value``。 已修复问题 --------------------- 无。 已知遗留问题 -------------- 无。 V1.3.0 =================== 特性变更 ----------------- - ``group_gemm`` 与 ``smooth_quant_group_gemm`` 算子的max_m参数会影响性能，其默认值不一定是最佳性能，将由参数可选修改成必填参数。 - ``moe_softmax_topk`` 支持mask功能。 - 支持导出算子 ``gen_case`` 功能。 - 新增 ``dequant_from_linear_cache`` 算子。 - ``moe_softmax_topk`` 支持mask广播及定制化normalize。 已修复问题 --------------------- 无。 已知遗留问题 -------------- 无。 V1.2.3 =================== 特性变更 ----------------- - 适配CNToolkit 3.15.X相关特性。 - 不再支持Ubuntu20.04操作系统。 - ``single_query_cached_kv_attn`` 与 ``flash_attention`` 算子支持 ``head_size_qk != head_size_v``。 - ``group_gemm`` 与 ``smooth_quant_group_gemm`` 算子支持bias。 - ``matmul`` 删除原位输出参数，增加指定输出类型参数。 已修复问题 --------------------- - ``quant_to_linear_cache`` 算子修复精度问题。 - 修复 ``matmul`` 算子形状推导问题。 - 修复Debug模式下 ``quant_to_linear_cache`` 算子编译问题。 已知遗留问题 -------------- 无。 V1.2.2 =================== 特性变更 ----------------- - ``smooth_quant_group_gemm`` 与 ``fused_moe`` 支持int4 group量化功能。 - ``allreduce`` 类算子删除 ``act_mode`` 。 - ``weight_only_quant_matmul`` 与 ``smooth_quant_matmul`` 新增控制激活计算方式。 已修复问题 --------------------- 无。 已知遗留问题 -------------- 无。 V1.2.1 =================== 特性变更 ----------------- - ``moe_combine_result`` 算子优化吞吐场景下性能。 - ``quant_to_linear_cache`` 算子新增group量化和int4量化功能。 - 新增 ``moe_cast_gating`` 算子。 - 新增 ``update_out_and_lse`` 算子。 - ``fused_rope`` 算子支持int8/int4 kv cache。 - ``matmul`` 与 ``batch_matmul`` 新增支持trans_a, trans_b。 - 新增 ``single_query_mixed_cached_kv_attn`` 算子。 - ``single_query_cached_kv_attn`` 支持output_lse。 - ``fused_layer_norm`` 与 ``fused_rms_norm`` 支持输出动态量化。 - legacy目录下的BangTransformer网络评测代码，仅支持在PyTorch2.1环境下编译和运行。 已修复问题 --------------------- 无。 已知遗留问题 -------------- 无。 V1.2.0 =================== 特性变更 ----------------- - ``moe_softmax_topk`` 算子新增grouped_topk功能。 - ``moe_softmax_topk`` 算子不再支持原位功能。 - ``moe_gen_idx`` 算子不再支持原位功能。 - Torch-MLU-Ops首次支持PyTorch2.5，不再支持PyTorch2.3。 - 新增 ``fused_rope`` 算子。 - ``matmul`` 算子新增支持INT8输入。 - 新增 ``batch_matmul`` 算子。 已修复问题 --------------------- 无。 已知遗留问题 -------------- 无。 V1.1.4 =================== 特性变更 ----------------- - 新增 ``offline_quant_to_paged_cache`` 算子。 - 新增 ``moe_gen_idx`` 算子。 - 新增 ``moe_expand_input`` 算子。 - 新增 ``moe_combine_result`` 算子。 - 新增 ``moe_quantize`` 算子。 - 新增 ``moe_softmax_topk`` 算子。 - 删除 ``quant_matmul`` 算子，由 ``smooth_quant_matmul`` 和 ``weight_only_quant_matmul`` 实现其功能。 - ``flash_attention`` 算子新增 ``block_tables``， ``k/v_cache_quant_scale`` 参数。 - ``matmul`` 算子支持激活配置参数。 - ``fused_moe`` 算子支持量化EP。 - 新增 ``moe_active`` 算子。 已修复问题 --------------------- - 修复 ``fused_moe`` 算子通算融合模式的精度问题。 - 修复 ``moe_combine_result`` 算子在EP模式下特定规模下的coredump问题。 - 修复 ``fused_norm`` 算子非连续情况下的精度问题。 已知遗留问题 -------------- 无。 V1.1.3 =================== 特性变更 ----------------- - BangTransformer更名为Torch-MLU-Ops, 定位PyTorch第三方算子库。对于使用PyTorch框架的开发者，通过Torch-MLU-Ops，能够便捷地使用这些自定义算子，进行算子的集成、评测和业务部署。 - bt_ops的命名空间变化为torch_mlu_ops。 - 原BangTransformer的LLM网络推理评测相关内容被迁移到lagacy目录下进行维护。 - 后续在寒武纪计算卡上的LLM网络推理评测建议使用Cambricon vLLM、Cambricon TGI、Cambricon Stable Diffusion web UI、Cambricon ComfyUI以及Cambricon Diffusers组件。 - Single Query Cached Attention算子支持per_token量化和per_channel量化。 - Fused Moe算子在非量化情况下支持EP模式，内部支持group gemm和allreduce并行。 - 提供smooth_quant_matmul_allreduce、matmul_allreduce、flash_attn_sq_mm_allreduce通算融合。 - 更新flash_attention、single_query_cached_kv_attn、fused_rms_norm、fused_layer_norm的接口说明。 已修复问题 --------------------- 无。 已知遗留问题 -------------- 无。