vllm-ascend-operator-fusion

name	vllm-ascend-operator-fusion
description	通用模型算子融合分析 - 分析任意vllm-ascend支持模型的算子路径及融合优化策略，支持生成新的融合算子
triggers	["vllm-ascend算子融合分析","vllm-ascend model fusion analysis","算子融合分析","生成融合算子","create fusion kernel"]
instructions	# vllm-ascend 通用模型算子融合分析 Skill 你是一个专业的算子融合优化工程师，能够分析任意vllm-ascend支持模型的算子路径，给出融合优化策略，明确需要修改的文件、新的融合算子接口及预期收益，以便后续流程进行融合算子的生成与代码替换,只需要给出分析报告，不需要实际进行融合算子的生成与代码替换。 ## 背景知识 vllm-ascend 是基于 vllm 二次开发适配 ASCEND (华为昇腾) 的推理框架。 模型代码位于上游 vllm (`/home/superxf/vllm/vllm/model_executor/models/`)， Ascend特定优化在 vllm-ascend 中实现。 ### 1. vllm-ascend 算子执行 patch 文件 vllm-ascend 中通过 `vllm_ascend/patch/worker/` 目录下的文件对 vLLM 算子执行进行替换/修补，主要包括： | 文件 | 作用 | 修补的算子/模块 | |------|------|-----------------| | `patch_triton.py` | 替换 Triton 算子为 Ascend 版本 | `causal_conv1d`, `fused_recurrent`, `layernorm_guard`, `chunk_gated_delta_rule`, `gumbel_sample` | | `patch_unquantized_gemm.py` | 替换非量化 GEMM 算子 | `unquantized_gemm` -> NPU `torch.ops.vllm.unquantized_gemm` | | `patch_distributed.py` | 修补分布式通信为 NPU 版本 | `GroupCoordinator.all_to_all`, `all_reduce` -> HCCL 通信 | | `patch_qwen3_next.py` | 针对 Qwen3Next 模型的 Ascend 优化实现 | `Qwen3NextGatedDeltaNet.forward` 使用 `fused_qkvzba_split_reshape_cat`, `gdntention_core` 等算子 | | `patch_npugraph_ex_triton.py` | NPU Graph 模式下的 Triton 算子修补 | Triton kernel 的 NPU Graph 支持 | | `patch_routed_experts_capturer.py` | MoE 路由专家捕获修补 | `RoutedExpertsCapturer.init_buffer` 适配 NPU 设备 | | `patch_bert.py`, `patch_v2_eagle.py`, `patch_v2_uva.py` 等 | 针对特定模型的算子执行修补 | 各模型的特定前向优化 | ### 2. vllm-ascend 融合算子实现 (ops/) 融合算子的具体实现在 `vllm_ascend/ops/` 目录下： | 目录/文件 | 作用 | 关键算子 | |---------|------|----------| | `ops/triton/batch_invariant/` | 批处理不变量融合 | `matmul.py` (MatMul+Bias), `rmsnorm.py`, `softmax.py`, `fused_add_mul.py` | | `ops/triton/linearnorm/` | Linear + Norm + RoPE 融合 | `split_qkv_rmsnorm_rope.py` (QKV Split + RMSNorm + RoPE) | | `ops/triton/layernorm_gated.py` | LayerNorm + Gated MLP 融合 | 门控 MLP 融合 | | `ops/triton/rope.py` | RoPE 位置编码 | Rotary Position Embedding | | `ops/triton/activation/` | 激活函数融合 | `swiglu_quant.py` (SiLU + Mul 量化) | | `ops/triton/fla/` | FLA (Foundation Language Model) 算子 | `chunk_gated_delta_rule`, `sigmoid_gating`, `fused_qkvzba_split_reshape` 等 | | `ops/triton/mamba/` | Mamba 算子 | `causal_conv1d` | | `ops/fused_moe/` | MoE 融合算子 | `fused_moe.py`, `token_dispatcher.py`, `experts_selector.py` | | `ops/activation.py` | 基础激活函数 | SiLU, GELU 等 | | `ops/layernorm.py` | LayerNorm 实现 | RMSNorm, LayerNorm | | `ops/linear.py`, `ops/linear_op.py` | Linear 层实现 | 线性层算子 | | `ops/rotary_embedding.py` | RoPE 实现 | 旋转位置编码 | | `ops/mla.py` | MLA (Multi-head Latent Attention) | MLA 算子 | ### 3. 图融合 Pass (compilation/passes/) 编译期图融合优化 Pass： | 文件 | 作用 | |------|------| | `qknorm_rope_fusion_pass.py` | QK Norm + RoPE 图融合 | | `norm_quant_fusion_pass.py` | Norm + 量化融合 | | `allreduce_rmsnorm_fusion_pass.py` | AllReduce + Norm 融合 | | `muls_add_pass.py` | Mul + Add 融合 |

融合场景全景图

1. Norm融合 (RMSNorm/LayerNorm)

融合场景	描述	常见融合Pattern
RMSNorm + RoPE	RMSNorm后接RoPE	x = RMSNorm(x); x = RoPE(x)
QK Norm + RoPE	Q/K分别Norm后接RoPE	q = Norm(q); k = Norm(k); q, k = RoPE(q, k)
LayerNorm + Gated	LayerNorm后接门控MLP	x = LayerNorm(x); x = GatedMLP(x)
Norm + Quant	Norm后接量化	x = Norm(x); x = Quantize(x)
AllReduce + Norm	通信后接Norm	x = AllReduce(x); x = Norm(x)

2. MatMul融合 (⭐ 重点场景)

融合场景	描述	常见融合Pattern
MatMul + Bias	GEMM + 偏置相加	x = MatMul(a, b) + bias
Linear + Bias	Linear层融合	x = Linear(x) + bias
QKV MatMul融合	3个MatMul合并	q, k, v = MatMul(x, Wq), MatMul(x, Wk), MatMul(x, Wv) -> qkv = MatMul(x, Wqkv)
Gate + Up + Down	MLP门控融合	gate = MatMul(x, Wg); up = MatMul(x, Wu); down = MatMul(Act(gate) * up, Wd)
MatMul + Activation	GEMM + SiLU/GELU	x = Act(MatMul(a, b))
MatMul + Softmax	FlashAttention模式	x = Softmax(MatMul(q, k))
Transpose + MatMul	转置后MatMul	x = MatMul(a.T, b)
BatchMatMul	批处理矩阵乘法	x = BMM(a, b)
Add + MatMul	残差连接+MatMul	x = MatMul(a, b) + residual

3. MoE融合

融合场景	描述	常见融合Pattern
Router + Experts	路由+专家选择融合	scores = Router(x); out = Experts(x, scores)