菜单
基于 PyTorch 框架的昇腾 NPU 模型推理融合算子优化技能。分析模型代码，识别可替换为 torch_npu 融合算子的计算模式，生成替换方案。触发场景：torch_npu 融合算子替换、MoE/Attention/FFN/Norm 等模块的推理算子适配、torch_npu API 使用咨询。基于仓库已有模型的融合算子经验，按计算语义推荐最佳方案。
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
基于 SOC 职业分类
| name | external-cannbot-model-model-infer-fusion |
| description | 基于 PyTorch 框架的昇腾 NPU 模型推理融合算子优化技能。分析模型代码，识别可替换为 torch_npu 融合算子的计算模式，生成替换方案。触发场景：torch_npu 融合算子替换、MoE/Attention/FFN/Norm 等模块的推理算子适配、torch_npu API 使用咨询。基于仓库已有模型的融合算子经验，按计算语义推荐最佳方案。 |
| original-name | model-infer-fusion |
| synced-from | https://gitcode.com/cann/cannbot-skills |
| synced-date | 2026-05-26 |
| synced-commit | ac5bbd2b4cf427d011874e11f8d1e8b1bef66eda |
| license | UNKNOWN |
分析 PyTorch 模型代码中的计算模式，匹配 torch_npu 融合算子进行替换优化。基于 torch_npu 本地 docstring 查询脚本（scripts/torch_npu_query.py）和仓库已有模型的融合算子使用经验，按模块逐一分析、匹配、替换、验证。
分析模型代码，输出模块清单。
拆解网络结构：识别顶层结构（Embedding → Transformer Blocks → LM Head），拆解每个 Block 为独立模块：
记录运行场景特征：
关键子链路展开：对 Attention、MoE 等复杂模块，展开到可替换链路级别：
对第一步拆解的每个模块，独立在仓库参考实现中匹配最接近的算子链路。命中后，将该路径作为候选蓝图，并对照第一步的关键子链路清单补充分析该路径未覆盖的部分；未命中的模块跳到第三步在算子总表中搜索。
注意：若 FA 融合算子已在前置阶段替换，仅跳过 FA 调用本身。Attention 的其他子链路（RoPE、KV Cache 写入、Residual+Norm、QKV/O Projection 等）仍需逐一检查是否有可用融合算子。同时注意多步骤整体融合算子（如 npu_kv_rmsnorm_rope_cache 融合 RMSNorm+RoPE+Cache写入，npu_mla_prolog_v3 融合 Q/KV投影+RMSNorm+RoPE+Cache写入），不要将单个子模块简单归为"标准线性层无融合算子"而跳过评估。
分析 Attention 时，KV Cache 需要与 Attention Core 结合讨论，不建议完全拆开；除架构外，还应同时确认：
kv_len / start_pos，或 slot_mapping / cache_indexAttention Core：非融合 attention、npu_fused_infer_attention_score、npu_fused_infer_attention_score_v2、npu_sparse_flash_attention常见实现组合包括：
scatter_update_ + kv_len / start_pos）→ 再评估非融合 attention 或融合 FAnpu_scatter_nd_update_ / npu_scatter_pa_kv_cache / cache_index）→ 再评估与该 cache 形态匹配的 FAnpu_mla_prolog_v3(cache_index / slot_mapping) + 融合 FA先根据当前实现的架构、cache 形态、写入方式和 Attention Core 组织，判断它更接近哪条参考链路，再进入对应详情文档。
Attention 架构？
│
├─ GQA / MHA（标准多头 / 分组查询注意力）
│ │
│ ├─ Prefill: 当前 batch 的 q/k/v → FA(sparse_mode=3 推荐，sparse_mode=2 不推荐)
│ └─ Decode: 从 KV Cache 读取 → FA(actual_seq_lengths_kv)
│ → 详情：references/module-attention-gqa.md
│
└─ MLA（Multi-head Latent Attention，低秩 KV 压缩）
│
├─ 无 Indexer
│ ├─ Prefill: 分步投影 → 展开 K/V → FA v1 或 v2
│ └─ Decode: absorb（手动或 npu_mla_prolog_v3）→ FA v1 或 v2 → V absorb
│ → 详情：references/module-attention-mla-absorb.md
│
└─ 有 Indexer（稀疏 Top-K KV 选择）
├─ Prefill/Decode 共路径
│ npu_mla_prolog_v3 → Indexer → 稀疏 FA → V absorb
→ 详情：references/module-attention-mla-indexer.md
先确认当前模块属于 Dense FFN 还是 MoE；若为 MoE，再结合 gate 形式、并行模式和阶段判断更接近哪条参考链路。
是否有 MoE？
│
├─ 无（Dense FFN）→ 在算子总表中确认 Dense Linear / Activation / Norm 可用融合算子
│
└─ 有 MoE
│
├─ Gate 算子
│ ├─ softmax 打分 → npu_moe_gating_top_k_softmax（qwen3-moe）
│ └─ sigmoid/noaux → npu_moe_gating_top_k（deepseek 系列）
│
└─ 路由 + 专家计算（按并行模式和阶段区分）
├─ Prefill（纯 TP）: init_routing_v2 → grouped_matmul → finalize_routing
├─ Prefill（EP）: init_routing_v2 → AllToAll → re_routing → grouped_matmul → finalize_routing
└─ Decode（EP+TP）: MC2 dispatch_v2 → grouped_matmul → MC2 combine_v2
→ 详情：references/moe-fusion-reference.md
其他未被上述判断树覆盖的模块（Embedding、LM Head、跨层残差、Diffusion 特有模块等），跳到第三步在算子总表中搜索。
对第二步命中的算子或未匹配到模式的模块，按以下优先级查阅 torch_npu 接口文档：
优先：本地 docstring
torch_npu wheel 内置 _op_plugin_docs.py，含所有算子的完整中文文档。通过 scripts/torch_npu_query.py 查询：
# 单 API 详情
python3 scripts/torch_npu_query.py show <api_name>
# 反向搜索
python3 scripts/torch_npu_query.py search "<keyword>"
# 枚举所有算子名
python3 scripts/torch_npu_query.py list [--prefix npu_]
确认可用性：
适配验证：
在进入代码替换前，审查以下各项。未完成的项须返回对应步骤补齐，不得跳过直接进入实施。
若当前任务仅要求分析，则在本步结束，输出分析结果、候选方案和验证计划，不进入代码实施。
分析阶段审查项：
已有全面的算子候选分析后，依照替换流程对候选清单中的所有模块逐个迭代替换，每次只改一处，验证通过再继续下一个；不得跳过任何已进入候选清单的模块。若当前模块无法继续实施，也必须记录其失败证据、阻塞原因和当前结论。
若候选模块依赖以下前置改造且尚未完成，可按需查阅对应资源：
RoPE 预计算、缓存和取值路径整理：references/rotary-embedding-pattern.mdKV Cache 静态化 / PA 改造：参考 model-infer-kvcache skill融合算子替换流程：
注：替换时可参考仓库中最接近的模型实现和 references/ 下的算子接口文档使用说明。
实施阶段检查项：
以下文档按需查阅，避免一次性加载消耗 token
| 主题 | 路径 |
|---|---|
| torch_npu API 文档查询脚本 | scripts/torch_npu_query.py |
| Attention: GQA 参考链路 | references/module-attention-gqa.md |
| Attention: MLA Absorb 参考链路 | references/module-attention-mla-absorb.md |
| Attention: MLA+Indexer 参考链路 | references/module-attention-mla-indexer.md |
| MoE 算子模式详解 | references/moe-fusion-reference.md |
| RotaryEmbedding 预计算与调用模式 | references/rotary-embedding-pattern.md |
| op-plugin 仓库（在线） | gitcode.com/Ascend/op-plugin |
评估 CANN 算子仓的「进阶教程 / 开发指南」类文档质量——通读文档 + 对照算子代码**静态**查证(默认不跑),按五轴(找得到/信得过/学得会/可操作/读得懂)找出 漏讲/讲不清/过时/对不上代码/概念讲错,产出带证据与改进建议的体检报告(MD + HTML)。涉及「评进阶教程 / 开发指南文档质量 / 文档对不对得上代码 / 教程审稿 / tutorial 体检 / 文档信不信得过」等意图时使用。只评不改不跑,只对着文档与代码出诊断。
Run NPU inference/training tests on a remote SSH server with vllm-ascend Docker container. Use when the user asks to test models on NPU, run inference on Ascend devices, or deploy models to an SSH server.
Track daily PRs and Issues from vllm-project/vllm and vllm-project/vllm-ascend, filter by model (DeepSeek/Qwen/GLM/MiniMax/Kimi) and tech topics (PD disaggregation, MTP, quantization, graph mode, performance), analyze with LLM, and generate a Markdown report. Use when user wants vllm daily tracker, PR/Issue digest, or Ascend inference ecosystem monitoring.
Automatically fetch InferenceX benchmark data and generate daily performance reports for LLM inference on various hardware (NVIDIA, AMD, etc.). Supports email delivery, data change detection, and 8k1k sequence length performance analysis. Use when needing to track LLM inference performance trends, compare hardware configurations, or monitor benchmark updates.
通用 PyTorch 项目 Ascend NPU 迁移可行性分析。系统化扫描代码库中的 CUDA/GPU 依赖，按 7 大域分类评估（设备层、注意力机制、自定义算子、分布式通信、精度策略、第三方依赖、编译加速），并基于 Wan2.2 实际迁移经验提供逐项替代方案。适用于评估任何 DiT/Transformer 类模型（视频生成、LLM、多模态等）在昇腾 NPU 上的运行可行性与迁移工作量估算。
End-to-end AscendC custom operator development for Ascend NPU in an ascend-kernel (csrc/ops + build.sh + torch_npu PyTorch custom op) project. Use to design, generate, build, test, document, and tune a new AscendC operator from a name and a math/functional spec. Covers project init, two-level tiling design, op_host/op_kernel code generation, framework registration, compile/install/debug, PyTorch-style API docs, precision evaluation and root-cause debugging, torch_npu.profiler performance benchmarking, performance optimization, and security code review.