메뉴
基于 PyTorch 框架的昇腾 NPU 模型推理多流整网优化技能。用于分析和实施模型的多流优化、双流、stream overlap、控核与 TorchAir 多流改造。先做整网模块 DAG 与模块间并行性分析，再做每个模块的算子级分析、开发调试和验收。触发场景包括：多流优化、双流、stream overlap、控核、整网 DAG、模块拆解、NPU 多流、TorchAir 多流、limit_core_num、多流改造调试。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | external-cannbot-model-model-infer-multi-stream |
| description | 基于 PyTorch 框架的昇腾 NPU 模型推理多流整网优化技能。用于分析和实施模型的多流优化、双流、stream overlap、控核与 TorchAir 多流改造。先做整网模块 DAG 与模块间并行性分析，再做每个模块的算子级分析、开发调试和验收。触发场景包括：多流优化、双流、stream overlap、控核、整网 DAG、模块拆解、NPU 多流、TorchAir 多流、limit_core_num、多流改造调试。 |
| user-invocable | true |
| original-name | model-infer-multi-stream |
| synced-from | https://gitcode.com/cann/cannbot-skills |
| synced-date | 2026-05-26 |
| synced-commit | ac5bbd2b4cf427d011874e11f8d1e8b1bef66eda |
| license | UNKNOWN |
面向本仓库的 NPU 多流整网优化任务，按“分析 → 开发调试 → 验收”推进。优先参考仓库内已有案例、代码模式和官方 API 索引。
本技能解决的是整网多流优化。
工作主线固定如下：
分析和实施结果统一落到：
multi-stream-analysis/<network_or_case_name>.md
报告结构使用 references/report-template.md。
event / wait / wait_stream / wait_tensor 关系。multi_stream.md，只有在 overlap 正确但出现资源争抢、拖尾或卡死风险时，再读同路径的 limit_cores.md。开始前先确认当前代码走哪条多流路径：
torchair.CompilerConfig() + torchair.get_npu_backend() + GE 图模式：走 Ascend IR 路径。先看 cann-recipes-infer/docs/zh/ascend_ir/features/advanced/multi_stream.md，需要控核时再看 cann-recipes-infer/docs/zh/ascend_ir/features/advanced/limit_cores.md。torch.compile(..., backend="npugraph_ex")：走 npugraph_ex / aclgraph 路径。先看 cann-recipes-infer/docs/zh/npugraph_ex/advanced/multi_stream.md，需要控核时再看 cann-recipes-infer/docs/zh/npugraph_ex/advanced/limit_cores.md。CompilerConfig 和 get_npu_backend() 定界，不要把 torch.compile(mode=...) 当成当前主入口写法。npugraph_ex 路径本质上是显式 stream / event / 生命周期管理；如果代码已经是这套风格，优先顺着现有实现继续，不要强改成 TorchAir 图内表达。profiler agent 当profiler agent存在时，可以通过profiler agent获取以下信息：
references/report-template.md，在 cann-recipes-infer/docs/common/multi-stream-analysis/<model_name> 下创建或更新结果文件。references/module-decomposition-spec.md 完成整网模块拆解：
prefill 还是 decodeexamples/README.md，按其中的“快速选型表”进入最接近的模式。torchair.CompilerConfig() + torchair.get_npu_backend()：走 Ascend IR / GE 图模式路径torch.compile(..., backend="npugraph_ex")：走 npugraph_ex / aclgraph 路径npu_stream_switchnpugraph_ex / aclgraph：优先用 torch.npu.Stream() + torch.npu.stream()npu_wait_tensor，已有 tagged event 风格时沿用 npu_tagged_event_*npugraph_ex / aclgraph：优先用 torch.npu.Event()、record_event()、wait_event()record_stream()limit_core_num 或全局 config.ge_config.aicore_numnpugraph_ex / aclgraph：torch.npu.npugraph_ex.scope.limit_core_numset_stream_limit / get_stream_limitprofiler agent 当profiler agent存在时，可以通过profiler agent获取以下信息：
如果多流编排方式不唯一，多尝试不同的编排方式，选择性能最优的方案。调试时按下面 4 类问题分开处理，不要混在一起排查：
prefill/decode → 模块 → 算子 缩小范围record_stream()验收必须至少覆盖下面 4 类，并把结果回写报告：
优先使用：
torch.npu.Stream()record_event()wait_event()wait_stream()适用场景：
torch.npu.current_stream()优先使用：
npu_stream_switchnpu_wait_tensornpu_record_tagged_streamnpu_tagged_event_wait适用场景：
ge_graph / TorchAir 多流表达出现“已 overlap 但收益不稳定”时，再评估：
limit_core_numtorch_npu.set_stream_limittorch_npu.get_stream_limit使用顺序：
详细路由见 references/api-routing.md。
npugraph_exrecord_stream()按需读取。
references/module-decomposition-spec.mdreferences/api-routing.mdexamples/README.mdreferences/report-template.md评估 CANN 算子仓的「进阶教程 / 开发指南」类文档质量——通读文档 + 对照算子代码**静态**查证(默认不跑),按五轴(找得到/信得过/学得会/可操作/读得懂)找出 漏讲/讲不清/过时/对不上代码/概念讲错,产出带证据与改进建议的体检报告(MD + HTML)。涉及「评进阶教程 / 开发指南文档质量 / 文档对不对得上代码 / 教程审稿 / tutorial 体检 / 文档信不信得过」等意图时使用。只评不改不跑,只对着文档与代码出诊断。
Run NPU inference/training tests on a remote SSH server with vllm-ascend Docker container. Use when the user asks to test models on NPU, run inference on Ascend devices, or deploy models to an SSH server.
Track daily PRs and Issues from vllm-project/vllm and vllm-project/vllm-ascend, filter by model (DeepSeek/Qwen/GLM/MiniMax/Kimi) and tech topics (PD disaggregation, MTP, quantization, graph mode, performance), analyze with LLM, and generate a Markdown report. Use when user wants vllm daily tracker, PR/Issue digest, or Ascend inference ecosystem monitoring.
Automatically fetch InferenceX benchmark data and generate daily performance reports for LLM inference on various hardware (NVIDIA, AMD, etc.). Supports email delivery, data change detection, and 8k1k sequence length performance analysis. Use when needing to track LLM inference performance trends, compare hardware configurations, or monitor benchmark updates.
通用 PyTorch 项目 Ascend NPU 迁移可行性分析。系统化扫描代码库中的 CUDA/GPU 依赖，按 7 大域分类评估（设备层、注意力机制、自定义算子、分布式通信、精度策略、第三方依赖、编译加速），并基于 Wan2.2 实际迁移经验提供逐项替代方案。适用于评估任何 DiT/Transformer 类模型（视频生成、LLM、多模态等）在昇腾 NPU 上的运行可行性与迁移工作量估算。
End-to-end AscendC custom operator development for Ascend NPU in an ascend-kernel (csrc/ops + build.sh + torch_npu PyTorch custom op) project. Use to design, generate, build, test, document, and tune a new AscendC operator from a name and a math/functional spec. Covers project init, two-level tiling design, op_host/op_kernel code generation, framework registration, compile/install/debug, PyTorch-style API docs, precision evaluation and root-cause debugging, torch_npu.profiler performance benchmarking, performance optimization, and security code review.