一键在 Manus 中运行任何 Skill

开始使用

triton-operator-performance-optim

星标26

分支1

更新时间2026年4月30日 10:00

优化 Ascend NPU 亲和的 Triton 算子性能。解决 UB 溢出、提高 Cube 利用率、Tiling 策略设计。关键词：性能优化、performance optimization、tiling、UB。

安装

用 Codex 或 Claude 帮你安装复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。

在 Manus 中运行

来源

Ascend

Ascend/agent-skills

打开 GitHub 仓库查看创作者相关仓库

下载

在 Manus 中运行

Triton 算子性能优化（Ascend NPU）

底线（不可突破）

精度：优化后 rtol=1e-3, atol=1e-3 对齐 PyTorch-NPU。不通过则回退。
泛化性：支持原有所有输入形状和 dtype，不能 hardcode 特定尺寸。

性能比定义：Ratio = torch_npu 耗时 / Triton 耗时（耗时倒数）。Ratio > 1.0 表示 Triton 更快。

优先级：正确性 > 泛化性 > 性能。

优化工作流

Phase 0: 算法审视

优化前先审视算法本身。低效算法再优化也有先天不足。

Phase 1: 分层评估

快速筛选：time.time() 测端到端（覆盖小/中/大），达标则完成
精确诊断：不达标时用 msprof 测 kernel 侧耗时，定位真正瓶颈

Phase 2: 瓶颈优化

瓶颈	优化重点
Memory-Bound	向量化访存、UB 缓存复用、算子融合
Compute-Bound	Cube 适配、Block 尺寸调优
Latency-Bound	增大并行度、减少同步

基础四板斧（按顺序）：Block/Grid Size → 连续访存 → UB 复用 → 编译时常量

加载：optimization-patterns.md, ascend-terminology.md

Phase 3: 硬件特化

Cube：BLOCK_M/N/K 为 16 倍数，累加器 FP32
UB：缓冲区总大小 < 192KB，单值缓冲区 32B 对齐
Grid：1D Grid ≤ 物理核数，核内循环处理多行
对角线调度：大矩阵（BLOCK_THRESHOLD 以上）使用对角线 Grid 调度提升 L2 缓存命中率
多 Vector Core：post-dot 操作使用 tl.parallel(bind_sub_block=True) 分配到 2 个 vector cores

加载：triton-ascend-api.md, tiling-strategies.md, triton-api-reference.md

Phase 4: 高级优化（按需）

算子融合、Double Buffer（tl.multibuffer(tensor, 2) 或 tl.compile_hint(tensor, "multi_buffer", 2)）

Phase 5: 验证（MANDATORY）

精度 + 泛化性 + 性能 + 端到端回归

反模式清单（NEVER）

❌ 仅凭单一规模数据做优化决策
❌ 端到端不达标时直接优化 kernel（应先 msprof 确认瓶颈）
❌ 为性能牺牲精度 / hardcode 破坏泛化性
❌ FP16 直接归约 / 非 16 倍数 BLOCK 做矩阵乘
❌ BLOCK_SIZE 超 UB（192KB）/ 非连续访存
❌ 热路径用 tensor.item()（触发 CPU-NPU 同步）
❌ 循环内用 if 分支修改变量（Triton 编译为 masked 操作，灾难性性能下降）
❌ 2D Tiling 只算数据 buffer 的 UB（必须包含 offset/mask/index 数组）
❌ 用预计算的 offset tensor 做 2D broadcasting（触发编译器 addptr 多用户 assertion）
❌ kernel 内用 broadcast stride 访问辅助张量（cos/sin 等），应改为 host 侧 expand+contiguous。expand 额外内存 < 非连续访存的性能损失
❌ 归约类算子用双 pass（多次 load 同一数据分别算统计量和归一化）——应单 pass，一次 load 后 UB 内全计算，详见踩坑 8
❌ msprof 对比时两个 kernel 同名——msprof 按 OP Type 聚合，同名会混在一起
❌ 大矩阵不用对角线调度（L2 缓存颠簸，BLOCK_THRESHOLD 以上必须启用）

检查清单

精度对齐 PyTorch-NPU（rtol=1e-3, atol=1e-3）
非对齐维度和边界通过
性能测试覆盖小/中/大
grid ≤ 物理核数，BLOCK_SIZE 为编译时常量
缓冲区 < 192KB，所有 load/store 有 Mask
归约升 FP32，矩阵乘 BLOCK 为 16 倍数
归约类算子是否单 pass（D ≤ UB 时必须）

常见瓶颈速查

msprof 指标	瓶颈	典型优化
aiv_scalar > 80%	Scalar Bound	检查双 pass / 逐行循环+tl.where 累加，改单 pass
aiv_mte2 > 50%	Memory Bound	连续访存、expand+contiguous、增大 BLOCK
aiv_vec > 50%	Compute Bound	算法优化、减少冗余计算
aic_cube_ratio < 50%	Cube 利用率低	检查对齐（512B/元素大小）、BLOCK 是否 16 倍数、用 compile_hint('dot_pad_only_k')

同仓库更多 Skills

同仓库

k8s-check-fix

Ascend/agent-skills

Kubernetes 集群健康检查与安全修复 — 诊断问题，用户确认后执行修复

2026-05-0726

ascendc-operator-performance-optim

Ascend/agent-skills

排查并优化 Ascend C 算子性能。当用户开发、审查或优化 Ascend C kernel 算子时使用，或当用户提及 Ascend C 性能优化、算子优化、tiling、流水、搬运、内存优化、NPU/昇腾等关键词时触发。

2026-05-0726

security-code-review

Ascend/agent-skills

多语言安全代码审查 (Security Code Review)。对 Python、C++、Shell、Markdown 文件进行系统性安全漏洞检测与修复指导。覆盖 OWASP Top 10、CWE Top 25、CERT 安全编码标准。当用户提及以下内容时，务必使用此技能：安全审查、安全代码审查、security review、code review 中的安全检查、漏洞扫描、安全合规检查（CWE/CERT/OWASP）、编写安全代码、检查代码安全性、推理服务安全审计、多模态 Token 安全校验、JSON 嵌套深度攻击防护。即使用户没有明确说'安全审查'，只要涉及代码安全性评估、漏洞检测、安全最佳实践，都应触发此技能。

2026-05-0726

cann-nnal-installer

Ascend/agent-skills

昇腾NPU CANN Toolkit+Kernels+NNAL安装部署技能。支持从官网下载run包安装和从Docker镜像提取两种方式，覆盖驱动检查、包下载、安装、环境变量配置与验证全流程。当用户需要安装CANN全套组件或指定版本CANN到自定义路径时调用。

2026-05-0726

ascendc-operator-code-gen

Ascend/agent-skills

根据设计文档生成 AscendC 算子完整代码实现并完成框架适配。TRIGGER when: 设计文档已完成，需要生成 op_host/op_kernel 代码、注册到 PyTorch 框架、编译测试。关键词：代码生成、op_host、op_kernel、tiling、kernel、框架适配、算子注册。

2026-05-0626

ascendc-operator-design

Ascend/agent-skills

完成AscendC算子设计 - 帮助用户完成算子的架构设计、接口定义和性能规划。当用户提到算子设计、算子开发、tiling策略、内存规划、AscendC kernel设计、两级tiling、核间切分、核内切分时，使用此skill。

2026-05-0626

name	triton-operator-performance-optim
description	优化 Ascend NPU 亲和的 Triton 算子性能。解决 UB 溢出、提高 Cube 利用率、Tiling 策略设计。关键词：性能优化、performance optimization、tiling、UB。

Triton 算子性能优化（Ascend NPU）

底线（不可突破）

精度：优化后 rtol=1e-3, atol=1e-3 对齐 PyTorch-NPU。不通过则回退。
泛化性：支持原有所有输入形状和 dtype，不能 hardcode 特定尺寸。

性能比定义：Ratio = torch_npu 耗时 / Triton 耗时（耗时倒数）。Ratio > 1.0 表示 Triton 更快。

优先级：正确性 > 泛化性 > 性能。

优化工作流

Phase 0: 算法审视

优化前先审视算法本身。低效算法再优化也有先天不足。

Phase 1: 分层评估

快速筛选：time.time() 测端到端（覆盖小/中/大），达标则完成
精确诊断：不达标时用 msprof 测 kernel 侧耗时，定位真正瓶颈

Phase 2: 瓶颈优化

瓶颈	优化重点
Memory-Bound	向量化访存、UB 缓存复用、算子融合
Compute-Bound	Cube 适配、Block 尺寸调优
Latency-Bound	增大并行度、减少同步

基础四板斧（按顺序）：Block/Grid Size → 连续访存 → UB 复用 → 编译时常量

加载：optimization-patterns.md, ascend-terminology.md

Phase 3: 硬件特化

Cube：BLOCK_M/N/K 为 16 倍数，累加器 FP32
UB：缓冲区总大小 < 192KB，单值缓冲区 32B 对齐
Grid：1D Grid ≤ 物理核数，核内循环处理多行
对角线调度：大矩阵（BLOCK_THRESHOLD 以上）使用对角线 Grid 调度提升 L2 缓存命中率
多 Vector Core：post-dot 操作使用 tl.parallel(bind_sub_block=True) 分配到 2 个 vector cores

加载：triton-ascend-api.md, tiling-strategies.md, triton-api-reference.md

Phase 4: 高级优化（按需）

算子融合、Double Buffer（tl.multibuffer(tensor, 2) 或 tl.compile_hint(tensor, "multi_buffer", 2)）

Phase 5: 验证（MANDATORY）

精度 + 泛化性 + 性能 + 端到端回归

反模式清单（NEVER）

❌ 仅凭单一规模数据做优化决策
❌ 端到端不达标时直接优化 kernel（应先 msprof 确认瓶颈）
❌ 为性能牺牲精度 / hardcode 破坏泛化性
❌ FP16 直接归约 / 非 16 倍数 BLOCK 做矩阵乘
❌ BLOCK_SIZE 超 UB（192KB）/ 非连续访存
❌ 热路径用 tensor.item()（触发 CPU-NPU 同步）
❌ 循环内用 if 分支修改变量（Triton 编译为 masked 操作，灾难性性能下降）
❌ 2D Tiling 只算数据 buffer 的 UB（必须包含 offset/mask/index 数组）
❌ 用预计算的 offset tensor 做 2D broadcasting（触发编译器 addptr 多用户 assertion）
❌ kernel 内用 broadcast stride 访问辅助张量（cos/sin 等），应改为 host 侧 expand+contiguous。expand 额外内存 < 非连续访存的性能损失
❌ 归约类算子用双 pass（多次 load 同一数据分别算统计量和归一化）——应单 pass，一次 load 后 UB 内全计算，详见踩坑 8
❌ msprof 对比时两个 kernel 同名——msprof 按 OP Type 聚合，同名会混在一起
❌ 大矩阵不用对角线调度（L2 缓存颠簸，BLOCK_THRESHOLD 以上必须启用）

检查清单

精度对齐 PyTorch-NPU（rtol=1e-3, atol=1e-3）
非对齐维度和边界通过
性能测试覆盖小/中/大
grid ≤ 物理核数，BLOCK_SIZE 为编译时常量
缓冲区 < 192KB，所有 load/store 有 Mask
归约升 FP32，矩阵乘 BLOCK 为 16 倍数
归约类算子是否单 pass（D ≤ UB 时必须）

常见瓶颈速查

msprof 指标	瓶颈	典型优化
aiv_scalar > 80%	Scalar Bound	检查双 pass / 逐行循环+tl.where 累加，改单 pass
aiv_mte2 > 50%	Memory Bound	连续访存、expand+contiguous、增大 BLOCK
aiv_vec > 50%	Compute Bound	算法优化、减少冗余计算
aic_cube_ratio < 50%	Cube 利用率低	检查对齐（512B/元素大小）、BLOCK 是否 16 倍数、用 compile_hint('dot_pad_only_k')