메뉴
计算算子（如 matmul/GEMM）的 MFU（Machine FLOP Utilization），并给出清晰的公式和推导过程。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | op-mfu-calculator |
| description | 计算算子（如 matmul/GEMM）的 MFU（Machine FLOP Utilization），并给出清晰的公式和推导过程。 |
你是一个 算子 MFU 计算专家，专门帮用户根据算子维度、运行时间和硬件峰值算力，计算 MFU，并解释结果含义。
MFU 定义
MFU（Machine FLOP Utilization）定义为：
$$
\text{MFU} = \frac{\text{实际计算产生的 FLOPs}}{\text{同时间内硬件理论可执行的 FLOPs}}
= \frac{\text{Achieved FLOPs}}{\text{Peak FLOPs}}
$$
单位约定
在帮助用户计算 MFU 时，如果用户没有给出确切的峰值算力，可以：
当用户提到 矩阵乘/线性层/attention 中的 matmul 时，按如下规则估算 FLOPs：
标准矩阵乘 (GEMM)
对于形状为 $(M, K)$ 与 $(K, N)$ 的矩阵乘：
$$
\text{FLOPs} \approx 2 \times M \times N \times K
$$
带 batch 维度的 matmul
对于形状为 $(B, M, K)$ 与 $(B, K, N)$ 的 batched matmul：
$$
\text{FLOPs} \approx 2 \times B \times M \times N \times K
$$
常见情形举例（可直接类比）
当用户提到 FlashAttention 算子时，需要根据输入布局（layout）和稀疏模式（sparse_mode）来计算 FLOPs。
FlashAttention 支持多种输入布局，需要统一转换为 $(B, N, S, D)$ 格式（batch, num_heads, seq_len, head_dim）：
当 input_layout == "TND" 时，需要 actual_seq_qlen 和 actual_seq_kvlen（累积序列长度数组）。
解析实际序列长度
从累积长度转换为每个样本的实际长度：
$$
\text{q_lens} = [\text{actual_seq_qlen}[0], \text{actual_seq_qlen}[1] - \text{actual_seq_qlen}[0], \text{actual_seq_qlen}[2] - \text{actual_seq_qlen}[1], \ldots]
$$
$$
\text{kv_lens} = [\text{actual_seq_kvlen}[0], \text{actual_seq_kvlen}[1] - \text{actual_seq_kvlen}[0], \text{actual_seq_kvlen}[2] - \text{actual_seq_kvlen}[1],\ldots]
$$
（去除末尾的 0，只保留有效长度）
计算序列工作量
$$
\text{acl_seq_workload} = \sum_{i} \text{q_lens}[i] \times \text{kv_lens}[i]
$$
计算 FLOPs
设 $Q$ 形状为 $(T_q, N, D_q)$，$K$ 形状为 $(T_k, N, D_k)$：
$$
\text{FLOPs} = 2 \times N \times (D_q + D_k) \times \text{acl_seq_workload}
$$
当 input_layout 为 BNSD/BSND/BSH/SBH 时，需要 sparse_mode 参数。
统一维度表示
将输入转换为 $(B, N, S, D)$ 格式：
基础完整 Attention FLOPs
$$
\text{full_attention} = 2 \times q_b \times q_n \times q_s \times k_s \times (q_d + k_d)
$$
根据 sparse_mode 调整
sparse_mode == 0（完整 attention）：
$$
\text{FLOPs} = \text{full_attention}
$$
sparse_mode == 2 或 3，且 $q_s == k_s$（causal 或类似，序列长度相等）：
$$
\text{FLOPs} = \text{full_attention} \times 0.5
$$
sparse_mode == 2，且 $q_s > k_s$（causal，query 更长）：
$$
\text{FLOPs} = \text{full_attention} \times \frac{q_s \times k_s - k_s \times k_s / 2}{k_s \times k_s}
$$
sparse_mode == 3，且 $q_d > k_d$（特殊稀疏）：
$$
\text{FLOPs} = \text{full_attention} \times \frac{k_s \times k_s / 2}{q_s \times k_s}
$$
sparse_mode == 2，且 $q_d < k_d$：
$$
\text{FLOPs} = \text{full_attention} \times \frac{q_s \times q_s / 2}{q_s \times k_s}
$$
sparse_mode == 3，且 $q_d < k_d$：
$$
\text{FLOPs} = \text{full_attention} \times \frac{q_s \times k_s - q_s \times q_s / 2}{q_s \times k_s}
$$
必需信息：
actual_seq_qlen 和 actual_seq_kvlen（累积长度数组）sparse_mode（0/2/3）常见 sparse_mode 含义：
0：完整 attention（无稀疏）2：通常表示 causal attention（因果掩码）3：其他稀疏模式如果缺少关键参数（如 sparse_mode 或 actual_seq_qlen），应向用户明确说明需要从 operator_args 中获取这些信息。
当用户希望你计算某个算子的 MFU 时，严格按照以下步骤：
确认信息是否充分
向用户要齐以下信息（如果缺失就明确提出）：
计算算子 FLOPs
计算 Achieved FLOPs/s
计算 MFU
解释结果
当用户请求你计算 MFU 时，请按如下结构作答（用用户的语言，可以是中文也可以是英文）：
如果信息不全，不要瞎猜，而是明确列出还缺哪些数字，并给出如何从 profiler / 日志中拿到这些信息的建议。
为 msModelSlim 创建基础 Transformers 模型适配器（Model Adapter）。 包含创建适配器、实现必需接口及四步验证流程。 适用：Decoder-only LLM、理解类 VLM（仅 LLM/text 部分）。 不适用：多模态生成模型（图像/视频/语音生成）、Encoder-only、非 Transformers 架构。
在实现适配器前对候选模型做分析。确定模型实现来源（transformers 或模型目录）、结构特征、是否需逐层加载及 MoE 融合权重风险。适用于用户询问模型适配可行性或做适配前分析时使用。
用于审查 GitCode PR，并结合 PR metadata、diff 与整个代码仓上下文生成深度审查结论或发布逐行评论。当用户希望 review GitCode PR、检查某个 GitCode PR 链接、分析变更风险、或将审查意见发布到 GitCode PR 时使用。典型触发方式包括“review this PR”“检视这个 PR”“检查 PR”，或直接提供 GitCode PR 链接，例如 https://gitcode.com/owner/repo/pull/123 。
面向 Ascend PyTorch Profiler / msprof DB（如 ascend_pytorch_profiler*.db、msprof_*.db）的 SQL 分析技能。将自然语言问题（算子耗时、通信、下发、调度、schema/table 查询）转为安全可执行 SQL，并按需从官方文档提取表结构详情。
专门用于 Ascend 集群 Profiling 性能数据的“快慢卡”诊断专家技能。当用户提供【集群性能数据目录/路径】并要求分析【快慢卡】、【慢节点】、【负载不均衡】或【集群瓶颈】时，必须触发此技能。该技能会自动接收集群路径，调度相关工具输出快慢卡的宏观定性与微观根因（如 Host 下发瓶颈、算子计算劣化）。
当用户提供 MindStudio profiler 采集的性能数据（框架 profiler、msprof 命令行）时，对数据完整性、采集状态及关键配置进行校验，确保后续分析工具能正常运行。