菜单
Use when working with Paddle's distributed training system: understanding parallelism strategies (DP, ZeRO, TP, PP, SP), semi-automatic parallel with ProcessMesh + shard_tensor, SPMD inference rules, pipeline scheduling, or auto_parallel Engine.
默认使用会先检查来源的 Prompt；你也可以切换为直接命令，或下载本地副本。
决定是否安装前，请先阅读 SKILL.md，以及 SkillsMP 当前展示的配套文件。
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
直接命令不会经过审查 Prompt；运行前请先检查来源。
npx skills add https://github.com/PaddlePaddle/Paddle --skill paddle-design-distributed命令会保持在同一行。复制前请横向滚动并检查完整内容。
想先保存到本地？可下载 SkillsMP 当前能够提供的文件。
正在显示 SKILL.md
使用 PaddlePaddle 仓库规则评审 Pull Request 和全仓库代码变更，覆盖正确性、兼容性、算子、分布式、数值、性能、安全、测试、构建和 PR 信息。当需要审查 Paddle 的代码、测试、算子 YAML、C++/CUDA/XPU kernel、Python API、分布式逻辑或 CI 配置时使用。
将原生 PyTorch 自定义算子库、Torch extension、生态库（TorchCodec/FlashInfer/DeepEP 等）以及 Kernel DSL 生态（Triton/TileLang/TVM FFI 等）以最小修改方式接入 PaddlePaddle。遇到以下场景务必使用：迁移外部算子库到 Paddle；分析 PFCCLab fork 与上游的兼容差异；处理 paddle.enable_compat、paddle.utils.cpp_extension、TORCH_LIBRARY、torch.ops、at::Tensor/c10 compat 问题；为 compat gap 设计最小 workaround 并准备 Paddle issue 最小复现；将已迁移的生态库集成进 PaddleFleet（paddlefleet_ops、eager import 约束）。
在 Paddle 代码库中定位问题并输出高质量调试报告的专用技能。当遇到以下场景时优先使用：(1) Paddle 框架 bug 调试，(2) 算子实现问题排查，(3) 训练脚本异常诊断，(4) 分布式训练故障定位，(5) CUDA/GPU 相关错误处理，(6) 需要生成结构化调试报告。
基于 SOC 职业分类
| name | paddle-design-distributed |
| description | Use when working with Paddle's distributed training system: understanding parallelism strategies (DP, ZeRO, TP, PP, SP), semi-automatic parallel with ProcessMesh + shard_tensor, SPMD inference rules, pipeline scheduling, or auto_parallel Engine. |
| 范式 | 核心思想 | 通信原语 |
|---|---|---|
| Data Parallel | 复制模型，切分数据，AllReduce 梯度 | AllReduce |
| Group Sharded (ZeRO) | Stage1 切 optimizer / Stage2 + 切 grad / Stage3 + 切 weight | Broadcast, ReduceScatter, AllGather |
| Model Parallel (Tensor) | Column Parallel 切权重列 / Row Parallel 切权重行 | AllReduce / AllGather |
| Pipeline Parallel | F-then-B / 1F1B 交错前反向 | Send / Recv (P2P) |
| Sequence Parallel | 沿 sequence 维度切分 LayerNorm/Dropout | AllGather / ReduceScatter |
| 范式 | 入口 | 适用场景 |
|---|---|---|
| 手动并行 | fleet.meta_parallel | 灵活但代码量大，适合深度定制 |
| 半自动动态图 | ProcessMesh + shard_tensor | 用户标注切分方式，框架自动推导通信，兼具易用性和灵活性 |
| 半自动静态图 | auto_parallel.Engine | 基于 PIR 做全局优化，追求极致性能 |
import paddle.distributed as dist
mesh = dist.ProcessMesh([0, 1, 2, 3], dim_names=["x"])
x = dist.shard_tensor(x, mesh, [dist.Shard(0)]) # 沿 dim 0 切分
半自动并行的核心：用户只标注部分 Tensor 的切分方式（Placement），框架自动推导每个算子的输入输出应如何切分，必要时插入通信算子。
matmul(X[M,K], Y[K,N]) -> Z[M,N] → mk,kn->mn使用 DimTrans 系统描述维度映射：InputDim / Flatten / Split / Singleton。
| 调度策略 | 特点 |
|---|---|
| F-then-B | 所有前向完毕再反向，简单但显存占用大 |
| 1F1B | warm-up → steady（前反交替）→ cool-down，显存减少约 37.5% |
| 场景 | 参考文档 |
|---|---|
| 分布式策略原理（DP/Sharded/MP/PP/SP） | references/distributed-primer.md |
| SPMD 推导规则与 Pipeline 调度 | references/spmd-rules.md |
| 模块 | 路径 |
|---|---|
| 分布式总目录 | python/paddle/distributed/ |
| ProcessMesh / shard_tensor API | python/paddle/distributed/auto_parallel/ |
| auto_parallel Engine | python/paddle/distributed/auto_parallel/high_level_api.py |
| fully_shard（ZeRO-like） | python/paddle/distributed/auto_parallel/fully_shard.py |
| SPMD 推导规则 C++ | paddle/phi/infermeta/spmd_rules/ |
| SPMD 规则注册 | paddle/phi/infermeta/spmd_rules/rules.h |
| Pipeline 调度 Pass | python/paddle/distributed/passes/pipeline_scheduler_pass/ |
| 分布式策略配置 | python/paddle/distributed/auto_parallel/strategy.py |
| SPMD 规则测试 | test/auto_parallel/spmd_rules/ |