메뉴
通用 PyTorch 项目 Ascend NPU 迁移可行性分析。系统化扫描代码库中的 CUDA/GPU 依赖，按 7 大域分类评估（设备层、注意力机制、自定义算子、分布式通信、精度策略、第三方依赖、编译加速），并基于 Wan2.2 实际迁移经验提供逐项替代方案。适用于评估任何 DiT/Transformer 类模型（视频生成、LLM、多模态等）在昇腾 NPU 上的运行可行性与迁移工作量估算。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
评估 CANN 算子仓的「进阶教程 / 开发指南」类文档质量——通读文档 + 对照算子代码**静态**查证(默认不跑),按五轴(找得到/信得过/学得会/可操作/读得懂)找出 漏讲/讲不清/过时/对不上代码/概念讲错,产出带证据与改进建议的体检报告(MD + HTML)。涉及「评进阶教程 / 开发指南文档质量 / 文档对不对得上代码 / 教程审稿 / tutorial 体检 / 文档信不信得过」等意图时使用。只评不改不跑,只对着文档与代码出诊断。
Run NPU inference/training tests on a remote SSH server with vllm-ascend Docker container. Use when the user asks to test models on NPU, run inference on Ascend devices, or deploy models to an SSH server.
Track daily PRs and Issues from vllm-project/vllm and vllm-project/vllm-ascend, filter by model (DeepSeek/Qwen/GLM/MiniMax/Kimi) and tech topics (PD disaggregation, MTP, quantization, graph mode, performance), analyze with LLM, and generate a Markdown report. Use when user wants vllm daily tracker, PR/Issue digest, or Ascend inference ecosystem monitoring.
Automatically fetch InferenceX benchmark data and generate daily performance reports for LLM inference on various hardware (NVIDIA, AMD, etc.). Supports email delivery, data change detection, and 8k1k sequence length performance analysis. Use when needing to track LLM inference performance trends, compare hardware configurations, or monitor benchmark updates.
End-to-end AscendC custom operator development for Ascend NPU in an ascend-kernel (csrc/ops + build.sh + torch_npu PyTorch custom op) project. Use to design, generate, build, test, document, and tune a new AscendC operator from a name and a math/functional spec. Covers project init, two-level tiling design, op_host/op_kernel code generation, framework registration, compile/install/debug, PyTorch-style API docs, precision evaluation and root-cause debugging, torch_npu.profiler performance benchmarking, performance optimization, and security code review.
模型层 Tensor 打点与精度对比工具。用于在模型 forward 过程中捕获模型各层中间 tensor，实现 GPU/NPU 精度对比调试。支持 vLLM、SGLang 推理框架。When to use： When you need to debug precision issues between GPU and NPU,or validate layer-wise tensor outputs during inference.
| name | ascend-migration-analysis |
| description | 通用 PyTorch 项目 Ascend NPU 迁移可行性分析。系统化扫描代码库中的 CUDA/GPU 依赖，按 7 大域分类评估（设备层、注意力机制、自定义算子、分布式通信、精度策略、第三方依赖、编译加速），并基于 Wan2.2 实际迁移经验提供逐项替代方案。适用于评估任何 DiT/Transformer 类模型（视频生成、LLM、多模态等）在昇腾 NPU 上的运行可行性与迁移工作量估算。 |
| keywords | ["ascend","npu","migration","cuda","analysis","compatibility","assessment","迁移分析","兼容性评估","昇腾"] |
对任意 PyTorch 项目进行系统化的 Ascend NPU 迁移可行性分析。扫描代码库中的 CUDA/NVIDIA 依赖，按域分类，逐项给出替代方案，并估算迁移工作量。
对目标项目执行以下 7 步分析，每步对应一个迁移域。详细方法和替代方案见各域的 reference 文档。
Read references/01-dependency-audit.md.
扫描内容：
requirements.txt / setup.py / pyproject.toml 中的 NVIDIA 专属依赖flash-attn, triton, xformers, nvidia-ml-py, cuda-python, cupy 等产出：依赖兼容性矩阵（每个依赖标注：兼容 / 需替换 / 不支持 / 不涉及）
Read references/02-device-layer.md.
扫描内容（使用 grep/rg）：
torch.cuda.* 全系列 API"cuda" 设备字符串backend="nccl" 分布式后端amp.autocast(device_type='cuda') 混合精度torch.compile / @torch.compile 使用torch.cuda.Stream / torch.cuda.Eventinit_device_mesh("cuda")产出：设备层替换清单（文件:行号 → 替代方案）
Read references/03-attention-mechanism.md.
扫描内容：
flash_attn (FA2) 导入与调用flash_attn_interface (FA3) 导入与调用xformers 注意力调用F.scaled_dot_product_attention 调用产出：注意力后端替换方案（每种 attention 类型 → 对应 NPU 替代）
Read references/04-custom-operators.md.
扫描内容：
.cu / .cuh / .cpp 自定义 CUDA 内核文件@triton.jit 装饰的 Triton kerneltorch.utils.cpp_extension.CUDAExtension 构建torch.autograd.Function 子类中的自定义前向/反向csrc/ / ops/ / kernels/ 目录产出：自定义算子迁移方案（每个 kernel 的功能描述 + 替代路径）
Read references/05-distributed.md.
扫描内容：
dist.init_process_group 后端选择dist.all_to_all / dist.all_gather / dist.broadcast 等init_device_mesh / DeviceMesh 使用torch.distributed.P2POp / batch_isend_irecv产出：分布式通信适配方案
Read references/06-precision-strategy.md.
扫描内容：
.float() / .double() 类型转换torch.bfloat16 / torch.float16 dtype 使用torch.complex128 / torch.float64 高精度使用autocast 上下文中的 dtype 设置dtype == torch.float32 assert 语句产出：精度策略调整清单
Read references/07-task-phase-matrix.md.
将前 6 步的发现按任务执行阶段拆分，识别：
产出：按阶段的依赖矩阵 + 最小迁移集 + 完整迁移工作量估算
分析完成后，输出结构化报告：
# {Project} Ascend NPU Migration Assessment
## Executive Summary
- Overall feasibility: [可行 / 需适配 / 困难 / 不可行]
- Estimated effort: [X 周]
- Blockers: [list]
## Dependency Matrix (per task phase)
| Dependency | Phase A | Phase B | Replacement | Effort |
|------------|---------|---------|-------------|--------|
## Detailed Findings (per domain)
### Domain 1: Third-Party Dependencies
### Domain 2: Device Layer
### Domain 3: Attention Mechanism
### Domain 4: Custom Operators
### Domain 5: Distributed Communication
### Domain 6: Precision Strategy
## Migration Roadmap
## Risk Matrix
| CUDA Pattern | Ascend Replacement | Confidence |
|---|---|---|
torch.cuda.empty_cache() | torch.npu.empty_cache() or transfer_to_npu | High |
backend="nccl" | backend="hccl" | High |
autocast('cuda') | autocast('npu') | High |
device="cuda" | device="npu" | High |
flash_attn.flash_attn_func | mindiesd.attention_forward(op_type="ascend_laser_attention") | High |
flash_attn.flash_attn_varlen_func | mindiesd.attention_forward(op_type="fused_attn_score") | Medium |
xformers.ops.memory_efficient_attention | mindiesd.attention_forward(op_type="fused_attn_score") | High |
F.scaled_dot_product_attention | torch_npu 原生支持 | High |
@triton.jit kernels | 需逐个分析，可能用 mindiesd/RainFusion/NPU原生算子替代 | Low-Medium |
torch.compile | 禁用或使用 torch_npu backend | Medium |
RMSNorm .float() | torch_npu.npu_rms_norm() | High |
LayerNorm .float() | 移除 .float()，NPU 原生 BF16 | High |
| RoPE complex128 | 降为 complex64 或用 mindiesd.rotary_position_embedding() | High |
init_device_mesh("cuda") | "npu" | Medium |
.cu / CUDAExtension | 需重写为 Ascend 算子 | Low |