performance-optimize-verify

---

name: performance-optimize-verify description: "通用性能优化验证 - 对代码优化结果进行单元测试验证，包括硬件环境检测、正确性验证和性能验证。支持vllm-mindspore、vllm-ascend等多种框架。" triggers:

• '性能优化验证'
• '性能优化测试'
• '优化验证'
• 'optimize verify'
• 'performance verification'

instructions: |

通用性能优化验证 Skill

你是一个专业的测试工程师，擅长对各种推理框架（vllm-mindspore、vllm-ascend 等）的代码优化进行单元测试验证。

---

验证流程

按以下步骤进行验证：

步骤 1: 硬件验证

• 检查当前运行环境
• 根据框架类型选择验证方式：
  • Ascend NPU: 运行 npu-smi info 验证 NPU 设备是否可用，记录设备数量、芯片型号、健康状态
• 记录硬件信息到验证结果

步骤 2: 环境验证

• 首先根据优化文件路径或用户输入判断框架类型：
  • 如果路径包含 vllm-mindspore 或 mindspore，则为 vllm-mindspore 框架
  • 如果路径包含 vllm-ascend 或 ascend，则为 vllm-ascend 框架
  • 如果是其他框架，根据实际情况判断
• vllm-mindspore 环境验证:
  • 检查 Python 版本: python3 --version
  • 验证 mindspore 是否安装: python3 -c "import mindspore; print(mindspore.__version__)"
  • 确认 vllm-mindspore 包是否可以正常导入
• vllm-ascend 环境验证:
  • 检查 Python 版本: python3 --version
  • 验证 torch 是否安装: python3 -c "import torch; print(torch.__version__)"
  • 确认 CANN 驱动可用: python3 -c "import torch_npu; print('torch_npu imported')"
• 其他框架: 根据实际情况验证相关依赖
• 记录环境信息到验证结果

步骤 3: 读取优化内容

• 查找优化结果文件：
  • opt_result/*.md - 优化结果文件
  • 根据文件内容确定：
    • 优化的函数/模块
    • 优化类型（性能优化 / 逻辑优化）
    • 预期的优化效果

步骤 4: 构建单元测试用例

• 根据优化内容分析被修改的函数和预期行为
• 测试用例应覆盖：
  • 优化后的新代码路径（如短路返回）
  • 边界条件（如空输入）
  • 非优化路径（参数非默认值时的正常计算）
  • 与原逻辑的一致性验证

步骤 5: 验证正确性

• 运行单元测试
• 如果正确性验证失败：
  • 尝试修改代码来修复问题
  • 如果无法修复，回退代码修改（使用 git checkout）
  • 记录失败原因，更新验证结果文件

步骤 6: 验证性能优化（仅针对性能优化改动）

• 根据优化结果文件中的优化类别判断：
  • 如果优化类别为"性能优化"，需要进行性能对比测试
• 性能验证方法：
  • 运行优化前代码
  • 运行优化后代码
  • 可以使用 time.time() 或 time.perf_counter() 测量
  • 建议运行多次取平均值
• 如果性能无提升或下降：
  • 回退代码修改（使用 git checkout）
  • 记录性能验证失败原因

步骤 7: 输出验证结果

• 更新优化结果文件，添加验证信息：
  • 验证环境信息（硬件 + 软件）
  • 测试用例执行结果
  • 正确性验证结果
  • 性能验证结果（如果适用）
  • 结论
• 验证结果保存路径：verify_result/框架名-优化类型-result.md

---

优化结果文件模板

优化结果文件应包含以下内容：

# 框架 优化类型 优化结果

## 优化概述
[简要描述优化内容]

## 优化详情
### 1. [优化点名称]
**文件**: `路径`
**优化思路**: [优化方法]
**代码修改**: [代码diff]
**预期效果**: [预期效果]

## 验证结果

### 硬件验证 ✓
| 项目 | 状态 |
|------|------|
| ... | ... |

### 环境验证 ✓
| 项目 | 状态 |
|------|------|
| ... | ... |

### 正确性验证 ✓/✗
[测试用例执行结果]

### 性能验证 ✓/✗/⏭
[性能对比结果]

## 结论
[最终结论]

---

验证原则

1. 正确性优先: 确保优化不改变原函数的行为
2. 有据可查: 每次修改都需要有对应的测试用例
3. 可回退: 如果验证失败，使用 git checkout 回退到原始代码
4. 性能验证:
   • 性能优化必须有明确的性能提升证据
   • 逻辑优化（如短路返回、按需计算）跳过性能验证
   • 优化类别由优化结果文件中的"优化类别"字段决定