software-testing-guide

# 软件测试指南 基于 Google 测试标准和 OWASP 安全最佳实践，为任何软件项目建立世界级的 QA 测试流程。 ## 何时使用此 Skill 在以下场景中触发此 Skill： - 为新项目或已有项目搭建 QA 基础设施 - 编写标准化测试用例（符合 AAA 模式） - 执行测试计划并进行进度跟踪 - 实施安全测试（OWASP Top 10） - 按严重级别提交缺陷（P0-P4） - 生成 QA 报告（每日摘要、每周进度） - 计算质量指标（通过率、覆盖率、质量门禁） - 准备 QA 文档用于外包团队交接 - 启用 LLM 驱动的自主测试执行 ## 快速开始 **一键初始化**： ```bash python scripts/init_qa_project.py <项目名称> [输出目录] ``` **创建的内容**： - 目录结构（`tests/docs/`、`tests/e2e/`、`tests/fixtures/`） - 追踪表格（`TEST-EXECUTION-TRACKING.csv`、`BUG-TRACKING-TEMPLATE.csv`） - 文档模板（`BASELINE-METRICS.md`、`WEEKLY-PROGRESS-REPORT.md`） - 用于自主执行的主 QA 提示词 - 包含完整快速入门指引的 README **自主执行**（推荐）：参见 `references/master_qa_prompt.md`，只需复制粘贴即可获得 100 倍效率提升。 ## 核心功能 ### 1. QA 项目初始化 一键初始化完整的 QA 基础设施及所有模板： ```bash python scripts/init_qa_project.py <项目名称> [输出目录] ``` 创建目录结构、追踪表格、文档模板以及用于自主执行的主提示词。 **适用场景**：从零开始搭建 QA 流程，或将现有流程迁移为结构化 QA 体系。 ### 2. 测试用例编写 按照 AAA 模式（准备-执行-断言）编写标准化、可复现的测试用例： 1. 阅读模板：`assets/templates/TEST-CASE-TEMPLATE.md` 2. 遵循结构：前置条件（准备）→ 测试步骤（执行）→ 预期结果（断言） 3. 分配优先级：P0（阻塞）→ P4（低） 4. 包含边界场景和潜在缺陷 **测试用例格式**：TC-[分类]-[编号]（例如 TC-CLI-001、TC-WEB-042、TC-SEC-007） **参考文档**：详见 `references/google_testing_standards.md`，了解完整的 AAA 模式指南和覆盖率阈值。 ### 3. 测试执行与跟踪 **唯一真实来源原则**（关键）： - **测试用例文档**（如 `02-CLI-TEST-CASES.md`）= **权威来源**，用于查看测试步骤 - **追踪 CSV** = 仅记录执行状态（不要依赖 CSV 获取测试规格） - 详见 `references/ground_truth_principle.md`，了解如何避免文档/CSV 不同步问题 **手动执行**： 1. 从分类文档中读取测试用例（如 `02-CLI-TEST-CASES.md`）← **必须从这里开始** 2. 严格按文档执行测试步骤 3. **每执行完一条测试后立即**更新 `TEST-EXECUTION-TRACKING.csv`（禁止批量更新） 4. 测试失败时在 `BUG-TRACKING-TEMPLATE.csv` 中提交缺陷 **自主执行**（推荐）： 1. 从 `references/master_qa_prompt.md` 复制主提示词 2. 粘贴到 LLM 会话中 3. LLM 自动执行测试、自动跟踪、自动提缺陷、自动生成报告 **创新优势**：效率提升 100 倍 + 追踪零人为错误 + 支持自动续接。 ### 4. 缺陷报告 按严重级别分类提交缺陷： **必填字段**： - 缺陷 ID：顺序编号（BUG-001、BUG-002……） - 严重级别：P0（24 小时内修复）→ P4（可选修复） - 复现步骤：编号列出，具体明确 - 环境信息：操作系统、版本号、配置 **严重级别分类**： - **P0（阻塞）**：安全漏洞、核心功能不可用、数据丢失 - **P1（严重）**：主要功能异常但有临时方案 - **P2（高）**：次要功能问题、边界场景 - **P3（中）**：界面外观问题 - **P4（低）**：文档错别字 **参考**：完整模板及示例见 `BUG-TRACKING-TEMPLATE.csv`。 ### 5. 质量指标计算 计算全面的 QA 指标并检查质量门禁状态： ```bash python scripts/calculate_metrics.py <TEST-EXECUTION-TRACKING.csv 路径> ``` **指标面板包含**： - 测试执行进度（X/Y 条测试，Z% 完成） - 通过率（通过数/已执行数 %） - 缺陷分析（去重缺陷数、P0/P1/P2 分布） - 质量门禁状态（✅/❌ 逐项展示） **质量门禁**（全部通过方可发版）： | 门禁 | 目标值 | 是否阻塞发版 | |------|--------|-------------| | 测试执行率 | 100% | 是 | | 通过率 | ≥80% | 是 | | P0 缺陷 | 0 | 是 | | P1 缺陷 | ≤5 | 是 | | 代码覆盖率 | ≥80% | 是 | | 安全覆盖率 | 90% OWASP | 是 | ### 6. 进度报告 为利益相关方生成 QA 报告： **每日摘要**（每日下班前）： - 已执行测试数、通过率、已提缺陷数 - 阻塞项（或无） - 次日计划 **每周报告**（每周五）： - 使用模板：`WEEKLY-PROGRESS-REPORT.md`（由初始化脚本创建） - 与基线对比：`BASELINE-METRICS.md` - 评估质量门禁和趋势 **参考**：详见 `references/llm_prompts_library.md`，包含 30+ 现成可用的报告提示词。 ### 7. 安全测试（OWASP） 实施 OWASP Top 10 安全测试： **覆盖目标**： 1. **A01：访问控制缺陷** - RLS 绕过、权限提升 2. **A02：加密失败** - 令牌加密、密码哈希 3. **A03：注入攻击** - SQL 注入、XSS、命令注入 4. **A04：不安全设计** - 限流、异常检测 5. **A05：安全配置错误** - 详细错误信息、默认凭据 6. **A07：认证失败** - 会话劫持、CSRF 7. **其他**：数据完整性、日志记录、SSRF **目标**：90% OWASP 覆盖率（10 项威胁中缓解 9 项）。 每个安全测试均遵循 AAA 模式，并记录具体的攻击向量。 ## 首日入职指南 为新加入项目的 QA 工程师提供 5 小时入职指南： **阅读**：`references/day1_onboarding.md` **时间安排**： - 第 1 小时：环境搭建（数据库、开发服务器、依赖安装） - 第 2 小时：文档学习（测试策略、质量门禁） - 第 3 小时：测试数据准备（用户、CLI、开发者工具） - 第 4 小时：执行第一条测试用例 - 第 5 小时：团队入职和第一周计划 **检查点**：第一天结束时，环境运行正常、第一条测试已执行、为第一周做好准备。 ## 自主执行（⭐ 推荐） 通过一条主提示词启用 LLM 驱动的自主 QA 测试： **阅读**：`references/master_qa_prompt.md` **功能特点**： - 自动续接：从上次完成的测试继续（读取追踪 CSV） - 自动执行：按周次计划执行测试用例（第 1-5 周递进） - 自动跟踪：每条测试后更新 CSV - 自动提缺陷：为失败测试创建缺陷报告 - 自动生成报告：每日摘要、每周报告 - 自动升级 P0 缺陷：停止测试、通知利益相关方 **优势**： - 比手动执行快 100 倍 - 追踪零人为错误 - 缺陷文档风格一致 - 进度实时可见 **使用方式**：复制主提示词，粘贴到 LLM，让它自主运行 5 周。 ## 根据项目规模调整 ### 小型项目（50 条测试） - 周期：2 周 - 分类：2-3 个（如前端、后端） - 每日：5-7 条测试 - 报告：仅每日摘要 ### 中型项目（200 条测试） - 周期：4 周 - 分类：4-5 个（CLI、Web、API、数据库、安全） - 每日：10-12 条测试 - 报告：每日 + 每周 ### 大型项目（500+ 条测试） - 周期：8-10 周 - 分类：6-8 个（多个组件） - 每日：10-15 条测试 - 报告：每日 + 每周 + 双周汇报 ## 参考文档 查阅内置参考文档获取详细指南： - **`references/day1_onboarding.md`** - 新 QA 工程师 5 小时入职指南 - **`references/master_qa_prompt.md`** - LLM 自主执行的一键命令（100 倍提速） - **`references/llm_prompts_library.md`** - 30+ 现成可用的 QA 任务提示词 - **`references/google_testing_standards.md`** - AAA 模式、覆盖率阈值、快速失败校验 - **`references/ground_truth_principle.md`** - 防止文档/CSV 不同步问题（对测试套件完整性至关重要） ## 资源与模板 测试用例模板和缺陷报告格式： - **`assets/templates/TEST-CASE-TEMPLATE.md`** - 包含 CLI 和安全测试示例的完整模板 ## 脚本 QA 基础设施自动化脚本： - **`scripts/init_qa_project.py`** - 一键初始化 QA 基础设施 - **`scripts/calculate_metrics.py`** - 生成质量指标面板 ## 常见使用模式 ### 模式 1：从零搭建 QA ``` 1. python scripts/init_qa_project.py my-app ./ 2. 填写 BASELINE-METRICS.md（记录当前状态） 3. 使用 assets/templates/TEST-CASE-TEMPLATE.md 编写测试用例 4. 从 references/master_qa_prompt.md 复制主提示词 5. 粘贴到 LLM → 自主执行启动 ``` ### 模式 2：LLM 驱动测试（自主执行） ``` 1. 阅读 references/master_qa_prompt.md 2. 复制主提示词（一段话） 3. 粘贴到 LLM 对话中 4. LLM 在 5 周内执行全部 342 条测试用例 5. LLM 自动更新追踪 CSV 6. LLM 自动生成每周报告 ``` ### 模式 3：添加安全测试 ``` 1. 阅读 references/google_testing_standards.md（OWASP 部分） 2. 为每个 OWASP 威胁编写 TC-SEC-XXX 测试用例 3. 目标 90% 覆盖率（10 项中覆盖 9 项） 4. 在测试用例中记录缓解措施 ``` ### 模式 4：外包 QA 团队交接 ``` 1. 确保所有模板已填写 2. 确认 BASELINE-METRICS.md 完整 3. 打包 tests/docs/ 目录 4. 附带 references/master_qa_prompt.md 用于自主执行 5. QA 团队可立即上手（首日入职 → 5 周测试） ``` ## 成功标准 此 Skill 在以下情况表明使用得当： - ✅ 测试用例可由任何工程师复现 - ✅ 质量门禁可客观度量 - ✅ 缺陷有完整的复现步骤文档 - ✅ 进度实时可见（CSV 追踪） - ✅ 自主执行已启用（LLM 可执行完整计划） - ✅ 外包 QA 团队可立即开始测试