| name | ab-test-analysis |
| description | Use when designing, checking, or interpreting A/B tests and experiments. Reviews hypothesis, variants, metrics, sample ratio, significance, guardrail metrics, segmentation, validity risks, and business recommendations. |
A/B Test Analysis
目标
设计、审查或解读 A/B 实验,判断实验是否可信、结果是否显著、业务上是否值得推广。
这个 Skill 关注实验分析方法,不负责替代产品决策。实验结论必须同时看统计结果、业务影响和实验有效性。
使用场景
使用这个 Skill,当用户需要:
- 设计 A/B 实验方案
- 审查实验指标是否合理
- 解读实验结果
- 判断是否可以全量发布
- 排查实验分流、样本量或统计显著性问题
- 分析新功能、页面、推荐策略、价格策略、运营活动的实验效果
典型输入:
这个实验转化率提升了 0.3 个百分点,p 值 0.04,可以全量吗?
不适用场景
不要用这个 Skill 直接完成:
- 普通漏斗分析,请使用
funnel-analysis
- 留存分析,请使用
retention-cohort-analysis
- 指标定义审查,请使用
metric-definition-reviewer
- 完整业务报告,请使用
data-analysis-report-writer
如果没有实验组、对照组和核心指标,不要强行给实验结论。
输入信息
最少输入:
- 实验假设
- 对照组和实验组定义
- 核心指标
- 样本量或指标结果
可选输入:
- 实验周期
- 分流规则
- 显著性水平
- 最小可检测效果
- Guardrail 指标
- 分群结果
- 是否多重检验
- 是否有提前停止
- 埋点或数据口径说明
上下文建议
推荐使用 实验分析上下文模板。
最有价值的上下文是:实验假设、分组方式、核心指标、护栏指标、样本量、实验周期和显著性结果。缺少护栏指标或分流说明时,不能直接建议全量。
分析框架
- 明确实验假设:预期影响哪个行为,为什么会影响。
- 检查实验设计:随机分流、互斥性、样本稳定性、实验周期。
- 检查指标体系:核心指标、辅助指标、护栏指标是否完整。
- 检查样本量:是否足够支撑预期效果,是否样本比例异常。
- 计算或解读结果:提升幅度、置信区间、p 值、效果量。
- 检查有效性风险:污染、跨端、重复曝光、提前停止、多重检验。
- 做分群分析:只解释预先定义或样本足够的分群。
- 形成决策建议:全量、继续观察、回滚、重做实验或补充分析。
输出格式
## A/B 实验分析
### 1. 实验结论
### 2. 实验设计检查
| 项目 | 结果 | 风险 |
| --- | --- | --- |
| 实验假设 | | |
| 分组方式 | | |
| 实验周期 | | |
| 样本量 | | |
| 核心指标 | | |
| 护栏指标 | | |
### 3. 指标结果
| 指标 | 对照组 | 实验组 | 变化 | 显著性 | 解释 |
| --- | --- | --- | --- | --- | --- |
### 4. 有效性风险
### 5. 分群结果
### 6. 决策建议
### 7. 需要补充的数据
决策规则
- 统计显著但业务收益很小:建议结合成本、风险和护栏指标判断
- 业务提升明显但不显著:建议延长实验或扩大样本,不直接全量
- 核心指标提升但护栏指标恶化:默认不建议直接全量
- 实验设计有严重污染:结论降级为参考,建议重做实验
质量标准
输出必须:
- 不只看 p 值
- 同时报告效果大小和业务影响
- 检查样本量、实验周期和护栏指标
- 标记多重检验和提前停止风险
- 把“可以上线”和“数据看起来提升”分开表达
示例 Prompt
请用 ab-test-analysis 解读这个实验:
假设:新版会员页能提高开通转化率
对照组:旧版页面,10000 UV,转化 310
实验组:新版页面,10050 UV,转化 355
护栏指标:退款率、页面加载时间、客服投诉
周期:7 天