Run any Skill in Manus with one click

Get Started

experiment-analyzer

Stars53

Forks17

UpdatedJune 2, 2026 at 12:51

A/B 테스트·실험 결과 CSV/표를 받아 PM 보고용 결과 절 + ship/iterate/kill 권고를 출력한다. 가드레일 위반·표본 편향·novelty 효과를 항상 점검한다.

Installation

Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.

Run Skill in Manus

Source

kimsanguine

kimsanguine/AI_PM

View GitHub Repository View Creator Repositories

Download

Run Skill in Manus

Related occupationsSOC

Based on SOC occupation classification

Project Management SpecialistsBusiness and Financial Operations Occupations·SOC 13-1082

File Explorer

3 files

SKILL.md

readonly

name	experiment-analyzer
description	A/B 테스트·실험 결과 CSV/표를 받아 PM 보고용 결과 절 + ship/iterate/kill 권고를 출력한다. 가드레일 위반·표본 편향·novelty 효과를 항상 점검한다.
trigger	"A/B 결과 분석", "실험 결과 봐줘", "ship 해야 하나", "통계적으로 유의해?" 요청 시.
model	claude-opus-4-8

Skill — Experiment Analyzer

Task

실험 결과 데이터(CSV / 표)를 받아 PM 보고 포맷 으로 분석 결과 + ship/iterate/kill 권고를 출력한다.

Scope

통계 분석 + 비즈니스 권고. 실제 ship 의사결정은 PM 의 몫.
입력: samples/ab-test-results.csv 또는 사용자 첨부.
한국어 보고 포맷 (~/.claude/guides/evals.md 의 PM 보고 포맷 따름).

Length

결론 1줄 + 결과 표 + 가드레일 절 + 권고. 전체 1,000–2,000자.

Format

## 결론 (한 줄)
주 메트릭 +X.X% (p=0.0XX, n=NNN per arm) — ship / iterate / kill / extend

## 무엇을 했나
- 변경: <한 줄>
- 기간: YYYY-MM-DD ~ YYYY-MM-DD
- 표본: control n=NNN / treatment n=NNN
- 가설: <한 줄>

## 결과 표
| 메트릭 | Control | Treatment | Δ | p-value |
|---|---|---|---|---|

## 가드레일
- 메트릭 X: 변화 없음 / 악화 -X.X%
- 메트릭 Y: ...

## 의심 신호 (있다면)
- 표본 균형 / novelty / segment 편향 / Simpson's paradox 검토 결과.

## 권고
ship / iterate / kill / extend
- 사유: <한 줄>
- 다음 step: <한 줄>

룰

p<0.05 인데 effect size 가 사실상 0 이면 ship 권고 금지 — "통계적 유의" 와 "비즈니스 의미" 를 분리.
가드레일이 무너졌으면 주 메트릭 결과와 무관하게 ship 권고 금지.
p-hacking 의심 신호 (subgroup 6개 검사 후 1개 채택) 발견 시 명시.
novelty 효과 가능성 (1주 미만 데이터) 명시.
"감으로는 좋아 보임" 추가 금지. 정량 외 의견 금지.

의존

입력: samples/ab-test-results.csv
참고 가이드: ~/.claude/guides/evals.md
참고 챕터: 7.1-growth-experiment-analysis.md

예시

좋은 출력: good-examples/checkout-cta-test.md
나쁜 출력: bad-examples/p-only-recommend.md

More from this repository

same repository

jtbd

kimsanguine/AI_PM

인터뷰·기능 요청을 "사람들이 해결하려는 job(과업)" 으로 재구성한다. 기능·솔루션 언어를 상황(when)·동기(want)·기대 결과(so I can) 의 job statement 로 환원하고, 근거 없는 job 은 가설로만 표기한다. 출처는 Clayton Christensen / Anthony Ulwick.

2026-06-0253

opportunity-solution-tree

kimsanguine/AI_PM

하나의 outcome 에서 출발해 opportunity → solution → experiment 로 내려가는 트리를 만든다. opportunity 는 발견된 사용자 니즈/페인(솔루션 아님)으로만 적고, solution 은 opportunity 에 매달리며, 각 solution 은 검증 실험으로 닫는다. 출처는 Teresa Torres (Continuous Discovery Habits).

2026-06-0253

working-backwards

kimsanguine/AI_PM

제품을 출시 시점의 보도자료(PR)와 FAQ 로 먼저 써서, 만들기 전에 고객 가치와 위험을 검증한다. PR 은 과장 없는 고객 언어로, FAQ 는 가장 불편한 질문부터 정직하게 답한다. 출처는 Amazon 의 Working Backwards / PR-FAQ.

2026-06-0253

competitor-battlecard

kimsanguine/AI_PM

경쟁사 3–5곳을 동일 축으로 비교한 표 + 배틀카드를 생성한다. 정량/공개 자료만 근거로 사용하고, 추측이나 미확인 정보는 한계 절에 분리한다.

2026-06-0253

discovery-synthesizer

kimsanguine/AI_PM

인터뷰 트랜스크립트·설문·사용 로그를 받아 PM 이 의사결정할 수 있는 인사이트 표로 합성한다. 빈도가 낮은 신호는 "약한 신호" 로만 표기하고 인사이트로 승격하지 않는다.

2026-06-0253

kpi-card-builder

kimsanguine/AI_PM

KPI 1개에 대한 정의 카드(이름·계산식·source·반응 임계치·소유자·반反사례) 를 생성한다. 한 카드 = 한 KPI 룰을 강제하고 KPI 가 측정 불가하면 정의를 거부한다.

2026-06-0253

name	experiment-analyzer
description	A/B 테스트·실험 결과 CSV/표를 받아 PM 보고용 결과 절 + ship/iterate/kill 권고를 출력한다. 가드레일 위반·표본 편향·novelty 효과를 항상 점검한다.
trigger	"A/B 결과 분석", "실험 결과 봐줘", "ship 해야 하나", "통계적으로 유의해?" 요청 시.
model	claude-opus-4-8

Skill — Experiment Analyzer

Task

실험 결과 데이터(CSV / 표)를 받아 PM 보고 포맷 으로 분석 결과 + ship/iterate/kill 권고를 출력한다.

Scope

통계 분석 + 비즈니스 권고. 실제 ship 의사결정은 PM 의 몫.
입력: samples/ab-test-results.csv 또는 사용자 첨부.
한국어 보고 포맷 (~/.claude/guides/evals.md 의 PM 보고 포맷 따름).

Length

결론 1줄 + 결과 표 + 가드레일 절 + 권고. 전체 1,000–2,000자.

Format

## 결론 (한 줄)
주 메트릭 +X.X% (p=0.0XX, n=NNN per arm) — ship / iterate / kill / extend

## 무엇을 했나
- 변경: <한 줄>
- 기간: YYYY-MM-DD ~ YYYY-MM-DD
- 표본: control n=NNN / treatment n=NNN
- 가설: <한 줄>

## 결과 표
| 메트릭 | Control | Treatment | Δ | p-value |
|---|---|---|---|---|

## 가드레일
- 메트릭 X: 변화 없음 / 악화 -X.X%
- 메트릭 Y: ...

## 의심 신호 (있다면)
- 표본 균형 / novelty / segment 편향 / Simpson's paradox 검토 결과.

## 권고
ship / iterate / kill / extend
- 사유: <한 줄>
- 다음 step: <한 줄>

룰

p<0.05 인데 effect size 가 사실상 0 이면 ship 권고 금지 — "통계적 유의" 와 "비즈니스 의미" 를 분리.
가드레일이 무너졌으면 주 메트릭 결과와 무관하게 ship 권고 금지.
p-hacking 의심 신호 (subgroup 6개 검사 후 1개 채택) 발견 시 명시.
novelty 효과 가능성 (1주 미만 데이터) 명시.
"감으로는 좋아 보임" 추가 금지. 정량 외 의견 금지.

의존

입력: samples/ab-test-results.csv
참고 가이드: ~/.claude/guides/evals.md
참고 챕터: 7.1-growth-experiment-analysis.md

예시

좋은 출력: good-examples/checkout-cta-test.md
나쁜 출력: bad-examples/p-only-recommend.md