| name | ab-test-analysis |
| description | 통계적 유의성, 샘플 크기 검증, 신뢰 구간, 출시/연장/중단 권고를 포함한 A/B 테스트 결과 분석. 실험 결과를 평가하거나, 테스트가 유의성에 도달했는지 확인하거나, 분할 테스트 데이터를 해석하거나, 변형 출시 여부를 결정할 때 활용하세요. |
A/B 테스트 분석
통계적 엄밀성으로 A/B 테스트 결과를 평가하고 명확한 제품 결정으로 전환합니다.
맥락
$ARGUMENTS에 대한 A/B 테스트 결과를 분석합니다.
사용자가 데이터 파일(CSV, Excel, 또는 분석 내보내기)을 제공하는 경우 직접 읽고 분석합니다. 필요한 경우 통계 계산을 위한 Python 스크립트를 생성합니다.
지시문
-
실험 이해:
- 가설이 무엇이었나요?
- 무엇이 변경되었나요 (변형)?
- 주요 지표는 무엇인가요? 가드레일 지표는 있나요?
- 테스트가 얼마나 오래 실행되었나요?
- 트래픽 분할은 어떻게 되었나요?
-
테스트 설계 검증:
- 샘플 크기: 예상 효과 크기에 충분한 샘플인가요?
- 공식 사용: n = (Z²α/2 × 2 × p × (1-p)) / MDE²
- 검정력이 80% 미만인 경우 표시
- 기간: 최소 1~2 전체 비즈니스 사이클 동안 실행되었나요?
- 무작위화: 샘플 비율 불일치(SRM) 증거가 있나요?
- 신기/선행 효과: 초기 행동 변화가 사라질 충분한 시간이 있었나요?
-
통계적 유의성 계산:
- control 및 variant의 전환율
- 상대적 향상: (variant - control) / control × 100
- p값: 양측 z검정 또는 카이제곱 검정 사용
- 신뢰 구간: 차이에 대한 95% CI
- 통계적 유의성: p < 0.05인가요?
- 실용적 유의성: 향상이 비즈니스에 의미 있는가요?
사용자가 원시 데이터를 제공하는 경우, 이를 계산하기 위한 Python 스크립트를 생성하고 실행합니다.
-
가드레일 지표 확인:
- 가드레일 지표 (매출, 참여, 페이지 로드 시간)가 악화되었나요?
- 가드레일이 악화된 상태에서 주요 지표가 이기는 것은 진정한 승리가 아닐 수 있음
-
결과 해석:
| 결과 | 권고 |
|---|
| 유의한 긍정적 향상, 가드레일 문제 없음 | 출시 — 100%로 배포 |
| 유의한 긍정적 향상, 가드레일 우려 | 조사 — 출시 전 트레이드오프 이해 |
| 유의하지 않음, 긍정적 트렌드 | 테스트 연장 — 더 많은 데이터 또는 더 큰 효과 필요 |
| 유의하지 않음, 평탄 | 테스트 중단 — 의미 있는 차이 감지되지 않음 |
| 유의한 부정적 향상 | 출시하지 않음 — control로 되돌리고 이유 분석 |
-
분석 요약 제공:
## A/B 테스트 결과: [테스트 이름]
**가설**: [예상한 것]
**기간**: [X일] | **샘플**: [N control / M variant]
| 지표 | Control | Variant | 향상 | p값 | 유의성? |
|---|---|---|---|---|---|
| [주요] | X% | Y% | +Z% | 0.0X | 예/아니오 |
| [가드레일] | ... | ... | ... | ... | ... |
**권고**: [출시 / 연장 / 중단 / 조사]
**근거**: [이유]
**다음 단계**: [해야 할 일]
단계별로 사고합니다. 마크다운으로 저장합니다. 원시 데이터가 제공된 경우 계산을 위한 Python 스크립트를 생성합니다.
더 읽어보기
