ab-test-analysis

name	ab-test-analysis
description	통계적 유의성, 샘플 크기 검증, 신뢰 구간, 출시/연장/중단 권고를 포함한 A/B 테스트 결과 분석. 실험 결과를 평가하거나, 테스트가 유의성에 도달했는지 확인하거나, 분할 테스트 데이터를 해석하거나, 변형 출시 여부를 결정할 때 활용하세요.

A/B 테스트 분석

통계적 엄밀성으로 A/B 테스트 결과를 평가하고 명확한 제품 결정으로 전환합니다.

맥락

$ARGUMENTS에 대한 A/B 테스트 결과를 분석합니다.

사용자가 데이터 파일(CSV, Excel, 또는 분석 내보내기)을 제공하는 경우 직접 읽고 분석합니다. 필요한 경우 통계 계산을 위한 Python 스크립트를 생성합니다.

지시문

1. 실험 이해:

   • 가설이 무엇이었나요?
   • 무엇이 변경되었나요 (변형)?
   • 주요 지표는 무엇인가요? 가드레일 지표는 있나요?
   • 테스트가 얼마나 오래 실행되었나요?
   • 트래픽 분할은 어떻게 되었나요?

2. 테스트 설계 검증:

   • 샘플 크기: 예상 효과 크기에 충분한 샘플인가요?
     • 공식 사용: n = (Z²α/2 × 2 × p × (1-p)) / MDE²
     • 검정력이 80% 미만인 경우 표시
   • 기간: 최소 1~2 전체 비즈니스 사이클 동안 실행되었나요?
   • 무작위화: 샘플 비율 불일치(SRM) 증거가 있나요?
   • 신기/선행 효과: 초기 행동 변화가 사라질 충분한 시간이 있었나요?

3. 통계적 유의성 계산:

   • control 및 variant의 전환율
   • 상대적 향상: (variant - control) / control × 100
   • p값: 양측 z검정 또는 카이제곱 검정 사용
   • 신뢰 구간: 차이에 대한 95% CI
   • 통계적 유의성: p < 0.05인가요?
   • 실용적 유의성: 향상이 비즈니스에 의미 있는가요?

   사용자가 원시 데이터를 제공하는 경우, 이를 계산하기 위한 Python 스크립트를 생성하고 실행합니다.

4. 가드레일 지표 확인:

   • 가드레일 지표 (매출, 참여, 페이지 로드 시간)가 악화되었나요?
   • 가드레일이 악화된 상태에서 주요 지표가 이기는 것은 진정한 승리가 아닐 수 있음

5. 결과 해석:

   결과	권고
   유의한 긍정적 향상, 가드레일 문제 없음	출시 — 100%로 배포
   유의한 긍정적 향상, 가드레일 우려	조사 — 출시 전 트레이드오프 이해
   유의하지 않음, 긍정적 트렌드	테스트 연장 — 더 많은 데이터 또는 더 큰 효과 필요
   유의하지 않음, 평탄	테스트 중단 — 의미 있는 차이 감지되지 않음
   유의한 부정적 향상	출시하지 않음 — control로 되돌리고 이유 분석

6. 분석 요약 제공:

   ## A/B 테스트 결과: [테스트 이름]
   
   **가설**: [예상한 것]
   **기간**: [X일] | **샘플**: [N control / M variant]
   
   | 지표 | Control | Variant | 향상 | p값 | 유의성? |
   |---|---|---|---|---|---|
   | [주요] | X% | Y% | +Z% | 0.0X | 예/아니오 |
   | [가드레일] | ... | ... | ... | ... | ... |
   
   **권고**: [출시 / 연장 / 중단 / 조사]
   **근거**: [이유]
   **다음 단계**: [해야 할 일]
   

단계별로 사고합니다. 마크다운으로 저장합니다. 원시 데이터가 제공된 경우 계산을 위한 Python 스크립트를 생성합니다.

---

더 읽어보기

• A/B Testing 101 + Examples
• Testing Product Ideas: The Ultimate Validation Experiments Library
• Are You Tracking the Right Metrics?