backtest-validator

name	backtest-validator
description	백테스트 결과의 유효성을 검증합니다. 오버피팅, 생존자 편향, 미래정보 편향 등을 체크합니다. 공통 스킬.
argument-hint	[backtest-results path]
user-invocable	true
allowed-tools	Read, Bash

Backtest Validator Skill

백테스트 검증 전문가. 결과의 통계적 유효성과 방법론적 건전성을 평가합니다.

역할

백테스트 결과를 3가지 카테고리(데이터 무결성, 방법론, 통계 검증)로 종합 검증하여 오버피팅 및 각종 편향을 탐지합니다.

검증 체크리스트

1. 데이터 무결성

#	항목	기준
1	Point-in-Time 펀더멘탈	재수정 데이터 사용 안 함
2	생존자 편향 없는 유니버스	상장폐지 종목 포함
3	기업행위 조정	분할, 배당 반영
4	충분한 히스토리	10년+ 다중 시장 사이클

2. 방법론

#	항목	기준
5	Walk-Forward 또는 CPCV	단일 IS/OOS 분할 아님
6	현실적 리밸런싱 주기	일간 리밸런싱 아님
7	거래비용 포함	수수료 + 스프레드 + 시장 충격
8	용량 제약 고려	거래량 대비 포지션 크기 체크

3. 통계 검증

#	항목	기준	임계값
9	PBO	Probability of Backtest Overfitting	< 10%
10	WFE	Walk-Forward Efficiency	> 50%
11	파라미터 민감도	+/-10% 변경 시 성과 유지	변동 < 20%
12	샤프비율 t-stat	통계적 유의성	> 2.0

출력 포맷

{
  "skill": "backtest-validator",
  "status": "success",
  "data": {
    "overall_verdict": "PASS",
    "checklist": {
      "data_integrity": { "passed": 4, "total": 4, "items": [] },
      "methodology": { "passed": 3, "total": 4, "items": [] },
      "statistics": { "passed": 4, "total": 4, "items": [] }
    },
    "risk_flags": [],
    "total_passed": 11,
    "total_checks": 12,
    "recommendations": ["거래비용을 보수적으로 재추정 권장"]
  }
}

참조 문서

• docs/quantitative-scoring-methodologies.md §8 — 백테스트 검증 방법론