a-baseline-run-on-a-different-panel-measures-the-panel

# 다른 패널에서 돌린 기준선은 패널을 잰다 ## Problem bloasis #108 (2026-10-03). `edgar-rolling2` 프레임에 무작위 신호를 넣어 DD 분포를 쟀다. 속도를 위해 **가격 전용 패널**(scorer_types=jt_momentum)로 돌렸다. 결과: 매달 갈아타는 무작위(R1)는 DD 0.54–0.68 로 20/20 이 0.85 통과, 1년 보유(R2)는 1/20. 결론 — "DD 비율은 회전율을 잰다, 고정 기준은 churn 을 보상한다" — 을 근거로 사용자가 관문을 실력 상대 기준으로 바꾸기로 **결정했다.** 다음 날 관문 도구(후보와 **같은 패널**, 섹터 맵 있음)로 같은 시드를 돌리니 R1 DD ≈ 1.0. 재현 불일치를 쫓아가니: - 가격 전용 패널은 #92 `sectors_needed` 규칙상 섹터 맵이 **비어** 전 종목이 `_unknown` 한 버킷. - #93(내가 고친 것)은 스텝 내 매수는 즉시 누적, 매도 여유는 **다음 스텝**에야 반영 — "보수적" 선택. - 둘이 맞물려 회전 스텝마다 `_unknown` 이 ~96% + 신규 매수 → **"한도 없음"인 cap 1.0 이 걸려** 매수 585/1,305 거부. 낮은 DD 는 현금이 아니라 **막힌 매수**였다. 수정(#109: cap ≥ 1.0 이면 규칙 미적용) 후 R1 p10 0.891 — 결론 철회, 결정은 정정된 근거로 **다시 물었다.** 같은 결함이 가격 전용 패널로 잰 #107(JT residual)도 오염시켰다 (J0 α +1.16% → +7.70%). ## Solution - 기준선·대조군은 **후보와 같은 패널**에서 돌려라. 빠르게 하려면 *후보 패널에서* 안 쓰는 필드만 빼라(`replace(data, risk_factors_history={})` — 섹터 맵 등은 유지). - 기준선 결과로 규칙을 정하기 전에 **두 번째 경로로 한 점이라도 재현**해라(같은 시드 1개). 불일치하면 결론 보류. - "한도 없음"을 숫자(1.0, 0, -1)로 표현하는 설정은 **그 값에서 규칙이 꺼지는지** 테스트로 고정하라 — 근처 로직을 보수적으로 바꾸면 센티넬이 조용히 묶이기 시작한다. - 결정의 근거가 틀렸으면, 정정 기록 + **같은 질문을 다시** 물어라(이전 답을 승인으로 쓰지 말 것). - 시점 기록 문서는 결과를 고치지 말고 `## Correction` 섹션을 덧붙여라. ## Red Flags - 기준선만 다른 prefetch 옵션/scorer_types 로 준비된다 - 무작위 쪽 결과가 "깔끔한 메커니즘"을 너무 잘 보여준다(20/20 vs 1/20) - 리스크 규칙을 막 보수적으로 바꾼 직후의 측정 - 같은 결함이 영향을 준 다른 기록을 안 세고 하나만 정정 ## Related - [[a-qualifying-sweep-arm-must-be-explained-by-its-mechanism]] - [[a-check-that-cannot-flip-is-not-measuring-anything]] - [[a-guard-on-the-shared-function-proves-nothing-about-its-call-sites]]