메뉴
Shadow run 프로토콜 — HARNESS_MODE=off로 baseline Claude만의 리뷰와 Harness full-run을 비교하여 counterfactual lift를 측정합니다. 5개 이슈 중 1개 권장 주기. Harness가 baseline을 능가하는지 경험적 증거 수집. '/harness-shadow', 'harness shadow', 'shadow run', 'counterfactual lift', 'baseline 비교' 요청 시 사용.
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
커밋 전 최종 품질 게이트. aggregate-verdict 확인 + 프로젝트별 빌드/타입체크/린트를 종합 검증합니다. '/harness-gate', 'harness gate', '품질 게이트', '커밋 전 검증' 요청 시 사용 — 커밋 직전 최종 게이트(jira-commit 의 DoD 검증과 독립).
Jira 개발 가이드(dev-guide)를 읽고 Sprint Contract를 보충 생성합니다. /jira-plan 이후에 실행하여 DoD, Verify Targets, Out of Scope를 명시화합니다. '/harness-plan', 'harness plan', 'Sprint Contract 만들어줘', '계획 보충' 요청 시 사용.
이전 세션의 체크포인트를 복원하여 작업을 이어갑니다. workflow-state.json과 checkpoint.md를 읽어 중단된 단계부터 재개합니다. '/harness-resume', 'harness resume', '이어서 작업', '이전 작업 복원' 요청 시 사용.
코드 변경 사항에 대해 프로젝트별 전문 에이전트를 병렬 fan-out으로 리뷰하고 종합 verdict(PASS/ITERATE/ESCALATE)를 생성합니다. '/harness-review', 'harness review', 'harness 리뷰', '품질 리뷰' 요청 시 사용.
Post-merge VALID/INVALID 채점 — 머지 후 7일 이상 경과한 이슈의 aggregate-verdict.md에 사후 평가를 기록합니다. Harness의 catch rate/false positive rate 측정에 사용. 자기 채점 편향 방지를 위해 별도 세션에서 외부 증거와 함께 수행. '/harness-score', 'harness score', '사후 평가', 'post-merge scoring', 'catch rate 측정' 요청 시 사용.
AI Agent Harness Engineering infrastructure auto-provisioner. Detects project stack (Spring Boot, Vue, React, etc.) and generates project-scoped agents, hooks, settings, CLAUDE.md rules, runtime directories, and metrics infrastructure. Idempotent — safely run on new or partially configured projects; only adds what's missing. Use this skill whenever: the user says 'harness setup', 'set up harness', 'configure harness', 'harness-setup', 'add harness to project', 'init harness', 'harness 설정', 'harness 구성', 'harness 초기화', 'harness 세팅', 'new project harness', 'upgrade harness', 'check harness status', 'harness check'. Also trigger when user asks to add agents, hooks, or quality gates to a project even without explicitly saying 'harness'.
| name | harness-shadow |
| description | Shadow run 프로토콜 — HARNESS_MODE=off로 baseline Claude만의 리뷰와 Harness full-run을 비교하여 counterfactual lift를 측정합니다. 5개 이슈 중 1개 권장 주기. Harness가 baseline을 능가하는지 경험적 증거 수집. '/harness-shadow', 'harness shadow', 'shadow run', 'counterfactual lift', 'baseline 비교' 요청 시 사용. |
존재 이유: "Harness가 baseline Claude 대비 추가 가치를 내는가?" 를 경험적으로 증명. Baseline이 이미 80% 잡는다면 Harness는 15~20% lift만 추가 → 비용 정당화 어려움. Baseline이 40% 잡는다면 Harness가 90% 잡을 때 큰 가치. 이 측정 없이는 Harness ROI 주장이 공허.
이 스킬의 모든 단계보다 먼저 실행. SSoT:
~/.claude/skills/_harness-guard.md—HARNESS_MODE가 미설정/빈값/off면 즉시 중단(안내 출력 후 이후 단계 실행 금지),suggest/auto면 정상 진행.
이 스킬은 정상 /harness-workflow 완료 전에 호출해야 한다. 시나리오:
/harness-shadow SURINP-999 먼저 실행 → baseline 리뷰 수집/harness-workflow 또는 /harness-review 정상 실행절대 금지: baseline과 Harness를 동일 세션에서 연달아 돌리는 것. Context contamination. 세션을 분리하거나 /clear 후 실행해야 함.
# 현재 HARNESS_MODE 확인
grep HARNESS_MODE .claude/settings.local.json
# 이미 aggregate-verdict.md가 있는가?
ls .claude/runtime/aggregate-verdict.md 2>/dev/null
이 스킬 내에서는 environment 변수를 세션에 전달하지 않고, 메인 세션이 harness 스킬을 절대 호출하지 않는 것으로 시뮬레이트한다.
사용자에게 명시 안내:
════════════════════════════════════════
Shadow Run Mode Active
다음 단계에서는 /harness-plan, /harness-review를
절대 호출하지 마세요. Baseline Claude만으로 리뷰합니다.
사용 가능: /jira-plan, /jira-execute, /jira-test, /jira-commit
금지: /harness-plan, /harness-review, /harness-gate
════════════════════════════════════════
메인 세션이 git diff와 dev-guide.md만 보고 자체적으로 리뷰 수행 (에이전트 위임 없이):
git diff 확인.claude/runtime/baseline-verdict.md로 저장 (aggregate-verdict.md와 동일 스키마):
# Baseline Verdict — SURINP-XXX Phase N (Shadow Run)
<!-- Metadata -->
- **Issue**: SURINP-XXX
- **Phase**: N
- **Mode**: baseline (HARNESS_MODE=off emulated)
- **Ran At**: YYYY-MM-DDTHH:MM:SSZ
- **Duration**: Xm Ys
- **Tokens (approx)**: ~Xk (baseline은 보통 Harness 대비 30~50% 토큰)
- **Reviewer**: main session (no project agents)
- **Shadow Pair**: aggregate-verdict-shadow.md (대응 Harness run)
<!-- Body: Blockers/Advisories (baseline이 찾은 것) -->
## Blockers
| ID | 위치 | 요지 |
|---|---|---|
| B-BL1 | ... | ... |
## Advisories
| ID | 요지 |
|---|---|
| B-A1 | ... |
════════════════════════════════════════
Baseline 완료. 이제 Harness full-run을 실행:
권장: 새 세션에서 /harness-workflow SURINP-XXX
(같은 세션에서 돌리면 baseline에서 본 내용이 Harness 추론을 오염시킴)
두 verdict가 모두 준비되면:
→ /harness-shadow compare SURINP-XXX
════════════════════════════════════════
/harness-shadow compare SURINP-XXX 호출 시:
.claude/runtime/shadow-comparison-SURINP-XXX.md 작성:# Shadow Comparison — SURINP-XXX
## Participants
- Baseline: .claude/runtime/baseline-verdict.md (tokens ~30k, duration 2m)
- Harness: .claude/runtime/archive/SURINP-XXX/aggregate-verdict.md (tokens ~85k, duration 6m)
## Overlap Matrix
| Category | Count | IDs |
|---|---|---|
| Both (same finding) | 2 | REV-001≈B-BL1, JQA-1≈B-BL2 |
| Harness only (lift) | 1 | DTS-1 (domain trap — baseline 놓침) |
| Baseline only (miss) | 0 | — |
## Lift Score
- **Harness-only findings**: 1 / 3 total = **33% lift**
- **Harness-only Blockers**: 1 → 만약 post-merge에서 VALID 판정 시 실질 lift 확정
## Cost Ratio
- Harness tokens: ~85k
- Baseline tokens: ~30k
- Ratio: 2.8× cost → 1 추가 catch 당 cost: ~55k tokens
- **평가**: 단일 Blocker catch 당 $X 값어치인가? 팀 기준으로 판단.
## Next
→ 머지 7일 후 /harness-score 실행
→ Both 항목은 "Harness 불필요" 카운트에 들어감
→ Harness-only VALID 카운트가 실질 lift
비교 결과를 .claude/runtime/harness-metrics/scorecard.md에 shadow 섹션으로 append.
.claude/agents/ 안에 등록된 모든 프로젝트 에이전트(예: haback-*, cs-*, csfront-*, app-*, 또는 임의의 {prefix}-* 접두사) 및 글로벌 reviewer/auditor/sentinel 계열 에이전트 호출이 금지된다. baseline은 메인 세션의 추론 + git diff + dev-guide + CLAUDE.md만으로 작성해야 lift 측정의 의미가 살아난다. 새 프로젝트에서 어떤 prefix를 쓰든 이 룰은 동일하게 적용된다.요약 반환 500 토큰 이하. 상세 비교는 파일로만.