菜单
Shadow run 프로토콜 — HARNESS_MODE=off로 baseline Claude만의 리뷰와 Harness full-run을 비교하여 counterfactual lift를 측정합니다. 5개 이슈 중 1개 권장 주기. Harness가 baseline을 능가하는지 경험적 증거 수집. '/harness-shadow', 'harness shadow', 'shadow run', 'counterfactual lift', 'baseline 비교' 요청 시 사용.
默认使用会先检查来源的 Prompt；你也可以切换为直接命令，或下载本地副本。
决定是否安装前，请先阅读 SKILL.md，以及 SkillsMP 当前展示的配套文件。
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
直接命令不会经过审查 Prompt；运行前请先检查来源。
npx skills add https://github.com/bigbulgogiburger/claude_jira_harness --skill harness-shadow命令会保持在同一行。复制前请横向滚动并检查完整内容。
想先保存到本地？可下载 SkillsMP 当前能够提供的文件。
正在显示 SKILL.md
임의의 git 레포지토리가 AI 코딩 에이전트(Claude Code, Cursor, Copilot, Aider 등)와 얼마나 잘 협업할 수 있는지 100점 7-카테고리 루브릭으로 감사하고 JSON 점수표, 한국어 HTML 대시보드, ROI 우선순위 액션 리스트를 산출합니다. 프레임워크 무관 — Python, JS/TS, Java, Go, Rust, Ruby 등 어떤 언어든 동작. Use this skill PROACTIVELY whenever the user asks about: - "AI-ready", "AI 준비도", "에이전트 준비도", "agent readiness", "codebase audit" - "이 코드베이스 점수 매겨줘", "AI 협업 가능한지 평가해줘", "코드베이스 감사" - "AGENTS.md 있는지 확인", "CLAUDE.md 점검", "에이전트 친화적인지" - "이 레포가 AI랑 얼마나 잘 맞는지", "Claude Code 쓰기 좋은 구조인지" - "리팩토링 우선순위", "ROI 기반 개선 항목", "어디부터 손대야 하나" - 새 레포에 합류했을 때 / 외부 OSS 평가 / 도입 가능성 검토 - 시니어 엔지니어가 팀 코드베이스 진단을 의뢰하는 모든 상황 Also trigger when the user mentions any of: Factory.ai Agent Readiness, AGENTS.md spec, agentic coding setup, dev environment scoring, repo health check, codebase quality benchmark.
커밋 전 최종 품질 게이트. aggregate-verdict 확인 + 프로젝트별 빌드/타입체크/린트를 종합 검증합니다. '/harness-gate', 'harness gate', '품질 게이트', '커밋 전 검증' 요청 시 사용 — harness-workflow gate 단계(references/gate.md — 구 jira-test·jira-commit 흡수) 내부의 최종 게이트.
Jira 개발 가이드(dev-guide)를 읽고 Sprint Contract를 보충 생성합니다. /jira-plan 이후에 실행하여 DoD, Verify Targets, Out of Scope를 명시화합니다. '/harness-plan', 'harness plan', 'Sprint Contract 만들어줘', '계획 보충' 요청 시 사용.
基于 SOC 职业分类
| name | harness-shadow |
| description | Shadow run 프로토콜 — HARNESS_MODE=off로 baseline Claude만의 리뷰와 Harness full-run을 비교하여 counterfactual lift를 측정합니다. 5개 이슈 중 1개 권장 주기. Harness가 baseline을 능가하는지 경험적 증거 수집. '/harness-shadow', 'harness shadow', 'shadow run', 'counterfactual lift', 'baseline 비교' 요청 시 사용. |
존재 이유: "Harness가 baseline Claude 대비 추가 가치를 내는가?" 를 경험적으로 증명. Baseline이 이미 80% 잡는다면 Harness는 15~20% lift만 추가 → 비용 정당화 어려움. Baseline이 40% 잡는다면 Harness가 90% 잡을 때 큰 가치. 이 측정 없이는 Harness ROI 주장이 공허.
이 스킬의 모든 단계보다 먼저 실행. SSoT:
~/.claude/skills/_harness-guard.md—HARNESS_MODE가 미설정/빈값/off면 즉시 중단(안내 출력 후 이후 단계 실행 금지),suggest/auto면 정상 진행.
이 스킬은 정상 /harness-workflow 완료 전에 호출해야 한다. 시나리오:
/harness-shadow PROJ-999 먼저 실행 → baseline 리뷰 수집/harness-workflow 또는 /harness-review 정상 실행절대 금지: baseline과 Harness를 동일 세션에서 연달아 돌리는 것. Context contamination. 세션을 분리하거나 /clear 후 실행해야 함.
# 현재 HARNESS_MODE 확인
grep HARNESS_MODE .claude/settings.local.json
# 이미 aggregate-verdict.md가 있는가?
ls .claude/runtime/aggregate-verdict.md 2>/dev/null
이 스킬 내에서는 environment 변수를 세션에 전달하지 않고, 메인 세션이 harness 스킬을 절대 호출하지 않는 것으로 시뮬레이트한다.
사용자에게 명시 안내:
════════════════════════════════════════
Shadow Run Mode Active
다음 단계에서는 /harness-plan, /harness-review를
절대 호출하지 마세요. Baseline Claude만으로 리뷰합니다.
사용 가능: /jira-plan, /jira-execute, 그리고 baseline 방식의 테스트·커밋 직접 수행
(구 /jira-test·/jira-commit 은 2026-07-20 폐기 — harness-workflow gate 단계로 흡수)
금지: /harness-plan, /harness-review, /harness-gate
════════════════════════════════════════
메인 세션이 git diff와 dev-guide.md만 보고 자체적으로 리뷰 수행 (에이전트 위임 없이):
git diff 확인.claude/runtime/baseline-verdict.md로 저장 (aggregate-verdict.md와 동일 스키마):
# Baseline Verdict — PROJ-XXX Phase N (Shadow Run)
<!-- Metadata -->
- **Issue**: PROJ-XXX
- **Phase**: N
- **Mode**: baseline (HARNESS_MODE=off emulated)
- **Ran At**: YYYY-MM-DDTHH:MM:SSZ
- **Duration**: Xm Ys
- **Tokens (approx)**: ~Xk (baseline은 보통 Harness 대비 30~50% 토큰)
- **Reviewer**: main session (no project agents)
- **Shadow Pair**: aggregate-verdict-shadow.md (대응 Harness run)
<!-- Body: Blockers/Advisories (baseline이 찾은 것) -->
## Blockers
| ID | 위치 | 요지 |
|---|---|---|
| B-BL1 | ... | ... |
## Advisories
| ID | 요지 |
|---|---|
| B-A1 | ... |
════════════════════════════════════════
Baseline 완료. 이제 Harness full-run을 실행:
권장: 새 세션에서 /harness-workflow PROJ-XXX
(같은 세션에서 돌리면 baseline에서 본 내용이 Harness 추론을 오염시킴)
두 verdict가 모두 준비되면:
→ /harness-shadow compare PROJ-XXX
════════════════════════════════════════
/harness-shadow compare PROJ-XXX 호출 시:
.claude/runtime/shadow-comparison-PROJ-XXX.md 작성:# Shadow Comparison — PROJ-XXX
## Participants
- Baseline: .claude/runtime/baseline-verdict.md (tokens ~30k, duration 2m)
- Harness: .claude/runtime/archive/PROJ-XXX/aggregate-verdict.md (tokens ~85k, duration 6m)
## Overlap Matrix
| Category | Count | IDs |
|---|---|---|
| Both (same finding) | 2 | REV-001≈B-BL1, JQA-1≈B-BL2 |
| Harness only (lift) | 1 | DTS-1 (domain trap — baseline 놓침) |
| Baseline only (miss) | 0 | — |
## Lift Score
- **Harness-only findings**: 1 / 3 total = **33% lift**
- **Harness-only Blockers**: 1 → 만약 post-merge에서 VALID 판정 시 실질 lift 확정
## Cost Ratio
- Harness tokens: ~85k
- Baseline tokens: ~30k
- Ratio: 2.8× cost → 1 추가 catch 당 cost: ~55k tokens
- **평가**: 단일 Blocker catch 당 $X 값어치인가? 팀 기준으로 판단.
## Next
→ 머지 7일 후 /harness-score 실행
→ Both 항목은 "Harness 불필요" 카운트에 들어감
→ Harness-only VALID 카운트가 실질 lift
비교 결과를 .claude/runtime/harness-metrics/scorecard.md에 shadow 섹션으로 append.
.claude/agents/ 안에 등록된 모든 프로젝트 에이전트(예: haback-*, cs-*, csfront-*, app-*, 또는 임의의 {prefix}-* 접두사) 및 글로벌 reviewer/auditor/sentinel 계열 에이전트 호출이 금지된다. baseline은 메인 세션의 추론 + git diff + dev-guide + CLAUDE.md만으로 작성해야 lift 측정의 의미가 살아난다. 새 프로젝트에서 어떤 prefix를 쓰든 이 룰은 동일하게 적용된다.요약 반환 500 토큰 이하. 상세 비교는 파일로만.