メニュー
로컬 evals 스켈레톤(골든셋 SHA 고정 + 파일럿 + judge 페어와이즈 + 4섹션 리포트). LangSmith 비의존, 자체 태스크셋(웨이브 완료시간/게이트 오탐률/컨텍스트 무손실). LD-3 스켈레톤+1~2 레퍼런스 케이스만. "evals 실행", "벤치마크 리포트" 요청 시 사용.
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
SOC 職業分類に基づく
.agent-team/ 산출물과 _state/ 리스크 로그 전반의 "CONCERNS:" 앵커를 한 번에 수집해 부채 ledger로 보여준다. 게이트 판정 CONCERNS(조건부 통과)의 후속 해소 여부를 놓치지 않기 위함. "부채 확인", "/bathos-debt", "CONCERNS 목록", "남은 리스크 뭐 있어", "부채 ledger" 요청 시 사용.
낯선 코드베이스 첫 진입 시 git/gh 이력(병합 PR 코멘트, 봇 제외)에서 저장소 컨벤션·버그 taxonomy 초안을 채굴한다. 읽기 전용, John(#1 Reverse) 01-reverse/에는 절대 쓰지 않는다. "콜드스타트", "저장소 컨벤션 채굴", "bootstrap" 요청 시 사용.
audit-log.jsonl의 finding.resolved 이력(확정/기각)을 읽어 프로젝트별 리뷰 스타일 프롬프트(10-review/review-style/style.md)를 승격/억제로 편집한다. 온디맨드·로컬 전용, 외부 SDK 없음. "리뷰 학습", "review style", "continual learning" 요청 시 사용.
| name | bathos-evals |
| description | 로컬 evals 스켈레톤(골든셋 SHA 고정 + 파일럿 + judge 페어와이즈 + 4섹션 리포트). LangSmith 비의존, 자체 태스크셋(웨이브 완료시간/게이트 오탐률/컨텍스트 무손실). LD-3 스켈레톤+1~2 레퍼런스 케이스만. "evals 실행", "벤치마크 리포트" 요청 시 사용. |
근거:
_recon/open-swe-analysis.md§3-7(evals 하니스),service-layer-design-kr.md §3~4,surface-formats-kr.md §c,story-c3-c4-evals-skeleton-kr.md. 범위 상한(LD-3, 엄수): 스켈레톤 + 레퍼런스 1~2 케이스. 그 이상 골든셋 확장 금지 (Matthias W6 후속). LangSmith·외부 클라우드 벤치 카피 금지 — 전부 로컬 파일.
골든(SHA 고정) → 파일럿(bathos inspect류, 부재 시 정직한 스텁) → judge(stub|agent) → JSON 결과 → 4섹션 리포트
python3 .claude/skills/bathos-evals/scripts/harness.py verify
python3 .claude/skills/bathos-evals/scripts/harness.py run-all \
--golden-dir .agent-team/11-qa/evals/golden \
--results-dir .agent-team/11-qa/evals/results
stub-heuristic-v1(결정론적 로컬 함수, 재현 가능). 프로덕션에서
더 정교한 판정이 필요하면, judge.format_judge_prompt(golden, candidate)로
프롬프트를 만들어 이 스킬을 호출 중인 에이전트 자신이 judge 역할을 겸해
verdict를 판단하고, 그 결과를 결과 JSON에 반영한다(별도 API 키 불필요). 단,
이 경로는 seed/온도를 제어할 수 없어 재현성이 (추정) 미보장임을 리포트에
반드시 명시한다(R-C2).python3 .claude/skills/bathos-evals/scripts/report.py \
--results-dir .agent-team/11-qa/evals/results \
--out .agent-team/11-qa/evals/report-latest-kr.md
| eval_id | task | 내용 |
|---|---|---|
E-0001 | ctx-loss | 스토리 프론트매터(story-c1)만으로 5개 필드를 재복원할 수 있는가 — "스토리 컨텍스트 무손실" 결정론적 프록시 |
E-0002 | gate-fp | bathos inspect doctor 파일럿 출력에서 기대 판정 문자열 확인 — 바이너리 부재 시 정직한 스텁 강등 |
두 태스크 모두 자체 태스크셋이다(BATHOS 산출용, 웹 스니펫 벤치 카피 아님).
case.json + case.json.sha256(sha256sum 형식) 쌍으로 고정. 내용이 바뀌면 SHA를
재고정해야 하며, 재고정하지 않은 변경은 harness.py verify/run이 드리프트
경고(exit 2)로 잡는다.harness.write_golden_case(case_dir, data) 헬퍼 사용.(추정) — 표본 부족 배지 강제.부분 리포트(k건 실패) 헤더 + §3 개별 분리 표기.—만 표시.bathos-inspect 크레이트 수정 없음(재사용만, 수정 필요 시 Phillip과 합의).bash .claude/skills/bathos-evals/tests/run_tests.sh
11개 테스트: 골든 SHA 무결성/드리프트(1바이트 변조), ctx-loss e2e 스모크(완전 복원=win, 부분 손실=tie/lose), gate-fp 바이너리 부재 스텁 강등, judge 순수성/ 재현성, 리포트 빈 상태·표본부족 배지·부분실패 상태·베이스라인 미실측 표시. 전부 오프라인(네트워크·API 키 불요).