autoloop

name	autoloop
description	스킬 자동최적화 루프. 실행→채점→변이 반복. α 연속체 모드. v6.5: 9룰 베놈 — 변이 가드에 9룰 갭 자동 감지 + 승격 기준에 9룰 PASS 추가 + RAR 탈출구 9룰 보강 갈래 신설. 라이브 HTML 대시보드·변이 가드 4종·RAR 탈출구 유지. P1: optimize, improve, autoloop, eval, deep optimize, 스킬 최적화, dashboard, 대시보드, 오토루프, 자동최적화, 스킬개선, 스킬벤치마크, 스킬평가, 반복최적화, 루프최적화, 뮤테이션, 변이최적화, 9룰최적화. P2: 돌려줘, 개선해줘, optimize this, run autoloop on, make better, 최적화해줘, 스킬 개선해줘, 벤치마크해줘, eval 돌려줘. P3: skill optimization, eval benchmark, mutation loop, live dashboard, 9-rule mutation, automated skill improvement. P4: 스킬 성능 개선이 필요할 때, 반복 최적화가 필요할 때, 9룰 갭 보강이 필요할 때. P5: improved SKILL.md, results log, changelog, dashboard.html. NOT: 프롬프트엔지니어링(→직접수행), 플러그인(→cowork-plugin-management:create-cowork-plugin), 스킬생성(→skill-builder), 패키징(→skill-builder), 정적 진단만(→skill-doctor).
metadata	{"author":"jason","version":"6.5.0"}
vault_dependency	HARD

autoloop v6.5 — 스킬 자동최적화 루프

에이전트가 반복 실행→채점→변이하며 실패를 조여간다. benchmark → optimize → improve 1턴 루프.

v6.5 베놈: skill-builder v3.1·skill-doctor v2.2의 9룰을 변이·승격·탈출구에 흡수. 변이 가드 5종(추가 #5: 9룰 누락 변이 폐기) + 승격 기준에 9룰 PASS 추가 + RAR 5번째 갈래(9룰 보강 변이).

Skill Boundaries

• 하는 것 — eval 기반 benchmark·변이 루프·점수 채점·대시보드·changelog·handoff.json 발행
• 안 하는 것 — 정적 진단만(→ skill-doctor) · 패키징(→ skill-builder) · 신규 스킬 생성(→ skill-builder) · UP 최적화(→ up-doctor + up-manager)

When to Use

• "{스킬명} 최적화해줘·개선해줘·돌려줘" — 단일 스킬 변이 루프
• "벤치마크 돌려줘·eval 돌려줘" — 점수 측정만 (변이 없이)
• skill-doctor 진단 후 FAIL 셀이 많아 자동 보강 원함
• 신규 스킬 출시 후 baseline 점수 측정
• 9룰 갭 보강 모드 (v6.5 신규) — skill-doctor 9룰 진단에서 FAIL 룰이 N개 이상일 때 9룰 보강 변이 우선 실행
• 안 쓸 때 — 정적 진단만(→ skill-doctor), 패키징만(→ skill-builder), 사용자가 수동 변이 원함

Prerequisites

#	체크	미충족 시
1	대상 스킬 SKILL.md 존재·evals/cases.json 존재	없으면 skill-builder로 생성 후 진입
2	세션 실험장 /sessions/{id}/autoloop-lab/{SKILL}/ 생성 가능	디스크·권한 문제면 STOP
3	볼트 마운트 (vault_dependency: HARD) — changelog 백업 위치	미마운트 = request_cowork_directory
4	α 판정 완료 (auto_scorable eval 비율)	미판정 = step 0에서 산출
5	(v6.5) skill-doctor 9룰 진단 결과 있음 (선택)	있으면 9룰 보강 변이 우선순위

⛔ 절대 규칙 (8개)

#	규칙	이유
1	볼트 안에서 git init/commit/reset 금지 — 실험장은 세션 로컬만	볼트는 지식 저장소. git 아카이브가 원본 오염
2	볼트 반영은 사용자 승인 후 1회만 — Before/After diff. 자동 반영 = FAIL	검증 없이 실파일 덮어씌움 방지
3	한 변이 = 한 eval 타겟 = 한 가설	복합 변이 = 귀인 불가
4	handoff.json 생성 + 세션 실험장 유지 (step 7)	스킬빌더가 실험장에서 직접 패키징
5	auto_scorable=no 내용적 eval은 별도 Agent 다수결 (α<0.5)	동일 컨텍스트 채점 = scorer drift
6	변이 가드 5종 — bad mutation 즉시 폐기 — ①전체 재작성 ②다중룰 동시추가(2개+) ③길이 팽창만 ④모호 지시 ⑤9룰 7섹션 누락 변이	귀인 불가 + 9룰 회귀 위험
7	라이브 대시보드 step 3-bis 강제 — baseline 직후 dashboard.html·results.json 생성	형이 진행 시각 추적
8	승격 기준 = eval 점수 상승 AND 9룰 PASS 유지 (v6.5)	점수만 올리고 9룰 깨면 FAIL 처리. 9룰 회귀 변이 폐기

실행 환경 원칙

항목	위치	이유
실험장	/sessions/{session-id}/autoloop-lab/{skill-name}/	세션 = 샌드박스
볼트 원본	mnt/.claude/skills/{skill-name}/	Read only. 1회 복사
최종 반영	볼트 원본 경로 Write	루프 종료 후 1회만
changelog 백업	볼트 Agent-Ops/_autoloop-lab/{skill-name}/changelog.md	세션 유실 대비

α 연속체 모드

α 범위	호환명	실험 횟수	하드캡
α = 1.0	turbo	~2회	6회
0.5 ≤ α < 1.0	light (기본)	~3회	9회
α < 0.5	full	~5회	15회

α 분기표: → references/loop-mechanics.md §α 분기표

실행 단계

상세: → references/execution-steps.md

step	이름	핵심
0	맥락 수집	대상·입력·eval·예산·α 판정
1	스킬 읽기 + reference 1회 캐싱	루프 중 재로딩 ✗
2	eval 스위트 구성	binary yes/no + auto_scorable
2-bis	9룰 baseline 진단 (v6.5)	skill-doctor 9룰 스캔 → 누락 룰 N개 기록
3	baseline	세션 git init + N회 실행 + 프로파일
3-bis	라이브 대시보드	dashboard.html·results.json
4	실험 루프	4a 실패분해 → 4b 변이(가드 5종) → 4c 실행채점 → 4d keep/discard + 9룰 회귀 검사 → 4e RAR+귀인
5	changelog 작성 + 백업	매 keep마다
6	결과 전달 + 볼트 반영	Before/After diff → 승인 → Write
7	패키징 대기 (handoff-ready)	handoff.json → "스킬빌더로 패키징할까요?"

4d keep/discard 룰 (v6.5):

• eval 점수 상승 AND 9룰 7섹션 grep PASS → keep
• eval 점수 상승 BUT 9룰 회귀(섹션 누락) → discard (절대규칙 8)
• eval 점수 동일 BUT 9룰 보강(누락→충족) → keep (단순화·9룰 win)

자동 종료: 사용자 중지 / 예산 상한 / 3회 연속 95%+ pass rate / iteration 하드캡.

RAR 탈출구 5갈래 (v6.5)

3회 연속 discard 시:

1. 실패 출력 재읽기 (원본 텍스트 복귀)
2. near-miss 두 변이 결합
3. 제거 방향 변이 (추가 대신 삭제)
4. 단순화 keep (점수 유지·줄였다면 win)
5. (v6.5) 9룰 보강 변이 — skill-doctor 9룰 진단의 FAIL 룰 1개 보강 → eval 점수 영향 없어도 keep (구성 결함 해소)

Output Path

산출물	경로
실험장	/sessions/{id}/autoloop-lab/{SKILL}/
개선된 SKILL.md	실험장 안 → 승인 후 볼트 원본에 Write
results.tsv·results.json	/sessions/{id}/autoloop-lab/{SKILL}/results.{tsv,json}
라이브 대시보드	/sessions/{id}/autoloop-lab/{SKILL}/dashboard.html
changelog 백업	{VAULT}/Agent-Ops/_autoloop-lab/{SKILL}/changelog.md
handoff (skill-builder 위임)	/sessions/{id}/autoloop-lab/{SKILL}/handoff.json
9룰 진단 결과 (v6.5)	/sessions/{id}/autoloop-lab/{SKILL}/nine_rules_baseline.json

Reference Index

파일	내용	언제
references/execution-steps.md	step 0~7 상세 프로토콜	실험 진행
references/loop-mechanics.md	α 분기표·변이 가드·탈출구	변이 설계
references/dashboard-template.html	라이브 대시보드 템플릿	3-bis 생성
references/9-rules-mutation.md (v6.5 신규)	9룰 보강 변이 패턴	RAR 5번째 갈래

Next Phase

루프 종료 후 자연스러운 흐름:

• 패키징 → skill-builder (handoff.json 받아 .skill 생성·host sync)
• 재진단 → skill-doctor (개선된 스킬 41셀 진단으로 베이스라인 갱신)
• 다른 스킬도 동일하게 → 전체 스킬 큐로 batch autoloop
• 세션 마무리 → session-briefing (결정·미결·다음 저장)

자체 점검 (self-check)

python scripts/self_check.py /sessions/{session-id}/mnt/.claude/skills/autoloop/

항목: ①SKILL.md ≤10KB ②핵심 스포크 존재 ③evals/cases.json 유효 ④P1 ≥5 ⑤NOT·Gotchas·절대 규칙 ⑥**(v6.5) 9룰 7섹션 존재** ⑦**(v6.5) 변이 가드 5종 명시**.

Failure Modes (Gotchas)

• 뺑뺑이: 3회 연속 discard 시 귀인 검증 먼저. RAR 직행 ✗.
• 아이디어 고갈 → 5갈래 탈출구 (v6.5): ①실패 출력 재읽기 ②near-miss 결합 ③제거 방향 ④단순화 keep ⑤9룰 보강.
• bad mutation 5종 즉시 폐기: 전체 재작성·다중룰 동시추가·길이 팽창만·모호 지시·9룰 7섹션 누락 (절대규칙 6).
• 병목 무시: 프로파일 없이 최적화 = 감 의존.
• full 비용 폭발: 내용적 eval 3개 이하로 시작.
• RAR 조기 발동: 3회 연속 discard 적정. 2회 = 미시도 변이 스킵.
• 내용적 eval 노이즈: 매 실험 2:1 분할되는 eval → 모호. 재작성.
• 시뮬레이션 과신: 실행 가능 스킬은 실행 모드 필수.
• 동일 컨텍스트 채점: α<0.5 내용적 3회 채점 → 별도 Agent.
• 복합 변이: 다른 eval 타겟 복수 변경 ✗.
• auto_scorable 오판: grep/regex 판정 불가 = 무조건 no.
• git reset 범위: HEAD~1만.
• 대안키워드 누적: changelog 10개+ 미시도 → RAR 우선 소화.
• handoff.json 누락: step 7 건너뛰면 스킬빌더가 구버전 복사.
• 세션 실험장 조기 삭제: handoff.json 있어도 실험장 없으면 못 읽음.
• 대시보드 미생성: step 3-bis 스킵 시 형이 진행 모름.
• results.json 미갱신: 매 4d 직후 gen_dashboard.py --update 누락 = 대시보드 멈춤.
• (v6.5) 9룰 회귀 변이 keep: 절대규칙 8 위반. eval 점수 올라도 9룰 7섹션 깨졌으면 discard.
• (v6.5) 9룰 baseline 진단 스킵: step 2-bis 누락 = 9룰 회귀 감지 불가. skill-doctor 9룰 스캔 필수.
• (v6.5) 9룰 보강만으로 eval 점수 변화 기대: 9룰은 구성 결함 해소이지 eval 점수 직접 영향 ✗. RAR 5번째 갈래에서 단순 keep.

❌ WRONG vs ✅ CORRECT

❌ WRONG: eval 점수 5점 → 7점 올라서 keep. 그런데 Prerequisites 섹션 통째로 삭제됨 (구조 회귀)
✅ CORRECT: 점수 상승 + 9룰 7섹션 grep PASS 동시 충족 시에만 keep. 9룰 회귀 = discard

❌ WRONG: RAR 3회 후 아이디어 고갈 → 루프 종료
✅ CORRECT: 5번째 갈래 (9룰 보강 변이) 시도 → skill-doctor가 잡은 FAIL 룰 1개 보강 → keep