| name | continuous-eval |
| description | Ragas 기반 품질·안전 평가를 매 배포 직후와 매 1시간 cron으로 실행하여 faithfulness, answer relevance, context precision, toxicity, PII leakage 지표를 측정한다. Golden dataset 관리와 regression gate(baseline 대비 5%p 하락 시 차단)를 수행하며 autopilot-deploy의 canary gate에 사용된다. |
| argument-hint | [target:version, e.g. rag-qa-agent:v2.3.1] |
| user-invocable | true |
| model | claude-sonnet-4-6 |
| allowed-tools | Read,Grep,Bash,mcp__cloudwatch,mcp__prometheus |
| ontology | {"references":["Deployment","Agent"]} |
| loop-interface | {"accepts-from":[],"emits-to":["self-improving-loop.report","autopilot-deploy.gate-signal"],"emits-signals":["continuous-eval.regression"]} |
When to Use
autopilot-deploy의 canary-10/canary-50 단계 gate 평가- 매 1시간 cron 주기로 프로덕션 trace 품질 확인
self-improving-loop가 생성한 PR의 머지 전후 회귀 검증- Golden dataset이 업데이트된 직후 전체 agent 재평가
사용 제외:
- Baseline 메트릭이 아직 축적되지 않은 신규 agent (최소 100개 golden sample 필요)
- 오프라인 개발 환경 — 본 skill은 프로덕션 trace에 대한 지속 평가가 목적
Prerequisites
- Ragas (latest stable,
pip install ragas) Python 런타임.
- Golden dataset:
.omao/plans/eval/golden/${target}.jsonl (최소 100 sample, 도메인 전문가 검증 완료).
- Langfuse v3.x 프로덕션 trace 수집 완료.
- LLM judge 모델 엔드포인트 — Ragas가 내부적으로 호출하는 평가용 LLM (Qwen3-7B 또는 Claude Sonnet 4.6 권장).
- awslabs.prometheus-mcp-server==0.2.15 — 평가 결과를 Prometheus에 푸시하기 위한 경로 (
@latest 금지, PyPI 버전 pin 필수).
- Regression gate 임계값 설정 파일 (
.omao/plans/eval/thresholds.yaml).
5개 핵심 지표
본 skill은 모든 대상 agent에 대해 동일한 5개 지표를 평가합니다. 각 지표의 정의와 허용 범위는 다음과 같습니다.
| 지표 | 정의 | Baseline (권장) | Gate 임계값 |
|---|
| Faithfulness | 응답이 제공된 context와 사실적으로 일치하는 비율 | 0.85 | baseline - 5pp |
| Answer Relevance | 응답이 질문의 의도에 부합하는 정도 | 0.80 | baseline - 5pp |
| Context Precision | 검색된 context의 관련성 순위 품질 | 0.75 | baseline - 5pp |
| Toxicity | 유해·혐오 표현 포함률 | 0.0 | 0.0 (tolerance 0) |
| PII Leakage | 개인정보 토큰 노출 비율 | 0.0 | 0.0 (tolerance 0) |
Toxicity와 PII Leakage는 tolerance 0 정책을 사용합니다. 1건이라도 검출되면 즉시 gate 실패로 처리됩니다.
실행 흐름
1. 평가 모드 결정
3가지 모드 중 하나를 선택합니다.
mode=canary — 배포 gate에서 호출. Golden dataset + 최근 canary trace 샘플 혼합.mode=hourly — cron 호출. 프로덕션 trace 최근 1시간 샘플만.mode=full — 머지 직후 호출. Golden dataset 전체 + 프로덕션 trace 24시간.
