메뉴
Channel.io 봇의 RAG 응답 품질을 Playwright로 자동 테스트합니다.
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | evaluate-rag |
| description | Channel.io 봇의 RAG 응답 품질을 Playwright로 자동 테스트합니다. |
| args | <channel-url> <company-or-questions-path> [count] |
| args_description | channel-url: 테스트 대상 Channel.io URL (예: qd713.channel.io, qd5l9.channel.io) company-or-questions-path: 회사명(kamoa, kmong 등) 또는 질문 JSON 파일 경로 - 회사명 입력 시: data/{company}/test-questions.json 자동 탐색, 없으면 FAQ에서 생성 - 파일 경로 입력 시: 해당 파일을 직접 사용 (예: ./my-questions.json) count (선택): 테스트할 질문 수 제한. 미지정 시 전체 실행 |
/evaluate-rag <channel-url> <company-or-questions-path> [count]
예시:
/evaluate-rag qd5l9.channel.io kmong — 크몽 전체 FAQ 테스트/evaluate-rag qd713.channel.io kamoa 10 — 카모아 10개만 테스트/evaluate-rag qd713.channel.io ./data/kamoa/test-questions.json — 질문 파일 직접 지정두 번째 인자가 .json으로 끝나거나 /를 포함하면 → 질문 파일 경로로 처리.
그 외 → 회사명으로 처리.
URL이나 두 번째 인자가 없으면 물어본다:
경로 직접 지정 시: 해당 파일을 그대로 사용.
회사명 지정 시: data/{company}/test-questions.json 존재 여부 확인.
/Users/pete/Documents/sop-agent/results/{company}/02_extraction/faq.json 읽기data/{company}/test-questions.json에 저장count 지정 시: 질문 파일에서 상위 N개만 선별하여 임시 파일 생성 후 사용.
질문 생성 시 평가 기준:
should_ask: true (정보 수집 필요)node data/rag-tester.js --url {channel-url} --questions {questions-path}
test-rag-results.jsontest-rag-report.html테스트 완료 후:
open 명령으로 브라우저에서 연다.data/
├── rag-tester.js # 범용 테스트 러너
├── kmong/
│ ├── test-questions.json # 크몽 질문 (25개)
│ ├── test-rag-results.json # 결과
│ └── test-rag-report.html # 리포트
├── kamoa/
│ ├── test-questions.json # 카모아 질문 (46개)
│ ├── test-rag-results.json
│ └── test-rag-report.html
└── {company}/ # 새 회사 추가 시 자동 생성
회사별 FAQ 데이터:
/Users/pete/Documents/sop-agent/results/{company}/02_extraction/faq.json
지원 구조:
{ "faq_pairs": [...] } — kmong 형식 (faq_id, question, answer, keywords, frequency){ "faq_by_topic": { "TOPIC": [{ "q": "...", "a": "..." }] } } — kamoa 형식This sop executes automated clustering and tagging of customer support chat data through a Python pipeline, producing clustered data, cluster tags, and a comprehensive analysis report for Stage 2 (Pattern Extraction). The agent orchestrates the Python clustering script, monitors execution, validates outputs, and generates an analysis report to guide subsequent extraction work. **Language:** Auto-detects Korean (한국어) or Japanese (日本語) from user input.
Generate an ALF implementation package from all pipeline outputs. Produces rules draft, RAG knowledge items, dialog type cross-analysis heatmap, automation feasibility analysis, ROI calculation, task flowcharts (05_sales_report/tasks/), API requirements doc, and final ALF implementation guide. **Language:** Auto-detects Korean (한국어) or Japanese (日本語) from user input.
Split rules_draft.md into individual rule files and expand rag_items.md into standalone RAG knowledge documents for direct ALF registration.
Generate a client-facing deployment scenario and QA set from pipeline outputs (Stages 1-6). Maps consultation categories to resolution methods (RAG/Task) and deployment steps, with test queries per category. Outputs HTML + Markdown, optionally publishes to Notion.
Complete end-to-end pipeline for transforming Excel customer support data into production-ready Agent SOP documents, flowcharts, ALF implementation package, individual ALF registration files, and client-facing deployment scenario through 7 stages.
Task JSON 품질 평가. 검증 및 품질 점수를 제공합니다.