Menu
LLM 모델별 비용 분석 및 티어 변경 시뮬레이션. 비용 분석, 모델 비용, OpenAI 비용, 토큰 비용, cost analysis 요청 시 사용. 모델 변경 검토나 비용 최적화가 필요할 때 사용.
Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.
Based on SOC occupation classification
| name | analyze-llm-cost |
| description | LLM 모델별 비용 분석 및 티어 변경 시뮬레이션. 비용 분석, 모델 비용, OpenAI 비용, 토큰 비용, cost analysis 요청 시 사용. 모델 변경 검토나 비용 최적화가 필요할 때 사용. |
RAG 파이프라인의 각 단계별 LLM 모델 사용량과 비용을 분석하고, 모델 변경 시 비용/품질 영향을 시뮬레이션합니다.
application.yml에서 현재 설정을 읽습니다:
# backend/app-api/src/main/resources/application.yml
openai:
model:
chat-heavy: ${OPENAI_CHAT_MODEL_HEAVY:gpt-5-mini}
chat-medium: ${OPENAI_CHAT_MODEL_MEDIUM:gpt-4.1-mini}
chat-light: ${OPENAI_CHAT_MODEL_LIGHT:gpt-5-nano}
embedding: ${OPENAI_EMBEDDING_MODEL:text-embedding-3-large}
@Value("${openai.model.chat-*}") 어노테이션을 검색하여 각 서비스가 어떤 티어를 사용하는지 파악합니다:
grep -rn 'openai.model.chat-' backend/app-api/src/main/java/
각 서비스의 프롬프트와 입출력 크기를 분석합니다:
backend/app-api/src/main/resources/prompts/모델별 가격표 ($/1M tokens, 2026.03 기준 추정):
| 모델 | Input | Output |
|---|---|---|
| gpt-5-mini | ~$1.10 | ~$4.40 |
| gpt-4.1-mini | ~$0.40 | ~$1.60 |
| gpt-4o-mini | ~$0.15 | ~$0.60 |
| gpt-5-nano | ~$0.10 | ~$0.40 |
가격은 변동될 수 있으므로 최신 OpenAI pricing 페이지를 확인하세요.
다양한 모델 조합의 비용을 비교합니다:
분석 결과를 다음 형태의 테이블로 제공합니다:
| 서비스 | 현재 모델 | 입력 토큰 | 출력 토큰 | 현재 비용 | 변경 비용 |
|---|---|---|---|---|---|
| ComposeStep | gpt-5-mini | ~14K | ~3K | $0.029 | ... |
모델 다운그레이드 시 품질 리스크를 서비스 복잡도에 따라 평가합니다:
| 복잡도 | 서비스 | 다운그레이드 위험 |
|---|---|---|
| 높음 | ComposeStep (장문 답변 + 인용) | 인용 누락, 톤 불일치 위험 |
| 높음 | CriticAgent (할루시네이션 검출) | 오탐/미탐 증가 위험 |
| 중간 | VerifyStep (사실 검증) | 판정 정확도 소폭 하락 |
| 낮음 | Reranking (점수 매기기) | 거의 영향 없음 |
| 낮음 | HyDE/QueryTranslation (변환) | 거의 영향 없음 |
| File | Purpose |
|---|---|
backend/app-api/src/main/resources/application.yml | 모델 티어 설정 |
backend/app-api/src/main/resources/prompts/ | 프롬프트 파일 (토큰 추정용) |
backend/app-api/src/main/java/.../interfaces/rest/ | OpenAI 서비스 클래스들 |
세션 변경사항을 분석하여 검증 스킬 누락을 탐지합니다. 기존 스킬을 동적으로 탐색하고, 새 스킬을 생성하거나 기존 스킬을 업데이트한 뒤 CLAUDE.md를 관리합니다.
REST API 응답 DTO 일관성 및 에러 코드 표준 검증. API 엔드포인트 추가/수정, DTO 변경, 에러 처리 수정 후 사용. API 계약 변경이 프론트엔드에 영향을 줄 수 있을 때 사용.
Flyway DB 마이그레이션 일관성 검증. 마이그레이션 추가/수정 후 사용.
프론트엔드 UI 컴포넌트 품질 검증 (shadcn/ui + Tailwind 기준). UI 컴포넌트 수정 후 사용.
KB 비동기 인덱싱 파이프라인 검증. 인덱싱 관련 코드 수정 후 사용.
RAG 파이프라인 (답변 작성 + 분석 + 다운로드) 검증. 답변 작성/분석/다운로드 관련 코드 수정 후 사용.