| name | ai-observability-evaluation |
| description | Standar observability dan evaluasi kualitas output AI. Gunakan saat membangun dashboard metrik AI, tracing, dan quality checks. |
AI Observability & Evaluation
Tujuan
Mengetahui apakah fitur AI:
- cepat,
- hemat biaya,
- stabil,
- berkualitas.
Metrik Inti
- Latency (p50/p95)
- Error rate per endpoint/model
- Token/cost per request (jika provider mendukung)
- Quality score (manual atau rule-based)
Workflow
- Definisikan KPI per use case.
- Log input/output metadata (tanpa data sensitif mentah).
- Buat dashboard + alert threshold.
- Jalankan evaluasi berkala pada sample tetap.
- Tindak lanjuti regresi sebelum rollout luas.
Checklist Minimum