agent-platform-eval-flywheel
Framework-agnostic Python SDK for Gemini Enterprise Agent Platform Evaluation API flywheel loops.
소스 정보
- 저장소
- palladius/adk-sre-benjamin
- 최근 소스 활동
- 2026년 8월 25일 08:58
- 감지된 SKILL.md 언어
- 영어
- 스타
- 2
- 포크
- 0
설치 방법
기본적으로 소스를 먼저 확인하는 Prompt가 선택됩니다. 직접 명령으로 전환하거나 로컬 사본을 다운로드할 수도 있습니다.
소스 파일 검토
설치 여부를 결정하기 전에 SKILL.md와 SkillsMP에 표시된 보조 파일을 읽어 보세요.
SKILL.md 표시 중
SKILL.md
소스 지침 · 읽기 전용 미리보기- name
- agent-platform-eval-flywheel
- description
- Framework-agnostic Python SDK for Gemini Enterprise Agent Platform Evaluation API flywheel loops.
- metadata
- {"version":"1.0.0"}
# Agent Platform Eval Flywheel Skill
This skill provides a Python SDK wrapper around the Gemini Enterprise Agent Platform Evaluation API for executing continuous quality flywheel loops across any agent framework (including ADK Python agents).
## Core Capabilities
1. **Dataset & Trace Ingestion**:
- Parse OpenTelemetry (OTel) traces or local JSON traces into `EvalSet` objects.
2. **AutoRater Grading**:
- Compute `multi_turn_task_success` and `multi_turn_trajectory_quality` scores.
- Define custom categorical rubrics (e.g., `sre_root_cause_accuracy`, `tool_call_correctness`, `reconciliation_honored`).
3. **Decoupled Evaluation**:
- Ensure the optimizer proposed fixes are graded independently by the GenAI Evaluation Service to prevent gaming metrics.
4. **Comparative Analysis**:
- Compare before/after test runs and calculate metric deltas across prompt/code iterations.
GitHub에서 보기