agent-platform-eval-flywheel
Framework-agnostic Python SDK for Gemini Enterprise Agent Platform Evaluation API flywheel loops.
Informações da origem
- Repositório
- palladius/adk-sre-benjamin
- Última atividade na origem
- 25 de agosto de 2026 às 08:58
- Idioma detectado do SKILL.md
- inglês
- Estrelas
- 2
- Forks
- 0
Opções de instalação
Por padrão, está selecionado o prompt que primeiro revisa a origem. Você pode mudar para um comando direto ou baixar uma cópia local.
Revise os arquivos de origem
Leia o SKILL.md e os arquivos complementares exibidos pelo SkillsMP antes de decidir se vai instalar.
Exibindo SKILL.md
SKILL.md
Instruções da origem · Visualização somente leitura- name
- agent-platform-eval-flywheel
- description
- Framework-agnostic Python SDK for Gemini Enterprise Agent Platform Evaluation API flywheel loops.
- metadata
- {"version":"1.0.0"}
# Agent Platform Eval Flywheel Skill
This skill provides a Python SDK wrapper around the Gemini Enterprise Agent Platform Evaluation API for executing continuous quality flywheel loops across any agent framework (including ADK Python agents).
## Core Capabilities
1. **Dataset & Trace Ingestion**:
- Parse OpenTelemetry (OTel) traces or local JSON traces into `EvalSet` objects.
2. **AutoRater Grading**:
- Compute `multi_turn_task_success` and `multi_turn_trajectory_quality` scores.
- Define custom categorical rubrics (e.g., `sre_root_cause_accuracy`, `tool_call_correctness`, `reconciliation_honored`).
3. **Decoupled Evaluation**:
- Ensure the optimizer proposed fixes are graded independently by the GenAI Evaluation Service to prevent gaming metrics.
4. **Comparative Analysis**:
- Compare before/after test runs and calculate metric deltas across prompt/code iterations.
Ver no GitHub