eval-analyst

Deep analysis of ADK eval results with failure pattern identification and improvement suggestions

خيارات التثبيت

يُحدَّد Prompt الذي يراجع المصدر أولًا بشكل افتراضي. يمكنك التبديل إلى أمر مباشر أو تنزيل نسخة محلية.

التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.

يتجاوز الأمر المباشر Prompt المخصّص للمراجعة. افحص المصدر قبل تشغيله.

npx skills add https://github.com/jb-612/mortgage_concierge --skill eval-analyst

يبقى الأمر في سطر واحد. مرّر أفقيًا لمراجعته كاملًا قبل النسخ.

تفضّل نسخة محلية؟ نزّل الملفات المتاحة حاليًا لدى SkillsMP.

اقرأ SKILL.md وأي ملفات مرافقة يعرضها SkillsMP قبل أن تقرر التثبيت.

SKILL.md

تعليمات المصدر · معاينة للقراءة فقط

Scaffold a new ADK function tool with TDD lifecycle and eval case addition

Adversarial testing loop inspired by autoresearch. Generate adversarial cases, run against agent, evaluate, accumulate findings.

Three-pass code review checking prerequisites, code quality, and test/eval coverage

name	eval-analyst
description	Deep analysis of ADK eval results with failure pattern identification and improvement suggestions
argument-hint	[eval-output-path \| 'latest']
allowed-tools	Read, Bash, Glob, Grep

Analyze: $ARGUMENTS

Run eval or read saved results
Categorize failures:
- Tool trajectory: wrong tool called, wrong arguments, missing tool call
- Response match: missing information, incorrect values, wrong format
Identify patterns:
- Which tools are most often called incorrectly?
- Which query patterns cause failures?
- Are failures correlated with specific prompt sections?
Suggest improvements:
- Prompt adjustments for tool selection issues
- Eval case updates for response match issues
- New eval cases for uncovered scenarios
Create regression test cases from failure patterns
Compare against previous baselines for trend tracking