Menu
跑 MailAgent 的 agent 行为回归网（零-LLM 硬闸 pytest + baseline compare）。改 chat agent 的 prompt/工具/编排引擎后必跑，总分不得低于 baseline。
Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.
Based on SOC occupation classification
| name | agent-eval |
| description | 跑 MailAgent 的 agent 行为回归网（零-LLM 硬闸 pytest + baseline compare）。改 chat agent 的 prompt/工具/编排引擎后必跑，总分不得低于 baseline。 |
| user_invocable | true |
改了 chat agent 的 prompt / 工具 / 编排引擎 后必跑。零 LLM、零网络，pytest ~0.1s。是「换 agent 引擎不回退」的金标准。
venv/bin/python -m pytest tests/agent_eval -q
tests/agent_eval/（让 import runner 解析到本副本）：
cd tests/agent_eval
../../venv/bin/python -m runner.run_baseline --candidate-traces runs/<branch>.jsonl --compare
--eval-root=tests/agent_eval、--traces=baselines/v0.13.0.jsonl，无需显式传。
../../venv/bin/python -m runner.run_baseline --validate../../venv/bin/python -m runner.run_baseline --run-id v0.13.0hard_pass = 无 R1–R8 violation）。hard_pass 数下降。baselines/v0.13.0.jsonl，27 tasks：20 pass / 7 fail，safety 4/4）。schema.md / recorder-contract.md）写的 eval/ 是旧路径，真实位置 = tests/agent_eval/。runner/judge.py --task <id> [--traces runs/<branch>.jsonl]；live recorder 需产品运行时。fixtures 全 .test 合成域，零真实 PII。src/agent_config/tests/agent_eval/tool_catalog.json（漏同步 → validate_catalog 漂移闸 FAIL）shared/chat / serve-api chat 端点 / harnesstests/agent_eval/ 自身（tasks/rubrics/runner/baseline）MailAgent 桌面 App 对外发布全流程（dogfood → bump → tag → CI → draft 转正 → 验证），内置嵌入 Python / better-sqlite3 ABI / build:web / torn-bundle 检查点。不可逆，仅手动触发。
SQLite schema 升级（bump DB_VERSION + idempotent migration + 一致性更新）
按项目 house style 生成 Sprint / 功能交接文档
系统化排查 MailAgent 服务问题
部署并验证 MailAgent 服务
快速服务健康检查（适合定时巡检）