eval-llm-judge

name	eval-llm-judge
description	当你要对开放式任务（无标准答案）自动评分、设计 Rubric、做失败归因、构建回归任务、或比较模型排名时使用；当需要判断分数差异是否真实可信（统计显著性）时使用。不适用于指标口径（见 eval-metrics）或数据集设计（见 eval-dataset）。

自动化评估方法（LLM-as-a-Judge）

角色与读者

面向需要规模化评估开放式任务的 Agent 开发者。本 Skill 服务的目标：用 LLM 自动化评判开放式任务输出质量，并让评分可信、可归因、可驱动修复。核心认识：评判模型可能有自己的偏见（最典型是长度偏差），且"通过了 grader"≠"任务完成了"。

核心原则（配正例/反例）

1. Rubric 四准则（Scale AI "Rubrics as Rewards"）

   • ① 基于专家指导（反映领域知识）；② 全面覆盖（含陷阱 Pitfall）；③ 按重要性加权（必要/重要/可选/陷阱，支持一票否决 Veto）；④ 评价标准自包含（可验证，避免"展示了深刻理解"这种抽象描述）。
   • 幻觉/安全违规设为一票否决项。主动防范 reward hacking（明确惩罚幻觉、讨好用户、关键词堆砌、回避棘手问题）。
   • 长度偏差防范：Rubric 显式惩罚冗长/规定长度上限；配对比较控制长度相近；定期审计评分与长度相关性。

2. 失败归因：定位首个错误，而非最后一个报错

   • 端到端评估只给"成功/失败"，要驱动修复必须标出：主要错误类别、首个错误步骤、对应工具调用/输出、可复核证据。
   • 后续错误是连锁反应，不能把最后一个报错当根因。归因记录结构化（JSON/YAML），区分根因与后果，给置信度。

3. 端到端回归 vs 轨迹前缀回归（两层互补）

   • 端到端回归：从初始状态完成整个任务，验证完整工作流不退化。
   • 轨迹前缀回归：冻结已有上下文/工具返回/环境状态，只要求模型输出下一步或下几步。答案定义为可接受动作集合（"先读规则""先询问用户""拒绝危险操作"）+ 禁止动作，而非唯一动作。对高可靠性生产 Agent 往往更重要。

4. 同源问题与多源评判（防古德哈特定律）

   • Agent 与评判模型同家族时，Agent 会学会钻评判模型漏洞。多源异构评判：不同模型家族的多个 LLM 分别评判（Agent 用 Claude，评判用 GPT-5+Gemini），不同家族偏见正交，难同时欺骗。
   • 部署阶段单一模型快速评估，定期多源评判质量审计。

5. 统计显著性：配对分析 + 分差超噪声 + 能复现

   • 标准误 SE≈√(p(1-p)/n)。100 用例 70% 成功率，95% 置信区间约 ±9 个百分点——"73% vs 70%"不足以支持切换。
   • 优先配对分析（逐题记录谁胜出，McNemar/配对 bootstrap），而非直接相减独立成功率；每配置多个随机种子。
   • 配对比较防范位置偏差：交换顺序各评一次取平均，或两次判决一致才计入。

执行流程（SOP 检查清单）

1. 设计多维 Rubric（四准则 + 一票否决 + 示例边界案例）。
2. 失败归因（定位首个错误，结构化记录）。
3. 构建回归任务（端到端 + 轨迹前缀边界）。
4. 多源异构评判打分。
5. 统计显著性检验（配对分析 + 置信区间），分差超噪声、配对成立、能复现才决策。

禁止清单（写清合法例外）

• 禁止用模糊总分代替逐项评分（"回应展示了深刻理解"无法客观判定）。例外：每档配可验证的具体行为。
• 禁止把最后一个报错当根因（应定位首个导致偏离的错误）。例外：失败归因区分根因与后果。
• 禁止用同源模型评判（古德哈特定律）。例外：多源异构评判；部署期单一模型快评 + 定期多源审计。
• 禁止"73% vs 70%"就切换（噪声带宽内）。例外：扩大样本后分差仍显著。
• 禁止配对比较忽略位置偏差。例外：交换顺序各评一次或随机化展示位置。
• 禁止通过 grader 就认定任务完成（评判器是意图的代理，训练越强越可能把代理当目标）。例外：最终判定交给模型写不了的隐藏测试/状态断言。

参考资料

• 本书第 7.5 节《自动化评估方法》（LLM-as-a-Judge、失败归因、端到端/轨迹前缀回归、配对比较与 Elo、统计显著性）。
• 笔记 07-Agent的评估.md 第 7.4-7.6 节。
• Scale AI "Rubrics as Rewards"；ICLR 2024《LLM Cannot Self-Correct Reasoning Yet》。