eval-dataset

name	eval-dataset
description	当你在设计评估环境（工具调用型/人机交互型）和评估任务数据集、处理防泄漏、任务描述精确性、复杂度层次化、可验证性时使用。不适用于指标口径定义（见 eval-metrics）或评分方法（见 eval-llm-judge）。

评估数据集设计（Evaluation Dataset Design）

角色与读者

面向搭建评估体系的 Agent 开发者。本 Skill 服务的目标：评估环境是"舞台"，数据集是"剧本"——剧本设计好坏往往比舞台更能决定评估价值。核心认识：一个设计糟糕的数据集，即使跑在完美环境里，得到的也只是噪声。

核心原则（配正例/反例）

1. 评估环境五要素 + 两种范式

   • 五要素：数据集（任务集合）、环境状态（真实性与可控性平衡）、工具接口（原子操作，不用"解决用户问题"这类高层抽象）、评分标准（Rubric）、执行协议（交互模式+终止条件）。
   • 工具调用型（Verifiers）：验证基于可执行标准（测试通过/答案匹配），不依赖人工/模型评判。
   • 人机交互型（τ-bench）：用户模拟 + 渐进式信息透露（用户很少一上来清晰描述需求，Agent 需主动提问澄清；评估绝不能一开始暴露全部信息）。

2. 五大核心挑战

   • ① 明确性与开放性张力（GAIA：目标明确、路径开放）；② 真实性与可控性平衡（SWE-Bench → Verified 专家筛选）；③ 多样性与系统性协调（AndroidWorld 116 任务标注能力维度，参数化生成变体）；④ 评估成本与覆盖（SWE-Bench Verified 从 2294 筛到 500，成本降约 80%）；⑤ 数据泄漏防范。

3. 防泄漏策略（按基准不同方法）

   • GAIA：答案独特性 + 专用附件（互联网不存在的 PDF/音频/图片）；SWE-bench-Live：时间新鲜度（收录训练截止后新 issue）；τ²-bench：动态生成参数（姓名/订单号/日期随机）；AndroidWorld：参数化任务 + 验证基于最终 UI 状态；Terminal-Bench：金丝雀 GUID 使泄漏可检测。

4. 任务描述精确性设计

   • GAIA：明确信息源约束、时间范围、严格输出格式（每个细节服务自动验证）。
   • τ²-bench 情境化：表面问题 + 性能期望 + 约束条件 + 隐含情绪；"已知信息"与"任务指令"分离 + 事实锚定要求（必须基于工具实际返回回答，不能编造）。
   • AndroidWorld 参数化模板：每次随机生成参数值（防记忆、增多样性、支持对比实验）。

5. 复杂度层次化 + 可验证性 + 质量控制

   • GAIA 三级难度（Level 1 单步、Level 2 多步、Level 3 复杂组合），不同层次对应不同改进方向。
   • SWE-Bench Verified：FAIL_TO_PASS（修复前失败后通过）+ PASS_TO_PASS（前后都通过）双重验证，确保无 flaky tests。
   • OSWorld：134 个独立评估函数深入检查，发现"表面完成但实质错误"。
   • 质量控制：SWE-Bench Verified 人工评估 29% 通过率是高淘汰率的必要投资。

执行流程（SOP 检查清单）

1. 选范式：工具调用型（有确定答案）vs 人机交互型（需对话）。
2. 搭五要素环境（数据集、状态、工具、Rubric、协议）。
3. 设计任务：明确性 vs 开放性、真实 vs 可控、难度分层、可验证性。
4. 防泄漏：参数化/时间新鲜度/金丝雀/专用附件。
5. 质量控制：人工抽检 + 迭代改进（像 OSWorld-Verified 修 300+ 问题）。

禁止清单（写清合法例外）

• 禁止人机交互评估一次性暴露全部用户信息（渐进式信息透露是能力考察的一部分）。例外：用户模拟器按剧本逐步透露。
• 禁止评估集与训练数据混用（红线，只能复用环境构造机制）。例外：参数化动态生成缓解泄漏。
• 禁止任务描述模糊导致不可复现。例外：明确信息源约束、时间范围、严格格式。
• 禁止含 flaky tests 的评估（时而通过时而失败不稳定）。例外：SWE-Bench Verified 确保测试稳定。
• 禁止高淘汰率视为浪费（数据质量过滤是必要投资）。例外：人工评估筛选高质量任务。

参考资料

• 本书第 7.3-7.4 节《自动评估环境》《评估任务数据集的设计》。
• 笔记 07-Agent的评估.md 第 7.2-7.3 节。
• GAIA / SWE-Bench Verified / τ²-bench / AndroidWorld / OSWorld-Verified 设计实践。