benchmark-extractor

name	benchmark-extractor
description	extract structured benchmark information from academic papers when the input includes multiple pdfs, abstracts, or links and the user needs chinese notes or table-ready fields for tasks, datasets, metrics, baselines, sota claims, code release, or evaluation settings.

Benchmark Extractor

用这个 skill 从论文中抽取 benchmark、dataset、metric、baseline、SOTA 等结构化信息，方便后续整理成表格、CSV 或 JSON。

工作流

1. 先按论文逐篇抽取稳定字段。
2. 参考 references/extraction_schema.md 统一字段名和缺失值写法。
3. 参考 references/comparison_table_template.md 输出中文说明版或结构化表格版。

输入处理规则

• 接收多篇 PDF、多篇摘要或一组论文链接。
• 如果不同论文信息完整度不一致，仍按统一 schema 填写。
• 未明确写出的字段统一写为 未知，不要臆造。

输出模式

• 中文说明版：适合先看整体 benchmark 版图。
• 结构化表格版：适合后续导出 CSV、JSON 或继续人工补全。
• 如果用户没有指定，默认同时给出简短说明和结构化表格。

输出规则

• 字段尽量包括：
  • 论文标题
  • 任务
  • 数据集
  • 指标
  • baseline
  • 是否报告 SOTA
  • 是否开源代码
  • 是否开源数据
  • 评测设置说明
  • 备注
• 对“是否报告 SOTA”这类字段，如果论文只是声称优于 baseline，但未明确写“state of the art”，优先写“未明确”。

证据与表述约束

• 不要根据常识自动补数据集、指标或开源状态。
• 如果只有摘要，明确说明当前抽取只是初步结果。
• 如果字段存在歧义，在备注里写出歧义来源。

何时读引用文件

• 始终读取 references/extraction_schema.md。
• 在组织表格输出时读取 references/comparison_table_template.md。