| name | auto-research-zh |
| description | 将长周期、开放式、研究型和优化型任务组织为带记分卡、实验日志和保留或回退决策的约束式迭代循环。适用于需要依靠持续探索、度量和 frontier 管理推进,而不适合一次性完成的任务。 |
Auto Research 中文版
概述
这个 skill 的目标,是把模糊、野心大、路径不清晰的任务,转换成一个受约束的研究循环。它是一个执行流程 skill,不绑定单一领域。
触发条件
当以下条件大部分成立时,触发这个 skill:
- 任务天然需要多轮推进,而不是一次完成。
- 最优方法未知,需要通过实验或调查发现。
- 任务存在可比较的主指标、评分规则或判断标准。
- agent 可以安全地进行小步试验并比较结果。
- 任务进展需要被结构化记录,供后续轮次继承。
以下情况不要触发:
- 简单的一次性任务。
- 完全没有可衡量进展标准的任务。
- 高频自主试验会带来明显风险的任务。
需要具体触发样例时,读 references/examples.md。
快速工作流
如果任务足够复杂,先复制这份 checklist 并跟踪进度:
Auto Research Progress:
- [ ] Step 1: 定义 scorecard
- [ ] Step 2: 建立 baseline
- [ ] Step 3: 排出 2-5 个假设
- [ ] Step 4: 运行一个有边界的 round
- [ ] Step 5: 记录结果并决定 keep/discard/retry/escalate
- [ ] Step 6: 更新 frontier summary
Step 1: 行动前先定义研究循环
在做大量动作之前,先定义:
- Objective:真正要达成的结果。
- Primary metric:比较轮次优劣的主指标。
- Guardrails:预算、时间、安全、品牌、法律、审批等边界。
- Action surface:agent 被允许改动的部分。
- Frozen surface:必须保持稳定、不能随意改动的部分。
- Episode size:单轮实验预算。
- Stop conditions:何时暂停、升级、或交还给人。
如果任务具有外部风险,副作用动作必须先审批。例如:发消息、花钱、对外发布、金融动作、注册账号、联系用户。
如果要为新目标创建研究工作区,使用 scripts/init_loop.py 初始化标准目录。
Step 2: 先建立基线
先做一次最便宜但诚实的 baseline。不要在不知道当前状态时就开始优化。
至少记录:
- 初始假设
- baseline 指标
- 当前瓶颈
- 最值得优先验证的 2-5 个假设
Step 3: 用短回合迭代
每一轮都遵守同一个模式:
- 选择一个假设。
- 做最小但有意义的改动。
- 运行实验、调查或执行步骤。
- 把结果写入循环日志。
- 决定
keep、discard、retry 或 escalate。
优先选择许多便宜的小轮次,而不是一次大改。Action surface 要够窄,保证结果仍然可解释。
Step 4: 只基于证据前进
只有在以下情况之一成立时才保留改动:
- 主指标确实变好
- 在不损害目标的前提下,复杂度、可靠性或成本明显更优
以下情况应丢弃或回退:
- 指标变差
- 结果不确定,但引入了更多复杂度
- 改动违反 guardrail
- 本轮实验本身不干净,应重新运行
Step 5: 维护 frontier
每进行几轮,就压缩总结一次当前 frontier:
- 哪些方向明确有效
- 哪些方向明确无效
- 还剩哪些关键问题
- 下一批最优先的假设
不要让循环滑向随机游走。每一轮都应该要么推进 frontier,要么明确淘汰一条分支。
关键决策点
- 如果任务没有可用主指标,先定义 rubric,再开始实验。
- 如果任务会产生明显副作用,先设计 loop,再把执行动作挂到审批点后面。
- 如果单轮变化太多,先拆成更小轮次。
- 如果 evaluator 不断变化,要么冻结它,要么显式开新 track。
反馈回路
在把某一轮标记为 keep 之前,检查:
- 这一轮是否只改变了一个主要变量?
- 本轮 evaluator 是否和之前可比?
- 结果是否真的写进日志了?
- 新增复杂度是否值得保留?
- frontier summary 是否应该更新?
运行规则
- 优化的是研究循环,不只是单个产物。
- 评估器尽量保持稳定。
- 严格区分可编辑面和冻结面。
- 每一轮都应便宜、可逆、可比较。
- 日志要足够清晰,确保别的 agent 可以接手。
- 当任务依赖外部变化事实时,优先联网并引用一手来源。
- 在高风险任务里,默认更强的审批和更紧的约束。
资源
- 需要完整设计哲学、记分卡方法、决策规则时,读
references/loop-design.md
- 需要模板时,读
references/templates.md
- 需要触发样例或重构样例时,读
references/examples.md
- 要初始化一个新的研究工作区时,使用
scripts/init_loop.py