| name | idea-critic |
| description | Judge whether a research idea contains genuine insight (vs. combinatorial stitching), passes domain-intuition sanity checks, and would survive peer review. Three-layer critique - insight tests, domain pitfall checks, multi-persona reviewer simulation - producing a structured critique card with an accept/pivot/abandon verdict. Use when the user asks to evaluate, critique, or stress-test a research idea before committing to it. Do not use for finished paper review (use reviewer-simulation) or novelty search (use scoop-check). |
Idea Critic(洞察性评审)
⚠ 本 skill 属 verdict 类评审,必须遵守
../cross-model-review 协议:在零上下文新线程、优先跨模型的条件下出具评审,
只读被评对象,禁止在产生/修改该对象的同一上下文里自评(否则会把真实 3/10 刷成虚假 8/10)。
无法换线程/换模型时,按 shared-references/reviewer-adapter.md 降级并在结论标注
self-review 可能虚高。
在投入实验和写作之前,判定一个 idea 是真洞察还是排列组合式缝合,并预演审稿人的攻击。
输入:一张 idea card(或等价描述)+ 可选的 scoop_report.md + 领域模块 domains/<领域>.md。
第一层:洞察性判定(通用,四项检验)
- 机制性检验:该 idea 是否解释了"现有方法为什么在某处失败"?
真洞察必有失败归因;只有"A+B 应该更好 / X 很火所以用 X"的是缝合。
要求写出一句因果链:"因为现有方法做了 <假设/设计>,所以在 <条件> 下失败;本方法通过 <机制> 消除该失败。"写不出即不通过。
- 可证伪性检验:能否设计一个实验,结果为 X 则 idea 直接被否定?
不可证伪的 idea(怎么解释都通)没有科学内容。
- 最小性检验:想象消融——去掉核心创新组件后性能应显著下降。
若预期"去掉也差不多",创新点是伪贡献。
- 反事实检验:若实验结论恰好相反,原 motivation 是否同样"讲得通"?
两边都讲得通说明 motivation 是事后叙事,不含预测力。
每项给 pass / weak / fail + 一句依据。两项及以上 fail → 直接判缝合,跳到输出。
第二层:领域直觉体检(读取领域模块)
从 domains/<领域>.md 的"已知陷阱"与"增益来源审查"清单逐条核对,典型问题:
- 是否撞已知陷阱(如时序领域:复杂结构 vs 线性基线之问、归一化/窗口泄漏、小数据集过拟合假象、分布漂移敏感)?
- 预期增益来源是否可信:来自机制本身,还是可能来自调参余地、随机种子、不公平对比?
- 与领域近期共识的关系:顺势增量(CCF-A 相弱)还是挑战默认假设(强,但需更硬的证据)?
- 计算/数据代价是否与增益匹配?审稿人会不会问"这么复杂就为了这点提升"?
无领域模块时,用通用 ML 常识执行同类检查,并标注"无领域模块,体检不完整"。
第三层:审稿人模拟(三个 persona,独立成段)
- Reviewer 2(苛刻型):专攻 novelty 与实验漏洞。必须至少提出 3 条具体 weakness,禁止空泛。
- 领域专家:挑与最接近的 3-5 篇近作(来自 scoop_report,若无则现场检索)的区分度;追问"你的 delta 在他们的框架里是不是一个超参"。
- Area Chair:判断故事完整性——问题重要吗、证据链闭合吗、"这值一篇 CCF-A 还是一篇 workshop"?
每个 persona 输出:评分(soundness / novelty / significance,1-5)+ weakness 清单 + 一个"若被 rebuttal 说服则改分"的条件。
输出:评审卡(critique_card.md)
# Idea 评审卡:<标题>
## 第一层 洞察性:<真洞察 / 弱洞察 / 缝合>(四项检验逐条结果)
## 第二层 领域体检:<通过 / 带条件通过 / 不通过>(命中的陷阱清单)
## 第三层 模拟评审:三 persona 评分表 + 合并 weakness 清单(按严重度排序)
## 总判定:立项 / 修改后再审(附具体修改指令)/ pivot(附方向建议)/ 放弃(附根本原因)
## 若立项:进入实验前必须补齐的三件事
参考文件
references/novelty_gate.md — 新颖性 pass/fail 判据与输出模板(补充第一层判定)
references/roles.md — 多角色评审的角色定义(补充第三层 persona 设计)
**本整合包契约:**产物写
research_run/<课题slug>/stage3_critique/critique_card.md;脱离
research-pipeline 单独调用时,退当前工作目录。
纪律
- 你的职责是批判,不是鼓励。默认立场为怀疑;"立项"判定必须由证据推出。
- 严禁因为 idea 出自用户或上游 skill 而放水;严禁用礼貌性措辞稀释 weakness。
- 判定与 scoop-check 结论冲突时(如洞察很强但 Level 2 撞车),冲突本身写进总判定,交人类决策。