| name | idea-eval |
| description | Use when the user has one or more concrete research ideas and wants a strict reviewer-style evaluation before investing further, with emphasis on novelty, theory-practice linkage, implementation cost, story quality, and whether the idea tackles a genuinely hard problem. |
Idea Eval
Overview
这个 skill 的定位不是继续“润色 idea”，而是对一个具体 idea 做严格但平衡的可行性评估。
默认立场：
- 不预设接受，也不预设拒绝
- 先看 idea 是否成立，再看它是否值得投入
- 审稿人视角只是其中一个评估切面，不是唯一切面
- 不因为表达漂亮、包装完整、术语高级就给高分
- 不因为“有点新”就忽略它是否真的重要
核心目标有五个：
- 判断这个 idea 是否值得继续投入
- 给出一个明确的
Feasibility Score
- 区分“核心强点”和“装饰性包装”
- 找出它最可能被卡住的原因
- 在必要时给出最小修正路径，而不是重新发散成另一个 idea-generator
This Skill Is For
- 用户已经有了一个相对具体的 research idea
- 用户想在投入理论推导、实验实现、写作包装之前先做严格筛选
- 用户需要从审稿人视角判断 novelty、理论深度、成本、story、problem hardness
- 用户希望知道这个 idea 更像：
- 值得主推的强题
- 只值得做一个便宜 MVP 的备选题
- 需要重构的问题定义
- 应该直接砍掉的题
This Skill Is NOT For
- 不要把它当成点子生成器
- 不要把它当成大幅度改写 idea 的工具
- 不要把它当成“帮忙把弱题包装成强题”的话术器
- 不要在方向还很模糊时直接使用；那种情况先用
idea-filter
Relationship To Other Skills
推荐组合关系：
idea-filter -> idea-eval -> check-idea -> write-paper
idea-filter：解决“该往哪些方向找”idea-eval：解决“这个具体 idea 值不值得做”check-idea：解决“这个存活下来的 idea 如何展开理论、实验与批判性审视”write-paper：解决“如何写成论文”
如果用户拿来的是多个候选 idea，优先先用本 skill 做严格筛选，再把 surviving idea 交给 check-idea。
Core Principles
1. Evaluate Before Repair
先评价 idea as is，再考虑是否值得修。
不要一上来就帮它补洞。
如果一个 idea 必须经过大规模重写才能成立，那么原始 idea 大概率就不够好。
2. Novelty Is About Core Contribution, Not Surface Form
判断新颖度时，不要看标题、术语和表面形式，要问：
- 去掉包装以后，真正新的东西还剩什么？
- 它是在解决新的问题、发现新的 failure mode、提出新的机制解释，还是只是换一种讲法？
- 如果把名字换掉，这个 idea 还成立吗？
3. Theory Must Touch Practice
理论深度不是“有没有公式”，而是：
- 理论是否直接支撑核心主张
- 理论是否解释实验现象或方法有效性的关键机制
- 理论是否真的能联系实践 setting，而不是脱离任务本体
如果理论只能起装饰作用，明确降权。
4. Feasibility Matters
默认偏好：
- 几小时可做 MVP
- 1-3 天内可完成主实验闭环
- 不依赖大模型训练、重 infra、重采样、重标注
- 不靠大量 baseline 堆出来
如果 idea 的成立依赖高成本验证，默认严格降权。
5. Story Is A Research Asset, Not Cosmetic Makeup
好的 story 不是修辞，而是结构清楚：
问题定义 -> 为什么现有做法不够 -> 你的 insight -> 为什么它该 work -> 如何验证 -> 理论/机制如何支撑
如果一个 idea 只能写成“我们又试了一个小技巧”，那 story 就是弱的。
6. Hard Problem First
优先奖励真正碰硬问题的 idea：
- 解决一个关键瓶颈
- 暴露一个重要 failure mode
- 修正一个被默认接受但失真的评测目标
- 解释一个社区误解的机制
不要高估那种“数字上也许能涨一点，但问题本身不硬”的题。
Input
可接受输入：
- 一段 idea 描述
- 一个标题 + 摘要式说明
- 用户已有的研究草稿
- 从
idea-filter 输出的候选
- 多个候选 idea 的并列列表
默认输出文件：
如果用户指定了其他路径，按用户要求覆盖默认路径。
如果文件已存在，更新对应 section，不要无脑追加重复版本。
Evaluation Rubric
总分不是唯一依据。
先看 critical risks，再看五维评分，再计算 feasibility score，最后再给 verdict。
Critical Risk Conditions
出现以下问题时，要明确标成高风险，但不要自动直接终止评估。
只有当多个核心风险同时成立，或某一项明确使主张不可验证时，才建议 Kill：
- novelty 主要来自小改 prompt / 小改 pipeline / 小修补 baseline
- 贡献本质上是“把已知方法搬到另一个任务”
- 理论无法与核心实证主张发生实质联系
- 没有明确的 hard problem，只是一个轻量局部技巧
- 主实验在用户资源约束下明显不可行
- 需要大量 baseline、ablation、复杂工程才能站住
- 一旦一个关键实验不 work，整篇论文几乎直接崩塌
Five Main Dimensions
| Dimension | Weight | What to judge |
|---|
Novelty / Community Value | 0.30 | 是否有真正新的核心贡献，以及社区是否会在意 |
Theory Depth / Theory-Practice Link | 0.20 | 理论是否真正支撑实践主张，而不是装饰 |
Implementation Cost / Feasibility | 0.20 | 是否能在低资源、短周期内完成有效验证 |
Story / Paper Shape | 0.15 | 是否能形成清晰完整的论文叙事闭环 |
Hard Problem Fit | 0.15 | 是否真的在解决难题，而不是解决边角问题 |
Penalties
以下问题需要额外扣分：
Baseline treadmill penalty：必须靠大量对比才显得成立Sensitivity penalty：对 prompt / model / data 分布过度敏感Ablation burden penalty：需要大量消融才能勉强解释Workshop-only penalty：更像小观察、小修补、小迁移，而不是 main-track 题Decorative-theory penalty：理论写得出来，但不支撑主张
Feasibility Score
最终必须输出一个 Feasibility Score (0-100)。
计算原则：
- 先按五个主维度计算加权主分：
Main Score = 10 * weighted average
- 再减去 penalty：
- 轻度 penalty：
-3
- 中度 penalty：
-7
- 重度 penalty：
-12
- 如果存在明确致命风险，但仍未到直接
Kill，可额外做 -5 到 -15 的 critical risk adjustment
- 最终分数裁剪到
0-100
解释区间：
85-100: 高可行性，值得继续推进70-84: 可行，但有明确风险，适合谨慎推进55-69: 边界可行，建议先做低成本 MVP40-54: 原始形态不够强，建议重构0-39: 不建议继续投入
Score Anchors
对每个主维度按 0-10 打分，并保持严格标准：
9-10: 很强，明显有顶会主线潜力7-8: 有明显价值，但仍有几个关键风险点5-6: 有一定研究味道，但主线不够硬或不够稳3-4: 很勉强，通常只适合局部尝试或重构0-2: 基本不成立，或价值明显不足
注意：
6/10 不是“还不错”，而是明显不够强- 只要 hard problem 不成立，再高的包装分也不应救活它
- 如果理论只是 ornament，理论维度必须低分
Execution Workflow
必须按以下顺序执行，不要跳步。
Phase 1: Idea Normalization
先把 idea 压缩成一个最小、可审查的对象：
- 这个 idea 的核心 claim 是什么
- 它声称的核心贡献是什么
- 它依赖的关键假设是什么
- 它要解决的难题到底是什么
- 它要靠什么证据证明自己
如果连这五点都无法清晰写出，先明确指出：
idea object is not yet well-formed。
Phase 2: Critical Risk Screen
逐条检查 critical risk conditions，并给出：
如果出现明显 Fail，不要急着继续美化，先说明最核心的风险点。
但除非它已经明显不可做，否则仍然继续完成后续评分。
Phase 3: Five-Dimension Review
对五个主维度逐项打分，并且每项都要包含：
- 分数
- 给高分或低分的具体原因
- 这一维最核心的证据
- 这一维最危险的反方论据
特别要求：
Novelty / Community Value
必须回答：
- 核心贡献到底新在哪里
- 如果拿掉包装，这个贡献还剩什么
- 社区为什么会在意
- 它是“新且重要”，还是“新但不重要”，还是“看起来新但其实不新”
Theory Depth / Theory-Practice Link
必须区分：
核心理论支柱：没有它，论文主张明显变弱装饰性理论包装：有更好，没有也不影响主结论
Implementation Cost / Feasibility
必须判断：
- MVP 是否能在几小时内做
- 主实验是否能在 1-3 天内闭环
- 是否依赖重训练 / 重 infra / 重 API / 重 baseline
- 是否有一个最便宜但足以 falsify 的实验
Story / Paper Shape
必须判断：
- 是否能自然讲成一篇 paper，而不是东拼西凑
- 论文主线是否闭环
- 是问题驱动，还是“我有个方法想找地方塞”
Hard Problem Fit
必须判断：
- 它解决的是不是一个真正 tricky 的问题
- 这个问题是否具有一般性、代表性或关键性
- 它是在修复核心缺陷，还是只是在边角处做优化
Phase 4: Reviewer Simulation
从严苛审稿人的角度，必须输出：
Strongest accept caseStrongest reject case- 最可能出现的 3 个 reviewer objections
- 如果只能用一句话否掉这个题，最可能的一票否决理由是什么
- 哪个关键实验一旦失败，这个题最伤
注意：这一阶段只是补充压力测试，不能取代总评估。
最终结论仍然要回到 feasibility score 和五维主评估。
Phase 5: Minimal Salvage Plan
只有在 idea 仍有保留价值时，才做修正建议。
修正建议必须最小化，只能包括：
- 一个最值得尝试的重构方向
- 一个最小理论支柱
- 一个最便宜的 decisive MVP
- 如主线不够强，是否可转成：
- diagnosis paper
- framework paper
- evaluation / benchmark correction paper
- negative result / failure mode paper
不要在这里重新发散出 10 个新 idea。
Final Verdict Labels
最终只能落到以下四类之一：
-
Invest
-
Cheap MVP First
-
Reframe
- 原始 idea 不够强，但问题内核还有价值
- 必须改问题定义 / 主张 / story 才值得继续
-
Kill
默认映射关系：
85-100 -> 优先 Invest70-84 -> Invest 或 Cheap MVP First55-69 -> 优先 Cheap MVP First40-54 -> 优先 Reframe0-39 -> 优先 Kill
如果 score 与文字判断冲突，必须显式解释为什么。
Output Format
对每个 idea，按以下结构输出到 idea_eval.md：
# Idea Evaluation
## 1. Idea Snapshot
- Title:
- Core claim:
- Intended contribution:
- Target hard problem:
- Required evidence:
## 2. Preliminary Verdict
- Feasibility Score: X/100
- Verdict: Invest / Cheap MVP First / Reframe / Kill
- Confidence: High / Medium / Low
## 3. Critical Risk Screen
| Check | Result | Notes |
|-------|--------|-------|
## 4. Five-Dimension Review
| Dimension | Score | Weight | Weighted | Key reason |
|-----------|-------|--------|----------|------------|
## 5. Penalties
| Penalty | Severity | Notes |
|---------|----------|-------|
## 6. Score Summary
- Main weighted score:
- Penalty deduction:
- Critical risk adjustment:
- Final Feasibility Score:
## 7. Core Strengths
- ...
## 8. Fatal Weaknesses
- ...
## 9. Reviewer Simulation
- Strongest accept case:
- Strongest reject case:
- Top 3 objections:
- One-line reject reason:
- Most dangerous failed experiment:
## 10. Theory Assessment
- Core theory pillar:
- Decorative theory layer:
- Theory-practice linkage judgment:
## 11. Feasibility Assessment
- Cheapest decisive MVP:
- Main experiment cost:
- Major engineering burden:
- Failure cost:
## 12. Story Assessment
- Problem -> gap -> insight -> validation loop:
- Is this a real paper story or a technique-looking-for-a-task?
## 13. Minimal Salvage Plan
- Best reframe:
- Minimal theory anchor:
- Minimal MVP:
- Alternate paper form:
## 14. Final Recommendation
- Decision:
- Why:
- Whether to pass into check-idea:
如果输入的是多个 idea：
- 先逐个评
- 再给一个横向排序
- 最后明确指出最值得保留的 top 1-3 个
Writing Style
- 用中文输出
- 允许保留必要英文术语，如
novelty, story, MVP, failure mode
- 语气必须严格、具体、克制
- 不要泛泛夸奖
- 每个正面判断都要给出明确理由
- 每个负面判断都要指出它伤在哪里
Common Mistakes
1. 把“看起来不一样”误判为 novelty
换术语、换模块位置、换任务表面形式，不等于核心贡献新。
2. 把“有公式”误判为理论深度
如果公式不解释关键机制、不支撑核心实验，它只是装饰。
3. 把“能做出来”误判为“值得做”
低成本是优点，但不是贡献本身。
便宜但无聊的题，仍然不值得做。
4. 把“故事能讲顺”误判为“问题够硬”
好讲不等于重要。
如果解决的问题本身不够关键，story 再顺也很难成为强题。
5. 把“可修”误判为“值得救”
很多题 technically 可以修，但修的成本已经接近重做一个新题。
这时应直接判 Kill 或 Reframe。
Key Rule
这个 skill 的第一职责是提高判断质量，而不是默认拒绝或默认放行。
如果一个 idea 的主要优点只是：
- 写法漂亮
- 看起来有点新
- 能做一个小实验
- 也许能涨一点数字
但它没有：
- 明确 hard problem
- 足够强的核心贡献
- 可连接实践的理论支撑
- 可闭环的论文叙事
那么它的 Feasibility Score 不应高，通常也不值得继续投入。
