| name | scholar-evaluation |
| description | 学术作品的结构化评估,用于论文、提案、文献综述、方法部分、证据质量、引文支持和研究写作反馈。 |
| origin | community |
学术评估
使用此技能以可重复的评分标准评估学术或科学作品。
何时使用
- 审查研究论文、提案、论文章节或文献综述。
- 检查声明是否有引用证据支持。
- 评估方法论、研究设计、分析或局限性。
- 比较两篇或多篇论文的质量或相关性。
- 为修订生成结构化反馈。
评估范围
首先识别产物类型:
- 实证研究论文
- 理论论文
- 技术报告
- 系统性或叙述性文献综述
- 研究提案
- 学位论文或论文章节
- 会议摘要或短论文
然后选择范围:
- 全面:所有评分维度
- 定向:一两个维度,如方法或引文
- 比较:对多个作品使用相同评分标准进行排名
评分标准
对每个适用维度从 1 到 5 打分:
- 5:优秀;清晰、严谨、达到发表水平
- 4:良好;需要小幅改进
- 3:合格;有明显差距但可用
- 2:较弱;需要大幅修改
- 1:差;存在重大有效性或清晰度问题
对不适用的维度使用 N/A。
1. 问题和研究问题
- 问题描述是否清晰具体?
- 贡献是否有意义?
- 范围和假设是否明确?
- 问题是否与声称的贡献匹配?
2. 文献和背景
- 是否涵盖了相关的先前工作?
- 是否进行了综合而非仅仅罗列来源?
- 差距是否准确识别?
- 近期和基础性来源是否平衡?
3. 方法论
- 方法是否回答了研究问题?
- 设计选择是否有论证?
- 变量、数据集、参与者或材料描述是否清晰?
- 另一个研究者是否可以重复该工作?
- 伦理和实际约束是否被承认?
4. 数据和证据
- 数据来源是否可信且合适?
- 样本量或语料覆盖是否充足?
- 纳入、排除和预处理决定是否有文档记录?
- 是否讨论了缺失数据和偏见风险?
5. 分析
- 统计、定性或计算方法是否合适?
- 基线和对照组是否公平?
- 是否在需要时包含不确定性、敏感性或稳健性检查?
- 是否考虑了替代解释?
6. 结果和解释
- 结果呈现是否清晰?
- 声明是否控制在证据范围内?
- 图表和指标是否易懂?
- 负面或无效结果是否被诚实处理?
7. 局限性和有效性威胁
- 局限性是否具体而非泛泛?
- 是否涵盖了内部、外部、构念和结论有效性风险?
- 论文是否区分了推测和已证明的结果?
8. 写作和结构
- 论点是否易于跟随?
- 各节是否围绕研究问题组织?
- 定义和符号是否清晰?
- 语调是否精确且学术?
9. 引文
- 引用论文是否支持附带的声明?
- 是否在可能的地方使用了原始来源?
- 综述是否标记为综述?
- 预印本是否标记为预印本?
- 引文元数据和链接是否正确?
审查流程
- 阅读摘要、引言、图表和结论,了解声称的贡献。
- 阅读方法和结果,评估证据质量。
- 将最强声明与引用来源核对。
- 对每个适用维度打分。
- 区分关键阻碍问题和修订建议。
- 以具体的下一步修改结束。
输出模板
# 学术评估:<产物>
## 总体评估
- 总体分数:<1-5 或 N/A>
- 置信度:<高 | 中 | 低>
- 摘要:<3-5 句话>
## 维度评分
| 维度 | 分数 | 证据 | 修订优先级 |
| --- | ---: | --- | --- |
| 问题和研究问题 | | | |
| 文献和背景 | | | |
| 方法论 | | | |
| 数据和证据 | | | |
| 分析 | | | |
| 结果和解释 | | | |
| 局限性 | | | |
| 写作和结构 | | | |
| 引文 | | | |
## 关键问题
## 推荐修订
## 需要的证据检查
常见陷阱
- 不要用分数代替具体反馈。
- 不要因为论文省略了超出其范围的维度而惩罚它。
- 不要将引文数量、发表场所或作者声誉视为质量的证明。
- 不要仅仅因为声明出现在摘要中就接受无支撑的声明。