| name | cjc-experiments |
| description | 在为投向《计算机学报》(Chinese Journal of Computers, CJC) 的长文设计与呈现实验、评估或理论验证时调用。覆盖如何按贡献类型(算法/系统/理论/实证/学习类)匹配证据、如何设立评估问题与公平基线、如何选数据集与指标、如何做消融与显著性分析、如何报告均值方差与统计检验而非单点最优、如何防数据泄漏与评测污染、以及如何用图表在长文中充分而不冗余地呈现结果。适用于让计算机全学科中文原创研究的实验部分经受本刊三审专家对"数据充分真实、结论可信"的审查。 |
《计算机学报》实验设计与呈现
《计算机学报》(Chinese Journal of Computers, CJC) 要求来稿"数据充分、真实"，外审专家会实质性追问
实验是否足以支撑结论。作为 CCF A 类综合性中文长文期刊，CJC 给了充分篇幅展开实验，但也因此对
证据与主张的匹配度要求更高。本技能给出面向 CJC 的实验设计与呈现方法。核验日期 2026-07-09，
与 cjc-reproducibility 配套使用。
一、先立评估问题，再做实验
好的实验部分从**评估问题(RQ)**开始，而非直接堆表格。为每个贡献点设一个可回答的问题，例如：
- RQ1：所提方法在 <任务> 上是否优于 <代表性基线>？优多少？
- RQ2：各模块对性能的贡献如何（消融）？
- RQ3：方法在 <规模/噪声/分布变化> 下是否稳健？
- RQ4：开销（时间/内存/通信）是否可接受？
每个 RQ 后面对应一组实验与一张主表/主图，形成"问题—证据"闭环。
二、按贡献类型匹配证据
| 贡献类型 | 关键证据 | 常见陷阱 |
|---|
| 算法/方法 | 与强基线的公平对比 + 消融 + 复杂度 | 只比弱基线、无消融 |
| 系统/体系结构 | 真实负载下的吞吐/延迟/资源，端到端 | 只报微基准、无真实工作负载 |
| 理论 | 严格证明 + 必要的数值验证 | 只有定理无验证或反之 |
| 实证研究 | 足量真实样本 + 可靠标注 + 统计分析 | 样本小、标注无信度 |
| 学习类 | 公平划分 + 多次运行 + 污染排查 | 测试集调参、单次最优、数据泄漏 |
三、公平基线与设置
- 强基线：选当前有代表性、可比的方法，而非精心挑选的弱对手；说明基线的实现/来源与调参方式。
- 同等条件：数据、评测协议、算力对所有方法一致；不给自己方法额外调参预算。
- 超参数透明：报告搜索范围与最终取值，避免"魔法数字"。
四、数据集与指标
- 数据集选择有代表性、被同行认可者；自采数据说明采集与清洗（见
cjc-reproducibility）。
- 指标与任务匹配，报告能反映真实优劣的核心指标，必要时给多指标；避免只报对自己有利的单一指标。
- 明确训练/验证/测试划分，禁止用测试集调参。
五、统计严谨性
- 对随机性敏感的结果报告多次运行的均值±标准差，不用单次最好值。
- 关键对比做显著性检验，说明检验方法、样本与显著性水平。
- 报告效应量/提升幅度并讨论其实际意义，而非仅"提升 0.1% 即宣称更优"。
六、消融与稳健性
- 消融实验：逐一移除/替换关键模块，量化各自贡献，支撑"每个设计都必要"的主张。
- 稳健性：在规模、噪声、分布漂移、超参数扰动下考察稳定性。
- 失败案例：分析方法何时失效，比只报成功更能取信外审。
七、机器学习/数据挖掘的污染防范
- 排查数据泄漏（未来信息/测试信息泄入训练）。
- 使用大模型或公开预训练资源时警惕评测污染，必要时做污染分析或独立评测集。
- 缓存昂贵中间结果，保证可重放（见
cjc-reproducibility）。
八、长文中的结果呈现
- 主结果进正文用代表性表图，完整表进附录（见
cjc-supplementary）。
- 三线表、清晰图；每个图表都有正文解读，不放"只出现不讨论"的图表。
- 图表题名中英文规范，量与单位用法定计量单位（见
cjc-writing-style）。
九、自查清单
十、RQ → 表 的写作样例
把评估问题、实验、结论显式绑定，读者与外审能顺着读：
RQ1：在 <任务T> 上，本文方法是否优于代表性基线？
—— 我们在数据集 D 上与 5 个基线在相同划分与算力下比较(表2)。
—— 结论：本文方法在 4/5 指标上显著更优(配对检验, p<0.05)，平均相对提升 x%；
在指标 M 上与最强基线持平，原因是 …（诚实讨论边界）。
写作要点：先问题、后证据(指明表号)、再结论并主动讨论不占优的情形——坦诚边界比一味宣称全面
领先更能取信《计算机学报》(Chinese Journal of Computers, CJC) 的外审专家。
十一、计算开销与可扩展性
- 报告时间、内存、通信/能耗等开销，与精度提升一起权衡；只报精度不报代价会被追问。
- 系统类工作给出在不同规模/负载下的可扩展性曲线，说明瓶颈与拐点。
- 与基线比较时开销口径一致（同硬件、同实现质量），避免"拿自己优化过的实现比别人未优化的"。
十二、结果的诚实呈现
- 不挑选有利随机种子或有利数据子集；报告完整设置下的结果。
- 负结果与失败案例有分析价值，可增强可信度，而非隐藏。
- 图表不误导：坐标轴不截断制造夸张差距，误差棒与显著性如实标注。
十三、实验部分终检
输出格式
[RQ] RQ1:___ RQ2:___ RQ3:___（问题-证据闭环）
[基线] 强基线且同条件？超参数透明？是/否
[数据/指标] 代表性数据、任务匹配指标、划分固定？是/否
[统计] 均值±方差 + 显著性 + 效应量？是/否
[消融/稳健] 各模块必要性 + 稳健性 + 失败分析？是/否
[污染] 数据泄漏/评测污染 排查：通过/待改
[呈现] 主结果进正文、图表均有解读？是/否
