Menu
使用统一指标和随机种子创建或运行 baseline 与论文方法的公平对比实验。
Install with Codex or Claude Copy this prompt, paste it into Codex, Claude, or another assistant, and let it review the skill page and install it for you.
Based on SOC occupation classification
在不修改训练主循环的前提下，为 ReproFlow 添加或配置评估指标。
在遵守 ReproFlow 模型、配置、数据和 trainer 契约的前提下，添加新的深度学习模型或 baseline。
使用配置、doctor 检查、日志和生成文件诊断 ReproFlow 运行失败。
通过数据 YAML、adapter/Dataset 契约和 doctor 检查，把自定义数据集接入 ReproFlow。
在 ReproFlow 中复现机器学习论文，把 docs/papers 中的论文转成方法插件、配置、adapter/trainer 选择、smoke check 和公平对比实验。
| name | reproflow-run-fair-experiment |
| description | 使用统一指标和随机种子创建或运行 baseline 与论文方法的公平对比实验。 |
当用户需要比较 baseline、论文方法、调参结果或消融实验时，使用这个 skill。
创建或修改 configs/experiment/<name>.yaml：
experiment_name: <name>
data: <dataset>
trainer: <trainer>
training_loop: default
metrics: default
seeds: [42, 43, 44]
monitor_metric: val_auc
monitor_mode: max
benchmark_metric: roc_auc
methods:
- name: traditional_ml
type: ml_benchmark
primary_metric: roc_auc
- name: paper_method
type: deep_learning
model: paper_method
先 dry-run：
python scripts/experiment/run_experiment.py configs/experiment/<name>.yaml --dry-run --max-runs 2
再正式运行：
python scripts/experiment/run_experiment.py configs/experiment/<name>.yaml
生成汇总报告：
python scripts/reports/generate_experiment_report.py
seed_controls_data_split: false。