Menu
使用统一指标和随机种子创建或运行 baseline 与论文方法的公平对比实验。
Installer avec Codex ou Claude Copiez ce prompt, collez-le dans Codex, Claude ou un autre assistant, puis laissez-le vérifier la page du skill et l'installer pour vous.
Basé sur la classification professionnelle SOC
在不修改训练主循环的前提下，为 ReproFlow 添加或配置评估指标。
在遵守 ReproFlow 模型、配置、数据和 trainer 契约的前提下，添加新的深度学习模型或 baseline。
使用配置、doctor 检查、日志和生成文件诊断 ReproFlow 运行失败。
通过数据 YAML、adapter/Dataset 契约和 doctor 检查，把自定义数据集接入 ReproFlow。
在 ReproFlow 中复现机器学习论文，把 docs/papers 中的论文转成方法插件、配置、adapter/trainer 选择、smoke check 和公平对比实验。
| name | reproflow-run-fair-experiment |
| description | 使用统一指标和随机种子创建或运行 baseline 与论文方法的公平对比实验。 |
当用户需要比较 baseline、论文方法、调参结果或消融实验时，使用这个 skill。
创建或修改 configs/experiment/<name>.yaml：
experiment_name: <name>
data: <dataset>
trainer: <trainer>
training_loop: default
metrics: default
seeds: [42, 43, 44]
monitor_metric: val_auc
monitor_mode: max
benchmark_metric: roc_auc
methods:
- name: traditional_ml
type: ml_benchmark
primary_metric: roc_auc
- name: paper_method
type: deep_learning
model: paper_method
先 dry-run：
python scripts/experiment/run_experiment.py configs/experiment/<name>.yaml --dry-run --max-runs 2
再正式运行：
python scripts/experiment/run_experiment.py configs/experiment/<name>.yaml
生成汇总报告：
python scripts/reports/generate_experiment_report.py
seed_controls_data_split: false。