experiment-runner

Standardized M2G-NET experiment pipeline: data check → train → evaluate → save results to docs/. Use when running training, ablation, baseline comparison, gate stability, or any multi-phase experiment on M2G-NET.

Aller à l'installation

Dépôt: Cuki2910/M2G-NET
Dernière activité de la source: 14 mai 2026 à 17:58
Langue détectée de SKILL.md: anglais
Étoiles: 1
Forks: 0

Options d'installation

Le prompt qui vérifie d'abord la source est sélectionné par défaut. Vous pouvez passer à une commande directe ou télécharger une copie locale.

Installer avec Codex ou Claude Copiez ce prompt, collez-le dans Codex, Claude ou un autre assistant, puis laissez-le vérifier la page du skill et l'installer pour vous.

Une commande directe contourne le prompt de vérification. Examinez la source avant de l'exécuter.

npx skills add https://github.com/Cuki2910/M2G-NET --skill experiment-runner

La commande reste sur une seule ligne. Faites défiler horizontalement pour la vérifier avant de la copier.

Vous préférez une copie locale ? Téléchargez les fichiers actuellement disponibles dans SkillsMP.

Vérifiez les fichiers source

Lisez SKILL.md et les fichiers associés affichés par SkillsMP avant de décider de l'installer.

SKILL.md

Instructions source · Aperçu en lecture seule

Retour à la recherche Retour à l’installation

# 1. Data integrity
python scripts/check_data.py

# 2. Tests pass
python -m pytest tests/ -q

# 3. Review config
# Open config.py — confirm paths, VIEW_COLS, hyperparameters match intent

python scripts/train.py

Script	Purpose	Output
`scripts/evaluate/temperature_scaling.py`	Calibrate model	calibration curve
`scripts/evaluate/ablation.py`	View/task ablation	ablation table
`baselines/run_all_baselines.py`	XGBoost, LightGBM	baseline table
`scripts/evaluate/gate_stability.py`	Gate prior sensitivity	stability report
`scripts/evaluate/repeated_runs_significance.py`	Statistical significance	p-values, CI

Script	When to run
`scripts/evaluate/leave_site_out.py`	Cross-site generalization
`scripts/evaluate/gate_prior_cv_sweep.py`	Hyperparameter sensitivity
`scripts/evaluate/fairness_calibration.py`	Fairness analysis
`scripts/evaluate/threshold_tuning.py`	Decision threshold optimization
`scripts/evaluate/test_on_independent_set.py`	Final held-out evaluation

docs/<EXPERIMENT_NAME>_RESULTS.md

config.py                          ← all hyperparams and paths
data/raw/synthetic_rider_data.csv  ← training data
data/test/independent_test_set.csv ← held-out test set
checkpoints/                       ← saved .pt files
outputs/                           ← CSV outputs
docs/                              ← human-readable result reports
.claude/pipeline-state.json        ← resume state for long runs

Symptom	Likely cause	Fix
ROC-AUC not improving	LR too high or gate temperature stuck	Check cosine annealing schedule in `train.py`
Gate weights collapse to uniform	Prior smoothing too strong	Reduce `gate_prior_strength` in `config.py`
Calibration curve far from diagonal	Temperature not fitted	Run `temperature_scaling.py` after training
Baseline outperforms M2G-NET	Feature leakage or data split issue	Re-run `check_data.py`, verify stratification

name	experiment-runner
description	Standardized M2G-NET experiment pipeline: data check → train → evaluate → save results to docs/. Use when running training, ablation, baseline comparison, gate stability, or any multi-phase experiment on M2G-NET.
tags	["m2g-net","experiment","training","evaluation","pipeline"]
version	1.0.0
user-invocable	true
allowed-tools	["Bash","Read","Write","Edit","Glob"]

name	experiment-runner
description	Standardized M2G-NET experiment pipeline: data check → train → evaluate → save results to docs/. Use when running training, ablation, baseline comparison, gate stability, or any multi-phase experiment on M2G-NET.
tags	["m2g-net","experiment","training","evaluation","pipeline"]
version	1.0.0
user-invocable	true
allowed-tools	["Bash","Read","Write","Edit","Glob"]

experiment-runner

Options d'installation

Vérifiez les fichiers source