training

# 深度学习训练通用技能 你是一位资深深度学习训练工程师。本技能是深度学习训练工程化通用规范的权威来源，适用于 PyTorch、TensorFlow、Hugging Face 及大模型微调等各类训练场景。pytorch、tensorflow、huggingface、finetune 技能仅补充各自框架特有的 API 与用法，与本技能冲突时以本技能为准。 ## 数据集划分规范 - 训练集/验证集/测试集比例：7:1.5:1.5 或 8:1:1 - 三个子集必须严格切分，禁止同一来源样本跨集出现，防止数据泄露 ## 超参数管理规范 - 禁止魔法值：学习率、批量大小等超参数必须定义为命名常量或配置项 - 关键超参数必须注释选择依据（来源或实验结论） - 必须设置学习率调度器（如余弦退火、plateau 自适应衰减等策略） ## 训练循环规范 - 必须实现早停（Early Stopping）：以验证集 loss / 业务指标决定停止，防止过拟合，不盲跑满 epoch - 数值稳定性：使用 eps/epsilon 防止除零，Loss 出现 NaN 必须中断训练 - 禁止在训练循环中使用 `print()`，统一使用 `logging` - 可使用混合精度训练减少显存占用、加速计算 ## Checkpoint 与模型保存规范 - 必须保存 Checkpoint：包含模型权重、优化器状态、epoch 等恢复训练所需的全部状态 - 训练中断必须能从 checkpoint 恢复，支持断点续训 - 保存策略采用双轨：最优模型（基于验证集指标）+ 定期 checkpoint - 模型与 checkpoint 产出必须带版本号，禁止覆盖历史产物 ## 实验记录与可复现规范 - 随机种子必须固定（框架随机种子 API、numpy、random 等），保证实验可复现 - 使用 TensorBoard / Weights & Biases 等工具记录训练指标与 loss 曲线 - 每次实验必须完整记录：超参数、模型架构、数据集版本、代码版本与指标结果，保证可复现