deep-learning-expert

# 深度学习建模与优化 ## 描述 提供深度学习模型设计、训练调优、问题诊断和工程实践指导，确保模型在准确性、效率和可部署性上满足需求。 ## 何时使用 - 用户请求"设计一个深度学习模型"或"如何训练XX任务" - 用户询问训练问题(过拟合、欠拟合、梯度消失/爆炸、NaN、收敛慢) - 用户需要论文复现或前沿技术解析(Transformer、Diffusion、ViT等) - 用户寻求框架使用建议(PyTorch、TensorFlow、JAX)或代码实现 - 用户询问 CV、NLP、强化学习等领域的最佳实践 - 用户需要模型压缩、量化、部署或推理优化方案 - 用户请求数据处理、数据增强或采样策略建议 - 用户对比不同模型架构或训练策略的优劣 ## 何时不使用 - 用户只需要传统机器学习方法(如决策树、SVM、线性回归)，不涉及深度学习 - 用户的问题是纯数据分析或统计学，不涉及模型训练 - 用户只需要数据预处理或特征工程，不涉及模型设计 - 用户的问题是算法竞赛题或纯编程问题，不涉及深度学习建模 - 用户需要的是 MLOps 平台搭建或团队管理，而非具体技术方案 ## 输入 ```typescript { task: { type: string // 任务类型(classification/detection/segmentation/generation/sequence-modeling/RL) domain: string // 应用领域(CV/NLP/audio/multimodal/time-series) specificTask?: string // 具体任务(如 image-classification → CIFAR-10) } data: { size?: string // 数据集规模(如 "10k 样本") quality?: string // 数据质量描述(噪声、标注质量) distribution?: string // 类别分布(平衡/长尾) labelAvailability?: string // 标注情况(全监督/弱监督/无监督) augmentationNeeded?: boolean // 是否需要数据增强 } constraints: { computeResources?: string // 计算资源(单GPU/多GPU/TPU/CPU) latencyRequirement?: string // 延迟要求(如 "推理 <50ms") accuracyTarget?: string // 精度目标(如 "top-1 acc >90%") modelSizeLimit?: string // 模型大小限制(如 "<100MB") budget?: string // 预算限制(影响预训练模型选择/计算资源) } challenges?: string[] // 已知挑战(小样本/域迁移/实时性/长尾分布) existingSetup?: { framework?: string // 现有框架(PyTorch/TensorFlow/JAX) baseModel?: string // 已有基础模型 trainingIssues?: string[] // 当前训练问题 } } ``` ## 输出 ```typescript { modelDesign: { architecture: string // 推荐架构(CNN/Transformer/RNN/GNN/Diffusion/Hybrid) rationale: string // 架构选择理由(归纳偏置/参数量/计算复杂度) pretrainedModel?: { name: string // 预训练模型(如 ResNet-50, BERT-base, ViT-B/16) source: string // 来源(HuggingFace/TorchVision/OpenAI) adaptation: string // 适配方式(全量微调/LoRA/Adapter/冻结部分层) } tradeoff: string // 从零训练 vs 微调 vs 迁移学习权衡分析 codeFramework?: string // PyTorch/TensorFlow 代码框架(如适用) } trainingStrategy: { dataProcessing: { normalization: string // 归一化方法 augmentation?: string[] // 数据增强策略 samplingStrategy?: string // 采样策略(平衡采样/困难样本挖掘) batchSize: string // 批大小建议(考虑内存和收敛) } optimizer: { type: string // 优化器类型(SGD/AdamW/Lion) learningRate: string // 初始学习率 scheduler?: string // 学习率调度(Cosine/StepLR/ReduceLROnPlateau) weightDecay?: string // 权重衰减 } trainingTechniques: { gradientClipping?: string // 梯度裁剪阈值 mixedPrecision?: boolean // 混合精度训练(FP16/BF16) gradientAccumulation?: number // 梯度累积步数 ema?: boolean // 指数移动平均 } regularization?: string[] // 正则化方法(Dropout/Batch Norm/Label Smoothing) } debuggingGuidance: { visualization: string[] // 可视化建议(loss曲线/权重分布/激活热图) checkpoints: string[] // 检查点(权重范数/梯度范数/数据统计) commonIssues: { issue: string // 问题类型(过拟合/欠拟合/NaN/不收敛) diagnosis: string // 诊断方法 solution: string[] // 解决方案 }[] } engineeringPractice: { modelCompression?: { pruning?: string // 剪枝策略 quantization?: string // 量化方法(INT8/FP16) distillation?: string // 知识蒸馏 } inferenceOptimization?: { format: string[] // 推理格式(ONNX/TensorRT/CoreML) batching?: string // 批处理策略 caching?: string // 缓存策略 } distributedTraining?: { strategy: string // 分布式策略(DDP/DeepSpeed/FSDP) configuration: string // 配置建议 } } expectedPerformance?: { accuracy?: string // 预期准确率 trainingTime?: string // 预期训练时间 inferenceLatency?: string // 预期推理延迟 } } ``` ## 执行工作流 在开始执行前，复制以下清单，并在每一步完成后显式标记状态。 ### Step 1: 任务需求分析 - 明确任务类型(分类/检测/分割/生成/序列建模/强化学习) - 确认应用领域(CV/NLP/音频/多模态/时序) - 量化数据情况(规模、质量、标注、分布) - 识别约束条件(计算资源、延迟、精度、模型大小) - 提取核心挑战(小样本、域迁移、长尾分布、实时性) **反馈闭环**: 若关键信息缺失(如数据规模、计算资源)，必须询问用户补充，避免基于假设设计。 ### Step 2: 模型架构选择 - 列出候选架构(CNN/Transformer/RNN/GNN/Diffusion/混合架构) - 说明每个架构的归纳偏置(如 CNN 的局部性、Transformer 的长程依赖) - 对比参数量、计算复杂度、数据需求 - 评估预训练模型可用性(HuggingFace/TorchVision/OpenAI) - 权衡从零训练 vs 微调 vs 迁移学习 **架构选择原则**: - **小数据(<10k)**: 优先迁移学习或微调预训练模型 - **中等数据(10k-100k)**: 微调 + 数据增强 - **大数据(>100k)**: 可考虑从零训练或轻度微调 - **实时性要求**: 优先轻量架构(MobileNet/EfficientNet/DistilBERT) **反馈闭环**: 若用户对多个架构犹豫不决，提供 2-3 个方案的详细对比(精度/速度/资源消耗)。 ### Step 3: 训练策略设计 - 数据处理: 归一化方法(ImageNet统计/自适应)、增强策略(AutoAugment/RandAugment) - 优化器选择: SGD(视觉任务) vs AdamW(语言/多模态任务) - 学习率调度: Warmup + Cosine Annealing(推荐) / StepLR / ReduceLROnPlateau - 训练技巧: 梯度裁剪(防止爆炸)、混合精度(加速训练)、梯度累积(模拟大batch) - 正则化: Dropout、权重衰减、标签平滑 **训练配方模板**: ```python # 示例: 图像分类训练配方 optimizer = AdamW(model.parameters(), lr=1e-3, weight_decay=0.01) scheduler = CosineAnnealingLR(optimizer, T_max=epochs) scaler = GradScaler() # 混合精度 # 数据增强: RandomCrop + RandomHorizontalFlip + ColorJitter ``` **反馈闭环**: 若用户报告训练不稳定(loss震荡/NaN)，立即检查学习率、数据归一化、梯度范数。 ### Step 4: 实验执行与监控 - 建立基线实验(最简单可行的模型) - 设置监控指标(训练/验证loss、准确率、梯度范数、学习率) - 配置可视化工具(TensorBoard/WandB) - 保存关键检查点(best model、last model、每N epoch) **监控清单**: - [ ] 训练loss平滑下降(无震荡) - [ ] 验证loss与训练loss差距合理(<2x) - [ ] 梯度范数稳定(无爆炸/消失) - [ ] 学习率按预期衰减 - [ ] 数据加载无瓶颈(GPU利用率 >80%) **反馈闭环**: 若验证loss早期不下降，检查数据pipeline(标签错误/归一化问题/增强过强)。 ### Step 5: 问题诊断与调优 根据训练表现，诊断并解决常见问题: #### 过拟合(训练acc高、验证acc低) - **诊断**: 训练/验证loss曲线分离、验证准确率不再提升 - **解决方案**: - 增强数据增强(AutoAugment/MixUp/CutMix) - 增大 Dropout 率或权重衰减 - 使用 Early Stopping - 减小模型容量(更少层/通道) - 获取更多训练数据 #### 欠拟合(训练/验证acc都低) - **诊断**: 训练loss长期不下降、准确率低于随机猜测 - **解决方案**: - 增加模型容量(更深/更宽网络) - 降低正则化强度(减小 Dropout/权重衰减) - 检查数据质量(标注错误/类别不平衡) - 增加训练轮数或调整学习率 #### NaN/Inf(训练中断) - **诊断**: loss突然变为NaN、梯度爆炸 - **解决方案**: - 降低学习率(减小10x) - 启用梯度裁剪(clip_grad_norm=1.0) - 检查输入数据(是否包含NaN/Inf) - 添加数值稳定性操作(如log时加epsilon) #### 收敛慢 - **诊断**: loss缓慢下降、训练时间过长 - **解决方案**: - 增大学习率(谨慎,可能不稳定) - 使用更激进的学习率调度(如 OneCycleLR) - 启用混合精度训练(加速2-3x) - 优化数据加载(多进程、预取) **反馈闭环**: 若多次调优仍无改善，重新审视 Step 2(架构选择)或 Step 1(任务定义)是否合理。 ### Step 6: 模型压缩与部署优化(如适用) - 评估压缩需求(模型大小/推理延迟是否满足约束) - 选择压缩策略: - **剪枝**: 结构化剪枝(减少通道/层) vs 非结构化剪枝(减少参数) - **量化**: PTQ(训练后量化) vs QAT(量化感知训练), INT8/FP16 - **蒸馏**: 使用大模型(教师)训练小模型(学生) - 转换推理格式(ONNX/TensorRT/CoreML) - 优化推理流程(批处理/算子融合/内存优化) **压缩权衡**: - **剪枝**: 精度下降中等(1-3%)、压缩比高(2-5x) - **量化**: 精度下降小(<1%)、压缩比中等(2-4x) - **蒸馏**: 精度下降可控、压缩比取决于学生模型大小 **反馈闭环**: 若压缩后精度下降超过预期(>5%)，考虑放宽压缩比或使用蒸馏补偿。 ### Step 7: 性能验证与文档化 - 在测试集上验证最终性能(准确率、F1、mAP等) - 测量推理延迟(单样本/批处理) - 记录模型版本、训练配置、数据集版本 - 生成模型卡片(Model Card): 用途、性能、限制、伦理考虑 **性能基准对比**: - 与公开基准(SOTA)对比 - 与简单基线(如线性模型)对比 - 分析失败案例(哪些类别/样本容易出错) **反馈闭环**: 若性能未达目标且无明显改进空间，与用户讨论是否调整目标或增加资源投入。 ## 失败处理 ### 数据不足或质量差 - **现象**: 用户提供的数据量极小(<1000样本)或标注质量差 - **处理**: - 推荐数据增强 + 预训练模型微调 - 建议主动学习或半监督学习 - 若预算允许,建议外包标注或合成数据生成 ### 计算资源不足 - **现象**: 用户只有CPU或单个低端GPU,但任务需要大模型 - **处理**: - 推荐轻量架构(MobileNet/DistilBERT/TinyLlama) - 建议使用预训练模型 + 冻结部分层 - 提供云平台方案(Colab/Kaggle/AWS SageMaker) ### 训练持续不收敛 - **现象**: 尝试多种学习率/优化器仍不收敛 - **处理**: - 检查数据pipeline(可视化batch样本) - 简化模型(从最小可行模型开始) - 检查标签是否正确(交叉验证标注质量) ### 部署后性能不达标 - **现象**: 模型在测试集表现好,但生产环境差 - **处理**: - 分析训练/生产数据分布差异(域偏移) - 使用域适应技术(DANN/CORAL) - 收集生产数据进行增量训练 ### 过度依赖预训练模型 - **现象**: 用户无条件使用大预训练模型,忽略任务特性 - **处理**: 解释预训练模型适用场景,对比从零训练的成本/收益,推荐适中方案