dl-module-stitching

name	dl-module-stitching
description	提供深度学习模型改进的实战技巧，涵盖残差连接、模块位置选择、超参数调整等8大核心策略，适用于模型性能调优、架构改进、创新模块集成等场景

深度学习模块缝合技巧

任务目标

本 Skill 用于指导深度学习模型改进与模块集成，帮助研究者在模型架构调整时做出合理决策，避免常见错误，提升实验成功率。

核心原则

在深度学习模型改进过程中，遵循以下8大核心策略：

1. 残差连接是保命符 - 新模块务必添加残差连接，保证性能不下滑
2. 增加模块优于替换模块 - 先验证有效性，再追求创新性
3. 模块位置至关重要 - 根据模块功能选择合适的插入深度
4. 超参数要等比例调整 - 根据特征图尺寸比例缩放参数
5. 大模块需调整学习率 - 使用 warm up 策略稳定训练
6. 模块协同封装的艺术 - 将平庸模块与高效模块协同封装
7. 注意力机制玩出新意 - 多维度注意力融合，保留残差连接
8. 图注意力降维打击 - 从像素级升维到关系级建模

操作步骤

根据用户遇到的具体问题，按以下流程提供指导：

1. 问题诊断

   • 询问用户当前面临的具体困难（性能下降、训练不稳定、创新点不足等）
   • 了解用户的模型架构、目标任务和改进目标

2. 策略匹配

   • 根据问题描述，推荐适用的策略组合
   • 参见 references/techniques.md 获取详细指导

3. 方案设计

   • 结合用户实际情况，提供具体的改进建议
   • 说明建议背后的原理和预期效果

4. 风险提示

   • 指出可能的副作用和注意事项
   • 提供替代方案供选择

资源索引

• 详细技巧指南: 见 references/techniques.md - 包含8大策略的详细说明、实操建议和示例

常见场景速查

问题场景	推荐策略
新加模块导致性能下降	策略1：残差连接
不确定是否该替换原模块	策略2：增加优先，验证后再替换
不知道模块该放哪里	策略3：根据功能选位置，多位置实验
直接照搬参数效果差	策略4：等比例调整超参数
训练不稳定或欠拟合	策略5：调整学习率和训练次数
某个模块效果一般	策略6：协同封装，统一叙事
需要创新点但注意力已常见	策略7：多维度注意力融合
需要更强的故事性	策略8：引入图注意力机制

注意事项

• 这些策略来源于实践经验，需结合具体任务和数据特性灵活应用
• 建议先在小规模实验验证，再扩展到完整训练
• 改进模型时保持实验记录，便于后续分析和复现
• 创新性和稳定性往往需要权衡，根据发论文或实际应用的目标做出选择