pytorch-training
Best practices for building robust PyTorch training loops. Use when generating or reviewing ML training code.
Quellinformationen
- Repository
- aiming-lab/AutoResearchClaw
- Letzte Quellaktivität
- 23. März 2026 um 01:46
- Erkannte Sprache von SKILL.md
- Englisch
- Sterne
- 14.579
- Forks
- 1.698
Installationsoptionen
Standardmäßig ist der Prompt ausgewählt, der zuerst die Quelle prüft. Sie können zu einem direkten Befehl wechseln oder eine lokale Kopie herunterladen.
Quelldateien prüfen
Lesen Sie SKILL.md und alle von SkillsMP angezeigten Begleitdateien, bevor Sie sich für eine Installation entscheiden.
SKILL.md wird angezeigt
SKILL.md
Quellanweisungen · Schreibgeschützte Vorschau- name
- pytorch-training
- description
- Best practices for building robust PyTorch training loops. Use when generating or reviewing ML training code.
- metadata
- {"category":"tooling","trigger-keywords":"training,pytorch,torch,deep learning,neural network,model","applicable-stages":"10,12","priority":"3","version":"1.0","author":"researchclaw","references":"PyTorch Performance Tuning Guide, pytorch.org","code-template":"import torch\nimport torch.nn as nn\nfrom torch.utils.data import DataLoader\n\n# Reproducibility\ntorch.manual_seed(seed)\ntorch.cuda.manual_seed_all(seed)\ntorch.backends.cudnn.deterministic = True\n\n# Training loop\nmodel.train()\nfor epoch in range(num_epochs):\n for batch in train_loader:\n optimizer.zero_grad(set_to_none=True)\n loss = criterion(model(batch['input']), batch['target'])\n loss.backward()\n torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)\n optimizer.step()\n scheduler.step()\n"}
## PyTorch Training Best Practice
1. Use torch.manual_seed() for reproducibility (set for torch, numpy, random)
2. Use DataLoader with num_workers>0 and pin_memory=True for GPU
3. Enable cudnn.benchmark=True for fixed input sizes
4. Use learning rate schedulers (CosineAnnealingLR or OneCycleLR)
5. Implement early stopping based on validation metric
6. Log metrics every epoch, save best model checkpoint
7. Use torch.no_grad() for evaluation
8. Clear gradients with optimizer.zero_grad(set_to_none=True) for efficiency
Auf GitHub ansehen