data-loading
Optimize data loading pipeline to prevent GPU starvation. Use when setting up DataLoader or data preprocessing.
Quellinformationen
- Repository
- aiming-lab/AutoResearchClaw
- Letzte Quellaktivität
- 23. März 2026 um 01:46
- Erkannte Sprache von SKILL.md
- Englisch
- Sterne
- 14.579
- Forks
- 1.698
Installationsoptionen
Standardmäßig ist der Prompt ausgewählt, der zuerst die Quelle prüft. Sie können zu einem direkten Befehl wechseln oder eine lokale Kopie herunterladen.
Quelldateien prüfen
Lesen Sie SKILL.md und alle von SkillsMP angezeigten Begleitdateien, bevor Sie sich für eine Installation entscheiden.
SKILL.md wird angezeigt
SKILL.md
Quellanweisungen · Schreibgeschützte Vorschau- name
- data-loading
- description
- Optimize data loading pipeline to prevent GPU starvation. Use when setting up DataLoader or data preprocessing.
- metadata
- {"category":"tooling","trigger-keywords":"data,loading,dataloader,dataset,preprocessing,augmentation","applicable-stages":"10","priority":"6","version":"1.0","author":"researchclaw","references":"PyTorch Data Loading Tutorial, pytorch.org"}
## Efficient Data Loading Best Practice
1. Use num_workers = min(8, os.cpu_count()) for DataLoader
2. Enable pin_memory=True when using GPU
3. Use persistent_workers=True to avoid re-spawning
4. Pre-compute and cache transformations when possible
5. For image data: use torchvision.transforms.v2 (faster)
6. For large datasets: consider memory-mapped files or WebDataset
7. Profile with torch.utils.bottleneck to find I/O bottlenecks
Auf GitHub ansehen