data-loading
Optimize data loading pipeline to prevent GPU starvation. Use when setting up DataLoader or data preprocessing.
Informações da origem
- Repositório
- aiming-lab/AutoResearchClaw
- Última atividade na origem
- 23 de março de 2026 às 01:46
- Idioma detectado do SKILL.md
- inglês
- Estrelas
- 14.579
- Forks
- 1.698
Opções de instalação
Por padrão, está selecionado o prompt que primeiro revisa a origem. Você pode mudar para um comando direto ou baixar uma cópia local.
Revise os arquivos de origem
Leia o SKILL.md e os arquivos complementares exibidos pelo SkillsMP antes de decidir se vai instalar.
Exibindo SKILL.md
SKILL.md
Instruções da origem · Visualização somente leitura- name
- data-loading
- description
- Optimize data loading pipeline to prevent GPU starvation. Use when setting up DataLoader or data preprocessing.
- metadata
- {"category":"tooling","trigger-keywords":"data,loading,dataloader,dataset,preprocessing,augmentation","applicable-stages":"10","priority":"6","version":"1.0","author":"researchclaw","references":"PyTorch Data Loading Tutorial, pytorch.org"}
## Efficient Data Loading Best Practice
1. Use num_workers = min(8, os.cpu_count()) for DataLoader
2. Enable pin_memory=True when using GPU
3. Use persistent_workers=True to avoid re-spawning
4. Pre-compute and cache transformations when possible
5. For image data: use torchvision.transforms.v2 (faster)
6. For large datasets: consider memory-mapped files or WebDataset
7. Profile with torch.utils.bottleneck to find I/O bottlenecks
Ver no GitHub