| name | jepa-self-supervised-learning |
| description | Compétence niveau expert en JEPA (Joint Embedding Predictive Architecture) et apprentissage auto-supervisé avancé. Couvre JEPA, I-JEPA, V-JEPA, Image-BERT, MAE, DINO, iBOT, SimCLR, MoCo, BYOL, SwAV, contrastive learning, masked image modeling, self-distillation, et les fondements théoriques de l'apprentissage de représentations. |
JEPA et Apprentissage Auto-Supervisé Avancé
Présentation
Compétence niveau expert couvrant l'ensemble du paysage de l'apprentissage auto-supervisé (SSL) pour la vision par ordinateur et au-delà. Inclut les architectures prédictives à plongement joint (JEPA), les méthodes contrastives, la distillation, le masquage d'images, et les fondements théoriques de l'apprentissage de représentations.
1. Architecture JEPA
Fondements (Yann LeCun)
- Joint Embedding Predictive Architecture (JEPA) : cadre d'apprentissage auto-supervisé où un encodeur contextuel traite une vue partiellement masquée et un encodeur cible (EMA) traite l'image originale. Le prédicteur opère dans l'espace de plongement.
- I-JEPA (Image) : prédiction de plongements de patches masqués dans l'espace sémantique plutôt que dans l'espace pixel. Utilise un masquage stratégique de blocs, un encodeur cible EMA, et un prédicteur léger.
- V-JEPA (Vidéo) : extension à la vidéo avec prédiction spatio-temporelle. Capture la dynamique temporelle sans fine-tuning supervisé.
- Spatial/Global/Region Prediction : prédiction à différents niveaux de granularité spatiale.
Composants Clés
- Masquage Stratégique : masquage par blocs de grande taille pour forcer l'apprentissage sémantique (vs masquage aléatoire de patches).
- Target Encoder EMA : mise à jour par moyenne mobile exponentielle du teacher pour stabiliser l'entraînement.
- Régularisation Variance/Covariance : VICReg (Variance-Invariance-Covariance Regularization) — maximise la variance des plongements dans un batch, minimise la covariance entre dimensions.
- Stop-gradient : technique clé pour éviter l'effondrement (collapse) des représentations.
2. Méthodes Contrastives
SimCLR (Chen et al., 2020)
- Augmentation invariance via paires positives
- NT-Xent loss (Normalized Temperature-scaled Cross Entropy)
- Large batch sizes et projections non-linéaires
- Température scaling
MoCo (He et al., 2020)
- MoCo v1 : Momentum Contrast — queue dictionary et momentum encoder
- MoCo v2 : améliorations SimCLR (MLP projection, plus d'augmentations)
- MoCo v3 : extension à ViT avec batch normalization adapté
Losses
- InfoNCE loss : Noise Contrastive Estimation — discrimination entre paires positives et négatives
- NT-Xent : Normalized Temperature-scaled Cross Entropy
- Alignment and Uniformity : métriques théoriques pour la qualité des représentations contrastives
3. Méthodes Basées sur la Distillation
BYOL (Grill et al., 2020)
- Bootstrap Your Own Latent : pas de paires négatives
- Architecture online/target avec EMA
- Prédicteur supplémentaire pour éviter l'effondrement
DINO (Caron et al., 2021)
- DINO v1 : self-distillation avec Vision Transformers — centering et sharpening
- DINO v2 (2023) : pré-entraînement à grande échelle avec régularisation iBOT, KoLeo, et résolution adaptative
- Caractéristiques patch-level pour segmentation et correspondance
iBOT (Zhou et al., 2022)
- Masked Image Modeling avec distillation BYOL/DINO
- Prédiction de tokens masqués via MIM (Masked Image Modeling)
- Intègre les forces de la distillation et du masquage
Mécanismes
- Centering : soustraction de la moyenne pour éviter un collapse trivial
- Sharpening : température faible pour rendre la distribution de sortie plus 'peak-y'
- Momentum Teacher : mise à jour lente du teacher pour stabilité
4. Méthodes Basées sur le Masquage
MAE (He et al., 2022)
- Masked Autoencoder : masque aléatoire de 75% des patches, reconstruction dans l'espace pixel
- Encodeur asymétrique (ne voit que les patches visibles) + décodeur léger
- Efficacité computationnelle drastique
Image-BERT / BEiT
- BEiT (Bidirectional Encoder representation from Image Transformers) : prédiction de tokens visuels discrets (dVAE)
- BEiT v2 : tokeniseur appris vector-quantized
- BEiT v3 (ImageBERT) : alignement image-texte
Autres Méthodes
- PeCo : Perceptual Codebook via loss perceptuelle
- data2vec : cadre unifié vision/langage/audio avec auto-distillation
- MaskFeat : prédiction de caractéristiques HOG sur patches masqués
5. Fondements Théoriques
Théorie de l'Apprentissage Contrastif
- Optimisation InfoNCE : estimation de l'information mutuelle (mutual information lower bound)
- Spectral Contrastive Learning : liens avec le clustering spectral et l'analyse en composantes principales
- Graphe d'Augmentation : théorie des chemins de similarité entre vues augmentées
Éviter l'Effondrement
- SimSiam : démontre que stop-gradient seul peut prévenir l'effondrement sans paires négatives ni EMA
- Analyse du rôle de la prédiction par rapport à la symétrie
6. Applications et Transfert
Évaluation
- Linear Probing : classifier linéaire sur représentations gelées
- Fine-tuning : adaptation complète sur tâche cible
- Few-shot / Semi-supervised : performance avec peu d'exemples étiquetés
Domaines
- Vidéo : I-JEPA vidéo, V-JEPA, VideoMAE
- Audio : AudioMAE, data2vec audio, BYOL-Audio
- 3D : Points clouds SSL — PointMAE, Point-BERT
- Médical : radiologie, pathologie, histologie
- Satellite : télédétection multi-spectrale
7. Références et Articles Clés
- I-JEPA :
Image-based Joint-Embedding Predictive Architecture (Assran et al., 2023)
- V-JEPA :
Revisiting Feature Prediction for Visual Pre-Training (Bardes et al., 2024)
- DINO v2 :
DINOv2: Learning Robust Visual Features without Supervision (Oquab et al., 2023)
- MAE :
Masked Autoencoders Are Scalable Vision Learners (He et al., 2022)
- SimCLR :
A Simple Framework for Contrastive Learning of Visual Representations (Chen et al., 2020)
- MoCo v3 :
An Empirical Study of Training Self-Supervised Vision Transformers (Chen et al., 2021)
- BYOL :
Bootstrap Your Own Latent — A New Approach to Self-Supervised Learning (Grill et al., 2020)
- data2vec :
A General Framework for Self-supervised Learning in Speech, Vision and Language (Baevski et al., 2022)
- VICReg :
VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning (Bardes et al., 2022)
Catégories
cs.LG — Machine Learningcs.CV — Computer Vision and Pattern Recognitioncs.CL — Computation and Languagecs.AI — Artificial Intelligencestat.ML — Machine Learning (Statistics)
