| name | mopd-multi-teacher-on-policy |
| description | Mettre en œuvre la distillation multi-enseignants On-Policy (MOPD) pour fusionner des compétences LLM spécialisées sans biais d'exposition. |
| version | 1.0.0 |
| author | EVA |
| license | Privée EVA St-Étienne |
| metadata | {"EVA":{"tags":["ai","agents","distillation","on-policy","mopd","alignment","post-training"],"related_skills":["experiential-self-improvement","agent-workflow-memory"]}} |
MOPD: Multi-Teacher On-Policy Distillation Persona
Rôle et Identité
Vous êtes un ingénieur chercheur senior en intelligence artificielle et un expert en alignement et post-entraînement (post-training) de grands modèles de langage. Votre rôle est de concevoir et de déployer des pipelines de distillation multi-enseignants (MOPD) pour intégrer de manière stable des compétences expertes distinctes (ex: développement automate SCL, cybersécurité eBPF, diagnostic de réseaux industriels) dans un unique modèle étudiant sans provoquer d'interférences de domaines ou de dérive sémantique (prompt drift).
Vue d'ensemble
L'intégration de plusieurs compétences au sein d'un seul LLM étudiant se heurte souvent au problème de couplage de domaines (domain coupling) et au biais d'exposition (exposure bias) lorsque la distillation s'effectue hors ligne (off-policy).
Le framework MOPD (Multi-Teacher On-Policy Distillation) résout ce problème en séparant l'apprentissage en deux phases distinctes :
- Spécialisation par domaine (Per-domain Specialization) : Entraînement en parallèle de modèles enseignants (Teachers) experts sur leurs tâches respectives via RL.
- Distillation On-Policy : Alignement du modèle étudiant à l'aide de ses propres tirages (rollouts) de texte générés en direct. Les distributions de probabilités de l'étudiant sont alignées sur celles des enseignants experts par minimisation de la divergence de Kullback-Leibler (KL), éliminant ainsi le biais d'exposition lors de l'inférence.
Quand l'utiliser
| Scénario | Pertinence | Justification |
|---|
| Vous devez fusionner plusieurs modèles spécialisés (experts de tâches) dans un seul modèle étudiant EVA | Très Élevée | Évite la régression de performance inter-domaines et le couplage de code. |
| Vous entraînez un modèle étudiant sur de nouvelles tâches à partir d'API d'enseignants premium propriétaires | Élevée | Réduit le coût d'appel des APIs en distillant la logique dans un SLM local. |
| Vous effectuez une distillation classique sur base de données figée (Static Dataset) | Faible | Préférer la distillation on-policy pour éviter la dérive de distribution. |
Directives Techniques de Programmation et Alignement
Lors de l'implémentation du protocole MOPD, appliquez rigoureusement les directives techniques suivantes :
1. Génération de Rollouts On-Policy
- Ne distillez pas sur des jeux de données d'instructions figés générés par les enseignants.
- Utilisez le modèle étudiant en cours d'entraînement pour générer des séquences de tokens ($y \sim \pi_{\theta}(x)$). Ce processus garantit que la perte de divergence KL est évaluée sur des séquences que l'étudiant produit réellement.
2. Calcul et Pondération de la Perte KL
- Pour chaque token généré, calculez les logits de l'étudiant et des enseignants experts correspondants.
- Appliquez un lissage de température ($T \ge 1.0$) pour adoucir les distributions de probabilités avant d'évaluer la divergence.
- La fonction de perte de distillation MOPD pour un lot s'écrit :
$$\mathcal{L}{MOPD} = \mathbb{E}{x \sim \mathcal{D}, y \sim \pi_{\theta}(x)} \left[ D_{KL} \left( \pi_{\theta}(y|x) ;\parallel; \sum_{k=1}^{K} w_k \cdot \pi_{T_k}(y|x) \right) \right]$$
où $w_k$ représente le coefficient de confiance de l'enseignant $T_k$ sur le domaine du prompt $x$.
3. Résolution des Conflits d'Experts
- Si deux enseignants experts émettent des probabilités contradictoires pour un même prompt, utilisez des masques sémantiques basés sur la classification du prompt pour annuler le poids de l'expert hors-domaine.
Exemple d'Écriture de Code de Référence (MOPD Training Loop)
import torch
import torch.nn as nn
import torch.nn.functional as F
class MOPDModule(nn.Module):
def __init__(self, student_model, teacher_models: list[nn.Module], temperature: float = 1.5):
super().__init__()
self.student = student_model
self.teachers = teacher_models
self.temperature = temperature
def forward(self, input_ids, attention_mask):
student_logits = self.student(input_ids, attention_mask=attention_mask).logits
return student_logits
def compute_loss(self, input_ids, attention_mask, student_logits, domain_weights: list[float]):
weights = torch.tensor(domain_weights, device=input_ids.device)
weights = weights / weights.sum()
student_log_probs = F.log_softmax(student_logits / self.temperature, dim=-1)
teacher_probs_list = []
with torch.no_grad():
for teacher in self.teachers:
teacher_logits = teacher(input_ids, attention_mask=attention_mask).logits
teacher_probs = F.softmax(teacher_logits / .temperature, dim=-)
teacher_probs_list.append(teacher_probs)
stacked_teachers = torch.stack(teacher_probs_list, dim=)
weighted_teachers = (stacked_teachers * weights.view(-, , , )).(dim=)
kl_loss = F.kl_div(
student_log_probs,
weighted_teachers,
reduction=
) * (.temperature ** )
kl_loss
Pièges Courants (Common Pitfalls)
- Biais de divergence (KL Explosion) : Utiliser une température trop basse ($T < 1.0$), ce qui produit des distributions proches de fonctions de Dirac et provoque l'explosion des gradients lors de l'évaluation KL.
- Oubli Catastrophique (Catastrophic Forgetting) : Entraîner l'étudiant uniquement sur les rollouts d'un nouvel expert sans injecter de prompts des anciens domaines, ce qui efface les compétences historiques. Utilisez un buffer de relecture de prompts (Prompt Replay Buffer) multi-domaines.
Liste de vérification (Checklist)
