Distillation des connaissances : compresser les réseaux neuronaux sans sacrifier la qualité

La distillation des connaissances est une méthode d'apprentissage des réseaux neuronaux où un modèle volumineux et complexe transmet une partie de ses connaissances à un modèle plus compact. Le grand réseau joue le rôle de professeur, tandis que le petit agit comme élève. L'objectif est d'obtenir un modèle nécessitant moins de mémoire et de calculs tout en conservant une large part de la qualité du système d'origine.

Cela revêt une importance particulière face aux réseaux neuronaux modernes comportant des milliards de paramètres. On peut les exécuter sur de puissants serveurs ou accélérateurs spécialisés, mais leur déploiement sur smartphone, ordinateur portable ou autre appareil individuel reste complexe. La distillation permet de transférer une partie des capacités du grand modèle vers une architecture plus légère.

Qu'est-ce que la distillation des connaissances dans les réseaux neuronaux ?

Lors d'un entraînement classique, le réseau reçoit des données d'entrée et des réponses correctes. Par exemple, on montre à la machine une image de chat et on précise que la classe correcte est " chat ". L'algorithme ajuste alors progressivement les paramètres du réseau pour augmenter la probabilité de la bonne réponse.

Avec la distillation des connaissances, une source d'information supplémentaire existe : un grand modèle déjà entraîné. Celui-ci analyse les mêmes données et fournit au petit modèle, non seulement la réponse finale correcte, mais aussi sa propre vision des différentes options possibles.

Par exemple, le grand réseau peut estimer une image ainsi : chat - 85 %, tigre - 8 %, chien - 5 %, autres - 2 %. Dans un ensemble d'entraînement classique, le modèle élève ne verrait que l'étiquette " chat ". Avec la distillation, il reçoit bien plus d'informations sur les similarités perçues par le professeur entre différentes classes d'objets.

Pourquoi l'apprentissage classique d'un petit modèle ne suffit-il pas ?

La taille d'un réseau limite le nombre de régularités qu'il peut stocker et exploiter. Si l'on prend une architecture réduite et qu'on l'entraîne simplement sur les mêmes données qu'un grand modèle, le résultat est généralement moins bon.

Un grand modèle développe, au fil de l'entraînement, une représentation interne des liens entre objets, mots et caractéristiques. Une partie de ces régularités peut être transmise au petit modèle via ses réponses.

Ainsi, la distillation ne consiste pas à simplement copier le résultat. Le petit modèle tente d'imiter le comportement du système plus puissant, ce qui lui permet d'extraire plus d'informations à partir des mêmes exemples d'apprentissage.

Modèle professeur et modèle élève

Le schéma classique implique deux réseaux neuronaux : le modèle professeur (teacher model) et le modèle élève (student model).

Le professeur est généralement bien plus volumineux. Il a déjà été entraîné et affiche un haut niveau de performance sur la tâche visée. Durant la distillation, ses paramètres ne changent plus : il sert uniquement de source de connaissances.

L'élève possède une architecture plus compacte et moins de paramètres. Pendant l'apprentissage, il compare non seulement ses propres réponses aux bonnes valeurs du jeu de données, mais aussi aux sorties du professeur.

Ce principe " professeur-élève " permet de n'utiliser le modèle coûteux qu'à la phase de préparation. En production, on ne conserve que l'élève, qui fonctionne bien plus vite et exige beaucoup moins de ressources.

Comment fonctionne la distillation des connaissances ?

L'idée principale de la distillation est que l'élève cherche à reproduire non seulement les bonnes réponses, mais aussi le comportement du professeur. Les deux réseaux reçoivent les mêmes données d'entrée, puis les résultats de l'élève sont comparés à ceux du professeur.

Durant l'apprentissage, l'erreur est calculée à partir de plusieurs sources : d'une part, l'écart entre la réponse de l'élève et l'étiquette correcte du jeu de données, d'autre part, la différence entre la distribution de probabilité de l'élève et celle du professeur. Les paramètres du petit réseau sont alors ajustés pour réduire les deux erreurs.

Comment le grand modèle transmet-il ses connaissances au petit ?

Imaginons une tâche de reconnaissance d'images. Dans le jeu de données, une photo de voiture porte uniquement l'étiquette " voiture ". Cela suffit à l'apprentissage classique : le modèle doit maximiser la probabilité de la bonne classe.

Le professeur, lui, peut fournir une réponse bien plus détaillée : voiture - 90 %, camion - 6 %, bus - 3 %, autres classes - moins de 1 %. C'est cette distribution qui est utilisée lors de la distillation. L'élève voit non seulement la bonne option, mais aussi les alternatives jugées proches par le professeur. Il reçoit ainsi des informations sur les liens entre classes absentes des simples étiquettes du jeu de données.

Le principe est similaire dans les modèles de langage : au lieu de classes, on considère les prochains tokens possibles. Le grand réseau indique à l'élève quels mots ou parties de mots il juge les plus adaptés pour poursuivre un contexte précis.

Pourquoi les probabilités contiennent-elles plus d'information qu'une réponse unique ?

Si le modèle ne donne que la réponse finale, une grande partie du processus de sélection est perdue. Deux exemples peuvent recevoir la même étiquette correcte, mais être perçus très différemment par le réseau.

Par exemple, pour la photo d'un chat domestique, le professeur peut exclure quasiment toutes les autres options. Pour un félin sauvage, la probabilité " tigre " ou " léopard " sera nettement plus élevée. Pourtant, l'étiquette reste " chat " dans les deux cas.

Ces probabilités secondaires sont appelées étiquettes souples ou soft targets. Elles aident l'élève à comprendre non seulement la frontière entre bonne et mauvaise réponse, mais aussi la similarité relative entre différentes options.

Grâce à cela, l'apprentissage du petit modèle via le grand peut s'avérer plus efficace qu'un simple entraînement sur les données d'origine.

La température lors de la distillation

Pour transmettre plus d'information à l'élève, on " adoucit " souvent la distribution de probabilités du professeur à l'aide du paramètre température (temperature).

En mode normal, une probabilité peut dominer toutes les autres (par exemple, 98 % pour une classe, les autres se partageant moins de 2 %). Dans une telle distribution, l'information supplémentaire est quasiment invisible.

En augmentant la température, les probabilités deviennent moins tranchées : le choix principal reste privilégié, mais les autres voient leurs valeurs augmenter. L'élève visualise ainsi mieux les alternatives jugées plus ou moins plausibles par le professeur.

Après l'apprentissage, il n'est plus nécessaire d'augmenter la température. C'est un outil de transfert de connaissances : la version compacte du réseau fonctionne ensuite de manière autonome.

Pourquoi la distillation est-elle si utile pour compresser les réseaux neuronaux ?

L'objectif principal de la distillation est de compresser les réseaux neuronaux sans sacrifier totalement la qualité du grand modèle. Plutôt que de lancer un système complexe à chaque requête, les développeurs peuvent entraîner un modèle plus léger, utilisable là où rapidité, coût des calculs et mémoire limitée sont cruciaux.

La distillation ne se limite pas à réduire l'architecture. Si l'on diminue simplement le nombre de couches ou de paramètres, la qualité peut chuter nettement. Avec la distillation, le modèle élève apprend intentionnellement à reproduire le comportement du professeur, ce qui permet de préserver certaines capacités.

Moins de paramètres, moins de mémoire requise

Le nombre de paramètres détermine directement la mémoire nécessaire au stockage et à l'exécution du modèle. Plus le réseau est compact, plus il est facile de le loger en RAM ou VRAM.

C'est crucial pour les smartphones, ordinateurs portables, systèmes embarqués et autres appareils où l'on ne peut pas dédier des dizaines de gigaoctets à un seul modèle. Après distillation, le réseau occupe bien moins d'espace et s'exécute sur du matériel plus accessible.

Les exigences vis-à-vis de l'infrastructure baissent aussi. Un modèle compact requiert moins de ressources de calcul, ce qui permet à un serveur de traiter plus de requêtes sans multiplier les accélérateurs.

Un inférence plus rapide

L'inférence désigne la phase où un réseau déjà entraîné traite une entrée pour délivrer une réponse. Plus le modèle est volumineux, plus il doit effectuer d'opérations à chaque requête.

Réduire le nombre de paramètres et de calculs diminue la latence. C'est essentiel pour les systèmes où la réponse doit être quasi instantanée : assistants vocaux, traducteurs, reconnaissance d'images, chatbots ou applications d'IA embarquée.

Pour les grands services en ligne, le gain n'est pas qu'en vitesse : si chaque requête demande moins de calcul, les coûts serveurs, électriques et matériels baissent. À grande échelle, même une petite baisse du coût par inférence devient significative.

Quel impact sur la qualité du modèle ?

La distillation ne permet pas de transférer toutes les capacités du grand réseau vers une architecture bien plus compacte. L'élève dispose de moins de paramètres, donc d'une capacité de modélisation limitée.

L'enjeu est de préserver le comportement le plus utile du professeur et de trouver un équilibre entre qualité et taille. Plus la réduction est forte, plus il est difficile de maintenir la précision initiale.

Le résultat dépend aussi de l'architecture de l'élève, de la qualité des données et de la méthode de transfert. Une distillation bien paramétrée peut offrir un modèle compact surpassant nettement un modèle de même taille entraîné seulement sur les données d'origine.

Ainsi, la compression de modèles par distillation est surtout pertinente quand la qualité maximale n'est pas la priorité absolue. Un modèle un peu moins précis peut s'avérer plus pratique s'il est plus rapide, moins cher et fonctionne directement sur l'appareil de l'utilisateur.

Distillation des connaissances dans les grands modèles de langage

La distillation est particulièrement recherchée pour les grands modèles de langage (LLM). Un modèle volumineux peut compter des dizaines voire centaines de milliards de paramètres, ce qui exige de puissants GPU, beaucoup de mémoire et une infrastructure serveur robuste.

Pour de nombreuses tâches, une telle puissance est superflue. Si une application doit classer des messages, extraire des données, répondre à des questions types ou fonctionner en local, un modèle plus compact est souvent bien plus pratique. Ainsi, une grande LLM sert de professeur, et ses réponses ainsi que ses distributions de probabilités servent à entraîner un modèle plus petit.

Comment créer des modèles de langage compacts ?

En distillant un modèle de langage, le professeur reçoit de nombreuses requêtes textuelles et génère des réponses. Ces données servent ensuite à l'apprentissage de l'élève, en complément des exemples classiques.

On peut transmettre plus que des textes tout faits. Si les développeurs ont accès aux résultats internes du modèle, l'élève peut s'entraîner sur les probabilités des tokens, les représentations intermédiaires ou d'autres signaux produits par le grand réseau. Plus l'information transmise est riche, plus l'imitation du comportement du professeur est fine.

Au final, le petit modèle apprend à générer des réponses proches de celles du professeur, malgré sa taille réduite. Son architecture n'a pas besoin d'imiter entièrement celle du grand réseau.

Où les petits modèles sont-ils nécessaires ?

Les modèles de langage compacts sont particulièrement utiles là où la consommation d'énergie et la rapidité de réponse priment. Ils peuvent être déployés sur ordinateurs portables, smartphones, cartes embarquées et autres appareils sans recourir à un cloud puissant.

L'exécution locale diminue aussi la dépendance à Internet et permet de traiter des données directement sur l'appareil. En entreprise, les petits modèles séduisent car ils permettent de gérer plus de requêtes avec une infrastructure réduite.

Pour approfondir la comparaison entre modèles compacts et volumineux, consultez l'article : Petits modèles de langage vs LLM : pourquoi les entreprises optent pour des réseaux neuronaux compacts.

Pourquoi un petit modèle ne devient-il jamais une copie parfaite du grand ?

Même après une distillation réussie, un petit modèle ne devient pas une réplique exacte du professeur. Il contient moins de paramètres et de ressources de calcul : il ne peut tout simplement pas stocker toutes les régularités du réseau volumineux.

De plus, le résultat dépend des données utilisées lors de la distillation. Si l'élève n'a vu que les réponses du professeur sur un ensemble limité de tâches, c'est surtout sur ces domaines qu'il l'imitera le mieux. Sur de nouveaux problèmes ou des requêtes bien plus complexes, l'écart entre les modèles se creuse.

C'est pourquoi la distillation vise à préserver les compétences les plus utiles pour un scénario précis, et non toutes les capacités de la LLM d'origine. On obtient ainsi un modèle spécialisé, bien plus économique, qui répond efficacement à un ensemble de besoins ciblés.

Distillation, quantization et autres méthodes de réduction de réseaux neuronaux

La distillation n'est pas la seule méthode pour rendre un réseau plus compact et économique. D'autres techniques comme la quantization, le pruning ou la réduction architecturale existent. Elles poursuivent des objectifs similaires mais s'opèrent différemment.

La particularité de la distillation est de créer et d'entraîner un modèle élève distinct, à l'architecture allégée, le grand modèle servant de source de connaissances.

Distillation vs quantization : quelle différence ?

La quantization conserve généralement l'architecture du modèle, mais modifie la manière de stocker et traiter les nombres : on passe par exemple de calculs en 16 ou 32 bits à des formats 8 bits ou plus compacts.

Cela réduit la mémoire requise et peut accélérer l'inférence sur du matériel adapté. Mais la structure du réseau n'est pas simplifiée pour autant.

La distillation procède différemment : on entraîne un petit modèle séparé pour imiter le comportement du grand, ce qui allège non seulement la précision numérique mais aussi la complexité computationnelle.

En résumé, la quantization vise à compresser la représentation d'un réseau existant, tandis que la distillation consiste à entraîner un nouveau réseau compact sur la base des connaissances du grand.

Le nombre de paramètres reste l'élément clé pour la taille et les capacités du modèle. Pour en savoir plus, lisez l'article : Paramètres des réseaux neuronaux : pourquoi plus n'est pas toujours mieux ?.

Peut-on combiner ces méthodes ?

Distillation et quantization ne sont pas exclusives. En pratique, on commence souvent par entraîner un élève compact grâce au grand modèle, puis on quantifie le modèle obtenu.

Par exemple, le professeur transmet ses connaissances à un élève moins paramétré. Une fois l'apprentissage terminé, les poids de l'élève sont convertis dans un format numérique plus compact. Cela réduit encore les besoins en mémoire et accélère les calculs.

La distillation peut aussi être couplée au pruning : suppression de liens ou composants négligeables du réseau. Cette approche multi-étapes est très utile pour l'IA embarquée ou les systèmes aux ressources limitées.

Attention, un compactage trop agressif peut entraîner une perte de qualité notable. Les concepteurs cherchent donc un équilibre entre taille, rapidité, consommation et précision.

Conclusion

La distillation des connaissances permet de transférer une partie des capacités d'un large réseau neuronal vers un modèle plus compact. Plutôt que de se limiter aux données d'origine, l'élève reçoit des informations additionnelles du professeur : distributions de probabilité, liens entre options, signaux internes issus du grand modèle.

Cette approche aide à réduire la taille des réseaux, abaisser les besoins en mémoire et accélérer l'inférence. Elle s'avère particulièrement utile pour les modèles de langage, qui, une fois optimisés, s'exécutent sur des serveurs moins puissants, des portables ou même des appareils mobiles.

Un petit modèle ne devient jamais une copie parfaite du grand. Plus l'architecture est réduite, plus il est difficile d'en conserver toutes les compétences. La distillation est donc un moyen de trouver le meilleur compromis entre qualité, vitesse et coût. Si cela ne suffit pas, on peut la combiner à la quantization ou d'autres techniques d'optimisation.