Comprendre les paramètres d'un réseau de neurones : taille, utilité et impact sur les modèles LLM

Les paramètres d'un réseau de neurones sont des valeurs numériques ajustées par le modèle lors de l'apprentissage afin d'identifier des schémas dans les données et de produire des résultats pertinents. C'est pourquoi on retrouve souvent dans les descriptions de modèles linguistiques des mentions comme 7B, 13B ou 70B : elles indiquent que le modèle comporte environ 7, 13 ou 70 milliards de paramètres.

À première vue, il semble logique de penser que plus un réseau de neurones possède de paramètres, plus il est intelligent. En réalité, la situation est plus complexe. La taille du modèle influe sur ses capacités, mais la qualité dépend aussi de l'architecture, des données d'entraînement, des méthodes d'apprentissage et de l'efficacité avec laquelle le modèle exploite ses paramètres.

Que sont les paramètres d'un réseau de neurones et que stockent-ils ?

Pour simplifier, un réseau de neurones renferme un grand nombre de connexions mathématiques. Chacune de ces connexions peut amplifier ou atténuer un signal donné. Les chiffres qui contrôlent ces connexions sont appelés paramètres du réseau de neurones.

La majorité des paramètres sont des poids, qui déterminent l'influence d'un élément de calcul sur un autre. De nombreux couches utilisent également des valeurs additionnelles, comme les biais (bias). Ensemble, ils forment l'état interne du modèle, qui évolue au fil de l'apprentissage.

Lorsqu'un réseau de neurones est créé, ses paramètres ne contiennent encore aucune régularité utile. Puis, le modèle reçoit des exemples d'entraînement, effectue des prédictions, les compare au résultat attendu et ajuste ses poids. Ce processus est répété un très grand nombre de fois.

Progressivement, les paramètres prennent des valeurs permettant au modèle de mieux traiter de nouvelles données.

Paramètres, poids et connexions entre neurones

Imaginons un réseau de neurones très simple chargé de déterminer si une photo représente un chat. Un premier neurone interne peut réagir à la forme des oreilles, un autre à la fourrure, un troisième aux contours des yeux. Le poids indique l'importance de chaque signal pour la prochaine étape de traitement. Si une caractéristique s'avère utile pour reconnaître un chat, l'apprentissage renforce les connexions associées. Si elle provoque souvent des erreurs, son influence est réduite.

Les modèles linguistiques modernes sont bien plus complexes. Les paramètres interviennent dans le traitement des tokens, la construction des représentations internes du texte, les mécanismes d'Attention et les transformations entre couches. Mais le principe reste le même : le modèle s'améliore en ajustant une multitude de chiffres pour que ses réponses soient statistiquement meilleures.

L'expression " un réseau de neurones contient 10 milliards de paramètres " ne signifie donc pas qu'il renferme 10 milliards de faits distincts, mais qu'il utilise environ 10 milliards de coefficients numériques ajustables dans ses calculs.

Pour approfondir le fonctionnement de base des réseaux de neurones, consultez l'article Comment fonctionne un réseau de neurones : explications simples et exemples concrets.

Quelle est la différence entre paramètres et données d'entraînement ?

Les paramètres d'un réseau de neurones sont souvent à tort perçus comme une immense base de données où seraient stockés textes, images et faits issus d'internet. Cette vision simplifie à l'excès la réalité.

Les données d'entraînement servent effectivement à modifier les paramètres, mais elles ne sont généralement pas transformées en fichiers que le modèle rechercherait lors de chaque requête. Pendant l'apprentissage, l'algorithme découvre des dépendances statistiques et les encode dans de nombreux poids.

Par exemple, un modèle de langage peut apprendre que certains mots apparaissent fréquemment dans des contextes similaires ou que certaines constructions sont suivies de mots spécifiques. Cette information n'est pas enregistrée comme une entrée unique, mais répartie sur de nombreux paramètres.

Il est donc impossible d'isoler un poids particulier en disant : " ce paramètre contient l'information sur Paris ", ou tel autre sur une règle grammaticale. Un paramètre participe à de multiples calculs, et la connaissance se forme par la coopération d'un grand nombre de poids.

C'est justement cette nature distribuée du stockage de l'information qui permet aux réseaux de neurones de généraliser les régularités apprises, et pas seulement de reproduire des exemples du jeu d'entraînement.

Pourquoi les LLM modernes ont-ils des milliards de paramètres ?

Le nombre de paramètres d'un réseau de neurones dépend directement de son architecture. Plus il y a de couches internes, plus les représentations sont larges et les matrices de calcul volumineuses, plus le modèle a besoin de coefficients à apprendre.

Cela est particulièrement vrai pour les grands modèles de langage (LLM). Les paramètres des LLM interviennent à différentes étapes : conversion des tokens en représentations internes, fonctionnement de l'Attention, transfert d'informations entre couches, calcul des probabilités du prochain token, etc.

Même une seule couche d'un modèle linguistique moderne peut contenir des matrices de plusieurs millions de chiffres. Avec plusieurs dizaines ou centaines de couches, le total de paramètres atteint rapidement des milliards.

Il est important de comprendre que ces milliards de paramètres ne sont pas créés pour stocker chaque mot ou fait séparément, mais résultent de l'échelle des transformations mathématiques effectuées par le modèle.

D'où vient le nombre de paramètres ?

Considérons un exemple simplifié : un réseau de neurones comporte une couche qui prend un vecteur de 1 000 nombres et le transforme en un autre vecteur de 2 000 nombres. Pour connecter chaque entrée à chaque sortie, il faut une matrice de 1 000 × 2 000, soit deux millions de poids. D'autres valeurs, comme les biais, peuvent s'y ajouter.

Dans une LLM réelle, la dimension des représentations internes atteint souvent plusieurs milliers, et de telles transformations se répètent à chaque couche.

Les mécanismes d'Attention occupent aussi une part significative des paramètres. Ils utilisent des matrices apprises pour générer des requêtes, des clés et des valeurs, définissant les relations entre tokens. Les blocs pleinement connectés (fully connected) qui suivent l'Attention ajoutent encore plus de paramètres.

Le nombre final de paramètres dépend donc de plusieurs éléments : nombre de couches, taille des représentations internes, dimensions des couches intermédiaires, vocabulaire du modèle, structure des blocs de calcul, etc.

Deux modèles linguistiques ayant le même nombre de couches peuvent afficher des quantités de paramètres très différentes si l'un dispose de représentations plus larges ou d'une architecture distincte.

Qu'est-ce qui change quand la taille du modèle augmente ?

Augmenter le nombre de paramètres offre au réseau une capacité supérieure à modéliser des dépendances complexes. Autrement dit, le modèle dispose de plus de coefficients pour décrire les régularités du langage, les liens entre concepts et les spécificités des tâches.

C'est pourquoi les grands modèles excellent souvent sur des requêtes variées : ils peuvent gérer à la fois du code, du texte classique, de l'analyse documentaire, de la traduction ou des raisonnements, sans être limités à un seul domaine.

Mais la croissance du modèle n'implique pas une amélioration proportionnelle de la qualité. Un réseau de 70 milliards de paramètres n'est pas nécessairement dix fois meilleur qu'un modèle à 7 milliards.

Au-delà d'un certain seuil, chaque augmentation requiert bien plus de ressources de calcul, tandis que les gains de performance peuvent devenir très marginaux. Par ailleurs, une mauvaise architecture ou de mauvaises données d'entraînement peuvent limiter même un modèle volumineux.

Le nombre de paramètres doit donc être vu comme une caractéristique de l'échelle de calcul, pas comme une mesure universelle de l'intelligence d'un modèle.

Comment compter les paramètres d'un réseau de neurones et que signifie la taille du modèle ?

Pour connaître le nombre de paramètres d'un réseau, il faut examiner la structure de toutes ses couches entraînables. Il suffit alors de calculer la taille de chaque matrice de poids ainsi que le nombre de coefficients additionnels, puis de tout additionner.

Par exemple, une couche pleinement connectée avec 100 entrées et 200 sorties contient 100 × 200 = 20 000 poids. Si chaque sortie possède un biais propre, cela fait 200 paramètres de plus, soit 20 200 valeurs entraînables pour cette couche.

Dans les grands réseaux, le principe reste le même, mais il y a beaucoup plus de matrices et leurs dimensions sont bien supérieures.

Le chiffre total de tous ces paramètres est généralement celui indiqué dans les caractéristiques du modèle. La notation 7B signifie environ sept milliards de paramètres, 70B environ soixante-dix milliards. La lettre B vient de l'anglais " billion " (milliard).

Un milliard de paramètres : combien de mémoire ?

Le nombre de paramètres influe sur la mémoire nécessaire pour stocker le modèle, sans que cela soit strictement équivalent.

La taille dépend du format de stockage d'un paramètre. En FP32 (32 bits, soit 4 octets), un milliard de paramètres occupe environ 4 Go. Avec des formats 16 bits, le volume est divisé par deux : 2 Go pour un milliard de paramètres.

La quantification permet de stocker les poids avec une précision moindre. À 8 bits, il faut 1 Go par milliard de paramètres ; à 4 bits, seulement 0,5 Go.

Un même modèle peut donc être diffusé en plusieurs tailles : le nombre de paramètres reste identique ou quasi identique, seule la précision varie.

En pratique, il faut aussi de la mémoire pour les calculs intermédiaires, le contexte, le cache d'Attention ou les données de gestion. En phase d'apprentissage, les besoins augmentent encore pour stocker les gradients et états de l'optimiseur.

Paramètres actifs et paramètres totaux

Chez certains réseaux modernes, le nombre total de paramètres est particulièrement élevé du fait de l'architecture Mixture of Experts (MoE).

Dans un modèle dense classique, la plupart des paramètres d'une couche interviennent pour chaque fragment traité. En MoE, il existe plusieurs blocs spécialisés (" experts "), et le système n'en active qu'une partie pour chaque token.

Un modèle peut ainsi compter plusieurs centaines de milliards de paramètres, mais n'en activer qu'une fraction à chaque traitement. Les deux chiffres - total et actifs - décrivent donc des aspects différents de l'architecture.

Le nombre total reflète l'échelle du modèle, alors que le nombre actif correspond à la quantité de calcul réellement mobilisée par passage dans le réseau.

Il devient donc hasardeux de comparer les modèles uniquement sur la base de leur nombre total de paramètres : une architecture MoE très grande peut utiliser moins de calculs qu'un réseau dense plus petit.

Pourquoi plus de paramètres ne signifie pas forcément un meilleur réseau ?

Un grand nombre de paramètres augmente la capacité de calcul, mais ne garantit pas son utilisation efficace. Deux réseaux de taille similaire peuvent diverger fortement en termes de qualité des réponses, de rapidité ou de capacité à résoudre certaines tâches.

En effet, le nombre de paramètres ne décrit que l'échelle du modèle : il ne renseigne ni sur la qualité de l'architecture, ni sur la nature des données d'apprentissage, la pertinence de la procédure d'entraînement ou les ajustements post-formation.

Comparer deux réseaux uniquement sur la base de " 70 milliards contre 30 milliards de paramètres " est donc inapproprié.

L'architecture et la qualité de l'entraînement priment sur la seule taille

Même un réseau très grand peut donner de mauvais résultats s'il a été entraîné sur des données de mauvaise qualité, trop uniformes ou mal filtrées. Accroître le nombre de paramètres ne fait alors qu'optimiser les schémas présents dans les données, y compris les indésirables.

L'architecture est aussi cruciale : ajustement de l'Attention, gestion du contexte long, tailles des couches internes, organisation de la mémoire ou routage des données... Une conception efficace permet d'obtenir d'excellentes performances sans simplement augmenter le nombre de poids.

La répartition du budget de calcul lors de l'entraînement est déterminante également. Un modèle plus grand mais sous-entraîné (peu de données ou peu d'itérations) restera limité.

À l'inverse, un modèle compact formé sur un jeu de données soigneusement choisi, annoté avec soin, optimisé et éventuellement affiné après coup, peut rivaliser avec, voire surpasser, des modèles bien plus volumineux sur certaines tâches.

Les modèles linguistiques bénéficient souvent d'étapes de réglages supplémentaires après l'entraînement principal : ils apprennent à mieux suivre les instructions, à fournir des réponses utiles, à gérer le dialogue et à éviter certains biais. Ces étapes peuvent transformer la qualité réelle sans toucher au nombre de paramètres.

Un petit modèle peut surpasser un grand

C'est particulièrement vrai dans les scénarios spécialisés. Un grand modèle généraliste doit gérer de nombreux sujets et types de requêtes, alors qu'un réseau compact peut être optimisé pour une tâche précise.

Par exemple, il peut suffire de classifier des documents, d'extraire certaines données d'un texte, de faire de la traduction simple ou de manipuler un lexique professionnel restreint. Pour ces usages, des milliards de paramètres ne sont pas nécessaires.

Un modèle plus petit consomme moins de mémoire vive ou vidéo, se charge plus vite et effectue les calculs en utilisant moins d'énergie. Il peut donc fonctionner localement sur un serveur, un ordinateur portable, un smartphone ou tout autre appareil, sans dépendre du cloud.

La vitesse peut être plus importante que la qualité maximale. Si l'on doit traiter des milliers de requêtes courtes en temps réel, un petit réseau, même légèrement moins précis, sera plus utile qu'un grand modèle lent et gourmand en ressources.

Les petits modèles linguistiques (Small Language Models, SLM) sont spécifiquement conçus pour remplir efficacement un ensemble restreint de tâches. Découvrez les différences de ce type d'approche dans l'article Petits modèles de langage vs LLM : pourquoi les entreprises font ce choix gagnant.

La taille du modèle n'est donc qu'un paramètre technique parmi d'autres. En pratique, il faut privilégier le rapport entre qualité, vitesse, coût du calcul et exigences de la tâche visée.

Comment comparer correctement les réseaux de neurones selon le nombre de paramètres ?

Les notations 7B, 13B, 70B donnent une idée rapide de l'échelle du modèle, mais ne doivent pas être le principal critère de choix. Le nombre de paramètres montre la taille, pas la pertinence pour une tâche donnée.

Même des modèles de taille identique peuvent différer fortement en qualité : l'un sera meilleur en génération de code, un autre en suivi d'instructions, un troisième en gestion de documents longs. Ces différences proviennent de l'architecture, des données, des méthodes d'apprentissage et des réglages ultérieurs.

Le nombre de paramètres est donc une caractéristique technique utile pour estimer la mémoire et les ressources nécessaires, mais dit peu de la valeur pratique sans contexte supplémentaire.

Quels autres critères regarder ?

• La qualité sur votre tâche cible : Pour la programmation, testez la génération de code ; pour la gestion documentaire, mesurez la capacité à extraire l'information, suivre des instructions et traiter de longs contextes.
• Le contexte pris en compte : La taille de la fenêtre contextuelle (quantité d'information traitée simultanément) est cruciale. Un modèle plus petit mais efficace sur le contexte long peut s'avérer plus utile qu'un grand modèle limité.
• La vitesse de génération : Plus le nombre de paramètres actifs est élevé, plus les exigences matérielles augmentent et le coût de chaque réponse grimpe. Pour un assistant interactif, la rapidité prime souvent sur un gain minime de qualité.
• Les besoins en mémoire : Un LLM volumineux nécessite parfois plusieurs GPU puissantes, alors qu'un modèle compact quantifié fonctionne sur un PC standard.
• Les tests indépendants et cas d'usage réels : Les classements globaux restent incomplets, mais comparer les modèles sur plusieurs tâches proches de votre usage est bien plus parlant que le simple nombre de paramètres.

Dans quels cas a-t-on vraiment besoin d'un grand modèle ?

Les grands modèles sont particulièrement utiles lorsque l'on ne peut pas anticiper toutes les tâches à traiter. Un assistant IA universel doit pouvoir analyser un texte, expliquer du code, travailler sur des tableaux, traduire et répondre à des questions très variées.

Pour cela, il lui faut la capacité de modéliser un vaste ensemble de régularités. Les paramètres supplémentaires offrent au modèle la place nécessaire pour des représentations internes complexes.

Les grands LLM sont aussi souvent meilleurs sur des tâches qui requièrent la combinaison de plusieurs compétences : lire un document technique, identifier un problème, écrire du code pour le résoudre et expliquer la solution.

Mais la taille n'élimine pas le risque d'erreur. Même un grand réseau peut mal interpréter une demande, " halluciner " des faits ou donner une réponse fausse avec assurance. Pour en savoir plus sur ces limites, consultez l'article Limites des LLM : comprendre les erreurs des grands modèles de langage.

Quand préférer un modèle compact ?

Les réseaux de petite taille sont adaptés lorsque la rapidité, le coût ou la possibilité de déploiement local sont prioritaires. Si le type de requêtes est identifié à l'avance, utiliser un modèle universel de dizaines ou centaines de milliards de paramètres n'est souvent pas rentable.

Un petit modèle peut par exemple vérifier des requêtes utilisateurs, classifier des messages, extraire des valeurs de documents ou exécuter un nombre limité de commandes. Après un entraînement spécialisé, il pourra résoudre de telles tâches avec précision pour un coût bien inférieur.

Le déploiement local offre d'autres avantages : traitement des données sur site ou dans l'infrastructure interne, sans transfert vers le cloud ; moindre dépendance à la connexion internet ou à la disponibilité des serveurs distants.

Le choix " plus de paramètres à tout prix " est rarement optimal. Il est plus judicieux de définir d'abord la tâche, les besoins qualité et les ressources disponibles, puis de sélectionner le modèle adapté.

Conclusion

Les paramètres d'un réseau de neurones sont des coefficients numériques entraînables qui déterminent comment le modèle traite les données d'entrée et produit ses résultats. Avoir des milliards de paramètres ne signifie pas stocker autant de faits distincts : les connaissances et les régularités sont réparties entre un immense réseau de poids interdépendants.

Le nombre de paramètres renseigne sur la taille du modèle et aide à estimer les besoins en mémoire et en calcul, mais ne doit pas être considéré comme un indicateur universel de qualité. L'architecture, les données d'entraînement, les méthodes d'optimisation, le réglage et la spécialisation influent tout autant sur la performance finale.

Un grand LLM a du sens pour des tâches complexes et variées qui requièrent une grande polyvalence. Pour un déploiement local, une exécution rapide ou une spécialisation étroite, un modèle compact est souvent plus pratique et économique.

En résumé : il vaut mieux choisir un modèle pour sa pertinence sur la tâche et ses exigences en ressources, plutôt que pour le simple nombre de milliards de paramètres.