Comprendre les tokens dans les réseaux neuronaux : fonctionnement et impact sur ChatGPT

Les tokens dans les réseaux neuronaux sont de petits fragments de texte que le modèle linguistique découpe avant traitement. Pour l'utilisateur, une phrase semble être une suite ordinaire de mots, mais pour ChatGPT, il s'agit d'une séquence de tokens distincts, chacun converti en nombre.

C'est pourquoi les limites des modèles linguistiques sont généralement exprimées non pas en mots ou en caractères, mais en tokens. Leur quantité détermine la taille du texte que le modèle peut traiter en une seule fois, la portion de dialogue long prise en compte et la longueur maximale d'une réponse générée.

Qu'est-ce qu'un token dans les réseaux neuronaux ?

Définition simple d'un token

Un token est une unité de texte utilisée par le modèle linguistique. On peut l'imaginer comme un petit morceau de chaîne de caractères auquel le système attribue un identifiant numérique spécifique.

Un token n'est pas nécessairement un mot entier. Selon le tokenizer utilisé, un token peut être un mot court courant, une partie d'un mot plus long, une séquence de lettres, de chiffres ou un signe de ponctuation.

Par exemple, la phrase :

" Le chat est sur la table. "

Pour un humain, elle comprend quatre mots et un point. Le réseau neuronal peut la découper différemment : certains mots restent entiers, d'autres sont fragmentés. Le résultat dépend du vocabulaire et de l'algorithme de tokenisation du modèle.

Chaque fragment obtenu reçoit un numéro unique. En interne, le réseau traite la séquence de ces nombres, et non la chaîne de caractères d'origine.

Pourquoi un token n'est pas équivalent à un mot

Il serait tentant d'attribuer un numéro à chaque mot, mais ce système serait vite limité : il existe une infinité de mots et de formes dans une langue.

Un mot français, par exemple, possède de nombreuses formes : travail, travaille, travaillais, travaillera, travaillant, etc. Considérer chaque forme comme un élément distinct gonflerait rapidement la taille du vocabulaire. S'y ajoutent les noms propres, entreprises, nouveaux termes, fautes de frappe, chiffres, liens et codes.

Les tokens permettent de découper des mots rares ou longs en morceaux connus du modèle. Ainsi, le réseau peut traiter une séquence inédite de caractères, même si elle n'existe pas comme mot entier dans le vocabulaire.

Un mot courant peut parfois être représenté par un seul token, tandis qu'un terme rare ou complexe en occupera plusieurs. Il en va de même pour la ponctuation et les chiffres : une date, un nombre ou une URL peuvent nécessiter plusieurs tokens. Pour le modèle, tout cela constitue une même séquence d'éléments, et non des catégories humaines distinctes.

Cela explique pourquoi deux textes ayant le même nombre de mots peuvent différer sensiblement en nombre de tokens. La taille réelle d'une requête pour le réseau dépend du résultat de la tokenisation, et non du nombre de mots vu par l'utilisateur.

Comment le texte devient-il des tokens ?

Ce qui se passe après l'envoi d'une requête

Lorsque l'utilisateur envoie un message à ChatGPT, le texte n'est pas transmis tel quel. D'abord, un tokenizer le segmente en une séquence de tokens.

En simplifiant :

• texte → tokenisation → tokens → identifiants numériques → traitement par le réseau

Par exemple, la question : " Comment fonctionne un réseau neuronal ? " peut être découpée en plusieurs fragments, sans que les frontières des tokens correspondent forcément à celles des mots.

Chaque token se voit attribuer un identifiant issu du vocabulaire du modèle (par exemple, 4217, 853, 19024). Ces nombres n'ont pas de signification humaine : ils servent à identifier de manière unique chaque élément du dictionnaire.

C'est cette séquence d'identifiants numériques qui est transmise au modèle pour traitement.

Pourquoi la tokenisation est-elle nécessaire ?

Un réseau neuronal effectue des opérations mathématiques : il ne comprend pas les lettres ou les mots comme un humain. La phrase " Il fait beau aujourd'hui " n'a pas de sens pour le système tant qu'elle n'est pas convertie en nombres.

Attribuer un numéro à chaque mot possible n'est pas scalable, car la langue évolue sans cesse (noms propres, argot, nouveaux termes, etc.), et chaque mot a de nombreuses formes grammaticales.

La tokenisation règle ce problème via un niveau intermédiaire : le modèle utilise un vocabulaire limité de fragments courants. Si le mot recherché existe en entier, il devient un token ; sinon, il est découpé en morceaux connus du modèle.

Grâce à ce système, un réseau neuronal peut traiter aussi bien des phrases ordinaires que des noms, nombres, liens, code ou mots nouveaux.

Pourquoi le texte est-il découpé ainsi ?

Le vocabulaire des tokens est défini à la création du modèle. Les séquences fréquentes de caractères sont stockées comme éléments volumineux pour raccourcir la séquence. Les combinaisons rares sont, au contraire, fragmentées.

Un mot populaire peut ainsi être codé par un token unique, tandis qu'un terme technique inhabituel nécessitera plusieurs tokens.

Ce découpage dépend du tokenizer, de son vocabulaire et de la langue du texte, de sorte qu'une même phrase peut générer un nombre de tokens différent selon le modèle utilisé.

Pour une analyse détaillée de la tokenisation, la constitution du vocabulaire et la conversion du texte en identifiants numériques, consultez notre guide complet sur la tokenisation du texte.

Pourquoi ChatGPT compte-t-il les tokens et non les mots ?

À quoi servent les tokens pour les modèles ?

Utiliser les mots comme unités de base n'est pas pratique : la langue est trop riche, avec des millions de formes, de noms, de termes techniques et de néologismes. Un vocabulaire exhaustif serait immense et les mots inconnus compliqueraient le traitement.

Les tokens offrent une approche flexible : les mots ou fragments fréquents sont stockés en entier, les séquences rares sont assemblées à partir d'éléments plus petits. Ainsi, un même système peut traiter du texte, du code, des nombres, des adresses web ou différentes langues.

Ce principe permet aussi de limiter la taille du vocabulaire : la combinaison des tokens permet de représenter quasiment n'importe quel texte d'entrée.

C'est pourquoi ChatGPT compte les tokens et non les mots. Le nombre de mots est parlant pour l'humain, mais le modèle s'intéresse à la longueur de la séquence réellement traitée.

Comment ChatGPT utilise-t-il les tokens pour générer une réponse ?

Après avoir traité la requête, le modèle reçoit une séquence de tokens et l'utilise comme contexte pour prédire la suite.

En schématisant :

• tokens reçus → analyse du contexte → probabilités du prochain token → choix de la suite → répétition

Par exemple, si la phrase commence par " La capitale de la France est ", le modèle évalue les probabilités des tokens suivants. Celui correspondant à " Paris " obtient une probabilité plus élevée.

Le token choisi est ajouté à la séquence, puis le modèle répète le processus en tenant compte du nouveau contexte. Ce cycle se répète jusqu'à ce que la réponse soit complète ou que la limite soit atteinte.

Le " prochain token " n'est pas toujours un mot entier : il peut s'agir d'une partie de mot, d'un signe de ponctuation ou d'un autre fragment. À la fin, l'utilisateur retrouve des phrases familières.

Que devient le token à l'intérieur du réseau ?

L'identifiant numérique d'un token n'est pas encore exploitable pour les calculs. Il est converti en une représentation vectorielle (embedding), qui permet au réseau de travailler dans un espace mathématique multidimensionnel et de prendre en compte les relations entre tokens.

Les vecteurs traversent ensuite les couches du modèle, qui analyse non pas chaque token isolément, mais sa position et ses relations avec les autres dans le contexte.

Le sens d'un mot dépend souvent des éléments voisins ou de ceux apparus bien plus tôt dans la séquence. Ainsi, la même suite de caractères peut être interprétée différemment selon le contexte.

Le modèle obtient ainsi une représentation interne du contexte et peut calculer les probabilités du token suivant. Le processus se répète jusqu'à la fin de la génération.

Combien de caractères et de mots dans un token ?

Combien de caractères un token occupe-t-il généralement ?

Un token n'a pas de longueur fixe : il peut contenir un seul caractère, plusieurs lettres, un mot entier ou même une séquence plus longue. Il n'existe donc pas de règle universelle du type " 1 token = 4 caractères ".

Cette estimation n'est utilisée que pour des calculs approximatifs. Un mot court courant peut être un token unique, tandis qu'un terme technique rare, de même longueur, sera fragmenté. Les chiffres, symboles et combinaisons inhabituelles peuvent aussi augmenter le nombre de tokens.

Deux phrases de même longueur (en caractères) n'occupent donc pas nécessairement le même espace pour le réseau.

Peut-on convertir le nombre de tokens en mots ?

On ne peut pas non plus transformer précisément le nombre de mots en tokens via un simple ratio : parfois, un mot = un token ; parfois, plusieurs. C'est particulièrement flagrant pour les mots longs ou rares, que le tokenizer découpe en fragments connus.

Par exemple, le mot " microarchitecture " est une seule unité pour un humain, mais peut devenir plusieurs tokens pour le modèle. À l'inverse, une séquence fréquente de caractères peut être stockée en un seul token, occupant moins d'espace que sa longueur ne le laisserait croire.

Les estimations du type " 1000 tokens ≈ X mots " ne sont donc valables que pour des évaluations grossières. Pour compter précisément, il faut passer le texte par le même tokenizer que celui du modèle cible.

De quoi dépend le nombre de tokens ?

Plusieurs facteurs influent sur le nombre final de tokens :

• La langue : Un même sens dans différentes langues générera des nombres de tokens différents, selon la structure des mots, l'écriture et le vocabulaire du tokenizer.
• La fréquence des mots : Les mots ou expressions courantes sont souvent représentés par de gros tokens. Les termes rares, noms propres ou nouveaux mots sont plus fragmentés.
• Les nombres : Un long nombre peut être découpé en plusieurs tokens, selon la méthode de tokenisation.
• Ponctuation et symboles spéciaux : Points, virgules, parenthèses, signes mathématiques et autres symboles participent aussi à la tokenisation.
• URL et chaînes structurées : Une adresse web, même courte, peut générer de nombreux tokens à cause de la diversité des caractères.
• Code informatique : Les variables, opérateurs, indentations et autres éléments syntaxiques ont leur propre traitement, ce qui modifie aussi la consommation de tokens.
• Formatage : Sauts de ligne, constructions techniques et certains éléments de balisage augmentent aussi la taille de la séquence.

Pourquoi le français et l'anglais occupent-ils un nombre différent de tokens ?

La différence entre langues ne vient pas d'une " mauvaise compréhension " du français par le réseau, mais de la tokenisation. Le vocabulaire est créé à partir d'un vaste corpus : si certaines séquences anglaises sont plus fréquentes, elles seront codées par de grands tokens, tandis que le français sera parfois plus fragmenté.

Traduire une phrase anglaise en français peut donc changer le nombre de tokens, même si le sens et le nombre de mots restent proches. D'un modèle à l'autre, la proportion varie.

C'est pourquoi la taille d'un document ne doit pas être estimée seulement selon le nombre de pages, de mots ou de caractères : pour le réseau, c'est la quantité de tokens après tokenisation qui compte.

Fenêtre de contexte et limite de tokens de ChatGPT

Qu'est-ce que la fenêtre de contexte ?

Les tokens servent à mesurer non seulement la longueur d'un message, mais aussi le " contexte " : la quantité d'informations que le modèle peut prendre en compte lors du traitement et de la génération.

Le contexte inclut :

• les instructions système ;
• la requête de l'utilisateur ;
• les messages précédents du dialogue ;
• le texte inséré ;
• le contenu des documents transmis ;
• les informations techniques ;
• la partie déjà générée de la réponse.

Toutes ces données occupent des tokens. Un message court peut être traité avec une longue histoire de conversation qui utilise déjà une grande partie du contexte disponible.

On peut voir la fenêtre de contexte comme la " zone de travail " du réseau. Tant que l'information requise y tient, le modèle peut l'utiliser pour générer la suite.

Qu'est-ce que la limite de tokens ?

Chaque type de modèle linguistique a une limite de contexte : la quantité maximale de tokens traitable en une opération ou un dialogue, selon l'architecture et les paramètres du service.

Cette limite ne se traduit pas directement en pages ou en mots. Un document peut être " économe " en tokens, tandis qu'un autre de longueur équivalente en consommera davantage (langue, code, nombres, formatage complexe...).

Le texte d'entrée et la réponse générée peuvent utiliser la même réserve ou avoir des quotas séparés, selon le modèle et l'interface.

Par exemple, si la majeure partie de la fenêtre est occupée par un long document, l'historique et les instructions, il reste moins de place pour la suite. Le maximum théorique ne signifie donc pas que l'on peut toujours envoyer ou recevoir une séquence de cette taille.

Que se passe-t-il lors de dialogues longs ?

Au fil de la conversation, la quantité d'informations augmente. Si tout l'historique ne tient plus dans le contexte, le système doit gérer la mémoire pour rester sous la limite.

Selon le service ou le modèle, certains anciens messages peuvent être omis, ou des informations conservées sous une forme plus compacte.

Dans un échange très long, le réseau peut alors moins bien tenir compte des détails évoqués plus tôt. Pour l'utilisateur, le chat paraît continu, mais le modèle ne traite pas chaque message depuis le début à chaque réponse.

C'est l'une des raisons pour lesquelles les tokens sont si liés à la capacité du réseau à " retenir " le contexte d'une longue discussion.

Pour en savoir plus sur la mémoire des dialogues longs, consultez notre article sur le contexte et la mémoire des réseaux neuronaux.

Pourquoi la limite de tokens est-elle importante en pratique ?

La contrainte de contexte devient cruciale avec de gros volumes d'informations.

• Analyse de documents : la totalité du fichier, les instructions et l'espace pour la réponse doivent tenir dans la fenêtre. Plus le document est grand, plus il consomme de tokens.
• Code informatique : les fichiers, commentaires, variables, consignes techniques et modifications précédentes occupent du contexte. Un projet volumineux ne se mesure pas juste au nombre de lignes.
• Chats longs : les tokens s'accumulent avec l'historique. Plus d'informations à prendre en compte en même temps, plus la fenêtre doit être grande.
• Prompts détaillés : une instruction très précise apporte plus de contexte utile, mais occupe aussi de l'espace. Ajouter du texte n'améliore pas toujours le résultat : il vaut mieux privilégier l'essentiel et éviter les répétitions.

Les tokens ne sont donc pas une simple unité technique : ils déterminent la quantité réelle d'informations que le modèle peut traiter simultanément.

FAQ

1. Combien de caractères dans un token ?

   Un token n'a pas de nombre fixe de caractères. Il peut correspondre à un caractère isolé, plusieurs lettres, un mot entier ou une autre séquence. Pour des calculs approximatifs, on estime parfois quelques caractères par token, mais le chiffre réel dépend fortement du texte.

   Seul le tokenizer du modèle permet de le déterminer précisément.

2. Combien de mots dans un token ChatGPT ?

   Le ratio mots/tokens varie : un mot court fréquent peut être un seul token, un mot long ou rare en prend plusieurs. Ainsi, 1000 mots n'impliquent pas le même nombre de tokens selon la langue ou le vocabulaire utilisé.

   Pour les grandes requêtes, il vaut mieux se fier au nombre de tokens que de tenter une conversion par une formule fixe.

3. Les signes de ponctuation sont-ils des tokens séparés ?

   Oui, la ponctuation participe à la tokenisation, mais chaque signe n'est pas forcément un token isolé. Selon le tokenizer, un point, une virgule ou une parenthèse peut être un élément distinct ou faire partie d'un token avec les caractères voisins.

   Les espaces, retours à la ligne, symboles mathématiques et autres éléments sont traités de manière similaire.

4. Pourquoi un texte français occupe-t-il parfois plus de tokens que l'anglais ?

   Le nombre de tokens dépend du vocabulaire du tokenizer et des séquences de caractères les mieux représentées. Si le corpus à l'origine du vocabulaire contenait plus de fragments anglais, ils sont codés par de gros tokens ; pour le français, le découpage sera souvent plus fin.

   Ce n'est cependant pas une règle universelle, chaque tokenizer et chaque texte produisant des résultats différents.

5. Que se passe-t-il si la limite de tokens de ChatGPT est atteinte ?

   Si le volume d'informations dépasse la fenêtre de contexte, le modèle ne peut pas tout traiter simultanément. Selon le service, une partie du contexte ancien peut être ignorée ou compressée, ou l'entrée et la réponse peuvent être limitées.

   C'est particulièrement important pour les longues conversations, les documents volumineux ou l'analyse de gros fragments de code.

Conclusion

Les tokens dans les réseaux neuronaux sont les éléments de base par lesquels le modèle linguistique reçoit et génère du texte. Ils ne coïncident pas directement avec les mots ou les caractères : un mot peut être un seul token ou être fragmenté.

ChatGPT compte les tokens parce que ce format permet de représenter la richesse et la variabilité du langage humain via un vocabulaire limité. Après tokenisation, chaque fragment reçoit un identifiant numérique, ensuite transformé pour les calculs internes du réseau.

Le nombre de tokens a une importance concrète : il détermine la place qu'occupe une requête, la portion d'historique disponible dans la fenêtre de contexte et la quantité d'informations que le modèle peut traiter à la fois. Pour les documents longs, le code ou les conversations étendues, il est donc essentiel de s'intéresser à la taille réelle après tokenisation plutôt qu'au nombre de pages ou de mots.