Comprendre les Embeddings : Représentation Vectorielle et Recherche Sémantique

Les embeddings sont des représentations numériques de mots, textes, images et autres données, permettant aux réseaux de neurones d'effectuer des opérations mathématiques. Au lieu de percevoir le mot "chat" comme une simple suite de lettres, le modèle le convertit en un ensemble de nombres - un vecteur dont la position reflète le sens de l'objet.

La principale caractéristique des embeddings est que des objets similaires obtiennent généralement des représentations vectorielles proches. Par exemple, le vecteur du mot "voiture" sera plus proche de "automobile" que de "banane". Cela permet au réseau de comparer non seulement des mots identiques, mais aussi le sens des phrases, des documents ou des images.

Cette approche est utilisée dans les modèles de langage, la recherche sémantique, les systèmes de recommandation, les bases de données vectorielles et les réseaux neuronaux multimodaux. Pour comprendre pourquoi cela fonctionne, il faut d'abord saisir ce qu'est un embedding et en quoi il diffère d'un simple identifiant numérique.

Qu'est-ce qu'un embedding et pourquoi les réseaux neuronaux en ont-ils besoin ?

Un embedding, simplement dit, est un ensemble de nombres décrivant un objet d'une manière adaptée aux calculs. Cet objet peut être un mot, une partie de mot, une phrase, un document entier, une image, un enregistrement audio ou même un utilisateur dans un système de recommandation.

Par exemple, un embedding de mot peut ressembler à ceci :
[0.24, -0.81, 0.13, 0.57, ...]

En pratique, le vecteur peut contenir des centaines ou des milliers de chiffres. Chaque valeur ne correspond généralement pas directement à une notion comme "couleur", "taille" ou "humeur". Le sens est stocké non pas dans une seule coordonnée, mais dans la position de tout le vecteur par rapport aux autres.

C'est le principe de la représentation vectorielle des données. Si deux objets sont similaires dans le contexte d'une tâche, le modèle tente de les placer plus près l'un de l'autre dans l'espace multidimensionnel. Les mots "ordinateur portable" et "ordinateur" seront proches, tandis que "ordinateur portable" et "océan" seront beaucoup plus éloignés.

Sans ce type de représentation, il serait difficile pour les réseaux neuronaux de traiter le sens. L'ordinateur travaille uniquement avec des chiffres, il faut donc convertir les données originales en une forme numérique. Un simple identifiant ne résout cependant pas ce problème.

Imaginons qu'on attribue à "chat" l'identifiant 125, et à "chat mâle" le 892. Ces chiffres ne renseignent en rien sur leur proximité sémantique. Le 125 n'est pas "proche" de 892 dans un sens utile au modèle. Les embeddings permettent de représenter les objets de sorte que la distance mathématique entre eux contienne de l'information sur leur similarité.

Il est important de ne pas confondre embeddings et tokens. Un token est un fragment de texte (mot, partie de mot, signe de ponctuation, etc.) extrait avant traitement. Chaque token reçoit ensuite une représentation numérique exploitée par le réseau.

Pour en savoir plus sur la nature des tokens, consultez notre article dédié sur les tokens dans les réseaux neuronaux.

Les embeddings ne sont pas réservés aux modèles linguistiques. Une IA entraînée à représenter des photos sous forme de vecteurs pourra retrouver des images visuellement ou sémantiquement proches. Si l'on représente produits et intérêts des utilisateurs en vecteurs, on peut construire des recommandations. En transformant des documents en embeddings, la recherche par sens devient possible, même sans correspondance exacte des mots-clés.

L'embedding sert donc de langage intermédiaire universel entre les données réelles et les mathématiques du réseau. À l'intérieur du modèle, tout objet - texte ou image - devient un point dans un espace multidimensionnel, directement exploitable pour des comparaisons, recherches et calculs.

Comment un texte devient-il un vecteur ?

Du texte et des tokens aux nombres

Avant de traiter une phrase, le réseau de neurones la fait passer par plusieurs étapes :

• texte →
• tokens →
• identifiants de tokens →
• embeddings →
• traitement par le réseau

D'abord, la chaîne de départ est " tokenisée ". Par exemple, la phrase " le réseau neuronal analyse le texte " peut être découpée en tokens qui ne correspondent pas forcément à des mots entiers : morceaux de mots ou signes. Le découpage dépend du tokenizer utilisé.

Pour approfondir ce processus, découvrez notre article sur la tokenisation du texte.

Après la tokenisation, chaque élément reçoit un identifiant du dictionnaire du modèle (ex : 4217, 853, 19024). Ces nombres servent à pointer vers les éléments du vocabulaire, mais n'ont pas de valeur sémantique en eux-mêmes.

L'étape suivante est la conversion des identifiants en embeddings. Pour chaque token, le modèle génère un vecteur de plusieurs chiffres, sur lequel les couches suivantes peuvent effectuer des calculs.

La phrase n'est donc jamais transmise au modèle sous forme de texte brut. Après la préparation, elle devient une séquence de vecteurs numériques. Ainsi, l'information sur la présence et l'ordre des éléments du texte est préservée.

Il est crucial de comprendre que l'embedding initial du token n'est qu'un point de départ. Dans les modèles modernes, la représentation évolue à travers les couches du réseau et intègre progressivement le contexte.

Par exemple, le mot " clé " dans " clé de la porte " et " clé de la résolution du problème " est tokenisé de la même façon. Mais après prise en compte du contexte, les représentations internes diffèrent, car les mots voisins indiquent le sens visé.

Comment le réseau neuronal apprend-il à placer les mots selon leur sens ?

Des embeddings utiles ne sont pas définis à la main. Personne ne crée de table indiquant à quel point " chien " est proche de " chat " ou " avion " de " aéroport ". Ces relations émergent pendant l'entraînement du modèle.

Le réseau traite un grand nombre d'exemples et ajuste progressivement ses paramètres pour mieux accomplir sa tâche. Il découvre des régularités statistiques : quels mots apparaissent dans des contextes similaires, quels concepts sont liés, quelles constructions sont fréquemment associées.

Si des mots se retrouvent souvent ensemble, leurs vecteurs acquièrent des propriétés proches. Par exemple, " chat " et " chien " apparaissent souvent avec " animal ", " nourriture ", " domestique ", " animal de compagnie ". Leurs embeddings seront donc plus proches que celui de " processeur ".

Cependant, les embeddings ne reflètent pas seulement la fréquence d'apparition. Les modèles modernes apprennent des dépendances complexes entre d'innombrables éléments textuels. L'espace vectoriel obtenu encode catégories, relations, contexte et autres propriétés utiles à la tâche.

L'espace peut avoir des centaines ou milliers de dimensions. Il est impossible de le visualiser, mais il est mathématiquement commode pour effectuer des calculs : mesurer la distance entre deux vecteurs et déterminer à quel point les objets correspondants sont considérés comme similaires.

Embedding d'un mot et embedding d'un texte entier

Un embedding ne correspond pas nécessairement à un seul mot ou token. Selon la tâche, une phrase, un paragraphe ou un document entier peuvent être représentés par un vecteur unique.

Par exemple, les phrases " comment prolonger l'autonomie du smartphone " et " façons d'augmenter l'autonomie du téléphone " utilisent des mots différents. Une recherche par correspondance stricte pourrait les considérer comme éloignées, mais un modèle d'embeddings saura les rapprocher, car leur sens est presque identique.

Le système crée alors une représentation vectorielle du texte entier, qui doit condenser l'information utile à la comparaison avec d'autres fragments. Cette technique est très utile pour la recherche documentaire, la classification, le regroupement de textes similaires et la gestion de bases de connaissances.

La taille du texte d'origine et celle de l'embedding final ne sont pas forcément corrélées. Une courte phrase et un long paragraphe peuvent être représentés par des vecteurs de même dimension. Ce sont les valeurs, et non la quantité de nombres, qui changent.

Cela permet de comparer rapidement des milliers de documents. Au lieu d'analyser chaque texte mot à mot, le système utilise leurs vecteurs et recherche ceux les plus proches de celui de la requête.

Le réseau passe ainsi d'une représentation littérale à un espace mathématique des concepts. Reste à savoir comment la proximité entre deux vecteurs est calculée et pourquoi cela permet de trouver des textes similaires en sens.

Espace vectoriel : comment le réseau neuronal compare-t-il le sens ?

On peut voir un embedding comme un point dans l'espace. Mais au lieu de deux ou trois coordonnées, cet espace en compte des centaines ou des milliers. Chaque objet - mot, phrase, document ou image - reçoit ses propres coordonnées et occupe une place relative aux autres.

La position d'un point n'a pas de sens isolément. Ce qui importe, ce sont les distances et directions entre les vecteurs. Si deux textes ont un sens proche, leurs embeddings seront voisins. S'ils traitent de sujets très différents, la distance sera plus grande.

Par exemple, les requêtes :
" comment augmenter l'autonomie d'un smartphone "
et
" comment prolonger la durée de la batterie du téléphone "
partagent peu de mots. Pourtant, leurs embeddings peuvent être très proches, car le sujet est identique. C'est ce qui distingue la comparaison sémantique du simple matching de mots-clés.

Qu'est-ce que la proximité de deux vecteurs ?

Pour mesurer la similarité entre deux embeddings, le système utilise des métriques mathématiques. La plus courante est la similarité cosinus.

Imaginez deux vecteurs comme des flèches partant du même point. La similarité cosinus mesure l'angle entre elles : plus l'angle est petit, plus ils sont considérés comme proches. Si les directions diffèrent fortement, la similarité diminue.

C'est pratique, car pour de nombreuses tâches, la direction compte plus que la longueur du vecteur. Deux textes peuvent différer par la longueur ou les détails, mais traiter du même sujet. Leurs représentations garderont alors une direction similaire dans l'espace multidimensionnel.

D'autres mesures existent, comme la distance euclidienne ou le produit scalaire. Le choix dépend du modèle et du système d'exploitation des embeddings. Mais le principe reste : la proximité mathématique des vecteurs sert à estimer la similarité des objets.

Pourquoi des mots identiques n'ont-ils pas toujours le même sens ?

La simple occurrence de mots identiques ne suffit pas à saisir le sens d'un texte. Un mot peut avoir différentes significations selon le contexte.

Par exemple :
" La souris est à côté du clavier "
et
" La souris s'est cachée sous l'armoire "
Le mot " souris " apparaît dans les deux phrases, mais la première parle probablement de l'accessoire informatique, la seconde de l'animal. Les réseaux modernes tiennent compte du contexte, les représentations internes de " souris " seront donc différentes.

À l'inverse, deux textes peuvent ne partager aucun mot mais exprimer la même idée : " L'ordinateur portable se décharge vite " et " l'ordinateur a une faible autonomie " sont formulés différemment mais sont clairement reliés par le sens.

C'est pourquoi les embeddings sont précieux lorsque la recherche par mots-clés exacts s'avère limitée. Le système compare non seulement les mots présents mais aussi la représentation numérique de leur sens global.

Comment fonctionne la recherche sémantique ?

La recherche sémantique s'appuie sur les embeddings pour trouver l'information selon la signification de la requête. Les documents ou fragments sont préalablement convertis en vecteurs et enregistrés dans le système.

Quand l'utilisateur saisit une demande, un embedding lui est associé. Le système compare alors ce vecteur à ceux des documents et sélectionne les plus proches.

En résumé :

• requête →
• embedding de la requête →
• comparaison avec les embeddings des documents →
• trouver les vecteurs les plus proches →
• afficher les résultats

Par exemple, la base contient la phrase " les batteries lithium-ion perdent progressivement leur capacité à l'usage ". L'utilisateur cherche " pourquoi la batterie du téléphone tient-elle moins bien avec le temps ". Les formulations diffèrent, mais le sens est suffisamment proche pour que le système propose le bon contenu.

Cela s'avère particulièrement utile dans les grandes bases de connaissances, la documentation technique, les catalogues produits ou les documents internes d'entreprise. L'utilisateur n'a pas besoin de deviner la formulation exacte du texte d'origine.

Cependant, les embeddings ne traduisent pas une compréhension absolue du sens. La proximité vectorielle dépend du modèle, de la langue, du sujet, de la longueur du texte et de la méthode de découpage.

Malgré ces limites, la représentation vectorielle permet de passer de la question " y a-t-il les mêmes mots ? " à " ces données sont-elles proches par leur sens ? ". Sur ce principe reposent de nombreux moteurs de recherche sémantique et systèmes d'IA modernes.

Où utilise-t-on les embeddings de texte et d'image ?

Les embeddings sont utiles partout où il faut rapidement estimer la similarité entre objets : recherche dans des milliers de documents, recommandation de produits similaires, comparaison de photos ou transmission d'information à un modèle de langage.

Le principe est presque toujours le même : l'objet est converti en vecteur, lequel est comparé à d'autres. C'est le type d'information retenue par le modèle qui varie.

Recherche sémantique

L'exemple le plus évident est la recherche par sens. Une recherche textuelle classique s'appuie sur les mots et leurs formes. L'utilisateur doit souvent deviner une formulation présente dans le document.

Les embeddings changent cela : la requête et les documents sont transformés en vecteurs et le système choisit ceux qui sont les plus proches du vecteur de la requête.

Par exemple, l'utilisateur saisit : " pourquoi le téléphone se décharge vite au froid ". La base contient : " à basse température, la batterie lithium-ion perd temporairement sa capacité à fournir de l'énergie ". Les mots ne coïncident guère, mais le modèle d'embeddings peut relier le sens et retourner le bon résultat.

Ce mécanisme est utilisé dans la recherche documentaire, les bases de connaissances d'entreprise, les catalogues de produits, les systèmes d'aide et les grandes collections de textes.

Les embeddings sont aussi la clé des systèmes RAG : la requête de l'utilisateur sert à rechercher des fragments pertinents dans une base externe, l'information trouvée est ensuite transmise au modèle de langage pour générer une réponse. Ainsi, le modèle peut travailler avec des données absentes de ses paramètres d'entraînement.

Bases de données vectorielles

Avec quelques centaines d'embeddings, le stockage n'est pas un problème. Mais dès qu'il s'agit de gérer des millions, voire des milliards de vecteurs à interroger en une fraction de seconde, il faut recourir à des bases de données vectorielles et des index de recherche spécialisés.

Ils stockent les embeddings avec l'information sur les objets d'origine et permettent de retrouver rapidement les vecteurs les plus proches.

Par exemple, une base de connaissances peut comporter un million de fragments de texte, chacun converti à l'avance en embedding. Lorsqu'une requête arrive, le système crée un nouveau vecteur pour elle et recherche les valeurs les plus proches parmi celles déjà enregistrées.

On peut ensuite accéder aux documents d'origine, noms de produits, images ou autres données associées à ces vecteurs.

Pour approfondir le fonctionnement de ces systèmes et comparer les solutions populaires, consultez notre article sur les bases de données vectorielles.

La base vectorielle ne " comprend " pas les textes par elle-même : c'est le modèle d'embedding qui génère la représentation sémantique, la base ne fait que stocker et interroger efficacement ces vecteurs.

Embeddings d'images

On peut aussi créer une représentation vectorielle pour une image. Celle-ci est transformée en une série de nombres reflétant les critères jugés importants par le modèle.

Par exemple, des photos de deux voitures différentes peuvent avoir des embeddings proches, même si les voitures sont photographiées sous des angles ou fonds différents. À l'inverse, une voiture et une pomme seront probablement distantes.

Cela permet la recherche d'images similaires, le clustering automatique, la détection de doublons ou la classification de contenus visuels.

Selon l'entraînement du modèle, l'embedding peut refléter différentes propriétés : forme, contenu sémantique, style ou détails visuels. Il n'existe donc pas d'unique " bon " embedding d'image : tout dépend du besoin et du modèle utilisé.

Un cas d'usage courant : la recherche d'image par image. L'utilisateur charge une photo, le système en extrait un embedding et recherche les vecteurs les plus proches parmi ceux déjà indexés. On peut ainsi retrouver des produits, photos ou objets similaires sans description textuelle.

Comment texte et images se retrouvent-ils dans un même espace ?

Les modèles multimodaux vont plus loin : ils créent des représentations pour différents types de données (texte, image...) de sorte que les objets liés (ex : une photo et sa description) soient proches dans l'espace vectoriel.

Par exemple, une photo d'un golden retriever et le texte " chien de race golden retriever sur l'herbe " auront des représentations proches, bien qu'il s'agisse de types de données différents.

Le modèle est alors entraîné sur des exemples liés (images et descriptions). Il apprend à placer les objets correspondants côte à côte dans un espace commun ou compatible.

Grâce à ce principe, il devient possible de chercher des images par requête textuelle. L'utilisateur tape " voiture de sport rouge la nuit ", la phrase est convertie en vecteur et comparée aux embeddings des images - il n'est pas nécessaire que chaque photo ait une description textuelle exacte.

L'inverse est aussi possible : une image sert à retrouver des textes associés. Ce principe s'applique à la recherche multimodale, à la reconnaissance de contenu et aux réseaux capables de traiter texte et image simultanément.

En résumé, les embeddings offrent à différents types d'information une forme mathématique commune. Une fois le texte, la photo ou tout autre objet converti en vecteur, le système peut utiliser le même principe de base : chercher les représentations les plus proches dans l'espace vectoriel.

FAQ

1. Quelle est la différence entre embeddings et tokens ?

   Un token est un élément extrait du texte avant traitement par le réseau neuronal (mot, partie de mot, symbole, ponctuation). Ce n'est pas encore une représentation adaptée aux calculs. Un embedding est un vecteur numérique correspondant à un token, un texte ou un autre objet : le token est l'unité d'entrée, l'embedding sa représentation mathématique dans le modèle.

2. Combien de chiffres y a-t-il dans un embedding ?

   Le nombre de valeurs (la dimension) dépend du modèle. Un vecteur peut comporter des centaines à des milliers de chiffres. Une dimension élevée permet de coder des relations complexes, mais augmente mémoire et temps de calcul. Le nombre de coordonnées n'est pas lié à la longueur de la phrase d'origine : une courte et une longue peuvent avoir des embeddings de même dimension si le modèle est le même.

3. Un même texte peut-il avoir des embeddings différents ?

   Oui. Un texte peut recevoir des vecteurs différents selon le modèle utilisé. Chaque modèle d'embedding a son propre apprentissage et reflète différemment les propriétés sémantiques. Cela dépend aussi de ce qui est converti (token, phrase, document). Pour comparer des données, il faut en général utiliser le même modèle, sinon les vecteurs ne seront pas dans un espace compatible.

4. Comment les embeddings sont-ils utilisés dans la recherche sémantique ?

   Le système convertit d'abord les documents (ou fragments) en vecteurs et les enregistre. Lors d'une requête, il crée un embedding avec le même modèle. Il recherche alors les vecteurs les plus proches. Leur proximité indique que les textes sont probablement similaires en sens. Ainsi, une question sur " comment augmenter la durée de vie de la batterie " peut conduire à un article sur " économiser l'énergie " grâce à la similarité vectorielle.

5. Peut-on transformer image et texte en vecteurs comparables ?

   Oui, si le modèle est entraîné pour différents types de données. Ces systèmes associent images et descriptions textuelles dans un espace vectoriel compatible. Par exemple, une photo de vélo et la phrase " personne faisant du vélo en ville " auront des embeddings proches. On peut ainsi chercher des images par texte, sans avoir à comparer des mots avec des tags pré-enregistrés. C'est le principe des modèles multimodaux : traduire diverses données en une forme mathématique où la comparaison se fait sur le contenu, non le format.

Conclusion

Les embeddings permettent aux réseaux neuronaux de convertir des données complexes en une forme mathématique exploitable. Mot, phrase, document ou image devient un vecteur - un ensemble de nombres reflétant les propriétés et liens de l'objet avec d'autres données.

Pour le texte, le processus commence par la tokenisation : la phrase est découpée en tokens, qui reçoivent des identifiants, puis sont transformés en embeddings. Ces représentations évoluent dans le modèle en fonction du contexte, de sorte qu'un même mot peut être interprété différemment selon la phrase.

Le principal avantage pratique des embeddings est la comparaison basée sur le sens. C'est ce qui rend possible la recherche sémantique, la recherche d'images similaires, les systèmes de recommandation, RAG et les bases vectorielles. Le système peut trouver le bon contenu même si la requête et le texte d'origine partagent peu de mots.

L'embedding n'est cependant pas une " traduction numérique exacte du sens ". Sa qualité dépend du modèle, de l'entraînement et de la tâche. Mais la représentation vectorielle offre aux réseaux neuronaux modernes un moyen efficace de transformer langage, images et autres objets complexes en un espace où ils peuvent être comparés, regroupés et reliés.