Embeddings in neuronalen Netzen: Bedeutung, Anwendung und Funktionsweise

Embeddings sind numerische Darstellungen von Wörtern, Texten, Bildern und anderen Daten, mit denen ein neuronales Netzwerk mathematische Operationen durchführen kann. Anstatt das Wort "Katze" als Buchstabenfolge zu verstehen, wandelt das Modell es in eine Zahlenreihe - einen Vektor - um, dessen Position mit der Bedeutung des Objekts verknüpft ist.

Das Besondere an Embeddings ist, dass semantisch ähnliche Objekte meist ähnliche Vektorrepräsentationen erhalten. Beispielsweise wird der Vektor für "Auto" näher bei "Fahrzeug" liegen als bei "Banane". So kann das neuronale Netzwerk nicht nur exakte Übereinstimmungen, sondern auch die Bedeutung von Phrasen, Dokumenten oder Bildern vergleichen.

Dieser Ansatz findet Anwendung in Sprachmodellen, dem semantischen Suchen, Empfehlungssystemen, vektorbasierten Datenbanken und multimodalen neuronalen Netzen. Um zu verstehen, warum das funktioniert, schauen wir uns an, was ein Embedding eigentlich ist und wie es sich von einer gewöhnlichen numerischen ID unterscheidet.

Was sind Embeddings und warum brauchen neuronale Netze sie?

Ein Embedding ist einfach gesagt eine Zahlenreihe, die ein Objekt in einer Form beschreibt, mit der sich einfach rechnen lässt. Das kann ein Wort, ein Wortteil, ein Satz, ein Dokument, ein Bild, eine Audiodatei oder sogar ein Nutzer in einem Empfehlungssystem sein.

Ein typisches Embedding für ein Wort könnte so aussehen:

[0.24, -0.81, 0.13, 0.57, ...]

In der Praxis kann ein Vektor Hunderte oder Tausende Zahlen enthalten. Jede einzelne Zahl lässt sich selten direkt als "Farbe", "Größe" oder "Stimmung" interpretieren. Die Bedeutung steckt nicht in einer Koordinate, sondern in der Lage des gesamten Vektors relativ zu anderen.

Genau darin liegt der Vorteil einer Vektorrepräsentation: Ähnliche Objekte platziert das Modell im mehrdimensionalen Raum näher beieinander. So könnten "Laptop" und "Computer" nahe beieinander liegen, während "Laptop" und "Ozean" weit voneinander entfernt sind.

Ohne diese Darstellung wäre es für neuronale Netze schwierig, Bedeutung zu erkennen. Computer arbeiten letztlich mit Zahlen, daher müssen Eingabedaten in numerische Form gebracht werden. Eine simple ID genügt dafür aber nicht.

Wenn das System dem Wort "Katze" die ID 125 und "Kater" die ID 892 gibt, sagt das nichts über deren semantische Nähe aus. Die Zahlen selbst sind für das Modell bedeutungslos. Embeddings hingegen machen es möglich, dass der mathematische Abstand bereits Informationen über die Ähnlichkeit liefert.

Wichtig ist, Embeddings nicht mit Tokens zu verwechseln. Ein Token ist ein Textfragment, das ein Modell vor der Verarbeitung erkennt - ein ganzes Wort, ein Wortteil, Satzzeichen oder ein anderes Element. Jedem Token wird dann ein numerisches Embedding zugeordnet, welches im neuronalen Netz verwendet wird.

Mehr zur Struktur solcher Textelemente erfahren Sie im Artikel Tokens in neuronalen Netzwerken: Bedeutung, Token-Limit und Funktionsweise bei ChatGPT.

Embeddings werden nicht nur in Sprachmodellen benötigt. Wenn ein System auch Fotos als Vektoren darstellen kann, findet es visuell oder semantisch ähnliche Bilder. Werden Produkte und Nutzerinteressen als Vektoren abgebildet, entstehen Empfehlungen. Werden Dokumente zu Embeddings, ist eine sinnbasierte Suche auch ohne exakte Schlüsselwörter möglich.

So fungiert ein Embedding als universelle Zwischensprache zwischen realen Daten und der Mathematik des neuronalen Netzes. Ein Objekt kann Text oder Bild sein - im Modell wird es zu einem Punkt im mehrdimensionalen Raum, der sich vergleichen, durchsuchen und berechnen lässt.

Wie Text zu Vektoren wird

Von Text und Tokens zu Zahlen

Bevor ein neuronales Netzwerk mit einem Satz arbeiten kann, durchläuft der Text mehrere Umwandlungsschritte:

• Text
• Tokens
• Token-IDs
• Embeddings
• Verarbeitung durch das neuronale Netz

Zunächst zerlegt ein Tokenizer den Text. Die Phrase "Das neuronale Netz analysiert Text" wird dabei nicht zwangsläufig in einzelne Wörter, sondern in verschiedene Tokens (Wörter, Wortteile, Symbole) aufgeteilt - das hängt vom jeweiligen Tokenizer ab.

Mehr zum Prozess der Textaufteilung lesen Sie im Artikel Text-Tokenisierung in KI: So wird Sprache für neuronale Netze verständlich.

Nach der Tokenisierung erhält jedes Token eine ID aus dem Vokabular des Modells - zum Beispiel 4217, 853, 19024. Diese IDs helfen beim Zugriff auf die jeweiligen Vokabeln, sagen aber kaum etwas über die Bedeutung aus.

Im nächsten Schritt werden die IDs in Embeddings umgewandelt: Für jedes Token generiert das Modell einen Vektor aus vielen Zahlen. Mit diesen Vektoren kann das neuronale Netz dann rechnen.

Eine Phrase wird also nicht wortwörtlich ans Modell weitergegeben - sie verwandelt sich nach der Vorverarbeitung in eine Sequenz von Vektoren, die die Reihenfolge und den Inhalt des Textes abbildet.

Wichtig: Das anfängliche Embedding eines Tokens ist nur ein Startpunkt. Moderne Sprachmodelle verändern die Repräsentation über mehrere Schichten, wobei der Kontext einbezogen wird.

So wird etwa das Wort "Schlüssel" in "Schlüssel zur Tür" und "Schlüssel zur Lösung" zwar als identisches Token erkannt, erhält nach Kontextverarbeitung aber unterschiedliche innere Darstellungen, da die umgebenden Wörter die Bedeutung beeinflussen.

Wie neuronale Netze Bedeutungen anordnen lernen

Nützliche Embeddings werden nicht von Entwicklern manuell erstellt. Niemand legt eine Tabelle an, in der steht, wie nah "Hund" an "Katze" oder "Flugzeug" an "Flughafen" ist. Diese Verhältnisse entstehen während des Trainingsprozesses.

Das neuronale Netz verarbeitet viele Beispiele und passt seine Parameter an, um seine Aufgabe besser zu erfüllen. Es erkennt statistische Muster: Welche Wörter erscheinen im ähnlichen Kontext, welche Begriffe sind verknüpft, welche Sprachkonstruktionen treten gemeinsam auf.

Begriffe, die häufig zusammen vorkommen, bekommen ähnliche Eigenschaften. "Katze" und "Hund" erscheinen oft mit "Tier", "Futter", "Haustier" oder "Zuhause" - ihre Vektoren rücken näher zusammen als etwa zu "Prozessor".

Embeddings spiegeln aber nicht nur einfache Häufigkeiten wider. Moderne Modelle lernen komplexe Zusammenhänge zwischen vielen Elementen, sodass das Vektorraum Kategorien, Beziehungen, Kontext und weitere Merkmale abbilden kann.

Der Raum kann dabei hunderte oder tausende Dimensionen haben - für Menschen unvorstellbar, aber für mathematische Berechnungen optimal. Der Abstand zwischen zwei Vektoren zeigt, wie ähnlich das Modell die zugehörigen Objekte einschätzt.

Wort- und Text-Embeddings

Ein Embedding entspricht nicht zwingend einem Wort oder Token. Je nach Aufgabe kann ein einzelner Vektor einen Satz, Absatz, Artikel oder ein anderes Dokument abbilden.

So bestehen die Phrasen "wie die Akkulaufzeit eines Smartphones verlängern" und "Tipps für mehr Handy-Ausdauer" aus unterschiedlichen Wörtern. Eine exakte Suche würde sie unterschiedlich einstufen. Ein Embedding-Modell hingegen platziert sie nahe beieinander, da sie denselben Sinn haben.

Dazu erzeugt das System eine kompakte Vektorrepräsentation für den gesamten Text, die wichtige Informationen für den Vergleich mit anderen Fragmenten enthält. Besonders nützlich ist das bei Dokumentensuche, Materialklassifikation, Gruppierung ähnlicher Texte und Wissensdatenbanken.

Die Textlänge und die Dimension des Embeddings müssen nicht übereinstimmen. Ein kurzer Satz oder ein langer Absatz können Vektoren mit gleicher Dimension erhalten - nur die Werte unterscheiden sich.

Das ermöglicht es, große Mengen an Dokumenten schnell zu vergleichen: Anstatt jeden Text einzeln zu analysieren, kann das System deren Vektoren vorab berechnen und die nächsten im Vektorraum zum Suchanfrage-Embedding finden.

So geht das neuronale Netz vom buchstäblichen Text zu einem mathematischen Bedeutungsraum über. Doch wie wird die Nähe zwischen Vektoren definiert - und warum hilft sie, ähnliche Texte zu finden?

Vektorraum: Wie neuronale Netze Bedeutungen vergleichen

Ein Embedding lässt sich als Punkt im Raum vorstellen - allerdings mit hunderten oder tausenden Dimensionen. Jedes Objekt - Wort, Satz, Dokument, Bild - erhält eigene Koordinaten und eine Position relativ zu anderen Objekten.

Die genaue Lage des Punktes ist für Menschen schwer interpretierbar, aber die Abstände und Richtungen zwischen den Vektoren sind entscheidend. Texte mit ähnlicher Bedeutung werden im Embedding-Raum nahe platziert, thematisch unterschiedliche weiter entfernt.

Beispielanfragen:

• wie Handy-Ausdauer verlängern
• wie Akkulaufzeit des Smartphones erhöhen

haben kaum gemeinsame Wörter, aber ihre Embeddings können sehr nah beieinander liegen, da sie dasselbe Thema behandeln. Das unterscheidet semantische Suche von herkömmlicher Keyword-Suche.

Was bedeutet Vektor-Nähe?

Um die Ähnlichkeit zweier Embeddings zu bestimmen, werden mathematische Metriken verwendet. Am häufigsten ist die Kosinus-Ähnlichkeit.

Stellen Sie sich zwei Vektoren als Pfeile vor, die vom selben Punkt ausgehen. Die Kosinus-Ähnlichkeit bewertet in erster Linie den Winkel zwischen ihnen. Zeigen sie in ähnliche Richtungen, gelten sie als ähnlich; bei stark abweichenden Richtungen sinkt die Ähnlichkeit.

Das ist praktisch, weil oft die Richtung eines Vektors wichtiger ist als seine absolute Länge. Zwei Texte können sich im Umfang unterscheiden, aber trotzdem dasselbe Thema haben und ähnliche Richtungen im Raum zeigen.

Es gibt auch andere Methoden - wie den euklidischen Abstand oder das Skalarprodukt. Die Wahl hängt vom Modell und der jeweiligen Anwendung ab. Für Nutzer bleibt das Prinzip gleich: Mathematische Nähe im Vektorraum dient als Ähnlichkeitsmaß.

Warum gleiche Wörter nicht immer gleiche Bedeutung haben

Wortübereinstimmung reicht nicht aus, um den Sinn eines Textes zu erfassen. Das gleiche Wort kann je nach Kontext Verschiedenes bedeuten.

Beispiel:

• Die Maus liegt neben der Tastatur
• Die Maus hat sich unter dem Schrank versteckt

Das Wort "Maus" kommt in beiden Sätzen vor, doch im ersten Fall ist vermutlich das Computergerät gemeint, im zweiten das Tier. Moderne neuronale Netze berücksichtigen den Kontext, daher unterscheiden sich die inneren Darstellungen des Wortes je nach Satz.

Auch umgekehrt: Texte können ohne identische Wörter denselben Sinn ausdrücken. "Laptop entlädt sich schnell" und "Computer hat kurze Akkulaufzeit" sind unterschiedlich formuliert, aber eng verwandt.

Deshalb sind Embeddings besonders dort nützlich, wo die Suche nach exakten Übereinstimmungen nicht funktioniert. Das System kann Bedeutungen vergleichen, nicht nur Wortlisten.

Wie funktioniert semantische Suche?

Semantische Suche nutzt Embeddings, um Informationen nach Bedeutung zu finden. Dokumente oder Textfragmente werden vorab in Vektoren umgewandelt und gespeichert.

Bei einer Suchanfrage erstellt das System ein Embedding für den Query. Anschließend vergleicht es diesen Vektor mit den gespeicherten Vektoren und findet die nächsten Nachbarn.

Vereinfacht sieht der Prozess so aus:

• Suchanfrage → Embedding der Anfrage
• Vergleich mit Dokument-Embeddings
• Suche nach den nächsten Vektoren
• Ausgabe der relevantesten Ergebnisse

Beispiel: In der Datenbank steht der Satz "Lithium-Ionen-Akkus verlieren über die Zeit an Kapazität". Sucht ein Nutzer nach "Warum hält mein Handy-Akku immer kürzer?", gibt es kaum identische Formulierungen, aber die Bedeutung ist ähnlich genug, damit das System relevante Inhalte findet.

Das ist besonders in großen Wissensdatenbanken, technischer Dokumentation, Produktkatalogen und internen Firmendokumenten hilfreich. Der Nutzer muss nicht die exakte Formulierung treffen, die der Autor verwendet hat.

Dennoch bieten Embeddings keine perfekte Bedeutungsanalyse. Die Vektornähe ist das Ergebnis des gelernten Modells und kann Fehler enthalten. Die Qualität hängt vom Embedding-Modell, der Sprache, dem Themenbereich, der Textlänge und der Fragmentierung ab.

Trotz dieser Grenzen macht die Vektorrepräsentation die Frage "Gibt es hier die gleichen Wörter?" überflüssig und ermöglicht stattdessen "Wie ähnlich sind diese Daten inhaltlich?". Auf diesem Prinzip basieren viele Systeme der semantischen Suche und moderne KI-Anwendungen.

Einsatzgebiete von Text- und Bild-Embeddings

Embeddings sind überall dort nützlich, wo das System schnell die Ähnlichkeit zwischen Objekten bestimmen muss - sei es die Suche in Tausenden von Dokumenten, Produktempfehlungen, Bildvergleich oder die Informationsweitergabe an ein Sprachmodell.

Das Grundprinzip bleibt gleich: Ein Objekt wird in einen Vektor umgewandelt, der dann mit anderen verglichen werden kann. Nur die Art der enthaltenen Informationen variiert je nach Modell und Aufgabe.

Semantische Suche

Ein offensichtliches Beispiel ist die semantische Suche. Klassische Textsuche orientiert sich stark an den verwendeten Wörtern, weshalb Nutzer oft die Formulierung erraten müssen, die im Zieltext vorkommt.

Mit Embeddings funktioniert die Suche anders: Anfrage und Dokumente werden in Vektoren umgewandelt, und das System sucht nach Materialien, die dem Query-Vektor am nächsten liegen.

Beispiel: Der Nutzer sucht nach "Warum entlädt sich das Handy im Winter schneller?", während im Text steht: "Bei niedrigen Temperaturen verlieren Lithium-Ionen-Akkus vorübergehend ihre Leistungsfähigkeit." Kaum Wortüberschneidungen, aber das Embedding-Modell erkennt die inhaltliche Nähe.

Dieser Mechanismus kommt in Dokumentationssuche, Wissensdatenbanken, Produktkatalogen, Auskunftssystemen und großen Textsammlungen zum Einsatz.

Embeddings sind zudem ein Kernbaustein von RAG-Systemen (Retrieval-Augmented Generation): Die Nutzeranfrage dient als Suchvektor in externen Wissensdatenbanken; gefundene Informationen werden dem Sprachmodell zur Antwortgenerierung übergeben. So kann das Modell auch mit Daten umgehen, die nicht im Training enthalten waren.

Vektorielle Datenbanken

Sind es nur wenige Hundert Embeddings, kann man sie beliebig speichern. Doch bei Millionen oder Milliarden Vektoren, die in Millisekunden gefunden werden sollen, braucht es spezialisierte Vektordatenbanken und Suchindizes. Diese speichern Embeddings zusammen mit den Ursprungsobjekten und ermöglichen extrem schnelle Ähnlichkeitssuche.

Eine Wissensdatenbank kann etwa eine Million Textfragmente enthalten, die alle als Embeddings vorliegen. Bei einer Nutzeranfrage erzeugt das System einen neuen Vektor und sucht die nächsten Nachbarn unter den gespeicherten Embeddings. Über die gefundenen Vektoren erhält man die zugehörigen Dokumente, Produktnamen, Bilder oder andere Daten.

Mehr über Aufbau und Unterschiede populärer Lösungen finden Sie im Artikel Vektorielle Datenbanken für KI: Pinecone vs. Milvus im Vergleich.

Die Datenbank "versteht" die Texte dabei nicht selbst - das semantische Embedding liefert das Modell, während die Datenbank die Vektoren effizient speichert und durchsucht.

Bild-Embeddings

Auch für Bilder kann eine Vektorrepräsentation erstellt werden. Ein Bild lässt sich in eine Zahlenreihe umwandeln, die Merkmale abbildet, die das Modell als wichtig lernt.

Zwei Fotos verschiedener Autos können ähnliche Embeddings erhalten, selbst wenn sie aus unterschiedlichen Winkeln oder vor unterschiedlichem Hintergrund aufgenommen wurden. Ein Autovector und einer für einen Apfel werden hingegen weit auseinanderliegen.

So lassen sich ähnliche Bilder finden, Bilder automatisch gruppieren, Duplikate entdecken und visueller Content klassifizieren.

Je nach Training achtet das Modell auf verschiedene Eigenschaften: Form, Inhalt, Stil oder Details. Ein universelles "richtiges" Bild-Embedding gibt es nicht - die Darstellung hängt von der Aufgabe und dem Modell ab.

Ein praktisches Beispiel ist die Bildersuche anhand eines Fotos: Der Nutzer lädt ein Bild hoch, das System berechnet dessen Embedding und sucht nach den ähnlichsten Vektoren in der Datenbank - so findet man visuell ähnliche Produkte, Fotos oder Objekte auch ohne Textbeschreibung.

Wie Text und Bilder in einen gemeinsamen Raum kommen

Multimodale Modelle eröffnen neue Möglichkeiten: Sie können verschiedene Datentypen so abbilden, dass zugehörige Texte und Bilder im Vektorraum nah beieinanderliegen.

Zum Beispiel können ein Foto eines Golden Retrievers und der Text "Golden Retriever auf einer Wiese" ähnliche Vektoren erhalten - obwohl sie ursprünglich völlig unterschiedliche Datenformen sind.

Dafür trainiert man das Modell mit passenden Paaren aus Bildern und Textbeschreibungen, bis es die entsprechenden Objekte im selben Raum anordnet.

So wird Bildersuche per Text möglich: Der Nutzer tippt "roter Sportwagen bei Nacht", das System wandelt die Phrase in einen Vektor um und vergleicht ihn mit den Bild-Embeddings. Es braucht keine identischen Bildbeschreibungen mehr.

Auch die umgekehrte Suche ist möglich: Über ein Bild lässt sich passende Textinformation finden. Das Prinzip nutzen multimodale Suchsysteme, Content-Erkennung und neuronale Netze, die mit Text und Bildern gleichzeitig arbeiten können.

Embeddings geben also verschiedensten Informationen eine einheitliche mathematische Form. Nach der Umwandlung in einen Vektor kann das System Texte, Bilder oder andere Objekte nach dem gleichen Prinzip vergleichen - und das unabhängig vom Ursprungsformat.

FAQ

1. Worin unterscheiden sich Embeddings und Tokens?

   Ein Token ist ein Elemente, in das der Ausgangstext für die Verarbeitung durch das neuronale Netz zerlegt wird - etwa Wort, Wortteil, Symbol oder Satzzeichen. Ein Token ist noch keine geeignete Darstellung für mathematische Operationen.

   Ein Embedding ist dagegen ein numerischer Vektor, der einem Token, Text oder Objekt zugeordnet wird. Ein Token ist also die Eingabeeinheit, das Embedding deren mathematische Repräsentation im Modell.

2. Wie viele Zahlen enthält ein Embedding?

   Die Anzahl der Zahlen, die sogenannte Dimension des Embeddings, hängt vom Modell ab. Vektoren können mehrere Hundert oder Tausend Werte haben.

   Höhere Dimensionen erlauben komplexere Beziehungen, erhöhen aber auch den Speicher- und Rechenaufwand. Die Dimension wird daher mit Blick auf die Qualität und Effizienz gewählt.

   Die Zahl der Koordinaten hängt aber nicht direkt von der Länge des Textes ab. Kurze Sätze und große Textfragmente können gleich große Vektoren haben, wenn das gleiche Modell verwendet wird.

3. Kann ein Text mehrere Embeddings erhalten?

   Ja. Derselbe Text kann je nach Modell verschiedene Vektoren erhalten. Jedes Embedding-Modell wird anders trainiert und kann Bedeutungen unterschiedlich abbilden.

   Auch spielt es eine Rolle, was genau in einen Vektor umgewandelt wird: Token, Satz oder ganzes Dokument. Man kann also nicht von einem universellen Embedding für eine bestimmte Phrase sprechen.

   Bei Vergleichen sollte möglichst dasselbe Modell genutzt werden. Werden Anfrage und Dokumente von unterschiedlichen Modellen verarbeitet, liegen die Vektoren möglicherweise in inkompatiblen Räumen und das Vergleichsergebnis verliert an Aussagekraft.

4. Wie werden Embeddings bei der semantischen Suche genutzt?

   Zuerst wandelt das System Dokumente oder Fragmente in Vektoren und speichert sie. Gibt der Nutzer eine Anfrage ein, wird auch ihr Embedding berechnet (mit demselben Modell).

   Dann sucht das System nach den gespeicherten Vektoren, die dem Anfragen-Vektor am nächsten liegen. Deren Nähe zeigt eine inhaltliche Ähnlichkeit an.

   So kann die semantische Suche relevante Informationen finden, auch wenn die Wörter nicht exakt übereinstimmen. Die Anfrage "Wie verlängere ich die Akkulaufzeit?" führt etwa zu einem Text über "Stromeinsparung beim Akku", da ihre Vektoren nahe beieinander liegen.

5. Können Text und Bild ähnliche Vektoren bekommen?

   Ja, sofern das Modell für mehrere Datentypen trainiert wurde. Solche Systeme ordnen Bilder und ihre Textbeschreibungen im gemeinsamen Vektorraum an.

   Ein Foto eines Fahrrads und die Phrase "Person fährt Fahrrad auf der Straße" können ähnliche Vektoren erhalten. So kann das System Bilder per Text finden, ohne die Wörter mit festen Tags abzugleichen.

   Genau dieses Prinzip nutzen viele multimodale Modelle: Sie übersetzen unterschiedliche Datenarten in mathematische Formen, die sich inhaltlich, nicht formal vergleichen lassen.

Fazit

Embeddings ermöglichen es neuronalen Netzen, komplexe Daten in eine mathematisch handhabbare Form zu bringen. Wörter, Sätze, Dokumente oder Bilder werden zu Vektoren, deren Lage Eigenschaften des Objekts sowie seine Beziehung zu anderen Daten widerspiegelt.

Bei Texten beginnt der Prozess mit der Tokenisierung: Die Eingabe wird in Tokens zerlegt, diese erhalten numerische IDs und werden zu Vektorrepräsentationen umgewandelt. Während des Modellbetriebs verändern sich die Embeddings weiter im Kontext, sodass das gleiche Wort in unterschiedlichen Sätzen unterschiedlich interpretiert werden kann.

Der größte praktische Vorteil von Embeddings ist der Vergleich von Informationen nach Sinn. So funktionieren semantische Suche, Bildähnlichkeitssuche, Empfehlungssysteme, RAG und Vektordatenbanken. Das System findet relevante Inhalte, auch wenn Anfrage und Text kaum gemeinsame Wörter haben.

Ein Embedding ist jedoch keine exakte "digitale Übersetzung der Bedeutung". Seine Qualität hängt vom Modell, den Trainingsdaten und der Aufgabe ab. Doch gerade Vektorrepräsentationen bieten modernen neuronalen Netzen eine praktische Möglichkeit, Sprache, Bilder und andere komplexe Objekte in einen Raum zu bringen, in dem sie verglichen, gruppiert und miteinander verknüpft werden können.