Tokens in neuronalen Netzen: Bedeutung, Funktionsweise & Token-Limit bei ChatGPT

Tokens in neuronalen Netzen sind kleine Textfragmente, in die ein Sprachmodell eine Anfrage vor der Verarbeitung zerlegt. Für den Nutzer erscheint ein Satz wie ein gewöhnlicher Text, für ChatGPT jedoch ist es eine Abfolge einzelner Tokens, die in Zahlen umgewandelt werden.

Deshalb werden die Begrenzungen von Sprachmodellen meist nicht in Wörtern oder Zeichen, sondern in Tokens angegeben. Ihre Anzahl bestimmt, wie viel Text das Modell auf einmal verarbeiten kann, wie viel eines langen Dialogs beachtet wird und wie umfangreich die Antwort ausfallen darf.

Was sind Tokens in neuronalen Netzen?

Token einfach erklärt

Ein Token ist die kleinste Einheit von Text, mit der ein Sprachmodell arbeitet. Am einfachsten stellt man sich dies als kleines Textstück vor, dem das System eine eindeutige Zahl zuweist.

Ein Token muss dabei nicht zwangsläufig ein ganzes Wort sein. Je nach verwendetem Tokenizer kann ein Token ein kurzes, häufiges Wort, ein Teil eines längeren Wortes, eine Buchstabenfolge, eine Zahl oder ein Satzzeichen sein.

Beispiel: Der Satz
"Die Katze sitzt auf dem Tisch."
besteht aus vier Wörtern und einem Punkt. Die KI kann diesen Satz jedoch anders zerlegen: Einige Wörter bleiben ganz, andere werden in mehrere Teile gesplittet. Das genaue Ergebnis hängt vom Vokabular und Algorithmus des jeweiligen Tokenizers ab.

Nach dieser Zerlegung erhält jedes Fragment eine Zahl. Intern arbeitet das neuronale Netz nicht mehr mit "Katze" oder "Tisch", sondern mit den numerischen Repräsentationen dieser Elemente.

Warum ist ein Token nicht gleichbedeutend mit einem Wort?

Auf den ersten Blick wäre es einfacher, jedem Wort eine eigene Nummer zu geben. Doch das stößt schnell an Grenzen: Die Zahl möglicher Wörter ist praktisch unbegrenzt.

Ein deutsches Wort kann viele Formen haben, z. B.:

• Arbeit → Arbeiten → Arbeitende → gearbeitet → arbeitsam

Wenn jede Form als unabhängiges Element gespeichert würde, würde das Vokabular explodieren. Hinzu kommen Namen, Firmennamen, neue Begriffe, Tippfehler, Zahlen, Links und Programmcode.

Tokens ermöglichen es, seltene und lange Wörter in dem Modell bereits bekannte Teile zu zerlegen. So kann die KI sogar Symbolfolgen verarbeiten, die nicht als ganzes Wort im Vokabular stehen.

Deshalb ist die Aussage "ein Wort entspricht einem Token" falsch. Ein kurzes, häufiges Wort kann zwar manchmal ein einzelnes Token sein, ein seltenes oder komplexeres jedoch mehrere.

Das gilt auch für Satzzeichen und Zahlen. Eine Zahl, ein Datum oder eine Webadresse können ebenfalls aus mehreren Tokens bestehen. Für das Modell sind dies alles Elemente einer einzigen Sequenz - nicht getrennte menschliche Kategorien wie "Wort", "Komma" oder "Zahl".

So erklärt sich, warum zwei Texte mit gleicher Wortanzahl sehr unterschiedliche Tokenanzahlen haben können. Die tatsächliche Größe der Anfrage für die KI ergibt sich nicht aus der sichtbaren Wortanzahl, sondern aus dem Ergebnis des Tokenizers.

Wie wird Text zu Tokens?

Was passiert nach Absenden einer Anfrage?

Wenn ein Nutzer eine Nachricht an ChatGPT sendet, gelangt der Text nicht im Original in das neuronale Netz. Zuerst bearbeitet ihn ein Tokenizer - ein Mechanismus, der die Zeichenkette in eine Abfolge von Tokens zerlegt.

Vereinfacht sieht dieser Prozess so aus:

• Text → Tokenisierung → Tokens → numerische IDs → Verarbeitung durch das neuronale Netz

Beispiel: Der Nutzer schreibt "Wie funktioniert ein neuronales Netz?". Für Menschen sind das drei Wörter und ein Fragezeichen. Der Tokenizer zerlegt den Satz aber in mehrere Fragmente, deren Grenzen nicht zwingend mit Wortgrenzen übereinstimmen.

Jedes Token erhält eine eindeutige ID aus dem Modellvokabular. Beispielsweise könnte ein Fragment die ID 4217, ein anderes 853 und ein drittes 19024 bekommen. Diese Nummern sind für Menschen nicht interpretierbar, sondern dienen nur der eindeutigen Identifikation.

Genau diese Folge numerischer IDs erhält die KI im nächsten Verarbeitungsschritt.

Warum brauchen neuronale Netze überhaupt Tokenisierung?

Neuronale Netze führen mathematische Operationen aus und können Buchstaben und Wörter nicht so wahrnehmen wie Menschen. Der Satz "Heute ist schönes Wetter" sagt dem System nichts, solange die Elemente nicht in Zahlen umgewandelt sind.

Man könnte jedem Wort eine eigene Nummer zuweisen, aber das ist nicht skalierbar. Sprache ändert sich ständig: Es entstehen neue Begriffe, Slang, Namen, Fachausdrücke und Symbolkombinationen. Zudem hat jedes Wort zahlreiche grammatische Formen.

Tokenisierung löst das Problem durch eine Zwischenschicht. Anstatt jedes mögliche Wort speichern zu müssen, nutzt das Modell ein begrenztes Vokabular häufiger Textfragmente.

Ist ein Wort komplett im Vokabular, wird es ein Token. Andernfalls zerlegt der Tokenizer das Wort in kleinere, bekannte Teile.

So kann das neuronale Netz nicht nur mit normalen Sätzen, sondern auch mit Namen, Zahlen, Links, Code und neuen Wörtern arbeiten.

Warum wird der Text gerade so zerlegt?

Das Token-Vokabular wird beim Training der KI festgelegt. Häufig vorkommende Zeichenfolgen werden als große Elemente gespeichert, um die Sequenz zu verkürzen.

Seltene Kombinationen werden in mehrere Tokens aufgeteilt. Deshalb kann ein geläufiges Wort ein einzelnes Token sein, ein technischer Begriff aber mehrere.

Ein Modell kann zum Beispiel einen oft auftretenden Wortteil kennen und ihn in verschiedenen Ausdrücken verwenden, ohne für jede mögliche Form einen eigenen Vokabel-Eintrag anzulegen.

Die genaue Zerlegung hängt vom Tokenizer, seinem Vokabular und der Sprache ab - ein und derselbe Text kann in unterschiedlichen Modellen unterschiedlich viele Tokens ergeben.

Die Details von Tokenizern, Vokabularbildung, Subword-Segmentierung und die Umwandlung von Text in Zahlen werden im Artikel "Text-Tokenisierung: So wird Sprache für neuronale Netze verständlich" behandelt.

Warum zählt ChatGPT Tokens statt Wörter?

Warum brauchen Modelle Tokens?

Wörter als Grundeinheiten sind für Sprachmodelle ungeeignet. Sprache ist extrem vielfältig: Es gibt Millionen Wortformen, Namen, Fachbegriffe, Abkürzungen und neue Ausdrücke. Würde man für jedes einen eigenen Vokabel-Eintrag anlegen, wäre das Vokabular riesig und unbekannte Wörter müssten separat behandelt werden.

Tokens bieten eine flexiblere Lösung. Häufige Wörter oder Fragmente werden als Ganzes gespeichert, seltene Sequenzen aus mehreren kleinen Bausteinen zusammengesetzt. So kann ein System mit normalem Text, Code, Zahlen, Webadressen und verschiedenen Sprachen arbeiten.

Außerdem bleibt das Vokabular begrenzbar. Statt einer endlosen Zahl möglicher Wörter nutzt das Modell eine feste Menge von Tokens, mit deren Kombinationen sich fast jeder Text darstellen lässt.

Deshalb zählt ChatGPT nicht Wörter, sondern Tokens. Die Wortanzahl ist für Menschen praktisch, für das Modell zählt die Länge der tatsächlich verarbeiteten Token-Sequenz.

Wie nutzt ChatGPT Tokens zur Antwortgenerierung?

Nach der Verarbeitung erhält das Modell eine Folge von Tokens und nutzt diese als Kontext für die Vorhersage der Fortsetzung.

Vereinfacht läuft das so ab:

1. Tokens werden empfangen
2. Kontextanalyse
3. Wahrscheinlichkeiten für das nächste Token werden berechnet
4. Das nächste Token wird ausgewählt
5. Der Vorgang wiederholt sich

Beispiel: Der Satzanfang "Die Hauptstadt von Frankreich ist" - das Modell berechnet, welches nächste Token am wahrscheinlichsten folgt. Einige Varianten erhalten eine sehr geringe Wahrscheinlichkeit, das Fragment für "Paris" eine deutlich höhere.

Das nächste Token wird an die Sequenz angefügt. Anschließend berechnet das Modell erneut, nun unter Einbeziehung des gerade generierten Elements.

Dieser Zyklus wiederholt sich vielfach. Die Antwort entsteht also nicht als kompletter Absatz, sondern die KI generiert sie Token für Token, jedes Mal unter Berücksichtigung des bisherigen Kontextes.

Das "nächste Token" ist dabei nicht immer ein ganzes Wort - es kann auch ein Teilwort, Satzzeichen oder anderes Textfragment sein. Erst nach der sequentiellen Erzeugung sieht der Nutzer gewohnte Sätze.

Was geschieht mit einem Token im neuronalen Netz?

Die numerische Token-ID ist noch nicht die Form, mit der Hauptberechnungen durchgeführt werden. Vor der weiteren Verarbeitung wird jeder Identifikator in ein Zahlenpaket - eine Vektor-Darstellung - umgewandelt.

Diese Darstellung heißt Embedding. Sie ermöglicht es dem neuronalen Netz, mit Tokens in einem mehrdimensionalen Raum zu arbeiten und die Beziehungen innerhalb der Sequenz zu berücksichtigen.

Anschließend durchlaufen die Vektoren die Schichten des Modells. Die KI analysiert nicht ein einzelnes Token isoliert, sondern dessen Position und Beziehung zu anderen Tokens im Kontext.

So kann die Bedeutung eines Wortes von den benachbarten oder früheren Elementen im Satz abhängen - die gleiche Symbolfolge kann je nach Umgebung unterschiedlich interpretiert werden.

Am Ende entsteht eine interne Kontextrepräsentation, die als Grundlage dient, um die Wahrscheinlichkeiten für das nächste Token zu berechnen. Dieser Prozess wiederholt sich, bis die Antwort fertig ist oder die Token-Grenze erreicht ist.

Wie viele Zeichen und Wörter stecken in einem Token?

Wie viele Zeichen umfasst ein Token?

Tokens haben keine feste Länge. Ein Token kann aus einem Zeichen, mehreren Buchstaben, einem ganzen Wort oder einer längeren Sequenz bestehen. Es gibt daher keine universelle Formel wie "1 Token = 4 Zeichen".

Solche Schätzungen sind nur für grobe Richtwerte brauchbar. In normalem englischen Text entspricht ein Token oft mehreren Zeichen, der genaue Wert hängt aber stark vom Inhalt und vom Tokenizer ab.

Ein häufiges kurzes Wort kann als ein Token abgebildet werden, ein seltenes technisches Wort gleicher Länge könnte in mehrere Tokens zerlegt werden. Zahlen, ungewöhnliche Zeichenfolgen und Symbolkombinationen können die Tokenanzahl spürbar erhöhen.

Zwei gleich lange Sätze (nach Zeichen) können daher unterschiedlich viele Tokens beanspruchen.

Lässt sich die Tokenanzahl in Wörter umrechnen?

Auch die Wortanzahl lässt sich nicht einfach mit einem Faktor in Tokens umrechnen. Ein Wort kann ein, zwei, drei oder mehr Tokens entsprechen.

Gerade bei langen oder seltenen Wörtern fällt das auf: Der Tokenizer hat das Wort eventuell nicht als Ganzes im Vokabular und zerlegt es in bekannte Fragmente.

Beispiel: Das technische Wort
"Mikroarchitektur"
sieht für Menschen wie ein einzelnes Wort aus - im Modell kann es jedoch aus mehreren Tokens bestehen. Für die Wortzählung bleibt es ein Wort, für das Kontext-Limit zählen aber mehrere Elemente.

Umgekehrt kann eine häufige Zeichenfolge als einzelnes Token gespeichert sein und weniger Platz beanspruchen als ihre Länge vermuten lässt.

Angaben wie "1000 Tokens sind etwa soundsoviele Wörter" eignen sich nur für grobe Schätzungen. Für eine genaue Zählung muss der konkrete Text durch den Tokenizer der jeweiligen Modellgeneration laufen.

Wovon hängt die Anzahl der Tokens ab?

Vor allem der Text selbst und das Tokenizer-Vokabular bestimmen die finale Tokenanzahl.

• Sprache: Gleiche Inhalte in verschiedenen Sprachen können unterschiedlich viele Tokens beanspruchen - je nach Schriftsystem, Wortstruktur und Vokabular.
• Wortverbreitung: Häufige Wörter/Kombinationen werden vorteilhaft als große Tokens dargestellt. Seltene Begriffe, Namen, Neologismen werden in mehr Teile zerlegt.
• Zahlen: Eine lange Zahl muss kein einzelnes Token sein. Ziffernfolgen können je nach Tokenizer in mehrere Elemente geteilt werden.
• Satzzeichen und Sonderzeichen: Punkte, Kommas, Klammern, mathematische Zeichen und andere Symbole werden ebenfalls tokenisiert - teils als eigene Tokens, teils zusammen mit benachbarten Fragmenten.
• URLs und strukturierte Strings: Webadressen enthalten Buchstaben, Punkte, Slashes, Parameter und Sonderzeichen - selbst kurze Links können viele Tokens verbrauchen.
• Programmcode: Variablennamen, Operatoren, Einrückungen, Klammern und andere Syntaxelemente zählen mit. Ein großer Codeblock kann daher das Kontextfenster anders belasten als ein gleich langer Fließtext.
• Formatierung: Zeilenumbrüche, Steuerzeichen, Markup-Elemente zählen zur Eingabesequenz und können deren Länge erhöhen.

Warum benötigen russische und englische Texte unter Umständen unterschiedlich viele Tokens?

Der Unterschied liegt nicht daran, dass das neuronale Netz eine Sprache "besser versteht". Es hängt von der Tokenisierung ab.

Das Modellvokabular wird aus großen Textmengen zusammengestellt. Häufig auftretende Zeichenfolgen werden als größere Tokens gespeichert, seltene in kleinere Fragmente zerlegt.

Dadurch kann eine englische Übersetzung eines russischen Satzes eine andere Tokenanzahl haben, selbst wenn Sinn und Wortzahl ähnlich sind. Ein anderes Modell mit eigenem Tokenizer würde wiederum ein anderes Verhältnis liefern.

Deshalb reicht es nicht, bei großen Dokumenten nur Seiten-, Zeichen- oder Wortzahlen zu vergleichen. Für die KI zählt das Token-Ergebnis nach der Tokenisierung.

Kontextfenster und Token-Limit bei ChatGPT

Was ist das Kontextfenster?

Tokens messen nicht nur die Länge einer Nachricht. Ein Sprachmodell hat ein Kontextfenster - den Bereich an Information, den es gleichzeitig beim Verarbeiten und Generieren berücksichtigen kann.

Im Kontext können enthalten sein:

• Systemanweisungen
• die aktuelle Nutzeranfrage
• vorangegangene Chatnachrichten
• eingefügter Text
• Dokumentinhalte
• Steuerinformationen
• bereits generierte Antwortteile

All dies belegt Tokens. Selbst eine kurze neue Anfrage kann mit einem langen Chatverlauf verarbeitet werden, der bereits einen Großteil des Kontextfensters beansprucht.

Das Kontextfenster ist sozusagen der Arbeitsbereich der KI. Solange die nötigen Informationen darin enthalten sind, werden sie bei der nächsten Token-Generierung berücksichtigt.

Was bedeutet das Token-Limit?

Jedes Sprachmodell hat ein Limit für das Kontextfenster - also die maximale Token-Anzahl, die es pro Vorgang oder Dialog verarbeiten kann. Die Begrenzung hängt von der Architektur und den Service-Einstellungen ab.

Dieses Limit ist nicht direkt in Seiten- oder Wortzahlen umrechenbar. Ein Dokument kann Tokens sparsam, ein anderes bei ähnlicher Länge viel schneller verbrauchen - je nach Sprache, Code, Zahlen oder Formatierung.

Eingabetext und generierte Antwort teilen sich meist das verfügbare Token-Limit oder haben je nach Modell/Interface eigene Grenzen.

Beispiel: Ist das Kontextfenster bereits durch ein großes Dokument, Chat-Historie und Anweisungen gefüllt, bleibt weniger Platz für neue Inhalte. Das maximale Kontextfenster bedeutet daher nicht, dass der Nutzer immer genau diesen Umfang senden und genauso viel Antwort erhalten kann.

Was passiert bei langen Dialogen?

Mit jeder Chatnachricht wächst die Informationsmenge. Wenn das Gespräch nicht mehr ins aktive Kontextfenster passt, muss das System die Historie so steuern, dass der Token-Limit weiter eingehalten wird.

Der Mechanismus variiert je nach Service und Modell: Manche alten Nachrichten werden nicht mehr direkt im Kontext gehalten, Informationen können komprimiert oder übertragen werden.

Deshalb kann die KI in sehr langen Chats Details von viel früheren Nachrichten schlechter berücksichtigen. Für den Nutzer wirkt der Chat wie ein durchgehender Dialog, aber das Modell verarbeitet nicht immer jedes einzelne Message von Anfang an.

Mehr zur Funktionsweise langer Dialoge finden Sie im Artikel "Warum neuronale Netzwerke lange Dialoge vergessen: Kontext, Gedächtnis und Attention".

Warum ist das Token-Limit in der Praxis wichtig?

Das Kontext-Limit fällt besonders bei großen Informationsmengen ins Gewicht:

• Dokumentenanalyse: Die KI muss Dateiinhalt, Nutzeranweisungen und Platz für die eigene Antwort im Kontextfenster unterbringen. Je größer die Datei, desto mehr Tokens werden verbraucht.
• Programmcode: Dateien, Kommentare, Variablennamen, technische Anweisungen und frühere Änderungen füllen das Fenster. Ein großes Projekt lässt sich nicht einfach an der Zeilenzahl messen.
• Lange Chats: Tokens häufen sich mit jeder Nachricht. Je mehr Informationen gleichzeitig benötigt werden, desto größer muss das Kontextfenster sein.
• Große Prompts: Ausführliche Anweisungen bieten mehr Kontext, beanspruchen aber auch Tokenplatz. Mehr Text ist nicht immer besser: Es zählt vor allem der relevante Inhalt ohne Redundanz.

Tokens sind daher nicht nur eine technische Zähleinheit. Sie bestimmen, wie viel Information das Modell gleichzeitig verarbeiten kann.

FAQ

1. Wie viele Zeichen enthält ein Token?
   Es gibt keine feste Zeichenanzahl pro Token. Ein Token kann ein Zeichen, mehrere Buchstaben, ein ganzes Wort oder eine andere Sequenz abbilden. Für grobe Schätzungen werden manchmal einige Zeichen pro Token angenommen, im Einzelfall kann das jedoch stark abweichen.
   Die genaue Anzahl lässt sich nur durch den Tokenizer des jeweiligen Modells bestimmen.
2. Wie viele Wörter passen in ein ChatGPT-Token?
   Das Verhältnis von Wörtern zu Tokens ist variabel. Ein kurzes, häufiges Wort kann ein Token sein, ein langes oder seltenes mehrere. Ein Text mit 1000 Wörtern hat daher nicht zwangsläufig in verschiedenen Sprachen oder mit unterschiedlichem Wortschatz die gleiche Tokenanzahl.
   Für große Anfragen orientiert man sich besser direkt an der Tokenzahl als an einer festen Umrechnungsformel.
3. Zählen Satzzeichen als eigene Tokens?
   Ja, Satzzeichen werden tokenisiert - aber nicht jedes Zeichen ist immer ein separates Token. Je nach Tokenizer können Punkt, Komma, Klammer oder andere Symbole eigene Tokens bilden oder mit benachbarten Zeichen kombiniert werden.
   Ähnlich werden Leerzeichen, Zeilenumbrüche, mathematische Symbole und andere Elemente behandelt.
4. Warum kann russischer Text mehr Tokens benötigen als englischer?
   Die Tokenanzahl hängt vom Vokabular des Tokenizers und dessen effizientester Zeichenfolge-Darstellung ab.
   Häufige englische Wortfragmente können als große Tokens gespeichert sein, russische Wörter müssen eventuell in mehr Teile zerlegt werden. Das ist aber kein allgemeines Gesetz - moderne Tokenizer unterscheiden sich und das Verhältnis hängt vom Modell und Text ab.
5. Was passiert, wenn das ChatGPT-Token-Limit erreicht ist?
   Übersteigt die benötigte Information das verfügbare Kontextfenster, kann das Modell nicht mehr alles gleichzeitig im Original verarbeiten. Je nach Service werden alte Kontexte ausgeblendet, Daten anders behandelt oder der Umfang von Eingabe/Ausgabe beschränkt.
   Besonders relevant ist das bei langen Chats, großen Dateien und umfangreichem Code.

Fazit

Tokens in neuronalen Netzen sind die Basiselemente, mit denen Sprachmodelle Text aufnehmen und generieren. Sie entsprechen weder direkt Wörtern noch Zeichen: Ein Wort kann ein Token sein oder in mehrere zerlegt werden.

ChatGPT zählt Tokens, weil sich damit die riesige und sich ständig wandelnde Sprache mit einem begrenzten Vokabular abbilden lässt. Nach der Tokenisierung erhält jedes Fragment eine numerische ID, die dann in eine für Berechnungen geeignete Darstellung umgewandelt wird.

Die Tokenanzahl hat praktische Bedeutung: Sie bestimmt, wie viel Text eine Anfrage umfasst, wie viel Verlauf in das Kontextfenster passt und wie viel Information das Modell gleichzeitig berücksichtigen kann. Deshalb gilt: Bei langen Dokumenten, Code oder großen Dialogen zählt weniger die Seiten- oder Wortzahl als der tatsächliche Textumfang nach der Tokenisierung.