Warum neuronale Netzwerke lange Dialoge vergessen - Kontext, Gedächtnis und Attention erklärt

Warum vergessen neuronale Netzwerke lange Dialoge? Der Kontext eines neuronalen Netzwerks bestimmt, welche Informationen das Sprachmodell beim Verfassen der nächsten Antwort berücksichtigen kann. Solange das Gespräch kurz ist, verbindet das Modell neue Nachrichten meist gut mit den vorherigen. Doch mit zunehmender Länge des Dialogs kann es Details übersehen, alte Anweisungen verwechseln oder so antworten, als hätte ein Teil des Gesprächs nie stattgefunden.

Kontext, Gedächtnis und Attention: Verschiedene Aufgaben

Das Problem liegt nicht darin, dass das neuronale Netz ein "schlechtes Gedächtnis" hat. Kontext, Gedächtnis und der Attention-Mechanismus erfüllen unterschiedliche Aufgaben. Um zu verstehen, warum lange Gespräche selbst für moderne LLMs (Large Language Models) schwierig werden, muss man zuerst wissen, welche Informationen das Modell vor jeder Antwort erhält und wie es mit der Dialoghistorie arbeitet.

Was ist der Kontext eines neuronalen Netzwerks?

Menschen verlassen sich beim Gespräch auf ihre Erinnerungen an frühere Aussagen. Sprachmodelle funktionieren anders: Beim Generieren einer Antwort erhalten sie eine bestimmte Menge Informationen - Nutzernachrichten, frühere Antworten, Systemanweisungen und manchmal zusätzliche Daten. Das alles bildet den aktuellen Kontext.

Vereinfacht kann man einen langen Dialog als ein großes Textdokument betrachten, das das Modell vor der nächsten Antwort erhält. Es analysiert darin enthaltene Sequenzen und prognostiziert auf dieser Basis, welches Token als Nächstes erscheint.

Das Modell liest die Nachrichten dabei nicht wie ein Mensch. Der Text wird zuerst in Token zerlegt - kleine Einheiten wie kurze Worte, Wortteile, Satzzeichen oder Zeichenfolgen. Mit diesen Token arbeitet das Sprachmodell hauptsächlich.

Schreibt der Nutzer zu Beginn: "Nutze für Beispiele nur Python", kann diese Anweisung im Kontext sein und die folgenden Antworten beeinflussen. Solange das Modell sie mit jeder neuen Anfrage erhält, kann es die Vorgabe berücksichtigen.

Deshalb ist die Aussage "das neuronale Netz hat sich die Nachricht gemerkt" technisch oft ungenau. Häufig wird der Fakt nicht im Gedächtnis gespeichert - die vorherige Nachricht ist schlicht erneut unter den Daten, die beim Generieren der Antwort zur Verfügung stehen.

Unterschied zwischen Kontext und echtem Gedächtnis

Kontext existiert direkt während der Anfrageverarbeitung. Solange eine Information enthalten ist, kann das Modell sie potenziell nutzen. Ist sie nicht mehr im Kontext, kann das normale Kontextsystem nicht mehr darauf zugreifen.

Das Gedächtnis eines neuronalen Netzwerks kann separat organisiert sein. Zum Beispiel kann ein System um das Sprachmodell herum einen bestimmten Fakt speichern und ihn bei Bedarf in eine spätere Anfrage einfügen. Für das LLM wird diese Information dann wieder Teil des Kontexts - nur stammt sie diesmal aus einem externen Speicher.

• Kontext - was das Modell gerade sieht;
• Gedächtnis - Mechanismus zur Speicherung von Informationen zwischen einzelnen Anfragen oder Gesprächen;
• Modellparameter - Wissen und Muster, die während des Trainings gebildet wurden.

Diese Mechanismen sind leicht zu verwechseln, da das Nutzererlebnis identisch wirkt: Das Netz antwortet unter Berücksichtigung früherer Aussagen. Technisch gesehen kann derselbe Effekt aber auf ganz unterschiedliche Weise erreicht werden.

Ein weiteres wichtiges Merkmal: Selbst wenn die benötigte Information im Kontext enthalten ist, nutzt das Modell sie nicht immer korrekt. In langen Gesprächen gibt es gleichzeitig Hunderte Fakten, Anweisungen und Themen. Das Modell muss entscheiden, welche davon für die Antwort gerade relevant sind.

Genau hier kommt die nächste Grenze ins Spiel - die Größe des Kontextfensters eines neuronalen Netzwerks.

Das Kontextfenster: Wie viel Information passt in einen Dialog?

Das Kontextfenster ist die maximale Datenmenge, die das Modell bei der Verarbeitung einer Anfrage berücksichtigen kann. Dazu gehören nicht nur die letzte Nutzernachricht, sondern auch die Gesprächshistorie, frühere Antworten, Systemanweisungen und weitere Informationen.

Die Fenstergröße wird in Token gemessen - daher kann man nicht sagen, dass das Netz "100 Nachrichten" merkt: Eine Nachricht kann aus wenigen Worten bestehen, eine andere aus mehreren Seiten Text. Je länger das Gespräch, desto schneller ist das verfügbare Kontextvolumen erschöpft.

Unterstützt ein Modell beispielsweise einen Kontext von zehntausenden Token, kann man ihm technisch gesehen das gesamte Gespräch übermitteln. Wird der Dialog zu groß, muss das System den Input kürzen: alte Nachrichten ausschließen, Inhalte komprimieren oder nur die relevantesten Fragmente auswählen.

Daher bemerkt man manchmal, dass das Netz plötzlich keine Informationen aus dem Gesprächsanfang mehr berücksichtigt. Die alte Nachricht wurde einfach nicht mehr in den aktuellen Kontext aufgenommen - für das Modell existiert sie nicht mehr als Grundlage für die Antwort.

Aber ein volles Kontextfenster ist nicht der einzige Grund fürs Vergessen. Selbst wenn das gesamte Gespräch technisch noch hineinpasst, kann die Qualität der Verarbeitung nachlassen.

Ein großer Kontext enthält viele Objekte: Namen, Anforderungen, Beispiele, Ausnahmen, Korrekturen des Nutzers und frühere Modellantworten. Je mehr Informationen, desto schwieriger wird es, die entscheidenden Details für die aktuelle Antwort zu bestimmen.

Ein Nutzer kann zu Beginn eines langen Gesprächs etwa darum bitten, niemals ein bestimmtes Format zu nutzen. Nach dutzenden Nachrichten folgen neue Anweisungen, Beispiele und Themen. Die erste Vorgabe kann noch im Kontext sein, hat aber weniger Einfluss als Informationen, die unmittelbar mit den letzten Nachrichten verknüpft sind.

Deshalb ist ein großes Kontextfenster nicht gleichbedeutend mit perfektem Gedächtnis. Es erhöht nur die potenziell verfügbare Informationsmenge.

Dazu kommt ein praktischer Grund, das Kontextfenster nicht ins Unendliche zu vergrößern: Die Verarbeitung langer Sequenzen benötigt mehr Rechenressourcen und Speicher. Je mehr Daten das Modell erhält, desto teurer wird die Verarbeitung - und mehr Kontext verbessert die Antwortqualität nicht zwingend im gleichen Maß.

Alte Nachrichten können sogar stören. In langen Gesprächen bleiben oft veraltete Anforderungen, korrigierte Fakten oder mehrere Varianten derselben Aufgabe zurück. Erhält das Modell sie zusammen mit aktuellen Anweisungen, muss es erkennen, welche Information noch gilt.

Das Problem langer Gespräche besteht also aus zwei Teilen: Zuerst gibt es eine harte Grenze, wie viele Token man überhaupt übergeben kann. Aber auch davor steht die Aufgabe, unter einer Flut von Text die wichtigen Informationen zu finden.

Hierfür nutzen moderne Sprachmodelle den Attention-Mechanismus.

Wie Attention funktioniert und warum Sprachmodelle ihn brauchen

Bekommt ein Sprachmodell einen langen Kontext, reicht es nicht, einfach Zugriff auf alle Token zu haben. Es muss verstehen, welche Teile des Textes zusammenhängen und worauf es beim Verfassen der nächsten Antwort besonders achten sollte. Diese Aufgabe erfüllt der Attention-Mechanismus.

Das Wort Attention bedeutet "Aufmerksamkeit", sollte aber nicht zu wörtlich genommen werden. Das Modell wählt nicht wenige Sätze aus und ignoriert den Rest. Es berechnet Verbindungen zwischen Sequenzelementen und bestimmt, wie wichtig bestimmte Token für die Verarbeitung anderer sind.

Im Satz "Der Laptop ließ sich nicht einschalten, weil sein Akku vollständig entladen war" muss das Modell die Verbindung zwischen "sein" und "Laptop" herstellen. In langen Dialogen wird die Aufgabe schwieriger: Der relevante Abschnitt kann Tausende Token entfernt sein.

Teilt der Nutzer zunächst mit, dass er mit Linux arbeitet, und fragt viel später nach einem Befehl zur Prozessanzeige, hilft die frühere Information, die richtige Antwort für Linux zu geben. Attention ermöglicht, solche Abhängigkeiten im Kontext zu berücksichtigen.

Vereinfacht funktioniert Attention so: Das Modell bewertet für die Textelemente, wie stark sie zusammenhängen, und nutzt diese Verbindungen beim Aufbau interner Repräsentationen. Die Bedeutung von Wörtern oder Phrasen wird dadurch nicht isoliert, sondern im Zusammenhang bestimmt.

Moderne Modelle nutzen viele solcher Mechanismen parallel und auf mehreren Ebenen. Manche Verbindungen helfen bei Grammatik, andere bei Namen und Objekten, wieder andere bei Sinnzusammenhängen oder Nutzeranweisungen. So entsteht aus der Token-Sequenz schrittweise die Darstellung, die zur Vorhersage der Fortsetzung benötigt wird.

Mehr zum Grundprinzip solcher Modelle finden Sie im Artikel Wie neuronale Netzwerke funktionieren: Von Mathematik zu Praxis.

Attention ist kein Gedächtnis

Wichtig: Attention ist kein Speicher. Es gibt keine separate Ablage, in der das Modell Fakten für die Zukunft ablegt. Der Mechanismus arbeitet mit dem Kontext, der gerade beim Verarbeiten der Anfrage zur Verfügung steht.

Wird eine alte Nachricht aus dem Kontextfenster entfernt, kann Attention sie nicht eigenständig wiederherstellen. Und selbst wenn relevante Information im Kontext ist, heißt das nicht, dass sie immer gleich stark auf das Ergebnis wirkt.

Warum Attention nicht garantiert, dass das Modell jedes Detail erkennt

Stellen wir uns einen Dialog mit zehntausenden Token vor. Zu Beginn gibt der Nutzer eine wichtige Bedingung an, dann wechselt das Thema mehrfach, es kommen neue Einschränkungen, Beispiele und Präzisierungen hinzu. Die ursprüngliche Anweisung kann noch im Kontext enthalten sein, muss sich aber gegen viele andere Informationen behaupten.

Das Modell weist alten Anweisungen keinen festen Status "unbedingt ausführen" zu. Während der Verarbeitung entstehen zahlreiche Verbindungen im Kontext, und der Einfluss eines Abschnitts hängt von der gesamten Sequenz ab.

Besonders problematisch wird es, wenn mehrere ähnliche Fakten im Gespräch sind - etwa wenn der Nutzer verschiedene Parameter diskutiert und dann zur ersten Lösung zurückkehrt. Alle drei Fragmente können gleichzeitig im Kontext sein. Das Modell muss sie finden, die Chronologie richtig verstehen und das aktuell gültige Ergebnis erkennen.

Eine ähnliche Situation gibt es bei Informationen, die sich im Textdschungel verstecken. Studien zum langen Kontext zeigen, dass Modelle Informationen je nach Position unterschiedlich nutzen: Anfang und Ende werden manchmal besser berücksichtigt als ein wichtiger Fakt in der Mitte.

Deshalb macht ein größeres Kontextfenster das neuronale Netz nicht zu einem fehlerlosen Gedächtnis. Es erhöht nur die gleichzeitige Informationsmenge. Die eigentliche Aufgabe bleibt, das richtige Fragment zu finden, mit der aktuellen Anfrage zu verknüpfen und nicht mit ähnlichen oder veralteten Daten zu verwechseln.

Kombiniert man diese Faktoren, wird klar, warum neuronale Netze schon vor Erreichen des technischen Kontextlimits Fehler machen können.

Warum neuronale Netze in langen Dialogen vergessen und sich verwirren

Wenn das neuronale Netz frühere Aussagen nicht mehr berücksichtigt, wirkt das für Nutzer wie Vergessen. In Wirklichkeit gibt es mehrere Ursachen: Manche hängen mit der Begrenzung des Kontextfensters zusammen, andere treten auch auf, wenn das ganze Gespräch noch ins Fenster passt.

Am offensichtlichsten ist das Überlaufen des Kontextfensters: Der Dialog wächst, die Tokenzahl erreicht das Systemlimit, und die gesamte Historie kann nicht mehr auf einmal übergeben werden. Dann müssen alte Informationen ausgeschlossen, komprimiert oder durch Zusammenfassungen ersetzt werden.

Dadurch sieht das Modell bestimmte Anfangsnachrichten tatsächlich nicht mehr. Wenn dort eine wichtige Anweisung, ein Name, eine Zahl oder eine frühere Entscheidung stand, kann das Netz so antworten, als hätte es das nie erfahren.

Doch es gibt auch subtilere Probleme: Informationen können weiterhin im Kontext enthalten sein, werden aber schlecht genutzt.

Je länger das Gespräch, desto mehr konkurrierende Signale. Alte Anforderungen stehen neben neuen, Themen wechseln, der Nutzer korrigiert Daten, das Modell erzeugt viele Antworten, die wiederum Teil der Historie werden. Der entscheidende Fakt versteckt sich unter einer Textflut.

Beispiel: Zunächst möchte der Nutzer einen PC für 100.000 Rubel, diskutiert dann lange Komponenten und ändert das Budget nach Dutzenden Nachrichten auf 130.000 Rubel. Kommt das Gespräch später auf den Preis zurück, muss das Modell das aktuell gültige Limit erkennen.

Problematisch sind auch widersprüchliche Anweisungen: Anfangs werden ausführliche Erklärungen gewünscht, später dann möglichst kurze Antworten. Beide Anweisungen können im Kontext sein, das System muss sie finden und die aktuellere höher gewichten.

Auch die Position der Information spielt eine Rolle. In sehr langen Sequenzen werden Daten aus verschiedenen Kontextteilen nicht immer gleich effizient genutzt. Eine wichtige Bedingung, die in viel Text untergeht, beeinflusst die Antwort weniger als eine auffälligere oder aktuellere Information.

Die Aussage "das neuronale Netz hat den Kontext verloren" beschreibt daher verschiedene Situationen: Eine alte Nachricht könnte außerhalb des Fensters liegen, zu schwach mit der aktuellen Frage verknüpft oder zwischen widersprüchlichen Fakten verloren gegangen sein.

Ein weiterer Fehlerquellen ist das Anhäufen von Ungenauigkeiten im Dialog selbst. Frühere Modellantworten werden ebenfalls Teil des Kontexts. Wird eine Bedingung einmal falsch interpretiert und nicht vom Nutzer korrigiert, bauen spätere Antworten auf einer fehlerhaften Version auf.

So entsteht eine Kette: Ein kleiner Fehler am Anfang führt zu einer falschen Annahme, diese prägt weitere Nachrichten - und irgendwann ist kaum noch erkennbar, wo das Gespräch von den ursprünglichen Bedingungen abwich.

Mehr zu diesen Besonderheiten lesen Sie im Beitrag Die Grenzen großer Sprachmodelle: Warum LLMs systematisch scheitern.

Lange Dialoge sind vor allem bei Aufgaben problematisch, bei denen viele Bedingungen gleichzeitig erfüllt werden müssen: beim Programmieren, Bearbeiten großer Dokumente, Projektanalysen oder mehrstufiger Planung. Je mehr Abhängigkeiten bestehen, desto wahrscheinlicher wird es, dass einzelne Anforderungen falsch berücksichtigt werden.

Das Vergrößern des Kontextfensters hilft nur bedingt. Kann das Modell statt Zehntausenden Hunderttausende Token verarbeiten, bleiben alte Nachrichten länger verfügbar. Die Herausforderung, die richtigen Fakten zu finden, bleibt jedoch - und es kommen immer mehr Daten hinzu.

Deshalb entfernen sich moderne KI-Systeme von der Idee, dass ein gutes Gedächtnis nur durch Übergeben der gesamten Historie erreichbar ist. Praktischer ist es, wichtige Informationen separat zu speichern und sie nur dann in den Kontext zu holen, wenn sie wirklich benötigt werden.

Neuronales Gedächtnis und langer Kontext: Wie moderne Systeme das Problem lösen

Ein größeres Kontextfenster ermöglicht es dem neuronalen Netz, mehr frühere Nachrichten zu sehen. Doch das hat Grenzen: Je länger die Eingabe, desto mehr Rechenleistung wird benötigt und desto schwieriger wird es, relevante Details zu finden. Moderne KI-Systeme setzen daher nicht nur auf langen Kontext, sondern auf zusätzliche Gedächtnismechanismen.

Das Gedächtnis eines neuronalen Netzes in einer Anwendung ist meist eine zusätzliche Schicht um das Sprachmodell. Das System kann Fakten, Einstellungen oder Ergebnisse früherer Gespräche speichern und sie dem Modell bei Bedarf wieder zur Verfügung stellen.

Statt hunderte Nachrichten zur Projektkonfiguration aufzubewahren, genügen oft einige Schlüsselinformationen: Programmiersprache, Architekturwahl, Projektbeschränkungen und Nutzerpräferenzen. Kehrt das Gespräch zum Thema zurück, fügt das System die nötigen Fakten in den neuen Kontext ein.

Für das Sprachmodell sind diese Daten technisch normale Eingangsinformationen. Der Unterschied: Das System wählt die relevanten Fakten vorab aus, anstatt das Modell die gesamte Historie analysieren zu lassen.

Ein verbreiteter Ansatz ist das Auffinden relevanter Fragmente: Alte Nachrichten oder Dokumente werden separat gespeichert. Vor einer neuen Antwort bestimmt das System, welche davon zum aktuellen Anliegen passen. Diese Fragmente werden zusammen mit der letzten Nutzernachricht in den Kontext eingefügt.

So lässt sich mit wesentlich mehr Informationen arbeiten, als das Kontextfenster eigentlich zulässt. Das Modell erhält nicht die gesamte Datenbank, sondern nur die aktuell nützlichsten Teile.

Eine andere Methode ist das regelmäßige Kürzen der Gesprächshistorie. Anstelle von Dutzenden alten Nachrichten kann das System deren Zusammenfassung speichern: Was wurde besprochen, welche Entscheidungen getroffen, welche Bedingungen gelten noch?

Stellen Sie sich einen mehrtägigen Dialog zur App-Entwicklung vor. Jede technische Frage und Antwort an das Modell zu übermitteln, ist nicht nötig. Stattdessen lässt sich eine kompakte Übersicht erstellen: Tech-Stack gewählt, Datenbankstruktur definiert, Authentifizierung auf bestimmte Weise umgesetzt, einige Varianten verworfen.

Diese Methode spart Kontext - hat aber auch Nachteile. Das Komprimieren führt zwangsläufig zum Verlust von Details. Hält das System einen wichtigen Fakt bei der Zusammenfassung für unwichtig, erhält das Modell ihn später nicht.

Langzeitgedächtnis löst eine andere Aufgabe: Es erlaubt, Informationen zwischen einzelnen Dialogen zu speichern - etwa Nutzerpräferenzen, Projektfortschritt oder andere Daten, die später wieder verwendet werden können.

Trotzdem speichert das neuronale Netz nicht wortwörtlich jede Erinnerung aller Gespräche. Meist werden gezielt Einzelfakten abgelegt und bei Bedarf abgerufen. Ein komplettes Transkript monatelanger Kommunikation wäre zu groß und würde viele irrelevante Informationen enthalten.

Die Zukunft des Modellgedächtnisses liegt daher vermutlich in der Kombination mehrerer Mechanismen: großem Kontext, Suchfunktion in der Historie, kompakten Zusammenfassungen und Langzeitspeicherung einzelner Fakten.

Der Vorteil: Wenn das System die wirklich benötigte Information erkennt, erhält das Modell einen kleineren, "aufgeräumteren" Kontext - mit weniger veralteten Anweisungen, zufälligen Diskussionen und widersprüchlichen Daten.

Völlig verschwindet das Problem dennoch nicht. Das Gedächtnissystem kann falsche Fakten speichern, die Suche irrelevante Fragmente wählen und die Zusammenfassung wichtige Details verlieren. Das Modell muss die übergebenen Informationen immer noch richtig interpretieren.

Selbst moderne Systeme mit Gedächtnis vergessen, verwechseln oder rekonstruieren Details manchmal falsch. Der Unterschied: Heute hängt das Problem nicht mehr nur von der Kontextgröße ab, sondern auch von der Qualität der Informationsauswahl.

Am zuverlässigsten werden künftig Systeme sein, die nicht versuchen, "alles zu erinnern", sondern gezielt das abrufen, was im Moment wirklich benötigt wird.

FAQ

1. Warum vergessen ChatGPT und andere neuronale Netze vorherige Nachrichten?

   Ursache ist meist die Begrenzung des Kontextfensters oder dass relevante Informationen im großen Textvolumen untergehen. In manchen Systemen werden alte Nachrichten zusätzlich gekürzt oder aus dem aktuellen Kontext entfernt - dann erhält das Modell sie beim Generieren der Antwort nicht mehr.

2. Wie viele Nachrichten kann ein neuronales Netzwerk behalten?

   Es gibt keine feste Nachrichtenanzahl. Der Kontext wird in Token gemessen und die Länge der Nachrichten kann stark variieren. Ein Dialog aus hundert kurzen Zeilen belegt manchmal weniger Kontext als wenige sehr lange Nachrichten mit Dokumenten oder Code-Fragmente.

3. Was passiert, wenn das Kontextfenster überläuft?

   Die gesamte Historie kann nicht mehr gleichzeitig übergeben werden. Je nach System werden alte Nachrichten entfernt, auf Zusammenfassungen reduziert oder gezielt die relevantesten Teile ausgewählt. Informationen, die nicht in den neuen Kontext gelangen, sind für das Modell nicht mehr zugänglich.

4. Wie unterscheidet sich das Gedächtnis eines neuronalen Netzes vom Kontext?

   Der Kontext ist die Information, die das Modell bei der aktuellen Anfrage erhält. Das Gedächtnis wird separat gespeichert und kann zwischen Anfragen oder Gesprächen genutzt werden. Um gespeicherte Erinnerungen zu verwenden, muss das System sie dem Modell wieder in den aktuellen Kontext einfügen.

5. Kann ein großes Kontextfenster das Vergessen vollständig verhindern?

   Nein. Es ermöglicht zwar, dem Modell mehr Informationen zu geben, garantiert aber nicht, dass jedes Detail richtig gefunden und interpretiert wird. Je größer der Kontext, desto mehr veraltete, ähnliche und konkurrierende Fakten gibt es darin.

Fazit

Neuronale Netze vergessen lange Dialoge nicht, weil sie wie Menschen ein begrenztes Gedächtnis hätten. Große Sprachmodelle arbeiten mit einem konkreten Informationsset, das ihnen beim Formulieren der Antwort zur Verfügung steht.

Der Kontext legt fest, welche Daten das Modell aktuell nutzen kann. Das Kontextfenster begrenzt das Maximum, und Attention hilft, Querverbindungen zwischen Textteilen zu erkennen und die für die Fortsetzung wichtigen auszuwählen.

Das Gedächtnis funktioniert anders: Es ermöglicht dem System, nützliche Fakten separat zu speichern und sie bei Bedarf wieder ins Modell zu geben. Deshalb kombinieren moderne KI-Dienste großes Kontextfenster, Historien-Suche, Zusammenfassungen und Langzeitspeicherung.

In der Praxis bedeutet ein riesiger Kontext nicht, dass jede Nachricht fehlerfrei behalten wird. Je länger das Gespräch, desto wichtiger ist nicht die Menge des verfügbaren Textes, sondern die Fähigkeit des Systems, die richtigen Informationen zu finden. Die nächste Entwicklungsstufe neuronaler Gedächtnissysteme besteht daher weniger darin, Millionen Token gleichzeitig zu lesen - sondern darin, rechtzeitig die wirklich relevanten Fakten zu extrahieren.