Kontextfenster verstehen: Was eine KI im Blick behält und wie sie sich erinnert

Ziel

Nach diesem Artikel wissen Sie, was das Kontextfenster eines KI-Modells ist und was alles darin liegt. Sie können es mit dem Arbeitsgedächtnis des Menschen vergleichen und verstehen, warum eine KI in langen Gesprächen Dinge vergisst. Außerdem wissen Sie, wie Werkzeuge wie Claude, ChatGPT oder Hermes Agent sich trotzdem über mehrere Gespräche hinweg an Sie erinnern – und wie Sie das gezielt nutzen.

Voraussetzungen

• Sie haben schon einmal mit einem KI-Chat gearbeitet.
• Hilfreich, aber nicht nötig ist der Lernartikel „Was sind Token?“. Dort erfahren Sie, dass eine KI Text in kleinen Bausteinen liest, den sogenannten Token. In Token wird auch die Größe des Kontextfensters gemessen.
• Ein Beispiel begleitet Sie durch den Artikel: die fiktive Gärtnerei Lindner. Die Inhaberin, Frau Lindner, nutzt einen KI-Assistenten für Kundenanfragen und für die Planung der Frühjahrssaison. Zwei Dinge wundern sie. Warum vergisst die KI nach einem langen Nachmittag ihre Preisliste? Und woher weiß dieselbe KI eine Woche später, dass Frau Lindner kurze E-Mails bevorzugt?

Hinweis: Dieser Artikel vereinfacht bewusst. Er erklärt, was Sie für die Praxis brauchen – nicht jedes technische Detail im Inneren eines Sprachmodells.

Schritt für Schritt

1. Ein Modell ohne Erinnerung

Beginnen wir mit einer Tatsache, die viele überrascht: Ein Sprachmodell, also die Technik hinter jedem KI-Chat, hat von sich aus kein Gedächtnis. Jede Anfrage beantwortet es so, als sähe es Sie zum ersten Mal.

Das Modell verfügt über zwei sehr unterschiedliche Arten von Wissen:

• Trainingswissen. Im Training hat das Modell aus riesigen Textmengen gelernt, wie Sprache funktioniert und wie die Dinge zusammenhängen. Dieses Wissen steckt fest im Modell. Es reicht bis zum sogenannten Trainingsende und ändert sich danach nicht mehr – auch nicht durch Ihre Gespräche.
• Kontext. Das ist alles, was Sie und das Chat-Programm dem Modell für die aktuelle Antwort mitgeben: Ihre Frage, Ihre Anweisungen, angehängte Dateien und den bisherigen Gesprächsverlauf.

Das Kontextfenster ist die Obergrenze für diesen Kontext. Es beschreibt, wie viel Text das Modell in einem einzigen Moment überblicken kann. Gemessen wird es in Token. Heutige Modelle schaffen meist zwischen rund 128.000 und einer Million Token. Das entspricht grob 250 bis 2.000 Buchseiten.

Ein gutes Bild dafür ist ein Arbeitstisch. Was auf dem Tisch liegt, kann die KI sehen und verwenden. Was nicht darauf liegt, existiert für sie in diesem Moment nicht. Und nach jedem Gespräch wird der Tisch vollständig abgeräumt.

Merksatz: Das Modell selbst merkt sich nichts. Alles, was es über Sie und Ihr Gespräch „weiß“, muss bei jeder Anfrage neu auf den Tisch gelegt werden.

2. Was alles auf dem Tisch liegt

Wenn Frau Lindner eine Frage eintippt, ist der Tisch längst nicht leer. Das Chat-Programm legt vor ihre Nachricht eine ganze Reihe von Dingen, in einer festen Reihenfolge:

1. Grundregeln des Anbieters. Fachleute nennen das die Systemanweisung, englisch System Prompt. Sie legt fest, wie sich die KI verhält, welchen Ton sie anschlägt und was sie ablehnt. Sie sehen diesen Teil nicht, aber er ist immer da.
2. Beschreibungen der Werkzeuge. Kann die KI im Internet suchen, Dateien lesen oder Termine eintragen, liegt für jedes dieser Werkzeuge eine kurze Gebrauchsanweisung auf dem Tisch.
3. Erinnerungen. Hat das Programm eine Gedächtnisfunktion, legt es hier gespeicherte Notizen über Sie aus früheren Gesprächen dazu. Wie das funktioniert, sehen Sie in Schritt 5.
4. Ihre festen Anweisungen und Ihr Projektwissen. Zum Beispiel die Vorgabe „Antworte immer kurz und im Sie-Ton“ oder Dateien, die Sie in einem Projekt hinterlegt haben.
5. Mitgeschickte Dokumente. Etwa die Preisliste der Gärtnerei als PDF-Datei.
6. Der bisherige Gesprächsverlauf. Jede frühere Frage und jede frühere Antwort dieses Chats.
7. Ihre neue Nachricht.

Und eines darf nicht fehlen: der Platz für die Antwort. Auch die Antwort, die die KI gerade schreibt, entsteht auf demselben Tisch und zählt zum Kontextfenster.

Wählen Sie eine Situation und klicken Sie auf die einzelnen Schichten. Sie sehen, wie schnell ein langes Gespräch alles andere in den Schatten stellt.

Die Zahlen sind Beispielwerte, jedes Programm verteilt den Platz etwas anders. Das Muster ist aber überall gleich: Die festen Teile sind klein. Dokumente und vor allem lange Gespräche sind groß.

3. Der Vergleich: das Arbeitsgedächtnis des Menschen

Der Vergleich mit dem menschlichen Gedächtnis hilft, das Kontextfenster einzuordnen – gerade weil er an einigen Stellen nicht passt.

Auch Sie haben einen Arbeitstisch im Kopf. Die Psychologie nennt ihn Arbeitsgedächtnis. Das ist der Teil des Gedächtnisses, in dem Sie gerade mit Informationen hantieren. Etwa wenn Sie eine Telefonnummer behalten, bis Sie sie eingetippt haben. Oder wenn Sie im Kopf ausrechnen, was drei Hortensien zu je 12,90 Euro kosten.

Dieser Tisch ist erstaunlich klein. Die Forschung geht heute davon aus, dass wir nur etwa vier Einheiten gleichzeitig bewusst halten können. Ältere Lehrbücher sprechen von sieben, plus oder minus zwei. Ohne Wiederholen verblasst der Inhalt nach wenigen Sekunden. Wir helfen uns, indem wir Dinge bündeln: Aus den vier Ziffern eins, neun, acht und neun wird die Jahreszahl 1989 – und damit eine einzige Einheit.

Was beide gemeinsam haben:

• Beide Tische sind begrenzt. Wer mit einer Information arbeiten will, muss sie gerade vor sich haben.
• Beide sind flüchtig. Was nicht festgehalten wird, ist bald wieder weg.
• Beide achten besonders auf Anfang und Ende. Menschen merken sich aus einer langen Liste die ersten und die letzten Punkte am besten. Bei Sprachmodellen haben Forscher etwas Ähnliches beobachtet: Informationen am Anfang und am Ende eines langen Kontexts werden zuverlässiger genutzt als solche, die irgendwo in der Mitte stehen. Fachleute sprechen von „Lost in the Middle“, auf Deutsch: verloren in der Mitte.

Worin sie sich unterscheiden:

• Die Größe. Das Kontextfenster fasst hunderte Seiten, und zwar Wort für Wort. Ihr Arbeitsgedächtnis fasst nur wenige Einheiten, erfasst dafür aber sofort, worum es geht.
• Der Weg ins Langzeitgedächtnis. Bei Ihnen wandert Wichtiges ganz von selbst ins Langzeitgedächtnis, vor allem im Schlaf. Fachleute nennen das Konsolidierung. Beim Sprachmodell gibt es diesen Weg nicht. Sein Langzeitgedächtnis, das Trainingswissen, ist eingefroren. Ein Gespräch mit Frau Lindner verändert das Modell nicht.
• Die Art des Vergessens. Sie vergessen allmählich und behalten oft den Kern. Die KI vergisst abrupt: Was über den Rand des Fensters fällt, ist vollständig weg.
• Der Neustart. Sie wachen morgens auf und wissen noch, was gestern war. Ein Sprachmodell beginnt jeden neuen Chat mit einem leeren Tisch.

Merksatz: Wenn ein KI-Werkzeug sich an Sie erinnert, hat nicht das Modell dazugelernt. Das Programm drumherum hat Notizen aufbewahrt und legt sie wieder auf den Tisch.

4. Wenn der Tisch voll wird

Irgendwann ist auch das größte Kontextfenster voll. Bei Frau Lindner passiert das nach einem langen Planungsnachmittag: Preisliste, Pflanzkalender, zwanzig Rückfragen. Die Programme gehen damit auf drei Arten um, oft auch in Kombination:

1. Abschneiden. Das Älteste fällt heraus, damit Neues Platz hat. Das ist einfach und schnell, aber gnadenlos: Steht die Preisliste ganz am Anfang, verschwindet sie als Erstes.
2. Zusammenfassen. Ältere Teile des Gesprächs werden zu einer kurzen Zusammenfassung verdichtet. Im Englischen heißt das Compaction. Der rote Faden bleibt erhalten, Details wie einzelne Preise gehen dabei oft verloren.
3. Nachschlagen. Ältere Inhalte wandern in ein Archiv außerhalb des Fensters. Braucht die KI etwas daraus, sucht das Programm das passende Stück heraus und legt nur dieses zurück auf den Tisch. Fachleute nennen das Retrieval, also Abrufen.

Probieren Sie die drei Wege aus und achten Sie darauf, was jeweils aus der Preisliste wird:

Schon bevor der Tisch ganz voll ist, lässt die Qualität oft nach. Je mehr darauf liegt, desto leichter übersieht die KI einzelne Vorgaben. Typische Anzeichen sind Antworten, die frühere Absprachen ignorieren, sich widersprechen oder plötzlich allgemeiner werden.

Achtung: Wenn eine KI in einem langen Gespräch vergisst, was Sie vereinbart haben, ist meist der Tisch zu voll. Ein neuer Chat mit einer kurzen Zusammenfassung des bisherigen Stands hilft fast immer.

5. Wie KI-Werkzeuge sich trotzdem erinnern

Jetzt löst sich das zweite Rätsel von Frau Lindner. Ihr Assistent weiß eine Woche später noch, dass sie kurze E-Mails mag – obwohl das Modell nichts behält. Der Trick: Das Programm rund um das Modell führt Notizen. Es schreibt Wichtiges aus dem Gespräch heraus, bewahrt es außerhalb des Modells auf und legt es im nächsten Gespräch wieder auf den Tisch.

Fast alle Werkzeuge kombinieren dafür drei Bausteine:

• Dauernotizen. Ein kleiner Zettel mit dem Wichtigsten über Sie: Rolle, Vorlieben, laufende Vorhaben. Er wird in jeden neuen Chat geladen. Weil er dort immer Platz braucht, ist er bewusst knapp gehalten.
• Ein Archiv alter Gespräche. Hier liegt alles, was für den Zettel zu viel ist. Es wird nicht automatisch geladen, sondern bei Bedarf durchsucht. Zum Beispiel, wenn Sie fragen: „Was hatten wir letzte Woche zur Hortensien-Aktion besprochen?“
• Feste Anweisungen und Projektwissen. Regeln und Dateien, die Sie selbst hinterlegen und die in jedem passenden Chat mitgeladen werden.

So sieht das bei drei verbreiteten Werkzeugen aus.

Claude – im Browser, in der App und in Claude Desktop – legt Erinnerungen als einzelne Themen an. Das geschieht laufend während des Gesprächs, nicht erst als Zusammenfassung danach. Jedes Projekt hat einen eigenen, getrennten Gedächtnisbereich. Gespräche über Kunde A vermischen sich also nicht mit Gesprächen über Kunde B. Zusätzlich kann Claude frühere Chats durchsuchen. Sie können die Erinnerungen in den Einstellungen einsehen und bearbeiten, Claude im Chat bitten, sich etwas zu merken oder zu vergessen, das Gedächtnis für einzelne Chats abschalten oder einen Inkognito-Chat öffnen, der weder im Verlauf noch im Gedächtnis landet.

ChatGPT kennt zwei Schalter. Gespeicherte Erinnerungen sind Dinge, die Sie ausdrücklich merken lassen, zum Beispiel Ihren Namen oder Ihre Branche. Sie bleiben, bis Sie sie löschen, und der Platz dafür ist begrenzt. Der Bezug auf frühere Chats arbeitet dagegen automatisch: ChatGPT zieht Hinweise aus vergangenen Gesprächen heran, und was davon hängen bleibt, ändert sich mit der Zeit. Wichtig zu wissen: Wenn Sie einen Chat löschen, ist eine daraus gespeicherte Erinnerung nicht automatisch mit gelöscht. Für Gespräche ganz ohne Gedächtnis gibt es den temporären Chat.

Hermes Agent ist ein quelloffener KI-Agent von Nous Research, den Sie auch auf dem eigenen Rechner betreiben können, etwa mit der Oberfläche Hermes Desktop. Sein Gedächtnis ist besonders gut nachvollziehbar, denn es besteht aus gewöhnlichen Textdateien. In der Datei MEMORY.md notiert der Agent Fakten über die Arbeitsumgebung und Gelerntes, in der Datei USER.md Ihr Profil und Ihre Vorlieben. Beide sind in der Grundeinstellung absichtlich klein, zusammen nur rund 3.600 Zeichen. Sie werden zu Beginn jeder Sitzung in die Systemanweisung geladen. Neue Notizen speichert der Agent zwar sofort, wirksam werden sie aber erst in der nächsten Sitzung. Alles Weitere legt Hermes in einer lokalen Datenbank ab und durchsucht sie bei Bedarf im Volltext. Auf Wunsch lassen sich zusätzlich externe Gedächtnisdienste anschließen.

Wählen Sie ein Werkzeug und vergleichen Sie, wie die drei Bausteine jeweils heißen:

Für Frau Lindner heißt das ganz praktisch: Ihre Vorliebe für kurze E-Mails steht auf dem Dauerzettel und ist in jedem Chat dabei. Die Preisliste dagegen gehört nicht in die Erinnerungen, sondern als Datei in ein Projekt. Dort wird sie zuverlässig mitgeladen und lässt sich bei einer Preisänderung einfach austauschen.

6. So arbeiten Sie gut mit Kontext und Gedächtnis

1. Pro Thema ein neuer Chat. Ein frischer Tisch ist übersichtlicher, schneller und günstiger.
2. Wichtiges an den Anfang oder ans Ende. Zentrale Vorgaben gehen in der Mitte eines langen Textes leichter unter.
3. Mit einer Übergabe weiterarbeiten. Wird ein Gespräch zu lang, lassen Sie die KI den Stand in wenigen Punkten zusammenfassen. Mit dieser Zusammenfassung starten Sie einen neuen Chat.
4. Feste Unterlagen in Projekte. Preislisten, Vorlagen und Regeln gehören als Dateien oder Anweisungen in ein Projekt, nicht in die Erinnerungen.
5. Das Gedächtnis regelmäßig ansehen. Veraltete Einträge, etwa zu einem abgeschlossenen Vorhaben, führen die KI in die Irre. Löschen Sie, was nicht mehr stimmt.
6. Mit sensiblen Daten bewusst umgehen. Erinnerungen sind gespeicherte Daten. Namen, Adressen oder Gesundheitsangaben von Kunden haben dort nichts zu suchen. Für vertrauliche Themen eignen sich Inkognito- oder temporäre Chats. Klären Sie im Unternehmen vorab, welche Gedächtnisfunktionen genutzt werden dürfen.

Hinweis: Die Gedächtnisfunktionen der Anbieter entwickeln sich schnell weiter, Namen und Schalter ändern sich. Das Prinzip bleibt dasselbe: Notizen außerhalb des Modells, die bei Bedarf wieder auf den Tisch gelegt werden.

Wissens-Check

Zusammenfassung

• Das Kontextfenster ist der Arbeitstisch der KI: alles, was sie für die aktuelle Antwort im Blick hat, gemessen in Token. Das Modell selbst merkt sich nichts.
• Auf dem Tisch liegen Grundregeln, Werkzeuge, Erinnerungen, Anweisungen, Dokumente, Verlauf, Ihre Nachricht und der Platz für die Antwort. Lange Gespräche belegen den meisten Platz.
• Wie das menschliche Arbeitsgedächtnis ist das Kontextfenster begrenzt und flüchtig und achtet besonders auf Anfang und Ende. Anders als beim Menschen wandert aber nichts von selbst ins Langzeitgedächtnis.
• Ist der Tisch voll, wird abgeschnitten, zusammengefasst oder nachgeschlagen – und dabei können Details wie Preise verloren gehen.
• Das Gedächtnis von Claude, ChatGPT oder Hermes Agent besteht aus Notizen außerhalb des Modells, die in neue Chats geladen werden. Sie können diese Notizen einsehen, bearbeiten und abschalten.