Was sind Token? So zerlegt, liest und berechnet KI Ihren Text

Inhalt

Nach diesem Artikel wissen Sie, was ein Token ist und warum KI-Anbieter in Token rechnen statt in Wörtern oder Seiten. Sie können grob abschätzen, wie viele Token ein Text hat, verstehen, warum eine KI in langen Gesprächen Dinge „vergisst“, und können einschätzen, was ein KI-Einsatz im eigenen Betrieb kostet.

Voraussetzungen

• Sie haben schon einmal mit einem KI-Chat gearbeitet, etwa ChatGPT, Claude oder Copilot.
• Technisches Vorwissen brauchen Sie nicht. Neue Begriffe werden beim ersten Auftreten erklärt.
• Ein Beispiel begleitet Sie durch den Artikel: die fiktive Gärtnerei Lindner. Die Inhaberin möchte Kundenanfragen per E-Mail künftig von einer KI vorbeantworten lassen – und fragt sich, was das kostet.

Hinweis: Dieser Artikel vereinfacht bewusst. Er erklärt, was Sie für die Praxis wissen müssen – nicht jedes technische Detail im Inneren eines Sprachmodells.

Schritt für Schritt

1. Die KI liest in Bausteinen, nicht in Buchstaben

Wenn Sie einer KI eine Frage stellen, liest sie Ihren Text weder Buchstabe für Buchstabe noch Wort für Wort. Sie zerlegt ihn zuerst in Token – kleine Textbausteine. Ein Token ist mal ein ganzes Wort, mal ein Wortteil, mal nur ein Satzzeichen.

Erinnern Sie sich daran, wie Kinder lesen lernen: Sie setzen ein langes Wort aus Silben zusammen – Gärt-ne-rei. Ein Sprachmodell (so heißt die Technik hinter KI-Chats) macht etwas Ähnliches. Seine Bausteine sind allerdings keine Silben, sondern Textstücke, die in seinen Trainingstexten besonders häufig vorkamen.

Warum dieser Umweg? Ein Computer kann nur mit Zahlen rechnen. Jeder Baustein hat deshalb eine feste Nummer in einer Art Wörterbuch des Modells. Aus „Vielen Dank“ wird so eine kurze Zahlenfolge, mit der das Modell weiterarbeitet. Für die Praxis genügen vier Beobachtungen:

• Häufige Wörter wie „Dank“, „für“ oder „Ihre“ sind jeweils ein einziger Token.
• Seltene Wörter, Namen und lange Zusammensetzungen werden in mehrere Token zerlegt.
• Zahlen, Datumsangaben und Preise zerfallen in besonders viele kleine Stücke.
• Leerzeichen und Satzzeichen zählen mit. Das Leerzeichen hängt meist vorne am folgenden Wort.

Probieren Sie es aus: Klicken Sie sich durch die Beispiele und sehen Sie, wie unterschiedlich ein Modell Texte zerlegt.

Die Beispiele sind mit dem Zerleger gerechnet, den OpenAI für seine GPT-Modelle verwendet. Jeder Anbieter nutzt einen eigenen Zerleger – Fachleute sagen Tokenizer. Die genauen Zahlen weichen deshalb von Modell zu Modell etwas ab, das Prinzip ist überall dasselbe.

2. Mit Faustregeln umrechnen

Exakt zählen müssen Sie Token fast nie. Für Planung und Kostenschätzung reichen ein paar Faustregeln. Sie gelten für normale deutsche Geschäftstexte:

• 1 Token entspricht etwa 4 Zeichen (Leerzeichen mitgezählt).
• 1 Wort entspricht etwa 1,5 Token – auf Englisch eher 1,2.
• Eine typische Antwort-E-Mail hat 150 bis 300 Token.
• Eine Normseite (1.800 Zeichen) hat 400 bis 450 Token.
• Ein Fachbuch mit 300 Seiten hat rund 150.000 Token.

Merksatz: Deutsch ist für eine KI etwas „teurer“ als Englisch. Derselbe Inhalt braucht je nach Modell rund ein Viertel bis die Hälfte mehr Token. Der Grund: Die Wörterbücher der Modelle wurden überwiegend aus englischen Texten gebildet und enthalten deshalb für englische Wörter mehr fertige Bausteine.

Für die Gärtnerei Lindner heißt das: Die Kundenfrage „Haben Sie die Hortensie noch vorrätig?“ hat 38 Zeichen und 12 Token. Eine freundliche Antwort-E-Mail mit gut hundert Wörtern liegt bei rund 170 Token.

3. Die Antwort entsteht Token für Token

Token sind nicht nur die Einheit, in der die KI liest – sie schreibt auch in Token. Ein Sprachmodell formuliert keine fertige Antwort, die es dann am Stück ausgibt. Es berechnet immer nur, welcher Baustein als nächster am besten passt, hängt ihn an und beginnt von vorn. Dabei liest es jedes Mal Ihre Frage und alles, was es selbst schon geschrieben hat.

Deshalb sehen Sie im Chat, wie die Antwort Stück für Stück erscheint. Das ist kein optischer Effekt, sondern genau die Arbeitsweise des Modells.

Daraus folgt eine Unterscheidung, die Ihnen auf jeder Preisliste begegnet:

• Eingabe-Token (englisch Input) sind alles, was die KI liest: Ihre Frage, Ihre Anweisungen, mitgeschickte Dokumente und der bisherige Gesprächsverlauf.
• Ausgabe-Token (englisch Output) sind alles, was die KI schreibt.

Ausgabe-Token sind in der Regel deutlich teurer. Den Text, den Sie mitschicken, kann das Modell in einem Rutsch einlesen – jeden Baustein der Antwort muss es dagegen einzeln berechnen. Wie diese Berechnung im Inneren funktioniert, erklärt der Lernartikel „Neuronale Netze verstehen“.

4. Das Kontextfenster: wie viel die KI auf einmal im Blick hat

Ein Sprachmodell kann nicht beliebig viel Text gleichzeitig verarbeiten. Die Obergrenze heißt Kontextfenster und wird in Token angegeben. Stellen Sie sich einen Schreibtisch vor: Alles, was darauf liegt, kann die KI sehen und verwenden. Was nicht mehr daraufpasst, existiert für sie nicht.

Auf diesem Schreibtisch liegt alles gleichzeitig: Ihre Anweisungen, mitgeschickte Dokumente, das bisherige Gespräch und die Antwort, die gerade entsteht. Dabei ist wichtig zu wissen: Eine KI hat zwischen zwei Nachrichten kein eigenes Gedächtnis. Damit sie „weiß“, worüber Sie vorhin gesprochen haben, schickt das Chat-Programm bei jeder neuen Nachricht den gesamten bisherigen Verlauf erneut mit.

Das hat zwei Folgen, die Sie im Alltag spüren:

1. Lange Gespräche werden teurer und langsamer, weil mit jeder Runde mehr Eingabe-Token anfallen.
2. Ist das Fenster voll, fällt etwas heraus. Je nach Programm werden ältere Teile weggelassen oder zusammengefasst. Details vom Anfang – etwa eine Preisliste – stehen der KI dann nicht mehr zur Verfügung.

Schieben Sie den Regler und beobachten Sie, was mit der Preisliste der Gärtnerei passiert:

Die Zahlen im Beispiel sind stark verkleinert. Aktuelle Modelle haben Kontextfenster von etwa 128.000 bis zu einer Million Token – grob 250 bis 2.000 Buchseiten. Das klingt nach viel, ist aber schneller ausgeschöpft, als man denkt: mit langen Verträgen, großen Tabellen oder einem Chat, der über Wochen weiterläuft.

Achtung: Wenn eine KI in einem langen Gespräch plötzlich frühere Vorgaben ignoriert oder sich widerspricht, ist oft ein volles Kontextfenster die Ursache. Beginnen Sie dann einen neuen Chat und geben Sie die wichtigsten Punkte kompakt noch einmal mit.

5. Token sind die Währung der KI

Was die Kilowattstunde für den Strom ist, ist der Token für die KI: die Einheit, in der gemessen und abgerechnet wird. Wie sich das bemerkbar macht, hängt davon ab, wie Sie KI nutzen:

• Im Abo, etwa mit einem Monatstarif für einen KI-Chat, zahlen Sie einen festen Betrag. Token spielen trotzdem eine Rolle: Die Nutzungsgrenzen, an die Sie bei intensiver Arbeit stoßen, werden in Token gemessen.
• Über eine Programmierschnittstelle – kurz API, so binden Programme und Automatisierungen eine KI an – zahlen Sie genau für die verbrauchten Token. Die Preise werden je eine Million Token angegeben, getrennt nach Eingabe und Ausgabe.

Die Spanne ist groß: Kleine, schnelle Modelle kosten wenige Cent pro Million Token, die leistungsstärksten Modelle mehrere Euro bis einige zehn Euro. Ausgabe-Token kosten dabei meist das Vier- bis Achtfache der Eingabe-Token.

Was heißt das für die Gärtnerei Lindner? Rechnen Sie selbst nach: 300 Kundenanfragen im Monat, jede mit Anweisung und Preisliste, jede mit einer normalen Antwort-Mail.

Das Ergebnis überrascht viele: Mit den Beispielpreisen eines Mittelklasse-Modells kostet der Einsatz rund drei Euro im Monat. Und der größere Teil davon entsteht nicht durch die Antworten, sondern durch die Preisliste, die bei jeder Anfrage mitgelesen wird. Genau dort liegt der Hebel.

6. Fünf Wege, Token zu sparen

1. Pro Thema ein neuer Chat. Ein langer Verlauf wird bei jeder Nachricht neu gelesen. Ein frischer Chat ist günstiger, schneller und oft auch genauer.
2. Nur das Nötige mitschicken. Statt des ganzen Katalogs genügt häufig der passende Ausschnitt.
3. Die Antwortlänge vorgeben. „Antworte in höchstens drei Sätzen“ spart Ausgabe-Token – also die teureren.
4. Anweisungen einmal sauber formulieren. Eine kurze, feste Vorlage ist günstiger als jedes Mal eine ausführliche Erklärung.
5. Das passende Modell wählen. Für einfache Aufgaben wie das Sortieren von E-Mails reicht ein kleines, günstiges Modell. Die großen Modelle lohnen sich bei anspruchsvollen Texten und kniffligen Fragen.

Hinweis: Auch Bilder, PDF-Dateien und Tabellen werden für die KI in Token umgerechnet. Ein eingescanntes Dokument verbraucht deshalb meist deutlich mehr Token als derselbe Text, wenn Sie ihn einfach hineinkopieren.

Wissens-Check

Zusammenfassung

• Ein Token ist ein Textbaustein: oft ein Wort, manchmal ein Wortteil oder ein Satzzeichen. Im Deutschen entspricht ein Token grob vier Zeichen.
• Eine KI liest und schreibt in Token. Antworten entstehen Baustein für Baustein, und jeder neue Baustein wird beim nächsten Schritt mitgelesen.
• Das Kontextfenster begrenzt, wie viele Token die KI gleichzeitig im Blick hat. Was nicht hineinpasst, kann sie nicht berücksichtigen.
• Abgerechnet wird nach Eingabe- und Ausgabe-Token. Lange Chats und große mitgeschickte Dokumente treiben die Eingabe, ausführliche Antworten die teureren Ausgabe-Token.
• Mit einem neuen Chat pro Thema, knappen Unterlagen und klaren Längenvorgaben sparen Sie Token, Geld und Wartezeit.