Token (LLM)
Was ist ein Token?
Ein Token ist die kleinste Verarbeitungseinheit, in die ein Large Language Model einen Text zerlegt. Ein Token kann ein vollständiges Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen umfassen. Anzahl und Aufteilung hängen vom verwendeten Modell und dessen Tokenizer ab. Tokens begrenzen den Kontext und beeinflussen Rechenaufwand sowie Nutzungskosten.
Wie ein Token im LLM funktioniert
Ein Token ist bei einem Large Language Model, kurz LLM, eine technische Verarbeitungseinheit. Der Tokenizer zerlegt eine Eingabe zunächst in solche Einheiten und ordnet jedem Token eine numerische ID zu. Erst danach verarbeitet das Sprachmodell die IDs mathematisch. Als deutsche Entsprechung eignet sich der Begriff Verarbeitungseinheit, wobei in der KI-Praxis fast ausschließlich von Tokens gesprochen wird.
Ein Token entspricht nicht automatisch einem Wort. Kurze und häufig vorkommende Wörter können als einzelne Einheit gespeichert sein. Längere Begriffe, zusammengesetzte deutsche Wörter, Zahlenfolgen oder seltene Fachausdrücke werden häufig in mehrere Bestandteile zerlegt. Auch Satzzeichen und Leerzeichen können eigene Einheiten bilden oder mit benachbarten Zeichen kombiniert werden.
So entsteht die Tokenisierung
Die Tokenisierung erfolgt anhand eines festen Vokabulars, das für das jeweilige Modell definiert wurde. Der Tokenizer sucht nach bekannten Zeichenfolgen und zerlegt unbekannte oder seltene Ausdrücke in kleinere Bestandteile. Dadurch kann ein Modell mit einer begrenzten Zahl gespeicherter Einheiten praktisch beliebige Texte verarbeiten.
Die Zerlegung ist modellabhängig. Dasselbe Wort kann bei zwei Sprachmodellen aus einer unterschiedlichen Anzahl von Tokens bestehen. Besonders deutlich wird dieser Unterschied bei deutschen Komposita, Produktbezeichnungen, URLs, Code, Tabellen und ungewöhnlicher Zeichensetzung. Eine pauschale Umrechnung von Wörtern oder Zeichen in Tokens liefert deshalb nur eine grobe Schätzung.
Token, Wort und Zeichen abgrenzen
Der Unterschied zwischen Token, Wort und Zeichen liegt in der Verarbeitungsebene. Ein Zeichen ist ein einzelner Buchstabe, eine Ziffer oder ein Symbol. Ein Wort ist eine sprachliche Einheit. Ein Token wird dagegen durch den Tokenizer bestimmt und kann kleiner oder größer als ein Wort sein. Wortzahl und Zeichenzahl reichen daher nicht aus, um den tatsächlichen Modellbedarf zuverlässig zu berechnen.
| Begriff | Bedeutung | Beispielhafte Einheit |
|---|---|---|
| Zeichen | Einzelnes Schriftzeichen | Buchstabe, Ziffer oder Satzzeichen |
| Wort | Sprachlich abgegrenzter Ausdruck | Suchmaschinenoptimierung |
| Token | Vom Tokenizer gebildete Verarbeitungseinheit | Wort, Wortteil oder Satzzeichen |
| Embedding | Mathematische Darstellung eines Tokens oder Textabschnitts | Vektor aus Zahlenwerten |
| Kontextfenster | Maximale verarbeitbare Tokenmenge | Eingabe und erzeugte Ausgabe |
Tokens und das Kontextfenster
Das Kontextfenster legt fest, wie viele Tokens ein LLM innerhalb einer Verarbeitung berücksichtigen kann. Dazu gehören die Nutzereingabe, hinterlegte Anweisungen, übergebene Dokumente, frühere Gesprächsteile und die erzeugte Antwort. Überschreitet die Summe das technische Limit, muss das System Inhalte kürzen, aufteilen oder aus dem Kontext entfernen.
Ein großes Kontextfenster bedeutet nicht, dass jeder übergebene Inhalt gleich stark berücksichtigt wird. Lange Dokumente enthalten häufig Wiederholungen, Navigationselemente oder irrelevante Daten. Diese Bestandteile verbrauchen Kapazität, ohne die Antwortqualität zu verbessern. Prüfe deshalb vor einer KI-Analyse, welche Abschnitte für die konkrete Frage tatsächlich benötigt werden.
Tokenzahl, Kosten und Antwortdauer
Viele KI-Dienste rechnen die Nutzung anhand der verarbeiteten Eingabe- und Ausgabe-Tokens ab. Der genaue Preis hängt vom Modell, Anbieter und Tarif ab. Lange Prompts erhöhen daher nicht automatisch die Qualität, können aber den Rechenaufwand und die Kosten steigern. Eine vollständige Aufgabenbeschreibung ist sinnvoll, redundante Hintergrundinformationen sind es nicht.
Messbar ist die Tokenzahl über den zum Modell gehörenden Tokenizer oder über die Nutzungsdaten einer API-Anfrage. Für belastbare Kalkulationen solltest du immer den Tokenizer des tatsächlich eingesetzten Modells verwenden. Ein Zähler für ein anderes Modell kann abweichende Ergebnisse liefern, obwohl der sichtbare Text identisch ist.
Relevanz für SEO und GEO
Ein Token ist kein direkter Google-Ranking-Faktor. Die Tokenzahl eines Textes sagt weder etwas über seine fachliche Qualität noch über seine organische Leistung aus. Ein künstlich verkürzter Inhalt kann wichtige Nutzerfragen offenlassen, während ein unnötig langer Text relevante Aussagen verwässert. Für SEO zählt, ob eine Seite die Suchintention vollständig, verständlich und nachvollziehbar beantwortet. Hinweise zur Planung solcher Inhalte findest du im Leitfaden zum Schreiben und Prüfen von KI-Texten.
Für GEO, also Generative Engine Optimization, beeinflussen Tokens vor allem die technische Verarbeitung von Quellen und Prompts. Klar gegliederte Absätze, präzise Definitionen und abgeschlossene Antworten erleichtern es KI-Systemen, relevante Informationen aus längeren Dokumenten auszuwählen. Die Optimierung für KI-Antworten sollte deshalb auf fachliche Klarheit und Quellenqualität ausgerichtet sein, nicht auf eine vermeintlich ideale Tokenzahl.
Bei umfangreichen SEO-, SEA- und GEO-Analysen begrenzt die Tokenmenge, wie viele Rohdaten in einem Durchlauf sinnvoll verarbeitet werden können. Der KI-Export der Performance Suite stellt dafür kuratierte Exporte bereit. Eine Auswahl relevanter Ranking-, Wettbewerbs- oder GEO-Daten liefert dem Modell einen klareren Arbeitskontext als ein ungefilterter Datenbestand.
Tokens im Marketing richtig einsetzen
Für Marketing-Aufgaben sollte ein Prompt alle Informationen enthalten, die das Ergebnis tatsächlich verändern. Dazu gehören Ziel, Zielgruppe, gewünschtes Format, verbindliche Fakten und klare Ausschlusskriterien. Ausführliche Unternehmenschroniken oder mehrfach wiederholte Stilvorgaben erhöhen dagegen die Tokenmenge, ohne zwingend zusätzlichen Nutzen zu liefern.
Eine geringe Tokenzahl ist kein Qualitätsziel. Die passende Menge ergibt sich aus der Aufgabe: Eine Meta-Description benötigt weniger Kontext als eine technische SEO-Analyse mit mehreren Datenquellen. Wenn du eigene Unternehmensdaten in eine KI einbindest, sollten Auswahl und Struktur vor der eigentlichen Formulierung des Prompts stehen.
Du möchtest strukturierte SEO-, SEA- und GEO-Daten für deine KI-Analysen nutzen? Lege einen kostenlosen Account an und teste einen kuratierten Export mit eigenen Daten.
Häufige Fragen zu Tokens
Wie viele Tokens hat ein Wort?
Dafür gibt es keinen festen Wert. Ein kurzes Wort kann einem Token entsprechen, während ein langes deutsches Kompositum oder ein seltener Fachbegriff in mehrere Tokens zerlegt wird. Das Ergebnis hängt vom Tokenizer des jeweiligen Modells ab.
Sind Leerzeichen und Satzzeichen eigene Tokens?
Leerzeichen und Satzzeichen können eigene Tokens bilden oder mit angrenzenden Zeichen verbunden werden. Welche Aufteilung gilt, bestimmt das Vokabular des verwendeten Tokenizers.
Warum zählen verschiedene KI-Modelle unterschiedlich?
Jedes Modell kann ein eigenes Vokabular und ein anderes Verfahren zur Tokenisierung verwenden. Derselbe Text erzeugt deshalb bei verschiedenen Modellen nicht zwingend dieselbe Tokenzahl.
Was passiert bei zu vielen Tokens?
Übersteigt die Eingabe zusammen mit der geplanten Ausgabe das Kontextfenster, muss der Inhalt gekürzt oder auf mehrere Anfragen verteilt werden. Manche Anwendungen entfernen ältere Gesprächsteile automatisch, wodurch relevanter Kontext verloren gehen kann.
Werden Eingabe und Antwort beide gezählt?
Grundsätzlich zählen sowohl die an das Modell übertragenen Eingabe-Tokens als auch die erzeugten Ausgabe-Tokens. Anbieter können diese Kategorien unterschiedlich bepreisen oder zusätzlich zwischengespeicherte Eingaben ausweisen.
Verbessern weniger Tokens die Antwortqualität?
Weniger Tokens verbessern eine Antwort nicht automatisch. Ein guter Prompt enthält alle entscheidungsrelevanten Informationen in klarer Form und vermeidet Wiederholungen. Zu starke Kürzungen können wichtige Bedingungen oder fachlichen Kontext entfernen.
Sie haben noch Fragen?
