Temperatur (LLM-Parameter)
Was ist die Temperatur bei LLMs?
Die Temperatur bei Large Language Models ist ein Sampling-Parameter, der steuert, wie stark das Modell bei der Auswahl des nächsten Tokens zwischen wahrscheinlichen Alternativen streut. Niedrige Werte bevorzugen die wahrscheinlichste Fortsetzung, höhere Werte verteilen die Auswahlchance breiter und erzeugen dadurch variablere, aber weniger kontrollierbare Antworten.
Die Temperatur bei LLMs, englisch temperature, verändert die Wahrscheinlichkeitsverteilung möglicher nächster Tokens. Ein Token kann ein Wort, Wortteil oder Satzzeichen sein. Das Sprachmodell berechnet für jedes mögliche Token einen Rohwert und wählt daraus die Fortsetzung. Die Temperatur beeinflusst diese Auswahl, verändert aber weder das trainierte Wissen noch den Prompt.
Was bewirkt die Temperatur?
Eine niedrige Temperatur konzentriert die Auswahl auf Tokens mit hoher berechneter Wahrscheinlichkeit. Dadurch werden Antworten meist konsistenter und vorhersehbarer. Eine hohe Temperatur gleicht die Auswahlchancen stärker an. Weniger wahrscheinliche Formulierungen kommen häufiger zum Zug, wodurch mehr sprachliche Variation entsteht.
Der verbreitete Denkfehler lautet, eine hohe Temperatur mache ein Sprachmodell kreativer im menschlichen Sinn. Tatsächlich erhöht der Parameter lediglich die Streuung beim Sampling. Das Modell entwickelt dadurch keine neuen Fähigkeiten und erhält kein zusätzliches Wissen. Es wählt nur öfter eine Alternative, die nach seiner Berechnung weniger wahrscheinlich ist.
So verändert Temperatur die Wahrscheinlichkeiten
Sprachmodelle erzeugen vor der Token-Auswahl sogenannte Logits. Das sind noch nicht normalisierte Rohwerte für mögliche Fortsetzungen. Bei einer Temperatur größer als null wird jeder Logit durch den Temperaturwert T geteilt und anschließend mit der Softmax-Funktion in eine Wahrscheinlichkeit umgerechnet.
p(i) = exp(z_i / T) / Σ exp(z_j / T). Dabei bezeichnet z den Logit eines Tokens und T die Temperatur. Bei T = 1 bleibt die ursprüngliche Verteilung erhalten. Werte unter 1 machen hohe Wahrscheinlichkeiten dominanter, Werte über 1 flachen die Verteilung ab. Ein vereinfachtes Beispiel mit zwei Tokens zeigt die Wirkung. Haben die Tokens die Logits 2 und 1, ergeben sich bei T = 1 Wahrscheinlichkeiten von rund 73,1 und 26,9 Prozent. Bei T = 0,5 verschiebt sich das Verhältnis auf etwa 88,1 zu 11,9 Prozent. Bei T = 2 nähert es sich mit rund 62,2 zu 37,8 Prozent an. Die Rangfolge bleibt gleich, aber die Auswahl des schwächeren Tokens wird bei höherer Temperatur wahrscheinlicher.
| Beispielwert | Wirkung auf die Verteilung | Typischer Anwendungszweck |
|---|---|---|
| T = 0 oder sehr niedrig | Starke Konzentration auf die wahrscheinlichste Fortsetzung | Extraktion, feste Formate, sachliche Kurzantworten |
| T = 1 | Keine zusätzliche Skalierung der Logits | Allgemeine Textgenerierung nach Modellstandard |
| T über 1 | Flachere Verteilung und mehr seltene Alternativen | Ideensammlung, Varianten und experimentelle Formulierungen |
Die zulässigen Werte und Standardwerte unterscheiden sich je nach Modell und Schnittstelle. Manche Systeme interpretieren T = 0 als Auswahl des wahrscheinlichsten Tokens, obwohl die mathematische Formel bei einer Division durch null nicht definiert ist. Prüfe deshalb die Dokumentation des verwendeten Modells, bevor du Einstellungen zwischen verschiedenen Plattformen überträgst.
Temperatur ist keine Qualitätsstufe
Eine niedrige Temperatur verbessert nicht automatisch die faktische Richtigkeit. Wenn ein Sprachmodell eine falsche Information für besonders wahrscheinlich hält, kann eine niedrige Einstellung genau diese Information sehr zuverlässig wiederholen. Für belastbare Antworten brauchst du einen eindeutigen Prompt, geeignete Quelldaten und eine fachliche Prüfung.
Eine hohe Temperatur verschlechtert ebenfalls nicht zwangsläufig jeden Text. Bei einer Ideensammlung kann eine breitere Auswahl erwünscht sein. Für einen Rechtstext, eine Produktdaten-Ausgabe oder eine technische Anleitung zählt dagegen Konsistenz stärker als sprachliche Überraschung. Lege die Einstellung deshalb anhand der Aufgabe und des zulässigen Fehlerspielraums fest.
Unterschied zwischen Temperatur und Top-p
Der Unterschied zwischen Temperatur und Top-p liegt im Eingriff in die Token-Auswahl. Die Temperatur formt die gesamte Wahrscheinlichkeitsverteilung um. Top-p beschränkt die Auswahl dagegen auf die kleinste Gruppe von Tokens, deren addierte Wahrscheinlichkeit einen festgelegten Schwellenwert erreicht. Ein Top-p-Wert von 0,9 lässt somit nur einen dynamisch bestimmten Wahrscheinlichkeitsbereich zur Auswahl zu.
Temperatur und Top-p können gleichzeitig wirken, erschweren dann aber die Ursachenanalyse. Wenn eine Ausgabe zu monoton oder zu unkontrolliert ausfällt, ändere zunächst nur einen Parameter. So erkennst du, ob die Verteilung selbst oder die zugelassene Token-Gruppe für das Ergebnis verantwortlich ist.
Einsatz in SEO, SEA und GEO
Für SEO-Content eignet sich eine niedrigere Temperatur, wenn Titel, Metadaten, Definitionen oder Produktmerkmale einem festen Format folgen müssen. Bei Themenideen und unterschiedlichen Einstiegen kann eine höhere Einstellung mehr Varianten liefern. Die Temperatur ersetzt jedoch weder eine Keyword-Recherche noch die Prüfung von Suchintention, Fakten und Markenstil.
Bei SEA-Texten muss das Ergebnis zusätzlich zu Zeichenbegrenzungen, Angebotsdetails und rechtlichen Vorgaben passen. Eine höhere Temperatur kann verschiedene Anzeigenansätze erzeugen, während eine niedrigere Einstellung die kontrollierte Überarbeitung eines freigegebenen Musters unterstützt. Jede finale Anzeige braucht unabhängig vom Parameter eine Prüfung gegen Landingpage und Kampagnenziel.
Für GEO, also Generative Engine Optimization, bestimmt die Temperatur nicht, ob eine Marke in ChatGPT, Perplexity, Gemini oder Grok als Quelle erscheint. GEO hängt von auffindbaren, verständlichen und belastbaren Inhalten ab. Unternehmen sollten daher ihre Präsenz in KI-Antworten anhand realer Ausgaben prüfen, statt aus einer Temperatureinstellung auf die KI-Sichtbarkeit zu schließen.
Temperatur systematisch testen
Messbar ist der Einfluss der Temperatur durch einen kontrollierten Vergleich: Verwende denselben Prompt, dasselbe Modell und dieselben übrigen Parameter und erzeuge pro Einstellung mehrere Antworten. Bewerte anschließend Faktenfehler, Formatabweichungen, sprachliche Dopplungen und den Anteil tatsächlich brauchbarer Varianten. Ein einzelner Durchlauf reicht nicht, weil Sampling bewusst Zufall enthält.
Für wiederkehrende Marketing-Aufgaben empfiehlt sich ein dokumentiertes Testschema. Ein Unternehmen kann beispielsweise eine niedrige, eine mittlere und eine höhere Einstellung mit identischen Briefings vergleichen. Der passende Wert ist die Einstellung, die bei akzeptabler Fehlerrate den gewünschten Grad an Variation liefert. Bei umfangreichen KI-Prozessen kann eine strukturierte Beratung zu Daten und KI-Workflows helfen, solche Qualitätskriterien verbindlich festzulegen.
Häufige Fragen zur LLM-Temperatur
Welche Temperatur eignet sich für sachliche Antworten?
Für sachliche Antworten wird meist eine niedrige Einstellung gewählt, sofern die verwendete Schnittstelle diese Steuerung anbietet. Der konkrete Wert hängt vom Modell ab. Teste mehrere niedrige Werte mit denselben Fragen und prüfe die Antworten auf Fakten, Format und Vollständigkeit.
Liefert Temperatur 0 immer denselben Text?
Nein, eine Einstellung von 0 garantiert nicht in jedem System identische Ausgaben. Modellversionen, interne Verarbeitung, gleich bewertete Tokens und technische Abläufe können Unterschiede verursachen. Für reproduzierbare Tests müssen auch Modell, Prompt, Seed und weitere Parameter konstant bleiben.
Verhindert eine niedrige Temperatur Halluzinationen?
Eine niedrige Temperatur kann zufällige Abweichungen reduzieren, verhindert aber keine Halluzinationen. Wenn eine falsche Aussage eine hohe Modellwahrscheinlichkeit besitzt, kann das Sprachmodell sie auch bei niedriger Temperatur ausgeben. Quellen, Kontext und fachliche Kontrolle bleiben erforderlich.
Sollte ich Temperatur und Top-p gleichzeitig ändern?
Für einen nachvollziehbaren Test solltest du zunächst nur einen Sampling-Parameter verändern. Werden Temperatur und Top-p gleichzeitig angepasst, lässt sich die Ursache einer Veränderung kaum eindeutig bestimmen. Eine gemeinsame Einstellung ist erst sinnvoll, wenn die Wirkung beider Parameter getrennt geprüft wurde.
Kann ich die Temperatur direkt in ChatGPT einstellen?
Die normale ChatGPT-Oberfläche bietet je nach Produktstand keine frei sichtbare Temperatursteuerung. In APIs, Entwicklungsumgebungen oder anderen KI-Anwendungen kann der Parameter verfügbar sein. Maßgeblich ist immer die Dokumentation der konkret verwendeten Schnittstelle.
Was mache ich, wenn ein Modell keine Temperatur unterstützt?
Wenn keine Temperatur verfügbar ist, kannst du Variation über den Prompt steuern. Fordere mehrere klar unterscheidbare Varianten an oder definiere feste Stil- und Formatregeln. Das ersetzt die mathematische Sampling-Steuerung nicht vollständig, macht die gewünschte Ausgabe aber konkreter.
Wenn du KI-Ausgaben mit eigenen SEO-, SEA- und GEO-Daten statt mit allgemeinem Kontext testen möchtest, kannst du einen kostenlosen Account anlegen.
Sie haben noch Fragen?
