Knowledge Distillation
Was ist Knowledge Distillation?
Knowledge Distillation ist ein Verfahren des maschinellen Lernens, bei dem ein leistungsfähiges Lehrermodell sein erlerntes Verhalten auf ein kompakteres Schülermodell überträgt. Das Schülermodell lernt neben den richtigen Zielwerten auch die Wahrscheinlichkeitsverteilung des Lehrermodells. Dadurch kann es bei geringerem Speicherbedarf und Rechenaufwand eine vergleichbare Aufgabe erfüllen.
Knowledge Distillation, deutsch: Wissensdestillation, überträgt Wissen von einem bereits trainierten Teacher-Modell auf ein Student-Modell. Das Ziel besteht meist darin, ein Modell zu erhalten, das schneller reagiert, weniger Arbeitsspeicher benötigt oder auf begrenzter Hardware eingesetzt werden kann.
Was hinter Knowledge Distillation steckt
Knowledge Distillation überträgt keine einzelnen Regeln oder gespeicherten Datensätze. Das Student-Modell lernt das Ausgabeverhalten des Teacher-Modells. Dazu gehören auch Wahrscheinlichkeiten für alternative Antworten, die in einem gewöhnlichen Trainingslabel nicht sichtbar wären.
Ein hartes Label für eine Klassifikationsaufgabe könnte lediglich festlegen, dass ein Text zur Kategorie „Kaufabsicht“ gehört. Ein Teacher-Modell kann ergänzend eine Verteilung von beispielsweise 80 Prozent Kaufabsicht, 15 Prozent Informationssuche und 5 Prozent Navigation liefern. Knowledge Distillation macht diese Abstufungen für das Student-Modell nutzbar.
Diese Wahrscheinlichkeitsverteilung wird als Soft Target bezeichnet. Soft Targets zeigen Ähnlichkeiten zwischen Klassen und vermitteln mehr Informationen als ein Label, das nur aus richtig oder falsch besteht. Das Student-Modell lernt dadurch nicht nur das gewünschte Ergebnis, sondern auch die Unsicherheit und die Gewichtung möglicher Alternativen.
Wie funktioniert Knowledge Distillation?
Knowledge Distillation beginnt mit einem trainierten Teacher-Modell. Während des Trainings erhält das Student-Modell dieselben Eingaben und vergleicht seine Ausgaben sowohl mit den tatsächlichen Zielwerten als auch mit den Ausgaben des Teacher-Modells. Eine kombinierte Verlustfunktion steuert, wie stark beide Lernsignale gewichtet werden.
L = α · CE(y, pₛ) + (1 − α) · T² · KL(pₜᵀ || pₛᵀ). CE bezeichnet den Fehler gegenüber den echten Labels. KL misst den Unterschied zwischen den Wahrscheinlichkeitsverteilungen von Teacher und Student. Der Faktor α gewichtet beide Bestandteile, während T die Temperatur der Verteilung festlegt. Die Temperatur T verändert, wie deutlich die Unterschiede zwischen den Ausgabewahrscheinlichkeiten ausfallen. Bei T = 1 bleibt die normale Softmax-Verteilung erhalten. Werte über 1 glätten die Verteilung, sodass weniger wahrscheinliche Klassen stärker sichtbar werden. Das Student-Modell erhält dadurch zusätzliche Informationen darüber, welche falschen Antworten das Teacher-Modell für ähnlich oder unähnlich hält.
Die Formel für die temperaturgesteuerte Wahrscheinlichkeit einer Klasse lautet pᵢ(T) = exp(zᵢ/T) / Σ exp(zⱼ/T). Dabei sind zᵢ und zⱼ die Logits, also die unverarbeiteten Modellwerte vor der Umwandlung in Wahrscheinlichkeiten. Prüfe bei einer Implementierung immer Temperatur, Gewichtung der Verlustanteile und Qualität des Teacher-Modells gemeinsam.
Varianten der Wissensübertragung
| Verfahren | Übertragenes Wissen | Typischer Einsatz |
|---|---|---|
| Response-basierte Distillation | Ausgaben und Klassenwahrscheinlichkeiten | Klassifikation, Sprachmodelle und Vorhersagen |
| Feature-basierte Distillation | Interne Repräsentationen ausgewählter Schichten | Bildverarbeitung und tiefe neuronale Netze |
| Relationsbasierte Distillation | Beziehungen zwischen Datenpunkten oder Merkmalen | Ähnlichkeitssuche und Repräsentationslernen |
| Self-Distillation | Wissen zwischen Versionen oder Schichten desselben Modells | Qualitätsverbesserung ohne separates großes Teacher-Modell |
| Online Distillation | Wissen während eines gemeinsamen Trainings | Mehrere gleichzeitig lernende Modelle |
Bei der klassischen Offline Distillation ist das Teacher-Modell bereits fertig trainiert und wird während des Student-Trainings nicht verändert. Bei Online Distillation lernen mehrere Modelle gleichzeitig voneinander. Self-Distillation nutzt dagegen ein Modell, eine frühere Modellversion oder tiefere Netzwerkschichten als Wissensquelle.
Vorteile und Grenzen der Methode
Knowledge Distillation kann die Inferenz effizienter machen. Inferenz bezeichnet die Phase, in der ein trainiertes Modell neue Eingaben verarbeitet. Ein kleineres Student-Modell benötigt häufig weniger Rechenleistung, reagiert schneller und lässt sich leichter auf mobilen Geräten, lokalen Servern oder in Anwendungen mit vielen parallelen Anfragen betreiben.
Knowledge Distillation garantiert jedoch keine identische Modellqualität. Das Student-Modell besitzt weniger Kapazität und kann seltene Fälle, komplexe Zusammenhänge oder feine sprachliche Unterschiede verlieren. Ein unzuverlässiges Teacher-Modell überträgt außerdem seine Fehler, Verzerrungen und falschen Gewichtungen auf den Student.
Knowledge Distillation für SEO und GEO
Knowledge Distillation ist keine direkte SEO-Maßnahme und kein Ranking-Faktor. Das Verfahren kann jedoch KI-Systeme ermöglichen, die Suchintentionen klassifizieren, Keywords gruppieren, Entitäten erkennen oder Inhalte vorprüfen. Für solche wiederkehrenden Aufgaben kann ein spezialisiertes Student-Modell wirtschaftlicher sein als ein großes allgemeines Sprachmodell.
Im Content Marketing können kompakte Modelle Texte kategorisieren, Themenlücken markieren oder Dokumente nach definierten Qualitätskriterien sortieren. Die fachliche Bewertung bleibt erforderlich, weil Knowledge Distillation keine verlässliche Faktenbasis erzeugt. Ein Modell kann nur Wissen und Verhaltensmuster übernehmen, die im Teacher-Modell und in den Trainingsdaten vorhanden sind. Hinweise zur Qualitätskontrolle findest du im Leitfaden zum Schreiben und Prüfen von KI-Texten.
Für GEO, ausgeschrieben Generative Engine Optimization, zählt vor allem, ob Informationen korrekt, eindeutig strukturiert und durch belastbare Quellen gestützt sind. Knowledge Distillation kann beeinflussen, wie ein Suchsystem Anfragen verarbeitet oder Antworten erzeugt. Unternehmen können daraus jedoch nicht ableiten, dass ein kleineres Modell dieselben Quellen auswählt wie sein Teacher. Die Optimierung der KI-Sichtbarkeit muss deshalb anhand realer Antworten und Quellen geprüft werden.
Bei der Keyword-Recherche kann ein Student-Modell Suchbegriffe nach Absicht oder Themengebiet ordnen. Suchvolumen, Rankings und Wettbewerb entstehen dadurch nicht automatisch. Für eine belastbare Planung müssen Modellvorschläge mit echten Suchdaten verbunden werden, wie es der Ratgeber zur Keyword-Recherche für Google und KI-Suchen beschreibt.
Abgrenzung zu anderen Verfahren
Der Unterschied zwischen Knowledge Distillation und Fine-Tuning liegt in der Wissensquelle. Beim Fine-Tuning lernt ein vorhandenes Modell aus zusätzlichen Trainingsbeispielen. Bei Knowledge Distillation orientiert sich das Student-Modell gezielt an den Ausgaben oder internen Repräsentationen eines Teacher-Modells.
Quantisierung reduziert die numerische Genauigkeit der Modellgewichte, beispielsweise durch die Verwendung kleinerer Zahlenformate. Pruning entfernt Gewichte, Verbindungen oder Modellbestandteile mit geringem Einfluss. Knowledge Distillation trainiert dagegen ein Student-Modell auf das Verhalten eines Teacher-Modells. Die Verfahren lassen sich kombinieren, wenn jede Optimierungsstufe separat getestet wird.
Der Unterschied zwischen Knowledge Distillation und Modellkompression besteht darin, dass Modellkompression der Oberbegriff ist. Quantisierung, Pruning und Distillation sind mögliche Methoden der Modellkompression. Knowledge Distillation kann sogar zwischen Modellen ähnlicher Größe eingesetzt werden, wenn eine bessere Generalisierung oder Spezialisierung das Ziel ist.
Qualität des Student-Modells prüfen
Messbar ist Knowledge Distillation durch einen direkten Vergleich von Teacher und Student auf demselben Testdatensatz. Geeignete Kennzahlen hängen von der Aufgabe ab. Für Klassifikation kommen Accuracy, Precision, Recall und F1-Wert infrage. Für produktive Systeme sollten zusätzlich Antwortzeit, Speicherbedarf, Durchsatz und Kosten pro Anfrage erfasst werden.
Wenn du eigene SEO-, SEA- und GEO-Daten für KI-Auswertungen strukturieren möchtest, kannst du einen kostenlosen Zugang anlegen.
Häufige Fragen zu Knowledge Distillation
Braucht Knowledge Distillation gelabelte Trainingsdaten?
Knowledge Distillation kann mit gelabelten und ungelabelten Daten arbeiten. Echte Labels liefern ein zusätzliches Kontrollsignal, während ungelabelte Eingaben genutzt werden können, um die Ausgaben des Teacher-Modells nachzubilden.
Kann ein Student-Modell besser als sein Teacher sein?
Ein Student-Modell kann bei einzelnen Testaufgaben besser abschneiden, etwa durch Regularisierung oder eine günstigere Architektur. Eine generelle Überlegenheit lässt sich daraus nicht ableiten, weil das Student-Modell sein Lernsignal überwiegend vom Teacher erhält.
Funktioniert Knowledge Distillation auch bei Sprachmodellen?
Ja, Knowledge Distillation kann auf Sprachmodelle angewendet werden. Das Student-Modell kann Wahrscheinlichkeitsverteilungen, erzeugte Antworten, Begründungsschritte oder ausgewählte interne Repräsentationen des Teacher-Modells übernehmen.
Wie wählt man die richtige Temperatur?
Die Temperatur wird als Hyperparameter anhand eines Validierungsdatensatzes gewählt. Ein höherer Wert erzeugt weichere Wahrscheinlichkeitsverteilungen, kann bei zu starker Glättung aber relevante Unterschiede zwischen Klassen abschwächen.
Müssen Teacher und Student dieselbe Architektur haben?
Nein, Teacher und Student können unterschiedliche Architekturen besitzen. Entscheidend ist, dass die übertragenen Ausgaben oder Zwischenrepräsentationen technisch vergleichbar gemacht werden können.
Wann lohnt sich Knowledge Distillation?
Knowledge Distillation lohnt sich vor allem bei hohen Anfragezahlen, begrenztem Speicher, kurzen Latenzvorgaben oder lokaler Modellbereitstellung. Der Nutzen sollte anhand von Qualität, Laufzeit, Speicherbedarf und Betriebskosten gemessen werden.
Sie haben noch Fragen?
