X-Robots-Tag

Was ist der X-Robots-Tag?

Der X-Robots-Tag ist ein HTTP-Antwort-Header, mit dem ein Server Suchmaschinen Vorgaben zur Indexierung und Darstellung einer URL übermittelt. Er kann unter anderem noindex, nofollow oder Snippet-Beschränkungen enthalten. Anders als das Robots-Meta-Tag funktioniert der X-Robots-Tag auch bei PDF-Dateien, Bildern und anderen Nicht-HTML-Dokumenten.

So funktioniert der X-Robots-Tag

Der X-Robots-Tag, auch Robots-Header genannt, wird zusammen mit der HTTP-Antwort einer URL ausgeliefert. Ein Crawler ruft eine Ressource ab, liest den Header und verarbeitet die enthaltenen Anweisungen. Der Header erscheint deshalb nicht im sichtbaren HTML-Quelltext, sondern in den Server-Headern der Antwort.

Eine PDF-Datei, die nicht in Suchergebnissen erscheinen soll, kann beispielsweise mit folgendem Header ausgeliefert werden:

X-Robots-Tag: noindex

Die Anweisung noindex fordert unterstützende Suchmaschinen auf, die betreffende Ressource nicht in ihrem Suchindex zu führen. Bereits indexierte Dokumente verschwinden erst, nachdem der Crawler die URL erneut abgerufen und den Header verarbeitet hat. Der X-Robots-Tag verhindert daher nicht den Abruf einer Datei, sondern steuert deren weitere Verarbeitung.

Welche Direktiven sind möglich?

Der X-Robots-Tag kann viele Direktiven enthalten, die auch beim Robots-Meta-Tag verwendet werden. Mehrere Angaben lassen sich durch Kommas trennen oder in mehreren gleichnamigen HTTP-Headern ausliefern. Unterstützte Suchmaschinen kombinieren die erkannten Vorgaben.

noindex: Die URL soll nicht in den Suchergebnissen erscheinen.
nofollow: Links innerhalb des Dokuments sollen nicht zur Entdeckung und Bewertung anderer URLs verwendet werden.
none: Diese Angabe entspricht der Kombination aus noindex, nofollow.
nosnippet: Für die URL soll kein Textausschnitt in den Suchergebnissen angezeigt werden.
max-snippet: Die Direktive begrenzt die Länge eines Textausschnitts, beispielsweise mit max-snippet:50.
max-image-preview: Die Angabe steuert die zulässige Größe einer Bildvorschau mit den Werten none, standard oder large.
noimageindex: Bilder der betreffenden Seite sollen nicht indexiert werden.
unavailable_after: Die Ressource soll nach einem angegebenen Datum nicht mehr in den Suchergebnissen erscheinen.

Ein X-Robots-Tag kann gezielt für einen bestimmten Crawler gelten. Der Header X-Robots-Tag: googlebot: noindex richtet die Anweisung ausschließlich an Googlebot. Ohne vorangestellten Crawler-Namen gilt die Direktive für alle Suchmaschinen, die den Header unterstützen.

X-Robots-Tag richtig einsetzen

Der größte Vorteil des X-Robots-Tags liegt in der Steuerung von Ressourcen, die keinen HTML-Kopf mit einem Meta-Tag besitzen. Dazu zählen PDF-Dokumente, Bilddateien, Textdateien, XML-Dateien und automatisch erzeugte Downloads. Der Server kann den Header für einzelne URLs, bestimmte Dateiendungen oder vollständige Verzeichnisse setzen.

Ein typischer Anwendungsfall sind interne PDF-Dokumente, die öffentlich abrufbar bleiben müssen, aber nicht als eigenständige Treffer in der Suche erscheinen sollen. Auch zeitlich begrenzte Aktionsunterlagen oder exportierte Produktlisten lassen sich über den X-Robots-Tag von der Indexierung ausschließen, ohne die Dateien zu löschen.

Bei HTML-Seiten ist der Header ebenfalls zulässig. Für einzelne redaktionelle Seiten lässt sich ein Robots-Meta-Tag jedoch oft leichter im Content-Management-System pflegen. Ein serverseitiger X-Robots-Tag eignet sich besonders dann, wenn eine Regel automatisch für viele Ressourcen oder Dateitypen gelten soll.

Abgrenzung zu robots.txt und Meta-Tag

Der Unterschied zwischen X-Robots-Tag, Robots-Meta-Tag und robots.txt liegt im Zeitpunkt und Ort der Steuerung. Der X-Robots-Tag und das Robots-Meta-Tag übermitteln Indexierungsanweisungen nach dem Abruf. Die robots.txt regelt dagegen, welche Bereiche ein regelkonformer Crawler abrufen darf.

Methode	Speicherort	Typischer Zweck	Für Nicht-HTML-Dateien
X-Robots-Tag	HTTP-Antwort-Header	Indexierung und Darstellung steuern	Ja
Robots-Meta-Tag	HTML-Kopf der Seite	Indexierung und Darstellung steuern	Nein
robots.txt	Stammverzeichnis der Domain	Crawling von Pfaden steuern	Ja

Eine häufige Fehlannahme lautet, dass eine Sperre in der robots.txt eine URL zuverlässig aus dem Index entfernt. Das ist nicht gewährleistet. Wenn der Abruf blockiert ist, kann Google den X-Robots-Tag oder ein Robots-Meta-Tag nicht lesen. Eine bereits bekannte URL kann dadurch weiterhin ohne Inhaltsauszug in den Suchergebnissen erscheinen. Soll noindex verarbeitet werden, muss die Ressource für den jeweiligen Crawler abrufbar sein.

Kombiniere eine Crawling-Sperre in der robots.txt nicht mit einem X-Robots-Tag noindex, wenn die URL aus dem Suchindex entfernt werden soll. Der Crawler muss die Server-Antwort abrufen dürfen, damit er den X-Robots-Tag erkennt. Prüfe außerdem, ob CDN, Webserver und Anwendung widersprüchliche Header ausliefern.

X-Robots-Tag technisch prüfen

Messbar ist der X-Robots-Tag direkt in der HTTP-Antwort. Mit dem Konsolenbefehl curl -I https://www.example.com/datei.pdf kannst du ausschließlich die Header einer URL abrufen. Im Browser findest du dieselben Angaben in den Entwicklertools unter Netzwerk beziehungsweise Network, nachdem die betreffende Ressource geladen wurde.

Eine einzelne Prüfung reicht bei größeren Websites nicht aus. Regeln auf Webservern, CDNs oder in Plugins können nur bestimmte Verzeichnisse, Dateitypen oder Statuscodes betreffen. Ein Technik-Crawler für automatisierte technische Checks kann URLs regelmäßig erfassen und unerwartete Indexierungsanweisungen sichtbar machen. Ergänzend hilft ein technisches SEO-Audit, Header, robots.txt, Canonical Tags und Sitemaps gemeinsam zu bewerten.

Typische Fehler bei der Konfiguration

Ein unbeabsichtigtes noindex zählt zu den kritischsten Fehlern beim X-Robots-Tag, weil die Anweisung außerhalb des HTML-Codes leicht übersehen wird. Besonders nach einem Relaunch kann eine Regel aus der Entwicklungsumgebung auf dem Live-System aktiv bleiben. Die betroffenen URLs sind erreichbar und liefern den Statuscode 200, werden aber nach dem nächsten Crawling aus dem Index entfernt.

Der Header gilt durch eine zu breite Serverregel für alle PDF- oder HTML-Dateien.
Ein CDN ergänzt eine Direktive, die im ursprünglichen Server-Header nicht vorhanden ist.
Das Robots-Meta-Tag erlaubt die Indexierung, während der HTTP-Header noindex ausliefert.
Die robots.txt verhindert, dass Suchmaschinen den X-Robots-Tag abrufen können.
Eine crawlerbezogene Anweisung enthält einen falschen oder ungeeigneten Bot-Namen.

Widersprüchliche Angaben solltest du nicht als flexible Steuerung verwenden. Wenn eine URL sowohl index als auch noindex ausliefert, setzt sich bei Google die restriktivere Anweisung durch. Prüfe deshalb immer die vollständige HTTP-Antwort und nicht nur die Einstellungen im Content-Management-System. Eine strukturierte Analyse technischer SEO-Fehler sollte auch Header-Regeln außerhalb des HTML-Codes berücksichtigen.

Bedeutung für SEO und GEO

Der X-Robots-Tag beeinflusst unmittelbar, welche Dokumente als organische Suchtreffer verfügbar sind. Eine korrekte Konfiguration hält interne oder ungeeignete Ressourcen aus dem Index und schützt gleichzeitig relevante Landingpages vor einem versehentlichen Ausschluss. Für SEA hat der Header keine direkte Steuerungsfunktion, eine per noindex ausgeschlossene Zielseite kann grundsätzlich weiterhin als Anzeigenziel erreichbar sein.

Für GEO, also Generative Engine Optimization, zählt vor allem die Zugänglichkeit verwertbarer Inhalte. Ein Dokument, das Suchmaschinen und anderen unterstützenden Crawlern per X-Robots-Tag entzogen wird, steht möglicherweise nicht als auffindbare Quelle zur Verfügung. Technische Indexierungsregeln sollten deshalb zur Content-Strategie passen: Öffentliche Fachinformationen benötigen andere Vorgaben als interne Downloads, Filterseiten oder temporäre Dokumente.

Wenn du Header-Regeln, Crawling und Indexierung systematisch prüfen lassen möchtest, bietet ein technischer Potenzialcheck einen klaren Ausgangspunkt.

Kostenloser Potenzialcheck

Häufige Fragen zum X-Robots-Tag

Was ist ein X-Robots-Tag einfach erklärt?

Der X-Robots-Tag ist eine Anweisung im HTTP-Header einer URL. Er teilt Suchmaschinen beispielsweise mit, dass eine Datei nicht indexiert oder ohne Snippet angezeigt werden soll.

Wo finde ich den X-Robots-Tag?

Der X-Robots-Tag steht in der HTTP-Antwort des Servers und nicht im sichtbaren Quelltext. Du kannst ihn mit den Browser-Entwicklertools oder einem Befehl wie curl -I prüfen.

Kann der X-Robots-Tag PDF-Dateien ausschließen?

Ja. Der X-Robots-Tag eignet sich besonders für PDF-Dateien und andere Ressourcen ohne HTML-Kopf. Mit der Direktive noindex kann eine abrufbare PDF-Datei aus dem Suchindex ausgeschlossen werden.

Was ist der Unterschied zum Robots-Meta-Tag?

Das Robots-Meta-Tag steht im HTML-Kopf einer Webseite. Der X-Robots-Tag wird als HTTP-Header gesendet und funktioniert deshalb auch bei Bildern, PDFs und anderen Nicht-HTML-Dateien.

Kann ich noindex in der robots.txt eintragen?

Nein. Die robots.txt steuert den Abruf von URLs und ist nicht der richtige Ort für eine noindex-Anweisung. Nutze dafür ein Robots-Meta-Tag oder den X-Robots-Tag.

Wie schnell entfernt noindex eine URL aus Google?

Die Entfernung erfolgt erst, nachdem Google die URL erneut gecrawlt und die noindex-Anweisung verarbeitet hat. Der Zeitpunkt hängt unter anderem davon ab, wie häufig Google die betreffende Ressource abruft.