Was ist ein Robots-Meta-Tag / X-Robots-Tag?
Kurzantwort
Ein Robots-Meta-Tag steuert im HTML-Kopf, ob Suchmaschinen eine Seite indexieren und ihren Links folgen dürfen. Ein X-Robots-Tag übermittelt dieselben Anweisungen im HTTP-Antwortkopf des Servers. Dadurch eignet er sich auch für Dateien ohne HTML, etwa PDFs oder Bilder. Beide Varianten unterstützen Anweisungen wie noindex, nofollow und Vorgaben für Suchvorschauen.
Das Robots-Meta-Tag und der X-Robots-Tag beeinflussen Crawling, Indexierung und die Darstellung eines Suchergebnisses. Besonders wichtig ist die Abgrenzung zur robots.txt: Sie regelt primär den Zugriff des Crawlers, während Robots-Anweisungen die Verarbeitung einer abgerufenen Ressource steuern. Genau diese Trennung verhindert den häufigsten technischen Denkfehler bei der Indexierungssteuerung.
1. Was ist ein Robots-Meta-Tag?
Das Robots-Meta-Tag, auch Meta-Robots-Tag genannt, ist eine Anweisung im <head>-Bereich einer HTML-Seite. Es richtet sich an Suchmaschinen-Crawler und legt fest, ob die Seite in den Suchindex aufgenommen werden darf, ob Links verfolgt werden sollen und welche Inhalte Google als Vorschau anzeigen kann.
Eine typische Anweisung sieht so aus:
<meta name="robots" content="noindex, follow">
Diese Kombination bedeutet: Die betreffende Seite soll nicht in den Suchergebnissen erscheinen, ihre Links dürfen jedoch weiterhin verfolgt werden. Ohne ausdrückliche Angaben behandeln Suchmaschinen eine normale, erreichbare HTML-Seite üblicherweise wie index, follow. Das explizite Setzen dieser Standardwerte ist deshalb meist überflüssig.
Typische Einsatzfälle für noindex, follow sind interne Suchergebnisse, gefilterte Übersichtsseiten, Dankeseiten oder Inhalte, die Nutzer benötigen, die aber keinen eigenen Wert als Suchergebnis haben. Eine Dankeseite nach dem Absenden eines Formulars ist ein konkretes Beispiel aus der technischen Crawler-Prüfung.
2. Was ist ein X-Robots-Tag?
Der X-Robots-Tag erfüllt denselben grundsätzlichen Zweck, wird aber nicht im HTML-Code hinterlegt. Der Webserver sendet ihn als HTTP-Antwortkopf zusammen mit der angeforderten Ressource. Ein möglicher Antwortkopf lautet:
X-Robots-Tag: noindex, follow
Der wesentliche Vorteil liegt im Dateiformat. Ein PDF-Dokument, eine Bilddatei oder eine andere Nicht-HTML-Ressource besitzt keinen HTML-Kopf, in den ein Meta-Tag eingefügt werden könnte. Mit einem X-Robots-Tag lässt sich trotzdem festlegen, dass beispielsweise ein PDF nicht als eigenständiges Suchergebnis erscheinen soll.
Die Konfiguration erfolgt je nach System im Webserver, in der Anwendung, über ein Plugin oder über Regeln des Content-Management-Systems. Vor der Umsetzung sollte deshalb geklärt werden, ob die Anweisung nur für eine Datei, ein Dateiformat oder einen vollständigen Verzeichnispfad gelten soll. Eine pauschale Serverregel für alle PDFs kann auch wichtige Whitepaper, Datenblätter oder Produktunterlagen aus dem Index entfernen.
3. Meta-Robots und X-Robots im Vergleich
| Merkmal | Robots-Meta-Tag | X-Robots-Tag |
|---|---|---|
| Übertragung | Im HTML-Kopf der Seite | Im HTTP-Antwortkopf des Servers |
| Geeignete Inhalte | HTML-Seiten | HTML und Dateien ohne HTML |
| Typische Beispiele | Kategorie, Suchseite, Dankeseite | PDF, Bild oder generierte Datei |
| Umsetzung | Template, CMS oder Quellcode | Server, Anwendung oder HTTP-Konfiguration |
| Kontrolle | HTML-Quellcode prüfen | HTTP-Antwortkopf prüfen |
Für eine normale Webseite ist das Robots-Meta-Tag meist leichter zu pflegen, weil die Anweisung direkt im Seitentemplate sichtbar ist. Der X-Robots-Tag ist sinnvoll, wenn kein HTML vorhanden ist oder wenn Regeln zentral auf Serverebene gesetzt werden sollen. Werden beide Varianten gleichzeitig verwendet, dürfen sie sich nicht widersprechen. Suchmaschinen können mehrere empfangene Anweisungen zusammenführen und dabei die restriktivere Vorgabe anwenden.
Bei größeren Websites reicht die Prüfung einzelner Quellcodes nicht aus. Ein technischer Crawl muss je URL erfassen, ob sie erreichbar, indexierbar, durch die robots.txt freigegeben und mit einem passenden Canonical-Tag versehen ist. Eine URL gilt nur dann als regulär indexierbar, wenn kein noindex greift, die robots.txt den Abruf zulässt und kein Canonical auf eine andere URL verweist.
4. Die wichtigsten Robots-Anweisungen
Robots-Anweisungen können einzeln oder kombiniert eingesetzt werden. Jede Direktive beantwortet eine andere Frage: Darf die Ressource in den Index, dürfen Links verfolgt werden und wie umfangreich darf das Suchergebnis dargestellt werden?
Robots-Merksatz
Noindex steuert die Aufnahme der Seite, nofollow steuert den Umgang mit ihren Links. Eine Seite mit noindex, follow kann aus dem Index entfernt werden, während der Crawler ihre internen Links weiterhin entdeckt. Eine Seite mit index, nofollow darf dagegen selbst erscheinen, ihre Links sollen aber nicht verfolgt werden.
5. Der häufigste Fehler mit robots.txt
Der technische Kipppunkt entsteht, wenn eine URL gleichzeitig per robots.txt gesperrt und mit noindex ausgezeichnet wird. Das wirkt auf den ersten Blick besonders sicher. Tatsächlich verhindert die robots.txt jedoch, dass der Crawler die Seite abruft. Dadurch kann er weder das Robots-Meta-Tag im HTML noch einen X-Robots-Tag auswerten.
Google kann eine gesperrte URL trotzdem über interne Links, externe Backlinks oder eine Sitemap kennenlernen. Die URL kann dann weiterhin im Index auftauchen, obwohl ihr Inhalt nicht gecrawlt wurde. Häufig erscheint sie ohne normalen Seitenausschnitt. Wer nur im Quellcode nach noindex schaut, übersieht den eigentlichen Widerspruch.
Eine robots.txt-Sperre und noindex sind für die Entfernung aus dem Index keine sinnvolle Kombination. Soll eine Seite zuverlässig aus den Suchergebnissen verschwinden, muss sie zunächst crawlbar bleiben. Erst dann kann die Suchmaschine das noindex lesen und verarbeiten. Diese Kombination aus Sperre und noindex ist der häufigste technische Denkfehler bei der Indexierungssteuerung.
Bei bereits indexierten URLs sollte die robots.txt-Freigabe so lange bestehen bleiben, bis die Suchmaschine das noindex erneut abgerufen und umgesetzt hat. Die robots.txt ist außerdem kein Schutz für vertrauliche Inhalte. Kundenbereiche, Rechnungen oder interne Unterlagen gehören hinter eine Authentifizierung, weil robots.txt-Regeln öffentlich einsehbar sind.
6. Crawling oder Indexierung steuern?
Vor jeder technischen Änderung musst du eine Frage beantworten: Soll der Crawler eine Ressource gar nicht besuchen oder soll er sie lesen, aber nicht als Suchergebnis aufnehmen? Aus dieser Entscheidung ergibt sich das richtige Instrument.
Bei Onlineshops betrifft diese Entscheidung häufig Filter- und Sortier-URLs. Eine pauschale Crawling-Sperre kann verhindern, dass Suchmaschinen relevante Produktlinks entdecken. Ein flächendeckendes noindex kann dagegen wertvolle Kategorieseiten aus den SERP entfernen. Die richtige Regel richtet sich deshalb nach URL-Typ, interner Verlinkung und Suchnachfrage, nicht allein nach der Anzahl der URLs.
Wenn du technische Signale und Indexierbarkeit selbst prüfen möchtest, kannst du mit einem Free Account einen ersten Überblick über deine Domain erhalten.
7. Robots-Tags richtig prüfen
Ein Quellcode-Check zeigt nur das Robots-Meta-Tag. Für eine vollständige Prüfung müssen zusätzlich die HTTP-Antwortköpfe, der Statuscode, die robots.txt, Canonical-Tags und gegebenenfalls Weiterleitungen betrachtet werden. Ein PDF mit korrektem X-Robots-Tag kann beispielsweise trotzdem über eine Weiterleitung anders behandelt werden als erwartet.
Eine belastbare Prüfung umfasst mindestens diese Schritte:
Der Technical Crawler der Performance Suite prüft Robots-Anweisungen je URL und stellt technische Widersprüche im Zusammenhang dar. Dazu gehören beispielsweise indexierbare Seiten außerhalb der Sitemap, versehentlich ausgeschlossene Seiten sowie Kombinationen aus Meta-Anweisung, robots.txt und Canonical. Die Technik-Prüfung bewertet über 100 technische Punkte und zeigt Veränderungen über mehrere Crawls.
Für einen kompakten Einstieg kannst du außerdem den kostenlosen SEO-Check für Technik und Metadaten nutzen. Er analysiert neben technischen Grundlagen auch Ladezeiten und weitere SEO-Signale für bis zu 20 Unterseiten pro Abfrage.
8. So gehen wir vor
Bei der Online Solutions Group GmbH prüfen wir zuerst, welche URL-Typen organisch gefunden werden sollen und welche nur eine technische Funktion erfüllen. Danach vergleichen wir Robots-Meta-Tags, X-Robots-Tags, Canonicals, Statuscodes, Sitemap und robots.txt je URL. Der Technical Crawler der Performance Suite übernimmt die wiederkehrende Kontrolle, während unsere Experten widersprüchliche Signale priorisieren und mit der IT abstimmen. Diese technische Prüfung ist Bestandteil unserer SEO- und GEO-Betreuung, bei der Maßnahmen und Ergebnisse für den Kunden live einsehbar bleiben.
9. Häufige Fragen zu Robots-Tags
Wo wird der Meta-Robots-Tag eingebaut?
Der Meta-Robots-Tag steht im Kopfbereich einer HTML-Seite. Er muss innerhalb des head-Elements eingebunden sein, damit Suchmaschinen ihn beim Abruf der Seite erkennen können.
Wann brauche ich einen X-Robots-Tag?
Ein X-Robots-Tag eignet sich besonders für PDFs, Bilder und andere Dateien ohne HTML-Kopf. Er wird vom Server im HTTP-Antwortkopf der angeforderten Ressource übermittelt.
Kann eine per robots.txt gesperrte Seite im Google-Index bleiben?
Ja. Google kann die URL über Links oder eine Sitemap kennen und indexieren, ohne ihren Inhalt zu crawlen. Weil die Seite gesperrt ist, kann Google ein dort hinterlegtes noindex nicht lesen.
Was ist der Unterschied zwischen noindex und nofollow?
Noindex verhindert die Aufnahme einer Seite in den Suchindex. Nofollow weist Suchmaschinen an, den Links auf dieser Seite nicht zu folgen beziehungsweise keine Linksignale über sie weiterzugeben.
Ist index, follow notwendig?
In der Regel nicht. Wenn keine einschränkende Robots-Anweisung vorhanden ist und die Seite crawlbar bleibt, behandeln Suchmaschinen sie üblicherweise wie index, follow.
Kann ich Meta-Robots und X-Robots gleichzeitig verwenden?
Ja, die Anweisungen müssen jedoch zueinander passen. Widersprüchliche Vorgaben erschweren die Kontrolle und können dazu führen, dass eine Suchmaschine die restriktivere Anweisung anwendet.
Wie lange dauert es, bis Google ein noindex umsetzt?
Google muss die betreffende URL erneut crawlen, bevor das noindex verarbeitet werden kann. Die Dauer hängt unter anderem von Crawl-Frequenz, interner Verlinkung und technischer Erreichbarkeit ab.
10. Die richtige Regel je URL
Robots-Anweisungen funktionieren zuverlässig, wenn jede URL eine eindeutige Aufgabe erhält. Soll sie ranken, bleibt sie indexierbar. Soll sie nur für Nutzer erreichbar sein, bleibt sie crawlbar und erhält noindex. Soll sie vertraulich bleiben, braucht sie eine Zugriffskontrolle. Bei größeren Websites sollte diese Logik regelmäßig automatisiert geprüft werden, weil eine einzige vererbte Template-Regel ganze Seitenbereiche aus dem Index nehmen kann. Weitere technische Begriffe kannst du im SEO-Lexikon von seoagentur.de nachschlagen.
Du möchtest wissen, ob deine Website widersprüchliche Robots-Anweisungen ausliefert? Im kostenlosen Potenzialcheck ordnen wir ein, welche technischen Signale zuerst geprüft werden sollten. Das Erstgespräch ist unverbindlich und ohne Verkaufsdruck.
Keine Kommentare vorhanden