Noindex

Was bedeutet Noindex für Suchmaschinen?

Noindex steuert die Indexierung einer URL und verhindert ihre Darstellung in den Suchergebnissen unterstützender Suchmaschinen. Ein Suchmaschinen-Crawler muss die URL zunächst aufrufen und die Anweisung auslesen können. Nach der Verarbeitung entfernt die Suchmaschine die Seite aus ihrem Index oder nimmt sie gar nicht erst auf.

Die Direktive ist kein Zugriffsschutz. Nutzer, Suchmaschinen-Crawler und andere automatisierte Systeme können eine mit Noindex gekennzeichnete URL weiterhin aufrufen, sofern keine Anmeldung, Zugriffsbeschränkung oder andere technische Sperre besteht. Vertrauliche Inhalte müssen deshalb durch eine Authentifizierung oder serverseitige Zugriffskontrolle geschützt werden.

Crawling und Indexierung bezeichnen unterschiedliche Prozesse. Beim Crawling ruft ein Bot eine URL ab und analysiert ihre Inhalte. Bei der Indexierung verarbeitet und speichert die Suchmaschine diese Informationen für mögliche Suchergebnisse. Die Anweisung betrifft primär den zweiten Prozess und setzt voraus, dass der Crawler sie erkennen kann.

Wie wird eine Seite von der Indexierung ausgeschlossen?

Für HTML-Seiten wird die Anweisung üblicherweise als Robots-Meta-Tag im Kopfbereich des Dokuments hinterlegt. Die allgemeine Variante richtet sich an alle Suchmaschinen-Crawler, die diese Direktive unterstützen:

Eine auf Google beschränkte Anweisung kann über <meta name="googlebot" content="noindex"> erfolgen. Eine solche Einschränkung ist nur sinnvoll, wenn andere unterstützende Suchmaschinen die Seite weiterhin indexieren dürfen. Für eine allgemeine Deindexierung sollte der Crawler-Name robots verwendet werden.

Wann wird der X-Robots-Tag eingesetzt?

Der X-Robots-Tag eignet sich für PDF-Dokumente, Bilder, Videos und andere Ressourcen, in denen kein Robots-Meta-Tag hinterlegt werden kann. Er wird als Bestandteil der HTTP-Antwort durch den Webserver, das Content-Management-System oder eine Anwendung ausgeliefert. Dadurch lassen sich auch bestimmte Dateitypen oder URL-Gruppen zentral steuern.

• HTML-Dokumente lassen sich über das Robots-Meta-Tag oder den X-Robots-Tag steuern.
• PDF-Dateien benötigen für diese Anweisung in der Regel einen X-Robots-Tag im HTTP-Header.
• Bilder und andere Mediendateien können ebenfalls über ihren eigenen HTTP-Header ausgeschlossen werden.
• CMS-Systeme bieten häufig eine Einstellung wie „Von Suchmaschinen ausschließen“, die im Hintergrund das entsprechende Meta-Tag erzeugt.

Noindex, Nofollow und Robots.txt im Vergleich

Der Unterschied zwischen Noindex und Nofollow liegt im gesteuerten Vorgang. Noindex betrifft die Aufnahme einer Ressource in den Suchindex. Nofollow weist einen Crawler darauf hin, den Links auf der betreffenden Seite nicht zu folgen beziehungsweise sie nicht regulär für die Entdeckung und Bewertung verlinkter URLs zu verwenden.

Die Kombination noindex, follow bedeutet, dass die Seite nicht in den Suchergebnissen erscheinen soll, ihre Links aber grundsätzlich verarbeitet werden dürfen. Da Suchmaschinen eine dauerhaft ausgeschlossene Seite mit der Zeit seltener crawlen können, sollte sie nicht als zentraler Verteiler für wichtige interne Links eingeplant werden.

Die Kombination noindex, nofollow schließt die Seite aus dem Index aus und enthält zusätzlich eine Nofollow-Anweisung für ihre Links. Der Wert none entspricht bei Google der Kombination aus Noindex und Nofollow. Ohne einschränkende Angabe gelten grundsätzlich die Standardwerte index, follow.

Warum reicht ein Disallow in der Robots.txt nicht aus?

Eine Disallow-Regel in der Robots.txt steuert den Abruf einer URL, verhindert aber nicht zuverlässig ihre Indexierung. Ist eine gesperrte URL über interne oder externe Links bekannt, kann sie unter Umständen ohne ausgelesenen Seiteninhalt in den Suchergebnissen erscheinen. Die Robots.txt ist daher kein Ersatz für eine Indexierungsanweisung.

Noindex und eine Crawling-Sperre sollten für dieselbe Webseite nicht gleichzeitig eingesetzt werden. Wenn die Robots.txt den Zugriff blockiert, kann der Crawler das Meta-Tag oder den HTTP-Header nicht erkennen. Die URL muss abrufbar bleiben, bis die Suchmaschine die Anweisung verarbeitet und die Seite aus dem Index entfernt hat.

Für welche Seiten ist Noindex sinnvoll?

Die Direktive eignet sich für erreichbare Seiten, die Nutzern oder internen Prozessen dienen, aber keinen eigenständigen Mehrwert für organische Suchergebnisse bieten. Vor der Verwendung sollte geprüft werden, ob die URL dauerhaft erreichbar bleiben muss oder stattdessen gelöscht, weitergeleitet oder inhaltlich verbessert werden sollte.

• Interne Suchergebnisse und technisch erzeugte Ergebnislisten können vom Index ausgeschlossen werden.
• Login-, Warenkorb-, Konto- und Bestätigungsseiten benötigen üblicherweise keine organischen Rankings.
• Druckversionen oder bestimmte Parameter-URLs können ausgeschlossen werden, wenn keine Indexierung erwünscht ist.
• Zeitlich begrenzte Testseiten lassen sich bis zur Veröffentlichung aus den Suchergebnissen heraushalten.
• Bestimmte Landingpages für SEA-Kampagnen können ausgeschlossen werden, wenn sie ausschließlich für bezahlten Traffic vorgesehen sind.

Bei dünnen, veralteten oder qualitativ schwachen Inhalten ist Noindex nicht automatisch die richtige Lösung. Besitzt eine URL relevante Backlinks, Rankings oder Nutzersignale, kommen eine Überarbeitung, Zusammenführung oder 301-Weiterleitung häufig eher infrage. Ein technischer und inhaltlicher SEO-Audit schafft die Datenbasis für diese Entscheidung.

Was ist der Unterschied zum Canonical-Tag?

Ein Canonical-Tag kennzeichnet die bevorzugte URL innerhalb einer Gruppe gleicher oder sehr ähnlicher Inhalte. Die alternative URL darf grundsätzlich indexiert werden, während die Suchmaschine die Signale möglichst der kanonischen Version zuordnet. Noindex fordert dagegen den vollständigen Ausschluss der markierten URL aus den Suchergebnissen.

Für interne Duplikate sollte in der Regel ein Canonical-Tag verwendet werden, wenn die URL erreichbar bleiben und ihre Signale einer Hauptversion zugeordnet werden sollen. Google empfiehlt Noindex nicht als Methode zur Auswahl einer kanonischen Seite, weil die Anweisung die betreffende URL vollständig aus der Suche ausschließt.

Welche Bedeutung hat die Direktive für SEO, SEA und GEO?

Im SEO reduziert eine korrekte Indexierungssteuerung die Zahl irrelevanter URLs in den Suchergebnissen und verhindert, dass technische Seiten mit wichtigen Landingpages konkurrieren. Ein versehentlicher Ausschluss umsatzrelevanter Kategorien, Produkte oder Ratgeber kann dagegen Rankings und organischen Traffic vollständig beseitigen.

Im SEA kann eine ausgeschlossene Landingpage weiterhin über eine Anzeige aufgerufen werden. Die Anweisung allein verhindert weder den Zugriff durch Nutzer noch automatisch die Prüfung durch spezielle Werbe-Crawler. Für Landingpages, die zusätzlich organisches Suchpotenzial besitzen, sollte jedoch geprüft werden, ob der Ausschluss langfristig sinnvoll ist.

Für GEO, die Generative Engine Optimization, begrenzt eine ausgeschlossene URL ihre Auffindbarkeit über suchmaschinenbasierte KI-Funktionen. Unabhängige KI-Crawler und Sprachmodelle können eigene Zugriffsregeln verwenden. Die Direktive ist daher keine allgemeine Sperre gegen die Verarbeitung durch sämtliche KI-Systeme und schützt keine vertraulichen Informationen.

Wie lässt sich die Umsetzung kontrollieren?

Die Kontrolle beginnt mit dem Quellcode und den HTTP-Headern der betroffenen URL. Anschließend sollte geprüft werden, ob die URL durch die Robots.txt abrufbar ist, welchen HTTP-Statuscode sie liefert und ob widersprüchliche Angaben durch Plugins, Templates oder Serverkonfigurationen entstehen.

• Prüfe das Robots-Meta-Tag im ausgelieferten HTML-Code, nicht nur in der CMS-Eingabemaske.
• Kontrolliere den HTTP-Header auf zusätzliche oder abweichende X-Robots-Tag-Angaben.
• Nutze die URL-Prüfung der Google Search Console, um die von Google abgerufene Version zu untersuchen.
• Entferne ausgeschlossene URLs aus der XML-Sitemap, wenn sie dauerhaft nicht indexiert werden sollen.
• Überwache wichtige Seitentypen regelmäßig mit einem Crawler und automatisierten technischen Prüfungen.

Ein häufiger Fehler entsteht bei Website-Relaunches, wenn Anweisungen aus einer Entwicklungsumgebung in die Live-Website übernommen werden. Deshalb gehört die Prüfung indexierbarer Seitentypen in jede SEO-Checkliste für einen Website-Relaunch. Auch ein regelmäßiger SEO-Check für technische Seitensignale kann auffällige Konfigurationen sichtbar machen.

Indexierungssteuerung fachlich prüfen lassen

Wenn wichtige URLs unerwartet aus den Suchergebnissen verschwinden oder zu viele technische Seiten indexiert werden, sollte die gesamte Steuerung aus Robots.txt, Meta-Tags, HTTP-Headern, Canonicals und Sitemaps gemeinsam geprüft werden. Eine isolierte Änderung kann sonst neue Widersprüche erzeugen.

Häufige Fragen zur Noindex-Anweisung

Die folgenden Antworten behandeln typische Detailfragen, die bei der technischen Umsetzung, bei Änderungen am Seitenbestand und bei der Kontrolle in Suchmaschinen auftreten.