Ist die robots.txt wichtig?
Kurzantwort
Ja, die robots.txt ist wichtig, weil sie seriösen Suchmaschinen mitteilt, welche Bereiche sie crawlen dürfen. Zwingend erforderlich ist sie nicht. Sie verhindert auch keine Indexierung zuverlässig. Richtig eingesetzt steuert sie das Crawling und verweist auf die Sitemap. Falsch konfiguriert kann sie zentrale Seiten oder sogar die gesamte Website für Crawler sperren.
Die robots.txt gehört zu den kleinsten, aber folgenreichsten Dateien einer Website. Sie betrifft vor allem SEO-Manager, Entwickler und Verantwortliche für Relaunches. Wichtig sind drei Fragen: Was darf ein Crawler abrufen, welche Seiten sollen im Index erscheinen und welche Inhalte müssen tatsächlich geschützt werden?
1. Warum die Datei 2026 relevant bleibt
Die robots.txt liegt normalerweise im Stammverzeichnis einer Domain, zum Beispiel unter https://www.beispiel.de/robots.txt. Mit Regeln wie User-agent und Disallow teilt sie automatisierten Bots mit, welche Verzeichnisse oder URLs sie nicht abrufen sollen. Die Anweisungen gelten für Crawler, nicht für menschliche Besucher.
Für kleine Websites ist die Steuerung des Crawlings oft weniger kritisch als für Onlineshops, Portale oder internationale Domains mit vielen Filter-, Such- und Parameter-URLs. Dort können Bots theoretisch unzählige URL-Varianten abrufen. Eine sauber konfigurierte robots.txt lenkt die verfügbaren Crawling-Ressourcen auf Produktseiten, Kategorien, Ratgeber und andere relevante Inhalte.
Eine typische Minimaldatei enthält nur wenige Zeilen:
User-agent: *Disallow:Sitemap: https://www.beispiel.de/sitemap.xml
Ein leeres Disallow erlaubt das Crawling der gesamten Website. Der Sitemap-Verweis hilft Suchmaschinen dabei, die vorgesehenen URLs schneller zu finden. Sitemap und robots.txt sollten konsistent sein, weil widersprüchliche Anweisungen das Crawling und die Indexierung erschweren können.
2. Recht und technische Konvention
2.1 Ist die robots.txt legal?
Ja, eine robots.txt ist legal. Sie ist eine öffentlich abrufbare Textdatei, mit der ein Websitebetreiber automatisierten Zugriff steuert. Die Datei enthält keine Schadsoftware und führt keinen Programmcode aus. Sie speichert lediglich Anweisungen, die Bots auslesen und freiwillig beachten können.
2.2 Ist die robots.txt rechtlich bindend?
Die robots.txt ist grundsätzlich eine technische Konvention und kein Gesetz. Seriöse Suchmaschinen und viele andere Crawler respektieren ihre Regeln. Technisch hindert die Datei einen Bot jedoch nicht daran, eine gesperrte URL trotzdem aufzurufen. Sie ist daher weder Zugangsschutz noch verlässliche Sicherheitsbarriere.
Die rechtliche Bewertung eines Zugriffs hängt vom konkreten Kontext ab. Nutzungsbedingungen, Umfang und Zweck des Crawlings sowie weitere Umstände können relevant sein. Wer automatisiert größere Datenmengen fremder Websites abruft, sollte die robots.txt und die Nutzungsbedingungen prüfen. Bei einem konkreten Streitfall oder einem geplanten Scraping-Projekt gehört die Beurteilung in eine qualifizierte Rechtsberatung.
2.3 Ist das Ignorieren illegal?
Das bloße Ignorieren einer robots.txt ist nicht automatisch rechtswidrig. Es kann jedoch zusammen mit weiteren Umständen rechtliche Bedeutung bekommen, etwa wenn Nutzungsbedingungen missachtet oder technische Zugangsbeschränkungen umgangen werden. Für Websitebetreiber folgt daraus eine klare Priorität: Vertrauliche Inhalte müssen durch Anmeldung, Berechtigungen oder serverseitige Zugriffskontrollen geschützt werden.
Die robots.txt schützt keine Geheimnisse
Jeder kann die robots.txt im Browser öffnen. Verzeichnisnamen in dieser Datei sind öffentlich sichtbar. Zugangsdaten, Kundendokumente, interne Dateien und Entwicklungsumgebungen gehören deshalb hinter eine wirksame Authentifizierung. Ein Disallow ist für solche Inhalte kein ausreichender Schutz.
3. Crawling ist nicht Indexierung
Die robots.txt ist weiterhin gültig und relevant. Veraltet ist nur die Vorstellung, man könne mit ihr eine URL zuverlässig aus dem Google-Index fernhalten. Eine Crawling-Sperre bedeutet zunächst nur, dass der Bot den Inhalt nicht abrufen soll. Kennt Google die URL aus internen oder externen Links, kann sie trotzdem als URL ohne ausgelesenen Seiteninhalt im Index erscheinen.
Dieser Unterschied führt regelmäßig zu einer falschen Konfiguration: Eine Seite wird per robots.txt blockiert und gleichzeitig mit einem noindex-Tag versehen. Der Crawler darf die Seite dann nicht abrufen und kann das noindex-Tag möglicherweise gar nicht sehen. Soll eine öffentlich erreichbare Seite aus dem Index verschwinden, muss der Suchmaschinenbot die Anweisung zunächst lesen können.
| Ziel | Geeignete Maßnahme | Wichtiger Hinweis |
|---|---|---|
| Crawling begrenzen | robots.txt | Die URL kann unter Umständen trotzdem indexiert werden. |
| Seite aus dem Index halten | noindex im Robots-Meta-Tag oder X-Robots-Tag | Der Crawler muss die Anweisung abrufen können. |
| Vertrauliche Inhalte schützen | Authentifizierung oder serverseitige Zugriffskontrolle | robots.txt und noindex sind kein Zugriffsschutz. |
| Bevorzugte URL bestimmen | Canonical-Tag | Das Canonical-Tag ist keine garantierte Indexierungsvorgabe. |
Für die technische Bewertung einer URL reichen einzelne Signale deshalb nicht aus. Indexierbarkeit ergibt sich aus dem Zusammenspiel von Robots-Meta-Tag, robots.txt, Canonical-Tag, HTTP-Status und Erreichbarkeit. Die technische Checkliste der Performance Suite berücksichtigt diese Kombination bei der Prüfung indexierbarer Seiten.
4. Benötigt jede Website eine robots.txt?
Nein, eine Website funktioniert auch ohne robots.txt. Ist die Datei nicht vorhanden, dürfen seriöse Crawler grundsätzlich alle öffentlich erreichbaren URLs abrufen. Für eine kleine Website mit wenigen Seiten und ohne besondere technische Bereiche kann das akzeptabel sein.
Sinnvoll ist die Datei trotzdem in fast jedem professionellen Projekt. Bereits der Verweis auf die XML-Sitemap schafft einen klaren Nutzen. Bei Shops, größeren Content-Systemen und Websites mit URL-Parametern kommen gezielte Ausnahmen hinzu. CMS und Plugins können allerdings automatisch Regeln ergänzen. Deshalb sollte nicht nur die sichtbare Konfiguration im Backend, sondern auch die tatsächlich ausgelieferte Datei geprüft werden. Die Technik-Crawler-Checkliste empfiehlt ausdrücklich, automatisch erzeugte CMS-Einträge und ungewollte Disallow-Anweisungen regelmäßig zu kontrollieren.
Die Entscheidung lautet deshalb selten Datei oder keine Datei. Entscheidend ist, ob jede eingetragene Sperre einen nachvollziehbaren Zweck erfüllt. Eine kurze, kontrollierte Datei ist meist besser als ein über Jahre gewachsener Regelblock, dessen Auswirkungen niemand mehr überblickt.
5. Der gefährliche Moment ist der Livegang
Der teuerste robots.txt-Fehler entsteht oft nicht während einer laufenden Optimierung, sondern beim Wechsel von der Entwicklungsumgebung auf die Live-Domain. Auf Testsystemen ist User-agent: * mit Disallow: / durchaus üblich. Wandert diese Sperre beim Deployment mit, darf kein regelkonformer Suchmaschinenbot die Website crawlen.
Das Fehlerbild ist besonders tückisch: Die Website ist für Besucher erreichbar, Bestellungen und Formulare funktionieren, und im Browser sieht alles korrekt aus. Erst sinkende Crawling-Aktivität oder fehlende Aktualisierungen im Suchindex machen das Problem sichtbar. Deshalb gehört die robots.txt zu den ersten Dateien, die nach jedem Livegang direkt auf der öffentlichen Domain geprüft werden.
Ein manueller Test dauert weniger als eine Minute: Öffne /robots.txt, prüfe die Regeln für User-agent: * und suche nach Disallow: /. Danach sollten zentrale Seitentypen gecrawlt werden. Dazu gehören die Startseite, Kategorien, Produkte oder Leistungen, wichtige Ratgeber und die in der Sitemap enthaltenen URLs.
Bei einem SEO-abgesicherten Livegang muss die robots.txt gemeinsam mit Weiterleitungen, Canonicals, Statuscodes, Meta-Robots-Angaben und Sitemap geprüft werden. Eine isolierte Kontrolle übersieht Widersprüche, etwa eine in der Sitemap aufgeführte URL, die gleichzeitig für Crawler gesperrt ist.
Livegang-Regel
Prüfe die öffentlich erreichbare robots.txt nach jedem Deployment und Relaunch erneut. Verlasse dich nicht auf die Datei aus dem Repository oder auf eine CMS-Einstellung. Maßgeblich ist nur die Version, die ein Suchmaschinenbot auf der Live-Domain tatsächlich erhält.
6. Sperren systematisch kontrollieren
Bei größeren Websites reicht ein Blick in die Textdatei nicht immer aus. Regeln können sich je User-Agent unterscheiden, Platzhalter enthalten oder unbeabsichtigt ganze URL-Gruppen treffen. Zusätzlich können mehrere Subdomains eigene robots.txt-Dateien besitzen. Für jede Kombination müsste sonst manuell geprüft werden, welche URL ein Bot abrufen darf.
Der Technik-Crawler der Performance Suite zeigt beim Crawl, welche Bereiche durch die robots.txt gesperrt sind. Er prüft technische SEO-Faktoren gemeinsam, statt nur die Datei isoliert auszulesen. So lässt sich erkennen, ob wichtige Seiten blockiert sind, welche URLs indexierbar bleiben und ob Sitemap, Canonical und Robots-Anweisungen zueinander passen.
Die wichtigste Priorisierung lautet: Prüfe zuerst die Seiten, über die Anfragen, Verkäufe oder organischer Traffic entstehen sollen. Eine gesperrte interne Suchseite ist oft beabsichtigt. Eine gesperrte Kategorie mit relevanten Produkten betrifft dagegen direkt die SEO-Sichtbarkeit und sollte zuerst korrigiert werden.
Wenn du den technischen Ist-Stand deiner Domain prüfen möchtest, kannst du zunächst einen kostenlosen Account anlegen:
7. Ist die robots.txt ein Virus?
Nein, die robots.txt ist kein Virus. Sie ist eine harmlose Textdatei und führt selbst keinen Code aus. Der Dateiname enthält das Wort robots, weil sich ihre Regeln an automatisierte Programme richten. Das hat nichts mit Schadsoftware, Computerviren oder einem auf der Website installierten Roboter zu tun.
Eine ungewöhnliche robots.txt kann allerdings ein Hinweis auf eine fehlerhafte oder unerwünschte Änderung sein. Wenn plötzlich fremde Sitemap-Adressen, neue Sperren oder unbekannte Regeln auftauchen, sollte geprüft werden, wer die Datei verändert hat. Das Sicherheitsrisiko wäre dann die unautorisierte Änderung der Website, nicht das Dateiformat selbst.
8. So prüfst du die Datei
Eine belastbare Kontrolle beginnt mit der öffentlich ausgelieferten Datei und endet bei konkreten URLs. Öffne die robots.txt, ordne jede Regel einem Zweck zu und teste anschließend repräsentative Seiten aus allen wichtigen Seitentypen. Nach Änderungen sollte ein neuer Crawl zeigen, ob die erwarteten Bereiche erreichbar sind.
Für eine erste technische Einordnung kannst du zusätzlich den kostenlosen SEO-Check nutzen. Er prüft bis zu 20 Unterseiten pro Abfrage und bezieht neben technischen Punkten auch Ladezeiten, Metadaten und Backlinks ein.
9. So gehen wir vor
Bei der Online Solutions Group GmbH (OSG) prüfen wir die robots.txt nicht als Einzeldatei, sondern im Zusammenhang mit Sitemap, Indexierbarkeit, Canonicals, Statuscodes und relevanten Seitentypen. Der Crawl der Performance Suite macht gesperrte Bereiche unmittelbar sichtbar. Bei Relaunches kontrollieren wir die Live-Version direkt nach der Veröffentlichung und gleichen sie mit den vorgesehenen SEO-Landingpages ab. Wenn du bei der Bewertung Unterstützung brauchst, findest du unsere Vorgehensweise auch im Beitrag zum automatisierten Technik-Crawling.
10. Häufige Fragen zur robots.txt
Kann eine Website ohne robots.txt funktionieren?
Ja. Fehlt die Datei, dürfen seriöse Crawler grundsätzlich alle öffentlich erreichbaren Seiten abrufen. Eine robots.txt ist dennoch sinnvoll, um auf die Sitemap zu verweisen und gezielte Crawling-Regeln festzulegen.
Kann ich mit robots.txt Seiten aus Google entfernen?
Nicht zuverlässig. Die Datei blockiert in erster Linie das Crawling. Soll eine öffentlich erreichbare Seite aus dem Index verschwinden, ist meist eine abrufbare noindex-Anweisung erforderlich.
Ist das Ignorieren einer robots.txt verboten?
Das Ignorieren ist nicht automatisch rechtswidrig. Je nach Zweck, Umfang, Nutzungsbedingungen und weiteren Umständen kann der Zugriff jedoch rechtlich relevant werden. Konkrete Fälle sollten juristisch geprüft werden.
Ist robots.txt ein Virus?
Nein. Die robots.txt ist eine einfache Textdatei ohne ausführbaren Programmcode. Sie enthält lediglich Hinweise für automatisierte Crawler.
Wo muss die robots.txt liegen?
Die Datei muss im Stammverzeichnis des jeweiligen Hosts liegen, zum Beispiel unter beispiel.de/robots.txt. Eine Datei in einem Unterverzeichnis steuert nicht das Crawling der gesamten Domain.
Soll die Sitemap in der robots.txt stehen?
Ja, der Verweis ist sinnvoll. Mit einer Sitemap-Zeile teilst du Suchmaschinen die Adresse der XML-Sitemap direkt mit. Sitemap und Crawling-Regeln sollten dabei widerspruchsfrei sein.
Wann sollte ich die robots.txt prüfen?
Prüfe sie nach jedem Livegang, Relaunch, Domainwechsel und größeren CMS-Update. Eine zusätzliche regelmäßige Kontrolle hilft, automatisch ergänzte oder versehentlich übernommene Sperren früh zu erkennen.
Behandle die robots.txt wie eine technische Freigabeliste mit großer Reichweite: Halte sie kurz, ordne jeder Sperre einen klaren Zweck zu und kontrolliere nach jedem Livegang die tatsächlich ausgelieferte Version. Bei wichtigen Domains sollte ein regelmäßiger Crawl bestätigen, dass alle umsatz- und trafficrelevanten Seiten erreichbar bleiben.
Wenn du wissen möchtest, welche technischen Sperren deine SEO-Sichtbarkeit beeinflussen, prüfen wir deine Domain im kostenlosen Erstgespräch. Die Einschätzung ist unverbindlich und ohne Verkaufsdruck.
Keine Kommentare vorhanden