Wo finde ich die robots.txt?
Kurzantwort
Die robots.txt liegt im Wurzelverzeichnis der Domain und ist im Browser über https://www.deine-domain.de/robots.txt aufrufbar. An anderen Speicherorten lesen Suchmaschinen sie nicht. Bei WordPress wird häufig eine virtuelle robots.txt ausgegeben, die nicht als Datei auf dem Server erscheint. Eine echte Datei im Wurzelverzeichnis überschreibt diese virtuelle Version.
Die robots.txt ist öffentlich zugänglich und lässt sich bei der eigenen Website ebenso aufrufen wie bei Wettbewerbern. Entscheidend ist jedoch nicht nur, ob du die Datei findest. Du musst prüfen, welche Verzeichnisse und URLs sie für Suchmaschinen sperrt und ob wichtige Seiten weiterhin gecrawlt werden können.
1. Speicherort im Wurzelverzeichnis
Die robots.txt-Datei muss direkt im Wurzelverzeichnis der jeweiligen Domain liegen. Für die Domain https://www.beispiel.de lautet der gültige Pfad deshalb:
https://www.beispiel.de/robots.txt
Eine Datei unter https://www.beispiel.de/dateien/robots.txt oder https://www.beispiel.de/seo/robots.txt wird von Suchmaschinen nicht als robots.txt dieser Domain berücksichtigt. Der Speicherort ist eine feste technische Regel und kann nicht frei gewählt werden.
Subdomains werden dabei getrennt behandelt. Für shop.beispiel.de gilt eine eigene Datei unter https://shop.beispiel.de/robots.txt. Eine robots.txt auf der Hauptdomain steuert nicht automatisch das Crawling einer Subdomain.
Der schnellste Aufruf
Ergänze die vollständige Adresse deiner Domain direkt um /robots.txt. Erscheint Text mit Anweisungen wie User-agent oder Disallow, wird eine robots.txt ausgeliefert. Ein Fehlerstatus wie 404 bedeutet, dass unter dem vorgeschriebenen Pfad keine erreichbare Datei vorhanden ist.
2. Datei direkt im Browser finden
Du benötigst keinen FTP-Zugang und musst dich nicht im Content-Management-System anmelden, um die robots.txt aufzurufen. Trage den vollständigen Pfad einfach in die Adresszeile des Browsers ein. Das funktioniert auch bei Websites, die nicht mit WordPress betrieben werden.
| Website-Adresse | Adresse der robots.txt |
|---|---|
https://www.beispiel.de | https://www.beispiel.de/robots.txt |
https://shop.beispiel.de | https://shop.beispiel.de/robots.txt |
https://beispiel.at | https://beispiel.at/robots.txt |
Prüfe bei Weiterleitungen genau, auf welcher Domain du landest. Leitet eine Website beispielsweise von der Variante ohne www auf die Variante mit www weiter, sollte die robots.txt am finalen Host erreichbar sein. Ein HTTP-Statuscode 200 zeigt, dass der Server die Ressource erfolgreich ausliefert.
3. Speicherort bei WordPress
Bei WordPress entsteht die häufigste Verwirrung: Die robots.txt ist im Browser erreichbar, lässt sich aber über FTP, den Dateimanager des Hostings oder das WordPress-Verzeichnis nicht finden. Der Grund ist meist eine virtuelle robots.txt. WordPress erzeugt deren Inhalt dynamisch, ohne eine physische Textdatei auf dem Server abzulegen.
Der Browseraufruf bleibt derselbe:
https://www.deine-wordpress-domain.de/robots.txt
Dass dieser Pfad einen Inhalt anzeigt, beweist also nicht, dass eine Datei namens robots.txt im Serververzeichnis liegt. Wer nur im Dateimanager sucht, kann deshalb lange nach einer Datei suchen, die technisch gar nicht existiert.
3.1 Virtuelle WordPress-Datei bearbeiten
Viele WordPress-Installationen bearbeiten die virtuelle robots.txt über ein SEO-Plugin. Der genaue Menüpunkt hängt vom eingesetzten Plugin ab und kann unter Bezeichnungen wie Dateieditor, Werkzeuge oder robots.txt-Editor liegen. Vor einer Änderung solltest du den aktuellen Inhalt kopieren, damit sich die bisherige Konfiguration bei Bedarf wiederherstellen lässt.
Fehlt eine Bearbeitungsfunktion, kann ein Entwickler die Ausgabe über WordPress anpassen oder eine echte robots.txt im Wurzelverzeichnis anlegen. Welche Variante sinnvoller ist, hängt davon ab, wer die Website künftig pflegt. Für Marketing-Teams ist eine kontrollierte Bearbeitung über das bekannte SEO-Plugin oft leichter nachvollziehbar.
4. Echte Datei überschreibt WordPress
Wird im Wurzelverzeichnis einer WordPress-Installation eine physische Datei namens robots.txt angelegt, hat diese Vorrang vor der virtuellen WordPress-Ausgabe. Ab diesem Zeitpunkt zeigt der Browser den Inhalt der echten Datei an. Änderungen im robots.txt-Editor eines Plugins können dann wirkungslos erscheinen, weil das Plugin weiterhin die virtuelle Version bearbeitet.
Genau an diesem Punkt kippt die Fehlersuche oft: Das Marketing ändert eine Regel im SEO-Plugin, der Browser zeigt aber unverändert den alten Inhalt. Die Ursache liegt dann häufig nicht im Cache, sondern in einer physischen Datei, die beim Hosting, bei einem Relaunch oder durch einen Entwickler angelegt wurde. Prüfe deshalb vor jeder Bearbeitung, welche Version tatsächlich ausgeliefert wird.
5. Robots.txt anderer Websites aufrufen
Die robots.txt ist keine vertrauliche Konfigurationsdatei. Jeder kann sie öffentlich aufrufen, auch bei Wettbewerbern. Ergänze deren Domain um /robots.txt und prüfe, welche Bereiche für Crawler gesperrt werden. Das kann Hinweise auf Shopfilter, interne Suchseiten, Verwaltungsbereiche oder bestimmte technische Verzeichnisse geben.
Eine Wettbewerberdatei ist jedoch keine Vorlage zum Kopieren. Zwei Onlineshops können dieselbe Software verwenden und trotzdem völlig andere URL-Strukturen haben. Eine übernommene Disallow-Regel kann auf der eigenen Domain wertvolle Kategorien sperren, obwohl sie beim Wettbewerber nur irrelevante Filterseiten betrifft.
Wenn du technische Einstellungen und weitere SEO-Begriffe einordnen möchtest, findest du kompakte Erklärungen im SEO-Lexikon von seoagentur.de.
Du möchtest den technischen Ist-Stand deiner Domain direkt prüfen lassen? Der Free Account enthält ein SEO-Audit als Ausgangsanalyse.
6. Gefunden heißt nicht geprüft
Eine erreichbare robots.txt kann technisch korrekt ausgeliefert und inhaltlich trotzdem gefährlich sein. Besonders kritisch ist eine globale Sperre mit diesen beiden Zeilen:
User-agent: *Disallow: /
Diese Anweisung sperrt die gesamte Website für die angesprochenen Crawler. Wichtige Inhalte können dann nicht regulär gecrawlt werden. Der Technik-Crawler-Leitfaden empfiehlt deshalb, nur Verzeichnisse zu blockieren, die tatsächlich nicht gecrawlt werden sollen, und die CMS-Einstellungen regelmäßig auf automatisch ergänzte Regeln zu prüfen.
Prüfe nach jeder Änderung deine wichtigsten Seiten. Startseite, Kategorien, Produkte, Leistungsseiten und redaktionelle Inhalte müssen für Suchmaschinen erreichbar bleiben. Die robots.txt ist außerdem kein verlässliches Werkzeug zum Entfernen vertraulicher Inhalte. Was nicht öffentlich sein darf, braucht einen echten Zugriffsschutz.
Ein weiterer Fehler entsteht, wenn URLs in der XML-Sitemap stehen, aber gleichzeitig durch die robots.txt gesperrt werden. Die Sitemap schlägt diese URLs für das Crawling vor, während die robots.txt den Zugriff verhindert. Beide Dateien sollten deshalb aufeinander abgestimmt werden.
7. Sperrungen im Crawl erkennen
Eine manuelle Sichtprüfung reicht bei fünf Regeln oft aus. Bei größeren Websites mit Shopfiltern, Sprachverzeichnissen und mehreren Crawler-Anweisungen wird sie schnell unübersichtlich. Der Technik-Crawler der Performance Suite liest die robots.txt aus und macht im Crawl sichtbar, welche Bereiche durch ihre Regeln gesperrt sind.
Der entscheidende Nutzen liegt in der Verbindung mit den gecrawlten URLs. Du siehst nicht nur den Text der Datei, sondern erkennst, welche Website-Bereiche davon betroffen sind. Automatische Technikprüfungen können je nach Bedarf täglich oder wöchentlich laufen. Besonders wichtige URLs lassen sich täglich kontrollieren, beispielsweise Seiten mit relevantem Content, Backlinks, Rankings oder Google Ads.
Für einen breiteren Blick auf Technik, Metadaten, Ladezeiten und Backlinks kannst du zusätzlich den kostenlosen SEO-Check nutzen.
8. So gehen wir vor
Bei einem technischen SEO-Check rufen wir die robots.txt zunächst unter dem öffentlichen Domainpfad ab und gleichen ihre Regeln mit Sitemap, URL-Struktur und wichtigen Landingpages ab. Danach zeigt der Crawl, welche Bereiche erreichbar oder gesperrt sind. Bei WordPress prüfen wir zusätzlich, ob eine virtuelle Ausgabe oder eine physische Datei aktiv ist. Die technische Crawl-Analyse schafft dabei eine gemeinsame Datengrundlage für Marketing, Redaktion und Entwicklung.
9. Häufige Fragen zur robots.txt
Wo finde ich die robots.txt-Datei meiner Website?
Die Datei ist über den Pfad deiner vollständigen Domain plus /robots.txt erreichbar, zum Beispiel https://www.beispiel.de/robots.txt. Dieser Pfad gilt unabhängig vom eingesetzten Content-Management-System.
Wo muss die robots.txt-Datei liegen?
Die robots.txt muss im Wurzelverzeichnis der jeweiligen Domain oder Subdomain liegen. Dateien in Unterordnern werden von Suchmaschinen nicht als gültige robots.txt für die gesamte Domain gelesen.
Wo finde ich die robots.txt bei WordPress?
Rufe die WordPress-Domain mit dem Zusatz /robots.txt im Browser auf. Viele WordPress-Websites erzeugen eine virtuelle Ausgabe, die nicht als physische Datei im Serververzeichnis vorhanden ist.
Wie bearbeite ich die robots.txt in WordPress?
Eine virtuelle robots.txt lässt sich häufig über das eingesetzte SEO-Plugin bearbeiten. Existiert eine physische robots.txt im Wurzelverzeichnis, musst du diese Datei über das Hosting oder per Dateizugriff ändern.
Warum finde ich die WordPress-robots.txt nicht per FTP?
WordPress kann die robots.txt dynamisch erzeugen, ohne eine echte Datei zu speichern. Deshalb ist sie im Browser sichtbar, erscheint aber weder im FTP-Verzeichnis noch im Dateimanager des Hostings.
Kann ich die robots.txt eines Wettbewerbers ansehen?
Ja, die robots.txt ist öffentlich. Ergänze die Domain des Wettbewerbers um /robots.txt. Die Regeln können Hinweise auf gesperrte Verzeichnisse geben, sollten aber nicht ungeprüft für die eigene Website übernommen werden.
Verhindert die robots.txt sicher eine Indexierung?
Nein. Die robots.txt steuert in erster Linie das Crawling. Eine gesperrte URL kann unter bestimmten Umständen trotzdem in Suchergebnissen erscheinen, wenn Suchmaschinen sie über externe oder interne Links kennen.
10. Erst prüfen, dann ändern
Der richtige Speicherort ist in wenigen Sekunden gefunden. Plane für die inhaltliche Prüfung mehr Sorgfalt ein: Rufe die Datei auf, kläre bei WordPress die aktive Version und teste anschließend deine geschäftlich wichtigen URLs. Eine einzelne falsche Regel kann mehr SEO-Traffic kosten als zahlreiche kleinere Technikfehler.
Wenn du klären möchtest, welche Sperrungen auf deiner Website sinnvoll sind, kannst du die Domain gemeinsam mit der OSG prüfen lassen. Das Erstgespräch ist kostenlos, unverbindlich und als fachlicher Potenzialcheck angelegt.
Keine Kommentare vorhanden