Crawl-Delay

Was ist Crawl-Delay?

Crawl-Delay bezeichnet eine Wartezeit, die ein Webcrawler zwischen zwei Abrufen derselben Website einhalten soll. Die Angabe erfolgt meist in Sekunden über die robots.txt. Ein Wert von 2 begrenzt einen sequenziell arbeitenden Bot rechnerisch auf höchstens 30 Anfragen pro Minute. Googlebot berücksichtigt diese Anweisung jedoch nicht.

Crawl-Delay, auf Deutsch einmalig als Abrufverzögerung bezeichnet, soll die Frequenz automatischer Seitenaufrufe begrenzen. Website-Betreiber setzen die Anweisung vor allem ein, wenn Bots den Server stark belasten oder viele HTTP-Fehler mit den Statuscodes 429 und 503 auslösen. Ob die Verzögerung tatsächlich eingehalten wird, hängt vom jeweiligen Crawler ab.

Wie funktioniert Crawl-Delay?

Crawl-Delay wird üblicherweise in der robots.txt einem bestimmten User-Agent zugeordnet. Der User-Agent identifiziert den Bot, für den die Regel gelten soll. Die robots.txt liegt im Stammverzeichnis einer Domain, beispielsweise unter https://www.beispiel.de/robots.txt. Eine Angabe für einen einzelnen Bot kann so aussehen:

User-agent: bingbotCrawl-delay: 2

Der Wert 2 fordert den angesprochenen Crawler auf, zwischen zwei Abrufen zwei Sekunden zu warten. Bei einem rein sequenziellen Crawl ergibt sich daraus folgende theoretische Obergrenze: 60 Sekunden geteilt durch 2 Sekunden entsprechen 30 Anfragen pro Minute. Parallele Verbindungen oder eine abweichende Interpretation des Bots können die tatsächliche Abrufrate verändern.

Die Rechenformel für einen sequenziellen Bot lautet: maximale Anfragen pro Minute gleich 60 geteilt durch den Crawl-Delay in Sekunden. Bei 5 Sekunden wären höchstens 12 Anfragen pro Minute möglich. Diese Rechnung beschreibt eine theoretische Obergrenze und keinen garantierten Messwert.

Crawl-Delay ist keine verbindliche Webstandard-Anweisung. Ein Bot kann die Regel vollständig berücksichtigen, anders interpretieren oder ignorieren. Deshalb reicht ein Eintrag in der robots.txt nicht aus, um die Serverlast zuverlässig zu steuern. Prüfe zusätzlich die Server- und CDN-Protokolle, um die tatsächliche Zahl der Requests, die User-Agents und mögliche Fehlerantworten zu erkennen.

Crawl-Delay 2026: Welche Bots folgen?

Googlebot unterstützt Crawl-Delay in der robots.txt nicht. Google passt seine Crawling-Geschwindigkeit stattdessen automatisch an Signale wie Serverreaktionen, Antwortzeiten und die Verfügbarkeit von Ressourcen an. Liefert eine Website wiederholt 429- oder 503-Antworten, kann Google die Abruffrequenz reduzieren. Eine künstliche Sperre wichtiger URLs ist dafür nicht erforderlich.

Andere Suchmaschinen, SEO-Crawler und KI-Bots können Crawl-Delay unterstützen. Die Unterstützung unterscheidet sich jedoch nach Anbieter und Bot-Version. Prüfe deshalb die aktuelle Dokumentation des jeweiligen Crawlers und richte Regeln nach User-Agent ein, statt eine globale Vorgabe ungeprüft auf alle Bots anzuwenden.

  • Googlebot: ignoriert die Crawl-Delay-Anweisung in der robots.txt.
  • Andere Suchmaschinen-Bots: können die Angabe unterstützen und unterschiedlich auslegen.
  • SEO-Crawler: bieten häufig eigene Einstellungen für Wartezeit und parallele Verbindungen.
  • KI-Crawler: müssen einzeln anhand ihrer veröffentlichten Regeln geprüft werden.

Unterschied zum Crawl-Budget

Der Unterschied zwischen Crawl-Delay und Crawl-Budget liegt in der betrachteten Größe. Crawl-Delay beschreibt den gewünschten zeitlichen Abstand zwischen Abrufen. Das Crawl-Budget bezeichnet dagegen die Menge an URLs, die eine Suchmaschine innerhalb eines Zeitraums auf einer Domain abrufen kann oder möchte. Eine Verzögerung kann den Durchsatz beeinflussen, legt das Crawl-Budget aber nicht fest.

Ein hoher Crawl-Delay kann bei großen Onlineshops, Portalen oder internationalen Websites dazu führen, dass neue und aktualisierte URLs später erreicht werden. Bei 5 Sekunden Wartezeit benötigt ein sequenzieller Bot rechnerisch bereits rund 83 Minuten für 1.000 Requests. Dieser Wert ist ein Rechenbeispiel. Die tatsächliche Dauer hängt unter anderem von Parallelisierung, Antwortzeiten und Bot-Verhalten ab.

Die robots.txt kann das Crawling zusätzlich durch Disallow-Regeln auf relevante Bereiche konzentrieren. Eine Sperre verhindert jedoch zunächst nur den Abruf. Sie ist keine zuverlässige Anweisung zur Entfernung einer bereits bekannten URL aus dem Suchindex. Für eine technische Gesamtprüfung eignet sich ein SEO-Audit mit Crawling- und Indexierungsanalyse.

Wann ist eine Verzögerung sinnvoll?

Crawl-Delay kann bei steuerbaren SEO-Crawlern sinnvoll sein, wenn ein Server während eines vollständigen Crawls langsam reagiert, ein Web Application Firewall-Limit erreicht oder HTTP 429 ausliefert. Ein belastbarer Startwert lässt sich nicht pauschal festlegen. Die passende Einstellung ergibt sich aus Serverkapazität, Antwortzeiten, Parallelität und der Zahl der zu prüfenden URLs.

Bei einem eigenen Crawler solltest du die Wartezeit schrittweise erhöhen und nach jedem Test die Serverantworten kontrollieren. Für technische Crawls können beispielsweise 1.500 bis 3.000 Millisekunden sowie höchstens ein bis zwei gleichzeitige Verbindungen als vorsichtige Testkonfiguration dienen, wenn zuvor 429-Fehler aufgetreten sind. Bei weiteren Fehlern sollte der Crawler den Retry-After-Header beachten und die Wartezeit erhöhen.

Ein pauschal hoher Crawl-Delay kann die Erfassung umfangreicher Websites stark verlängern. Setze die Verzögerung erst nach einer Auswertung der Serverprotokolle und Fehlercodes. Für Googlebot ist die robots.txt-Anweisung ungeeignet, weil Googlebot sie ignoriert.

Crawl-Delay richtig prüfen

Messbar ist Crawl-Delay durch den zeitlichen Abstand aufeinanderfolgender Bot-Anfragen in den Server- oder CDN-Protokollen. Filtere die Einträge nach User-Agent und IP-Adresse. Vergleiche anschließend Zeitstempel, HTTP-Statuscodes und Antwortzeiten. Häufen sich 429-, 503- oder Timeout-Fehler während eines Crawls, sind geringere Parallelität, längere Pausen oder ein kleinerer Crawl-Umfang mögliche Maßnahmen.

Ein Technik-Crawler mit konfigurierbaren Crawl-Einstellungen kann technische Probleme wie Statuscodes, robots.txt-Regeln und nicht erreichbare URLs regelmäßig prüfen. Die Performance Suite bezieht dabei unter anderem URLs aus der Google Search Console, Google Ads, Bing und Backlinks ein und verbindet die Ergebnisse mit priorisierten Aufgaben. Einen fachlichen Überblick liefert zusätzlich der Ratgeber zum Einsatz eines SEO-Technik-Crawlers.

Prüfschritte für Website-Betreiber

  • Öffne die robots.txt im Stammverzeichnis und suche nach Crawl-delay.
  • Prüfe, welchem User-Agent die Anweisung zugeordnet ist.
  • Ermittle in den Serverprotokollen, ob der Bot die Pause tatsächlich einhält.
  • Kontrolliere während des Crawls Antwortzeiten sowie 429- und 503-Fehler.
  • Reduziere zuerst Parallelität und Crawl-Umfang, bevor du eine lange Verzögerung einstellst.
  • Prüfe nach jeder Änderung, ob wichtige URLs weiterhin regelmäßig abgerufen werden.

Wenn du technische Crawling-Probleme automatisiert erfassen möchtest, kannst du einen Free Account mit SEO-Audit anlegen.

Free Account anlegen

Häufige Fragen zu Crawl-Delay

Wo wird Crawl-Delay eingetragen?

Crawl-Delay wird üblicherweise in die robots.txt im Stammverzeichnis der Domain eingetragen. Die Anweisung steht unter dem User-Agent, für den die Wartezeit gelten soll.

Ist Crawl-Delay ein Rankingfaktor?

Crawl-Delay ist kein direkter Rankingfaktor. Eine ungeeignete Konfiguration kann jedoch dazu führen, dass neue oder aktualisierte Inhalte langsamer gecrawlt werden.

Gilt Crawl-Delay automatisch für alle Bots?

Crawl-Delay gilt nur für den zugeordneten User-Agent und wird auch von diesem Bot nur berücksichtigt, wenn er die Anweisung unterstützt. Eine Regel unter dem User-Agent mit Stern richtet sich grundsätzlich an alle Bots, die diese Syntax akzeptieren.

Kann Crawl-Delay die Indexierung verhindern?

Crawl-Delay sperrt eine URL nicht direkt. Eine sehr lange Verzögerung kann das Crawling jedoch so verlangsamen, dass neue oder geänderte Seiten später verarbeitet und indexiert werden.

Wie lange braucht Google zum erneuten Crawlen?

Für einen erneuten Crawl gibt es keine feste Dauer. Google bestimmt die Frequenz anhand der Website, der Änderungsrate, interner Signale und der Serverreaktionen. Crawl-Delay beschleunigt diesen Prozess bei Google nicht.

Was tun, wenn ein Bot Crawl-Delay ignoriert?

Wenn ein Bot die Anweisung ignoriert, kannst du die Abrufrate serverseitig über CDN-, Firewall- oder Rate-Limit-Regeln steuern. Erlaubte Suchmaschinen-Bots sollten vorher zuverlässig verifiziert werden, damit wichtige Crawling-Prozesse erreichbar bleiben.


Sie haben noch Fragen?

Kontaktieren Sie uns

SEO GEO Angebot


Weitere Inhalte