Crawl-Delay
Was ist Crawl-Delay?
Crawl-Delay bezeichnet eine Wartezeit, die ein Webcrawler zwischen zwei Abrufen derselben Website einhalten soll. Die Angabe erfolgt meist in Sekunden über die robots.txt. Ein Wert von 2 begrenzt einen sequenziell arbeitenden Bot rechnerisch auf höchstens 30 Anfragen pro Minute. Googlebot berücksichtigt diese Anweisung jedoch nicht.
Crawl-Delay, auf Deutsch einmalig als Abrufverzögerung bezeichnet, soll die Frequenz automatischer Seitenaufrufe begrenzen. Website-Betreiber setzen die Anweisung vor allem ein, wenn Bots den Server stark belasten oder viele HTTP-Fehler mit den Statuscodes 429 und 503 auslösen. Ob die Verzögerung tatsächlich eingehalten wird, hängt vom jeweiligen Crawler ab.
Wie funktioniert Crawl-Delay?
Crawl-Delay wird üblicherweise in der robots.txt einem bestimmten User-Agent zugeordnet. Der User-Agent identifiziert den Bot, für den die Regel gelten soll. Die robots.txt liegt im Stammverzeichnis einer Domain, beispielsweise unter https://www.beispiel.de/robots.txt. Eine Angabe für einen einzelnen Bot kann so aussehen:
User-agent: bingbotCrawl-delay: 2Der Wert 2 fordert den angesprochenen Crawler auf, zwischen zwei Abrufen zwei Sekunden zu warten. Bei einem rein sequenziellen Crawl ergibt sich daraus folgende theoretische Obergrenze: 60 Sekunden geteilt durch 2 Sekunden entsprechen 30 Anfragen pro Minute. Parallele Verbindungen oder eine abweichende Interpretation des Bots können die tatsächliche Abrufrate verändern.
Crawl-Delay ist keine verbindliche Webstandard-Anweisung. Ein Bot kann die Regel vollständig berücksichtigen, anders interpretieren oder ignorieren. Deshalb reicht ein Eintrag in der robots.txt nicht aus, um die Serverlast zuverlässig zu steuern. Prüfe zusätzlich die Server- und CDN-Protokolle, um die tatsächliche Zahl der Requests, die User-Agents und mögliche Fehlerantworten zu erkennen.
Crawl-Delay 2026: Welche Bots folgen?
Googlebot unterstützt Crawl-Delay in der robots.txt nicht. Google passt seine Crawling-Geschwindigkeit stattdessen automatisch an Signale wie Serverreaktionen, Antwortzeiten und die Verfügbarkeit von Ressourcen an. Liefert eine Website wiederholt 429- oder 503-Antworten, kann Google die Abruffrequenz reduzieren. Eine künstliche Sperre wichtiger URLs ist dafür nicht erforderlich.
Andere Suchmaschinen, SEO-Crawler und KI-Bots können Crawl-Delay unterstützen. Die Unterstützung unterscheidet sich jedoch nach Anbieter und Bot-Version. Prüfe deshalb die aktuelle Dokumentation des jeweiligen Crawlers und richte Regeln nach User-Agent ein, statt eine globale Vorgabe ungeprüft auf alle Bots anzuwenden.
Unterschied zum Crawl-Budget
Der Unterschied zwischen Crawl-Delay und Crawl-Budget liegt in der betrachteten Größe. Crawl-Delay beschreibt den gewünschten zeitlichen Abstand zwischen Abrufen. Das Crawl-Budget bezeichnet dagegen die Menge an URLs, die eine Suchmaschine innerhalb eines Zeitraums auf einer Domain abrufen kann oder möchte. Eine Verzögerung kann den Durchsatz beeinflussen, legt das Crawl-Budget aber nicht fest.
Ein hoher Crawl-Delay kann bei großen Onlineshops, Portalen oder internationalen Websites dazu führen, dass neue und aktualisierte URLs später erreicht werden. Bei 5 Sekunden Wartezeit benötigt ein sequenzieller Bot rechnerisch bereits rund 83 Minuten für 1.000 Requests. Dieser Wert ist ein Rechenbeispiel. Die tatsächliche Dauer hängt unter anderem von Parallelisierung, Antwortzeiten und Bot-Verhalten ab.
Die robots.txt kann das Crawling zusätzlich durch Disallow-Regeln auf relevante Bereiche konzentrieren. Eine Sperre verhindert jedoch zunächst nur den Abruf. Sie ist keine zuverlässige Anweisung zur Entfernung einer bereits bekannten URL aus dem Suchindex. Für eine technische Gesamtprüfung eignet sich ein SEO-Audit mit Crawling- und Indexierungsanalyse.
Wann ist eine Verzögerung sinnvoll?
Crawl-Delay kann bei steuerbaren SEO-Crawlern sinnvoll sein, wenn ein Server während eines vollständigen Crawls langsam reagiert, ein Web Application Firewall-Limit erreicht oder HTTP 429 ausliefert. Ein belastbarer Startwert lässt sich nicht pauschal festlegen. Die passende Einstellung ergibt sich aus Serverkapazität, Antwortzeiten, Parallelität und der Zahl der zu prüfenden URLs.
Bei einem eigenen Crawler solltest du die Wartezeit schrittweise erhöhen und nach jedem Test die Serverantworten kontrollieren. Für technische Crawls können beispielsweise 1.500 bis 3.000 Millisekunden sowie höchstens ein bis zwei gleichzeitige Verbindungen als vorsichtige Testkonfiguration dienen, wenn zuvor 429-Fehler aufgetreten sind. Bei weiteren Fehlern sollte der Crawler den Retry-After-Header beachten und die Wartezeit erhöhen.
Crawl-Delay richtig prüfen
Messbar ist Crawl-Delay durch den zeitlichen Abstand aufeinanderfolgender Bot-Anfragen in den Server- oder CDN-Protokollen. Filtere die Einträge nach User-Agent und IP-Adresse. Vergleiche anschließend Zeitstempel, HTTP-Statuscodes und Antwortzeiten. Häufen sich 429-, 503- oder Timeout-Fehler während eines Crawls, sind geringere Parallelität, längere Pausen oder ein kleinerer Crawl-Umfang mögliche Maßnahmen.
Ein Technik-Crawler mit konfigurierbaren Crawl-Einstellungen kann technische Probleme wie Statuscodes, robots.txt-Regeln und nicht erreichbare URLs regelmäßig prüfen. Die Performance Suite bezieht dabei unter anderem URLs aus der Google Search Console, Google Ads, Bing und Backlinks ein und verbindet die Ergebnisse mit priorisierten Aufgaben. Einen fachlichen Überblick liefert zusätzlich der Ratgeber zum Einsatz eines SEO-Technik-Crawlers.
Prüfschritte für Website-Betreiber
Wenn du technische Crawling-Probleme automatisiert erfassen möchtest, kannst du einen Free Account mit SEO-Audit anlegen.
Häufige Fragen zu Crawl-Delay
Wo wird Crawl-Delay eingetragen?
Crawl-Delay wird üblicherweise in die robots.txt im Stammverzeichnis der Domain eingetragen. Die Anweisung steht unter dem User-Agent, für den die Wartezeit gelten soll.
Ist Crawl-Delay ein Rankingfaktor?
Crawl-Delay ist kein direkter Rankingfaktor. Eine ungeeignete Konfiguration kann jedoch dazu führen, dass neue oder aktualisierte Inhalte langsamer gecrawlt werden.
Gilt Crawl-Delay automatisch für alle Bots?
Crawl-Delay gilt nur für den zugeordneten User-Agent und wird auch von diesem Bot nur berücksichtigt, wenn er die Anweisung unterstützt. Eine Regel unter dem User-Agent mit Stern richtet sich grundsätzlich an alle Bots, die diese Syntax akzeptieren.
Kann Crawl-Delay die Indexierung verhindern?
Crawl-Delay sperrt eine URL nicht direkt. Eine sehr lange Verzögerung kann das Crawling jedoch so verlangsamen, dass neue oder geänderte Seiten später verarbeitet und indexiert werden.
Wie lange braucht Google zum erneuten Crawlen?
Für einen erneuten Crawl gibt es keine feste Dauer. Google bestimmt die Frequenz anhand der Website, der Änderungsrate, interner Signale und der Serverreaktionen. Crawl-Delay beschleunigt diesen Prozess bei Google nicht.
Was tun, wenn ein Bot Crawl-Delay ignoriert?
Wenn ein Bot die Anweisung ignoriert, kannst du die Abrufrate serverseitig über CDN-, Firewall- oder Rate-Limit-Regeln steuern. Erlaubte Suchmaschinen-Bots sollten vorher zuverlässig verifiziert werden, damit wichtige Crawling-Prozesse erreichbar bleiben.
Sie haben noch Fragen?







