Crawl Budget
Was ist das Crawl Budget?
Das Crawl Budget bezeichnet die Menge an URLs, die eine Suchmaschine innerhalb eines bestimmten Zeitraums auf einer Website crawlen kann und möchte. Es ergibt sich vor allem aus der technischen Belastbarkeit des Servers und dem vermuteten Nutzen weiterer Crawling-Vorgänge. Eine effiziente Steuerung unterstützt die schnelle Erfassung wichtiger Seiten.
Was bedeutet Crawl Budget im SEO?
Das Crawl Budget beschreibt die begrenzten Ressourcen, die ein Suchmaschinen-Crawler wie der Googlebot für das Abrufen einer Website einsetzt. Suchmaschinen legen dabei keine öffentlich einsehbare, feste Anzahl an URLs pro Domain fest. Umfang und Häufigkeit des Crawlings verändern sich abhängig von technischen Signalen, Website-Größe, Aktualität und wahrgenommener Relevanz.
Crawling ist der Vorgang, bei dem ein Bot bekannte URLs aufruft, Inhalte und Verlinkungen ausliest und neue Adressen entdeckt. Die dabei erfassten Informationen können anschließend verarbeitet und in den Suchindex aufgenommen werden. Ein erfolgreicher Crawl garantiert jedoch keine Indexierung, da Suchmaschinen jede URL zusätzlich nach Qualität, Eindeutigkeit und Indexierungswürdigkeit bewerten.
Für kleine Websites mit wenigen Hundert stabilen URLs ist das verfügbare Crawling-Kontingent meist kein Engpass. Relevant wird die Steuerung insbesondere für große Onlineshops, Nachrichtenportale, Marktplätze, internationale Websites und Domains mit vielen automatisch erzeugten URL-Varianten.
Wie setzt sich das Crawling-Kontingent zusammen?
Die verfügbare Crawling-Kapazität lässt sich vereinfacht durch zwei Komponenten erklären: die technisch mögliche Abrufrate und den Bedarf der Suchmaschine, bestimmte Inhalte erneut aufzurufen. Beide Komponenten werden dynamisch bewertet und können sich daher auch ohne eine Änderung der Gesamtzahl an URLs verschieben.
Crawl Capacity Limit
Das Crawl Capacity Limit bezeichnet die maximale Abrufrate, bei der ein Crawler die Website erreichen kann, ohne den Server zu überlasten. Antwortet der Server schnell und stabil, sind mehr parallele oder zeitnah aufeinanderfolgende Abrufe möglich. Häufige Zeitüberschreitungen, Verbindungsabbrüche oder Serverfehler führen dagegen meist zu einer vorsichtigeren Abrufrate.
Crawl Demand
Die Crawl Demand beschreibt den vermuteten Bedarf für neue oder wiederholte Crawls. Häufig aktualisierte, intern stark verlinkte und populäre Seiten werden in der Regel öfter besucht als dauerhaft unveränderte oder wenig relevante URLs. Auch Änderungen an Inhalten, Weiterleitungen und Canonical-Signalen können einen erneuten Abruf auslösen.
Welche Faktoren verbrauchen unnötig Crawl Budget?
Ein ineffizientes URL-System lenkt Suchmaschinen-Crawler auf Adressen, die keinen eigenständigen Wert für den Suchindex besitzen. Das betrifft besonders Websites, deren Navigation oder Filtersysteme nahezu unbegrenzt neue Parameterkombinationen erzeugen. Der Bot ruft dadurch wiederholt ähnliche Inhalte ab, während wichtige Seiten unter Umständen später entdeckt werden.
Typische Ursachen für die Verschwendung von Crawling-Ressourcen sind:
Eine XML-Sitemap sollte möglichst nur kanonische, indexierbare URLs enthalten, die den HTTP-Statuscode 200 zurückgeben. Seiten mit noindex, Fehlerseiten und weitergeleitete URLs erzeugen widersprüchliche Signale und können Crawling-Ressourcen binden. Regelmäßige Sitemap-Prüfungen decken solche Abweichungen frühzeitig auf.
Wie lässt sich das Crawl Budget optimieren?
Die Optimierung beginnt mit einer klaren URL- und Indexierungsstrategie. Jede technisch erreichbare URL sollte entweder einen nachvollziehbaren Zweck erfüllen oder kontrolliert vom Crawling beziehungsweise von der Indexierung ausgeschlossen werden. Pauschale Sperren sind riskant, weil sie auch den Zugriff auf Inhalte oder Ressourcen verhindern können, die Suchmaschinen zur Bewertung einer Seite benötigen.
Eine technische Onpage-Optimierung prüft diese Signale im Zusammenhang. Einzelne Änderungen an robots.txt, Canonical-Tags oder Sitemaps sollten immer gegen die interne Verlinkung und den gewünschten Indexierungsstatus geprüft werden.
Wie wird die Crawling-Effizienz gemessen?
Server-Logfiles liefern die genaueste Grundlage für eine Crawl-Analyse, weil sie jeden tatsächlichen Abruf dokumentieren. Ein Logfile enthält unter anderem Zeitpunkt, angeforderte URL, HTTP-Statuscode und User-Agent. Damit lässt sich erkennen, welche Bereiche Suchmaschinen besonders häufig besuchen und wo Abrufe auf Fehler, Weiterleitungen oder irrelevante Parameter treffen.
Die Google Search Console ergänzt die Logfile-Analyse mit aggregierten Crawling-Statistiken. Dort lassen sich unter anderem die Zahl der Crawling-Anfragen, die durchschnittliche Antwortzeit, heruntergeladene Datenmengen und aufgetretene Hostprobleme beobachten. Diese Angaben zeigen Trends, bilden aber nicht jede einzelne URL-Anfrage ab.
Für die laufende Kontrolle sind folgende Kennzahlen sinnvoll:
Automatisierte Technik-Crawler ersetzen keine Server-Logfiles, helfen aber bei der Erkennung struktureller Ursachen. Sie prüfen beispielsweise Statuscodes, interne Verlinkungen, Canonical-Tags, Sitemaps und Indexierungsanweisungen. Der SEO-Technik-Crawler der Performance Suite kann solche technischen Abweichungen regelmäßig erfassen und für die Bearbeitung priorisieren.
Was unterscheidet Crawling, Indexierung und Ranking?
| Prozess | Bedeutung | Typische Einflussfaktoren | Ergebnis |
|---|---|---|---|
| Crawling | Ein Bot ruft eine URL und ihre Ressourcen ab. | Interne Links, Sitemap, robots.txt, Serverleistung | Die Suchmaschine kennt oder aktualisiert die URL. |
| Indexierung | Die Suchmaschine verarbeitet und speichert den Inhalt. | Content-Qualität, Canonical, noindex, Eindeutigkeit | Die URL kann im Suchindex verfügbar sein. |
| Ranking | Die indexierte Seite wird für eine Suchanfrage bewertet. | Relevanz, Qualität, Verlinkungen, Suchintention | Die URL erhält eine Position in den SERP. |
Der Unterschied liegt in der Reihenfolge und Funktion: Eine Seite muss normalerweise zuerst gecrawlt und anschließend indexiert werden, bevor sie für Suchanfragen ranken kann. Ein höheres Crawl Budget verbessert Rankings daher nicht direkt. Es kann jedoch die Entdeckung und Verarbeitung wichtiger Änderungen beschleunigen.
Welche Bedeutung hat Crawl Budget für SEA und GEO?
Für SEA hat das Crawling-Kontingent keinen direkten Einfluss auf die Ausspielung bezahlter Anzeigen. Technische Fehler, langsame Server und nicht erreichbare Zielseiten können jedoch zugleich organisches Crawling und die Nutzbarkeit von Google-Ads-Landingpages beeinträchtigen. Technische SEO- und SEA-Prüfungen können deshalb dieselben URL- und Serverdaten verwenden.
GEO steht für Generative Engine Optimization und bezeichnet die Optimierung von Inhalten für KI-gestützte Such- und Antwortsysteme. Ein effizient crawlbarer, eindeutig strukturierter und indexierbarer Webauftritt erhöht die technische Zugänglichkeit von Inhalten. Ob ein KI-System eine Information verarbeitet oder als Quelle nennt, hängt zusätzlich von Relevanz, Verständlichkeit, Autorität und dem jeweiligen Datenzugriff ab.
Technische Crawling-Probleme prüfen
Wenn wichtige Seiten nur selten gecrawlt werden, sollte ein technisches SEO-Audit die URL-Struktur, Sitemaps, internen Links, Serverantworten und Indexierungsregeln gemeinsam untersuchen. Für eine erste automatisierte Analyse kannst du zusätzlich den kostenlosen SEO-Check verwenden.
Für eine laufende technische Überwachung kannst du außerdem einen Free Account der Performance Suite anlegen. Der Ansatz eignet sich besonders für Websites, bei denen zahlreiche URLs, regelmäßige Veröffentlichungen oder technische Änderungen eine kontinuierliche Kontrolle erfordern.
Free Account anlegenHäufige Fragen zum Crawl Budget
Gibt es ein festes tägliches Crawl-Limit?
Nein. Suchmaschinen veröffentlichen kein dauerhaftes tägliches URL-Limit pro Website. Die Abrufmenge wird dynamisch an Serverreaktionen, Website-Struktur, Aktualität und vermuteten Crawling-Bedarf angepasst.
Kann eine XML-Sitemap das Crawl Budget erhöhen?
Eine XML-Sitemap erhöht die technische Kapazität nicht automatisch. Sie erleichtert Suchmaschinen jedoch das Auffinden relevanter URLs und kann dadurch die vorhandenen Crawling-Ressourcen gezielter auf indexierbare Seiten lenken.
Entfernt eine robots.txt gesperrte Seiten aus dem Index?
Nein. Die robots.txt steuert primär den Abruf einer URL. Eine bereits bekannte und indexierte Adresse kann weiterhin in Suchergebnissen erscheinen, wenn andere Signale auf sie verweisen.
Sind häufige Crawls automatisch ein positives SEO-Signal?
Häufige Crawls sind kein eigenständiger Nachweis für hohe Qualität oder gute Rankings. Sie zeigen zunächst nur, dass eine Suchmaschine bestimmte URLs regelmäßig abruft.
Wann sollte eine Logfile-Analyse durchgeführt werden?
Eine Logfile-Analyse ist besonders bei großen Websites, unerklärlichen Indexierungsproblemen, stark wachsender URL-Zahl oder umfangreichen Filter- und Parameterstrukturen sinnvoll.
Sie haben noch Fragen?
