Wie steuert man das Crawling von Google?
Kurzantwort
Das Crawling von Google steuerst du über robots.txt, Robots-Meta-Anweisungen, interne Links, XML-Sitemaps, eindeutige Statuscodes und schnelle Serverantworten. Die robots.txt begrenzt Abrufe, verhindert aber keine sichere Indexierung. Besonders bei großen Websites solltest du zuerst gemessene URL-Muster auswerten und anschließend unnötige Filter-, Sortier- und Suchseiten begrenzen.
Das Crawling von Google zu steuern lohnt sich vor allem bei Onlineshops, Portalen und Websites mit vielen automatisch erzeugten URLs. Bei einer kleinen Unternehmenswebsite ist ein Crawl-Budget selten das Problem. Dort richtet übereifriges Sperren oft mehr Schaden an als eine technisch unperfekte, aber vollständig erreichbare Seitenstruktur.
1. Wie arbeitet ein Crawler?
Ein Crawler ruft eine bekannte URL ab, liest den HTML-Code, folgt erreichbaren Links und nimmt neu entdeckte Adressen in eine Warteschlange auf. Google nutzt dafür vor allem den Googlebot. Nach dem Abruf verarbeitet Google den Inhalt und entscheidet getrennt davon, ob die URL indexiert wird und für welche Suchanfragen sie infrage kommt.
Diese Trennung erklärt viele Missverständnisse: Crawling bedeutet Abrufen, Indexierung bedeutet Aufnehmen. Eine gecrawlte Seite muss nicht im Google-Index landen. Umgekehrt kann eine gesperrte URL anhand externer oder interner Links bekannt sein und unter Umständen als Adresse im Index erscheinen, obwohl Google ihren Inhalt nicht abrufen durfte.
Crawling in vier Schritten
Google entdeckt eine Adresse, prüft die Zugriffsregeln, ruft die Ressource ab und verarbeitet anschließend Inhalt, Links und Signale. Erst danach folgt die Indexierungsentscheidung. Wer das Crawling steuern möchte, muss deshalb immer klären, ob der Abruf, die Indexierung oder die Priorität einer URL verändert werden soll.
1.1 Wie arbeitet der Google Crawler?
Der Googlebot besucht Websites nicht in einer festen Reihenfolge. Er berücksichtigt unter anderem bereits bekannte Links, XML-Sitemaps, frühere Änderungen, die interne Bedeutung einer Seite und die Belastbarkeit des Servers. Häufig aktualisierte und gut verlinkte URLs werden tendenziell schneller wiedergefunden als tief versteckte Seiten ohne interne Links.
1.2 Wie schnell sind Crawler?
Die einzelne Serveranfrage kann in Sekundenbruchteilen abgeschlossen sein, der erneute Besuch einer bestimmten URL kann jedoch Stunden, Tage oder länger dauern. Eine feste Crawl-Geschwindigkeit gibt es nicht. Antwortet ein Server langsam oder mit vielen 5xx-Fehlern, reduziert Google seine Abrufe eher. Eine stabile, schnelle Website erlaubt mehr erfolgreiche Seitenabrufe pro Besuch.
1.3 Wie hieß der erste Webcrawler?
Der erste bekannte Webcrawler hieß World Wide Web Wanderer und wurde 1993 von Matthew Gray entwickelt. Der daraus entstandene Webindex wurde Wandex genannt. Für die heutige Crawl-Steuerung ist diese Historie nebensächlich, sie erklärt aber, warum Crawler seit den Anfängen des Webs vor allem über Links neue Dokumente entdecken.
2. Sechs Mittel zur Crawl-Steuerung
Die wirksamen Steuerungsmittel erfüllen unterschiedliche Aufgaben. Der häufigste technische Fehler besteht darin, Abrufkontrolle, Indexierungssteuerung und Priorisierung miteinander zu verwechseln. Die folgende Übersicht zeigt deshalb auch, was das jeweilige Mittel ausdrücklich nicht leistet.
| Mittel | Was es leistet | Was es nicht leistet |
|---|---|---|
| robots.txt | Begrenzt den Abruf bestimmter Pfade durch regelkonforme Bots | Garantiert nicht die Entfernung einer URL aus dem Index |
| Robots-Meta-Anweisung | Steuert mit index oder noindex die Aufnahme in den Index | Kann bei gesperrtem Abruf nicht zuverlässig gelesen werden |
| Interne Verlinkung | Zeigt Google wichtige Seiten und neue URL-Pfade | Erzwingt weder Abruf noch Indexierung |
| XML-Sitemap | Meldet relevante, kanonische Adressen | Ist keine Indexierungsgarantie |
| Statuscodes | Kommunizieren Erreichbarkeit, Umzüge und entfernte Inhalte | Ersetzen keine saubere Seitenstruktur |
| Serverleistung | Ermöglicht mehr erfolgreiche Abrufe in kurzer Zeit | Macht irrelevante URLs nicht automatisch relevant |
2.1 robots.txt begrenzt den Abruf
Die Datei robots.txt liegt im Stammverzeichnis der Domain und legt fest, welche Pfade ein Crawler abrufen darf. Sie eignet sich beispielsweise für interne Suchergebnisse, bestimmte Parameterpfade oder technische Bereiche. Ein Disallow ist jedoch kein Löschbefehl für den Google-Index.
Kombiniere eine robots.txt-Sperre nicht blind mit noindex. Wenn Google eine URL wegen der robots.txt nicht abrufen darf, kann der Googlebot die Robots-Meta-Anweisung im HTML nicht sehen. Soll eine bereits bekannte Seite aus dem Index verschwinden, muss sie zunächst abrufbar bleiben, damit Google noindex verarbeiten kann.
2.2 Robots-Meta steuert die Indexierung
Mit <meta name='robots' content='noindex, follow'> lässt sich eine abrufbare Seite von der Indexierung ausschließen, während Links grundsätzlich weiter verfolgt werden können. Das passt etwa zu internen Suchergebnissen, Dankeseiten oder inhaltlich schwachen Filteransichten. Die Anweisung wirkt erst, nachdem Google die Seite gecrawlt hat.
2.3 Interne Links verteilen Aufmerksamkeit
Interne Links zeigen dem Googlebot, welche Seiten zusammengehören und wie wichtig eine URL innerhalb der Website ist. Eine zentrale Kategorie, die aus Navigation, Startseite und Themenübersichten verlinkt wird, erhält mehr Aufmerksamkeit als ein Produkt, das erst nach fünf Klicks erreichbar ist. Für wichtige Inhalte sind kurze, stabile Linkwege meist wirksamer als Sitemap-Einträge allein.
2.4 Die Sitemap meldet Adressen
Eine XML-Sitemap sollte nur indexierbare, kanonische URLs enthalten, die den Statuscode 200 liefern. Noindex-Seiten, Weiterleitungen und Fehlerseiten in der Sitemap senden widersprüchliche Signale und verbrauchen Abrufe für Adressen, die nicht in die Suche sollen. Auch Canonical-URLs, die auf andere Seiten zeigen, gehören nicht in die Sitemap.
Das lastmod-Datum kann Google auf tatsächliche Inhaltsänderungen hinweisen. Aktualisiere es nur, wenn sich die jeweilige Seite wesentlich geändert hat. Ein täglich neu gesetztes Datum bei unverändertem Inhalt verbessert die Crawl-Priorität nicht verlässlich und schwächt die Aussagekraft der Sitemap.
2.5 Statuscodes vermeiden Sackgassen
Ein Statuscode 200 bestätigt eine erreichbare Ressource. Dauerhaft verschobene Inhalte sollten direkt per 301 auf das passende Ziel führen. Entfernte Inhalte antworten mit 404 oder bewusst mit 410. Lange Weiterleitungsketten, interne Links auf Fehlerseiten und 5xx-Antworten kosten dagegen Abrufe, ohne Google verwertbaren Inhalt zu liefern.
Besonders teuer wird ein Statuscode-Problem, wenn die Sitemap eine URL meldet, interne Links auf eine zweite Adresse zeigen und der Canonical auf eine dritte verweist. Google erhält dann drei verschiedene Signale für denselben Inhalt. Der saubere Zustand besteht aus einer intern verlinkten, indexierbaren 200-URL, die sich selbst als kanonische Adresse nennt.
2.6 Schnelle Server erlauben mehr Abrufe
Google passt seine Abrufe an die Reaktion des Servers an. Kurze und stabile Antwortzeiten erhöhen die Zahl der Seiten, die der Googlebot innerhalb eines Besuchs erfolgreich erfassen kann. Wiederkehrende Timeouts und 5xx-Fehler führen dagegen dazu, dass wertvolle URLs später oder unvollständig verarbeitet werden.
Prüfe die technische Geschwindigkeit nicht nur einmal nach einem Relaunch. Lastspitzen, langsame Datenbankabfragen und fehlerhafte Erweiterungen treten oft nur zeitweise auf. Ein einzelner Labortest am Montagvormittag übersieht genau die Belastungsprobleme, die der Googlebot am Abend oder während eines Produktimports erlebt.
Du kannst die aktuelle Seitengeschwindigkeit direkt prüfen:
3. URL-Varianten sind der größte Hebel
Bei größeren Websites entscheidet selten eine einzelne robots.txt-Zeile über das Crawl-Budget. Der eigentliche Kipppunkt sind Filter-, Sortier-, Such- und Parameterseiten. Acht Farben, sechs Größen und fünf Marken ergeben bereits 240 Filterkombinationen. Mit Preisfiltern, Sortierungen und Seitennummerierungen entstehen daraus schnell Tausende technisch erreichbare Adressen für denselben Produktbestand.
Bei einem Shop-Crawl fällt das Problem oft erst in der URL-Liste auf: Die Zahl der gefundenen Adressen liegt weit über der Zahl der Produkte und Kategorien. Der Crawler verbringt dann einen großen Teil seiner Zeit mit Kombinationen wie ?farbe=blau&sort=preis, obwohl genau diese Seiten weder gesucht werden noch eigenständigen Inhalt besitzen. Für Shops mit vielen URL-Varianten ist das meist der wirksamste technische Hebel.
Messbar wird die Adressvielfalt mit dem Technical Crawler der Performance Suite. Er prüft je Durchlauf über 100 technische Punkte und zeigt Entwicklungen über mehrere Crawls. Dazu gehören unter anderem Statuscodes, Sitemap-Widersprüche, Canonicals, robots.txt und interne Links. So wird sichtbar, welche URL-Muster wachsen und wo Crawl-Kapazität verpufft.
Lege für die erste Bestandsaufnahme einen Free Account an und prüfe, welche technischen Muster deine Domain tatsächlich erzeugt.
4. Kleine Websites brauchen wenig Steuerung
Eine Website mit wenigen Dutzend sauber verlinkten Seiten benötigt meist keine ausgefeilte Crawl-Budget-Strategie. Wenn alle wichtigen URLs mit Status 200 antworten, intern erreichbar sind und in einer konsistenten Sitemap stehen, kann Google die Domain gewöhnlich problemlos erfassen. Zusätzliche Sperrregeln schaffen in dieser Größenordnung selten einen messbaren Vorteil.
Der typische Fehler bei kleinen Domains ist Übersteuerung. Ein neues robots.txt-Plugin sperrt versehentlich Ressourcen, eine Kategorie erhält noindex oder ein Canonical zeigt auf die Startseite. Die bessere Priorität lautet: Erreichbarkeit sicherstellen, Fehler beseitigen und relevante Inhalte intern verlinken. Erst bei einer auffälligen URL-Vervielfachung lohnt sich eine strengere Kontrolle.
Eine einfache Entscheidungshilfe: Liegt die Zahl der crawlbaren Adressen ungefähr in der Größenordnung deiner echten Inhalte, konzentriere dich auf Qualität und Verlinkung. Findet ein Crawl dagegen ein Vielfaches der erwarteten Seitenzahl, untersuche zuerst Parameter, Filter, Kalender, Suchseiten und automatisch erzeugte Archive.
5. Website von Google crawlen lassen
Eine neue oder aktualisierte Website lässt sich über die Google Search Console anstoßen. Prüfe die konkrete URL mit der URL-Prüfung und beantrage die Indexierung. Reiche zusätzlich die XML-Sitemap in der Search Console ein und verlinke neue Inhalte von bereits bekannten Seiten. Das ist gemeint, wenn Nutzer nach „Google Crawl verwenden“ suchen.
Die Indexierungsanfrage ist eine Meldung, kein Befehl. Google entscheidet selbst über Zeitpunkt, Abruf und Indexierung. Stand 2026 gibt es keine Schaltfläche, mit der du eine komplette Website sofort crawlen oder eine feste Crawl-Geschwindigkeit erzwingen kannst. Wiederholte Anträge für dieselbe unveränderte URL beschleunigen den Vorgang nicht zuverlässig.
5.1 Wann kommt der Googlebot wieder?
Der Wiederbesuch hängt von der Bedeutung, Aktualität und technischen Erreichbarkeit einer URL ab. Nachrichtenseiten können sehr häufig besucht werden, während eine kaum verlinkte Leistungsseite deutlich länger wartet. Neue interne Links, eine korrekte Sitemap und reale Inhaltsänderungen liefern bessere Signale als ein künstlich aktualisiertes Veröffentlichungsdatum.
6. Erst messen, dann eingreifen
Beginne jede Crawl-Steuerung mit einer vollständigen URL-Auswertung. Vergleiche die vom Crawler gefundenen Adressen mit Sitemap, internen Links und den Crawl-Informationen der Google Search Console. Gruppiere URLs nach Verzeichnis, Parameter und Seitentyp. Erst danach lässt sich entscheiden, ob robots.txt, noindex, Canonicals, Verlinkung oder die URL-Erzeugung angepasst werden muss.
Eine tiefe technische Prüfung im SEO-Audit lohnt sich, wenn Crawl-Daten, Indexierungsstatus und Website-Struktur unterschiedliche Bilder liefern. Die Fehleranzahl allein reicht für die Priorisierung nicht. Eine zentrale Kategorie mit einem technischen Problem verdient mehr Aufmerksamkeit als viele bedeutungslose Parameterseiten mit demselben Fehler.
7. So gehen wir vor
Die Online Solutions Group GmbH analysiert zuerst, welche URLs eine Domain erzeugt und welche davon Google erreichen sollen. Der Technical Crawler macht Statuscodes, Sitemap-Widersprüche, Canonicals, interne Linkwege und wachsende Parametermuster sichtbar. Unsere Experten priorisieren anschließend nach möglicher Traffic-Wirkung und stimmen Änderungen mit deiner festen Ansprechperson ab. Bei Shops beginnt die Umsetzung meist mit Filtern und Sortierungen, bei kleineren Websites mit Erreichbarkeit und interner Verlinkung.
8. Häufige Fragen zum Googlebot
Kann ich Google bitten, meine Website erneut zu crawlen?
Ja. Nutze die URL-Prüfung in der Google Search Console und beantrage die Indexierung der betreffenden Adresse. Die Anfrage stößt eine Prüfung an, garantiert aber weder einen sofortigen Abruf noch die Aufnahme in den Index.
Verhindert die robots.txt eine Indexierung?
Nein. Die robots.txt begrenzt den Abruf, eine bekannte URL kann trotzdem als Adresse im Index erscheinen. Für den Ausschluss aus den Suchergebnissen muss Google eine noindex-Anweisung abrufen und verarbeiten können.
Wie lange braucht Google zum Crawlen?
Das kann von wenigen Stunden bis zu mehreren Wochen dauern. Häufig aktualisierte, intern gut verlinkte und technisch schnell erreichbare Seiten werden meist öfter besucht als tiefe oder kaum verlinkte URLs.
Kann Google verwaiste Seiten crawlen?
Ja, wenn Google die Adresse aus einer XML-Sitemap, einem externen Link oder einem früheren Crawl kennt. Ohne interne Links erhält die Seite jedoch weniger klare Signale zu ihrer Bedeutung innerhalb der Website.
Sollten noindex-Seiten in der Sitemap stehen?
Nein. Eine XML-Sitemap sollte nur kanonische und indexierbare URLs mit Statuscode 200 enthalten. Noindex-Seiten in der Sitemap senden widersprüchliche Signale und verursachen unnötige Abrufe.
Wann sollte ich mir wegen des Crawl-Budgets Sorgen machen?
Vor allem dann, wenn deine Website sehr viele dynamische URLs, Filterkombinationen, Suchseiten oder häufig wechselnde Inhalte erzeugt. Bei kleinen, sauber strukturierten Websites ist eine besondere Crawl-Budget-Steuerung meist nicht erforderlich.
Wie kann ich den Google Crawler schneller machen?
Du kannst keine feste Geschwindigkeit vorgeben. Schnelle und stabile Serverantworten, klare Statuscodes, kurze interne Linkwege, eine saubere Sitemap und die Begrenzung unnötiger URL-Varianten erleichtern Google jedoch den effizienten Abruf.
Die beste Crawl-Regel entsteht nicht in der robots.txt, sondern aus einer sauberen Diagnose. Prüfe zuerst, wohin Google und andere Crawler ihre Zeit verteilen. Begrenze anschließend nur die URL-Muster, die nachweislich Kapazität verbrauchen, und halte wichtige Seiten schnell, intern erreichbar und technisch eindeutig.
Wenn du die Crawl-Struktur deiner Domain gemeinsam priorisieren möchtest, prüft die OSG im kostenlosen Erstgespräch die technischen Hebel und den sinnvollen Umfang. Das Gespräch ist unverbindlich und ohne Verkaufsdruck.
Keine Kommentare vorhanden