Googlebot

Wie funktioniert der Google-Crawler?

Der Googlebot durchsucht das Web automatisiert, um neue und aktualisierte Inhalte für die Google-Suche zu erfassen. Ausgangspunkte sind unter anderem bereits bekannte Seiten, crawlbare Links und XML-Sitemaps. Gefundene URLs werden in eine Warteschlange aufgenommen und abhängig von technischer Erreichbarkeit, Crawl-Bedarf und verfügbaren Ressourcen erneut abgerufen.

Beim Abruf einer URL sendet der Crawler eine HTTP-Anfrage an den Webserver. Der Server antwortet beispielsweise mit dem Statuscode 200 für eine erreichbare Seite, 301 für eine dauerhafte Weiterleitung oder 404 für eine nicht gefundene Ressource. Google verarbeitet anschließend den ausgelieferten HTML-Code, relevante Dateien und die darin enthaltenen Links.

JavaScript-basierte Seiten durchlaufen typischerweise drei Phasen: Crawling, Rendering und Indexierung. Beim Rendering führt Googles Web Rendering Service JavaScript mit einer Chromium-Umgebung aus. Erst danach können Inhalte berücksichtigt werden, die nicht im ursprünglichen HTML stehen, sondern durch Skripte erzeugt werden. Das Rendering kann später als der erste Abruf erfolgen.

Welche Varianten des Googlebots gibt es?

Google unterscheidet beim allgemeinen Webcrawler zwischen dem Googlebot Smartphone und dem Googlebot Desktop. Beide verwenden in der robots.txt denselben Produkt-Token. Eine Website kann dort deshalb nicht unterschiedliche Regeln ausschließlich für die Smartphone- und Desktop-Variante des Crawlers definieren.

Google nutzt für die meisten Websites die mobile Inhaltsversion zur Indexierung und Bewertung. Deshalb stammt der überwiegende Teil der allgemeinen Crawl-Anfragen vom Smartphone-Crawler. Relevante Texte, strukturierte Daten, interne Links, Bilder und Meta-Angaben sollten auf der mobilen Version vollständig verfügbar sein.

Neben dem allgemeinen Webcrawler betreibt Google spezialisierte Crawler und Fetcher für weitere Produkte und Inhaltstypen. Dazu gehören beispielsweise Crawler für Bilder, Videos, Nachrichten oder Anzeigenziele. AdsBot-Google ist ein eigener Anzeigen-Crawler und darf nicht mit dem allgemeinen Googlebot gleichgesetzt werden.

Wie lassen sich Crawling und Indexierung steuern?

Die Datei robots.txt regelt, welche Bereiche einer Website Suchmaschinen-Crawler abrufen dürfen. Sie liegt im Stammverzeichnis eines Hosts und enthält Anweisungen wie User-agent, Disallow und Allow. Eine robots.txt-Sperre verhindert den Abruf des Seiteninhalts, ist aber keine zuverlässige Anweisung zur Entfernung einer URL aus dem Suchindex.

Die Indexierung einer erreichbaren HTML-Seite lässt sich mit der Robots-Anweisung noindex verhindern. Damit Google diese Anweisung erkennen kann, muss der Crawler die Seite abrufen dürfen. Wird dieselbe URL zugleich per robots.txt blockiert, kann Google das noindex-Element im Seiteninhalt nicht auslesen.

• Die robots.txt steuert den Zugriff des Crawlers auf URLs und Ressourcen.
• Die Anweisung noindex steuert die Aufnahme einer erreichbaren Ressource in den Suchindex.
• Ein Canonical-Tag nengte URL unter mehreren ähnlichen oder identischen Varianten.
• Eine XML-Sitemap weist auf relevante, neue oder geänderte URLs hin, erzwingt aber weder Crawling noch Indexierung.

XML-Sitemap, robots.txt, Canonical-Tags und Indexierungsanweisungen sollten widerspruchsfrei konfiguriert sein. Eine Sitemap sollte primär kanonische, indexierbare URLs mit erfolgreichem Statuscode enthalten. Gesperrte, weitergeleitete, gelöschte oder mit noindex gekennzeichnete URLs erzeugen unnötige Signale und können die technische Kontrolle erschweren.

Was bedeutet das Crawl-Budget?

Das Crawl-Budget beschreibt die Menge an URLs, die Googles Systeme auf einem Host crawlen können und crawlen wollen. Es ergibt sich aus der technischen Crawl-Kapazität und dem Crawl-Bedarf. Die Kapazität berücksichtigt unter anderem Serverreaktionen und Antwortzeiten, während der Bedarf beispielsweise von Aktualität, Einzigartigkeit und wahrgenommenem Nutzen der Inhalte beeinflusst wird.

Für kleine und mittelgroße Websites ist das Crawl-Budget selten ein eigenständiges Optimierungsziel. Größere Onlineshops, Marktplätze und Portale können dagegen durch Filterparameter, Session-URLs, interne Suchergebnisse und Duplicate Content sehr viele URL-Varianten erzeugen. Der Crawler verarbeitet dann möglicherweise redundante Seiten, während neue oder geänderte Inhalte später entdeckt werden.

Eine effiziente URL-Struktur konzentriert Crawling-Ressourcen auf relevante Inhalte. Dazu gehören kurze Weiterleitungsketten, stabile Serverantworten, konsistente Canonical-Signale, aktuelle Sitemaps und eine kontrollierte facettierte Navigation. Statuscodes wie 429 oder wiederkehrende 5xx-Fehler können Googles Crawl-Kapazität reduzieren, weil sie Überlastung oder technische Probleme signalisieren.

Warum ist der Googlebot für SEO und GEO relevant?

Für SEO bildet die technische Erreichbarkeit durch den Googlebot eine Voraussetzung dafür, dass Seiteninhalte vollständig verarbeitet werden können. Blockierte Ressourcen, fehlerhafte interne Links, lange Weiterleitungsketten oder nicht ausführbares JavaScript können dazu führen, dass Google Texte, Navigationselemente und strukturierte Daten unvollständig erkennt.

Der Crawler selbst vergibt keine Rankings. Nach dem Crawling analysieren weitere Google-Systeme den Inhalt, bestimmen mögliche kanonische URLs und bewerten die Eignung für den Index. Eine häufige Crawl-Aktivität ist daher kein Beleg für hohe Rankings, während ein seltener Abruf nicht automatisch auf eine Abstrafung hinweist.

Für SEA ist der allgemeine Googlebot nur indirekt relevant, weil Google Anzeigenziele durch separate Systeme wie AdsBot prüfen kann. Technische Fehler auf Landingpages betreffen dennoch beide Kanäle: Nicht erreichbare Seiten verlieren organische Zugänglichkeit und können zugleich die Auslieferung oder Qualität bezahlter Kampagnen beeinträchtigen.

GEO, die Generative Engine Optimization, umfasst die Optimierung von Inhalten für generative Such- und Antwortsysteme. Eine gute Zugänglichkeit für den Googlebot unterstützt die Verarbeitung in der klassischen Google-Suche, garantiert aber keine Nennung durch ChatGPT, Claude, Perplexity oder Gemini. Diese Dienste verwenden eigene Datenquellen, Crawler und Abrufmechanismen.

Wie prüfst du den Zugriff des Crawlers?

Die Google Search Console zeigt im Bericht zur Crawling-Statistik unter anderem Abrufe, Dateitypen, Antwortcodes und Reaktionszeiten des Hosts. Mit der URL-Prüfung kannst du eine einzelne Seite testen und kontrollieren, ob Google sie abrufen und rendern kann. Bei JavaScript-Seiten sollte zusätzlich geprüft werden, ob der gerenderte HTML-Code alle wichtigen Inhalte und Links enthält.

Server-Logfiles liefern die genaueste Übersicht über tatsächliche Crawler-Anfragen. Der User-Agent allein ist jedoch kein sicherer Identitätsnachweis, weil andere Bots ihn kopieren können. Verdächtige Anfragen lassen sich per Reverse-DNS-Prüfung oder durch einen Abgleich mit den veröffentlichten IP-Bereichen der Google-Crawler verifizieren.

• Prüfe regelmäßig, ob wichtige Seiten den Statuscode 200 zurückgeben.
• Kontrolliere, ob robots.txt-Regeln benötigte Seiten, CSS-Dateien oder JavaScript-Ressourcen sperren.
• Vergleiche XML-Sitemap, Canonical-Tags und Indexierungsstatus miteinander.
• Untersuche Logfiles auf Crawl-Frequenz, Fehlercodes und auffällige URL-Parameter.
• Teste nach Relaunches, CMS-Updates und Änderungen an der Navigation repräsentative URLs erneut.

Ein technischer Crawler ergänzt die Google-Daten, indem er Websites aus Sicht eines automatisierten Clients analysiert. Der Technik-Crawler der Performance Suite prüft unter anderem Statuscodes, Canonicals, robots.txt und Sitemaps. Für eine umfassende Bestandsaufnahme eignet sich außerdem ein technisches und inhaltliches SEO-Audit.

Häufige Fehler beim Umgang mit dem Google-Crawler

Eine unbeabsichtigte robots.txt-Sperre kann wichtige Seiten oder Ressourcen vom Crawling ausschließen. Besonders nach einem Relaunch bleiben gelegentlich Regeln aus Entwicklungsumgebungen bestehen. Ebenfalls problematisch sind endlose URL-Parameter, Weiterleitungsschleifen, Soft-404-Seiten und interne Links auf nicht kanonische URL-Versionen.

Wenn du technische Crawling-Probleme systematisch überwachen und für weitere Analysen exportieren möchtest, kannst du einen kostenlosen Zugang zur Performance Suite anlegen. Der Free Account verbindet technische Prüfungen mit SEO-Daten und stellt einen kostenlosen Export bereit.

Häufige Fragen zum Googlebot