Fresh Crawl
Was ist ein Fresh-Crawl?
Ein Fresh-Crawl ist das erneute, auf Aktualität ausgerichtete Crawlen einer bereits bekannten URL durch einen Suchmaschinenbot. Dabei prüft die Suchmaschine, ob sich Inhalte, Metadaten, Verlinkungen oder technische Signale verändert haben. Der Begriff wird im SEO häufig für zeitnahe Wiederholungsbesuche auf neuen oder regelmäßig aktualisierten Seiten verwendet.
Was bedeutet Fresh-Crawling?
Ein Fresh-Crawl, auch Aktualitäts-Crawl oder Fresh-Crawling genannt, bezeichnet die erneute Abfrage einer URL, um Änderungen gegenüber einer zuvor gespeicherten Version festzustellen. Suchmaschinen können dadurch neue Texte, aktualisierte Preise, geänderte Überschriften, zusätzliche interne Links oder technische Anpassungen erkennen.
Der Ausdruck stammt aus der früheren Unterscheidung zwischen häufigen Aktualitäts-Crawls und umfangreicheren Durchläufen durch den gesamten bekannten URL-Bestand. Auch der Begriff Freshbot wurde in diesem Zusammenhang verwendet. Heute ist Fresh-Crawling vor allem eine beschreibende SEO-Bezeichnung und kein separat steuerbarer Googlebot-Modus.
Ein erneuter Crawl führt nicht automatisch zu einer Indexierung oder einem besseren Ranking. Nach dem Abruf verarbeitet die Suchmaschine die gefundenen Informationen und entscheidet anschließend, ob sie die URL indexiert, ihre gespeicherte Version aktualisiert oder die Änderung zunächst nicht berücksichtigt.
Wie funktioniert ein Aktualitäts-Crawl?
Suchmaschinen legen für bekannte URLs individuelle Crawling-Frequenzen fest. Eine Nachrichtenseite mit mehreren täglichen Veröffentlichungen wird in der Regel häufiger besucht als eine statische Informationsseite, deren Inhalt über Monate unverändert bleibt. Die konkrete Frequenz wird algorithmisch bestimmt und lässt sich vom Websitebetreiber nicht verbindlich vorgeben.
Der Ablauf umfasst typischerweise mehrere Schritte:
Eine aktuelle XML-Sitemap kann Suchmaschinen auf wesentlich geänderte Seiten aufmerksam machen. Das darin verwendete <lastmod>-Element sollte ausschließlich das Datum einer tatsächlichen relevanten Änderung enthalten. Künstlich aktualisierte Zeitstempel liefern kein verlässliches Aktualitätssignal und können die effiziente Nutzung der Crawling-Ressourcen beeinträchtigen.
Welche Faktoren beeinflussen die Crawl-Frequenz?
Die Häufigkeit erneuter Crawls hängt von der Website und der einzelnen URL ab. Suchmaschinen versuchen, ihre Ressourcen bevorzugt dort einzusetzen, wo neue oder geänderte Informationen zu erwarten sind und der Abruf technisch zuverlässig möglich ist.
Fresh-Crawl, Recrawl und Deep Crawl im Vergleich
| Begriff | Bedeutung | Typischer Schwerpunkt | Steuerbarkeit |
|---|---|---|---|
| Fresh-Crawl | Zeitnaher erneuter Abruf einer bekannten oder neuen URL | Aktuelle Änderungen erkennen | Nur indirekt beeinflussbar |
| Recrawl | Allgemeiner Oberbegriff für das erneute Crawlen | Gespeicherte Informationen überprüfen | Nur indirekt beeinflussbar |
| Deep Crawl | Umfangreicher Crawl tieferer Websitebereiche | Viele URLs und Strukturebenen erfassen | Bei eigenen SEO-Crawlern konfigurierbar |
| Indexierung | Verarbeitung und mögliche Aufnahme einer Seite in den Suchindex | Bereitstellung für Suchergebnisse | Nicht garantiert |
Der Unterschied zwischen Fresh-Crawling und Indexierung liegt im Prozessschritt: Crawling beschreibt den Abruf einer Ressource, während Indexierung deren Verarbeitung und Speicherung für mögliche Suchergebnisse bezeichnet. Eine URL kann deshalb gecrawlt werden, ohne anschließend indexiert zu sein.
Warum ist Fresh-Crawling für SEO und GEO relevant?
Für SEO bestimmt der Zeitpunkt eines erneuten Crawls, wann eine Suchmaschine geänderte Inhalte technisch wahrnehmen kann. Aktualisierte Seitentitel, verbesserte Texte, korrigierte Canonical-Tags oder neue interne Links können erst nach einem erneuten Abruf verarbeitet werden. Eine unmittelbare Rankingänderung folgt daraus jedoch nicht zwingend.
Für GEO, die Generative Engine Optimization, ist die Aktualität indexierbarer und maschinenlesbarer Informationen ebenfalls relevant. Generative Suchsysteme können aktuelle Produktdaten, Leistungsbeschreibungen oder Unternehmensinformationen nur berücksichtigen, wenn ihre zugrunde liegenden Such- und Datenquellen die Änderungen erfasst haben.
SEA-Anzeigen werden nicht durch einen Fresh-Crawl ausgeliefert. Crawling bleibt für SEA dennoch relevant, weil Suchsysteme Zielseiten automatisiert prüfen können. Erreichbarkeit, Statuscodes und konsistente Inhalte unterstützen eine zuverlässige Verarbeitung der Landingpage, ersetzen aber keine kampagnenspezifische Qualitätsbewertung.
Wie lässt sich ein erneuter Crawl unterstützen?
Du solltest zuerst sicherstellen, dass der Suchmaschinenbot die betreffende URL technisch erreichen kann. Prüfe robots.txt-Regeln, Meta-Robots-Angaben, Canonical-Tags, HTTP-Statuscodes und interne Verlinkungen. Der kostenlose SEO-Check für Technik und Metadaten kann erste Auffälligkeiten sichtbar machen.
Bei großen Websites lohnt sich eine Priorisierung indexierbarer URLs. XML-Sitemaps sollten nur kanonische, erreichbare Seiten mit Statuscode 200 enthalten. Unnötige Filterseiten, Weiterleitungsketten, Fehler-URLs und widersprüchliche Indexierungssignale verbrauchen Crawling-Ressourcen, ohne einen entsprechenden Nutzen für die organische Sichtbarkeit zu liefern.
Regelmäßige technische Crawls zeigen, ob Änderungen erreichbar sind und korrekt ausgeliefert werden. Ein eigener Website-Crawler ist dabei vom Suchmaschinen-Crawl zu unterscheiden: Er simuliert den Abruf, dokumentiert technische Fehler und ermöglicht eine systematische Kontrolle. Der Leitfaden zum SEO-Technik-Crawler erläutert diesen Prüfprozess. Automatisierte Systeme können URLs täglich analysieren und behobene Fehler bei späteren Durchläufen erneut verifizieren.
Technische Crawling-Probleme systematisch prüfen
Wenn wichtige Änderungen über längere Zeit nicht verarbeitet werden, sollte ein technisches SEO-Audit die Erreichbarkeit, interne Linkstruktur, Sitemap, Statuscodes und Indexierungssignale untersuchen. Für kontinuierliche Crawl-Daten kann zusätzlich ein kostenloser Tool-Zugang genutzt werden.
Free Account anlegenHäufige Fragen zum Fresh-Crawling
Wie erkenne ich, wann Google eine URL zuletzt gecrawlt hat?
Für einzelne URLs zeigt die URL-Prüfung der Google Search Console das Datum des letzten bekannten Crawls an. Server-Logfiles können zusätzliche Bot-Zugriffe dokumentieren.
Kann eine Inhaltsänderung einen sofortigen Crawl auslösen?
Eine Inhaltsänderung garantiert keinen sofortigen Crawl. Interne Links, eine aktualisierte XML-Sitemap und die URL-Prüfung können die erneute Entdeckung unterstützen.
Ist häufiges Crawling automatisch ein positives SEO-Signal?
Häufiges Crawling ist kein eigenständiger Rankingfaktor. Es zeigt zunächst nur, dass eine Suchmaschine eine URL regelmäßig abruft und auf Veränderungen prüft.
Wie lange dauert es, bis eine Änderung in den Suchergebnissen erscheint?
Die Dauer reicht je nach Website, URL und Art der Änderung von wenigen Stunden bis zu mehreren Wochen. Auch nach dem Crawl kann die Verarbeitung zusätzliche Zeit beanspruchen.
Sollte das lastmod-Datum bei jeder kleinen Änderung aktualisiert werden?
Das lastmod-Datum sollte nur bei wesentlichen inhaltlichen oder technischen Änderungen angepasst werden. Automatische Datumswechsel ohne relevante Änderung liefern kein verlässliches Aktualitätssignal.
Sie haben noch Fragen?
