Deep Crawl
Was ist ein Deep-Crawl?
Ein Deep-Crawl ist eine tiefgehende, systematische Analyse einer Website durch einen Crawler. Dabei folgt das Programm internen Links über mehrere Ebenen, erfasst erreichbare URLs und prüft technische Merkmale wie Statuscodes, Weiterleitungen, Canonicals, Indexierungsanweisungen und interne Verlinkungen. Ziel ist ein möglichst vollständiges Bild der crawlbaren Website-Struktur.
Was bedeutet ein tiefgehender Website-Crawl?
Ein Deep-Crawl bildet die technische und strukturelle Beschaffenheit einer Website möglichst umfassend ab. Ein automatisierter Crawler startet bei festgelegten Ausgangsadressen, ruft deren Inhalte ab und folgt den gefundenen Links. Dieser Vorgang wiederholt sich über mehrere Verzeichnisse und Klickebenen, bis eine definierte Grenze erreicht ist oder keine weiteren URLs gefunden werden.
Der Begriff wird im Deutschen auch als Tiefencrawl, umfassender Website-Crawl oder tiefgehende Crawling-Analyse bezeichnet. Die Crawl-Tiefe beschreibt dabei die Anzahl der Linkschritte zwischen einer Start-URL und einer untersuchten Zielseite. Eine URL auf Crawl-Tiefe 4 ist beispielsweise über mindestens vier interne Links von der gewählten Startseite erreichbar.
Ein Deep-Crawl dient vor allem der technischen SEO-Analyse. Er macht Fehler sichtbar, die bei einer manuellen Prüfung einzelner Seiten unentdeckt bleiben können. Dazu gehören defekte Links, Weiterleitungsketten, widersprüchliche Indexierungssignale, Duplicate Content, sehr tief eingebundene Inhalte und URLs, die unnötig viele Varianten erzeugen.
Wie funktioniert ein Deep-Crawl?
Ein Deep-Crawl beginnt mit mindestens einer Seed-URL, also einer Ausgangsadresse. Häufig wird die Startseite verwendet. Zusätzlich können XML-Sitemaps, URL-Listen oder ausgewählte Verzeichnisse als weitere Quellen dienen. Der Crawler lädt die Dokumente, analysiert den HTML-Code und nimmt gefundene Links in eine Warteschlange auf.
Für jede URL speichert der Crawler technische und inhaltliche Eigenschaften. Typische Datenpunkte sind HTTP-Statuscode, Seitentitel, Meta Description, Canonical-Tag, Robots-Anweisung, Überschriften, interne Links, Dateigröße, Ladezeit und Inhaltstyp. Bei entsprechend konfigurierten Systemen lassen sich außerdem JavaScript-basierte Inhalte rendern und untersuchen.
Professionelle Crawler erlauben die individuelle Festlegung der Crawl-Tiefe, des Zeitpunkts und der JavaScript-Verarbeitung. Eine angepasste Konfiguration verhindert, dass der Server überlastet wird oder der Crawl durch unwichtige URL-Varianten unnötig anwächst.
Welche Arten von Website-Crawls gibt es?
Website-Crawls unterscheiden sich durch Umfang, Ausgangsdaten, Rendering und Wiederholungsintervall. Die passende Variante hängt von der Größe der Website und dem Analyseziel ab. Ein vollständiger Deep-Crawl ist beispielsweise für ein technisches Audit sinnvoll, während ein segmentierter Crawl gezielt ein einzelnes Shop-Verzeichnis prüfen kann.
| Crawl-Variante | Umfang | Typischer Einsatz | Besonderheit |
|---|---|---|---|
| Flacher Crawl | Wenige Linkebenen | Schnelle Erstprüfung | Erfasst tief liegende URLs häufig nicht |
| Deep-Crawl | Viele oder alle erreichbaren Ebenen | Technisches SEO-Audit | Analysiert die interne Website-Struktur umfassend |
| Segmentierter Crawl | Bestimmte Verzeichnisse oder Seitentypen | Prüfung von Kategorien, Produkten oder Landingpages | Reduziert Laufzeit und Datenmenge |
| JavaScript-Crawl | Gerenderte Dokumente | Webanwendungen und dynamische Shops | Erfasst erst nach dem Rendering sichtbare Inhalte |
| Wiederkehrender Crawl | Definierter Umfang in festen Abständen | Technisches Monitoring | Zeigt Veränderungen zwischen zwei Prüfungen |
Welche SEO-Fehler erkennt ein Tiefencrawl?
Ein Tiefencrawl erkennt technische Muster über viele URLs hinweg. Dadurch lässt sich feststellen, ob ein Problem nur eine einzelne Seite betrifft oder aus Templates, Navigationsregeln und Einstellungen des Content-Management-Systems entsteht. Besonders bei Onlineshops können Filter, Sortierungen und Tracking-Parameter sehr große Mengen ähnlicher URLs erzeugen.
Ein Widerspruch zwischen XML-Sitemap und Indexierungsanweisung liegt beispielsweise vor, wenn eine URL in der Sitemap aufgeführt ist, zugleich aber ein Noindex-Signal enthält. Regelmäßige technische Prüfungen helfen, solche Konstellationen zu erkennen und die Sitemap auf indexierbare, relevante URLs zu begrenzen.
Kann ein Deep-Crawl verwaiste Seiten finden?
Ein reiner Link-Crawl kann verwaiste Seiten nicht selbstständig finden, wenn kein interner Link auf sie verweist. Solche Orphan Pages werden erst sichtbar, wenn der Crawler weitere Datenquellen einbezieht. Geeignet sind XML-Sitemaps, Server-Logfiles, Analyseplattformen, die Google Search Console oder eine importierte URL-Liste.
Der Abgleich mehrerer Quellen verbessert deshalb die Aussagekraft eines Deep-Crawls. Eine URL, die in einer Sitemap oder in Suchmaschinendaten erscheint, aber keine internen eingehenden Links besitzt, ist ein typischer Kandidat für eine verwaiste Seite. Anschließend muss geprüft werden, ob sie intern verlinkt, weitergeleitet, aktualisiert oder entfernt werden soll.
Warum ist ein Deep-Crawl für SEO, SEA und GEO relevant?
Für SEO liefert ein Deep-Crawl die Datengrundlage zur Bewertung von Crawlbarkeit, Indexierbarkeit und interner Verlinkung. Der Crawl selbst verbessert kein Ranking. Die daraus abgeleiteten Korrekturen können jedoch verhindern, dass relevante Inhalte durch technische Fehler blockiert, falsch kanonisiert oder nur über lange Linkpfade erreichbar sind.
Für SEA kann ein Deep-Crawl aktive Landingpages auf Fehler prüfen. Statuscodes, unbeabsichtigte Weiterleitungen, Ladeprobleme oder Noindex-Anweisungen wirken sich zwar unterschiedlich auf Anzeigen und organische Ergebnisse aus, weisen aber häufig auf technische Qualitätsprobleme hin. Eine mit Anzeigen verknüpfte Zielseite sollte dauerhaft erreichbar sein und den erwarteten Inhalt ausliefern.
Für GEO, die Generative Engine Optimization, unterstützt ein Deep-Crawl die technische Zugänglichkeit von Inhalten. Klare interne Verknüpfungen, stabile URLs, konsistente Canonicals und serverseitig verfügbare Hauptinhalte erleichtern verschiedenen Abrufsystemen die Erfassung einer Website. Der Crawl misst allerdings nicht automatisch, ob ChatGPT, Claude, Perplexity oder Gemini eine Marke in Antworten nennen.
Wie wertest du die Ergebnisse aus?
Die Auswertung sollte nach Fehlerauswirkung, URL-Anzahl und Seitentyp priorisiert werden. Ein einzelner defekter Link in einem Archiv hat meist eine andere Tragweite als ein fehlerhaftes Canonical-Tag auf sämtlichen Produktseiten. Vor einer Änderung ist deshalb zu prüfen, ob das Problem aus einem Template, einem Plugin oder einer individuellen Seitenkonfiguration stammt.
Ein sinnvoller Arbeitsablauf besteht aus Bestandsaufnahme, Ursachenanalyse, Priorisierung, Umsetzung und erneutem Crawl. Der Vergleich vor und nach der Korrektur zeigt, ob die Zahl betroffener URLs gesunken ist und keine unerwünschten Nebenwirkungen entstanden sind. Eine umfassende technische und inhaltliche SEO-Audit-Analyse verbindet Crawl-Daten zusätzlich mit Rankings, Indexierungsdaten und weiteren Kennzahlen.
Für einen ersten Überblick kannst du deine Website auf technische Grundlagen, Metadaten und erreichbare Unterseiten prüfen. Ein automatischer Check ersetzt bei großen oder dynamischen Websites keinen konfigurierten Deep-Crawl, kann aber typische Fehler und auffällige Seitenelemente früh sichtbar machen.
Welche Fehler verfälschen einen Deep-Crawl?
Ungeeignete Einstellungen können zu unvollständigen oder kaum auswertbaren Ergebnissen führen. Eine zu geringe Crawl-Tiefe blendet relevante Unterseiten aus. Fehlende Regeln für Kalender, Filter und Session-Parameter können dagegen Millionen technisch unterschiedlicher, aber inhaltlich ähnlicher URLs erzeugen.
Das Crawl-Budget des eigenen Analysewerkzeugs ist vom Crawl-Budget einer Suchmaschine zu unterscheiden. Ein externer SEO-Crawler verbraucht nicht das Google-Crawl-Budget. Er erzeugt jedoch zusätzliche Serveranfragen. Geschwindigkeit, Zeitfenster und URL-Grenzen sollten daher an Hosting-Leistung und Website-Größe angepasst werden.
Weitere technische Prüfmöglichkeiten und automatisierte Fehlerpriorisierungen beschreibt der Beitrag zum Einsatz eines SEO-Technik-Crawlers. Für wiederkehrende Kontrollen lässt sich ein Crawl mit Monitoring, Aufgabenverwaltung und Änderungsdokumentation verbinden.
Performance Suite
Die Performance Suite verbindet technische Crawling-Daten mit weiteren SEO-, SEA- und GEO-Informationen in einer zentralen Arbeitsumgebung.
Free Account anlegenHäufige Fragen zum Deep-Crawl
Wie lange dauert ein Deep-Crawl?
Die Dauer hängt von der URL-Anzahl, der Abrufgeschwindigkeit, der Serverleistung und dem JavaScript-Rendering ab. Kleine Websites können in wenigen Minuten analysiert werden, während große Shops oder Portale mehrere Stunden benötigen.
Wie oft sollte ein Tiefencrawl durchgeführt werden?
Ein vollständiger Tiefencrawl eignet sich vor technischen Änderungen, nach einem Relaunch und in regelmäßigen Abständen. Kritische Seitentypen können häufiger mit einem kleineren, segmentierten Crawl kontrolliert werden.
Ist eine hohe Crawl-Tiefe immer ein SEO-Fehler?
Eine hohe Crawl-Tiefe ist kein automatischer SEO-Fehler. Sie wird problematisch, wenn wichtige Seiten nur über lange Linkpfade erreichbar sind oder kaum interne Verweise erhalten.
Beachtet ein SEO-Crawler die robots.txt?
Die meisten SEO-Crawler können die Regeln der robots.txt beachten. Je nach Analyseziel lässt sich dieses Verhalten konfigurieren, wobei ein Umgehen der Regeln zusätzliche Serveranfragen erzeugen und bewusst dokumentiert werden sollte.
Was ist der Unterschied zwischen Crawling und Indexierung?
Beim Crawling ruft ein System URLs und deren Inhalte ab. Bei der Indexierung verarbeitet eine Suchmaschine die erfassten Informationen und entscheidet, ob eine Seite in ihren Suchindex aufgenommen wird.
Kann ein Deep-Crawl Logfile-Daten ersetzen?
Ein Deep-Crawl kann Logfile-Daten nicht ersetzen. Der Crawl zeigt, welche URLs ein bestimmtes Werkzeug erreichen kann, während Logfiles dokumentieren, welche URLs reale Suchmaschinen-Bots und andere Systeme tatsächlich angefordert haben.
Sie haben noch Fragen?
