Screaming Frog

Was ist Screaming Frog?

Screaming Frog ist ein SEO-Tool, das Websites automatisiert crawlt und technische sowie inhaltliche Seiteneigenschaften erfasst. Der sogenannte SEO Spider folgt internen Links ähnlich einem Suchmaschinen-Crawler und prüft unter anderem Statuscodes, Weiterleitungen, Seitentitel, Canonical Tags und Indexierungsanweisungen. Die kostenlose Version verarbeitet pro Crawl bis zu 500 URLs.

Wie Screaming Frog funktioniert

Screaming Frog ist eine lokal installierte Crawling-Software für Windows, macOS und Linux. Das Programm startet bei einer eingegebenen URL, ruft deren Quellcode ab und folgt den gefundenen internen Links. Aus jeder erreichbaren Ressource entsteht ein Datensatz, der technische Merkmale und Verknüpfungen innerhalb der Website sichtbar macht.

Der englische Begriff Website Crawler bezeichnet ein Programm, das URLs systematisch abruft und miteinander verknüpft. Screaming Frog simuliert dabei keinen vollständigen Google-Crawl. Google berücksichtigt zusätzliche Signale, frühere Crawls und externe Links. Ein Screaming-Frog-Crawl zeigt deshalb den Zustand, den der konfigurierte SEO Spider zum Zeitpunkt der Analyse erreichen konnte.

Die Crawl-Konfiguration bestimmt wesentlich, welche Ergebnisse entstehen. Nutzer können beispielsweise festlegen, ob Subdomains, Bilder, CSS-Dateien, JavaScript-Ressourcen oder URL-Parameter einbezogen werden. Auch das Rendering lässt sich konfigurieren. Beim JavaScript-Rendering verarbeitet Screaming Frog dynamisch erzeugte Inhalte, die im ursprünglichen HTML noch nicht vorhanden sind.

Welche Daten erfasst Screaming Frog?

Screaming Frog sammelt technische und inhaltliche Seitensignale auf URL-Ebene. Dadurch lassen sich Fehler nicht nur zählen, sondern konkreten Adressen zuordnen. Die Exportfunktionen ermöglichen anschließend eine Bearbeitung in Tabellen oder die Übergabe an Entwickler, Redakteure und SEO-Verantwortliche.

Statuscodes: Erfolgreiche Aufrufe, Weiterleitungen, Clientfehler und Serverfehler werden anhand der HTTP-Antwort klassifiziert.
Metadaten: Seitentitel und Meta Descriptions lassen sich auf fehlende, doppelte oder auffällig lange Angaben prüfen.
Indexierungssteuerung: Canonical Tags, Meta-Robots-Angaben und weitere Direktiven zeigen, welche URLs indexiert werden sollen.
Interne Verlinkung: Ein- und ausgehende Links machen Linkwege, Klicktiefe und schwach eingebundene Seiten sichtbar.
Inhaltsmerkmale: Überschriften, Wortanzahl, Duplikate und Seitengröße unterstützen die Onpage-Analyse.
Medien und Ressourcen: Bilder, Skripte und Stylesheets können nach Statuscode, Größe und Einbindung ausgewertet werden.

Messbar ist die technische Qualität beispielsweise über den Anteil fehlerhafter interner Ziele. Die Beispielrechnung lautet: 30 interne Links mit einem 4xx-Statuscode geteilt durch 3.000 geprüfte interne Links, multipliziert mit 100, ergeben eine Fehlerquote von 1 Prozent. Die Quote zeigt das Ausmaß, ersetzt aber nicht die Priorisierung nach betroffenen Seiten und Nutzerwegen.

Screaming Frog im SEO-Audit

Screaming Frog eignet sich besonders für eine technische SEO-Analyse, weil das Programm große Mengen an URL-Daten einheitlich erfasst. Ein sinnvoller Audit beginnt mit der Crawl-Abdeckung: Stimmen die gefundenen Seitentypen mit der tatsächlichen Website-Struktur überein, oder fehlen wichtige Kategorien, Produkte und Ratgeber?

Eine hohe Zahl gefundener URLs ist nicht automatisch ein Qualitätsmerkmal. Der Crawl kann durch Filterseiten, Session-Parameter, Kalenderfunktionen oder facettierte Navigation zahlreiche Varianten derselben Inhalte erfassen. Wenn eine Website 1.000 vorgesehene Inhaltsseiten besitzt, der Crawler jedoch zehntausende parameterbasierte Adressen findet, muss zuerst die URL-Entstehung geprüft werden.

Technische Fehler priorisieren

Screaming Frog bewertet einen Fund nicht automatisch nach seinem wirtschaftlichen Schaden. Ein fehlerhafter Link von der Startseite zu einer umsatzrelevanten Kategorie benötigt meist früher Aufmerksamkeit als eine vergleichbare Verknüpfung in einem alten Archiv. Statuscode, Linkquelle, Klicktiefe, Seitentyp und organischer Traffic müssen deshalb gemeinsam betrachtet werden.

Ein typischer Prüfablauf umfasst die folgenden Schritte:

Crawl-Bereich, User-Agent und Rendering festlegen.
Indexierbare HTML-Seiten von Medien und technischen Ressourcen trennen.
Statuscodes und Weiterleitungsketten kontrollieren.
Canonical Tags und Indexierungsanweisungen gegeneinander prüfen.
Seitentitel, Überschriften und interne Verlinkung nach Seitentyp auswerten.
Fehler nach Reichweite, Seitennutzen und Umsetzungsaufwand priorisieren.

Für einen ersten Überblick kannst du außerdem einen kostenlosen SEO-Check nutzen. Ein vollständiger Audit geht darüber hinaus, weil technische Funde gegen Geschäftsziele, Seitentypen und vorhandene Leistungsdaten geprüft werden müssen.

Typische Fehler beim Crawling

Ein unvollständiger Crawl wird häufig fälschlich als vollständiges Abbild der Website interpretiert. Screaming Frog findet im Spider-Modus grundsätzlich nur URLs, die über den gewählten Startpunkt und die erlaubten Linkwege erreichbar sind. Verwaiste Seiten ohne interne Verlinkung erscheinen daher erst, wenn zusätzliche URL-Quellen wie eine XML-Sitemap oder eine importierte Adressliste einbezogen werden.

Ein Crawl-Bericht ist nur so belastbar wie seine Konfiguration. Ausgeschlossene Subdomains, blockierte Ressourcen, nicht gerendertes JavaScript oder falsch behandelte URL-Parameter können dazu führen, dass Seitentypen fehlen oder mehrfach erscheinen. Prüfe vor der Fehlerbewertung deshalb Stichproben aus Navigation, Sitemap und wichtigen Landingpages.

Auch robots.txt-Regeln und Noindex-Anweisungen werden häufig verwechselt. Eine robots.txt-Sperre kann verhindern, dass der Crawler den Seiteninhalt abruft. Eine Noindex-Anweisung kann dagegen erst erkannt werden, wenn die betreffende URL gecrawlt werden darf. Der Bericht muss deshalb getrennt ausweisen, ob eine URL unerreichbar, gesperrt oder ausdrücklich von der Indexierung ausgeschlossen ist.

Screaming Frog und andere SEO-Tools

Der Unterschied zwischen Screaming Frog und einem kontinuierlichen Technik-Monitoring liegt im Zeitpunkt der Datenerhebung. Screaming Frog liefert zunächst eine Momentaufnahme eines gestarteten oder geplanten Crawls. Ein cloudbasiertes Monitoring prüft definierte Fehler dagegen regelmäßig und kann Veränderungen automatisch melden.

Methode	Stärke	Typischer Einsatz
Screaming Frog	Flexible Detailanalyse auf URL-Ebene	Audits, Relaunches und individuelle Prüfungen
Kontinuierlicher Technik-Crawler	Regelmäßige Prüfungen und automatische Meldungen	Laufende Qualitätssicherung
Manuelle Prüfung	Bewertung von Inhalt, Darstellung und Nutzerführung	Stichproben und fachliche Einordnung

Ein automatisierter Technik-Crawler ergänzt die punktuelle Analyse, wenn Fehler und Veränderungen laufend überwacht werden sollen. Für die Auswahl eines passenden Systems zählen Crawl-Abdeckung, Exportmöglichkeiten, historische Daten und die Frage, ob Funde automatisch priorisiert werden. Eine Übersicht liefert der Vergleich verschiedener SEO-Tools für Unternehmen.

Nutzen für SEO, SEA und GEO

Für SEO deckt Screaming Frog technische Hindernisse auf, die Crawling, Indexierung und interne Linkverteilung beeinflussen. Dazu zählen defekte Links, unnötige Weiterleitungsketten, widersprüchliche Canonical Tags und Seiten ohne eindeutigen Titel. Die Software verbessert keine Rankings selbst, sondern liefert die Datengrundlage für konkrete Korrekturen.

Für SEA kann Screaming Frog die Ziel-URLs von Anzeigen und Kampagnen prüfen. Fehlerhafte Statuscodes, Weiterleitungen oder versehentlich ausgeschlossene Landingpages lassen sich dadurch vor oder während einer Kampagne erkennen. Der Crawl ersetzt jedoch keine Analyse von Klickkosten, Conversion-Rate oder Anzeigenleistung.

Für GEO, ausgeschrieben Generative Engine Optimization, wirkt Screaming Frog indirekt. Technisch erreichbare, eindeutig ausgezeichnete und intern verlinkte Inhalte können von Suchmaschinen und anderen automatisierten Systemen leichter verarbeitet werden. Screaming Frog misst allerdings nicht, ob eine Marke in ChatGPT, Perplexity, Gemini oder Grok genannt oder als Quelle verwendet wird.

Screaming Frog im Tool-Stack 2026

Screaming Frog passt vor allem zu SEO-Managern, Agenturen und Entwicklern, die technische Details flexibel untersuchen möchten. Die kostenlose Version ist mit höchstens 500 gecrawlten URLs für kleine Websites und Stichproben geeignet. Bei größeren Domains kann das Limit bereits durch Bilder, Skripte und URL-Varianten erreicht werden.

Die kostenpflichtige Variante hebt das URL-Limit der kostenlosen Version auf. Die tatsächlich verarbeitbare Crawl-Größe hängt weiterhin vom Arbeitsspeicher, dem gewählten Speichermodus, der Rechnerleistung und der Website-Antwortzeit ab. Für umfangreiche Onlineshops sollte deshalb vor dem Crawl festgelegt werden, welche Hosts, Dateitypen und Parameter für die jeweilige Fragestellung benötigt werden.

Häufige Fragen zu Screaming Frog

Ist Screaming Frog kostenlos?

Screaming Frog kann kostenlos genutzt werden, wobei ein Crawl auf 500 URLs begrenzt ist. Für kleine Websites, Stichproben und das Kennenlernen der Oberfläche reicht dieses Kontingent häufig aus. Größere Domains und erweiterte Funktionen erfordern eine kostenpflichtige Lizenz.

Kann Screaming Frog jede Website crawlen?

Screaming Frog kann öffentlich erreichbare Websites crawlen, sofern Server, robots.txt-Regeln und technische Schutzmechanismen den Zugriff erlauben. Login-Bereiche, blockierte Ressourcen und komplexe JavaScript-Anwendungen benötigen eine passende Konfiguration. Die Erlaubnis des Website-Betreibers und eine angemessene Crawl-Geschwindigkeit sind ebenfalls zu beachten.

Warum findet Screaming Frog nicht alle Seiten?

Screaming Frog findet im normalen Spider-Modus vor allem intern verlinkte URLs. Seiten können fehlen, wenn sie verwaist, per robots.txt gesperrt, nur über Formulare erreichbar oder ausschließlich dynamisch geladen sind. XML-Sitemaps und importierte URL-Listen helfen dabei, die Abdeckung zu prüfen.

Kann Screaming Frog Rankings prüfen?

Screaming Frog ist kein klassischer Ranking-Tracker. Das Programm crawlt Websites und analysiert technische sowie inhaltliche Seiteneigenschaften. Für die Entwicklung einzelner Keyword-Positionen wird ein separates Ranking-Monitoring benötigt.

Was bedeutet Internal HTML in Screaming Frog?

Internal HTML bezeichnet interne URLs, die der Crawler als HTML-Dokumente erkannt hat. Diese Ansicht enthält typischerweise Kategorien, Produkte, Beiträge und Landingpages. Bilder, JavaScript-Dateien und andere Ressourcen werden in eigenen Bereichen ausgewiesen.

Wie lange dauert ein Crawl mit Screaming Frog?

Die Dauer hängt von der Zahl der URLs, der Crawl-Geschwindigkeit, dem Server und dem Rendering ab. Ein Crawl mit JavaScript-Verarbeitung benötigt gewöhnlich mehr Ressourcen als ein reiner HTML-Crawl. Eine niedrige Geschwindigkeit schont den Server, verlängert aber die Analyse.