Wie funktionieren Suchmaschinen?
Kurzantwort
Suchmaschinen funktionieren in drei Stufen: Crawler sammeln erreichbare Inhalte, die Suchmaschine nimmt geeignete Seiten in ihren Index auf und ein Algorithmus sortiert diesen Bestand für jede Suchanfrage neu. Eine Suchmaschine durchsucht bei der Anfrage also nicht das gesamte Internet, sondern ihren zuvor aufgebauten Index.
Suchmaschinen können nur Inhalte finden und bewerten, die technisch erreichbar und auslesbar sind. Genau deshalb reicht guter Content allein nicht: Fehlt die technische Grundlage, erreicht die Seite weder den Index noch ein Ranking. Die folgenden Abschnitte trennen Crawling, Indexierung und Ranking sauber voneinander.
1. Drei Stufen bis zum Suchergebnis
Der häufigste Denkfehler lautet: Wenn Google eine Seite besucht hat, müsste sie auch in den Suchergebnissen erscheinen. Ein Besuch bedeutet jedoch zunächst nur, dass eine URL gecrawlt wurde. Ob sie indexiert wird und für welche Suchanfragen sie rankt, sind zwei weitere Entscheidungen.
| Stufe | Aufgabe | Typische SEO-Frage |
|---|---|---|
| Crawling | URLs finden und Inhalte abrufen | Kann die Suchmaschine meine Seite erreichen? |
| Indexierung | Inhalte verstehen und in den Suchbestand aufnehmen | Ist meine Seite im Index enthalten? |
| Ranking | Passende Ergebnisse für eine konkrete Anfrage sortieren | Auf welcher Position erscheint meine Seite? |
Für SEO ergibt sich daraus eine klare Reihenfolge: Erst muss eine URL erreichbar sein, dann muss ihr Inhalt indexierbar sein, anschließend kann die Suchmaschine ihre Relevanz bewerten. Wer direkt über Keywords und Texte spricht, obwohl wichtige Seiten technisch blockiert sind, beginnt an der falschen Stelle.
1.1 Crawling sammelt Inhalte ein
Beim Crawling ruft ein automatisiertes Programm, der sogenannte Crawler oder Bot, einzelne URLs ab. Neue Adressen findet der Crawler über interne und externe Links, XML-Sitemaps sowie bereits bekannte URL-Quellen. Er lädt HTML, Bilder, Dokumente und weitere Ressourcen, soweit der Server und die technischen Regeln den Zugriff erlauben.
Eine Seite ohne interne Verlinkung kann trotz hochwertigem Inhalt lange unentdeckt bleiben. Besonders bei großen Onlineshops passiert das nach Änderungen an Kategorien oder Filtern: Die URL existiert, aber kein regulärer Navigationsweg führt mehr zu ihr. Eine XML-Sitemap kann beim Auffinden helfen, ersetzt jedoch keine klare Website-Struktur.
1.2 Indexierung schafft den Suchbestand
Bei der Indexierung analysiert die Suchmaschine den gefundenen Inhalt. Sie versucht, Thema, Sprache, Seitentyp, Hauptinhalt, Bilder, Links und mögliche Duplikate zu erkennen. Hält sie die Seite für geeignet, wird diese in den durchsuchbaren Index aufgenommen. Crawling ist daher eine Voraussetzung, aber keine Garantie für die Indexierung.
Ein konkretes Fehlerbild sind widersprüchliche technische Signale: Eine URL steht in der XML-Sitemap, ist aber gleichzeitig per noindex von der Indexierung ausgeschlossen oder über die robots.txt gesperrt. Die Sitemap empfiehlt die Aufnahme, während eine andere Anweisung sie verhindert. Solche Widersprüche erschweren eine zuverlässige Verarbeitung und verschwenden Crawling-Ressourcen.
1.3 Ranking sortiert für jede Anfrage
Beim Ranking vergleicht die Suchmaschine die indexierten Dokumente mit einer konkreten Suchanfrage. Die Reihenfolge kann sich deshalb von Anfrage zu Anfrage, Ort zu Ort und teilweise von Gerät zu Gerät unterscheiden. Eine Seite hat nicht einfach ein einziges Google-Ranking, sondern kann für zahlreiche Begriffe auf unterschiedlichen Positionen erscheinen.
Auch die Suchergebnisseite, kurz SERP, ist dynamisch. Neben klassischen Links können Bilder, Videos, lokale Ergebnisse, Produktangebote, hervorgehobene Antworten oder KI-generierte Zusammenfassungen erscheinen. Wer Begriffe wie SERP, Crawling oder Canonical nachschlagen möchte, findet im SEO-Lexikon verständliche Definitionen.
Merksatz für deine SEO-Priorisierung
Eine Seite kann gecrawlt, aber nicht indexiert sein. Sie kann indexiert sein, aber für eine bestimmte Anfrage nicht ranken. Prüfe technische Erreichbarkeit, Indexierung und Ranking deshalb immer getrennt.
2. So arbeitet Google als Suchmaschine
Google arbeitet nach demselben Grundprinzip wie andere indexbasierte Suchmaschinen: Inhalte finden, verarbeiten und für eine Anfrage sortieren. Der Unterschied liegt vor allem in der Größe des Index, der technischen Infrastruktur, der Interpretation von Suchanfragen und der Vielzahl der verwendeten Bewertungssignale.
Gibt ein Nutzer beispielsweise „roter Wanderschuh wasserdicht“ ein, sucht Google nicht live auf allen Websites nach diesen Wörtern. Google interpretiert die Anfrage, sucht im eigenen Index nach passenden Dokumenten und stellt daraus eine Ergebnisliste zusammen. Dabei können auch Seiten erscheinen, welche die Wortfolge nicht exakt enthalten, aber das gesuchte Produkt und die entsprechende Eigenschaft eindeutig behandeln.
Für Website-Betreiber zählt deshalb nicht nur die Verwendung eines Keywords. Google muss erkennen können, welche Frage eine Seite beantwortet, welche Inhalte den Hauptteil bilden und ob Nutzer dort eine vollständige, verlässliche Antwort erhalten.
3. Indexbasierte Suchmaschinen erklärt
Eine indexbasierte Suchmaschine gleicht einer Bibliothek mit eigenem Katalog. Der Crawler entspricht dem Mitarbeiter, der neue Bücher sucht und einsammelt. Die Indexierung trägt geeignete Bücher mit Thema und Eigenschaften in den Katalog ein. Das Ranking erstellt für jede Frage eine neue Empfehlungsliste aus diesem Katalog.
Diese Arbeitsweise erklärt, warum eine existierende Seite nicht automatisch auffindbar ist. Das Internet und der Suchmaschinenindex sind nicht identisch. Eine Seite kann online erreichbar sein, aber im Index fehlen, weil sie noch nicht entdeckt, technisch blockiert, als Duplikat eingeordnet oder für die Aufnahme als ungeeignet bewertet wurde.
Auch Änderungen erscheinen nicht zwingend unmittelbar. Die Suchmaschine muss eine URL erneut crawlen und den veränderten Inhalt verarbeiten. Wie schnell das geschieht, hängt unter anderem von der internen Verlinkung, der bisherigen Crawling-Häufigkeit, der Bedeutung der Seite und den technischen Signalen ab. Es gibt keine feste Wartezeit, die für jede Domain gilt.
4. Was Suchmaschinen nicht indexieren können
Suchmaschinen können nur Inhalte indexieren, die sie erreichen, technisch auslesen und einer stabilen URL zuordnen können. Problematisch sind vor allem Anmeldeschranken, gesperrte Bereiche, fehlerhafte Dateien und Inhalte, die erst nach einer Nutzeraktion erscheinen.
Eine Sperre in der robots.txt ist kein sicherer Weg, um eine bereits bekannte URL aus dem Suchindex zu entfernen. Wenn Google die Seite nicht crawlen darf, kann die Suchmaschine ein dort gesetztes noindex möglicherweise nicht auslesen. Zugriffskontrolle, Crawling-Steuerung und Indexierungssteuerung erfüllen unterschiedliche Aufgaben.
Ein besonders teurer Fehler entsteht bei interaktiven Websites, wenn der sichtbare Hauptinhalt ausschließlich nach einem Klick oder über ein Skript geladen wird. Im Browser sieht die Seite vollständig aus, während ein Crawler zunächst nur ein leeres Grundgerüst erhält. Prüfe deshalb die gerenderte Crawler-Ansicht und nicht nur das, was du selbst im geöffneten Browser siehst.
Du kannst deine Website aus dieser Außenperspektive prüfen, indem du einen eigenen Crawl startest. Ein Free Account liefert dafür einen ersten technischen Ist-Stand.
5. Wie ein Suchalgorithmus bewertet
Ein Suchmaschinenalgorithmus berechnet, welche indexierten Seiten am besten zu einer Anfrage passen. Die genaue Formel ist nicht öffentlich und verändert sich laufend. Seriös erklären lassen sich jedoch die grundlegenden Bewertungsbereiche: Relevanz, Qualität, technische Erreichbarkeit, Autorität und Kontext.
| Bewertungsbereich | Leitfrage der Suchmaschine | Beispiel |
|---|---|---|
| Relevanz | Beantwortet die Seite die konkrete Anfrage? | Suchbegriffe, Themenabdeckung und Suchintention passen zusammen. |
| Qualität | Ist der Inhalt hilfreich und nachvollziehbar? | Klare Erklärungen, fachliche Tiefe und überprüfbare Angaben. |
| Erreichbarkeit | Kann die Seite zuverlässig geladen und verarbeitet werden? | Statuscode 200, abrufbare Ressourcen und verständliches HTML. |
| Autorität | Welche Signale sprechen für Vertrauen und Bekanntheit? | Relevante Verlinkungen, Markenbezug und thematische Reputation. |
| Kontext | Was passt zur aktuellen Suchsituation? | Sprache, Standort, Aktualität, Gerät und Art der Anfrage. |
Es gibt daher selten den einen Fehler oder den einen Rankingfaktor, der jede Position erklärt. Eine technisch saubere Seite kann inhaltlich zu oberflächlich sein. Ein ausführlicher Ratgeber kann wiederum hinter einer schwächeren Seite stehen, wenn er die Suchabsicht verfehlt. Der Algorithmus bewertet das Gesamtbild für die jeweilige Anfrage.
Die ehrliche Priorisierung lautet: Arbeite zuerst an Erreichbarkeit und eindeutiger Indexierbarkeit. Danach folgen Suchintention, Content-Qualität und Autorität. Ein zusätzlicher Absatz über das Fokus-Keyword bringt wenig, wenn die relevante URL auf eine andere Seite kanonisiert oder vom Crawling abgeschnitten ist.
6. Suchmaschinen für Kinder erklärt
Stell dir das Internet als riesige Stadt voller Bibliotheken vor. Kleine Roboter besuchen die Bibliotheken und schauen, welche Bücher dort stehen. Ein großer Katalog speichert, worum es in den Büchern geht. Wenn du eine Frage stellst, sucht die Suchmaschine im Katalog und zeigt dir eine sortierte Empfehlungsliste.
Ein Buch in einem verschlossenen Raum kann der Roboter nicht lesen. Ein Buch ohne Eintrag im Katalog wird bei der Suche nicht gefunden. Und ein katalogisiertes Buch steht nur dann weit oben auf der Empfehlungsliste, wenn es gut zur gestellten Frage passt.
7. Website aus Crawler-Sicht prüfen
Wer die Funktionsweise von Suchmaschinen wirklich verstehen möchte, sollte die eigene Website einmal crawlen. Ein Crawl zeigt nicht, wie ein Besucher die Seite empfindet, sondern welche URLs, Statuscodes, Links, Weiterleitungen und Indexierungsanweisungen eine Maschine tatsächlich erreicht.
Der Technical Crawler der Performance Suite crawlt Websites täglich, prüft mehr als 100 technische Faktoren und kann bis zu 100.000 URLs pro Durchlauf berücksichtigen. Zusätzlich führt er URLs aus Quellen wie Suchkonsolen, Werbekampagnen und Backlinks zusammen. So werden auch Kampagnenseiten oder schlecht intern verlinkte URLs sichtbar.
Eine reine Fehlerliste reicht bei größeren Websites nicht aus. Zehn defekte, noch besuchte Landingpages können geschäftlich relevanter sein als Hunderte alte URLs ohne Traffic oder Rankings. Deshalb sollte die Reihenfolge der Korrekturen nach Wirkung, URL-Bedeutung und Erreichbarkeit festgelegt werden, nicht allein nach der Anzahl der Meldungen.
Dein sinnvoller erster Technik-Check
Prüfe zunächst die wichtigsten Kategorie-, Produkt-, Leistungs- und Ratgeberseiten. Kontrolliere Statuscode, robots.txt, noindex, Canonical, interne Verlinkung und XML-Sitemap. Erst wenn diese Signale zusammenpassen, lohnt sich die Detailarbeit an einzelnen Texten.
Ein schneller Überblick über weitere technische und inhaltliche Grundlagen ist auch mit dem kostenlosen SEO-Check möglich. Er ersetzt keinen vollständigen Crawl einer großen Domain, zeigt aber erste Auffälligkeiten auf ausgewählten Unterseiten.
8. So gehen wir vor
Bei der Online Solutions Group GmbH beginnen technische Analysen mit der Außenperspektive eines Crawlers. Wir trennen Fund, Indexierbarkeit und Ranking, priorisieren betroffene URLs nach ihrer geschäftlichen Bedeutung und übersetzen die Befunde in konkrete Aufgaben für Redaktion und Entwicklung. Die Erfahrung aus über 1.000 Projekten seit 2008 hilft vor allem bei der Frage, welcher Fehler zuerst behoben werden sollte. Wer die Grundlagen selbst vertiefen möchte, findet in der SEO Academy verständliche Lerninhalte. Unterstützung bei Strategie und Umsetzung bieten unsere Full-Service-SEO-Leistungen.
9. Häufige Fragen zu Suchmaschinen
Durchsucht Google bei jeder Anfrage das ganze Internet?
Nein. Google sucht bei einer Anfrage hauptsächlich in seinem zuvor aufgebauten Index. Neue oder nicht indexierte Seiten können deshalb fehlen, obwohl sie im Internet erreichbar sind.
Wie finden Suchmaschinen neue Webseiten?
Crawler entdecken neue URLs über interne Links, externe Links, XML-Sitemaps und bereits bekannte Datenquellen. Eine klare interne Verlinkung erleichtert das Auffinden wichtiger Seiten.
Warum wird eine Seite trotz Crawling nicht indexiert?
Crawling bedeutet nur, dass die URL abgerufen wurde. Fehlende Qualität, Duplikate, noindex, Canonical-Signale, technische Probleme oder eine geringe eigenständige Relevanz können die Aufnahme in den Index verhindern.
Wie erkenne ich, ob eine Seite indexiert ist?
Die zuverlässigste Prüfung erfolgt über die URL-Prüfung in der Google Search Console. Eine site-Abfrage kann einen ersten Hinweis geben, bildet den Index aber nicht vollständig ab.
Kann Google Inhalte hinter einem Login indexieren?
Inhalte hinter einer echten Anmeldeschranke sind für normale Suchmaschinen-Crawler in der Regel nicht zugänglich. Öffentlich auffindbare Inhalte benötigen eine frei erreichbare URL.
Wie lange dauert die Indexierung einer neuen Seite?
Dafür gibt es keine feste Dauer. Je nach Domain, interner Verlinkung, Crawling-Häufigkeit und technischer Qualität kann die Verarbeitung schnell erfolgen oder deutlich länger dauern.
Was ist der Unterschied zwischen Indexierung und Ranking?
Indexierung bedeutet, dass eine Seite in den durchsuchbaren Bestand aufgenommen wurde. Ranking bezeichnet ihre Position für eine konkrete Suchanfrage. Eine indexierte Seite muss deshalb nicht automatisch gut ranken.
10. Erst Technik, dann Content
Die drei Stufen liefern eine einfache Handlungsempfehlung: Prüfe zuerst, ob Suchmaschinen deine wichtigen Seiten finden und auslesen können. Kontrolliere danach die Aufnahme in den Index. Erst dann bewertest du Rankings, Inhalte und Autorität. Ein Crawl der eigenen Website ersetzt dabei viel Theorie, weil er genau die Perspektive zeigt, aus der eine Suchmaschine deine Domain verarbeitet.
Wenn du klären möchtest, welche technischen Hürden und SEO-Potenziale auf deiner Website zuerst bearbeitet werden sollten, kannst du einen kostenlosen und unverbindlichen Potenzialcheck mit der OSG anfragen.
Keine Kommentare vorhanden