Pay per Crawl
Was ist Pay per Crawl?
Pay per Crawl ist ein Abrechnungsmodell, bei dem Betreiber einer Website für einzelne Zugriffe automatisierter Crawler eine Gebühr verlangen. Das Modell richtet sich vor allem an KI-Anbieter, die Inhalte für Training, Suche oder Antwortgenerierung abrufen. Der Preis ergibt sich aus der Zahl abrechenbarer Abrufe multipliziert mit dem festgelegten Betrag pro Crawl.
Pay per Crawl schafft eine technische und wirtschaftliche Zugangsstufe zwischen dem kostenlosen Abruf und der vollständigen Sperrung von Inhalten. Die deutsche Entsprechung lautet Bezahlung pro Abruf. Website-Betreiber können einem erkannten Bot den Zugriff erlauben, verweigern oder nur nach einer Zahlung gestatten.
Wie funktioniert Pay per Crawl?
Bei Pay per Crawl erkennt eine vorgeschaltete Infrastruktur den anfragenden Crawler und wendet die dafür hinterlegte Zugriffsregel an. Kostenfreier Zugriff liefert die angeforderte Ressource unmittelbar aus. Gesperrte Bots erhalten keine Inhalte. Beim kostenpflichtigen Zugriff übermittelt der Server eine Zahlungsanforderung, bevor der Inhalt ausgeliefert wird.
Als technisches Signal kann der HTTP-Statuscode 402 Payment Required dienen. Der Statuscode bezeichnet eine erforderliche Zahlung, definiert jedoch keinen universellen Zahlungsprozess. Authentifizierung, Preisübermittlung, Abrechnung und Freischaltung müssen deshalb durch den jeweiligen Anbieter oder durch vertragliche Vereinbarungen geregelt werden.
Was zählt als einzelner Crawl?
Ein Crawl ist technisch meist eine HTTP-Anfrage auf eine Ressource, aber diese Definition reicht für eine belastbare Abrechnung nicht aus. Eine HTML-Seite kann weitere Anfragen für Bilder, Skripte, strukturierte Daten oder Dateien auslösen. Würde jede Ressource separat berechnet, könnte ein einziger Seitenbesuch mehrere kostenpflichtige Abrufe erzeugen.
Ein Pay-per-Crawl-Vertrag sollte deshalb mindestens festlegen, ob nur HTML-Dokumente oder auch Mediendateien zählen. Ebenso relevant sind fehlgeschlagene Abrufe, Weiterleitungen, wiederholte Anfragen, Cache-Zugriffe und Statuscodes. Ohne diese Regeln lässt sich weder der Umsatz des Publishers noch der Aufwand des KI-Anbieters zuverlässig berechnen.
| Abrechnungseinheit | Vorteil | Prüfpunkt |
|---|---|---|
| HTTP-Anfrage | Technisch leicht erfassbar | Zusätzliche Ressourcen können die Zahl erhöhen |
| HTML-Seite | Gut auf redaktionelle Inhalte übertragbar | Parameter-URLs und Duplikate müssen erkannt werden |
| Dokument oder Artikel | Orientiert sich am wirtschaftlichen Inhalt | Erfordert eine eindeutige Inhalts-ID |
| Datenpaket | Geeignet für größere Lizenzvereinbarungen | Ist kein reines Abrufmodell mehr |
Pay per Crawl im GEO-Kontext 2026
Für GEO, also Generative Engine Optimization, entsteht durch Pay per Crawl ein Zielkonflikt: Publisher möchten die Nutzung ihrer Inhalte wirtschaftlich kontrollieren, während Unternehmen für KI-Sichtbarkeit technisch erreichbar und zitierfähig bleiben müssen. Eine pauschale Sperre kann verhindern, dass ein System aktuelle Seiten direkt abruft. Ein vollständig offener Zugang erlaubt dagegen keine nutzungsabhängige Vergütung.
Bezahlter Crawler-Zugriff garantiert keine Erwähnung in einer KI-Antwort. Ein KI-System kann einen freigegebenen Artikel abrufen und trotzdem eine andere Quelle auswählen. Umgekehrt kann eine gesperrte Website weiterhin über ältere Trainingsdaten, Suchindizes oder Zitate auf anderen Domains bekannt sein. Prüfe deshalb getrennt, ob ein Bot zugreifen darf und ob deine Marke tatsächlich als Quelle erscheint.
Messbar ist das zum Beispiel so: Vergleiche die Zugriffe identifizierter KI-Crawler in den Server-Logs mit der Entwicklung deiner Empfehlungen und Quellenverweise. Das KI-Analyse-Tool für ChatGPT, Perplexity, Gemini und Grok misst, wie oft eine Marke empfohlen wird, welche Quellen verwendet werden und wie Wettbewerber abschneiden. Erst diese Verbindung zeigt, ob technischer Zugang auch zu KI-Sichtbarkeit führt.
Eine GEO-Strategie für KI-Suchen sollte daher festlegen, welche Inhalte frei auffindbar bleiben, welche Inhalte nur lizenziert angeboten werden und welche Bots Zugriff erhalten. Produktinformationen, Definitionen und Unternehmensdaten können für die Auffindbarkeit offenbleiben, während vollständige Facharchive oder kostenintensive Datensammlungen anders behandelt werden.
Unterschiede zu verwandten Konzepten
Der Unterschied zwischen Pay per Crawl und Crawl-Budget liegt im wirtschaftlichen Zweck. Das Crawl-Budget beschreibt vereinfacht, wie viele URLs eine Suchmaschine auf einer Domain abrufen kann und möchte. Pay per Crawl legt dagegen fest, ob und zu welchem Preis ein externer Bot Inhalte beziehen darf. Ein höherer Preis vergrößert daher kein Crawl-Budget.
Der Unterschied zwischen Pay per Crawl und robots.txt liegt in der Durchsetzung. Die robots.txt enthält Anweisungen für regelkonforme Crawler und kann bestimmte Pfade vom Abruf ausschließen. Die Datei verarbeitet jedoch keine Zahlung und begründet allein keinen Lizenzvertrag. Hinweise in einer llms.txt können Inhalte für KI-Systeme strukturieren, ersetzen aber ebenfalls keine technische Zugangskontrolle.
Pay per Crawl ist zudem kein Cost per Click. Beim Cost per Click bezahlt ein Werbetreibender für den Klick eines Nutzers auf eine Anzeige. Bei Pay per Crawl bezahlt ein automatisiertes System für den Abruf einer Ressource. Der Vorgang erzeugt weder einen Anzeigenklick noch automatisch einen Website-Besucher oder eine Conversion.
Folgen für SEO, SEA und GEO
Für SEO sollte der Zugriff etablierter Suchmaschinen-Crawler nicht versehentlich kostenpflichtig oder blockiert werden. Kann ein Suchmaschinen-Bot wichtige URLs nicht abrufen, werden Aktualisierungen möglicherweise später erkannt. Technische Regeln sollten deshalb nach Bot, Pfad und Verwendungszweck unterscheiden. Der Beitrag zum technischen Crawling und zur Fehlererkennung erklärt, welche Statuscodes und Zugriffsprobleme du zusätzlich prüfen solltest.
Für SEA hat Pay per Crawl keine direkte Auswirkung auf Gebote, CPC oder Anzeigenauktionen. Indirekte Folgen entstehen, wenn Landingpages oder Produktinformationen von automatisierten Anzeigenfunktionen, Shopping-Systemen oder Prüfprozessen abgerufen werden. Geschäftskritische Bots sollten eindeutig klassifiziert sein, damit Zugangsschranken keine Kampagnenprozesse beeinträchtigen.
Für GEO betrifft Pay per Crawl vor allem die Balance zwischen Reichweite und Kontrolle. Frei zugängliche Inhalte können leichter abgerufen werden, während kostenpflichtige Inhalte einen wirtschaftlichen Gegenwert schaffen sollen. Die passende Regel hängt vom Inhalt ab: Eine öffentlich gewünschte Unternehmensdefinition verfolgt ein anderes Ziel als ein exklusives Archiv, dessen Erstellung dauerhaft finanziert werden muss.
Risiken bei der Einführung
Das größte kaufmännische Risiko entsteht durch einen Preis ohne Nutzungskontext. Ein hoher Betrag pro Anfrage kann wiederholte Abrufe reduzieren, zugleich aber die Aufnahme aktueller Inhalte in KI-gestützte Suchprozesse erschweren. Ein niedriger Betrag erzeugt möglicherweise Verwaltungs- und Zahlungsaufwand, ohne die Produktionskosten redaktioneller Inhalte abzudecken.
Ein kontrollierter Test sollte mit klar abgegrenzten Verzeichnissen beginnen. Dokumentiere vor der Umstellung die Zahl erkannter Bot-Zugriffe, häufig abgerufene URLs, Serverlast und KI-Quellenverweise. Vergleiche diese Werte nach der Änderung. So erkennst du, ob Pay per Crawl Einnahmen schafft, unnötige Abrufe reduziert oder die gewünschte Auffindbarkeit einschränkt.
Häufige Fragen zu Pay per Crawl
Wer bezahlt bei Pay per Crawl?
Der Betreiber eines automatisierten Crawlers bezahlt für den Zugriff auf festgelegte Inhalte. Das kann ein Anbieter von KI-Suche, Sprachmodellen, Datenanalyse oder anderen automatisierten Diensten sein. Nutzer der Website zahlen für den normalen Seitenaufruf nicht automatisch mit.
Ist Pay per Crawl bereits ein allgemeiner Webstandard?
Pay per Crawl ist ein Zugriffs- und Abrechnungsmodell, aber kein einheitlich umgesetzter Webstandard. Der HTTP-Statuscode 402 kann eine erforderliche Zahlung signalisieren. Der eigentliche Ablauf für Preisangabe, Identifikation, Zahlung und Freischaltung hängt von der eingesetzten Plattform ab.
Kann Pay per Crawl über die robots.txt eingerichtet werden?
Die robots.txt kann Crawlern den Zugriff auf Pfade erlauben oder untersagen, verarbeitet aber keine Zahlungen. Für Pay per Crawl wird eine zusätzliche technische Ebene benötigt, die Bots erkennt, Preise zuordnet und Inhalte nach einer Zahlung ausliefert.
Verbessert bezahlter Zugriff die Sichtbarkeit in ChatGPT?
Bezahlter Zugriff garantiert keine Empfehlung oder Quellenangabe. Pay per Crawl regelt den Zugang zu Inhalten, während KI-Systeme ihre Quellen nach eigenen Verfahren auswählen. Technische Erreichbarkeit, zitierfähige Inhalte und externe Autorität müssen deshalb getrennt bewertet werden.
Sollten Unternehmen alle KI-Crawler bezahlen lassen?
Eine pauschale Regel passt selten zu allen Inhalten. Unternehmen sollten öffentliche Markeninformationen, Produkte und Fachdefinitionen anders behandeln als exklusive Datenbanken oder kostenpflichtige Archive. Die Entscheidung sollte sich am wirtschaftlichen Wert und am gewünschten GEO-Ziel orientieren.
Wie lässt sich Pay per Crawl kontrollieren?
Kontrollieren lässt sich das Modell über Server-Logs, erkannte Bot-Zugriffe, ausgelieferte Statuscodes, abrechenbare Anfragen und Erlöse. Für GEO sollte zusätzlich geprüft werden, ob die Domain nach der Umstellung häufiger oder seltener als Quelle und Empfehlung in KI-Antworten erscheint.
Wenn du klären möchtest, welche Inhalte für KI-Crawler offen, gesperrt oder kontrolliert zugänglich sein sollten, kannst du deine technische Ausgangslage und KI-Sichtbarkeit unverbindlich prüfen lassen.
Kostenlosen GEO-Potenzialcheck anfragen
Sie haben noch Fragen?
