User-Agent

Was ist ein User-Agent?

Ein User-Agent ist ein Clientprogramm, das eine Anfrage an einen Webserver sendet. Über den gleichnamigen HTTP-Header übermittelt es meist Angaben zur Software, zum Gerät oder zum Betriebssystem. Browser, Suchmaschinen-Crawler, Apps und Kommandozeilenprogramme verwenden solche Kennungen, damit Server Anfragen technisch einordnen und verarbeiten können.

Was bedeutet die User-Agent-Kennung?

Der User-Agent bezeichnet im HTTP-Kontext die Software, von der eine Anfrage ausgeht. Das kann ein Webbrowser wie Chrome oder Firefox, ein Suchmaschinen-Crawler, eine mobile App, ein API-Client oder ein Kommandozeilenprogramm sein. Ein menschlicher Nutzer muss dabei nicht unmittelbar mit dem Programm interagieren.

Der User-Agent-String ist die Zeichenfolge, die ein Client üblicherweise im HTTP-Anfrageheader User-Agent übermittelt. Der Server kann daraus beispielsweise den Namen und die Version des Clients sowie Hinweise auf das Betriebssystem oder den Gerätetyp ableiten. Welche Angaben tatsächlich enthalten sind, hängt von der jeweiligen Software ab.

Die technische HTTP-Spezifikation beschreibt den Aufbau vereinfacht als Produktkennung mit optionaler Versionsnummer und ergänzenden Kommentaren. Ein typischer Browser-String enthält aus historischen Kompatibilitätsgründen oft mehrere Produktnamen. Daher lässt sich seine Bedeutung nicht zuverlässig durch das bloße Lesen einzelner Bestandteile bestimmen.

Wie funktioniert ein User-Agent-Header?

Bei einem Seitenaufruf sendet der Client eine HTTP-Anfrage an den Webserver. Der User-Agent-Header ist ein Bestandteil dieser Anfrage und kann beispielsweise in vereinfachter Form so aussehen: User-Agent: Produktname/Versionsnummer. Browser verwenden meist längere Angaben, während Bots und technische Programme häufig kompaktere Kennungen senden.

Webserver, Content-Management-Systeme, Analysewerkzeuge und Sicherheitslösungen können den übermittelten Wert auslesen. Die Information wird unter anderem für technische Protokolle, Fehleranalysen, Statistiken oder eine grobe Klassifizierung des Clients genutzt.

Ein User-Agent-String ist eine Selbstauskunft des anfragenden Programms. Er beweist nicht, dass die Anfrage tatsächlich vom genannten Browser oder Crawler stammt. Bots können fremde Kennungen übernehmen oder vollständig erfundene Angaben senden.

Eine Website sollte ihre grundlegenden Inhalte und Funktionen nicht allein anhand des User-Agent-Strings bereitstellen. Zu starre Regeln können neue Browserversionen falsch zuordnen, legitime Crawler blockieren oder Nutzern unvollständige Inhalte ausliefern. Für responsive Darstellungen eignen sich CSS-Media-Queries und eine funktionsbasierte Erkennung häufig besser als eine reine Browsererkennung.

Welche Arten von User-Agents gibt es?

User-Agents lassen sich nach ihrer Aufgabe und der Art ihrer Anfragen unterscheiden. Für die technische Analyse einer Website ist besonders relevant, ob ein Zugriff von einem Browser, einem Suchmaschinen-Bot, einem Prüfwerkzeug oder einem automatisierten Skript stammt.

Typ	Typische Aufgabe	Erkennbare Angaben	SEO-Bezug
Webbrowser	Darstellung und Bedienung von Webseiten	Browserfamilie, Plattform, teilweise Version	Prüfung der mobilen und technischen Nutzbarkeit
Suchmaschinen-Crawler	Abruf und Verarbeitung von Webinhalten	Name des Crawlers und häufig eine Produktkennung	Crawling, Rendering und Vorbereitung der Indexierung
Prüf- und Monitoring-Bot	Technische Tests und regelmäßige Kontrollen	Name des Tools oder Dienstes	Analyse von Statuscodes, Weiterleitungen und Ladezeiten
API-Client oder Skript	Automatisierter Datenaustausch	Programmbibliothek, Anwendung oder individuelle Kennung	Datenimporte, Exporte und technische Schnittstellen
Mobile App	Abruf von Inhalten oder Funktionen einer Anwendung	App-Name, Version und teilweise Betriebssystem	Messung und Kontrolle appbezogener Zugriffe

Was ist ein Crawler-Token?

Ein Crawler-Token ist eine verkürzte Kennung, mit der Regeln in der Datei robots.txt einem bestimmten Bot zugeordnet werden. Die Zeile User-agent: Googlebot adressiert beispielsweise den Googlebot. Ein Sternchen in User-agent: * steht grundsätzlich für alle nicht genauer angesprochenen Crawler.

Der Crawler-Token in der robots.txt ist nicht mit dem vollständigen HTTP-String gleichzusetzen. Googlebot Smartphone und Googlebot Desktop senden unterschiedliche Headerwerte, beachten in der robots.txt jedoch denselben Token Googlebot. Dadurch lassen sich die beiden Varianten dort nicht getrennt steuern.

Warum ist der User-Agent für SEO relevant?

Für SEO zeigt die Kennung, welcher Crawler eine URL angefordert hat. Server-Logfiles lassen sich dadurch nach Googlebot, anderen Suchmaschinen-Crawlern, Monitoring-Systemen und gewöhnlichen Browserzugriffen filtern. Eine Logfile-Analyse macht sichtbar, welche Seiten Bots tatsächlich aufrufen, welche Statuscodes sie erhalten und ob Crawl-Ressourcen auf unwichtige URL-Varianten entfallen.

Google verwendet unter anderem einen Smartphone- und einen Desktop-Crawler. Da Google für die meisten Websites vorrangig die mobile Inhaltsversion verarbeitet, sollten mobile und Desktop-Anfragen auf dieselben wesentlichen Inhalte, strukturierten Daten, internen Links und Meta-Angaben zugreifen können. Eine abweichende Serverantwort allein aufgrund des Crawlers kann zu unvollständigem Crawling führen.

Server-Logs: Die Kennung unterstützt die Zuordnung von Abrufen zu Browsern, Bots und technischen Diensten.
Crawl-Steuerung: Crawler-Tokens verbinden einzelne Regelgruppen der robots.txt mit den angesprochenen Bots.
Fehlerdiagnose: Unterschiedliche Statuscodes oder Inhalte für bestimmte Clients lassen sich gezielt untersuchen.
Rendering-Tests: Technische Prüfungen können simulieren, wie eine Seite aus Sicht eines mobilen oder Desktop-Clients reagiert.

Eine Analyse mit einem SEO-Technik-Crawler ergänzt die Auswertung der Kennungen um konkrete Fehler wie Weiterleitungsketten, defekte interne Links oder gesperrte Ressourcen. Der kostenlose SEO-Check liefert zusätzlich einen Überblick über technische und inhaltliche Auffälligkeiten einer Website.

Welche Bedeutung hat die Kennung für SEA und GEO?

Im SEA-Kontext kennzeichnen eigene User-Agents beispielsweise Prüfprogramme für Anzeigenziele oder automatisierte Abrufe von Landingpages. Solche Zugriffe können in Serverprotokollen auftauchen, ohne einen gewöhnlichen Besuch darzustellen. Wer Traffic bewertet, sollte automatisierte Prüfaufrufe deshalb von menschlichen Sitzungen und abrechenbaren Anzeigenklicks unterscheiden.

Für GEO, also Generative Engine Optimization, sind Kennungen relevant, wenn KI-Systeme oder deren Such- und Abrufdienste Webseiten automatisiert aufrufen. Betreiber können entsprechende Zugriffe in Logfiles untersuchen und prüfen, welche Inhalte erreichbar sind. Eine Kennung allein bestätigt jedoch weder die Herkunft des Bots noch eine spätere Verwendung des Inhalts in einer KI-Antwort.

Die Optimierung der Sichtbarkeit in KI-Suchen umfasst deshalb mehr als die Erkennung einzelner Bots. Technische Erreichbarkeit, eindeutig formulierte Inhalte, nachvollziehbare Entitäten, interne Verknüpfungen und zitierfähige Antworten bilden gemeinsam die Grundlage dafür, dass Systeme Inhalte korrekt erfassen und zuordnen können.

User-Agent und robots.txt: Was ist der Unterschied?

Der HTTP-User-Agent wird vom Client an den Server gesendet und beschreibt den anfragenden Client. Die Anweisung User-agent in der robots.txt wird dagegen vom Website-Betreiber veröffentlicht und legt fest, für welchen Crawler die nachfolgenden Allow– oder Disallow-Regeln gelten.

Eine Sperre in der robots.txt ist keine Zugriffskontrolle. Seriöse Suchmaschinen-Crawler beachten die Regeln, technisch erzwingen kann die Datei den Ausschluss jedoch nicht. Vertrauliche Inhalte benötigen eine serverseitige Authentifizierung oder eine andere wirksame Zugangsbeschränkung.

Wie lässt sich ein echter Suchmaschinen-Bot erkennen?

Der Vergleich des Strings mit einer bekannten Bot-Kennung ist nur der erste Prüfschritt. Ein Angreifer kann beispielsweise Googlebot in seinen Header schreiben, ohne zu Google zu gehören. Die Freigabe in einer Firewall sollte daher nicht ausschließlich von dieser Zeichenfolge abhängen.

Google empfiehlt zur Verifizierung eigener Crawler eine Prüfung der Quell-IP. Dafür kann ein Reverse-DNS-Lookup mit anschließender Vorwärtsauflösung durchgeführt oder die Adresse mit den von Google veröffentlichten IP-Bereichen abgeglichen werden. Erst die Kombination aus Header, IP-Adresse und Hostname liefert eine belastbarere Zuordnung.

Typische Fehler bei der Verwendung

Ein Bot wird allein aufgrund seines selbst gewählten Namens als vertrauenswürdig behandelt.
Mobile Nutzer erhalten gekürzte Inhalte, während Suchmaschinen eine umfangreichere Version sehen.
JavaScript, CSS oder Bilder werden für Crawler gesperrt und verhindern dadurch ein vollständiges Rendering.
Analyseberichte zählen automatisierte Abrufe als reguläre Nutzer oder Sitzungen.
Veraltete Browserlisten erzeugen unnötige Weiterleitungen oder fehlerhafte Ausgaben.

Unterschiedliche Inhalte für Suchmaschinen-Crawler und menschliche Nutzer können als Cloaking bewertet werden, wenn damit Suchmaschinen gezielt getäuscht werden. Technisch erforderliche Anpassungen sollten denselben inhaltlichen Zweck erfüllen und keine zusätzlichen SEO-Inhalte ausschließlich für Bots bereitstellen.

Prüfe bei technischen SEO-Problemen deshalb immer die vollständige Verarbeitungskette: gesendeter Header, Serverregel, HTTP-Statuscode, ausgelieferter Inhalt und gerenderte Seite. Eine strukturierte technische SEO-Analyse kann insbesondere bei komplexen Weiterleitungen, Firewalls oder dynamischer Auslieferung klären, ob legitime Crawler dieselben relevanten Inhalte wie Nutzer erreichen.

Performance Suite

Mit einem Free Account kannst du technische Auffälligkeiten deiner Website prüfen und SEO-Daten zentral auswerten.

Free Account anlegen

Häufige Fragen zur Clientkennung

Kann ein User-Agent vollständig deaktiviert werden?

Ein Client kann den Header je nach Software weglassen oder verändern. Manche Server und Sicherheitslösungen behandeln Anfragen ohne erkennbare Kennung jedoch als auffällig oder schränken sie ein.

Ist der User-Agent personenbezogen?

Die Kennung enthält normalerweise keinen Namen. In Verbindung mit weiteren Merkmalen kann eine sehr detaillierte Zeichenfolge jedoch zur Wiedererkennung eines Geräts beitragen, weshalb moderne Browser die übertragenen Angaben zunehmend reduzieren.

Kann man den User-Agent im Browser ändern?

Entwicklerwerkzeuge und Browsererweiterungen können andere Kennungen simulieren. Das eignet sich für technische Tests, ersetzt aber keine vollständige Prüfung auf einem realen Gerät oder in einer echten Browserumgebung.

Warum beginnen viele Browserkennungen mit Mozilla?

Der Bestandteil entstand aus historischen Kompatibilitätsanforderungen. Viele Programme übernahmen bestehende Namensbestandteile, damit ältere Server und Skripte sie nicht fälschlich ausschlossen.

Kann die Kennung für Besucherstatistiken genutzt werden?

Sie ermöglicht eine grobe Einordnung nach Client oder Geräteklasse. Für belastbare Besucherzahlen muss die Auswertung Bots, manipulierte Angaben, Caches und Datenschutzvorgaben berücksichtigen.