A/B-Testing

Was ist A/B-Testing?

A/B-Testing ist ein kontrolliertes Experiment, bei dem zwei Varianten eines digitalen Elements parallel an vergleichbare Nutzergruppen ausgespielt werden. Anhand einer vorher festgelegten Kennzahl wird geprüft, welche Variante bessere Ergebnisse erzielt. Das Verfahren heißt auch A/B-Test, Split-Test oder Varianten-Test und dient der datenbasierten Optimierung.

Wie funktioniert A/B-Testing?

A/B-Testing vergleicht eine bestehende Variante A mit einer veränderten Variante B. Besucher werden nach dem Zufallsprinzip einer der beiden Versionen zugeordnet, damit Unterschiede bei Conversionrate, Klickrate oder Umsatz möglichst auf die getestete Änderung zurückgeführt werden können.

Ein sauberer A/B-Test verändert vorzugsweise nur ein klar abgegrenztes Element. Werden gleichzeitig die Überschrift, das Bild, die Navigation und der Button angepasst, lässt sich ein besseres Ergebnis keiner einzelnen Änderung zuordnen. Umfangreiche Seitenvarianten können dennoch verglichen werden, wenn das Experiment ausdrücklich die Gesamtwirkung zweier Konzepte messen soll.

Der typische Ablauf eines Split-Tests besteht aus folgenden Schritten:

Eine Analyse identifiziert eine konkrete Schwachstelle, beispielsweise eine geringe Conversionrate auf einer Landingpage.
Eine Hypothese beschreibt die erwartete Wirkung der Änderung, etwa eine höhere Klickrate durch einen präziseren Buttontext.
Eine primäre Erfolgskennzahl und mögliche Schutzkennzahlen werden vor dem Start festgelegt.
Die Nutzer werden zufällig und möglichst gleichmäßig auf Kontroll- und Testvariante verteilt.
Das Experiment läuft bis zur geplanten Stichprobengröße oder Versuchsdauer.
Die Ergebnisse werden statistisch geprüft und anschließend dokumentiert.

Wie wird das Ergebnis eines A/B-Tests berechnet?

Die Conversionrate einer Variante ergibt sich aus der Anzahl der Conversions geteilt durch die Anzahl der zugeordneten Besucher. Das Ergebnis wird mit 100 multipliziert. Als Conversion kann beispielsweise ein Kauf, eine Anfrage, eine Registrierung oder ein Klick auf ein definiertes Seitenelement gelten.

Die Formel lautet: Conversionrate = Conversions ÷ Besucher × 100. Erzielt Variante A bei 10.000 Besuchern 400 Conversions, beträgt ihre Conversionrate 4,0 Prozent. Variante B erreicht mit 460 Conversions bei ebenfalls 10.000 Besuchern eine Rate von 4,6 Prozent. Das entspricht einem absoluten Plus von 0,6 Prozentpunkten und einer relativen Steigerung von 15 Prozent.

Die höhere Conversionrate allein beweist noch nicht, dass Variante B dauerhaft besser funktioniert. Zufällige Schwankungen können insbesondere bei kleinen Stichproben deutliche Unterschiede erzeugen. Ein statistisches Verfahren prüft deshalb, wie wahrscheinlich das beobachtete Ergebnis unter der Annahme wäre, dass tatsächlich kein Unterschied zwischen den Varianten besteht.

In frequentistischen Tests wird häufig ein Signifikanzniveau von 5 Prozent verwendet. Ein Ergebnis mit einem p-Wert unter 0,05 gilt unter den Voraussetzungen des verwendeten Tests als statistisch signifikant. Diese Schwelle sagt jedoch nichts über die wirtschaftliche Bedeutung des Effekts aus. Ein kleiner, statistisch belastbarer Vorteil kann wirtschaftlich weniger relevant sein als die Kosten seiner Umsetzung.

Welche Arten von Varianten-Tests gibt es?

Methode	Testaufbau	Typischer Einsatz	Besonderheit
A/B-Test	Zwei Varianten	Überschriften, Buttons, Formulare oder Anzeigen	Klare Zuordnung eines Unterschieds bei nur einer Änderung
A/B/n-Test	Drei oder mehr Varianten	Mehrere Botschaften oder Gestaltungsvorschläge	Benötigt mehr Traffic als ein Test mit zwei Versionen
Multivariater Test	Mehrere Elemente und Kombinationen	Seiten mit hohem Traffic und mehreren Optimierungsfaktoren	Misst Einzelwirkungen und Wechselwirkungen zwischen Elementen
Split-URL-Test	Varianten auf getrennten URLs	Grundlegend unterschiedliche Landingpages	Erfordert eine technisch und aus SEO-Sicht saubere URL-Steuerung

Ein multivariater Test unterscheidet sich vom klassischen A/B-Testing durch die Zahl der gleichzeitig untersuchten Faktoren. Er kann beispielsweise zwei Überschriften mit zwei Bildern kombinieren und dadurch vier Versionen erzeugen. Der höhere Erkenntnisgewinn setzt entsprechend größere Besucherzahlen voraus.

Welche Kennzahlen eignen sich für Split-Tests?

Die primäre Kennzahl muss direkt zur Hypothese passen. Ein Test des Bestellprozesses sollte beispielsweise anhand abgeschlossener Käufe oder des Umsatzes bewertet werden. Die Klickrate eines Buttons wäre lediglich eine Zwischenkennzahl, weil zusätzliche Klicks nicht automatisch zu mehr Bestellungen führen.

Typische Messgrößen für A/B-Tests sind:

Conversionrate: Anteil der Besucher, die eine definierte Zielhandlung abschließen.
CTR: Verhältnis zwischen Klicks und Sichtkontakten eines Links, Snippets oder Werbemittels.
Umsatz pro Besucher: Gesamtumsatz geteilt durch die Zahl der zugeordneten Besucher.
Kosten pro Conversion: Werbekosten geteilt durch die Anzahl der erzielten Conversions.
Abbruchrate: Anteil der Nutzer, die einen begonnenen Prozess vor dem Abschluss verlassen.

Schutzkennzahlen verhindern eine zu einseitige Bewertung. Ein kürzeres Formular kann beispielsweise mehr Anfragen erzeugen, zugleich aber deren durchschnittliche Qualität senken. In diesem Fall sollten neben der Conversionrate auch qualifizierte Leads, Stornierungen oder spätere Abschlüsse gemessen werden.

Welche Bedeutung hat A/B-Testing für SEO und SEA?

Tests in der Suchmaschinenoptimierung

Im SEO lässt sich testen, wie Änderungen an Seitentiteln, Snippets, Inhaltsstrukturen oder internen Verlinkungen die organische CTR, Rankings und Conversions beeinflussen. Da Suchmaschinen URLs und Seitengruppen bewerten, werden SEO-Tests häufig mit vergleichbaren Seitengruppen statt mit einer zufälligen Aufteilung einzelner Nutzer durchgeführt.

Ein SEO-Split-Test kann beispielsweise Produktkategorien in eine Kontroll- und eine Testgruppe aufteilen. Nur die Testgruppe erhält eine neue Inhaltsstruktur. Anschließend wird geprüft, ob sich ihre organischen Klicks oder Rankings gegenüber der Kontrollgruppe stärker verändern. Allgemeine Markttrends und saisonale Effekte müssen bei der Auswertung berücksichtigt werden.

A/B-Tests in Google Ads

Im SEA können Anzeigentitel, Beschreibungen, Zielseiten, Zielgruppen oder Kampagneneinstellungen verglichen werden. Aussagekräftige Tests betrachten neben der CTR auch Conversionrate, Kosten pro Conversion und Return on Advertising Spend. Eine Anzeige mit hoher Klickrate kann unwirtschaftlich sein, wenn die zusätzlichen Klicks keine passenden Nutzer erreichen.

Erkenntnisse aus bezahlten Kampagnen können in die Verknüpfung von SEO- und SEA-Daten einfließen. Konvertiert eine Botschaft in Anzeigen und auf Landingpages zuverlässig, kann sie als Hypothese für Seitentitel, Inhaltsaufbau oder Conversion-Elemente im organischen Kanal dienen.

Wie lassen sich Inhalte für GEO testen?

GEO steht für Generative Engine Optimization und bezeichnet die Optimierung für generative Such- und Antwortsysteme. Tests können untersuchen, ob präzise Definitionen, klar strukturierte Antworten, Tabellen, Entitätsbezüge oder nachvollziehbare Quellen die Sichtbarkeit einer Website in KI-generierten Antworten verändern.

GEO-Tests benötigen wiederholte Abfragen mit einem festen Prompt-Set, weil generative Systeme selbst bei identischen Fragen unterschiedliche Antworten erzeugen können. Geeignete Messgrößen sind Nennungen der Marke, Quellenverweise, verlinkte URLs, Antwortpositionen und die inhaltliche Übereinstimmung mit den bereitgestellten Informationen. Die Optimierung der KI-Sichtbarkeit sollte deshalb über mehrere Messzeitpunkte ausgewertet werden.

Welche Fehler verfälschen einen A/B-Test?

Ein Test liefert wenig belastbare Ergebnisse, wenn er ohne Hypothese gestartet, vorzeitig beendet oder nachträglich anhand der günstigsten Kennzahl bewertet wird. Auch parallele Kampagnen, technische Fehler, saisonale Ausschläge und eine ungleichmäßige Nutzerverteilung können die Resultate verzerren.

Ein Experiment sollte nicht beendet werden, sobald eine Variante kurzfristig führt. Wiederholtes Prüfen und Stoppen beim ersten positiven Ausschlag erhöht das Risiko eines Zufallstreffers. Versuchsdauer, Stichprobengröße, Erfolgskennzahl und Auswertungsmethode sollten deshalb vor dem Start feststehen.

Bei Split-URL-Tests müssen Suchmaschinen die technische Beziehung zwischen den Seiten erkennen können. Temporäre Weiterleitungen und korrekt gesetzte Canonical-Tags helfen dabei, widersprüchliche Indexierungssignale zu vermeiden. Suchmaschinen-Crawler dürfen außerdem nicht gezielt eine optimierte Version erhalten, während Nutzer eine andere Variante sehen.

Tests sollten vollständige Geschäftszyklen abdecken. Ein Experiment, das nur an einem Wochenende läuft, kann bei Unternehmen mit deutlichen Unterschieden zwischen Werk- und Wochenendtagen ein verzerrtes Bild erzeugen. Gleichzeitig darf ein Test nicht unnötig lange laufen, wenn zwischenzeitliche Änderungen an Kampagnen, Sortiment oder Website die Vergleichbarkeit aufheben.

Wie wird ein belastbarer Test geplant?

Eine gute Testhypothese nennt die geplante Änderung, die betroffene Zielgruppe, die erwartete Wirkung und die Messgröße. Ein Beispiel lautet: Eine kürzere Darstellung der Formularfelder erhöht bei mobilen Besuchern die Rate abgeschlossener Anfragen, weil weniger Eingaben erforderlich sind.

Vor dem Start solltest du außerdem folgende Punkte dokumentieren:

Primäre Kennzahl und relevante Schutzkennzahlen
Aktuelle Ausgangsrate der Kontrollvariante
Kleinster wirtschaftlich relevanter Effekt
Benötigte Stichprobengröße und geplante Laufzeit
Technische und organisatorische Änderungen während des Tests
Regeln für Umsetzung, Wiederholung oder Verwerfung der Variante

Die Dokumentation verhindert, dass Ergebnisse im Nachhinein passend interpretiert werden. Sie schafft zudem eine Wissensbasis für spätere Experimente. Verlorene Varianten sind dabei ebenfalls wertvoll, weil sie zeigen, welche Annahmen unter den geprüften Bedingungen nicht bestätigt wurden.

Fragen zu deiner SEO-, SEA- oder GEO-Strategie?

Kostenlose Erstberatung

Die Online Solutions Group GmbH bietet persönliche Betreuung durch Experten mit mindestens 14 Jahren Erfahrung und gehört zu den aktuell nur acht Agenturen in Deutschland mit BVDW-Zertifizierungen für SEO und SEA.

Häufige Fragen zu A/B-Tests

Wie lange sollte ein A/B-Test laufen?

Die Laufzeit hängt von Besucherzahl, Ausgangsrate und gewünschter Nachweisstärke ab. Der Test sollte die vorab berechnete Stichprobengröße erreichen und typische Schwankungen zwischen Wochentagen abdecken.

Kann ein A/B-Test auch ohne viel Traffic durchgeführt werden?

Ein Test ist auch bei wenig Traffic möglich, benötigt dann aber mehr Zeit oder kann nur größere Unterschiede zuverlässig erkennen. Bei sehr kleinen Besucherzahlen sind qualitative Nutzertests häufig die sinnvollere Ergänzung.

Was bedeutet eine verlorene Testvariante?

Eine verlorene Variante erreicht die festgelegte Zielkennzahl schlechter als die Kontrollversion oder zeigt keinen belastbaren Vorteil. Das Ergebnis widerlegt unter den geprüften Bedingungen die zugrunde liegende Hypothese.

Können mehrere A/B-Tests gleichzeitig laufen?

Mehrere Tests können parallel laufen, wenn sie unterschiedliche Nutzergruppen oder voneinander unabhängige Seitenelemente betreffen. Überschneidungen können Wechselwirkungen erzeugen und müssen bei der Planung berücksichtigt werden.

Was ist der Unterschied zwischen A/B-Testing und Personalisierung?

A/B-Testing vergleicht Varianten, um ihre Wirkung zu messen. Personalisierung zeigt unterschiedlichen Nutzergruppen dauerhaft angepasste Inhalte anhand bekannter Merkmale oder Verhaltensdaten.