10 tips for successful A/B testing

von Katrin Nebermann

Website-Optimierung sollte ein systematischer, kontinuierlicher, datengetriebener Prozess sein, der eine fortlaufende Optimierung durch kontinuierliches Testing und stetigen Lernfortschritt ermöglicht. Mittels Testing lassen sich zudem fatale Flops und böse Überraschungen vermeiden. Daneben hilft A/B-Testing, Debatten, die auf Meinungen und Spekulationen beruhen, aus dem Weg zu gehen. Im Zweifel lässt man Varianten gegeneinander in Tests antreten und entscheidet dann auf Basis objektiver Testergebnisse. Das sollten Sie allerdings beim A/B-Testing beachten:

1. Erst die Analyse, dann das Testing

Identifizieren Sie Schwachstellen auf Ihrer Website mittels kontinuierlicher Web-Analyse. Ein guter Einstieg ist z. B. die Analyse der häufigsten Ein- und Ausstiegsseiten: Welche der Einstiegsseiten haben eine (zu) hohe Bounce Rate? Sind unter den Ausstiegsseiten viele, auf denen eine Konversion ausgeführt werden soll, wie „Bezahl- & Versandart auswählen“ im Zuge eines Bestellvorgangs?

2. Das Problem mit Hilfe von Segmentierung eingrenzen

Website-Besucher sind in ihrem Nutzerverhalten sehr unterschiedlich, so dass bei der gründlichen Untersuchung einer Seite nicht mit einem Durchschnittswert aller Besucher gearbeitet werden sollte. Segmentierung heißt hier das Zauberwort. Vor allem in Hinblick auf die Unterscheidung zwischen Desktop, Smartphone und Tablet zeigen sich häufig deutliche Unterschiede. Geben Sie sich aber nicht mit einer Segment-Dimension zufrieden: Schauen Sie sich den Erfolg nach Gerätetyp in Kombination mit dem Einstiegsmedium (SEA, SEO, Referrer, Type-In, …), Tageszeit und Wochentag, dem Besuchertyp (Erstbesucher versus Wiederkehrer, Käufer versus Nichtkäufer) usw. an, um kritische Zusammenhänge aufzudecken.

3. Setzen Sie sich klare Ziele

„Ich will die Conversion-Rate meiner Website verbessern“ ist kein klares Ziel, sondern der Grundgedanke jedes Testings. Stellen Sie darum zu jedem Test eine Hypothese auf, aus der klar hervorgeht, was das Problem ist, wie dieses gelöst werden soll und wie hoch die Steigerung welcher Kennzahl sein soll, damit ein Test als erfolgreich gilt. Folgendes Schema hilft bei der Formulierung einer schlüssigen These:

Weil wir erkannt haben, dass _____ [Data/Feedback/Beobachtung], erwarten wir, wenn wir für ______ [das Nutzersegment] Folgendes verändern ______ [Variation], diese Verbesserung eintritt ______ [Beschreibung des Nutzerverhaltens], die wie folgt gemessen werden kann ______ [Kennzahl/Ziel].

4. Priorisieren Sie Ihre Test-Hypothesen

Test-Ressourcen sind knapp. Daher ist eine Bewertung nach Dringlichkeit, Aufwand und erwarteter Wirkung notwendig: Welches Problem sollte am schnellsten gelöst werden? Von welchem Test erhoffen Sie sich die größte Verbesserung? Was sind so genannte „niedrig hängende Früchte“, die sich recht einfach umsetzen lassen und gleichzeitig eine spürbare Erfolgssteigerung verheißen?

Gut, wenn Sie bei der Problem-Analyse bereits die Besucheranzahl im Segment auf den betroffenen Seiten sowie die dazugehörige Konversionsrate bzw. den Umsatzwert ermittelt haben. Jetzt brauchen Sie nur noch eine realistische Einschätzung des erzielbaren Uplifts und benötigten Aufwands, um zu entscheiden, mit welchen Tests gestartet werden sollte.

5. Mutig Schritt für Schritt

Gerade bei Ihren ersten Tests sollten Sie sich auf ein Element oder eine zusammenhängende Kombination von Elementen konzentrieren, anstatt gleich das komplette Layout, Texte, Bilder, Buttons und das Vorteilsangebot in allen denkbaren Kombinationen zu verändern (sogenanntes „multivariates Testing“). So haben Sie bei der Auswertung den Vorteil, dass eine Steigerung klar auf eine bestimmte Veränderung zurückzuführen ist. Aus diesem Grund sollten Sie auch nicht mehrere A/B-Tests gleichzeitig durchführen, es sei denn, Sie können Wechselwirkungen ausschließen.

6. Viele Wege führen ans Ziel

Die Logik liegt auf der Hand: Je mehr Varianten ins Spiel gebracht werden, umso höher ist die Chance, dass mindestens eine davon besser als das Original konvertiert. Insofern steigt mit der Anzahl an Variationen die Wahrscheinlichkeit von erfolgreichen Tests. Eine Anzahl von drei bis fünf Variationen pro Test sind empfehlenswert. Bei noch mehr Testvarianten laufen Sie Gefahr, allzu lange warten zu müssen, bevor Ihr Testergebnis aussagekräftig ist.

7. Vermeiden Sie unnötige Aufwände bei der Umsetzung

Split-URL-Testing ist mit größeren Aufwänden verbunden. Neue Webseiten müssen gestaltet, programmiert und veröffentlicht werden. etracker bietet im Optimiser einen komfortablen Visuellen Editor, der es Ihnen erlaubt, Elemente per Klick zu bearbeiten, hinzuzufügen oder zu entfernen. Für den Test komplexerer Funktionalitäten eignet sich die Script-Injection, bei der sich eigenes CSS oder Java Script mit dem Laden der Seite einfügen lassen.

Achten Sie bei der Tool-Auswahl darauf, dass die Option besteht, via Schnittstellen eine Integration in Ihr Content Management- bzw. Shop-System vornehmen zu können. Das erleichtert die Arbeit von Redakteuren und sorgt für ein nahtloses Zusammenspiel.

8. Experimentieren Sie mit Overlays und unterschiedlichen Auslösern

Gerade für die Generierung von Leads und Newsletter-Anmeldungen ist die Frage der passenden Ansprache zur richtigen Zeit ausschlaggebend für den maximalen Erfolg. Werden Besucher beispielsweise direkt beim Einstieg zur Newsletter-Anmeldung aufgefordert, kann dies abschreckend wirken. Andererseits ist es geradezu fahrlässig, Besucher einfach die Seite verlassen zu lassen, ohne den Versuch zu unternehmen, ein Einverständnis zum Newsletter-Empfang zu erhalten. Probieren Sie unterschiedliche Auslöser, Designs, Ansprachen, Stile usw. aus, um Anmeldungen, Engagement und Konversionen zu erhöhen.

9. Geduld ist eine Testing-Tugend

Auch wenn bereits nach kurzer Zeit eine Testvariante weit vor der anderen liegt: Werten Sie nicht zu früh aus! Wenn nicht mindestens eine komplette Woche getestet wird, ist die Stichprobe womöglich nicht repräsentativ. Beachten Sie außerdem eventuelle Besonderheiten wie Feiertage, Ferienzeiten oder saisonale Effekte, die sich auf das Nutzerverhalten auswirken können.

10. Der ewige Kreislauf des Testings

Hier und da mal einen A/B-Test durchzuführen oder verhaltensbasiert das eine oder andere Overlay auszuspielen ist ein Anfang. Die Kür ist es aber, dauerhaft eine datengetriebene Testing-Kultur im Unternehmen zu etablieren. Gerade das Thema Website-Personalisierung ist kein Einmalprojekt, sondern muss mit Bedacht und Experimentierfreude agil fortentwickelt werden. Dies gelingt nur mit den richtigen Werkzeugen, Prozessen, Zielen und Strukturen. Die Mühe lohnt sich in Bezug auf ROI und Kundenbegeisterung wie zahlreiche Beispiele von etracker-Kunden belegen.