Vorheriger Artikel Nächster Artikel

E-Commerce: In 8 Schritten zum eigenen A/B-Test

Dieser Beitrag gibt euch eine Checkliste mit den wichtigsten Punkten vor dem Setup eines A/B-Tests. Sie setzt voraus, dass man bereits ein A/B-Testkonzept im Kopf hat und weiß, was man auf welcher Seite testen möchte. Idealerweise ist die Variante B bereits entwickelt.

E-Commerce: In 8 Schritten zum eigenen A/B-Test

Checkliste: In 8 Schritten zum A/B-Test

  1. Sichern des Status Quo
  2. Dauer des Tests berechnen
  3. Anzahl Conversions auswerten
  4. Wahl der A/B-Testmethode
  5. Traffic Segmentierung
  6. Statistische Signifikanz
  7. Conversion Goals
  8. Auswahl Testing Tool und Setup
Das Shoppingerlebnis optimieren per A/B-Test? Acht Punkte sind dabei zu beachten. (Foto: lrargerich / flickr.com, Lizenz: CC-BY)

1. Sichern des Status Quo

Bevor man etwas ändert, ist es generell wichtig, den Status Quo zu sichern. Dies macht es einfacher, auch im Nachhinein herausfinden zu können, wo man ursprünglich hergekommen ist. Hier gehört nicht nur ein einfacher Screenshot von der unveränderten Seite, sondern auch, die Ursprungsvariante vorher technisch unverändert (inkl. Quellcode) zu sichern. Screenshot-Tools gibt es viele – für Firefox kann ich zum Beispiel Screengrab empfehlen, da hiermit auch eine komplette Seite (also über den sichtbaren Bereich hinaus) gesichert werden kann.

2. Dauer des Tests berechnen  - A/B Testing Duration Calculator

A/B-Tests sollten generell nicht allzu lange laufen. Ein Test, der sehr lange laufen muss, um signifikante Uplifts zu generieren, weist im Grunde genommen darauf hin, dass der zu messende Effekt zu gering ist. D.h. das variierte Test-Element oder die variierte Seite B hat demzufolge zu wenig Einfluss auf die Conversion Rate. Eine (persönliche!) Empfehlung lautet daher: Nicht mehr als zwei Monate testen! Wer sich vor einem ausrechnen möchte, wie lange ein Test dauern wird, kann verschiedene Testing Calculators verwenden. Ich möchte allerdings darauf hinweisen, dass man in derartigen Tools auch einen geschätzten Conversion-Uplift mit einberechnen muss. Eine derartige Schätzung fällt (auch uns Experten) schwer – Näheres dazu im nächsten Punkt.

Linktipps dazu:

3. Anzahl Conversions auswerten

Die Frage nach den zu erwartenden Conversions zielt vor allem auf Tests ab, die ein Mindestmaß an Conversions nicht erreichen können. Um dennoch testen zu können, muss man sich sogenannter Micro-Conversions bedienen. Hier eine Daumenregel, die bisher immer sehr gut funktioniert hat: Man braucht pro getesteter Variante ca. 10 Conversions pro Tag.

Bei einem bedeutet dies, dass man vor dem Test 20 Conversions pro Tag haben sollte, damit der Test nicht ewig läuft. Nun denkt man sich vielleicht: 20 Sales (als Beispiel) pro Tag für eine Variante hätte ich gerne, dann müsste ich nicht testen. Daher muss man sich in diesem Fall der Micro-Conversions bedienen. Wichtig ist dabei, dass das eigentliche Conversion Goal (Beispiel Sale) neben den verschiedenen Micro-Conversion Goals (AddToCart, etc.) mit getrackt wird. Auf den Punkt gebracht: Erst einmal die Conversions pro Testseite im Webanalyse-Tool auswerten. Wer keine 20 Conversions pro Tag vor dem Test hatte, sollte sich auf die Suche nach anderen Conversion Goals begeben, bzw. Micro-Conversions definieren, die neben dem Hauptziel mit getrackt werden. Beispiel Micro Conversion Rates:

  • Click-Through-Rate
  • Add-To-Basket-Rate
  • Click-To-Product-Rate
  • Basket-To-Buy-Rate

Beispiel Macro Conversion Rates:

  • Sales Conversion Rate (SCR)
  • Lead Conversion Rate (LCR)
  • Download-Rate

4. Wahl der A/B – Testmethode

Hier geht es nicht darum, zwischen A/B-Testing und multivariatem Testing zu entscheiden, sondern vielmehr darum, ob die optimierte Variante als eigenständige URL zur Verfügung steht, oder ob nur die Testelemente innerhalb der bestehenden Seite geändert werden. Vereinfacht gefragt:

  • Steht die neue Variante als eigene URL zur Verfügung? (www.domain.de/landingpage/version-b.html)
  • Ist die neue Variante über einen Parameter zu erreichen?  (www.domain.de/landingpage/?v=2)

Variante 1

Wenn beides verneint wurde, dann handelt es sich um einen „normalen“ A/B -Test auf der Website, bei der ein bestimmtes Element direkt ausgetauscht wird.

Variante 2

Wenn einmal mit „Ja“ geantwortet wurde, dann handelt es sich um Split-URL-Test. In diesem Fall kann man das Testsystem so aufsetzen, dass beim Aufruf einer URL vom System entschieden wird, welche Variante ausgespielt wird. Wichtig ist dabei, dass die ursprüngliche Variante auch als „Control“ im System hinterlegt wird, denn das Tool kann die neue Variante nur dann anzeigen, wenn die URL auch aufgerufen wurde.

5. Traffic Segementierung

Manchmal macht es Sinn, nicht immer den kompletten Traffic zu testen, sondern nur bestimmte Nutzergruppen (neu vs. wiederkehrend, SEA-Traffic für eine bestimmte Kampagne, organischer Traffic, Affiliate Traffic, mobile Nutzer, oder nur direkter Traffic). Bevor der A/B-Test live geht, sollte man sich überlegen, ob man alle Nutzer mit einbezieht, oder nur ganz bestimmte. Eine Segmentierung des Traffics kann durchaus zu ganz anderen Ergebnissen führen, als ungefiltertes Testing. In der Grafik nachfolgend ein paar Segmentierungsbeispiele:

Mein Tipp: SEA-Traffic eignet sich in der Regel gut fürs A/B-Testing, da dieser Traffic relativ gleichbleibende Qualität aufweist. Sollte der Test zum Uplift führen, kann man das Konzept auch auf den kompletten Website-Traffic ausweiten. Zur Segmentierung müssen beim Setup in der Regel die Kampagnen-Parameter in der URL eingetragen werden.

6. Signifikanz – Wann ist ein A/B Test aussagekräftig

Ein A/B-Test ist dann aussagekräftig, wenn eine gewisse Anzahl an Conversions aufgelaufen ist und der Test statistisch signifikant ist. In der Realität wird dies leider allzu häufig vernachlässigt, was nachfolgende Grafik verdeutlicht:

Wer mit einem A/B-Testing-Tool testet, der bekommt die Signifikanz (Chance to beat original, etc.) in der Regel mit ausgewertet. Bei manchen Tools kann vorher das Signifikanzniveau verändert werden. Aus der Praxis heraus kann ich empfehlen, das Signifikanzniveau auf 95 Prozent (= Fehlerwahrscheinlichkeit von 5 Prozent) einzustellen. Ein 90-prozentiges Signifikanzniveau ist ebenfalls vertretbar, sollte aber nicht Ziel einer Optimierung sein. Nachfolgender Screenshot zeigt die Einstellung im Visualwebsiteoptimizer (Zu finden unter Test-Settings).

7. Conversion Goals

Das wichtigste beim Testing sind wohl die Conversion Ziele. Erst wenn man diese Kennzahlen steigern konnte, war ein Test auch erfolgreich. Doch welche Ziele sollte man setzen? Hierbei ist auf jeden Fall der Punkt 3 zu berücksichtigen, d.h. man muss auf die Anzahl der Conversions achten. In einem Prozess (zum Beispiel Checkout) sollte man zudem immer alle Schritte mittracken. Es ist einem nicht geholfen, wenn die optimierte Produktseite zwar mehr Warenkorb-Aufrufe hat, dafür aber weniger Abschlüsse (ja, das kann passieren!). Je nachdem welches Testing Tool gewählt wird, ergibt sich daraus auch eine unterschiedliche Anzahl von möglichen Conversion Goals. Der Visualwebsiteoptimizer bietet zum Beispiel 7 Conversion Goals, wohingegen der Google Website Optimizer (auch wenn kostenlos) nur 1 Conversion Goal anbietet. Wichtig ist, dass man die Conversion Ziele auch sprechend bezeichnet, damit jeder weiß, was damit gemeint ist (Conversion 1 = Abschluss, Conversion 2 = In Warenkorb gelegt, etc.) und sie bevor der Test startet auch überprüft.

8. Auswahl Testing Tool und Setup

Wer erfolgreich alle Punkte durchlaufen hat, kann sich nun an die Auswahl des Testing Tools machen. Eine schöne Übersicht findet man auf whichmvt - auch wenn es der Name nicht vermuten lässt, aber A/B Testingtools sind ebenfalls enthalten. Nach der Auswahl eines Testingtools geht es nun an das Setup. Wer die vorherigen Punkte bereits abgehakt hat, wird merken, dass die unterschiedlichen Tools mehr oder weniger genau diese Informationen abfragen. Wer vor dem Test noch auf Nummer sicher gehen will, führt zunächst einen A/A-Test durch, um herauszufinden, ob das Tracking wirklich funktioniert, denn die neue Variante A sollte beim A/A-Testing nicht besser konvertieren als die ursprüngliche Variante A. ;-)

Viel Erfolg beim A/B – Testing!

Dieser Artikel erschien zuerst im Conversiondoktor-Blog.

Über den Gastautor

Gabriel Beck ist Head of Conversion Optimization bei explido WebMarketing und Autor des Conversion Blogs conversiondoktor.de.

NEU: Lass dir diesen Artikel vorlesen
Ein Service von t3n, in Kooperation mit Narando.
Vorheriger Artikel Zurück zur Startseite Nächster Artikel
Eine Antwort
  1. von Fimbim am 03.01.2012 (22:16 Uhr)

    Sehr guter Leitfaden durch das Prozedere. Wie immer gilt so viele daten wie möglich zu sammeln und dann sauber auszuwerten. Eigl. Sind A/B Testings absolut selbsterklärend, wenn man logisch denken und ein wenig rechnen kann.

    Antworten Teilen
Deine Meinung

Bitte melde dich an!

Du musst angemeldet sein, um einen Kommentar schreiben zu können.

Jetzt anmelden

Mehr zum Thema A/B-Test
Und es hat Klick gemacht: 7 Tipps für gut konvertierende CTA-Buttons
Und es hat Klick gemacht: 7 Tipps für gut konvertierende CTA-Buttons

CTA-Buttons sind vielleicht das wichtigste Detail im E-Commerce. Wir verraten euch, worauf ihr bei der Erstellung eines CTA-Buttons achten müsst. » weiterlesen

Gleicher Traffic, mehr Conversions: 10 Tipps für mehr Umsatz im E-Commerce
Gleicher Traffic, mehr Conversions: 10 Tipps für mehr Umsatz im E-Commerce

Kleine Veränderungen mit großen Umsatzgewinnen? Sowas bleibt in den meisten Fällen nur ein feuchter Traum. Dass sich kleine Tests manchmal trotzdem lohnen, zeigt diese Übersicht. » weiterlesen

Conversion-Optimierung von A bis Z: 26 Tipps für eine höhere Konversionsrate [Infografik]
Conversion-Optimierung von A bis Z: 26 Tipps für eine höhere Konversionsrate [Infografik]

Eine umfangreiche Infografik gibt euch 26 Tipps zur Conversion-Optimierung. Von A bis Z liefert die Grafik hilfreiche Hinweise zur Steigerung eurer Konversionsrate. » weiterlesen

Kennst Du schon unser t3n Magazin?

t3n 38 jetzt kostenfrei probelesen! Alle Inhalte des t3n Magazins Diesen Hinweis verbergen