Drücke die Tasten ◄ ► für weitere Artikel  

E-Commerce: In 8 Schritten zum eigenen A/B-Test

Dieser Beitrag gibt euch eine Checkliste mit den wichtigsten Punkten vor dem Setup eines A/B-Tests. Sie setzt voraus, dass man bereits ein A/B-Testkonzept im Kopf hat und weiß, was man auf welcher Seite testen möchte. Idealerweise ist die Variante B bereits entwickelt.

E-Commerce: In 8 Schritten zum eigenen A/B-Test

Checkliste: In 8 Schritten zum A/B-Test

  1. Sichern des Status Quo
  2. Dauer des berechnen
  3. Anzahl Conversions auswerten
  4. Wahl der A/B-Testmethode
  5. Traffic Segmentierung
  6. Statistische Signifikanz
  7. Conversion Goals
  8. Auswahl Testing Tool und Setup
Das Shoppingerlebnis optimieren per A/B-Test? Acht Punkte sind dabei zu beachten. (Foto: lrargerich / flickr.com, Lizenz: CC-BY)

1. Sichern des Status Quo

Bevor man etwas ändert, ist es generell wichtig, den Status Quo zu sichern. Dies macht es einfacher, auch im Nachhinein herausfinden zu können, wo man ursprünglich hergekommen ist. Hier gehört nicht nur ein einfacher Screenshot von der unveränderten Seite, sondern auch, die Ursprungsvariante vorher technisch unverändert (inkl. Quellcode) zu sichern. Screenshot-Tools gibt es viele – für Firefox kann ich zum Beispiel Screengrab empfehlen, da hiermit auch eine komplette Seite (also über den sichtbaren Bereich hinaus) gesichert werden kann.

2. Dauer des Tests berechnen  - A/B Testing Duration Calculator

A/B-Tests sollten generell nicht allzu lange laufen. Ein Test, der sehr lange laufen muss, um signifikante Uplifts zu generieren, weist im Grunde genommen darauf hin, dass der zu messende Effekt zu gering ist. D.h. das variierte Test-Element oder die variierte Seite B hat demzufolge zu wenig Einfluss auf die Conversion Rate. Eine (persönliche!) Empfehlung lautet daher: Nicht mehr als zwei Monate testen! Wer sich vor einem ausrechnen möchte, wie lange ein Test dauern wird, kann verschiedene Testing Calculators verwenden. Ich möchte allerdings darauf hinweisen, dass man in derartigen Tools auch einen geschätzten Conversion-Uplift mit einberechnen muss. Eine derartige Schätzung fällt (auch uns Experten) schwer – Näheres dazu im nächsten Punkt.

Linktipps dazu:

3. Anzahl Conversions auswerten

Die Frage nach den zu erwartenden Conversions zielt vor allem auf Tests ab, die ein Mindestmaß an Conversions nicht erreichen können. Um dennoch testen zu können, muss man sich sogenannter Micro-Conversions bedienen. Hier eine Daumenregel, die bisher immer sehr gut funktioniert hat: Man braucht pro getesteter Variante ca. 10 Conversions pro Tag.

Bei einem bedeutet dies, dass man vor dem Test 20 Conversions pro Tag haben sollte, damit der Test nicht ewig läuft. Nun denkt man sich vielleicht: 20 Sales (als Beispiel) pro Tag für eine Variante hätte ich gerne, dann müsste ich nicht testen. Daher muss man sich in diesem Fall der Micro-Conversions bedienen. Wichtig ist dabei, dass das eigentliche Conversion Goal (Beispiel Sale) neben den verschiedenen Micro-Conversion Goals (AddToCart, etc.) mit getrackt wird. Auf den Punkt gebracht: Erst einmal die Conversions pro Testseite im Webanalyse-Tool auswerten. Wer keine 20 Conversions pro Tag vor dem Test hatte, sollte sich auf die Suche nach anderen Conversion Goals begeben, bzw. Micro-Conversions definieren, die neben dem Hauptziel mit getrackt werden. Beispiel Micro Conversion Rates:

  • Click-Through-Rate
  • Add-To-Basket-Rate
  • Click-To-Product-Rate
  • Basket-To-Buy-Rate

Beispiel Macro Conversion Rates:

  • Sales Conversion Rate (SCR)
  • Lead Conversion Rate (LCR)
  • Download-Rate

4. Wahl der A/B – Testmethode

Hier geht es nicht darum, zwischen A/B-Testing und multivariatem Testing zu entscheiden, sondern vielmehr darum, ob die optimierte Variante als eigenständige URL zur Verfügung steht, oder ob nur die Testelemente innerhalb der bestehenden Seite geändert werden. Vereinfacht gefragt:

  • Steht die neue Variante als eigene URL zur Verfügung? (www.domain.de/landingpage/version-b.html)
  • Ist die neue Variante über einen Parameter zu erreichen?  (www.domain.de/landingpage/?v=2)

Variante 1

Wenn beides verneint wurde, dann handelt es sich um einen „normalen“ A/B -Test auf der Website, bei der ein bestimmtes Element direkt ausgetauscht wird.

Variante 2

Wenn einmal mit „Ja“ geantwortet wurde, dann handelt es sich um Split-URL-Test. In diesem Fall kann man das Testsystem so aufsetzen, dass beim Aufruf einer URL vom System entschieden wird, welche Variante ausgespielt wird. Wichtig ist dabei, dass die ursprüngliche Variante auch als „Control“ im System hinterlegt wird, denn das Tool kann die neue Variante nur dann anzeigen, wenn die URL auch aufgerufen wurde.

5. Traffic Segementierung

Manchmal macht es Sinn, nicht immer den kompletten Traffic zu testen, sondern nur bestimmte Nutzergruppen (neu vs. wiederkehrend, SEA-Traffic für eine bestimmte Kampagne, organischer Traffic, Affiliate Traffic, mobile Nutzer, oder nur direkter Traffic). Bevor der A/B-Test live geht, sollte man sich überlegen, ob man alle Nutzer mit einbezieht, oder nur ganz bestimmte. Eine Segmentierung des Traffics kann durchaus zu ganz anderen Ergebnissen führen, als ungefiltertes Testing. In der Grafik nachfolgend ein paar Segmentierungsbeispiele:

Mein Tipp: SEA-Traffic eignet sich in der Regel gut fürs A/B-Testing, da dieser Traffic relativ gleichbleibende Qualität aufweist. Sollte der Test zum Uplift führen, kann man das Konzept auch auf den kompletten Website-Traffic ausweiten. Zur Segmentierung müssen beim Setup in der Regel die Kampagnen-Parameter in der URL eingetragen werden.

6. Signifikanz – Wann ist ein A/B Test aussagekräftig

Ein A/B-Test ist dann aussagekräftig, wenn eine gewisse Anzahl an Conversions aufgelaufen ist und der Test statistisch signifikant ist. In der Realität wird dies leider allzu häufig vernachlässigt, was nachfolgende Grafik verdeutlicht:

Wer mit einem A/B-Testing-Tool testet, der bekommt die Signifikanz (Chance to beat original, etc.) in der Regel mit ausgewertet. Bei manchen Tools kann vorher das Signifikanzniveau verändert werden. Aus der Praxis heraus kann ich empfehlen, das Signifikanzniveau auf 95 Prozent (= Fehlerwahrscheinlichkeit von 5 Prozent) einzustellen. Ein 90-prozentiges Signifikanzniveau ist ebenfalls vertretbar, sollte aber nicht Ziel einer Optimierung sein. Nachfolgender Screenshot zeigt die Einstellung im Visualwebsiteoptimizer (Zu finden unter Test-Settings).

7. Conversion Goals

Das wichtigste beim Testing sind wohl die Conversion Ziele. Erst wenn man diese Kennzahlen steigern konnte, war ein Test auch erfolgreich. Doch welche Ziele sollte man setzen? Hierbei ist auf jeden Fall der Punkt 3 zu berücksichtigen, d.h. man muss auf die Anzahl der Conversions achten. In einem Prozess (zum Beispiel Checkout) sollte man zudem immer alle Schritte mittracken. Es ist einem nicht geholfen, wenn die optimierte Produktseite zwar mehr Warenkorb-Aufrufe hat, dafür aber weniger Abschlüsse (ja, das kann passieren!). Je nachdem welches Testing Tool gewählt wird, ergibt sich daraus auch eine unterschiedliche Anzahl von möglichen Conversion Goals. Der Visualwebsiteoptimizer bietet zum Beispiel 7 Conversion Goals, wohingegen der Google Website Optimizer (auch wenn kostenlos) nur 1 Conversion Goal anbietet. Wichtig ist, dass man die Conversion Ziele auch sprechend bezeichnet, damit jeder weiß, was damit gemeint ist (Conversion 1 = Abschluss, Conversion 2 = In Warenkorb gelegt, etc.) und sie bevor der Test startet auch überprüft.

8. Auswahl Testing Tool und Setup

Wer erfolgreich alle Punkte durchlaufen hat, kann sich nun an die Auswahl des Testing Tools machen. Eine schöne Übersicht findet man auf whichmvt - auch wenn es der Name nicht vermuten lässt, aber A/B Testingtools sind ebenfalls enthalten. Nach der Auswahl eines Testingtools geht es nun an das Setup. Wer die vorherigen Punkte bereits abgehakt hat, wird merken, dass die unterschiedlichen Tools mehr oder weniger genau diese Informationen abfragen. Wer vor dem Test noch auf Nummer sicher gehen will, führt zunächst einen A/A-Test durch, um herauszufinden, ob das Tracking wirklich funktioniert, denn die neue Variante A sollte beim A/A-Testing nicht besser konvertieren als die ursprüngliche Variante A. ;-)

Viel Erfolg beim A/B – Testing!

Dieser Artikel erschien zuerst im Conversiondoktor-Blog.

Über den Gastautor

Gabriel Beck ist Head of Conversion Optimization bei explido WebMarketing und Autor des Conversion Blogs conversiondoktor.de.

68 Shares bis jetzt – Dankeschön!

Bewerten
VN:F [1.9.22_1171]
4 Antworten
  1. von ArtViper Designstudio via facebook am 03.01.2012 (18:30Uhr)

    Sinnvoll

  2. von Fimbim am 03.01.2012 (22:16Uhr)

    Sehr guter Leitfaden durch das Prozedere. Wie immer gilt so viele daten wie möglich zu sammeln und dann sauber auszuwerten. Eigl. Sind A/B Testings absolut selbsterklärend, wenn man logisch denken und ein wenig rechnen kann.

  3. von Do I need a Copywriter? am 06.01.2012 (03:59Uhr)

    [...] response copywriter who specializes in landing pages, squeeze pages, and sales pages/letters. Do you need a direct response copywriter and not know it yet? If you’re in digital marketing, you ...e copywriter. At many advertising agencies, you’ll find a general disdain for direct response [...]

  4. von 20 Zeilen Code, die jeden klassischen A/… am 05.06.2012 (10:41Uhr)

    [...] Ein klassischer A/B-Test ist schnell eingerichtet. Wenn die Zielgruppe segmentiert und in einem gleichbleibenden Verhältnis auf mehrere zu testende Alternativen verteilt wurde, gilt es abzuwarten. Erst wenn die Daten ein eindeutiges Ergebnis zulassen, wird anhand der Conversion-Rate die Effektivität der Alternativen abgelesen. Hanov bemängelt nun, dass schon während des A/B-Tests wertvolles Potential verlorengeht. [...]

Deine Meinung

Bitte melde dich an!

Du musst angemeldet sein, um einen Kommentar schreiben zu können.

Jetzt anmelden

Mehr zum Thema Tests
Landingpages: Diese 10 Fehler solltet ihr vermeiden
Landingpages: Diese 10 Fehler solltet ihr vermeiden

Die perfekte Landingpage zu erstellen ist nicht einfach. Wir zeigen euch die zehn häufigsten Fehler, damit ihr sie zukünftig vermeiden könnt. » weiterlesen

E-Commerce-News: Websale, Oxid, asknet, plentymarkets und aktuelle Studien
E-Commerce-News: Websale, Oxid, asknet, plentymarkets und aktuelle Studien

Mit dem Newsticker informieren wir euch regelmäßig über Neues aus der E-Commerce-Landschaft, heute mit: plentymarkets Zalando-Anbindung, Websales klimaneutralem Shopsystem, Asknets Crowd-Testing,.. ... » weiterlesen

„So arbeiten Profis“: 5 Erkenntnisse aus der Conversion-Optimierung
„So arbeiten Profis“: 5 Erkenntnisse aus der Conversion-Optimierung

Conversion-Optimierung ist für viele Seitenbetreiber ein enormer Umsatztreiber, insbesondere im Bereich E-Commerce. Wir zeigen euch anhand von fünf Beispielen von Unternehmen wie Spreadshirt,... » weiterlesen

Kennst Du schon unser t3n Magazin?

t3n-Newsletter
Top-Themen der Woche für Web-Pioniere
Jetzt kostenlos
anmelden
Diesen Hinweis verbergen