A/B-Testing: Der große Starter-Guide

Der große Starter-Guide „A/B-Testing“. (Grafik: Shutterstock)
Was ist ein A/B-Test?
Ein A/B-Test vergleicht die Performance mehrerer Variationen einer Website hinsichtlich ihrer Konversionen. Anders als der Name suggeriert, handelt es sich nicht zwangsweise um den Vergleich von nur zwei Variationen, sondern beliebig vielen.
Marketer hoffen durch stetiges Testen auf eine schrittweise Verbesserung der Website hinsichtlich ihrer ganz besonderen Zielsetzung. Die erhofften Ergebnisse unterscheiden sich demnach je nach Geschäftsmodell. Deutlich wird das an folgenden Beispielen:
- Ein Online-Händler hofft auf steigende Umsätze durch den Abverkauf seiner Produkte. Er testet beispielsweise Variationen seiner Produktseite.
- Ein SaaS-Anbieter will die Anzahl seiner zahlenden Kunden steigern. Seine Taktik: das Testing der „Pricing“-Seite.
- Ein werbefinanzierter Publisher hofft auf zusätzliche Besucher und testet bei jedem Artikel mehrere Variationen der Überschriften.
Warum ein A/B-Test?
Besucher wachsen nicht auf Bäumen. Sie kosten Geld, ganz egal ob man sie einkauft (bspw. AdWords) oder anlockt (bspw. Facebook). Mit cleverem A/B-Testing generieren Unternehmen höhere Umsatz- trotz gleichbleibender Besucherzahlen. Marketer steigern durch A/B-Testing demnach die Effizienz dieser „begrenzten Ressource“.
Wie sollten Marketer testen?
Erfahrene Marketer raten beim A/B-Testing zu einem strikten Schema, das Testreihen die notwendige Struktur gibt. Es erleichtert Einsteigern aus den Ergebnissen ihrer Testreihen nachhaltige Erkenntnisse zu ziehen.
- Problem: Du identifizierst ein Problem auf deiner Website, beispielsweise geringe Klickraten auf ein wichtiges Element.
- Recherche: Es folgt die Recherche der einflussnehmenden Faktoren, beispielsweise ein niedriger farblicher Kontrast.
- Hypothese: Du formst auf Basis deiner Recherche eine Hypothese für den A/B-Test.
- Test: Du erstellst eine Variation der bestehende Webseite und testest sie im Rahmen eines A/B-Tests gegen das Original.
- Analyse: Es ist soweit, du ermittelst den Gewinner. Sollte deine Variation gewonnen haben, wird sie zum neuen „Original“. Hat sie verloren, kehrst du zum dritten Schritt zurück.
Prinzipiell lässt sich jedes auf einer Website befindliche Element testen – von Überschriften über Absätze bis hin zu Formularen und Suchboxen. Die Entscheidung für oder gegen das Testen eines Elements treffen Marketer im Rahmen der Hypothese.
„Optimal für den Einstieg ist das Ausblenden von Elementen“, weiß Jörg Dennis Krüger von Conversionboosting. „Man lernt, welche Elemente wirklich wichtig sind und erreicht durch das Weglassen von unnötigen Elementen oft bereits merkliche Steigerungen der Conversion Rate.“„Durch das Weglassen von Elementen lassen sich merkliche Steigerungen erreichen.“
Weil Marketer in Anbetracht der begrenzten Ressource „Besucher“ nicht beliebig viele A/B-Tests einer Webseite starten können, lohnt das Priorisieren. Dabei wird vorab geschätzt, wie groß der Einfluss eines A/B-Tests ist. Auf Basis dieser Schätzung priorisieren Marketer anschließend die geplanten A/B-Tests.
Statistisches Basiswissen schützt vor Fehlentscheidungen
Varianz spielt beim Testing eine große Rolle. Viele Faktoren beeinflussen die Ergebnisse, darunter beispielsweise die Trafficquellen und die Nutzungshäufigkeit.
Auch negative Veränderungen können aus diesen Gründen kurzzeitig positive Ergebnisse erzielen. Wichtig ist, sich davon nicht aus der Ruhe bringen zu lassen und auf statistische Validität zu prüfen.
Den idealen Zeitraum für einen A/B-Test gibt es in den seltensten Fällen, man kann sich ihm aber nähern. Mithilfe von Rechnern kann man schon vor einem Test abschätzen, wie lange er wohl laufen muss.
Darüber hinaus raten Experten, einen A/B-Test für mindestens zwei Wochen sowie einen ganzen Kaufzyklus laufen zu lassen. Unter einem Kaufzyklus versteht man den Zeitraum vom ersten Kontakt bis zur Conversion.„Den idealen Zeitraum für einen A/B-Test gibt es nicht.“
Wer den Hintergrund dieser Anforderungen genauer verstehen möchte, findet auf konversionskraft.de einen detaillierten Artikel. Er erklärt die Hintergründe und gibt Hinweise zur Bestimmung des Testzeitraums.
Was ist das beste Tool?
Die Frage nach dem richtigen Tool lässt sich nicht pauschal beantworten, trotzdem gibt es einige häufig empfohlene Favoriten. Jörg Dennis Krüger rät zu VWO, AB Tasty, eTracker, Convert oder Optimizely.
Auf Anfrage von t3n.de schreibt er: Optimizely ist für alle, die „nur mal etwas rumprobieren möchten und technisches Wissen haben“. Sein eigentlicher Tipp ist aber VWO. Der Dienst hat „vielfältige Funktionen, skalierbare Angebote und eine große Community.“
„Teste mehrere Lösungen, um die Details kennenzulernen“
Wichtig sei laut Krüger, sich frühzeitig mit jQuery zu befassen oder jemanden zu finden, der sich auskennt. Die mitgelieferten Editor der meisten Anbieter, die das einfache Anpassen von Webseiten versprechen, stoßen schnell an ihre Grenzen.
Ähnlich offen äußert sich auch Nils Kattau der Berliner Agentur Conversionlift: „Alle Programme haben ihre Vor- und Nachteile. Adobe Test & Target würde ich beispielsweise niemandem empfehlen, der das noch nie gemacht hat.“
Wichtige Auswahlkriterien sind laut Krüger deshalb die einfache Integration der Webanalyse, Funktionen zum Targeting und der Qualitätssicherung. Er rät Einsteigern, „ruhig mal mehrere Lösungen ausprobieren, um die Details kennenzulernen“.
Bist du bereit voll durchzustarten? Dann lies auch 10 Regeln für bessere A/B-Tests.
Habt ihr auch einen ab-test laufen auf diesem artikel mit zwei verschiedenen links zu den 10 besten ab-test-tipps :-)
auf einer version funktionierts und ich hab die falsche version erwischt :-)
könntet ihr bitte noch den richtigen posten ??
Hab das gleiche AB Testing erwischt :/ aber glaube der Link führt auf einen alten Artikel den ich bereits gelesen habe.
Lars,
guter Artikel! Dazu passt übrigens ganz gut dieser Artikel mit der What & Why Analyse Methodik: http://ganalyticsblog.de/analytics-allgemein/webanalyse-methodik-die-what-und-why-analyse/
Viele Grüße
Mario
Gibt es auch kostenlose A/B Test Tools?
Klar, gibt sowas wie sixpack (http://sixpack.seatgeek.com/) oder Proctor (http://indeedeng.github.io/proctor/). Die sind aber ohne Editor zum zusammenklicken der Tests, die müssen „programiert“ werden.
Oder: http://phpabtest.com/
Ansonsten: Google Tag Manager in Kombi mit Google Analytics
Die Point&Click-Editoren braucht wirklich kein Mensch. Aber: Die Testing-Tools bringen halt schon einiges an ausgereifter Funktionalität mit, die man sonst selbst entwickeln muss. Da habe ich schon viel Murks gesehen – und die Tools sind ja meist auch eher günstig. Mit GTM testen ist eine nette Idee – aber halt auch eher „durch die Brust ins Auge“.
Als kostenloses A/B Testtool könnte man beispielsweise auf Google Content Experiments zurückgreifen. Eine kleine nette Toolsammlung zur Bestimmung von signifikanten Ergebnissen findet man beispielsweise unter http://www.signifikanzrechner.de
Komplett kostenlos bis 50.000 Testteilnehmer ist Optimizely. Wer mehr Funktionen oder mehr Besucher braucht, kommt um kostenpflichtige Tools nicht drumherum. Leider beginnt Optimizely dann erst bei einem vierstelligen Betrag. VWO ist da schon für kleineres Geld zu bekommen. Kostenlos testen kann man die meisten Tools. Google Content Experiments sind zwar ganz nett, aber bieten doch sehr eingeschränkte Funktionen.
Wer mit der Conversion-Optimierung und A/B-Testing richtig loslegen will, findet bei ConversionBoosting übrigens 20 kostenlose Dokumente, Videos, Checklisten & mehr: http://conversionboosting.com/kostenlos/
Einige Gute Tipps. Wollte nur drauf hinweisen, dass Optimizely Anfang diesen Jahres die Stats Engine entwickelt und damit die Statistik hinter A/B Tests revolutioniert hat. Das Errechnen von Samplegrößen ist quasi überflüssig und die Ergebnisse sind valider als bei anderen Plattformen. Hier alle Infos: http://optimizely.ly/1RbY6qF
Sehr guter Artikel, der einen guten Überblick über das Thema gibt. Wir haben das Thema A/B Testing auf das Medium E-Mail übertragen und einen Einsteiger-Leitfaden für A/B-Tests speziell im E-Mail Marketing verfasst:
https://www.mailjet.de/blog/news/einsteiger-guide-ab-tests-im-email-marketing/