Eine weitere Gemeinsamkeit beider Testverfahren ist, dass die Kontrollvariante, also die Variante, die vor dem Test angezeigt wurde, immer Bestandteil des Tests sein sollte. Dies ermöglicht es, die Veränderungen zum Status Quo zu ermitteln.

Web Analytics deckt Schwachstellen auf

Wer sich dazu entschlossen hat, seine Website durch A/B- bzw. Multivariate Tests zu optimieren, der sieht sich sehr schnell mit der Frage konfrontiert, wo man mit dem Testen beginnen soll.

Hier bieten sich jene Seiten an, die sich in einem Zieltrichter (Conversion-Funnel) befinden. Ein Zieltrichter beschreibt eine sinnvolle Aufeinanderfolge von einzelnen Seiten, die ein User durchlaufen muss um ein konkretes Ziel der Website (z. B. Kaufabschluss) zu erreichen. Zieltrichter lassen sich in fast jedem Web-Analytics-Tool erstellen. Seiten mit den höchsten Abbruchquoten sowie Landing-Pages, Produktdetail-, Suchergebnis-, Bestellprozessseiten, Newsletteranmeldung und Kontaktformulare eignen sich besonders für Tests.

Idealerweise bauen A/B- oder Multivariate Tests auf vorhandene Erkenntnisse zum Nutzerverhalten auf. Wer beispielsweise aus Web-Analytics-Reports die erfolgskritischen Seiten ermitteln kann, auf denen die meisten Nutzer den Shop verlassen, der findet hier wertvolle Informationen zum Potenzial von Tests.

Auch Informationen aus der klassischen Marktforschung wie Kunden-Feedback, Befragungen oder Usability-Untersuchungen bieten gute Anhaltspunkte. Werden die Erkenntnisse hieraus in einen abschließenden A/B- oder Multivariaten Test überführt, lassen sich Investitionen in Usability sogar kapitalisieren – ein wichtiges Argument bei Budgetverhandlungen für Usability.

Wichtig ist die statistische Aussagekraft

Statistik spielt eine sehr wichtige Rolle. Wird der Erfolg eines Tests lediglich mit einfachen Bordmitteln (reine Häufigkeitsauswertungen) überprüft, so läuft man Gefahr, dass die Testergebnisse zufällig entstanden sein können. Daher sieht man sich des Öfteren mit Fachbegriffen wie dem Konfidenzintervall konfrontiert, das aussagt, mit welcher zuvor festgelegten Wahrscheinlichkeit der gemessene (Miss-)Erfolg den tatsächlichen (Miss-)Erfolg trifft. Toolanbieter, die diese Signifikanztests nicht in ihrer Software integrieren, können daher Fehlentscheidungen herbeiführen. Faktoren wie externe Marktveränderungen können jedoch in den Testergebnissen nicht berücksichtigt werden.