Anzeige
Anzeige
Reportage

Statistische Signifikanz im Marketing ‒ das sollten nicht nur Datenexperten kennen

Bauchgefühl oder Datenauswertung? Wenn man den eigenen Daten trauen will, kommt man am Thema statistische Signifikanz nicht vorbei. Warum das so ist, erklärt unsere Gastautorin.

Von Lisa Lawrenz
6 Min.
Artikel merken
Anzeige
Anzeige

Wenn man den eigenen Daten trauen will, ist statistische Signifikanz ein probates Mittel zur Überprüfung. (Foto: create jobs 51 / shutterstock)

Machen wir uns nichts vor: Viele Entscheidungen in Unternehmen und ganz besonders im Marketing werden immer noch nach Bauchgefühl getroffen. Auch wenn schon seit vielen Jahren Sätze wie „Daten sind das neue Gold“ gepredigt werden, glorifizieren gleichzeitig Serien wie „Mad Men“ mutige Entscheidungen, die dann auch noch großen wirtschaftlichen Erfolg bringen. Andererseits sieht heute ‒ besonders im Marketing ‒ die Realität auf den ersten Blick durchaus anders aus: Gerade im Digital-Marketing herrscht eine klare Performance-Orientierung. Vieles ist quantifizierbar, gemacht wird das, was nachweislich funktioniert.

Und dennoch: Nicht selten wird am Ende doch wieder aus dem Bauch heraus entschieden, was überhaupt versucht werden soll. Und selbst falls A/B-Tests verwendet werden, um etwa unterschiedliche Varianten einer Landingpage oder verschiedene CTA zu evaluieren, gibt es noch etliche Fallstricke bei der Interpretation der Ergebnisse.

Anzeige
Anzeige

Dieser Text ist daher ein Plädoyer, dass sich wirklich jede:r Marketingverantwortliche mit dem Prinzip der statistischen Signifikanz auseinandersetzen sollte ‒ und wie es beim Experimentieren mit Marketingmaßnahmen genutzt werden sollte.

Was ist statistische Signifikanz und warum ist sie wichtig?

„Wird ein statistisches Ergebnis als signifikant bezeichnet, so drückt dies aus, dass die Irrtumswahrscheinlichkeit, eine angenommene Hypothese treffe auch auf die Grundgesamtheit zu, nicht über einem festgelegten Niveau liegt“, so erklärt es zumindest Statista. Etwas einfacher ausgedrückt: Ist ein Zusammenhang, den man zum Beispiel durch eine Messung beobachtet hat, statistisch signifikant, dann tritt er in den gemessenen Daten (Stichprobe) nicht einfach zufällig auf, sondern ist verallgemeinerbar.

Anzeige
Anzeige

Damit wird auch schon klar, welchen Nutzen statistische Signifikanz bei der Entscheidungsfindung haben kann: Sie kann Zusammenhänge aufzeigen und dadurch Hinweise geben, wie sich das Drehen an bestimmten Stellschrauben auswirken kann. Im Grunde geht es also um das Gegenteil des Treffens von Entscheidungen aus einem Bauchgefühl heraus.

Anzeige
Anzeige

Wie berechnet man statistische Signifikanz?

Eine wichtige Rolle bei der Berechnung von statistischer Signifikanz spielt der Chi-Quadrat-Test, der erstmals im Jahr 1900 von dem britischen Mathematiker Karl Pearson beschrieben wurde. Ohne an dieser Stelle zu tief ins Detail zu gehen: Wie der Name schon vermuten lässt, spielt das Quadrieren der Daten eine wichtige Rolle, um so mögliche Variablen ‒ also die eben erwähnten Stellschrauben ‒ aufzuspüren.

Vorsicht, jetzt kommt eine Formel ‒ und zwar die, mit der in unserem Zusammenhang die Chi-Quadrat-Methode häufig zum Einsatz kommt:

Anzeige
Anzeige

statistisch signifikant = Wahrscheinlichkeit (p) < Schwellenwert (a)

In der Praxis bedeutet das: Das Ergebnis eines Tests oder eines Experiments ist dann statistisch signifikant, wenn die Wahrscheinlichkeit (p für Probability) für das Eintreten dieses Ergebnisses niedriger ist als der Schwellenwert (a, auch Alpha-Wert genannt). Das heißt schlicht und einfach: Statistisch signifikant bedeutet, dass die Wahrscheinlichkeit, dass das Ereignis rein zufällig eingetreten ist, äußerst gering sein dürfte. Stattdessen wurde es durch die untersuchte Stellschraube ausgelöst.

Warum ist statistische Signifikanz im Digital-Marketing fundamental?

Vermutlich ist nun schon klarer geworden, warum die Überprüfung von (Test-)Ergebnissen auf deren statistische Signifikanz gerade im Marketing so wichtig ist. Ein praktisches Beispiel hilft sicher dennoch weiter:

Anzeige
Anzeige

Das Marketing-Team fragt sich, ob ein bestimmtes Messaging (Messaging A) auf einer Landingpage besser funktioniert als ein anderes (Messaging B). Ein naheliegender Test wäre also, an der Stellschraube „Messaging“ zu drehen und zu schauen, wie sich das auf die Conversion-Rate auswirkt. Wenn sich durch diesen Test die Conversion tatsächlich verändert, will das Marketing-Team wissen, ob diese Veränderung nur Zufall war oder ob das Drehen an der Stellschraube entscheidend ‒ also statistisch signifikant ‒ war.

Wie wird statistische Signifikanz bei A/B-Tests eingesetzt?

Wie kann man nun das eben beschriebene Beispiel auf die Praxis übertragen? In sehr vielen Fällen ist hierfür ein A/B-Test sinnvoll. Denn: Wenn das Marketing-Team einfach nur auf Messaging B wechselt und dann schaut, wie sich die Conversion-Rate verändert, vergleicht man dadurch auch zwei unterschiedliche Zeitabschnitte ‒ und zwar vor und nach der Messaging-Änderung. Besser ist es daher, den Traffic, der auf die Landingpage kommt, aufzuteilen in Gruppe A, die das ursprüngliche Messaging A zu sehen bekommt, und Gruppe B, die das zu testende Messaging B sieht. Dieses Grundprinzip des A/B-Tests kann man auf viele Bereiche und Fragestellungen des modernen Marketings anwenden. Zum Beispiel könnte man die Auswirkungen des Drehens an Stellschrauben auf folgende Bereiche untersuchen:

  • E-Mail: Klicks, Öffnungsraten, Engagement
  • Antworten auf Benachrichtigungen
  • Conversion-Rates von Push-Mitteilungen
  • Kunden-Reaktionen und Surfverhalten
  • Reaktionen auf Product-Launches
  • Call-to-Action-Interaktionen (CTA) auf der Website

Die 6 Schritte, um statistische Signifikanz bei A/B-Tests anzuwenden

Wie funktioniert es nun in der Praxis, wenn man mit A/B-Tests Hinweise auf die wichtigen Stellschrauben finden möchte? Grundsätzlich sollte man immer die folgenden sechs Schritte befolgen:

Anzeige
Anzeige

1. Nullhypothese setzen

Die Nullhypothese besagt vereinfacht gesagt, dass das Drehen an der zu untersuchenden Stellschraube sich nicht auf das gewünschte Ergebnis auswirken wird. In unserem Beispiel: Der Wechsel zu Messaging B wird sich nicht auf die Conversion-Rate der Landingpage auswirken. Insofern beschreibt die Nullhypothese die Benchmark.

2. Alternativhypothese aufstellen

Das logische Gegenstück zur Nullhypothese: die Alternativhypothese, die die gewünschte Auswirkung beschreibt. Im Beispiel oben wäre das die Vermutung, dass Messaging B die Conversion-Rate signifikant steigern wird.

3. Prüfschwellenwert setzen

Als nächstes kommt der in der Formel erwähnte Schwellenwert a ins Spiel. Je niedriger man diesen Schwellenwert setzt, desto „strenger“ wird getestet, desto klarer muss der Zusammenhang zwischen Stellschraube und gewünschtem Ergebnis ausfallen, um als statistisch signifikant zu gelten. Die Faustregel lautet hierbei: Je umfangreicher die Stellschraube (wenn etwa die Auswirkungen einer vollständig umgebauten Landingpage untersucht werden sollen), desto höher sollte man den Schwellenwert wählen. Wenn es hingegen um eine kleinere Veränderung geht (wie ein anderer Bestätigungsbutton), dann sollte der Schwellenwert niedriger liegen.

Anzeige
Anzeige

4. A/B-Test durchführen

Dann wird es Zeit für den eigentlichen A/B-Test. An dieser Stelle teilt man den Traffic auf und schaut sich beide Varianten über einen gewissen Zeitraum an. Im oben beschriebenen Beispiel müsste man also lediglich am Ende des Testzeitraums vergleichen, ob die Gruppe mit Messaging A oder B die bessere Conversion-Rate erzielt hat. Zeigt B die besseren Ergebnisse, ist die Alternativhypothese zunächst bestätigt.

5. Chi-Quadrat-Methode anwenden

Und nun wird es wirklich ernst, denn jetzt kommt der Chi-Quadrat-Test zum Einsatz. Wer im Detail erfahren möchte, wie das funktioniert, kann sich anschauen, wie Scott Klemmer von der University of California in San Diego es erklärt.

In jedem Fall wird der Chi-Quadrat-Test klären, ob die Ergebnisse statistisch signifikant sind ‒ also ob die Wahrscheinlichkeit (p) tatsächlich kleiner ist als der Schwellenwert (a).

Anzeige
Anzeige

6. Ergebnisse in (sinnvolle) Maßnahmen übersetzen

Nehmen wir an, in unserem Beispiel hat Messaging B tatsächlich eine statistisch signifikante und zugleich bessere Conversion-Rate geliefert als Messaging A. In diesem Fall spricht nun alles dafür, dem kompletten Traffic, der auf die Landingpage kommt, Messaging B anzuzeigen.
Sollte das Ergebnis nicht statistisch signifikant sein, bedeutet das nicht sofort, dass Messaging B aus dem Rennen ist. In diesem Fall sollte man (vor allem bei einem knappen Ergebnis) zunächst einen weiteren, umfangreicheren A/B-Test durchführen, bei dem eine größere Stichprobe verwendet, also mehr Traffic untersucht wird.

Fazit: Was man außerdem beachten sollte

Zum Schluss sollte nicht unerwähnt bleiben, dass beim Thema A/B-Tests immer wieder einige typische Fehler gemacht werden, die man besser vermeiden sollte.

  • A/B-Test ohne Not anwenden. Manchmal wird vergessen, dass A/B-Tests, auch wenn sie optimal ausgeführt werden, Zeit kosten. Daher kann man bei Veränderungen oder Marketingmaßnahmen, die kostengünstig sind beziehungsweise einfach wieder rückgängig gemacht werden können, vielleicht darauf verzichten. Besonders bei unumkehrbaren Veränderungen sollte man hingegen unbedingt auf statistische Signifikanz überprüfen.
  • Zu wenig Variation beziehungsweise Vergleiche. Traurig, aber wahr: Meistens ist die Wirklichkeit sehr viel komplizierter als unser oben beschriebenes Beispiel. Das bedeutet, dass auch andere Stellschrauben noch dazwischenfunken könnten. Das sollte man durch weitere Tests untersuchen.
  • Verzerrung einbauen. Es passiert schnell, dass man beim Aufbau eines A/B-Tests unabsichtlich die späteren Ergebnisse verzerrt ‒ zum Beispiel weil er in bestimmten Weltregionen oder bei spezifischen soziodemografischen Gruppen bestimmte Ergebnisse produzieren wird. Anschließend verallgemeinert man jedoch fälschlicherweise die Ergebnisse und sorgt dadurch für gänzlich falsche Annahmen gegenüber der eigenen Zielgruppe.

Wenn man diese Punkte beachtet und der oben beschriebenen Anleitung folgt, erhält man mit auf statistische Signifikanz überprüften A/B-Tests ein äußerst hilfreiches Tool. Es kann Erkenntnisse liefern, die Unternehmen in praktisch allen Branchen weiterhelfen können. Denn: Das Bauchgefühl liegt vielleicht ab und an richtig, statistische Signifikanz hingegen irrt sich, wenn richtig angewendet, nie.

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Kommentare (1)

Community-Richtlinien

Johann

Selten habe ich so eine falsche Erklärung statistischer Signifikanz gelesen. Ganz großer Mist.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Kommentar abgeben

Melde dich an, um Kommentare schreiben und mit anderen Leser:innen und unseren Autor:innen diskutieren zu können.

Anmelden und kommentieren

Du hast noch keinen t3n-Account? Hier registrieren

Anzeige
Anzeige