Du hast deinen AdBlocker an?

Es wäre ein Traum, wenn du ihn für t3n.de deaktivierst. Wir zeigen dir gerne, wie das geht. Und natürlich erklären wir dir auch, warum uns das so wichtig ist. Digitales High-five, deine t3n-Redaktion

Fundstück

A/B-Testing: Was Designer von Netflix lernen können

A/B-Tests sind ein wichtiges Instrument im UI-Design. In einem fast einstündigen Video erklären euch zwei Netflix-Designer jetzt, wie der Streaming-Dienst dieses Mittel einsetzt.

A/B-Tests vs. Umfragen: Wünsche und Verhalten von Nutzern können stark voneinander abweichen

A/B-Tests sind ein extrem hilfreiches Mittel, um die Reaktionen der Nutzer auf Design- und Funktionsänderungen erfassen und auswerten zu können. Zwar können Nutzerumfragen ebenfalls hilfreich sein, um die Nutzungserfahrung einer App zu verbessern, doch aus ihnen ergibt sich leider häufig ein Problem: Was sich Nutzer wünschen, ist nicht notwendigerweise identisch mit dem, was sie tatsächlich auch annehmen.

A/B-Testing spielt eine enorm wichtige Rolle beim Designprozess bei Netflix. (Screenshot: Designers+Geeks / Youtube)
A/B-Testing spielt eine enorm wichtige Rolle beim Designprozess bei Netflix. (Screenshot: Designers+Geeks / Youtube)

Im Rahmen der Designers+Geeks-Konferenz im Yelp-Hauptquartier in San Francisco im Juli 2016 zeigten die beiden Netflix-Produktdesigner Anna Blaylock und Navin Iyengar ein interessantes Beispiel dafür: Ein Großteil der potenziellen Netflix-Kunden wünschte sich in einer Umfrage die Möglichkeit, den gesamten Film- und Serien-Katalog schon vor Abschluss des kostenlosen Probemonats anschauen zu können. Mithilfe von A/B-Tests lernten die Designer des Streaming-Anbieters jedoch schnell, dass diese Funktion eher einen negativen Einfluss auf die Nutzerzahlen hatte.

A/B-Testing: Ein spannender Einblick in die Arbeit bei Netflix

In ihrem Vortrag auf der Konferenz haben die beiden Netflix-Designer auch erklärt, wie das Unternehmen A/B-Tests einsetzt und warum sie ein so wichtiges Instrument für den Design-Prozess sind. Letztlich, so Iyengar, kann der jeweils beste Weg nur anhand von umfangreichen Tests bestimmt werden. Dankenswerterweise haben die Macher der Konferenz die fast einstündige Präsentation der Netflix-Designer in voller Länge auf Youtube veröffentlicht. Das Video bietet einen faszinierenden Einblick in die Vorgehensweise bei dem Streaming-Anbieter. Ein Blick lohnt sich daher, auch wenn wir Einsteigern zunächst einen Blick auf unseren Starter-Guide zum Thema A/B-Testing empfehlen.

via blog.invisionapp.com

Finde einen Job, den du liebst

Bitte beachte unsere Community-Richtlinien

3 Reaktionen
blitzcro

Ich finde es cool das endlich etwas mehr über A/B Testing gesprochen wird, jedoch finde ich, dass vor allem die Q&A Session viele Leute in die falsche Richtung führen kann.

Die beiden Netflix Produktdesigner hatten meiner Meinung nach nicht die nötige Expertise, schämten sich zu antworten, da Sie wussten das es falsch ist was Sie machen Sie wussten es einfach nicht besser, als Sie auf einige Fragen antworteten.

Einen Frage ging etwa in die Richtung ob Sie nicht die Angst haben, dass Multivariate Tests zu falschen Ergebnissen führen können und eine andere was Sie machen, wenn ein Manager nur 5% des Traffics für den Test zur Verfügung stellt.

Die Frage wurde offenbar nicht verstanden oder ihr wurde ausgewichen mit der Argumentation , dass zum Beispiel gleichzeitig die mobile Version und die Desktop Version getestet werden und es hierdurch nur zu keinen Problemen bei der Bestimmung der Signifikanz des Textes kommen kann. Vorher in der Präsentation wurde jedoch gezeigt das gleichzeitig 5 Variationen im Test laufen.

Das Problem hierbei ist, dass die einzelnen Tests, falls keine gute Verteilung auf sehr sehr sehr gut vorbereitete User Segmente vorhanden ist auch auf mittlere Distanz zu falschen Ergebnissen führen können.

Stellt man sich jetzt noch vor, dass Tests auf 5% des Traffics gefahren werden und Gewinner dann global ausgerollt werden, dann hat das nichts mehr mit A/B Testing zu tun, sondern eher was mit Roulette.

Sicherer wäre es A/B und nicht M/V Tests zu fahren und diese auf z. B. Sehr sehr sehr gute Segmente bei 5% zu fahren und bei einem Ergebnis was auf einen Win hindeutet, entweder mit einem größeren % an Traffic zu testen bis man an einer signifikanten Zahl an Nutzern ankommt, oder diese weiter bei 5% (bei sehr guter spread auf die Segmente), dann als Win gegen eine verbesserte Version zu testen. Wobei die zweite Option wesentlich schlechter ist.

Die Redner bezifferten die Wahrscheinlichkeit des Erfolgs eines ihrer M/V Tests auf 95% was ich bei der von Ihnen vorgestellten Konstellation für eine Traunzahl halte.

Vielen Dank fürs aufgreifen, jedoch richtet sich das vorgestellte an absolute Anfänger und sollte mit Vorsicht genossen werden.

Ich würde vor Freude Purzelbäume schlagen, wenn Ihr es schafft ein cooles Interview mit den Gründern von Optimizely oder noch besser Conversion rate experts zu führen, bei welchem Sie frische A/B Tests aus dem E-Commerce Sektor mitbringen.

Optimizely hat z.B. vor einiger Zeit mit Allegro zusammengearbeitet (größter polnischer Marktplatz, welcher dieses Jahr wahrscheinlich an eBay oder Amazon verkauft wird). Interessant wäre es zu sehen wie Sie es schaffen diese Mammut Projekte zu stemmen und wie Sie mit den Kunden abrechnen.

BTW. Wusstet Ihr das Amazon in Kürze seine Pforten in Polen öffnet?

Könnt mir gerne schreiben, meine Mail habt Uhr ja ;)

Antworten
blitzcro

SwiftKey :(

Antworten
Klaus

Auch hier wird ja ein interessanter A/B-Test mit den Überschriften durchgeführt, ist mir gerade durch Zufall aufgefallen :-) Gibt es dazu auch einen Artikel, wie bei t3n damit umgegangen wird?

Viele Grüße

Antworten

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.