User-Testing, Focus-Groups, A/B-Testing: In der Tech-Welt wabern zahlreiche Anglizismen durch die (virtuellen) Konferenzräume – insbesondere, wenn es darum geht, das eigene Produkt zu testen und zu optimieren. Für junge Unternehmen wird die Masse an Fachbegriffen und Test-Möglichkeiten schnell verwirrend. Dabei ist Marktvalidierung einer der wichtigsten Aspekte auf dem Weg zum erfolgreichen Wachstum. Doch sollte man nicht einfach so drauflos testen; es stellen sich zahlreiche Fragen, die es vorher zu beantworten gilt.

A/B-Tests geben Antworten auf die Frage „Was passiert, während die Nutzer:innen etwas benutzen?“ – User-Testings, also Nutzer:innentests, beantworten dieselbe Frage und geben darüber hinaus Aufschluss, warum diese Dinge passieren.
Beim A/B-Testing werden zwei Versionen – zum Beispiel einer App oder Website – anhand festgelegter Parameter miteinander verglichen. So kann festgestellt werden, welche die bessere Leistung oder die bessere Klickraten erzielt, welche visuelle Aufmachung besser ankommt und bei welcher die Conversion-Rate besser ist. Diese zwei Varianten A und B werden den Nutzer:innen jeweils nach dem Zufallsprinzip angezeigt. Sie eignen sich schon für einfache Fragen wie „roter versus grüner Button“ oder „Duzen versus Siezen“.

User-Tests hingegen sind ein längerer und aufwendigerer Prozess, bei dem ein Produkt an einer bestimmten Gruppe getestet wird, um detailliertes Feedback und Einblicke in das Nutzer:innenverhalten, deren Erwartungen und Bedürfnisse in Bezug auf ein Produkt zu erhalten. Es unterscheidet sich von A/B-Tests, da die Teilnehmer:innen dort bestimmte Aufgaben erhalten und gleichzeitig gebeten werden, ihren Gedankengang zu beschreiben (im Falle eines aufgabenbasierten Tests). Zusätzlich zur Testphase wird ein Interview durchgeführt.

User-Tests sind also entsprechend detaillierter und komplexer als A/B-Tests, bei denen es bloß darum geht, eine Option mit einer anderen zu vergleichen. Es geht um eine Antwort auf die Frage, warum sich Benutzer:innen so verhalten, wie sie es tun, und was passiert, wenn sie mit einem bestimmten Produkt interagieren. A/B-Tests dagegen beantworten nur den Was-Teil, sind aber deutlich weniger komplex und leichter umzusetzen. Beides sind wertvolle Instrumente, doch sollten Unternehmen sich im Klaren sein, was genau sie von einem Test erwarten, und so beide Varianten gegeneinander abwägen.

A/B-Tests bieten sich vor allem für kleine Dinge an, etwa ob ein Symbol einen erklärenden Text darunter haben sollte oder ob die Funktion des Symbols ohne die Beschriftung klar genug ist. Ausführliche Nutzer:innentests sind dort wichtig, wo ein tieferer Einblick notwendig ist und die Product-Owner sicherstellen müssen, dass die antizipierten Annahmen, die sie bei der Entwicklung des Produkts getroffen haben, tatsächlich gültig sind – oder eventuell doch noch mal angepasst werden müssen.

Unternehmen, die ein Produkt, eine Funktion oder eine Dienstleistung komplett neu entwickeln, sollten ausführliche Benutzer:innentests durchführen. Firmen, die bereits ein funktionierendes Produkt haben und „nur“ verschiedene Ideen validieren wollen, können jedoch auf A/B-Tests setzen. Im Allgemeinen sind User-Testings für alle Unternehmen in frühen (Produkt-)Stadien mindestens einmal zwingend erforderlich. Ab einem gewissen Punkt sind A/B-Tests die bessere und schnellere Methode, um ausreichend valides Feedback zu kleinen Änderungen zu erhalten.

Das Wichtigste vorweg: Es gibt nicht den einen großen Pauschalfehler. Dennoch sollten Unternehmen auf verschiedene Dinge achten, damit die Testdurchführung am Ende erfolgreich ist.

Die größte Herausforderung beim Planen der Produkttests ist die Rekrutierung der passenden Proband:innen. Hat ein Unternehmen seine Zielgruppen nicht ausreichend oder nur oberflächlich definiert, dann kann nicht zielgerichtet und fokussiert getestet werden. Um das zu lösen, könnten Unternehmen zunächst Proto-Personas erstellen und die Anforderungen für die Rekrutierung von Nutzer:innen definieren.

Ein weiterer Fehler entsteht, wenn die Proband:innen zu sehr gelenkt werden. Dadurch wird das Ergebnis unweigerlich verfälscht und hat keine relevante Aussagekraft mehr für das Produkt. Bei der Erstellung eines Testszenarios sollte darauf geachtet werden, dass alle Aufgaben verständlich formuliert sind und so offen gestaltet, dass sie frei interpretiert werden können.

Auch sollten Unternehmen bereits einen ersten Pilot-Test durchgeführt haben, bevor es zu ausführlichen Produkttests kommt. Dieser „Vorabtest“ kann problemlos intern und mit Freund:innen durchgeführt werden. Ein solches Vorgehen stellt sicher, dass technisch alles richtig funktioniert, bevor es um konkretes Feedback zum Produkt geht.

Weiterhin sollten Testpersonen die Umgebung so realitätsnah wie möglich erleben. Handelt es sich beispielsweise um ein Produkt für Landwirte, das nur auf einem Traktor im Weizenfeld eingesetzt wird, ist es sinnvoll, die Tests auch in genau diesem Szenario durchzuführen.

Die Proband:innen müssen sich mit den Testdurchführenden und der Umgebung wohlfühlen. Sie brauchen eine vertrauensvolle und professionelle Atmosphäre, damit sie ein möglichst ehrliches Feedback geben und sich nicht für irgendetwas schämen müssen. Jegliche Reaktionen und Rückmeldungen sind wichtig für die Verbesserung eines Produkts. Sollten die Testpersonen also sagen, dass es für sie nutzlos ist und keine Marktrelevanz hat, sollten Firmen ihr Produkt überdenken.

Um ein Produkt auf Herz und Nieren zu prüfen, sind sowohl digitale Live-Tests als auch Tests vor Ort möglich. Treten technische Probleme auf, sind sie bei physischer Präsenz sehr viel einfacher zu lösen. So können Prototypen bei einem Absturz schnell neu gestartet oder fehlerhafte Geräte ausgetauscht werden. Das ist bei einem Videotelefonat nicht ohne Weiteres möglich. So oder so bietet es sich an, den Test aufzuzeichnen, um ihn später analysieren und auswerten zu können. Es ist sehr hilfreich, die Proband:innen laut denken und aussprechen zu lassen, wie sie das Produkt gerade erleben. So bekommt man einen guten Eindruck davon, wie auch zukünftige Nutzer:innen damit umgehen werden. Insgesamt sollte der Testdurchlauf nicht zu lange dauern – nach einer Weile sinken Motivation und Konzentrationsfähigkeit erheblich. Auch Incentives, also eine Bezahlung, Gutscheine oder Ähnliches, sind der Rekrutierung der Teilnehmer:innen garantiert zuträglich.

Insgesamt bleibt festzuhalten, dass ein Test gut geplant werden muss. Als erstes stellt sich die Frage, ob ein einfacher A/B-Tests ausreicht oder doch ein ausführlicher User-Test notwendig ist. Beide haben ihre Vor- und Nachteile. Oft gilt: lieber zu viel machen als zu wenig. Was am Anfang einen höheren monetären und zeitlichen Einsatz bedeutet, kann nach hinten raus wiederholte Testdurchläufe, falsche Ergebnisse und viel Arbeit für nichts ersparen.

Sowohl die technischen Grundlagen als auch eine präzise definierte Zielgruppe erleichtern den Einstieg ins Test-Abenteuer. Seid gut vorbereitet, nehmt euch ausreichend Zeit und vertraut dem Urteil der getesteten Personen. Und wer alle grundlegenden Dinge und Schritte beachtet, wird durch fundiertes Produktfeedback und damit langfristigen Erfolg belohnt.