Ob Webseitenbetreiber, Onlineshops oder Apps: Sie alle kämpfen mit ihren Applikationen händeringend um bessere Conversion-Rates – also darum, einen Besucher zum Käufer zu machen. Internationale Studien zeigen, dass im Durchschnitt 68 Prozent aller befüllten Warenkörbe ohne Kaufabschluss hinterlassen werden.

Am Ende stehen Onlineshops einer Conversion-Rate von – im guten Fall – gerade einmal drei Prozent gegenüber. Der Grund sind nicht unbedingt schlechte Produkte. Häufig springen Besucher ab, weil die Plattform schlecht programmiert, unübersichtlich gestaltet oder in ihren Informationen unvollständig ist.

Dienstleister wie RapidUsertests (Berlin), Applause (Berlin), Testcloud (Berlin), Testbirds (München), passbrains (Zürich) und TESTTailor (Köln) bieten Tests für Applikationen an, um die Absprungrate zu minimieren und die Conversion-Rate zu maximieren. Bei der Prüfung der Applikation auf Fehler und Bedienbarkeit setzen sie auf Online-Crowdtesting.

„Crowdtesting nutzt die Kraft des Netzwerks.“

Anstelle von aufwendigen Labortests mit Testpersonen in einer künstlichen Umgebung durchzuführen, wird beim Crowdtesting die Kraft des Netzwerks genutzt. Die Vorteile liegen auf der Hand: nicht nur ermöglicht das Crowdtesting einen unkomplizierten, weltweiten Zugriff auf zielgruppenspezifische Testpersonen. Die Fehlersuche in gewohnter, natürlicher Umgebung der Tester ermöglicht auch einen äußerst realitätsnahen Nutzertest und erhöht damit die Aussagekraft der Ergebnisse.

Dennoch lohnt es, sich die sechs größten Anbieter von Crowdtesting in der DACH-Region genauer anzuschauen. Nicht jedes Projekt passt zu jedem Anbieter. Der Teufel steckt bekanntlich im Detail.

Für Unternehmen gibt es im Großen und Ganzen zwei Projekttypen, mit denen sie ihre Applikation überprüfen und optimieren können:

• Functional-Testing (oder auch Bug-Testing)
• Usability-Testing (oder UX-Testing).

Jede Testform beantwortet andere Fragen und fordert eine andere Herangehensweise – eine andere Crowd, einen anderen Projektverlauf und eine andere Ergebnisdokumentation. Wie sind also die Rahmenbedingungen? Und welcher Anbieter passt zu welchem Projekttyp?

Das Functional-Testing beinhaltet den Check von Applikationen auf ihre Funktionstüchtigkeit. Ziel ist, die Programmierfehler zu finden, die den Betrieb einer Applikation:

• verhindern (fehlende Seiten oder Links, Ladefehler, Abstürze),
• sehr stark erschweren (fehlerhafte Darstellung, lange Ladezeiten) oder
• rechtlich angreifbar machen (zum Beispiel durch ein fehlendes Impressum).

Die Anbieter Testcloud, Testbird, Applause, TESTTailor, passbrains. In der Regel wird das Angebot durch Zusatzleistungen wie Load-Testing, Security-Testing und einen Device-Check ergänzt.

Da es sich beim Functional Testing um die Suche nach technischen Bugs handelt, sollte die Crowd möglichst viel Erfahrung mit solchen Tests haben. Dadurch können nicht nur schnell und vollständig die Programmier- und IT-Fehler gefunden werden. Die Tester sind oft auch in der Lage, diese direkt nach ihrer Relevanz zu priorisieren.

Die Aussagen zur Crowd sind selten sehr konkret. Am genausten ist Applause, deren Tester generell fünf bis sieben Jahre Testerfahrung mitbringen, während Passbrains und Testbird zumindest von zertifizierten Softwaretestern sprechen und Testcloud sich auf professionelle Tester beruft.

Unternehmen, die in einem knappen zeitlichen und finanziellen Rahmen handeln, benötigen einen möglichst schlanken Projektablauf. Das ermöglicht bei einigen Anbietern der Self-Service. Oft reicht auf diesem Service-Level für kurze, einmalige Tests die Möglichkeit, auf die Infrastruktur der Testagenturen zuzugreifen. Dabei können Unternehmen die Testumgebung nutzen, müssen aber sowohl die Durchführung als auch die Auswertung des Tests selbstständig vornehmen.

Wer größere, komplexe oder sich wiederholende Projekte zu bearbeiten hat oder wem sowohl Zeit als auch das Know-how für die Testdurchführung fehlt, profitiert vom Managed-Service. Hierbei übernimmt die Testing-Agentur die gesamte Testorganisation – von der Testerauswahl bis zur Auswertung.

Sowohl Testcloud als auch Testbirds bieten Self-Service an, Applause und passbrains nur auf Nachfrage. Testbirds ermöglicht den Unternehmen im Self-Service zusätzlich, ihre eigene Crowd mitzubringen. Das klingt auf dem ersten Blick verlockend, macht aber nur Sinn, wenn das Unternehmen wirklich eine qualifizierte Crowd hat. Die Umsetzung erfolgt in wenigen Tagen, bei Testcloud sogar binnen weniger Stunden. Die Kosten schwanken zwischen dem mittleren dreistelligen und niedrigen vierstelligen Bereich.

Alle Agenturen bieten überdies Managed Service an. In der Regel bedeutet das jedoch ein bis zwei Wochen Projektlaufzeit und Kosten im mittleren bis hohen vierstelligen Bereich.

Bei Bugs braucht man als Unternehmen nur zwei Dinge zu wissen: Welche wurden gefunden? Welche Priorisierung haben sie? Dementsprechend bedarf es einer Liste der Bugs mit einer Bewertung, wie kriegsentscheidend diese sind. Zusätzlich ist es von Vorteil, wenn die Testergebnisse direkt in die eigene Entwicklungsplattform exportiert werden können, sodass die Bearbeitung schnell erfolgen kann.

Alle Anbieter stellen am Ende des Tests Testprotokolle mit den Ergebnissen zur Verfügung. Applause, Testcloud, Testbirds und TESTTailor ermöglichen zudem über Dashboards die Verfolgung des Tests und seiner Ergebnisse in Echtzeit. So können schon während des Test die kritischsten Fehler korrigiert werden.

Im Managed-Service erhalten Unternehmen zusätzlich einen Abschlussbericht mit Auswertungen und Empfehlungen. Letzteres kann sinnvoll sein, wenn sehr viele Bugs gefunden wurden und eine Priorisierung notwendig ist. Interessant ist auch der integrierte Export der Testergebnisse an den eigenen Bugtracker oder das eigene Test-Management-System bei passbrains, Applause, Testbirds und Testcloud.

Die Angebote der einzelnen Testanbieter sind mit Vorsicht zu genießen. Die “Preis auf Anfrage”-Mentalität weist auf ein klares Upselling hin. Zudem setzen immer mehr der Agenturen (Testcloud, Applause) auf Abostrukturen. Für Unternehmen, die kontinuierlich Applikationen testen wollen, macht das Sinn. Es sollte jedoch sehr genau kalkuliert werden, wie hoch der jährliche Bedarf an Tests wirklich ist. Applause bietet immerhin einen Preiskalkulator, der aber eher große Preisspannen berechnet. An dieser Stelle stechen TESTTailor, die sonst keine Aussagen zu ihrem Geschäftsmodell machen wollten, positiv heraus. Sie bieten auf ihrer Seite einen Kalkulator mit verschiedenen Stellschrauben, der am Ende einen eindeutigen Preis ausgibt. Gerade beim verhältnismäßig klar skalierbaren Functional-Testing sollten die Testanbieter mehr Transparenz beweisen.

Für kleine, einmalige Projekte (z. B. Erstaufsetzung oder Optimierung eines Webshops) empfehlen sich das Self Service Angebot von Testbirds oder Schnelltests wie bei Testcloud. Für große, langfristige Functional-Testing-Projekte (z. B. als App-Hersteller) ist ein Abo-Vertrag von Applause sinnvoll. Er überzeugt auch mit der technischen Qualifikation der Crowd.

Im Gegensatz zum Functional-Testing geht es beim Usability-Testing weniger um die Funktionalität einer Applikation und ihrer Elemente. Vielmehr stellt sich die Frage nach:

• der Bedienbarkeit,
• der Verständlichkeit
• der Einfachheit der Nutzerreise vom Zugang bis zum Abschluss (meistens eines Kaufs).

Die deutschsprachigen Anbieter RapidUsertests, passbrains,Testbirds, Applause. Testcloud verweisen auf ihrer Seite zwar an einer Stelle auf Usability-Testing, konzentrieren sich in ihrer Außendarstellung jedoch auf Functional-Testing.

Beim Usability-Testing geht es nicht um das schnelle Auffinden technischer Fehler, sondern darum, ob Design, Struktur und Inhalte den Sinn und Zweck der Applikation erfüllen. In der Regel bedeutet dies der Weg vom Erstkontakt des Nutzers mit der Applikation bis zum Erreichen eines spezifischen Zieles (Problemlösung, Kauf und so weiter).

Deshalb benötigt man gänzlich unvoreingenommene Tester, die den ganz normalen späteren Nutzern entsprechen und möglichst solche Tests möglichst selten durchführen (Stichwort: Betriebsblindheit). Im Fachjargon spricht man deshalb von Verbrauchertestern, die man einfach auf ihrer Nutzerreise begleitet. Berufstester können bei UX-Testing das Ergebnis sogar verfälschen.

Grundsätzlich arbeiten alle Anbieter mit Verbrauchertestern zusammen, es gibt jedoch Unterschiede in Bezug auf deren Voreingenommenheit. So greifen Applause und Testcloud auch beim UX-Testing auf ihre professionellen Tester zurück, während passbrains und Testbird zwischen ihren zertifizierten Softwaretestern für das Functional Testing und „normalen“ Verbrauchertestern für das UX-Testing unterscheiden. RapidUsertests geht einen Schritt weiter und stellt zusätzlich sicher, dass keiner der Tester im Pool “übertestet” wird. So soll garantiert werden, dass die Tester sich stets wie ganz normale Nutzer verhalten.

Über verschiedene Methoden können Unternehmen aus den Tester-Pools zudem die Tester herausfiltern, die ihrer Zielgruppe (Persona) am nächsten kommen. Hier macht es Sinn, sich das Filtersystem genau erklären zu lassen, da die Agenturen verschiedene Ansätze für die Zielgruppeneinschränkung verwenden. Zudem bieten passbrains nur im höheren Preissegment und Testbirds ausschließlich im Managed Service den vollen Zugriff auf alle Zielgruppenfilter an.

Wie auch beim Functional-Testing gibt es für das UX-Testing die Optionen Self-Service und Managed-Service. Für Unternehmen, die ein erstes Nutzerfeedback einsammeln und die Auswertung inhouse durchführen wollen, dürfte Self-Service die preisleistungsgünstigste Option sein. Wem das Personal und die Erfahrung mit UX-Tests fehlen, dem empfiehlt sich der Managed-Service.

RapidUsertests und Testbirds sind die einzigen mit einem klaren Self-Service-Angebot. Es gibt jedoch feine Unterscheide. Während man bei RapidUsertests auch im Self-Service auf alle Zielgruppenkriterien zugreifen kann, ist dies bei Testbirds nur im Managed-Service möglich. Im Self-Service sind sie klar begrenzt. Zudem ermöglichen RapidUsertests Testdurchführungen binnen 24 Stunden für schmales Geld.

Alle vier Test-Agenturen bieten auch Managed-Service an. Um bei der Kostenplanung nicht überrascht zu werden, sollte man nachfragen, ob die Vorbereitung der Use-Cases extra kostet oder im Preis enthalten ist. Die Projektlaufzeit beläuft sich in der Regel auf mindestens eine Woche, bei Applause auf zwei Wochen. Die Kosten liegen im mittleren bis hohen vierstelligen Bereich.

Beim UX-Testing ist vor allem eines wichtig: das unmittelbare Verhalten der Tester. Dabei geht es weniger um bewusst formulierte Kritikpunkte, diese ergänzen die Bewertung nur. Vielmehr geben die unbewussten Reaktionen (Zögern, Seufzen, genervtes Aufstöhnen, spontane Kommentare) Aufschluss darüber, was an einer Applikation den Nutzer nervt, abschreckt und letztlich davon abbringt, den Kauf abzuschließen. Protokolle haben deshalb eine geringere Aussagekraft als die sogenannten Think-aloud-Videos.

Dabei wird das Verhalten der Tester bei ihren Tests über einen Bildschirmmitschnitt und das integrierte Mikro in Wort und Bild dokumentiert und die Tester gebeten, jeden ihrer Schritte direkt und ungefiltert zu kommentieren. Zusätzlich empfiehlt sich eine Eyetracking-Auswertung, um herauszufinden, wie die Webseite oder App in den ersten Sekunden des Besuches wirkt.

Sowohl passbrains, Applause als auch Testbirds und Testcloud arbeiten bei ihren UX-Tests mit Fragebögen oder Protokollen. Passbrains und Applause bieten nur auf Nachfrage Videos an, während es bei Testbirds und Testcloud Videos erst in der gehobenen Preisklasse gibt. Allein RapidUsertests bietet grundsätzlich und unabhängig vom Preispaket Think-aloud-Videos der Tester an. Eyetracking-Maps erhält man bei RapidUsertests standardmäßig ab sieben Testern, während sie bei Testbirds auf Nachfrage möglich sind.

Im Managed-Service erhalten Unternehmen einen Ergebnisbericht mit Empfehlungen zur Verbesserung ihrer Applikation. Aufgrund unterschiedlicher Kerngeschäfte (Functional-Testing vs. UX-Testing) und Kompetenzstrukturen (Tester als Experten vs. in-house Experten vs. UX-Agentur im Hintergrund) dürften bei diesem Service die größten Qualitätsunterschiede auftreten. Wie oben schon angedeutet, geht es bei dieser Analyse weniger um technisches Detailwissen. Vielmehr braucht es für eine qualifizierte Aussage zum Nutzerverhalten ein interdisziplinäres Fachwissen aus Psychologie, Kognitionswissenschaften, interkulturelle Kommunikation und Kommunikationsdesign.

Auch wenn alle fünf Usability-Test-Anbieter damit werben, UX-Experten im Hintergrund zu haben, ist RapidUsertests nach eigenen Aussagen das einzige Unternehmen, das sich auf das Thema Usability spezialisiert hat und mit der Mutterfirma Userlutions GmbH von einer UX-Agentur entwickelt wurde.

Die Preisstruktur ist beim UX-Testing noch unübersichtlicher als beim Functional-Testing. In der Regel geben die Agenturen nur auf Nachfrage ein Angebot ab. Allein RapidUsertests kommunizieren sowohl die Preispakete als auch die Ergebnisdokumentation offen.

Beim Functional Testing geht es um technische Fehler, beim UX-Testing um subjektives, individuelles Nutzerverhalten. Das macht die Vergleichbarkeit der einzelnen Angebote schwierig. Es empfiehlt sich deshalb, vor allem den Anbietern zu vertrauen, die sowohl ein ausgewiesenes Wissen zu Usability und Nutzerverhalten aufweisen, als auch möglichst transparent mit ihrer Preisgestaltung und Ergebnisdokumentation umgehen. Im UX-Bereich erfüllt diese Anforderungen aktuell nur RapidUsertests.

Über den Autor

Jens Pacholsky ist freier Journalist und Texter mit Spezialisierung auf IKT und Startups. Nebenher ist er Marketingstratege bei den Pionerds und aus altem Sentiment Musikjournalist beim HHV Mag.