Die wenigsten Menschen stehen gerne in langen Warteschlangen. Im digitalen Business haben Nutzer es noch deutlich eiliger: In Webshops geht es um Sekundenbruchteile. Bei Ladezeiten einer Website von über einer Sekunde, bei schlechter Präsentation der Inhalte, bei labyrinthisch angelegter Navigation oder plötzlich auftauchenden Bugs fackeln die meisten Internet-Besucher nicht lange und klicken weiter. Die Optimierung der Usability im Bereich von Webanwendungen und mobilen Apps hat deshalb nichts mit Schönheitschirurgie zu tun, sondern dient der Existenzsicherung. Schließlich dreht sich beim digitalen Business alles um das Klickverhalten, die Anzahl der App-Downloads und um die Conversion Rates, also die Geschäftsabschlüsse pro Webshop-Besuch.

Traditionell wird die Nutzerfreundlichkeit in eigens eingerichteten Labors geprüft, in denen Tester die Software nach bestimmten Maßgaben beurteilen. Dies ist allerdings nicht nur teuer, sondern oft auch relativ realitätsfern: Labortester entwickeln zwangsläufig eine Art Betriebsblindheit. Dies liegt zum einen daran, dass sie oft eng mit der Entwicklungsabteilung verbunden sind oder sogar selbst Entwickler sind. Zum anderen gehen Labortester meist nicht mit der nötigen Unbefangenheit an die Software-Evaluierung heran.

Oftmals wird Usability aber auch gar nicht geprüft. Das ist dann zunächst billig, kann die Betreffenden aber langfristig teuer zu stehen kommen. Dementsprechend ist Crowdtesting als Dienstleistung eine attraktive und kostengünstige Option. Es setzt auf die natürliche Unbefangenheit und umfassende Expertise von on demand akquirierten Testergruppen aus einem Tester-Pool im weltweiten Netz. Schließlich gibt es in der Internet-Gemeinschaft ein breites Spektrum an Kenntnissen und IT-Erfahrungen, das in Usability-Labors nur annähernd und – falls vorhanden – nur mit großem Aufwand und entsprechenden Kosten nachgestellt werden kann. So wirbt zum Beispiel der Berliner Crowdtesting-Anbieter testhub damit, dass „Usability Tests in der natürlichen Umgebung des Probanden“ nur etwa ein Fünftel eines Labortests kosten.

Mit Crowdtesting lässt sich nicht nur eine genau auf die zu testende Webanwendung oder mobile App abgestimmte Tester-Gruppe generieren, es können auch gezielt spezielle Gerätekonstellationen getestet werden. Nicht immer hat nämlich eine bestimmte Konstellation auf jeder Mobil-Plattform dieselben Effekte. So kann es zum Beispiel passieren, dass ein Bedienproblem nur unter Windows Phone 8 und unter einer speziellen Android-Variante auftritt, die App unter einer anderen Android-Variante oder unter iOS aber reibungslos läuft. Derartige Konstellationen lassen sich mit einem Crowdtesting-Dienst viel besser erkennen als mit Hilfe von Labortester-Gruppen – schon deshalb, weil bei Crowdtesting mehr Menschen beteiligt sind, die darüber hinaus mit den unterschiedlichsten Hardware- und Software-Konfigurationen arbeiten.

In Deutschland sind derzeit vier Crowdtesting-Anbieter aktiv. Das sind die Schweizer Pass Technologies GmbH (Passbrains [1] ), die beiden Berliner Unternehmen testCloud GmbH [2] und testhub GmbH [3] (früher: UI-Check) sowie die Münchner Firma Testbirds GmbH [4]. Bei allen vier Anbietern spielt das Usability-Testing in der Crowd eine zentrale Rolle, daneben in unterschiedlicher Kombination und Intensität auch Funktionalitätstests als Teil einer umfassenden Qualitätssicherung. Pass Technologies offeriert darüber hinaus auch Spezialservices für Last- und Performance-Tests.

Alle vier Anbieter haben spezielle Einstiegsangebote. Das erleichtert es dem Anwender, ein Gefühl für das Budget zu bekommen, das er für ein bestimmtes Testszenario einplanen muss. Die Schnupperangebote reichen von einem „ersten kostenlosen Test der Kundenplattform“ (testCloud) über ein Tages-Testtrial für 390 Euro (Passbrains) und einen „Kennenlern-Testlauf mit 30 Testern zum Preis von 10 Testern“ (testhub) bis zu einer „100%-Geld-Zurück-Garantie“ (Testbirds).

Bei der Frage, was Kunden für ihr Geld bekommen, unterscheiden sich die vier Anbieter nur wenig. Bei Usability-Tests zum Beispiel erhalten die Kunden bei allen Anbietern Testvideos und eine schriftliche Auswertung, außerdem Handlungsempfehlungen des jeweiligen Projektleiters, die beispielsweise das Bug-Fixing betreffen oder Optimierungsvorschläge enthalten (Schriftgröße, Integration von Ortungsdiensten und mehr). Bei testCloud scheint die schriftliche Auswertung besonders lang: Laut Mitgründer Carsten Lebtig umfasst bereits die Kurzfassung etwa 100 Seiten. Alle Anbieter offerieren überdies Möglichkeiten, die Testergebnisse in das Kundensystem zu exportieren, beispielsweise über Tools wie Jira, Redmine oder Mantis. Ebenso bieten alle vier Unternehmen den Kunden das Mitverfolgen des Tests beziehungsweise des Projektfortschritts in Echtzeit an.

Auch bei der Akquisition der Tester gehen alle Anbieter in etwa die gleichen Wege: Sie testen nicht nur in der Crowd, sondern akquirieren auch über die Crowd. Dabei verweisen alle darauf, Einstiegstests vorzunehmen oder ähnliche Qualifizierungsmethoden zu besitzen. Was die Bezahlung der Tester angeht, ist diese schwer zu vergleichen: „Die Bezahlung der Tester hängt stark von dem jeweiligen Projekt ab“, sagt beispielsweise Torsten Meyer von testhub, was auf alle vier Anbieter zutrifft. Generell ergibt sich aus den Gesprächen mit den Herstellern, dass derjenige Tester, der kritische Bugs entdeckt, deutlich besser entlohnt wird als derjenige, der ein eher unspektakuläres Testvideo in einem Usability-Test abliefert.

Während alle vier Anbieter mehr oder weniger die gleichen Leistungsmerkmale anbieten, geht die Schere in Bezug auf die Kosten auseinander. Allerdings sind die Angaben aufgrund der Unterschiede bei den Projekten schwer zu vergleichen. Kunden sollten deshalb sehr genau ihre Projektanforderungen definieren und damit gezielt zu den einzelnen Herstellern gehen, um deren Schnupperangebote in Anspruch zu nehmen. Mögliche Fragen zur Klärung des Anbieters und Leistungspakets lauten:

• Was genau soll getestet werden (Usability über verschiedene Plattformen, Qualität, Last und Performance)?
• Ist ein Bug-Export in Jira oder Redmine gewünscht?
• Sollen die Software-Prototypen besonders geschützt werden?
• Wird eine ganz bestimmte Zusammensetzung von Testpersonen, beispielsweise Physiotherapeuten, Krankenschwestern und Ophthalmologen benötigt?
• Gibt es bereits konkrete Vorstellungen über die Zahl der Tester und das Testszenario?

Die Antworten auf solche und ähnliche Fragen werden deutlich aufzeigen, was Kunden jeweils an Leistung erwarten können und zu welchen Kosten. Die Preise bewegen sich dabei bei allen Anbietern und Testszenarien im vierstelligen Euro-Bereich, hängen letztlich aber stark davon ab, wie hoch die Anzahl der eingesetzten Tester ist. Doch wie viele Tester werden überhaupt benötigt? „Die Anzahl der Tester in unseren App-Testing-Projekten bewegt sich typischerweise zwischen 20 und 100“, erklärt Dieter Speidel, CEO von Pass. Bei testhub besteht ein klassischer Einstieg aus fünf Testern mit Auswertung. Damit bekommt man laut Geschäftsführer Torsten Meyer einen guten Einblick in die Testmethodik und könne abschätzen, welchen Output die Tester generieren; für das Ableiten von Handlungsempfehlungen und Analysen seien aber mindestens 10 bis 15 Tester notwendig. Auch Markus Steinhauser von Testbirds geht von mindestens 15 Testern aus, um zuverlässige und valide Ergebnisse erzielen zu können; „für breit gefächerte Programme können aber auch 60 bis 70 Tester zum Einsatz kommen.“ Carsten Lebtig, Gründer und Geschäftsführer von testCloud, hält 5 bis 50 Tester für notwendig, bei einer umfassenden Qualitätssicherung liege die benötigte Anzahl hingegen zwischen
30 und 200.

Resultierend aus den obigen Erfahrungswerten sollten Kunden für einen Usability-Test also mindestens 20 bis 30 Tester akquirieren. Um den richtigen Anbieter zu finden, empfiehlt es sich, die Schnupperangebote der Hersteller in Anspruch zu nehmen, auf ihre Seriosität hin zu prüfen und dabei auch die Reaktionsgeschwindigkeit der Anbieter auf Kundenanfragen mitzutesten. Denn aufgrund der Verschiedenartigkeit der zu testenden Projekte ist ein pauschaler Vergleich der vier Plattformen kaum möglich. Es heißt also: Bevor die Crowd testet, muss sie selbst erstmal gestestet werden.