Anzeige
Anzeige
E-Commerce
Artikel merken

Crowdtesting: Vier Anbieter zum Testen eurer Online-Shops und Apps

Software-Testing im Labor war gestern. Vor allem Usability-Tests lassen sich heute viel realitätsnaher und vor allem preiswerter mit Crowdsourcing-Methoden durchführen. In der weltweiten Internet-Community sind alle Voraussetzungen für ein effizientes Testing vorhanden. Die Internet-Expertise muss nur durch eine leistungsfähige Crowdtesting-Plattform organisiert werden.

6 Min. Lesezeit
Anzeige
Anzeige
Bei testCloud können Kunden Websites, mobile Apps und Enterprise-Software von der Crowd testen lassen.

Die wenigsten Menschen stehen gerne in langen Warteschlangen. Im digitalen Business haben Nutzer es noch deutlich eiliger: In Webshops geht es um Sekundenbruchteile. Bei Ladezeiten einer Website von über einer Sekunde, bei schlechter Präsentation der Inhalte, bei labyrinthisch angelegter Navigation oder plötzlich auftauchenden Bugs fackeln die meisten Internet-Besucher nicht lange und klicken weiter. Die Optimierung der Usability im Bereich von Webanwendungen und mobilen Apps hat deshalb nichts mit Schönheitschirurgie zu tun, sondern dient der Existenzsicherung. Schließlich dreht sich beim digitalen Business alles um das Klickverhalten, die Anzahl der App-Downloads und um die Conversion Rates, also die Geschäftsabschlüsse pro Webshop-Besuch.

Crowdtesting: realitätsnäher als Labortests

Anzeige
Anzeige

Traditionell wird die Nutzerfreundlichkeit in eigens eingerichteten Labors geprüft, in denen Tester die Software nach bestimmten Maßgaben beurteilen. Dies ist allerdings nicht nur teuer, sondern oft auch relativ realitätsfern: Labortester entwickeln zwangsläufig eine Art Betriebsblindheit. Dies liegt zum einen daran, dass sie oft eng mit der Entwicklungsabteilung verbunden sind oder sogar selbst Entwickler sind. Zum anderen gehen Labortester meist nicht mit der nötigen Unbefangenheit an die Software-Evaluierung heran.

Oftmals wird Usability aber auch gar nicht geprüft. Das ist dann zunächst billig, kann die Betreffenden aber langfristig teuer zu stehen kommen. Dementsprechend ist Crowdtesting als Dienstleistung eine attraktive und kostengünstige Option. Es setzt auf die natürliche Unbefangenheit und umfassende Expertise von on demand akquirierten Testergruppen aus einem Tester-Pool im weltweiten Netz. Schließlich gibt es in der Internet-Gemeinschaft ein breites Spektrum an Kenntnissen und IT-Erfahrungen, das in Usability-Labors nur annähernd und – falls vorhanden – nur mit großem Aufwand und entsprechenden Kosten nachgestellt werden kann. So wirbt zum Beispiel der Berliner Crowdtesting-Anbieter testhub damit, dass „Usability Tests in der natürlichen Umgebung des Probanden“ nur etwa ein Fünftel eines Labortests kosten.

Anzeige
Anzeige
Auf das Testing-Angebot von testbirds vertrauen unter anderem 1&1, die Deutsche Post und die CeBIT.

Auf das Testing-Angebot von testbirds vertrauen unter anderem 1&1, die Deutsche Post und die CeBIT.

Mit Crowdtesting lässt sich nicht nur eine genau auf die zu testende Webanwendung oder mobile App abgestimmte Tester-Gruppe generieren, es können auch gezielt spezielle Gerätekonstellationen getestet werden. Nicht immer hat nämlich eine bestimmte Konstellation auf jeder Mobil-Plattform dieselben Effekte. So kann es zum Beispiel passieren, dass ein Bedienproblem nur unter Windows Phone 8 und unter einer speziellen Android-Variante auftritt, die App unter einer anderen Android-Variante oder unter iOS aber reibungslos läuft. Derartige Konstellationen lassen sich mit einem Crowdtesting-Dienst viel besser erkennen als mit Hilfe von Labortester-Gruppen – schon deshalb, weil bei Crowdtesting mehr Menschen beteiligt sind, die darüber hinaus mit den unterschiedlichsten Hardware- und Software-Konfigurationen arbeiten.

Anzeige
Anzeige

Anbieter in der DACH-Region

In Deutschland sind derzeit vier Crowdtesting-Anbieter aktiv. Das sind die Schweizer Pass Technologies GmbH (Passbrains [1] ), die beiden Berliner Unternehmen testCloud GmbH [2] und testhub GmbH [3] (früher: UI-Check) sowie die Münchner Firma Testbirds GmbH [4]. Bei allen vier Anbietern spielt das Usability-Testing in der Crowd eine zentrale Rolle, daneben in unterschiedlicher Kombination und Intensität auch Funktionalitätstests als Teil einer umfassenden Qualitätssicherung. Pass Technologies offeriert darüber hinaus auch Spezialservices für Last- und Performance-Tests.

Alle vier Anbieter haben spezielle Einstiegsangebote. Das erleichtert es dem Anwender, ein Gefühl für das Budget zu bekommen, das er für ein bestimmtes Testszenario einplanen muss. Die Schnupperangebote reichen von einem „ersten kostenlosen Test der Kundenplattform“ (testCloud) über ein Tages-Testtrial für 390 Euro (Passbrains) und einen „Kennenlern-Testlauf mit 30 Testern zum Preis von 10 Testern“ (testhub) bis zu einer „100%-Geld-Zurück-Garantie“ (Testbirds).

Anzeige
Anzeige

Test-Output und Bezahlung der Tester

Bei der Frage, was Kunden für ihr Geld bekommen, unterscheiden sich die vier Anbieter nur wenig. Bei Usability-Tests zum Beispiel erhalten die Kunden bei allen Anbietern Testvideos und eine schriftliche Auswertung, außerdem Handlungsempfehlungen des jeweiligen Projektleiters, die beispielsweise das Bug-Fixing betreffen oder Optimierungsvorschläge enthalten (Schriftgröße, Integration von Ortungsdiensten und mehr). Bei testCloud scheint die schriftliche Auswertung besonders lang: Laut Mitgründer Carsten Lebtig umfasst bereits die Kurzfassung etwa 100 Seiten. Alle Anbieter offerieren überdies Möglichkeiten, die Testergebnisse in das Kundensystem zu exportieren, beispielsweise über Tools wie Jira, Redmine oder Mantis. Ebenso bieten alle vier Unternehmen den Kunden das Mitverfolgen des Tests beziehungsweise des Projektfortschritts in Echtzeit an.

Auch bei der Akquisition der Tester gehen alle Anbieter in etwa die gleichen Wege: Sie testen nicht nur in der Crowd, sondern akquirieren auch über die Crowd. Dabei verweisen alle darauf, Einstiegstests vorzunehmen oder ähnliche Qualifizierungsmethoden zu besitzen. Was die Bezahlung der Tester angeht, ist diese schwer zu vergleichen: „Die Bezahlung der Tester hängt stark von dem jeweiligen Projekt ab“, sagt beispielsweise Torsten Meyer von testhub, was auf alle vier Anbieter zutrifft. Generell ergibt sich aus den Gesprächen mit den Herstellern, dass derjenige Tester, der kritische Bugs entdeckt, deutlich besser entlohnt wird als derjenige, der ein eher unspektakuläres Testvideo in einem Usability-Test abliefert.

Schnupperangebote helfen weiter

Während alle vier Anbieter mehr oder weniger die gleichen Leistungsmerkmale anbieten, geht die Schere in Bezug auf die Kosten auseinander. Allerdings sind die Angaben aufgrund der Unterschiede bei den Projekten schwer zu vergleichen. Kunden sollten deshalb sehr genau ihre Projektanforderungen definieren und damit gezielt zu den einzelnen Herstellern gehen, um deren Schnupperangebote in Anspruch zu nehmen. Mögliche Fragen zur Klärung des Anbieters und Leistungspakets lauten:

Anzeige
Anzeige
  • Was genau soll getestet werden (Usability über verschiedene Plattformen, Qualität, Last und Performance)?
  • Ist ein Bug-Export in Jira oder Redmine gewünscht?
  • Sollen die Software-Prototypen besonders geschützt werden?
  • Wird eine ganz bestimmte Zusammensetzung von Testpersonen, beispielsweise Physiotherapeuten, Krankenschwestern und Ophthalmologen benötigt?
  • Gibt es bereits konkrete Vorstellungen über die Zahl der Tester und das Testszenario?

Wie viele Tester?

Die Antworten auf solche und ähnliche Fragen werden deutlich aufzeigen, was Kunden jeweils an Leistung erwarten können und zu welchen Kosten. Die Preise bewegen sich dabei bei allen Anbietern und Testszenarien im vierstelligen Euro-Bereich, hängen letztlich aber stark davon ab, wie hoch die Anzahl der eingesetzten Tester ist. Doch wie viele Tester werden überhaupt benötigt? „Die Anzahl der Tester in unseren App-Testing-Projekten bewegt sich typischerweise zwischen 20 und 100“, erklärt Dieter Speidel, CEO von Pass. Bei testhub besteht ein klassischer Einstieg aus fünf Testern mit Auswertung. Damit bekommt man laut Geschäftsführer Torsten Meyer einen guten Einblick in die Testmethodik und könne abschätzen, welchen Output die Tester generieren; für das Ableiten von Handlungsempfehlungen und Analysen seien aber mindestens 10 bis 15 Tester notwendig. Auch Markus Steinhauser von Testbirds geht von mindestens 15 Testern aus, um zuverlässige und valide Ergebnisse erzielen zu können; „für breit gefächerte Programme können aber auch 60 bis 70 Tester zum Einsatz kommen.“ Carsten Lebtig, Gründer und Geschäftsführer von testCloud, hält 5 bis 50 Tester für notwendig, bei einer umfassenden Qualitätssicherung liege die benötigte Anzahl hingegen zwischen
30 und 200.

Bei testCloud können Kunden Websites, mobile Apps und Enterprise-Software von der Crowd testen lassen.

Bei testCloud können Kunden Websites, mobile Apps und Enterprise-Software von der Crowd testen lassen.

Fazit: Crowdtester testen

Resultierend aus den obigen Erfahrungswerten sollten Kunden für einen Usability-Test also mindestens 20 bis 30 Tester akquirieren. Um den richtigen Anbieter zu finden, empfiehlt es sich, die Schnupperangebote der Hersteller in Anspruch zu nehmen, auf ihre Seriosität hin zu prüfen und dabei auch die Reaktionsgeschwindigkeit der Anbieter auf Kundenanfragen mitzutesten. Denn aufgrund der Verschiedenartigkeit der zu testenden Projekte ist ein pauschaler Vergleich der vier Plattformen kaum möglich. Es heißt also: Bevor die Crowd testet, muss sie selbst erstmal gestestet werden.

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
2 Kommentare
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Peter

Ich empfehle überdies eine Anmeldung als Tester und die Teilnahme an ein bis zwei Tests, um sich ein Bild von der Durchführung der Tests machen zu können.
Die Qualität der Plattform für die Tester lässt ggf. auch Rückschlüsse auf die Professionalität der Firma zu, und hat sicherlich Einfluss auf die Qualität der Testergebnisse.

Antworten
testerpool_er

Wer nicht online, sondern bei sich im Büro testen lassen will, kann passende Tester auch einfach bei testerpool.com finden.

Antworten

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige