„Klar wären Nutzertests gut, aber dafür haben wir kein Geld und keine Zeit.“ Diesen oder ähnliche Sätze hört man noch immer häufig. Sogar in Unternehmen, die von den Vorteilen nutzer­orientierter Designs überzeugt sind. Denn auch sie schrecken oft vor dem hohen ­Aufwand gängiger Nutzertests zurück. Und so treffen sie wichtige, strategische Entscheidungen allein auf Basis begründeter Vermutungen. Dabei muss das gar nicht sein, es gibt schließlich Guerilla-UX-Testing. ­Dabei handelt es sich um Nutzertests mit überschaubarem Aufwand und geringem ­Budget, die dennoch hilfreiche Erkenntnisse über das Nutzungserlebnis (User-Experience) und die Nutzbarkeit (Usability) liefern. Der Usability-Experte Jakob Nielsen prägte dafür 1989 den Begriff Discount-Usability-Testing. Heute richtet sich der Blick aber nicht nur auf die Nutzbarkeit, sondern auf das ganzheitliche Nutzungserlebnis. Daher hat sich in den letzten Jahren die Bezeichnung Guerilla-UX-Testing eingebürgert. Wie auch immer man es nennt, ­Nielsen ist davon überzeugt, dass es „oft bessere Ergebnisse liefert als Deluxe-Usability-Testing, weil die Methoden ihren Schwerpunkt auf eine frühe und schnelle Iteration mit einem ­regelmäßigen Input der Nutzer legen“.

Der Trick dabei: Wer Guerilla-UX-Testing anwendet, senkt den Aufwand für die Auswahl der Testnutzer, die Durchführung der Tests und die Analyse der Ergebnisse so sehr, dass er sie häufig wiederholen kann. Und zwar, ohne auf valide Ergebnisse verzichten zu müssen. Guerilla-UX-Testing eignet sich für Produkte oder Services, die kein tiefes Spezialwissen erfordern und eine breite Zielgruppe ansprechen. Die App für den öffentlichen Nahverkehr zum Beispiel oder das Navi im Auto.

Natürlich braucht man manchmal auch klassische Nutzertests in Laboren oder anderen wissenschaftlichen Verfahren. Etwa dann, wenn die Zielgruppe schwer an öffentlichen ­Orten zu finden ist oder es kaum Einflüsse von außen geben soll. Außerdem ­ermöglichen Guerilla-­UX-Tests keine verallgemeinerbaren ­Aussagen oder aufwendige Testverfahren – dazu sind die Bedingungen nicht kontrolliert genug. Viele Unternehmen brauchen das aber auch gar nicht. Sie wollen vor allem ihre Produkte oder Dienstleistungen verbessern. Ihre Alternative besteht nur ­darin, gar nicht zu testen. Dann ist Guerilla-UX-­Testing genau das ­Richtige!

Anders als in klassischen Nutzertests rekrutieren die Organi­satoren beim Guerilla-UX-Testing die Testanwender nicht im Vorfeld. Stattdessen sprechen sie einfach einzelne Menschen an oder sorgen über auffällige Kleidung, Schilder, Accessoires oder Ähnliches dafür, dass Menschen neugierig werden und von sich aus teilnehmen wollen. Das reduziert den Rekrutierungsaufwand enorm und ermöglicht eine größere Zahl von Tests innerhalb kurzer Zeit.

Die große Herausforderung besteht dabei darin, Menschen aus der anvisierten Nutzergruppe zu erkennen. Denn während man beim Rekrutieren gezielt nach diesen Menschen suchen kann, ist man beim Guerilla-UX-Testing auf einige wenige Fragen während der kurzen Unterhaltung angewiesen. Je spezialisierter die Zielgruppe ist (etwa Fachleute oder Manager), umso schwieriger ist die Suche. Abmildern lässt sich das Problem mit der Wahl des richtigen Orts: Ein Fitness­studio, die Fußgänger­zone, eine Veranstaltung oder ein Netzwerktreffen – je nachdem, wo man Mitglieder seiner Zielgruppe besonders gut findet. Dabei empfehlen sich Orte, an denen sich viele Menschen in entspannter Atmosphäre aufhalten.

Ziel	Beschreibung	Material
Ideen explorieren	erste Lösungsideen testen, grundlegende Probleme finden	Mockups, Entwürfe
Ideen validieren	spezifische, typische Handlungen simulieren	funktionale Prototypen
Produkte validieren	finale Version testen, Qualitätskontrolle, Zielerreichung prüfen	fertige oder nahezu fertige Version
Produkte vergleichen	mehrere Lösungsmöglichkeiten vergleichen (etwa verschiedene Ideen oder Wettbewerber)	Mockups, Entwürfe, funktionale Prototypen oder fertige Versionen
Produkte weiterentwickeln	kontinuierliche Verbesserungen, Anpassungen an Marktveränderungen	marktreifes Produkt

Zu Beginn des Gesprächs sollten die Tester zunächst einmal die Studie vorstellen und in schriftlicher Form um das Einverständnis der Nutzer bitten, sie aufzuzeichnen oder ihre Erfahrungen anderweitig zu dokumentieren (mehr zur Dokumentation gibt es weiter unten). Es ist sehr wichtig, dass die Teilnehmenden verstehen, was sie erwartet und worum es geht. Dazu gehört vor allem auch, dass ihnen klar ist, dass das Produkt oder der ­Service getestet werden soll – und nicht sie als Person. Außerdem müssen die Forscher auch beim Guerilla-­UX-Testing ethische ­Standards wahren. Die Testpersonen müssen beispielsweise immer die Möglichkeit haben, Aufgaben nicht zu machen oder den Test ­sogar vorzeitig abzubrechen. Außerdem sollten die ­Teilnehmenden auch eine kleine Aufmerksamkeit für Zeit und Einsatz erhalten.

Guerilla-UX-Tests sollen meist Schwachstellen aufdecken und Verbesserungspotenziale zeigen (formative Tests). Dazu müssen die Organi­satoren erst einmal das Material zum Testen vorbereiten. Je nach ­Interesse und Entwicklungsstand können sie dabei auf unterschiedliche Materialien zurückgreifen, wie die untenstehende Tabelle verdeutlicht. Guerilla-UX-Testing eignet sich aufgrund seines lockeren Charakters auch besonders gut für ­erste Papierprototypen und Entwürfe.

Danach geht es an die Planung der Sessions. Während Usability-­Studien im Labor gerne einmal 45 Minuten oder länger dauern, sollten Guerilla-UX-Tests nicht mehr als zehn bis 15 ­Minuten erfordern. Unternehmen sollten sich also lieber auf einige wenige Bereiche konzen­trieren und einfach immer wieder von Neuem testen. ­Meistens soll der Proband bestimmte ­Aufgaben ­lösen. Diese sollten das Produkt natürlich gut wiedergeben und zum Erkenntnisinteresse der ­Testenden passen. Die Aufgaben sollten kurz und einfach ­beschrieben und auf keinen Fall ­suggestiv formuliert sein, etwa um eine bestimmte Lösungsstrategie nahezulegen. Zu Beginn bekommen die Testpersonen häufig auch eine offene Aufgabe, durch die sie sich frei auf der Startseite bewegen und schon mal einen Überblick bekommen können. Dies zeigt, wie sich Besucher orientieren und ob sie verstehen, worum es bei einem Produkt oder Service überhaupt geht. Schließlich sollte man die Teilnehmenden bitten, zu erläutern, was ihnen durch den Kopf geht, während sie die Aufgaben lösen: Die ­Methode des lauten Denkens ist ein wesentlicher und sehr aufschlussreicher Bestandteil von Nutzertests.

Zu einem Guerilla-UX-Test gehört darüber hinaus ein ordentliches Abschlussgespräch, das Debriefing. Oft fallen den Forschern während des Tests Dinge auf, die sie am Ende noch einmal ansprechen wollen. Und es lohnt sich, auf die beobachteten Emotionen und Gedanken der Probanden zu reagieren: Nicht selten erhalten Tester auf diese Weise wertvolle Informationen zur Inter­pretation der Ereignisse. Die Teilnehmenden sollten im ­Debriefing auch die Gelegenheit haben, Antworten auf ihre ­Fragen zu bekommen. Sollte eine Aufgabe sie beispiels­weise verwirrt haben, so wäre jetzt der richtige Zeitpunkt, um die ­Irritation aufzulösen. Die Forscher sollten dann darauf hinweisen, dass das Unternehmen das Produkt oder die Dienstleistung an dieser ­Stelle verbessern wird – nach dem Motto „Nutzer irren niemals“.

Wann immer man über Testen nachdenkt, lautet eine nahe­liegende Frage: Wie viele Tests brauche ich eigentlich? Tendenziell testet man so lange, bis man den Eindruck bekommt, die meisten Aspekte beo­bachtet zu haben – ein gutes Indiz dafür ist, wenn man bei identischen Tests mehrmals in Folge kaum noch etwas Neues erkennt. Natürlich gibt es auch einige Faustregeln wie etwa die berühmte Empfehlung Jakob Nielsens, dass Tests mit fünf Nutzern ausreichen, um 85 Prozent der Usability-Probleme zu finden. Allerdings hängt die Zahl sehr stark davon ab, welche Art von Produkt oder Service man eigentlich testet. So gibt es beispielsweise Untersuchungen, die gerade bei Websites eine wesentlich geringere Entdeckungsrate von Problemen fanden. Wer es genauer wissen möchte, findet im Buch „Quantifying the User Experience“ von Jeff Sauro und James Lewis die nötigen ­Details.

Eigentlich ist die Anzahl der Teilnehmer bei Guerilla-UX-Tests aber gar nicht so zentral. Zunächst ist ein Test mit wenigen oder sogar nur einem Nutzer besser als gar keiner. Erfahrungsgemäß findet man ­immer ein User-Experience-Problem, das man noch nicht kannte. Besonders beim Testen geschäftskritischer Bereiche lohnt sich Guerilla-UX-Testing daher recht schnell.

Hinzu kommt: Es ist vor allem dann besonders wichtig, die Teilnehmerzahl möglichst genau zu planen, wenn es wirklich nur eine, in sich geschlossene Untersuchung zur User-Experience geben soll. Guerilla-UX-Testing dagegen will ja gerade den Aufwand einzelner Tests so stark verringern, dass man immer wieder von Neuem testen kann. Im Businessumfeld sollen Nutzertests nämlich nicht möglichst viele Schwachstellen aufdecken, sondern ein Produkt verbessern. Dann aber ist nicht die Zahl der auf einen Schlag gefundenen Pro­bleme entscheidend, sondern vielmehr, dass man einige – wahrscheinlich sogar die häufigsten – entdeckt, an Lösungen arbeitet, weiter testet und mit der Zeit immer mehr Schwachstellen findet. Es geht also eher um eine Testkultur, bei der die Durchführenden möglichst nah an den ­Erlebnissen der Nutzer arbeiten. Oder anders gesagt: Lieber mehrere Reihen mit wenigen Nutzern als einen einzigen Test mit vielen Anwendern – vorausgesetzt natürlich, man arbeitet dazwischen auch wirklich iterativ an Lösungen.

Denn, ob Guerilla oder nicht: Nutzertests sind nur dann sinnvoll, wenn ein Unternehmen anschließend mit den ­Ergebnissen ­arbeitet. Das heißt, es muss nach dem Test die wichtigsten ­Aspekte aufgreifen, neue Lösungen erstellen und diese erneut testen. Wie aber sichert man die Testergebnisse, um sie analysieren zu können? Im Labor zeichnen Unternehmen die einzelnen Testsessions auf – meist mit einem Screenrecording und einer Videoaufnahme des Gesichts sowie den Aussagen beim „Lauten ­Denken“. Sofern die Testanwender damit einverstanden sind, können Unternehmen dies natürlich auch beim Guerilla-UX-­Testing tun. Programme wie die Mac-Anwendung ­Silverback (39 US-­Dollar) oder Screencapturing und Smartphonekamera helfen dabei.

Genauso wichtig sind jedoch auch Beobachtungen während der Tests. Am besten überlegt man sich schon im Vorfeld, was von besonderem Interesse ist, und legt einen entsprechenden ­Beobachtungsbogen an (siehe das Beispiel links). Eine solche Vorlage versammelt Felder für alle interessanten Stellen auf einer Seite – etwa, wohin ein Teilnehmer klickt, welche Probleme auftauchen, welche Emotionen ein Nutzer zeigt oder auffällige Aussagen. Der Beobachtungsbogen sollte dabei zwar möglichst viele Details abdecken, aber auch nicht unübersichtlich und schwierig auszufüllen sein. Gelingt der Spagat, hat der Beobachtungs­bogen mehrere Vorteile: Er eignet sich als Gedächtnisstütze für das ­Debriefing und hilft, sich bei der Analyse auf das Wesentliche zu ­konzentrieren. Mit ein bisschen Übung können die Durchführenden sogar schon einen Teil der Analyse während der Tests erledigen. Vor ­allem dann, wenn zwei Testmitarbeiter den Test machen und ­einer das Gespräch führt, während der andere den Bogen ausfüllt.

Die Auswertung eines Guerilla-UX-Tests soll die Bereiche ­herausfiltern, in denen Verbesserungen besonders sinnvoll sind. Typischerweise sind das User-Experience-Probleme. Es könnten aber auch positive Aspekte sein, die ein Unternehmen dann noch weiter ausbauen will. Um diese zu finden, notieren sich die Mitarbeiter alle auffälligen Ereignisse – das können Äußerungen beim lauten Denken sein, ­handfeste Probleme bei der Interaktion oder emotionale Reaktionen. Diese ­Momente, sogenannte ­„Critical ­Incidents“, fassen die Testenden nach Abschluss der Sessions zu User-Experience-Problemen zusammen. Ein Problem zeigt sich nämlich oft mit verschiedenen Symptomen. Außerdem ist es sinnvoll, festzuhalten, wie oft ein Problem aufgetreten ist und wie gravierend es sich ausgewirkt hat.

In den meisten Fällen dürfte diese Liste am Ende mehr ­Probleme enthalten, als ein Unternehmen auf einmal ­angehen kann. Deshalb ist es wichtig, herauszufinden, wo die viel­versprechendsten Verbesserungspotenziale liegen. Dazu kommen die Teammitglieder zusammen und diskutieren ihre Beobachtungen. Dann schreiben sie alle Probleme auf Post-its und ordnen sie in einer Matrix mit den zwei Achsen „wichtig“ und „machbar“ an. So zeigt sich schnell, welche Probleme relevant sind – beispielsweise, weil sie einfach zu lösen und besonders wichtig sind.

Guerilla-UX-Testing kann zu wertvollen Einsichten beim Nutzungs­erlebnis führen. Die kostengünstige Methode versetzt, richtig angewendet, Unternehmen in die Lage, ihre Produkte oder Services schnell spürbar zu verbessern. Ein gutes User-­Experience-Design umfasst aber sehr viel mehr als nur Tests. Daher ist auch Guerilla-UX-­Testing nicht die einzige Möglichkeit, etwas für ein gutes Nutzungserlebnis zu tun. Weitere Taktiken der ­Guerilla-UX-Research stellen wir in einem weiteren Artikel in der nächsten t3n Ausgabe vor.