Die Statistik besagt, dass neun von zehn Produktinnovationen scheitern. Die mit Abstand häufigste Ursache: Für das angebotene Produkt gibt es am Zielmarkt keinen Bedarf. Um ein solches Szenario nach Möglichkeit zu vermeiden, sollten Unternehmen bei der Entwicklung neuer Dienstleistungen und Produkte den potentiellen Nutzer in den Mittelpunkt stellen.

Ein Verfahren im Zuge nutzerzentrierter Produktentwicklung ist das sogenannte Smoke-Testing, das es ermöglicht, die Akzeptanz digitaler Produkte schon vor ihrer Entwicklung am Markt zu testen. Seinen Ursprung hat das Smoke-Testing in der Gas- und Wasserinstallation: Nach dem Verlegen neuer Rohre wird Rauch in die Leitungen gegeben, um undichte Stellen zu identifizieren. Heute ist das Prinzip auch in der Softwareentwicklung verbreitet, um neu entwickelte Anwendungen erstmals zu testen.

Die Basis für das Smoke-Testing digitaler Produktideen hingegen bildet zumeist eine Landingpage, über die auf ein konkretes Produkt inklusive Werteversprechen aufmerksam gemacht wird. Ein solcher virtueller Prototyp ermöglicht es, Nutzerreaktionen zu sammeln und diese Daten anschließend zu analysieren. Im Gegensatz zu einer qualitativen Validierung handelt es sich beim Smoke-Testing um eine reaktive Datenerhebung. Der Vorteil: Die potenziellen Käufer werden in ihren Reaktionen nicht durch eine Testsituation beeinflusst.

Dass es kein leichtes Unterfangen ist, ein Produkt zu testen, das es noch gar nicht gibt, liegt auf der Hand. Zumal kleine, zunächst unscheinbare Fehltritte das gesamte Ergebnis des Smoke-Testings verfälschen können und eine Validierung der Daten im Grunde umsonst ist. Um das zu verhindern, zeigen wir die sieben häufigsten Fehler auf, die es beim Smoke-Testing digitaler Produktideen unbedingt zu vermeiden gilt.

Die Produktidee ist konkret dargestellt, ein griffiges Werteversprechen formuliert und die Landingpage erweckt den Eindruck, als könne jeder Besucher den neuen Service direkt abonnieren. Bis hierhin habt ihr vieles richtig gemacht, solltet euch nun aber sehr genau überlegen, wen ihr mit eurem Produkt tatsächlich erreichen wollt. Wer etwa über seine Unternehmensseite auf Facebook mit der Community teilt, wie stolz man auf das neue digitale Produkt ist, wird von Fans und Followern naturgemäß überwiegend positives Feedback ernten.

Das ist zwar nett und sicherlich auch so gemeint, verfehlt aber den Sinn und Zweck des Smoke-Testings. Zielführend wäre stattdessen, potenzielle Neukunden mit der digitalen Produktidee zu konfrontieren. Denn nur so erhält man Reaktionen für eine Datenbasis, die für eine Validierung auch tatsächlich geeignet ist. Ein probates Mittel, um möglichst nah an den echten Zielmarkt vorzurücken, ist das Schalten von Online-Werbung, die mithilfe der zahlreichen Targeting-Optionen sehr genau ausgesteuert werden kann.

Ein gern gesehenes Phänomen in Konzern und Mittelstand: Gleich beim ersten Test muss alles richtig gemacht und die Meinungen sämtlicher Stakeholder berücksichtigt werden. Abstriche und Kompromisse? Keine Option. Für die Produktinnovation heißt das: Der virtuelle Prototyp muss bereits alle „guten“ Ideen widerspiegeln und alle Features inklusive vollständiger Compliance und detaillierter AGB enthalten. Selbstverständlich alles bis ins letzte Pixel auf das Corporate Design des Unternehmens abgestimmt.

Tatsächlich ist beim Smoke-Testing noch kein Platz für die digitale eierlegende Wollmilchsau. Sie steht sogar im Weg herum. Neben der Tatsache, dass die Ausarbeitung von Details Zeit frisst und sich der eigentliche Test dadurch verzögert, sollte das Ziel sein, den Kern des Produkts sehr spitz zu formulieren und mit einem schlanken Konzept möglichst früh live zu gehen. So ist man in der Lage, zu evaluieren, ob das zentrale Werteversprechen auch funktioniert – statt Gefahr zu laufen, die potenzielle Nutzerakzeptanz aufgrund der Vielfalt an Möglichkeiten nicht mehr klar interpretieren zu können.

„Kill your Darling“ – wer sich schon mit dem Thema Produktentwicklung beschäftigt hat, dem dürfte dieses Credo bekannt vorkommen. Sich von der Mehrzahl lieb gewonnener Ideen wieder zu verabschieden, ehe man mit der einen richtig durchstartet, gehört – im besten Fall – zum Alltag eines Innovators. Welches dieses eine Produkt mit den besten Erfolgsaussichten ist, offenbart das Smoke-Testing – sofern es frühzeitig durchgeführt wird.

Entsprechend gilt es, sich an ein weiteres Motto aus der Startup-Welt zu halten: „Fail Fast“, die Bereitschaft, früh zu scheitern. Um die Erfolgsaussichten für ein neues Produkt gewinnbringend zu validieren, ist ein frühes Smoke-Testing mit einer schlanken Version hilfreich – also dann, wenn noch vergleichsweise wenig Herzblut und Ressourcen in die Idee geflossen sind. Anschließend gilt es, aus den Erkenntnissen die richtigen Konsequenzen zu ziehen. Zeigt die Validierung, dass keine Nachfrage in der Zielgruppe besteht, folgt auf „Fail Fast“ was? Richtig: „Kill your Darling!“

Trotz der Maßgabe, ein Produkt möglichst früh mit der Zielgruppe zu konfrontieren, sollte man nicht den Fehler machen, wild drauflos zu testen. Ganz wichtig: Der Testzeitraum für ein Produkt muss repräsentativ gewählt werden, damit die Erkenntnisse verallgemeinerbar sind und keine Ergebnisverzerrung stattfindet.

Wenn ihr beispielsweise eine Business-Software entwickelt habt und nun dem Interesse möglicher Geschäftskunden auf den Grund gehen wollt, wäre es clever, das Wochenende zu umgehen. Bei einem zehntägigen Smoke-Testing etwa ist zu erwarten, dass das Ergebnis in einem Zeitraum von Freitagabend bis übernächsten Montagmorgen deutlich schlechter ausfällt, als beim selben Test von Montagmorgen bis zum übernächsten Donnerstagabend.

Soll der gewählte Zeitpunkt für den Test die Qualität der Idee nicht negativ beeinflussen, ist man gut beraten, im Vorfeld genau zu prüfen, welche Faktoren einen situativen Effekt auf die Nachfrage haben könnten. Gibt es Überschneidungen mit Feiertagen, Schulferien oder relevanten Branchenevents, kann man das Smoke-Testing entweder auf einen repräsentativen Zeitraum verschieben oder aber die gewonnenen Daten mit statistischen Methoden bereinigen, um valide Aussagen treffen zu können.

Die richtigen Nutzer mit einer Produktidee anzusprechen, ist in der Tat eine Kunst. Wie bereits angedeutet, stellen Plattformen wie Facebook, Linkedin und Google eine gute Möglichkeit dar, bestimmte Zielgruppen konkret zu definieren und Kampagnen entsprechend auszuspielen. Doch auch hier gibt es Fallstricke, die man tunlichst vermeiden sollte.

Ein häufiger Fehler auf Facebook ist etwa die Allokation des Werbebudgets. Statt zu Beginn des Smoke-Testing das gesamte Media-Budget „rauszubuttern“, solltet ihr zwei bis drei Tage warten, bis der Facebook-Algorithmus die Kampagne optimiert hat. Zudem sollte das Budget gezielt über den Testzeitraum verteilt und regelmäßig nachgesteuert werden.

Grundsätzlich ist es empfehlenswert, die Aussteuerung von Kampagnen aufgrund ihrer Komplexität einem Experten mit Performance-Marketing-Erfahrung anzuvertrauen. Eine gute Idee sollte schließlich nicht daran scheitern, dass sie „unprofessionell“ beworben wurde – und man am falschen Ende gespart hat.

„Sei der erste, der unseren Service ausprobiert!“ oder „Jetzt in den Beta-Test einsteigen!“ – das Problem an derlei gut gemeinten Aufforderungen an den potenziellen Käufer? Es ist offensichtlich, dass das beworbene Produkt noch in der Entwicklungsphase steckt. Die Folge: Beim Testing würden keine echten Reaktionen auf ein vermeintlich existierendes Produkt ausgelöst, sondern vielmehr Meinungen zu einer Idee eingeholt.

Realistische Kaufbedingungen sind die Grundlage für realistische Testdaten. Und um die zu erhalten, muss der Nutzer davon überzeugt sein, gerade ein echtes Produkt vor sich zu haben. Kontraproduktiv wäre beispielsweise auch, die Teilnahme am Test mit einem Amazon-Gutschein zu belohnen. Wenn man Geld dafür bekommt, ein Produkt interessant zu finden, was sagt das dann über das tatsächliche Kaufverhalten aus? Genau: gar nichts.

Zum Schluss noch die Königsdisziplin des Smoke-Testings, die selbsterklärend großes Fehlerpotenzial birgt: die Verankerung der Validierung im gesamten Innovationsprozess. Die große Gefahr lauert hier in einem inkonsistenter Testaufbau, der sich im schlimmsten Fall über mehrere Tests zieht. Ein einzelner Test ohne Vergleichswerte ist schon schwierig auszuwerten. Ist jedoch der jeweilige Testaufbau innerhalb einer Reihe nicht konsistent strukturiert, ist ein Benchmarking ebenso wenig möglich.

Integriert man in seine Tests Buttons mit unterschiedlichen Calls-to-Action, zum Beispiel „Hier reinschnuppern“ und „Jetzt bestellen“, kann man anschließend zwar jeweils eine Conversion-Rate ablesen. Aufgrund der inhaltlichen Abweichung in der Aufforderung sind die Werte für beide Buttons jedoch nicht miteinander vergleichbar.

Ziel beim Smoke-Testing muss es sein, ein professionelles, strukturiertes und vergleichbares Setup für mehrere Tests zu schaffen, das fest in den Innovationsprozess integriert ist. Messpunkte müssen analog gewählt werden und auch der Seitenaufbau von Test zu Test vergleichbaren Prinzipien folgen. Zudem empfiehlt es sich, ein System aus Tracking-Kennzahlen wie Cost-per-Click und Cost-per-Lead zu etablieren.

Auf den ersten Blick mag das Smoke-Testing simpel wirken: Landingpage bauen, Werbung schalten, Analytics auswerten. Allerdings steckt der Teufel wie so oft auch hier in den Details. Und auf die gilt es in jeder Phase des Testings sehr genau zu achten, damit sich eine Produktidee auf Basis der gewonnenen Daten auch tatsächlich validieren lässt.

Kritisch wird es vor allem dann, wenn ein verfälschtes Testergebnis die Basis für eine weitreichende Investitionsentscheidung bildet oder Geschäftsideen, die eigentlich ein großes Potenzial gehabt hätten, zu Unrecht verworfen werden. Um diese Horrorszenarien zu vermeiden, ist ein professionelles Smoke-Testing erforderlich, das Unternehmen ermöglicht, mehr über den potenziellen Kunden zu lernen – und so erfolgreiche digitale Produkte zu entwickeln, die die Zielgruppe liebt.