Planung eines Experiments: Eine Einführung

Stefan Herrebosch
Stefan Herrebosch
experiment design

Eine Einführung in das Design von Experimenten: ein zweiwöchiger Sprint – eine evidenzbasierte Entscheidung, ob eine Idee angenommen oder verworfen wird

Stellen Sie sich Folgendes vor. Sie spielen schon seit einiger Zeit mit einer Idee für ein neues Produkt oder Unternehmen. Die Analyse hat Ihnen gezeigt, dass viele der von Ihren Kunden gestellten Fragen und durchgeführten Aktionen gleich sind und sich stark wiederholen. Ihnen ist die brillante Idee des sogenannten „digitalen Assistenten“ gekommen. Dieser virtuelle Assistent hilft den Kunden, allgemeine Probleme zu lösen, speichert alle Antworten auf FAQs an einem Ort, …

Das Problem ist nur, dass Sie nicht wissen, wo Sie anfangen sollen. Kommt Ihnen das bekannt vor?

Wir arbeiten nicht mit Gefühlen, sondern mit Zahlen.

Die einzige Möglichkeit, dies herauszufinden, ist ein Test. Finden Sie genau heraus, welches Segment Ihrer Kunden für eine solche Lösung in Frage kommt. Und wenn sie der Idee gegenüber aufgeschlossen sind, welche Funktionen würden sie dann nutzen wollen? Um ihre Bereitschaft abzubilden und zu messen, müssen Sie eine V1 dieses Produkts simulieren, damit Sie das Verhalten der potenziellen Nutzer verfolgen können.

Darum geht es beim „Experimentendesign“. Die Durchführung von (kleinen) Tests ermöglicht es Unternehmen, evidenzbasierte Entscheidungen zu treffen. Das Experimentendesign validiert die Annahmen. Es ist ein Weg, das Bauchgefühl in knallharte Fakten und Zahlen zu übersetzen.

Testen Unternehmen nicht bereits neue Produkte und Dienstleistungen? Ja, das tun sie. Aber sie testen sie auf eine qualitative Art und Weise, die offen für Interpretationen ist. Sie erstellen Umfragen mit offenen Fragen, sie organisieren Fokusgruppen, sie bringen Nutzerpanels zusammen. Solche Experimentendesigns zielen auf quantitative Ergebnisse ab. Denken Sie an Besucher, Klicks, Downloads und Abonnements. Keine Gefühle, sondern reine Zahlen.

Gesucht: die beste, gescheiterte Idee

Das Experimentendesign ist ein interessanter Weg, um Dinge schnell aufdecken zu können. Wir laufen Sprints, keine Marathons. Zu viele Unternehmen treffen ihre Entscheidungen immer noch auf der Grundlage der Marketingpläne des letzten Jahres. Aber die Technologie entwickelt sich rasend schnell, und das Verbraucherverhalten ist unvorhersehbar. Im Idealfall dauert das Experiment nicht länger als zwei Wochen. Nachdem das Experiment abgeschlossen ist, werten Sie das Ergebnis aus und nehmen die Idee entweder an und setzen sie um oder Sie machen sie unerbittlich zunichte. Keine Sorge: Die Zahlen haben gezeigt, dass es nicht funktionieren wird.

Der indische Gigant Tata hat einen Preis für die beste, gescheiterte Idee ausgeschrieben. Jedes Jahr belohnt das Unternehmen eine Idee, die auf schreckliche Weise gescheitert ist. Nicht, um sich über die Mitarbeiter, die hinter dieser Idee stehen, lustig zu machen, sondern um alle, die bei Tata arbeiten, davon zu überzeugen, wie wichtig es ist, neue Dinge auszuprobieren. Selbst wenn sie kläglich scheitern.

Was das Experimentendesign im Wesentlichen bewirkt, ist eine radikale Beschleunigung dieses Prozesses. Und des Scheiterns. Oder des Erfolgs. Das richtige Experimentendesign kann Ihnen eine Menge Zeit und Geld sparen. Durch die Umsetzung großartiger Ideen. Oder indem man schlechte Ideen NICHT umsetzt.

Der Kanarienvogel in der Mine

Das Experimentendesign hat Auswirkungen auf Ihr Unternehmen, die über das Experiment hinausgehen. Es bringt Sie dazu, sich zu fragen, ob Sie über die nötige Innovationskraft verfügen, um wettbewerbsfähig zu sein, es zeigt Ihnen die Hindernisse auf, die der Innovation im Wege stehen, und es zwingt Sie, einen anderen Gang einzulegen. Es ist wie der Kanarienvogel in der Mine.

Booking.com hatte Dutzende, ja sogar Hunderte von verschiedenen Versionen seiner Webseite, die sich auf alle möglichen Märkte und Zielgruppen konzentrierten. Wenn Sie Wochen brauchen, um die Genehmigung Ihrer Rechtsabteilung für die Einrichtung auch nur einer Landing Page zu erhalten, wissen Sie, dass Sie ein Problem haben, das Sie lösen müssen. So schnell wie möglich.

Die goldene Formel: Wenn-dann-weil

Um die richtigen Antworten zu erhalten, müssen Sie die richtigen Fragen stellen. Wenn Sie bestimmte Annahmen validieren wollen, müssen Sie sie messbar machen. Das tun Sie, indem Sie diese in Hypothesen umwandeln. Eine Vermutung ist eine Behauptung ohne Beweis, eine Hypothese ist überprüfbar. Wenn man davon ausgeht, dass niemand auf die Schaltflächen mit der Aufforderung zum Handeln auf Ihrer Webseite klickt, so lautet die Hypothese, dass die Zahl der Klicks um 10 % steigt, wenn nicht etwas Allgemeines wie „Erfahren Sie mehr“, sondern etwas wirklich Praktisches wie „Fordern Sie eine Präsentation an“ steht.

Eine Hypothese folgt immer dem gleichen Muster: Wenn-dann-weil. WENN ich die Aufforderung zum Handeln ändere, DANN werden mehr Leute klicken, WEIL es für sie klar ist, was sie als Gegenleistung bekommen. Um Ihnen zu helfen, vage Annahmen in messbare Hypothesen umzuwandeln, haben wir Experimentierkarten entwickelt.

Worauf warten Sie noch?

Es gibt ein paar hartnäckige Missverständnisse zum Thema Experimentendesign.

Nein, das ist nicht nur für Startups. Im Gegenteil, vor allem große Unternehmen profitieren vom Experimentendesign. Startups sind per Definition agil und flexibel, was ihnen einen enormen Wettbewerbsvorteil gegenüber Unternehmen verschafft. Für diese Unternehmen ist die Versuchsplanung eine Möglichkeit, langsame und schwerfällige interne Verfahren zu umgehen.

Und nein: Das Experimentendesign ist nicht die Spielwiese des Innovationsteams. Das Experimentendesign ist für jedes Team und jede Abteilung geeignet. Das ist das Schöne daran.

Nehmen wir an, dass ein ungewöhnlich hoher Prozentsatz der Bewerber zwischen der ersten und zweiten Runde Ihres Bewerbungsverfahrens ausscheidet. Die Personalabteilung kann ohne weiteres ein oder mehrere Experimente durchführen, um herauszufinden, wie sie das Niveau der Bewerber, die sich durchsetzen, erhöhen kann. Wird der Tonfall Ihrer E-Mails einen Unterschied machen? Vielleicht bleiben die Kandidaten an Bord, wenn Sie sie anrufen, anstatt ihnen eine unpersönliche E-Mail zu schicken? Oder wenn Sie die Uhrzeit des Treffens ändern? Es gibt nur einen Weg, das herauszufinden.


Blog