Hier ist eine der Neuzugänge in unserer Sammlung historischer Fehlbewertungen von Innovationen:

Kaiser Wilhelm II soll 1902 über das Automobil gesagt haben:

Solange ich ein warmes Pferd habe, besteige ich einen derartigen Stinkkarren nicht.

Schon ein Jahr später besaß er drei Autos.

(Zitatquelle: Welt Online)

(Bildquelle: Wikipedia)

Die Bewertung von Ideen ist ein wichtiger, aber schwieriger Teil des Innovationsprozesses. Sie dient dazu, die Attraktivität der Ideen zu ermitteln und dient meistens als Vorbereitung für einen anschließenden Auswahlschritt, bei der die Ideen die ausgewählt werden, die im Prozess verbleiben dürfen und weiter verarbeitet werden.

In der Praxis werden zur Bewertung von Ideen fast immer Punktemethoden benutzt: Die Ideenbewerter vergeben Punkte an die Ideen, die zum Ausdruck bringen, inwiefern sie einem vorgegebenen Bewertungskriterium entsprechen. Die Vorteile einer Punktebewertung liegen auf der Hand: sie ist einfach, und die Punktzahlen von verschiedenen Experten oder für verschiedene Kriterien lassen sich leicht zusammenaddieren, um zu einer Gesamtsumme zu kommen.

In der wissenschaftlichen Literatur findet man jedoch auch Bewertungsmethoden, die auf Paarvergleichen beruhen. Hier werden den Bewertern zwei Ideen vorgelegt, und sie müssen angeben, welche der beiden am ehesten einem Kriterium entspricht. Aus der Menge aller Paarvergleiche kann dann ein Ranking aller Ideen hergestellt werden.

Obwohl die Verfahren, die auf Paarvergleichen beruhen, aufwendiger sind, gibt es eine Reihe von theoretischen und praktischen Gründen, die für sie sprechen. Hier will ich vier weniger bekannte Gründe vorstellen.

Stellen wir uns vor, zwei Ideen sollen von zwei Experten begutachtet werden. Im ersten Experiment dürfen die Experten Punkte von 1 bis 10 vergeben, im zweiten führen sie Paarvergleiche durch.

Beispiel 1: Gleichstand

Wenn im ersten Experiment beide Experten einer Idee die gleiche Punktzahl geben, bedeutet dies nicht dasselbe, denn ein Punkt beim ersten Experten kann etwas anderes bedeuten, als beim zweiten. Geben sie jedoch beim Paarvergleich an, dass beide Ideen gleichwertig sind, dann haben beide in diesem Fall tatsächlich die selbe Aussage gemacht.

Beispiel 2: Denkaufwand

Es ist anstrengender, eine Punktbewertung vorzunehmen, als einen Paarvergleich zu machen. Dies liegt daran, dass eine Punktbewertung eine Skala voraussetzt, die aber in den meisten Fällen nicht existiert. (“Was heißt es genau, dass eine Idee 7 Punkte bekommt und nicht 6 oder 8 Punkte?“)

Beispiel 3: Beständigkeit des Urteils

Bei der Punktevergabe kommt es oft vor, dass ein Experte seine früheren Bewertungen revidieren möchte, nachdem er weitere Ideen kennengelernt hat. Beim Paarvergleich tritt dieser Effekt nicht ein: die Feststellung, dass eine Idee besser ist, als eine andere, hängt nicht von der Kenntnis weiterer Ideen ab.

Beispiel 4: Genauigkeit

Die Verwendung von Punkten zur Bewertung suggieriert eine Genauigkeit, die in Wirklichkeit nicht vorhanden ist. Vor allem wenn die Punkte mehrerer Bewerter oder für unterschiedliche Kriterien zusammengezählt werden, ist die Versuchung groß, zu glauben, dass die Idee mit 97 Punkten besser ist, als die mit 96 Punkten. Dabei sind die einzelnen Punktangaben, aus denen sich die Gesamtsummen zusammsetzen, oft höchst ungenau, denn sie beruhen lediglich auf einem Bauchgefühl. Demnach sind Schlussfolgerungen, die auf geringen Punkteunterschieden beruhen, nicht gerechtfertigt. Im Gegensatz hierzu sind Paarvergleiche genau, denn Entscheidung, welche von zwei Ideen besser ist, enthält keine Abstufungen.

Wir sind der Meinung, dass Paarvergleiche die bessere Wahl sind, und die Methoden, die wir z.Zt. erforschen (und die wir dieses Jahr auf der HICSS-Tagung präsentiert haben) basieren auf Paarvergleichen.

Die Website www.informationisbeautiful.net ist der Informationsvisualisierung – also der Darstellung von Informationen durch Graphiken gewidmet. Diese ungewöhnliche Website enthält viele interessante und manchmal auch beeindruckend schöne Repräsentationen von den verschiedensten Fakten, Statistiken und anderen Informationen.

Vor wenigen Tagen hat der Designer David McCandless eine Graphik veröffentlicht, die verschiedene Reaktionen auf Ideen in einem zweidimensionalen System platziert. Die Koordinatenachsen sind der (vermutete) Nutzen der Idee und deren konzeptionelle Struktur.

So platziert McCandless beispielsweise die Reaktion “interessant” bei einem geringen Nutzen und einer wenig ausgeprägten konzeptuellen Struktur. Eine “dumme” Idee hat kaum einen Nutzen und ist nur lose strukturiert. “Großartige”, “brilliante” und “geniale” Ideen haben sowohl einen hohen Nutzen als auch eine gute Struktur, während “schreckliche” Ideen weder Nutzen noch Struktur besitzen.

Ich finde diesen Ansatz interessant, denn er wirft die Frage auf, was die Menschen eigentlich meinen, wenn sie auf Ideen spontan reagieren. Möglicherweise verrät ihre Wortwahl mehr, als man glaubt. Gibt es einen Unterschied zwischen einer “schlechten” Idee und einer “dummen” Idee? Und was ist besser, eine “clevere” Idee oder eine “coole” Idee?

Mich würde interessieren, was passiert, wenn man auf der senkrechten Achse die Herausforderung einer Idee auftragen würde. Diese Achse würde reichen von “bequem”, bei Ideen, die ins Weltbild des Kommentators passen ohne anzuecken, bis “extrem herausfordernd” für radikale Ideen, die das Weltbild in Frage stellen. In diesem neuen Koordinatensystem würde beispielsweise die Reaktion “gut” bedeuten, dass eine Idee ins Denksystem passt und einen erkennbaren  Nutzen verspricht. “Genial” wäre eine Idee, die einen sehr hohen Nutzen hat und überraschend ist, weil sie ein etabliertes Paradigma verletzt. Eine “schlechte” Idee passt ins Denksystem des Sprechers, verspricht aber keinen Nutzen, während eine “verrückte” Idee weder einen Nutzen verspricht noch passt die in sein Weltbild.

Wir werden ein wenig experimentieren und über unsere Erkenntnisse berichten…

(Bildquelle: David McCandless www.informationisbeautiful.net)

Jedes Jahr findet die Hawaii International Conference on System Sciences auf Hawaii statt. Bei dieser Tagung, die von Wissenschaftlern aus der ganzen Welt besucht wird, werden Forschungsergebnisse aus einem breiten Spektrum an Themen vorgestellt. Für uns von Interesse sind die Bereiche Kreativität, Innovation und Kollaboration, da wir hier wertvolle Impulse für unsere Arbeit gewinnen können.

Dieses Jahr haben wir zwei Ergebnisse unserer Forschung auf dem Gebiet der Ideenbewertung präsentiert.

Bei der ersten Studie haben wir die Frage untersucht, wie eine Gruppe von Experten eine Menge von Rohideen am besten in die zwei Kategorien “behalten” und “verwerfen” einteilen kann. Dabei soll der Vorgang so schnell wie möglich sein, ohne jedoch dabei an Zuverlässigkeit zu verlieren. Wir haben eine neue Methode vorgestellt, die diese (und weitere) wichtigen Anforderungen erfüllt.

In unserer zweiten Studie ging es ebenfalls um die Bewertung von Rohideen. Auch hier sollte die Ideenmenge in die zwei Mengen “behalten” und “verwerfen” partitioniert werden, wobei aber die Ideen, die die Prüfung bestehen, priorisiert werden sollen. Ferner soll der Ideenbewerter seine Urteile von Bedingungen abhängig machen können, die zum Zeitpunkt der Bewertung unbekannt sind. Wir haben hierfür eine neue Methode entwickelt, die für alle möglichen Kombinationen von Bedingungen die gewünschten Ranking-Ergebnisse berechnet. Dabei werden die vielen Kombinationen von Bedingungen vom Computer verwaltet.

In der Rolle von Zuhörern war der für uns wichigste Teil der Tagung eine Präsentation von Gwendolyn Kolfschoten von der Delft University of Technology und Robert Briggs von der State University of San Diego. Diese haben ein Modell von kollaborativer Arbeit vorgestellt, das hilft, Workshops besser zu verstehen und zu planen. Dieses Modell lässt sich direkt auf die Vorbereitung unserer Ideenfabriken anwenden, und wir haben beschlossen, es schon bei unserem ersten Kundenprojekt im neuen Jahr einzusetzen.

Unsere beiden wissenschaftlichen Artikel können von der Website des Lehrstuhls für Simulation an der Universität Magdeburg heruntergeladen werden.

Zur Zeit sind wir auf Hawaii, wo wir bei einer wissenschaftlichen Tagung ein paar Ergebnisse unserer Forschung über die Bewertung von Ideen präsentieren werden. Nach unserer Rückkehr nach Deutschland beginnt unser Arbeitsjahr mit Projekten für Kunden aus der Biotechnologie, der Mobilität und der Hochschule.

Vom sonnigen Pazifikstrand aus wünschen wir allen unseren Freunden, Kunden und Partnern ein erfolgreiches Jahr 2012!

Leonardis beschreibt eine interessanten Beobachtung in der aktuellen Ausgabe des Harvard Business Review. Er hat beobachtet, dass das Bauen von Prototypen die Kreativität von Entwicklerteams hemmt.

Häufig werden Prototypen in der Entwicklung eingesetzt, um Ideen für neue Produkte zu erarbeiten. Sie dienen dem Team dazu Ideen auszuprobieren und zu kommunizieren.

Der Nachteil dieser Prototypen ist nun allerdings, dass das Entwicklungsteam sich sehr schnell auf diesen Prototypen konzentriert und Alternativen zur Lösung der Aufgabe verborgen bleiben. Der Prototyp fesselt das Team gedanklich. Leonardis hat beobachtet, dass die Entwickler nach dem Prototypen nur noch an der Optimierung von diesem arbeiten: Funktionen werden ergänzt, Verbesserungen werden vorgenommen, etc. Die Freiheit alternative Lösungsmöglichkeiten zu finden ist beschränkt.

Damit sich das Entwicklungsteam nicht durch einen Prototypen einengen lässt, empfehlen wir:

1. Geben Sie Ihrem Entwicklunsteam einen klaren Auftrag (Briefing).
2. Bevor Sie Ideen sammeln, sammeln Sie Probleme, die gelöst werden müssen.
3. Sammeln Sie viele verschiedene Alternativen für das Lösen der Probleme.
4. Sobald Sie einen Prototypen entwickelt haben, stellen Sie Ihr eigenes Konzept wieder in Frage: “Was wäre wenn, … ?”

[Quelle: HBR, Dezember 2011, Paul Leonardis "Early Prototypes Can Hurt a Team's Creativity"]

Drei Experten A, B und C sollen eine Idee beurteilen. Für diese Beurteilung sind die zwei Kriterien X und Y relevant. Erfüllt die Idee beide Kriterien, so wird sie akzeptiert, sonst wird sie abgelehnt.

Wir treffen nun für die drei Experten eine bestimmte Kombination von Meinungen:

1. Experte A ist der Meinung, dass beide Kriterien erfüllt sind und votiert deshalb für die Idee.
2. Experte B ist der Meinung, dass Kriterium X erfüllt ist, das Kriterium Y jedoch nicht. Er stimmt also gegen die Idee.
3. Experte C ist der Meinung, dass Kriterium X nicht erfüllt ist, das Kriterium Y jedoch schon. Er stimmt also ebenfalls gegen die Idee.

Nun haben wir die paradoxe Situation, dass die Mehrheit der Experten sowohl Kriterium X als auch Kriterium Y als erfüllt ansieht aber dennoch die Idee ablehnt. Die Situation ist ähnlich dem Problem mit den versteckten Profilen, wo eine spezifische Verteilung von Wissen oder Meinungen zum falschen Verhalten führen kann.

Die Wissenschaft hat erst in letzter Zeit dieses Paradox entdeckt und hat es zum Anlass genommen, Bewertungsmethoden zu entwickeln, die damit umgehen können. Diese Methoden setzen aber Bedingungen voraus, die für die Bewertung von Ideen im Innovationsprozess nicht realistisch sind.

Eine Lösung für die Ideenfabrik würde darin bestehen, die Evaluation der Kriterien einzeln zu aggregieren, und das Gesamturteil auf der Grundlage der aggregierten Kriterienurteile zu bilden.

Es war einmal ein Dorf, in dem eine seltsame Krankheit wütete. Diese Krankheit tötete manche Menschen, andere versetzte sie aber nur in einen tiefen Schlaf, der sie wie tot erscheinen ließ. Nach einigen Tagen wachten diese aber auf und waren wieder völlig gesund. Leider fiel dies den Dorfbewohnern aber recht spät auf, weshalb sie befürchten mussten, dass sie bereits einige Mitbewohner lebendig begraben hatten.

Damit dies in Zukunft nie wieder passieren konnte, gab der Dorfrat dem Dorfbestatter den folgenden Auftrag: “Sorgen Sie dafür, dass jeder, den wir begraben, auch wirklich tot ist!” Der Bestatter sicherte dem Rat zu, dass er dies tun würde.

Es vergingen einige Wochen, und das Dorf musste weitere Opfer der seltsamen Krankheit zu Grabe tragen. Erst dann wurde bekannt, dass der Bestatter alle seine Särge mit einem Eisendorn im Deckel versehen hatte, dessen Spitze beim Schließen bis zum Boden des Sarges reichte.

Beim anschließenden Gerichtsverfahren verteidigte sich der Bestatter mit dem Argument, dass er genau das getan hatte, was ihm befohlen worden war. Der Richter musste den Bestatter freisprechen, und er gab ihm einen neuen Arbeitsauftrag, der lautete: “Sorgen Sie dafür, dass niemand begraben wird, der noch lebt!”

Ein ähnliches Problem kann es zu Beginn eines Innovationsprojektes geben: eine unvorsichtige  Formulierung bei der Auftragserteilung kann das Projekt in eine völlig unerwünschte Richtung führen. Suchfelder, Ideenproduktion und Ideenbewertung hängen eng mit dem Innovationsziel zusammen, und schon ein einziges mehrdeutiges Wort kann zur Verfehlung dieses Ziels führen. Wir setzen Fragen wie diese ein, um die Wünsche unserer Kunden kennenzulernen und möglichst eindeutig zu erfassen:

• Welche Randbedingungen (finanziell, zeitlich, politisch, strategisch) müssen die zu entwickelnden Ideen einhalten?
• Werden Produkte nur für bestehende oder auch für neue Kunden gesucht?
• Müssen die Ideen mit den vorhandenen Ressourcen umsetzbar sein?
• Welches Chance/Risiko-Verhältnis suchen Sie?
• Müssen die Ideen im Rahmen Ihres bestehenden Geschäftsmodells funktionieren?
• Was wollen Sie durch die Ideen eigentlich erreichen?

Um sicherzustellen, dass das Innovationsziel wirklich eindeutig verstanden worden ist, muss ausreichend Zeit in eine Zielvereinbarung investiert werden. Nur dadurch kann man ein Unglück wie beim Dorfbestatter vermeiden.

Wenn eine Bienenkolonie einen neuen Nistplatz sucht, schickt sie einige Hundert Bienen heraus, um geeignete Orte zu suchen. Diese Bienen entdecken viele Alternativen, die unterschiedlicher Qualität sein können, und die Kolonie braucht ein Verfahren, um zwischen den potentiellen neuen Nistplätzen die beste Wahl zu treffen.

Eine ähnliche Situation gibt es im Innovationsprozess. Hier liegen statt Nistplätze Ideen zur Evaluation vor, und statt einiger Tausend Bienen gibt es eine Gruppe von typischerweise fünf bis 20 Experten, die die Ideen anhand von strategischen, technischen und marktorientierten Kriterien bewerten sollen.

Das Auswahlverfahren der Bienen sieht wie folgt aus:

1. Einige Hundert Bienen schwärmen aus auf der Suche nach geeigneten Nistplätzen.
2. Erfolgreiche Bienen kehren zur Kolonie zurück und führen einen “Wackeltanz” vor. Dies ist ein Flugmanöver, das aus mehreren wiederholten Zickzackbewegungen besteht und dadurch an einen Tanz erinnert. Dabei hängt die Anzahl der Bewegungen von der Qualität des gefundenen Nistplatzes ab.
3. Durch diesen Tanz angeregt fliegen weitere Bienen zum Nistplatz, um ihn zu prüfen. Diese führen dann nach ihrer Rückkehr ebenfalls Wackeltänze vor den anderen Bienen in der Stammkolonie vor.
4. Wenn eine genügend hohe Anzahl von Bienen den neuen Nistplatz besucht hat, trennt sich die Kolonie in zwei etwa gleich große Teile, und die eine Hälfte zieht zum neuen Wohnort um.

Forscher haben mit Hilfe von Simulationen herausgefunden, dass dieses Verfahren optimal ist. Dies bedeutet, dass die Parameter von der Natur so gewählt sind, um das bestmögliche Kompromiss zwischen der Qualität des gewählten Nistplatzes und dem dafür notwendigen Arbeitsaufwand zu erreichen. Zu diesen Parametern gehört die Anzahl der Wackelbewegungen in Abhängigkeit von der geschätzten Qualität eines Nistplatzes. Beobachtungen von Bienen haben gezeigt, dass diese sechs verschiedene Qualitätsstufen unterscheiden, und diese Stufen mit 15, 45, 90, 150, 225 bzw. 315 Wackelbewegungen kommunizieren.

Der finnische Student Juho Salminen ist in seiner Master-Arbeit der Frage nachgegangen, ob sich dieses Verfahren auf die Ideenauswahl im Innovationsprozess übertragen lässt. Dazu hat er einen Prototyp des natürlichen Verfahrens entwickelt und an seiner Universität getestet. Seine Ergebnisse bewertet er positiv, und er empfiehlt die Realisierung eines produktiven Werkzeugs auf der Basis der Methode.

Eine häufig verwendete Methode für die Ideenauswahl ist das so genannte “Punktekleben”. Jeder Experte vergibt Punkte an die Ideen, und diese Punkte werden anschließend zusammengezählt, um die besten Ideen zu ermitteln. Dabei dürfen typischerweise Punkte auf einer linearen Skala von 1 bis 10 vergeben werden.

Obwohl sie sehr weit verbreitet ist, setzt Zephram diese Methode nicht ein, denn sie hat eine Reihe von entscheidenden Nachteilen. Zu diesen Nachteilen gehört, dass die Methode dazu neigt, Unterschiede zwischen den Alternativen zu verwaschen. Die folgende Tabelle illustriert diesen Effekt:

Vier Experten W, X, Y und Z haben die drei Ideen A, B und C mit Punkten zwischen 1 und 6 bewertet. In der Summe erhält Idee A 11 Punkte, Idee B 12 Punkte und Idee C 11 Punkte. Damit ist Idee B der knappe Sieger, und Ideen A und C stehen gleichrangig knapp dahinter.
Bildet man aber diese Punkte auf die Skala ab, die von den Bienen eingesetzt wird, erhält man das folgende Ergebnis:

Idee B bleibt Sieger, aber der relative Abstand zu den anderen ist größer geworden. Außerdem haben Ideen A und C nicht mehr Gleichstand, sondern es steht jetzt A vor C, wenn auch nur knapp. Diese Unterschiede zwischen den beiden Verfahren erkennt man besser in einem Diagramm:

Das bionische Bewertungsverfahren bildet also Unterschiede zwischen den Alternativen klarer ab als die lineare Bewertung. Diese Eigenschaft ist für den Innovationsmanager, der vielversprechende Ideen identifizieren muss, sehr hilfreich.
Natürlich setzt ein solches Verfahren die Unterstützung durch einen Computer voraus, denn man kann den Experten eine solche “krumme” Bewertungsskala nicht zumuten; diese sollten wie gewohnt Punkte linear vergeben. Für den Rechner ist es eine Kleinigkeit, diese umzuwandeln und die Summen zu bilden.

Aufgrund dieser Beobachtung scheint eine nichtlineare Abbildung von Punkten für die Ideenbewertung Vorteile zu bieten. Es ist aber Forschung notwendig, um die optimalen Parameter der Abbildung herauszufinden. Dies wollen wir in den kommenden Monaten im Rahmen unserer Kooperation mit der Universität Magdeburg studieren.

Quelle: Juho Salminen: Applying Collective Intelligence to Idea Evaluation at the Front End of Innovation

Erfindungen sind der Zwischenschritt zwischen Ideen und Innovationen. Sie beschreiben die Anwendung einer Idee zur Lösung einer technischen Aufgabe. Sie sind eine wichtige Voraussetzung für Produktinnovationen, und sie bilden die Grundlage für Patente, mit denen Unternehmen eine temporäre Monopolstellung und eine stärkere Wettbewerbsposition erzielen können. Erfindungen können also ein wichtiger Baustein im Innovationsprozess sein.

Invention on Demand (IoD) bezeichnet den Ansatz, Erfindungen gewissermaßen “auf Bestellung” zu erzeugen. Damit dies funktionieren kann, werden leistungsstarke Techniken benötigt, die Experten binnen kurzer Zeit zu den gewünschten Erfindungen führen. Das bekannteste Beispiel für eine solche Technik ist die Widerspruchmatrix von TRIZ, eine Methode, mit der physikalische Problemlösungen gezielt gefunden werden können.

Die Anforderungen an einen IoD-Workshop sind sehr hoch: innerhalb von einem oder zwei Tagen müssen Ideen entwickelt werden, die den Ansprüchen des Patentamtes gerecht werden. Um die notwendige Erfindungshöhe zu besitzen, muss eine Idee nämlich “new-to-the-world” sein, und sie darf selbst für einen Experten nicht trivial sein. Für IoD-Workshops gilt der Brainstorming-Leitsatz von Alex Osborn “je mehr Ideen, desto besser” nicht; vielmehr wird ein hoher Aufwand in die Problemanalyse investiert, um wenige, auf Anhieb qualifizierte Ideen zu erhalten. Unser übliches Workshop-Ziel ist, eine patentierfähige Idee pro Teilnehmer zu produzieren.

IoD-Workshops setzen eine intensive Auseinandersetzung der Moderatoren mit der Aufgabenstellung voraus, und sie erfordern die Entwicklung von maßgeschneiderten Techniken und Arbeitsmaterialien. Funktionen und Komponenten bisheriger Lösungen, sowie technische Probleme und deren Ursachen werden alle für die Ideenproduktion eingesetzt. Neben erprobten Ansätzen wie beispielsweise TRIZ spielt die Provokation eine wichtige Rolle, denn sie hilft den Experten, sich von ihren bekannten Systemen gedanklich zu befreien und neue Lösungswege zu entdecken.

Invention on Demand lohnt sich vor allem für technologieorientierte Unternehmen, die eine Technologieführerschaft oder First Mover-Strategie betreiben. Solche Unternehmen können am meisten vom strategischen Einsatz eines Patentportfolios profitieren. Darüber hinaus haben sie in der Regel das professionelle Innovationsmanagement, das notwendig ist, um die entstandenen Erfindungen aufzubereiten und bis zur Patentanmeldung zu begleiten.