TL;DR: Entscheidungsforscher Dr. Niklas Keller erklärt, wie wir Fehler im Entscheidungsprozess erkennen, warum die Entscheidung zur Umwelt passen muss und was Individuen, Teams und Organisationen tun können, um mit KI besser zu entscheiden.
KI verlagert unsere Arbeit vom eigentlichen Machen zum Beurteilen. Wir treffen mehr kleine Prüf- und Auswahlentscheidungen, und diese Aufsicht kann nachweislich erschöpfen.
Das ist nicht zuletzt der Architektur der Systeme geschuldet, die den Dialog mit uns durch kontinuierliche Rückfragen am Laufen halten. Dass damit auch die Anzahl möglicher Fehlentscheidungen steigt, ist logisch. Aber gibt es auch Wege, diese schlechten Entscheidungen zu reduzieren? Das haben wir den Entscheidungsforscher Dr. Niklas Keller gefragt, der in der Dark Horse Academy das Training Entscheidungskompetenz im KI-Zeitalter leitet.
Schlechte Entscheidungen treffen wir häufiger, wenn wir entweder zu viel oder zu wenig Informationsgrundlagen haben. Die Arbeit mit KI kann beide Tendenzen verstärken, zum Beispiel, wenn wir uns bemühen, ein komplexes Thema vollständig zu begreifen und versuchen, alles Mögliche in einer Entscheidung zu berücksichtigen. Das erzeugt unnötige Schwankungen (oder Varianz). Oder, wenn uns die stimmig wirkenden Zusammenfassungen und die schmeichelnden Antworten glauben lassen, wir hätten bereits alles verstanden und unsere Perspektive verengen können. Dann erliegen wir einer systematischen Verzerrung (oder Bias).
Im ersten Fall fühlen wir uns schnell überfordert und geraten in eine Art Analyse-Paralyse, in der wir uns gar nicht mehr in der Lage fühlen, zu entscheiden. Im zweiten Fall entscheiden wir mit übersteigertem Selbstvertrauen. Letzteres wird im Tag Team mit der KI nochmal begünstigt, da die auf Werkseinstellungen selbst zu Overconfidence neigt und darauf trainiert ist, zu gefallen.
Ob wir eher dem einen oder dem anderen Fehler erliegen, hängt stark davon ab, in welcher Umwelt wir uns befinden.
Auch wenn es uns manchmal so vorkommt, haben Large Language Models wie ChatGPT oder Gemini nichts mit dem menschlichen Denken zu tun. Ihre Antworten basieren auf Wahrscheinlichkeiten. Das funktioniert besonders gut in sogenannten Risikoumwelten, in denen die Gesamtlage vielleicht zunächst unübersichtlich ist, die einzelnen Einflussfaktoren aber stabil und vorhersagbar. In solchen Situationen lohnt es sich in der Tat, alle relevanten Informationen einzubeziehen, zu optimieren und mit Prognosen zu arbeiten.
Ein Beispiel dafür ist die Proteinfaltung, ein hochkomplizierter, aber stabiler Prozess, bei dem aus einer einfachen Proteinkette eine komplexe dreidimensionale Form entsteht. Je nachdem, wie die Kette sich dreht, kann die Form völlig andere Anordnungen annehmen. Schon bei wenigen hundert Aminosäuren entstehen unvorstellbar viele mögliche Formen.
2018 entwickelte ein Team von Google DeepMind die KI AlphaFold, die aus der Aminosäurefolge eines Proteins dessen dreidimensionale Form vorhersagt, ohne den gesamten Faltvorgang nachzurechnen. Da der Prozess seit Millionen von Jahren nach denselben Regeln funktioniert, macht AlphaFold einen ziemlich guten Job und brachte seinen Entwicklern Demis Hassabis und John Jumper 2024 sogar den Nobelpreis für Chemie ein.
Anders läuft es in instabilen Umwelten, wo wir es mit viel Dynamik und Ungewissheit zu tun haben. Dort sollten wir uns nur auf die zentralen, belastbarsten Faktoren verlassen, von denen wir wissen, dass die auch in Zukunft stabil bleiben werden. So behalten wir ein gewisses Maß an Kontrolle bei, um Situationen zu steuern. Nehmen wir zu viele Daten in die Berechnung, ohne zu wissen, ob sie stabil bleiben, verwässern wir die Ergebnisqualität.
So erging es einem früheren Google-Projekt, Google Flu Trends. Das auf maschinellem Lernen basierende System sollte anhand von Suchanfragen die Verbreitung von Grippeausbrüchen einschätzen.
Die Hypothese war: Wer krank wird, googelt möglicherweise nach Symptomen oder Behandlungsmöglichkeiten. Steigen entsprechende Suchanfragen in einer Region, könnte dort gerade eine Grippewelle entstehen. Das Modell startete vielversprechend, machte später aber erhebliche Fehler: Suchanfragen zu anderen Krankheiten lösten Fehlalarme aus, das Team erhöhte die Variablen, doch die Performance sank weiter.
Ein weiterer wahrscheinlicher Grund für die schlechteren Werte war, dass sich die Funktionsweise der Google-Suchmaschine selbst änderte. Damit stimmten die ihr zugrunde liegenden Regeln nicht mehr überein mit denen, auf denen Google Flu Trends basierte.
Heute gilt Google Flu Trends als Lehrbeispiel dafür, warum riesige Datenmengen allein keine zuverlässigen Vorhersagen garantieren. Forschende um Gerd Gigerenzer zeigten später sogar, dass eine einfache Faustregel mit nur einem einzigen Datenpunkt die Grippewellen genauer vorhersagte als der Big-Data-Algorithmus.
In der Praxis kann sich Ungewissheit auf ganz vielen Ebenen einer Entscheidung einschleichen. Um Fehler zu analysieren, hilft es, Entscheidungsprozesse auf vier Ebenen aufzuteilen.
Für jede Entscheidung braucht es ein Ziel. Sind Ziele unklar, gibt es einen Zielkonflikt oder fehlt das Ziel komplett, entbehrt die Entscheidung ihrer Grundlage.
Das Modell bestimmt, wie ein Ziel erreicht wird. Es ist die Annahme, wie man vom Ausgangspunkt zum Ziel kommt. Wenn ich dem Ziel trotz vieler Entscheidungen nicht näher komme, ist es wahrscheinlich, dass irgendwas mit meinem Modell im Argen liegt.
Die Daten sind der Input, mit dem das Modell gefüttert wird. Sind sie unbrauchbar oder schlichtweg falsch, verfälschen sie ebenso die Ergebnisse.
Hier stehen die Ressourcen und die Fähigkeiten der entscheidenden Personen, Teams oder Organisationen. Fehler treten dort auf, wo angenommene Ressourcen doch nicht vorhanden sind oder z. B. nicht effektiv koordiniert werden können.
Um die eigenen Entscheidungen auf ihre Robustheit zu überprüfen, empfiehlt es sich, mit der Impact-Ebene zu beginnen:
Darüber hinaus gibt es aber noch ein paar weitere Strategien und Taktiken, je nachdem, ob es um Entscheidungen auf individueller, Team- oder organisationaler Ebene geht.
„Meine große Sorge ist nicht, dass die KI irgendwann mal intelligenter wird als die Menschen, sondern dass die Benutzung von KI die Menschen irgendwann dümmer macht als die KI“, sagt Niklas im Zwiegespräch. Was er damit meint, ist, dass wir aufpassen müssen, welche Kompetenzen wir auslagern und welche wir behalten wollen.
Konkret bedeutet das, sich nicht direkt die leere Seite vollschreiben zu lassen, sondern zuerst mit einer oder mehreren Ideen reinzugehen und diese dann mit der KI zu challengen. Niklas nennt das den „Brain-first Approach“ (im Gegensatz zum „KI-First Approach“).
Unübersichtlicher wird es bei der Zusammenarbeit im Team: Da macht ein Mitarbeiter mit der KI aus sechs Stichpunkten ein Slidedeck, das sich seine Vorgesetzte im Anschluss wieder zusammenfassen lässt. Dieses ganze Ver- und Entpacken verbrennt nicht nur eine Menge Tokens, sondern verschleiert auch den ursprünglichen Wissensgehalt, weil nie ganz klar ist, wie viel Inhalt im Verlauf dazugedichtet worden ist.
Die Gefahr ist, dass KI-Output weitergereicht wird, ohne dass ihn jemand prüft und am Ende keiner mehr den Überblick hat, wie Wissen überhaupt zustande gekommen ist. Dagegen hilft eine gute Prozesshygiene, die transparent macht, in welche Entscheidungen KI miteinbezogen werden darf und in welchem Rahmen. So entsteht zumindest eine Art Nachvollziehbarkeit von Entscheidungen im Team.
Auch in der Gesamtorganisation braucht es Prozessklarheit als Rahmenbedingung für gute Entscheidungen. Vor allem Themen wie IT-Sicherheit spielen eine wichtige Rolle, wenn es um die Frage geht, ob ich eine KI in meine Entscheidung mit einbinde oder nicht. Welche Hebel dafür zur Verfügung stehen, haben wir in 6 Hebel für Responsible AI zusammengefasst.
Aber auch die Kompetenzfrage spielt eine große Rolle. Welche Skills kann ich als Organisation bedenkenlos an die KI outsourcen und welche Skills brauche ich, um am Ende auch KI-Output gut bewerten zu können? Mensch und KI sind hier komplementär: Das Gehirn baut kausale Netze und braucht dafür wahnsinnig wenig Information. Die KI hat riesige Assoziationsnetze und versucht damit, den nächsten Token vorauszusagen. Beides kann sich ganz gut gegenseitig ergänzen und das sollte sich auch in den Organisationskompetenzen wiederfinden.
Kurz zusammengefasst: In stabilen Umwelten ist die Welt komplex, aber berechenbar. Hier funktioniert KI am besten und es lohnt sich, möglichst viele Informationen zu integrieren und zu optimieren. In instabilen Umwelten ändern sich die Spielregeln laufend. Mehr Variablen helfen dort nicht, sie machen das Modell eher schlechter. Besser ist es, sich auf wenige robuste Faktoren zu stützen, zu experimentieren und die Lage zu steuern, statt sie vorherzusagen.
Wie unser Entscheidungsprozess aussieht, muss also zur Umwelt passen. Dafür sollten wir uns vor jedem größeren Projekt vergegenwärtigen, wie stabil oder instabil unser Spielfeld ist. Dann können wir abschätzen, ob es sich lohnt, besonders viele Daten zu sammeln (komplizierte Gemengelage) oder uns auf einige wenige zu konzentrieren (komplexe Gemengelage). Erst danach sollten wir die Rolle definieren, die wir der KI in diesem Kontext zukommen lassen wollen. Das ist dann die Meta-Entscheidung.
KI als Verstärker nutzen, ohne die eigene Urteilskraft zu verlieren, genau darum geht es im Kurs „Entscheidungskompetenz im KI-Zeitalter“. Niklas Keller ist als Dozent selbst dabei. Du arbeitest an Fällen aus deinem Arbeitsalltag und nimmst Decision-Cards und ein Workbook mit.