Superforecasting

Die Gewohnheiten, die Denkweise und die Kalibrierungspraktiken der treffsichersten Vorhersager der Welt

Wie sagen Superforecaster besser voraus als Experten?

Philip Tetlocks Forschung zu Vorhersageturnieren fand, dass eine Untergruppe gewöhnlicher Menschen — „Superforecaster“ — Fachexperten und Geheimdienstanalysten bei probabilistischer Vorhersage konsequent übertrifft. Sie teilen messbare kognitive und Verhaltensgewohnheiten: Sie denken in Wahrscheinlichkeiten, aktualisieren häufig aufgrund von Evidenz und suchen aktiv nach widerlegenden Informationen. Diese Gewohnheiten sind erlernbar.

Im Good Judgment Project führten Tetlock und Kollegen das größte Vorhersageturnier der Geschichte durch und fanden etwas Unerwartetes: Eine kleine Gruppe nicht-fachkundiger Freiwilliger übertraf CIA-Analysten mit Zugang zu Geheimdienstinformationen. Die Superforecaster waren nicht insgesamt intelligenter — sie setzten eine bestimmte Reihe kognitiver Praktiken ein, die die meisten Menschen übernehmen können. Im Folgenden diese Praktiken, mit dem Mechanismus dahinter und einer ehrlichen Einschätzung der Evidenz.

Übungen

Übe das mit IX Coach

Frequently asked questions

Wie sagen Superforecaster besser voraus als Experten?

Wie funktioniert „In expliziten Wahrscheinlichkeiten denken und kommunizieren"?

Wörter wie „wahrscheinlich“ sind systematisch mehrdeutig — das „wahrscheinlich“ der einen Person ist bei einer anderen 55 %, bei einer dritten 85 %. Numerische Wahrscheinlichkeiten erzwingen Präzision, machen Vorhersagen bewertbar und schaffen eine Feedbackschleife. Ohne Zahlen gibt es kein Signal dafür, ob Sie kalibriert sind. Die Disziplin, eine Zahl zu nennen, erzwingt auch echte Unsicherheitsabschätzung — Sie können nicht „so gut wie sicher“ sagen, wenn Sie sich auf 95 % festlegen müssen.

Wie funktioniert „Überzeugungen häufig und in kleinen Schritten aktualisieren"?

Superforecaster aktualisieren häufiger und in kleineren Schritten als durchschnittliche Vorhersager. Der Mechanismus ist bayesianisch: Jedes neue Beweisstück hat ein diagnostisches Gewicht, und proportional zu diesem Gewicht zu aktualisieren erzeugt Kalibrierung. Die zwei Fehlermodi sind Unter-Aktualisierung (Verankerung an der ursprünglichen Schätzung) und Über-Aktualisierung (Überbewertung jüngster auffälliger Ereignisse). Kleine, häufige Aktualisierungen widerstehen beidem, indem sie die Schätzung nahe an der aktuellen Evidenz halten.

Wie funktioniert „Aktiv nach widerlegender Evidenz suchen"?

Confirmation Bias führt dazu, dass Menschen bestätigende Evidenz stärker gewichten als widerlegende, was Überzuversicht erzeugt. Superforecaster wirken dem entgegen, indem sie die Suche nach Widerlegung zur expliziten Gewohnheit machen: Sie fragen „was würde beweisen, dass ich falsch liege?“, bevor sie nach stützender Evidenz suchen. Das beseitigt den Bias nicht, ändert aber die Evidenzmenge, aus der die Schätzung gezogen wird.

Wie funktioniert „Komplexe Fragen in Unterfragen zerlegen"?

Ein komplexes Ergebnis direkt vorherzusagen lädt zu einer verfügbarkeitsbasierten Bauchgefühl-Schätzung ein, die empfindlich auf Rahmung und auffällige jüngste Ereignisse reagiert. Die Zerlegung in Unterfragen zwingt die Analyse, jede Komponente unabhängig zu adressieren, erfasst übersehene Abhängigkeiten und macht die Schätzung nachprüfbar. Die Aggregation gut kalibrierter Unterschätzungen erzeugt genauere Gesamtschätzungen als die direkte Schätzung des Ganzen.

Wie funktioniert „Vorhersagegenauigkeit als Fähigkeit behandeln, die sich mit Übung verbessert"?

Superforecaster behandeln ihre Bewertungsergebnisse als Diagnosen, nicht als Urteile. Wenn sie in einem Bereich schlecht kalibriert sind, untersuchen sie warum — war die Referenzklasse falsch, war die Evidenzgewichtung daneben, gab es eine strukturelle Abhängigkeit, die sie übersehen haben? Diese Feedback-Orientierung ist derselbe Mechanismus, der bewusstes Üben von bloßer Erfahrung unterscheidet. Ohne ihn erzeugt Wiederholung Zuversicht ohne Genauigkeit.

Wie funktioniert „Strukturiertes Team-Forecasting nutzen, um vielfältige Sichtweisen zu aggregieren"?

Gruppendiskussion neigt dazu, die Ansichten des selbstbewusstesten oder ranghöchsten Mitglieds zu verstärken und Minderheitsinformationen zu unterdrücken. Unabhängige Schätzungen vor der Diskussion zu aggregieren bewahrt Informationen, die die Diskussion sonst ausspülen würde. Der Weisheit-der-Vielen-Effekt hängt von Unabhängigkeit ab; der Mechanismus bricht in dem Moment zusammen, in dem Schätzungen in Anwesenheit der Ansichten anderer abgegeben werden.