Deine Schätzungen verfolgen und kalibrieren

Vergleiche deine Fermi-Schätzungen mit tatsächlichen Zahlen, wenn möglich, und nutze die Lücke, um künftige Schätzungen zu verbessern.

Why it works

Fermi-Schätzfähigkeit wird durch Feedback-Schleifen aufgebaut – der Vergleich von Schätzungen mit tatsächlichen Werten deckt systematische Verzerrungen auf (z. B. konsistente Unterschätzung von Bevölkerung oder Überschätzung von Raten), die mit Bewusstsein korrigiert werden können. Ohne Feedback stagniert die Schätzfähigkeit auf dem Niveau der Intuition; mit Feedback verbessert sie sich messbar in Richtung Expertenkalibrierung.

How to do it

1. Ein Protokoll gemachter Schätzungen und der tatsächlichen Werte führen, sobald sie verfügbar sind.
2. Systematische gerichtete Verzerrungen identifizieren: Sind deine Schätzungen bei bestimmten Größentypen konsequent zu hoch oder zu niedrig?
3. Einen Korrekturfaktor auf Bereiche anwenden, in denen du eine anhaltende Verzerrung identifiziert hast.
4. Das Protokoll vierteljährlich durchsehen und notieren, wo sich die Kalibrierung verbessert hat und wo nicht.

Evidenz

Prognosetrainingsforschung zeigt durchgehend, dass Feedback zur Vorhersagegenauigkeit, kombiniert mit strukturierter Reflexion, deutlich besser kalibrierte Schätzer erzeugt. Der Vorteil von Superforecastern wird erheblich durch ihre Praxis des Überprüfens und Aktualisierens anhand von Vorhersageergebnissen erklärt. (observational)

Kalibrierungsverbesserung erfordert genug Vorhersagen in einem Bereich, damit das Feedback statistisch aussagekräftig ist; in seltenen Bereichen sind Kalibrierungsgewinne langsam.

Quellen

• Tetlock & Gardner (2015), Superforecasting — tracking records as the engine of calibration improvement
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149-171.
• Mellers, B., Ungar, L., Baron, J., Ramos, J., Gurcay, B., Fincher, K., Scott, S. E., Moore, D., Atanasov, P., Swift, S. A., Murray, T., Stone, E., & Tetlock, P. E. (2014). Psychological Strategies for Winning a Geopolitical Forecasting Tournament. Psychological Science, 25(5), 1106-1115.

Häufiger Fehler

Eine Schätzung einmal gegen die Realität prüfen und daraus schließen, gut kalibriert zu sein – Kalibrierung ist eine statistische Eigenschaft, sichtbar erst über viele Vorhersagen hinweg.