Ein bewertetes Vorhersageprotokoll führen

Zeichne Vorhersagen mit expliziten Wahrscheinlichkeiten auf und bewerte sie, wenn sie sich klären.

Why it works

Kalibrierung erfordert eine Rückkopplungsschleife: Du äußerst eine Wahrscheinlichkeit, das Ergebnis tritt ein, und du lernst, ob dein geäußertes Vertrauen der Basisrate deiner Vorhersagen entsprach. Ohne Aufzeichnung und Bewertung bleibt Vertrauen ein Gefühl statt einer messbaren Größe. Der Brier-Score ist die Standardmetrik: niedriger ist besser.

How to do it

1. Richte ein einfaches Protokoll ein: Datum, Frage, Wahrscheinlichkeitsschätzung, Ergebnis (bei Klärung).
2. Zeichne mindestens fünf bis zehn Vorhersagen pro Monat auf, um genug Daten für die Kalibrierungsanalyse zu generieren.
3. Bewerte jede geklärte Vorhersage mit der Brier-Score-Formel: (Wahrscheinlichkeit − Ergebnis)², wobei Ergebnis 0 oder 1 ist.
4. Trage deine Brier-Scores über die Zeit auf — ein Trend zu niedrigeren Werten ist echte Verbesserung.

Evidenz

Tetlocks Forecasting-Turniere nutzten durchgehend Brier-Bewertung; verfolgte, bewertete Prognostiker verbesserten sich deutlich mehr als solche ohne Feedback. (observational)

Persönliche Vorhersageprotokolle erfordern Disziplin und werden erst nach ausreichendem Volumen statistisch bedeutsam — typischerweise Hunderte von Vorhersagen für feingranulare Kalibrierung.

Quellen

• Tetlock (2005), Expert Political Judgment
• Tetlock & Gardner (2015), Superforecasting
• Tetlock, P. E. (2005). Expert Political Judgment: How Good Is It? How Can We Know? Princeton University Press.
• Mellers, B., Stone, E., Atanasov, P., Rohrbaugh, N., Metz, S. E., Ungar, L., Bishop, M. M., Horowitz, M., Merkle, E., & Tetlock, P. (2015). The psychology of intelligence analysis: Drivers of prediction accuracy in world politics. Journal of Experimental Psychology: Applied, 21(1), 1–14.
• Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.

Häufiger Fehler

Vorhersagen in vager Sprache aufzeichnen („Ich denke, es wird gut ausgehen") statt in numerischen Wahrscheinlichkeiten, was Bewertung unmöglich und Kalibrierung unmessbar macht.