Diffida della falsa precisione in previsioni e modelli

Tratta qualsiasi probabilità precisa o previsione quantitativa con esplicito sospetto su se il modello si adatti al dominio.

Why it works

I numeri creano un effetto di fiducia: un modello che dice che c'è il 2,3% di probabilità di fallimento sembra più credibile di "circa 1 su 50" — anche se entrambi esprimono la stessa probabilità e la precisione potrebbe essere del tutto artificiale. Nei domini simil-gioco, la precisione è giustificata; nei domini di casualità selvaggia, la precisione è una proprietà delle assunzioni del modello, non della realtà. Mettere in discussione la precisione reindirizza l'attenzione alla validità del modello.

How to do it

1. Quando vedi una previsione numerica precisa, chiediti: "Su quali assunzioni si basa questa precisione, e valgono in questo dominio?"
2. Riesprimi la previsione come un intervallo ampio: "Questo modello dice 2,3%, ma date le assunzioni, l'intervallo reale potrebbe essere 0,5%-15%."
3. Pesa la decisione di conseguenza.

Prove scientifiche

Coerente con l'evidenza sull'incertezza del modello e la calibrazione nelle previsioni. Gli intervalli di confidenza dei previsori professionisti sono sistematicamente troppo stretti in domini che vanno dal meteo alla finanza, indicando che la precisione dichiarata supera abitualmente quella giustificata. (observational)

Non tutta la precisione è falsa — in domini stabili e ben compresi con molti dati, la precisione del modello può essere giustificata. Il controllo è se il dominio la giustifica.

Errore comune

Scartare qualsiasi analisi quantitativa perché la precisione sembra sospetta — l'obiettivo è allargare l'intervallo di confidenza, non abbandonare il pensiero quantitativo.