自分の状況に合ったリファレンスクラスを特定する
自分の状況と構造的に似た過去の事例をまとまった集合として見つけ、その結果データを集める。
Why it works
インサイドビューの計画は自分の状況を唯一無二のものとして扱うため、過去の失敗率が無関係に感じられる。リファレンスクラスを特定することで、自分のプロジェクトが既知の結果分布を持つカテゴリーに属していることを認めざるを得なくなる——そしてその分布こそが、案件固有の情報を加える前の最良の事前予測となる。このメカニズムはベイズ的だ。クラスの分布が事前確率であり、インサイドビューの詳細はそれを更新する証拠であって、出発点ではない。
How to do it
- 自分が取り組んでいるプロジェクトや意思決定の種類を定義する(「自分のプロジェクト」ではなく「新チームによる6か月のソフトウェアプロジェクト」のように)。
- その種類の完了済みプロジェクトについての過去データ——期間、コスト超過、成功率——を調べる。
- 十分な統計的検出力を持ちつつ、意味を持つ程度に具体的なリファレンスクラスを選ぶ。
- プロジェクト計画を開く前に、このクラスの結果の中央値と範囲(10〜90パーセンタイル)を記録する。
エビデンス
フリウビヤらは数百の大規模インフラプロジェクトを分析し、道路では平均28%、鉄道やトンネルではさらに高いコスト超過が体系的に生じていることを発見した。リファレンスクラス予測は、その後イギリス財務省やアメリカ計画協会によって計画ツールとして正式に推奨されている。 (observational)
この手法は使用可能なリファレンスクラスを必要とする。真に前例のない状況(史上初の技術、前例のない出来事)では、クラスが薄すぎるか存在せず、ベースレートへのアンカリングは誤った精密さをもたらす。
出典
- Flyvbjerg, Holm & Buhl (2002), "Underestimating costs in public works projects," Journal of the American Planning Association
- Kahneman & Tversky (1979), "Intuitive prediction: Biases and corrective procedures"
よくある間違い
楽観を守るためにリファレンスクラスを狭く定義しすぎること(「自分とまったく同じプロジェクト」)——過去の事例が2つしか見つからないなら、それはリファレンスクラスではなく単なる逸話だ。
IX Coach でこれを実践する
More practices for リファレンスクラス予測
- インサイドビューの詳細を加える前にベースレートにアンカーする
クラスの中央値から予測を始め、そこから調整する——自分の物語から始めてベースレートに調整するのではない。
- 一点の見積もりではなく分布として予測する
予測を単一の予想数値ではなく、起こりうる結果の範囲として表現する。
- 認知的な楽観バイアスと戦略的な虚偽表示を区別する
予測の水増しには純粋なバイアスによるものと意図的な操作によるものがあることを認識する——それぞれ異なる対処が必要だ。
- 新しい証拠が入るたびに予測を段階的に更新する
予測を、矛盾する証拠にも生き残るコミットメントとしてではなく、新しい証拠ごとに変わるべき確率として扱う。
- プロジェクト終了後にクラスデータへ貢献するための振り返りを行う
実際の結果と予測を正直に記録する——これが将来の予測が依拠するリファレンスクラスを築く。