プロジェクト終了後にクラスデータへ貢献するための振り返りを行う
実際の結果と予測を正直に記録する——これが将来の予測が依拠するリファレンスクラスを築く。
Why it works
リファレンスクラス予測は、その背後にあるクラスデータの質次第だ。実践者が正直な結果を記録しなければ、将来の予測者が使えるクラスデータは薄いままか、体系的に偏ったものになる(うまくいかなかったプロジェクトはしばしば公表されない)。規律あるプロジェクト後の記録が、次の計画のラウンドを修正するベースレートのインフラを作る。
How to do it
- 重要なプロジェクトや予測が決着したら、当初の見積もり、最終結果、そしてその比率を記録する。
- 何がギャップを生んだのかを具体的に見極める——予見できた要因だったのか、それとも本当に予測不可能だったのか。
- これらを個人または組織の予測ログに保存し、次の類似プロジェクトの開始時に参照する。
- うまくいったプロジェクトだけを記録したいという誘惑に抵抗する。
エビデンス
組織学習の研究は一貫して、事後検証・振り返りの実践が、データが正直に記録され活用されたときに将来のパフォーマンスを向上させることを示している。公共プロジェクトにおけるリファレンスクラスデータのインフラは、まさに個々の組織が体系的な結果記録を欠いていたために構築された。 (observational)
振り返りによる記録は後知恵バイアスや動機づけられた推論の影響を受ける。構造化されたテンプレート(あらかじめ定義された結果指標)はこれを軽減するが、なくすことはできない。
よくある間違い
振り返りは行うが、結果の比率を検索可能な形式で記録しないこと——次の類似プロジェクトの開始時に取り出せなければ、その学びは使えないままだ。
IX Coach でこれを実践する
More practices for リファレンスクラス予測
- 自分の状況に合ったリファレンスクラスを特定する
自分の状況と構造的に似た過去の事例をまとまった集合として見つけ、その結果データを集める。
- インサイドビューの詳細を加える前にベースレートにアンカーする
クラスの中央値から予測を始め、そこから調整する——自分の物語から始めてベースレートに調整するのではない。
- 一点の見積もりではなく分布として予測する
予測を単一の予想数値ではなく、起こりうる結果の範囲として表現する。
- 認知的な楽観バイアスと戦略的な虚偽表示を区別する
予測の水増しには純粋なバイアスによるものと意図的な操作によるものがあることを認識する——それぞれ異なる対処が必要だ。
- 新しい証拠が入るたびに予測を段階的に更新する
予測を、矛盾する証拠にも生き残るコミットメントとしてではなく、新しい証拠ごとに変わるべき確率として扱う。