はじめに：部下の成績回復は指導のおかげか？
あのー、あなたは部下の営業成績が落ち込んだ時にですね、こう厳しく指導した経験ってありますか?
あー、それはビジネスの現場だと本当によく聞く話ですよね。
ですよね。で、翌月見事に成績が回復したのを見て、
あー、やっぱり自分の指導が効いたなーって、密かに満足したことないでしょうか?
えー、なんか自分がマネジメント上手んじゃないかって思っちゃいますよね。
そうなんですよ。でも、もしその回復が、
えーと、あなたの見事なマネジメントのおかげなんかじゃなくて、
単なる統計的な必然というか偶然のバウンドだったとしたらどうでしょう?
なるほど。そこを打ったボールが物理法則に従ってただ自然に跳ね返っただけだったとしたら、
という怖い話ですね。
えー、今回はですね、まさにそのテーマについて徹底解説していきます。
複数のデータサイエンティストのブログとか、えーと、ヘルスリテラシーに関する研究記事、
それに統計の歴史なんかも掛け合わせて深掘りしていくんですが、
はい、すごく興味深いソースが集まってますよね。
ですよね。で、今回の私たちのミッションは、
なぜ賢明なはずのビジネスパーソンが無意味な施策に何百万円も投資し続けてしまうのか、
その根本原因である、えーと、平均への回帰という現象を紐解くことです。
えー、専門用語を使わずに、なるべく短ま例でわかりやすく解説していきたいですね。
はい、よろしくお願いします。
相関関係と因果関係を混同するなっていうのは、結構みんな知ってると思うんですけど、
えー。
今回の資料が指摘しているのは、もっと気づきにくくて、しかも日常的に頻発する罠なんですよね。
そうなんですよ。
平均への回帰のメカニズム：ゴルトンの身長研究
まずはこの、えーと、平均への回帰という現象のメカニズムから抑えていきたいんですが、
あの、19世紀の遺伝学者でもあり、統計学者でもあった、
フランシス・ゴルトンの身長に関する研究がすごくわかりやすいんです。
あー、ゴルトンの身長の話ですね。
確か、親と子供の身長データを集めたっていう。
はい。彼が発見したのは、非常に背の高い親からは、親よりも少し背が低い、
つまり全体の平均に近い子供が生まれる傾向があるってことなんです。
えっ、背が高い親の子供は、やっぱり背が高いんじゃないんですか?
もちろん高いことは高いんですが、親の極端な高さに比べると、少し縮んで平均に近づくんです。
逆に極端に背の低い親からは、親より少し背の高い子供が生まれるんですよ。
へー、面白いですね。
第一を重ねるごとに、みんなが平均的な身長に収束していくような動きを見せるってことですか?
まさにその通りです。
で、ここで重要なのが、なんでそうなるのかっていうメカニズムでして、
身長っていうのは、もちろん遺伝という強力なベースラインがあるんですけど、
それに加えて、成長期の栄養状態とか、病気をしなかったかとか、いろんな環境要因が関わってきますよね。
はい、確かに。寝る子は育つみたいなのもありますしね。
ええ。つまり、それらの環境要因っていうのは、要するに偶然とか運の要素なんです。
極端に身長が高い人っていうのは、遺伝子が高いだけじゃなくて、
そういった偶然の条件がすべてパーフェクトに味方した状態なんですよ。
あー、なるほど。つまり、実力としての遺伝プラス極端な幸運が重なった結果が、
その人の極端な身長というわけですね。
そうなんです。だとしたら、次の世界に遺伝子が受け継がれたとしても、
そのパーフェクトな幸運までが、そのままコピーされる確率って極めて低いじゃないですか。
確かに。子供も全く同じように完璧な環境で育つとは限らないですもんね。
はい。だから、運の要素が剥がれ落ちた分だけ、自然と全体の中間値、つまり平均へと引き戻されていくんです。
へー、すごくしっくりきました。運の要素が剥がれ落ちるから平均に戻る。
身近な例：テストの点数とノイズ
これって身近なテストの点数とかで考えるとわかりやすいかもしれないですね。
あー、いいですね。どんな感じですか?
えっと、普段は70点くらいの実力の生徒がいたとして、
彼がたまたま山が当たって、冠も冴え渡って、奇跡的に100点を取ったとするじゃないですか。
ええ。
でも、次のテストでは80点に下がってしまったと。
これを見た親とか先生は、
こら、100点取って気が緩んだんだろう、もっと勉強しろって怒るかもしれないですよね。
まさにあるあるな光景ですね。
でも実際には、別に彼がサボって実力が落ちたわけじゃなくて、
ただ前回彼に味方した極端な幸運が消え去って、本来の実力値に引き戻されただけっていうことですよね。
その視点非常に重要です。
結果には、常に実力と日々変動するノイズ、つまり運の要素が含まれているんです。
でも私たち人間は、結果を評価するときに、そのノイズの存在を完全に忘れてしまうんですよね。
ああ、忘れますね。全部が実力だと思っちゃう。
サイコロでたまたま連続して6が出た後、次は普通の数字が出やすくなるのと同じような感覚ですよね。
その通りです。
すべてを実力の変化とか、あるいは自分の介入の成果として解釈しようとしてしまう。
ビジネスとスポーツにおける平均回帰の誤謬
ここからがいよいよビジネスやスポーツの現場で起きている恐ろしい錯覚の話につながっていくんです。
なんだか耳が痛い話になってきそうですね。
えっと、資料にあった平均回帰の誤尾っていう言葉ですね。
はい。極端な結果が自然と平均に戻る性質があるのに、
まさにその底や頂点のタイミングで人間が介入すると、とんでもない勘違いが生まれるんです。
先ほどのテストの例で言えば、成績が下がった生徒を先生が厳しく叱りつけたとしますよね。
ええ。
すると次のテストでは、やっぱり平均への回帰によって自然と70点とか80点に戻る確率が高いわけじゃないですか。
そうなんですよ。でも先生は、自分が厳しく叱ったから気合が入って成績が上がったんだって強烈に勘違いしてしまうんです。
うわあ、それって指導者にとってはめちゃくちゃ気持ちのいい成功体験になっちゃうってことですよね。
まさにプロスポーツの現場でも同じことが起きてます。
スランプに陥った選手に厳しい罰則を与えたり、逆に絶好調の選手に巨額のボーナスを出したり。
なるほど。でも介入しようがしまいが、極端なパフォーマンスの後は自然と平均に戻る力が働くから。
ええ。結果として厳しい指導には効果があるっていう誤った学習が繰り返されてしまうんですよ。
これ、経営とかビジネスの現場でも全く同じ構造がありますよね。
私、資料にあったUXの改善とデイユー、デイリーアクティブユーザー数の事例を読んでいて、ハッとしたんです。
ああ、アプリの事例ですね。
はい。例えばある週にアプリのデイユーが過去最低を記録したとしますよね。
そうすると経営人はパニックになって、プロダクトマネージャーは慌てて、例えば画面のボタンを青から赤に変更するような緊急の施策を打つわけです。
ええ。よくある応急処置ですね。で、翌週どうなるか?
無事にユーザー数が平均レベルに戻るんですよ。
そうすると、ボタンを赤にしたことでユーザー数が15%も改善しましたって堂々とプレゼンされて。
ああ、そしてその施策は大成功として評価されるわけですね。
そうなんですよ。最悪の場合、その的外れな実績で昇進する人もいるかもしれないじゃないですか。
でも実際には何もしなくてもユーザー数は戻っていた可能性が高いわけですよね。
ええ。テック業界の昇進のかなりの部分が、実は単なる統計的ノイズの波乗りに過ぎないとしたら、と考えると少しゾッとしますよね。
本当ですね。その波乗りに気づかないまま、効果のない広告キャンペーンに巨額な予算を継ぎ込み続けたりとか、無意味な業務プロセスを成功の秘訣として全社に強制するリスクが常にあるってことですから。
おっしゃる通りです。
なぜ私たちは騙されるのか？人間の脳の特性
でもそもそもなんで私たちはこんなにも簡単に騙されてしまうんでしょうか。
賢明な経営者とか、普段データを見慣れているはずの探考者でされこの罠に陥るじゃないですか。
人間の脳ってなぜこれほどまでに偶然を受け入れるのが苦手なんですかね。
そうですね。進化の過程で人間の脳が結果には必ず原因があるっていう因果関係をどうしても見つけ出すようにプログラミングされているからなんです。
物語の語尾ってやつですね。
はい。例えば大昔、サバンナで草むらが揺れたときにですね、ただ風で揺れただけだろう、つまり偶然だろうってやり過ごすよりも、トラか損でいるかもしれないって原因を無理やり作り出して逃げる方が生存確率は高かったわけです。
ああ、なるほど。生き残るためには意味のないランダムな変動だなんて悠長なことを言ってられなかったんですね。
そうなんです。だから私たちは本能的にランダムをいやって、そこに何としても理由を見入らそうとする生き物なんですよ。
なるほどな。ビジネスの世界だと、そのトラが競合の動きだったり、自分の打った施策だったりするわけですね。業績が回復したっていう結果に対して、自分の打ったキャンペーンっていう理由を無理やり結びつけてしまう。
ええ。そして、美しい成功ストーリーを捏造してしまうんです。
いや、私たちの脳が勝手にそんな偽の物語を作り出してしまうのだとすれば、どうすればビジネスの成果を正しく評価できるんでしょうか。打つ手はあるんですよ。
対策：対象群（コントロールグループ）の設定
もちろんあります。そこで統計学が用意している最も強力な防具が対象群、つまりコントロールグループの設定なんです。
対象群ですね。
はい。何か新しい施策の効果を本当に証明したいのなら、単一のグループの前後を比べるんじゃなくて、条件を分けた複数のグループを同時に比較しなければならないんです。
資料にあった血圧の改善調査の研究データがすごく面白くて、まさにその対象群の重要性を物語ってましたよね。
ありましたね。高血圧の患者さんのデータ。
ある日、たまたま血圧が高かった人たちを40人集めて、特別な食事指導を実施したと。で、2週間後に再び血圧を測ったら、見事に平均値が下がっていたという。
ぱっと見は食事指導が大成功したように見えますよね。
見えますよね。でも、そのデータだけでは何の証明にもなっていないんですよ。
どういうと?
血圧っていうのは、ストレスとか睡眠不足とか前日の食事なんかで日々激しく変動するじゃないですか。
測るタイミングで全然違いますよね。
つまり、選ばれた40人の中には、慢性的な高血圧の人だけじゃなくて、その日たまたま偶然血圧が高く出ただけの人っていうのが大量に混ざっているんです。
ああ、だから2週間後に測り直せば、そのたまたま高かっただけの人は、平均への回帰によって自然に普通の血圧に戻っているわけですね。
その通りです。結果として、食事指導に何の効果がなくても、全体としては血圧が下がったように見えてしまうんです。
うわあ、怖いですね。じゃあ私がビジネスの現場にいて、これを食事指導の効果だって勘違いしないためには、どう設計するべきだったんでしょうか。
簡単です。食事指導を受けた高血圧のグループと、食事指導を受けなかった高血圧のグループ、つまり対象群ですね。この2つを同時に用意して、その下がり具合の差を比較するんです。
なるほど。もし両方のグループが同じぐらい血圧が下がっていたら、それは単なる平均への回帰であって、食事指導自体には全く意味がなかったって証明されるわけですね。
まさにその通りです。ビジネスにおけるABテストもこれと全く同じ理屈なんですよ。
ああ、ABテストですか。確かに新しいウェブデザインの効果を測りたいなら、ある日を境に全員の画面を一斉に変えて前後の月を比べるのは最悪のやり方ってことですよね。前の月がたまたま悪かっただけかもしれないから。
そうなんです。古い画面を見せるグループと新しい画面を見せるグループを同時に走らせて比較しなければ、その改善が実力なのかノイズなのかは永遠にわからないんです。
でも現実のビジネス現場だと、この対象群を設けることを嫌がる経営者とかマネージャーって少なくないですよね。効果がありそうな試作をなぜ全顧客に一斉にやらないんだ、機械損失だ、みたいな。
ええ、スピード感がないって批判されがちです。
ですよね。でもそれを怠れば、効果のない試作に永遠にお金とリソースを払い続けることになる。
それって波打ち際で一つの波だけを見て、「おお、今は潮が満ちているぞ。」って判断して、次に引いた波を見て、「いや、潮が引いている。」って一騎一遊するようなものですよね。
非常に的確な理由ですね。目先の短期的な波の多くはただのノイズなんです。全体の傾向を見る長期的な視点と、対象群を用いた冷静な比較があって初めて、私たちはノイズの中から本物のシグナルを見つけ出すことができるんです。
マインドセット：偶然をどう捉えるか
なるほどな。仕組みとして比較グループを作ることは重要ですね。でも仕組みを整えるだけじゃダメなんですよね。
最後に問われるのは、データに向き合う私たちのマインドセットなんです。結局のところ、人間が偶然をどう捉えるかという根本的な姿勢の問題になってきます。
資料の中でギャンブルのシミュレーションの話がありましたよね。当たる確率がわずか1%のギャンブルであっても、千回とか一万回と繰り返せば、純粋な偶然だけで連続して大当たりする期間が必ずどこかで発生するっていう。
はい。完全なランダムであっても、長期間観察していると必ずどこかに偏り、つまり塊が生じるんです。問題はその塊を見たときに人間の反応なんですよね。
連続して当たっている状態に遭遇すると、人は今日の自分には才能があるとか、これは奇跡的な流れだって信じ込んじゃうってやつですね。
そうです。逆に競馬で万馬券が連続して出た後なんかには、こんな大穴が続くはずがない、次は絶対に出ないって思い込む。これがいわゆるギャンブラーの5秒です。
コイントスは過去の結果を記憶していないのに、人間は勝手にそろそろ裏が出るはずだって未来を予測してしまう。確率論って非常に冷徹ですね。
そうなんですよ。事象が偶然の範囲内で起きたことであるっていうことは数学的に証明してくれるんですけど。
ええ。
じゃあなぜその偶然が今ここで起きたのかっていう、人間が一番欲しい意味や理由は決して与えてくれないんです。
そこが確信ですね。つまりデータリテラシーが高い状態っていうのは、難しい数式を知っていることではなくて、これは単なる偶然のノイズかもしれないって謙虚に認めることができる姿勢そのものなんですね。
まさに。私たちは意味のない偶然を嫌いますけど、そこに無理やり理由を後付けしないある種の知的体力が必要なんです。
真のデータリテラシーとは、分からないものを分からないと保留にする勇気のことなんですね。私がやったキャンペーンのおかげだって言いたい欲求をぐっとこらえて、対象群のデータを見るまでは判断を保留しようって言えるかどうか。
その通りです。自分の脳が常に分かりやすい成功ストーリーを作りたがっているっていう事実を自覚すること、そして素晴らしい成果が出た時ほど、これは実力か、それとも統計的な波に乗っただけか、って自分自身に厳しく問いかける姿勢が求められます。
まとめとAIへの示唆
いやー、今日はビジネスにおける評価の根本が揺らぐような本当に深いテーマでした。そろそろまとめに入りましょうか。
はい。
今回は平均への回帰という現象を通して、私たちがどれほど偶然を実力や施策の効果だと勘違いして生きているか、ということを紐解いてきました。極端な結果の裏には常に運の要素が細んでいて、それは時間が経てば必ず平均へと戻っていく。
そしてその自然な変動を自分の介入のおかげだと錯覚する物語の5秒から身を守るためには、対象群という比較グループを必ず設けること。
目先の変動に振り回されず長期的な視点を持つことが不可欠だということですね。
そういうことになります。さて最後にこれを聞いているあなたに一つ考えてみてほしいことがあります。もし私たち人間のマネージャーが平均への回帰に騙されて単なる偶然による成績低下を叱り偶然の回復を褒めたたえているのだとしたら、
現在私たちの行動データを学習してビジネスを最適化しようとしている最先端のAIアルゴリズムたちもまたこの人間の壮大な換気概をそのまま学習しているのではないでしょうか。
ああ、なるほど。AIが効果のない施策や意味のない厳しい指導を成功のパターンだと信じ込んで暴走し始めているかもしれないと。
はい。アルゴリズムでさえ私たちが与えるデータに含む錯覚からは逃れられないかもしれません。
だからこそ、今度あなたの目の前のダッシュボードがこの施策は大成功ですと華々しい結果を示したとき、それが本当に実力なのか少しだけ疑ってみてください。
その一呼吸があなたを罠から救ってくれるはずですね。
ええ。それでは今回の徹底解説はここまでです。お聞いていただきありがとうございました。
