情報の信憑性と見分け方
はい、CS Harmony Radioです。よろしくお願いします。
今回はヤギさんからの持ち寄りネタで話したいなということなので、そこについてテーマの方を伺ってもいいですか?
テーマはですね、昨今インターネットとかでいろんな情報が溢れている状況だと思っているんですけど、
いろんな調査結果とか、こういう説があるよね、みたいなやつが出てきたときの科学的な裏付けみたいなところが、たまに怪しいときがあるなと最近感じてまして、
情報の見分け方みたいな話を、割と一般的なので知っている方もいっぱいいらっしゃると思うんですけど、改めて整理してみたいなというので話したいなと思います。
世の中に溢れている情報とかで、鵜呑みにしてはいけないような情報とかもあって、そういう情報を見る機会がヤギさんがあったっていう。
そうですね、情報もありますし、社内、会社の活動の中の例えば改善活動をするって言ってるのに、
それって何か科学的にはちょっと変なんじゃないのかっていう。すぐ考えればわかるよね、みたいな。
ちょっと思うところがあったんで、それの理由みたいなところを少し今日触れられたらなと思っております。
はい。
はい。
なので、まずどういうことがあったかっていうのを少し話したい。何個かあるんですけど、全部まとめて最終的には同じ原因かなと思うんですけど、いろんなことがあって。
一つは、我々少しコンサルしてるので改善活動みたいなことをやる機会が多くて、自分の時はそうじゃないんですけど、他人がやってるやつを聞く場合もあって、
この組織とか、他の人が中に入ってやってたやつとか聞いたりする場合もあるんですけど、一つあるのが、いろんな施策試してみましょうよっていうのが出てきたりするじゃないですか、改善活動。
例えば、業務改善しますっていうときに、それのときにすごくいろんな施策を一気にやる。
あれもこれもやるみたいな感じですか。
そうですね。例としていいかわからないですけど、例えば、ジャーニーマップ書いて、ヘルスコア取って、コンボーディングを設計してとかって、いきなり全部やる。
やることはいいけど、一気に同時並行でやる話じゃないよねっていうことを。
そうですね。
そもそもそうですね。なかなかできないし。
だいたいそういうのを聞くときって、結果論を聞くときが多いんですけど、それで、例えばチャーンが減りましたと。
で、チャーンが減ったのが結果どれが効いてるのかよくわかんないみたいな。
つまり、ジャーニーマップを書いたことがよかったのか、それともヘルスコアを設計してそれに合わせてやったのがいいのか、コンボーディングがあることでチャーンが減ったのか。
直接よくわからないようなことが、今ちょっと朝の作説の例で言ったんであれなんですけど、一般的にいっぱいあるなと。
売り上げ上がったんだけど、何が効いたのかわかんない。問題が複雑なのもあると思うんですけど。
っていうのと、リソースかけ方の問題かもしれないですけど。
一気に全部やろうとして、何が効いてたのかわからない。これ一つです。
もう一つの話としてあるのが、ちょっとこれ真逆なんですけど。
同じ行動して違う結果を望んでるっていう人たちがたまにいて。
状況も何も変わってなくて、なんかおかしいな、おかしいなって言って、もう一回、もう一回何回もボタン押してるなと。
なるほど。
あることがある。
面白い状況があるしね。
あらゆるものに手を出してもダメだし、何もしないのに結果が違うわけない。
後者は明らかにわかりそうなもんですけどね。前者は難しいから問題としては理解できるんですけど。
後者はちょっと盲目的な感じで。
何かを信じてるのかもしれないですね。何かその人なりの主義主張なのかもしれないですけど。
なるほど。
で、ちょっとまた話が若干変わって、世の中の情報としてあるので、たとえばたまに、
ウェブのサイトとかでABテストをしたりとかっていう話があったりすると思うんですけど。
UIをちょっと変えてみて、どっちがいいかって触ってもらうみたいなのがあったりすると思うんですけど。
そのときに、普通ABテストするときって、たとえばUI変えますなんですけど、触ってもらう人って同じ条件にしなきゃいけないじゃないですか、本当は。
理想はそうですよね。
明らかに条件が違うみたいな、起こってるときがあって、内容が違いそうな集団に対してAとBを分けるの。
それもしかすると、その集団の違いによって答え変わるんじゃね?みたいなのが。
よく起こりがちなのが、集団そのものが全く、たとえば女性男性で違いますとか、それは明らかに分かりやすいんですけど。
そうじゃなくて、たとえばAのテストをした後にBのテストをします。
Aのサンプルを見せた後にBのサンプルを見せます、みたいなことをすると、それを必ずA、Bの順番にやると、Aを知った上でBをやることになるので、なんか偏るじゃないですか。
情報が変わっちゃうんで。
それはABテストじゃないですよね。
本当の意味では違うんですけど、意外とよくそういうことが言ってくる人がいっぱい。
そうなんですね。
論文でもあります、それ。
改善活動や統計調査の偏り
論文の実験とかでも。
そうですね。ちょっと意味が違うんで、同じ方っていいかどうか分かんないですけど、最近だと機械学習するじゃないですか。
機械学習、AIの論文のほうもあるんですけど。
学習データと教師データと判別するためのデータって普通分けるじゃないですか。
ダメだったら論文を読んだときに、学習データが検証データに含まれてる。
例えば株のAI作ってますって言ったときに、2000年から2010年までのデータで学習して、本当だったら2010年から2010年までのデータで検証しなきゃいけないのに、2000年から2020年までで検証してるんですよ。
そしたら検証結果良くなるに決まってて、だって正解知ってんだからみたいな、なんかそういう、ちょっとABテストじゃないですけど、そういうことが起こったりする。
とかっていうのがあって、なんかその辺気持ち悪いなっていう。
何なんでしょうね、そういう現象みたいなものあるのか。知らない間にバイアスかかっちゃう話ですよね。
なんかバイアスがかかってることに気づかなくて、本当であれば同条件にしなきゃいけないし、場合によってはその募集団が何なのかをちゃんと把握した上で、無作為サンプルの状態にしないといけないはずなんですけど、統計的に見たとき。
なんかその偏りを作っちゃうことがあったりする、思ってるところです。
ヤギさんが見てるものの期待としては、多分無作為に統計情報として有意になる結果を得るための成果物なんで、例えばアンケートとか市場調査的なものとか。
そうですね。
ABテストもお客さんの反応の部分とか、それをニュートラルに見ようと思ったときの前提条件が何かおかしくねえかって思うことがあると。
あるんですよ。僕はそういう調査結果みたいなのをグループとかで見るじゃないですか。一応書いてあるんですよね。どういうサンプルで見ましたみたいな。
これ偏ってねえかなって思う時があって、本当ですかってちょっと思う時があるんですよ。
なるほど。それちょっと質問したいんですけど、とはいえあえて対象を絞るやつもあるじゃないですか。
もちろんもちろん。
だからそれは別に設計としてその思想で作っていればいいけれど。
全然いいと思います。
あくまでも世の中の状態を示そうとしているアンケートにとって対象がすごく偏っているとか、そういうツッコミってことですよね。
そういうツッコミってことです。
確かにそれは。
質問の設計によるのは当然その通り。アンケートの場合はそうなんですけど。
アンケートが一般大衆向けに聞こうとしていることをその募集団で聞いたら多分偏るやろって当たり前やんかみたいな感じのことです。
それは確かにそうですね。
全部じゃもちろんないのってあれなんですけど。で、これが何で起こっているのかっていうのをちょっと今日語りたいなと。
それをなぜ起きているかっていう問題構造を明らかにしたい。
パラメーターの変更と結果の関連性
問題構造までじゃないですけど、全員これなんだよっていうところ。
ちょっと構造化まではちょっとないですけど。
一般的にこの辺って科学的な話になると思うんです。
大学で理系の何か科目とかを履修してて、例えば実験とかをやるときだったら多分言われる人もいたと思うんですけど。
場合によるんですと思いますけど。私は少なくとも大学で言われたことがありますけど。
実験するときって原則的に何かを変えてその絵を確認していくじゃないですか。
要はパラメーター一つを変更したときにどうなんのっていうので確認していく。
自然現象とか見る場合、そういう状況だと思うんですけど。
化学でもいいですけど。パラメーター一個変えてみます。温度を変えますとか。量を変えますとか。
多分一個パラメーター変えて、それの結果を受けて、じゃあこうだったんだねっていう感じでいくと思うんですけど。
それが原則だと思います。
先に言ったいろんなものを変えてみるで結果との結びつきが分かんなくなるっていうのは、
パラメーター一つじゃなくて複数同時に変えてるから分かんなくなる。
なるほど。
ですし、パラメーター一個も変えないのに結果が同じになるに決まってるんですけど。
結果が違うのを期待するのはおかしい。
当たり前ですよね。
当たり前の話として。そこがちょっと抜け落ちちゃうと。原則としては一個なんですよ。絶対に。
基本原則としては。状況が一緒にならないんで、ビジネスの場合。誤魔化されちゃいますけど。
そこは少し意識しないといけないんじゃないかっていうのが、意識漏れちゃうとそういうことが起きたっていうのが一つ。
もう一つの原則として、これは裏返しになるんですけど。
パラメーター一個変えますっていうのを決めたときに、それ以外を変えてはいけない。
例えばABテストも一緒で、同じ条件を揃えないとテストならんので。
だからパラメーターとしてUIを変えるってパラメーターを変えたんだとするならば、
それ以外の条件、例えば年齢とか年齢層とか性別とかも含めて背景情報を全部揃える。
持ってる知識も揃える。なるべく、完全に言っちゃしないですけど。
それっていうのが大事っていうのが多分原則かなと思ってて。
情報の信頼性と市場調査
そこをちょっと弱いと、さっきみたいなことが起こる。
完全にはできないのは当然分かってはいるんですけど、そこの意識が少し弱い。
もしくは、踏み込みが甘いと、さっきみたいなことが起こっていって。
ちょっとそういう話かな。
今の話聞くと、科学実験は大体そういうこと気にしてますけど、
ビジネス的な調査とかってあんまり気にされてないような気がしますけどね。
使い勝手の良さみたいな話が結構重要だとすると、インパクトのある情報を使い勝ちみたいなことがよくあるなってなるときって、
こういうこと気にしてるか作ってるか作ってないかって分かりづらいですよね。
そうですね。なのでちょっとそこは情報をつかむときに気にしたほうがいいのかなっていう。
でもおっしゃる通りで、だから市場調査とかだけとかで事業を考えてもうまくいかないっていうのは多分そういう部分だと思うんですよね。
多分その実態があんまりその調査結果でちゃんと捉えられてないことが多いから、
いやこのマーケットすごい伸びると思っても案外そうでなかったりとか、
結果見通しと違うっていうことは正しく捉えてない可能性も高いよねっていう。
もちろん何か状況が変わったっていうケースもあると思うんですけど、
捉えられてないよねみたいな話もあるとするならば、今みたいな観点って持っとくと、
選挙眼なのかな、選別眼って言ったらいいですかね。
見る側として賢くならねばいかんっていう話なのかなというふうにも感じましたけど。
そうですね。なのでちょっとこういう原則があるという近いって見てみると、
少し間違えたものを身につけやすいのかなと思って、
なるほど。
今日はこういう話をしてみたいなと思って持ってきたんですけど。
これだいぶ高度な感じがするんで、そもそもあんまり気づいてないっていうか、
あんまり区別できてないことが多いかなと思うと、
多分そこが本当は問題なような気がしますね。
それはちょっと大いにあります。
気づけないことが問題みたいな。
それはそうですね。気づけないと直しようがないので。
ある種、ん?って思うってことじゃないですか、ヤギさん見てて。
そうですね。
それってどの辺の感覚から来ることが多いんですか?
どの辺の感覚?
経験なのか、業務上そういうことを考えがちなのかわからないですけど、
普通に受け止めてたら結構信じちゃうなみたいな感じもあって。
多分経験とあとは癖だと思います。
思考の癖?
原因なんですかってすぐ思っちゃう方なので。
パラメータ1個じゃねえだろって思って。
素直じゃないと思います。
あとこれ次回でも話すかもしれないですけど、
例えば調査結果みたいな取り組みの結果が良くなりましたみたいなのを聞いたときに、
自分が気にするのは一番何が原因なのかっていうのを気にします。
これはパラメータ1個どれなのかっていうのを気にするんですけど、
もう1個はこれをぶっ壊す場合どうしたらいいっていうのを気にする。
成り立たない原因は何だろうっていうのをちょっと気にします。
逆張りしてくってことですか。
そうですね。それで多分どれが効いてるのかを確かめるやり方をするので、
そのときにいろんなもの変えられちゃうとよくわかんないんで。
確かに。そういう発想からきてですね。
でも逆張りして考えるってところがそもそもない人も多いから、
ちょっとそういう意味だと思考の癖っぽいっすね。
要は自分が使いたいんですよ。
自分が使うときにどれを注力したほうがいいのかっていうことはまず知らないといけないし、
かつ何をするとダメになりそうかっていう落とし穴も知りたいので、
この2つだけはとりあえず抑えようとするかなと。
例えば学会発表とかいろんなところで話聞いてるときもそういうところを気にするし、
質問するときはそこの2つを大体聞いてます。
なるほどね。
因果と逆説的な観点での非成立条件みたいな。
そうそう、非成立条件。
ちょっと僕あんまりそういう観点で見てないから、
思考の癖っぽいなっていうのがわかりましたね。
思考の癖だと。だから外の情報を見るときはその2点を大体気にするじゃん。
ただ、癖かもしれないと思った一方で、
使ったほうがいいかなと思った話で言うと、
そういう情報を活用する場合はやっぱり見れるといいかなと思いますよね。
その統計情報を機械に出して出すとか、
結果を使った上での示唆とか意見を作るみたいな話のときって、
そこの調査自体が信用できなかったらもう前提崩れるから。
そうそうそうそう。
だから僕の感覚で言うと、
発行元みたいな一種ブランドみたいなことで
ちょっと盲目的に信じる場合もあるなっていう気がします。
ちゃんとしてるだろうみたいな。
そうですね。
それもちょっと情報上は大事ですよね。
誰が言ってるって。
でもなんか大体そこでしか見てない気がしますね。
うん。
説問の構造とかまで、これ本当に成立するのかとか、
これがあると成立しないのだよみたいなこととかを
ブランド信頼性と情報の活用
考えるところでは何回も言ってないなって感じ。
そんなことばっか考えてる。
そう考えてる人からすると、
なるほどって思う話かもしれないですけど。
話聞いてて思ったのは、
僕結構ブランド信じて採用することちょこちょこあるんですけど、
その話プラスアルファ1個ぐらいサッと見て、
なんかよしよしを判定できるようなことが分かると
嬉しいなーみたいなことは思ったんで、
そういう活用のハウトゥーみたいな話、
なんかそういうことはサッとできるものがあれば
ぜひ知りたいなって思った感じでございます。
そうです。
じゃあその辺は次回話していけたらと思います。
ということでじゃあそこは次回話すということに。
では今回は以上で。
以上で。
ありがとうございます。
