2024-04-15 19:06

#38 情報の見極めをどうやればよいか?

前回に引き続き「情報の信憑性」について議論しました。

・変化に敏感になろう

・範囲を絞るとよい

・ホーソン効果にも注意しよう

・逆説を当てて検証する

・多くの経験を積まないと見極めはできない


-------

堀のTwitter

https://twitter.com/mttk_hr

00:04
CS Harmony Radioです。今回は世界のヤギさんの話の続きっていう感じなんですけれども、問題としては案外信用できない情報とかもあって、その部分で因果関係見ていくと前提をちゃんと揃えてなかったりとか、
実験的アプローチで行ったときに抑えるべき原理原則全然無視してやっちゃってるから、情報結果信用できないよねみたいな話をしてきたんですけど、
ぶっちゃけヤギさんの思考の癖的な話のマニアックな部分にはなってるんですが、
サッとその辺の良し悪しとか情報としてこれちゃんと信用していいかなみたいなことを、分かる手段があれば知りたいよねって話までが前回でしたね。
なのでちょっとその辺もったいぶったから、ハウトゥーのその辺りの話聞ければなと思うんで。
一応振り返ると、前回言ったその実験的な原則みたいな、どっかに書いてるわけじゃないんですけど、大体そう言われてるやつをもう一回振り返ると、
実験する場合、パラメータを変えるのは一つにすべき。変えるパラメータ以外の条件を全部揃える。
そうしないと結果的にそのパラメータがその結果にどう影響してるかが分からないので。っていうのが前回お話した内容かな。
ちなみにこれちょっとマニアックな話、若干吸っていいですか。
ああ、どうぞ。
そのイメージでこの実験、実験計画法って手法があって、それってパラメータ複数同時に変えるんですよ。
へえ。
これなんでできてるかっていうと、そのパラメータ同士が影響しないという前提のもとにできてます。
独立してて影響なくて、かつ因果関係としても繋がる先が見えてるってことですか。
そうですね。完全に独立で何も関係ないやつは切り離しちゃえばいいと思うんですけど。
Aというパラメータを変えると、Cという辞書にしか影響しなくて、Bというパラメータを変えると、Dという辞書にしか影響しないってことがすでに分かってるから、同時に変えてもいい。
イメージで言うと、Aを変えたときにBは変化しないです。Cには両方影響するんだけど、BとAは、例えばAを2倍にしたらCが2倍になります。
Bを2倍にしてもCも2倍になります。Aを2倍にしたからといってBが変わったりしませんっていうのが前提です。
変えるべきパラメータとしてはAとB?
そうですね。今の話で言うと。そこはAとBが独立してますっていうやつで、上げ下げを計画していくやり方を調べてもらえれば、計画法で調べてもらえれば分かるんですけど。
イメージつきました。要素パラメータ間の影響がないからってことですね。
そうですね。
ちょっとさらにいくと、例えば今の仮にAとB両方2倍になったら、Cは4倍になる?
そういうことです。
03:01
分かりました。ありがとうございます。
イメージはそういうことです。同時に打ち消すように上手いことパラメータ調整すると、実験回数減らせるっていうやり方。
実験も時間かかるから、それをハックしてるって話ですね。
そういう話のやり方です。科学実験とかならいいんですけど、たぶん我々やってるビジネスはちょっと難しいと思うので、考え方はありますよぐらいの。
そうですね。
今回この実験の話がそもそもたぶんひも付いてると考えてる人が少ないかもしれないんですけど、それは置いといて。
ひも付いてると考えたとしても、うまくできない要素の理由っておそらく複雑じゃないですか。
複雑ですね。
基本実験って化学の実験でも物理の実験でも同じ状態じゃないですか。繰り返せるんですよ。同じ状態で。
あまり温度とか揃えたりとかすれば同じですよねって作れるんですけど、ビジネスって同じにならないじゃないですか。
昨日までやってきたことと今日からやることは違うので、客は一緒だとしても株価が違うとか、周りの環境が違ってるとかって一緒にならないじゃないですか。
なので、ならないっていうことがここの難しさをおそらく助長していて。
今回、ハウトゥーの構成について2個お話したいなと思ってるんですけど、まず世の中はそういういろんな情報であふれてるのはどうしようもないので、それをどう見定めるか。
前回、センキューガンみたいな話してましたけど、そういう話が一つと。
自分が例えばそういう調査したりとか、実験しなきゃいけない、A,Bテストしなきゃいけないっていうときにどうしたらいいかっていうのを、たぶん2個ハウトゥーがあるかなと。
まずはセンキューガンのほうの話しますけど、センキューガンのほうは原則はパラメータ1個にしたいです。変化するやつは。なんですけど、何個もある場合はあるんで。
一個のほうがレアですよね。
なので、そういう何かの事象、情報を聞いたときに、これ例えば改善してますとか、そういう話を聞いたときに何と何が変化してるかっていうのをちゃんと捉えます。
それがたぶん一番リーズン。逆に何が変化してないのかも捉える。
っていう風にやると、あまりに多くのことが変わったら、これってちょっと何が何に影響してるか分かんないよねって言えるし、逆になるべく少なく抑えられてるんでしたら、これちゃんと設計されててそういう結果を言ってるんだっていうのが分かるんで。
何と何が変わって何が変わってないのかっていうところを抑えるのがたぶんセンキューガン的には大事。
それってあれですか。いわゆる情報を提示してる側が、結構細かい範囲での変化点とかを説明したりとかしてると、割とそれって信用できるなって思えばいいっていうことなんですかね。
なんかその検討範囲とか調査範囲みたいなことを狭くすれば、たぶんパラメーターとか影響する因子が減っていくと思うので、割とシンプルに見れると思うんですけど。
06:06
狭めてるといいとは一概に言えなくて、たぶん狭めすぎてて、そもそも対極から見て偏ってるやろうかみたいなのがあるので。
なるほど。難しいな。
端的にそれ、情報を見たときに、自分の予測で良くて経験値でいいので、何が変わって何が変わってないのかだけをまずは捉えるように見るといいんじゃないかなと思います。
あとはもうほとんど経験になっていくと。そういうのが蓄積されていくとすぐ分かるようになるので。
この場合あるやろうか。変化してないってこの人たちは思ってるかもしれないけど変化してるよねとか。
これパラメーター、たぶんこの人たちは考慮してないけど、本当は変化されてる要素になってて、それの影響を受けてんでねえのとか。
ヤギさんの思考の癖っぽい話にちょっとなってるような気も。
ちょっとなってきてる。
気もするけども、例みたいな話で言ったときには何か具体例みたいな話ってあります?
例えばよくある調査の中とかで売り上げが上がりましたみたいな話とかってあるじゃないですか。
でも売り上げ上がるっていろんな活動の結果だよねって話になるから、それって上がったっていうところの話は分かるなあ。
ふーんってそれは思うんですけど、その結果だけを見てなんか吉橋とかその変化点として見たときに何か気にするポイントあったりします?
例えば売り上げの幅とか、この対象のお客さんだとこんなにいくのかみたいな話とかっていう観点のチェックなのか違うのか。
ちょっとそのあたりがヤギさんの言ってた経験の話とか、変化点に対する感度みたいな話の指し示すところをもうちょっと知りたいなと思うんですけど。
そういう意味で言うと、売り上げの話で言うと、売り上げが上がりましたっていうのに対して、何をしたから売り上げが上がりましたって情報がないと、そもそも情報的に足りてない。
そうですね。
何がしたから上がりましたかって、何がしたからっていうところをまず捉えなきゃいけなくて、それが前の状態から主張してる人にとってはそれが変化点だって言ってるんですよね、きっと。
なので、それはそういう主張なんだと。あまりにロジック的に飛んでると、例えば、地域のボランティア活動をした結果として売り上げが上がりましたみたいな。それはあまりに飛んでるじゃないですか。
ということは、そこはもうバランスとか感覚問題に近いですね。
そこはバランスに近いです。だから風が吹いたらお部屋が儲かるっていうロジックをすぐさま想起して、それ以外の可能性を全部潰せるんであればそれで構わないんですけど。
あまりに飛んでる場合だと、それ以外の要素が出てくるよねっていう話があって。正直、多分与えられる情報だけでは足りないはずなので、そこは補わなきゃいけないと。
いや、難しいですね。今の話だと。それだけ見たときに、今ぐらい分かりやすく外してたら違うやろうとかって思うんですけど、
09:00
例えば、影響力のあるインフルエンサーの何々を起用して、こういうマーケティングして売り上げこんだけ上げましたとかって言われると本当かなと思いながら、
何か否定もできないかなみたいな、いわゆるテレビコマーシャルとかみたいな、いわゆるマーケティング活動みたいな投資だと、結構影響ないとも言えないけど本当にあるか怪しいみたいな。
なるほど、なるほど。そういう意味で言うと、これのHow Toの中で確かにもう1個あるなと思ったのが、自分の中では試行実験する場合があります。
だから実験の原則に則って試行実験する場合があって、例えばインフルエンサーを起用したら売り上げが上がりましたっていうロジックをその人が主張してるときじゃないですか。
だとしたら、同じインフルエンサーを起用して売り上げが上がらない企業がないかっていうのを考える。
なるほどね。
条件同じにして。
それでも結構現実難しいですよね。だってそのA社っていう会社と全く同じ会社ってないから、近いところで探すしかないってことですよね。
近いところで逆に売り上げが上がらない会社がいたとするならば、それはもしかすると別の要素があるんじゃねっていう。
要はすごい狭い範囲の適用条件しか満たしてない可能性があって、だとすると要素がもしかしたら足らないかもしれない。
そういう試行実験は若干するかもしれない。
確かにそれは沼だな。
いろいろ考えちゃうじゃないですか。
今みたいなアクションを1個取ると、インフルエンサー側の問題もあれば、いわゆる売りたい側の企業が持っているプロダクトのラインナップとか、そもそものブランディングイメージとか、前提が違うから、どこまで行っても比べようがない部分もある。
その通りです。
だからさっきの話でいうと、何が変化しているのかっていうと、何が変化してないのかなんですけど、何が変化してないというふうに見るかだと。
同じような企業って言った時に、それって同じだよねって、同じようだよねって多分規定してるので、多分変化してないというふうに固定化させようとするんですけど。
それは正直多分、自分が思っていることとその主張している人たちが思っていることは違うはずなんですけど。
一旦自分のメガネで見たときに、それが変化する、同じと見れるのか違うと見なきゃいけないのかっていうのは、一旦自分のメガネで見ればいいと。
じゃあ、ちょっと乱暴かもしれないですけど、HowToとしては、自分としてこれ信用できると思ったら採用してもいいってことなんですかね。
採用してもいいとは思います。
ってことですよね。
それはそう。
それでいいんだとしたら、結構見方は楽なんでいいかなと思うんですけど、そこに新しい観点とかを入れてアップデートできると、多分話した回が我々的にもあると思うんですけど、そういうのと役者さんがおっしゃった逆張りみたいな。
そうそう、前回話した逆張りみたいな話があって、だから多分文面上出てない情報を取りに行く方がいいかもしれない。
例えばさっきのインフルエンサーの話で言うと、インフルエンサーが広めてる中で、実はいまいち売れてない会社ってあるだろうかって探しに行く。
12:07
そうすると少し情報の信用性みたいなところが見えてくる。そこを調べに行っていいかもしれない。
確かにそうですね。あんまり逆張りしないですもんね。それがポジティブですって話になった場合って、それがネガティブになってるところってないんだろうかとか。
もしくは、ポジネが影響を起きてないところないんだろうかっていう発想はあんまりしないと思うので。それは確かにそうですよね。
例えばよくある話とかだと、いわゆる王道的な話とかあるじゃないですか。カスタマー作成とオンボディングプロセスってやっぱり一番注力しなきゃいけないですよって言って。
それは多分確からしいかなと思うんですけど、いやいや違うんだと。アダプションのところをしっかり頑張る方が実は効果あるんだとかって話だったら、
それで本当に上がってる人はここはいるけど、上がってないところっていくつかあるんじゃねとかって探しに行って、
上がってなかったら、この市長はこの場合のケースになりちゃってるだけかもしれないよねって思うみたいなことですよね。
そういうことですね。
単位にこれをアダプションフェーズを頑張るのがせいだみたいな話に主張するのは危険かなって思えるとかってことですよね。
そういうことです。
オンボディングの話で当たっていくと、やってて上がってないところってどこがあるんだろうかっていうときに、
上がってないやつも出てきちゃうと思うんですよ。一方で。多分そこってバランス感覚の世界かなと思うんですけど、
10個ぐらい見て9社ぐらい上がってるけど1社上がってないみたいな話になったら採用してもいいかなっていうところは自分のセンスっていうことなんですよねきっと。
そうですね。その辺はどこまで時間があるかというのと何のためにそれをやってるかにもよるんですけど、
例えばその残りの1社が実は意外と面白いかもしれない。
難しいですよね。逆張りしていったときに、結局逆張りしても自分の逆張り通りの情報もあればそうじゃないのも出るじゃないですか。
そのときに多分それをSNSとかで言われるエコーチェンバーとかフィルターバブル。
いわゆるどんどんどんどん自分の主張を強化していくみたいなことになりがちなんですけど、
逆張り見に行くとそこはちょっと中和されるっていうのはいいかもしれないですよね。
ただ一方でその逆張りを見ていったときに、ケースとしてさっき話したようにやっぱり王道に反するようなケースも出てくるのもやっぱりあると思うんで、
そこに関して言うとセンスの問題って話になっちゃうのはしょうがないかなと思うんですけど。
やりすぎというか無限に時間かかるんで。
いくらでもできちゃいますからね。結構自分の主張がこれ正しいよねって思うかどうかって、
似た考えの人ばっかだとそう思いがちだなっていうところがあるんで、
あえて逆に張って考えるみたいなことっていうのは、情報を見る上では結構わかりやすいノウハウな感じを覚えたので、
15:08
ここはすぐ使えそうかなって思いましたけど。
センキュー側の話をしたんですけど、もう一個自分が設定する話もありました。
今なんか入ってますよね。多分その辺は関連するかなと思って、もう一個このHow Toの話で流れで言っちゃいますけど、
ビジネスの場合、予期しないパラメーターっていうのが入ってくるんで、そこは気をつけなきゃいけないと思うんですよ。
高層実験って昔アメリカの高層工場でやられた実験で、
工場の生産性を測るために照明の明るさがどれくらいだというのかっていう、明るくするのと暗くするのを実験してみたんですけど、
両方とも生産性が上がったという結果が得られて、いろいろ調べた結果、人に見られてるっていう状況があると、
頑張るんで生産性上がるっていうのが分かって、
なので想定した明るさっていうパラメーターよりそっちの方が強かったっていう。
人の目線の方が。
そういうようなパラメーターでしたっていう話なんですけど、有名な話。
似たようなのがフラセボ効果っていう。
ああ、はいはいはい。
医薬系の業界だともう有名なので、フラセボ効果を減らすために、かえって両剤は両方飲ますみたいな。
そうですよね。で、一個は全然そうじゃないけど。
ただのビタミンタみたいなのを飲ましたりとかっていうのがあったりするのはそこから来てる話なので、
そういうのがあるというのは想定しながら、とはいえパラメーターなるべく減らすっていう努力をする。
安易にいっぱいいろいろ変えないっていう。
かつ重要なのが、パラメーターを絞ってやろうとすると実験回数増えちゃうじゃないですか。
はい。
実験かどこか置いておいて。試行回数が増えちゃうことになるので、
例えば1年に1回、今日実験した結果が来年の今日返ってくると全然遅いので、
なるべく早くフィードバックを得られるような状態を作るっていうのが多分大事で。
そうですね。
カスタマー作成も多分近いと思うんですけど、客のデータをしっかり取ってすぐさま変えれるようにする。
変えるときはなるべく絞って変えるっていうことをしていくと、多分とても良い感じに回ってくるんじゃないか。
自作するにも一気に全部変えなくて、1個ずつ変えて結果見ながら。
素早くやるってことですね。
そうですよね。
っていうのが多分自分たちがやる上で注意することかな。
設計の話はちょっとそれはそれで話すと、なんかいろいろ深そうな話かなと思いましたけど、
ちょっとこれはマニアックな感じがさらにするんで、また今度機会があってやりましょう。
ちょっともうセンキューガーの話だけでちょっとお腹いっぱいになりました。
逆バリーだけ持って帰ってこられる。
そうですね。逆バリーはなんか僕は特にしてないなと思ったんで。
18:01
多分クリティカルシンキングとかはそういう。
確かに確かに。でも常にしてないんですよね、なんかそういうのって。
もう癖なんで僕はあれですけど。
常にしてるのはやばい。やばいって言うとあれかな。なかなかいない気がする。
気持ち悪いって言われる。
なんかチェックしてくださいとか話の時はそういう目を見るんですけど。
批判してるわけじゃないよね。
もちろんもちろん。普段流れてくる情報までそんな目で見てないなと思うんですけど。
なんか何でもできるってやつを信用しない。
それは僕もちょっとそういう感覚わかるんですけど。
全部はなかなかそういうふうにヤギさんみたいな発想で見れないですけど、
ただなんか自分が使うっていう情報に関しては、
これ使えそうって言ってすぐ飛びつくよりは今みたいな逆張りで検証重ねると
解像度上がっていいなっていうことを思ったんで、
使いたいなって思いました。
ということで、長くなりましたけど。
じゃあ以上ですかね。
以上としたいと思います。ありがとうございます。
ありがとうございます。
19:06

コメント

スクロール