観察の落とし穴
じゃあ、まあちゃんとグラフを観察して意味付けできれば、バッチリなんですねって思ってると、落とし穴があるんですねっていうのが次の章ですね。
そうですね、第6章は観察を意味付けする落とし穴っていう章ですね。3つの解釈規則、規則、規則っていう表現ちょいちょい出てくるんですよね。
良い解釈をするにはどういう方法を使えばいいかっていう3つの規則ですかね。
そうか。正直あんまり、あんまりこの規則大事かって読んでましたね、自分。
ちょっと薄めにやるか。データ質問を当てはめるって、あれ?あの3つの解釈規則っていうのは、ただ最初に3つ過剰書きで書いてほしいんだよな。
いや、ほんとそうなんだよな。
ああ違う違う、ごめんなさい。3つの解釈規則っていうのは、解釈規則が3つなんじゃなくて、翻訳が悪い気がするぞ。
3つの解釈っていう名前の規則かな。何が言いたいかというと、受け取ったものについて少なくとも3つの異なった解釈を思いつかないならば、その意味を十分に考察していないのだっていう規則ですね。
だから何か見た時にAかもしれない、Bとも言える、Cとも言えそうだっていうぐらいは咀嚼してというか、広げてみていかないと、要するにブレスト的に向き合っていかないと落とし穴に落ちるやでっていう話ですかね。
だからさっきスリップ図を見て、最後の方になって突然出荷の予定日をボーンと先に延期しましたみたいになってた時に、今先自分は悪い問題を隠していたんだなみたいな。
ずっとオンスケですオンスケですオンスケですって言って、いやもうそろそろ逃れられない巻き返せないっていうことに気づいて、最後にいやちょっとこれもう遅れて、もう今までのかけた時間の半分、まだ1.5倍とかにならないとリリースできないっすって言ったって解釈したけど、
いやそれは何か仕様変更が入ってリリース秒伸ばしましたかもしれないしとか、そこのなんか図とかデータが出てきたものに対していきなりいろんな解釈ができるはずなのに、一個しか見つからないと何か間違った先入観で行ってしまうよっていうことですかね。
ちょっと決めつけ的に見てるというか。話膨らまそうですもんね、その比較対象がないと。そうですね。でそのこの3つの解釈規則っていうのを乗り越えていく、この規則に対して適応してOK合格ですって言えるぐらいにいろんな解釈広げていく。
たびにはどうやっていきますかっていうのが書いてあったり書いてなかったりする。
なんかこの辺の話って、ちょっと本の話をもしかしたらスキップしながらになっちゃうかもしれないですけど、やっぱ我々は行動経済学の知見とかがこの本が出た後には多分蓄積されていったりとか、認知バイアスとかそのバイアスの話ってもうさんざん血またでされているので、
結局そのデータをちゃんと解釈できる、人間はデータをちゃんと解釈できるんだっていうことではないってことはものすごく広まっているから、この落とし穴っていうのははまるよねって気もするし、落とし穴にはまらないためにはそういう本を読んでいろいろと解釈をちゃんとこうではないかもしれないっていうことに意識的にならないと危ないねっていうのはあるなってちょっと思いましたね。
データの選択バイアス
そうですね。その話で考える、やっぱり普段からいろんなものの見方とか可能性探り入れていくっていうなんか、すごい日々の実践というかトレーニング大事そうだなっていう気がしていて、なんで急にそんなことを思ったかっていうと、なんかいや俺たちはもう知識があるからそんな罠はまらないんやでっていう、自分は騙されないぞって思った時に詐欺に引っかかるみたいな話があるなと思ってて。
だからやっぱり知識としてこういう見方もあるよねとか、こういう行動パターンとかっていうの人ははまるよねっていうのを知っておく、頭の中に入れておくだけじゃなくて、ちゃんとそれを使ってブレスト的な取り組み方したりとか、頭を柔らかくしとくってすごい多分大事なんだなっていう気がしましたね。
さっきの取り組みのとこで、ある程度までは観察力は知識、知力不足を補うとか、ある程度まで知力が観察力の良さを補うっていう話って、こう来たらこうでしょみたいなパターンっていうのがまさにバイアスみたいなところにはまってしまうと失敗するんだろうなっていうのが、今話しながらここで繋がったなって思いました。
いやそうなんだよな。さっき言ってたよね。これはいつものエラーですって放置してたら大事故だったみたいな。
そう。
オオカミが来たぞってやつです。
そうそうそうそう。またあいつがこのアラートはいつものやつなんだよって言って。あれなんか何もないねって言い出して、お前本当にやばい奴じゃんって言って慌てるみたいな。
でもオオカミ少年の話で言った少年がオオカミによって取り除かれるからアラートは止まるんですっけ。まあそういう話じゃない。いいや。
平和が訪れる。
なんかすごくこの落とし穴のところだとそれによってスキップしちゃうみたいな感じになっちゃったけど、でも割と生存者バイアスとかの話に近いのがあるよなとか思ったりとかしながら読んでたりもしましたね。
結局なんかデータに現れてない、計測できてないっていうのは帰ってこなかった飛行機なんだみたいな話と近いようなものがあったりすると思うんで。
あとその一方でなんかデータが正確に取れてないんではないかって不安になりすぎて大金をにわかに計測に費やすアンチパターンも紹介されてますね。
それによって取ったデータが複雑になりすぎて点々的な話かな。
計りすぎっていう本がありますよね。
ありますね。
読みました?
読みたいなと思いながら。
分かる。
勝手すらない。
本当にじゃあ僕が一歩リードですね。
一歩リード。
一歩なんだよな。
そうですよね。
その完全さを、つまり我々は本当は統計という知識というか武器があるはずなのに全部測らないと不安ですみたいになると、そのコストが見合わないっていう場合もあるだろうし、
全部っていうのは何なんだっけみたいなことでもあったりするし、
全部データを取るためのコスト、保管しておくためのコストに、現代のソフトウェアはすごいログを全部読み込みそうと思うとめちゃくちゃ金がかかるしみたいなのもあったりとかして、
なかなか本当は見なくてもいいものまで保管してたりとかすると難しいですよね。
ログ難しいですよね。
仮説が先にないとちょっと難しいんですよね本当に。ただ取ればいいっていう話じゃないのでやっぱり。
なんかそのアプリケーション、全然本関係ないですけど、AOMASモニタリングするかっていって、
なんかキャッシュをちゃんとうまく使えてるかなっていうのを計測するために、なんかキャッシュのリードライトみたいなところもちゃんとイベントというかスパンとして記録したら、
なんとフレームワークが使ってるDIコンテナがちゃんと内部的にオブジェクトキャッシュしてるんで、それも全部ログに載ってましたみたいな。
何もわからないみたいな。
データが多すぎて埋もれてしまうみたいな。
そういう話もあるなーとか思いましたけど、まあそれはいいんですが。
これでメタ観察っていう話が一応ここにも出てきてるけど、後でやるからいいか。
そうですね、後で触れるんでいいと思います。
一応あれですかね、この第6章観察を意味付けする落とし穴の一番まとめ的なところで言うと、6の5の落とし穴に書いてあるのがわかりやすいかなっていう気はしていて、
次のような落とし穴を避けるために常にチェックする必要がある。
一つ目が全ての人々が事実として受け入れる状況の確証など存在しない。
要するに自分にとってはこれは完全に信じられるぞ、説得力あるぞって思っても他の人にとってはこいつ本気かみたいな。
こういう解釈もできるんじゃないとかって言い出したら無限に終わらないみたいな状態になりますからね。
あとなんか受け付けられないみたいな話がよりキーかなっていう。
こういう解釈もできるんじゃないだったらちょっと建設的に済みそうなんですけど、そんなもの見る必要ないじゃんとかいうやつがいると、
そこに穴があるから入って黙ってなさいみたいになっちゃう。っていうのが一つ目。
二つ目がデータは無意識に選択されていたかもしれない。これはバイアスみたいな話ですよね。
データは意識して選択されていたかもしれない。
これは楽に情報操作的な都合のいいデータ作りであって、次が計測は誤解によって不適切であるかもしれない。
最後は計測は特解によって不適切であるかもしれないみたいな話ですね。
ここら辺を落とし穴としてありがちなので、こういうことが起きてないだろうかっていうのを常にチェックしておく必要があるよってやつです。
品質の直接観察
逆に言うと、3つ以上の解釈ができるようにしておくっていうのは、ここら辺に対しての対抗策として使うべきだっていう話かと思われます。
そうですね。そうです。じゃあちょっと進んで、次が品質の直接観察っていうタイトルがついてるんですよね。
出ましたね。アップルパイの話しますか。
アップルパイの話。
品質対アップルパイ。
何を言ってるんだ。最初アップルかなと思ったんですけど、アップルパイって書いてあったから何を言ってるんだと思いながら。
品質とアップルパイの調査
これは品質に関する感触を調査をするときに、品質とアップルパイを並べて賛成反対中立みたいなところで、対抗の部分がアップルパイになってるんですよね。
そうですね。品質に関して何か意見、選択肢の中から選ばせるっていうアンケートだけになっちゃうとフェアじゃないかもしれないから、そもそも回答者が何か正しく判断できてるのだろう。
こいつの回答機能はしっかり生きてるのだろうかっていうのを比べるためには、他の項目でも質問しないといけないから、アップルパイについても一緒に聞いときましたみたいなね。
品質についてどのように感じますか?高品質に賛成です。賛成も反対もしません。高品質に反対ですみたい。
選択の後にアップルパイについてどのように感じますか?アップルパイに賛成です。アップルパイに賛成も反対もしません。アップルパイに反対です。
っていうような、アップルパイについても聞いたから品質についての回答も信頼できるよねっていう話をしたいんですか?
ですかーって感じですよね ですかーって感じです
だからここでむしろ面白いのは 一番中これApple Pieに賛成ですっていう
人と賛成ですっていう人が一番多 くてその次に多いのが反対です
で賛成も反対もしませんが3番目 に多いんですけど品質は賛成です
っていう人しかいなくて中立と 反対がいないということになって
Apple Pieに賛成ですって答えたやつ どういう気持ちで答えたのって
ちょっと思ったりしたんですけど 文脈の問題も気にするよな
なんかApple Pie好きですかとか 好意的ですかとかね
そうそういうことだと思うん ですけどここで品質に対して反対
とか中立とかっていう人は一切 いないっていうのはつまり立場
がないっていう意見が分からない っていうことだからこれは実質
何も言ってないんだよねっていう ような話ですね
顧客満足度の分析
日本人だと10点つけない みたいな募集団的なバイアスを
避ける話なのかなとか思ったけど いいやApple Pieの話絶対本筋じゃない
からこの賞はどうでしたかね
前回に聞いた
はい
どうぞ
なんかさっきエモーショナル チャートとかテンションチャート
みたいな感情面での評価っていう のをデータとして収集して振り返り
やると面白いよねって話さっき しましたけどそれはこの賞でも
あれですねプロジェクトに参加 したメンバーの何ていうんだろ
これ満足度的なやつをデータとして 集めてみましたって話がまさに
7-2-1のところに出てきてます
うんこれは面白いですねその 見積もり規模とパーセンテージ
を超える品もあれだから
これ横軸が見積もり規模 で縦軸が顧客満足度でしたっけ
だからちょっと待ってよそのグラフ
が
120ページです
500満足度ですねはい
7-2が顧客満足度で7-3が開発者
満足度か
うんうん規模が小さいと顧客 満足度があんまり良くなさそう
みたいな感じがありますねこの 聞いてる人には一切伝わんない
状態で喋ってますけど開発満足度 は逆で規模が見積もり規模が大きく
なっていくと開発者満足度はどんどん どんどんどんどんどんどんまあ
規模がでかいと悪化してるように 見えますね
そうですね面白いですね開発者
満足度を軸にとってプロットした グラフチャートだと左側になんか
にこちゃんマークのにこにこと まあニュートラルな無表情があって
右側にすげえドクロマークが並んでる っていうかすかとして面白い
うん
パーセンテージってなんだっけ
これ
下回るっていうのが何に対する パーセンテージなんだろうって
こう思いながら
図の6の4なのでまあ6章で 出てきたやつなんですけど
うん
図の6の4は別にパーセンテージ
って言ってないああ言ってるか 最初の見積もり規模まああれですね
プロジェクトが予定より伸びました か短くなりましたかみたいな話
で見積もり規模が大きくなって くると当初の予定というかスケジュール
を超過してたりとかコストが重ん でるっていうのと相関性あるけど
いう話です
面白いのが下回るっていう ので一応下が-50%で上が150%まで
当て軸あるんですけど基本的に マイナスに行くもの若干マイナス
予定より早く終わった ってやつですね
うん5%とか10%のやつはなく はないぐらい1件2件ぐらいはあって
おんすけもあるんですけどほとんど が超えてますね
そうか見積もり規模が大きい ものは明らかに予定を超過し
やすいっていう左下から右上に線 を引けそうな相関関係ありそうな
感じなんですけど見積もり規模 が小さくても全然予定の150%とか
言ってるプロジェクトがあった りして予定を超過してくると
個作満足度は結構悪化してる感じ があるんですけど開発者満足度
の方はちょいプロジェクトで見積 もり規模が小さくて予定を結構
超過してるっていうようなプロジェクト でもそんなに環状が悪くなって
ないですね
うん
でもあれじゃないか開発者 がスケジュール起こりに対して感覚
が増してるだけでは
とかまぁそんな予定50%伸び ますが1週間だったらやっぱりそれ
が2週間になる2週間だったら4週間 ですよねだから1年で終わるプロジェクト
ですって言ってたつもりが1年半 かかりましたとやっぱ全然違います
もんね
そうですねなんか右上 に行くにつれて本当に炎上っていう
ふうにありますね
面白いのがやっぱ顧客がすごい 時間規模も大きくて予定を超えて
しまったけどそんなに不満がない っていうわけじゃないかもしれない
けども満足ある程度してますっていう のがなんかあれですかねこうやっぱ
参加コスト的な意味で投入した 金額が大きくなるともう満足性
だろう得ないみたいなことがあった りするんですかね
品質改善の重要性
えっとですね121本文中にも 書いてあって開発者にとってより
長期に渡るプロジェクトはずっと 前に飽き飽きしてしまっている
システムをテストしたり修正したり する何か月に渡る何かを象徴した
要するにもうとっくに飽きてる 状態なのにまたこれまたバグってる
のかよみたいなことをやってる から開発者は当然もう感情が消えて
ドクロマークになってくるんですけど 一方でこたくにとっては遅れて
いる間の数ヶ月は胸をワクワク させる準備のときであったって
書いてあるんでまあ楽しみっていう のがゼロにならなかったんでしょう
ね 現代だったら何遅れてるんだよ
裁判かみたいなことになりかねない ような気持ちになりながら
スイッチ22回目落ちました って言ってもワクワクしてこたく
めっちゃいるじゃないですか今 まあ確かにでも欲しいものが
手に入るという意味ではワクワク する時期でもあるかもしれない
ですねだからこれはそうなのか だから使ってみてがっかりした
とかそういう話は関係ないって ことですもんここまでではない
なんかじらされてより 楽しみになったっていう話はもちろん
ないと思いますしもともとのポテンシャル よりもワクワクが悪化はしてる
かもしれないけどまあなんかそこ じゃないっていう感じなのかもしれない
ですね なんかそれよりもこの欲しい
ものが手に入らないことの方がもっと 嫌だとかいやいいっすねなんかデータ
をどう解釈するかっていうの そうですね
いっぱいある だから品質は誰かのとっての
価値であるっていう話理由と明らかに 子作にとっての価値っていうのは
減ってない気がするしまあコスト はねプロジェクトが伸びてる分
かかってると思うんでコストは悪化 してますけどただ開発者がクソ
みたいに価値を損ねてるとちくしょう 転職だってなってる気がするんで
おなじみの まあまあ意味付けってそういう
もんだよってすごい確かに面白い ですねこれは
ある種のコートこれを見て どう思うかみたいなトレーニング
としてすごい使えそうだなって 今喋りながら思っちゃった
最初読んだ時すげースルー してたからちょっと前半でグダ
ってしまったけどなるほど確かに 面白いな
ではこの章の中であとちょっと 話したいというかいいなって思
ったのが品質の計測品質の改善 みたいなところでワインバーグ
がいいことを言っていて真の品質 改善はいつでも顧客が何を望んでいる
かを知るところから始まるっていう のを言っていてこれとてもいい
言葉だなと思って前回の本で品質 とは誰かにとっての価値であるっていう
風な定義をワインバーグしてた けど改善をするんやって言った
時にそもそも顧客が何を望んでいる のか知らないままやってないっていう
品質と顧客の理解
のは現在でもありそうだなと思 ってこれすごいいい言葉だなって
思いましたね 誰が品質の定義を制御する
のかっていうようなくだりですね 確かにな僕この品質第0法則も結構
好き好きではないかなインパクト あるなと思いましたけど品質を
気にしさえしなければ品質以外 のどんな要求でも満たすことが
できるっていうことを言ってます ね
そうですね
品質は要求を満たすことの はずだからなんかうーんって感じ
ですけどでも品質を気にしない って要するにそういうぐらいの
ことをしてるよねっていう警告 みたいなものだという気もして
いて品質気にしないで一体何を するんですか的な
なんか動いてる風の ものが出来上がるみたいな
そうですねそれで品質 を気にするっていうのはじゃあ
どういうことですかっていうと 顧客が望んでいるものを知るところ
から始めようっていう話ですね そう思うとじゃああなた
にとって顧客とは誰ですかっていう ことにやっぱり答えられないと
いけないんだよなとか全人類です みたいな答えて何も言ってない
等しいよねみたいなことが起きる し日本に住んでるこういう人です
みたいなじゃあ何でもいいんですけど 社会人全員ですみたいなことを
言ったとしてもやっぱりうーん ってなるから結局もうちょっと
具体的にこういう人だよねっていう のをやっぱりみんなで合意を取る
まあ開発チームとかでこの人を 今我々は幸せにしようとしてんだ
よねとかこういう人に提供しよう と思ってるんだよねっていうこと
が喋れないといろんな意思決定 するのも大変だろうしみたいな
風になっていくんだろうなだから こそペルソナみたいなものを作る
必要があったりするんだろうな みたいなことを思いますね
10代から50代の男性もしくは女性 みたいなやつだと困るって
そうですねいやでもほらターゲット は広い方が獲得しやすいからさ
みたいなこと言われてぐぬぬぬ みたいな
腕腕腕じゃそうですけどね
うんそうか
品質の直接観察直接観察とはっていう 話を
なんかあんまり知らない
ようやく読んじゃうか129ページ ですね品質は私たちが発見できる
最も直接的な尺度である品質を 計測する唯一の直接的方法はその
人の判断が大切となるご本人と 一緒にいることである迅速的な
政治的質問は従って品質の定義 を支配するのは誰かということ
になるですってこれが直接観察
発見できる最も直接的な尺度である だからさっきいろいろ計測する
っていうとき何を計測するんだ っけみたいな話をしてたけど
尺度とも直接的な
直接的な尺度はやっぱ品質で大切な 判断が大切となる人と一緒にいる
こと
あと完全主義者はどんなことでも 満足しないのだから彼らのこと
はとりあえず忘れてしまおうっていう のかと思う感じでありますね
全人類誰でも必要なものを作り ましょうっていうのもあるし完全
主義者で地球上の9010%は切り捨て いるけど1%に売りに行きますっていう
方がちゃんと品質マネジメントが できそうな気もするしっていう
ようなところも込みでのこの表現 かな
そうですねそうですね
品質は相対的であるっていうくだり で固まれてるのでそういうこと
です
うんなんだっけ今なんかそこの くだりでねこれを言おうと思った
ことを忘れてしまうまあそうですね 結局何か番人を番人を助けましょう
って言うとみんなにとって使い づらいものが出来上がったりするん
でそこは別々のソリューション を用意するとかいろんなやり方
がもっとあるはずだから一個で 全部おまかなおうとかしないっていう
のも大事な気がしますね確かに
そうですねまあそんなところで じゃあ第まだ第二
