1. XCrossing
  2. ep95 ヒトは「99%」をちゃん..
2024-09-04 18:15

ep95 ヒトは「99%」をちゃんと「99%」と認識しているのか?

spotify apple_podcasts youtube

数字通りの確率でゲームを実装するとユーザーから不満が出るという話から、確率や数字の話を3人で語りました

「ユーザーが確率を理解してくれない」というあるゲーム開発者の悩み

”確率50%でアイテムドロップ“はどういう状態のこと?

ファイヤーエンブレムでの例:攻撃命中率99%は実際は99.99%に設定、10%だとわずか2%

ソシャゲのガチャ問題そのもの

同じ誕生日の人がクラスにいる確率は?

数字力 - さっと数字で考えられるチカラ

世界的ソフトウエアメーカー某M社でセキュリティパッチを配布するための企画と計算力

サービスレベルで99%保証する場合、実際ダウンする可能性ある時間を計算してみると

かな漢字変換の変換正解率99%だとどうか

標準搭載されて展開することの負の側面- 良いものを有料で提供する人たちを駆逐してしまう

ガス警報器が鳴ってびっくり

数字を大きい方に拡張するとユーザーが勘違いしてとんでもない使い方した実例

言葉を尽くして伝えても伝わらない難しさ


エピソード内で取り上げた情報へのリンク:


テック業界で働く3人が、テクノロジーとクリエイティブに関するトピックを、視点を行き交わしながら語り合います。

及川卓也  @takoratta
プロダクトマネジメントとプロダクト開発組織づくりの専門家
自己紹介エピソード ep1, ep2

関信浩  @NobuhiroSeki
アメリカ・ニューヨークでスタートアップ投資を行う、何でも屋
自己紹介エピソード ep52

上野美香  @mikamika59
マーケティング・プロダクトマネジメントを手掛けるフリーランス
自己紹介エピソード ep53

Official X: @x_crossing_
https://x-crossing.com

00:02
Mika Ueno
XCrossing、英語でスクランブル交差点を意味します。
趣味も世代も、住んできた町も違う3人が、スクランブル交差点で出会うように、様々な話題を聞かせる、おしゃべりの交差点です。
今日のXCrossingであなたが出会うのは、どんな話題でしょう?
こんにちは、マーケティングとプロダクトマネジメントを支援している、フリーランス上野美香です。
Takuya Oikawa
おはようございます、及川拓也です。
最近は東京にいないことも多いんですが、暑くて東京を脱出している感じです。
Nobuhiro Seki
こんにちは、スタートアップ投資をしている関信浩です。
普段はニューヨークにいて、ポッドキャストの収録を毎週やっております。
Mika Ueno
ちょっと前に見た記事でですね、面白いのがあったんで今シェアしたんですけど、
ゲームを開発している方がレディットサイト上で、ユーザーが確率を理解してくれないという話をしていて、
例えばアイテムをドロップするときに、50%の確率でアイテムをドロップすると、
2回試せばどっちかに必ずアイテムをゲットするっていう、そういうものじゃないじゃないですか、50%の確率って。
それがユーザーからすると全然50%っていう正しい意味を理解してくれなくてすごい困るみたいなことを書いていたりとかして、
他のそれを見たゲーム開発者がわらわらといろいろなコメントを寄せていて、
例えば何かしらのファイアーエンブレムシリーズで戦闘の際の攻撃の命中率があって、
その命中率をそこに書いてある命中率、例えば99%って書いてあったら99%には設定してないらしいんですよね。
99%の命中率って書いてあると、実際の数字は99.99に設定したって。
95って書かれてると99.5%に設定してあるんですって。
でも逆に10%の命中率って書いてあると、わずか2%に設定してあるということが書かれてて、
だからユーザーの体感と実際の確率として、システムがちゃんとそういうふうに計算してやってるんですけど、
そこに数値通りのイメージと自分の体感のイメージが一致しないんで、
そこのとこは永遠の問題だよねみたいなことが書かれてる記事があって、
なんかすごい面白いのと、確かにそうかもしれないな体感と数字で言われてもこうっていう、
一致しないときってあるよなって思ったんで、ちょっと面白かったです。
Nobuhiro Seki
これって昔のソシャゲーのガチャ問題そのものですよね。
Mika Ueno
おおー。
Nobuhiro Seki
もともとあれは本当に言ってる通りの確率になってなかったみたいな話もあったんだけど、
結局だから逆にその確率をカウントして、25%だったらずっと出なかったみたいな、
20回目に必ず出すとかっていうふうに逆にそれをミニマム保証するように確か変えたんですよね。
03:02
Mika Ueno
あ、そうなんだ。
Nobuhiro Seki
だからそれは要はだからほら例えばまさにそのパターンじゃないですか。
5%って20回やったら絶対出ると思うじゃないですか。
でも20回やっても出ないことって、20回やっても出ない確率がまた計算できますよね。
5%のときに20回やっても出ない確率って、それ何にあるかあるわけじゃないですか。
それだと普通に考えると20回に1回出ると思ってて、1回1万円のやつを使って20万円かで100万かでえらい違いなんで、
そういう話をやったなっていうのはちょっと今。
あれも10年以上前ですよね。10年以上前。もっと前です。
もう一個はよくある確率の勘違いとかってやつで、
典型的なやつって何人かグループにいるときに同じ誕生日の人がいる確率みたいな、
例えば、同じ誕生日って365日の日にばらけてるじゃないですか。
例えばクラスに40人しかいなかったら、同じ誕生日の人ってそんなにいないような気がするじゃないですか。
一見すると。365日に40人しかいなかったら。
でも実際にはもうかなりの確率でいるんですよ。40人もいたら。
確率の授業とかでクラスにいるときに。
前から順番に誕生日行ってくださいってやると、
だいたい15、20人ぐらい目ぐらいが同じ人がいるってことですよね。
これ実は確率の肌感と確率が違いますみたいな感じで。
調べると多分すごいネットで山ほどコンテンツ出てくると思うんですけど、
Nobuhiro Seki
まさにその話もそうですよね。
Takuya Oikawa
確率ってやっぱり私、よく数字力って言うんですね。
確率っていうのは、
数学力じゃなくてもいいんですよ。数字なんですよ。
算数レベルでいいなと思うんですけれど、
大体のおおよそのいろんな数字を知っていって、
フェルミ推定みたいな感じですよね。
ああいうのをバーッと頭の中で入れると、
ロジカルに考えられるというふうに思うんですよ。
昔大失敗したことがあって、
某外資系ソフトウェア企業、
ある世界的にも多くのシェアを持っている基本ソフトを作っていたことがあり、
Nobuhiro Seki
もういいですよ、名前言っても。
Takuya Oikawa
まあそうなんですけど、
結構社会的にも問題になるようなセキュリティの脆弱性が
頻発した時期がありまして、
そこで、
社会的にも問題になるようなセキュリティの脆弱性が
頻発した時期がありまして、
今とは違って、
オンラインでアップデートするというのがまだ一般的じゃなく、
回線も細かったから、
それなりのデカいファイルをダウンロードして
それを適用するということができなくて、
その更新ファイルみたいのを、
当時はまだIT系の雑誌とかがあったから、
そういうのにもCD-ROMで添付して、
できるだけ最新版にしてくださいみたいなことをやっていたと。
この時に郵便局とかにも最終的におかしてもらったのかな、
これ、結局ネットに接続するから、
脆弱性というのが本当にその脆弱な状態で攻撃されるんだと。
06:02
Takuya Oikawa
他にも経路はありますけれども、
それが一番大きいんですね。
じゃあ、ネットのつないでいるところって
プロバイダーISPだと。
ISP経由でCD-ROMを配ってもらえばいいんじゃないかなと思って、
働きかけようとしたわけですよ。
そうすれば多くの人に届くと思ったんだけれども、
CD-ROM1個を梱包して、
実際に配送するのにいくらかかるだろうかって考えたならば、
そんなに安くはないわけですよ。
それを自分たちの会社がある程度コストを持つとともに、
協力していただく方々にも
コストを負担していただくことってなるんだけれど、
ちょっと待って、例えば大手プロバイダーって
500万ぐらい加入者がいるとしますと、
1人10円だとしても、
これ5000万かかるんですよねって話になって、
5000万なんか出せるかっていう話で、
早々にお前ら何言ってんだって怒られた感じで終わったわけだけど、
そんな企画を考えた時点で、
バッとこの計算ができなきゃいけなかったんですよね。
こういうのってやっぱりざっくりした数字が必要で、
関さんの話とか今の話に戻ると、
そこに確率みたいなものが入ってくると、
もっと確からしさって出てくると思うんですよ。
IT系とかだとサービスレベルみたいな話で、
99.9%を保証しますとか、
言うとほとんど出せない。
ダウンしないんじゃないのとかと思ったりするわけじゃないですか。
全然そんなことはなくて、
これ99%って100日に1日はダウンする形になるわけですよね。
もっと言うと99.9%だって1000日に1回ダウンすると、
これ日のレベルで言ってるけれども、
普通に時間で考えたならば、
1年数時間普通にダウンしまくりますよって話なので、
これを許容できるかどうかの話になってくるんですよね。
100日に1回だから、
1年に3日ダウンするんですよね、簡単に言うと。
Nobuhiro Seki
まるまる。
72時間もダウンするってことですかね。
Takuya Oikawa
信じられないって話ですけどね。
だからやっぱり99なんてレベルじゃなく、
99.999とかそこら辺を本当にクリティカルなシステムなら
必要とされるのは当然だろうなと思うし、
かつこれが定期的なメンテナンスとかっていうのに
除外を入れたくなる理由はすごい分かるんですよね。
そうすることによって、
アクシデンタルなダウンタイムっていうのを減らすことが
当然できるようになると思うので、
とかって考えていくと、
99って言うとすげえなと思ったりするけど、
全然すごくないぞみたいなのも
実際の数字に当てはめてみると分かるかなと思いますよね。
Nobuhiro Seki
昔ですけど、
カナ漢字変換ってあるじゃないですか。
作ってました。
カナカンジ変ってね、
小岩さんが作ってるときはもう少し最近ですけど、
昔のやつとかってまさに
カナカンジ変換の変換、
間違いない率何%とかを結構競ってたんですよね。
80年代ですかね、あれね。
でもほら99点、
まさにその話ですよね、
09:00
Nobuhiro Seki
99%とか言われても
1時間に何回変換するんだとか考えちゃうと
100回ぐらいすぐ変換するじゃないですか。
だから99%だと100回に1回も間違えるって
結構イライラするわけですよね。
それで本当に99点何%かっていうのが
かなり確率が異常に高くないと全然快適じゃないみたいな話を
当時してたのをよく思い出しましたね。
Takuya Oikawa
カナカンジ変換も僕が作ってたときにも
やっぱりそういったスコアを内部指標に持ってましたよ。
で、機械翻訳のためのBLUEっていうスコアがあって、
その参考訳とされるもの、
それと自分たちが機械翻訳したもの、
それとなりの差分というものをスコア化して
これをどのくらい高めるかってやるんですけれども、
結局日本語のローマ字とかカナから文章、
日本語の漢字混じりの正しいと思われる文章に
するっていうのも同じなので、
正しいとされるいわゆるゴールデンデータというか
教師データがあって、
それにどれだけ近いかっていうところは全部スコア化して
このスコアをここまで高めるとか、
例えば何でしょうね、医療コンテキストとか
法律のリーガルコンテキストに関して
そういう専門のところでもそれなりのスコアいくかとかっていうのは
ちょっと各社によってスコアは何を使ってるか分かんないけども
やっぱり持ってそれとの差分というのは見てもらえると思いますよ。
今もやってて欲しかったなぁみたいな思いますよね。
Nobuhiro Seki
今だってカナ漢字変換やってる人がすごい少ないですもんね。
そもそもが儲かんないからみんな駆逐されちゃったんですよね。
Takuya Oikawa
どんどんストレスが溜まるようになってますよね。
Nobuhiro Seki
明らかに昔に比べて。
唯一退化してるソフトウェアなんじゃないかと思いますけどね。
Takuya Oikawa
いやいやいや、そんなことはないですよ。
Nobuhiro Seki
もちろんそうなんですけど、なんか体感がそうなんですよね。
昔よりもなんか、
イライラすることが増えたのは年なのかもしれないですけど。
期待値が上がってるだけだと思いましたよ。
Takuya Oikawa
1980年代、90年代に比べたらとてつもなく賢くなってると思うし。
あと、私がやっていたGoogle日本語入力っていうのは
その後、賛否両論はあるんですけど、少なくともあれを出した時には
多くの人が驚くぐらいのものを出したとかですよね。
で、Google日本語入力もマイクロソフトで
MSIMEとかMacの標準搭載されているものとかって。
ちょっと待ってください。
標準搭載されているものの問題点っていうのは
やっぱり、ただで配っちゃうことによって
有料ソフトが駆逐されるっていう問題なんですよね。
そうですね。やるインシデントもなくなっちゃうってことなんですよね。
しかも、特定の何かのソフトを言わないですが
特定の何かのソフトを使って、
Nobuhiro Seki
その人が何かのソフトを使って、
Takuya Oikawa
しかも、特定の何かのソフトを言わないですが
その後、飽きたように
そこに対する投資をやめちゃうんですよね。
MSのインターネットエクスプローラーもそうだったと思うんですよね。
OSに標準バンドルされていてシェアが8割とかってなって
彼らのストラテジーに合わなかったっていうこともあり
そこに対する投資をやめちゃうんですよね。
Nobuhiro Seki
それやっぱり、それをやってる会社が
でも、長生きしてますよね。実際に見るとね。
Takuya Oikawa
だから、そういう意味で言うと
12:02
Takuya Oikawa
そういうものが残る世界ではなく
いわゆるランチェスター戦略でいう
強者の理論みたいな形で
圧倒的な物量作戦で
ゲリラ戦で戦おうとしてきた人を
駆逐させちゃってっていうようなことが
一旦シェアを取るとできちゃうんで
その負の側面が起きちゃうんですよね。
Nobuhiro Seki
それを独近法でだけで、法律だけで解消するのは
相当難しいですからね。実際にはね。
Takuya Oikawa
今、Googleが訴えられちゃってますけどね。
検索の、米国で。
FTCですよね、あれね。
Nobuhiro Seki
急にいっぱい訴えてますよね。堰を切ったように。
それだけじゃなくて
合併批処理も多いんで
やっぱり合併できない。
合併もね、どっかの国でダメって言われると
諦めちゃうんで
Figma、Adobeとかも
ブロックされたのも。
でもイギリスがダメって言ったから
諦めちゃう。グローバルでね。
独占してやめられちゃうよりいいんだけど
独占してやる気がなくなったり
Takuya Oikawa
すごい高くなったりするよりいいんだけど
難しいところですよね。
後ろで鳴ってたのは何だったんですか、美香さん。
Mika Ueno
ガスの警報器?
ガスが漏れてませんかっていうのが今鳴って
鳴ったんですけど
ガスつけてもとりあえず爆発しなかったから
大丈夫だと思うけど
Takuya Oikawa
YouTubeとかでライブ配信してて
家が燃えた人とかたまにいるんですけど
そういうことにならないでくださいよ。
Mika Ueno
今まで一回も鳴ったことないやつが鳴ったんで
びっくりしました。
警報は止まるんですけど
センサーのところが赤くなったままなんですよ。
窓は今は開けてきたけど
Nobuhiro Seki
家はね、ガスというより
スモークディテクターが急に鳴り出すときって
電池切れの時なんですよ。
今まで2回経験したことあって
電池が切れると
断末魔にビビビビビビビビビビビビビビビ
一回夜中3時になって
天井とか届かないんですよ。
電池を切らないと、切れないんですよ確かね。
だからなんか、結局1回は2時間くらいかけて電池を換えたんですけど、その時偶然その9Vの電池だったんですけど偶然持ってたからよかったんですけど、夜中の3時だから持ってないとこれずっとあと朝までずっとなるのかみたいな感じで、結構絶望しながら柱を上ってやってました。
柱を上ってやってました。
Mika Ueno
一応、電池残量が表示されてるやつなんですけど、
満パンなんですよ、満パンなんだけど、
15:00
Mika Ueno
それも壊れてるかもしれないな、後で連絡しよう。
Nobuhiro Seki
とりあえず、窓を開けてください、怖いから。
Mika Ueno
うん、窓開けた。
Nobuhiro Seki
ちょうどさっきの、同じ誕生日の人がいる確率があって、
40人いると89%だそうです。
Mika Ueno
あ、そう。
Takuya Oikawa
これも普通に計算すると当然出てきますよね。
Nobuhiro Seki
出てくる、出てくる。
Takuya Oikawa
そういう計算ができると、確率の計算ができると強いと思いますよ。
そしたら、たぶん誰も宝くじ買わないと思うし。
Mika Ueno
大きい方に設定を拡張すると、
ユーザーがそれを勘違いして、無制限と勘違いする、
みたいな例がEvernoteの時にあって、
月アップロードできる要領ってあるんですよね、1ギガだったかな。
それをほぼ無制限と思えるような、
月10ギガまで使っていいですよ、みたいなサービスの改変をした時があって、
その時10ギガっていうと、大体ノートテイキングのツールだから、
ノートとかね、いろいろ画像を入れたとしても10ギガなんかいかないんですよ、月に。
そんなに巨大な要領を作る人。
と思ったら、自分のデータのバックアップに使う人が結構出てきて、
しかも一部の、ごくごく一部のユーザー。
バックアップに使うと、通信の待機取られるじゃないですか。
それでサービス全体が遅くなっちゃって、
他の99%のユーザーに影響があって、っていうのがあって、
アナウンスをして、もう本当にすぐ、
ごめんなさい、やっぱり元に戻しますっていうアナウンスをしたという、
超かっこ悪い過去があったんですけど、
でもその時にも、ごく一部の人たちのために、
他の人が影響を受けるっていうのは自分たちの本意ではないんで、
そこはしっかり見直しますっていうアナウンスをしたんですけど、
大きい方に広げれば広げたで、
今度は、わーい、これは無制限なんだ、
なんて思うような人たちが出てきちゃうっていうのもあって、
そこが困った記憶が今思い出しました。
使った分だけ課金とかじゃないとそういうことは起きますよね。
なかなかいろいろ言葉を尽くして説明しても、
伝わらないことっていうのは多くありますけど、
情報がこれだけ溢れている世の中になると、
情報の受け手側として、自分がユーザーとして見たときも、
ほぼ説明の文章とかいろんなことが読めなくなっているっていうのを、
最近すごい自覚的になることがあって、
例えば記事一つ取ってもそうだし、
何かのサービスの説明だったりしても、
文字がバーとか並んでいると入ってこなくなっちゃうんですよね。
なんかもっと短くしてくれないかなとかなってて、
でも短くしたら下で、それはそれですってまた理解しないんですよ。
3つ以上のことを覚えられないみたいなのがあって、
なんか難しいところだなと思いますね。
Nobuhiro Seki
ということで今日は結構確率とか数字の話をしましたけれども、
このところで一旦おしまいということでよろしいでしょうか。
Takuya Oikawa
はい。じゃあまた今度。
18:02
Nobuhiro Seki
はい、では。
18:15

コメント

スクロール