レコメンドエンジンのコンペ
【前回からの続き】
ネットフリックスプライスっていう、
来ました!
世界規模のレコメンドエンジンの精度を高めようコンペが開催されるって話ですね。
来ましたね。コンペティション。コンペティションだ。
で、これの精度向上していい技術見つけようぜとか、
CMのアプローチとまた違う技術ないかなっていう発見とか、
っていうところで、目標値はCMの精度の10%を超えるところで、
2006年からスタートして、3年間この大会が24365でずっと続くっていう。
24365って何?
え?
24時間365日。
え?何その言い方。本当に?使う?みんな。
使うでしょ。
え?本当に?
え?使う使う。
俺今マジで何言ってるか分かんなかった。
いじいりとかじゃなくて。
え?本当に?
24365?
24365。
245959。
何何何?
え?
あ、違うか。6060か。
24…あ、違うか。0000か。
何の話してんの?
え?
有効数字みたいな話。
ふんとか言わないのかなって思って。
あ、そういうことか。
24365。えー。
うるう年入れないんだ。
角度。
すごい角度で来るじゃん。
まあいいや。
で、始まったよってところで、
え、この詳細が結構、
何だろうな。
感動的な終わり方をするというか、衝撃的な終わり方をする話で有名なんですけど。
こう、わーって最後なるやつじゃないの?
あ、そうそうそう。
知ってます?
何だっけな?
あれだ。
めっちゃ強いとこが現れて、
うん。
で、そいつらが優勝すると思ったら、
他の奴らがトトーを組んで、
ちょっとこう、クリアしてくるみたいな感じじゃなかったっけ。
あー。
そのうる覚え具合がいいっすね。
違う?あれ?
じゃあまあ、概要と言いつつ詳細を伝えていくんですけど。
うん。
10%精度向上したら終わりっていう大会ですね、これは。
で、賞金が100万ドル。
100万ドル。
1億円だ。
うん。
やっば。
あー、円安だ。
うーん。
AT&Tの優勝と先進的な技術
1年目は、もう一気に8%まで精度が高まったんですよ。
えー。
で、ここのチームで参加してたんですけど、
アメリカのAT&T。
出ました。
っていうの?この会社。通信事業会社っすね。
アメリカのKDDI、NTT、ソフトバンクみたいな。
そういうののれいこだね。
そうそう。
携帯をやってる通信事業会社が、一気に1年目で8%までいって、
で、2年目もさらにそのチームが1%上げて9%までいったと。
おー。
で、3年目にもうその目標値の10%まで到達したっていう。
ところまでは、もう何だろう。
順風満帆にもどんどん精度上げていって、
ゴールのラインまでたどり着いたんですけど、
到達したタイミングから1ヶ月以内に精度を上回ることができなければ優勝っていうルールだったんですよ。
おー、はいはいはい。
で、そうなった時に、さっきジョッジが言った通り、
その2位以下のチームが一気に集結して、
来た!ほら!
超えてやろうっていうトトを組み出して、
しかも、アンサンブルっていうチーム名で精度を上げ始めて、
で、超えていくんですよ。
なるほど。
AT&Tの精度。
えー、アンサンブル。
やっぱこのAIモデルって、1個のモデルよりかは、
複数のモデルを組み合わせて予測値出した方が精度上がるっていうのは、
よく言われてる話で。
で、その技術をアンサンブルって言うんですけど、
AIの世界でも。
それで精度を上げていくっていう、一つの方法ですね。
で、超えていったと。
で、1ヶ月内に超えなければ優勝が決まるけど、それを超えたと。
そこからは、次のルール、レギュレーションがあって、
24時間以内に、またその精度を超えなければ優勝になってしまうっていうルールになって。
どんどんタイムリミットが迫ってくるんですけど、
でもその24時間以内に、なんとAT&Tも超えるんですよ。
で、その20分後に、同じスコアでさっきのアンサンブルチームも提出をすると。
最後のファイルを。
で、24時間経って、その対価が終わるんですけど、
20分前に出したAT&Tの方が、先にサブミットしたから優勝は最終的にAT&Tになったよっていう。
そういうシフェクトになると。
悲しい。
2連単当てた人いるのかな。
だから、本当に今でもそのリーダーボードというか、
そのスコアがどういう風に遷移したかみたいなのがネット上にあるんですけど、
何時何分何秒に提出したみたいな。
えー。
20分の差で優勝が決まったっていう。
これが2009年の出来事っすね。
すごいね。面白いね、それ。
ね。ドラマになりそう。
いや、本当だよね。その他大勢が、もうトトーを組んでグーってやって。
まあ、所詮その他大勢だったってことだな。
でも、やっぱりその優勝したAT&Tのチームは、
使ってた技術もその時代だと先進的で、
さっき言った強調フィルタリングとかっていう技術をベースに、
さらにその発展系というか、ちょっと違う角度も入れつつっていうところで、
行列分解っていう技術を使ったりとか。
初めて知った。
結構、レコメンドエンジンの勉強していくと、結構一個突き当たる壁にはなるんですけど。
えー、そうなんだ。
行列を考えて、より効率的に、かつ情報のレベルを下げずに、
うまくモデルを作るっていう、効率的かつ高精度に、
情報をモデルに入れ込むみたいな、そういう方法があって。
行列分解っていう方法を取って、
この時代だとかなり先進的だったよね、みたいな話があったりとか。
はいはいはい。
レコメンドエンジンの進化
で、それもNetflixのレコメンドのサービスに組み込まれていくっていうところで、
どんどんレコメンドの精度が上がっていくっていう時代だったんですね。
そうね、すごいね。
その頃、もうAmazonとかもやってたのかな、推薦とかって。
Amazonはもうショッピングの方でやってたから、
各事業会社がこぞってレコメンドに力を入れてた時代だし、
技術もどんどん進歩していくみたいな、そんな時代ですね。
2010年になる前だ。
前ですね。
で、こっからもうWebに切り替わっていく。
え?まだその時はDVDレンタル屋さん?
オンデマンド配信はまだ始まってないですね。
あら、じゃあまだ全然始まってもないじゃない、Netflix。
で、こっからどんどんオンデマンド化したりとか、
ネットにすぐアクセスできるみたいな。
だってスマホで動画見るなんて結構最近の話じゃないですか。
3Gが来て、4Gが来てっていう。
確かに。
そうなんだよな、Netflixとかアマプラとか始めたせいで、
通信制限すぐかかるとかあったもんな。
その狭間じゃないですかね、2010年とかはまだ。
確かに、まだ高校生だもんな。
すごいな、世界動いてるな。
そうなんですよ、もう実はその頃は世界は進んでいて、
レコメンドして、精度上げて、いいサービス作っていくみたいな、
そういうフェーズですね。
そうなんだ、Facebookとかできたのもそのぐらいだよな、確か。
SNSもそうじゃないですか、3Gでようやくコミュニケーションをしていくというか、
ネット上で。
違うわ、Facebookもっと前か、
高校2年生ぐらいの時にバラ系で登録した記憶あるわ。
サービスありましたよね、でもなんかチャットめっちゃするとかそういうサービスじゃなかったですよね。
なんだったっけね、なんかとりあえずめっちゃこれアメリカで流行ってるらしいよって言われて、
登録した記憶があって、でなんか一時期多分その裏でFacebookが握ってる、
多分連番なんだよ、その一番最初に登録したやつは001みたいなIDがついてて、
でなんかあなたのフォロー、あなたの友達の中で一番初めにFacebookを使ったのはこの人、
みたいなのがなんか一時期Facebookの中で流行ってて、
なんか俺いろんな人のやつでランクインしてた。
めっちゃじゃあアーリーアダプターだったんですね、日本の中で。
そう、Facebookがまだ招待制の時代だったね。
そんな時代あったんですか。
そうそうそう確かね。
えー。
えー違ったかな、いやそうだった気がする。
そのFacebookの話をしたのは、なんかその登録したのが早いっていう話をしたかったんじゃなくて、
そういう時代ってこと?
いやなんかFacebookって割と後発のSNSじゃん。
Twitterもその前に多分流行ってたし。
あーそういうことか。
まあ日本国内だったらミクシーあって、全略あって。
全略あったね。
黒い背景に黒い文字でリアルタイム更新して、
あったね。
歌詞画像上げて、なんかパスコードみたいなの設定してね。
ゲズムね。
いやなんかその、今だとさ、Web3とかが一番最先端みたいな、
今乗るならWeb3の波だみたいに言ってたけど、
Netflixのデータ分析とレコメンドエンジン
いや確かにそういう裏でレコメンドエンジンとかのバトルがバチバチに行われてる中で、
Facebookを広げようとしてるって、
相当後発組というか、時代遅れのことしたように見えてるんだろうなって思ったの。
あーそういうことか。
データ利活用の波はできてんのに、その中でSNS作るって結構やばいよな。
それで覇権握ってんのマジすごいな、Facebookって思って。
あーはいはいはいはい。
いやそう、すごいのはNetflixなんだよ。
でもNetflixのなんかこう、データ分析すごいよねってところが、
本当に表に出てきたのはこのNetflixプライスっていうコンペがあったよってところで、
そっからは、もうなんかありとあらゆるデータが取得できるようになってきて、
ネットに繋がったから、ユーザーのネット上の行動とか、
あとは視聴回数とか、何分その動画を見たかとかも全部リアルタイムでデータ収集できるようになって、
もう多分今は、ディープラーニングとか使って、
そのレコメンドエンジンプラス、何かを予測したりとか、
解約を予測するとかもできるし、っていういろんな技術は中で使われてるけれど、
そうやってこう、より高精度なものがデータの収集と一緒にレコメンドエンジンもできてきたよっていうところが、
Netflixの歴史ですね、技術的な歴史ですね。
いや、俺、そのレコメンドエンジンのやつもめちゃめちゃやろうかなと思ってた波、これで3、4回目ぐらいなんだけど、今が。
そうなんですね。やろうっていうのはあれですか、自分が勉強しようってこと?
そうそうそうそう。
あ、そうなんだ。
っていうのがあって、で、前のブームか前の倍のブームぐらいの時に、
Netflixのテックページほぼ読んだんだよね、最近の。
直近、いやでも言うて直近1年とかぐらいだったかな。
の読んだのだと、そのレコメンドエンジンが育った後のやっぱすごいとこって、
まあ一個はABテストだと思うんだよね。
なるほど、何度もこのエピソード出てたね。
そうそうそうそう、めっちゃ出てくんだよ。
Netflixの映画総集編やCM作成の技術
映画、だから普通に映画のチラシってワンデザインじゃん。
はいはい。
そう、けどNetflixのあの横長のサムネって、
Netflix用に作られた画像が裏に複数枚用意されてて。
へえ。
だからNetflixって開くたびに映画のサムネって結構変わるんだよ。
あ、そうなんだ。
そう。
ストレンジャーシングスとかだと全然違いキャラクターが表紙になってるとか、
暗めの画像だったところからめっちゃ明るい、なんかポップな映画に見えるような、
映画というかドラマに見えるようなサムネがあったりとか。
あ、そうなんだ。確かに言われてみればそうだ。
見るタイミングによっても同じ作品が違うふうに見えるか。
そうそうそうそう。で、それでどれのクリック率が一番いいかとか、
あとなんかこの系統で他のでクリックしてるから、
こいつにはこの系統のサムネ出すとか。
はいはい。
女の子だけしか映ってない画面とか、逆に少年ばっかりになってるとかみたいなのが用意されてるのを、
めちゃめちゃ多分高速で回して最適化していく。
なるほどね。
っていうのも最近はめちゃめちゃ、そいつが一番猛威を振るってんじゃないかな、この3年ぐらいかな。
各プラットフォーム確かにそれありますよね。YouTubeもそうだし、サムネイルでABテストしていくっていうのは。
そうそうそうそう。
コンテンツ配信系全部やってるね。
多分ABテストっていうよりは、なんかTAWAN BANDITみたいな。
ほう。
マルチアームバンディットっていうやつで。
ほうほうほう。
言っちゃえばABCDEテストとか。
ああ、そういうことか。
なんか単純に例えばすごいシンプルに言うと、ABCDEっていう5パターン用意しておいたら、
とりあえず20パーずつ内訳で出して、そうしたらでもやっぱ5個も出してるから、
AとBのクリック率めちゃめちゃいいぞみたいな。
逆にDとEほぼクリックされてないなってなったら、
その出す比率を35、35、25、5とかにするっていうのがどんどん更新されてって、
みんなが押したくなるサムネイル2つ3つぐらいが選ばれて、
そいつらがぐるぐる回ってるみたいな。
ああ、そういうことか。
っていう、実績に応じてその確率をどんどん更新していくみたいなのが、
Netflixの裏では回ってて、
映画館とか物理的なものを売ってた時代とは明らかに違う最適化のスピードで今進んでるっていうのが、
多分Netflixのデータの最近の動きで一番面白いところで。
だからこれもネットに繋がったからっていうのが、
だからそういうABテストができるようになった。
しかも高速で回せるようになったってとこですよね。
そうそうそうそう。
もう最近ってやっぱアンケート取らなくなってるじゃん。
レーティングするみたいなのはないけど、
完全視聴率とかでデータ取ってるから、
アンケートってどうしても恣意的になるところをカバーしてるっていうのも、
当時と違う点でしょ。
あと、Netflixの俺的にすごいなと思った技術が、
ファスト映画って流行ってるじゃん。
ファスト映画?
どういう映画?
どういうのだと思う?
ファスト映画?
ファストフードのファストでしょ。
そう。
すぐ。すぐ何する映画?
Netflixの便利な機能
すぐに見終わる。
映画をすぐに見終わる。
短いってこと?
いや、一時期めちゃめちゃ問題になったのは、
映画の要約を、映画の映像を使って、
10分とかにまとめた動画とかがめちゃめちゃ出回ったの。
割と違法なんだけど。
映画の映像を使ってるから。
それをファスト映画って言って、
いいとこだけ切り取って、山畑見せて、
あとはナレーションとか文字ベースで説明して、
そうしたら10分で2時間分の映画見た気になれるっていう、
Z世代の心をゴリゴリ満たす、
なるほどね。
TikTok方式の映画版みたいな。
はいはい。
っていうのが、バーって流行った時期とかがあって、
それはそれで問題になったんだけど、
結局、映画の内容が手軽にどんなもんか知りたいっていう欲求はあるわけじゃん。
で、Netflixは、そういう映画の総集編を、
AIで自動で作るシステムも持ってん。
じゃあファスト映画との繋がりっていうよりは、
総集編を作るっていう話だからCMに近いんだけど、
CMってさ、
まるでそういうストーリーで動いてるかのようにさ、
ハリウッドの映画とかってできてるじゃん。
うんうん。
けど、
あれってでも実は全然違う場面を切り張りして、
まるで1個のストーリーみたいにして15秒30秒作るみたいな。
確かに。映画見たらわかるよね。
このシーンここかみたいな。
で、あれってなんで自然に繋がってるように見えるかっていうと、
出てる人とか、アクションのスピードとか、
あと、画面全体の色合いとかがちゃんと合ってるから、
繋がってるように見えるんだよね。
そういうのを全部記憶して、
そういうのを学習して、
総集編を勝手に作ってくれるシステムっていうのもNetflix作ってる。
へー。
から、
すごい。
全部の映画の予告を一瞬で作れるんだよね、Netflixって。
めちゃめちゃすごいじゃん。
そうそうそうそう。
っていうのとかも、最近の技術だと確かあって、Netflix。
ありそう。
でも、そっか、チャットGPってとかも文章渡したら、
それを要約するのことができるけど、
その動画とか音声とか映像を要約できるんだもん。
そうそうそうそう。
自動でCM作るみたいなのが。
できるから、
めっちゃいい。
Netflixって多分開いた時に、
上のとこに映像バーって流れたりするのは、
多分そういうのが使われてたりする。
なんか印象に残ってんのはね、
そこら辺なんだよね。
バンディットの話と、
カッティングの話が、
俺的には割れたね、センセーショナルだった。
自分、ユーザー目線で、
これめっちゃ便利だなと思う機能があって、
これNetflixしかないんですけど、
イントロを飛ばすっていう機能。
あれ、アマプラないの?
ないんですよ。
なんでないんだろうって思うんだけど、
絶対あったほうがいいじゃないですか。
うん、Netflix確かに飛ばせるわ。
でもNetflixはできるから、
これ多分イントロをちゃんとAIがそこを理解して、
いいところまで飛ばすのができるんだろうなと、
技術的に。
確かに。
前回のあらすじも飛ばせるよね。
飛ばせる、飛ばせる。
前回のあらすじ飛ばして、
オープニングの映像を飛ばすってやると、
Netflixワンピース見ようとすると、
12分くらいしかない。
いや、わかる。
わかるわ。
Netflixの技術活用
ただでさえ、テレビで見てても、
なんか短いなと思ってたけど、
Netflixの機能を使うと、
12分くらいなる。
わかるわ。
どんどん、エピソード1から見始めると、
どんどん本編短くなってくる。
マジそうよ。
ワドクリとかマジ短いから1回。
短い。
でもあれ多分、
Netflixの多分、
テクノロジーなんだろうなっていう。
特許取っちゃったんじゃない?
だからできないとかあるのか。
っていう説はある。
Amazonの、
あれ。
すぐ買うボタン。
はいはいはい。
今すぐ買うボタン。
あれ特許取ってるから、
他のECサイトで使えないんだよ。
じゃああるかも。
ソロだね絶対。
そんな気がする。
ちょっと調べてみてください。
これはちょっとみんなに任せようか。
散りばめられてますね。
そう考えると。
Netflixすごいよね。
1個言い忘れたんですけど、
でもレコメンドの話するにあたって、
絶対避けて通れない問題が1個あって、
最初に新規で登録したユーザーに対して、
何レコメンドするかは、
どうするかって話。
コールドスタートプログラムですね。
そういうコールドスタート問題。
ここは絶対に避けては通れない。
その人が何が好きかなんて絶対分かんないから。
マジでむずいよねコールドスタートプログラム。
これどうしてるか知ってます?
Netflix?
Netflix。
アンケート?
それしかないんですよね。
そうだよね。
どんなジャンルが好きかを最初に選択式とかで聞いて、
その人の趣味、思考を捉えていくっていうやり方。
ここはもうどうしようもできないから。
そうなんだよね。
ここが唯一の課題かな。
英語の青いコールドスタートプログラムって、
こんぐらいの本読んだから。
それ読んでも解決方法は書いてないですよね。
コールドスタートプログラムって書いてあるタイトルなんだけど、
めっちゃ有名なの。
なんだっけな。
アンドリュー・チェンっていう、
アンドリー・センフロイツの人が書いてる本なんだけど、
全然、
SNSとかルーバーとかの
ネットワーク効果の話ばっかり書いてる本で、
英台がコールドスタートプログラムで、
日本台になった瞬間に
ネットワークエフェクトって名前に変わってて、
全然違う。
すげー。ちょっと荒れてた。
世界的スーパーダイヒット
ビジネスショーって感じ。
あ、そうなんですね。
面白いからオススメです。
夜遊びのデータ分析
青いネットワークエフェクト。
はいはい。
っていうのことを言い忘れてたんですけど、
そういう課題もありつつも、
レコメンドエンジンは
まあ進化しているよっていう話でしたね、今日は。
まあそうね。
アンケートって奥深いプラス、
上手く読むのマジむずいからね。
すげー厳しくやられたわ。
全職の時。
あ、でもそれちゃんと
分かってる人がいるから
そのお作法を教えてくれたんですね。
そう、けど
ほんと1回とか2回とかしか
打たせてもらえなくて、
で、理由が
めちゃめちゃ考えるのに時間かかる。
ほんとに丁寧にアンケート結果を
分析に使おうとすると
アンケートの立て付けから
考えなきゃいけないから、
で、なおかつこう、なんだ
くまなく
バイアスのかからないように
質問を設定しなきゃいけないとかで
うん。
めちゃめちゃ大変で、それを添えて俺
なんかアンケート見ると
うわ、気持ち悪いって思っちゃうんだけど。
で、その、その癖
確かなことが
言えないみたいな。
みんなの訂正の回答だから。
っていうので、アンケートは
結構なんか打ち手としては
なんか
あんまりイケてるとは言えないみたいな。
いや、そうですよね。
アンケート取るのも難しい。
結果分析するのも簡単じゃないですよね。
うん。
そうなんだよね。
いや、わかるなぁ。
やっぱ機械的に
だからデータ取れる方がいいっすよ。
データは。
確かにね。
次回その、夜遊びのデータ分析の
話をしようと思うんだけど
それがね
そこが結構なんかアンケート的な
結果が
その、ソニーのマーケティングの
と、白報道かな
ソニーと白報道のマーケティングデータとか
出てたんだけど
それがね、前このポッドキャストでやった
Spotifyのデータ
あったの覚えてる?
やりましたね。
アンケート結果がめちゃめちゃその
データと一致してて
俺結構感動したポイントがあって
へー
多分白報道かソニーの
アンケート作る人めちゃめちゃ
上手いんだろうなみたいな
白報道上手そうだな
それで言うと
そういうね話をね
夜遊びの回でちょっとしようかなと思って
楽しみにしてます。
じゃあまとめると
Netflixは
レンタル
DVD事業から始まって
もう今や
レコメンドエンジンを
フルフルに活用して
かつデータを収集して
よりユーザーが楽しい
かつ便利に使えるサービスを作っている
実は技術の会社だったよ
ってところを今日は紹介してきました。
意外と知られてないかもしれないからね
そうですね
面白いですね
技術観点でもNetflixを楽しんでください
はい
じゃあ
次回
次回は
前編後編両方ともで
散々散りばめた
アーティスト
夜遊びのデータ
分析
イクラちゃんですね
イクラちゃん
はい
これタロちゃんか
これね
まあ
マーケティングデータみたいなところもそうだし
なんか
ストリーミングのプラットフォームの
再生数とかってそんな感じなんだ
とか
あとはネットでの拡散
そうやって夜遊び流行ったんだ
みたいなのとか
へー
夜にかけるが爆発したときの話と
アイドルが爆発した話
をなんかまあ
混ぜながら喋っていこうかなって感じかな
おお
面白そう
これはね結構面白いと思うから
期待してます
はい
はいじゃあそんな感じで
隣のデータ分析屋さん
今回も面白いなと思ったらフォロー
レビューよろしくお願いします
番組の感想や質問は
ハッシュタグ隣の分析屋
隣のがひらがなで分析屋は漢字でお願いします
また概要欄に貼ってある
お手紙フォームからコメント
じゃんじゃんお寄せください
ではまた
ばいばーい
