00:04
前回からの続きなんですが、強化学習の話をしていて。
社会実装のムズさみたいなことでしょ?
そうです。強化学習がUberとかで使われてたりとか、Netflixのレコメントで使われてたりっていう、ビッグテック企業が扱ってるってのは確かなんですけど、
まだまだ活用事例ってそこまで多くない認識で。
少なくとも日系企業が強化学習でうまくいった事例ってあんまりないなっていう、自分の調査範囲の中ですけど。
広告の最適化みたいなので、サイバーとかちょっとやったりしない?
でも、そうです。サイバーとか、いわゆる日本の企業の中でも大きなMLとかAIが強い企業が手をつけてはいるし、広告は確かに相性いいですよね。
ただ、分類のモデルとか回帰のモデルみたいな、使うハードルが低くて誰でも実装できるっていうのはないなっていう。
かぐるがあるじゃないですか。データサイエンスのコンペティション。あそこでも強化学習のタスクはないんじゃないかな。あったら申し訳ないんですけど。
あ、ないんだ。あんまデカいのはないみたいな。
ないし、自分は経験したことないですね。っていうものなんですね。相性もあるんですけどもちろん。
はいはいはいはい。
っていうところで、まだ認知として、認知はあるけど使われてないなーっていう感覚があって、じゃあなんでそこ活用されてないんだっていう話。
うん。
大きくは3つかな。1個はモデルを作る、環境を作ることが難しいって話。
環境ってのはさっき言ってた環境?
AIモデルを作るための学習環境を作るって話が1つですね。
あーはいはいはい。
もう1個がさっきあった報酬の設計。AIを評価するための報酬設計の難しさ。
うん。
もう1個は説明可能性とかっていう、よくAI使うときに出てくる問題。
はいはいはい。
学習環境っていうのは、
うん。
許可学習実装するのって社会実装するわけじゃないですか、最終的には。
そうね、サービス上にデプロイしていくのを社会実装と呼べば。
そういうことですね。
で、許可学習の仕組みとしては、
その社会に実装して、社会がどういう反応を起こすかをフィードバックして、
徐々にAIが賢くなっていくっていう仕組みなんですね。
だから、本当のあるべき姿はとりあえず社会に実装してみて、リリースしてあげて、
で、徐々にフィードバックをかけながら、よくしていくっていう進め方なんですけど、
ビジネスにおいていきなりよくわからないAIが使われて変な提案してきたら、
03:02
それは使えないですよ。
なるほどね、なるほど、はいはいはい。
いきなりUberの価格がめちゃめちゃ高い値段で提案してきたら、
もうすぐ離脱ですよ、サービスとしては。
確かに。
まあ機械側が調整したら、一旦極端な値を無慈悲に出してくる可能性もあるもんね。
そうそう。
だから、いきなりはリリースできないよっていうのがあって、
確かに確かに。
まあそんな馬鹿なことはしないんですけど、
よくやるのは、そういう社会のリアクションみたいなところをシミュレーションに落とし込んで、
プログラム上でフィードバックをかけてAIに対して評価する。
このっていうのをシミュレーションを作るってことをするんですね。
あー。
このシミュレーション作成が、めちゃめちゃ専門家の知識とか、
そこの業界に詳しい知見を入れていかないと、
いいシミュレーションはできないっていうのが、
まあよく言われることというか。
まあまあまあ確かに。
だから、
そういう意味での環境?
学習環境の作る難しさは、そこですね。
あー。
コンピューター上に自分たちが展開しているサービスと、
同じデジタルツインみたいなのがどう構築できるか次第みたいな。
いや、そういうことなんですよ。
そこはむずいな。
そう。
だから大学とかの研究機関と連携して、
冷凍庫の事例だったら冷凍庫専門家を持ってきて、
どういうふうに冷気が送られるかみたいな、
外気温の影響があったらこれくらいの冷気があるんですよっていうところの、
情報を盛り込んだシミュレーターを作るっていうところからスタートするんですよね。
あー。
もう、もう使えなそうだね。
もう足が長そうな感じがしてきたわ。
はい。
っていう理由が一つですね。
学習環境を作る難しさ。
はいはいはい。
でもなんかどうなんだろう。
LLMが発達してきたからこそ、
そういうなんかユーザー行動とかのシミュレーションはしやすくなったんじゃない?
さっき言ったデジタルツインとかも、あれって生成AIが絡んでくる話だと思っていて、
うん。
そのようやくその実装の話が今出てきてるじゃないですか。
日本が政府が。
そうね。
デジタルツイン作るぞみたいな。
それができると最強のシミュレーション環境ができるわけだから、
強化学習の利用っていうのがおそらく増えてくるだろうって言われてるんですよね。
あー。
でもまあなんかあれだよね。
AGIの話してるのと比較的近いというか。
あーそうですね。
そんなのは相当先だぞみたいな。
リードタイムあると思いますね。
うん。
でも俺ずっと最近計算社会科学の分野の、
この間学会行った話とかもしたけど、
ああいうところでは結構やられてる分野ではあって、
多分そこら辺の人ってそういうシミュレーション系強い人は相当今後重宝されるんだろうなって学会で聞きながら思ってて。
06:09
例えば。
そうなんだ。
LLMができるようになったから一個一個それエージェントシミュレーションとかっていう言葉で最近よく注目を集める気がしてて、
一個一個のマップ上に人がどうやって動いていくかみたいなのの意思決定を一つ一つのノードがしていくときに、
擬似的にこういう風に考えるだろうみたいなのがLLMでできるようになるとか。
そうなってきたときに研究で見たのは、
ある空間があったときの避難シミュレーションみたいな。
そしたらどういう風に避難経路を設計しておくとか、
街の中で避難所をどこに設計しておくと、
街の人たちの流れが一番スムーズというか避難が迅速に行えるかみたいなところとかの、
建物の中の動きとかね。
なるほどね。
っていうのをやってる研究とかもあったりして、
今までもある程度のルールベースで動くやつらを、
じゃあ10人だったらうまくいくけど、1000人まで増やしたらここの流れが滞るからダメみたいなやってたやつを、
もうちょっとリアルな意思決定につなげるような感じでLLMぶち込むみたいな、
研究をやってる人たちはいるっぽいから。
そうやってシミュレーション環境を作るんだろうなっていうイメージはあるけど、
その場を作るのは別に相変わらず大変だとは思う。
そうですね。
でもたぶん楽にはなってきてるし、
シミュレーションとしての妥当性っていうところがある程度担保されたものが出来上がってきてるっていうのもあるので、
その副産物的に教科学史の良いモデルができるっていうのはあるかもしれないですね。
なるほどね。
じゃあもしかしたら解決するかもしれない。
時代が進んでいくと。
いや、あります。他の技術の進歩で。
っていうのが学習環境の話。
もう一個の報酬設計の話なんですけど、
これは一個前のエピソードにあったように、
過去の情報をどう盛り込むかとか、
最近の情報に対してより敏感にAIがアウトプットを出すとか、
数学的にどう報酬、いわゆるスコアですね。
AIの行動が良かったか悪かったかを評価するという方法もあるんですけど、
ビジネスで使う時って利益だけじゃないじゃないですか、
サービスを評価する時って。
まあそうね。
いわゆるKPAが色々あると思っていて、
その一つに顧客満足度とか、
サービスとしての社会貢献度とか、
そういう利益だけじゃ測れない他の指標を盛り込んだ時に、
09:03
本当にAIのアウトプットって各KPA満たしてるんだっけっていう
複数観点で評価しなきゃいけない難しさがあるっていう話。
はいはいはいはい。
考えなきゃいけないポイントは多そうだね。
それは特徴量みたいなところに該当するのかな?
いや、教科学者においては、
これをすべてAIに対するスコアとして、
あースコアか。出していかなきゃいけない。
あーなるほどね。
じゃあなんか数理最適化みたいな感じにもなってくるの?
あーでも近いですね。
どのパラメーターをいじったらどうなるかなみたいな。
うんうんうん。
全体を最適にするための最適化関数みたいなのが
リワードになるみたいなこと?
あーでもそういう設計もありだと思うんですけど、
どちらかというと、
教科学習と数理最適化って似てる考え方で、
考え得る条件がある程度絞られる場合は
数理最適化で解けるよっていうのがあるんですけど、
その条件が複雑に絡み合い始めるともうそれは
数式として落とし込めないから。
あーなるほどね。
一旦インプットとアウトプットだけを作るっていう
モデルに対してっていう、
ウーバーの話が一番理解しやすいんですけど、
お客さんがどれくらい注文を入れたかっていうもので、
タクシーの乗車料金から算出した全体の収益ですね。
をモデルのインプットにして、
そいつに対して評価するっていう。
あーでもそれを変えた時に、
全ドライバーが満足するような、
配置を叶えるというか、
乗客をちゃんと確保できてるかみたいなところ。
売上だけだったら最悪ね。
100台で1万円ずつで100万円みたいなのじゃなくて、
100万円で1人乗ってくれる人に乗せても
OKみたいになっちゃわないようにするみたいなことだよね。
そうそうそうそう。
あとはお客さんからのレビューとかも
情報として入れて、
満足度の評価を入れてあげるとか。
あーなるほどね。
どうやってデータ収集していくか、
そういう満足度とか、
それを評価するための設計の難しさは、
職人芸として必要だよねっていう話。
そこもめっちゃ未来的には
全米Aがやってくれる世界になるのかな。
なってほしいですけどね。
ただ人間ってわがままですからね。
クレームも来るだろうし。
10年後にさ、
俺らの仕事をどうシフトしていかなきゃいけないのかなとかをさ、
そういう新しい手法とかさ、
ここから熱くなる手法こうだよって言われたときにさ、
なんとなくイメージするんだよ最近。
はいはい。
ってなると、
これその仕事は
AIが置き換えてくるのかなみたいな。
12:02
それともスペシャリストになってればそこで
その仕事はまだ残るのかなみたいな。
正直10年はもう見えないんだよな。
どんどん新しい技術が出てくるから、
そこは意外と人間のチューニングとか設計が必要になりそう
かなと思いますし、
人間がどこに対して痛み、ペインを感じるかとか、
どこにクレームを出すかとか、
どんどんクレームの内容も変わってくるじゃないですか、
時代とともに。
確かにね。
そこをAIにちゃんと理解させるってところはあるんじゃないのかなっていう。
なるほどなるほど。
最近めっちゃ考えるからね、そういうの。
子供生まれて、
こいつ、
こいつがこう、
成長して、
俺とかはさだから、
AIだって言ってAIの勉強してたら今仕事になってるからいいんだけど、
そんなん見えなくねみたいな。
いやそうね。
学校で何を教えられるんだろうみたいな。
教わんの意味あんのかなみたいな。
教育が一番遅いですからね、アップデート。
そうね。
けどさ、
世の中の流れに
合わさった
ような生き方。
だからほんと英語の勉強なんかしなくていいよっていう世界の可能性もあるしさ。
あーそうだね。
そうそうそう。
とかもう、家から出なくていいっていう世界の可能性もあるしさ。
全てバーチャル上でみたいな。
逆になんか、
で、
コミュニケーションもなんかいい感じに保管してくれるから実はコミュ力もいらなくなってくるのかなとか。
確かに。
英会話の相手がAIって今最近流行ってますもんね。
そうそうそうそう。
でなんかもう最たる例は、
デジタル空間で生活してて、
喋ってる相手がAIなのか人間なのか分からんみたいなさ。
そうだねー。
うん。
で、
しかもなんかコミュニケーションミスって向こうブチギレてるときはAIに切り替わって、
なんかいい感じに教えてくれてるから嫌な思いしないとか。
はいはいはい。
そしたら人の思い、人の気持ちが分かるようになろうねとかも必要ないとかさ。
そうだねー。
算数とかも必要ないのかなとか。
いや逆に学校で教えてもらって何が生きるんだろうみたいな。
難しい問いですね。
いやそうなの。
そうなの。
そうなの。
そうなの。
そうなの。
なんか単純に自分が10年後どんな仕事すんのかなみたいな考え方もするけど、
それはまあ最悪ね、こう寄せていけばどうにかなるんだけど、
こいつどういう感覚で生きてくんだろうなみたいな。
その、
友達作るの大事だよ、すらさ。
クソみたいな考え方になる可能性もあるし。
寂しい話だなー。
いやでも分かんない、その、
いや友達は大事だよ、みたいな。
うん。
うん。
うん。
うん。
うん。
いや友達は大事だよ、みたいな。
それはね、それはお前の時代の話だからみたいな、
言われる可能性もあるじゃん。
人間の価値観が。
いやそれ変わりますよね。
温かみとかあるだろうみたいな。
15:01
えーじゃあ今喋ってる相手AIか人間か分かんのかよ、とか言われて、
そういうことじゃなくてさ、みたいな。
そう言ったらもう老害扱いですよ。
そうそうそうそう。
だからまあそうだよな、って言いながら悶々とする。
はい。
人類は永遠に繰り返していくわけじゃん。
そうですね。
間違いないですよ。
どうやって、どうやって変わってくんだろうな、みたいな。
今みたいな新しい技術の話を聞いても、
これを今めっちゃちゃんと勉強しても、
これはもう2年後にはそんな勉強したことも意味なくなるのかな、みたいな。
うわー怖いなー。
いやでも、
まあちょっとその話に近いかなと思っていて、
大規模言語モデル、チャットGPTが賢くなったところに評価学習語を使ってるっていうのは、
結構最初のところに出したと思うんですけど、
あれって、
人間のフィードバックを入れて、
それを元に人間にとって、
AIの回答が自然かとか、
良いか悪いかっていうのを評価することで、
AIが賢くなったわけですね。
それがチャットGPTの3から3.5の進化なんですけど、
Reinforcement Learning from Human Feedbackっていう、
RLHFっていう頭文字とおった技術が、
確信できる。
これがその評価学習によって、
ユーザーの良いか悪いかをスコアとして、
モデルが回答の中身を少しずつ変えながら、
人間に寄せていくという。
だから、
今日の天気はどうですかって人間が聞いたときに、
チャットGPT3だったら、
今日は晴れです。
で、終わってたんですよ。
ただ人によって、
晴れかどうかの情報が、
良い時もあれば悪い時もあるじゃないですか。
私が確かに。
とか、
いや、
天気といえば晴れだけじゃなくて、
気温も大事じゃんとか、
そういうのがあるから、
GPT3.5からは、
今日の天気はどうですかに対して、
今日は晴れです。
気温は20度です。
湿度は低く、
過ごしやすい1日になりそうです。
っていう情報の付加だったり、
その質問者の意図みたいなところを組んで、
回答を変えるみたいなことができるようになったから、
こいつ親切でめっちゃいいやつじゃんみたいな。
っていう風に変化してるんですね。
何が言いたいかというと、
人間の価値観変わるけど、
それに合わせてAIもアップデートしていかなきゃ、
多分、
AIもついてこれないみたいなことが起きるんじゃないかなっていう。
なるほどね。
今はね。
今は。
そこを凌駕して、
AIがAIで学習を始めたらもう恐ろしいですけどね。
そうそうそう。
本当に何もしなくていいんじゃないかなっていう。
結局。
今のこの強化学習に、
18:00
全てが飲み込まれていくっていう世界がね。
あると思いますよ。
多分、当たり前のように裏では使われてる仕組みになるんですよね。
自分も最近そんなこと考えて、
調べたんですよ。
強化学習の未来の展望っていう。
これでも調べて驚いたんですけど、
ここから10年先、
2035年までに、
年平均成長率って言われてる。
投資の考え方で経緯側って言われる指標があると思うんですけど、
これがね、60%超えていて。
2010年から13年にスマホめっちゃ流行ったんですけど、
この時の成長率が40%なんですよ。
はいはいはいはい。
だから、成長の角度だけで言うと、
強化学習の成長の傾斜がめちゃめちゃ急に60%超えてるんで。
確かにそういうことか。
でも、あれぐらいってことか。
年々そういうのが上がってるっていう話はあるじゃん。
多分、傾斜は急になってるから。
で、短い期間で伸びやすいっていうのはあるけど、
あのぐらいか。
俺らが大学入るか入らないかぐらいの時ね。
スマホが、iPhoneがとかそういうところですよね、確か。
俺、受験終わるまでiPhone買わないって決めてたし。
次の機種編は絶対iPhoneだけど、
今iPhoneにしたら終わると思って。
ずっとホッケーやっちゃうと思って。
モバゲーとか?
モバゲーはガラ系だから、フラッシュ系だから。
あとはバスケットゴールにシュッてやってシュートするやつとか、
ホッケーとか。
フラッシュゲームじゃないのか。
違うよ違うよ。
iPhoneにあったやつか。
あ、そうか。
初期の頃ってそういう系だから。
終字のアプリとか。
その終字のアプリ、
Appleの広告とかにも使われてたんだけど、
俺が中学の時の塾の先生が作ったらしいんだよね。
すごくない?
その時からスマホアプリ作ってて。
2010年くらいか。
その人はめちゃめちゃ業界の有名人だったらしいっていうのだけ聞いて。
実はすごかったんだ、あの人みたいな。
あの時の爆発的な流行りに近い成長率。
成長率だからね、ボリュームじゃないからね。
確かに確かに。
今のスマホの時はね、みんなが携帯使ってる上でのだからね。
市場規模ベースだったらね、
10年後っすよ、2035年とか。
でも8兆ドルの市場規模だから、
自動車とかが確か5兆で、
自動車市場よりも大きいっすね。
21:00
え?強化学習で?
強化学習市場が。
じゃあもうやるしかないじゃん。
8兆ドル。
これでもあれなんすよ、
今後ロボットの成長が著しいからそこにくっついて、
絶対必須の技術として売り出されるというか市場として大きくなっていくから、
ロボットの流行りとともに成長します。
ロボット自動運転か。
そういうことか。
自動運転ね、日本のチューリングとかめっちゃやばいっていうもんね。
AI強いっすよ。
やばいよね。AI系の人みんなチューリング飯食ってるわ。
いやー言ってますね。
SNSで見る。
言ってチューリング飯。
興味ある人はリファラルで。
そうでもそういう市場っすよ。
すごいね。
本当にドラえもん生まれるんじゃないですか?
ロボットができて自立型のゲームが賢くなって、
伸びたくんが増えますよね、そうなったら。
3サイズ120、120、120だっけ?
なんだっけ?118?あれ?
ドラえもんの?
ドラえもんの90、90、90?
なんかそんな感じだよね。
フォルムはもうちょっと改善できると思うけどね。
そっち系ね。
もうちょいスラッとした系ね。
だと思うけどな。
人間すぎても気持ち悪いけどな。ちょうどいいのかなドラえもんが。
ドラえもんくらいがちょうどいいよ。
だからAI時代の生き残りの方針は伸びたくんが正解かもしれない。
ダメ、ダメダメなんだけど愛されるっていう。
そうだね。
あれが正解。
一番だから伸びたくんが文化的な生活してますよね。
漫画読んで編み物して射的打って。
だからみんなああなればいいんですよ。
仕事とかどうでもよくて。
好きなことをする。
未来予知。
未来予知ですね。
だからまあジョッチの息子が伸びたくんみたいになっても怒んないでくださいね。
確かにあれが正解なのか。
はい。
我慢しよう。
そんなところっすね。
俺らはじゃあ今から機会あれだね。
教科学習に舵を振ればいい。
舵を振ってドラえもん作るイメージでやっていけばいいんじゃないですかね。
OK。そうしよう。
雑な終わり方になっちゃったけど。
まあでも面白いですよ教科学習は手元でシミュレーター作って動かしてみて
なんかちゃんとこいつ自分で賢くなってるなとか。
一回俺もなんかテストしたことあるわ。
勉強し始めた時にこうやってやるんだみたいな。
オープンAIチャットGPっていうのが
そのオープンAIジムっていうのがあって
それを自分のPCにインストールしたら
簡単に教科学習のデモみたいなのが作れるものがあるんで。
そうなんだ。
24:01
そうそう。
昔ほうきを手に乗せてこうバランスとって遊んだじゃないですか。
掃除の時間に。
ああいうのをAIでやってみるみたいな。
手の動かす方向をコントロールしながら
棒を常に立て続けるみたいな。
ああいうのを教科学習に入れるんで。
面白いそれ。
実装してみると面白いですね。
いい話聞いた。やってみよう。
やってみてください。
あ、そうだ。
お知らせが。
はいはい。
あれですね。
この回からすると
4回前かな。
1、2、3、4回前かな。
4回前だよね。
アクロスレシピ来て、
ナカムが来て色々こう
AIの学習の話をしてもらったところで
なんかイベントやっちゃうみたいな話をしたじゃないですか。
しましたね。
やります。
早いね。
行動が早い。
早かったよね、俺ね。
早かったですね。企画書ができて
すぐ社内調整して
早かったですね。
で、だから
もう
ざっくり言うと
DNAソフトバンク
共同のイベント
で、仮題
今んところの仮ね
AIのビジネス活用をどう進めるのかっていうのを
やる。
日程が9月の27日。
金曜日。
うん、金曜日。
だからフライデーナイトをぜひ
で、その中で
この間ね、この中のエピソードで話してくれた
アクロスの話も聞けるし
DNAの社内でやってる取り組みとか
っていうのも分かるしみたいな。
で、そこに加えてなんか
パネルディスカッションみたいなところで
俺らがここで話してるようなところをまた別の角度で
話してもらうみたいな感じで。
はい。
タッチャンは登壇しないけど
私は基本ずっと司会と
モデレーターを
そうですね。
やっております。
僕は会場で隣のデータ分析屋さんのTシャツを着て
話聞いてますね。
9月だ、9月だからまだ暑いからちょっと半袖作る?
ああ、あり。
長袖しか持ってないからね。
ありあり。
っていうので、やるので
で、まあ参加者が増えた時はちょっと抽選になっちゃうから
早めにちょっと申し込んでもらって
っていう感じですかね。
概要欄に貼っておきましょう。
もう申し込みフォームは
できますよね、きっと。
このタイミングでは出てる。
だからぜひ皆さん遊びに来てくださいというこの
ちゃんと企画としては会社同士でのコラボにしてるんだけど
もうこうしこんどはなはだしいと。
27:01
誰も損してないよね。
いやなんかなんなら俺
こんなのやれたら面白くないって話してたんですけど
ってこの間の収録の後会社で言ったら
俺以外の会社の人の熱量が上がりすぎて
実現したみたいなところの方がでかい。
嬉しい嬉しい嬉しい。
え、これってこれだよねみたいなのが立て続けに来て
よし、じゃあもうやりましょうってなったんで
しかもね、第2回検討もね進めたら
連続で参加すると面白かったり
第1回に行けなかったとしてもみたいなのね
ちょっと考えたりもするから
いろいろやっていきましょう。
なんかこのポッドキャストをやっていた
意味が出始めましたね。
ようやくね、1年半でね。
いやー嬉しい限りだ。
はい、ということで
まあこうやって俺は結構他社含めた
教材イベントみたいなのここからね
たぶん今年度中は
まだあと複数回やっていくんじゃないかなと。
前だからブレインパッドのやるよみたいな話
チラッとしたよね確かここで。
やってましたね。
あれのだから続きとして今回
DNAかけソフトバンクにして
で今それの次の企画のね
交渉もちょっとしてる別の会社に
っていうのでちょっとデータサイエンス系の
イベント興味ある人は
ぜひぜひ遊びに来てくれたら嬉しいです。
概要欄に貼ってあるんで
ぜひよろしくお願いします。
次回は
次回は
AIのビジネス活用を
書籍化するっていう動き
高段車で進めてるやつあるよって言ってたのの
どんな構成にしようとしてるかとか
進捗どんな感じで
ちゃんと進んでるのかみたいな話とか
押しようかなと。
今のところ順調。
ほんと?遅延ない?
ギリ。
9月のどうなってるかですねまた1ヶ月後。
そうね。
ちょっと楽しみにしておいてもらって。
はい。
じゃあそんな感じで。
はい。
隣のデータ分析屋さん今回も面白いと思ったら
フォロー・レビューよろしくお願いします。
番組の感想や質問は
ハッシュタグとなりの分析屋
隣のがひらがなで分析屋は漢字でお願いします。
また概要欄に貼ってあるお手紙フォームから
コメントを寄せてください。
ではまた。
バイバーイ。
