データセットの作成と学習の時間
はい、どうもDMM.comの亀山です。亀っちの部屋ラジオ始まります。
サブMCの高橋です。今週もよろしくお願いいたします。
ゲストをお呼びします。前回に引き続き、東京大学教授の松尾豊さんです。
よろしくお願いします。
はい、よろしくお願いします。
はい、どうも。前回はネホリホルショーバニーっぽい形で聞きましたけど。
すごい、なんかガチで気になってることいっぱい聞いてるんだろうなっていうのが伝わってきました。
いやいや、松尾さんはあちこち広域とか川上さんとか、話してるの聞いてたけども。
なんかサイクパス同士の未来を語ってたけども。
そうそう。今回はちょっと身近なあたりで、聞いてる人は経営者とかで、サラリーマンの人多いんで。
もうちょっと哲学的な部分からちょっと俗っぽいところに行こうかなと思いました。
本当にビジネスの話を聞いてましたね。
ちょっと素朴な質問で、AI時代っていうのは結局古い情報しかないって聞いたんだけども、それはなんでですか?
それはですね、データセットを作るのが大変なのと、学習に時間がかかるからですね。
例えば今、GPT-3とか4とか、あれWebのデータで学習してまして、あと本とかも入ってるんですけど、Webがやっぱりボリューム的にはかなり大きいんですよね。
このWebのクロールのデータは集めて、それをちゃんといらないところを取り除いて、ある程度きれいにして学習できるようにしてるということなんですけど、
やっぱりそれを新しい情報をクロールして、それをまた整形してデータセットに加えるっていうのはちょっと手間なので、Googleみたいな頭あったらすぐできちゃうと思いますけど、それを学習用に整備するのが少し大変っていうのが一つと。
あとGPT-3.5なりGPT-4なりって、やっぱり学習させるのに何週間とか何ヶ月とかかかるんですよね。その間ずっとGPを待ちっぱなしなんですね。
なので、そこでもまたタイムラグが出ちゃうという感じで、そんなにバッチで毎日アップデートできますみたいな感じじゃないので、やっぱり何ヶ月とか1年2年っていうのは遅れちゃうっていうのはありますね。
なんかパッと聞いたらすぐ答えてくれるから、もうあっちこっちインターネットバーッと見に行ってるのかと思ったけど、やっぱりデータを身にかすまでにちゃんと形を整えないと見れないってことですね。
そうです。学習させる際にはもうあらかじめクロールしておいて、整形して使うっていうことですね。
Bingとかは検索結果をプロンプトに入れて、それで答えるようになってるので、新しい情報も分かった上で答えてくれますけど、元のLLM自体には新しい情報が入ってないっていうそんな感じです。
なるほど。じゃあそこに時間かかるなら、例えば今日の天気予報も加えたデータが欲しいと思ったときは、それはもう検索で引っ張ってくるのと、またって表現?
RAGって言いまして、Retrieval Augmented Generationって言うんですけど、例えば今日の天気教えてってBingとかで言うと何が起きるかっていうと、今日の天気で検索するんですね、まず。検索すると気象庁のページとかYahooのページとかそういうのがヒットしてくるので、その内容を読み込んでプロンプトに入れちゃうんですね。
プロンプトに全部入れちゃって、その上で今日の天気は何?ってこれが質問で答えは?ってやると、答えは今日だったら曇りですとか晴れですとか、そういうのを答えてくれるっていう、そんな感じの仕組みですね。
なるほど。じゃあちょっと混ざって情報の機能を使って表現する?
じゃあ見た側からしたら、いかにもそれなりに答えてくれたような感じで。
そうですそうです。
そういうぽく言ってくれるんですね。
人間で言うと、記憶してるわけじゃないけど、とりあえず今から質問くるからこの資料読み込んどいてって言って資料渡されて、うーんって読み込みましたと言うあとに質問すると、一応読み込んだ内容は答えられるようになってるっていう、そんな感じです。
なるほどね。じゃあ今までの過去の情報も含めた中に今のやつちょっと加えて。
そうです。
AI技術の社会的影響
いろいろ言い合っちゃってくたんで。
今どうなんですか。では日本自体はでも最近、日本ってやたらAIで行くぞみたいなちょっと政治的に盛り上がってるんですけど、これはどうなんですか。当面アメリカとか他の国とかヨーロッパとか特に。なんか政治的にちょっとほら遅れそうな気がするとかあるんですか。やっぱり日本の方が先行きますよみたいな。これどうですか。
全世界的にこの生成AIは今盛り上がってるので、珍しく日本も世界と同時に盛り上がってるっていう感じだと思ってまして、インターネットの時とかスマホとかですね、なんか日本だけやたら遅いみたいな感じでしたけど。
今回はちゃんと日本も世界と同時に盛り上がってるって、その点は僕は結構褒めてあげていいんじゃないかなっていう。
じゃあそういう政治家の方とか経営者の方とか、技術を非常に正確に理解してるかっていうと、そんなこともなくて、やっぱりなんか生成AIすごいからなんかできるんじゃないかなっていうノリで言ってる面はあると思うんですけど。
ただ日本がやっぱりデジタルがあまりに進んでないので、ここまで。そういう意味ではデジタル、広い意味でのデジタルを推して悪いことは全くないと思ってまして、だから生成AIっていうのをきっかけに、チャットGPTとかやっぱり入りやすいので、そういうのをきっかけにちゃんとデジタル化してって、
効率化していくとか、新しいビジネスが生まれるとかいうことがどんどん起こっていくといいんじゃないかなというふうに思ってまして、そういう意味では悪くないんじゃないかなというふうに思いますね。
まとめると、あんま深く考えてないから、いこいこって言ってるけども、これが社会的にもし与える意見がすごくクロートアップされだしたら、一気に手がすくむ可能性はあるってことですね。
そうですね。ただ僕はですね、例えば生成AIを医療と結びつけたいと思ってて、医療と金融と製造と3つ言ってるんですけど、特に医療で、今医療費がどんどん大きくなってて、国の予算でも44兆円ぐらい使ってるんですよね。
ところが生成AIうまく使うと、例えばお医者さんの生産性をすごい上げて、1人のお医者さんが見れる患者さんを増やすこともできるだろうし、医療事務をですね、相当効率化することもできて、医療費を減らすとか、これ以上増えなくするとか、そういうことも多分可能なはずなんですよね。
これからますます高齢化していくので、このままいくと持たないっていうのはやっぱり多くの人が感じてるところで、そういう中でこの生成AIをうまく使って医療の効率化、コスト削減を進めていくっていうのは結構やっぱり日本にとって重要なことなんじゃないかなと思ってまして、そういうことにつながっていくといいなと思いますね。
でも当然のごとくそうなると、いろんなホワイトガールであろうが、医師のほうであろうが、医師会とか労働組合とかあるじゃないですか、やっぱりその辺が。
その辺で途中で反発きそうな予感はありますよね。
いやー、そうだですよ。
たぶんどの国も抱えてる問題だと思うんですけど。
ある程度のところまではいけると思うんですけど、やっぱり途中でそういう反発とかが起きるのかもしれないですよね。
そこを乗り越えていけるかどうかっていうのはあると思うんですね。
いや結局のところ、僕らもやっぱりこの辺が実際問題、これが事前にとっていいかどうかちょっとわかんないんですけど。
ただまあ、どちらしても流れは変わらないなっていうイメージがあるので、学べしかないなと思ってはいるんですけど。
そうなると他の国も、こぞって学びながら止めながらみたいな話、ぶつかり合いじゃないですか。
だからやっぱり国民の投票の問題もあるし、あと国家として進めないと負けちゃうよっていうのもあるじゃないですか。
そうですね。
著作権とAIの開発
どうなんですか、日本自体。でも今、こないだの中でこれを見たら著作権に関しては日本ってちょっと緩めじゃないですか、そのAIが読み込んでいいっていうのは。
なんかAI開発に関してはやっぱり著作権が30条の4っていうのがあって、それでAI等の情報解析を用いる場合には、この著作権が及ばないっていうか、使っていいってことになってるわけですけど、
それは開発上はとてもやりやすいことなんですよね。
ただ、いろいろと気を使わないといけないことはあって、大きく画像と言語と生成AIを2つに分けられるんですけど、画像の側がやっぱりちょっと顕著でして、
日本ってクリエイターの方が多いので、クリエイターの方が自分たちの作品が学習されて似たようなものを作られるっていうのに対して、やっぱりすごくそれが良くないんじゃないかっていうことをおっしゃってて。
その通りなんですけど、そこら辺の画像コンテンツ系に関してどういう対応していったらいいのかっていうのは結構重要な問題だと思いますね。
言語のほうはまだましでというか、画像ほどではないんですけど、もちろんいろんな作家さんとかおられるんで、そういう問題もありますが、活用の幅がすごく大きいので、どんどんいろんな形で業務効率に使っていくっていうのはやっていったほうがいいと思いますけど。
画像のほうはちょっといろいろと考えないといけないことが多いなという気がしますね。
今から法の改正もどんどん始まるんでしょうけど、原点だとなんとなく聞いて話したと、海外に比べると日本のほうが読み込んでよいと。
日本でそういった開発しようかっていう動きもあるんですか?
少なくとも海外のメディアではそういうふうにかなり出てまして、有名になってます。日本のその法律はAIの環境に非常に適してるっていうのが海外のメディアでも相当出てるので、
直接の関係があるではないと思いますけど、
ディープウェルのですね、翻訳ですけど、それドイツが本社なんですが、日本にも開発拠点を送ってこの前発表してまして、そういうふうに言うと、
現時点の法律的には、日本はむしろ海外からのAIの投資対象というか、地域的になりやすい国であるというふうに考えております。
そうなんです。そういうふうな戦略を取るっていうこともあるとは思います。つまり、AIの開発拠点を日本のメディアが持っている国であるというふうに考えております。
そうなんです。そういうふうな戦略を取るっていうこともあるとは思います。つまり、AIの開発拠点をできるだけ日本に置いてもらって、日本の方を雇用してもらい、日本のデータセンターを使ってねと、そういうふうにしていくっていうのも戦略としてはあると思います。
ただ、やっぱりさっきのクリエイターの方の問題とか、あと今、アメリカとヨーロッパがそれぞれ、アメリカは自主規制の形で、ヨーロッパは結構強い国の規制の形で、全体のGDPRのような形で規制を強めようとしていて、
その中で日本だけがちょっとそれと違うポジションを取るっていうのはやっぱりやりにくいんですよね。今、G7で広島AIプロセスっていうので、日本がリーダーシップを取っていかないといけないという状況にもあるので、日本だけ変わったことをやるっていうのはちょっとやりにくいので、
世界の動きの中で、ちゃんとバランスを取っていくっていうふうにやる必要があるんじゃないかっていう気はしますね。
その辺は、そこの会議ではなんとなくうちだけ好きにやりますというわけにはいかないって感じになります。
そうなんです。何も気にしないでいいんだったらそういうと思うんですよ。ありなんじゃないかと思うんですけど、やっぱりいろいろと気にしないといけないことがたくさんあるんですよね。
中国とかどうなんですか、今。
中国は多分独自でやるじゃないですかね。既に国内で開発力がすごくあってレベルがすごく高いですと。
LLMに関しては中国の思想に反しないものっていうふうなことが既に言われていて、国の管理がすごく強いとは思いますね。
国際的なルールに乗ってくるかどうかっていうのはちょっとわかんないっていう感じですね。
でも中国の場合だったら、そこは前向きに動いてるけど、国には逆らうなっていう基本原稿が入ってるわけですね。
そうですね。レベルがめっちゃ高いと思います。
最近ウェブスリーとかもアメリカがぐちゃぐちゃってなったので、日本は逆に逆を見たりしたことがあったんですけど。
意外とそっちの分野は、え、日本もしかしてこれから未来が可能性あるの?みたいな。
思ったりするんですけど。意外とまたすぐ一気に政治も変わるのかなと。反対に思ったりするんですけど。
いろいろと考えないといけないことがあって大変だなという感じですね。
AIの進展による未来の変化
この数年ぐらいって結構変わると思います、やっぱりここは。
やや変わると思いますね。今の生成AIの技術だけでも相当変わると思いますし、これからまた技術の進展が次々と起こっていくと思いますし、相当変わると思いますね。
5年後、10年後とか聞かれるんですけど、なんかもう想像できないっていう感じがしますね。
松尾先生でもそうなんですね。
全然わかんないですよ。
僕ら人として想像力がないじゃないですか。
ある意味、AIになったとしても経営者自体が不要かという必要だと思うんですよ。
松尾さんみたいな立場的なものというのも。
どうしてもいろんな、どう指示を与えるかということは慣れているところがあるもので。
ただ逆に言うと、組織自体が大きければ大きいほど厄介な話があるじゃないですか。
そうですね。
その中で幕白人がどうやって、今機関を煽ってるんですけどね、現場にも。
昔20年前にヤンキーにIT勉強しろって言ってたみたいな気分で、今言ってるんですけど。
そうなんですか。
でもたぶんやるやつとやらないやつが出てくるのも理解してるんで。
4T2とかもやっておられますし、AIの勉強はぜひやっていただきたいですね。
今やっておくと新しいことがどんどん見えてくると思いますね。
結局どう変わるかわかんないけど、勉強し続けるしかないし、
若い奴は今から未来が長いから、俺とか逃げ切れるかもしれない。
今の20代だとちょっとどうしようもないでしょ。逃げようがないでしょ、このAIとか。
そうですね。僕も学生には絶対勉強しておいたほうがいいと言いますし、
文系の方でも文系とかあんまり関係ないからっていう、そういうAIとかと融合した学問になっていくので、ぜひAI勉強してくださいと言いますね。
とりあえずみんなどこから手をつけたらいいか、みんな結構悩んでると思うんですけど、ニュースピックスの聞いてる人たちに。
みんな不安だけ持ってるんですか、どっちかというとね。
AIの学習と活用方法
とりあえず何か目先、これやっといたらみたいなのあります?
なんかですね、ChatGPTとかステップディフィジョンとか、セセアイまず試してみるっていうのが一つで、
ChatGPTとか特にですね、文章を書くときとか、メール書くときとか、文量を増やすのにすごい使えるんですよね。
あとブレストするときに、自分一人でChatGPTとブレストして、どんどん考えを広げるとかですね、そういうのもできて、そういうのをぜひやってほしいのと、
あともう一個は、もしプログラムちょっとでもできる方はChatGPTのAPIを使ってみてほしいですね。
これすごい簡単ですし、APIで何か呼び出すだけで答えが返ってくるんですが、
プロンプトの書き方変えると答えの内容とか質問変わって、プログラミングしてるのか日本語をいじってるのか、
だんだんよく分かんなくなってくるんですけど、それがすごい新しい体験なんですよね。
APIさえ作れれば、これアプリにしたければアプリにしたらいいし、Webのサービスにしたければサービスにしたらいいし、
いろいろと発展系があるんですけど、僕が思うに一番簡単で一番面白いプログラミングって感じなんですよ、今までの中で。
こんなに簡単に、こんなに結果がすぐ出ることってあんまなくてですね。
ぜひそういうのやってもらえるといいかなと思います。
楽しいよと、そこは。
楽しいです。めちゃめちゃ楽しいですね。
プログラマーじゃそこで楽しめと。
一般の会社に企画書を出す人間は、上司に大量に書けって言ったときに、内容を膨らますにはちょうどよいと。
そうなんですよ。膨らませるには。
もし仕事をやってる気にさせて、仕事はこなしておいて裏で勉強しろとか。
それが手っ取り早い感じですか、とりあえず。
どうですか、学生とかも卒論とかばんばん使ってきてます?
あんまりそういうふうには言わないですけど、使ってるんでしょうねっていうのと。
うちはやっぱりAIの研究してるので、そういうLLM自体の研究とかもいろいろやってて。
例えば面白いのが、LLMに自分の答えが正しいかどうかを推定させるっていうのがあるんですね。
そうすると、自信がなく答えてることもあるんですよ。自信があって答えてることもあって。
それがですね、GPT-3よりGPT-3.5、GPT-4のほうが賢いわけですけど、自分が賢ければ賢いほど、やっぱり答えの正しさの推定も正しくなるんですね。
それから問題がですね、自分が答えてる問題が簡単であればあるほど、答えの推定の精度、正しいかどうかの推定の精度も上がってくるんですよ。
なので自分が賢くて問題が簡単だったら、これは合ってるわとかこれは間違ってるかってほぼ当たるんだけど、
自分があんまり頭良くなくて問題も難しいと、これが合ってそうかどうかすらわからないっていう風になるっていうですね。
はいはい。
まあなんか人間もあるよねみたいな。
確かに。確かにわかりますよ。僕はプログラム書けないから、プログラマにこれやってって言ってたんだけど、これうまくできてるのかよくわかってないです。
そうなんですよ。そういう点で頭悪いとね、ほんと困るんですよ。
言語モデルの使用方法と未来の展望
そういうのとかは普段人間っぽいなと思いながら、そういう結果が出てたりとかですね、なんかすごい面白いですよね。
でも確かにね。僕らもビジネスやってるとデータの解析とかいろいろ持ってくるんですけど、そもそも何のために持ってきたのとか、いろいろ問いだらすとですね、そこが理解してないまま仕事だけしてきたような感じで持ってくるときもよくあるんですよね。
なるほど。
もっともらしいと言ってたけどこれ意味ない。そもそもみたいな。どっちの立場もわかりますわ。わかるときもわからないときも。
なるほど。
あとなんかタスクをですね、何個かに分けてそれぞれでこなしてから全体をつなぎ合わせるみたいな。だからLLMを何回も使うんですね。
一回言って答えさせるんじゃなくて、その問題を分解させてからそれぞれに答えを出して、これをまた統合するっていうのをやらせるっていうのを何回も使ってやるとか、
あとLLMに答えさせてからその答えが正しいかどうかを答えのチェックをさせるとかですね。それから日本語で考えるより英語で考えたほうが頭がいいので、日本語を一回英語に翻訳してから英語で考えてそれをまた日本語で翻訳してっていう風に3回適用するとかですね。
そういうやり方もいろいろ研究されてて、面白いというかなんというか。
確かに論文とか小説とかも海外とかに出すときってのもいいかもしれません。そういうふうに。
そうなんですよね。
例が上がってきそうですよね。
そう思いますね。こういうツールもいっぱい出てきそうですね。
今回はAIが世界をどう変えるかというよりも、えらい身近なところばっかりの話をしましたけど。また今度はもうちょっと5年後10年後の未来が見えてきたらまたぜひ一回教えてください。
未来はわからないっていう結論でしたね。
そうっすね。どうなるか。とりあえずやれることはやりましょう。ということで、とりあえず勉強します。
みなさん今日はありがとうございました。
ありがとうございました。
![[3月24日:速報回]新入社員へのAI禁止令は時代錯誤か？「AIで作ってから逆引きで学ぶ」次世代エンジニアの学習メソッド(ep.54)](https://image.listen.style/img/vb6V5CAoUaux5a1ugiuD23WcHNEdm1JNkmUbnYJnvxU/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfbm9sb2dvLzQ0NDY0NDM3LzQ0NDY0NDM3LTE3NTg3ODQ0NjE1OTctMDY4ZTlkNTVmNjMxZC5qcGc.avif)
