まず最初ですね、これは4月23日にマイクロソフトから発表されたオープンソースモデルでして、
PHY3というのが公開されました。
はい、PHY3ですね。
これが3つサイズがあって、ミニ、スモール、ミディアムって3つサイズがあるんだけど、
ミニが38億パラメータ、スモールが70億パラメータ、
ミディアムが140億パラメータということで、
大規模言語モデル、LLMよりもパラメータとしては少ないんだけど、
高品質なデータでトレーニングしているため、主要なベンチマークにおいて、
同じサイズ、またはより大きなサイズの言語モデルよりも大幅に優れたパフォーマンスを示したと言われています。
これをマイクロソフトが出してきたっていうことですね。
これ、参考までにChatGPTどのくらいのパラメータなのかお伝えした方がいいんじゃない?
そうね。GPT 3.5 Turboに関しては、パラメータ数は公表されているわけではないんですが、
だいたい175億って予想されていて、
175億。
はい。GPT 4 Turboだと1兆超えてくるみたいな。
ちょっと桁違いですね、1兆。
そうですね。文献によると100兆とか書いてあるところもあるけど。
実際は多分1兆いくらぐらいなんじゃないかって言われている。
じゃあ3.5でも175億。
そうだね、175億だね。
その中で、今回出たPHY3の一番小さいミニサイズが38億と。
38億。
今回公表されたデータでいくと、
PHY3のSmall、70億パラメータのモデルがあって、
これがこのGPT 3.5 Turboよりもいいパフォーマンスを発揮したというふうに言われている。
なるほどですね。
70億で175億を勝つってすごいよね。
そうだよね。
本当に実際勝ってるの?っていうのは一旦置いといたとしても。
まあそうね、ベンチマークだけだからね。
実用的かどうかっていうのは一旦置いていても、
ベンチマークはいいと。
理論値はいい。
理論値はいいっていう数字が出てる。
PHY3 Miniは英語のみに対応しているので、
残念ながら日本語などの多言語には対応していないということで、
これはちょっと残念な点だね。
他にもやっぱりPHY3のデメリットというか注意点みたいなものもあって、
PHY3はやっぱり小型モデルっていうこともあって、
事実を保持する能力が低くなるっていうことから、
事実知識ベンチマークの数字があんまり良くないという結果を示しているというところがある。
いわゆるこのPHY3っていうのはLLMではなくてSLM。
大規模言語モデルではなくて小規模言語モデルっていう括りのものになってくるってことだよね。
そうそうそうそう。
この小さい言語モデルはトレードオフとしてもちろん性能は低くなるけども、
ある一定の特化したタスクに関してはベンチマークを超えるみたいなイメージだよね。
そうだね。
PHY3だとコーディングとか数学、あと言語処理の分野で顕著に高いパフォーマンスを示したって言われてる。
結構トレードオフが重要で、
株式会社カタナの森岡つよしさんも言ってますからね。
人間は弱みを何とかしようとしても成果出ないから、成果出すんだったら強みを伸ばせと。
そういったことをAIにもやらせてるという感じですね。
クロードオーパスとハイクのデモンステレーションみたいのをTwitterで見たんですけど、
ある特定のタスクを全部オーパスにやらせるんじゃなくて、オーパスに支持するんじゃない。
支持させたものをオーパスがハイクに支持するんだよね。
ハイクがそれをバーってやって、またオーパスに戻すんですよ。
いわゆる一番性能のいいオーパスってやつ。
そのオーパスが全体をバーって見て、お前もっとここを直してこいってハイクに低いモデルに支持するんですよね。
なんかその光景会社で見たことあるな。
会社なんですよこれ。
めちゃくちゃできる経営者が何でもかんでもやってたらめちゃめちゃコストも高いわけじゃないですか。
時給も高いし。
無駄にすごい食っちゃうんですけど、そうやってタスクを分解してできる人がタスク特化型の言語モデルに支持することによって最適なコストで、しかもいい出力が出せるっていう会社組織をまさしく相互関係的にやってると。
だからLLMからSLMに支持をするみたいな、そういう未来が待ってるかもしれないよね。
そうですね。待ってると思いますよ。
やっぱこのSLMであるメリットって他にもあって、やっぱなんせローカル環境で動くっていうところが大きいかなって思ってて。
実際にこのPHY3もパソコンに搭載されてるようなGPUで動くっていう風になってて。
だからマイクロソフトもインターネットにアクセスしにくい可能性のある農業分野などで低コストで活用できるんじゃないかみたいなことを言ってるっていうね。
そんなことも言ってましたね。
このSLMのいいところって、今言ったようにローカル環境で動くっていうところなんですけど、やっぱり小さいリソースで動かせるっていうのが利点だよね。
うん、そうだね。
だからローカルで動かすってことはオフラインだったりとか、もっと小っちゃい小型のもので動かせるみたいな感じになるので、現在はPHY3はiPhoneでも動くぜみたいな、そんなのもあったよね。
うん、なんかあったね。
論文でiPhoneでも動くよみたいな。
iPhoneじゃなくても時計だったりとかIoTデバイスとか、そういったようにどんどんAIを搭載していくと、世界がもうAIだらけになっていくと。
至るところにAIがいる、そんな世界になるんじゃないかと。
そういう背景を示してるよね。
そうね、だからやっぱりこの小型化っていうことが本当に可能性が広がっていく感じするよね。
いや、しますね、非常に。
たつきが言ってくれたように、この農業分野を具体的にAIで動かした時にどんなことができるかと。
そんな話をすると、まず病害虫の診断と管理ですね。
病害虫っていういわゆる害虫をリアルタイムで診断して、こういう対策を取った方がいいんじゃないかみたいなのをAIがすることによって、
無駄に農薬を使わなくても良くなったりとか。
ああ、そうだね。
また収穫予測をしたりとか、作業計画をしたりとか、製品っていってね、肥料を効率的にまいたりとか。
そういったことをより効率化できると、ローカル環境で小型になっていくことでね。
さっきの話じゃないですけど、ロボットが今すごいじゃないですか。
ガチの人型ロボットみたいな。
すごいよね、発達がね、最近。
ああいう人型ロボットにも搭載することができると、いわゆる安く買えるよね。
その他にもLLM1個置いといて、安いロボット置いとけば、後はこのLLMがロボットに指示をして、超最適化された計画をロボットにやらせるみたいな。
すごいよね。ロボットは農業特化型ロボットみたいな感じで。
家帰ってきたら、物体のないLLMがあるわけじゃん。
何時何分の作業が終わりましたって家帰ってきたら、そのLLMが次はこれこれこういうことして分かりましたって言って、農業特化型ロボットが死に行くみたいなさ。
そういう未来がちょっとパッて今見えたね。
結構イメージしやすいよね。
イメージしやすいね、確かにそれ。
だから一家に一台LLMがいて、一家に一台それを指示を受けるロボットがいるみたいな。
あとはあれだよね、ロボットはジャンルごとに何台かいてもいいかもしれないね、仕事でさ。
農業系と家事とみたいなさ。
そうだね。
細かい修正とか、そこそうじゃないよみたいなのを監視するSLMがIoT化されてて。
とかその冷蔵庫とかにAIが入ったら、こいつ腐りそうだよとか、今これがあるからこんなレシピ作れるよみたいなのをLLMに上げてくれるんだよね、吸い出してくれるみたいな。
そしたらLLMが吸い出した情報をもとに、じゃあこういうのやろうみたいな。
それをロボットにまた指示して。
それとも完全なる全自動化。
こういった未来がSLM、これが進化していくことによって待っていると。
結構有名あるよね、面白いね。
すごいね。
なんでこんだけLLMで大きく大規模にできるのにわざわざ小さくする必要があるのかって思うけど、そういう未来が待ってるって考えると重要な動きなんだろうね、これは。
めちゃくちゃ重要ですよね。
人間とほんと近い感じするよね、動き方が。
結局人間の形に行き着いちゃうんだね。
なんか前話して、なんかの話の時も結局人間みたいになるんだね、みたいなところに接触したけどさ、やっぱそうなるんだろうな。
最適解なんだろうね、これがね。
だからこのファイスリーが出て、小型化して、もうこれはね、スマホ代なんなりに入ってるのはもうファイスリーじゃないかと言われてた中、なんとね、あれがぶつけてきたわけですよ。
あれがね、出てきましたね。
やっぱり問題点もあって、これに関しても実はファイスリーと一緒、似たような感じで、安全性の部分の保証がないっていうのはもう公言してて、
ユーザーのプロンプトに応じて不正確、有害、偏った内容とかそういったものを出力する可能性が捨てきれないと。
だからApple側も利用する開発者自身で十分なセーフティーテストを実施して適切なフィルタリングを実装することが不可欠だって言ってるところで。
だからやっぱりこの小型化っていうのは、そこの部分がどうしてもトレードオフになっちゃうのかなっていうのは感じるよね。
そうだね。トレードオフしながらも最適解を出していってるっていう状態だよね。
うーん、そうね。
だからここでね、前回のメタの配信でさ、何々VS何々みたいな話とかしてたけどさ、
ここに関してはもしかしたらやっぱりまたApple対Microsoftっていう怨念の戦いが復活するのかもしれないよね。
そののね、マッチもちょっと楽しみだけどね。
またそこでやり合うんだ結局みたいな。
プロレス見てる気分だよね。
そうね、確かに確かに。分かる分かる。
ちなみに、プロレスラーに例えると、MicrosoftとAppleは何になるの?
これはね、プロレスラーに例えると、もうこの二人ですね確実に。
これはね、橋本晋也と小川直也だね。
なるほどね。もう何度も何度もやり合ってこっちが勝ってあっちが勝ってずっと続けてひたすら。
むちゃくちゃ懐かしいわ。
これ分かる人絶対正体だよね多分。
確かに。
で、その二人の戦いをずっと見てきてる中で、オープンAI。
新座者として出てきたのが誰だ?これは。
まああれだろうな。新座者のオープンAIは、やっぱりもう今VV人気はしてるのは岡田和之かでしょ。
もう全然分かんないです僕は。聞いといてあれですけど。
ちなみに橋本晋也と小川直也と岡田和之間の接点何もないからね。
何もないの?
何もない。ただ今VVはしてるってだけだから。
なるほどね。そんな今VV来てるオープンAI、何か新しい発表あったんですか?
そう。実はこれはオープンAIから新しい発表があったわけじゃないんだけど、ちょっとにわかにいろんな噂が出てるっていうものがあって、それをちょっと紹介しようかなと思います。
これは謎の高性能AIモデルGPT-2Chatbotというのが登場したというニュースでして。
突然出てきたよね。突然出てきた。本当にね突然出てきた。これどっかの会社から発表されたとかそういうわけじゃなくて、
チャットボットアリーナっていうLLMの比較サービスみたいなのがあって、そこで突然このGPT-2Chatbotが使えるようになったという。
実際に利用したユーザーから、あれ?ちょっとこれめちゃくちゃ高性能じゃねえみたいな。
そう。なんかもうGPT-4とかアンソロピックのクロード3オーパスとか、それに勝るとも劣らないみたいな結果が出ているということで、みんなSNS上で騒いでるっていう感じだね。
なんかまあ劣らないというか、もう結構超えちゃってる感じあるよね。
そうね。なんかクロード3とかでこうまともな回答が得られなかったやつを投げかけたら、ちゃんと回答してくれて、あれ?みたいなね。
そんな感じ。なんか感覚的にはGPT-4がちょっと物足りない。オーパス、クロードオーパス行くと、まあ一般的。
で、このGPT-2は、あれ?なんかちょっと天才出てきたなみたいな。
なんかね、あれ?優秀みたいな。
あれ?みたいな。そんな感じのね、凄さがありますよね。
そうそうそう。しかもね、これ英語だけじゃなくて日本語の処理能力も高くて。
むちゃくちゃ高かった。
ASCIIアートとかも生成してくれるらしいからね。
それは知らない。ASCIIアートって何?
なんかほら、線とかで顔文字じゃないけどさ、こう大きい絵を描くみたいな。
昔のほら、にちゃんとかでよくあったじゃん。線とかさ、こういろんな記号とかを組み合わせて大きい猫の絵描いたり。
はいはいはいはい。
ああいうの。
へー。
あんなのも出してくれるらしくて。
それは凄いね。
そうそうそう。でもなんか今まだ利用制限がなんか8回かなんかの制限があってまともに使えないらしいよね。
うん、8回しかないって言ってたね。
ただまあ性能だけで見ると意外とすごいかもしれないっていうもので。
名前が注目でGPT-2チャットボットということで、あれGPT-2って昔あったGPT-2かなみたいな。
思われるんだけどこれはもう名前は似てるだけで全く性能としては似て非なるものという形で。
これね、ハイフンが元々ついてるんですよね。GPT-2ですよね。
そうGPT-2っていうのが元々のGPT-2。今のGPT-4とかGPT-3.5とかの同じ並びでGPT-2なんだよね。
なんだけど今回のはGPT-2っていう、ハイフンなしっていうね。
ここにね、コナンくん的なね、推理が。
コナンくん的ね。
そうそう出てくる可能性があって。
でも実際これトークン体系としてはオープンAI系を使ってるらしいので、
オープンAI系のモデルであることは確からしいということで。
まあオープンAIだろうって感じだよね。
まあだろうなって感じはするよね。
だから噂ではこれオープンAIがアップデート予定のGPT-4.5かもしくはGPT-5あたりをテストしているベータ版なんじゃないかなんて噂も出てるという。
で、最近公開された論文だとGPT-2が特定の分野で他のモデルよりも高性能であることが示されてるっていう論文が出てるのよ。
だから一定に絞ればそこだけ高性能になるみたいな。
はいはい。
だからGPT-2のアーキテクチャをベースにGPT-4で生成したデータセットで学習させたモデルみたいな可能性がある。
なるほどね。
そう。だからGPT-4.5なのかもしくはGPT-2の改良版なのかっていうのでネットで結構ザワザワしてるっていうところがある。
ザワザワしてましたねこれは。
そう。で、2020年4月30日、サムアルトマンがXで私はGPT-2に愛着があるっていうポストをしたわけですね。
しかもこれがGPT-2と表記したポストを削除してわざわざGPT-2に表記し直して投稿するっていう。
やはりこう、配布を取った表記で投稿し直したってことだね。
投稿し直したというね。ちょっと意味深すぎるよね。
このことからこのGPT-2チャットボットはやっぱりオープンAIが絡んでるからなんじゃないかっていうふうに言われてるわけですね。
プロンプトインジェクションを特定のLLMにやると大体同じエラーというか吐き出させませんよみたいなのが返ってくるんだけど。
GPT-2にも同じようにやったらGPT-4と同じ回答が返ってきたから、たぶんそうでしょみたいな感じだった。
たぶんそうでしょみたいな。
サムちゃんの臭わせ投稿があってね。
サムちゃん最近臭わせ投稿すごいするからな。
分かんないよね。何を臭わせてるのか分かんないよね、一瞬待って。
6月に5出るらしいぜみたいな話もあるしね。
なんでこれを今回の回で話したかっていうと、これはもう俺の個人的な予想なんだけど、
これ意外とオープンAIがオープンソース化に乗り出そうとしてる伏せきなんじゃないかなと俺は個人的にちょっと思ってるんだよね。
オープンAIだしね、名前が。
名前がオープンAIだしね、オープンAIなのにクローズドっていう。
だからこそでもやっぱりオープンソースの流れ今ブームきてるじゃん。
だからこのGPT-2は今のモデルから2個ぐらい前のモデルだから公開してもいいんじゃないのみたいな感じで、
そこにデータセット加えたものをオープンソース化させるみたいなことを何かしようとしてるんじゃないのって俺は個人的にちょっと睨んでる。
睨み聞かせてましたね今目がね。
見えないけどね。
耳ではちょっと届けられませんが非常に睨んでましたね今。
ただこれはあくまで俺の個人的な予想で、
実際巷ではどう言われてるかっていうと一番有力な説はこのGPT自体が一つ上の世代にアップグレードされるんじゃないのみたいな。
今までのGPT-1、2、3、3.5、GPT-4、これはGPT-1っていう第一世代。
次のGPT-5とかからGPT-2っていう第二世代のアーキテクチャに進化していくみたいな意味合いが強いんじゃないのかみたいな説もあるよね。
なんかね個人的にもそっちなんじゃないかなって思ってる。
オープンソース化でしょ。
違う?
やっぱハイフン取ったってそういうことかなってなんとなく。
あーまあそっかそっか表記としてね今までのGPT-2とは違うけど第二バージョンだよっていう意味を持たせるために。
そうそうそう枠をねちょっと抽象度を高めたんじゃないかなって感じはしてる。
うーん、ならもっとわかりやすい名前付けしてほしいよね。
例えば。
GPTじゃなくするとかね。
あーもう名前をねリブランドになっちゃうじゃんそうなると。
まあでもTの次でさGPUみたいな。
GPT、GPUみたいな。
どういうことどういうことGPTモデルがGPUモデルになるってこと?
あのここはカットで。
いやなんかそのTがアルファベットでさTの次Uじゃん。OPQRSTUだからTの次U。