では、まず今日はオープンウェイトという言葉が主役なので、まず前提知識のところ、ここを丁寧に説明していきたいなと思います。
これがね、分かるとニュースかなり面白くなると思います。
では、AIモデルの重み、英語で言うとウェイトですね。
今日何回も出てくるんですけど、そもそもなんで重みと名付けられているのか。
これはAIの中身って人間の脳の神経細胞同士のつながりを真似した仕組みなんですね。
イメージとしてはとんでもない数の道が張り巡らされた巨大な道路網だと思ってください。
道路網ですか。
はい、で、情報はこの道路網の上を流れていくと。
で、この道の一本一本に太さみたいな設定があるんですよ。
で、太い道は情報がブワッとドバッと流れていくと。
で、細い道はチョロチョロチョロしかもう流れない。
で、その道に情報をどれだけ通すかっていう太さの数値が情報の重み付けですね。
なるほど。太いほど影響が大きいってことですよね。
そうですね。
太さそのものが重みだと。
まあその重みの値の集合体がそのモデルの賢さとか性格を決めているみたいな感じでしょうか。
もうまさしくね、そういう感じですね。
で、バラエティ番組とかでよく最後の勝負は10倍です、ポイント10倍ですみたいな調整あるじゃないですか。
ありますね。
ここまでのは茶番だったんだなみたいなね。
あれと同じです。だから重みです。
ちなみにこれ人間の脳でも似たようなことが起きていて、よく使う神経のつながりっていうのはどんどん強くなっていくんですよ。
で、使わないようなつながりっていうのは弱くなっていくんですね。
例えばこれ自転車の練習でこうイメージしてもらうとわかりやすいんですけど、最初はねやっぱガタガタじゃないですか。
なかなか乗れないなって言って、でもある日スッて乗れるようになる時あるじゃないですか。
あれはその動きを担当する神経の道がね太くなったからなんですね。
AIはこのつながりの強さで学習するっていう部分を数値で真似てるっていう感じですね。
つながりの強さを数字で持っているということなんですね。
ただ人間の場合はそのつながりの強さって主観なので、人によって何が重要であるかどうかって人それぞれ違うじゃないですか。
じゃあAIはどう学習してるかっていうと、誰かがこの情報は大事だよね。よし道を太くしよう。
その恣意的にやってるわけではなく、やってることはですねすごく単純です。
もちろん知ってる方も多いと思うんですけど、次の単語を当てるっていうテストをひたすら受けさせてるだけなんですね。
例えば日本の首都は?って言ったら東京ですよね。この東京って当てられるかっていうことをひたすらやってるんですけど、
間違えたらどの道をどれくらい太くしたり細くしたりすればこの間違いが減ったかっていうのを数学的に逆算するんですね。
逆算する、はい。
そう。だから東京というゴールに続く道路網の全体をほんのちょっとだけ工事していって、これを何兆回も繰り返すって感じですね。
そうすると結果として答えを当てるのに役立つ道は太くなるし、役立たない道は細くなっていくわけですよ。
つまり大事かどうかっていうのはAIの学習では誰かが恣意的にもちろん判定してるわけではなく、間違いが減るかどうかというたった一つの基準で道路網が最適化されていると。
で、この工事が終わった道路網の全部の道の太さを記録した数字の塊、いわば完成した道路網の設計図、これが重みファイルですね。
つまりAIの正体はこの道路網の設計図ということですね。
道路網の設計図、わかりやすいですね。
その設計図自体を配るのがオープンウェイトということですか?
そうなんですけど、ちょっとまだ早いですね。ちょっとそこにまで行かないでください。
了解です。
なんとなく今の話で、重みっていうのは道路の太さなんだなぐらいのイメージはできたと思うんですけど、
もう一つの前提として、この道路工事、学習期間が終わったら完全に止まるんです。
皆さんがチャットGPTとかクロートとかジェミニとか毎日会話しても、この重みっていうのは1ミリも変わってないです。
だから学習されてません。これは固定されてるんです。
普段の会話では変わらないんですか?
そうなんです。これはね、1ミリも重みは変わってないんです。
でもこっちの文脈に合わせてめちゃくちゃ賢く返してくるじゃんって思いますよね。
あれはアテンションっていう別の仕組みで、完成した道路の上で、今この文章ならどの言葉に注目すべきかっていうのをその場で計算するって感じですね。
重み自体は止まっていて、その使い方をその場で組み立てているっていうことですか?
そうです。つまり重みは性的で、アテンションは動的であるって感じですね、イメージとしては。
性的と動的の役割分担なんですね。
そうなんです。だからその単語に対しての最適解はこれだよねっていうだけの調整が入って計算をするだけなので、だからLLMっていうのは確率であるっていうのは、そもそもこういう仕組みだからっていうことなんですね。
確率って言われるとちょっと冷たい感じもしますけど、聞いてみると意外と地道な調整も積み重ねだったりするんですね。
そうなんですね。で、次にニュースでよく出てくるパラメーター数についてもちょっと簡単に説明すると、ざっくりこの道路網の道の本数だと思ってください。
で、今日出てくるモデル、これが帳の単位ですね。1帳2帳の帳の単位なんですけど、例えば1帳です。パラメーター数って言われてもピンとこないじゃないですか。
これを例えば1秒に1本ずつ数えたとして、1帳分数え終わるのってどのくらいの年数かかると思います?
うーん、ちょっと計算してみますね。ざっくりですけど、1秒に1本数えても1万7千年くらいかかりますね。
つまり、もう想像をはるかに超えた数ですよね。
だから、1帳って言われると、そのスケールの大きさがとにかく大きな道路網なんだって思うとしっくりきますよね。
しっくりこないと思いますよ。
そうですね、しっくりはこないかもしれないです。
縄文時代のさらに前から数え始めてまだ終わってないなぐらいなので、それだけの規模の道路網であると。
で、ちなみに人間の脳のつながり、シナプスって言われるものですね。
このシナプスは100兆個ぐらいって言われているので、桁としてはだいぶ今脳にね、人間の脳にかなり近づいてきているという見方もできますね。
で、本題のようやくオープンウェイトに入ってくるんですけど、
では、重みとかパラメータの話を抑えたところで、次に7月に出てきたモデルの具体的な話に入っていく感じですか。
そうです。いい振りでございます。では本題のニュース時系列順でいきたいと思います。
7月15日、16日、19日と立て続けにほぼ毎日起きたんですけど、
まず7月15日、これは元オープンAICTOのミラムラティさんが立ち上げたThinkingMachinesから、
初の自社モデルInklingですね。これが出ましたよと。
パラメータ総数どのくらいかというと、975B、つまりBはビリオンなので9750億ですね。
ざっくり1兆。このモデル、MOEっていう構造でできてて、Mixture of Expertsって言って、直訳すると専門家の混合って言うんですね。
これどういうことかっていうと、1兆本の道路網に毎回全部信号を流すじゃなくて、モデルの中身が専門家チームに分かれてるんですね。
分かりづらいんで、例えば質問が来たら、まず受付がいますと。
この受付の方が、これ数学案件ねとか、これ翻訳の案件ねみたいな感じで振り上げて、その案件に必要な専門家チームだけが動くっていうような仕組みですね。
そうですね。インクリングは社員が9750億人いるみたいな感じなんですけど、実際に会議室に呼ばれるのってそのうちの320億人だけみたいな。なので一部の人だけが会議に参加するっていうようなイメージですね。
実際に動くのが41億人かな、41B。
そうです。実際に動くのは41億人です。全体で1兆近い人がいるっていう感じなので、全社員は大量にいるけど、実際に稼働するのはそのうちの一部だけみたいな、そういうイメージでいくといいと思います。
ちなみに今の大型モデルって大体この方式なんですよね、MOEの方式ですね。
そうですね。アンスロピックのクロードもそうだし、グーグルのジェミニとかもそうだし、その方式を使っています。だから規模はめちゃくちゃ大きく見せつつ、実際の計算量とか電気代給のは抑えるっていうのがそういう仕組みになってますね。
GPTも同じ?
GPTシリーズの中身は公開されてないので断言はできないですけど、ただ大規模モデルだと最近はその似たような構造を採用する例は多いですね。
なるほどですね。あとはテキスト、画像、音声、動画を全部そのまま使えるマルチモーダルで、この重み自体はハギングフェイスっていうモデルのアプリストアみたいな場所ですね。ここで公開されているので今日から誰でもダウンロード自体はできますと。
そうですね。ダウンロード自体はもう可能になっています。
で、このインクリングの面白いところは公式が自分で今日時点でこのモデルは最強ではないですと言っていて、普通新モデルってクロードのオーパスを超えましたとか、フェイブル並みですとか、なんかそういうふうに大体的に言いたがるじゃないですか。
そうですね。
そうでも逆でして、じゃあ何を狙ってるのかというと、例えるなら服なんですよ。チャットGPTとかクロードって超高級な既製服みたいな感じで、世界中の会社がみんな同じ服を借りて着てて、しかもレンタルなので着るたびにお金払ってるみたいな感じですよね。
で、サイズ直しはほとんどできないから、それに対してシンキングマシンズがやってるのって、うちは生地と型紙ごと渡すんで、自分の体に合わせて仕立て直してくださいねみたいな商売。
確かに。自由にカスタマイズしてね、その代わり手間も責任も自分持ちだよっていう感じですね。
そんな感じですね。
だから最高性能、最高で最強みたいな完成品を今すぐ渡すんじゃなくて、これからあなたたちがいろいろいじって育てていける素材を渡しますよっていう感じで、そういうメッセージに聞こえますよね。
そうそうそう、そういうことですね。で、もうちょっと具体的に言うと、例えば製薬会社とかだとインクリンクの自社の研究データを追加で学習させて、創薬専用AIに仕立てたりとか、法律事務所とかだったら過去の判例とか契約書とかで鍛えて契約書をレビュー専用のAIにするとか、
その汎用の賢さって別に世界一じゃなくていいよねって、その代わりうちの仕事だけは誰よりもできるAIを機密データを社外に出さずに自分の会社の中だけで作れるっていう感じですね。
めちゃくちゃ魅力的ですね。特に機密性の高い分野、医療とかホームとかそういうところだと、外に出さずに自分たちだけでカスタマイズしたものを使えるっていうのはすごく魅力的で刺さりますよね。最高性能よりも自分たちにとっての最適化っていうところに価値があるっていう感じですね。
まさしくその通りですね。ここで、ん?って思った方、鋭いんですね。さっき僕、重みは固定だって言いましたけど、公開されてる重みが固定なら自分の会社に合わせた重み付けなんてできなくない?って思いませんでした。そう、でもこれできるんですよ。これがOpenweightの一番おいしいところで。
ハッキングフェイスにおいてある重みファイル自体は確かに固定なんですけど、でもただの数値ファイルなので、自分のサーバー上で追加のテストっていうのを自社のデータでやれば、この数値自体って書き換えられますよね。
確かに、手元でダウンロードして手元にあるものをいじるのは自由ですもんね。
これを、いわゆるファインチューニングっていう風に、聞いたことあると思うんですけど、言います。
聞いたことあります。言いますよね。
日本語で追加学習っていうやつですね。
ちなみに実務では1丁分の道、道路網を全部工事し直すなんてことはしなくて、本体の重み、道路網は固定したまま、少数のバイパスだけ横に足して調整するみたいな形がほとんどで。
これ聞いたことあると思うんですけど、ローラーっていうね。ローラーですかね。
このローラーっていう方法が主流で、これだったら現実的な計算資源でも使えるよねっていうところ。
シンキングマシーンズは、重みを公開するだけじゃなくて、ティンカーっていうファインチューニング専用のサービスもセットで出してると。
ただモデルを公開するだけじゃなくて、実際に使える、実用的なものにするための道具も用意してあげるよっていう、セットで用意してあげるよっていう感じなんですね。
そうですね。
ただの理想論とか研究用っていうだけじゃなくて、ちゃんと実用的なものを目指してるっていうのが伝わってきますよね。
まさしくですね。本当に実用的で、結構企業が抱えてるような課題にスコープを絞って作ってるなっていう所感は感じますよね。
もちろん知ってますよ。
その孫さんがですね、先週ソフトバンクワールドっていうところで講演をしてたんですけど、そこでですね、AIの進化はもう止めようと思っても止められないっていう風に言っていて、これ理由が米中の競争ですね。
米中の競争は本当にどんどん加熱している感じですよね。
そうなんです。だからアメリカが止めたとしても中国は止めないから、これはもう止まらなくなっていると。
今まさにアメリカはトランプ政権が中国へのチップの輸出を規制したりとか、それこそフェイブルを止めたりとか、いろいろやってるわけですけど、その相手、中国がやってきたのってオープンウェイトでばらまくっていう対抗じゃないですか。
そう、だから囲い込む側とばらまく側という形で、孫さんの止められないよねっていう発言がたった1週間でかなり具体的な形で今出てきちゃってるっていうところですよね。
そうですね。まさにそれを体現するかのようにね、なってますよね。
で、なんで中国はこんなただでばらまいているのかっていうところって、クローズドで仮に正面勝負したとしても、アメリカに勝てないと、なかなかこの画像を崩せないんじゃないかというところで、
無料で世界中の開発者とか企業をエコシステム的に引き込んで、デファクトスタンダードを取りに行くっていう戦略だと思ってるんですよ。
確かにそれはあると思います。やっぱり広げていくし、その広げることで影響力をどんどん強めていくっていう感じはありますよね。
オープンソースでOS出してる会社どこだっけ?会社っていうか開発者。
オープンソースのOSってことは、LinuxのLinus、トーバルズですかね。
Linuxです。Linuxとかもオープンソースで世界中の人を巻き込んでめちゃくちゃ大きくなったものじゃないですか。
オープンソースの文化っていうのを同じような形でやってるのかなと思っていて。
あとはシンプルにコスト的なところで収益減価格攻撃をしてるっていう感じですよね。
あとは、これ不思議なんですけど、そもそもアンソロピックから出てたFable5を輸入制限した理由としては、
MUTOSとかもそうですけどね、非公開モデルあるじゃないですか。
これらっていわゆる上流されないようにする。上流っていうのはあれですね。いわゆるパクルみたいな。
雑に言うとね、パクルみたいなのを防ぐためにやってたわけですけど、それをした上で同等級の能力を中国が出せるっていうのは、
これなんかもう中国側の内部で何かしら起きてるのかな。上流しなくてもそういうのについていけるようになってきてるのかなって思うんですよね。
確かにすごくいい視点だと思いますし、ただ単純に知識とかの漏えいっていうよりこはオープンになってる論文とか重みも公開されてるものとかを
組み合わせたりとか積み重ねたりとかして独自開発を進めてるっていうのも感じがありますよね。
上流とかも上位のモデルの応答を大量に使ってその小さいモデルを育てるみたいな、そういうのが技術自体もすごい発達してきてるじゃないですか。
なのでそういうのを使って効率よく追いついてきてるっていう見方の方がしっくりくる感じはしますよね。
隠せばいいっていう時代は終わってしまって、学習の速さと密度で競争するっていう時代に入ってきてるのかなって思います。
はい、ということでいかがでしたでしょうか。ビデオポッドキャストを見てる方は、おや急に髪型が変わったなと思ったかもしれませんが、現在ですね、深夜2時37分ともう眠い。
ここまでのエピソードはですね、日中に撮りまして、ちょっと編集も途中までやって、ちょっと時間がなくてですね、深夜にエンディングだけ撮って、最後くっつけて配信をするということですね。
今日の話をまとめると、オープンウェイトのそもそものLLM の仕組み的なところをちょっと話したうえで、オープンウェイトってそもそも何なのっていうところを紙砕いて説明できたかなって感じですね。
こういう前提知識があると、こういうニュースの見え方とかも理解の解像度も結構変わってくるかなと思うので、やっぱり根本的な知識を持っておくっていいですよね、大事ですよね。
そして今日、日中ではなかったんですけど、さっきニュースでアメリカが中国に対して、フェイブル上流してキミスリ作っただろ、訴えてあるみたいな、国家安全保障だみたいな感じで言ってましたけど、
中国側は何の根拠もない主張だっていうふうに言ってて、結構バチバチな感じなんですよね。
割とそのAI界隈的なところでの考察で言うと、こんな短い期間で上流して作れるかみたいな、したとしても多分それが全てではないだろうなという見方をしていて、明らかに言いがかりな感じはちょっとするよなとは思いますよね。
根本的にやっぱり技術力が上がってしまっているっていうのと、本編でも話してましたけど、そもそも重み以外にもオープンになっている情報ってすごく増えているので、そういう根本的に技術力が上がっているっていうのと、情報の公開性っていうところがあるからこそ、今の状態になっているのかなというふうに思いますよね。
あとは物理な話で言ったら、NVIDIAのチップがなければそんな高精度のものが作れるはずがないというところで、チップはどこからか輸入して使っているんじゃないかなという説はちょっと拭えないなとは思うんですけど、この辺はちょっと考察の意気を出ないのでわからないんですが、すごくバチバチであるぞと。
やっぱりこのバチバチが我々のすごく遠い世界のように感じるんですけど、意外と自分たちの生活に帰ってくる部分も多いと思うんですよね。
それこそ例えば部品不足でAppleが値上げになってしまうiPhoneユーザーはものすごく高いお金を払わないと使えなくなってきて、しかも円安が追い打ちのようにやってきて、でも給料は上がらなくてスタグレーみたいな感じになっていると。
こういったものとか、S&P500の話とかも前にしましたけど、こういったのもやっぱりAIからんでますしね、こういうところのアンテナを張っておくと自分たちの経済の話にもつながってくるので、知っておいて損はないんじゃないかなというふうには個人的には思いました。
あとは何か話すことあるかな。
相変わらずね、ちょっと暗い話を最後の方してしまったんですけども、これは暗い話というかね、現実ですからね。
この解釈としてやっぱり怖いなとは思ってしまうんですけど、事実は事実ですからね。これを受け止めてどうしていくのかっていうのをやっぱり考えていかないと人類は未来に進めないと思うので、そういうのも受け入れていく必要がありますよね。
ということで、この辺で今日は終わりにしたいと思いますが、皆さんYouTubeのフォローぜひよろしくお願いします。
本当に皆さん知っていただいてありがとうございます。
ヘビーリスナーユーザーは多分全員登録していただいたんじゃないかなって本当に思うんですが、本当に大感謝でございます。
引き続きですね、YouTubeまだ登録しないっていう方すぐポチッとしていただければ大変嬉しい限りでございますので、よろしくお願いいたします。
またお便り、コメント、多分YouTubeの方がコメントしやすいのかなって思うので、コメントとかもぜひしてください。
あとグッドボタンを多分押してくれてるんですよね。
明らかに再生数に対して過剰なグッドボタンを押されてるので、みんな押してくれてるんだなって思いました。
ありがとうございます。
本当にYouTubeの登録者数は増やしていきたいので、引き続きお願いしたいというところと、
11月にオフ会ミートアップやりますので、ぜひ来てくださいということですね。
また私事なんですけども、弊社でAI導入支援を始めましたので、AI導入支援手伝ってほしいなみたいな方がいらっしゃいましたら、お気軽にお問い合わせくださいませということで、
あとリスナーの方で、また後日紹介すると思うんですけども、コミュニティを立ち上げのお手伝いをしていただけるということで、ご連絡いただきまして、
他にも前回お便りでお読みいたしましたカッチーさんに、実際にシードルの方をご紹介いただきまして、
おそらくまだ日程決まっていないんですが、8月頃にAIコミュニティについてのお話、対談というのをさせていただくかと思いますので、
心優しいリスナーの方のつながりがあってですね、いろんな可能性を感じております、今。
声をかけたらYouTubeを登録していただき、AIに関わる方をご紹介いただいたり、コミュニティに手伝ってくれるようだったり、
オフ会行きますよであったりとか、もちろん聞いていただけるだけで本当にすごく嬉しいんですけど、こうやってアクションしていただいて、
すごくですね、2年前には考えられなかったようなことが今起きてるなって思っていて、すごい感慨深いですよね。
特に、やっぱりAIを成り割りにしてますが、やっぱり人だなって思いますよね。
人と人でしかないなって思います。
これは南くんもよく言ってますけどね、人でしかないんだぞと、人と人でしかないんだぞと、やっぱね、大事だなって思います。
こういうのが本当にありがとうございます。
なので、コミュニティとかもそうですが、この番組の内容とかもそうですが、本当に皆さんのおかげで、お力でどんどん良くなっていくかと思うので、
引き続き応援のほどよろしくお願いします。
なんか深夜のテンションで喋ったら、何喋ってるかわかんなくなってきたな。
じゃあ寝ます。
ということで、番組への感想、質問、深掘りしてほしい話題などありましたらお待ちしております。
お便りフォーム概要欄に置いてありますので、ぜひそちらからお待ちしております。
SpotifyのコメントでもYouTubeのコメントでも何でもいいんですけども、ぜひ感想いただけると本当に励みになりますので、ぜひお願いいたします。
AI未来話の番組のフォローとレビューもよろしくお願いいたします。
来週も木曜日に、ごめんなさい、今日木曜日じゃないですね、金曜日でしたけど、来週はですね、木曜日か金曜日にお届けしたいと思います。
通勤通学の30分に未来をキャッチアップしていきましょう。できるだけ木曜日にお届けしますので、よろしくお願いいたします。
それでは本日もありがとうございました。