00:00
からあげ帝国放送局、始まります。この配信では、AIの会社で働きながら、作家として本を書いたり、個人でメーカーとしてものづくりを楽しむ私、からあげが、技術の話であったり、個人のスモールビジネス、その他雑多なことをお話ししていく配信です。
今日は祝日の金曜日なんですけれども、いつものようにですね、公園を散歩しながら収録をしていまして、昨日ですね、名古屋で製造業のLLM活用のイベントがあって、それに少し参加してきてですね、登壇とかはなくて普通に聞きに行っただけなんですけれども、
そこでですね、ご飯とお酒が出たので、一杯だけ飲んだらですね、ちょっと久しぶりになったので、一杯だけでですね、頭が少し痛くなってしまうという、やっぱりちょっと酒はですね、恐ろしいドラッグだなというのは痛感しておりますが、リフレッシュしつつですね、お昼近くになって、のそのと散歩に来たという感じですね。
結構人もですね、祝日なので多くいるっていう感じですので、ちょっと収録はやりづらい環境ですが、頑張っていきたいと思います。
で、昨日のですね、名古屋の製造業でのLLM活用のですね、イベントはすごい良かったですね。
やっぱり地に足のついたというかですね、非常に実践的な内容とか、あとものすごい学術的というかアカデミックではないんですけれども、なんか本当にすぐ実践できそうなテクニックだったり知識だったり、なんかこれやってみたいなって思うことがあって良かったなと思っていまして、
次もですね、また6月ぐらいにイベントがあるということなので、愛知県付近で興味がある方はですね、行ってみると良いのではないかなと思ったりします。
私も次回ですね、参加というか、実は多分登壇するような形になると思うので、2周年記念みたいな結構大きなタイミングらしいので、ぜひ来ていただけると嬉しいかなと思います。
といったところで本来に入っていくんですけれども、その名古屋のLLMの勉強会のイベントでも少し話題にあったんですけれども、ローカルLLMを使ってこのエージェントを作るみたいなことを三浦さんというですね、結構知っている方なんですけれども発表していてですね、やっぱりローカルLLMに注目している人増えてきているなというのを感じましたね。
で、前回の配信でもですね、清水さんのイベントですね、ホームブリューエージェンティックAIクラブですね、ここでもですね、やっぱりローカルLLMっていうのが一つフォーカスされている技術だったわけなんですけれども、
03:11
で、その時にまた私もですね、ローカルLLM、NVIDIAさんとかもローカルLLMをDGXパークとかのですね、小型のAIスーパーコンピューターで動かすみたいな活用方法を結構アピールしてて、なんか今かなりそのローカルLLMを使っていくみたいなトレンドが盛り上がりつつあるのかなと思います。
私自身もですね、ローカルLLMで何かエージェントを作るみたいなところはですね、結構注目は前からしていたんですけれど、やっぱりですね、商用のいわゆるオープンAIとかGeminiとかの、GoogleのGeminiとかのですね、AIの性能が凄まじくてですね、どうしてもローカルLLMは見劣りするっていうところはあったんですけれども、
ローカルLLM自体はですね、APIなしでですね、あんまり外部へデータを発信するとかいうセキュリティなところですね、やっぱり会社によっては外部にデータを送信するっていうのを非常に嫌がるところも多かったり、
あとは本当にですね、センシティブな情報を扱うところは、そもそも外部に送信するみたいなのが法律的にも難しかったりするケースもあると思うので、そういった分野とかではローカルLLMって重要だなとは思ってはいますし、
何よりですね、やっぱりAPI料金を気にせず、電気代だけで使えるっていうのは心理的にもですね、個人で使う場合にもすごい良いかなと思いますね。やっぱりこう使う頻度とかコストがぐっと下がるってことは、新たな使い方とかが生まれてくるっていうことになるので、
例えば1日1回しか使えない機能と1日1分ごとに使える機能だと、やっぱりそれって使い方自身もですね、いろんな可能性が広がってくることになるので、ローカルLLMのセキュリティ以外でも見過ごせない点かなっていうところですかね。
あとはネットワークにつながらなくても動くってところも、例えばロボットとかの文脈とかだと非常に重要なところかなと思っています。
そんなローカルLLMなんですけれども、Zangiというですね、自分が作っているAIアシスタントのフレームワークですね、オープンクローみたいなものなんですけれども、ソフトウェアもですね、いよいよローカルLLMに対応しまして、
唐揚げBotですね。昔ですね、配信で唐揚げBotというローカルLLMで動かすAIのアシスタントBotをですね、唐揚げ帝国というこの無料のコミュニティで動かしていますっていう話をしてて、しばらく休止してたんですけれど、
06:13
ちょっとこのタイミングでですね、再度リブートというかですね、もともとはZangiとは別のですね、ローカルLLM専用のソフトウェアで動かしていてですね、これはずっと非公開にしてたんですけれど、
いつかですね、これでお金を設けてやろうと思ってたんですけど、ちょっとそれは難しそうだなというところで、チェンジマインドというかですね、考え方を改めまして、もうZangiにこのローカルLLM対応の機能をつけてやってですね、もう公開しちゃおうということで、今絶賛開発中ですね。
で、まだまだちょっとソフト的にですね、推論速度が遅かったりするところがあるんですけれど、ここらへんはですね、前唐揚げBotで生かした知見をもとに高速化できそうかなと思っているというところですね。
そうですね、昨日のイベントとかでローカルLLMの話を聞いた瞬間からですね、もう我慢できなくなって、イベント聞きながらですね、AIを使ってソフト開発して、もう昨日のうちに唐揚げBotをですね、唐揚げ帝国のリスコードのコミュニティがあるんですけれども、そこにデプロイしたという感じですね。
で、今唐揚げ帝国で少し動かしているんですけれど、やっぱりですね、ローカルLLMはだいぶアホだなって感じますね。
NVIDIAさんのNemotronかなというモデルがですね、結構エージェント向きで賢いみたいな話があったので試してみたんですけど、そのNemotronのスーパー80ビリオンぐらいかな、それぐらいのモデルでもあんまり賢くないかなって、ちょっと自分のソフトが悪い可能性もあるんですけれど、
やっぱりですね、クロードコードとかに比べると、サイズとかね、規模が違うので仕方ないところはあるんですけれども、やっぱりちょっとだいぶアホだなっていうのを感じたりしていますが、やっぱり手元のですね、コンピューターでDJXパークで動くっていうのは魅力的ですし、
クロードとかもですね、たまに止まってしまうと、もう絶望的な気持ちになってしまうので、そういう時にもちゃんと動いてくれるっていう安心感はありますよね。
あとはそうですね、自分好みに学習したりみたいなのも将来的にはやっていきたいなと思っているので、本当に自分だけのアシスタントを作るにはローカルLLMっていうのは避けて通れない道かなと思いますので、ちょっとですね、これから本格的にローカルLLMであったり、それを使ったですね、AIアシスタントに本腰を入れていこうかなと思っています。
09:13
こういったローカルLLMに限らずですね、AIを使ったAIアシスタントですね、いわゆるオープンクロー的なものなんですけれども、これってかなりですね、今は個人用途で完全に使ってますけど、個人のプロジェクトとかですね、会社とか仕事でも使える可能性ってめちゃめちゃ秘めてるなって思っています。
ただ、その時に絶対問題になってくるのがやっぱりセキュリティのところかなとは思っていまして、このセキュリティの設計はすごい難しいですね。
AIってプロンプトインジェクションっていって、騙してですね、自分が持っている情報を聞き出すみたいなテクニックがあるんですね。
これをですね、完全に防ぐのは非常に難しくて、人間でもうっかり言っちゃうみたいなことあると思うんですけれども、それ以上にですね、AIのほうが融通が効かなかったり、いろいろなですね、テクニックが世の中に公開されている分ですね、
防御するっていうのが非常に難しいなと感じていますね。
なので、AI自身がアクセスできる情報とかですね、アクセスできる経路とかですね、どこの範囲までできるかとか、どういった機能までを実現、実行できるかっていった、そういった設定を細かくしていくことが非常に重要になってくるかなと思います。
そういうことをできるようにしているのがNVIDIAさんが発表したですね、オープンシェルといった技術なのかなと思いますが、これもですね、なかなか今まだできたばっかりで、すごく難しそうというか、結構不便そうですね。便利に使いこなすにはなかなか大変そうだなというところなので、
私自身はですね、ちょっと小さくですね、そこら辺の考え方を理解しながら、唐揚げBotでですね、実験をしていこうかなと思います。
今ですね、唐揚げBotはDockerとかのコンテナ技術を使って、多少セキュアにといってもお気持ちエレベルかもしれませんけれど、運用しているので、これでですね、想定外のことが起こらないかとか、思わぬ穴がないかとかをですね、ちょっと実践していきながら、セキュリティの理解を深めていこうかなと思います。
実践派なので、やっぱり実践してみないとよくわからないところがあるので、というところですね。
とはいえですね、あんまりめちゃくちゃなことはしないでもらえると嬉しいですかね。
たぶん本気出してセキュリティの穴とかつかれるとですね、私のパソコンがですね、えらいことになってしまう気がするので、あくまで会社とかですね、ある程度信頼できる人たちが普通に使ったら問題が起こらないぐらいのですね、レベルを考えて私は設計をしていますので、
12:22
何か不特定多数のですね、スーパーハッカーがハッキングしまくるみたいな想定では考えていないので、その点だけはご理解いただけると嬉しいです。
そういったですね、ちょっとハッカー対策とかするんだったら、オープンシェルとかNVIDIAさんのやつを使うとかになってくるのかなと思いますが、
それはそれでですね、また別の取り組みでちょっと考えてみたいかなと思うんですけれども、私もですね、あんまり人の作ったものを頑張って使うのは好きじゃないので、
自分で作ったものを理解しながら改造していったり対策していって理解を深めるみたいなのが自分の好みですかね。
そうやって基本的なところを理解しておけばですね、オープンシェルとかの複雑なソフトになっても割と応用は効くんじゃないかなと思っていますというところですね。
といったところでお便りの方なんですけれども、ちょっと今日はですね、省略という形でまた明日以降させていただければと思います。
唐揚げ帝国ではお便りを大募集中です。SNSとかでの唐揚げ帝国放送局のハッシュタグであったりですね。
あとは無料のコミュニティの唐揚げ帝国の放送局へのお便りチャンネルでですね、コメントをもらったらこの配信でも取り上げていきたいと思います。
またですね、今日話したですね、唐揚げBotとかも専用のチャンネルで今はですね、誰でも使えるという形で公開していますので、興味ある方はですね、ぜひその賢さというかだいぶアホなんですけれど、いろいろ試していただければと思いますし、
今のところですね、私が熱量あるので、毎日ぐらいのペースでアップデートされていく可能性があるので、そこらへんのですね、変化を楽しめるいい時期かなと思います。
あとですね、一応サブスクプランみたいなのもあって、将軍プランというのに月4ドルで入るとですね、ここらへんの開発の裏側が見れるみたいなディスコードでですね、これもAIを使ってソフト開発とかをリアルタイムでしているので、そういったところが見れるみたいな特典もあるので、そこらへんに興味があればサブスクプランとかにも入っていただくと、
良いかなと思います。あとは、そうですね、このザンギとかAIアシスタントについて使い方とかですね、セットアップの仕方を書いた本というのも絶賛発売中で、これは技術同人誌という形で個人出版をしていて、
15:01
ブースとかですね、ノートとかそういった複数のプラットフォームで買えますので、興味ある方はですね、ぜひそちらを購入して読んでいただければ嬉しく思います。
といったところで、今日の配信は以上です。それではまた。
