クラウド依存とローカルLLMの意義
- ローカルでさ、じゃなきゃできないこととかあんの? なんかあんまりイメージつかないんだけどさ、ローカルそんなにロマンあるの?
- ローカルロマンあるでしょ。
- 金払わずに使えるみたいな?
- まあそう、そうだよね。それもあるし、てか今後、14になってくると思うんだよね絶対。ていうのは
- なんか毎回言ってるよね。なんか多分腹落ちしてないんだよな。なんか毎回そこ疑問で浮かぶんだよな。またローカルとか言ってんなこの人みたいな感じで。
- でも、やっぱりローカルなかなか難しいんだけど、今さ、政策与党権を握らせてるよね、オープンAIとかクロードに。
- じゃあクロードが、あ、かねりんさん、しぶちょーさんとちょっとクロードプロプランMAX加減していただいてますけど、ちょっと重量課金制に切り替えますみたいな。
- あーやばいね。
- いやもう定額プラン終わっちゃうんですよって言われたらさ、俺たちの人生終わりじゃない?
- 人生終わりまで終わっちゃうのは別の問題かもしんない。
- もう、だって、使ったら使って、今みたいな生活できないわけですよ、かねりんさん。1日こうガーって売らして、あー上限当たっちゃったみたいなやつしたら、青天井で10万円か20万円。
- 逆に助かるんじゃないかなそれ。
- ん?逆に?
- 蘇生すると思う。逆に蘇生。
- いや、ストレス止めますよ。
- もう息できなくされてるからさ。
- いやいやいや、でもそうなったらさ、言って、もう本当に広い話をすると、日本全体からお金が流れるわけじゃない?アメリカにダーって。
- あーそうだね、外貨に。
- そう、囲い込みみたいな感じになられちゃうと困るけど、ローカルで動くのであれば、セキュリティも万全だし、その中で動く、電気だけあれば最悪動くから、っていうので、そういう運用ができるし、今後やっぱその
小型モデルへのタスク分解
さ、大きいモデルじゃなくて、より特化したタスクの小さいモデルみたいなやつがいっぱい出てきて、
- あー言ってたね、特化モデルね。
- そう、エッジで動かすようになると思うんだよね。今だから、前も言ったけど、
- エッジで動かすってのは?エッジ?
- エッジな話ではなくて、エッジの話も今日しようかなと思ってるんだけど、それを去っておき、それを去っておき、だからその自分のデバイスの中で動くってことね、エッジデバイス。
- エッジデバイスっていうの?
- そうそう、前も言ったけど、今F1から乗ってコンビニ行ってるようなもんだなって。
- あーいいね、よく言うねそれね、フェイブルとかね。
- そうそうそう、だいたいみんな本当にすごいスポーツカーに乗って、なんか時速30キロぐらい走ってるみたいな感じなのよ、俺も含めて。
- じゃあ軽自動車乗ればよくない?みたいな感じになるじゃん。
- 専門の軽自動車10台みたいな?
- そう10台こうぱっと。そういう運用、無駄のない運用しようと思った時に、やっぱローカルが、ローカルのモデルが性能よく軽くなってきてる、どんどん。
でもやっぱある程度、半導体の値段が上がってるからパソコンも相対的に上がってんだけど、でも100万円ぐらいのやつでローカルでこんだけのことができると。
そういう、やっぱローカルも今触っておくのが結構重要というか。
- なるほどね、今は結局フェイブル使った方が品質いいけど、
- そう、ローカルでしかできないことはない。
- 違うよ、みたいな感じ?1年後2年後、あんた、ってこと?今から触っておくことで何?ちょっと何か、慣れとこうよ、みたいな感じ?
- 慣れといたりとか、そのローカルで運用する技術を身につけたり、まあエンジニア視点だよね。別にカネリンがローカルでやれとは言わないよ。
- ええ、ちょっとそんなこと言わないでよ。俺も仲間に入れてよ。やめてやめて。
- いやだよ。
- 自然言語で。
- カネリンがさ、100万円のパソコン買ったんだけど、それちょっとどうせはいいとか。
- いや、俺によこせよってなるよね。お前使い切れねえだろって。
- いやでもね、電源だけあたるときはずっと動くんだったらさ、よくない?
- そうだと思うよ。
- それもやっぱちっちゃいタスクに、なんだろう、さっき言ったように軽自動車には軽自動車の実力をマックス発揮してもらうような、そういうちっちゃいタスクに分解してやらせるみたいな。
RTX 4070で動かすモデルと用途
- そういうやり方があると思うんだよね。そういうやり方があるのよ、実際ね。タスクを分解していくみたいな。そういう形になると思うんだよね。
- なんか今でもデスクトップあるからちょっとやってみるといいんだろうね。
- あ、そう。
- そんな100万のパソコンなくてもできるもんね、一応。
- そうなんだよね。だからちょうどね、今日それ考えとっていい話やね、それかなり。
- うん。
- あの、これ一応家にさデスクトップパソコンあるから。
- あるよね。
- RTXの4070ぐらい乗ってるじゃん。
- 強いじゃん。
- まあまあまあそんなにめちゃくちゃじゃないけど、それでどのぐらいのものが動くんだろうなって思って、今日調べてたのよ。
- そしたらクエンの3.5の9ビリオンとかだったかな。90億パラメーターのモデルが動きますよと。
- 強いなそれ。
- 12ギガぐらいのメモリのGPUだったら。
- GPUのGラムが重要なんだよね。
- そうそう。
- GPUのメモリーサイズがなんかこう小さいと。
- 乗るモデルのサイズに依存するから。
- これでちょっと調べたら。
- だいたい90億パラメーターぐらいだと、4070だと90億ぐらいが乗るよねみたいなことが書いてあって、そっかと思って。
- じゃあそのクエンの3.5の9ビリオンってどのぐらいのレベルのモデルなのかといったら、ソネットのちょっと古いやつみたいな。
- クロードソネットの古いやつ。
- GPT4OM2ぐらい。
- 4OM2。あーもうなんか1年ぐらい前ね。
- そうそうそう。4OM2かー。悪くはないけど、まあそのぐらいなのかーみたいな。
- フェイブルを知った僕らからすると戻れない世界じゃない?
- そう。だからそれをローカルでバンバンぶん回せるよってなった時に何をタスクとしてやらせようかなっていうのがあって。
- ちょっと今悩んでる。どうしようかな。
- 無理やり使う感あるよね。
- そう無理やり使う感あるけど、今無理やり使っとく。今遊ばせてるからさ。
- 何も動いてないんだ。
- 動いてないね。愛知県に置いてあるから。
- 今日リモートデスクトップでコントロールできるようにしたんだけど。
- あーなるほどね。そのなんとかってやつでね。
- 普通にテイルスケールとムーンライトみたいなそういうソフトがあって、それを使うと自分のパソコンから遠隔でパソコン操作できるんだけど。
- そういう構成にして今動かしてるんだけど。
- 持て余すんでるな。
- 本当は文字起こしとかをそこで無限にさせちゃおうと思ってたんだね。自分の音声のローカルで。
- なるほどね。
OpenCodeでローカルモデルをエージェント化
- ローカルエリアゲームを使って、オープンコードっていうクロードコードのオープンソース版みたいなやつもあるんだよね。
- クロードコードのオープンソース版。へー。
- それがあるとローカルでモデルを動かせれば、クロードコードみたいなことを完全にローカルで実現できるんだよね。
- いいね。
- 自分のパソコンの中のモデルをクロードコード的にエージェントライクに動かすってことができるから、それをやりたくて。
- クロードとかコーデックスに接続しなくてもいけるぜってことね。
- そう、オープンコードは結局クロードコードだとクロードのモデルしか使えないし、
コーデックスだったら基本的にはオープンAIのGPTのモデルしか使えないじゃん。
だけどオープンコードっていうのは何でも別にAPIさえ繋いじゃえば好きなモデルが使えますよみたいなののクロードコードみたいな。
クロードコードっぽい感じでそういう何でもモデル選べますよオープンソース版みたいなやつがあるのよ。
- そういうVSコードと似た感じじゃん。
- VSコードは違くない?
ああまあまあ言ってはそうだね。
- 何のモデルでも使えますよみたいな。
- そう、VSコードはエディターだからまだ立ち位置が違うんだけど。
- ああそう、なるほど。
- 本当にターミナルで動くクロードコードなんだけど、中でモデルいっぱい選べますよみたいなイメージ。
- ターミナルで動くっていうのね。ターミナルで動かしてないんでちょっとよくわかってないんですけど未だに。
- いやいいと思います別に。あんまりターミナルで動かす人いないからそんなに。
- っていう感じかな。
- なるほど。
量子化とLM Studioの導入
- っていうのがあるので、ローカルのモデルって結構どんどんこの量子化っていってね、
モデルのサイズも減らせるし、大きいモデルなんだけど推論するときになるべくメモリ使わないように推論するみたいな技術もあって。
- 今その100万円モデルでしか動かないやつは半年後ぐらいには20万円ぐらいのパソコンで動くようになるぐらいの進化スピードかな。
- パソコンの値段が上がらなければ。
- ああなるほど。
- 半導体の値段も相対的に上がっていくっていう複雑な方程式になってるからさ。
- 自前でさ20万ぐらいのパソコンを持ってる人多いじゃん多分。
- 20万、今の20万じゃもう何にもよ。
- すいません、50万ぐらい。
- 50万ね。
- 50万PCは半年の差です。
- どんどん軽くはなっていくと思う。
- 半年ぐらい待とうよ。
- そうね。
- わかりました。
- オープンモデルをローカルLLM入れるときは何をやればいいんだっけ?
- ローカルLLM入れるときはLM Studioを使えばいいと思います。
- それだ、何回も聞いた。
- まずLLM Studioを入れてあげればローカルLLMが動くようになりますと。
- モデルもダウンロードできますと。
- いけますと。
- かつAPI、LLM Studio経由でAPIを出せるからそこに叩きに行けるみたいな。
- おーいいじゃん。
- だからそれさえ入れておけば、そこに叩きに行って反応をもらってっていうのができるから
- だからクロードコードからAPI入れといてそこのマシンのこれを叩くみたいな。
- 叩くっていうので自分が作ったアプリケーションに組み込んだりとか、いろんな使い方ができるんで。
- いいじゃん。
- LLM Studioも入れとくといいと思います。
- いいですね。
- LLM Studioいつ紹介したかな。結構前に紹介したんだけど。
- LLM StudioからAPI出したやつでMacのクロードコードでこれをやれって処理したら送ったら送った先のデスクトップが動くわけ?
- 送った先?ん?ちょっと待ってごめん。
- LLMが動くからデスクトップが動くのか。
- あーそうそうデスクトップパソコンが動くと。
- じゃあMac軽く保てるね。そういう面ではね。
- 軽く保てる?
- Macで処理をさせたくないじゃん。
- あーごめんちょっと待って。これ何の話をしてる?
- ローカル。
- あーそういうことデスクトップローカルはローカルでAPIはネットワーク経由というかそのパソコンの中で使える。
- パソコンの中で使える。外のパソコンダメですか?
- 外のパソコンに対して使おうと思ったら多分できるんだけどちょっとネットワークをつなげないといけないよね。
- あーそうっすか。
- 解説しなきゃいけない。今言ってるのはあくまでもパソコンの中でそのAPIが立つから。
- そうっすかそうっすか。外に出したきゃまたそれはクロードコードにつなげないといけない。
- クロードに聞いてテイルスケールとかで繋いでみたいな感じになると思う。
- 分かりました。
- そこまではちょっと分かんないです。
- はいちょっとやってみたいと思います。
- すごいなんか技術番組みたいな話してるね。
- いやもうローカルLLMやりますよ。
![[速報回]飲食店のメシ写真がキモすぎる、犯人はどのAIだ？(ep.98)](https://image.listen.style/img/Ra543zyxUJwslarMTjy8jAXPV9uWsTQ7v-9U3RBRTHk/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzg3NjM4MTE4MzkzLTQwYzBkNGZjNWQ2ZTguanBn.avif)
