ローカルLLMとは何か
ちえラジChat火曜日始まりました。今回はですね、プログラミングについてということで、ローカルLLMの可能性という話をしようと思います。
最近はね、はんなりプログラミングの会というイベントで結構話題に上がっているものとして、ローカルLLMというものがあります。
これはいわゆるChatGPTとかGeminiとかそういう大規模なAI、商用で使われているAI、区別するためにこれらをクラウドAIとかクラウドLLMとか呼ばれたりするんですが、
こういうようなものに対して性能自体は全然及ばないんですけれども、やっぱり小規模だけどもパソコン上で動作させることができるっていうようなAIです。
これLLMっていうのはね、大規模言語モデルっていうのは言葉の単語、略語なんですけれども、これに対して小規模なのでSLMとか小規模言語モデルなんていうふうにも呼ばれたりします。
ただこれを言うとね、AIがね、スピーチLMっていう別のテクノロジーと誤解するので、自分はローカルLLMっていうふうに呼んでたりしていますが、
このAI、小さいモデルのAIを使うことで、とりあえずクラウドAIほどではないんだけれども、いろんな言葉を要約したりとかいうようなことができるようになっています。
ローカルLLMの性能と利用例
お試しでね、例えば自分はね、ウェブサイトの記事を1個取ってきてこれを要約してっていうふうにやってみたんですが、そんなに大きくない規模のページであればちゃんと要約できるんですよ。そういうようなモデルでも。
これもね、基本的に1、2年ぐらい前のクラウドAIと同じぐらいの性能を持ってるんじゃないかみたいなことを言われていたと思いますので、
まあ結構使えるには使える。もちろんね、商用の分野とかそういうところではまだ使いづらいところもあると思うんですが、
割り切れば全然使える範囲内のモデルがあったりします。こういうようなものをちょっと使うっていうのをここ最近自分はやってきています。
クラウドAIとの比較と利点
これ何が嬉しいってね、やっぱり自分の使っているプログラマーの中からまるでWindows自体のAPI、Windowsの機能を呼び出すような感じでAIを呼べるっていうのがすごいなっていうふうに思っています。
例えばね、多分ね、これChatGPTのAPIっていうのがあるので、これ使えば同じようなこともできるんでしょうけれども、
ただあちらって応答返すまでにそれなりに時間がかかってしまいますし、やっぱりね、回数使うごとにお金かかっちゃうんですよね。
まあ1回の呼び出しにあたって0.何円とかその程度ではあるんですけども、まあ塵も積もれば山となりますからね。
例えば日々やっていることを要約して情報をお届けしてほしいとか、あとは未読メールを全部読んで要約して送ってほしいとかいうようなことを真面目にChatGPTとかのAPIを使ってやろうってなると、
月単位だとね、もう数百円数千円とかになっちゃって、そこらのサブスクリプションとかの月額をゆうに超えてしまう価格になってしまうなんてことは珍しくないと思うんですよ。
AIってそういうもんなんだよねって言われればそれまでなんですが、やっぱりね、何回も何回も回数を呼べるっていうのがこのローカルLLMの利点だと思うので、これをもうちょっと活用してみたいなっていうふうに思っています。
ローカルLLMの将来性と応用
AIっていうのは基本的にAを入れてBっていう指示を入れたら全然知らないCができる。けどもCの内容はAになんとなく似てるっていう性質を持つようなものだと思っています。仕組みとしてはね。
だからそういうのをどんどん使うことで、例えばね、まちのえんがわキャストとかSBCast.で何度もいろんなお話を聞いてて、その人たちの感想とか状況を追いたいなって言ったとき、まあそれでもね、追うことも限界なんですよね。やっぱりポッドキャスト何遍もいっぱい聞いてて、さらにその人たちのnoteも追ってとかなると、まあ多分追いきれない。
その代わりにAIで要約を届けてもらって、この瞬間だけちょっと読んだ方がいいなっていうときだけ自分はそのサイトに実際に行くとか、そういうようなことができるようになる。そうすることで自分自身の活動幅も結構広がるんじゃないのかななんていうふうに思ってたりしています。なのでそういうことをどんどんやっていければいいのかなっていうふうに思っています。
まあ実際はね、それをうまく応用するためどういうふうにすればいいのかっていうようなところが今のところ課題なんですが、まあポッドキャスト的にね、なんか音声作ってみて、それでそれぞれのいろんな場所のニュースを知るなんていうこともできるっぽいので、ちょっといろいろいじってみたいななんていうふうに思っております。
まとめと次回予告
はい、というところで今日の話これぐらいでおしまい。明日は水曜日ですね。まちのえんがわキャストについてお話ができればと思います。
ではでは。
