00:08
みなさんこんにちは、矢野 哲平です。この番組は、耳で学ぶAIをコンセプトに、 初心者・中級者向けにAIを分かりやすく解説する番組です。
ローカルLLMとは？
今回のテーマは、ローカルLLMについて話していきます。 はい、ということで今日は、ローカルLLMに焦点を当てて話していきます。
前回のエピソードでは、AIエージェント、こちらに焦点を当てて話してきました。 AIエージェントの使い方、そしてAIエージェントの活用事例。
今回は、AIエージェントから離れて、ローカルLLMについて話します。 こちらは、AIエージェントに比べると知名度というか、注目度、そういったものは低いように感じています。
でも、個人的にはAIエージェントと同じぐらい、 ローカルLLMは注目したいトピックかなと感じています。
今日は、そういったローカルLLMにまつわる話をしていきます。 ぜひ最後までお付き合いください。
今日話すポイントは主に3つです。 1つ目に、そもそもローカルLLMとは何なのかと。
2つ目に、ローカルLLMとChatGPTとの違い。 3点目、ローカルLLMの使い方とユースケース、こちらを中心に話していきます。
はい、では早速話していきましょう。 まずはそもそもローカルLLMとは何なのかと、そういった話からスタートします。
ローカルLLMに関しては、この耳で学ぶAIのシリーズ第2回目でも触れました。
生成AIによく登場するキーワード9000ということで、 この中でローカルLLMについて少し触れました。こちら覚えていますでしょうか。
ちょっと改めて復習しましょう。 ローカルLLMとは手元のパソコン、つまりローカルな環境でAIを動かすことです。
私たちは普段パソコンを開いて、ブラウザーでChatGPTのサイトにアクセスして使っています。
この時、ChatGPTで動いているモデル、これはオープンAAが用意している会社側のサーバーで稼働しています。
簡単に言うと、インターネット回線が切れてしまうとChatGPTを使うことはできません。 一方でローカルLLMの場合は手元のパソコンで動作している点はChatGPTにも似ています。
ですがインターネット回線なしでも動かすことができます。 なぜなら手元のパソコンの中だけで動作するAIモデルを使っているからです。
これはオープンウェイトの言語モデルを使っているからです。 学習済みのファイルを誰でもダウンロードが可能だと。
なので簡単に言うと、手元のパソコンにAIのモデルをダウンロードして動かせる。 つまりローカル環境でも動かせるというわけです。
ここまで聞くとこう感じる人もいるかもしれません。 いやいや手元のパソコンで動作するAIなんて性能高が知れているでしょうと。
なぜローカルLLMを使う必要があるんですかと。 そんなことしなくてもChatGPTにアクセスすれば、より性能の高いAIモデルを使えるじゃないですかと。
この疑問至極当然だと思います。 あのちなみに私もローカルLLMを初めて触る前、同じように感じていました。
なぜChatGPTやジェミニ、クロードのような最先端で高性能なAIモデルを動かせる環境がすでにあるのに、
わざわざ性能が落ちるローカルLLMのモデルを使うんだろうと。 ただこうした疑問もローカルLLMを触っていく中で自然と解消していきました。
なぜ私たちがローカルLLMに注目する必要があるのか。 改めてこの点を深掘りしていきたいと思います。
ローカルLLMのメリット：セキュリティとプライバシー
ローカルLLMを使うメリットはいくつかありますけど、やっぱり一番は手元のパソコンの中だけで動かすことができるという点です。
これ何が嬉しいのかというと、例えばAIに学習させたくないデータ、機密性の高いデータ、そういったものを外部に送信することなく手元のパソコンの中だけで処理ができる点です。
個人的にはこれがローカルLLMを使う最大のメリットだと感じています。 AIを導入するときの最大の課題、それはAIに入力する情報のセキュリティ、
プライバシーをどうするかという点だと思います。 特にビジネスシーンでAIを導入するときによくこういった課題は聞きます。
取引先の情報をAIに学習されては困る。 顧客情報をAIを使って処理したいけど情報の流出が心配だと。
このようにセキュリティの関係でAIを使いたくても使えないという話、よく聞きます。
こうしたときの解決策として、例えばチャットGPTのエンタープライズ版のような企業向けのプランを契約して、よりセキュリティレベルを高める、そういったアプローチもあります。
一方でローカルLLMという選択肢を加えることで、セキュリティが求められるタスクに関してはローカルLLMで処理をすると。
こうすることでセキュリティやプライバシーの問題をクリアにするという、そういったアプローチが採用できます。
例えば社外費のような重要な書類の処理、機密性の高い会議音声の文字起こし、顧客のプライバシーを含んだデータの処理。
こうしたものもローカルLLMを使えば、外部にデータを送信することなく、そしてAIに学習されることなく安全に処理することができます。
ローカルLLMとChatGPTの違い：モデルと性能
はい、では一旦ローカルLLMのメリットはこのぐらいにしておいて、次にChatGPTとの違いについて話していきます。
普段使っているAIと比較することで、よりローカルLLMの解像度を上げていこうと。
違いといっても全体的なイメージは結構似ています。ChatGPTと同じようにAIに質問をすれば、AIが回答してくれると。
そしてChatGPTと同じように、タスクに応じてAIモデルを切り替えて使用することもできます。
例えばChatGPTであればGPT 5.4とか、あとはGPT 5.4 miniというように、AIモデルをタスクに応じて切り替えることが可能です。
実はローカルLLMも同じように、たくさんのモデルがあってタスクに応じて使い分けが可能です。
ただそのモデルの数というのが非常に多いのが特徴です。
様々な会社がローカルLLMで使えるモデルを開発しています。
例えばよく知られた存在でいうと、中国のDeepSeekというモデルがあります。
一時期話題になったモデルでもあるので、聞いたことあるよという人も多いと思います。
あとはGoogle。Googleというとジェミニのモデルが有名だと思いますけど、実はローカルLLMのモデルも開発しています。
それがGEMAというモデルです。
あとは元Facebookの会社、現在はMetaという名前に変更しています。
このMetaもLamaというモデルを開発しています。
こんな感じで様々な企業がローカルLLMで使えるモデルを開発しています。
そして私たちはそのようなモデルを自由にかつ無料でダウンロードして利用することができるというわけです。
具体的な使い方は後で紹介しますけど、自分が使うモデルをパソコンにダウンロードして使う。
そしてダウンロードした後は無料で何回でもオフラインで利用することができる。
こういった点はChatGPTと異なる部分だと思います。
じゃあローカルLLMで使えるモデル、ChatGPTやGeminiのモデルよりも性能が良いのかというと、先ほどお伝えしたように実際はそうではありません。
誰でも無料でダウンロードできて、なおかつChatGPTやGeminiよりも性能が高いとなると、誰もChatGPTやGeminiを使わなくなりますよね。
やっぱりChatGPTやGemini、クロードが定期的に公開している最新のモデル、こちらの方がローカルLLMで使うモデルよりも性能は高いです。
とは言ってもですよ。以前に比べてローカルLLMの性能はかなり上がってきています。
例えばGoogleが提供しているGemma4、こちらはクロードソネット4.5シンキングと同等のスコアを記録しています。
これすごくないですか。クロードソネット4.5が出た当時、すごいモデルが出てきたと。
私もこのポッドキャストでクロードソネット4.5、いやいいですねとか言ったりしていました。
当時最先端だったモデル、それと同程度の性能を誇るモデルを無料で自分のパソコンの中だけで使えるようになっていると。
つまりこれはどういうことを意味するのかというと、ある程度簡単なタスクであればローカルLLMに任せても十分な成果を得られるようになったと。
私たちが普段AIで使うタスク、すべてが複雑なタスクというわけではないですよね。
複雑なタスクもあれば比較的簡単なタスクもあります。
なのでローカルLLMを選択肢に加えるとこういったアプローチを取れるようになります。
複雑なタスクは従来通り、ChatGPTやGeminiのような高性能なモデルを使うと。
一方で比較的簡単なタスク、例えば要約や翻訳のようなそういったタスクはローカルLLMを採用すると。
いやいや別にモデルの使い分けなんてせずに、全部性能の高いChatGPTやGeminiで処理をすればいいじゃないと、そう思う人もいるかもしれません。
ローカルLLMのメリット：コストと利便性
ちょっとここ詳しく説明させてください。ここがローカルLLMを使うメリットの2つ目につながります。
それ何なのかというと、ローカルLLMは実質無料で利用できるという点です。
私もローカルLLMを使う前は同じように感じていました。
複雑なタスクも簡単なタスクも全部ChatGPTやGeminiで解決すればいいじゃないかと。
でもですね、ローカルLLMは無料で使えます。
かかる料金はパソコンを動かす費用だけです。
シンプルに電気代ぐらいで済むと。
なのでローカルLLMを導入すると、変な話、24時間AIを動かせるような環境を構築できます。
これ実際私やってるんですけど、Macのパソコンを24時間稼働させて、その中で1時間おきにローカルLLMを起動してタスクの処理をしています。
具体的に私がやっているのは、要約のタスクと翻訳のタスクをメインに行っています。
ちょっとちゃんと計測していないのであれなんですけど、
24時間1ヶ月間Macを動かして電気代、多分1000円ぐらいしか上がってないと思います。感覚としては。
つまりこれどういうことかっていうと、
例えば会社でローカルLLMを動かすパソコンを1台置いたとします。
1台でも何台でもいいんですけど。
そこで24時間パソコンを稼働させておいて、常に社内のタスクをAIにどんどん処理させるような環境を構築できます。
そういったことを行っても、実際にかかる費用というのはパソコンの電気代だけだと。
そしてAIに処理させる内容は学習されることはなく、しっかりセキュリティも担保できると。
つまりローカルLLMを導入することで、ポストとセキュリティのいいとこどりができるというわけです。
なので営業所にローカルLLMをセッティングしたパソコン1台置くだけで、ちょっと違ったAIの活用方法ができると思います。
そのパソコンというのは社外のネットワークは切っておいて、社内のネットワークだけで動作するようにしておくとか。
特に顧客や取引先との情報を安全にAIで処理したい、そういったニーズがある営業所には刺さると思います。
ちなみに文字起こしのモデルでおすすめなのは、オープンAIが提供しているWISPRというモデルです。
実はオープンAIもGoogleと同じようにローカルLLMの環境で使えるAIモデルというのを開発提供しています。
このモデルWISPRを使うことで、音声からテキストに文字起こしすることができます。
なので、文字起こしからようやくネクストアクションの成形、あとは次回の提案書の作成、そういったものも一気通貫で実装することができます。
営業の矢野くんが会社に戻ってきたら、音声ファイルを提出するだけで、顧客との打ち合わせのようやくネクストアクションの抽出、
次回に準備する資料の用意、上司への報告書、これらのタスクを人間の手を介さずにローカルLLMが処理してくれると、こういったことを実装できます。
こういった仕事をやる人が1人だけじゃなくて、10人、20人営業所にいると、タスクの数として多くなりますけど、
みんなが退社した後もパソコンだけ動かしておけば、翌朝みんなが出社する頃には指示していたタスクが完了していると、そのようなワークフローを組むこともできます。
ローカルLLMの使い方：OllamaとOpenRouter
では最後に、このようなローカルLLMを具体的にどうやって使うのか、その方法について紹介します。
使う方法としてはいくつかの選択肢があります。
イメージとしては、AIを使うためには、ChatGPTやGemini、クロードなどいくつか選択肢がありますよね。
そのようなイメージと似ています。いくつか選択肢があって、個人的にはオーラマというツールをお勧めします。
具体的な手順は、まずオーラマをパソコンにインストールします。次に自分が使いたいモデルをインストールします。
例えば、GoogleのGemmaとか、Metanoramaとか、で作業は以上です。
ローカルLLM、なんかこう難しいイメージあると思うんですけど、環境の構築すごく簡単です。
で、あとは普段通りAIに質問して回答をもらう、こういった流れです。
なのでステップとしては2つですね。ツールをインストールする、AIモデルをインストールする、この2つだけです。
ちなみにこうした新しいツールをパソコンに導入するとき、AIにガイドしてもらう方法がお勧めです。
例えば、ChatGPTやGeminiにこのように質問します。パソコンにオーラマをインストールしたいです。
私のパソコンはWindowsです、Macです。導入の手順を教えてください。
こう質問するだけで、AIがセットアップ方法をガイドしてくれます。
これはローカルLLMの環境構築だけではなくて、汎用的に使える方法なのでぜひ活用してみてください。
ローカル環境で使えるモデルたくさんあるんですけど、オーラマでどのようなモデルが使えるかっていうのは公式サイトで確認できます。
一応高性能のモデルほどパソコンの性能が必要になります。ここもAIと相談しながら決めていくのが良いと思います。
私のパソコンの性能はこのぐらいですと、このモデル使えますか?とか、私のパソコンの性能で使えるローカルLLMのモデル、どういったものがありますか?と。
パソコンの性能、例えばメモリーが何GBとか、そういった情報をAIに渡して相談しながら環境を整えていく、そういったことが可能です。
もし会社でローカルLLMの実装を考えている人、次のように質問します。
社内でローカルLLMを使う環境を整えたいですと、具体的にはどのように作業していけばいいですか?
このようなケース、このようなタスクで使おうと思いますが、こうした使い方はできますか?と。
可能であればスペックの高い、性能の良いパソコンを用意するのが理想なんですけど、わざわざ買い替える必要はなくて、まずは手元の環境で試してみる。
このスタートがオススメです。ちなみにオススメのモデルはGoogleが出しているGemma 4です。
あとはもう一つだけ、ローカルLLMを使う上でオススメのツールがあります。
それ何なのかというと、オープンルーターというツールです。
これ簡単に言うと、AIモデルの比較ができるツールです。
ローカルで使えるモデルたくさんあります。このタスクにこのモデルどうだろうとか、どれぐらい精度が出るかなって思った時に、
毎回パソコンにAIのモデルダウンロードするの結構手間なんですよね。
一方でオープンルーターではたくさんのモデルがすでに使える状態で用意されています。
つまり、ChatGPTと同じような感覚で、クラウド上でGemmaやDeepSeekなどそういったモデルを試すことができます。
ちなみにChatGPTやGeminiなどのモデルも用意されています。
これで何ができるかというと、例えばローカルLLMでどのモデルを使おうか悩んでいると、
Gemmaにしようか、DeepSeekにしようか、Ramaにしようかと、こうしたモデルを1個ずつマシンにインストールして比較するの面倒ですよね。
こうした時にオープンルーターのサイト上で準備なしで一気に複数のモデルを比較できます。
比較の結果、Gemmaが一番精度が良かったと。
じゃあGemmaを使っていこうと、このような使い方ができます。
あとはあるタスクがあって、これをローカルLLMで処理をしようか、ChatGPTのようなモデルで処理をしようか悩んでいると。
もしローカルLLMでも期待通りに処理ができるのであれば、可能であればそっちを使いたいと。
こうした時もオープンルーターでローカルのモデルと、あとはChatGPT、Geminiを比較することが可能です。
比較の結果、ローカルLLMでも問題なく処理することが分かったと。
であればこのタスクはローカルで処理をしていこうと。
このような判断材料に使うこともできます。
まとめと補足情報
ちょっと情報が多くなってきたので一旦整理します。
まずローカルLLMを使うにはオーラマというツールを使います。
そしてローカルLLMで使うモデルの比較を行う場合、その場合はオープンルーターというツールを使うのがおすすめです。
余談なんですけど、オープンルーター、少し前に160億円ぐらいの資金調達を発表しました。
勢いのあるプロダクトと言えますし、あとは今後私たちが目にする機会は増えると思います。
厳密に言うとAIモデルを比較できるだけのツールではなくて、
複数のモデルを本番で運用する際の基盤となるようなプロダクトなんですけど、
ひとまず概要欄にリンクを添付しますので、興味のある方はぜひチェックしてみてください。
それでは今日のポイントをまとめます。
1つ目にローカルLLMとは手元のパソコン、つまりローカルな環境でAIを動かすことです。
2つ目、ローカルLLMを使うことでAIに学習させることなく、
そして外部にデータを送信することなくタスクを処理することができます。
最後3つ目、ローカルLLMを使うにはオーラマというツールがおすすめです。
今回話している耳で学ぶAIのシリーズ、ノートにもまとめています。
興味のある方は補足コンテンツとしてご利用ください。概要欄にリンクを貼っておきます。
はい今日はこの辺ということで本日もお付き合いいただきありがとうございました。
番組ではこのように耳で学べるAIを毎週発信しています。
通勤中や火事の合間にAI情報をキャッチアップできます。
毎週水曜朝に更新しています。ぜひフォローお願いします。
そしておすすめの生成AIツールをまとめた資料も配布しています。
興味のある方はこちらもぜひ概要欄にリンクを貼っておきます。
お相手は耳で学ぶAIの矢野てっぺいでした。
また次の配信でお会いしましょう。
