「ローカルLLM」、100万円のマシンを買う前に余ったPCで試す。顧客情報や社内データを外に出さずにAIを使うなら、社内で動かすローカルLLMが現実的な選択肢です。高額なマシンをいきなり買わず、余っているマシンで試すこと、大事なのはメモリの容量であること、クラウドとは難易度で使い分けることをお話しします。
🕐タイムスタンプ
オープニング:社内用AIにローカルLLM
結論:クラウドの代わりではない。まず余っているマシンで試す
なぜ今「外に出さない」なのか
向いているのは士業や医療関係
求められるのは社内資料の検索(RAG)
3つの問題点
DGX SparkやMac Studioは100万円前後〜
高額投資をせず、余っているマシンで試す
RTX 5070機とMacを比べてみた
大事なのは処理能力よりメモリの容量
ツールとモデルの候補:Ollama、Gemma 4、Qwen
メモリ64GB以上なら「Strata」
クラウドとローカルは難易度で使い分ける
まとめ
AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/
#AI活用 #ローカルLLM #社内AI #情報漏洩対策
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c
🕐タイムスタンプ
オープニング:社内用AIにローカルLLM
結論:クラウドの代わりではない。まず余っているマシンで試す
なぜ今「外に出さない」なのか
向いているのは士業や医療関係
求められるのは社内資料の検索(RAG)
3つの問題点
DGX SparkやMac Studioは100万円前後〜
高額投資をせず、余っているマシンで試す
RTX 5070機とMacを比べてみた
大事なのは処理能力よりメモリの容量
ツールとモデルの候補:Ollama、Gemma 4、Qwen
メモリ64GB以上なら「Strata」
クラウドとローカルは難易度で使い分ける
まとめ
AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/
#AI活用 #ローカルLLM #社内AI #情報漏洩対策
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c
感想
まだ感想はありません。最初の1件を書きましょう!
スクロール