【公式切り抜き】この動画は、ポッドキャスト「おちつきAIラジオ」ep.98 の公式切り抜きです。
▼本編はこちら(Spotify)
https://open.spotify.com/episode/7FGRtiUKHDwj9hbIajbqP3
▼本編はこちら(Apple Podcasts)
https://podcasts.apple.com/jp/podcast/id1841316430?i=1000785686767
ローカルLLMを今から触る理由を、クラウド依存、軽量化、手元での運用という観点から考える。大きな汎用モデルだけに頼らず、特化した小型モデルへ小さい仕事を分ける使い方を説明する。手持ちのPCで試せるモデルや、OpenCodeとLM Studioを使ったローカル運用の入口にも触れる。視聴者は、現時点ではクラウドの品質が高くても、将来に備えて手元で動かす経験を始める意味と最初の試し方が分かる。
※発言は本編公開時点のものです。
▼目次
ローカルのロマン
クラウド依存
小さいモデルへ
今から触る意味
手持ちPCで試す
OpenCodeの役割
軽量化の進展
LM Studio入門
【番組公式Webサイト】※お便りはこちら
https://ochitsuki-ai.com/
【番組公式ハッシュタグ】
【番組公式X】
https://x.com/ochitsuki_AI
【パーソナリティ(MC)】
▼しぶちょー
・AIエンジニア
・技術士(機械部門)
https://x.com/sibucho_labo
▼かねりん(金田勇太)
・KANERIN Podcast Studios 代表
・一般社団法人 地方WEB3連携協会 理事
https://x.com/kanerinx
【制作】
番組演出(トーク・BGM・効果音):Aviv Haruta
プロデューサー:金田勇太(かねりん)
制作:KANERIN Podcast Studios
著作:株式会社KANERIN
https://kanerin.co.jp
感想
まだ感想はありません。最初の1件を書きましょう!
サマリー
ローカルLLMを使う意義について、クラウドサービスへの依存や料金、セキュリティの観点から話します。大規模モデルを何でも使うのではなく、特化した小型モデルを手元の端末で小さなタスクごとに動かす考え方が示されます。RTX 4070搭載PCでは、クエン3.5の9ビリオン級モデルが動くという具体例や、文字起こしへの利用案も登場します。さらに、OpenCodeで好きなモデルを選んでエージェント的に使う構成と、LM Studioでモデルを導入しAPI経由でアプリケーションから呼び出す方法を説明します。量子化による軽量化が進み、今後より安価なPCでも動作する可能性にも触れています。
コメント
このエピソードのトピック
すべてのトピック →それぞれのトピックから、ほかの番組の会話も探せます。