ローカルLLMを初心者向けに。クラウドではなく手元で動かす意味(プライバシー、オフライン、利用料、学び)、ローカルLLMとは何か(モデルの重みを家のPCで動かす)、Ollama(入りやすい道具、macOS/Windows/Linux、クラウドモデルもあるのでローカル完結ならダウンロード型を選びクラウド機能を切る)、llama.cpp(Ollamaなどの中のエンジンの一つ、GGUFを読む)、GGUFと量子化の入り口、小さめのモデルから始める目安(空き8ギガ前後など)、AIへの聞き方と注意(性能差、クラウドへ貼る本末転倒、ディスク空き)。参考:https://docs.ollama.com/ / https://docs.ollama.com/quickstart / https://docs.ollama.com/cloud / https://github.com/ggml-org/llama.cpp / https://llama.app/docs/introduction 。本番組は合成音声です。内容に誤りがある場合はコメントでお知らせください。
感想
まだ感想はありません。最初の1件を書きましょう!
スクロール