ラズパイ・ローカルLLM・GPUとVRAM・量子化の回の続き。家に置きっぱなしのAIマシンとして注目されるMac miniを初心者向けに:CPUとGPUがひとつのメモリを分け合うユニファイドメモリ(グラフィックボードを積んだパソコンはメインメモリとVRAMが別々)、今のMac miniはM6(標準16GB・最大32GB)とM5 Pro(標準24GB・最大64GB)の2種類、メモリは購入後に増やせないので注文時に決める、生成の速さにはメモリの通り道(帯域)の太さも効きM5 Proのほうが太い。Ollamaは最初はMac mini自身からしかつながらず、家の中に開くにはOllama側の待ち受け設定(OLLAMA_HOST)を変える。インターネットに直接は出さず、外からはTailscaleのような仕組みを通す。サーバーとしては自動スリープしない設定と停電後に起動する設定を(名前は機種・OSで違う)。参考:https://www.apple.com/jp/mac-mini/specs/ / https://support.apple.com/en-us/102328 / https://docs.ollama.com/faq / https://support.apple.com/ja-jp/guide/mac-help/mchlp1168/mac 。本番組は合成音声です。内容に誤りがある場合はコメントでお知らせください。
感想
まだ感想はありません。最初の1件を書きましょう!
スクロール