11/7のローカルLLM入門の続き。手元でどの大きさのモデルが動くかを決めるGPUとVRAMを初心者向けに:GPUとCPUの違い(大勢で単純な計算をいっせいに)、VRAMとは何か(GPU専用のメモリ、本体のRAMとは別)、必要なメモリのざっくり計算(パラメータ数×1個あたりのバイト数。7Bを16ビットで約14GB、4ビットなら計算上約3.5GBで実ファイルは少し大きい)、KVキャッシュなど作業用メモリのぶん余裕を見ること、入りきらない分はCPUと本体メモリに回せるが遅くなりがち(Ollamaはollama psで確認)、メモリ帯域が生成の速さに効くこと、AIへの聞き方と注意(仕様表と実測で確認、VRAMの量を見る、MacのようにCPUとGPUがメモリを共有するタイプもある)。参考:https://docs.ollama.com/faq / https://github.com/ggml-org/llama.cpp / https://huggingface.co/docs/transformers/main/en/llm_tutorial_optimization 。本番組は合成音声です。内容に誤りがある場合はコメントでお知らせください。
感想
まだ感想はありません。最初の1件を書きましょう!
スクロール