11/7のローカルLLM入門、11/11のGPUとVRAMの基本の続き。モデルのページに並ぶQ4やQ8の意味を初心者向けに:量子化とは何か(重みの数字を少ないビット数でざっくり表し、ファイルとメモリを小さくする)、4ビットは計算上16ビットの4分の1だが、スケールなどの付加情報で実際は少し大きいこと、品質の落ち方はモデルと方式次第で、小さいほどお得とは言い切れないこと、GGUFとは何か(llama.cppの開発者が作った形式で、重みと設定を多くの場合1つのファイルにまとめられる。Hugging Face・Ollama・LM Studioで扱える)、Q4・Q8の読み方(数字がだいたいのビット数)、AIへの相談のしかたと注意(実際のファイルサイズはモデルのページで確認、作業用メモリの余裕を見る、よく使う質問で比べて選ぶ)。参考:https://huggingface.co/docs/hub/gguf / https://github.com/ggml-org/ggml/blob/master/docs/gguf.md / https://github.com/ggml-org/llama.cpp / https://huggingface.co/docs/transformers/main/en/llm_tutorial_optimization 。本番組は合成音声です。内容に誤りがある場合はコメントでお知らせください。
感想
まだ感想はありません。最初の1件を書きましょう!
スクロール