ニュースでよく見る「量子化」「4ビット版」「1ビットで動く」を、スマホ写真の画質にたとえて一言で説明します。本来は自宅のパソコンに入らないほど大きなAIが、なぜ手元で動くのか。画質を落としすぎるとどうなるのか、用途での選び方までお話しします。
🕐タイムスタンプ
オープニング:大きなAIがなぜ普通のパソコンに入るのか
前回さらっと出した「量子化モデル」
手元で動くAIには、サイズの壁がある
中身が公開されたオープンウェイトのモデル
手元で動かすと何がいいのか
性能が高いAIほどファイルが大きい
量子化は、写真の画質を落とすのと同じ
4ビット、1ビットは画質の設定
メタやGemmaの例
Ollamaのモデルは、最初から量子化版が多い
画質を落としすぎると、細かいところで粗が出る
用途で画質を選ぶ
ニュースで「1ビットで動く」と見たら
まとめ
AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/
#AI活用 #量子化 #ローカルLLM #オープンウェイト
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c
🕐タイムスタンプ
オープニング:大きなAIがなぜ普通のパソコンに入るのか
前回さらっと出した「量子化モデル」
手元で動くAIには、サイズの壁がある
中身が公開されたオープンウェイトのモデル
手元で動かすと何がいいのか
性能が高いAIほどファイルが大きい
量子化は、写真の画質を落とすのと同じ
4ビット、1ビットは画質の設定
メタやGemmaの例
Ollamaのモデルは、最初から量子化版が多い
画質を落としすぎると、細かいところで粗が出る
用途で画質を選ぶ
ニュースで「1ビットで動く」と見たら
まとめ
AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/
#AI活用 #量子化 #ローカルLLM #オープンウェイト
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c
感想
まだ感想はありません。最初の1件を書きましょう!
スクロール