1. いっかくのAI仕事術チャネル
  2. ローカルLLMが遅いなら「MoE型..
ローカルLLMが遅いなら「MoE型」を試す。速さが変わる理由
2026-11-03 09:43

ローカルLLMが遅いなら「MoE型」を試す。速さが変わる理由

おたよりを送る
ローカルLLMが遅いと感じたら、「MoE型」のモデルを試してみてください。全員出席の会議にあたるDense型と、担当者だけが出る会議にあたるMoE型の違い、速さの目安、モデル名での見分け方についてお話しします。

🕐タイムスタンプ
オープニング:モデルの2つのタイプ
前回の振り返りと今日のテーマ
Dense型とMoE型、結論から
Dense型は全員出席の会議
MoE型は担当者だけが出てくる会議
MoE型の落とし穴:メモリは大きいモデル並み
Qwenで比較:秒間60トークンと10トークン
トークンと速さの目安
試すならMoE型から。名前での見分け方
手持ちのマシンの目安
VRAMとメモリの見方
まとめ

AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/

#AI活用 #ローカルLLM #生成AI #MoE #Qwen
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c

感想

まだ感想はありません。最初の1件を書きましょう!

09:43

コメント

スクロール