ローカルLLMが遅いと感じたら、「MoE型」のモデルを試してみてください。全員出席の会議にあたるDense型と、担当者だけが出る会議にあたるMoE型の違い、速さの目安、モデル名での見分け方についてお話しします。
🕐タイムスタンプ
オープニング:モデルの2つのタイプ
前回の振り返りと今日のテーマ
Dense型とMoE型、結論から
Dense型は全員出席の会議
MoE型は担当者だけが出てくる会議
MoE型の落とし穴:メモリは大きいモデル並み
Qwenで比較:秒間60トークンと10トークン
トークンと速さの目安
試すならMoE型から。名前での見分け方
手持ちのマシンの目安
VRAMとメモリの見方
まとめ
AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/
#AI活用 #ローカルLLM #生成AI #MoE #Qwen
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c
🕐タイムスタンプ
オープニング:モデルの2つのタイプ
前回の振り返りと今日のテーマ
Dense型とMoE型、結論から
Dense型は全員出席の会議
MoE型は担当者だけが出てくる会議
MoE型の落とし穴:メモリは大きいモデル並み
Qwenで比較:秒間60トークンと10トークン
トークンと速さの目安
試すならMoE型から。名前での見分け方
手持ちのマシンの目安
VRAMとメモリの見方
まとめ
AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/
#AI活用 #ローカルLLM #生成AI #MoE #Qwen
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c
感想
まだ感想はありません。最初の1件を書きましょう!
スクロール