ローカルLLMにPDFを貼ったら、いきなりエラー。その原因になっている「コンテキスト長」を、作業机の広さにたとえて解説します。コンテキスト長はAIが一度に見渡せる量のことで、指示も会話も資料も答えも、すべてその中に収める必要があります。広げるほどメモリを食って遅くなるため、Ollamaなどのソフトは最初から狭めに設定されていること、はみ出したときのエラーと「黙って読み飛ばす」パターンの違い、必要なところだけ渡す・会話を新しく始める・RAGを使うといった付き合い方、ChatGPTやClaudeでエラーになりにくい理由までお話ししています。冒頭では、MetaのMuseのApple Watch対応にも触れています。
🕐タイムスタンプ
オープニング:PDFを貼るとエラーになるのはなぜ?
雑談:MetaのMuseがApple Watchに
前回の続き:7B・26Bの次はコンテキスト長
結論は2つ
コンテキスト長はAIが一度に見渡せる量
作業机の広さにたとえると
机に載っているのは資料だけじゃない
長くやりとりすると最初のことを忘れる理由
はみ出したときの出方は2通り
机を広げるほどメモリを食って遅くなる
読んだ内容のメモ(KVキャッシュ)
長い資料は読むだけで時間がかかる
Ollamaの既定のコンテキスト長
Strataでは最初に自分で選ぶ
エラーが出たら設定を上げる
使い方のコツ:必要なところだけ渡す
長くなったら会話を新しく始める
大量の資料はRAGで
ChatGPTやClaudeでエラーにならない理由
うまくいかないときのチェック
まとめ
AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/
#ローカルLLM #コンテキスト長 #RAG #AI活用
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c
🕐タイムスタンプ
オープニング:PDFを貼るとエラーになるのはなぜ?
雑談:MetaのMuseがApple Watchに
前回の続き:7B・26Bの次はコンテキスト長
結論は2つ
コンテキスト長はAIが一度に見渡せる量
作業机の広さにたとえると
机に載っているのは資料だけじゃない
長くやりとりすると最初のことを忘れる理由
はみ出したときの出方は2通り
机を広げるほどメモリを食って遅くなる
読んだ内容のメモ(KVキャッシュ)
長い資料は読むだけで時間がかかる
Ollamaの既定のコンテキスト長
Strataでは最初に自分で選ぶ
エラーが出たら設定を上げる
使い方のコツ:必要なところだけ渡す
長くなったら会話を新しく始める
大量の資料はRAGで
ChatGPTやClaudeでエラーにならない理由
うまくいかないときのチェック
まとめ
AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/
#ローカルLLM #コンテキスト長 #RAG #AI活用
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c
感想
まだ感想はありません。最初の1件を書きましょう!
スクロール