ローカルLLMにPDFを貼ったら、いきなりエラー。その原因になっている「コンテキスト長」を、作業机の広さにたとえて解説します。コンテキスト長はAIが一度に見渡せる量のことで、指示も会話も資料も答えも、すべてその中に収める必要があります。広げるほどメモリを食って遅くなるため、Ollamaなどのソフトは最初から狭めに設定されていること、はみ出したときのエラーと「黙って読み飛ばす」パターンの違い、必要なところだけ渡す・会話を新しく始める・RAGを使うといった付き合い方、ChatGPTやClaudeでエラーになりにくい理由までお話ししています。冒頭では、MetaのMuseのApple Watch対応にも触れています。
🕐タイムスタンプ
00:00 オープニング:PDFを貼るとエラーになるのはなぜ?
00:50 雑談:MetaのMuseがApple Watchに
01:37 前回の続き:7B・26Bの次はコンテキスト長
02:37 結論は2つ
02:59 コンテキスト長はAIが一度に見渡せる量
03:24 作業机の広さにたとえると
03:41 机に載っているのは資料だけじゃない
04:15 長くやりとりすると最初のことを忘れる理由
04:39 はみ出したときの出方は2通り
05:25 机を広げるほどメモリを食って遅くなる
05:51 読んだ内容のメモ(KVキャッシュ)
06:34 長い資料は読むだけで時間がかかる
06:51 Ollamaの既定のコンテキスト長
07:38 Strataでは最初に自分で選ぶ
08:07 エラーが出たら設定を上げる
08:26 使い方のコツ:必要なところだけ渡す
09:17 長くなったら会話を新しく始める
09:41 大量の資料はRAGで
10:07 ChatGPTやClaudeでエラーにならない理由
11:53 うまくいかないときのチェック
12:28 まとめ
AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/
#ローカルLLM #コンテキスト長 #RAG #AI活用