「長い会話をすると最初のことを忘れる」「PDFが大きすぎてアップロードできない」——これはすべてコンテキスト長の限界に起因します。コンテキスト長を理解すると、AIの使い方が劇的に上手くなります。
コンテキスト長とは？
コンテキスト長（Context Length / Context Window）とは、AIモデルが一度に処理・参照できるトークン数の上限です。「AIの短期記憶の容量」とも言えます。コンテキストウィンドウには、システムプロンプト・会話履歴・アップロードしたファイル・AIの回答——すべてが含まれます。この合計がコンテキスト長の上限を超えると、古い情報から忘れていきます。
コンテキストウィンドウの構成
システムプロンプト（役割・制約の設定）
会話履歴（ユーザー側）（これまでの質問・入力）
会話履歴（AI側）（これまでのAIの回答）
アップロードファイル（PDF・コード・画像等）
現在の質問（今のユーザー入力）
↑ これらすべての合計がコンテキスト長の上限内に収まる必要がある
主要モデルのコンテキスト長比較
| モデル | コンテキスト長 | 日本語換算 | ページ数目安 |
|---|---|---|---|
| Gemini 1.5 Pro | 100万トークン | 約50万〜60万文字 | 文庫本約300冊分 |
| Gemini 1.5 Flash | 100万トークン | 約50万〜60万文字 | 文庫本約300冊分 |
| Claude 3.5 Sonnet | 20万トークン | 約10万〜12万文字 | 文庫本約60冊分 |
| GPT-4o | 12.8万トークン | 約6万〜8万文字 | 文庫本約40冊分 |
| GPT-4o mini | 12.8万トークン | 約6万〜8万文字 | 文庫本約40冊分 |
| Llama 3.1 (70B) | 12.8万トークン | 約6万〜8万文字 | 文庫本約40冊分 |
コンテキスト長を上手く使うコツ
長い会話は定期的にリセット
同じトピックを長く話し続けると初期の情報が失われる。新しい会話を開始して要点を再入力すると良い。
重要情報を最初と最後に配置
「Lost in the Middle」現象：コンテキストの中央部分は注意が薄れやすい。重要な指示は最初か最後に配置する。
ファイルは必要な部分だけ
大きなPDFは全部アップロードせず、関連する章だけを貼り付けるとコンテキストを節約できる。
RAGで補完する
コンテキスト長を超えるドキュメントはRAGを使って必要な部分だけ動的に取り出す設計にする。
よくある質問
コンテキスト長が長ければ長いほど良い？
基本的にはそうですが、コンテキストが長いほど計算コストが上がり、AIが重要な情報を見つけにくくなる「Lost in the Middle」問題が起きやすくなります。Geminiの100万トークンは理論上は本300冊を一度に処理できますが、実際には長すぎるコンテキストでは精度が落ちることが報告されています。
コンテキスト長と長期記憶は同じ？
異なります。コンテキスト長は「現在の会話セッション内での短期記憶」の上限です。会話をリセットするとコンテキストも消えます。長期記憶はRAGや外部メモリシステムを使って実装する必要があります。MemGPT・Mem0などのツールがAIの長期記憶を実現する試みをしています。
コメント