多くの人がAIチャットを検索の代替手段として使っています。これを安全に行うためには、LLMがどこから情報を得ているのかを理解することが重要です。LLMが誤った情報を生成するとき、それは通常、不足している、誤っている、あるいは低品質なコンテキストの副作用です。
それがなぜ起こるのかを知らなければ、モデルが情報をでっち上げてあなたを欺こうとしていると感じてしまいがちです。しかし、モデルの知識がどこから来るのかを理解すれば、モデルがどこで誤りを起こしそうかをより明確に予測できるようになります。また、あなたのトークンがどこに使われているかを見極め、さらにコンテキストを追加する価値があるかどうかを判断することもできます。
答えはどこから来るのか
ウォームアップです - とりあえず推測してみてください。
AIチャットモデルが質問に答えるとき、答えはどこから来るのでしょうか?
3つとも起こります。このレッスンでは、その順序で説明していきます: 訓練による知識、会話に入力した内容、そしてモデルが自分で調べた内容です。
パラメトリックメモリ
モデルは時に、ただ...物事を知っています。その組み込まれた知識は、モデルの重み、つまりパラメータに焼き込まれているため、パラメトリックメモリと呼ばれます。
誰も百科事典を作ろうとしたわけではありませんが、LLMが記憶から暗唱できる事実は、テキストを予測することを学習した副産物として生まれました。
パラメトリックメモリが尽きる場所
パラメトリックメモリは、得意なことと不得意なことがあります。以下は、モデルが最も可能性の高い次の単語を予測することで書いている途中の文です。各文の次の数語をクリックして表示し、モデルが正しい情報を生成したかどうかを自分で判断してください。
コンテキストを追加する
Claudeが訓練だけでは答えられない質問を見てみましょう。
このウィジェットでは、追加のコンテキストを提供することで質問を調整すると、モデルにとってタスクが明らかに簡単になります。
コンテキスト ウィンドウ
言語モデルのコンテキストには最大サイズがあります。本稿執筆時点では、現在の主力Claudeモデルは最大100万トークン(新しいタブで開きます)を保持できます。
これは『白鯨』約3冊分に相当します。では、どうして誰もが容量不足になるのでしょうか?
AIチャットの初期の頃、この上限に達することは最初からやり直すことを意味していました。2024年や2025年のチャットインターフェースで、あなた自身もこの上限に達したことがあるかもしれません。しかし、それが起きたとき、あなたは小説3冊分よりもはるかに少ない量しか書いていないことを知っています - 私たちのほとんどはそれほどおしゃべりではありません。では、あなたの100万トークンはどこへ行ったのでしょうか?見ていきましょう。
ウィンドウを埋める
通常のチャットのやり取りを行い、コンテキスト ウィンドウが埋まっていく様子を見てみましょう。この例を分かりやすくするため、わずか1,000トークンというはるかに小さなコンテキスト ウィンドウを持つモデルを想定します。
コンテキスト圧縮
コンテキスト ウィンドウが上限に近づくと、アプリはClaudeにこれまでの会話全体を要約するよう依頼し、その要約がそれまでにあったコンテキストに置き換わります。
コンテキスト圧縮により、新しい会話を始める代わりに会話を続けることができます。仕組みは次のとおりです:
- まず、アプリが気づきます。 コンテキスト ウィンドウを過負荷にする可能性のあるリクエストを送信する代わりに、アプリはあなたの次のターンを保留し、コンテキスト圧縮を開始します。
- 次に、Claudeが要約します。 これまでの会話は、「添付は人間とモデルの間の会話です。これまでに起こったことすべての要約を作成してください」といったプロンプトとともにClaudeに渡されます。
- 最後に、会話はその要約から続きます。 要約が会話履歴に置き換わり、その後、ステップ1で保留されていたあなたのクエリがClaudeに渡され、応答が生成されます。
試してみよう: コンテキスト圧縮
書き込みメモリ
メモリは、厳格に制限されたウィンドウが無限であるかのように感じられる仕組みです。Claudeはある会話の中でメモを書き、そのメモが次の会話の冒頭で再び追加されます。
メモリを、Claudeがメメントのように物事を書き留め、後でそれを読み返す行為だと考えてください。Claudeは昼寝の後すっかりリフレッシュして目覚め、以前自分自身のために書いたメモリファイルを見回すことができます。これをパラメトリックメモリと混同しないよう、書き込みメモリと呼ぶことにします。
コンテキスト圧縮は、Claudeが単一の会話をコンテキストの上限を超えて続けられる仕組みです。書き込みメモリは、Claudeが複数の会話にわたって重要な詳細をコンテキストに保持する仕組みです。
このスケッチを左から右へ読んでください。火曜日にあなたが好みを伝えると、Claudeはそれを目に見える形で書き留めます。そして木曜日、新しい会話の中で、Claudeにはその好みが再び伝えられることはありません。しかし、そのメモリノートは、あなたの最初のメッセージの前に静かにコンテキストへ挿入されます。このプロセスにより、Claudeはあなたが共有した直接のフィードバックに基づいて、時間とともにあなたの好みを覚えておくことができます。
そのメモリは、火曜日の会話の完全なコンテキストがないまったく新しいセッションであっても、将来の会話に反映されます。
Claude製品ごとにメモリの実装方法は異なります。Claude Codeはコードベース全体でCLAUDE.mdファイル(新しいタブで開きます)を読み込みますが、claude.aiは設定内にメモリを保持します(新しいタブで開きます)。しかし、場所が異なっていても、プロセスは同じです。Claudeは重要な情報を書き留め、その後の会話の冒頭で後のClaudeのインスタンスがそれを読み返します。
メモリの1週間
同じアシスタントと過ごす5日間。何を書き留め、何を新たに調べ直すかに注目してください。
前置きされたコンテキスト
一歩引いて見ると、Claudeがあなたの最初のトークンを目にする前に、非常に多くのものがコンテキストに追加されています。以下のウィジェットは、Claudeとの会話にどのような前置きされたコンテキストが追加され得るかを示しています。正確な内容は製品によって異なります。
エージェント的コンテキスト
コンテキストがClaudeの能力を拡張する上でいかに重要かが分かったところで、エージェント的コンテキスト、つまりClaudeが答える前により多くのコンテキストを取得することを決める場合について理解することが重要です。これは、Claudeがパラメトリックメモリやすでに持っているコンテキストから答える代わりに検索ツールを使用した、トマトの苗に関する先ほどの例で見たとおりです。
以下のウィジェットでは、あなたがClaudeであると想像してください。サイドバーには、ユーザーのメッセージの前に静かにコンテキストへ挿入された情報が表示されています。各プロンプトについて、すでに知っていることから答えるか、自分の外に手を伸ばしてより多くのコンテキストを取得するかを決めてください。
Claudeは毎ターンこの同じ判断を行っており、どれだけ積極的により多くのコンテキストに手を伸ばすかは、一部エフォート設定に左右されます。エフォートが高いほど、Claudeは答える前に検索、読み取り、確認を行う可能性が高くなり、これは通常、より良い回答とより大きなコンテキスト ウィンドウを意味します。エフォートが低いほど、Claudeは直接答える可能性が高くなります。Claudeでのエフォートレベルの選び方を学ぶ(新しいタブで開きます)、またはClaude Codeでの選び方(新しいタブで開きます)。
コンテキストを追跡する
Claudeからのこの返信例を見てみましょう。ハイライトされた各セクションは、前置きされたコンテキストの一部によって影響を受けています。セクションをクリックして、それがどこから来たと思うか特定してください。
今あなたにできること
- あなたは、重みの中にあるもの(パラメトリックメモリ)とウィンドウの中にあるもの(コンテキスト)の違いを言葉にすることができます。
- あなたは、ウィンドウに上限があること、そしてそれを埋めているのはあなただけではないことを知っています。
- あなたは、毎ターンウィンドウ全体が再送信されることを知っており、いつ新しいセッションを始めるかを意図的に判断できます。
- あなたは、コンテキスト圧縮がウィンドウを無限に感じさせることのできる要約技術であるが、詳細を失う可能性があることを理解しています。
- あなたは、書き込みメモリがセッション間でどのように生き残るかを説明できます。
- あなたは、Claudeの返信を見て、前置きされたコンテキストがそれをどのように形作った可能性があるかを推測できます。
次へ: Claudeでエフォートレベルを選ぶ(新しいタブで開きます) ・ Claude Codeで(新しいタブで開きます)
さらに詳しく: AIの仕組み(新しいタブで開きます) ・ AIの能力と限界(新しいタブで開きます)