コンテキストの劣化
より多くのコンテキストが事態を悪化させるとき
AIを使う際の自然な発想は、すべてを与えることです。文書全体を貼り付ける。すべてのメッセージを含める。見つけられる限りのコンテキストを追加する。情報が多いほど、より良い答えが得られる、そうですよね?
必ずしもそうではありません。試験のために詰め込み勉強をした経験がある人なら直感的に知っている現象があります。一度に心に保持できる量には限界があるのです。そして、真ん中にあるものが最初に消えていく傾向があります。
これがAIモデルにどう影響するかを話す前に、それがあなた自身にどう影響するかを見てみましょう。
メモリーテスト
U字型カーブ
あなたが今体験したことには名前があります。系列位置効果です。心理学者たちは1世紀以上にわたってこれを研究してきました。リストの最初にある項目は初頭効果(より多く反復されるため)の恩恵を受け、最後にある項目は新近効果(まだ新鮮であるため)の恩恵を受けます。真ん中はどちらの利点も得られません。
興味深いのは、大規模言語モデルも同じパターンを示すということです。2023年、スタンフォード大学の研究者たちは、長いコンテキストウィンドウ内の異なる位置に重要な事実を配置した場合に何が起こるかをテストしました。その事実が最初または最後に現れたときに正確性が最も高く、真ん中に埋もれているときには30%以上低下しました。
これは単なる癖ではありません。構造的なものです。Transformerのアテンションパターンは、自然にコンテキストウィンドウの両端をより重く重み付けします。
これがプロンプティングにとって意味すること
20ページの文書をプロンプトに貼り付けて、11ページ目にある何かについて質問した場合、モデルは1ページ目や20ページ目にある内容よりも、それを見逃す可能性が高くなります。これはコンテキストをどのように構成するかに実際の影響を与えます。
実践的なアドバイスは単純です。最も重要な指示はコンテキストの最初と最後に置くことです。絶対に守られなければならない制約がある場合は、システムプロンプトの早い段階でそれを述べ、終わり近くで再度述べてください。その間にあるすべてのものに対してモデルが等しい重みを与えることに依存してはいけません。
これは出発点であり、上限ではありません。習熟度が上がるにつれて、モデルが何が重要かを確実に理解できるようにコンテキストを構成する、より洗練された方法を発見していくでしょう。ウィンドウ内のどこに情報があるか、何を含めて何を削るか、そして重要な指示がデッドゾーンに滑り込まないようにする方法を活用するのです。目標は常に同じです。Claudeにとって、あなたが実際に必要としているものを明確にすることです。
より大きな視点
コンテキストの劣化は、「とにかくもっとコンテキストを与える」が常に答えにはならない理由です。追加するコンテキストの一つひとつが、他の部分をさらに真ん中へ、つまりアテンションのデッドゾーンへと押し込みます。これがコンテキストエンジニアリングの核心的な緊張関係です。何を含めるかだけでなく、どこに置くか、そして何を省くかということです。
あなた自身のメモリーテストが、すでにこれを教えてくれていました。真ん中の言葉は消えてしまいました。同じことが、すべての長い会話、すべての貼り付けられた文書、満杯になったすべてのコンテキストウィンドウの内部で起こっています。解決策はもっと増やすことではありません。もっと賢くすることです。