読み込み中

プロンプトキャッシュ

レッスン 462 分
読み込み中

プロンプトキャッシュは、以前のリクエストから得られた計算処理の結果を再利用することで、Claudeの応答を高速化し、テキスト生成のコストを削減する機能です。この仕組みを理解するために、まずは通常のリクエストの際にClaude内部で何が起きているかを見てみましょう。

Claudeが通常リクエストを処理する方法

Claudeにメッセージを送信すると、応答が返ってくるまでの間に、裏側では多くの処理が行われています。Claudeはすぐにテキストの生成を開始するわけではなく、まず入力メッセージに対して広範な処理を行います。

通常のリクエスト:サーバーがClaudeに「この長いテキストを要約してください:」というユーザーメッセージとテキストのプレースホルダーを1つ送信する様子。

以下は、Claudeがメッセージに対して行う処理です。

  • プロンプトをトークン化する
  • 各トークンの埋め込みを作成する
  • 周囲のテキストに基づいてコンテキストを追加する
  • 出力テキストを生成する

図では、Claudeの4つのステップのうち最初の3つが入力メッセージのみに対して行われる処理であることを示しており、その後に要約が返される様子が示されている。

こうした前処理はすべて、Claudeが実際の応答を生成する前に行われます。Claudeがリクエストの処理を終えて応答を返すと、今まさに行ったすべての計算処理の結果は破棄されます。

Claudeのボックス内で選択された4つの処理ステップが、「Trash(ゴミ箱)」とラベル付けされた空の破線ボックスにドラッグされようとしている様子。

処理結果を破棄することの問題点

これは、Claudeと会話を続ける際に非効率を生み出します。たとえば、先ほどと同じメッセージに加えて、Claudeの前回の応答、そして会話を続けるための新しいメッセージを含むフォローアップリクエストを送る場合を考えてみましょう。

「この長いテキストを要約してください」という同じメッセージ、Claudeの要約、そして「この要約にはもっと重点を置いてほしい点があります」というフォローアップリクエスト。

Claudeが同じ元のメッセージを再び目にすると、つい先ほど破棄したばかりの同じ計算処理を、もう一度やり直さなければなりません。Claudeはいわば次のように考えているのです。「このメッセージはまさに今処理して、この作業をすべて終えたのに、それを破棄してしまった。今、また一からやり直さなければならない」と。

フォローアップリクエストの中で、Claudeがつい先ほど処理したばかりの、繰り返された最初のユーザーメッセージ「この長いテキストを要約してください」を指し示している様子。

プロンプトキャッシュがこの問題をどう解決するか

プロンプトキャッシュは、計算処理の結果を破棄するのではなく保存することで、この非効率を解消します。仕組みは次のとおりです。

最初のリクエストがClaudeの4つのステップを経て要約の返信に至る様子。隣には空のTrash(ゴミ箱)ボックスと空のCache(キャッシュ)ボックスが示されている。

Claudeが最初のリクエストを処理するとき、すべての前処理結果を破棄する代わりに、その処理結果をキャッシュに保存します。このキャッシュは、特定の入力メッセージを対応する計算結果にマッピングするルックアップテーブルのような役割を果たします。

「この長いテキストを要約してください」で始まるユーザーメッセージと、再利用するための3つの前処理ステップをペアにしたキャッシュエントリ。

同じ内容を含むフォローアップリクエストを送ると、Claudeはキャッシュを確認し、最初からやり直す代わりに以前の処理結果を再利用できます。

主な利点と制限事項

Claudeが「Please summarize this」というプロンプトに対して行った処理結果をキャッシュに書き込み、その後フォローアップリクエストでそれを読み取る様子。

プロンプトキャッシュには、いくつかの利点があります。

  • キャッシュされたコンテンツを使用するリクエストは、実行コストが安く、速度も速くなります
  • 最初のリクエストはキャッシュへの書き込みを行います
  • フォローアップリクエストはキャッシュから読み取ることができます
  • キャッシュの有効期間は5分間です
  • 同じコンテンツを繰り返し送信する場合にのみ有用です(ただし、これは非常に頻繁に起こります)

キャッシュの有効期間は5分間であるため、短い時間枠内で重複するコンテンツを含む複数のリクエストを行う会話やワークフローにおいて、最も効果を発揮します。このパターンは実際のアプリケーションにおいて非常によく見られます。チャットボット、文書分析ツール、あるいは会話のコンテキストを保持するあらゆるシステムを思い浮かべてみてください。

プロンプトキャッシュが特に価値を発揮するのは、多くのAIアプリケーションが同じコンテンツを繰り返し送信しているためです。システムプロンプト、会話履歴、あるいは分析対象の大きなドキュメントなど、同じテキストが1つのセッション内で複数のリクエストにまたがって繰り返し現れることがよくあります。