読み込み中

プロンプトキャッシュ

レッスン 462 分
読み込み中

プロンプトキャッシュは、以前のリクエストからの計算作業を再利用することで、Claudeの応答を高速化し、テキスト生成のコストを削減する機能です。各リクエストの後にすべての処理作業を破棄する代わりに、同様の内容を再度送信した際にClaudeはその作業を保存して再利用できます。

Claudeが通常どのようにリクエストを処理するか

プロンプトキャッシュを理解するために、まずキャッシュを有効にしていない典型的なリクエスト中に何が起こるかを見てみましょう。

通常のリクエスト:私たちのサーバーがClaudeに1つのユーザーメッセージ「この長いテキストを要約してください:」とテキストのプレースホルダーを送信します。

Claudeにメッセージを送信すると、すぐに応答の生成を開始するわけではありません。代わりに、Claudeは入力に対して広範な前処理作業を実行します。

Claudeの4つのステップのうち最初の3つを、要約を返す前に入力メッセージのみに対して行われる作業としてマークした図。

  • プロンプトをトークン化する(テキストをより小さな単位に分割する)
  • 各トークンの埋め込みを作成する(数学的な表現)
  • 周囲のテキストに基づいてコンテキストを追加する
  • その後初めて実際の出力テキストを生成する

Claudeのボックス内で選択された4つの処理ステップが、「Trash」というラベルの空の点線ボックスにドラッグされようとしている。

応答を送信した後、Claudeはこの計算作業すべてを破棄します。すべてが破棄され、Claudeは次のリクエストに備えます。

繰り返される内容の問題

ここで非効率な状況が発生します。Claudeと会話をしていると想像してください。フォローアップのリクエストには以下が含まれます:

フォローアップリクエストには、同じ「この長いテキストを要約してください」というメッセージ、Claudeの要約、そして「要約にはもっと焦点を当てる必要があります」というメッセージが含まれる。

  • 以前と同じ元のユーザーメッセージ
  • Claudeの以前の応答
  • 新しいフォローアップメッセージ

フォローアップリクエストで、Claudeはつい先ほど処理した繰り返しの最初のユーザーメッセージ「この長いテキストを要約してください」を指し示す。

Claudeは、ほんの少し前にまったく同じ内容を分析したにもかかわらず、その元のメッセージを再度最初から処理しなければなりません。Claudeはこう考えるかもしれません。「私はついさっきそのメッセージを処理して、行った作業をすべて破棄してしまった。その作業を再利用できたのに!」

プロンプトキャッシュがどのようにこれを解決するか

プロンプトキャッシュはこの無駄なプロセスを変えます。前処理作業を破棄する代わりに、Claudeはそれをキャッシュに保存します。

初期リクエストがClaudeの4つのステップを経て要約の返答に至る様子。隣には空のTrashボックスと空のCacheボックスがある。

これはどのように機能するかというと:

  1. 初期リクエスト: Claudeはメッセージを処理し、計算作業をキャッシュに書き込みます
  2. フォローアップリクエスト: Claudeが同じ内容を再度見たとき、最初からやり直すのではなく、キャッシュから以前処理した作業を読み取ります

長いテキストを要約するよう求めるユーザーメッセージと、保存されたトークン化、埋め込み、コンテキスト作業を対応付けるキャッシュテーブル。

キャッシュはルックアップテーブルのように機能します。「もしこのメッセージを再び見たら、すでに行ったこの作業を再利用しよう」というわけです。

主な利点と制限

Claudeは「Please summarize this」というプロンプトに対して行った作業をキャッシュに書き込み、その後フォローアップリクエストでそれを読み取る。

プロンプトキャッシュにはいくつかの利点があります:

  • より速い応答: キャッシュされた内容を使用するリクエストはより速く実行されます
  • 低コスト: キャッシュされた作業を再利用する処理にはより少ない費用がかかります
  • 自動最適化: 最初のリクエストがキャッシュに書き込み、フォローアップのリクエストがそこから読み取ります

ただし、留意すべき重要な制限があります:

  • 短い有効期間: キャッシュは5分間しか存続しません
  • 完全一致が必要: 同じ内容を繰り返し送信する場合にのみ有用です
  • 一般的なユースケース: これは会話型アプリケーションやドキュメント分析のワークフローで非常に頻繁に発生します

プロンプトキャッシュは、ユーザーが同じドキュメントを頻繁に参照したり、会話を続けたり、短い時間枠内で似たようなプロンプトを繰り返し行ったりするアプリケーションにおいて特に価値があります。