読み込み中

プロンプトキャッシュ

レッスン 432 分
読み込み中

プロンプトキャッシュは、以前のリクエストの計算処理結果を再利用することで、Claudeの応答を高速化し、テキスト生成のコストを削減する機能です。各リクエストの後にすべての処理作業を破棄する代わりに、Claudeは類似のコンテンツを再度送信したときにその作業を保存して再利用できます。

Claudeが通常リクエストを処理する方法

プロンプトキャッシュを理解するために、まずキャッシュが有効になっていない一般的なリクエスト中に何が起こるかを見てみましょう。

典型的なリクエスト:サーバーがClaudeにユーザーメッセージ「この長いテキストを要約してください:」とテキストのプレースホルダーを送信します。

Claudeにメッセージを送信しても、すぐに応答の生成を開始するわけではありません。その代わり、Claudeは入力に対して膨大な量の前処理作業を行います。

以下の手順のうち最初の3つは入力メッセージに対してのみ行われる作業であり、4つ目がClaudeが返す要約を生成します。

  • プロンプトをより小さな単位にトークン化する
  • 各トークンの埋め込みを作成する
  • 周囲のテキストに基づいてコンテキストを追加する
  • その後ようやく実際の出力テキストを生成する

応答を送信した後、Claudeはこの計算処理作業すべてを破棄します。トークン化、埋め込み、コンテキスト分析は、すべて破棄されます。

Claudeが「次のリクエストを処理する準備ができました!」と言っている間、上記の4つのステップは「ゴミ箱」というラベルの付いた破線のボックスの中にあります。

作業を破棄することの問題点

同じコンテンツを含むフォローアップリクエストを行う場合、これは非効率になります。例えば、同じ長いテキストの要約の改善をClaudeに依頼する会話では次のようになります。

フォローアップリクエストでは、以前と同じ要約メッセージ、その要約、そしてさらに焦点を絞るようお願いするユーザーメッセージがClaudeに送信されます。

Claudeは、つい先ほど分析したばかりのコンテンツに対して、まったく同じ前処理作業を繰り返さなければなりません。Claudeはこう考えるかもしれません。「私はついさっきあのメッセージを処理して、やった作業をすべて捨ててしまった。再利用できたはずなのに!」

3つのメッセージからなるフォローアップリクエスト:長いテキストを要約するようユーザーが依頼し、その要約、そしてさらに焦点を絞るよう依頼するリクエスト。

プロンプトキャッシュによる解決方法

プロンプトキャッシュは、前処理作業を破棄する代わりに保存することで、このワークフローを変えます。

Claudeの前処理ステップ(プロンプトのトークン化など)は、今やキャッシュボックスの中にあり、ゴミ箱ボックスは空です。

最初のリクエストを送信すると、Claudeは通常どおりすべての前処理を行いますが、その結果を破棄する代わりにキャッシュに保存します。キャッシュはルックアップテーブルのように機能し、「このメッセージを再度見たら、すでに行ったこの作業を再利用する」という仕組みです。

長いテキストを要約するようClaudeに依頼するユーザーメッセージと、Claudeが保存する3つの前処理ステップを組み合わせたキャッシュテーブル。

主なメリットと制限事項

プロンプトキャッシュにはいくつかの利点があります。

  • 応答の高速化: キャッシュされたコンテンツを使用するリクエストはより高速に実行されます
  • コストの削減: リクエストのうちキャッシュされた部分については、支払う料金が少なくなります
  • 自動最適化: 最初のリクエストがキャッシュに書き込みを行い、その後のフォローアップリクエストはそこから読み取ります

ただし、留意すべき重要な制限事項があります。

  • キャッシュの有効期間: デフォルトでは、キャッシュされたコンテンツは5分間保持され、再利用のたびに追加費用なしでそのタイマーがリセットされます。有効期間をオプションで1時間に延長することもできますが、その場合はキャッシュ書き込み価格が高くなります。
  • 限定的なユースケース: 同じコンテンツを繰り返し送信している場合にのみ有益です
  • 高頻度での利用が必要: リクエストの中で同じコンテンツが非常に頻繁に出現する場合に最も効果的です

プロンプトキャッシュは、同じ大きなドキュメントについて複数の質問をするドキュメント分析ワークフローや、ベースとなるコンテンツは変わらずに特定の部分だけを改善していく反復的な編集作業など、次のようなシナリオで最も効果を発揮します。