読み込み中

プロンプトキャッシュのルール

レッスン 4710 分
読み込み中

Claudeにおけるプロンプトキャッシュは、メッセージに対して行われた計算処理を保存し、後続のリクエストで再利用できるようにすることで機能します。これにより、同じコンテンツを繰り返し送信している場合に限り、後続のリクエストがより安く、より速く実行できるようになります。

Claudeが「Please summarize this」というプロンプトに対して行った作業をキャッシュに書き込み、後続のリクエストでそれを読み取る様子。

このプロセスは2段階のパターンに従います。最初のリクエストがキャッシュへの書き込みを行い、後続のリクエストがそこから読み取ることができます。キャッシュは5分間しか保持されないため、この機能は短い時間枠内で同じコンテンツを繰り返し送信する場合に最も有用です。

キャッシュポイント

プロンプトキャッシュは自動的に有効になるわけではありません。何がキャッシュされるかを制御するには、キャッシュポイントのメッセージパーツを手動で追加する必要があります。キャッシュポイントは、メッセージ内でそのポイントより前のすべての作業をキャッシュするようClaudeに指示します。

下記のコードのようなユーザーメッセージで、「Long prompt」のテキストの後にハイライトされたcachePointパーツにラベルを付ける矢印。

ユーザーメッセージにキャッシュポイントを追加する方法は次のとおりです。

python
user_message = {
  "role": "user",
  "content": [
    {"text": ""},
    {"cachePoint": {"type": "default"}}
  ]
}

重要なルールは、キャッシュポイントより前のすべての作業はキャッシュされますが、キャッシュポイントより後の内容はキャッシュに保存されないということです。

キャッシュポイントの仕組み

最初のリクエスト:キャッシュポイントより前の「Summarize this long text」に対するClaudeの作業はキャッシュされるが、「Focus on」に対する作業はキャッシュされない。

キャッシュポイントを含む最初のリクエストを行うと、Claudeはすべてのコンテンツを処理し、そのキャッシュポイントまでに行った作業を保存します。後続のリクエストでは、キャッシュポイントより前のコンテンツが同一であれば、Claudeは再処理する代わりに、以前に処理された作業をキャッシュから読み取ります。

Claudeが「Summarize this long text」に対するキャッシュされた作業を読み取り、キャッシュポイント以降の3つのパーツのみを処理する様子。

キャッシュポイントより前のコンテンツが完全に同一である場合に限り、キャッシュが使用されます。プロンプトの先頭に「Please」を追加するような小さな変更であっても、キャッシュの使用は妨げられ、Claudeはすべてを最初から処理せざるを得なくなります。

プロンプトが今度は「Please」で始まるため、「Summarize this」に対するキャッシュされた作業と一致しなくなる。

メッセージ間でのキャッシュ

キャッシュポイントは複数のメッセージにまたがることができ、アシスタントメッセージも含めることができます。つまり、ある時点までの会話履歴全体をキャッシュすることができます。

summarizeリクエスト、アシスタントによる要約、そしてキャッシュポイントで終わるユーザーメッセージ。これら3つすべてに対する作業がキャッシュされる。

例えば、ユーザーメッセージ、アシスタントの応答、そしてもう一つのユーザーメッセージから成る会話があり、その末尾にキャッシュポイントがあるとします。その会話スレッド全体の処理作業がすべてキャッシュされ、再利用できるようになります。

最小コンテンツ長

キャッシュされるには、コンテンツが少なくとも1024トークンの長さである必要があります。これは、キャッシュポイントより前にキャッシュしようとしているすべてのメッセージとパーツの合計です。

キャッシュポイントを含む2つの会話:単一の「Hi there!」はキャッシュされないが、503回繰り返された「Hi there!」はキャッシュされる。

単純な「Hi there!」というメッセージは1024トークンの最小値を満たさないため、何もキャッシュされません。しかし、「Hi there!」を500回繰り返すと、1024トークンを超え、キャッシュの対象になります。

キャッシュポイントの場所

キャッシュポイントはユーザーメッセージに限定されません。システムプロンプトやツール定義にも追加でき、これらは実際には最も一般的なキャッシュの機会です。

"Tool definitions will be cached"と"System prompt will be cached"というラベルが、それぞれ下に示されているツールとシステムのコードに付けられている様子。

ツール定義の場合:

python
tools = [
  {"toolSpec": add_duration_to_datetime_schema},
  {"toolSpec": get_current_datetime_schema},
  {"cachePoint": {"type": "default"}}
]

システムプロンプトの場合:

python
system = [
  {"text": "You are a senior software..."},
  {"cachePoint": {"type": "default"}}
]

システムプロンプトとツールのリストはリクエスト間でほとんど変化しないため、これらはキャッシュに最適な候補であり、最も価値のあるキャッシュの機会となります。