載入中
載入中

Claude 中的提示快取運作方式是儲存對訊息所做的運算工作,以便在後續請求中重複使用。這使得後續請求既更便宜又更快執行,但僅限於您重複傳送相同內容的情況。

Claude 將對提示「Please summarize this」所做的工作寫入快取,然後在後續請求中讀取它。

這個過程遵循兩階段模式:初始請求寫入快取,後續請求可以從中讀取。快取只存活 5 分鐘,因此此功能在您於短時間內重複傳送相同內容時最有用。

快取點

提示快取並非自動啟用——您需要手動新增快取點訊息部分來控制要快取的內容。快取點告訴 Claude 要快取該點之前您訊息中所有內容所做的工作。

類似下方程式碼的使用者訊息,箭頭標示「Long prompt」文字後的醒目提示 cachePoint 部分。

以下是如何為使用者訊息新增快取點:

python
user_message = {
  "role": "user",
  "content": [
    {"text": ""},
    {"cachePoint": {"type": "default"}}
  ]
}

關鍵規則是快取點之前所有內容所做的工作將被快取,但快取點之後的任何內容都不會被儲存在快取中。

快取點如何運作

初始請求:Claude 對快取點之前的「Summarize this long text」所做的工作會被快取,但對「Focus on」所做的工作不會。

當您使用快取點發出初始請求時,Claude 會處理所有內容並儲存到該快取點為止所做的工作。在後續請求中,如果快取點之前的內容完全相同,Claude 會從快取中讀取先前處理過的工作,而不是重新處理它。

Claude 讀取「Summarize this long text」的快取工作,僅處理快取點之後的三個部分。

只有當快取點之前的內容完全相同時,才會使用快取。即使是像在提示開頭加上「Please」這樣微小的改動,也會阻止快取的使用,迫使 Claude 從頭開始處理所有內容。

提示現在以「Please」開頭,因此它不再與「Summarize this」的快取工作相符。

跨訊息快取

快取點可以跨越多個訊息,甚至包括助手訊息。這意味著您可以快取到某個特定點為止的整個對話歷史。

一個摘要請求、一個助手摘要,接著是以快取點結尾的使用者訊息,因此這三者的工作都會被快取。

例如,您可能有一段包含使用者訊息、助手回應,以及另一則使用者訊息的對話,並在結尾處設有快取點。該整個對話串的所有處理工作都會被快取並可以重複使用。

最小內容長度

內容必須至少有 1024 個 token 長才能被快取。這是您嘗試在快取點之前快取的所有訊息和部分的總和。

兩段帶有快取點的對話:單一一個「Hi there!」不會被快取,但重複 503 次的「Hi there!」會被快取。

一則簡單的「Hi there!」訊息不符合 1024 token 的最低要求,因此不會快取任何內容。但如果您重複「Hi there!」500 次,那就會超過 1024 個 token,符合快取資格。

快取點位置

快取點並不侷限於使用者訊息。您可以將它們新增到系統提示和工具定義中,而這些實際上是最常見的快取機會。

"Tool definitions will be cached" 和 "System prompt will be cached" 分別標示下方顯示的工具和系統程式碼。

對於工具定義:

python
tools = [
  {"toolSpec": add_duration_to_datetime_schema},
  {"toolSpec": get_current_datetime_schema},
  {"cachePoint": {"type": "default"}}
]

對於系統提示:

python
system = [
  {"text": "You are a senior software..."},
  {"cachePoint": {"type": "default"}}
]

這些是最有價值的快取機會,因為系統提示和工具清單在請求之間很少變更,使它們成為快取的完美候選對象。