載入中
載入中

Claude 中的提示快取運作方式是儲存對訊息所做的計算工作,以便在後續請求中重複使用。這使得使用快取內容的請求既更便宜又更快執行。

Claude 將針對「Please summarize this」提示所做的工作寫入快取,然後在後續請求中讀取它。

這個流程遵循一個簡單的模式:您的初始請求會寫入快取,而後續請求可以從快取中讀取。快取的存活時間為 5 分鐘,因此此功能僅在您重複傳送相同內容時才有用——但這在實際應用程式中極為常見。

快取斷點

對訊息所做的工作不會自動快取。我們必須手動為某個區塊新增「快取斷點」。斷點之前所有內容所做的工作都會被快取,而且只有在斷點為止(含斷點)的內容完全相同時,後續請求才會使用該快取。

一個使用者訊息文字區塊,其中包含一段長提示,其「cache_control」類型「ephemeral」被標記為快取斷點。

當您需要新增快取斷點時,必須使用撰寫文字區塊的完整形式,而非簡寫形式。以下是兩者的差異:

python
# 簡寫 - 無法新增快取中斷點
user_message = {
  "role": "user",
  "content": "Hi there!"
}

# 完整寫法 - 快取中斷點所需
user_message = {
  "role": "user", 
  "content": [
    {
      "type": "text",
      "text": "Hi there!",
      "cache_control": {
        "type": "ephemeral"
      }
    }
  ]
}

快取斷點如何運作

快取斷點可橫跨多則訊息,也可以快取助手訊息。當您放置一個斷點時,斷點之前的所有內容都會被快取。請記住,內容必須完全相同才能使用快取!

Claude 對四個文字區塊各自所做的工作,第一個區塊之後有虛線斷點,而快取方塊為空。

在後續請求中,Claude 會從快取讀取先前已處理的工作,而不是重新處理它:

Claude 為後續請求的三個區塊讀取快取的工作,其中最後一個區塊「Focus the summary on」擁有斷點。

斷點位置

您不僅限於文字區塊!您可以在系統提示和工具定義中新增快取斷點。事實上,這些才是最常見的快取機會,因為它們在各請求之間很少變動。

python
# 帶有快取中斷點的工具定義
tools = [
  add_duration_to_datetime_schema,
  get_current_datetime_schema,
  {
    "name": "set_reminder",
    "description": "Sets a reminder...",
    "input_schema": { ... },
    "cache_control": {"type": "ephemeral"}
  }
]

# 帶有快取中斷點的系統提示  
system = [
  {
    "type": "text",
    "text": "You are a senior software...",
    "cache_control": {"type": "ephemeral"}
  }
]

快取排序

在幕後,工具、系統提示和訊息在送入 Claude 時會依照特定順序結合在一起。這會影響您的快取斷點如何運作。

在這兩個請求中,快取斷點都在工具 3 上,位於系統提示和訊息之前;請求 2 的助手訊息有所改變。

您總共最多可以新增四個快取斷點。如果您將斷點放在最後一個工具上,那麼到該工具為止的所有內容都會被快取,但系統提示和訊息則不會。這讓您可以根據應用程式中變動的內容,對快取的對象進行精細控制。

最小內容長度

快取有一個最小長度限制,這取決於模型。對於本課程所使用的 Claude Haiku 4.5 模型而言,內容必須至少有 4,096 個 token 長才能被快取。這指的是您嘗試快取的所有訊息和區塊的總和,而非個別區塊。

像「Hi there!」這樣的訊息太短,無法被快取,但一個真正夠長的提示則能達到最小值。低於最小值的內容只會照常被處理而不進行快取,也不會傳回任何錯誤。若要判斷是否如此,請檢視回應的用量資訊:cache_creation_input_tokens 和 cache_read_input_tokens 都會是 0。

有效提示快取的關鍵在於找出您請求中保持一致的部分——通常是您的系統提示和工具定義——並策略性地放置斷點,以最大化快取命中率,同時將重新處理的情況降到最低。