載入中

提示快取的規則

第 44 課3 分鐘
載入中

Claude 中的提示快取是透過儲存對您的訊息所執行的運算工作,以便在後續請求中重複使用。這讓後續請求的執行既更快又更便宜,但僅限於您重複傳送相同內容的情況。

這個流程相當直接:您的初始請求會將處理工作寫入快取,而後續請求可以從該快取讀取,而不需要重新處理相同的內容。預設情況下,快取會保留 5 分鐘,因此這項功能僅在您在該時間範圍內重複傳送相同內容時才有用。許多應用程式都是這樣做的。如果您需要更長的時間,也可以使用 1 小時的快取持續時間,但快取寫入價格較高。

快取中斷點

快取不會自動啟用——您需要手動在訊息中的特定區塊添加快取中斷點。運作方式如下:

  • 對訊息執行的工作不會自動快取
  • 您必須手動在區塊中添加「快取中斷點」
  • 中斷點之前所有內容的工作都會被快取
  • 只有當直到並包含該中斷點的內容完全相同時,後續請求才會使用快取

一則使用者訊息,內含一個長提示文字區塊,以及一個設定為 "ephemeral" 類型的 cache_control 欄位,即快取中斷點。

要添加快取中斷點,您需要使用撰寫文字區塊的完整格式,而不是簡寫格式:

簡寫格式的 user_message,內容為 "Hi there!",旁邊是完整格式,包含一個文字區塊加上 cache_control 類型 "ephemeral"。

簡寫格式沒有提供添加快取控制欄位的地方,因此您必須使用展開格式,並將 cache_control 欄位設定為 {"type": "ephemeral"}。

快取中斷點的運作方式

當您在訊息中放置快取中斷點時,Claude 會快取直到並包含該中斷點的所有處理工作。中斷點之後的內容則照常處理,不進行快取。

處理含有中斷點的「Summarize this」區塊的工作被快取,而後面的「Focus on」區塊則沒有被快取。

為了讓快取在後續請求中發揮作用,直到中斷點為止的內容必須完全相同。即使是像加上「please」這樣微小的變動,也會使快取失效,迫使 Claude 重新處理所有內容。

中斷點位於最後一則使用者訊息中,因此 Claude 對較早的使用者和助手訊息所做的工作也會被快取。

跨訊息快取

快取中斷點可以跨越多則訊息和多種訊息類型。如果您在較後面的訊息中放置中斷點,所有先前的訊息(使用者、助手等)都會包含在快取內容中。

中斷點位於最後一則使用者訊息「Focus the summary on」上,因此 Claude 會讀取所有三則訊息的快取工作。

這對於您想要快取到某個特定時間點為止的整個上下文的對話特別有用。

系統提示與工具

您不僅限於文字區塊——快取中斷點也可以添加到:

  • 系統提示
  • 工具定義
  • 圖片區塊
  • 工具使用和工具結果區塊

最後一個工具定義和系統提示區塊中都設定了類型為 "ephemeral" 的 cache_control 欄位,兩者都會被快取。

系統提示和工具定義是快取的絕佳候選對象,因為它們在請求之間很少變動。這通常是您從提示快取中獲得最大效益的地方。

快取排序

在幕後,Claude 會按特定順序處理您請求中的各個組成部分:先是工具,然後是系統提示,最後是訊息。了解這個順序有助於您有效地放置中斷點。

在請求 1 中,工具 3 是快取中斷點,位於系統提示和訊息之上;請求 2 則只顯示工具 1 到工具 3。

您總共可以添加最多四個快取中斷點。例如,您可能會快取您的工具,然後在對話歷史進行到一半時再添加另一個中斷點。這讓您在請求的不同部分發生變化時,能夠靈活地決定要快取哪些內容。

請求 1 中的快取中斷點位於工具 3 和一則助手訊息處;請求 2 重複了工具 1 到工具 3,以及工具 3 的中斷點。

最小內容長度

快取有一個最小長度限制,這取決於模型。以本課程所使用的 Claude Haiku 4.5 模型為例,內容長度必須至少達到 4,096 個 token 才能被快取。這是您試圖快取的所有訊息和區塊的總和,而不是個別區塊的長度。

像「Hi there!」這樣的訊息太短,無法被快取,但一個真正長的提示則能達到最低要求。低於最低要求的內容只會照常處理,不進行快取,並且不會回傳任何錯誤。要判斷是否有快取,請查看回應中的用量資訊:cache_creation_input_tokens 和 cache_read_input_tokens 都會是 0。

有效運用提示快取的關鍵,在於辨識出您的請求中哪些部分在多次呼叫之間保持一致,並策略性地放置中斷點,以最大化重複使用並最小化快取失效的情況。