載入中
載入中

提示快取是一項功能,它透過重複使用先前請求中的運算工作,加快 Claude 的回應速度並降低文本生成的成本。Claude 不會在每次請求後丟棄所有處理工作,而是能夠在您再次傳送類似內容時保存並重複使用這些工作。

Claude 通常如何處理請求

要理解提示快取,讓我們先看看在未啟用快取的典型請求中會發生什麼。

一個典型的請求:我們的伺服器向 Claude 傳送使用者訊息「摘要這段長文本:」,後面接著一個文本佔位符。

當您向 Claude 傳送訊息時,它不會立即開始生成回應。相反,Claude 會對您的輸入執行大量的預處理工作:

以下步驟中的前三個是僅針對輸入訊息進行的工作;第四個則是生成 Claude 回傳的摘要。

  • 將提示詞分解成更小的片段(tokenize)
  • 為每個 token 建立嵌入(embeddings)
  • 根據周圍文本添加上下文
  • 只有在此之後才生成實際的輸出文本

在將回應傳送給您之後,Claude 會丟棄所有這些運算工作——tokenization、embeddings 和上下文分析全部都會被捨棄。

Claude 說「我已準備好處理下一個請求!」,而上述列出的四個步驟則放在一個標示為「垃圾桶」的虛線方框中。

捨棄工作的問題

當您發出包含相同內容的後續請求時,這種做法會變得效率低下。例如,在一段對話中,您要求 Claude 精煉同一長文本的摘要:

後續請求向 Claude 傳送了與先前相同的摘要訊息、其摘要,以及一則要求更聚焦的使用者訊息。

Claude 必須在它剛剛分析過的內容上重複執行所有相同的預處理工作。正如 Claude 可能會對自己說的:「我剛剛處理過那則訊息,卻把我所做的工作全部丟棄了——我原本可以重複使用它的!」

由三則訊息組成的後續請求:一個要求摘要長文本的使用者請求、其摘要,然後是一個要求更聚焦的請求。

提示快取如何解決這個問題

提示快取透過保存預處理工作而非丟棄它,改變了這個工作流程:

Claude 的預處理步驟,例如分解提示詞,現在放在「快取」方框中,而「垃圾桶」方框則是空的。

當您發出初始請求時,Claude 會執行所有常規的預處理工作,但會將結果儲存在快取中,而不是丟棄它們。快取的作用就像一個查找表,表明:「如果我再次看到這則訊息,我會重複使用我已經完成的這項工作。」

快取表格將一則要求 Claude 摘要長文本的使用者訊息,與它保存的三個預處理步驟配對。

主要優點與限制

提示快取提供了幾項優勢:

  • 更快的回應: 使用快取內容的請求執行速度更快
  • 更低的成本: 您為請求中已快取的部分支付較少的費用
  • 自動優化: 初始請求會寫入快取,後續請求則從中讀取

然而,仍有一些重要限制需要留意:

  • 快取持續時間: 預設情況下,快取內容的有效期為 5 分鐘,且每次重複使用都會以不額外收費的方式重新整理該計時器。您也可以選擇將有效期延長至 1 小時,但這會產生較高的快取寫入價格。
  • 有限的使用情境: 僅在您重複傳送相同內容時才有益處
  • 高頻率要求: 當相同內容在您的請求中出現頻率極高時效果最佳

提示快取最適合像是文件分析工作流程這類情境,例如您就同一份大型文件提出多個問題,或是迭代式編輯任務,其中基礎內容保持不變,而您持續精煉特定面向。