載入中
載入中

提示快取是一項功能,它透過重複使用先前請求的計算工作,加快 Claude 的回應速度並降低文本生成的成本。為了了解其運作方式,讓我們先看看在典型請求中,Claude 內部通常會發生什麼事。

Claude 通常如何處理請求

當您向 Claude 發送訊息時,在您收到回應之前,背後發生了許多事情。Claude 並不會立即開始生成文本——它會先對您的輸入訊息進行大量的處理工作。

一般的請求:我們的伺服器向 Claude 發送一則使用者訊息「總結這段長文字:」加上一個文字佔位符。

以下是 Claude 處理您訊息的方式:

  • 將提示詞符記化(tokenize)
  • 為每個 token 建立嵌入(embeddings)
  • 根據周圍文字新增上下文
  • 生成輸出文字

圖表標示 Claude 四個步驟中的前三個步驟,屬於僅針對輸入訊息所做的工作,之後才回傳摘要。

所有這些前置處理工作,都在 Claude 生成任何實際回應之前完成。一旦 Claude 完成對您請求的處理並傳回回應,它就會丟棄剛才所做的所有計算工作。

Claude 方框內選取了四個處理步驟,準備被拖曳到標示為「垃圾桶」的空虛線方框中。

丟棄工作成果所帶來的問題

當您與 Claude 進行對話時,這會造成一種效率低下的情況。假設您提出一個後續請求,其中包含先前同樣的訊息、Claude 先前的回應,再加上一則延續對話的新訊息。

後續請求包含相同的「總結這段長文字」訊息、Claude 的摘要,然後是「這份摘要需要更著重於」。

當 Claude 再次看到原本的那則訊息時,它必須重做片刻之前剛丟棄的所有相同計算工作。Claude 基本上會想:「我剛剛處理過這則一模一樣的訊息,並完成了所有這些工作,然後就丟棄了。現在我得從頭再做一次。」

在後續請求中,Claude 指回它剛處理過、重複出現的第一則使用者訊息「總結這段長文字」。

提示快取如何解決這個問題

提示快取藉由保存計算工作而非丟棄它,來解決這種效率低下的問題。運作方式如下:

初始請求經過 Claude 的四個步驟,產生摘要回覆,旁邊有一個空的垃圾桶方框和空的快取方框。

當 Claude 處理您的初始請求時,它不會丟棄所有的前置處理工作,而是將這些工作儲存在快取中。快取的作用就像一個查找表,將特定的輸入訊息對應到其相應的計算結果。

快取項目將以「總結這段長文字」開頭的使用者訊息,與可重複使用的三個前置處理步驟配對在一起。

當您提出包含相同內容的後續請求時,Claude 可以檢查其快取,並重複使用先前的工作成果,而不必從頭開始。

主要優點與限制

Claude 將對提示「請總結這個」所做的工作寫入快取,然後在後續請求中讀取它。

提示快取提供了幾項優點:

  • 使用快取內容的請求執行起來更便宜、更快速
  • 初始請求會寫入快取
  • 後續請求可以從快取中讀取
  • 快取的存續時間為 5 分鐘
  • 只有在您反覆發送相同內容時才有用(但這種情況其實非常頻繁發生)

快取的存續時間為 5 分鐘,因此對於在短時間內發出多個內容重疊請求的對話或工作流程而言,它最為有益。這種模式在實際應用中其實非常常見——想想聊天機器人、文件分析工具,或任何維持對話上下文的系統。

提示快取之所以特別有價值,是因為許多 AI 應用程式確實會反覆發送相同的內容。無論是系統提示、對話歷史,還是正在被分析的大型文件,同樣的文字經常會在一個工作階段的多個請求中重複出現。