載入中
載入中

提示快取是一項功能,透過重複使用先前請求的計算工作,來加快 Claude 的回應速度並降低文本生成的成本。Claude 不會在每次請求後就捨棄所有處理工作,而是可以在您再次傳送類似內容時,儲存並重複使用這些工作。

Claude 通常如何處理請求

為了理解提示快取,讓我們先看看在未啟用快取的典型請求中會發生什麼事。

一個常見的請求:我們的伺服器向 Claude 傳送一則使用者訊息,「摘要這段長文:」加上一個文本佔位符。

當您向 Claude 傳送一則訊息時,它不會立即開始生成回應。相反地,Claude 會對您的輸入進行大量的預處理工作:

圖表標示 Claude 四個步驟中的前三個步驟,僅針對輸入訊息進行處理,然後才回傳摘要。

  • 將提示進行斷詞(將文本拆分成較小的單位)
  • 為每個 token 建立嵌入(數學表示)
  • 根據周圍文本添加上下文
  • 只有在此之後才生成實際的輸出文本

在 Claude 方塊內選取的四個處理步驟,準備被拖曳到標示為「垃圾桶」的空白虛線方塊中。

在將回應傳送給您之後,Claude 會捨棄所有這些計算工作。一切都被丟棄,然後 Claude 宣告自己已準備好處理下一個請求。

重複內容帶來的問題

事情變得沒有效率的地方就在這裡。想像您正在與 Claude 進行對話,因此您的後續請求包含:

後續請求含有相同的「摘要這段長文」訊息、Claude 的摘要,接著是「摘要需要更聚焦於」。

  • 之前相同的原始使用者訊息
  • Claude 先前的回應
  • 您新的後續訊息

在後續請求中,Claude 指向它剛剛處理過、重複出現的第一則使用者訊息「摘要這段長文」。

Claude 必須重新處理那則原始訊息,儘管它幾分鐘前才剛分析過完全相同的內容。Claude 可能會想:「我剛剛處理過那則訊息,卻把所做的所有工作都丟棄了。我其實可以重複使用它的!」

提示快取如何解決此問題

提示快取改變了這種浪費的流程。Claude 不會捨棄預處理工作,而是將其儲存到快取中。

初始請求經過 Claude 的四個步驟後得到摘要回覆,旁邊有一個空的「垃圾桶」方塊和一個空的「快取」方塊。

運作方式如下:

  1. 初始請求: Claude 處理您的訊息,並將計算工作寫入快取
  2. 後續請求: 當 Claude 再次看到相同的內容時,它會從快取中讀取先前處理過的工作,而不是從頭開始

快取表格將要求摘要一段長文的使用者訊息,與已儲存的斷詞、嵌入和上下文工作配對在一起。

快取的運作方式就像一張查找表:「如果我再次看到這則訊息,我就會重複使用我已經做過的這項工作。」

主要優點與限制

Claude 將對「請摘要這個」提示所做的工作寫入快取,然後在後續請求中讀取它。

提示快取提供了多項優勢:

  • 更快的回應: 使用快取內容的請求執行速度更快
  • 更低的成本: 對於重複使用快取工作的處理,您支付的費用更少
  • 自動優化: 初始請求寫入快取,後續請求則從中讀取

然而,有一些重要的限制需要牢記:

  • 壽命短暫: 快取只能存活 5 分鐘
  • 需要完全匹配: 只有在您重複傳送相同內容時才有用
  • 常見使用情境: 這種情況在對話式應用程式和文件分析工作流程中極為常見

對於使用者頻繁參考相同文件、持續進行對話,或在短時間內反覆調整類似提示的應用程式而言,提示快取特別有價值。