載入中
載入中

在使用 Claude 建置應用程式時,了解完整的請求生命週期有助於您架構更好的系統,並更有效地除錯問題。讓我們逐步說明當使用者向您的 AI 驅動聊天應用程式傳送訊息時會發生什麼事。

聊天視窗顯示來自「You」的訊息「What is quantum computing?」,一個空白輸入框和一個傳送按鈕。

完整的請求流程

從使用者輸入到 AI 回應的旅程涉及五個不同的步驟:請求傳送到伺服器、請求傳送到 Vertex、模型處理、回應傳送到伺服器,以及回應傳送到用戶端。每個步驟在提供使用者期待的那個「神奇」回應方面都扮演著關鍵角色。

請求傳送到伺服器階段:網頁或行動應用程式將「What is quantum computing?」傳送到您的伺服器,而非直接傳送到 Vertex。

為什麼您需要伺服器

切勿直接從用戶端程式碼發出 API 請求。原因如下:

  • API 請求需要保持安全的秘密憑證
  • 在用戶端程式碼中暴露憑證會使任何人都能看到它們
  • 您的伺服器扮演著您的應用程式與 Vertex 之間的安全中介角色

請務必將請求透過您自己控制和保護的伺服器進行路由。

發出 API 請求

您的伺服器使用 Anthropic 的 SDK 或 Google 的官方 Vertex SDK 與 Vertex 通訊。Anthropic 為 Python、TypeScript、Go 和 Ruby 提供官方 SDK。

請求傳送到 Vertex 階段:您伺服器上的 Anthropic SDK,或一個純粹的 HTTP 請求,將下列欄位傳送到 Vertex。

每個請求都必須包含以下關鍵欄位:

  • Google Cloud 憑證 - 為您的請求在 Google Cloud 上進行授權
  • 模型(Model) - 要使用的特定模型名稱
  • 訊息(Messages) - 包含使用者輸入文字的清單
  • 最大權杖數(Max Tokens) - 限制模型可以生成的權杖數量

使用者的輸入會被放入一則「user」訊息中,然後進入傳送給 API 的訊息清單。

深入 Claude:文字生成流程

一旦 Vertex 收到您的請求,Claude 會透過四個階段來處理它:權杖化(Tokenization)、嵌入(Embedding)、上下文化(Contextualization)和生成(Generation)。

權杖化:輸入「What is quantum computing?」被拆分為權杖「What」、「is」、「quantum」、「computing」、「?」。

權杖化

Claude 首先將輸入文字拆解成稱為權杖(token)的較小區塊。這些可以是完整的單字、單字的一部分、空格或符號。為了簡化說明,可以將每個單字視為一個權杖。

嵌入

每個權杖都會被轉換成一個嵌入(embedding)——一長串代表該單字所有可能含義的數字。可以將嵌入想像成以數字表示的定義。

嵌入步驟:權杖「What」、「is」、「quantum」、「computing」和「?」各自對應到一欄小數,例如 -0.34、0.87。

上下文化

由於單字可能有多重含義,Claude 會利用上下文來判斷正確的解釋。「quantum」這個詞可能指物理學、計算,或只是表示「非常微小」——周圍單字的上下文可以釐清其真正的含義。

從「quantum」分出四種含義,包括一個物理量的離散、不可分割單位,源自拉丁語「quantus」。

在上下文化的過程中,每個嵌入都會根據其鄰近詞進行調整,突顯出在給定上下文中最合理的含義。

在 Claude 的四個階段中突顯上下文化,並以曲線連接五欄嵌入數字。

生成

經過上下文化的嵌入會通過一個輸出層,該層會為每個可能的下一個單字產生機率。Claude 並非總是選擇機率最高的單字——它會混合使用機率與隨機性,以產生更自然、更多變的回應。

輸出層的下一個單字機率:30% 為「Quantum」,23% 為「Great」,19% 為「Are」,10% 為「What」,10% 為「This」,8% 為「To」。

選定一個單字後,Claude 會將其加入序列中,並針對下一個單字重複整個流程。

生成何時停止

在生成每個權杖之後,Claude 會檢查幾個條件來決定是否繼續:

輸出權杖「Quantum mechanics is a form of computing.」,接著是一個序列結束權杖,下方列出三項停止檢查。

  • 達到最大權杖數 - 是否已達到您指定的上限?
  • 自然結束 - 是否生成了序列結束(end-of-sequence)權杖?
  • 停止序列 - 是否遇到了預先定義的停止短語?

序列結束權杖是一個特殊訊號(並非可見文字),Claude 用它來表示已達到自然的結論。

回應

一旦生成完成,Vertex 會將回應傳回給您的伺服器,其中包含:

Vertex 將回應傳回給您伺服器上的 Anthropic SDK,輸出文字被放入一則「assistant」訊息中。

  • 訊息(Message) - 生成的文字
  • 用量(Usage) - 輸入與輸出權杖的計數
  • 停止原因(Stop Reason) - 模型停止生成的原因

接著,您的伺服器會將生成的文字轉發給您的用戶端應用程式,並顯示在聊天介面中。

"生成的文字"箭頭從您的伺服器指向網頁或行動應用程式,其中出現對「Define quantum computing」的 AI 回覆。

完整的全貌

整個過程——從使用者輸入,經過權杖化、嵌入、上下文化、生成,再回到使用者——都在幾秒鐘內完成。了解這個流程有助於您建置更穩健的應用程式,並在問題出現時進行疑難排解。

網頁或行動應用程式將「What is quantum computing?」傳送給您的伺服器,其 Anthropic SDK 向 Vertex 發出請求並取得回覆。

關鍵要點:務必使用伺服器作為中介、理解文字生成是一個反覆進行的過程,並注意回應的元數據,以監控用量並了解模型行為。