載入中
載入中

在使用 Claude 建構聊天應用程式時,存在一個重大的使用者體驗挑戰:回應可能需要 10 到 30 秒才能生成,使使用者盯著載入圈圈等待。解決方案是回應串流,它讓使用者能夠逐段看到文字隨著 Claude 生成而出現,從而創造出更具回應性的感受。

聊天應用程式將「What is quantum computing?」傳送到我們的伺服器,伺服器再將其轉發給 Claude 並取得一則助理訊息。

標準回應的問題

在典型的聊天設定中,您的伺服器會將使用者訊息傳送給 Claude,並等待完整回應後才將任何內容傳回給客戶端。這會造成一個尷尬的延遲,使用者在此期間沒有任何回饋表明有任何事情正在發生。

我們的伺服器將「What is quantum computing?」傳遞給 Claude,此過程可能需要 10 到 30 秒,而應用程式的 AI 回覆則顯示三個點。

串流的運作方式

啟用串流後,Claude 會立即傳回一個初始回應,表示它已收到您的請求並開始生成文字。接著,您會收到一系列事件,每個事件都包含整體回應中的一小部分。

Claude 對「What is quantum computing?」的回覆以一個初始回應開始,接著是「Quantum」、「computing」和「is」等事件。

您的伺服器可以在這些文字片段到達時,將它們轉發給您的客戶端應用程式,讓使用者能夠逐字看到回應逐步建立起來。所有這些事件都屬於對 Claude 的單一請求的一部分。

理解串流事件

啟用串流後,Claude 會傳回數種類型的事件:

  • MessageStart——正在傳送一則新訊息
  • ContentBlockStart——包含文字、工具使用或其他內容的新區塊的開始
  • ContentBlockDelta——實際生成文字的區塊
  • ContentBlockStop——目前的內容區塊已完成
  • MessageDelta——目前的訊息已完成
  • MessageStop——有關目前訊息資訊的結束

上述的串流事件類型依序從 Claude 到達,其中 ContentBlockDelta 重複出現三次。

ContentBlockDelta 事件包含您希望顯示給使用者的實際生成文字。

基本串流實作

若要啟用串流,請在您的 messages.create 呼叫中加入 stream=True:

python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")

stream = client.messages.create(
    model=model,
    max_tokens=1000,
    messages=messages,
    stream=True
)

for event in stream:
    print(event)

上述串流程式碼的 Notebook 輸出,以一個 RawMessageStartEvent 開始,接著是一個 RawContentBlockStartEvent。

簡化的文字串流

您可以使用 SDK 的簡化串流介面,僅擷取文字內容,而不必手動解析事件:

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        print(text, end="")

這種方法會自動過濾掉除了實際文字內容以外的所有內容,而這通常正是您在向使用者顯示回應時所需要的。

取得最終訊息

雖然串流對於使用者體驗非常有利,但您通常仍需要完整的訊息以用於儲存或進一步處理。串流完成後,您可以取得組合完成的最終訊息:

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        pass  # Send to client in real application
    
    final_message = stream.get_final_message()

這讓您同時擁有用於使用者體驗的串流能力,以及用於資料庫儲存或對話歷史記錄的完整訊息物件。

實務考量

串流中的每個文字片段可能包含多個字詞,甚至是完整的句子——並不保證每個事件只會收到恰好一個字詞。片段大小取決於 Claude 生成每部分文字的速度。

在生產應用程式中,您通常會透過 WebSocket 或伺服器發送事件(Server-Sent Events),立即將這些文字片段轉發給您的客戶端應用程式,讓使用者能夠即時看到回應出現,同時在您的伺服器上維護完整的對話歷史記錄。