載入中
載入中

在使用 AI 模型建構聊天介面時,使用者期望能立即看到回應出現,而不是等待 10 到 30 秒才收到完整的回應。converse_stream 函式透過在文字生成的同時進行串流傳輸來解決這個問題,從而創造出更好的使用者體驗。

串流的運作方式

串流不是等待整個回應生成完畢,而是在文字片段可用時就立即傳回。以下說明此流程如何改變:

Claude 回傳初始回應,接著是「You can」、「host a」和「Postgres」等事件,我們的伺服器將這些事件傳遞給聊天應用程式。

當您呼叫 converse_stream 時,您會立即取得一個包含 stream 物件的初始回應。這個串流是一個產生器(generator),會在模型生成文字時產出事件。每個事件都包含整體回應中的一小部分內容。

基本實作

以下說明如何在您的程式碼中使用 converse_stream:

python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")
response = client.converse_stream(messages=messages, modelId=model_id)

for event in response["stream"]:
    print(event)

這將會印出所有陸續到達的不同事件。您會看到回應以區塊的方式逐步出現,而不是一次全部出現。

了解串流事件

串流會產出多種類型的事件,每種事件都有不同的用途:

六種事件類型用途的表格,例如代表新區塊的 contentBlockStart,以及 Claude 產出文字區塊事件。

對於基本的文字生成而言,您只需要關注 contentBlockDelta 事件。這些事件包含您想要顯示給使用者的實際生成文字片段。

Notebook 輸出:一個 messageStart 事件,接著是內容為「The」和「XenonLin」等文字的 contentBlockDelta 事件。

這些事件總是以可預測的順序到達:messageStart、多個包含您文字的 contentBlockDelta 事件,接著是 contentBlockStop、messageStop,最後是 metadata。

擷取文字

若要從每個區塊中僅取得生成的文字,請篩選 contentBlockDelta 事件並擷取文字:

python
text = ""
for event in response["stream"]:
    if "contentBlockDelta" in event:
        chunk = event["contentBlockDelta"]["delta"]["text"]
        print(chunk, end="")
        text += chunk

print("\n\nTotal Message:\n" + text)

end="" 參數移除了 Python 的 print 函式自動加入的換行符號,讓串流文字看起來更自然。

實務應用

在實際應用程式中,您通常不會只是印出每個區塊,而是會:

  • 透過 WebSockets 或 Server-Sent Events 將每個區塊傳送到您的前端
  • 更新使用者介面以即時顯示逐漸增長的回應
  • 在串流結束後儲存完整的訊息
  • 處理串流過程中可能發生的任何錯誤

這種串流方式將使用者體驗從「提交並等待」轉變為「提交並觀看回應出現」,讓您的 AI 驅動應用程式感覺更靈敏、更具吸引力。