載入中
在使用 AI 模型建構聊天介面時,使用者期望能立即看到回應出現,而不是等待 10 到 30 秒才收到完整的回應。converse_stream 函式透過在文字生成的同時進行串流傳輸來解決這個問題,從而創造出更好的使用者體驗。
串流的運作方式
串流不是等待整個回應生成完畢,而是在文字片段可用時就立即傳回。以下說明此流程如何改變:

當您呼叫 converse_stream 時,您會立即取得一個包含 stream 物件的初始回應。這個串流是一個產生器(generator),會在模型生成文字時產出事件。每個事件都包含整體回應中的一小部分內容。
基本實作
以下說明如何在您的程式碼中使用 converse_stream:
python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")
response = client.converse_stream(messages=messages, modelId=model_id)
for event in response["stream"]:
print(event)這將會印出所有陸續到達的不同事件。您會看到回應以區塊的方式逐步出現,而不是一次全部出現。
了解串流事件
串流會產出多種類型的事件,每種事件都有不同的用途:

對於基本的文字生成而言,您只需要關注 contentBlockDelta 事件。這些事件包含您想要顯示給使用者的實際生成文字片段。

這些事件總是以可預測的順序到達:messageStart、多個包含您文字的 contentBlockDelta 事件,接著是 contentBlockStop、messageStop,最後是 metadata。
擷取文字
若要從每個區塊中僅取得生成的文字,請篩選 contentBlockDelta 事件並擷取文字:
python
text = ""
for event in response["stream"]:
if "contentBlockDelta" in event:
chunk = event["contentBlockDelta"]["delta"]["text"]
print(chunk, end="")
text += chunk
print("\n\nTotal Message:\n" + text)end="" 參數移除了 Python 的 print 函式自動加入的換行符號,讓串流文字看起來更自然。
實務應用
在實際應用程式中,您通常不會只是印出每個區塊,而是會:
- 透過 WebSockets 或 Server-Sent Events 將每個區塊傳送到您的前端
- 更新使用者介面以即時顯示逐漸增長的回應
- 在串流結束後儲存完整的訊息
- 處理串流過程中可能發生的任何錯誤
這種串流方式將使用者體驗從「提交並等待」轉變為「提交並觀看回應出現」,讓您的 AI 驅動應用程式感覺更靈敏、更具吸引力。