加载中
加载中

在使用AI模型构建聊天界面时,用户期望响应立即出现,而不是等待10-30秒才能得到完整的响应。converse_stream函数通过在生成文本时即时流式传输来解决这个问题,从而创造出更好的用户体验。

流式传输的工作原理

流式传输不会等待整个响应生成完毕,而是在文本片段一生成就立即将其发送回来。以下是流程的变化:

Claude返回一个初始响应,然后是"You can"、"host a"和"Postgres"等事件,我们的服务器将这些事件传递给聊天应用程序。

当您调用converse_stream时,您会立即获得一个包含stream对象的初始响应。这个stream是一个生成器,会在模型生成文本时产生事件。每个事件都包含整体响应的一小块内容。

基本实现

以下是在代码中使用converse_stream的方法:

python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")
response = client.converse_stream(messages=messages, modelId=model_id)

for event in response["stream"]:
    print(event)

这将打印出所有不同事件到达时的情况。您会看到响应是分块到达的,而不是一次性全部到达。

理解流事件

该stream会产生几种不同类型的事件,每种事件都有不同的作用:

六种事件类型用途的表格,例如contentBlockStart用于表示新的内容块,以及Claude产生的文本块事件。

对于基本的文本生成,您只需要关注contentBlockDelta事件。这些事件包含您想要展示给用户的实际生成文本块。

笔记本输出:一个messageStart事件,然后是包含诸如"The"和"XenonLin"等文本的contentBlockDelta事件。

事件总是按照可预测的顺序到达:messageStart、多个包含您的文本的contentBlockDelta事件,然后是contentBlockStop、messageStop,最后是metadata。

提取文本

要从每个文本块中只获取生成的文本,请筛选contentBlockDelta事件并提取文本:

python
text = ""
for event in response["stream"]:
    if "contentBlockDelta" in event:
        chunk = event["contentBlockDelta"]["delta"]["text"]
        print(chunk, end="")
        text += chunk

print("\n\nTotal Message:\n" + text)

end=""参数去除了Python的print函数自动添加的换行符,使流式传输的文本显示得更加自然。

实际应用

在实际应用中,您通常不会只是打印每个文本块,而是会:

  • 通过WebSockets或Server-Sent Events将每个文本块发送到您的前端
  • 更新UI以实时显示不断增长的响应
  • 在流式传输完成后存储完整的消息
  • 处理流式传输过程中可能出现的任何错误

这种流式传输方法将用户体验从"提交并等待"转变为"提交并观看响应出现",使您的AI驱动应用程序感觉更具响应性和吸引力。