加载中
加载中

在使用Claude构建聊天应用程序时,存在一个重要的用户体验挑战:响应可能需要10-30秒才能生成,这会让用户一直盯着加载指示器等待。解决方案是响应流式传输,它能让用户看到文本随着Claude生成而逐块出现,从而创造出更具响应性的体验。

聊天应用将“What is quantum computing?”发送到我们的服务器,服务器将其转发给Claude并获取一条助手消息。

标准响应的问题

在典型的聊天设置中,您的服务器向Claude发送用户消息,并等待完整的响应后才向客户端发送任何内容。这会造成一种令人尴尬的延迟,让用户感觉不到有任何事情正在发生。

我们的服务器将“What is quantum computing?”传递给Claude,这可能需要10-30秒,而应用的AI回复则显示三个点。

流式传输的工作原理

启用流式传输后,Claude会立即发回一个初始响应,表明它已收到您的请求并开始生成文本。然后您会收到一系列事件,每个事件都包含整体响应的一小部分。

Claude对“What is quantum computing?”的回复是先发送一个初始响应,然后是事件“Quantum”、“computing”和“is”。

您的服务器可以在这些文本块到达时将其转发给您的客户端应用程序,从而让用户能够看到响应逐字逐句地构建起来。所有这些事件都属于向Claude发出的同一个请求。

理解流事件

当您启用流式传输时,Claude会发回几种类型的事件:

  • MessageStart(消息开始) - 一条新消息正在被发送
  • ContentBlockStart(内容块开始) - 包含文本、工具使用或其他内容的新块的开始
  • ContentBlockDelta(内容块增量) - 实际生成文本的片段
  • ContentBlockStop(内容块结束) - 当前内容块已完成
  • MessageDelta(消息增量) - 当前消息已完成
  • MessageStop(消息结束) - 关于当前消息的信息结束

上述流事件类型按顺序从Claude到达,其中ContentBlockDelta重复了三次。

ContentBlockDelta 事件包含您将希望展示给用户的实际生成文本。

基本的流式传输实现

要启用流式传输,请在您的messages.create调用中添加 stream=True:

python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")

stream = client.messages.create(
    model=model,
    max_tokens=1000,
    messages=messages,
    stream=True
)

for event in stream:
    print(event)

上述流式传输代码的笔记本输出,首先是一个RawMessageStartEvent,然后是一个RawContentBlockStartEvent。

简化的文本流式传输

与其手动解析事件,您可以使用SDK提供的简化流式传输接口,它只提取实际的文本内容:

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        print(text, end="")

这种方法会自动过滤掉除实际文本内容之外的所有内容,而这通常正是您在向用户展示响应时所需要的。

获取最终消息

虽然流式传输对用户体验非常有利,但您通常还需要完整的消息以便存储或进一步处理。在流式传输完成后,您可以获取组装好的最终消息:

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        pass  # Send to client in real application
    
    final_message = stream.get_final_message()

这样您既获得了用于提升用户体验的流式传输能力,也获得了可用于数据库存储或对话历史记录的完整消息对象。

实践注意事项

流中的每个文本块可能包含多个单词,甚至是完整的句子——并不能保证每个事件恰好只收到一个单词。块的大小取决于Claude生成每部分文本的速度。

在生产应用程序中,您通常会通过WebSocket或服务器发送事件(Server-Sent Events)将这些文本块立即转发给客户端应用程序,从而让用户能够实时看到响应的出现,同时在您的服务器上维护完整的对话历史记录。