Cargando

Streaming de respuestas

Lección 710 min
Cargando

Al crear aplicaciones de chat con Claude, existe un desafío importante en cuanto a la experiencia de usuario: las respuestas pueden tardar de 10 a 30 segundos en generarse, dejando a los usuarios mirando un ícono de carga. La solución es el streaming de respuestas, que permite que los usuarios vean el texto aparecer fragmento por fragmento a medida que Claude lo genera, creando una sensación mucho más responsiva.

La app de chat envía "¿Qué es la computación cuántica?" a nuestro servidor, que lo transmite a Claude y recibe de vuelta un mensaje del asistente.

El problema con las respuestas estándar

En una configuración de chat típica, tu servidor envía un mensaje del usuario a Claude y espera la respuesta completa antes de enviar algo de vuelta al cliente. Esto crea una demora incómoda en la que los usuarios no tienen ninguna indicación de que algo está sucediendo.

Nuestro servidor pasa "¿Qué es la computación cuántica?" a Claude, lo cual puede tardar de 10 a 30 s, mientras la respuesta de IA de la app muestra tres puntos.

Cómo funciona el streaming

Con el streaming habilitado, Claude envía inmediatamente una respuesta inicial indicando que ha recibido tu solicitud y está comenzando a generar texto. Luego recibes una serie de eventos, cada uno con un pequeño fragmento de la respuesta general.

Claude responde a "¿Qué es la computación cuántica?" con una respuesta inicial, y luego los eventos "Quantum", "computing" e "is".

Tu servidor puede reenviar estos fragmentos de texto a tu aplicación cliente a medida que llegan, permitiendo que los usuarios vean la respuesta construirse palabra por palabra. Todos estos eventos forman parte de una única solicitud a Claude.

Entendiendo los eventos de stream

Cuando habilitas el streaming, Claude envía de vuelta varios tipos de eventos:

  • MessageStart - Se está enviando un nuevo mensaje
  • ContentBlockStart - Inicio de un nuevo bloque que contiene texto, uso de herramientas u otro contenido
  • ContentBlockDelta - Fragmentos del texto generado real
  • ContentBlockStop - El bloque de contenido actual se ha completado
  • MessageDelta - El mensaje actual está completo
  • MessageStop - Fin de la información sobre el mensaje actual

Los tipos de eventos de stream mencionados anteriormente llegando en orden desde Claude, con ContentBlockDelta repetido tres veces.

Los eventos ContentBlockDelta contienen el texto generado real que querrás mostrar a los usuarios.

Implementación básica de streaming

Para habilitar el streaming, agrega stream=True a tu llamada messages.create:

python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")

stream = client.messages.create(
    model=model,
    max_tokens=1000,
    messages=messages,
    stream=True
)

for event in stream:
    print(event)

Salida del notebook para el código de streaming anterior, comenzando con un RawMessageStartEvent y luego un RawContentBlockStartEvent.

Streaming de texto simplificado

En lugar de analizar manualmente los eventos, puedes usar la interfaz de streaming simplificada del SDK que extrae únicamente el contenido de texto:

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        print(text, end="")

Este enfoque filtra automáticamente todo excepto el contenido de texto real, que es generalmente lo que necesitas para mostrar las respuestas a los usuarios.

Obteniendo el mensaje final

Si bien el streaming es excelente para la experiencia de usuario, a menudo necesitas el mensaje completo para almacenarlo o procesarlo más a fondo. Después de que el streaming se complete, puedes obtener el mensaje final ensamblado:

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        pass  # Send to client in real application
    
    final_message = stream.get_final_message()

Esto te brinda tanto la capacidad de streaming para la experiencia de usuario como el objeto de mensaje completo para el almacenamiento en base de datos o el historial de conversación.

Consideraciones prácticas

Cada fragmento de texto en el stream puede contener varias palabras o incluso oraciones completas; no tienes garantizado recibir exactamente una palabra por evento. El tamaño del fragmento depende de la rapidez con la que Claude genera cada porción de texto.

En aplicaciones de producción, normalmente reenviarás estos fragmentos de texto inmediatamente a tu aplicación cliente a través de WebSockets o Server-Sent Events, permitiendo que los usuarios vean las respuestas aparecer en tiempo real mientras mantienes el historial de conversación completo en tu servidor.