Chargement

Streaming des réponses

Leçon 710 min
Chargement

Lorsque vous développez des applications de chat avec Claude, un défi important en matière d'expérience utilisateur se pose : les réponses peuvent prendre de 10 à 30 secondes à générer, laissant les utilisateurs face à un indicateur de chargement. La solution est le streaming des réponses, qui permet aux utilisateurs de voir le texte apparaître morceau par morceau au fur et à mesure que Claude le génère, créant ainsi une sensation beaucoup plus réactive.

L'application de chat envoie « Qu'est-ce que l'informatique quantique ? » à notre serveur, qui la relaie à Claude et reçoit en retour un message de l'assistant.

Le problème avec les réponses standard

Dans une configuration de chat classique, votre serveur envoie un message utilisateur à Claude et attend la réponse complète avant de renvoyer quoi que ce soit au client. Cela crée un délai gênant pendant lequel les utilisateurs n'ont aucun retour indiquant que quelque chose se passe.

Notre serveur transmet « Qu'est-ce que l'informatique quantique ? » à Claude, ce qui peut prendre de 10 à 30 s, tandis que la réponse de l'IA de l'application affiche trois points.

Comment fonctionne le streaming

Lorsque le streaming est activé, Claude renvoie immédiatement une réponse initiale indiquant qu'il a bien reçu votre requête et qu'il commence à générer du texte. Vous recevez ensuite une série d'événements, chacun contenant une petite partie de la réponse globale.

Claude répond à « Qu'est-ce que l'informatique quantique ? » par une réponse initiale, puis par les événements « Quantum », « computing » et « is ».

Votre serveur peut transmettre ces morceaux de texte à votre application cliente au fur et à mesure de leur arrivée, permettant aux utilisateurs de voir la réponse se construire mot par mot. Tous ces événements font partie d'une seule et même requête adressée à Claude.

Comprendre les événements de streaming

Lorsque vous activez le streaming, Claude renvoie plusieurs types d'événements :

  • MessageStart - Un nouveau message est en cours d'envoi
  • ContentBlockStart - Début d'un nouveau bloc contenant du texte, de l'utilisation d'outils ou un autre type de contenu
  • ContentBlockDelta - Morceaux du texte réellement généré
  • ContentBlockStop - Le bloc de contenu en cours a été complété
  • MessageDelta - Le message en cours est complet
  • MessageStop - Fin des informations relatives au message en cours

Les types d'événements de streaming listés ci-dessus arrivant dans l'ordre en provenance de Claude, avec ContentBlockDelta répété trois fois.

Les événements ContentBlockDelta contiennent le texte réellement généré que vous voudrez afficher aux utilisateurs.

Mise en œuvre de base du streaming

Pour activer le streaming, ajoutez stream=True à votre appel messages.create :

python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")

stream = client.messages.create(
    model=model,
    max_tokens=1000,
    messages=messages,
    stream=True
)

for event in stream:
    print(event)

Sortie du notebook pour le code de streaming ci-dessus, commençant par un RawMessageStartEvent puis un RawContentBlockStartEvent.

Streaming de texte simplifié

Plutôt que d'analyser manuellement les événements, vous pouvez utiliser l'interface de streaming simplifiée du SDK qui extrait uniquement le contenu textuel :

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        print(text, end="")

Cette approche filtre automatiquement tout sauf le contenu textuel réel, ce qui correspond généralement à ce dont vous avez besoin pour afficher les réponses aux utilisateurs.

Obtenir le message final

Bien que le streaming soit excellent pour l'expérience utilisateur, vous avez souvent besoin du message complet pour le stockage ou un traitement ultérieur. Une fois le streaming terminé, vous pouvez obtenir le message final assemblé :

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        pass  # Send to client in real application
    
    final_message = stream.get_final_message()

Cela vous donne à la fois la capacité de streaming pour l'expérience utilisateur et l'objet message complet pour le stockage en base de données ou l'historique des conversations.

Considérations pratiques

Chaque morceau de texte dans le flux peut contenir plusieurs mots, voire des phrases complètes - vous n'êtes pas garanti de recevoir exactement un mot par événement. La taille des morceaux dépend de la rapidité avec laquelle Claude génère chaque portion de texte.

Dans les applications en production, vous transmettrez généralement ces morceaux de texte immédiatement à votre application cliente via des WebSockets ou des Server-Sent Events, permettant aux utilisateurs de voir les réponses apparaître en temps réel tout en conservant l'historique complet de la conversation sur votre serveur.