Chargement

Streaming des réponses

Leçon 79 min
Chargement

Lors de la création d'applications de chat avec Claude, un défi important se pose en matière d'expérience utilisateur : les réponses peuvent prendre de 10 à 30 secondes à générer, laissant les utilisateurs fixer un indicateur de chargement. La solution est le streaming des réponses, qui permet aux utilisateurs de voir le texte apparaître morceau par morceau au fur et à mesure que Claude le génère, créant une impression de réactivité bien plus grande.

L'application de chat envoie « Qu'est-ce que l'informatique quantique ? » à notre serveur, qui le transmet à Claude et reçoit en retour un message de l'assistant.

Le problème des réponses standard

Dans une configuration de chat classique, votre serveur envoie un message utilisateur à Claude et attend la réponse complète avant de renvoyer quoi que ce soit au client. Cela crée un délai gênant pendant lequel les utilisateurs n'ont aucun retour indiquant que quelque chose se passe.

Notre serveur transmet « Qu'est-ce que l'informatique quantique ? » à Claude, ce qui peut prendre de 10 à 30 s, pendant que la réponse de l'IA dans l'application affiche trois points.

Comment fonctionne le streaming

Lorsque le streaming est activé, Claude renvoie immédiatement une réponse initiale indiquant qu'il a reçu votre requête et qu'il commence à générer du texte. Vous recevez ensuite une série d'événements, chacun contenant une petite partie de la réponse globale.

Claude répond à « Qu'est-ce que l'informatique quantique ? » par une réponse initiale, puis par les événements « Quantum », « computing » et « is ».

Votre serveur peut transmettre ces fragments de texte à votre application cliente au fur et à mesure qu'ils arrivent, permettant aux utilisateurs de voir la réponse se construire mot par mot. Tous ces événements font partie d'une seule et même requête à Claude.

Comprendre les événements de streaming

Lorsque vous activez le streaming, Claude renvoie plusieurs types d'événements :

  • MessageStart - Un nouveau message est envoyé
  • ContentBlockStart - Début d'un nouveau bloc contenant du texte, une utilisation d'outils, ou un autre contenu
  • ContentBlockDelta - Fragments du texte réellement généré
  • ContentBlockStop - Le bloc de contenu actuel est terminé
  • MessageDelta - Le message actuel est terminé
  • MessageStop - Fin des informations sur le message actuel

Les types d'événements de streaming listés ci-dessus arrivant dans l'ordre depuis Claude, avec ContentBlockDelta répété trois fois.

Les événements ContentBlockDelta contiennent le texte réellement généré que vous voudrez afficher aux utilisateurs.

Implémentation de base du streaming

Pour activer le streaming, ajoutez stream=True à votre appel messages.create :

python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")

stream = client.messages.create(
    model=model,
    max_tokens=1000,
    messages=messages,
    stream=True
)

for event in stream:
    print(event)

Sortie du notebook pour le code de streaming ci-dessus, commençant par un RawMessageStartEvent puis un RawContentBlockStartEvent.

Streaming de texte simplifié

Plutôt que d'analyser manuellement les événements, vous pouvez utiliser l'interface de streaming simplifiée du SDK qui extrait uniquement le contenu textuel :

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        print(text, end="")

Cette approche filtre automatiquement tout sauf le contenu textuel réel, ce qui correspond généralement à ce dont vous avez besoin pour afficher les réponses aux utilisateurs.

Obtenir le message complet

Bien que le streaming de fragments individuels soit excellent pour l'expérience utilisateur, vous avez souvent besoin du message complet pour le stockage ou un traitement ultérieur. Une fois le streaming terminé, vous pouvez obtenir le message final assemblé :

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        # Envoyer chaque bloc au client
        pass
    
    # Récupérer le message complet pour le stockage en base de données
    final_message = stream.get_final_message()

Cela vous offre le meilleur des deux mondes : un streaming en temps réel pour les utilisateurs et un objet message complet pour la logique de votre application.