Wird geladen
Wird geladen

Beim Erstellen von Chat-Anwendungen mit Claude gibt es eine erhebliche Herausforderung für die Nutzererfahrung: Antworten können 10-30 Sekunden zur Generierung benötigen, wodurch Nutzer auf einen Ladekreisel starren müssen. Die Lösung ist Antwort-Streaming, das es Nutzern ermöglicht, Text Stück für Stück erscheinen zu sehen, während Claude ihn generiert, was ein deutlich reaktionsschnelleres Gefühl erzeugt.

Chat-App sendet „Was ist Quantencomputing?“ an unseren Server, der es an Claude weiterleitet und eine Assistenten-Nachricht zurückerhält.

Das Problem mit Standardantworten

In einem typischen Chat-Setup sendet dein Server eine Nutzernachricht an Claude und wartet auf die vollständige Antwort, bevor er etwas an den Client zurücksendet. Dies erzeugt eine unangenehme Verzögerung, bei der Nutzer keine Rückmeldung darüber erhalten, dass überhaupt etwas passiert.

Unser Server übergibt „Was ist Quantencomputing?“ an Claude, was 10-30s dauern kann, während die KI-Antwort der App drei Punkte anzeigt.

Wie Streaming funktioniert

Mit aktiviertem Streaming sendet Claude sofort eine erste Antwort zurück, die anzeigt, dass es deine Anfrage erhalten hat und mit der Textgenerierung beginnt. Anschließend erhältst du eine Reihe von Ereignissen, die jeweils ein kleines Stück der Gesamtantwort enthalten.

Claude antwortet auf „Was ist Quantencomputing?“ mit einer ersten Antwort, dann den Ereignissen „Quantum“, „computing“ und „is“.

Dein Server kann diese Textstücke an deine Client-Anwendung weiterleiten, sobald sie eintreffen, sodass Nutzer sehen können, wie sich die Antwort Wort für Wort aufbaut. All diese Ereignisse sind Teil einer einzigen Anfrage an Claude.

Stream-Ereignisse verstehen

Wenn du Streaming aktivierst, sendet Claude mehrere Arten von Ereignissen zurück:

  • MessageStart – Eine neue Nachricht wird gesendet
  • ContentBlockStart – Beginn eines neuen Blocks mit Text, Tool-Nutzung oder anderem Inhalt
  • ContentBlockDelta – Stücke des tatsächlich generierten Textes
  • ContentBlockStop – Der aktuelle Inhaltsblock wurde abgeschlossen
  • MessageDelta – Die aktuelle Nachricht ist vollständig
  • MessageStop – Ende der Informationen zur aktuellen Nachricht

Die oben aufgeführten Stream-Ereignistypen treffen der Reihe nach von Claude ein, wobei ContentBlockDelta dreimal wiederholt wird.

Die ContentBlockDelta-Ereignisse enthalten den tatsächlich generierten Text, den du den Nutzern anzeigen möchtest.

Grundlegende Streaming-Implementierung

Um Streaming zu aktivieren, füge stream=True zu deinem messages.create-Aufruf hinzu:

python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")

stream = client.messages.create(
    model=model,
    max_tokens=1000,
    messages=messages,
    stream=True
)

for event in stream:
    print(event)

Notebook-Ausgabe für den obigen Streaming-Code, beginnend mit einem RawMessageStartEvent und dann einem RawContentBlockStartEvent.

Vereinfachtes Text-Streaming

Anstatt Ereignisse manuell zu parsen, kannst du die vereinfachte Streaming-Schnittstelle des SDK verwenden, die nur den Textinhalt extrahiert:

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        print(text, end="")

Dieser Ansatz filtert automatisch alles außer dem eigentlichen Textinhalt heraus, was in der Regel das ist, was du zur Anzeige von Antworten für Nutzer benötigst.

Die endgültige Nachricht abrufen

Während Streaming großartig für die Nutzererfahrung ist, benötigst du oft die vollständige Nachricht zur Speicherung oder weiteren Verarbeitung. Nach Abschluss des Streamings kannst du die zusammengesetzte endgültige Nachricht abrufen:

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        pass  # Send to client in real application
    
    final_message = stream.get_final_message()

Dies gibt dir sowohl die Streaming-Fähigkeit für die Nutzererfahrung als auch das vollständige Nachrichtenobjekt für die Datenbankspeicherung oder den Gesprächsverlauf.

Praktische Überlegungen

Jedes Textstück im Stream kann mehrere Wörter oder sogar vollständige Sätze enthalten – du erhältst nicht garantiert genau ein Wort pro Ereignis. Die Größe des Stücks hängt davon ab, wie schnell Claude jeden Textabschnitt generiert.

In Produktionsanwendungen leitest du diese Textstücke normalerweise sofort über WebSockets oder Server-Sent Events an deine Client-Anwendung weiter, sodass Nutzer Antworten in Echtzeit erscheinen sehen können, während der vollständige Gesprächsverlauf auf deinem Server erhalten bleibt.