読み込み中

レスポンスストリーミング

レッスン 710 分
読み込み中

Claudeを使ってチャットアプリケーションを構築する際には、大きなユーザー体験上の課題があります。レスポンスの生成に10〜30秒かかることがあり、その間ユーザーはローディングスピナーを見つめることになります。その解決策がレスポンスストリーミングです。これにより、Claudeがテキストを生成するにつれて、ユーザーはテキストがチャンクごとに表示されるのを見ることができ、はるかに応答性の高い感覚が生まれます。

チャットアプリが「量子コンピューティングとは何ですか?」をサーバーに送信し、サーバーがそれをClaudeに中継してアシスタントメッセージを取得する様子。

標準的なレスポンスの問題点

一般的なチャット構成では、サーバーがユーザーメッセージをClaudeに送信し、完全なレスポンスを待ってからクライアントに何かを送り返します。これにより、何かが起きているというフィードバックがユーザーに何もない、という気まずい遅延が生じます。

サーバーが「量子コンピューティングとは何ですか?」をClaudeに渡し、それには10〜30秒かかる一方、アプリのAI返信では3つのドットが表示されている様子。

ストリーミングの仕組み

ストリーミングが有効な場合、Claudeはリクエストを受け取り、テキストの生成を開始したことを示す初期レスポンスをすぐに送り返します。その後、全体のレスポンスのうちの小さな断片をそれぞれ含む一連のイベントを受け取ります。

Claudeが「量子コンピューティングとは何ですか?」に対して初期レスポンスで応答し、その後「Quantum」「computing」「is」というイベントが続く様子。

サーバーはこれらのテキストチャンクが届くとすぐにクライアントアプリケーションに転送でき、ユーザーはレスポンスが単語ごとに組み上がっていくのを見ることができます。これらのイベントはすべて、Claudeへの1回のリクエストの一部です。

ストリームイベントを理解する

ストリーミングを有効にすると、Claudeはいくつかの種類のイベントを送り返します。

  • MessageStart - 新しいメッセージが送信されている
  • ContentBlockStart - テキスト、ツール使用、またはその他のコンテンツを含む新しいブロックの開始
  • ContentBlockDelta - 実際に生成されたテキストのチャンク
  • ContentBlockStop - 現在のコンテンツブロックが完了した
  • MessageDelta - 現在のメッセージが完了した
  • MessageStop - 現在のメッセージに関する情報の終了

上記のストリームイベントの種類がClaudeから順番に到着し、ContentBlockDeltaが3回繰り返される様子。

ContentBlockDelta イベントには、ユーザーに表示したい実際に生成されたテキストが含まれています。

基本的なストリーミングの実装

ストリーミングを有効にするには、messages.create呼び出しに stream=True を追加します。

python
messages = []
add_user_message(messages, "Write a 1 sentence description of a fake database")

stream = client.messages.create(
    model=model,
    max_tokens=1000,
    messages=messages,
    stream=True
)

for event in stream:
    print(event)

上記のストリーミングコードのノートブック出力。RawMessageStartEventで始まり、次にRawContentBlockStartEventが続く様子。

シンプルなテキストストリーミング

イベントを手動でパースする代わりに、SDKのシンプルなストリーミングインターフェースを使用して、テキストコンテンツのみを抽出することができます。

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        print(text, end="")

このアプローチでは、実際のテキストコンテンツ以外のすべてが自動的にフィルタリングされます。これは通常、ユーザーにレスポンスを表示する際に必要なものです。

最終メッセージの取得

ストリーミングはユーザー体験の面で優れていますが、保存やさらなる処理のために完全なメッセージが必要になることがよくあります。ストリーミングが完了した後、組み立てられた最終メッセージを取得できます。

python
with client.messages.stream(
    model=model,
    max_tokens=1000,
    messages=messages
) as stream:
    for text in stream.text_stream:
        pass  # Send to client in real application
    
    final_message = stream.get_final_message()

これにより、ユーザー体験のためのストリーミング機能と、データベース保存や会話履歴のための完全なメッセージオブジェクトの両方が得られます。

実用上の考慮事項

ストリーム内の各テキストチャンクには、複数の単語や完全な文が含まれることがあります。1イベントにつき必ず1単語だけが届くとは限りません。チャンクのサイズは、Claudeがテキストの各部分をどれだけ速く生成するかによって決まります。

本番環境のアプリケーションでは、通常、これらのテキストチャンクをWebSocketsやServer-Sent Eventsを通じてクライアントアプリケーションに即座に転送します。これにより、サーバー側で完全な会話履歴を維持しながら、ユーザーはレスポンスがリアルタイムで表示されるのを見ることができます。