読み込み中

RAGの全体的な流れ

レッスン 356 分
読み込み中

これまでRAGの基本、テキストのチャンク化、埋め込み(embeddings)について説明してきました。ここでは、RAGパイプライン全体をステップごとに見ていきましょう。この例では、これらすべての要素がどのように連携して関連情報を取得し、応答を生成するのかを正確に示します。

ステップ1:ソーステキストをチャンク化する

まず、ソースドキュメントを取得し、扱いやすいチャンクに分割します。この例では、2つのシンプルなテキストセクションを使用します。

  • セクション1:医療研究 — 「今年は、以前見たことのない『バグ』であるXDR-47の理解において大きな進展がありました。」
  • セクション2:ソフトウェアエンジニアリング — 「この部門は、分散システムにおけるさまざまな感染経路の研究に多大な労力を注ぎました」

ステップ2:埋め込みを生成する

次に、埋め込みモデルを使用して各テキストチャンクを数値埋め込みに変換します。これを理解しやすくするために、常に正確に2つの数値を返す完璧な埋め込みモデルがあり、それぞれの数値が何を表すかわかっていると想像してみましょう。

2つのテキストチャンクが架空の埋め込みモデルを通過し、下記に説明される2つの数値からなる埋め込みを出力します。

この架空のモデルでは:

  • 1つ目の数値は、そのテキストがどの程度医療分野について述べているかを表します
  • 2つ目の数値は、そのテキストがどの程度ソフトウェアエンジニアリングについて述べているかを表します

医療研究セクションでは、[0.97, 0.34]のような値が得られるかもしれません——これは非常に医療寄りですが、「バグ」という単語のために多少ソフトウェア関連の要素も含まれています。ソフトウェアエンジニアリングセクションでは、[0.30, 0.97]が得られます——これは非常にソフトウェア寄りですが、「感染経路」という表現から医療的な含みもあります。

正規化

埋め込みAPIは通常、各ベクトルの大きさを1.0にスケーリングする正規化ステップを実行します。ここでの計算について心配する必要はありません——これは自動的に処理されます。これにより、[0.944, 0.331]や[0.295, 0.955]のような正規化されたベクトルが得られます。

単位円上で、医療研究はおおよそ医学の方向を、ソフトウェアエンジニアリングはおおよそソフトウェアの方向を向いており、それぞれの矢印の長さは1.0です。

これらの埋め込みを単位円上に可視化でき、各点がテキストチャンクの1つを表しています。

医療研究の埋め込み「0.944, 0.331」とソフトウェアエンジニアリングの埋め込み「0.295, 0.955」がベクトルデータベースに送られます。

ステップ3:ベクトルデータベースに保存する

これらの埋め込みをベクトルデータベース——埋め込みのような長い数値リストを保存、比較、検索するために最適化された特殊なデータベース——に保存します。

架空の埋め込みモデルがユーザーの質問を0.1と0.89として埋め込みます。これはやや医療関連ですが、ソフトウェアに重点が置かれています。

ここで一旦立ち止まります。ここまでの作業はすべて、事前に行われる前処理です。次に、ユーザーがクエリを送信するのを待ちます。

ステップ4:ユーザークエリを処理する

ユーザーが「この会社について興味があります。特に、ソフトウェアエンジニアリング部門は今年何をしましたか?」のような質問をすると、そのクエリを同じ埋め込みモデルに通します。

ユーザークエリを埋め込み、最も近い埋め込みを見つける段階。「Company」はやや医療関連ですが、ソフトウェアに重点が置かれていることに注意してください。

このクエリは[0.1, 0.89]のような値として埋め込まれます——医療スコアは低く、ソフトウェアエンジニアリングスコアは高くなります。正規化後は[0.112, 0.993]になります。

ステップ5:類似した埋め込みを見つける

ユーザーのクエリ埋め込みをベクトルデータベースに送り、最も類似した保存済み埋め込みを見つけるよう依頼します。

単位円上で、ユーザークエリベクトルがソフトウェアエンジニアリングベクトルとほぼ重なり、医療研究からは大きく離れている様子。

データベースはソフトウェアエンジニアリングセクションを返します。これがユーザーの質問内容に最も近い一致だからです。

類似度の仕組み:コサイン類似度

ベクトルデータベースは、どの埋め込みが最も類似しているかを判断するためにコサイン類似度を使用します。これは2つのベクトル間の角度の余弦を測定するものです。

単位円上で、ユーザークエリからソフトウェアエンジニアリングへの角度「a」と、医療研究への角度「b」、およびコサインの計算式。

コサイン類似度に関する重要なポイント:

  • 結果は-1から1の範囲です
  • 1に近い値は高い類似度を意味します
  • -1に近い値は非常に異なることを意味します
  • 0は垂直(無関係)を意味します

この例では、ユーザークエリとソフトウェアエンジニアリングのチャンクとの間のコサイン類似度は0.983であり、非常に高い類似度を示しています。医療研究のチャンクとの類似度はわずか0.398と、かなり低くなっています。

コサイン距離

ベクトルデータベースのドキュメントでは「コサイン距離」という言葉をよく目にするでしょう。これは単純に(1 - コサイン類似度)として計算されます。コサイン距離では:

  • 0に近い値は高い類似度を意味します
  • 値が大きいほど類似度が低いことを意味します

この調整により、多くの文脈で数値が解釈しやすくなります。

ステップ6:最終的なプロンプトを作成する

最後に、ユーザーの質問と、見つかった最も関連性の高いテキストチャンクを組み合わせてプロンプトを作成し、Claudeに送って応答を得ます。

ユーザーの質問と取得されたソフトウェアエンジニアリングのチャンクが、以下に引用されているプロンプトテンプレートに流れ込む様子を示した図。

プロンプトは次のようになるかもしれません:

Answer the user's question about the financial document.

<user_question>
How many bugs did engineers fix this year?
</user_question>

<report>
## Section 2: Software Engineering
This division dedicated significant effort to studying various infection vectors in our distributed systems
</report>

これでRAGパイプライン全体が完成です!このシステムは、意味的類似性に基づいて最も関連性の高い情報を正常に取得し、それを正確な応答を生成するためのコンテキストとして提供しました。