読み込み中

マルチインデックスRAGパイプライン

レッスン 408 分
読み込み中

セマンティック検索(ベクトル埋め込み)とレキシカル検索(BM25)の両方が独立して動作するようになったら、次のステップはそれらを統合検索パイプラインに組み合わせることです。このハイブリッドアプローチは両方の手法の強みを活かし、より正確な結果を提供します。

INC-2023-Q4-011に関するユーザーの質問がセマンティック検索とレキシカル検索を並行して通過し、その結果がマージされる様子。

統一インターフェースの作成

両方の検索実装はほぼ同一のAPIを共有しています。どちらも同じように動作するadd_document()とsearch()メソッドを持っています。この一貫性により、単一のRetrieverクラスにそれらをラップすることが簡単になります。

VectorIndexとBM25Indexはそれぞれ、テキストチャンクを追加するadd_documentと、チャンクとスコアを返すsearchを持っている。

Retrieverは、ユーザーのクエリを両方のインデックスに転送し、それらの結果を収集し、単一のランク付けされたリストにマージするコーディネーターとして機能します。

Retrieverの図: ユーザーの質問がVectorIndexとBM25Indexの両方に送られ、その結果がマージされる。

Reciprocal Rank Fusion

課題は、異なるスコアリングシステムを使用する異なる検索手法の結果をマージすることです。ベクトル検索はコサイン類似度スコアを返し、BM25は関連性スコアを返します。これらの数値を単純に直接組み合わせることはできません。

そこで、Reciprocal Rank Fusion(RRF)と呼ばれる手法を使用します。この方法は、生のスコアではなく結果のランク位置に焦点を当てます。

以下の例のVectorIndexとBM25Indexの結果テーブル。それぞれにスコア列があり、ランク1では0.234と0.184など。

例でどのように機能するか見てみましょう。ベクトル検索がセクション2、7、6の順で結果を返し、BM25がセクション6、2、7を返すとします。これらをマージするには:

VectorIndexとBM25Indexからのランク付けされた結果が、各テキストチャンクの両インデックスからのランクを含む1つのテーブルに組み合わされる。

まず、各テキストチャンクとその両方の検索方法からのランクを示すテーブルを作成します:

  • セクション2: ベクトルからランク1、BM25からランク2
  • セクション7: ベクトルからランク2、BM25からランク3
  • セクション6: ベクトルからランク3、BM25からランク1

ベクトルとBM25からの各セクションのランクとそのRRFスコアのテーブル。スコアが高いほど関連性の高いチャンクであることに注意。

次に、RRFの数式を適用して各チャンクの結合スコアを計算します:

RRF_score(d) = Σ(1 / (k + rank_i(d)))

ここでkは定数です(通常は60ですが、より分かりやすい結果のために1を使用します)。またrank_i(d)は、i番目の検索結果におけるドキュメントdのランクです。

Reciprocal Rank Fusionの数式と、3つのセクションのベクトルおよびBM25のランクとスコアのテーブル。スコアが高いほど関連性が高い。

この例の場合:

  • セクション2: 1.0/(1+1) + 1.0/(1+2) = 0.833
  • セクション7: 1.0/(1+2) + 1.0/(1+3) = 0.583
  • セクション6: 1.0/(1+3) + 1.0/(1+1) = 0.75

各テキストチャンクのベクトルからのランク、BM25からのランク、スコア、最終ランクのテーブル。スコアが高いほど関連性が高い。

最終的なランキングは次のようになります: セクション2(0.833)、セクション6(0.75)、セクション7(0.583)。これは直感的に理にかなっています。セクション2は両方の検索で良いパフォーマンスを示し、セクション6は混在した結果となり、セクション7は全体として低いランクとなりました。

上記で説明したRRFテーブルに「最終ランク」列を追加し、スコアが高いほど関連性の高いテキストチャンクであるという注記を加えたもの。

実装

Retrieverクラスの実装は単純明快です:

ノートブック内のRetrieverクラス。インデックスがない場合、非文字列のクエリテキスト、非正のk、負のk_rrfに対してエラーを発生させる。

python
class Retriever:
    def __init__(self, *indexes):
        self._indexes = list(indexes)
    
    def add_document(self, document):
        for index in self._indexes:
            index.add_document(document)
    
    def search(self, query_text, k=1, k_rrf=60):
        # すべてのインデックスから結果を取得
        all_results = [index.search(query_text, k) for index in self._indexes]
        
        # reciprocal rank fusionを適用
        # ...ここにマージ処理...

上記のコードから省略されたマージロジック: doc_ranksを構築し、calc_rrf_scoreを定義し、0より上のスコアのドキュメントのみを保持する。

マージロジックは、すべての検索結果にわたるドキュメントのランクを追跡し、RRFスコアを計算し、結合スコアでソートされた上位k件のドキュメントを返します。

ハイブリッドアプローチのテスト

「what happened with INC-2023-Q4-011?」というクエリでテストすると、ハイブリッドアプローチはベクトル検索単独よりもはるかに優れた結果を提供します:

ベクトル検索単独。Section 10: Cybersecurity Analysisを距離0.634、Section 3: Financial Analysisを0.809で返す。

結果は今や正しく以下を優先しています:

  1. Section 10: Cybersecurity Analysis(実際のインシデントレポート)
  2. Section 2: Software Engineering(関連する文脈)
  3. Section 5: Legal Developments(関連性は低いがそれでも関連している)

ノートブックの出力: Section 10 Cybersecurity Analysisは約0.0325、Section 2は約0.0320、Section 5は約0.0308のスコア。

ハイブリッドアーキテクチャの利点

この設計にはいくつかの利点があります:

  • モジュール式の設計: 各検索インデックスは同じAPIで独立して実装される
  • 容易な拡張性: 同じsearch()とadd_document()インターフェースを実装することで新しい検索方法を追加できる
  • より高い精度: セマンティックな理解と正確なキーワードマッチングを組み合わせる
  • 柔軟な融合: RRFアルゴリズムは、いくつの検索インデックスを組み合わせても機能する

Retrieverは質問をVectorIndex、BM25Index、そして???Indexというラベルの付いた3番目のボックスに送り、2つの結果セットをマージする。

一貫したAPIにより、3つ目の検索インデックス(固有表現認識に特化したものや特定のドキュメントタイプを扱うものなど)を簡単に追加できます。そしてRetrieverは自動的にその結果を最終的なランキングに組み込みます。

Retrieverの図: ユーザーの質問がVectorIndexとBM25Indexの両方に送られ、その結果がマージされる。

このハイブリッド検索の基盤は、いずれかの方法単独よりも大幅に堅牢な検索を提供し、より広範なクエリタイプにわたってより優れたパフォーマンスを発揮するようRAGパイプラインを整えます。