読み込み中
読み込み中

RAGパイプラインを構築していると、セマンティック検索だけでは必ずしも最適な結果が返ってこないことにすぐ気づくでしょう。セマンティック検索では見逃してしまう可能性のある完全一致の語句検索が必要な場合があります。その解決策は、BM25と呼ばれる手法を使って、セマンティック検索と字句検索を組み合わせることです。

セマンティック検索だけの問題点

たとえば、ドキュメント内で「INC-2023-Q4-011」のような特定のインシデントIDを検索しているとします。セマンティック検索は文脈や意味の理解に優れていますが、意味的には関連していても、実際には探している正確な語句を含まないセクションを返してしまうことがあります。

ユーザーの質問は、埋め込みとベクトルデータベースを使ったセマンティック検索と、字句検索の両方に送られ、その後結果がマージされます。

上記の例では、セマンティック検索は(インシデントIDを実際に含んでいる)サイバーセキュリティのセクションを返しましたが、インシデントについてまったく言及していない財務分析セクションも返してしまいました。これは、セマンティック検索が完全一致の語句検索ではなく概念的な類似性に焦点を当てているために起こります。

ハイブリッド検索戦略

解決策は、セマンティック検索と字句検索の両方を並行して実行し、結果をマージすることです。これにより両方の長所を活かせます。

ユーザーの質問は、埋め込みとベクトルデータベースを使ったセマンティック検索と、字句検索の両方に送られ、その後結果がマージされます。

  • セマンティック検索 は埋め込みを使って概念的に関連するコンテンツを見つけます
  • 字句検索 は従来のテキスト検索を使って完全一致の語句を見つけます
  • マージされた結果 は両方のアプローチを組み合わせて精度を高めます

BM25の仕組み

BM25(Best Match 25)は、RAGシステムにおける字句検索で広く使われているアルゴリズムです。検索クエリを処理する仕組みは次のとおりです。

クエリ「a INC-2023-Q4-011」に対するBM25の4つのステップを示す図。各ステップは以下で順を追って説明されています。

ステップ1:クエリをトークン化する ユーザーの質問を個々の語句に分解します。たとえば、「a INC-2023-Q4-011」は["a", "INC-2023-Q4-011"]になります。

ステップ2:語句の出現頻度を数える 各語句がすべてのドキュメント全体でどれくらいの頻度で出現するかを調べます。「a」のような一般的な単語は5回出現するかもしれない一方、「INC-2023-Q4-011」のような特定の語句は1回しか出現しないかもしれません。

ステップ3:重要度によって語句に重み付けする 出現頻度が低い語句ほど重要度スコアが高くなります。「a」は一般的な単語であるため重要度が低くなり、「INC-2023-Q4-011」は稀な語句であるため重要度が高くなります。

ステップ4:最適な一致を見つける 重み付けの高い語句をより多く含むドキュメントを返します。

基本的なBM25検索システムをセットアップする方法は次のとおりです。

python
# 1. セクションごとにテキストをチャンク化する
chunks = chunk_by_section(text)

# 2. BM25ストアを作成し、ドキュメントを追加する
store = BM25Index()
for chunk in chunks:
    store.add_document({"content": chunk})

# 3. ストアを検索する
results = store.search("What happened with INC-2023-Q4-011?", 3)

# 結果を出力
for doc, distance in results:
    print(distance, "\n", doc["content"][:200], "\n----\n")

この検索を実行すると、セマンティック検索だけの場合よりもはるかに良い結果が得られます。BM25アルゴリズムは、特にインシデントIDのような稀な語句を含め、実際に特定の検索語句を含むセクションを優先します。

BM25検索の出力で、Software Engineeringが約0.27、Cybersecurity Analysisが0.33、Methodologyが0.94とリストされています。

結果が今度は、実際に探しているインシデントIDを含むSoftware EngineeringセクションとCybersecurityセクションの両方を適切に優先していることに注目してください。

これがよりうまく機能する理由

BM25が完全一致の検索に優れているのは、次のような特性があるからです。

  • 稀で具体的な語句により高い重みを与える
  • 検索に価値を加えない一般的な単語を無視する
  • 意味よりも語句の出現頻度に焦点を当てる
  • 特に技術用語、ID、特定のフレーズに対して効果を発揮する

重要な点は、両方の検索手法が互いに補完し合う強みを持っているということです。セマンティック検索は文脈と意味を理解し、字句検索は完全一致の語句を見逃さないようにします。両者を組み合わせることで、概念的なクエリと特定の検索の両方を効果的に処理できる、より堅牢な検索システムを構築できます。

次のステップでは、両方の検索システムからの結果をマージして、統合されたハイブリッド検索体験を作成する方法を学びます。