載入中
載入中

在建構 RAG 管線時,您很快就會發現,僅靠語意搜尋並不總是能返回最佳結果。有時您需要精確的詞彙匹配,而語意搜尋可能會遺漏這些匹配。解決方案是使用一種稱為 BM25 的技術,將語意搜尋與詞彙搜尋結合起來。

僅靠語意搜尋的問題

假設您正在文件中搜尋一個特定的事件 ID,例如「INC-2023-Q4-011」。雖然這個精確詞彙在相關章節中多次出現,但語意搜尋可能會返回一些在語意上相似、但實際上不包含您要尋找的特定詞彙的無關章節。

我們想要的是 Cybersecurity 和 Software Engineering 章節,但此查詢卻得到了 Cybersecurity 和 Financial Analysis。

發生這種情況的原因是語意搜尋著重於意義,而非精確匹配。當您需要精確的詞彙匹配時,就需要採用不同的方法。

混合搜尋策略

解決方案是並行執行兩種搜尋並合併結果:

關於 INC-2023-Q4-011 的使用者問題同時經過語意搜尋和詞彙搜尋,然後將它們的結果合併。

  • 語意搜尋 - 使用嵌入向量和向量資料庫進行基於意義的匹配
  • 詞彙搜尋 - 使用傳統文字搜尋進行精確詞彙匹配
  • 合併結果 - 結合兩個結果集以獲得更好的覆蓋率

BM25 的運作方式

BM25(Best Match 25)是 RAG 管線中用於詞彙搜尋的一種熱門演算法。以下是它處理搜尋查詢的方式:

針對「a INC-2023-Q4-011」的 BM25:「a」的頻率為 5,重要性低;「INC-2023-Q4-011」的頻率為 1,重要性高。

該演算法遵循以下關鍵步驟:

  1. 將查詢詞元化 - 將使用者的問題拆解成個別詞彙
  2. 計算詞頻 - 查看每個詞彙在所有文件中出現的頻率
  3. 依稀有度為詞彙加權 - 使用頻率較低的詞彙會獲得較高的重要性分數
  4. 找出最佳匹配 - 返回包含較多高權重詞彙的區塊

關鍵的洞見是,像「INC-2023-Q4-011」這樣的稀有詞彙,對搜尋而言遠比「a」或「the」這類常見字詞更為重要。

以下說明如何建置 BM25 搜尋系統:

python
# 建立 BM25 儲存區
store = BM25Index()

# 將文件加入儲存區
for chunk in chunks:
    store.add_document({"content": chunk})

# 搜尋儲存區
results = store.search("What happened with INC-2023-Q4-011?", 3)

BM25 的實作提供了與您的語意搜尋系統相同的 API——兩者都有 add_document() 和 search() 方法,使它們能夠輕鬆地搭配使用。

更好的搜尋結果

當您對同一個在僅使用語意搜尋時失敗的查詢執行 BM25 時,會獲得好得多的結果。BM25 不會返回不相關的章節,而是會優先列出實際包含您特定搜尋詞彙的章節。

該演算法能正確辨識出「INC-2023-Q4-011」是一個稀有且重要的詞彙,並將包含此詞彙的文件排名大幅高於僅包含查詢中常見字詞的文件。

後續步驟

現在您已經讓語意搜尋和詞彙搜尋系統各自獨立運作,下一步就是合併它們的結果。這種混合方法讓您兼得兩者之長——結合語意搜尋的語境理解能力,以及詞彙搜尋精確詞彙匹配的精準度。

關於 INC-2023-Q4-011 的使用者問題同時經過語意搜尋和詞彙搜尋,然後將它們的結果合併。

兩個搜尋系統使用類似的 API,讓您能夠輕鬆地並行查詢兩者,並將它們的結果合併成一個更全面的單一結果集。