載入中
載入中

在建構 RAG 管線時,您很快就會發現單靠語意搜尋並不總能返回最佳結果。有時您需要的是語意搜尋可能會遺漏的精確詞彙比對。解決方案是使用一種稱為 BM25 的技術,將語意搜尋與詞彙搜尋結合起來。

單靠語意搜尋的問題

假設您正在文件中搜尋一個特定的事故編號,例如「INC-2023-Q4-011」。雖然語意搜尋擅長理解上下文和含義,但它可能會返回一些在語意上相關、但實際上並不包含您要查找的確切詞彙的區段。

使用者問題同時送往語意搜尋(使用嵌入和向量資料庫)和詞彙搜尋,然後結果合併。

在上面的範例中,語意搜尋返回了網路安全區段(確實包含該事故編號),但也返回了一個完全沒有提及該事故的財務分析區段。這是因為語意搜尋著重於概念上的相似性,而非精確的詞彙比對。

混合搜尋策略

解決方案是並行執行語意搜尋和詞彙搜尋,然後合併結果。這讓您同時擁有兩者的優勢:

使用者問題同時送往語意搜尋(使用嵌入和向量資料庫)和詞彙搜尋,然後結果合併。

  • 語意搜尋 使用嵌入來尋找概念上相關的內容
  • 詞彙搜尋 使用傳統文字搜尋來尋找精確的詞彙比對
  • 合併結果 結合兩種方法以獲得更好的準確度

BM25 的運作方式

BM25(Best Match 25)是 RAG 系統中一種常用的詞彙搜尋演算法。以下是它處理搜尋查詢的方式:

BM25 四個步驟的示意圖,針對查詢「a INC-2023-Q4-011」,下方逐步說明。

步驟 1:將查詢分詞 將使用者的問題拆分成個別的詞彙。例如,「a INC-2023-Q4-011」會變成 ["a", "INC-2023-Q4-011"]。

步驟 2:計算詞頻 查看每個詞彙在您所有文件中出現的頻率。像「a」這樣的常見字可能出現 5 次,而像「INC-2023-Q4-011」這樣的特定詞彙可能只出現一次。

步驟 3:依重要性為詞彙加權 出現頻率較低的詞彙會獲得較高的重要性分數。「a」這個字因為很常見而獲得較低的重要性,而「INC-2023-Q4-011」則因為罕見而獲得較高的重要性。

步驟 4:找出最佳匹配 返回包含較多高權重詞彙實例的文件。

以下是如何建立一個基本的 BM25 搜尋系統:

python
# 1. 依段落分割文字
chunks = chunk_by_section(text)

# 2. 建立 BM25 儲存庫並加入文件
store = BM25Index()
for chunk in chunks:
    store.add_document({"content": chunk})

# 3. 搜尋儲存庫
results = store.search("What happened with INC-2023-Q4-011?", 3)

# 輸出結果
for doc, distance in results:
    print(distance, "\n", doc["content"][:200], "\n----\n")

當您執行此搜尋時,您會獲得比單靠語意搜尋好得多的結果。BM25 演算法會優先考慮真正包含您特定搜尋詞彙的區段,尤其是像事故編號這類罕見的詞彙。

BM25 搜尋輸出列出軟體工程約為 0.27、網路安全分析為 0.33,以及方法論為 0.94。

請注意,現在結果已正確地優先考慮軟體工程區段和網路安全區段——這兩者都確實包含您要搜尋的事故編號。

為什麼這種方法效果更好

BM25 之所以擅長找出精確匹配,是因為它:

  • 給予罕見、特定詞彙較高的權重
  • 忽略不會增加搜尋價值的常見字
  • 著重於詞頻而非語意含義
  • 對技術術語、編號和特定片語特別有效

關鍵的洞見在於,這兩種搜尋方法具有互補的優勢。語意搜尋能理解上下文和含義,而詞彙搜尋則能確保您不會遺漏精確的詞彙比對。透過結合兩者,您可以建立一個更強健的搜尋系統,有效處理概念性查詢和特定查找這兩種情況。

在下一步中,您將學習如何合併這兩種搜尋系統的結果,以建立一個統一的混合搜尋體驗。