在建構 RAG 管線時,您很快就會發現單靠語意搜尋並不總能返回最佳結果。有時您需要的是語意搜尋可能會遺漏的精確詞彙比對。解決方案是使用一種稱為 BM25 的技術,將語意搜尋與詞彙搜尋結合起來。
單靠語意搜尋的問題
假設您正在文件中搜尋一個特定的事故編號,例如「INC-2023-Q4-011」。雖然語意搜尋擅長理解上下文和含義,但它可能會返回一些在語意上相關、但實際上並不包含您要查找的確切詞彙的區段。

在上面的範例中,語意搜尋返回了網路安全區段(確實包含該事故編號),但也返回了一個完全沒有提及該事故的財務分析區段。這是因為語意搜尋著重於概念上的相似性,而非精確的詞彙比對。
混合搜尋策略
解決方案是並行執行語意搜尋和詞彙搜尋,然後合併結果。這讓您同時擁有兩者的優勢:

- 語意搜尋 使用嵌入來尋找概念上相關的內容
- 詞彙搜尋 使用傳統文字搜尋來尋找精確的詞彙比對
- 合併結果 結合兩種方法以獲得更好的準確度
BM25 的運作方式
BM25(Best Match 25)是 RAG 系統中一種常用的詞彙搜尋演算法。以下是它處理搜尋查詢的方式:

步驟 1:將查詢分詞 將使用者的問題拆分成個別的詞彙。例如,「a INC-2023-Q4-011」會變成 ["a", "INC-2023-Q4-011"]。
步驟 2:計算詞頻 查看每個詞彙在您所有文件中出現的頻率。像「a」這樣的常見字可能出現 5 次,而像「INC-2023-Q4-011」這樣的特定詞彙可能只出現一次。
步驟 3:依重要性為詞彙加權 出現頻率較低的詞彙會獲得較高的重要性分數。「a」這個字因為很常見而獲得較低的重要性,而「INC-2023-Q4-011」則因為罕見而獲得較高的重要性。
步驟 4:找出最佳匹配 返回包含較多高權重詞彙實例的文件。
實作 BM25 搜尋
以下是如何建立一個基本的 BM25 搜尋系統:
# 1. 依段落分割文字
chunks = chunk_by_section(text)
# 2. 建立 BM25 儲存庫並加入文件
store = BM25Index()
for chunk in chunks:
store.add_document({"content": chunk})
# 3. 搜尋儲存庫
results = store.search("What happened with INC-2023-Q4-011?", 3)
# 輸出結果
for doc, distance in results:
print(distance, "\n", doc["content"][:200], "\n----\n")當您執行此搜尋時,您會獲得比單靠語意搜尋好得多的結果。BM25 演算法會優先考慮真正包含您特定搜尋詞彙的區段,尤其是像事故編號這類罕見的詞彙。

請注意,現在結果已正確地優先考慮軟體工程區段和網路安全區段——這兩者都確實包含您要搜尋的事故編號。
為什麼這種方法效果更好
BM25 之所以擅長找出精確匹配,是因為它:
- 給予罕見、特定詞彙較高的權重
- 忽略不會增加搜尋價值的常見字
- 著重於詞頻而非語意含義
- 對技術術語、編號和特定片語特別有效
關鍵的洞見在於,這兩種搜尋方法具有互補的優勢。語意搜尋能理解上下文和含義,而詞彙搜尋則能確保您不會遺漏精確的詞彙比對。透過結合兩者,您可以建立一個更強健的搜尋系統,有效處理概念性查詢和特定查找這兩種情況。
在下一步中,您將學習如何合併這兩種搜尋系統的結果,以建立一個統一的混合搜尋體驗。