在构建 RAG 流水线时,您会很快发现,仅靠语义搜索并不总能返回最佳结果。有时您需要精确的词项匹配,而语义搜索可能会遗漏这些匹配。解决方案是使用一种称为 BM25 的技术,将语义搜索与词法搜索结合起来。
仅靠语义搜索存在的问题
假设您正在文档中搜索一个特定的事件 ID,例如"INC-2023-Q4-011"。虽然语义搜索擅长理解上下文和含义,但它可能会返回那些语义相关但实际上并不包含您要查找的确切词项的章节。

在上面的示例中,语义搜索返回了网络安全部分(确实包含该事件 ID),但也返回了一个完全没有提到该事件的财务分析部分。这是因为语义搜索侧重于概念上的相似性,而不是精确的词项匹配。
混合搜索策略
解决方案是并行运行语义搜索和词法搜索,然后合并结果。这样您就能获得两者的优势:

- 语义搜索使用嵌入查找概念上相关的内容
- 词法搜索使用经典的文本搜索查找精确的词项匹配
- 合并结果结合两种方法以获得更好的准确性
BM25 的工作原理
BM25(Best Match 25)是 RAG 系统中一种常用的词法搜索算法。以下是它处理搜索查询的方式:

步骤 1:对查询进行分词 将用户的问题拆分成单独的词项。例如,"a INC-2023-Q4-011" 会变成 ["a", "INC-2023-Q4-011"]。
步骤 2:统计词项频率 查看每个词项在您所有文档中出现的频率。像"a"这样的常见词可能出现 5 次,而像"INC-2023-Q4-011"这样的特定词项可能只出现一次。
步骤 3:按重要性对词项加权 出现频率较低的词项会获得更高的重要性分数。"a"一词因为很常见而获得较低的重要性,而"INC-2023-Q4-011"因为罕见而获得较高的重要性。
步骤 4:找出最佳匹配 返回包含更多高权重词项实例的文档。
实现 BM25 搜索
以下是设置基本 BM25 搜索系统的方法:
# 1. 按章节对文本进行分块
chunks = chunk_by_section(text)
# 2. 创建 BM25 存储并添加文档
store = BM25Index()
for chunk in chunks:
store.add_document({"content": chunk})
# 3. 搜索存储
results = store.search("What happened with INC-2023-Q4-011?", 3)
# 打印结果
for doc, distance in results:
print(distance, "\n", doc["content"][:200], "\n----\n")当您运行此搜索时,您会得到比单纯语义搜索好得多的结果。BM25 算法会优先考虑那些实际包含您特定搜索词项的章节,尤其是像事件 ID 这样的稀有词项。

请注意,现在结果已经正确地优先显示了软件工程部分和网络安全部分——这两部分都确实包含您正在搜索的事件 ID。
为什么这种方法效果更好
BM25 之所以擅长找到精确匹配,是因为它:
- 赋予罕见、特定的词项更高的权重
- 忽略不增加搜索价值的常见词
- 侧重于词项频率而非语义含义
- 在技术术语、ID 和特定短语方面表现尤为出色
关键的洞见在于,这两种搜索方法具有互补的优势。语义搜索理解上下文和含义,而词法搜索确保您不会遗漏精确的词项匹配。通过将两者结合,您可以构建一个更强大的搜索系统,有效处理概念性查询和特定查找。
在下一步中,您将学习如何合并来自这两种搜索系统的结果,以创建统一的混合搜索体验。