加载中
加载中

在构建RAG(检索增强生成)管道时,您很快就会发现,仅靠语义搜索并不总能返回最佳结果。有时您需要精确的词项匹配,而语义搜索可能会遗漏这些内容。解决方案是使用一种称为BM25的技术,将语义搜索与词法搜索结合起来。

单独使用语义搜索的问题

假设您正在文档中搜索一个特定的事件ID,比如"INC-2023-Q4-011"。虽然这个精确的词项在相关章节中多次出现,但语义搜索可能会返回一些语义上相似但实际上并不包含您要查找的特定词项的无关章节。

我们想要的是网络安全和软件工程章节,但对于这个查询,得到的却是网络安全和财务分析。

之所以会这样,是因为语义搜索侧重于含义而非精确匹配。当您需要精确的词项匹配时,就需要一种不同的方法。

混合搜索策略

解决方案是并行运行两种搜索并合并结果:

关于INC-2023-Q4-011的用户问题并行经过语义搜索和词法搜索,然后合并它们的结果。

  • 语义搜索 - 使用嵌入和向量数据库进行基于含义的匹配
  • 词法搜索 - 使用经典文本搜索进行精确的词项匹配
  • 合并结果 - 结合两个结果集以获得更好的覆盖范围

BM25的工作原理

BM25(Best Match 25,最佳匹配25)是RAG管道中用于词法搜索的一种流行算法。以下是它处理搜索查询的方式:

针对"a INC-2023-Q4-011"的BM25:"a"的频率为5,重要性低;"INC-2023-Q4-011"的频率为1,重要性高。

该算法遵循以下关键步骤:

  1. 对查询进行分词 - 将用户的问题拆分为各个词项
  2. 统计词频 - 查看每个词项在所有文档中出现的频率
  3. 按稀有度对词项加权 - 使用频率较低的词项获得更高的重要性分数
  4. 找到最佳匹配 - 返回包含更多高权重词项实例的文本块

关键之处在于,像"INC-2023-Q4-011"这样的稀有词项对搜索的重要性远高于"a"或"the"这样的常见词。

以下是设置BM25搜索系统的方法:

python
# 创建一个 BM25 存储
store = BM25Index()

# 向存储中添加文档
for chunk in chunks:
    store.add_document({"content": chunk})

# 搜索存储
results = store.search("What happened with INC-2023-Q4-011?", 3)

BM25实现提供了与您的语义搜索系统相同的API——两者都具有add_document()和search()方法,这使它们可以轻松配合使用。

更好的搜索结果

当您对单独使用语义搜索失败的相同查询运行BM25时,会获得好得多的结果。BM25不会返回不相关的章节,而是会优先考虑那些实际包含您特定搜索词项的章节。

该算法能够正确识别出"INC-2023-Q4-011"是一个稀有的重要词项,并将包含它的文档排名远高于那些仅包含查询中常见词的文档。

后续步骤

既然您已经让语义搜索和词法搜索系统都能独立运行,下一步就是合并它们的结果。这种混合方法能让您同时获得两者的优势——将语义搜索的上下文理解能力与词法搜索精确词项匹配的精确性结合起来。

关于INC-2023-Q4-011的用户问题并行经过语义搜索和词法搜索,然后合并它们的结果。

这两个搜索系统使用相似的API,这使得并行查询两者并将它们的结果合并为一个更全面的结果集变得十分简单。