加载中
加载中

当您同时拥有语义搜索(向量嵌入)和词法搜索(BM25)并分别独立运行后,下一步就是将它们整合到一个统一的搜索管道中。这种混合方法结合了两种方法的优势,从而提供更准确的结果。

关于 INC-2023-Q4-011 的用户问题并行经过语义搜索和词法搜索,然后结果合并。

构建统一接口

两种搜索实现共享几乎相同的 API——它们都具有 add_document() 和 search() 方法。这种一致性使得将它们封装到一个统一协调两种方法的 Retriever 类中变得非常简单。

VectorIndex 和 BM25Index 各自都有 add_document,用于添加一个文本块,以及 "search",用于返回文本块和分数。

Retriever 充当协调者,它会:

  • 接收用户的问题
  • 将其转发给 VectorIndex 和 BM25Index
  • 收集两个系统的结果
  • 使用排序算法合并结果

Retriever 的示意图:用户问题同时发送给 VectorIndex 和 BM25Index,它们的结果随后被合并。

倒数排名融合(Reciprocal Rank Fusion)

挑战在于如何合并来自不同搜索方法的结果。每个系统返回的结果使用不同的评分机制,因此不能直接简单地合并分数。为此,我们使用一种称为倒数排名融合(Reciprocal Rank Fusion,RRF)的技术。

下方示例中 VectorIndex 和 BM25Index 的结果表,每个都有一个分数列,例如排名 1 的分数分别为 0.234 和 0.184。

下面通过一个实际示例来说明 RRF 的工作原理。假设您的 VectorIndex 返回的结果排序为:第 2 节、第 7 节、第 6 节。与此同时,您的 BM25Index 返回的结果为:第 6 节、第 2 节、第 7 节。

将 VectorIndex 和 BM25Index 的排序结果合并为一张表,展示每个文本块在两个索引中的排名。

要合并这些结果,您需要创建一个合并表,展示每个文本块在两个系统中的排名:

展示各个章节在向量搜索和 BM25 中的排名及其 RRF 分数的表格,注明分数越高表示文本块越相关。

RRF 公式为每个文档计算一个分数:

RRF_score(d) = Σ(1 / (k + rank_i(d)))

其中 k 是一个常数(通常为 60,不过使用 1 也能得到更清晰的结果),rank_i(d) 是文档 d 在第 i 个排序系统中的排名。

倒数排名融合公式以及三个章节的向量排名、BM25 排名及分数的表格,分数越高表示越相关。

对于每个文本块,您需要计算:

  • 第 2 节:1.0/(1+1) + 1.0/(1+2) = 0.833
  • 第 7 节:1.0/(1+2) + 1.0/(1+3) = 0.583
  • 第 6 节:1.0/(1+3) + 1.0/(1+1) = 0.75

按分数排序后,最终排名为:第 2 节(第一),第 6 节(第二),第 7 节(第三)。

展示每个文本块的向量排名、BM25 排名、分数以及最终排名的表格,分数越高表示越相关。

实现

Retriever 类的实现非常简单:

python
class Retriever:
    def __init__(self, *indexes):
        self._indexes = list(indexes)
    
    def add_document(self, document):
        for index in self._indexes:
            index.add_document(document)
    
    def search(self, query_text, k=1, k_rrf=60):
        # 从所有索引中获取结果
        all_results = []
        for idx, results in enumerate(all_results):
            for rank, (doc, _) in enumerate(results):
                # 跨系统跟踪文档排名
                # 应用 RRF 公式
                # 返回合并并排序后的结果

笔记本中的 Retriever 类,针对没有索引、非字符串查询文本、非正数 k 以及负数 k_rrf 会抛出错误。

其中的关键洞见在于,RRF 算法通过考虑每个文档在所有搜索系统中的整体表现来创建统一的排名,而不是依赖任何单一的评分方法。

测试混合方法

在使用类似"INC-2023-Q4-011 发生了什么?"这样的查询进行测试时,混合方法所提供的结果明显优于任何单一方法。您现在不会再从纯向量搜索中得到出乎意料的结果,而是首先得到最相关的网络安全事件报告,其后跟随相关的软件工程内容。

笔记本输出:第 10 节《网络安全分析》得分约为 0.0325,第 2 节约为 0.0320,第 5 节约为 0.0308。

可扩展性

这种设计的精妙之处在于其模块化。由于每个搜索索引都实现了相同的接口(add_document() 和 search()),您可以轻松地向系统中添加新的搜索方法。无论是不同的嵌入模型、专门的领域搜索,还是其他任何检索技术,只要遵循既定的 API,就能无缝集成到混合管道中。

Retriever 将问题发送给 VectorIndex、BM25Index 以及第三个标记为 ???Index 的框,然后合并两组结果。

这种混合搜索方法通过将向量搜索的语义理解与词法搜索的精确关键词匹配相结合,并通过数学上严谨的 RRF 排序算法统一起来,在检索准确性方面实现了显著提升。