加载中
加载中

我们构建的混合检索方法效果不错,但仍有一些粗糙之处。当您搜索特定术语或使用缩写时,结果可能不会被完美排序。例如,询问"工程团队对 INC-2023-Q4-011 做了什么?"可能会首先返回网络安全部分,尽管软件工程部分与该特定查询更相关。

基于 LLM 的重排序

重排序在合并向量索引和 BM25 索引的结果之后,又增加了一个后处理步骤。其理念很直接:获取您的搜索结果,并要求 Claude 根据与用户问题的相关性对它们重新排序。

重排序流程:VectorIndex 和 BM25Index 的结果合并后,重排序器向 Claude 发出提示,Claude 返回重新排序的列表。

该过程的工作方式如下:

  • 照常运行您的混合搜索(向量 + BM25)
  • 像之前一样合并结果
  • 将合并后的结果传递给重排序器函数
  • 重排序器将所有内容连同特定提示一起发送给 Claude
  • Claude 返回按相关性排序后的文档列表

系统提示

重排序提示被设计得清晰而具体。您向 Claude 提供用户的问题以及所有看起来相关的文档,然后要求完成一个简单的任务:按相关性递减的顺序返回最相关的文档。

典型的提示结构如下所示:

You are tasked with finding the documents most relevant to a user's question.

<user_question>
What happened with INC-2023-Q4-011?
</user_question>

Here are documents that may be relevant:
<documents>
<document>Section 10...</document>
<document>Section 2...</document>
<document>Section 7...</document>
<document>Section 6...</document>
</documents>

Return the 3 most relevant docs, in order of decreasing relevance.

效率考量

要求 Claude 返回完整的文本块会效率低下——您得等待 Claude 复制大量文本。相反,应提前为每个文本块分配一个唯一 ID。然后要求 Claude 仅按正确顺序返回这些 ID。

这种方法要快得多,因为 Claude 只需返回一个简单的列表,如 ["1p5g", "51n3", "ab83"],而无需复制整个文档部分。

实现

重排序器函数会在初始混合搜索之后由您的检索器自动调用。基本结构如下:

python
def reranker_fn(docs, query_text, k):
    # 格式化带有 ID 的文档
    joined_docs = "\n".join([
        f"<document><document_id>{doc['id']}</document_id>"
        f"<document_content>{doc['content']}</document_content></document>"
        for doc in docs
    ])
    
    # 创建包含用户问题和文档的提示
    prompt = f"""You are about to be given a set of documents...
    {query_text}
    {joined_docs}
    """
    
    # 获取 Claude 的响应并解析文档 ID
    result = chat(messages, stop_sequences=["```"])
    return json.loads(result["text"])["document_ids"]

结果

当您使用诸如"工程团队对 INC-2023-Q4-011 做了什么?"之类的查询测试重排序器时,您应该会在顶部看到更相关的结果。Claude 能理解上下文,并能识别出一个关于工程团队的查询应该优先考虑软件工程部分,而不是其他仅仅提到该事件的部分。

这种取舍很明显:重排序会增加延迟,因为您需要等待 Claude 的响应,但它通过利用 Claude 对上下文和相关性的理解,显著提高了搜索准确性。