加载中
我们构建的混合检索方法效果不错,但仍有一些粗糙之处。当您搜索特定术语或使用缩写时,结果可能不会被完美排序。例如,询问"工程团队对 INC-2023-Q4-011 做了什么?"可能会首先返回网络安全部分,尽管软件工程部分与该特定查询更相关。
基于 LLM 的重排序
重排序在合并向量索引和 BM25 索引的结果之后,又增加了一个后处理步骤。其理念很直接:获取您的搜索结果,并要求 Claude 根据与用户问题的相关性对它们重新排序。

该过程的工作方式如下:
- 照常运行您的混合搜索(向量 + BM25)
- 像之前一样合并结果
- 将合并后的结果传递给重排序器函数
- 重排序器将所有内容连同特定提示一起发送给 Claude
- Claude 返回按相关性排序后的文档列表
系统提示
重排序提示被设计得清晰而具体。您向 Claude 提供用户的问题以及所有看起来相关的文档,然后要求完成一个简单的任务:按相关性递减的顺序返回最相关的文档。
典型的提示结构如下所示:
You are tasked with finding the documents most relevant to a user's question.
<user_question>
What happened with INC-2023-Q4-011?
</user_question>
Here are documents that may be relevant:
<documents>
<document>Section 10...</document>
<document>Section 2...</document>
<document>Section 7...</document>
<document>Section 6...</document>
</documents>
Return the 3 most relevant docs, in order of decreasing relevance.效率考量
要求 Claude 返回完整的文本块会效率低下——您得等待 Claude 复制大量文本。相反,应提前为每个文本块分配一个唯一 ID。然后要求 Claude 仅按正确顺序返回这些 ID。
这种方法要快得多,因为 Claude 只需返回一个简单的列表,如 ["1p5g", "51n3", "ab83"],而无需复制整个文档部分。
实现
重排序器函数会在初始混合搜索之后由您的检索器自动调用。基本结构如下:
python
def reranker_fn(docs, query_text, k):
# 格式化带有 ID 的文档
joined_docs = "\n".join([
f"<document><document_id>{doc['id']}</document_id>"
f"<document_content>{doc['content']}</document_content></document>"
for doc in docs
])
# 创建包含用户问题和文档的提示
prompt = f"""You are about to be given a set of documents...
{query_text}
{joined_docs}
"""
# 获取 Claude 的响应并解析文档 ID
result = chat(messages, stop_sequences=["```"])
return json.loads(result["text"])["document_ids"]结果
当您使用诸如"工程团队对 INC-2023-Q4-011 做了什么?"之类的查询测试重排序器时,您应该会在顶部看到更相关的结果。Claude 能理解上下文,并能识别出一个关于工程团队的查询应该优先考虑软件工程部分,而不是其他仅仅提到该事件的部分。
这种取舍很明显:重排序会增加延迟,因为您需要等待 Claude 的响应,但它通过利用 Claude 对上下文和相关性的理解,显著提高了搜索准确性。