載入中
載入中

我們建立的混合檢索方法運作得很好,但仍有一些粗糙之處。當我們搜尋「工程團隊對 INC-2023-Q4-011 做了什麼?」時,我們會預期「Software Engineering」段落應該排名較高,因為它特別提到了工程團隊和該事件。然而,Cybersecurity 段落仍然排在第一位。

這時重新排序(re-ranking)就派上用場了——這是一種後處理技術,可以顯著提高檢索準確度。

重新排序的運作方式

重新排序在您的混合搜尋流程之後增加了一個額外步驟。與其僅僅返回向量索引和 BM25 索引的合併結果,您會將這些結果傳遞給一個 LLM 進行智慧重新排序。

重新排序流程:VectorIndex 和 BM25Index 的結果合併,重新排序器向 Claude 提示,Claude 返回重新排序後的列表。

這個過程很直接:

  • 執行您現有的混合搜尋(向量 + BM25)
  • 如以往一樣合併結果
  • 將合併後的結果連同重新排序提示一起傳送給 Claude
  • 取回按相關性排序的重新排序文件列表

重新排序提示

提示結構簡單但有效。您向 Claude 提供使用者的問題和所有候選文件,然後要求它按相關性遞減的順序返回最相關的文件。

You are about to be given a set of documents, along with an id of each.
Your task is to select the {k} most relevant documents to answer the user's question.

Here is the user's question:
<question>
{query_text}
</question>

Here are the documents to select from:
<documents>
{joined_docs}
</documents>

Respond in the following format:
```json
{
  "document_ids": str[] # List document ids, {k} elements long, sorted in order of decreasing relevance
}
```

效率考量

一個關鍵的最佳化是使用文件 ID,而不是要求 Claude 返回完整的文字區塊。如果您要求 Claude 返回每個相關文件的完整文字,您將會浪費時間等待它複製大量文字。

標記為「ab84」、「51n3」和「1p5g」的文件傳送給 Claude,Claude 返回列表「1p5g」、「51n3」、「ab83」。

相反,請預先為每個文字區塊指定一個唯一的 ID,然後要求 Claude 僅按偏好順序返回這些 ID。這使得重新排序過程快得多,同時仍然提供您所需要的重新排序結果。

實作

重新排序器函式會在您的初始混合搜尋完成後自動被呼叫。以下是基本結構:

python
def reranker_fn(docs, query_text, k):
    joined_docs = "\n".join([
        f"""
        <document>
        <document_id>{doc["id"]}</document_id>
        <document_content>{doc["content"]}</document_content>
        </document>
        """
        for doc in docs
    ])
    
    # 建立包含使用者問題與文件的提示
    # 以 JSON 回應格式傳送給 Claude
    # 解析並回傳重新排序的文件 ID

您可以透過將重新排序器函式作為參數傳遞,將其整合到您的檢索器中:

python
retriever = Retriever(bm25_index, vector_index, reranker_fn=reranker_fn)

結果

重新排序方法顯示出明顯的改善。在測試查詢「工程團隊對 INC-2023-Q4-011 做了什麼?」時,「Software Engineering」段落現在正確地排在第一位,領先於 Cybersecurity 段落。Claude 成功識別出使用者特別詢問的是工程團隊參與該事件的情況。

權衡取捨

重新排序需要考慮一些權衡:

  • 延遲增加: 您現在需要等待額外的 LLM 呼叫完成
  • 準確度提升: LLM 可以比純粹的相似度分數更能理解上下文和意圖
  • 成本考量: 每次搜尋現在都需要一次 LLM API 呼叫

對於許多應用程式而言,準確度的提升足以證明額外延遲和成本是值得的,特別是當精確檢索對您的使用情境至關重要時。