Wird geladen

Re-Ranking der Ergebnisse

Lektion 4110 Min.
Wird geladen

Der von uns entwickelte hybride Retrieval-Ansatz funktioniert gut, hat aber noch einige Unschärfen. Wenn wir nach „was hat das Engineering-Team mit INC-2023-Q4-011 gemacht?“ suchen, würden wir erwarten, dass der Abschnitt Software Engineering höher eingestuft wird, da er das Engineering-Team und den Vorfall ausdrücklich erwähnt. Der Abschnitt Cybersecurity steht jedoch immer noch an erster Stelle.

Hier kommt Re-Ranking ins Spiel – eine Nachbearbeitungstechnik, die die Genauigkeit des Retrievals deutlich verbessern kann.

So funktioniert Re-Ranking

Re-Ranking fügt einen zusätzlichen Schritt nach deinem hybriden Suchprozess hinzu. Anstatt einfach die zusammengeführten Ergebnisse aus deinem Vektor- und BM25-Index zurückzugeben, leitest du diese Ergebnisse durch ein LLM, um sie intelligent neu anzuordnen.

Re-Ranking-Ablauf: Die Ergebnisse von VectorIndex und BM25Index werden zusammengeführt, der Reranker sendet einen Prompt an Claude, und Claude gibt eine neu geordnete Liste zurück.

Der Prozess ist unkompliziert:

  • Führe deine bestehende Hybridsuche aus (Vektor + BM25)
  • Führe die Ergebnisse wie zuvor zusammen
  • Sende die zusammengeführten Ergebnisse mit einem Re-Ranking-Prompt an Claude
  • Erhalte eine neu geordnete Liste der relevantesten Dokumente zurück

Der Re-Ranking-Prompt

Die Prompt-Struktur ist einfach, aber effektiv. Du gibst Claude die Frage des Nutzers und alle Kandidatendokumente und bittest es anschließend, die relevantesten in absteigender Reihenfolge der Relevanz zurückzugeben.

You are about to be given a set of documents, along with an id of each.
Your task is to select the {k} most relevant documents to answer the user's question.

Here is the user's question:
<question>
{query_text}
</question>

Here are the documents to select from:
<documents>
{joined_docs}
</documents>

Respond in the following format:
```json
{
  "document_ids": str[] # List document ids, {k} elements long, sorted in order of decreasing relevance
}
```

Überlegungen zur Effizienz

Eine wichtige Optimierung besteht darin, Dokument-IDs zu verwenden, anstatt Claude zu bitten, vollständige Textabschnitte zurückzugeben. Wenn du Claude bitten würdest, den vollständigen Text jedes relevanten Dokuments zurückzugeben, würdest du Zeit damit verschwenden, darauf zu warten, dass es große Textmengen kopiert.

Dokumente mit den IDs „ab84“, „51n3“ und „1p5g“ gehen an Claude, das die Liste „1p5g“, „51n3“, „ab83“ zurückgibt.

Weise stattdessen jedem Textabschnitt im Voraus eine eindeutige ID zu und bitte Claude dann, nur diese IDs in der bevorzugten Reihenfolge zurückzugeben. Dadurch wird der Re-Ranking-Prozess deutlich schneller, während du dennoch die benötigten neu geordneten Ergebnisse erhältst.

Implementierung

Die Re-Ranker-Funktion wird automatisch aufgerufen, nachdem deine anfängliche Hybridsuche abgeschlossen ist. Hier ist die grundlegende Struktur:

python
def reranker_fn(docs, query_text, k):
    joined_docs = "\n".join([
        f"""
        <document>
        <document_id>{doc["id"]}</document_id>
        <document_content>{doc["content"]}</document_content>
        </document>
        """
        for doc in docs
    ])
    
    # Prompt mit Nutzerfrage und Dokumenten erstellen
    # An Claude mit JSON-Antwortformat senden
    # Neu sortierte Dokument-IDs parsen und zurückgeben

Du kannst dies in deinen Retriever integrieren, indem du die Re-Ranker-Funktion als Parameter übergibst:

python
retriever = Retriever(bm25_index, vector_index, reranker_fn=reranker_fn)

Ergebnisse

Der Re-Ranking-Ansatz zeigt deutliche Verbesserungen. Beim Testen der Anfrage „was hat das Engineering-Team mit INC-2023-Q4-011 gemacht?“ erscheint der Abschnitt Software Engineering nun korrekt an erster Stelle, noch vor dem Abschnitt Cybersecurity. Claude hat erfolgreich erkannt, dass der Nutzer gezielt nach der Beteiligung des Engineering-Teams an dem Vorfall gefragt hat.

Kompromisse

Re-Ranking bringt Kompromisse mit sich, die du berücksichtigen solltest:

  • Erhöhte Latenz: Du musst jetzt warten, bis ein zusätzlicher LLM-Aufruf abgeschlossen ist
  • Verbesserte Genauigkeit: Das LLM kann Kontext und Absicht besser verstehen als reine Ähnlichkeitswerte
  • Kostenüberlegungen: Jede Suche erfordert jetzt einen LLM-API-Aufruf

Für viele Anwendungen rechtfertigt die Verbesserung der Genauigkeit die zusätzliche Latenz und Kosten, insbesondere wenn präzises Retrieval für deinen Anwendungsfall entscheidend ist.