Wird geladen

Re-ranking der Ergebnisse

Lektion 407 Min.
Wird geladen

Der Hybrid-Retrieval-Ansatz, den wir aufgebaut haben, funktioniert gut, aber es gibt immer noch einige Unebenheiten. Wenn du nach bestimmten Begriffen suchst oder Abkürzungen verwendest, sind die Ergebnisse möglicherweise nicht perfekt geordnet. Wenn du zum Beispiel fragst „Was hat das Engineering-Team mit INC-2023-Q4-011 gemacht?“, könnte zuerst der Abschnitt zur Cybersicherheit zurückgegeben werden, obwohl der Abschnitt zur Softwareentwicklung für diese spezifische Anfrage relevanter ist.

LLM-basiertes Re-ranking

Re-ranking fügt einen weiteren Nachbearbeitungsschritt hinzu, nachdem die Ergebnisse aus deinem Vektorindex und deinem BM25-Index zusammengeführt wurden. Das Konzept ist einfach: Nimm deine Suchergebnisse und bitte Claude, sie basierend auf der Relevanz für die Frage des Nutzers neu zu ordnen.

Re-ranking-Ablauf: Die Ergebnisse von VectorIndex und BM25Index werden zusammengeführt, der Reranker fordert Claude auf, und Claude gibt eine neu geordnete Liste zurück.

So funktioniert der Prozess:

  • Führe deine Hybridsuche (Vektor + BM25) wie gewohnt durch
  • Führe die Ergebnisse wie zuvor zusammen
  • Übergib die zusammengeführten Ergebnisse an eine Re-ranker-Funktion
  • Der Re-ranker sendet alles mit einem bestimmten Prompt an Claude
  • Claude gibt eine neu geordnete Liste der relevantesten Dokumente zurück

System-Prompts

Der Re-ranking-Prompt ist so gestaltet, dass er klar und spezifisch ist. Du gibst Claude die Frage des Nutzers und alle Dokumente, die relevant erscheinen, und bittest dann um eine einfache Aufgabe: die relevantesten Dokumente in absteigender Reihenfolge der Relevanz zurückzugeben.

Eine typische Prompt-Struktur sieht so aus:

You are tasked with finding the documents most relevant to a user's question.

<user_question>
What happened with INC-2023-Q4-011?
</user_question>

Here are documents that may be relevant:
<documents>
<document>Section 10...</document>
<document>Section 2...</document>
<document>Section 7...</document>
<document>Section 6...</document>
</documents>

Return the 3 most relevant docs, in order of decreasing relevance.

Effizienzüberlegungen

Claude zu bitten, vollständige Textabschnitte zurückzugeben, wäre ineffizient – du müsstest warten, bis Claude große Textmengen kopiert. Weise stattdessen jedem Textabschnitt im Voraus eine eindeutige ID zu. Bitte Claude dann, nur diese IDs in der richtigen Reihenfolge zurückzugeben.

Dieser Ansatz ist viel schneller, da Claude nur eine einfache Liste wie ["1p5g", "51n3", "ab83"] zurückgeben muss, anstatt ganze Dokumentabschnitte zu kopieren.

Implementierung

Die Re-ranker-Funktion wird von deinem Retriever automatisch nach der anfänglichen Hybridsuche aufgerufen. Hier ist die grundlegende Struktur:

python
def reranker_fn(docs, query_text, k):
    # Dokumente mit IDs formatieren
    joined_docs = "\n".join([
        f"<document><document_id>{doc['id']}</document_id>"
        f"<document_content>{doc['content']}</document_content></document>"
        for doc in docs
    ])
    
    # Prompt mit Nutzerfrage und Dokumenten erstellen
    prompt = f"""You are about to be given a set of documents...
    {query_text}
    {joined_docs}
    """
    
    # Antwort von Claude abrufen und Dokument-IDs parsen
    result = chat(messages, stop_sequences=["```"])
    return json.loads(result["text"])["document_ids"]

Ergebnisse

Wenn du den Re-ranker mit Anfragen wie „Was hat das Engineering-Team mit INC-2023-Q4-011 gemacht?“ testest, solltest du relevantere Ergebnisse ganz oben sehen. Claude versteht den Kontext und kann erkennen, dass eine Anfrage zum Engineering-Team den Abschnitt zur Softwareentwicklung gegenüber anderen Abschnitten, die den Vorfall nur erwähnen, priorisieren sollte.

Der Kompromiss ist klar: Re-ranking erhöht die Latenz, da du auf Claudes Antwort warten musst, verbessert aber die Suchgenauigkeit deutlich, indem es Claudes Verständnis von Kontext und Relevanz nutzt.