Wird geladen

Eine Multi-Search-RAG-Pipeline

Lektion 397 Min.
Wird geladen

Wenn du sowohl semantische Suche (Vektor-Embeddings) als auch lexikalische Suche (BM25) unabhängig voneinander zum Laufen gebracht hast, besteht der nächste Schritt darin, sie zu einer einheitlichen Suchpipeline zu kombinieren. Dieser hybride Ansatz nutzt die Stärken beider Methoden, um genauere Ergebnisse zu liefern.

Die Nutzerfrage zu INC-2023-Q4-011 durchläuft parallel die semantische und die lexikalische Suche, anschließend werden ihre Ergebnisse zusammengeführt.

Aufbau einer einheitlichen Schnittstelle

Beide Suchimplementierungen teilen sich nahezu identische APIs - sie verfügen beide über die Methoden add_document() und search(). Diese Konsistenz macht es einfach, sie in einer einzigen Retriever-Klasse zu kapseln, die zwischen den beiden Ansätzen koordiniert.

VectorIndex und BM25Index verfügen jeweils über add_document, das einen Textabschnitt hinzufügt, und „search“, das Abschnitte und Scores zurückgibt.

Der Retriever fungiert als Koordinator, der:

  • Die Frage eines Nutzers entgegennimmt
  • Sie sowohl an den VectorIndex als auch an den BM25Index weiterleitet
  • Ergebnisse von beiden Systemen sammelt
  • Die Ergebnisse mithilfe eines Ranking-Algorithmus zusammenführt

Diagramm des Retrievers: Eine Nutzerfrage geht sowohl an den VectorIndex als auch an den BM25Index, deren Ergebnisse zusammengeführt werden.

Reciprocal Rank Fusion

Die Herausforderung liegt im Zusammenführen von Ergebnissen aus unterschiedlichen Suchmethoden. Jedes System liefert Ergebnisse mit unterschiedlichen Bewertungsmechanismen, sodass du Scores nicht einfach direkt kombinieren kannst. Stattdessen verwenden wir eine Technik namens Reciprocal Rank Fusion (RRF).

VectorIndex- und BM25Index-Ergebnistabellen für das untenstehende Beispiel, jeweils mit einer Score-Spalte, etwa 0,234 und 0,184 bei Rang 1.

So funktioniert RRF anhand eines praktischen Beispiels. Angenommen, dein VectorIndex liefert Ergebnisse in folgender Rangfolge: Abschnitt 2, Abschnitt 7, Abschnitt 6. Dein BM25Index hingegen liefert: Abschnitt 6, Abschnitt 2, Abschnitt 7.

Die gerankten Ergebnisse von VectorIndex und BM25Index, zusammengeführt in einer Tabelle mit dem Rang jedes Textabschnitts aus beiden Indizes.

Um diese Ergebnisse zusammenzuführen, erstellst du eine kombinierte Tabelle, die den Rang jedes Textabschnitts aus beiden Systemen zeigt:

Tabelle der Ränge jedes Abschnitts aus Vektor- und BM25-Suche mit dem jeweiligen RRF-Score, wobei ein höherer Score einen relevanteren Abschnitt bedeutet.

Die RRF-Formel berechnet einen Score für jedes Dokument:

RRF_score(d) = Σ(1 / (k + rank_i(d)))

Dabei ist k eine Konstante (typischerweise 60, wobei 1 für klarere Ergebnisse gut funktioniert) und rank_i(d) der Rang des Dokuments d im i-ten Ranking-System.

Formel der Reciprocal Rank Fusion sowie eine Tabelle der Vektor- und BM25-Ränge und Scores von drei Abschnitten, wobei höher relevanter bedeutet.

Für jeden Textabschnitt berechnest du:

  • Abschnitt 2: 1,0/(1+1) + 1,0/(1+2) = 0,833
  • Abschnitt 7: 1,0/(1+2) + 1,0/(1+3) = 0,583
  • Abschnitt 6: 1,0/(1+3) + 1,0/(1+1) = 0,75

Nach dem Sortieren nach Score ergibt sich folgende Endrangfolge: Abschnitt 2 (erster Platz), Abschnitt 6 (zweiter Platz), Abschnitt 7 (dritter Platz).

Tabelle mit Rang jedes Textabschnitts aus Vektor- und BM25-Suche, Score und Endrang, wobei ein höherer Score relevanter ist.

Implementierung

Die Implementierung der Retriever-Klasse ist unkompliziert:

python
class Retriever:
    def __init__(self, *indexes):
        self._indexes = list(indexes)
    
    def add_document(self, document):
        for index in self._indexes:
            index.add_document(document)
    
    def search(self, query_text, k=1, k_rrf=60):
        # Ergebnisse aus allen Indizes abrufen
        all_results = []
        for idx, results in enumerate(all_results):
            for rank, (doc, _) in enumerate(results):
                # Dokument-Ränge systemübergreifend verfolgen
                # RRF-Formel anwenden
                # Zusammengeführte, sortierte Ergebnisse zurückgeben

Retriever-Klasse in einem Notebook, die Fehler wirft bei fehlenden Indizes, nicht-string Query-Text, nicht-positivem k und negativem k_rrf.

Die zentrale Erkenntnis ist, dass der RRF-Algorithmus ein einheitliches Ranking erzeugt, indem er berücksichtigt, wie gut jedes Dokument über alle Suchsysteme hinweg abschneidet, anstatt sich auf eine einzelne Bewertungsmethode zu verlassen.

Testen des hybriden Ansatzes

Beim Testen mit einer Abfrage wie „Was ist mit INC-2023-Q4-011 passiert?“ liefert der hybride Ansatz deutlich bessere Ergebnisse als jede Methode für sich allein. Anstatt unerwartete Ergebnisse aus der reinen Vektorsuche zu erhalten, bekommst du jetzt zuerst den relevantesten Cybersecurity-Vorfallsbericht, gefolgt von verwandten Inhalten zur Softwareentwicklung.

Notebook-Ausgabe: Abschnitt 10 Cybersecurity-Analyse erreicht einen Score von etwa 0,0325, Abschnitt 2 etwa 0,0320, Abschnitt 5 etwa 0,0308.

Erweiterbarkeit

Das Schöne an diesem Design ist seine Modularität. Da jeder Suchindex dieselbe Schnittstelle implementiert (add_document() und search()), kannst du dem System problemlos neue Suchmethoden hinzufügen. Egal ob es sich um ein anderes Embedding-Modell, eine spezialisierte Domänensuche oder eine andere Retrieval-Technik handelt - solange sie der etablierten API folgt, fügt sie sich nahtlos in die hybride Pipeline ein.

Retriever sendet die Frage an VectorIndex, BM25Index und eine dritte Box namens ???Index und führt anschließend die beiden Ergebnismengen zusammen.

Dieser hybride Suchansatz stellt eine deutliche Verbesserung der Retrieval-Genauigkeit dar, indem er das semantische Verständnis der Vektorsuche mit dem präzisen Schlüsselwortabgleich der lexikalischen Suche kombiniert, alles vereinheitlicht durch den mathematisch fundierten RRF-Ranking-Algorithmus.