Wird geladen

Eine Multi-Index-RAG-Pipeline

Lektion 408 Min.
Wird geladen

Wenn du sowohl semantische Suche (Vektor-Embeddings) als auch lexikalische Suche (BM25) unabhängig voneinander zum Laufen gebracht hast, besteht der nächste Schritt darin, sie zu einer einheitlichen Suchpipeline zu kombinieren. Dieser hybride Ansatz nutzt die Stärken beider Methoden, um genauere Ergebnisse zu liefern.

Die Nutzerfrage zu INC-2023-Q4-011 durchläuft parallel die semantische und die lexikalische Suche, dann werden ihre Ergebnisse zusammengeführt.

Eine einheitliche Schnittstelle erstellen

Beide Suchimplementierungen teilen sich nahezu identische APIs – beide verfügen über die Methoden add_document() und search(), die auf dieselbe Weise funktionieren. Diese Konsistenz macht es einfach, sie in einer einzigen Retriever-Klasse zu kapseln.

VectorIndex und BM25Index verfügen jeweils über add_document, das einen Textabschnitt hinzufügt, und "search", das Abschnitte und Scores zurückgibt.

Der Retriever fungiert als Koordinator, der Nutzeranfragen an beide Indizes weiterleitet, deren Ergebnisse sammelt und sie zu einer einzigen, gerankten Liste zusammenführt.

Diagramm des Retrievers: Eine Nutzerfrage geht sowohl an den VectorIndex als auch an den BM25Index, deren Ergebnisse zusammengeführt werden.

Reciprocal Rank Fusion

Die Herausforderung besteht darin, Ergebnisse verschiedener Suchmethoden zusammenzuführen, die unterschiedliche Bewertungssysteme verwenden. Die Vektorsuche liefert Kosinus-Ähnlichkeits-Scores, während BM25 Relevanz-Scores liefert – du kannst diese Zahlen nicht einfach direkt kombinieren.

Stattdessen verwenden wir eine Technik namens Reciprocal Rank Fusion (RRF). Diese Methode konzentriert sich auf die Rangposition der Ergebnisse statt auf ihre Rohwerte.

Ergebnistabellen von VectorIndex und BM25Index für das folgende Beispiel, jeweils mit einer Score-Spalte, z. B. 0,234 und 0,184 auf Rang 1.

So funktioniert es anhand eines Beispiels. Angenommen, deine Vektorsuche liefert die Abschnitte 2, 7 und 6 in dieser Reihenfolge, während BM25 die Abschnitte 6, 2 und 7 liefert. Um diese zusammenzuführen:

Die gerankten Ergebnisse von VectorIndex und BM25Index kombiniert in einer Tabelle mit dem Rang jedes Textabschnitts aus beiden Indizes.

Erstelle zunächst eine Tabelle, die jeden Textabschnitt und seinen Rang aus beiden Suchmethoden zeigt:

  • Abschnitt 2: Rang 1 von Vektor, Rang 2 von BM25
  • Abschnitt 7: Rang 2 von Vektor, Rang 3 von BM25
  • Abschnitt 6: Rang 3 von Vektor, Rang 1 von BM25

Tabelle der Ränge jedes Abschnitts aus Vektor und BM25 mit dessen RRF-Score, mit dem Hinweis, dass ein höherer Score einen relevanteren Abschnitt bedeutet.

Wende dann die RRF-Formel an, um einen kombinierten Score für jeden Abschnitt zu berechnen:

RRF_score(d) = Σ(1 / (k + rank_i(d)))

Dabei ist k eine Konstante (typischerweise 60, aber wir verwenden 1 für klarere Ergebnisse) und rank_i(d) der Rang des Dokuments d im i-ten Suchergebnis.

Reciprocal-Rank-Fusion-Formel und eine Tabelle mit den Vektor- und BM25-Rängen sowie Scores von drei Abschnitten, wobei höher relevanter bedeutet.

Für unser Beispiel:

  • Abschnitt 2: 1,0/(1+1) + 1,0/(1+2) = 0,833
  • Abschnitt 7: 1,0/(1+2) + 1,0/(1+3) = 0,583
  • Abschnitt 6: 1,0/(1+3) + 1,0/(1+1) = 0,75

Tabelle mit Rang aus Vektor, Rang aus BM25, Score und finalem Rang jedes Textabschnitts, wobei ein höherer Score relevanter bedeutet.

Das finale Ranking lautet: Abschnitt 2 (0,833), Abschnitt 6 (0,75), Abschnitt 7 (0,583). Das ergibt intuitiv Sinn – Abschnitt 2 schnitt in beiden Suchen gut ab, Abschnitt 6 hatte gemischte Ergebnisse, und Abschnitt 7 rangierte insgesamt niedriger.

Die oben beschriebene RRF-Tabelle, ergänzt um eine Spalte "Final Rank" und den Hinweis, dass ein höherer Score einen relevanteren Textabschnitt bedeutet.

Implementierung

Die Implementierung der Retriever-Klasse ist unkompliziert:

Retriever-Klasse in einem Notebook, die Fehler auslöst bei fehlenden Indizes, nicht-String-Abfragetext, nicht-positivem k und negativem k_rrf.

python
class Retriever:
    def __init__(self, *indexes):
        self._indexes = list(indexes)
    
    def add_document(self, document):
        for index in self._indexes:
            index.add_document(document)
    
    def search(self, query_text, k=1, k_rrf=60):
        # Ergebnisse aus allen Indizes abrufen
        all_results = [index.search(query_text, k) for index in self._indexes]
        
        # Reciprocal Rank Fusion anwenden
        # ... Merge-Logik hier ...

Die im obigen Code ausgelassene Merge-Logik: Sie baut doc_ranks auf, definiert calc_rrf_score und behält dann Dokumente mit einem Score über 0.

Die Merge-Logik verfolgt die Dokumentränge über alle Suchergebnisse hinweg, berechnet RRF-Scores und gibt die Top-k-Dokumente sortiert nach ihren kombinierten Scores zurück.

Den hybriden Ansatz testen

Beim Testen mit der Anfrage "what happened with INC-2023-Q4-011?" liefert der hybride Ansatz deutlich bessere Ergebnisse als die Vektorsuche allein:

Nur Vektorsuche, die Abschnitt 10: Cybersecurity Analysis bei Distanz 0,634 und Abschnitt 3: Financial Analysis bei 0,809 liefert.

Die Ergebnisse priorisieren jetzt korrekt:

  1. Abschnitt 10: Cybersecurity Analysis (der tatsächliche Vorfallbericht)
  2. Abschnitt 2: Software Engineering (relevanter Kontext)
  3. Abschnitt 5: Legal Developments (weniger relevant, aber dennoch verwandt)

Notebook-Ausgabe: Abschnitt 10 Cybersecurity Analysis erzielt etwa 0,0325, Abschnitt 2 etwa 0,0320, Abschnitt 5 etwa 0,0308.

Vorteile der hybriden Architektur

Dieses Design bietet mehrere Vorteile:

  • Modulares Design: Jeder Suchindex ist unabhängig mit derselben API implementiert
  • Einfache Erweiterbarkeit: Du kannst neue Suchmethoden hinzufügen, indem du dieselbe search()- und add_document()-Schnittstelle implementierst
  • Bessere Genauigkeit: Kombiniert semantisches Verständnis mit exaktem Schlüsselwort-Abgleich
  • Flexible Fusion: Der RRF-Algorithmus funktioniert unabhängig davon, wie viele Suchindizes du kombinierst

Der Retriever sendet die Frage an VectorIndex, BM25Index und eine dritte, mit ???Index beschriftete Box, dann führt er die beiden Ergebnismengen zusammen.

Die konsistente API bedeutet, dass du problemlos einen dritten Suchindex hinzufügen könntest – etwa einen, der sich auf die Erkennung benannter Entitäten spezialisiert oder bestimmte Dokumenttypen verarbeitet – und der Retriever würde dessen Ergebnisse automatisch in das finale Ranking einbeziehen.

Diagramm des Retrievers: Eine Nutzerfrage geht sowohl an den VectorIndex als auch an den BM25Index, deren Ergebnisse zusammengeführt werden.

Diese hybride Such-Grundlage bietet ein deutlich robusteres Retrieval als jede Methode allein und bereitet deine RAG-Pipeline auf bessere Leistung über ein breiteres Spektrum von Anfragetypen hinweg vor.