Wird geladen

BM25-lexikalische Suche

Lektion 395 Min.
Wird geladen

Beim Aufbau einer RAG-Pipeline wirst du schnell feststellen, dass semantische Suche allein nicht immer die besten Ergebnisse liefert. Manchmal benötigst du exakte Begriffsübereinstimmungen, die semantische Suche möglicherweise übersieht. Die Lösung besteht darin, semantische Suche mit lexikalischer Suche zu kombinieren, indem du eine Technik namens BM25 verwendest.

Das Problem mit semantischer Suche allein

Angenommen, du suchst in einem Dokument nach einer bestimmten Vorfall-ID wie „INC-2023-Q4-011“. Obwohl dieser exakte Begriff mehrfach in relevanten Abschnitten vorkommt, könnte die semantische Suche nicht zusammenhängende Abschnitte zurückgeben, die semantisch ähnlich sind, aber den spezifischen gesuchten Begriff tatsächlich nicht enthalten.

Wir möchten die Abschnitte Cybersicherheit und Softwareentwicklung, erhalten aber Cybersicherheit und Finanzanalyse für diese Anfrage.

Dies geschieht, weil sich semantische Suche auf Bedeutung statt auf exakte Übereinstimmungen konzentriert. Wenn du präzises Begriffsmatching benötigst, brauchst du einen anderen Ansatz.

Hybride Suchstrategie

Die Lösung besteht darin, zwei Suchen parallel auszuführen und die Ergebnisse zusammenzuführen:

Die Benutzerfrage zu INC-2023-Q4-011 durchläuft parallel semantische und lexikalische Suche, dann werden ihre Ergebnisse zusammengeführt.

  • Semantische Suche - Nutzt Embeddings und Vektordatenbanken für bedeutungsbasiertes Matching
  • Lexikalische Suche - Nutzt klassische Textsuche für exaktes Begriffsmatching
  • Ergebnisse zusammenführen - Kombiniert beide Ergebnismengen für bessere Abdeckung

Wie BM25 funktioniert

BM25 (Best Match 25) ist ein beliebter Algorithmus für lexikalische Suche in RAG-Pipelines. So verarbeitet er eine Suchanfrage:

BM25 bei „a INC-2023-Q4-011“: „a“ hat Häufigkeit 5 und geringe Wichtigkeit, „INC-2023-Q4-011“ hat Häufigkeit 1 und hohe Wichtigkeit.

Der Algorithmus folgt diesen zentralen Schritten:

  1. Anfrage tokenisieren - Die Frage des Nutzers in einzelne Begriffe zerlegen
  2. Begriffshäufigkeit zählen - Prüfen, wie oft jeder Begriff in allen Dokumenten vorkommt
  3. Begriffe nach Seltenheit gewichten - Seltener verwendete Begriffe erhalten höhere Wichtigkeitswerte
  4. Beste Übereinstimmungen finden - Chunks zurückgeben, die mehr Vorkommen der höher gewichteten Begriffe enthalten

Die zentrale Erkenntnis ist, dass seltene Begriffe wie „INC-2023-Q4-011“ für die Suche weitaus wichtiger sind als gängige Wörter wie „a“ oder „the“.

So richtest du ein BM25-Suchsystem ein:

python
# Erstelle einen BM25-Store
store = BM25Index()

# Füge dem Store Dokumente hinzu
for chunk in chunks:
    store.add_document({"content": chunk})

# Durchsuche den Store
results = store.search("What happened with INC-2023-Q4-011?", 3)

Die BM25-Implementierung bietet dieselbe API wie dein semantisches Suchsystem - beide verfügen über die Methoden add_document() und search(), wodurch sie sich leicht zusammen nutzen lassen.

Bessere Suchergebnisse

Wenn du dieselbe Anfrage, die mit semantischer Suche allein fehlschlug, durch BM25 laufen lässt, erhältst du wesentlich bessere Ergebnisse. Anstatt irrelevante Abschnitte zurückzugeben, priorisiert BM25 die Abschnitte, die tatsächlich deine spezifischen Suchbegriffe enthalten.

Der Algorithmus erkennt korrekt, dass „INC-2023-Q4-011“ ein seltener, wichtiger Begriff ist, und stuft Dokumente, die ihn enthalten, deutlich höher ein als Dokumente mit nur gängigen Wörtern aus der Anfrage.

Nächste Schritte

Da du nun sowohl semantische als auch lexikalische Suchsysteme unabhängig voneinander funktionierend hast, besteht der nächste Schritt darin, ihre Ergebnisse zusammenzuführen. Dieser hybride Ansatz bietet dir das Beste aus beiden Welten - das kontextuelle Verständnis der semantischen Suche kombiniert mit der Präzision des exakten Begriffsmatchings der lexikalischen Suche.

Die Benutzerfrage zu INC-2023-Q4-011 durchläuft parallel semantische und lexikalische Suche, dann werden ihre Ergebnisse zusammengeführt.

Beide Suchsysteme nutzen ähnliche APIs, wodurch es unkompliziert ist, beide parallel abzufragen und ihre Ergebnisse zu einer einzigen, umfassenderen Ergebnismenge zu kombinieren.