Wird geladen

BM25-lexikalische Suche

Lektion 385 Min.
Wird geladen

Beim Aufbau einer RAG-Pipeline wirst du schnell feststellen, dass semantische Suche allein nicht immer die besten Ergebnisse liefert. Manchmal benötigst du exakte Schlüsselworttreffer, die bei der semantischen Suche übersehen werden könnten. Die Lösung besteht darin, semantische Suche mit lexikalischer Suche mithilfe einer Technik namens BM25 zu kombinieren.

Das Problem mit reiner semantischer Suche

Angenommen, du suchst in einem Dokument nach einer bestimmten Vorfall-ID wie „INC-2023-Q4-011“. Obwohl dieser exakte Begriff mehrfach in relevanten Abschnitten vorkommt, liefert die semantische Suche möglicherweise nicht zusammenhängende Abschnitte, die semantisch ähnlich erscheinen, aber nicht tatsächlich die spezifischen Informationen enthalten, die du benötigst.

Wir wollen die Abschnitte Cybersicherheit und Softwareentwicklung, erhalten aber für diese Anfrage Cybersicherheit und Finanzanalyse.

Das passiert, weil sich die semantische Suche auf Bedeutung statt auf exakte Textübereinstimmungen konzentriert. Wenn du präzise Schlüsselworttreffer benötigst, brauchst du einen anderen Ansatz.

Hybride Suchstrategie

Die Lösung besteht darin, semantische und lexikalische Suche parallel auszuführen und dann die Ergebnisse zusammenzuführen. So erhältst du das Beste aus beiden Welten:

Die Nutzerfrage zu INC-2023-Q4-011 durchläuft parallel semantische und lexikalische Suche, dann werden deren Ergebnisse zusammengeführt.

  • Semantische Suche - Findet konzeptionell verwandte Inhalte mithilfe von Embeddings
  • Lexikalische Suche - Findet exakte Schlüsselworttreffer mithilfe klassischer Textsuche
  • Zusammengeführte Ergebnisse - Kombiniert beide Ansätze für eine bessere Gesamtrelevanz

Wie BM25 funktioniert

BM25 (Best Match 25) ist ein beliebter Algorithmus für die lexikalische Suche in RAG-Pipelines. So verarbeitet er eine Suchanfrage:

BM25 bei „a INC-2023-Q4-011“: „a“ hat Häufigkeit 5 und geringe Wichtigkeit, „INC-2023-Q4-011“ hat Häufigkeit 1 und hohe Wichtigkeit.

Der Algorithmus folgt diesen wichtigen Schritten:

  1. Die Anfrage tokenisieren - Die Frage des Nutzers in einzelne Begriffe zerlegen
  2. Begriffshäufigkeit zählen - Feststellen, wie oft jeder Begriff über alle Dokumente hinweg vorkommt
  3. Begriffe nach Seltenheit gewichten - Seltener verwendete Begriffe erhalten höhere Wichtigkeitswerte
  4. Dokumente bewerten - Textabschnitte finden, die mehr Vorkommen der höher gewichteten Begriffe enthalten

Die zentrale Erkenntnis ist, dass seltene Begriffe wie „INC-2023-Q4-011“ für die Suchrelevanz viel wichtiger sind als gängige Wörter wie „a“ oder „the“.

So richtest du ein BM25-Suchsystem ein:

python
# Erstelle einen BM25-Store
store = BM25Index()

# Füge Dokumente zum Store hinzu
for chunk in chunks:
    store.add_document({"content": chunk})

# Durchsuche den Store
results = store.search("What happened with INC-2023-Q4-011?", 3)

Die BM25-Implementierung verwendet eine ähnliche API wie dein Vektor-Store, mit den Methoden add_document() und search(). Diese Konsistenz macht es einfach, beide Systeme gemeinsam zu nutzen.

Bessere Suchergebnisse

Wenn du dieselbe Anfrage, die bei reiner semantischer Suche fehlschlug, über BM25 laufen lässt, erhältst du deutlich bessere Ergebnisse. Der Algorithmus priorisiert korrekt Abschnitte, die die exakte Vorfall-ID enthalten, und stuft sie höher ein als Abschnitte, die zwar semantisch verwandt sein könnten, aber den spezifischen gesuchten Begriff nicht enthalten.

Die Suchergebnisse bringen nun korrekt den Abschnitt Softwareentwicklung und den Abschnitt Cybersicherheit hervor, die den Vorfall tatsächlich behandeln, statt nicht zusammenhängende Inhalte wie Finanzanalyse zurückzugeben.

Nächste Schritte

Nachdem du nun sowohl semantische als auch lexikalische Suchsysteme hast, die unabhängig voneinander funktionieren, besteht der nächste Schritt darin, ihre Ergebnisse zusammenzuführen. Dieser hybride Ansatz verbindet das semantische Verständnis von Embeddings mit der Präzision von Schlüsselworttreffern und schafft so eine robustere Sucherfahrung für deine RAG-Pipeline.