Beim Aufbau einer RAG-Pipeline wirst du schnell feststellen, dass semantische Suche allein nicht immer die besten Ergebnisse liefert. Manchmal benötigst du exakte Schlüsselworttreffer, die bei der semantischen Suche übersehen werden könnten. Die Lösung besteht darin, semantische Suche mit lexikalischer Suche mithilfe einer Technik namens BM25 zu kombinieren.
Das Problem mit reiner semantischer Suche
Angenommen, du suchst in einem Dokument nach einer bestimmten Vorfall-ID wie „INC-2023-Q4-011“. Obwohl dieser exakte Begriff mehrfach in relevanten Abschnitten vorkommt, liefert die semantische Suche möglicherweise nicht zusammenhängende Abschnitte, die semantisch ähnlich erscheinen, aber nicht tatsächlich die spezifischen Informationen enthalten, die du benötigst.

Das passiert, weil sich die semantische Suche auf Bedeutung statt auf exakte Textübereinstimmungen konzentriert. Wenn du präzise Schlüsselworttreffer benötigst, brauchst du einen anderen Ansatz.
Hybride Suchstrategie
Die Lösung besteht darin, semantische und lexikalische Suche parallel auszuführen und dann die Ergebnisse zusammenzuführen. So erhältst du das Beste aus beiden Welten:

- Semantische Suche - Findet konzeptionell verwandte Inhalte mithilfe von Embeddings
- Lexikalische Suche - Findet exakte Schlüsselworttreffer mithilfe klassischer Textsuche
- Zusammengeführte Ergebnisse - Kombiniert beide Ansätze für eine bessere Gesamtrelevanz
Wie BM25 funktioniert
BM25 (Best Match 25) ist ein beliebter Algorithmus für die lexikalische Suche in RAG-Pipelines. So verarbeitet er eine Suchanfrage:

Der Algorithmus folgt diesen wichtigen Schritten:
- Die Anfrage tokenisieren - Die Frage des Nutzers in einzelne Begriffe zerlegen
- Begriffshäufigkeit zählen - Feststellen, wie oft jeder Begriff über alle Dokumente hinweg vorkommt
- Begriffe nach Seltenheit gewichten - Seltener verwendete Begriffe erhalten höhere Wichtigkeitswerte
- Dokumente bewerten - Textabschnitte finden, die mehr Vorkommen der höher gewichteten Begriffe enthalten
Die zentrale Erkenntnis ist, dass seltene Begriffe wie „INC-2023-Q4-011“ für die Suchrelevanz viel wichtiger sind als gängige Wörter wie „a“ oder „the“.
Implementierung der BM25-Suche
So richtest du ein BM25-Suchsystem ein:
# Erstelle einen BM25-Store
store = BM25Index()
# Füge Dokumente zum Store hinzu
for chunk in chunks:
store.add_document({"content": chunk})
# Durchsuche den Store
results = store.search("What happened with INC-2023-Q4-011?", 3)Die BM25-Implementierung verwendet eine ähnliche API wie dein Vektor-Store, mit den Methoden add_document() und search(). Diese Konsistenz macht es einfach, beide Systeme gemeinsam zu nutzen.
Bessere Suchergebnisse
Wenn du dieselbe Anfrage, die bei reiner semantischer Suche fehlschlug, über BM25 laufen lässt, erhältst du deutlich bessere Ergebnisse. Der Algorithmus priorisiert korrekt Abschnitte, die die exakte Vorfall-ID enthalten, und stuft sie höher ein als Abschnitte, die zwar semantisch verwandt sein könnten, aber den spezifischen gesuchten Begriff nicht enthalten.
Die Suchergebnisse bringen nun korrekt den Abschnitt Softwareentwicklung und den Abschnitt Cybersicherheit hervor, die den Vorfall tatsächlich behandeln, statt nicht zusammenhängende Inhalte wie Finanzanalyse zurückzugeben.
Nächste Schritte
Nachdem du nun sowohl semantische als auch lexikalische Suchsysteme hast, die unabhängig voneinander funktionieren, besteht der nächste Schritt darin, ihre Ergebnisse zusammenzuführen. Dieser hybride Ansatz verbindet das semantische Verständnis von Embeddings mit der Präzision von Schlüsselworttreffern und schafft so eine robustere Sucherfahrung für deine RAG-Pipeline.