Chargement

Un pipeline RAG multi-recherche

Leçon 397 min
Chargement

Lorsque vous disposez à la fois de la recherche sémantique (embeddings vectoriels) et de la recherche lexicale (BM25) fonctionnant indépendamment, l'étape suivante consiste à les combiner dans un pipeline de recherche unifié. Cette approche hybride tire parti des atouts des deux méthodes pour fournir des résultats plus précis.

La question de l'utilisateur concernant INC-2023-Q4-011 passe en parallèle par la recherche sémantique et lexicale, puis leurs résultats fusionnent.

Construction d'une interface unifiée

Les deux implémentations de recherche partagent des API presque identiques : elles possèdent toutes deux des méthodes add_document() et search(). Cette cohérence permet de les envelopper facilement dans une seule classe Retriever qui coordonne les deux approches.

VectorIndex et BM25Index possèdent chacun add_document, qui ajoute un fragment de texte, et « search », qui renvoie des fragments et des scores.

Le Retriever agit comme un coordinateur qui :

  • Reçoit la question d'un utilisateur
  • La transmet à la fois au VectorIndex et au BM25Index
  • Collecte les résultats des deux systèmes
  • Fusionne les résultats à l'aide d'un algorithme de classement

Schéma du Retriever : une question utilisateur est envoyée à la fois au VectorIndex et au BM25Index, dont les résultats sont fusionnés.

Fusion par classement réciproque (Reciprocal Rank Fusion)

Le défi réside dans la fusion des résultats provenant de différentes méthodes de recherche. Chaque système renvoie des résultats avec des mécanismes de score différents, vous ne pouvez donc pas simplement combiner les scores directement. Nous utilisons à la place une technique appelée Reciprocal Rank Fusion (RRF).

Tableaux des résultats de VectorIndex et BM25Index pour l'exemple ci-dessous, chacun avec une colonne de score, comme 0,234 et 0,184 au rang 1.

Voici comment fonctionne la RRF avec un exemple pratique. Supposons que votre VectorIndex renvoie des résultats classés ainsi : Section 2, Section 7, Section 6. Pendant ce temps, votre BM25Index renvoie : Section 6, Section 2, Section 7.

Les résultats classés de VectorIndex et BM25Index combinés dans un tableau unique indiquant le rang de chaque fragment de texte dans les deux index.

Pour fusionner ces résultats, vous créez un tableau combiné montrant le rang de chaque fragment de texte dans les deux systèmes :

Tableau des rangs de chaque section dans le vecteur et dans BM25 avec son score RRF, notant qu'un score plus élevé signifie un fragment plus pertinent.

La formule RRF calcule un score pour chaque document :

RRF_score(d) = Σ(1 / (k + rank_i(d)))

Où k est une constante (généralement 60, bien que 1 fonctionne bien pour obtenir des résultats plus clairs) et rank_i(d) est le rang du document d dans le i-ème système de classement.

Formule de Reciprocal Rank Fusion et un tableau des rangs vectoriels et BM25 de trois sections ainsi que leur score, où un score plus élevé est plus pertinent.

Pour chaque fragment de texte, vous calculez :

  • Section 2 : 1,0/(1+1) + 1,0/(1+2) = 0,833
  • Section 7 : 1,0/(1+2) + 1,0/(1+3) = 0,583
  • Section 6 : 1,0/(1+3) + 1,0/(1+1) = 0,75

Après tri par score, le classement final devient : Section 2 (première), Section 6 (deuxième), Section 7 (troisième).

Tableau du rang de chaque fragment de texte issu du vecteur, du rang issu de BM25, du score et du rang final, où un score plus élevé est plus pertinent.

Implémentation

L'implémentation de la classe Retriever est simple :

python
class Retriever:
    def __init__(self, *indexes):
        self._indexes = list(indexes)
    
    def add_document(self, document):
        for index in self._indexes:
            index.add_document(document)
    
    def search(self, query_text, k=1, k_rrf=60):
        # Obtenir les résultats de tous les index
        all_results = []
        for idx, results in enumerate(all_results):
            for rank, (doc, _) in enumerate(results):
                # Suivre les rangs des documents entre les systèmes
                # Appliquer la formule RRF
                # Retourner les résultats fusionnés et triés

Classe Retriever dans un notebook qui génère des erreurs en l'absence d'index, pour un texte de requête non-chaîne, un k non positif et un k_rrf négatif.

L'idée clé est que l'algorithme RRF crée un classement unifié en tenant compte de la performance de chaque document à travers tous les systèmes de recherche, plutôt qu'en s'appuyant sur une seule méthode de score.

Test de l'approche hybride

Lors d'un test avec une requête comme « que s'est-il passé avec INC-2023-Q4-011 ? », l'approche hybride fournit des résultats nettement meilleurs que chacune des méthodes prise isolément. Au lieu d'obtenir des résultats inattendus avec la recherche vectorielle pure, vous obtenez désormais en premier le rapport d'incident de cybersécurité le plus pertinent, suivi d'un contenu lié à l'ingénierie logicielle.

Sortie du notebook : la Section 10 Analyse de cybersécurité obtient un score d'environ 0,0325, la Section 2 d'environ 0,0320, la Section 5 d'environ 0,0308.

Extensibilité

La beauté de cette conception réside dans sa modularité. Puisque chaque index de recherche implémente la même interface (add_document() et search()), vous pouvez facilement ajouter de nouvelles méthodologies de recherche au système. Qu'il s'agisse d'un modèle d'embeddings différent, d'une recherche spécialisée par domaine, ou de toute autre technique de récupération, tant qu'elle respecte l'API établie, elle s'intègre parfaitement dans le pipeline hybride.

Le Retriever envoie la question au VectorIndex, au BM25Index et à une troisième case intitulée ???Index, puis fusionne les deux ensembles de résultats.

Cette approche de recherche hybride représente une amélioration significative de la précision de récupération en combinant la compréhension sémantique de la recherche vectorielle avec la correspondance précise par mots-clés de la recherche lexicale, le tout unifié grâce à l'algorithme de classement RRF, mathématiquement solide.