Chargement

Un pipeline RAG multi-index

Leçon 408 min
Chargement

Lorsque vous disposez à la fois de la recherche sémantique (embeddings vectoriels) et de la recherche lexicale (BM25) fonctionnant indépendamment, l'étape suivante consiste à les combiner en un pipeline de recherche unifié. Cette approche hybride tire parti des points forts des deux méthodes pour fournir des résultats plus précis.

La question de l'utilisateur sur INC-2023-Q4-011 passe par la recherche sémantique et lexicale en parallèle, puis leurs résultats fusionnent.

Création d'une interface unifiée

Les deux implémentations de recherche partagent des API presque identiques : elles disposent toutes deux des méthodes add_document() et search() qui fonctionnent de la même manière. Cette cohérence facilite leur intégration dans une seule classe Retriever.

VectorIndex et BM25Index disposent chacun de add_document, qui ajoute un extrait de texte, et de « search », qui renvoie des extraits et des scores.

Le Retriever agit comme un coordinateur qui transmet les requêtes des utilisateurs aux deux index, collecte leurs résultats, puis les fusionne en une seule liste classée.

Diagramme du Retriever : une question de l'utilisateur est envoyée à la fois au VectorIndex et au BM25Index, dont les résultats sont fusionnés.

Fusion par rang réciproque (Reciprocal Rank Fusion)

Le défi consiste à fusionner les résultats de différentes méthodes de recherche qui utilisent des systèmes de notation différents. La recherche vectorielle renvoie des scores de similarité cosinus, tandis que BM25 renvoie des scores de pertinence : vous ne pouvez pas simplement combiner directement ces chiffres.

À la place, nous utilisons une technique appelée Reciprocal Rank Fusion (RRF). Cette méthode se concentre sur la position de rang des résultats plutôt que sur leurs scores bruts.

Tableaux des résultats de VectorIndex et BM25Index pour l'exemple ci-dessous, chacun avec une colonne de score, comme 0,234 et 0,184 au rang 1.

Voici comment cela fonctionne avec un exemple. Supposons que votre recherche vectorielle renvoie les sections 2, 7 et 6 dans cet ordre, tandis que BM25 renvoie les sections 6, 2 et 7. Pour fusionner ces résultats :

Les résultats classés de VectorIndex et BM25Index combinés dans un seul tableau indiquant le rang de chaque extrait de texte dans les deux index.

D'abord, créez un tableau montrant chaque extrait de texte et son rang dans les deux méthodes de recherche :

  • Section 2 : rang 1 en vectoriel, rang 2 en BM25
  • Section 7 : rang 2 en vectoriel, rang 3 en BM25
  • Section 6 : rang 3 en vectoriel, rang 1 en BM25

Tableau des rangs de chaque section en vectoriel et BM25 avec son score RRF, notant qu'un score plus élevé signifie un extrait plus pertinent.

Ensuite, appliquez la formule RRF pour calculer un score combiné pour chaque extrait :

RRF_score(d) = Σ(1 / (k + rank_i(d)))

Où k est une constante (généralement 60, mais nous utiliserons 1 pour des résultats plus clairs) et rank_i(d) est le rang du document d dans le i-ème résultat de recherche.

Formule de Reciprocal Rank Fusion et un tableau des rangs vectoriels et BM25 de trois sections et leur score, où plus élevé signifie plus pertinent.

Pour notre exemple :

  • Section 2 : 1,0/(1+1) + 1,0/(1+2) = 0,833
  • Section 7 : 1,0/(1+2) + 1,0/(1+3) = 0,583
  • Section 6 : 1,0/(1+3) + 1,0/(1+1) = 0,75

Tableau du rang de chaque extrait de texte en vectoriel, du rang en BM25, du score et du rang final, où un score plus élevé est plus pertinent.

Le classement final devient : Section 2 (0,833), Section 6 (0,75), Section 7 (0,583). Cela a un sens intuitif : la Section 2 a bien performé dans les deux recherches, la Section 6 a obtenu des résultats mitigés, et la Section 7 s'est classée plus bas globalement.

Le tableau RRF décrit ci-dessus, ajoutant une colonne « Rang final » et la note indiquant qu'un score plus élevé signifie un extrait de texte plus pertinent.

Implémentation

L'implémentation de la classe Retriever est simple :

Classe Retriever dans un notebook qui génère des erreurs en l'absence d'index, pour un texte de requête non textuel, un k non positif et un k_rrf négatif.

python
class Retriever:
    def __init__(self, *indexes):
        self._indexes = list(indexes)
    
    def add_document(self, document):
        for index in self._indexes:
            index.add_document(document)
    
    def search(self, query_text, k=1, k_rrf=60):
        # Obtenir les résultats de tous les index
        all_results = [index.search(query_text, k) for index in self._indexes]
        
        # Appliquer la fusion par rang réciproque
        # ... logique de fusion ici ...

La logique de fusion omise dans le code ci-dessus : elle construit doc_ranks, définit calc_rrf_score, puis conserve les documents dont le score est supérieur à 0.

La logique de fusion suit les rangs des documents dans tous les résultats de recherche, calcule les scores RRF, et renvoie les k meilleurs documents triés selon leurs scores combinés.

Test de l'approche hybride

Lors du test avec la requête « que s'est-il passé avec INC-2023-Q4-011 ? », l'approche hybride offre des résultats bien meilleurs que la recherche vectorielle seule :

Recherche vectorielle seule, renvoyant la Section 10 : Analyse de cybersécurité à une distance de 0,634, Section 3 : Analyse financière à 0,809.

Les résultats priorisent désormais correctement :

  1. Section 10 : Analyse de cybersécurité (le rapport d'incident réel)
  2. Section 2 : Ingénierie logicielle (contexte pertinent)
  3. Section 5 : Évolutions juridiques (moins pertinent mais toujours lié)

Sortie du notebook : la Section 10 Analyse de cybersécurité obtient un score d'environ 0,0325, la Section 2 environ 0,0320, la Section 5 environ 0,0308.

Avantages de l'architecture hybride

Cette conception offre plusieurs avantages :

  • Conception modulaire : chaque index de recherche est implémenté indépendamment avec la même API
  • Extensibilité facile : vous pouvez ajouter de nouvelles méthodes de recherche en implémentant la même interface search() et add_document()
  • Meilleure précision : combine la compréhension sémantique avec la correspondance exacte de mots-clés
  • Fusion flexible : l'algorithme RRF fonctionne quel que soit le nombre d'index de recherche que vous combinez

Le Retriever envoie la question à VectorIndex, BM25Index et une troisième case intitulée ???Index, puis fusionne les deux ensembles de résultats.

L'API cohérente signifie que vous pourriez facilement ajouter un troisième index de recherche - par exemple un index spécialisé dans la reconnaissance d'entités nommées ou gérant des types de documents spécifiques - et le Retriever intégrerait automatiquement ses résultats dans le classement final.

Diagramme du Retriever : une question de l'utilisateur est envoyée à la fois au VectorIndex et au BM25Index, dont les résultats sont fusionnés.

Cette base de recherche hybride offre une récupération beaucoup plus robuste que chacune des méthodes prises isolément, préparant votre pipeline RAG à de meilleures performances sur un éventail plus large de types de requêtes.