Chargement
Chargement

Maintenant que nous avons couvert les bases du RAG, du découpage de texte et des embeddings, parcourons étape par étape le pipeline RAG complet. Cet exemple détaillé vous montrera exactement comment tous les éléments s'assemblent dans une implémentation réelle.

Étape 1 : Découpez votre texte source

Tout d'abord, nous prenons notre document source et le divisons en morceaux gérables. Pour cet exemple, nous utiliserons deux sections de texte simples :

  • Section 1 : Recherche médicale - « Cette année a vu des progrès significatifs dans notre compréhension du XDR-47, un "bug" que nous n'avions jamais vu auparavant. »
  • Section 2 : Ingénierie logicielle - « Cette division a consacré des efforts importants à l'étude de divers vecteurs d'infection dans nos systèmes distribués »

Étape 2 : Générez des embeddings

Ensuite, nous convertissons chaque morceau de texte en embeddings numériques. Pour faciliter la compréhension, imaginons que nous disposons d'un modèle d'embedding parfait qui renvoie toujours exactement deux nombres, et que nous savons ce que chaque nombre représente :

Deux morceaux de texte passent par un modèle d'embedding imaginaire, avec des flèches marquant les nombres liés à la médecine et à l'ingénierie logicielle.

Dans notre modèle imaginaire :

  • Premier nombre : à quel point le texte parle de médecine
  • Deuxième nombre : à quel point le texte parle d'ingénierie logicielle

Ainsi, notre section de recherche médicale obtient [0.97, 0.34] - très médical, quelque peu lié au logiciel en raison du mot « bug ». La section d'ingénierie logicielle obtient [0.30, 0.97] - très axée sur le logiciel, mais « vecteurs d'infection » a des connotations médicales.

Normalisation

Avant de stocker ces embeddings, ils passent par un processus de normalisation qui met à l'échelle chaque vecteur pour qu'il ait une magnitude de 1,0. Ceci est généralement géré automatiquement par votre API d'embedding, mais il est important de comprendre que cela se produit.

Cercle unitaire avec axes médecine et logiciel et flèches de longueur 1,0 vers Recherche médicale et Ingénierie logicielle.

Après normalisation, nos embeddings deviennent [0.944, 0.331] et [0.295, 0.955]. Nous pouvons les visualiser sur un cercle unitaire où les deux points se trouvent exactement sur le bord du cercle.

L'embedding Recherche médicale « 0,944, 0,331 » et l'embedding Ingénierie logicielle « 0,295, 0,955 » alimentent une base de données vectorielle.

Étape 3 : Stockez dans la base de données vectorielle

Les embeddings normalisés sont stockés dans une base de données vectorielle - une base de données spécialisée optimisée pour stocker, comparer et rechercher parmi de longues listes de nombres comme nos embeddings.

La question de l'utilisateur intégrée par le modèle d'embedding imaginaire sous la forme 0,1 pour le domaine médical et 0,89 pour l'ingénierie logicielle.

À ce stade, nous faisons une pause. Tout le travail effectué jusqu'à présent était du prétraitement qui se produit à l'avance. Nous attendons maintenant qu'un utilisateur soumette une requête.

Étape 4 : Traitez la requête de l'utilisateur

Lorsqu'un utilisateur pose une question comme « Je suis curieux à propos de l'entreprise. En particulier, qu'a fait le service d'ingénierie logicielle cette année ? », nous faisons passer sa requête par le même modèle d'embedding.

Étape d'intégration de la requête utilisateur, avec l'embedding de la requête annoté « Entreprise plutôt liée à la médecine, mais axée sur le logiciel ».

Cette requête est intégrée sous la forme [0.1, 0.89] - score médical faible, score d'ingénierie logicielle élevé. Après normalisation, elle devient [0.112, 0.993].

Étape 5 : Trouvez des embeddings similaires

Maintenant, nous demandons à la base de données vectorielle : « Trouve l'embedding stocké le plus proche de cet embedding de requête utilisateur. » La base de données renvoie la section d'ingénierie logicielle car c'est la plus similaire.

Cercle unitaire médecine versus logiciel : le vecteur de la requête utilisateur se trouve à côté d'Ingénierie logicielle, loin de Recherche médicale.

Mais comment la base de données détermine-t-elle ce qui est « le plus proche » ? Elle utilise la similarité cosinus.

Similarité cosinus

La base de données vectorielle calcule le cosinus de l'angle entre les vecteurs pour mesurer la similarité. Cela nous donne un nombre compris entre -1 et 1 :

Diapositive de similarité cosinus où le vecteur de la requête utilisateur obtient un score de 0,983 avec Ingénierie logicielle et de 0,398 avec Recherche médicale.

  • 1,0 = les vecteurs pointent exactement dans la même direction (très similaires)
  • 0,0 = les vecteurs sont perpendiculaires (sans lien)
  • -1,0 = les vecteurs pointent dans des directions opposées (très différents)

Dans notre exemple :

  • Requête utilisateur vs Ingénierie logicielle : similarité cosinus = 0,983 (très similaire !)
  • Requête utilisateur vs Recherche médicale : similarité cosinus = 0,398 (moins similaire)

Distance cosinus

Vous verrez souvent la « distance cosinus » dans la documentation des bases de données vectorielles. Il s'agit simplement de 1 - similarité cosinus, ce qui inverse l'échelle de sorte que des nombres plus petits signifient une plus grande similarité :

  • 0,0 = très similaire
  • 1,0 = perpendiculaire
  • 2,0 = complètement opposé

Étape 6 : Construisez la requête finale

Enfin, nous prenons la question de l'utilisateur et le morceau de texte le plus pertinent (la section d'ingénierie logicielle) et les combinons en une requête pour Claude :

La question « Combien de bugs les ingénieurs ont-ils corrigés cette année ? » et le morceau d'ingénierie logicielle alimentant la requête pour Claude.

Answer the user's question about the financial document.

<user_question>
How many bugs did engineers fix this year?
</user_question>

<report>
## Section 2: Software Engineering
This division dedicated significant effort to studying various infection vectors in our distributed systems
</report>

Et voilà le pipeline RAG complet ! Le système a réussi à trouver le contexte le plus pertinent pour la question de l'utilisateur sur l'ingénierie logicielle et l'a fourni à Claude afin de générer une réponse éclairée.

Ce processus se produit automatiquement chaque fois qu'un utilisateur soumet une requête, ce qui permet à Claude de répondre aux questions en se basant sur vos documents spécifiques plutôt que simplement sur ses connaissances générales d'entraînement.