Chargement
Chargement

Maintenant que nous avons couvert les bases du RAG, du découpage de texte et des embeddings, parcourons étape par étape le pipeline RAG complet. Cet exemple vous montrera exactement comment toutes ces pièces fonctionnent ensemble pour récupérer des informations pertinentes et générer des réponses.

Étape 1 : découper votre texte source

D'abord, nous prenons notre document source et le découpons en fragments gérables. Pour cet exemple, nous utiliserons deux sections de texte simples :

  • Section 1 : Recherche médicale - « Cette année a été marquée par des avancées significatives dans notre compréhension du XDR-47, un « bug » que nous n'avions jamais observé auparavant. »
  • Section 2 : Ingénierie logicielle - « Cette division a consacré des efforts considérables à l'étude des divers vecteurs d'infection dans nos systèmes distribués »

Étape 2 : générer des embeddings

Ensuite, nous convertissons chaque fragment de texte en embeddings numériques à l'aide d'un modèle d'embedding. Pour faciliter la compréhension, imaginons que nous disposons d'un modèle d'embedding parfait qui renvoie toujours exactement deux nombres, et que nous savons ce que représente chaque nombre.

Les deux fragments de texte passent par un modèle d'embedding imaginaire qui produit les embeddings à deux nombres décrits ci-dessous.

Dans notre modèle imaginaire :

  • Le premier nombre représente à quel point le texte parle du domaine médical
  • Le second nombre représente à quel point le texte parle de l'ingénierie logicielle

Pour la section de recherche médicale, nous pourrions obtenir [0.97, 0.34] - très axé sur le médical mais avec quelques éléments logiciels en raison du mot « bug ». Pour la section d'ingénierie logicielle, nous obtenons [0.30, 0.97] - fortement axé sur le logiciel mais avec des nuances médicales liées à « vecteurs d'infection ».

Normalisation

L'API d'embedding effectue généralement une étape de normalisation qui met à l'échelle chaque vecteur pour qu'il ait une magnitude de 1,0. Vous n'avez pas besoin de vous soucier des mathématiques ici - c'est géré automatiquement. Cela nous donne des vecteurs normalisés comme [0.944, 0.331] et [0.295, 0.955].

Cercle unitaire avec Recherche médicale orienté vers environ médecine et Ingénierie logicielle orienté vers environ logiciel, chaque flèche de longueur 1,0.

Nous pouvons visualiser ces embeddings sur un cercle unitaire, où chaque point représente l'un de nos fragments de texte.

Embeddings « 0,944, 0,331 » pour la recherche médicale et « 0,295, 0,955 » pour l'ingénierie logicielle alimentant une base de données vectorielle.

Étape 3 : stocker dans une base de données vectorielle

Nous stockons ces embeddings dans une base de données vectorielle - une base de données spécialisée optimisée pour le stockage, la comparaison et la recherche à travers de longues listes de nombres comme nos embeddings.

Le modèle d'embedding imaginaire transforme la question de l'utilisateur en 0,1 et 0,89, en quelque sorte lié à la médecine mais axé sur le logiciel.

À ce stade, nous faisons une pause. Tout le travail effectué jusqu'ici était un prétraitement réalisé à l'avance. Nous attendons maintenant qu'un utilisateur soumette une requête.

Étape 4 : traiter la requête de l'utilisateur

Lorsqu'un utilisateur pose une question comme « Je suis curieux à propos de l'entreprise. En particulier, qu'a fait le service d'ingénierie logicielle cette année ? », nous faisons passer sa requête par le même modèle d'embedding.

L'étape d'embedding de la requête utilisateur et de recherche des embeddings les plus proches, notant que « Company » est en quelque sorte lié à la médecine mais axé sur le logiciel.

Cette requête est transformée en embedding comme quelque chose du type [0.1, 0.89] - faible score médical, score élevé en ingénierie logicielle. Après normalisation, nous obtenons [0.112, 0.993].

Étape 5 : trouver des embeddings similaires

Nous envoyons l'embedding de la requête de l'utilisateur à notre base de données vectorielle et lui demandons de trouver les embeddings stockés les plus similaires.

Cercle unitaire où le vecteur de la requête utilisateur chevauche presque le vecteur Ingénierie logicielle et se trouve loin de Recherche médicale.

La base de données renvoie la section d'ingénierie logicielle car c'est la correspondance la plus proche de ce que l'utilisateur a demandé.

Comment fonctionne la similarité : la similarité cosinus

La base de données vectorielle utilise la similarité cosinus pour déterminer quels embeddings sont les plus similaires. Cela mesure le cosinus de l'angle entre deux vecteurs.

Cercle unitaire avec l'angle « a » entre la requête utilisateur et Ingénierie logicielle et « b » vers Recherche médicale, avec les formules de cosinus.

Points clés sur la similarité cosinus :

  • Les résultats vont de -1 à 1
  • Des valeurs proches de 1 signifient une forte similarité
  • Des valeurs proches de -1 signifient une grande différence
  • 0 signifie perpendiculaire (aucune relation)

Dans notre exemple, la similarité cosinus entre la requête de l'utilisateur et le fragment d'ingénierie logicielle est de 0,983 - une similarité très élevée. La similarité avec le fragment de recherche médicale n'est que de 0,398 - beaucoup plus faible.

Distance cosinus

Vous verrez souvent la « distance cosinus » dans la documentation des bases de données vectorielles. Elle est simplement calculée comme (1 - similarité cosinus). Avec la distance cosinus :

  • Des valeurs proches de 0 signifient une forte similarité
  • Des valeurs plus grandes signifient une similarité moindre

Cet ajustement rend les chiffres plus faciles à interpréter dans de nombreux contextes.

Étape 6 : créer la requête finale

Enfin, nous prenons la question de l'utilisateur et le fragment de texte le plus pertinent que nous avons trouvé, les combinons en une requête, et l'envoyons à Claude pour obtenir une réponse.

Diagramme de la question de l'utilisateur et du fragment d'ingénierie logicielle récupéré alimentant le modèle de requête cité ci-dessous.

La requête pourrait ressembler à :

Answer the user's question about the financial document.

<user_question>
How many bugs did engineers fix this year?
</user_question>

<report>
## Section 2: Software Engineering
This division dedicated significant effort to studying various infection vectors in our distributed systems
</report>

Et voilà, c'est le pipeline RAG complet ! Le système a réussi à récupérer les informations les plus pertinentes en fonction de la similarité sémantique et les a fournies comme contexte pour générer une réponse précise.