Chargement

Présentation de la génération augmentée par récupération

Leçon 325 min
Chargement

La génération augmentée par récupération (Retrieval Augmented Generation, ou RAG) est une technique qui vous aide à travailler avec de grands documents trop volumineux pour tenir dans une seule requête. Plutôt que de tout entasser dans une requête massive, le RAG découpe les documents en fragments (chunks) et n'inclut que les éléments les plus pertinents lors de la réponse aux questions.

Le problème des grands documents

Imaginez que vous ayez un document financier de 800 pages et que vous souhaitiez poser à Claude des questions précises à son sujet, comme « Quels sont les facteurs de risque de cette entreprise ? ». Vous devez faire parvenir les informations pertinentes du document à Claude d'une manière ou d'une autre, mais il existe des limites quant à la quantité de texte que vous pouvez inclure dans une requête.

Le document est privé, donc Claude n'a aucune idée de son contenu, qui comporte des sections telles que Résumé exécutif et Facteurs de risque.

Option 1 : tout inclure dans la requête

La première approche est simple : extraire tout le texte du document et l'intégrer dans votre requête avec la question de l'utilisateur. Votre requête pourrait ressembler à ceci :

Answer the user's question about the financial document.

<user_question>
{user_question}
</user_question>

<financial_document>
{financial_document}
</financial_document>

L'intégralité du rapport financier intégrée dans la requête ci-dessus, sous le titre « Ce n'est peut-être pas la meilleure solution », avec les limitations listées ci-dessous.

Cette approche présente des limitations sérieuses :

  • Il existe une limite stricte sur la longueur des requêtes : votre document pourrait être trop long
  • Claude devient moins efficace avec des requêtes très longues
  • Les requêtes plus volumineuses coûtent plus cher à traiter
  • Les requêtes plus volumineuses prennent plus de temps à traiter

Option 2 : découper les documents en fragments

Le RAG adopte une approche plus intelligente. D'abord, vous découpez le document en fragments plus petits lors d'une étape de prétraitement. Ensuite, lorsqu'un utilisateur pose une question, vous trouvez les fragments les plus pertinents par rapport à sa question et vous n'incluez que ceux-ci dans votre requête.

Rapport financier divisé en six fragments de texte, tels que Perspectives stratégiques, Bilan et Rapport du commissaire aux comptes.

Voici comment cela fonctionne : si quelqu'un demande « Quels sont les risques auxquels cette entreprise est confrontée ? », vous rechercheriez parmi vos fragments, trouveriez la section « Facteurs de risque », et n'incluriez que ce fragment pertinent dans votre requête.

Six fragments tels que Perspectives stratégiques, Bilan et Données de marché, avec la question de l'utilisateur et un fragment intégrés dans la requête.

Avantages du RAG

  • Claude peut se concentrer uniquement sur le contenu le plus pertinent
  • S'adapte à des documents très volumineux
  • Fonctionne avec plusieurs documents
  • Les requêtes plus petites coûtent moins cher et s'exécutent plus rapidement

Défis du RAG

  • Nécessite une étape de prétraitement pour fragmenter les documents
  • Nécessite un mécanisme de recherche pour trouver les fragments « pertinents »
  • Les fragments inclus pourraient ne pas contenir tout le contexte dont Claude a besoin
  • De nombreuses façons de fragmenter un texte : quelle approche est la meilleure ?

Par exemple, vous pourriez diviser les documents en portions de taille égale, ou vous pourriez créer des fragments basés sur la structure du document comme les en-têtes et les sections. Chaque approche comporte des compromis que vous devrez évaluer pour votre cas d'usage spécifique.

Quand utiliser le RAG

Le RAG implique de nombreuses décisions techniques et nécessite plus de travail que simplement tout inclure dans une requête. Vous devrez analyser si les avantages compensent la complexité pour votre application particulière. C'est particulièrement précieux lorsque vous travaillez avec des documents très volumineux, plusieurs documents, ou lorsque vous devez optimiser les coûts et les performances.

L'idée clé est que le RAG échange de la simplicité contre de l'évolutivité et de l'efficacité. Bien qu'il nécessite plus de travail initial pour être mis en œuvre correctement, il vous permet de travailler avec des ensembles de documents qu'il serait impossible de gérer en entassant simplement tout dans une requête.