Chargement

Évaluation des requêtes

Leçon 102 min
Chargement

Lorsque vous travaillez avec Claude, rédiger une bonne requête n'est que le début. Pour créer des applications d'IA fiables, vous devez comprendre deux concepts essentiels : l'ingénierie de requêtes et l'évaluation des requêtes. L'ingénierie de requêtes vous donne des techniques pour rédiger de meilleures requêtes, tandis que l'évaluation des requêtes vous aide à mesurer l'efficacité réelle de ces requêtes.

Améliorer et évaluer les requêtes : définitions côte à côte de l'ingénierie de requêtes et de l'évaluation des requêtes, décrites ci-dessous.

Ingénierie de requêtes vs évaluation des requêtes

L'ingénierie de requêtes est votre boîte à outils pour rédiger et améliorer les requêtes. Il s'agit d'un ensemble de bonnes pratiques qui aident Claude à comprendre exactement ce que vous demandez et la manière dont vous souhaitez qu'il réponde. Considérez-la comme l'art de la rédaction de requêtes - des techniques comme l'utilisation d'exemples multiples, la structuration avec des balises XML, et bien d'autres approches que nous explorerons.

L'évaluation des requêtes, en revanche, concerne la mesure. Il s'agit de tests automatisés qui vous fournissent des indicateurs objectifs sur l'efficacité réelle de vos requêtes. Plutôt que de deviner si votre requête fonctionne bien, l'évaluation vous permet de :

  • Tester par rapport à des réponses attendues
  • Comparer différentes versions de la même requête
  • Examiner les résultats à la recherche d'erreurs

Les trois voies possibles après la rédaction d'une requête

Une fois que vous avez rédigé une requête, vous avez généralement trois options pour la suite :

Diagramme se ramifiant à partir de la rédaction d'une requête vers les trois options et leurs compromis, décrits ci-dessous.

Option 1 : Tester la requête une seule fois et décider qu'elle est suffisamment bonne. Cela comporte un risque important de dysfonctionnement en production lorsque les utilisateurs fournissent des entrées inattendues.

Option 2 : Tester la requête à quelques reprises et l'ajuster pour gérer un ou deux cas particuliers. Bien que meilleure que l'option 1, les utilisateurs fourniront souvent des entrées très inattendues que vous n'avez pas envisagées.

Option 3 : Faire passer la requête par un pipeline d'évaluation pour la noter, puis itérer sur la requête en fonction de données objectives. Cela demande plus de travail et de coût en amont, mais vous donne beaucoup plus confiance dans la fiabilité de votre requête.

Pourquoi la plupart des ingénieurs tombent dans les pièges des tests

Les options 1 et 2 sont des pièges dans lesquels tous les ingénieurs tombent - moi y compris. Il est naturel de rédiger une requête, de la tester quelques fois avec ses propres entrées, et de se dire « c'est suffisamment bon ainsi ». Mais lorsque vous créez des applications sérieuses, cette approche entraîne souvent des problèmes en production.

Le problème est que vous ne pouvez pas prévoir toutes les manières dont les utilisateurs interagiront avec votre requête. Ce qui semble fonctionner parfaitement dans vos tests limités peut échouer complètement face à des schémas d'utilisation réels.

La valeur d'une évaluation systématique

L'option 3 - faire passer votre requête par un pipeline d'évaluation - vous fournit des données objectives sur la performance. Plutôt que de vous fier à des impressions ou à des tests manuels limités, vous obtenez des scores mesurables qui vous indiquent dans quelle mesure votre requête gère une variété d'entrées.

Cette approche vous permet d'itérer avec confiance. Vous pouvez apporter des modifications à votre requête et voir immédiatement si ces modifications améliorent ou nuisent à la performance. C'est la différence entre deviner et savoir si les améliorations apportées à votre requête fonctionnent réellement.

Bien que l'évaluation nécessite un investissement initial plus important en temps et en ressources, elle est rentable lorsque vous avez besoin de requêtes fiables et prêtes pour la production qui fonctionnent de manière cohérente sur des entrées utilisateur diverses.