Lorsque vous travaillez avec Claude, écrire une bonne requête n'est qu'un début. Pour créer des applications d'IA fiables, vous devez comprendre deux concepts essentiels : l'ingénierie de requêtes et l'évaluation des requêtes. L'ingénierie de requêtes vous fournit des techniques pour élaborer de meilleures requêtes, tandis que l'évaluation des requêtes vous aide à mesurer l'efficacité réelle de ces requêtes.

Ingénierie de requêtes versus évaluation des requêtes
L'ingénierie de requêtes est votre boîte à outils pour rédiger et améliorer des requêtes. Il s'agit d'un ensemble de bonnes pratiques qui aident Claude à comprendre exactement ce que vous demandez et la manière dont vous souhaitez qu'il réponde. Considérez-la comme l'art de la rédaction de requêtes - des techniques telles que l'invite multishot, la structuration à l'aide de balises XML, et bien d'autres approches que nous explorerons.
L'évaluation des requêtes, en revanche, porte sur la mesure. Il s'agit de tests automatisés qui vous fournissent des indicateurs objectifs sur l'efficacité réelle de vos requêtes. Au lieu de deviner si votre requête fonctionne bien, l'évaluation vous permet de :
- Tester par rapport à des réponses attendues
- Comparer différentes versions d'une même requête
- Examiner les résultats pour détecter des erreurs
Les trois chemins possibles après la rédaction d'une requête
Une fois votre requête rédigée, vous avez généralement trois options pour la suite :

Option 1 : Tester la requête une seule fois et décider qu'elle est suffisamment bonne. Cela comporte un risque important de dysfonctionnement en production lorsque les utilisateurs fournissent des entrées inattendues.
Option 2 : Tester la requête quelques fois et l'ajuster pour gérer un ou deux cas particuliers. Bien que meilleure que l'option 1, cette approche vous laisse toujours vulnérable, car les utilisateurs fourniront souvent des entrées très inattendues que vous n'aviez pas envisagées.
Option 3 : Faire passer la requête par un pipeline d'évaluation pour la noter, puis itérer sur la requête en se basant sur des données objectives. Cela nécessite plus de travail et un coût initial plus élevé, mais vous donne beaucoup plus de confiance dans la fiabilité de votre requête.
Pourquoi la plupart des ingénieurs tombent dans les pièges des tests
Les options 1 et 2 sont des pièges dans lesquels tombent tous les ingénieurs, moi y compris. Il est naturel de rédiger une requête pour une application sérieuse sans la tester suffisamment. Nous avons tendance à tester avec des entrées qui nous semblent évidentes, mais les utilisateurs réels interagiront avec vos requêtes de manières que vous n'aviez jamais anticipées.
La solution consiste à adopter l'option 3 : l'évaluation systématique. En faisant passer vos requêtes par des pipelines d'évaluation appropriés, vous obtenez des scores objectifs qui vous indiquent à quel point votre requête fonctionne bien dans un large éventail de scénarios. Cette approche fondée sur les données vous permet d'itérer en toute confiance et de détecter les problèmes avant qu'ils n'atteignent la production.
Comprendre l'évaluation en premier vous donne les bases nécessaires pour mesurer les améliorations à mesure que vous appliquez des techniques d'ingénierie de requêtes. Une fois que vous pouvez mesurer de manière fiable l'efficacité d'une requête, vous pouvez expérimenter différentes approches et savoir avec certitude lesquelles fonctionnent le mieux.