Lorsque vous travaillez avec Claude, rédiger une bonne requête n'est qu'un début. Pour créer des applications d'IA fiables, vous devez comprendre deux concepts essentiels : l'ingénierie de requêtes et l'évaluation des requêtes. L'ingénierie de requêtes vous donne des techniques pour rédiger de meilleures requêtes, tandis que l'évaluation des requêtes vous aide à mesurer l'efficacité réelle de ces requêtes.

Ingénierie de requêtes vs évaluation des requêtes
L'ingénierie de requêtes est votre boîte à outils pour créer des requêtes efficaces. Elle comprend des techniques telles que :
- Les requêtes multishot
- La structuration avec des balises XML
- De nombreuses autres bonnes pratiques
Ces techniques aident Claude à comprendre exactement ce que vous demandez et la manière dont vous souhaitez qu'il réponde.
L'évaluation des requêtes adopte une approche différente. Plutôt que de se concentrer sur la manière de rédiger des requêtes, il s'agit de mesurer leur efficacité par le biais de tests automatisés. Vous pouvez :
- Tester par rapport à des réponses attendues
- Comparer différentes versions d'une même requête
- Examiner les résultats à la recherche d'erreurs
Trois voies possibles après la rédaction d'une requête
Une fois que vous avez rédigé une requête, vous avez généralement trois options pour la suite :

Option 1 : Tester la requête une seule fois et décider qu'elle est suffisamment bonne. Cela comporte un risque important de dysfonctionnement en production lorsque les utilisateurs fournissent des entrées inattendues.
Option 2 : Tester la requête quelques fois et l'ajuster pour gérer un ou deux cas particuliers. Bien que meilleure que l'option 1, les utilisateurs fourniront souvent des résultats très inattendus que vous n'avez pas envisagés.
Option 3 : Faire passer la requête dans un pipeline d'évaluation pour la noter, puis itérer sur la requête en fonction de métriques objectives. Cette approche nécessite davantage de travail et de coûts, mais vous donne une bien plus grande confiance dans la fiabilité de votre requête.
Pourquoi la plupart des ingénieurs tombent dans les pièges des tests
Les options 1 et 2 sont des pièges courants dans lesquels tombent tous les ingénieurs, moi y compris. Il est naturel de rédiger une requête pour une application sérieuse sans la tester suffisamment. Nous avons tendance à sous-estimer le nombre de cas limites que rencontreront les utilisateurs réels.
La réalité est que, lorsque vous déployez une requête en production, les utilisateurs interagiront avec elle d'une manière que vous n'aviez jamais anticipée. Ce qui semblait être une requête solide lors de vos tests limités peut rapidement s'effondrer face à la grande variété des entrées du monde réel.
L'approche axée sur l'évaluation en priorité
L'option 3 représente une approche plus systématique du développement des requêtes. En faisant passer votre requête dans un pipeline d'évaluation, vous obtenez des métriques objectives sur sa performance sur un éventail plus large de cas de test. Cette approche fondée sur les données vous permet de :
- Identifier les faiblesses avant qu'elles ne deviennent des problèmes en production
- Comparer objectivement différentes versions de requêtes
- Itérer en toute confiance en vous basant sur des améliorations mesurables
- Créer des applications d'IA plus fiables
Bien que cette approche nécessite un investissement initial plus important en temps et en infrastructure de test, elle porte ses fruits en termes de fiabilité et de robustesse de votre application finale. L'objectif est de détecter les problèmes pendant le développement plutôt qu'après que vos utilisateurs les rencontrent.