Un flux de travail typique d'évaluation des requêtes suit cinq étapes clés qui vous aident à améliorer systématiquement vos requêtes grâce à une mesure objective. Bien qu'il existe de nombreuses façons différentes d'assembler ces flux de travail et divers outils open source et payants disponibles, comprendre le processus de base vous aide à commencer petit et à monter en puissance selon les besoins.

Étape 1 : Rédiger une requête
Commencez par rédiger une requête initiale que vous souhaitez améliorer. Pour cet exemple, nous utiliserons une requête simple :
prompt = f"""
Please answer the user's question:
{question}
"""
Cette requête de base servira de référence pour les tests et l'amélioration.
Étape 2 : Créer un jeu de données d'évaluation
Votre jeu de données d'évaluation contient des exemples d'entrées qui représentent les types de questions ou de demandes que votre requête traitera en production. Le jeu de données doit inclure des questions qui seront interpolées dans votre modèle de requête.

Pour cet exemple, notre jeu de données comprend trois questions :
- « Combien font 2+2 ? »
- « Comment préparer du porridge d'avoine ? »
- « À quelle distance se trouve la Lune ? »
Dans des évaluations réelles, vous pourriez avoir des dizaines, des centaines, voire des milliers d'enregistrements. Vous pouvez assembler ces jeux de données manuellement ou utiliser Claude pour les générer pour vous.
Étape 3 : Faire passer par Claude
Prenez chaque question de votre jeu de données et fusionnez-la avec votre modèle de requête pour créer des requêtes complètes. Envoyez ensuite chacune à Claude pour obtenir des réponses.

Par exemple, la première question devient :
Please answer the user's question:
What's 2+2?Claude pourrait répondre « 2 + 2 = 4 » pour la question de mathématiques, fournir des instructions de préparation du porridge d'avoine pour la deuxième question, et donner la distance jusqu'à la Lune pour la troisième.
Étape 4 : Faire passer par un évaluateur
L'évaluateur évalue la qualité des réponses de Claude en examinant à la fois la question originale et la réponse de Claude. Cette étape fournit une notation objective, généralement sur une échelle de 1 à 10, où 10 représente une réponse parfaite et des scores plus bas indiquent une marge d'amélioration.

Dans notre exemple, l'évaluateur pourrait attribuer :
- Question de mathématiques : 10 (réponse parfaite)
- Question sur le porridge d'avoine : 4 (nécessite une amélioration)
- Question sur la Lune : 9 (très bonne réponse)
Le score moyen sur l'ensemble des questions vous donne une mesure objective : (10 + 4 + 9) ÷ 3 = 7,66
Étape 5 : Modifier la requête et répéter
Maintenant que vous disposez d'un score de référence, vous pouvez modifier votre requête et relancer l'ensemble du processus pour voir si vos changements améliorent les performances.

Par exemple, vous pourriez ajouter plus de consignes à votre requête :
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Après avoir exécuté cette requête améliorée via le même processus d'évaluation, vous pourriez obtenir un score moyen plus élevé de 8,7, indiquant que l'instruction supplémentaire a aidé Claude à fournir de meilleures réponses.
Notation des requêtes
L'avantage clé de ce flux de travail est d'obtenir des mesures objectives de la performance des requêtes. Vous pouvez :
- Comparer numériquement différentes versions de requêtes
- Utiliser la version ayant le meilleur score
- Continuer à itérer pour trouver des approches encore meilleures

Cette approche systématique élimine les conjectures de l'ingénierie de requêtes et vous donne la certitude que vos changements constituent de réelles améliorations plutôt que de simples variations.