Un flux de travail typique d'évaluation de requêtes suit cinq étapes clés qui vous aident à améliorer systématiquement vos requêtes grâce à une mesure objective. Bien qu'il existe de nombreuses façons différentes d'assembler ces flux de travail et divers outils open source et payants disponibles, comprendre le processus fondamental vous aide à commencer petit et à monter en puissance selon les besoins.

Étape 1 : Rédiger une requête
Commencez par rédiger une requête initiale que vous souhaitez améliorer. Pour cet exemple, nous utiliserons une requête simple :
prompt = f"""
Please answer the user's question:
{question}
"""
Cette requête de base servira de référence pour nos tests et améliorations.
Étape 2 : Créer un jeu de données d'évaluation
Votre jeu de données d'évaluation contient des exemples d'entrées que vous allez transmettre à votre requête. Comme notre requête ne comporte qu'une seule entrée (la question de l'utilisateur), nous avons besoin d'une collection de questions différentes avec lesquelles effectuer les tests.

Le jeu de données contient des questions que nous allons fusionner avec notre requête. Vous pouvez constituer ces jeux de données manuellement ou les générer à l'aide de Claude. Dans des évaluations réelles, vous pourriez avoir des dizaines, des centaines, voire des milliers d'enregistrements différents, mais nous commencerons avec seulement trois questions pour cet exemple :
- Combien font 2+2 ?
- Comment préparer du porridge d'avoine ?
- À quelle distance se trouve la Lune ?
Étape 3 : Transmettre à Claude
Prenez chaque question de votre jeu de données et fusionnez-la avec votre modèle de requête pour créer des requêtes complètes. Envoyez ensuite chacune d'elles à Claude et collectez les réponses.

Par exemple, la première question devient une requête complète que Claude traite et renvoie une réponse comme « 2 + 2 = 4 ». Vous répétez ce processus pour toutes les questions de votre jeu de données, en constituant une collection de paires question-réponse.
Étape 4 : Transmettre à un système de notation
Vient maintenant l'étape cruciale de la mesure objective de la qualité des réponses de Claude. Vous prenez chaque paire question-réponse et vous les transmettez à un système de notation qui évalue les réponses.

Le système de notation attribue des scores (généralement de 1 à 10) en fonction de la qualité de la réponse :
- 10 = Réponse parfaite, sans marge d'amélioration
- 4 = Adéquate mais avec clairement de la marge pour s'améliorer
- Les scores inférieurs indiquent des réponses médiocres
Après avoir noté toutes les réponses, vous faites la moyenne des scores. Dans notre exemple, les scores de 10, 4 et 9 donnent une moyenne de 7,66, ce qui vous fournit une mesure objective de la performance de votre requête.

Étape 5 : Modifier la requête et recommencer
Une fois votre score de référence établi, vous pouvez maintenant modifier votre requête et relancer l'ensemble du processus pour voir si vos modifications améliorent la performance.

Par exemple, vous pourriez améliorer la requête originale en ajoutant des instructions plus précises :
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Notation des requêtes
La puissance de ce flux de travail réside dans l'obtention de mesures objectives de la performance des requêtes. Vous pouvez comparer les scores entre différentes versions de requêtes pour déterminer laquelle est la plus performante.

Dans notre exemple :
- La requête v1 a obtenu un score de 7,66
- La requête v2 a obtenu un score de 8,7
Le score plus élevé de la v2 fournit une preuve objective que l'ajout de « Répondez à la question de manière très détaillée » a amélioré la performance de la requête. Vous pouvez ensuite utiliser la version la plus performante ou continuer à itérer pour atteindre des scores encore plus élevés.
Cette approche systématique élimine la part de hasard dans l'amélioration des requêtes et vous offre un cadre fiable pour l'optimisation. Bien que la mise en œuvre de systèmes de notation efficaces comporte une certaine complexité, ce flux de travail constitue une base solide pour construire votre propre système d'évaluation.