Chargement

Un flux de travail d'évaluation typique

Leçon 1010 min
Chargement

Un flux de travail typique d'évaluation des requêtes suit cinq étapes clés qui vous aident à améliorer systématiquement vos requêtes grâce à une mesure objective. Bien qu'il existe de nombreuses façons différentes d'assembler ces flux de travail et divers outils open source et payants disponibles, comprendre le processus de base vous aide à commencer petit et à monter en puissance selon les besoins.

Les cinq étapes du flux de travail d'évaluation des requêtes, de la rédaction d'une requête à la modification de la requête et la répétition, décrites ci-dessous.

Étape 1 : Rédiger une requête

Commencez par rédiger une requête initiale que vous souhaitez améliorer. Pour cet exemple, nous utiliserons une requête simple :

python
prompt = f"""
Please answer the user's question:

{question}
"""

L'ébauche initiale de la requête présentée ci-dessus, avec une remarque indiquant que nous ne saurons pas si elle est efficace tant que nous ne l'aurons pas évaluée objectivement.

Cette requête de base servira de référence pour les tests et l'amélioration.

Étape 2 : Créer un jeu de données d'évaluation

Votre jeu de données d'évaluation contient des exemples d'entrées qui représentent les types de questions ou de demandes que votre requête traitera en production. Le jeu de données doit inclure des questions qui seront interpolées dans votre modèle de requête.

Le flux de travail d'évaluation à l'étape Créer un jeu de données d'évaluation : une colonne « Question » contenant les trois questions listées ci-dessous.

Pour cet exemple, notre jeu de données comprend trois questions :

  • « Combien font 2+2 ? »
  • « Comment préparer du porridge d'avoine ? »
  • « À quelle distance se trouve la Lune ? »

Dans des évaluations réelles, vous pourriez avoir des dizaines, des centaines, voire des milliers d'enregistrements. Vous pouvez assembler ces jeux de données manuellement ou utiliser Claude pour les générer pour vous.

Étape 3 : Faire passer par Claude

Prenez chaque question de votre jeu de données et fusionnez-la avec votre modèle de requête pour créer des requêtes complètes. Envoyez ensuite chacune à Claude pour obtenir des réponses.

Une requête avec un espace réservé pour une question, trois questions de test telles que « Combien font 2+2 ? », et les réponses de Claude telles que « 2 + 2 = 4 ».

Par exemple, la première question devient :

Please answer the user's question:
What's 2+2?

Claude pourrait répondre « 2 + 2 = 4 » pour la question de mathématiques, fournir des instructions de préparation du porridge d'avoine pour la deuxième question, et donner la distance jusqu'à la Lune pour la troisième.

Étape 4 : Faire passer par un évaluateur

L'évaluateur évalue la qualité des réponses de Claude en examinant à la fois la question originale et la réponse de Claude. Cette étape fournit une notation objective, généralement sur une échelle de 1 à 10, où 10 représente une réponse parfaite et des scores plus bas indiquent une marge d'amélioration.

L'étape de l'évaluateur du pipeline d'évaluation mise en évidence : les trois paires question-réponse entrent dans un évaluateur, notées 10, 4 et 9.

Dans notre exemple, l'évaluateur pourrait attribuer :

  • Question de mathématiques : 10 (réponse parfaite)
  • Question sur le porridge d'avoine : 4 (nécessite une amélioration)
  • Question sur la Lune : 9 (très bonne réponse)

Le score moyen sur l'ensemble des questions vous donne une mesure objective : (10 + 4 + 9) ÷ 3 = 7,66

Étape 5 : Modifier la requête et répéter

Maintenant que vous disposez d'un score de référence, vous pouvez modifier votre requête et relancer l'ensemble du processus pour voir si vos changements améliorent les performances.

Le flux de travail d'évaluation en cinq étapes avec la dernière étape, « Modifier la requête et répéter », mise en évidence et la requête révisée présentée ci-dessous.

Par exemple, vous pourriez ajouter plus de consignes à votre requête :

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

Après avoir exécuté cette requête améliorée via le même processus d'évaluation, vous pourriez obtenir un score moyen plus élevé de 8,7, indiquant que l'instruction supplémentaire a aidé Claude à fournir de meilleures réponses.

Notation des requêtes

L'avantage clé de ce flux de travail est d'obtenir des mesures objectives de la performance des requêtes. Vous pouvez :

  • Comparer numériquement différentes versions de requêtes
  • Utiliser la version ayant le meilleur score
  • Continuer à itérer pour trouver des approches encore meilleures

La requête v1 a obtenu un score de 7,66, et la requête v2, qui ajoute « Répondez à la question avec beaucoup de détails », a obtenu un score de 8,7.

Cette approche systématique élimine les conjectures de l'ingénierie de requêtes et vous donne la certitude que vos changements constituent de réelles améliorations plutôt que de simples variations.