Chargement

Un flux de travail d'évaluation typique

Leçon 118 min
Chargement

Un flux de travail d'évaluation de requêtes typique suit une approche systématique pour mesurer objectivement et améliorer vos requêtes. Bien qu'il existe de nombreuses façons différentes d'assembler ces flux de travail et divers outils open source et payants disponibles, comprendre le processus central vous aide à commencer petit et à monter en puissance selon les besoins.

Les cinq étapes du flux de travail d'évaluation de requêtes, de la rédaction d'une requête à la modification de la requête et la répétition, décrites ci-dessous.

Étape 1 : Rédigez votre requête initiale

Commencez par rédiger une requête de base que vous souhaitez améliorer. Pour cet exemple, nous utiliserons une structure de requête simple :

python
prompt = f"""
Please answer the user's question:

{question}
"""

La première version de la requête affichée ci-dessus, avec une note indiquant que nous ne saurons pas si elle est efficace tant que nous ne l'aurons pas évaluée objectivement.

Cela nous donne une base de référence à partir de laquelle travailler. Nous ne saurons pas si elle est efficace tant que nous ne l'aurons pas évaluée avec une méthodologie objective.

Étape 2 : Créez un jeu de données d'évaluation

Votre jeu de données d'évaluation contient des exemples d'entrées que vous allez injecter dans votre requête. Puisque notre requête n'a qu'une seule entrée (la question de l'utilisateur), nous avons besoin d'une collection de différentes questions pour effectuer les tests.

Le flux de travail d'évaluation à l'étape « Créer un jeu de données d'évaluation » : une colonne « Question » contenant les trois questions listées ci-dessous.

Le jeu de données contient des questions que nous fusionnerons avec notre requête. Vous pouvez assembler ces jeux de données manuellement ou les générer à l'aide de Claude. Dans des évaluations réelles, vous pourriez avoir des dizaines, des centaines, voire des milliers d'enregistrements différents, mais nous commencerons avec seulement trois questions pour cet exemple :

  • Combien font 2+2 ?
  • Comment préparer du porridge ?
  • À quelle distance se trouve la Lune ?

Étape 3 : Transmettez à Claude

Prenez chaque question de votre jeu de données et fusionnez-la avec votre modèle de requête pour créer des requêtes complètes. Envoyez ensuite chacune d'elles à Claude et collectez les réponses.

Une requête avec un espace réservé pour la question, trois questions de test telles que « Combien font 2+2 ? », et les réponses de Claude telles que « 2 + 2 = 4 ».

Par exemple, la première question devient une requête complète à laquelle Claude peut répondre. Vous répéterez ce processus pour tous les enregistrements de votre jeu de données, en obtenant des réponses telles que « 2 + 2 = 4 », des instructions détaillées pour préparer du porridge, et des informations sur la distance de la Lune.

Étape 4 : Transmettez à un évaluateur

Vient maintenant l'étape cruciale : noter objectivement les réponses de Claude. Prenez chaque paire question-réponse et transmettez-la à un évaluateur qui évaluera la qualité de la réponse de Claude.

L'étape de l'évaluateur dans le pipeline d'évaluation mise en évidence : les trois paires question-réponse entrent dans un évaluateur, notées 10, 4 et 9.

L'évaluateur attribue des notes (généralement de 1 à 10) en fonction de la qualité de la réponse :

  • 10 = Réponse parfaite, aucune marge d'amélioration
  • 4 = Marge d'amélioration certaine
  • 1 = Réponse médiocre ou incorrecte

Dans notre exemple, les réponses pourraient obtenir respectivement les notes 10, 4 et 9. Faites la moyenne de ces notes pour obtenir une mesure globale de performance : 7,66.

Les quatre étapes d'évaluation, avec l'évaluateur notant des réponses telles que « Ajoutez de l'eau chaude au porridge sec. » et calculant la moyenne des notes.

Étape 5 : Modifiez la requête et répétez

Une fois votre note de référence établie, vous pouvez désormais itérer sur votre requête. Essayez d'ajouter des instructions plus précises pour guider les réponses de Claude :

Le flux de travail d'évaluation en cinq étapes avec la dernière étape, « Modifiez la requête et répétez », mise en évidence et la requête révisée affichée ci-dessous.

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

Exécutez à nouveau cette requête améliorée à travers l'ensemble du pipeline d'évaluation. Comparez les notes pour voir quelle version fonctionne le mieux.

Notation et itération des requêtes

La puissance de ce flux de travail réside dans l'obtention de mesures objectives pour chaque version de requête. Vous pouvez comparer les notes entre différentes itérations et utiliser la version offrant la meilleure performance, ou continuer à itérer pour trouver des approches encore meilleures.

La requête v1 a obtenu une note de 7,66, et la requête v2, qui ajoute « Répondez à la question avec beaucoup de détails », a obtenu une note de 8,7.

Dans notre exemple :

  • La requête v1 a obtenu une note de 7,66
  • La requête v2 a obtenu une note de 8,7

La note plus élevée pour la v2 suggère que l'ajout de « Répondez à la question avec beaucoup de détails » a amélioré la performance de la requête sur nos cas de test.

Cette approche systématique vous offre un moyen objectif de mesurer les améliorations apportées aux requêtes plutôt que de vous fier à un jugement subjectif. Vous pouvez commencer avec une implémentation simple et ajouter progressivement des critères d'évaluation plus sophistiqués à mesure que vos besoins évoluent.