Chargement

Ingénierie de requêtes

Leçon 1610 min
Chargement

L'ingénierie de requêtes consiste à prendre une requête que vous avez rédigée et à l'améliorer pour obtenir des résultats plus fiables et de meilleure qualité. Ce processus implique de rédiger une requête initiale, d'évaluer sa performance, puis d'appliquer systématiquement des techniques d'ingénierie pour l'améliorer étape par étape.

Évaluation des requêtes, tests automatisés des requêtes, menant à des pratiques d'ingénierie de requêtes telles que la structuration avec des balises XML.

Le processus d'amélioration itérative

L'approche suit un cycle clair : définir un objectif, rédiger une requête initiale, l'évaluer, appliquer une technique d'ingénierie de requêtes, puis réévaluer pour vérifier l'amélioration des performances. Ce cycle se répète au fur et à mesure que vous affinez votre requête.

Cinq étapes d'ingénierie de requêtes, répétant les deux dernières, et une note indiquant d'utiliser le pipeline d'évaluation amélioré dans 001_prompting.ipynb.

Pour cette série de tutoriels, nous allons travailler sur un exemple pratique : créer une requête qui génère des plans de repas d'une journée pour des athlètes en fonction de leur taille, de leur poids, de leurs objectifs physiques et de leurs restrictions alimentaires.

Mise en place du pipeline d'évaluation

L'évaluation utilise une version améliorée du pipeline des modules précédents, encapsulée dans une classe PromptEvaluator qui gère la génération du jeu de données et la notation par le modèle. Cette classe prend en charge la concurrence pour accélérer le processus d'évaluation :

python
evaluator = PromptEvaluator(max_concurrent_tasks=5)

Commencez avec une valeur de concurrence faible (comme 3) pour éviter les erreurs de limite de débit. Vous pouvez ajuster cette valeur en fonction de votre quota API.

Génération des données de test

La méthode generate_dataset crée des cas de test pour votre requête. Vous devez spécifier :

  • Une description de la tâche expliquant ce que votre requête doit faire
  • Une spécification des entrées requises par votre requête
  • Le nombre de cas de test à générer

Pour l'exemple du plan de repas :

python
dataset = evaluator.generate_dataset(
    task_description="Write a compact, concise 1 day meal plan for a single athlete",
    prompt_inputs_spec={
        "height": "Athlete's height in cm",
        "weight": "Athlete's weight in kg", 
        "goal": "Goal of the athlete",
        "restrictions": "Dietary restrictions of the athlete"
    },
    num_cases=3
)

Rédiger votre requête initiale

Commencez avec une requête simple et basique pour établir une référence. La fonction run_prompt reçoit les entrées du cas de test et doit renvoyer la réponse du modèle :

python
def run_prompt(prompt_inputs):
    prompt = f"""
    What should this person eat?
    
    - Height: {prompt_inputs["height"]}
    - Weight: {prompt_inputs["weight"]}
    - Goal: {prompt_inputs["goal"]}
    - Dietary restrictions: {prompt_inputs["restrictions"]}
    """
    
    messages = []
    add_user_message(messages, prompt)
    return chat(messages)

Exécuter l'évaluation

Le processus d'évaluation compare la sortie de votre requête aux critères attendus. Vous pouvez ajouter des critères supplémentaires pour guider la notation :

python
results = evaluator.run_evaluation(
    run_prompt_function=run_prompt,
    dataset_file="dataset.json",
    extra_criteria="""
    The output should include:
    - Daily caloric total
    - Macronutrient breakdown  
    - Meals with exact foods, portions, and timing
    """
)

Analyser les résultats

L'évaluation génère un fichier output.html que vous pouvez ouvrir dans votre navigateur. Ce rapport affiche des résultats détaillés pour chaque cas de test, y compris les scores, le raisonnement et la sortie réelle générée par votre requête.

Rapport d'évaluation des requêtes avec 50 cas de test, score moyen de 2,3 sur 10 et un taux de réussite de 0,0 pour cent, puis une ligne par cas.

Ne vous laissez pas décourager par des scores initiaux bas - c'est normal ! La requête initiale de cet exemple n'a obtenu que 2,3 sur 10, mais cela vous donne une référence claire à partir de laquelle progresser.

Et maintenant ?

Avec votre référence établie, vous pouvez maintenant appliquer systématiquement des techniques d'ingénierie de requêtes telles qu'être plus précis, ajouter des exigences de formatage de sortie, utiliser des requêtes structurées et mettre en œuvre des exemples multi-shot. Chaque technique devrait améliorer votre score d'évaluation, vous donnant une progression mesurable vers votre objectif.