Chargement

Ingénierie de requêtes

Leçon 1515 min
Chargement

L'ingénierie de requêtes consiste à prendre une requête que vous avez rédigée et à l'améliorer pour obtenir des résultats plus fiables et de meilleure qualité. Ce processus implique un raffinement itératif : on commence par une requête basique, on évalue sa performance, puis on applique systématiquement des techniques d'ingénierie pour l'améliorer.

L'évaluation des requêtes, test automatisé des requêtes, mène à des pratiques d'ingénierie de requêtes telles que la structuration avec des balises XML.

Le processus d'amélioration itérative

L'approche suit un cycle clair que vous pouvez répéter jusqu'à obtenir les résultats souhaités :

Cinq étapes d'ingénierie de requêtes, répétant les deux dernières, avec une note indiquant d'utiliser le pipeline d'évaluation amélioré dans 001_prompting.ipynb.

  1. Définir un objectif - Déterminez ce que vous voulez que votre requête accomplisse
  2. Rédiger une requête initiale - Créez une première tentative basique
  3. Évaluer la requête - Testez-la par rapport à vos critères
  4. Appliquer des techniques d'ingénierie de requêtes - Utilisez des méthodes spécifiques pour améliorer la performance
  5. Réévaluer - Vérifiez que vos modifications ont effectivement amélioré les résultats

Vous répétez les deux dernières étapes jusqu'à ce que vous soyez satisfait de la performance. Chaque itération doit montrer une amélioration mesurable de vos scores d'évaluation.

Mise en place de votre pipeline d'évaluation

Pour illustrer ce processus, nous allons travailler avec un exemple pratique : créer une requête qui génère des plans de repas d'une journée pour des athlètes. La requête doit prendre en compte la taille, le poids, les objectifs et les restrictions alimentaires d'un athlète, puis produire un plan de repas complet.

Entrée : taille 180 cm, poids 75 kg, objectif « maintenir le poids et améliorer la puissance », intolérance au lactose ; sortie : environ 3000 calories.

La configuration d'évaluation utilise une classe PromptEvaluator qui gère la génération du jeu de données et la notation par le modèle. Lors de la création de votre instance d'évaluateur, vous pouvez contrôler la concurrence avec le paramètre max_concurrent_tasks :

python
evaluator = PromptEvaluator(max_concurrent_tasks=5)

Commencez avec une faible valeur de concurrence (comme 3) pour éviter les erreurs de limite de débit. Vous pouvez l'augmenter si votre quota d'API permet un traitement plus rapide.

Génération des données de test

Le système d'évaluation peut générer automatiquement des cas de test en fonction des exigences de votre requête. Vous définissez les entrées dont votre requête a besoin :

python
dataset = evaluator.generate_dataset(
    task_description="Write a compact, concise 1 day meal plan for a single athlete",
    prompt_inputs_spec={
        "height": "Athlete's height in cm",
        "weight": "Athlete's weight in kg", 
        "goal": "Goal of the athlete",
        "restrictions": "Dietary restrictions of the athlete"
    },
    output_file="dataset.json",
    num_cases=3
)

Gardez un nombre réduit de cas de test (2-3) pendant le développement pour accélérer votre cycle d'itération. Vous pouvez l'augmenter pour la validation finale.

Rédaction de votre requête initiale

Commencez par une requête simple et naïve pour établir une référence. Voici un exemple d'une première tentative délibérément basique :

python
def run_prompt(prompt_inputs):
    prompt = f"""
What should this person eat?

- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}
"""
    
    messages = []
    add_user_message(messages, prompt)
    return chat(messages)

Cette requête basique produira probablement de mauvais résultats, mais elle vous donne un point de départ pour mesurer les améliorations.

Ajout de critères d'évaluation

Lors de l'exécution de votre évaluation, vous pouvez spécifier des critères supplémentaires que le modèle de notation doit prendre en compte :

python
results = evaluator.run_evaluation(
    run_prompt_function=run_prompt,
    dataset_file="dataset.json",
    extra_criteria="""
The output should include:
- Daily caloric total
- Macronutrient breakdown  
- Meals with exact foods, portions, and timing
"""
)

Cela permet de garantir que votre requête est évaluée par rapport aux exigences spécifiques qui comptent pour votre cas d'usage.

Analyse des résultats

Après avoir exécuté une évaluation, vous obtenez à la fois un score numérique et un rapport HTML détaillé. Le rapport vous montre exactement comment chaque cas de test s'est comporté, y compris le raisonnement du modèle pour chaque score.

Rapport d'évaluation des requêtes avec 50 cas de test, score moyen de 2,3 sur 10 et un taux de réussite de 0,0 %, suivi d'une ligne par cas.

Ne vous laissez pas décourager par des scores initiaux faibles - un score de 2,3 sur 10 est typique pour une première tentative. L'objectif est de constater une amélioration constante à mesure que vous appliquez des techniques d'ingénierie.

Rapport d'évaluation des requêtes avec 50 cas de test, score moyen de 2,3 sur 10 et un taux de réussite de 0,0 %, suivi d'une ligne par cas.

Le rapport d'évaluation détaillé vous aide à comprendre exactement où votre requête échoue et quelles améliorations sont nécessaires. Utilisez ce retour pour orienter votre prochaine itération.

Prochaines étapes

Votre référence établie, vous êtes prêt à commencer à appliquer des techniques spécifiques d'ingénierie de requêtes. Chaque technique que vous apprenez doit entraîner une amélioration mesurable de vos scores d'évaluation, transformant progressivement votre requête basique en un outil fiable et performant.

N'oubliez pas que l'ingénierie de requêtes est un processus itératif. La clé est d'apporter un changement à la fois, d'évaluer l'impact, et de s'appuyer sur ce qui fonctionne. Cette approche systématique vous permet de comprendre quelles techniques apportent le plus de valeur pour votre cas d'usage spécifique.