L'ingénierie de requêtes consiste à prendre une requête que vous avez rédigée et à l'améliorer pour obtenir des résultats plus fiables et de meilleure qualité. Ce processus implique un raffinement itératif : on commence par une requête basique, on évalue sa performance, puis on applique systématiquement des techniques d'ingénierie pour l'améliorer.

Le processus d'amélioration itérative
L'approche suit un cycle clair que vous pouvez répéter jusqu'à obtenir les résultats souhaités :

- Définir un objectif - Déterminez ce que vous voulez que votre requête accomplisse
- Rédiger une requête initiale - Créez une première tentative basique
- Évaluer la requête - Testez-la par rapport à vos critères
- Appliquer des techniques d'ingénierie de requêtes - Utilisez des méthodes spécifiques pour améliorer la performance
- Réévaluer - Vérifiez que vos modifications ont effectivement amélioré les résultats
Vous répétez les deux dernières étapes jusqu'à ce que vous soyez satisfait de la performance. Chaque itération doit montrer une amélioration mesurable de vos scores d'évaluation.
Mise en place de votre pipeline d'évaluation
Pour illustrer ce processus, nous allons travailler avec un exemple pratique : créer une requête qui génère des plans de repas d'une journée pour des athlètes. La requête doit prendre en compte la taille, le poids, les objectifs et les restrictions alimentaires d'un athlète, puis produire un plan de repas complet.

La configuration d'évaluation utilise une classe PromptEvaluator qui gère la génération du jeu de données et la notation par le modèle. Lors de la création de votre instance d'évaluateur, vous pouvez contrôler la concurrence avec le paramètre max_concurrent_tasks :
evaluator = PromptEvaluator(max_concurrent_tasks=5)Commencez avec une faible valeur de concurrence (comme 3) pour éviter les erreurs de limite de débit. Vous pouvez l'augmenter si votre quota d'API permet un traitement plus rapide.
Génération des données de test
Le système d'évaluation peut générer automatiquement des cas de test en fonction des exigences de votre requête. Vous définissez les entrées dont votre requête a besoin :
dataset = evaluator.generate_dataset(
task_description="Write a compact, concise 1 day meal plan for a single athlete",
prompt_inputs_spec={
"height": "Athlete's height in cm",
"weight": "Athlete's weight in kg",
"goal": "Goal of the athlete",
"restrictions": "Dietary restrictions of the athlete"
},
output_file="dataset.json",
num_cases=3
)Gardez un nombre réduit de cas de test (2-3) pendant le développement pour accélérer votre cycle d'itération. Vous pouvez l'augmenter pour la validation finale.
Rédaction de votre requête initiale
Commencez par une requête simple et naïve pour établir une référence. Voici un exemple d'une première tentative délibérément basique :
def run_prompt(prompt_inputs):
prompt = f"""
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}
"""
messages = []
add_user_message(messages, prompt)
return chat(messages)Cette requête basique produira probablement de mauvais résultats, mais elle vous donne un point de départ pour mesurer les améliorations.
Ajout de critères d'évaluation
Lors de l'exécution de votre évaluation, vous pouvez spécifier des critères supplémentaires que le modèle de notation doit prendre en compte :
results = evaluator.run_evaluation(
run_prompt_function=run_prompt,
dataset_file="dataset.json",
extra_criteria="""
The output should include:
- Daily caloric total
- Macronutrient breakdown
- Meals with exact foods, portions, and timing
"""
)Cela permet de garantir que votre requête est évaluée par rapport aux exigences spécifiques qui comptent pour votre cas d'usage.
Analyse des résultats
Après avoir exécuté une évaluation, vous obtenez à la fois un score numérique et un rapport HTML détaillé. Le rapport vous montre exactement comment chaque cas de test s'est comporté, y compris le raisonnement du modèle pour chaque score.

Ne vous laissez pas décourager par des scores initiaux faibles - un score de 2,3 sur 10 est typique pour une première tentative. L'objectif est de constater une amélioration constante à mesure que vous appliquez des techniques d'ingénierie.

Le rapport d'évaluation détaillé vous aide à comprendre exactement où votre requête échoue et quelles améliorations sont nécessaires. Utilisez ce retour pour orienter votre prochaine itération.
Prochaines étapes
Votre référence établie, vous êtes prêt à commencer à appliquer des techniques spécifiques d'ingénierie de requêtes. Chaque technique que vous apprenez doit entraîner une amélioration mesurable de vos scores d'évaluation, transformant progressivement votre requête basique en un outil fiable et performant.
N'oubliez pas que l'ingénierie de requêtes est un processus itératif. La clé est d'apporter un changement à la fois, d'évaluer l'impact, et de s'appuyer sur ce qui fonctionne. Cette approche systématique vous permet de comprendre quelles techniques apportent le plus de valeur pour votre cas d'usage spécifique.