Chargement

Ingénierie des requêtes

Leçon 165 min
Chargement

L'ingénierie des requêtes consiste à prendre une requête que vous avez rédigée et à l'améliorer pour obtenir des résultats plus fiables et de meilleure qualité. Ce processus implique un raffinement itératif : on commence par une requête basique, on évalue ses performances, puis on applique systématiquement des techniques d'ingénierie pour l'améliorer.

Évaluation des requêtes, tests automatisés des requêtes, menant à des pratiques d'ingénierie des requêtes telles que la structuration avec des balises XML.

Le processus d'amélioration itérative

Cette approche suit un cycle clair que vous pouvez répéter jusqu'à obtenir les résultats souhaités :

Cinq étapes d'ingénierie des requêtes, répétant les deux dernières, et une note indiquant d'utiliser le pipeline d'évaluation amélioré dans 001_prompting.ipynb.

  1. Définir un objectif - Déterminez ce que vous souhaitez que votre requête accomplisse
  2. Rédiger une requête initiale - Créez une première tentative basique
  3. Évaluer la requête - Testez-la selon vos critères
  4. Appliquer des techniques d'ingénierie des requêtes - Utilisez des méthodes spécifiques pour améliorer les performances
  5. Réévaluer - Vérifiez que vos modifications ont réellement amélioré les résultats

Vous répétez les deux dernières étapes jusqu'à ce que vous soyez satisfait des performances. Chaque itération devrait montrer une amélioration mesurable de vos scores d'évaluation.

Exemple : planification des repas pour les athlètes

Examinons un exemple concret. L'objectif est de créer une requête qui génère un plan de repas sur une journée pour des athlètes en fonction de leurs caractéristiques physiques et de leurs besoins.

Saisie taille 180cm, poids 75kg, objectif « maintenir le poids et améliorer la puissance », intolérance au lactose, sortie d'environ 3000 calories.

La requête prend ces données en entrée et doit produire un plan de repas complet avec les totaux caloriques, la répartition des macronutriments, et des détails précis sur les repas avec portions et horaires.

Mise en place du cadre d'évaluation

Pour mesurer l'amélioration de manière systématique, vous avez besoin d'une configuration d'évaluation solide. Ce cadre comprend :

  • Génération de jeux de données - Créez des cas de test représentatifs de scénarios réels
  • Notation automatisée - Utilisez des critères cohérents pour évaluer les sorties
  • Suivi des performances - Surveillez les améliorations au fil des itérations

Lorsque vous configurez votre évaluateur, soyez attentif aux limites de débit de l'API. Commencez avec une faible concurrence (1 à 3 requêtes simultanées) et n'augmentez que si vous ne rencontrez pas d'erreurs de limite de débit.

Créer votre requête initiale

Commencez par quelque chose de simple, même si vous savez que ce n'est pas optimal. Voici un exemple de première tentative basique :

What should this person eat?

- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}  
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}

Cette requête est intentionnellement basique et produira probablement des résultats médiocres. C'est exactement ce que vous voulez : une référence de départ claire à partir de laquelle vous améliorer.

Établir des critères d'évaluation

Définissez des critères spécifiques que votre requête doit respecter. Pour l'exemple de la planification des repas, une bonne sortie devrait inclure :

  • Le total calorique quotidien
  • La répartition des macronutriments
  • Des repas avec des aliments précis, des portions et des horaires

Ces critères aident le modèle d'évaluation à noter les sorties de manière cohérente et vous donnent des objectifs clairs d'amélioration.

Mesurer les performances de référence

Exécutez votre requête initiale à travers le cadre d'évaluation. Ne vous laissez pas décourager par des scores bas - un score de 2,3 sur 10 est en réalité parfait comme point de départ. Cela vous laisse une grande marge pour démontrer une amélioration.

Rapport d'évaluation de requête avec 50 cas de test, score moyen de 2,3 sur 10 et un taux de réussite de 0,0 %, puis une ligne par cas.

Analyser les résultats

La plupart des cadres d'évaluation génèrent des rapports détaillés montrant la performance de chaque cas de test. Ces rapports incluent généralement :

Rapport d'évaluation de requête avec 50 cas de test, score moyen de 2,3 sur 10 et un taux de réussite de 0,0 %, puis une ligne par cas.

  • Résultats individuels des cas de test - Voyez exactement ce que le modèle a produit
  • Détail des notations - Comprenez pourquoi certaines sorties ont obtenu de mauvais scores
  • Raisonnement - Obtenez des retours sur ce qui manque ou ce qui est incorrect

Utilisez ce retour détaillé pour identifier les domaines spécifiques où votre requête nécessite une amélioration. Recherchez des tendances récurrentes parmi plusieurs cas de test afin de comprendre les problèmes systématiques plutôt que les problèmes isolés.

Prochaines étapes

Une fois votre référence établie et votre cadre d'évaluation en place, vous êtes prêt à commencer à appliquer des techniques spécifiques d'ingénierie des requêtes. Chaque technique que vous appliquez devrait entraîner une amélioration mesurable de vos scores d'évaluation, vous rapprochant de la qualité de sortie idéale.

La clé consiste à apporter un changement à la fois, à évaluer son impact, puis à décider de conserver ce changement ou d'essayer une approche différente. Ce processus systématique vous permet de comprendre quelles techniques fonctionnent le mieux pour votre cas d'usage spécifique.