Beim Prompt-Engineering geht es darum, einen Prompt, den du geschrieben hast, zu nehmen und zu verbessern, um zuverlässigere, qualitativ hochwertigere Ausgaben zu erhalten. Dieser Prozess umfasst das Schreiben eines ersten Prompts, das Bewerten seiner Leistung und dann die systematische Anwendung von Engineering-Techniken, um ihn Schritt für Schritt zu verbessern.

Der iterative Verbesserungsprozess
Der Ansatz folgt einem klaren Zyklus: ein Ziel setzen, einen ersten Prompt schreiben, ihn bewerten, eine Prompt-Engineering-Technik anwenden und dann erneut bewerten, um eine bessere Leistung zu überprüfen. Dieser Zyklus wiederholt sich, während du deinen Prompt verfeinerst.

Für diese Tutorial-Reihe arbeiten wir an einem praktischen Beispiel: der Erstellung eines Prompts, der eintägige Ernährungspläne für Athleten basierend auf ihrer Größe, ihrem Gewicht, ihren körperlichen Zielen und Ernährungseinschränkungen generiert.
Einrichten der Evaluations-Pipeline
Die Evaluation verwendet eine verbesserte Version der Pipeline aus vorherigen Modulen, eingebettet in eine PromptEvaluator-Klasse, die die Datensatzgenerierung und Modellbewertung übernimmt. Die Klasse unterstützt Nebenläufigkeit, um den Evaluationsprozess zu beschleunigen:
evaluator = PromptEvaluator(max_concurrent_tasks=5)Beginne mit einem niedrigen Nebenläufigkeitswert (wie 3), um Ratenlimit-Fehler zu vermeiden. Du kannst diesen basierend auf deinem API-Kontingent anpassen.
Testdaten generieren
Die Methode generate_dataset erstellt Testfälle für deinen Prompt. Du musst Folgendes angeben:
- Eine Aufgabenbeschreibung, die erklärt, was dein Prompt tun soll
- Eine Spezifikation der Eingaben, die dein Prompt benötigt
- Die Anzahl der zu generierenden Testfälle
Für das Beispiel der Ernährungsplanung:
dataset = evaluator.generate_dataset(
task_description="Write a compact, concise 1 day meal plan for a single athlete",
prompt_inputs_spec={
"height": "Athlete's height in cm",
"weight": "Athlete's weight in kg",
"goal": "Goal of the athlete",
"restrictions": "Dietary restrictions of the athlete"
},
num_cases=3
)Schreiben deines ersten Prompts
Beginne mit einem einfachen, naiven Prompt, um eine Basislinie zu etablieren. Die Funktion run_prompt erhält die Eingaben des Testfalls und sollte die Antwort des Modells zurückgeben:
def run_prompt(prompt_inputs):
prompt = f"""
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}
"""
messages = []
add_user_message(messages, prompt)
return chat(messages)Die Evaluation ausführen
Der Evaluationsprozess vergleicht die Ausgabe deines Prompts mit den erwarteten Kriterien. Du kannst zusätzliche Kriterien hinzufügen, um die Bewertung zu steuern:
results = evaluator.run_evaluation(
run_prompt_function=run_prompt,
dataset_file="dataset.json",
extra_criteria="""
The output should include:
- Daily caloric total
- Macronutrient breakdown
- Meals with exact foods, portions, and timing
"""
)Ergebnisse analysieren
Die Evaluation generiert eine Datei output.html, die du in deinem Browser öffnen kannst. Dieser Bericht zeigt detaillierte Ergebnisse für jeden Testfall, einschließlich Bewertungen, Begründungen und der tatsächlichen Ausgabe, die von deinem Prompt generiert wurde.

Lass dich nicht von niedrigen anfänglichen Bewertungen entmutigen – das ist zu erwarten! Der ursprüngliche Prompt in diesem Beispiel erzielte nur 2,3 von 10 Punkten, aber das gibt dir eine klare Basislinie, von der aus du dich verbessern kannst.
Was kommt als Nächstes
Mit deiner etablierten Basislinie kannst du nun systematisch Prompt-Engineering-Techniken anwenden, wie spezifischer zu sein, Anforderungen an die Ausgabeformatierung hinzuzufügen, strukturierte Prompts zu verwenden und Multi-Shot-Beispiele zu implementieren. Jede Technik sollte deine Evaluationsbewertung verbessern und dir messbaren Fortschritt in Richtung deines Ziels verschaffen.