Beim Prompt-Engineering geht es darum, einen bereits geschriebenen Prompt zu nehmen und zu verbessern, um zuverlässigere, hochwertigere Ausgaben zu erhalten. Dieser Prozess umfasst eine iterative Verfeinerung - beginnend mit einem einfachen Prompt, die Bewertung seiner Leistung und anschließend die systematische Anwendung von Engineering-Techniken zur Verbesserung.

Der iterative Verbesserungsprozess
Der Ansatz folgt einem klaren Zyklus, den du wiederholen kannst, bis du die gewünschten Ergebnisse erzielst:

- Ein Ziel festlegen - Definiere, was dein Prompt erreichen soll
- Einen ersten Prompt schreiben - Erstelle einen einfachen ersten Versuch
- Den Prompt evaluieren - Teste ihn anhand deiner Kriterien
- Prompt-Engineering-Techniken anwenden - Verwende spezifische Methoden, um die Leistung zu verbessern
- Erneut evaluieren - Überprüfe, ob deine Änderungen die Ergebnisse tatsächlich verbessert haben
Du wiederholst die letzten beiden Schritte, bis du mit der Leistung zufrieden bist. Jede Iteration sollte eine messbare Verbesserung deiner Evaluierungswerte zeigen.
Einrichten deiner Evaluierungs-Pipeline
Um diesen Prozess zu veranschaulichen, arbeiten wir mit einem praktischen Beispiel: der Erstellung eines Prompts, der eintägige Ernährungspläne für Athleten generiert. Der Prompt muss Größe, Gewicht, Ziele und Ernährungseinschränkungen eines Athleten berücksichtigen und dann einen umfassenden Ernährungsplan erstellen.

Das Evaluierungs-Setup verwendet eine PromptEvaluator-Klasse, die die Datensatzgenerierung und Modellbewertung übernimmt. Beim Erstellen deiner Evaluator-Instanz kannst du die Parallelität mit dem Parameter max_concurrent_tasks steuern:
evaluator = PromptEvaluator(max_concurrent_tasks=5)Beginne mit einem niedrigen Parallelitätswert (wie 3), um Ratenlimit-Fehler zu vermeiden. Du kannst ihn erhöhen, wenn dein API-Kontingent eine schnellere Verarbeitung zulässt.
Generieren von Testdaten
Das Evaluierungssystem kann automatisch Testfälle basierend auf den Anforderungen deines Prompts generieren. Du definierst, welche Eingaben dein Prompt benötigt:
dataset = evaluator.generate_dataset(
task_description="Write a compact, concise 1 day meal plan for a single athlete",
prompt_inputs_spec={
"height": "Athlete's height in cm",
"weight": "Athlete's weight in kg",
"goal": "Goal of the athlete",
"restrictions": "Dietary restrictions of the athlete"
},
output_file="dataset.json",
num_cases=3
)Halte die Anzahl der Testfälle während der Entwicklung niedrig (2-3), um deinen Iterationszyklus zu beschleunigen. Du kannst diese Zahl für die abschließende Validierung erhöhen.
Schreiben deines ersten Prompts
Beginne mit einem einfachen, naiven Prompt, um eine Basislinie festzulegen. Hier ist ein Beispiel für einen bewusst einfachen ersten Versuch:
def run_prompt(prompt_inputs):
prompt = f"""
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}
"""
messages = []
add_user_message(messages, prompt)
return chat(messages)Dieser einfache Prompt wird wahrscheinlich schlechte Ergebnisse liefern, gibt dir aber einen Ausgangspunkt, an dem du Verbesserungen messen kannst.
Hinzufügen von Evaluierungskriterien
Beim Ausführen deiner Evaluierung kannst du zusätzliche Kriterien angeben, die das bewertende Modell berücksichtigen soll:
results = evaluator.run_evaluation(
run_prompt_function=run_prompt,
dataset_file="dataset.json",
extra_criteria="""
The output should include:
- Daily caloric total
- Macronutrient breakdown
- Meals with exact foods, portions, and timing
"""
)Dies hilft sicherzustellen, dass dein Prompt anhand der spezifischen Anforderungen bewertet wird, die für deinen Anwendungsfall wichtig sind.
Analyse der Ergebnisse
Nach der Durchführung einer Evaluierung erhältst du sowohl eine numerische Bewertung als auch einen detaillierten HTML-Bericht. Der Bericht zeigt dir genau, wie jeder Testfall abgeschnitten hat, einschließlich der Begründung des Modells für jede Bewertung.

Lass dich nicht von niedrigen anfänglichen Bewertungen entmutigen - eine Bewertung von 2,3 von 10 ist typisch für einen ersten Versuch. Das Ziel ist es, eine konsistente Verbesserung zu sehen, während du Engineering-Techniken anwendest.

Der detaillierte Evaluierungsbericht hilft dir zu verstehen, wo genau dein Prompt versagt und welche Verbesserungen erforderlich sind. Nutze dieses Feedback, um deine nächste Iteration zu steuern.
Nächste Schritte
Mit deiner etablierten Basislinie bist du bereit, spezifische Prompt-Engineering-Techniken anzuwenden. Jede Technik, die du lernst, sollte zu einer messbaren Verbesserung deiner Evaluierungswerte führen und deinen einfachen Prompt schrittweise in ein zuverlässiges, leistungsstarkes Tool verwandeln.
Denk daran, dass Prompt-Engineering ein iterativer Prozess ist. Der Schlüssel liegt darin, jeweils eine Änderung vorzunehmen, die Auswirkung zu evaluieren und auf dem aufzubauen, was funktioniert. Dieser systematische Ansatz stellt sicher, dass du verstehst, welche Techniken für deinen spezifischen Anwendungsfall den größten Mehrwert bieten.