Beim Prompt-Engineering geht es darum, einen bereits geschriebenen Prompt zu nehmen und ihn zu verbessern, um zuverlässigere, qualitativ hochwertigere Ausgaben zu erhalten. Dieser Prozess beinhaltet eine iterative Verfeinerung – beginnend mit einem einfachen Prompt, wird dessen Leistung bewertet und dann werden systematisch Engineering-Techniken angewendet, um ihn zu verbessern.

Der iterative Verbesserungsprozess
Der Ansatz folgt einem klaren Zyklus, den du wiederholen kannst, bis du die gewünschten Ergebnisse erzielst:

- Ein Ziel festlegen - Definiere, was dein Prompt erreichen soll
- Einen ersten Prompt schreiben - Erstelle einen einfachen ersten Versuch
- Den Prompt evaluieren - Teste ihn anhand deiner Kriterien
- Prompt-Engineering-Techniken anwenden - Verwende bestimmte Methoden, um die Leistung zu verbessern
- Erneut evaluieren - Überprüfe, ob deine Änderungen die Ergebnisse tatsächlich verbessert haben
Du wiederholst die letzten beiden Schritte, bis du mit der Leistung zufrieden bist. Jede Iteration sollte eine messbare Verbesserung deiner Evaluationswerte zeigen.
Beispiel: Ernährungsplanung für Athleten
Gehen wir ein praktisches Beispiel durch. Das Ziel ist es, einen Prompt zu erstellen, der basierend auf den körperlichen Merkmalen und Anforderungen von Athleten einen eintägigen Ernährungsplan generiert.

Der Prompt nimmt diese Eingaben auf und sollte einen umfassenden Ernährungsplan mit Kalorien-Gesamtsummen, Makronährstoff-Aufschlüsselungen und spezifischen Mahlzeiten-Details mit Portionen und Zeitangaben erzeugen.
Einrichten des Evaluationsrahmens
Um Verbesserungen systematisch zu messen, benötigst du eine robuste Evaluationsumgebung. Der Rahmen umfasst:
- Datensatzgenerierung - Erstelle Testfälle, die reale Szenarien repräsentieren
- Automatisierte Bewertung - Verwende konsistente Kriterien zur Bewertung der Ausgaben
- Leistungsverfolgung - Überwache Verbesserungen über mehrere Iterationen hinweg
Achte beim Einrichten deines Evaluators auf API-Ratenlimits. Beginne mit niedriger Parallelität (1-3 gleichzeitige Anfragen) und erhöhe sie nur, wenn du keine Ratenlimit-Fehler erhältst.
Erstellen deines ersten Prompts
Beginne mit etwas Einfachem, auch wenn du weißt, dass es nicht gut ist. Hier ist ein Beispiel für einen einfachen ersten Versuch:
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}Dieser Prompt ist absichtlich einfach gehalten und wird wahrscheinlich schlechte Ergebnisse liefern. Genau das willst du – eine klare Ausgangsbasis, von der aus du dich verbessern kannst.
Festlegen von Evaluationskriterien
Definiere spezifische Kriterien, die dein Prompt erfüllen sollte. Für das Beispiel der Ernährungsplanung sollte eine gute Ausgabe Folgendes enthalten:
- Tägliche Kalorien-Gesamtsumme
- Makronährstoff-Aufschlüsselung
- Mahlzeiten mit exakten Lebensmitteln, Portionen und Zeitangaben
Diese Kriterien helfen dem Evaluationsmodell, Ausgaben konsistent zu bewerten, und geben dir klare Ziele für die Verbesserung vor.
Messen der Basisleistung
Führe deinen ersten Prompt durch den Evaluationsrahmen. Lass dich nicht von niedrigen Werten entmutigen – ein Wert von 2,3 von 10 ist tatsächlich perfekt als Ausgangspunkt. Er gibt dir reichlich Spielraum, um Verbesserungen zu demonstrieren.

Analyse der Ergebnisse
Die meisten Evaluationsrahmen generieren detaillierte Berichte, die zeigen, wie jeder Testfall abgeschnitten hat. Diese Berichte enthalten typischerweise:

- Ergebnisse einzelner Testfälle - Sieh genau, was das Modell produziert hat
- Bewertungsaufschlüsselung - Verstehe, warum bestimmte Ausgaben schlecht abgeschnitten haben
- Begründung - Erhalte Feedback dazu, was fehlt oder falsch ist
Nutze dieses detaillierte Feedback, um bestimmte Bereiche zu identifizieren, in denen dein Prompt verbessert werden muss. Achte auf Muster über mehrere Testfälle hinweg, um systematische Probleme zu verstehen, anstatt nur Einzelfälle zu betrachten.
Nächste Schritte
Mit deiner festgelegten Basis und dem eingerichteten Evaluationsrahmen bist du bereit, spezifische Prompt-Engineering-Techniken anzuwenden. Jede Technik, die du anwendest, sollte zu einer messbaren Verbesserung deiner Evaluationswerte führen und dich deiner idealen Ausgabequalität näherbringen.
Der Schlüssel liegt darin, jeweils eine Änderung vorzunehmen, die Auswirkung zu evaluieren und dann zu entscheiden, ob du die Änderung beibehältst oder einen anderen Ansatz ausprobierst. Dieser systematische Prozess stellt sicher, dass du verstehst, welche Techniken für deinen speziellen Anwendungsfall am besten funktionieren.