Wird geladen
Wird geladen

Beim Prompt-Engineering geht es darum, einen bereits geschriebenen Prompt zu nehmen und zu verbessern, um zuverlässigere, hochwertigere Ausgaben zu erhalten. Dieser Prozess umfasst eine iterative Verfeinerung - beginnend mit einem einfachen Prompt, die Bewertung seiner Leistung und anschließend die systematische Anwendung von Engineering-Techniken zur Verbesserung.

Prompt-Evaluierung, automatisiertes Testen von Prompts, führt zu Prompt-Engineering-Praktiken wie der Strukturierung mit XML-Tags.

Der iterative Verbesserungsprozess

Der Ansatz folgt einem klaren Zyklus, den du wiederholen kannst, bis du die gewünschten Ergebnisse erzielst:

Fünf Schritte des Prompt-Engineerings, wobei die letzten beiden wiederholt werden, und ein Hinweis, die verbesserte Eval-Pipeline in 001_prompting.ipynb zu verwenden.

  1. Ein Ziel festlegen - Definiere, was dein Prompt erreichen soll
  2. Einen ersten Prompt schreiben - Erstelle einen einfachen ersten Versuch
  3. Den Prompt evaluieren - Teste ihn anhand deiner Kriterien
  4. Prompt-Engineering-Techniken anwenden - Verwende spezifische Methoden, um die Leistung zu verbessern
  5. Erneut evaluieren - Überprüfe, ob deine Änderungen die Ergebnisse tatsächlich verbessert haben

Du wiederholst die letzten beiden Schritte, bis du mit der Leistung zufrieden bist. Jede Iteration sollte eine messbare Verbesserung deiner Evaluierungswerte zeigen.

Einrichten deiner Evaluierungs-Pipeline

Um diesen Prozess zu veranschaulichen, arbeiten wir mit einem praktischen Beispiel: der Erstellung eines Prompts, der eintägige Ernährungspläne für Athleten generiert. Der Prompt muss Größe, Gewicht, Ziele und Ernährungseinschränkungen eines Athleten berücksichtigen und dann einen umfassenden Ernährungsplan erstellen.

Eingabe Größe 180cm, Gewicht 75kg, Ziel „Gewicht halten und Kraft verbessern“, Laktoseintoleranz, Ausgabe etwa 3000 Kalorien.

Das Evaluierungs-Setup verwendet eine PromptEvaluator-Klasse, die die Datensatzgenerierung und Modellbewertung übernimmt. Beim Erstellen deiner Evaluator-Instanz kannst du die Parallelität mit dem Parameter max_concurrent_tasks steuern:

python
evaluator = PromptEvaluator(max_concurrent_tasks=5)

Beginne mit einem niedrigen Parallelitätswert (wie 3), um Ratenlimit-Fehler zu vermeiden. Du kannst ihn erhöhen, wenn dein API-Kontingent eine schnellere Verarbeitung zulässt.

Generieren von Testdaten

Das Evaluierungssystem kann automatisch Testfälle basierend auf den Anforderungen deines Prompts generieren. Du definierst, welche Eingaben dein Prompt benötigt:

python
dataset = evaluator.generate_dataset(
    task_description="Write a compact, concise 1 day meal plan for a single athlete",
    prompt_inputs_spec={
        "height": "Athlete's height in cm",
        "weight": "Athlete's weight in kg", 
        "goal": "Goal of the athlete",
        "restrictions": "Dietary restrictions of the athlete"
    },
    output_file="dataset.json",
    num_cases=3
)

Halte die Anzahl der Testfälle während der Entwicklung niedrig (2-3), um deinen Iterationszyklus zu beschleunigen. Du kannst diese Zahl für die abschließende Validierung erhöhen.

Schreiben deines ersten Prompts

Beginne mit einem einfachen, naiven Prompt, um eine Basislinie festzulegen. Hier ist ein Beispiel für einen bewusst einfachen ersten Versuch:

python
def run_prompt(prompt_inputs):
    prompt = f"""
What should this person eat?

- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}
"""
    
    messages = []
    add_user_message(messages, prompt)
    return chat(messages)

Dieser einfache Prompt wird wahrscheinlich schlechte Ergebnisse liefern, gibt dir aber einen Ausgangspunkt, an dem du Verbesserungen messen kannst.

Hinzufügen von Evaluierungskriterien

Beim Ausführen deiner Evaluierung kannst du zusätzliche Kriterien angeben, die das bewertende Modell berücksichtigen soll:

python
results = evaluator.run_evaluation(
    run_prompt_function=run_prompt,
    dataset_file="dataset.json",
    extra_criteria="""
The output should include:
- Daily caloric total
- Macronutrient breakdown  
- Meals with exact foods, portions, and timing
"""
)

Dies hilft sicherzustellen, dass dein Prompt anhand der spezifischen Anforderungen bewertet wird, die für deinen Anwendungsfall wichtig sind.

Analyse der Ergebnisse

Nach der Durchführung einer Evaluierung erhältst du sowohl eine numerische Bewertung als auch einen detaillierten HTML-Bericht. Der Bericht zeigt dir genau, wie jeder Testfall abgeschnitten hat, einschließlich der Begründung des Modells für jede Bewertung.

Prompt-Evaluierungsbericht mit 50 Testfällen, durchschnittliche Bewertung 2,3 von 10 und eine Bestehensquote von 0,0 Prozent, dann eine Zeile pro Fall.

Lass dich nicht von niedrigen anfänglichen Bewertungen entmutigen - eine Bewertung von 2,3 von 10 ist typisch für einen ersten Versuch. Das Ziel ist es, eine konsistente Verbesserung zu sehen, während du Engineering-Techniken anwendest.

Prompt-Evaluierungsbericht mit 50 Testfällen, durchschnittliche Bewertung 2,3 von 10 und eine Bestehensquote von 0,0 Prozent, dann eine Zeile pro Fall.

Der detaillierte Evaluierungsbericht hilft dir zu verstehen, wo genau dein Prompt versagt und welche Verbesserungen erforderlich sind. Nutze dieses Feedback, um deine nächste Iteration zu steuern.

Nächste Schritte

Mit deiner etablierten Basislinie bist du bereit, spezifische Prompt-Engineering-Techniken anzuwenden. Jede Technik, die du lernst, sollte zu einer messbaren Verbesserung deiner Evaluierungswerte führen und deinen einfachen Prompt schrittweise in ein zuverlässiges, leistungsstarkes Tool verwandeln.

Denk daran, dass Prompt-Engineering ein iterativer Prozess ist. Der Schlüssel liegt darin, jeweils eine Änderung vorzunehmen, die Auswirkung zu evaluieren und auf dem aufzubauen, was funktioniert. Dieser systematische Ansatz stellt sicher, dass du verstehst, welche Techniken für deinen spezifischen Anwendungsfall den größten Mehrwert bieten.