Ein typischer Workflow zur Prompt-Evaluierung folgt fünf wichtigen Schritten, die dir helfen, deine Prompts systematisch durch objektive Messung zu verbessern. Es gibt viele verschiedene Möglichkeiten, diese Workflows zusammenzustellen, und verschiedene Open-Source- und kostenpflichtige Tools stehen zur Verfügung, aber das Verständnis des Kernprozesses hilft dir, klein anzufangen und bei Bedarf zu skalieren.

Schritt 1: Einen Prompt entwerfen
Beginne damit, einen ersten Prompt zu schreiben, den du verbessern möchtest. Für dieses Beispiel verwenden wir einen einfachen Prompt:
prompt = f"""
Please answer the user's question:
{question}
"""
Dieser einfache Prompt dient uns als Ausgangsbasis für Tests und Verbesserungen.
Schritt 2: Einen Eval-Datensatz erstellen
Dein Evaluierungsdatensatz enthält Beispiel-Eingaben, die die Arten von Fragen oder Anfragen repräsentieren, die dein Prompt in der Produktion verarbeiten wird. Der Datensatz sollte Fragen enthalten, die in deine Prompt-Vorlage eingefügt werden.

Für dieses Beispiel enthält unser Datensatz drei Fragen:
- „Was ist 2+2?“
- „Wie bereite ich Haferbrei zu?“
- „Wie weit ist der Mond entfernt?“
In realen Evaluierungen hast du möglicherweise Dutzende, Hunderte oder sogar Tausende von Datensätzen. Du kannst diese Datensätze von Hand zusammenstellen oder Claude nutzen, um sie für dich zu generieren.
Schritt 3: Durch Claude laufen lassen
Nimm jede Frage aus deinem Datensatz und kombiniere sie mit deiner Prompt-Vorlage, um vollständige Prompts zu erstellen. Sende dann jeden einzelnen an Claude, um Antworten zu erhalten.

Zum Beispiel wird die erste Frage zu:
Please answer the user's question:
What's 2+2?Claude könnte auf die Mathematikfrage mit „2 + 2 = 4“ antworten, für die zweite Frage Anweisungen zur Zubereitung von Haferbrei geben und für die dritte die Entfernung zum Mond nennen.
Schritt 4: Durch einen Grader laufen lassen
Der Grader bewertet die Qualität von Claudes Antworten, indem er sowohl die ursprüngliche Frage als auch Claudes Antwort untersucht. Dieser Schritt liefert eine objektive Bewertung, typischerweise auf einer Skala von 1 bis 10, wobei 10 eine perfekte Antwort darstellt und niedrigere Werte auf Verbesserungsbedarf hinweisen.

In unserem Beispiel könnte der Grader Folgendes vergeben:
- Mathematikfrage: 10 (perfekte Antwort)
- Haferbrei-Frage: 4 (braucht Verbesserung)
- Mond-Frage: 9 (sehr gute Antwort)
Der Durchschnittswert über alle Fragen hinweg liefert dir eine objektive Messung: (10 + 4 + 9) ÷ 3 = 7,66
Schritt 5: Prompt ändern und wiederholen
Jetzt, da du einen Ausgangswert hast, kannst du deinen Prompt ändern und den gesamten Prozess erneut durchlaufen lassen, um zu sehen, ob deine Änderungen die Leistung verbessern.

Zum Beispiel könntest du deinem Prompt mehr Anleitung hinzufügen:
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Nachdem du diesen verbesserten Prompt durch denselben Evaluierungsprozess laufen lässt, könntest du einen höheren Durchschnittswert von 8,7 erhalten, was darauf hindeutet, dass die zusätzliche Anweisung Claude dabei geholfen hat, bessere Antworten zu geben.
Prompt-Bewertung
Der wesentliche Vorteil dieses Workflows besteht darin, objektive Messungen der Prompt-Leistung zu erhalten. Du kannst:
- Verschiedene Prompt-Versionen numerisch vergleichen
- Die Version mit dem besten Wert verwenden
- Weiter iterieren, um noch bessere Ansätze zu finden

Dieser systematische Ansatz eliminiert das Rätselraten beim Prompt-Engineering und gibt dir die Gewissheit, dass deine Änderungen tatsächlich Verbesserungen sind und nicht nur andere Variationen.