Ein typischer Workflow zur Prompt-Evaluierung folgt fünf zentralen Schritten, die dir helfen, deine Prompts systematisch durch objektive Messung zu verbessern. Es gibt viele verschiedene Möglichkeiten, solche Workflows zusammenzustellen, sowie diverse Open-Source- und kostenpflichtige Tools, aber das Verständnis des Kernprozesses hilft dir, klein anzufangen und bei Bedarf zu skalieren.

Schritt 1: Einen Prompt entwerfen
Beginne damit, einen ersten Prompt zu schreiben, den du verbessern möchtest. Für dieses Beispiel verwenden wir einen einfachen Prompt:
prompt = f"""
Please answer the user's question:
{question}
"""
Dieser einfache Prompt dient als unsere Baseline für Tests und Verbesserungen.
Schritt 2: Einen Evaluierungsdatensatz erstellen
Dein Evaluierungsdatensatz enthält Beispiel-Eingaben, die du in deinen Prompt einspeisen wirst. Da unser Prompt nur eine Eingabe hat (die Frage des Nutzers), brauchen wir eine Sammlung unterschiedlicher Fragen zum Testen.

Der Datensatz enthält Fragen, die wir mit unserem Prompt zusammenführen werden. Du kannst solche Datensätze von Hand zusammenstellen oder mit Claude generieren lassen. In realen Evaluierungen hast du vielleicht zehn, hunderte oder sogar tausende verschiedene Datensätze, aber wir beginnen für dieses Beispiel mit nur drei Fragen:
- Was ist 2+2?
- Wie mache ich Haferbrei?
- Wie weit ist der Mond entfernt?
Schritt 3: Durch Claude verarbeiten
Nimm jede Frage aus deinem Datensatz und führe sie mit deiner Prompt-Vorlage zusammen, um vollständige Prompts zu erstellen. Sende dann jeden an Claude und sammle die Antworten.

Zum Beispiel wird aus der ersten Frage ein vollständiger Prompt, den Claude verarbeitet und mit einer Antwort wie „2 + 2 = 4“ beantwortet. Diesen Vorgang wiederholst du für alle Fragen in deinem Datensatz und baust so eine Sammlung von Frage-Antwort-Paaren auf.
Schritt 4: Durch einen Grader verarbeiten
Nun folgt der entscheidende Schritt: die objektive Messung der Qualität von Claudes Antworten. Du nimmst jedes Frage-Antwort-Paar und speist es in einen Grader ein, der die Antworten bewertet.

Der Grader vergibt Punktzahlen (typischerweise 1-10) basierend auf der Antwortqualität:
- 10 = Perfekte Antwort ohne Verbesserungsbedarf
- 4 = Ausreichend, aber definitiv verbesserungswürdig
- Niedrigere Punktzahlen weisen auf schlechte Antworten hin
Nach der Bewertung aller Antworten mittelst du die Punktzahlen. In unserem Beispiel ergeben die Punktzahlen 10, 4 und 9 im Durchschnitt 7,66 und liefern dir damit eine objektive Messung der Leistung deines Prompts.

Schritt 5: Prompt ändern und wiederholen
Nachdem deine Baseline-Punktzahl feststeht, kannst du nun deinen Prompt ändern und den gesamten Prozess erneut durchlaufen, um zu sehen, ob deine Änderungen die Leistung verbessern.

Zum Beispiel könntest du den ursprünglichen Prompt verbessern, indem du spezifischere Anweisungen hinzufügst:
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Prompt-Bewertung
Die Stärke dieses Workflows liegt darin, objektive Messungen der Prompt-Leistung zu erhalten. Du kannst die Punktzahlen verschiedener Prompt-Versionen vergleichen, um festzustellen, welche besser abschneidet.

In unserem Beispiel:
- Prompt v1 erzielte 7,66 Punkte
- Prompt v2 erzielte 8,7 Punkte
Die höhere Punktzahl für v2 liefert den objektiven Beleg dafür, dass das Hinzufügen von „Beantworte die Frage mit ausreichend Detail“ die Leistung des Prompts verbessert hat. Du kannst dann die besser abschneidende Version verwenden oder weiter iterieren, um noch höhere Punktzahlen zu erreichen.
Dieser systematische Ansatz nimmt der Prompt-Verbesserung das Rätselraten und gibt dir ein verlässliches Framework zur Optimierung. Auch wenn die Implementierung wirksamer Grader komplex ist, bietet dieser Workflow eine solide Grundlage für den Aufbau deines eigenen Evaluierungssystems.