Wird geladen

Ein typischer Eval-Workflow

Lektion 118 Min.
Wird geladen

Ein typischer Workflow zur Prompt-Evaluierung folgt fünf zentralen Schritten, die dir helfen, deine Prompts systematisch durch objektive Messung zu verbessern. Es gibt viele verschiedene Möglichkeiten, solche Workflows zusammenzustellen, sowie diverse Open-Source- und kostenpflichtige Tools, aber das Verständnis des Kernprozesses hilft dir, klein anzufangen und bei Bedarf zu skalieren.

Die fünf Schritte des Prompt-Eval-Workflows, vom Entwerfen eines Prompts bis zum Ändern des Prompts und Wiederholen, unten beschrieben.

Schritt 1: Einen Prompt entwerfen

Beginne damit, einen ersten Prompt zu schreiben, den du verbessern möchtest. Für dieses Beispiel verwenden wir einen einfachen Prompt:

python
prompt = f"""
Please answer the user's question:

{question}
"""

Der oben gezeigte erste Prompt-Entwurf mit dem Hinweis, dass wir erst nach objektiver Evaluierung wissen, ob er wirksam ist.

Dieser einfache Prompt dient als unsere Baseline für Tests und Verbesserungen.

Schritt 2: Einen Evaluierungsdatensatz erstellen

Dein Evaluierungsdatensatz enthält Beispiel-Eingaben, die du in deinen Prompt einspeisen wirst. Da unser Prompt nur eine Eingabe hat (die Frage des Nutzers), brauchen wir eine Sammlung unterschiedlicher Fragen zum Testen.

Der Eval-Workflow im Schritt „Eval-Datensatz erstellen“: eine Spalte „Frage“ mit den drei unten aufgeführten Fragen.

Der Datensatz enthält Fragen, die wir mit unserem Prompt zusammenführen werden. Du kannst solche Datensätze von Hand zusammenstellen oder mit Claude generieren lassen. In realen Evaluierungen hast du vielleicht zehn, hunderte oder sogar tausende verschiedene Datensätze, aber wir beginnen für dieses Beispiel mit nur drei Fragen:

  • Was ist 2+2?
  • Wie mache ich Haferbrei?
  • Wie weit ist der Mond entfernt?

Schritt 3: Durch Claude verarbeiten

Nimm jede Frage aus deinem Datensatz und führe sie mit deiner Prompt-Vorlage zusammen, um vollständige Prompts zu erstellen. Sende dann jeden an Claude und sammle die Antworten.

Ein Prompt mit einem Platzhalter für die Frage, drei Testfragen wie „Was ist 2+2?“ und Claudes Antworten wie „2 + 2 = 4“.

Zum Beispiel wird aus der ersten Frage ein vollständiger Prompt, den Claude verarbeitet und mit einer Antwort wie „2 + 2 = 4“ beantwortet. Diesen Vorgang wiederholst du für alle Fragen in deinem Datensatz und baust so eine Sammlung von Frage-Antwort-Paaren auf.

Schritt 4: Durch einen Grader verarbeiten

Nun folgt der entscheidende Schritt: die objektive Messung der Qualität von Claudes Antworten. Du nimmst jedes Frage-Antwort-Paar und speist es in einen Grader ein, der die Antworten bewertet.

Die Grader-Stufe der Eval-Pipeline hervorgehoben: die drei Frage-Antwort-Paare fließen in einen Grader, bewertet mit 10, 4 und 9.

Der Grader vergibt Punktzahlen (typischerweise 1-10) basierend auf der Antwortqualität:

  • 10 = Perfekte Antwort ohne Verbesserungsbedarf
  • 4 = Ausreichend, aber definitiv verbesserungswürdig
  • Niedrigere Punktzahlen weisen auf schlechte Antworten hin

Nach der Bewertung aller Antworten mittelst du die Punktzahlen. In unserem Beispiel ergeben die Punktzahlen 10, 4 und 9 im Durchschnitt 7,66 und liefern dir damit eine objektive Messung der Leistung deines Prompts.

Alle vier Eval-Stufen, wobei der Grader Antworten wie „Heißes Wasser zu trockenem Haferbrei geben.“ bewertet und die Punktzahlen mittelt.

Schritt 5: Prompt ändern und wiederholen

Nachdem deine Baseline-Punktzahl feststeht, kannst du nun deinen Prompt ändern und den gesamten Prozess erneut durchlaufen, um zu sehen, ob deine Änderungen die Leistung verbessern.

Der fünfstufige Eval-Workflow mit dem letzten Schritt, „Prompt ändern und wiederholen“, hervorgehoben und dem überarbeiteten Prompt darunter gezeigt.

Zum Beispiel könntest du den ursprünglichen Prompt verbessern, indem du spezifischere Anweisungen hinzufügst:

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

Prompt-Bewertung

Die Stärke dieses Workflows liegt darin, objektive Messungen der Prompt-Leistung zu erhalten. Du kannst die Punktzahlen verschiedener Prompt-Versionen vergleichen, um festzustellen, welche besser abschneidet.

Prompt v1 erzielte 7,66 Punkte, und Prompt v2, der „Beantworte die Frage mit ausreichend Detail“ hinzufügt, erzielte 8,7 Punkte.

In unserem Beispiel:

  • Prompt v1 erzielte 7,66 Punkte
  • Prompt v2 erzielte 8,7 Punkte

Die höhere Punktzahl für v2 liefert den objektiven Beleg dafür, dass das Hinzufügen von „Beantworte die Frage mit ausreichend Detail“ die Leistung des Prompts verbessert hat. Du kannst dann die besser abschneidende Version verwenden oder weiter iterieren, um noch höhere Punktzahlen zu erreichen.

Dieser systematische Ansatz nimmt der Prompt-Verbesserung das Rätselraten und gibt dir ein verlässliches Framework zur Optimierung. Auch wenn die Implementierung wirksamer Grader komplex ist, bietet dieser Workflow eine solide Grundlage für den Aufbau deines eigenen Evaluierungssystems.