Jetzt, da unser Evaluierungs-Datensatz bereit ist, ist es Zeit, die zentrale Evaluierungs-Pipeline zu bauen. Dabei wird jeder Testfall genommen, mit unserem Prompt zusammengeführt, Claude zugeführt und anschließend werden die Ergebnisse bewertet.

Der Evaluierungsprozess folgt einem klaren Ablauf: Wir nehmen unseren Datensatz mit Testfällen, kombinieren jeden davon mit unserer Prompt-Vorlage, senden ihn an Claude zur Verarbeitung und bewerten dann die Ausgabe mithilfe eines Grader-Systems.
Erstellen der Kernfunktionen
Die Evaluierungs-Pipeline besteht aus drei Hauptfunktionen, von denen jede eine spezifische Aufgabe hat. Beginnen wir mit der einfachsten – der Funktion, die einzelne Prompts verarbeitet.
Die run_prompt-Funktion
Diese Funktion nimmt einen Testfall und führt ihn mit unserer Prompt-Vorlage zusammen:
def run_prompt(test_case):
"""Merges the prompt and test case input, then returns the result"""
prompt = f"""
Please solve the following task:
{test_case["task"]}
"""
messages = []
add_user_message(messages, prompt)
output = chat(messages)
return outputIm Moment halten wir den Prompt extrem einfach. Wir fügen keine Formatierungsanweisungen hinzu, sodass Claude wahrscheinlich ausführlichere Ausgaben zurückgibt, als wir benötigen. Wir werden dies später verfeinern, während wir unser Prompt-Design iterieren.
Die run_test_case-Funktion
Diese Funktion orchestriert das Ausführen eines einzelnen Testfalls und die Bewertung des Ergebnisses:
def run_test_case(test_case):
"""Calls run_prompt, then grades the result"""
output = run_prompt(test_case)
# TODO - Bewertung
score = 10
return {
"output": output,
"test_case": test_case,
"score": score
}Im Moment verwenden wir einen fest codierten Score von 10. Die Bewertungslogik ist der Bereich, in dem wir in den kommenden Abschnitten erhebliche Zeit verbringen werden, aber dieser Platzhalter ermöglicht es uns, die gesamte Pipeline zu testen.
Die run_eval-Funktion
Diese Funktion koordiniert den gesamten Evaluierungsprozess:
def run_eval(dataset):
"""Loads the dataset and calls run_test_case with each case"""
results = []
for test_case in dataset:
result = run_test_case(test_case)
results.append(result)
return resultsDiese Funktion verarbeitet jeden Testfall in unserem Datensatz und sammelt alle Ergebnisse in einer einzigen Liste.
Die Evaluierung ausführen
Um unsere Evaluierungs-Pipeline auszuführen, laden wir unseren Datensatz und führen ihn durch unsere Funktionen:
with open("dataset.json", "r") as f:
dataset = json.load(f)
results = run_eval(dataset)Beim ersten Ausführen sollte man mit etwas Zeitaufwand rechnen – selbst mit Claude Haiku kann es etwa 30 Sekunden dauern, um einen vollständigen Datensatz zu verarbeiten. Optimierungstechniken behandeln wir später.
Die Ergebnisse untersuchen
Die Evaluierung liefert ein strukturiertes JSON-Array zurück, in dem jedes Objekt das Ergebnis eines Testfalls darstellt:
print(json.dumps(results, indent=2))
Jedes Ergebnis enthält drei wichtige Informationen:
- output: Die vollständige Antwort von Claude
- test_case: Der ursprüngliche Testfall, der verarbeitet wurde
- score: Der Evaluierungs-Score (aktuell fest codiert)
Wie du in der Ausgabe siehst, generiert Claude ziemlich ausführliche Antworten, da wir noch keine spezifischen Formatierungsanweisungen bereitgestellt haben. Genau dieses Problem werden wir angehen, während wir unsere Prompts verfeinern.

Was wir erreicht haben
An diesem Punkt haben wir erfolgreich die zentrale Evaluierungs-Pipeline gebaut. Wir können unseren Datensatz nehmen, ihn durch Claude verarbeiten und strukturierte Ergebnisse sammeln. Das größte fehlende Stück ist das Bewertungssystem – dieser fest codierte Score von 10 muss durch eine echte Evaluierungslogik ersetzt werden.
Diese Pipeline stellt die Grundlage der meisten KI-Evaluierungssysteme dar. Auch wenn es einfach erscheinen mag, hast du gerade den Großteil dessen gebaut, was eine Eval-Pipeline tatsächlich tut. Die Komplexität steckt in den Details – bessere Prompts, ausgefeiltere Bewertung und Leistungsoptimierungen.
Als Nächstes tauchen wir in das kritische Thema der Grader ein, die unsere fest codierten Scores in aussagekräftige Bewertungen von Claudes Leistung verwandeln werden.