Wird geladen

Die Evaluierung ausführen

Lektion 1315 Min.
Wird geladen

Jetzt, da unser Evaluierungs-Datensatz bereit ist, ist es Zeit, die zentrale Evaluierungs-Pipeline zu bauen. Dabei wird jeder Testfall genommen, mit unserem Prompt zusammengeführt, Claude zugeführt und anschließend werden die Ergebnisse bewertet.

Ein Prompt mit einem Fragen-Platzhalter, drei Testfragen wie „Was ist 2+2?“ und Claudes Antworten wie „2 + 2 = 4“.

Der Evaluierungsprozess folgt einem klaren Ablauf: Wir nehmen unseren Datensatz mit Testfällen, kombinieren jeden davon mit unserer Prompt-Vorlage, senden ihn an Claude zur Verarbeitung und bewerten dann die Ausgabe mithilfe eines Grader-Systems.

Erstellen der Kernfunktionen

Die Evaluierungs-Pipeline besteht aus drei Hauptfunktionen, von denen jede eine spezifische Aufgabe hat. Beginnen wir mit der einfachsten – der Funktion, die einzelne Prompts verarbeitet.

Die run_prompt-Funktion

Diese Funktion nimmt einen Testfall und führt ihn mit unserer Prompt-Vorlage zusammen:

python
def run_prompt(test_case):
    """Merges the prompt and test case input, then returns the result"""
    prompt = f"""
Please solve the following task:

{test_case["task"]}
"""
    
    messages = []
    add_user_message(messages, prompt)
    output = chat(messages)
    return output

Im Moment halten wir den Prompt extrem einfach. Wir fügen keine Formatierungsanweisungen hinzu, sodass Claude wahrscheinlich ausführlichere Ausgaben zurückgibt, als wir benötigen. Wir werden dies später verfeinern, während wir unser Prompt-Design iterieren.

Die run_test_case-Funktion

Diese Funktion orchestriert das Ausführen eines einzelnen Testfalls und die Bewertung des Ergebnisses:

python
def run_test_case(test_case):
    """Calls run_prompt, then grades the result"""
    output = run_prompt(test_case)
    
    # TODO - Bewertung
    score = 10
    
    return {
        "output": output,
        "test_case": test_case,
        "score": score
    }

Im Moment verwenden wir einen fest codierten Score von 10. Die Bewertungslogik ist der Bereich, in dem wir in den kommenden Abschnitten erhebliche Zeit verbringen werden, aber dieser Platzhalter ermöglicht es uns, die gesamte Pipeline zu testen.

Die run_eval-Funktion

Diese Funktion koordiniert den gesamten Evaluierungsprozess:

python
def run_eval(dataset):
    """Loads the dataset and calls run_test_case with each case"""
    results = []
    
    for test_case in dataset:
        result = run_test_case(test_case)
        results.append(result)
    
    return results

Diese Funktion verarbeitet jeden Testfall in unserem Datensatz und sammelt alle Ergebnisse in einer einzigen Liste.

Die Evaluierung ausführen

Um unsere Evaluierungs-Pipeline auszuführen, laden wir unseren Datensatz und führen ihn durch unsere Funktionen:

python
with open("dataset.json", "r") as f:
    dataset = json.load(f)

results = run_eval(dataset)

Beim ersten Ausführen sollte man mit etwas Zeitaufwand rechnen – selbst mit Claude Haiku kann es etwa 30 Sekunden dauern, um einen vollständigen Datensatz zu verarbeiten. Optimierungstechniken behandeln wir später.

Die Ergebnisse untersuchen

Die Evaluierung liefert ein strukturiertes JSON-Array zurück, in dem jedes Objekt das Ergebnis eines Testfalls darstellt:

python
print(json.dumps(results, indent=2))

Ein Prompt mit einem Fragen-Platzhalter, drei Testfragen wie „Was ist 2+2?“ und Claudes Antworten wie „2 + 2 = 4“.

Jedes Ergebnis enthält drei wichtige Informationen:

  • output: Die vollständige Antwort von Claude
  • test_case: Der ursprüngliche Testfall, der verarbeitet wurde
  • score: Der Evaluierungs-Score (aktuell fest codiert)

Wie du in der Ausgabe siehst, generiert Claude ziemlich ausführliche Antworten, da wir noch keine spezifischen Formatierungsanweisungen bereitgestellt haben. Genau dieses Problem werden wir angehen, während wir unsere Prompts verfeinern.

Die Grader-Stufe der Eval-Pipeline hervorgehoben: Die drei Frage-Antwort-Paare fließen in einen Grader, bewertet mit 10, 4 und 9.

Was wir erreicht haben

An diesem Punkt haben wir erfolgreich die zentrale Evaluierungs-Pipeline gebaut. Wir können unseren Datensatz nehmen, ihn durch Claude verarbeiten und strukturierte Ergebnisse sammeln. Das größte fehlende Stück ist das Bewertungssystem – dieser fest codierte Score von 10 muss durch eine echte Evaluierungslogik ersetzt werden.

Diese Pipeline stellt die Grundlage der meisten KI-Evaluierungssysteme dar. Auch wenn es einfach erscheinen mag, hast du gerade den Großteil dessen gebaut, was eine Eval-Pipeline tatsächlich tut. Die Komplexität steckt in den Details – bessere Prompts, ausgefeiltere Bewertung und Leistungsoptimierungen.

Als Nächstes tauchen wir in das kritische Thema der Grader ein, die unsere fest codierten Scores in aussagekräftige Bewertungen von Claudes Leistung verwandeln werden.