Wird geladen

Codebasierte Bewertung

Lektion 1515 Min.
Wird geladen

Bei der Bewertung von KI-Modellen, die Code generieren, musst du mehr tun, als nur zu prüfen, ob die Antwort sinnvoll ist. Du musst auch überprüfen, ob der generierte Code tatsächlich eine gültige Syntax hat und dem richtigen Format folgt. Hier kommt die codebasierte Bewertung ins Spiel.

Wie die Code-Bewertung funktioniert

Die Code-Bewertung validiert zwei wesentliche Aspekte von KI-generierten Antworten:

Format und gültige Syntax, gruppiert unter dem Code-Grader, und Aufgabenerfüllung unter dem Modell-Grader, weiter unten beschrieben.

  • Format - Die Antwort sollte nur den angeforderten Code-Typ (Python, JSON oder Regex) zurückgeben, ohne Erklärungen
  • Gültige Syntax - Der generierte Code sollte sich tatsächlich korrekt als die beabsichtigte Sprache parsen lassen
  • Aufgabenerfüllung - Die Antwort sollte direkt auf das Gefragte eingehen und korrekt sein

Die ersten beiden Kriterien werden vom Code-Grader übernommen, während die Aufgabenerfüllung vom Modell-Grader bewertet wird. Zusammen ergeben sie eine umfassende Bewertung.

Funktionen zur Syntaxvalidierung

Um zu prüfen, ob generierter Code eine gültige Syntax hat, kannst du drei Hilfsfunktionen erstellen, die versuchen, die Ausgabe zu parsen:

Die drei Validatoren unten parsen die Ausgabe als JSON, parsen sie in einen abstrakten Python-Syntaxbaum oder kompilieren sie als Regex.

python
import ast
import json
import re

def validate_json(text):
    try:
        json.loads(text.strip())
        return 10
    except json.JSONDecodeError:
        return 0

def validate_python(text):
    try:
        ast.parse(text.strip())
        return 10
    except SyntaxError:
        return 0

def validate_regex(text):
    try:
        re.compile(text.strip())
        return 10
    except re.error:
        return 0

Jede Funktion versucht, den Text als ihr jeweiliges Format zu parsen. Gelingt das Parsen, wird eine perfekte Punktzahl von 10 zurückgegeben. Schlägt es mit einem Fehler fehl, ist die Syntax ungültig und es wird 0 zurückgegeben.

Anforderungen an das Datensatzformat

Damit der Code-Grader weiß, welchen Validator er verwenden soll, müssen deine Testfälle das erwartete Ausgabeformat angeben:

json
{
    "task": "Create a Python function to validate an AWS IAM username",
    "format": "python"
}

Du kannst deinen Prompt zur Datensatzgenerierung aktualisieren, um dieses Format-Feld automatisch in die Beispiel-Ausgabestruktur aufzunehmen.

Verbesserung der Prompt-Klarheit

Um bessere Ergebnisse von deinem KI-Modell zu erhalten, solltest du deine Prompt-Anweisungen bezüglich des erwarteten Ausgabeformats spezifischer gestalten:

* Respond only with Python, JSON, or a plain Regex
* Do not add any comments or commentary or explanation

Du kannst auch eine vorausgefüllte Assistant-Nachricht mit Code-Blöcken verwenden, um das Modell zu ermutigen, nur den rohen Code zurückzugeben:

python
add_assistant_message(messages, "```code")
output = chat(messages, stop_sequences=["```"])

Dies weist Claude an, mit der Generierung von Code-Inhalten zu beginnen, ohne vorher angeben zu müssen, ob es sich um Python, JSON oder Regex handelt.

Kombinieren der Punktzahlen

Wähle zunächst den Validator aus, der zu jedem Testfall passt:

python
def grade_syntax(output, test_case):
    if test_case["format"] == "json":
        return validate_json(output)
    if test_case["format"] == "python":
        return validate_python(output)
    return validate_regex(output)

Der letzte Schritt besteht darin, die Punktzahl des Modell-Graders mit der Punktzahl des Code-Graders zusammenzuführen. Ein einfacher Ansatz besteht darin, sie innerhalb von run_test_case zu mitteln:

python
model_grade = grade_by_model(test_case, output)
model_score = model_grade["score"]
syntax_score = grade_syntax(output, test_case)

score = (model_score + syntax_score) / 2

Dies gewichtet sowohl die inhaltliche Qualität als auch die technische Korrektheit gleich. Du könntest diese Gewichtungen je nachdem anpassen, was für deinen spezifischen Anwendungsfall wichtiger ist.

Testen deiner Implementierung

Sobald du die Code-Bewertung implementiert hast, führe deine Evaluierung aus, um einen Ausgangswert zu erhalten. Die Punktzahl selbst ist weder von Natur aus gut noch schlecht - entscheidend ist, ob du sie durch die Verfeinerung deiner Prompts verbessern kannst. Dies gibt dir eine quantitative Möglichkeit, Fortschritte im Prompt-Engineering zu messen, anstatt dich auf subjektive Einschätzungen zu verlassen.