Bei der Bewertung von KI-Modellen, die Code generieren, musst du mehr tun, als nur zu prüfen, ob die Antwort sinnvoll ist. Du musst auch überprüfen, ob der generierte Code tatsächlich eine gültige Syntax hat und dem richtigen Format folgt. Hier kommt die codebasierte Bewertung ins Spiel.
Wie die Code-Bewertung funktioniert
Die Code-Bewertung validiert zwei wesentliche Aspekte von KI-generierten Antworten:

- Format - Die Antwort sollte nur den angeforderten Code-Typ (Python, JSON oder Regex) zurückgeben, ohne Erklärungen
- Gültige Syntax - Der generierte Code sollte sich tatsächlich korrekt als die beabsichtigte Sprache parsen lassen
- Aufgabenerfüllung - Die Antwort sollte direkt auf das Gefragte eingehen und korrekt sein
Die ersten beiden Kriterien werden vom Code-Grader übernommen, während die Aufgabenerfüllung vom Modell-Grader bewertet wird. Zusammen ergeben sie eine umfassende Bewertung.
Funktionen zur Syntaxvalidierung
Um zu prüfen, ob generierter Code eine gültige Syntax hat, kannst du drei Hilfsfunktionen erstellen, die versuchen, die Ausgabe zu parsen:

import ast
import json
import re
def validate_json(text):
try:
json.loads(text.strip())
return 10
except json.JSONDecodeError:
return 0
def validate_python(text):
try:
ast.parse(text.strip())
return 10
except SyntaxError:
return 0
def validate_regex(text):
try:
re.compile(text.strip())
return 10
except re.error:
return 0Jede Funktion versucht, den Text als ihr jeweiliges Format zu parsen. Gelingt das Parsen, wird eine perfekte Punktzahl von 10 zurückgegeben. Schlägt es mit einem Fehler fehl, ist die Syntax ungültig und es wird 0 zurückgegeben.
Anforderungen an das Datensatzformat
Damit der Code-Grader weiß, welchen Validator er verwenden soll, müssen deine Testfälle das erwartete Ausgabeformat angeben:
{
"task": "Create a Python function to validate an AWS IAM username",
"format": "python"
}Du kannst deinen Prompt zur Datensatzgenerierung aktualisieren, um dieses Format-Feld automatisch in die Beispiel-Ausgabestruktur aufzunehmen.
Verbesserung der Prompt-Klarheit
Um bessere Ergebnisse von deinem KI-Modell zu erhalten, solltest du deine Prompt-Anweisungen bezüglich des erwarteten Ausgabeformats spezifischer gestalten:
* Respond only with Python, JSON, or a plain Regex
* Do not add any comments or commentary or explanationDu kannst auch eine vorausgefüllte Assistant-Nachricht mit Code-Blöcken verwenden, um das Modell zu ermutigen, nur den rohen Code zurückzugeben:
add_assistant_message(messages, "```code")
output = chat(messages, stop_sequences=["```"])Dies weist Claude an, mit der Generierung von Code-Inhalten zu beginnen, ohne vorher angeben zu müssen, ob es sich um Python, JSON oder Regex handelt.
Kombinieren der Punktzahlen
Wähle zunächst den Validator aus, der zu jedem Testfall passt:
def grade_syntax(output, test_case):
if test_case["format"] == "json":
return validate_json(output)
if test_case["format"] == "python":
return validate_python(output)
return validate_regex(output)Der letzte Schritt besteht darin, die Punktzahl des Modell-Graders mit der Punktzahl des Code-Graders zusammenzuführen. Ein einfacher Ansatz besteht darin, sie innerhalb von run_test_case zu mitteln:
model_grade = grade_by_model(test_case, output)
model_score = model_grade["score"]
syntax_score = grade_syntax(output, test_case)
score = (model_score + syntax_score) / 2Dies gewichtet sowohl die inhaltliche Qualität als auch die technische Korrektheit gleich. Du könntest diese Gewichtungen je nachdem anpassen, was für deinen spezifischen Anwendungsfall wichtiger ist.
Testen deiner Implementierung
Sobald du die Code-Bewertung implementiert hast, führe deine Evaluierung aus, um einen Ausgangswert zu erhalten. Die Punktzahl selbst ist weder von Natur aus gut noch schlecht - entscheidend ist, ob du sie durch die Verfeinerung deiner Prompts verbessern kannst. Dies gibt dir eine quantitative Möglichkeit, Fortschritte im Prompt-Engineering zu messen, anstatt dich auf subjektive Einschätzungen zu verlassen.