コードを生成するAIモデルを評価する際には、応答が意味をなしているかどうかを確認するだけでは不十分です。生成されたコードが実際に有効な構文を持ち、正しいフォーマットに従っているかどうかも検証する必要があります。そこで役立つのがコードベースの採点です。
コード採点の仕組み
コード採点は、AIが生成した応答の2つの主要な側面を検証します。

- フォーマット - 応答は、説明なしで、要求されたコードの種類(Python、JSON、または正規表現)のみを返す必要があります
- 有効な構文 - 生成されたコードは、意図した言語として実際に正しく解析できる必要があります
- タスク遂行 - 応答は、尋ねられた内容に直接対応し、正確である必要があります
最初の2つの基準はコードグレーダーによって処理され、タスク遂行はモデルグレーダーによって評価されます。これらを組み合わせることで、包括的な評価が実現します。
構文検証関数
生成されたコードが有効な構文を持っているかどうかを確認するために、出力の解析を試みる3つのヘルパー関数を作成できます。

import ast
import json
import re
def validate_json(text):
try:
json.loads(text.strip())
return 10
except json.JSONDecodeError:
return 0
def validate_python(text):
try:
ast.parse(text.strip())
return 10
except SyntaxError:
return 0
def validate_regex(text):
try:
re.compile(text.strip())
return 10
except re.error:
return 0各関数は、テキストをそれぞれの形式として解析しようとします。解析が成功すれば、満点の10点を返します。エラーで失敗した場合、構文が無効であるとして0点を返します。
データセットのフォーマット要件
コードグレーダーがどのバリデーターを使用すべきかを把握できるようにするには、テストケースで期待される出力フォーマットを指定する必要があります。
{
"task": "Create a Python function to validate an AWS IAM username",
"format": "python"
}データセット生成用のプロンプトを更新し、出力例の構造にこのフォーマットフィールドを追加することで、このフィールドを自動的に含めることができます。
プロンプトの明確さを改善する
AIモデルからより良い結果を得るために、期待される出力フォーマットについてプロンプトの指示をより具体的にします。
* Respond only with Python, JSON, or a plain Regex
* Do not add any comments or commentary or explanationまた、コードブロックを使用して事前入力されたアシスタントメッセージを使うことで、モデルが生のコードのみを返すよう促すこともできます。
add_assistant_message(messages, "```code")
output = chat(messages, stop_sequences=["```"])これにより、Claudeは、それがPythonなのか、JSONなのか、正規表現なのかを事前に指定する必要なく、コードの内容を生成し始めるようになります。
スコアの組み合わせ
まず、各テストケースに一致するバリデーターを選択します。
def grade_syntax(output, test_case):
if test_case["format"] == "json":
return validate_json(output)
if test_case["format"] == "python":
return validate_python(output)
return validate_regex(output)最後のステップは、モデルグレーダーのスコアとコードグレーダーのスコアをマージすることです。シンプルな方法は、run_test_case の内部でそれらを平均することです。
model_grade = grade_by_model(test_case, output)
model_score = model_grade["score"]
syntax_score = grade_syntax(output, test_case)
score = (model_score + syntax_score) / 2これにより、コンテンツの品質と技術的な正確性の両方に等しい重みが与えられます。特定のユースケースでより重視すべき点に応じて、これらの重みを調整することもできます。
実装のテスト
コード採点を実装したら、評価を実行してベースラインスコアを取得します。スコア自体が本質的に良いか悪いかが重要なのではなく、プロンプトを改善することでそれを向上させられるかどうかが重要です。これにより、主観的な評価に頼るのではなく、プロンプトエンジニアリングの進捗を定量的に測定する方法が得られます。