読み込み中

モデルベースの採点

レッスン 1315 分
読み込み中

プロンプト評価ワークフローを構築する際、採点システムは出力品質についての客観的なシグナルを提供します。グレーダーはモデルの出力を受け取り、何らかの測定可能なフィードバック(通常は1から10の間の数値で、10が高品質を、1が低品質を表します)を返します。

グレーダーの種類

コード、モデル、人間によるグレーダーの比較。モデルグレーダーと人間グレーダーは、以下で説明するように出力の2つのバージョンを比較することもできます。

モデルの出力を採点するための主なアプローチには3種類あります。

  • コードグレーダー - カスタムロジックを使用してプログラム的に出力を評価する
  • モデルグレーダー - 別のAIモデルを使用して品質を評価する
  • 人間グレーダー - 人が手動でレビューして出力を採点する

コードグレーダー

コードグレーダーを使うと、思いつく限りのプログラム的なチェックを実装できます。一般的な用途には以下が含まれます。

  • 出力の長さのチェック
  • 出力に特定の単語が含まれているか/含まれていないかの確認
  • JSON、Python、または正規表現の構文検証
  • 可読性スコア

唯一の要件は、コードが何らかの利用可能なシグナル(通常は1から10の間の数値)を返すことです。

モデルグレーダー

モデルグレーダーは、元の出力を別のAPI呼び出しに入力して評価を行います。このアプローチは、以下のような評価に対して非常に高い柔軟性を提供します。

  • 応答の品質
  • 指示への追従の質
  • 完全性
  • 有用性
  • 安全性

人間グレーダー

人間グレーダーは最も高い柔軟性を提供しますが、時間がかかり面倒です。以下のような評価に役立ちます。

  • 全体的な応答品質
  • 網羅性
  • 深さ
  • 簡潔さ
  • 関連性

評価基準の定義

"自分たちのプロンプトが良い出力を生み出しているかどうか、どうすればわかるのか?" という問いに対する答えが、以下で説明する3つの基準です。

グレーダーを実装する前に、明確な評価基準が必要です。コード生成プロンプトの場合、以下のような点に焦点を当てるとよいでしょう。

  • 形式 - 説明なしでPython、JSON、または正規表現のみを返すべきである
  • 有効な構文 - 生成されたコードは有効な構文を持つべきである
  • タスクへの追従 - 応答はユーザーのタスクに正確なコードで直接対応すべきである

"形式"と"有効な構文"はコードグレーダーの下にグループ化され、"タスクへの追従"は以下で説明するようにモデルグレーダーの下にグループ化されています。

最初の2つの基準はコードグレーダーとの相性が良く、一方でタスクへの追従はその柔軟性から、モデルグレーダーの方が適しています。

モデルグレーダーの実装

モデルグレーダー関数を構築する方法は以下の通りです。

python
def grade_by_model(test_case, output):
    # 評価用プロンプトを作成
    eval_prompt = f"""
    You are an expert code reviewer. Evaluate this AI-generated solution.
    
    Task: {test_case["task"]}
    Solution: {output}
    
    Provide your evaluation as a structured JSON object with:
    - "strengths": An array of 1-3 key strengths
    - "weaknesses": An array of 1-3 key areas for improvement  
    - "reasoning": A concise explanation of your assessment
    - "score": A number between 1-10
    """
    
    messages = []
    add_user_message(messages, eval_prompt)
    add_assistant_message(messages, "```json")

    eval_text = chat(messages, stop_sequences=["```"])
    return json.loads(eval_text)

重要な洞察は、スコアと併せて強み、弱み、そして理由を求めることです。この文脈がないと、モデルは6前後の中間的なスコアをデフォルトで出す傾向があります。

採点をワークフローに統合する

テストケースランナーを更新して、グレーダーを呼び出すようにします。

python
def run_test_case(test_case):
    output = run_prompt(test_case)

    # 出力を採点する
    model_grade = grade_by_model(test_case, output)
    score = model_grade["score"]
    reasoning = model_grade["reasoning"]

    return {
        "output": output,
        "test_case": test_case,
        "score": score,
        "reasoning": reasoning
    }

最後に、すべてのテストケースにわたる平均スコアを算出します。

python
from statistics import mean

def run_eval(dataset):
    results = []

    for test_case in dataset:
        result = run_test_case(test_case)
        results.append(result)

    average_score = mean([result["score"] for result in results])
    print(f"Average score: {average_score}")

    return results

これにより、プロンプトを改善していく過程で追跡できる客観的な指標が得られます。モデルグレーダーはやや気まぐれな面がありますが、改善を測定するための一貫したベースラインを提供してくれます。