読み込み中

モデルベースの採点

レッスン 1415 分

プロンプト評価ワークフローを構築する際、グレーダー(採点者)は出力品質について客観的な信号を提供します。グレーダーはモデルの出力を受け取り、何らかの測定可能なフィードバックを返します。通常は1から10の数値で、10が高品質、1が低品質を表します。

グレーダーの種類

モデルの出力を採点するには、主に3つのアプローチがあります。

  • コードグレーダー - カスタムロジックを使用して出力をプログラム的に評価する
  • モデルグレーダー - 別のAIモデルを使用して品質を評価する
  • 人間グレーダー - 人が手動で出力をレビューし、採点する

コードグレーダー

コードグレーダーを使用すると、考えられるあらゆるプログラム的チェックを実装できます。一般的な用途には以下が含まれます。

  • 出力の長さを確認する
  • 出力に特定の単語が含まれているか/含まれていないかを検証する
  • JSON、Python、または正規表現の構文検証
  • 読みやすさのスコア

唯一の要件は、コードが実行時に何らかの測定可能な信号を返すことです。

モデルグレーダー

モデルグレーダーは、元の出力を評価するために追加のAPIリクエストを行います。このアプローチは、以下を評価する上で非常に高い柔軟性を提供します。

  • 応答の品質
  • 指示への従い方の品質
  • 完全性
  • 有用性
  • 安全性

人間グレーダー

人間グレーダーは最も高い柔軟性を提供しますが、時間がかかり、面倒です。以下を評価する際に有用です。

  • 全体的な応答の品質
  • 網羅性
  • 深さ
  • 簡潔さ
  • 関連性

評価基準の定義

グレーダーを実装する前に、明確な評価基準が必要です。コード生成プロンプトの場合、以下に焦点を当てることが考えられます。

  • フォーマット - 説明なしでPython、JSON、または正規表現のみを返すべき
  • 有効な構文 - 生成されたコードは有効な構文を持つべき
  • タスクの遵守 - 応答はユーザーのタスクに正確なコードで直接対応するべき

最初の2つの基準はコードグレーダーとうまく機能しますが、タスクの遵守はその柔軟性のためモデルグレーダーの方が適しています。

モデルグレーダーの実装

モデルグレーダー関数を構築する方法は以下の通りです。

python
def grade_by_model(test_case, output):
    # 評価プロンプトを作成
    eval_prompt = """
    You are an expert code reviewer. Evaluate this AI-generated solution.
    
    Task: {task}
    Solution: {solution}
    
    Provide your evaluation as a structured JSON object with:
    - "strengths": An array of 1-3 key strengths
    - "weaknesses": An array of 1-3 key areas for improvement  
    - "reasoning": A concise explanation of your assessment
    - "score": A number between 1-10
    """
    
    messages = []
    add_user_message(messages, eval_prompt)
    add_assistant_message(messages, "```json")

    eval_text = chat(messages, stop_sequences=["```"])
    return json.loads(eval_text)

主要な洞察は、スコアと共に強み、弱み、および推論を求めることです。このコンテキストがないと、モデルはスコアを6前後の中間的な値にデフォルトで設定する傾向があります。 ## グレーダーの統合 テストケース関数を更新して、モデルグレーダーを使用します。 ``` def run_test_case(test_case): output = run_prompt(test_case) # Get model evaluation model_grade = grade_by_model(test_case, output) score = model_grade["score"] reasoning = model_grade["reasoning"] return \{ "output": output, "test_case": test_case, "score": score, "reasoning": reasoning \} ``` `` ## 平均スコアの計算 全体的なパフォーマンス指標を得るには、すべてのテストケースにわたる平均スコアを計算します。 ``` from statistics import mean def run_eval(dataset): results = [] for test_case in dataset: result = run_test_case(test_case) results.append(result) average_score = mean([result["score"] for result in results]) print(f"Average score: \{average_score\}") return results ``` ` これにより、プロンプトのパフォーマンスを時間の経過とともに追跡するための、具体的で客観的な指標が得られます。モデルグレーダーは多少一貫性に欠ける場合がありますが、プロンプトを体系的に測定し改善するための出発点を提供します。 ` ``