載入中

基於模型的評分

第 14 課10 分鐘
載入中

在建構提示評估工作流程時,評分系統能提供關於輸出品質的客觀訊號。評分器會接收模型輸出,並回傳某種可衡量的回饋——通常是介於 1 到 10 之間的數字,10 代表高品質,1 代表品質不佳。

評分器的類型

比較程式碼、模型與人工評分器;模型與人工評分器也可以比較輸出的兩個版本,說明如下。

評分模型輸出主要有三種方法:

  • 程式碼評分器 - 使用自訂程式碼以程式化方式評估輸出
  • 模型評分器 - 使用另一個 AI 模型來評估品質
  • 人工評分器 - 由人員手動檢閱並評分輸出

程式碼評分器

程式碼評分器讓您可以實作任何您能想到的程式化檢查。常見用途包括:

  • 檢查輸出長度
  • 驗證輸出是否包含或不包含特定詞語
  • JSON、Python 或正規表達式(regex)的語法驗證
  • 可讀性分數,以確保合適的閱讀難度

模型評分器

模型評分器透過額外的 API 呼叫來評估輸出,提供極大的靈活性。它們適用於評估:

  • 回應品質
  • 指令遵循的品質
  • 完整性
  • 有幫助性
  • 安全性

人工評分器

人工評分器提供最大的靈活性,但也伴隨著顯著的缺點。雖然人類可以針對任何可想像的標準來評估回應,但這個過程既耗時又繁瑣。

定義評估標準

"我們要如何知道我們的提示正在產生良好的輸出?" 由下方說明的三項標準來回答。

在實作任何評分器之前,您需要明確的評估標準。以程式碼生成提示為例,您可能會專注於:

  • 格式 - 應只回傳 Python、JSON 或正規表達式,不附帶解釋
  • 有效語法 - 產生的程式碼應具有有效的語法
  • 任務遵循 - 回應應直接針對使用者的任務,並提供準確的程式碼

"格式" 與 "有效語法" 歸類於程式碼評分器之下,而 "任務遵循" 則歸類於模型評分器之下,如下所述。

前兩項標準適合用程式碼評分器處理,而任務遵循則因模型評分器的靈活性而更適合交由其處理。

實作模型評分器

模型評分器通常是最容易實作的。以下是一個基本結構:

python
def grade_by_model(test_case, output):
    eval_prompt = f"""
    You are an expert code reviewer. Evaluate this AI-generated solution.

    Task: {test_case["task"]}
    Solution: {output}

    Provide your evaluation as a structured JSON object with:
    - "strengths": An array of 1-3 key strengths
    - "weaknesses": An array of 1-3 key areas for improvement
    - "reasoning": A concise explanation of your assessment
    - "score": A number between 1-10
    """

    messages = []
    add_user_message(messages, eval_prompt)
    add_assistant_message(messages, "```json")
    eval_text = chat(messages, stop_sequences=["```"])
    return json.loads(eval_text)

評分提示要求提供 1 到 3 項的「優點」與「缺點」陣列、「推理過程」,以及 1 到 10 分的「分數」。

評分提示應該要全面,並包含:

  • 評分器的明確角色定義
  • 原始任務
  • 要評估的 AI 生成解決方案
  • 具體的輸出格式要求

不要只要求分數。請連同數值分數一起,要求提供優點、缺點與推理過程。這可以防止模型預設給出像 6 分這樣中庸的分數,並促使其進行更深思熟慮的評估。

將評分器整合進您的工作流程

一旦您有了評分器函式,請將其整合進您的測試案例執行器中:

python
def run_test_case(test_case):
    output = run_prompt(test_case)
    
    # 呼叫模型評分器
    model_grade = grade_by_model(test_case, output)
    score = model_grade["score"]
    reasoning = model_grade["reasoning"]
    
    return {
        "output": output, 
        "test_case": test_case, 
        "score": score,
        "reasoning": reasoning
    }

在執行完所有測試案例後,計算平均分數,以取得您的提示效能的客觀指標:

python
from statistics import mean

def run_eval(dataset):
    results = []
    for test_case in dataset:
        result = run_test_case(test_case)
        results.append(result)
    
    average_score = mean([result["score"] for result in results])
    print(f"Average score: {average_score}")
    
    return results

這會給您一個具體的數字,讓您專注於改善。雖然模型評分器可能有些反覆無常,且或許能從更好的引導中受益,但它們為客觀評估提供了一個起點,您可以在此基礎上反覆迭代與改進。