載入中
載入中

現在我們的評測資料集已準備就緒,是時候建構核心評測管線了。這涉及將每個測試案例與我們的提示合併,餵給 Claude,然後對結果進行評分。

一個帶有問題佔位符的提示、三個測試問題(如「2+2 等於多少?」)以及 Claude 的回覆(如「2 + 2 = 4」)。

評測流程遵循明確的工作流程:我們取得測試案例資料集,將每個案例與提示範本結合,將其傳送給 Claude 進行處理,然後使用評分系統評估輸出結果。

建構核心函式

評測管線由三個主要函式組成,每個函式都有特定的職責。讓我們從最簡單的開始——負責處理單一提示執行的函式。

run_prompt 函式

這個函式接收一個測試案例,並將其與我們的提示範本合併:

python
def run_prompt(test_case):
    """Merges the prompt and test case input, then returns the result"""
    prompt = f"""
Please solve the following task:

{test_case["task"]}
"""
    
    messages = []
    add_user_message(messages, prompt)
    output = chat(messages)
    return output

目前,我們保持提示非常簡單。我們沒有包含任何格式化指示,這意味著 Claude 很可能會回傳比我們需要的更冗長的輸出。我們會在後續迭代評測流程時進一步改進這一點。

run_test_case 函式

這個函式協調單一測試案例的執行並對結果進行評分:

python
def run_test_case(test_case):
    """Calls run_prompt, then grades the result"""
    output = run_prompt(test_case)
    
    # TODO - 評分
    score = 10
    
    return {
        "output": output,
        "test_case": test_case,
        "score": score
    }

目前,我們使用寫死的 10 分作為分數。評分邏輯是我們在接下來的章節中會花費大量時間的部分,但這個佔位符讓我們能夠測試整體管線結構。

run_eval 函式

這是處理整個資料集的主要協調函式:

python
def run_eval(dataset):
    """Loads the dataset and calls run_test_case with each case"""
    results = []
    
    for test_case in dataset:
        result = run_test_case(test_case)
        results.append(result)
    
    return results

這個函式會遍歷我們資料集中的每個測試案例,逐一處理,並將所有結果收集到一個清單中。

執行評測

要執行我們的評測管線,我們載入資料集並呼叫主函式:

python
with open("dataset.json", "r") as f:
    dataset = json.load(f)

results = run_eval(dataset)

第一次執行時,請預期會花費一些時間——即使使用 Claude Haiku,處理完整的資料集也可能需要 30 秒以上。我們稍後會介紹優化技巧,但目前耐心最為重要。

檢視結果

評測完成後,您可以透過格式化的 JSON 輸出檢查結果:

python
print(json.dumps(results, indent=2))

一個帶有問題佔位符的提示、三個測試問題(如「2+2 等於多少?」)以及 Claude 的回覆(如「2 + 2 = 4」)。

結果結構包含一個物件陣列,其中每個物件代表一次測試案例的執行。您會看到 Claude 的輸出(在沒有格式限制的情況下往往相當冗長)、原始測試案例定義以及分數。

評測管線的評分階段被標示出來:三組問答會進入評分器,分別得到 10 分、4 分和 9 分。

我們已完成的工作

到目前為止,我們已成功實作了核心評測管線。我們可以做到:

  • 從資料集中取得測試案例
  • 將其與提示範本合併
  • 取得 Claude 的回應
  • 收集並整理所有結果

缺少的一環是智慧評分——目前我們只是對每個回應指派固定分數。下一步是建構能夠真正評估 Claude 輸出是否正確的評分器,這正是評測系統真正展現其複雜性之處。

這個管線結構看似簡單,但它代表了大多數 AI 評測系統所建立的基礎。複雜性存在於評分邏輯和提示優化之中,而不在於執行測試的基本協調流程。