現在我們的評估數據集已經準備好了,是時候建構核心評估流程了。這包括將每個測試案例與我們的提示合併、將其提供給 Claude,然後對結果進行評分。

評估過程遵循一個清晰的工作流程:我們取得測試案例的數據集,將每個案例與我們的提示範本結合,將其傳送給 Claude 進行處理,然後使用評分系統評估輸出。
建構核心函數
評估流程由三個主要函數組成,每個函數都有特定的職責。讓我們從最簡單的開始——處理單一提示的函數。
run_prompt 函數
此函數接收一個測試案例,並將其與我們的提示範本合併:
def run_prompt(test_case):
"""Merges the prompt and test case input, then returns the result"""
prompt = f"""
Please solve the following task:
{test_case["task"]}
"""
messages = []
add_user_message(messages, prompt)
output = chat(messages)
return output目前,我們將提示保持得極為簡單。我們沒有包含任何格式化指示,因此 Claude 很可能會回傳比我們所需更冗長的輸出。我們稍後在迭代提示設計時會改進這一點。
run_test_case 函數
此函數負責協調執行單一測試案例並對結果進行評分:
def run_test_case(test_case):
"""Calls run_prompt, then grades the result"""
output = run_prompt(test_case)
# TODO - 評分
score = 10
return {
"output": output,
"test_case": test_case,
"score": score
}目前,我們使用的是硬編碼的 10 分。評分邏輯將是我們在接下來的章節中花費大量時間的地方,但這個佔位符讓我們能夠測試整體流程。
run_eval 函數
此函數協調整個評估過程:
def run_eval(dataset):
"""Loads the dataset and calls run_test_case with each case"""
results = []
for test_case in dataset:
result = run_test_case(test_case)
results.append(result)
return results此函數處理我們數據集中的每一個測試案例,並將所有結果收集到一個列表中。
執行評估
要執行我們的評估流程,我們載入數據集並透過我們的函數執行它:
with open("dataset.json", "r") as f:
dataset = json.load(f)
results = run_eval(dataset)第一次執行時,預計會花費一些時間——即使使用 Claude Haiku,處理完整數據集也可能需要大約 30 秒。我們稍後會介紹優化技巧。
檢視結果
評估會回傳一個結構化的 JSON 陣列,其中每個物件代表一個測試案例的結果:
print(json.dumps(results, indent=2))
每個結果包含三項關鍵資訊:
- output:來自 Claude 的完整回應
- test_case:所處理的原始測試案例
- score:評估分數(目前為硬編碼)
從輸出中可以看到,由於我們尚未提供具體的格式化指示,Claude 生成的回應相當冗長。這正是我們在改進提示時將要解決的問題類型。

我們已經完成的事項
至此,我們已成功建構了核心評估流程。我們可以取得數據集、透過 Claude 處理它,並收集結構化的結果。目前缺少的主要部分是評分系統——那個硬編碼的 10 分需要被替換為真正的評估邏輯。
這個流程代表了大多數 AI 評估系統的基礎。雖然看起來很簡單,但您其實已經建構了一個評估流程實際運作內容的大部分。複雜之處在於細節——更好的提示、精密的評分,以及效能優化。
接下來,我們將深入探討評分器這個關鍵主題,它將把我們硬編碼的分數轉變為對 Claude 表現有意義的評估。