典型的提示評估工作流程遵循一個系統化的方法,以客觀地衡量並改善您的提示。雖然有許多不同的方式可以組合這些工作流程,也有各種開源和付費工具可供選擇,但了解核心流程能幫助您從小處著手,並依需要逐步擴展。

步驟 1:草擬您的初始提示
首先寫出一個您想要改善的基本提示。在這個範例中,我們將使用一個簡單的提示結構:
prompt = f"""
Please answer the user's question:
{question}
"""
這為我們提供了一個基準。在我們使用某種客觀方法論進行評估之前,我們無法得知它是否有效。
步驟 2:建立評估數據集
您的評估數據集包含將輸入到您的提示中的樣本輸入。由於我們的提示只有一個輸入(使用者的問題),我們需要一組不同的問題來進行測試。

該數據集包含我們將與提示合併的問題。您可以手動組合這些數據集,或使用 Claude 來產生它們。在實際評估中,您可能會有數十、數百甚至數千筆不同的記錄,但在這個範例中,我們將從三個問題開始:
- 2+2 等於多少?
- 我要怎麼煮燕麥粥?
- 月球有多遠?
步驟 3:透過 Claude 進行處理
從您的數據集中取出每個問題,並將其與您的提示範本合併,以建立完整的提示。然後將每一個發送給 Claude 並收集回應。

例如,第一個問題變成了一個完整的提示,讓 Claude 可以回應。您將對數據集中的所有記錄重複這個過程,取得像「2 + 2 = 4」、詳細的燕麥粥製作說明,以及關於月球距離的資訊等回應。
步驟 4:透過評分器進行處理
現在來到關鍵步驟:客觀地為 Claude 的回應評分。將每一對問題與答案輸入評分器,以評估 Claude 回應的品質。

評分器會根據回應品質給予分數(通常為 1 到 10 分):
- 10 分 = 完美的答案,沒有改善空間
- 4 分 = 明顯有改善空間
- 1 分 = 不良或不正確的回應
在我們的範例中,這些回應的得分可能分別是 10 分、4 分和 9 分。將這些分數平均起來,即可得到整體績效指標:7.66。

步驟 5:變更提示並重複
在確立基準分數之後,您現在可以開始迭代您的提示。嘗試加入更具體的指示來引導 Claude 的回應:

prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""將這個改進後的提示再次跑過整個評估流程。比較分數,看看哪個版本表現更好。
提示評分與迭代
這個工作流程的威力在於能為每個提示版本取得客觀的衡量結果。您可以比較不同迭代版本的分數,並使用表現最佳的版本,或繼續迭代以找到更好的方法。

在我們的範例中:
- 提示 v1 得分 7.66
- 提示 v2 得分 8.7
v2 較高的分數顯示,加入「請詳細回答問題」改善了提示在我們測試案例中的表現。
這種系統化的方法讓您有一種客觀的方式來衡量提示的改善程度,而非仰賴主觀判斷。您可以從簡單的實作開始,並隨著需求的成長,逐步加入更精細的評估標準。