典型的提示評估工作流程遵循五個關鍵步驟,幫助您透過客觀測量系統性地改進提示。雖然有許多不同的方式可以組建這些工作流程,也有各種開源和付費工具可供使用,但了解核心流程能幫助您從小規模開始,並視需要擴大規模。

步驟 1:起草提示
首先撰寫一個您想要改進的初始提示。在這個範例中,我們將使用一個簡單的提示:
prompt = f"""
Please answer the user's question:
{question}
"""
這個基本提示將作為我們測試和改進的基準。
步驟 2:建立評估資料集
您的評估資料集包含您將輸入到提示中的範例輸入。由於我們的提示只有一個輸入(使用者的問題),我們需要一組不同的問題來進行測試。

此資料集包含我們將與提示合併的問題。您可以手動組建這些資料集,或使用 Claude 生成它們。在實際評估中,您可能會有數十、數百,甚至數千筆不同的記錄,但在這個範例中我們將從僅三個問題開始:
- 2+2 等於多少?
- 我該如何煮燕麥粥?
- 月球離我們有多遠?
步驟 3:透過 Claude 處理
從資料集中取出每個問題,並將其與您的提示範本合併,以建立完整的提示。然後將每一個提示傳送給 Claude,並收集回應。

例如,第一個問題會變成一個完整的提示,Claude 會處理它並回傳類似「2 + 2 = 4」的答案。您會對資料集中所有問題重複這個過程,建立一組問題與答案的配對。
步驟 4:透過評分器處理
現在來到客觀測量 Claude 回應品質的關鍵步驟。您將每組問題與答案配對輸入到評分器中,讓它對回應進行評分。

評分器根據答案品質給予分數(通常為 1 到 10 分):
- 10 分 = 完美答案,沒有改進空間
- 4 分 = 尚可,但確實有改進空間
- 較低的分數表示較差的回應
在對所有回應評分之後,您將這些分數取平均。在我們的範例中,10、4 和 9 分的平均值為 7.66,這為您提供了提示表現的客觀測量結果。

步驟 5:修改提示並重複
在建立了基準分數之後,您現在可以修改提示,並重新執行整個流程,看看您的變更是否改善了表現。

例如,您可能透過加入更具體的指示來強化原始提示:
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""提示評分
這個工作流程的力量在於能夠客觀地測量提示的表現。您可以比較不同提示版本之間的分數,以確定哪一個表現更好。

在我們的範例中:
- 提示 v1 得分為 7.66
- 提示 v2 得分為 8.7
v2 較高的分數提供了客觀證據,證明加入「請詳細回答問題」改善了提示的表現。您接著可以使用表現較好的版本,或繼續迭代以達到更高的分數。
這種系統性的方法消除了提示改進中的猜測成分,為優化提供了可靠的框架。雖然在實作有效的評分器方面存在複雜性,但這個工作流程為建立您自己的評估系統提供了堅實的基礎。