載入中
載入中

典型的提示評估工作流程遵循一個系統化的方法,以客觀地衡量並改善您的提示。雖然有許多不同的方式可以組合這些工作流程,也有各種開源和付費工具可供選擇,但了解核心流程能幫助您從小處著手,並依需要逐步擴展。

提示評估工作流程的五個步驟,從草擬提示到變更提示並重複,如下所述。

步驟 1:草擬您的初始提示

首先寫出一個您想要改善的基本提示。在這個範例中,我們將使用一個簡單的提示結構:

python
prompt = f"""
Please answer the user's question:

{question}
"""

上方顯示的初始提示草稿,並附註說明在我們客觀評估之前,無法得知它是否有效。

這為我們提供了一個基準。在我們使用某種客觀方法論進行評估之前,我們無法得知它是否有效。

步驟 2:建立評估數據集

您的評估數據集包含將輸入到您的提示中的樣本輸入。由於我們的提示只有一個輸入(使用者的問題),我們需要一組不同的問題來進行測試。

在「建立評估數據集」步驟的評估工作流程:一個「問題」欄位,包含下方列出的三個問題。

該數據集包含我們將與提示合併的問題。您可以手動組合這些數據集,或使用 Claude 來產生它們。在實際評估中,您可能會有數十、數百甚至數千筆不同的記錄,但在這個範例中,我們將從三個問題開始:

  • 2+2 等於多少?
  • 我要怎麼煮燕麥粥?
  • 月球有多遠?

步驟 3:透過 Claude 進行處理

從您的數據集中取出每個問題,並將其與您的提示範本合併,以建立完整的提示。然後將每一個發送給 Claude 並收集回應。

一個帶有問題佔位符的提示、三個測試問題(如「2+2 等於多少?」)以及 Claude 的回覆(如「2 + 2 = 4」)。

例如,第一個問題變成了一個完整的提示,讓 Claude 可以回應。您將對數據集中的所有記錄重複這個過程,取得像「2 + 2 = 4」、詳細的燕麥粥製作說明,以及關於月球距離的資訊等回應。

步驟 4:透過評分器進行處理

現在來到關鍵步驟:客觀地為 Claude 的回應評分。將每一對問題與答案輸入評分器,以評估 Claude 回應的品質。

評估流程中被標示出的評分器階段:三對問題與答案輸入評分器,分別得到 10 分、4 分和 9 分。

評分器會根據回應品質給予分數(通常為 1 到 10 分):

  • 10 分 = 完美的答案,沒有改善空間
  • 4 分 = 明顯有改善空間
  • 1 分 = 不良或不正確的回應

在我們的範例中,這些回應的得分可能分別是 10 分、4 分和 9 分。將這些分數平均起來,即可得到整體績效指標:7.66。

所有四個評估階段,評分器為諸如「在乾燕麥片中加入熱水。」之類的答案評分,並計算平均分數。

步驟 5:變更提示並重複

在確立基準分數之後,您現在可以開始迭代您的提示。嘗試加入更具體的指示來引導 Claude 的回應:

五步驟評估工作流程,最後一步「變更提示並重複」被標示出來,並在下方顯示修訂後的提示。

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

將這個改進後的提示再次跑過整個評估流程。比較分數,看看哪個版本表現更好。

提示評分與迭代

這個工作流程的威力在於能為每個提示版本取得客觀的衡量結果。您可以比較不同迭代版本的分數,並使用表現最佳的版本,或繼續迭代以找到更好的方法。

提示 v1 得分 7.66,而加入「請詳細回答問題」的提示 v2 得分 8.7。

在我們的範例中:

  • 提示 v1 得分 7.66
  • 提示 v2 得分 8.7

v2 較高的分數顯示,加入「請詳細回答問題」改善了提示在我們測試案例中的表現。

這種系統化的方法讓您有一種客觀的方式來衡量提示的改善程度,而非仰賴主觀判斷。您可以從簡單的實作開始,並隨著需求的成長,逐步加入更精細的評估標準。