載入中

典型的評估工作流程

第 10 課10 分鐘
載入中

典型的提示評估工作流程遵循五個關鍵步驟,幫助您透過客觀的衡量方式系統性地改善提示。雖然組合這些工作流程的方式有很多種,市面上也有各種開源和付費工具可供使用,但了解核心流程能幫助您從小規模開始,並視需要逐步擴大。

提示評估工作流程的五個步驟,從起草提示到更改提示並重複,如下所述。

步驟 1:起草提示

首先撰寫一個您想要改善的初始提示。在這個範例中,我們會使用一個簡單的提示:

python
prompt = f"""
Please answer the user's question:

{question}
"""

上方顯示的初始提示草稿,並附註說明在我們客觀評估之前無法得知其是否有效。

這個基本提示將作為我們測試與改善的基準。

步驟 2:建立評估資料集

您的評估資料集包含代表您的提示在生產環境中將處理的問題或請求類型的範例輸入。此資料集應包含將被插入到您的提示範本中的問題。

處於「建立評估資料集」步驟的評估工作流程:「Question」欄位中包含下方列出的三個問題。

在此範例中,我們的資料集包含三個問題:

  • 「2+2 等於多少?」
  • 「我該如何製作燕麥粥?」
  • 「月球有多遠?」

在實際的評估中,您可能會有數十、數百甚至數千筆記錄。您可以手動組建這些資料集,或使用 Claude 來為您產生。

步驟 3:透過 Claude 處理

從您的資料集中取出每個問題,並將其與您的提示範本合併,以建立完整的提示。然後將每一個提示傳送給 Claude 以取得回應。

一個帶有問題佔位符的提示、三個測試問題,例如「2+2 等於多少?」,以及 Claude 的回覆,例如「2 + 2 = 4」。

舉例來說,第一個問題會變成:

Please answer the user's question:
What's 2+2?

對於數學問題,Claude 可能會回答「2 + 2 = 4」;對於第二個問題,會提供燕麥粥的烹調說明;對於第三個問題,則會給出到月球的距離。

步驟 4:透過評分器處理

評分器透過檢視原始問題和 Claude 的答案來評估 Claude 回應的品質。此步驟提供客觀的評分,通常採用 1 到 10 的量表,10 代表完美的答案,較低的分數則表示有改善空間。

醒目顯示評估流程中的評分器階段:三組問答配對進入評分器,分別得到 10、4 和 9 分。

在我們的範例中,評分器可能會給出:

  • 數學問題:10(完美答案)
  • 燕麥粥問題:4(需要改善)
  • 月球問題:9(非常好的答案)

所有問題的平均分數為您提供了一個客觀的衡量標準:(10 + 4 + 9) ÷ 3 = 7.66

步驟 5:更改提示並重複

既然您已經有了基準分數,您可以修改您的提示,並再次執行整個流程,以查看您的更改是否改善了效能。

五步驟評估工作流程,醒目顯示最後一個步驟「更改提示並重複」,下方顯示修訂後的提示。

舉例來說,您可能會在提示中加入更多指引:

python
prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

在透過相同的評估流程執行這個改善後的提示之後,您可能會得到更高的平均分數 8.7,這表示額外的指示有助於 Claude 提供更好的回應。

提示評分

此工作流程的主要好處在於能客觀地衡量提示的效能。您可以:

  • 以數值方式比較不同的提示版本
  • 使用分數最高的版本
  • 持續迭代以找出更好的方法

提示 v1 得到 7.66 分,而提示 v2 加入了「請詳盡作答」,得到 8.7 分。

這種系統化的方法消除了提示工程中的臆測,讓您確信自己的更改確實是改善,而不僅僅是不同的變化版本。