載入中
載入中

在使用 Claude 時,寫出一個好的提示只是開始而已。若要建構可靠的 AI 應用程式,您需要理解兩個關鍵概念:提示工程與提示評估。提示工程為您提供撰寫更好提示的技巧,而提示評估則幫助您衡量這些提示實際運作的成效。

改善與評估提示:提示工程與提示評估的並列定義,說明如下。

提示工程 vs 提示評估

提示工程是您用來打造有效提示的工具箱。它包括以下技巧:

  • 多範例提示(Multishot prompting)
  • 使用 XML 標籤建構結構
  • 許多其他最佳實踐

這些技巧能幫助 Claude 準確理解您的需求,以及您希望它如何回應。

提示評估則採取不同的方式。它不是著重於如何撰寫提示,而是透過自動化測試來衡量其有效性。您可以:

  • 依照預期答案進行測試
  • 比較同一提示的不同版本
  • 檢查輸出中的錯誤

撰寫提示之後的三種路徑

一旦您草擬好一個提示,通常會面臨接下來該怎麼做的三種選擇:

從草擬提示分支出三種選項及其取捨的圖表,說明如下。

選項 1: 測試提示一次,然後認定它已經足夠好。這會帶來重大風險:當使用者提供意想不到的輸入時,它可能在生產環境中出問題。

選項 2: 測試提示幾次,並調整它以應付一兩個邊緣案例。雖然比選項 1 好一些,但使用者常常會提供您未曾考慮過的極端輸出。

選項 3: 讓提示通過評估流程以進行評分,然後根據客觀指標來迭代這個提示。這種方法需要更多的工作量與成本,但能讓您對提示的可靠性更有信心。

為什麼大多數工程師會落入測試陷阱

選項 1 與選項 2 是所有工程師(包括我自己)都常落入的陷阱。對一個重要的應用程式撰寫提示,卻沒有充分測試它,這是很自然的事。我們往往會低估真實使用者會遇到多少邊緣案例。

現實情況是,當您將提示部署到生產環境後,使用者與它互動的方式會是您從未預料到的。在您有限的測試過程中看似穩健的提示,面對真實世界各式各樣的輸入時,很快就可能出問題。

評估優先的方法

選項 3 代表一種更系統化的提示開發方法。透過讓您的提示通過評估流程,您可以獲得關於其在更廣泛測試案例範圍內表現的客觀指標。這種以數據為導向的方法能讓您:

  • 在問題成為生產環境問題之前就找出弱點
  • 客觀地比較不同的提示版本
  • 根據可衡量的改善,有信心地進行迭代
  • 建構更可靠的 AI 應用程式

雖然這種方法需要在時間與測試基礎架構上投入更多前期成本,但它會在最終應用程式的可靠性與穩健性上帶來豐厚的回報。目標是在開發階段就發現問題,而不是等到使用者遇到之後才發現。