在與 Claude 合作時,寫出一個好的提示只是個開始。要打造可靠的 AI 應用程式,您需要理解兩個關鍵概念:提示工程與提示評估。提示工程為您提供撰寫更好提示的技巧,而提示評估則幫助您衡量這些提示實際運作的成效。

提示工程 vs 提示評估
提示工程是您用來撰寫和改善提示的工具組。它是一套最佳實踐,幫助 Claude 準確理解您所要求的內容以及您希望它如何回應。您可以把它想成是提示撰寫的技藝——像是多範例提示(multishot prompting)、使用 XML 標籤建構結構,以及我們將探討的許多其他方法。
另一方面,提示評估則關乎測量。它是自動化測試,為您提供關於提示是否真正有效的客觀指標。評估讓您不必猜測提示是否運作良好,而是可以:
- 針對預期答案進行測試
- 比較同一提示的不同版本
- 檢視輸出結果是否有錯誤
撰寫提示後的三條路徑
一旦您草擬好一個提示,通常會面臨接下來要做什麼的三種選項:

選項 1: 測試提示一次,然後判定已經足夠好。這會帶來很大的風險,當使用者提供意料之外的輸入時,可能在正式環境中出錯。
選項 2: 測試提示幾次並調整它,以處理一兩個邊緣情況。雖然比選項 1 好,但這種做法仍讓您容易受到影響,因為使用者常常會提供您未曾考慮過的、非常出乎意料的輸出情況。
選項 3: 讓提示通過評估流程(evaluation pipeline)進行評分,然後根據客觀數據反覆改進提示。這需要更多前期的工作與成本,但能讓您對提示的可靠性更有信心。
為何大多數工程師會落入測試陷阱
選項 1 與選項 2 是所有工程師都會落入的陷阱,我自己也不例外。為嚴肅的應用程式撰寫提示卻未充分測試,是很自然的事。我們往往會用對我們來說顯而易見的輸入來測試,但真實使用者與您的提示互動的方式,往往超乎您的預期。
解決之道是擁抱選項 3:系統性評估。透過讓您的提示通過正確的評估流程,您能獲得客觀的分數,告訴您提示在各種情境下的表現如何。這種以數據為導向的方法,讓您能有信心地反覆改進,並在問題到達正式環境之前就先發現它們。
先理解評估,能為您奠定基礎,讓您在應用提示工程技巧時衡量改進成效。一旦您能可靠地衡量提示的效果,您就能嘗試不同的方法,並確切知道哪些方法效果更好。