在使用 Claude 時,寫出一個好的提示只是開始而已。若要建構可靠的 AI 應用程式,您需要理解兩個關鍵概念:提示工程與提示評估。提示工程為您提供撰寫更好提示的技巧,而提示評估則幫助您衡量這些提示實際運作的成效。

提示工程 vs 提示評估
提示工程是您用來打造有效提示的工具箱。它包括以下技巧:
- 多範例提示(Multishot prompting)
- 使用 XML 標籤建構結構
- 許多其他最佳實踐
這些技巧能幫助 Claude 準確理解您的需求,以及您希望它如何回應。
提示評估則採取不同的方式。它不是著重於如何撰寫提示,而是透過自動化測試來衡量其有效性。您可以:
- 依照預期答案進行測試
- 比較同一提示的不同版本
- 檢查輸出中的錯誤
撰寫提示之後的三種路徑
一旦您草擬好一個提示,通常會面臨接下來該怎麼做的三種選擇:

選項 1: 測試提示一次,然後認定它已經足夠好。這會帶來重大風險:當使用者提供意想不到的輸入時,它可能在生產環境中出問題。
選項 2: 測試提示幾次,並調整它以應付一兩個邊緣案例。雖然比選項 1 好一些,但使用者常常會提供您未曾考慮過的極端輸出。
選項 3: 讓提示通過評估流程以進行評分,然後根據客觀指標來迭代這個提示。這種方法需要更多的工作量與成本,但能讓您對提示的可靠性更有信心。
為什麼大多數工程師會落入測試陷阱
選項 1 與選項 2 是所有工程師(包括我自己)都常落入的陷阱。對一個重要的應用程式撰寫提示,卻沒有充分測試它,這是很自然的事。我們往往會低估真實使用者會遇到多少邊緣案例。
現實情況是,當您將提示部署到生產環境後,使用者與它互動的方式會是您從未預料到的。在您有限的測試過程中看似穩健的提示,面對真實世界各式各樣的輸入時,很快就可能出問題。
評估優先的方法
選項 3 代表一種更系統化的提示開發方法。透過讓您的提示通過評估流程,您可以獲得關於其在更廣泛測試案例範圍內表現的客觀指標。這種以數據為導向的方法能讓您:
- 在問題成為生產環境問題之前就找出弱點
- 客觀地比較不同的提示版本
- 根據可衡量的改善,有信心地進行迭代
- 建構更可靠的 AI 應用程式
雖然這種方法需要在時間與測試基礎架構上投入更多前期成本,但它會在最終應用程式的可靠性與穩健性上帶來豐厚的回報。目標是在開發階段就發現問題,而不是等到使用者遇到之後才發現。