在使用 Claude 時,寫出一個好的提示只是開始。要建構可靠的 AI 應用程式,您需要理解兩個關鍵概念:提示工程與提示評估。提示工程提供您撰寫更優質提示的技巧,而提示評估則幫助您衡量這些提示實際運作得有多好。

提示工程與提示評估
提示工程是您用來撰寫和改善提示的工具組。這是一套最佳實務,能幫助 Claude 確切理解您的需求,以及您希望它如何回應。可以把它想成是撰寫提示的技藝——例如多樣本提示、以 XML 標籤結構化,以及我們將探討的許多其他方法。
另一方面,提示評估則是關於衡量。這是一種自動化測試,能為您提供客觀指標,判斷您的提示是否真正有效。評估讓您不必猜測提示是否運作良好,而是可以:
- 根據預期答案進行測試
- 比較同一提示的不同版本
- 檢視輸出結果是否有錯誤
撰寫提示之後的三條路徑
一旦您草擬了一個提示,通常會面臨三種接下來的選項:

選項 1: 只測試提示一次,就認定它已經夠好了。這會帶來很大的風險,當使用者提供意料之外的輸入時,在生產環境中可能會出問題。
選項 2: 測試提示幾次,並微調它以處理一兩個邊緣案例。雖然比選項 1 好,但使用者經常會提供您未曾考慮過的非常出乎意料的輸出。
選項 3: 讓提示通過評估管線以進行評分,然後根據客觀數據反覆改進提示。這需要更多前期的工作與成本,但能讓您對提示的可靠性更有信心。
為何大多數工程師會落入測試陷阱
選項 1 和選項 2 是所有工程師都會落入的陷阱——我自己也不例外。自然而然地,人們會寫出一個提示,用自己的輸入測試個幾次,然後覺得「這樣應該夠好了」。但當您在建構正式的應用程式時,這種做法往往會在生產環境中導致問題。
問題在於,您無法預測使用者將以何種方式與您的提示互動。在您有限的測試中看似完美運作的提示,面對真實世界的使用模式時,可能會徹底失敗。
系統化評估的價值
選項 3——讓提示通過評估管線——能為您提供關於效能的客觀數據。您不必仰賴直覺或有限的人工測試,而是能獲得可衡量的分數,告訴您提示在處理各種輸入時表現得如何。
這種做法讓您能夠自信地反覆改進。您可以對提示進行修改,並立即看出這些修改是改善了還是損害了效能。這就是在「用猜的」與「確實知道」提示改進是否真正有效之間的差別。
雖然評估需要在時間與資源上投入更多前期成本,但當您需要能在各種不同使用者輸入下持續穩定運作的可靠、可用於生產環境的提示時,這項投資將帶來豐厚的回報。