載入中
載入中

提示工程是指將您已撰寫的提示加以改進,以獲得更可靠、更高品質的輸出。這個過程涉及反覆的優化——從基本的提示開始,評估其表現,然後有系統地應用工程技巧來加以改進。

提示評估、提示的自動化測試,進而帶出以 XML 標籤進行結構化等提示工程實踐。

反覆改進流程

此方法遵循一個明確的循環,您可以重複進行,直到達成您所期望的結果:

五個提示工程步驟,重複最後兩個步驟,並附有一則提示,說明要在 001_prompting.ipynb 中使用改進後的評估流程。

  1. 設定目標 - 定義您希望提示達成的目的
  2. 撰寫初始提示 - 建立一個基本的初次嘗試版本
  3. 評估提示 - 依您的標準進行測試
  4. 套用提示工程技巧 - 使用特定方法來提升表現
  5. 重新評估 - 確認您的變更確實改善了結果

您要重複最後兩個步驟,直到對表現感到滿意為止。每次反覆都應在您的評估分數上呈現可衡量的改善。

範例:為運動員規劃餐點

讓我們透過一個實際範例來說明。目標是建立一個提示,能根據運動員的身體特徵與需求,產生一份單日餐點計畫。

輸入身高 180 公分、體重 75 公斤、目標為「維持體重並提升力量」、乳糖不耐,輸出約 3000 大卡。

此提示會接收這些輸入,並應產出一份完整的餐點計畫,內容包含總熱量、巨量營養素分配,以及具體的餐點細節,包括份量與用餐時間。

建立評估框架

為了有系統地衡量改進程度,您需要一套完善的評估設定。此框架包含:

  • 數據集生成 - 建立代表真實世界情境的測試案例
  • 自動化評分 - 使用一致的標準來評估輸出結果
  • 表現追蹤 - 監控各次反覆之間的改進情況

在設定您的評估器時,請留意 API 速率限制。一開始請使用較低的並發量(1 到 3 個並發請求),只有在沒有遇到速率限制錯誤時,才逐步提高。

建立您的初始提示

先從簡單的版本開始,即使您知道它並不理想。以下是一個基本初次嘗試的範例:

What should this person eat?

- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}  
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}

此提示刻意設計得很基本,很可能會產生不佳的結果。這正是您想要的——一個明確的基準線,讓您可以從中改進。

建立評估標準

定義您的提示應達到的具體標準。以餐點規劃為例,良好的輸出應包含:

  • 每日總熱量
  • 巨量營養素分配
  • 附有確切食物、份量與時間的餐點

這些標準有助於評估模型一致地為輸出評分,也能為您提供明確的改進目標。

衡量基準表現

讓您的初始提示通過評估框架進行測試。不要因為分數偏低而氣餒——10 分中拿到 2.3 分,作為起點其實是再完美不過了。這能讓您有充分的空間來展現改進的成果。

提示評估報告,共 50 個測試案例,平均分數為 10 分中的 2.3 分,通過率為 0.0%,並逐案列出結果。

分析結果

大多數評估框架都會產生詳細報告,顯示每個測試案例的表現情況。這些報告通常包含:

提示評估報告,共 50 個測試案例,平均分數為 10 分中的 2.3 分,通過率為 0.0%,並逐案列出結果。

  • 個別測試案例結果 - 確切查看模型所產生的內容
  • 評分明細 - 了解某些輸出為何評分偏低
  • 理由說明 - 取得關於缺漏或錯誤之處的回饋

運用這些詳細的回饋,找出您的提示需要改進的具體領域。請留意多個測試案例之間的模式,以了解系統性的問題,而非單一事件。

後續步驟

在建立好基準線與評估框架之後,您便可以開始套用具體的提示工程技巧。您所套用的每項技巧,都應在評估分數上呈現可衡量的改善,讓您更接近理想的輸出品質。

關鍵在於一次只做一項變更,評估其影響,然後決定要保留此變更,還是嘗試不同的作法。這種系統化的流程能確保您了解哪些技巧最適合您的特定使用情境。