載入中
提示工程是指將您已撰寫的提示加以改進,以獲得更可靠、更高品質的輸出。這個過程包括撰寫初始提示、評估其效能,然後系統性地逐步套用工程技巧來加以改進。

迭代改進流程
此方法遵循一個清晰的循環:設定目標、撰寫初始提示、評估提示、套用提示工程技巧,然後重新評估以驗證效能是否提升。隨著您不斷精進提示,這個循環會反覆進行。

在這系列教學中,我們將使用一個實際範例:建立一個根據運動員的身高、體重、體能目標及飲食限制,產生單日餐食計畫的提示。
設定評估流程
此評估使用來自先前單元的改進版流程,並封裝於一個處理資料集產生與模型評分的 PromptEvaluator 類別中。該類別支援並行處理,以加快評估流程:
python
evaluator = PromptEvaluator(max_concurrent_tasks=5)請先從較低的並行值(例如 3)開始,以避免速率限制錯誤。您可以根據自己的 API 配額調整此數值。
產生測試資料
generate_dataset 方法會為您的提示建立測試案例。您需要指定:
- 說明您的提示應執行之事的任務描述
- 提示所需輸入項目的規格
- 要產生的測試案例數量
以餐食計畫範例為例:
python
dataset = evaluator.generate_dataset(
task_description="Write a compact, concise 1 day meal plan for a single athlete",
prompt_inputs_spec={
"height": "Athlete's height in cm",
"weight": "Athlete's weight in kg",
"goal": "Goal of the athlete",
"restrictions": "Dietary restrictions of the athlete"
},
num_cases=3
)撰寫初始提示
從一個簡單、樸素的提示開始以建立基準線。run_prompt 函式會接收測試案例的輸入,並應回傳模型的回應:
python
def run_prompt(prompt_inputs):
prompt = f"""
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}
"""
messages = []
add_user_message(messages, prompt)
return chat(messages)執行評估
評估流程會將您提示的輸出與預期標準進行比較。您可以新增額外標準來引導評分:
python
results = evaluator.run_evaluation(
run_prompt_function=run_prompt,
dataset_file="dataset.json",
extra_criteria="""
The output should include:
- Daily caloric total
- Macronutrient breakdown
- Meals with exact foods, portions, and timing
"""
)分析結果
評估會產生一個可在瀏覽器中開啟的 output.html 檔案。此報告會顯示每個測試案例的詳細結果,包括分數、推理過程,以及您的提示所產生的實際輸出。

請不要因初始分數較低而氣餒——這是正常現象!本範例中的初始提示僅得到 10 分中的 2.3 分,但這為您提供了一個明確的基準線,可以據此加以改進。
接下來該做什麼
在建立好基準線後,您現在可以系統性地套用提示工程技巧,例如表達更具體、新增輸出格式要求、使用結構化提示,以及採用多範例示範。每項技巧都應能提升您的評估分數,讓您朝著目標取得可衡量的進展。