載入中
載入中

提示工程是指將您已撰寫的提示加以改進,以獲得更可靠、更高品質的輸出。這個過程包括撰寫初始提示、評估其效能,然後系統性地逐步套用工程技巧來加以改進。

提示評估、提示的自動化測試,導向如使用 XML 標籤建構結構等提示工程實務。

迭代改進流程

此方法遵循一個清晰的循環:設定目標、撰寫初始提示、評估提示、套用提示工程技巧,然後重新評估以驗證效能是否提升。隨著您不斷精進提示,這個循環會反覆進行。

五個提示工程步驟,其中最後兩步會重複進行,並附註要在 001_prompting.ipynb 中使用改進後的評估流程。

在這系列教學中,我們將使用一個實際範例:建立一個根據運動員的身高、體重、體能目標及飲食限制,產生單日餐食計畫的提示。

設定評估流程

此評估使用來自先前單元的改進版流程,並封裝於一個處理資料集產生與模型評分的 PromptEvaluator 類別中。該類別支援並行處理,以加快評估流程:

python
evaluator = PromptEvaluator(max_concurrent_tasks=5)

請先從較低的並行值(例如 3)開始,以避免速率限制錯誤。您可以根據自己的 API 配額調整此數值。

產生測試資料

generate_dataset 方法會為您的提示建立測試案例。您需要指定:

  • 說明您的提示應執行之事的任務描述
  • 提示所需輸入項目的規格
  • 要產生的測試案例數量

以餐食計畫範例為例:

python
dataset = evaluator.generate_dataset(
    task_description="Write a compact, concise 1 day meal plan for a single athlete",
    prompt_inputs_spec={
        "height": "Athlete's height in cm",
        "weight": "Athlete's weight in kg", 
        "goal": "Goal of the athlete",
        "restrictions": "Dietary restrictions of the athlete"
    },
    num_cases=3
)

撰寫初始提示

從一個簡單、樸素的提示開始以建立基準線。run_prompt 函式會接收測試案例的輸入,並應回傳模型的回應:

python
def run_prompt(prompt_inputs):
    prompt = f"""
    What should this person eat?
    
    - Height: {prompt_inputs["height"]}
    - Weight: {prompt_inputs["weight"]}
    - Goal: {prompt_inputs["goal"]}
    - Dietary restrictions: {prompt_inputs["restrictions"]}
    """
    
    messages = []
    add_user_message(messages, prompt)
    return chat(messages)

執行評估

評估流程會將您提示的輸出與預期標準進行比較。您可以新增額外標準來引導評分:

python
results = evaluator.run_evaluation(
    run_prompt_function=run_prompt,
    dataset_file="dataset.json",
    extra_criteria="""
    The output should include:
    - Daily caloric total
    - Macronutrient breakdown  
    - Meals with exact foods, portions, and timing
    """
)

分析結果

評估會產生一個可在瀏覽器中開啟的 output.html 檔案。此報告會顯示每個測試案例的詳細結果,包括分數、推理過程,以及您的提示所產生的實際輸出。

提示評估報告,包含 50 個測試案例,平均分數為 10 分中的 2.3 分,通過率為 0.0%,下方列出每個案例一列。

請不要因初始分數較低而氣餒——這是正常現象!本範例中的初始提示僅得到 10 分中的 2.3 分,但這為您提供了一個明確的基準線,可以據此加以改進。

接下來該做什麼

在建立好基準線後,您現在可以系統性地套用提示工程技巧,例如表達更具體、新增輸出格式要求、使用結構化提示,以及採用多範例示範。每項技巧都應能提升您的評估分數,讓您朝著目標取得可衡量的進展。