加载中
加载中

提示工程是指将您编写的提示进行改进,以获得更可靠、更高质量的输出。这个过程涉及迭代式的优化——从一个基础提示开始,评估其表现,然后系统地应用工程技巧来改进它。

提示评估、提示的自动化测试,引出诸如使用 XML 标签进行结构化等提示工程实践。

迭代改进流程

这种方法遵循一个清晰的循环,您可以不断重复,直到达到期望的结果:

五个提示工程步骤,重复最后两步,并附有一条提示,说明在 001_prompting.ipynb 中使用改进后的评估流水线。

  1. 设定目标 —— 定义您希望提示实现什么
  2. 编写初始提示 —— 创建一个基础的初次尝试
  3. 评估提示 —— 依据您的标准进行测试
  4. 应用提示工程技巧 —— 使用特定方法来提升性能
  5. 重新评估 —— 验证您的更改是否确实改善了结果

您需要重复最后两个步骤,直到您对性能感到满意为止。每次迭代都应该在您的评估分数上显示出可衡量的改进。

搭建您的评估流水线

为了演示这一过程,我们将以一个实际示例为例:创建一个为运动员生成单日饮食计划的提示。该提示需要考虑运动员的身高、体重、目标和饮食限制,然后生成一份全面的饮食计划。

输入:身高 180cm,体重 75kg,目标"保持体重并提高力量",乳糖不耐受,输出约 3000 卡路里。

评估设置使用一个 PromptEvaluator 类来处理数据集生成和模型评分。创建评估器实例时,您可以通过 max_concurrent_tasks 参数控制并发度:

python
evaluator = PromptEvaluator(max_concurrent_tasks=5)

从较低的并发值(例如 3)开始,以避免速率限制错误。如果您的 API 配额允许更快的处理,您可以提高这个值。

生成测试数据

评估系统可以根据您的提示要求自动生成测试用例。您需要定义提示所需要的输入:

python
dataset = evaluator.generate_dataset(
    task_description="Write a compact, concise 1 day meal plan for a single athlete",
    prompt_inputs_spec={
        "height": "Athlete's height in cm",
        "weight": "Athlete's weight in kg", 
        "goal": "Goal of the athlete",
        "restrictions": "Dietary restrictions of the athlete"
    },
    output_file="dataset.json",
    num_cases=3
)

在开发期间将测试用例数量保持在较低水平(2-3 个),以加快迭代周期。在进行最终验证时,您可以增加这个数量。

编写您的初始提示

从一个简单、朴素的提示开始,以建立一个基线。下面是一个故意简化的初次尝试示例:

python
def run_prompt(prompt_inputs):
    prompt = f"""
What should this person eat?

- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}
"""
    
    messages = []
    add_user_message(messages, prompt)
    return chat(messages)

这个基础提示很可能会产生较差的结果,但它为您提供了一个起点,用以衡量后续的改进。

添加评估标准

运行评估时,您可以指定评分模型应考虑的附加标准:

python
results = evaluator.run_evaluation(
    run_prompt_function=run_prompt,
    dataset_file="dataset.json",
    extra_criteria="""
The output should include:
- Daily caloric total
- Macronutrient breakdown  
- Meals with exact foods, portions, and timing
"""
)

这有助于确保您的提示是根据与您的使用场景相关的具体要求进行评估的。

分析结果

运行评估后,您将获得一个数字分数和一份详细的 HTML 报告。该报告会准确展示每个测试用例的表现,包括模型针对每个分数的推理过程。

提示评估报告,包含 50 个测试用例,平均分 2.3(满分 10 分),通过率为 0.0%,并逐个用例列出一行。

不要因为初始分数较低而气馁——对于初次尝试来说,10 分中拿到 2.3 分是很典型的。目标是在应用工程技巧的过程中看到持续的改进。

提示评估报告,包含 50 个测试用例,平均分 2.3(满分 10 分),通过率为 0.0%,并逐个用例列出一行。

详细的评估报告能帮助您准确理解提示失败的地方以及需要哪些改进。利用这些反馈来指导您的下一轮迭代。

后续步骤

在建立了基线之后,您就可以开始应用具体的提示工程技巧了。您学习的每一种技巧都应该在评估分数上带来可衡量的改进,逐步将您的基础提示转变为一个可靠、高性能的工具。

请记住,提示工程是一个迭代的过程。关键是每次只做一个改动,评估其影响,并在有效的基础上继续构建。这种系统化的方法能确保您理解哪些技巧对您的特定使用场景最有价值。