加载中
加载中

提示工程是指将您编写的提示进行改进,以获得更可靠、更高质量的输出。这个过程涉及迭代式的改进——从一个基础提示开始,评估其表现,然后系统地运用工程技巧来改进它。

提示评估(即提示的自动化测试)会引出诸如用XML标签构建结构等提示工程实践。

迭代改进流程

该方法遵循一个清晰的循环,您可以不断重复这个循环,直到达到您期望的结果:

五个提示工程步骤,重复最后两步,并附有说明,提示使用001_prompting.ipynb中改进后的评估流程。

  1. 设定目标 - 明确您希望提示实现什么效果
  2. 编写初始提示 - 创建一个基础的初次尝试
  3. 评估提示 - 根据您的标准进行测试
  4. 应用提示工程技巧 - 使用特定方法来提升表现
  5. 重新评估 - 验证您的改动是否确实提升了效果

您需要重复最后两个步骤,直到对效果感到满意为止。每次迭代都应该在评估分数上显示出可衡量的提升。

示例:为运动员制定膳食计划

让我们通过一个实际例子来说明。目标是创建一个提示,根据运动员的身体特征和需求生成一份一日膳食计划。

输入身高180厘米、体重75公斤、目标为"保持体重并提升爆发力"、乳糖不耐受,输出约3000卡路里。

该提示接收这些输入,并应生成一份全面的膳食计划,包括总热量、宏量营养素分解,以及具体的餐点详情(含分量和时间安排)。

搭建评估框架

为了系统地衡量改进情况,您需要一套健全的评估体系。该框架包括:

  • 数据集生成 - 创建代表真实场景的测试用例
  • 自动化评分 - 使用一致的标准来评估输出
  • 性能追踪 - 监控各次迭代之间的改进情况

在搭建评估器时,请注意 API 速率限制。先从较低的并发量(1-3个并发请求)开始,只有在没有遇到速率限制错误的情况下才增加并发量。

创建您的初始提示

从简单的内容开始,即使您知道它不够好。以下是一个基础初次尝试的示例:

What should this person eat?

- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}  
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}

这个提示故意写得很基础,很可能会产生较差的结果。而这正是您想要的——一个清晰的基线,便于后续改进。

建立评估标准

明确界定您的提示应该满足的具体标准。对于膳食计划这个示例,良好的输出应该包括:

  • 每日总热量
  • 宏量营养素分解
  • 含确切食物、分量和时间安排的餐点

这些标准有助于评估模型对输出进行一致的评分,同时也为您提供明确的改进目标。

衡量基线表现

将您的初始提示运行通过评估框架。不要因为低分而气馁——对于起始点来说,2.3分(满分10分)的成绩其实恰到好处。它给了您充分的空间来展示后续的改进。

提示评估报告,包含50个测试用例,平均分为10分中的2.3分,通过率为0.0%,随后列出每个用例的一行记录。

分析结果

大多数评估框架都会生成详细的报告,展示每个测试用例的表现情况。这些报告通常包括:

提示评估报告,包含50个测试用例,平均分为10分中的2.3分,通过率为0.0%,随后列出每个用例的一行记录。

  • 单个测试用例结果 - 准确查看模型产生的输出内容
  • 评分细分 - 理解某些输出评分较低的原因
  • 推理过程 - 获取关于缺失或错误之处的反馈

利用这些详细的反馈来识别您的提示需要改进的具体方面。留意多个测试用例之间的模式,以理解系统性问题,而不仅仅是一次性的偶发问题。

后续步骤

在建立了基线并搭建好评估框架之后,您就可以开始应用具体的提示工程技巧了。您应用的每一项技巧都应带来评估分数上可衡量的提升,使您逐步接近理想的输出质量。

关键在于每次只做一项改动,评估其影响,然后再决定是保留该改动还是尝试另一种方法。这种系统化的流程能确保您理解哪些技巧最适合您的具体使用场景。