提示工程是指将您编写的提示进行改进,以获得更可靠、更高质量的输出。这个过程涉及迭代式的改进——从一个基础提示开始,评估其表现,然后系统地运用工程技巧来改进它。

迭代改进流程
该方法遵循一个清晰的循环,您可以不断重复这个循环,直到达到您期望的结果:

- 设定目标 - 明确您希望提示实现什么效果
- 编写初始提示 - 创建一个基础的初次尝试
- 评估提示 - 根据您的标准进行测试
- 应用提示工程技巧 - 使用特定方法来提升表现
- 重新评估 - 验证您的改动是否确实提升了效果
您需要重复最后两个步骤,直到对效果感到满意为止。每次迭代都应该在评估分数上显示出可衡量的提升。
示例:为运动员制定膳食计划
让我们通过一个实际例子来说明。目标是创建一个提示,根据运动员的身体特征和需求生成一份一日膳食计划。

该提示接收这些输入,并应生成一份全面的膳食计划,包括总热量、宏量营养素分解,以及具体的餐点详情(含分量和时间安排)。
搭建评估框架
为了系统地衡量改进情况,您需要一套健全的评估体系。该框架包括:
- 数据集生成 - 创建代表真实场景的测试用例
- 自动化评分 - 使用一致的标准来评估输出
- 性能追踪 - 监控各次迭代之间的改进情况
在搭建评估器时,请注意 API 速率限制。先从较低的并发量(1-3个并发请求)开始,只有在没有遇到速率限制错误的情况下才增加并发量。
创建您的初始提示
从简单的内容开始,即使您知道它不够好。以下是一个基础初次尝试的示例:
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}这个提示故意写得很基础,很可能会产生较差的结果。而这正是您想要的——一个清晰的基线,便于后续改进。
建立评估标准
明确界定您的提示应该满足的具体标准。对于膳食计划这个示例,良好的输出应该包括:
- 每日总热量
- 宏量营养素分解
- 含确切食物、分量和时间安排的餐点
这些标准有助于评估模型对输出进行一致的评分,同时也为您提供明确的改进目标。
衡量基线表现
将您的初始提示运行通过评估框架。不要因为低分而气馁——对于起始点来说,2.3分(满分10分)的成绩其实恰到好处。它给了您充分的空间来展示后续的改进。

分析结果
大多数评估框架都会生成详细的报告,展示每个测试用例的表现情况。这些报告通常包括:

- 单个测试用例结果 - 准确查看模型产生的输出内容
- 评分细分 - 理解某些输出评分较低的原因
- 推理过程 - 获取关于缺失或错误之处的反馈
利用这些详细的反馈来识别您的提示需要改进的具体方面。留意多个测试用例之间的模式,以理解系统性问题,而不仅仅是一次性的偶发问题。
后续步骤
在建立了基线并搭建好评估框架之后,您就可以开始应用具体的提示工程技巧了。您应用的每一项技巧都应带来评估分数上可衡量的提升,使您逐步接近理想的输出质量。
关键在于每次只做一项改动,评估其影响,然后再决定是保留该改动还是尝试另一种方法。这种系统化的流程能确保您理解哪些技巧最适合您的具体使用场景。