加载中
加载中

在使用Claude时,写出一个好的提示只是开始。要构建可靠的AI应用程序,您需要理解两个关键概念:提示工程(prompt engineering)和提示评估(prompt evaluation)。提示工程为您提供编写更好提示的技巧,而提示评估则帮助您衡量这些提示实际效果如何。

改进和评估提示:提示工程与提示评估的并排定义,详见下文。

提示工程与提示评估

提示工程是您用于制作有效提示的工具包。它包括以下技巧:

  • 多样本提示(Multishot prompting)
  • 使用XML标签构建结构
  • 许多其他最佳实践

这些技巧能帮助Claude准确理解您的需求以及您希望它如何响应。

提示评估采用了不同的方法。它不关注如何编写提示,而是通过自动化测试来衡量提示的有效性。您可以:

  • 针对预期答案进行测试
  • 比较同一提示的不同版本
  • 审查输出中的错误

编写提示后的三条路径

一旦您起草了一个提示,您通常会面临接下来该做什么的三个选择:

从起草提示分支出的三个选项及其权衡关系图,详见下文。

选项1: 仅测试一次提示,并认为它已经足够好了。这存在很大的风险,即当用户提供意外输入时,可能会在生产环境中出现问题。

选项2: 测试提示几次,并调整它以处理一两个边缘情况。虽然这比选项1要好,但用户通常会提供您未曾考虑过的非常意外的输出。

选项3: 通过评估流程运行提示以对其进行评分,然后根据客观指标对提示进行迭代。这种方法需要更多的工作和成本,但能让您对提示的可靠性拥有更高的信心。

为什么大多数工程师会陷入测试陷阱

选项1和选项2是所有工程师——包括我自己在内——都会陷入的常见陷阱。为严肃的应用程序编写提示,却没有对其进行充分测试,这是很自然的事情。我们往往会低估真实用户会遇到多少边缘情况。

现实情况是,当您将提示部署到生产环境后,用户与它交互的方式将是您从未预料到的。在您有限的测试中看似可靠的提示,面对真实世界输入的全部多样性时,可能会迅速崩溃。

评估优先的方法

选项3代表了一种更系统化的提示开发方法。通过让您的提示经过评估流程,您可以获得关于其在更广泛测试用例中表现的客观指标。这种数据驱动的方法让您能够:

  • 在问题成为生产问题之前识别其弱点
  • 客观地比较不同的提示版本
  • 基于可衡量的改进进行有信心的迭代
  • 构建更可靠的AI应用程序

虽然这种方法在时间和测试基础设施方面需要更多的前期投入,但它会在最终应用程序的可靠性和稳健性方面带来回报。目标是在开发阶段就发现问题,而不是等到用户遇到问题之后才发现。