加载中
加载中

在使用Claude时,编写一个好的提示只是开始。要构建可靠的AI应用程序,您需要理解两个关键概念:提示工程和提示评估。提示工程为您提供了制作更好提示的技巧,而提示评估则帮助您衡量这些提示的实际效果。

改进和评估提示:提示工程和提示评估的并排定义,如下文所述。

提示工程 vs 提示评估

提示工程是您用于编写和改进提示的工具包。它是一套最佳实践,帮助Claude准确理解您的需求以及您希望它如何回应。可以将其视为提示撰写的工艺——诸如多样本提示(multishot prompting)、使用XML标签进行结构化以及我们将探讨的许多其他方法。

另一方面,提示评估关乎测量。它是一种自动化测试,能为您提供关于提示是否真正有效的客观指标。评估让您无需凭猜测判断提示效果是否良好,而是可以:

  • 针对预期答案进行测试
  • 比较同一提示的不同版本
  • 审查输出中的错误

编写提示后的三条路径

一旦您起草了一个提示,接下来通常面临三种选择:

从起草提示出发分支出三种选项及其权衡的图示,如下文所述。

选项1: 对提示进行一次测试,然后认为它已经足够好。这存在很大风险,因为当用户提供意外输入时,提示可能会在生产环境中失效。

选项2: 对提示进行几次测试,并针对一两个边缘情况进行调整。虽然这比选项1更好,但这种方法仍然让您面临风险,因为用户经常会提供您未曾考虑到的非常意外的输出。

选项3: 让提示通过评估流程以获得评分,然后根据客观数据对提示进行迭代。这需要更多前期工作和成本,但能让您对提示的可靠性拥有更大的信心。

为什么大多数工程师会陷入测试陷阱

选项1和选项2是所有工程师都会陷入的陷阱,我自己也不例外。为一个正式应用编写提示却没有对其进行充分测试,这是很自然的事。我们往往只用在我们看来显而易见的输入进行测试,但真实用户与您的提示交互的方式往往出乎您的意料。

解决方案是拥抱选项3:系统化评估。通过让您的提示经过适当的评估流程,您将获得客观评分,从而了解您的提示在各种场景下的表现如何。这种数据驱动的方法让您能够自信地迭代,并在问题到达生产环境之前就将其发现。

先理解评估,能为您提供一个基础,使您在应用提示工程技巧时能够衡量改进效果。一旦您能够可靠地衡量提示的有效性,您就可以尝试不同的方法,并确切地知道哪些方法效果更好。