加载中
加载中

检索增强生成(Retrieval Augmented Generation,RAG)是一种技术,可帮助您处理太大而无法放入单个提示中的大型文档。RAG不会把所有内容都塞进一个庞大的提示中,而是将文档拆分成多个块,并在回答问题时只纳入最相关的片段。

大型文档的问题

假设您有一份800页的财务文档,想就其内容向Claude提出具体问题,比如"这家公司有哪些风险因素?"您需要以某种方式将文档中的相关信息提供给Claude,但您可以在提示中包含的文本量是有限的。

该文档是私密的,因此Claude不知道其中包含什么内容,文档中有"执行摘要"和"风险因素"等章节。

方案一:将所有内容都放入提示中

第一种方法很直接——从文档中提取所有文本,并连同用户的问题一起塞进提示中。您的提示可能是这样的:

Answer the user's question about the financial document.

<user_question>
{user_question}
</user_question>

<financial_document>
{financial_document}
</financial_document>

上面提示中输入的整份财务报告,标题为"可能不是最佳解决方案",下方列出了局限性。

这种方法存在严重的局限性:

  • 提示长度存在硬性限制——您的文档可能太长了
  • 提示过长会降低Claude的效果
  • 更大的提示处理成本更高
  • 更大的提示处理时间更长

方案二:将文档拆分成块

RAG采用了更聪明的方法。首先,在预处理步骤中将文档拆分成更小的块。然后,当用户提出问题时,找到与其问题最相关的块,并只在提示中包含这些块。

财务报告被拆分成六个文本块,例如战略展望、资产负债表和审计师报告。

其工作原理是这样的:如果有人问"这家公司面临哪些风险?"您会在各个块中进行搜索,找到"风险因素"部分,并只在提示中包含这一相关的块。

六个块,例如战略展望、资产负债表和市场数据,用户的问题和一个块被输入到提示中。

RAG的优势

  • Claude可以只专注于最相关的内容
  • 可扩展到非常大的文档
  • 可用于多个文档
  • 更小的提示成本更低、运行更快

RAG的挑战

  • 需要一个预处理步骤来对文档进行分块
  • 需要一种搜索机制来查找"相关"的块
  • 所纳入的块可能不包含Claude所需的全部上下文
  • 分块文本的方法有很多——哪种方法最好?

例如,您可以将文档拆分成大小相等的部分,也可以根据文档结构(如标题和章节)来创建块。每种方法都有各自的权衡取舍,您需要针对自己的具体使用场景进行评估。

何时使用RAG

RAG涉及许多技术决策,比起简单地将所有内容都放入提示中,需要更多的工作。您需要分析对于您的特定应用而言,这些好处是否能超过其复杂性所带来的成本。在处理非常大的文档、多个文档,或者在需要优化成本和性能时,RAG尤其有价值。

关键的洞见在于,RAG是用简洁性换取可扩展性和效率。虽然要正确实现它需要更多的前期工作,但它能让您处理那些如果用简单的提示堆砌方式根本无法应对的文档集合。