載入中

檢索增強生成簡介

第 32 課5 分鐘
載入中

檢索增強生成(Retrieval Augmented Generation,RAG)是一種技術,可協助您處理太大而無法放入單一提示中的大型文件。RAG 並非將所有內容塞進一個龐大的提示中,而是將文件拆分成區塊,並在回答問題時只納入最相關的部分。

大型文件的問題

想像您有一份 800 頁的財務文件,想要向 Claude 詢問關於它的特定問題,例如「這家公司有哪些風險因素?」您需要以某種方式將文件中的相關資訊提供給 Claude,但提示中能包含的文字量是有限制的。

該文件是私人的,因此 Claude 不知道其中包含什麼內容,例如執行摘要和風險因素等章節。

選項一:在提示中納入所有內容

第一種方法很直接——從文件中擷取所有文字,連同使用者的問題一起塞進您的提示中。您的提示可能會像這樣:

Answer the user's question about the financial document.

<user_question>
{user_question}
</user_question>

<financial_document>
{financial_document}
</financial_document>

上述提示中輸入了整份財務報告,標題為「可能不是最佳解決方案」,下方列出了限制條件。

這種方法有嚴重的限制:

  • 提示長度有硬性限制——您的文件可能太長
  • 提示越長,Claude 的效果就越差
  • 較大的提示處理成本更高
  • 較大的提示處理時間更長

選項二:將文件拆分成區塊

RAG 採取了更聰明的方法。首先,在預處理步驟中將文件拆分成較小的區塊。接著,當使用者提出問題時,您找出與該問題最相關的區塊,並僅將這些區塊納入提示中。

財務報告被拆分成六個文字區塊,例如策略展望、資產負債表和審計師報告。

運作方式如下:如果有人問「這家公司面臨哪些風險?」,您會搜尋您的區塊,找到「風險因素」這個區塊,並僅將該相關區塊納入您的提示中。

六個區塊,例如策略展望、資產負債表和市場數據,使用者的問題與一個區塊被輸入到提示中。

RAG 的優點

  • Claude 可以只專注於最相關的內容
  • 可擴展至非常大型的文件
  • 可處理多份文件
  • 較小的提示成本更低、執行更快

RAG 的挑戰

  • 需要一個預處理步驟來對文件進行分塊
  • 需要一種搜尋機制來找出「相關」的區塊
  • 納入的區塊可能不包含 Claude 所需的全部上下文
  • 有許多種分塊方式——哪種方法最好?

舉例來說,您可以將文件拆分成大小相等的部分,也可以根據文件結構(如標題和章節)來建立區塊。每種方法都有取捨,您需要針對您的特定使用情境加以評估。

何時使用 RAG

RAG 涉及許多技術決策,且比單純將所有內容納入提示中需要更多工作。您需要分析對於您的特定應用而言,這些好處是否大於其複雜性。當處理非常大型的文件、多份文件,或當您需要優化成本和效能時,RAG 特別有價值。

關鍵洞見在於,RAG 是以簡單性換取可擴展性和效率。雖然要正確實作需要更多前期工作,但它能讓您處理以簡單的提示填塞方式不可能處理的文件集合。