載入中

檢索增強生成簡介

第 34 課2 分鐘
載入中

檢索增強生成(Retrieval Augmented Generation,RAG)是一種技術,可協助您在使用 Claude 時處理大型文件。RAG 不必將整份 800 頁的財務報告硬塞進單一提示中,而是讓您能夠智慧地找出並僅納入與每個問題最相關的部分。

大型文件的問題

想像一下,您有一份龐大的財務文件,並想向 Claude 詢問有關它的具體問題,例如「這家公司有哪些風險因素?」您會面臨一個根本的挑戰:要如何將文件中正確的資訊提供給 Claude,使其能夠有效回答您的問題?

一份私人的 800 多頁財務報告,其中包含「執行摘要」、「風險因素」和「未來展望」等章節。

選項 1:將所有內容納入提示中

第一種做法看似直接明瞭——從文件中擷取所有文字,並連同使用者的問題一起直接塞入您的提示中。

提示內容為「回答使用者關於財務文件的問題。」並在 financial_document 標籤中放入整份報告。

這種做法存在幾個問題:

  • Claude 能處理的文字量有一個硬性上限——您的文件可能太長
  • 當提示非常長時,Claude 的效果會變差
  • 較大的提示會花費更多金錢,且處理時間更長

選項 2:將文件切分為區塊

第二種做法較為複雜精細。您在預處理步驟中將文件切分為較小的區塊,然後僅找出並納入與每個使用者問題相關的區塊。

財務報告被切分為六個區塊,例如「審計報告」、「關鍵績效指標」和「市場資料」。

運作方式如下:當使用者詢問「這家公司面臨哪些風險?」時,您會在區塊中搜尋,找出與「風險因素」相關的區塊,並僅將該部分納入給 Claude 的提示中。

使用者的問題以及六個區塊中僅相關的那些,會放入帶有 user_question 和 financial_document 標籤的提示中。

區塊切分方法的優點

  • Claude 能夠專注於最相關的內容
  • 可擴展至非常大型的文件
  • 可搭配多份文件使用
  • 較小的提示成本更低、執行速度更快

區塊切分的挑戰

  • 需要一個預處理步驟來切分文件
  • 需要一種搜尋機制來找出「相關」的區塊
  • 納入的區塊可能無法包含 Claude 所需的全部脈絡
  • 切分文字的方式有很多種——哪種做法最好?

舉例來說,如果您只納入「風險因素」章節,可能會遺漏「策略展望」章節中關於公司如何因應這些風險的重要脈絡。

這就是 RAG

選項 2 就是檢索增強生成。儘管較為複雜,RAG 在處理大型文件時仍具有顯著優勢,但它也伴隨著需要審慎考量的技術挑戰。

RAG 的關鍵組成要素包括:

  • 文件預處理與切分
  • 用於找出相關區塊的搜尋機制
  • 智慧選取要納入提示中的區塊

在為您的應用程式考慮使用 RAG 時,您需要評估其帶來的好處,是否值得您的特定使用情境承擔額外的複雜度。當您需要處理大型文件集合,並需要精確且具脈絡的答案時,這項技術的優勢便會顯現出來,但相較於單純將整份文件納入提示中,它需要更多前期的工程作業。