載入中
檢索增強生成(Retrieval Augmented Generation,RAG)是一種技術,可協助您在使用 Claude 時處理大型文件。RAG 不必將整份 800 頁的財務報告硬塞進單一提示中,而是讓您能夠智慧地找出並僅納入與每個問題最相關的部分。
大型文件的問題
想像一下,您有一份龐大的財務文件,並想向 Claude 詢問有關它的具體問題,例如「這家公司有哪些風險因素?」您會面臨一個根本的挑戰:要如何將文件中正確的資訊提供給 Claude,使其能夠有效回答您的問題?

選項 1:將所有內容納入提示中
第一種做法看似直接明瞭——從文件中擷取所有文字,並連同使用者的問題一起直接塞入您的提示中。

這種做法存在幾個問題:
- Claude 能處理的文字量有一個硬性上限——您的文件可能太長
- 當提示非常長時,Claude 的效果會變差
- 較大的提示會花費更多金錢,且處理時間更長
選項 2:將文件切分為區塊
第二種做法較為複雜精細。您在預處理步驟中將文件切分為較小的區塊,然後僅找出並納入與每個使用者問題相關的區塊。

運作方式如下:當使用者詢問「這家公司面臨哪些風險?」時,您會在區塊中搜尋,找出與「風險因素」相關的區塊,並僅將該部分納入給 Claude 的提示中。

區塊切分方法的優點
- Claude 能夠專注於最相關的內容
- 可擴展至非常大型的文件
- 可搭配多份文件使用
- 較小的提示成本更低、執行速度更快
區塊切分的挑戰
- 需要一個預處理步驟來切分文件
- 需要一種搜尋機制來找出「相關」的區塊
- 納入的區塊可能無法包含 Claude 所需的全部脈絡
- 切分文字的方式有很多種——哪種做法最好?
舉例來說,如果您只納入「風險因素」章節,可能會遺漏「策略展望」章節中關於公司如何因應這些風險的重要脈絡。
這就是 RAG
選項 2 就是檢索增強生成。儘管較為複雜,RAG 在處理大型文件時仍具有顯著優勢,但它也伴隨著需要審慎考量的技術挑戰。
RAG 的關鍵組成要素包括:
- 文件預處理與切分
- 用於找出相關區塊的搜尋機制
- 智慧選取要納入提示中的區塊
在為您的應用程式考慮使用 RAG 時,您需要評估其帶來的好處,是否值得您的特定使用情境承擔額外的複雜度。當您需要處理大型文件集合,並需要精確且具脈絡的答案時,這項技術的優勢便會顯現出來,但相較於單純將整份文件納入提示中,它需要更多前期的工程作業。