載入中
載入中

文本分塊是建構 RAG(檢索增強生成,Retrieval Augmented Generation)管線時最關鍵的步驟之一。您如何分割文件,將直接影響整個系統的品質。不良的分塊策略可能導致不相關的上下文被插入到您的提示中,使您的 AI 給出完全錯誤的答案。

一份來源文件(年度財務報告),以箭頭指向六個方塊,標示為「分塊 #1」到「分塊 #6」。

考慮這個範例:您有一份文件,內容包含醫學研究與軟體工程兩個部分。如果分塊不當,使用者詢問「今年工程師修復了多少個 bug?」時,可能會得到與醫學研究相關的資訊,而非軟體工程的資訊,原因僅僅是醫學部分恰好在不同語境下出現了「bug」這個字。

輸出的分塊中,醫學研究部分提到了「bug」,而軟體工程部分則提到「感染途徑」。

這說明了為何分塊策略如此重要。目標是建立能保持語義連貫性、並在被檢索時提供有用上下文的分塊。

使用者的問題,以及文件中將 XDR-47 稱為「bug」的分塊,被放入提示中的 user_question 和 report 標籤。

三種主要分塊策略

以大小為基礎的策略會新增重疊以提供上下文;以結構為基礎的策略需要已知的結構;以語義為基礎的策略成本較高但相關性更強。

將文本分割成塊的方式主要有三種:

  • 以大小為基礎: 將文本分割成長度相等的字串
  • 以結構為基礎: 根據文件結構(標題、段落、章節)進行分割
  • 以語義為基礎: 使用 NLP 技術將相關的句子或段落分組

以大小為基礎的分塊

以大小為基礎的分塊是最直接的方法。您只需將文件分割成字元數或字數大致相等的塊。它易於實作,並且在不同文件類型中都能可靠運作。

一份 325 個字元的文件被分割成 3 個約 108 個字元的分塊,導致單字被從中切斷,例如「signific」和「ant」。

然而,這種方法有明顯的缺點:

  • 單字可能在句子中間被切斷
  • 分塊會失去周圍文本中重要的上下文
  • 相關內容可能被分散到多個分塊中

三個以大小為基礎的分塊在單字中間被切斷:第一個以「signific」結尾,第二個以「ant strides」開頭,第三個以「ng」開頭。

新增重疊

為了解決上下文的問題,您可以實作重疊策略。每個分塊都包含相鄰分塊的一些字元,提供額外的上下文,並確保重要資訊不會在分塊邊界處遺失。

重疊擴大了來源文件中的一個分塊,使輸出的分塊保留了完整的「第 1 節」和「第 2 節」標題。

雖然這會造成一些重複,但為了讓每個分塊獲得更好的上下文,這樣的取捨通常是值得的。

以結構為基礎的分塊

當您的文件具有一致的格式(例如帶有明確標題的 markdown)時,以結構為基礎的分塊可以產生極佳的效果。您根據標題等結構元素進行分割,建立與文件自然組織方式相符的分塊。

來源文件在其 markdown 標題處被分割成三個分塊:開頭段落、醫學研究,以及軟體工程。

這對格式良好的文件效果極佳,但需要對文件結構有所保證。對於純文字檔案或格式不一致的文件,此方法無法可靠運作。

實作範例

以下是三個您可以實作的實用分塊函式:

以字元為基礎的分塊

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

以句子為基礎的分塊

python
import re

def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r"(?<=[.!?])\s+", text)
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(" ".join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

以章節為基礎的分塊

python
def chunk_by_section(document_text):
    pattern = r"\n## "
    return re.split(pattern, document_text)

選擇正確的策略

您選擇的分塊策略完全取決於您的特定使用情境:

  • 以字元為基礎: 最可靠的備援方案,適用於任何文件類型
  • 以句子為基礎: 對於散文而言,在上下文和意義之間取得良好平衡
  • 以章節為基礎: 當您擁有結構化文件時能產生絕佳效果

對於沒有格式保證的使用者上傳文件,以字元為基礎的分塊通常是最安全的選擇。對於結構良好的內部文件,以章節為基礎的分塊可以提供更優異的結果。以句子為基礎的分塊對大多數散文都適用,但在處理以非預期方式使用句號的程式碼或技術文件時可能會遇到困難。

請記住,分塊通常是一個反覆迭代的過程。從簡單的方法開始,用您特定的文件和使用情境進行測試,然後根據您從 RAG 系統中獲得的結果品質進行優化。