載入中

文本分塊策略

第 33 課10 分鐘
載入中

文本分塊是建構 RAG(Retrieval Augmented Generation,檢索增強生成)管道時最關鍵的步驟之一。您如何分割文件,直接影響整個系統的品質。不良的分塊策略可能導致不相關的上下文被插入到您的提示中,使您的 AI 給出完全錯誤的答案。

一份來源文件(年度財務報告)被分割成六個區塊,標記為區塊 1 到區塊 6。

請考慮這個例子:您有一份文件,其中包含醫學研究和軟體工程的章節。如果您分塊不當,使用者詢問「今年工程師修復了多少錯誤?」時,可能會得到有關醫學研究的資訊,而不是軟體工程的資訊,原因僅僅是醫學章節中恰好以不同的語境出現了「bug」這個詞。

使用者的問題和一個區塊被插入到提示中,該區塊將 XDR-47 稱為我們從未見過的「bug」。

這就是為什麼選擇正確的分塊策略如此重要。讓我們來探討三種主要的方法。

基於大小的分塊

基於大小、基於結構和基於語義的分塊並列比較及其權衡,詳述於下文。

基於大小的分塊是最簡單的方法——您將文本分割成等長的字串。如果您有一份 325 個字元的文件,您可能會將其分割成三個各約 108 個字元的區塊。

基於大小的分塊會切斷單字:區塊 1 以「signific」結尾,區塊 2 以「ant」開始,並以「Engineeri」結尾。

這種方法容易實作,並且適用於任何類型的文件,但它有明顯的缺點:

  • 單字可能在句子中間被切斷
  • 區塊會失去周圍文本的重要上下文
  • 章節標題可能與其內容分離

三個基於大小的區塊在單字中間切斷:「signific」接「ant」,以及「Software Engineeri」接「ng」。

為了解決這些問題,您可以在區塊之間加入重疊部分。這意味著每個區塊會包含來自相鄰區塊的一些字元,提供更好的上下文,並確保完整的單字和句子。

來源文件中框選的區塊變成一個輸出區塊,該區塊橫跨兩個章節標題,並在句子中間結束。

以下是一個基本實作:

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

基於結構的分塊

基於結構的分塊根據文件的自然結構——標題、段落和章節——來分割文本。當您有格式良好的文件(如 Markdown 檔案)時,這種方法效果很好。

來源文件分割成三個區塊:開頭行、第 1 節「醫學研究」、第 2 節「軟體工程」。

對於 Markdown 文件,您可以依標題標記進行分割:

python
import re

def chunk_by_section(document_text):
    pattern = r"\n## "
    return re.split(pattern, document_text)

這種方法能為您提供最乾淨、最有意義的區塊,因為每個區塊都代表一個完整的章節。但是,它只有在您對文件結構有保證的情況下才有效。許多實際文件是純文字或 PDF,沒有明確的結構標記。

基於語義的分塊

基於語義的分塊是最複雜的方法。您將文本分割成句子,然後使用自然語言處理來判斷連續句子之間的關聯程度。您從相關句子的群組建構區塊。

這種方法在計算上成本高昂,但能產生最相關的區塊。它需要理解個別句子的含義,並且比其他策略更複雜,實作難度更高。

基於句子的分塊

一個實用的折衷方案是依句子進行分塊。您使用正規表示式將文本分割成個別句子,然後將它們分組成區塊,並可選擇性地加入重疊:

python
def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r"(?<=[.!?])\s+", text)
    
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(" ".join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

選擇您的策略

您的選擇完全取決於您的使用案例和文件保證:

  • 基於結構:當您能控制文件格式時(如內部公司報告),能獲得最佳結果
  • 基於句子:對大多數文字文件來說是不錯的折衷方案
  • 基於大小:最可靠的備用方案,適用於任何內容類型,包括程式碼

在生產環境中,帶有重疊的基於大小分塊通常是首選,因為它簡單、可靠,並且適用於任何文件類型。雖然它可能無法給出完美的結果,但它能持續產生合理的區塊,不會破壞您的管道。

請記住:沒有單一的「最佳」分塊策略。正確的方法取決於您的特定文件、使用案例,以及您願意在實作複雜性和區塊品質之間做出的取捨。