加载中
加载中

文本分块是构建 RAG(检索增强生成)管道中最关键的步骤之一。您如何拆分文档直接影响整个系统的质量。糟糕的分块策略会导致不相关的上下文被插入到您的提示中,从而使您的 AI 给出完全错误的答案。

一份源文档,一份年度财务报告,被拆分为标记为 Chunk 1 到 Chunk 6 的六个分块。

考虑这个例子:您有一份文档,其中包含医学研究和软件工程方面的章节。如果分块不当,用户询问"今年工程师修复了多少个bug?"可能会得到关于医学研究的信息而不是软件工程的信息,仅仅因为医学部分恰好在不同的语境中包含了"bug"这个词。

用户的问题和一个分块被插入到提示中,该分块将 XDR-47 称为我们之前未见过的"bug"。

这就是为什么选择正确的分块策略如此重要。让我们来探讨三种主要方法。

基于大小的分块

基于大小、基于结构和基于语义的分块并排比较及其权衡,均在下文描述。

基于大小的分块是最简单的方法——您将文本分割成等长的字符串。如果您有一份 325 字符的文档,您可能将其分割成三个各约 108 字符的分块。

基于大小的分块会切断单词:分块 1 以"signific"结尾,分块 2 以"ant"开头并以"Engineeri"结尾。

这种方法易于实现,适用于任何类型的文档,但它有明显的缺点:

  • 单词会在句子中间被切断
  • 分块会丢失周围文本的重要上下文
  • 章节标题可能会与其内容分离

三个基于大小的分块将单词从中间切断:"signific"然后是"ant",以及"Software Engineeri"然后是"ng"。

为了解决这些问题,您可以在分块之间添加重叠。这意味着每个分块包含来自相邻分块的一些字符,从而提供更好的上下文并确保完整的单词和句子。

源文档中轮廓标出的分块变成了一个跨越两个章节标题并在句子中间结束的输出分块。

这是一个基本实现:

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

基于结构的分块

基于结构的分块根据文档的自然结构——标题、段落和章节——来拆分文本。当您拥有格式良好的文档(如 Markdown 文件)时,这种方法效果很好。

源文档被拆分为三个分块:开头行、第1节医学研究、第2节软件工程。

对于 Markdown 文档,您可以按标题标记进行拆分:

python
import re

def chunk_by_section(document_text):
    pattern = r"\n## "
    return re.split(pattern, document_text)

这种方法能为您提供最清晰、最有意义的分块,因为每个分块都代表一个完整的章节。但是,它只有在您对文档结构有保证时才有效。许多现实世界的文档是没有明确结构标记的纯文本或 PDF。

基于语义的分块

基于语义的分块是最复杂的方法。您将文本拆分成句子,然后使用自然语言处理来确定连续句子之间的关联程度。您从相关句子的组合中构建分块。

这种方法计算成本高,但能产生最相关的分块。它需要理解各个句子的含义,并且比其他策略的实现更复杂。

基于句子的分块

一个实用的折中方案是按句子分块。您使用正则表达式将文本拆分成单独的句子,然后将它们分组为带有可选重叠的分块:

python
def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r"(?<=[.!?])\s+", text)
    
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(" ".join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

选择您的策略

您的选择完全取决于您的使用场景和文档的保证程度:

  • 基于结构:当您能控制文档格式时(如内部公司报告)效果最佳
  • 基于句子:对大多数文本文档而言是不错的折中方案
  • 基于大小:最可靠的后备方案,适用于任何内容类型,包括代码

在生产环境中,带重叠的基于大小的分块通常是首选方案,因为它简单、可靠,并且适用于任何文档类型。虽然它可能无法给出完美的结果,但它能持续产生合理的分块,不会破坏您的管道。

请记住:没有单一的"最佳"分块策略。正确的方法取决于您的具体文档、使用场景,以及您愿意在实现复杂性和分块质量之间做出的权衡。