文本分块是构建 RAG(检索增强生成)管道中最关键的步骤之一。您如何拆分文档直接影响整个系统的质量。糟糕的分块策略会导致不相关的上下文被插入到您的提示中,从而使您的 AI 给出完全错误的答案。

考虑这个例子:您有一份文档,其中包含医学研究和软件工程方面的章节。如果分块不当,用户询问"今年工程师修复了多少个bug?"可能会得到关于医学研究的信息而不是软件工程的信息,仅仅因为医学部分恰好在不同的语境中包含了"bug"这个词。

这就是为什么选择正确的分块策略如此重要。让我们来探讨三种主要方法。
基于大小的分块

基于大小的分块是最简单的方法——您将文本分割成等长的字符串。如果您有一份 325 字符的文档,您可能将其分割成三个各约 108 字符的分块。

这种方法易于实现,适用于任何类型的文档,但它有明显的缺点:
- 单词会在句子中间被切断
- 分块会丢失周围文本的重要上下文
- 章节标题可能会与其内容分离

为了解决这些问题,您可以在分块之间添加重叠。这意味着每个分块包含来自相邻分块的一些字符,从而提供更好的上下文并确保完整的单词和句子。

这是一个基本实现:
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
chunks = []
start_idx = 0
while start_idx < len(text):
end_idx = min(start_idx + chunk_size, len(text))
chunk_text = text[start_idx:end_idx]
chunks.append(chunk_text)
start_idx = (
end_idx - chunk_overlap if end_idx < len(text) else len(text)
)
return chunks基于结构的分块
基于结构的分块根据文档的自然结构——标题、段落和章节——来拆分文本。当您拥有格式良好的文档(如 Markdown 文件)时,这种方法效果很好。

对于 Markdown 文档,您可以按标题标记进行拆分:
import re
def chunk_by_section(document_text):
pattern = r"\n## "
return re.split(pattern, document_text)这种方法能为您提供最清晰、最有意义的分块,因为每个分块都代表一个完整的章节。但是,它只有在您对文档结构有保证时才有效。许多现实世界的文档是没有明确结构标记的纯文本或 PDF。
基于语义的分块
基于语义的分块是最复杂的方法。您将文本拆分成句子,然后使用自然语言处理来确定连续句子之间的关联程度。您从相关句子的组合中构建分块。
这种方法计算成本高,但能产生最相关的分块。它需要理解各个句子的含义,并且比其他策略的实现更复杂。
基于句子的分块
一个实用的折中方案是按句子分块。您使用正则表达式将文本拆分成单独的句子,然后将它们分组为带有可选重叠的分块:
def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
sentences = re.split(r"(?<=[.!?])\s+", text)
chunks = []
start_idx = 0
while start_idx < len(sentences):
end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
current_chunk = sentences[start_idx:end_idx]
chunks.append(" ".join(current_chunk))
start_idx += max_sentences_per_chunk - overlap_sentences
if start_idx < 0:
start_idx = 0
return chunks选择您的策略
您的选择完全取决于您的使用场景和文档的保证程度:
- 基于结构:当您能控制文档格式时(如内部公司报告)效果最佳
- 基于句子:对大多数文本文档而言是不错的折中方案
- 基于大小:最可靠的后备方案,适用于任何内容类型,包括代码
在生产环境中,带重叠的基于大小的分块通常是首选方案,因为它简单、可靠,并且适用于任何文档类型。虽然它可能无法给出完美的结果,但它能持续产生合理的分块,不会破坏您的管道。
请记住:没有单一的"最佳"分块策略。正确的方法取决于您的具体文档、使用场景,以及您愿意在实现复杂性和分块质量之间做出的权衡。