加载中
加载中

文本分块是构建 RAG(检索增强生成)流水线中最关键的步骤之一。您如何拆分文档会直接影响整个系统的质量。不佳的分块策略会导致不相关的上下文被插入到您的提示中,从而使您的 AI 给出完全错误的答案。

一份源文档,一份年度财务报告,箭头指向标记为"分块 #1"到"分块 #6"的六个方框。

考虑这个例子:您有一份文档,其中包含医学研究和软件工程方面的内容。如果分块不当,用户询问"今年工程师修复了多少个 bug?"时,可能会得到医学研究方面的信息,而不是软件工程方面的,原因仅仅是医学部分恰好在不同的语境中出现了"bug"(虫子/缺陷)这个词。

输出的分块中,医学研究部分提到了"bug",而软件工程部分则提到了"感染途径"。

这说明了为什么分块策略如此重要。目标是创建能够保持语义连贯性,并在检索时提供有意义上下文的分块。

用户的问题以及将 XDR-47 称为"bug"的文档分块,一起进入提示的 user_question 和 report 标签中。

三种主要的分块策略

基于大小的分块为上下文增加了重叠;基于结构的分块需要已知的结构;基于语义的分块成本较高但相关性更强。

文本分块有三种主要方法,每种都有各自的优势和权衡:

  • 基于大小: 将文本划分为长度相等的字符串
  • 基于结构: 根据文档结构(标题、段落、章节)进行拆分
  • 基于语义: 使用 NLP 技术将相关的句子或段落分组

基于大小的分块

基于大小的分块是最直接的方法。您只需将文档划分为字符数或单词数大致相等的分块。这种方法易于实现,并且在不同文档类型间都能可靠工作。

一份 325 字符的文档被分成 3 个约 108 字符的分块,导致单词被从中截断,例如 "signific" 和 "ant"。

然而,这种方法有明显的缺点。单词会在句子中间被截断,分块也会丢失重要的上下文。例如,某个分块可能不包含能说明内容实际主题的章节标题。

三个基于大小的分块在单词中间被截断:"signific" 结束了第一个分块,"ant strides" 开始了第二个分块,"ng" 开始了第三个分块。

解决方案是在分块之间添加重叠。每个分块都包含相邻分块中的一些字符,从而确保更好地保留上下文,并避免突兀的截断。

重叠扩大了源文档中的一个分块,使输出的分块保留了完整的第 1 节和第 2 节的标题。

这是一个带有重叠的基于字符分块的基本实现:

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

基于结构的分块

基于结构的分块利用了文档的自然组织方式。如果您处理的是 markdown 文件,可以按标题进行拆分。对于其他格式,您可能需要按段落或其他结构元素进行拆分。

源文档按其 markdown 标题拆分为三个分块:一个开头行、医学研究和软件工程。

当您对文档结构有一定保证时,这种方法效果很好。对于 markdown 文档,您可以按章节标题进行拆分:

python
import re

def chunk_by_section(document_text):
    pattern = r'\n## '
    return re.split(pattern, document_text)

主要局限在于许多文档并没有一致的结构。纯文本文件、PDF 或用户上传的文档可能没有明确的结构标记可供拆分。

基于语义的分块

基于语义的分块是最复杂的方法。它分析句子之间的含义和关系,将相关内容分组在一起。这通常涉及:

  • 将文本拆分为句子
  • 使用 NLP 技术衡量语义相似度
  • 将相关句子分组为连贯的分块

虽然这种方法可以产生质量最高的分块,但计算成本高昂,实现也更为复杂。对于大多数应用而言,更简单的方法已经足够好用。

实际实现

这里有一个基于句子的分块函数,它提供了一个不错的折中方案:

python
def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r'(?<=[.!?])\s+', text)
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(' '.join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

选择合适的策略

您选择哪种分块策略完全取决于您的具体使用场景:

  • 文档结构一致: 使用基于结构的分块可获得最干净的结果
  • 混合文档类型: 基于句子的分块通常效果不错
  • 代码或技术内容: 基于字符的分块最为可靠
  • 未知文档格式: 基于字符的分块是最安全的选择

请记住,分块通常是一个迭代的过程。从简单的方法开始,用您的特定文档和使用场景进行测试,然后根据结果进行改进。"最佳"的分块策略,就是能在您特定的数据和需求下可靠工作的那一种。