Wird geladen

Strategien zum Text-Chunking

Lektion 3310 Min.
Wird geladen

Text-Chunking ist einer der kritischsten Schritte beim Aufbau einer RAG-Pipeline (Retrieval Augmented Generation). Wie du deine Dokumente aufteilst, wirkt sich direkt auf die Qualität deines gesamten Systems aus. Eine schlechte Chunking-Strategie kann dazu führen, dass irrelevanter Kontext in deine Prompts eingefügt wird, wodurch deine KI völlig falsche Antworten gibt.

Ein Quelldokument, ein jährlicher Finanzbericht, aufgeteilt in sechs Chunks mit den Bezeichnungen Chunk 1 bis Chunk 6.

Betrachte dieses Beispiel: Du hast ein Dokument mit Abschnitten zu medizinischer Forschung und Softwareentwicklung. Wenn du schlecht chunkst, könnte ein Nutzer, der fragt „Wie viele Bugs haben die Ingenieure dieses Jahr behoben?“, stattdessen Informationen zur medizinischen Forschung erhalten, einfach weil der medizinische Abschnitt das Wort „Bug“ in einem anderen Kontext enthielt.

Die Frage des Nutzers und ein Chunk werden in den Prompt eingefügt, wobei der Chunk XDR-47 als „Bug“ bezeichnet, den wir noch nicht kennen.

Deshalb ist die Wahl der richtigen Chunking-Strategie so wichtig. Schauen wir uns drei Hauptansätze an.

Größenbasiertes Chunking

Größenbasiertes, strukturbasiertes und semantisches Chunking im direkten Vergleich mit den jeweiligen Kompromissen, alle unten beschrieben.

Größenbasiertes Chunking ist der einfachste Ansatz - du teilst deinen Text in Zeichenketten gleicher Länge auf. Wenn du ein Dokument mit 325 Zeichen hast, könntest du es in drei Chunks mit jeweils etwa 108 Zeichen aufteilen.

Größenbasiertes Chunking zerschneidet Wörter: Chunk 1 endet mit „signific“, Chunk 2 beginnt mit „ant“ und endet mit „Engineeri“.

Diese Methode ist einfach umzusetzen und funktioniert mit jeder Art von Dokument, hat aber klare Nachteile:

  • Wörter werden mitten im Satz abgeschnitten
  • Chunks verlieren wichtigen Kontext aus dem umgebenden Text
  • Abschnittsüberschriften könnten von ihrem Inhalt getrennt werden

Drei größenbasierte Chunks, die Wörter mitten im Wort aufteilen: „signific“ dann „ant“ und „Software Engineeri“ dann „ng“.

Um diese Probleme zu beheben, kannst du eine Überlappung zwischen den Chunks hinzufügen. Das bedeutet, dass jeder Chunk einige Zeichen aus den benachbarten Chunks enthält, was für besseren Kontext sorgt und vollständige Wörter und Sätze sicherstellt.

Der umrandete Chunk im Quelldokument wird zu einem Ausgabe-Chunk, der sich über beide Abschnittsüberschriften erstreckt und mitten im Satz endet.

Hier ist eine grundlegende Implementierung:

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

Strukturbasiertes Chunking

Strukturbasiertes Chunking teilt Text basierend auf der natürlichen Struktur des Dokuments auf - Überschriften, Absätze und Abschnitte. Das funktioniert hervorragend, wenn du gut formatierte Dokumente wie Markdown-Dateien hast.

Quelldokument aufgeteilt in drei Chunks: die Eröffnungszeile, Abschnitt 1 Medizinische Forschung, Abschnitt 2 Softwareentwicklung.

Bei einem Markdown-Dokument kannst du bei den Überschriftenmarkern aufteilen:

python
import re

def chunk_by_section(document_text):
    pattern = r"\n## "
    return re.split(pattern, document_text)

Dieser Ansatz liefert dir die saubersten, aussagekräftigsten Chunks, weil jeder davon einen vollständigen Abschnitt darstellt. Er funktioniert jedoch nur, wenn du Garantien zur Struktur deines Dokuments hast. Viele Dokumente in der Praxis sind reiner Text oder PDFs ohne klare strukturelle Marker.

Semantisches Chunking

Semantisches Chunking ist der anspruchsvollste Ansatz. Du teilst Text in Sätze auf und verwendest dann Natural Language Processing, um zu bestimmen, wie zusammenhängend aufeinanderfolgende Sätze sind. Du baust Chunks aus Gruppen zusammengehöriger Sätze.

Diese Methode ist rechenintensiv, liefert aber die relevantesten Chunks. Sie erfordert das Verständnis der Bedeutung einzelner Sätze und ist komplexer umzusetzen als die anderen Strategien.

Satzbasiertes Chunking

Ein praktischer Mittelweg ist das Chunking nach Sätzen. Du teilst den Text mithilfe regulärer Ausdrücke in einzelne Sätze auf und gruppierst sie dann mit optionaler Überlappung zu Chunks:

python
def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r"(?<=[.!?])\s+", text)
    
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(" ".join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

Die richtige Strategie wählen

Deine Wahl hängt vollständig von deinem Anwendungsfall und den Garantien zu deinem Dokument ab:

  • Strukturbasiert: Beste Ergebnisse, wenn du die Formatierung des Dokuments kontrollierst (wie bei internen Unternehmensberichten)
  • Satzbasiert: Guter Mittelweg für die meisten Textdokumente
  • Größenbasiert: Zuverlässigster Rückfallansatz, der mit jeder Art von Inhalt funktioniert, einschließlich Code

Größenbasiertes Chunking mit Überlappung ist in der Produktion oft die bevorzugte Wahl, weil es einfach, zuverlässig ist und mit jeder Art von Dokument funktioniert. Auch wenn es keine perfekten Ergebnisse liefert, erzeugt es durchweg angemessene Chunks, die deine Pipeline nicht zum Absturz bringen.

Denk daran: Es gibt keine einzige „beste“ Chunking-Strategie. Der richtige Ansatz hängt von deinen spezifischen Dokumenten, Anwendungsfällen und den Kompromissen ab, die du zwischen Implementierungskomplexität und Chunk-Qualität einzugehen bereit bist.