Wird geladen

Strategien zur Textaufteilung

Lektion 3510 Min.
Wird geladen

Die Textaufteilung (Chunking) ist einer der kritischsten Schritte beim Aufbau einer RAG-Pipeline (Retrieval Augmented Generation). Wie du deine Dokumente aufteilst, wirkt sich direkt auf die Qualität deines gesamten Systems aus. Eine schlechte Chunking-Strategie kann dazu führen, dass irrelevanter Kontext in deine Prompts eingefügt wird, was dazu führt, dass deine KI völlig falsche Antworten gibt.

Ein Quelldokument, ein Jahresfinanzbericht, mit einem Pfeil zu sechs Kästen, die mit „Chunk #1“ bis „Chunk #6“ beschriftet sind.

Betrachte dieses Beispiel: Du hast ein Dokument mit Abschnitten zu medizinischer Forschung und Softwareentwicklung. Wenn du schlecht chunkst, könnte ein Nutzer, der fragt „Wie viele Bugs haben die Ingenieure dieses Jahr behoben?“, stattdessen Informationen über medizinische Forschung erhalten, einfach weil der medizinische Abschnitt das Wort „Bug“ in einem anderen Kontext enthielt.

Ausgabe-Chunks, bei denen der Abschnitt zur medizinischen Forschung von einem „Erreger“ spricht und der Abschnitt zur Softwareentwicklung von „Infektionsvektoren“.

Dies zeigt, warum die Chunking-Strategie so wichtig ist. Das Ziel ist es, Chunks zu erstellen, die semantische Kohärenz bewahren und bei der Abfrage sinnvollen Kontext liefern.

Die Frage des Nutzers und ein Chunk des Dokuments, der XDR-47 einen „Bug“ nennt, fließen in die Tags user_question und report des Prompts ein.

Drei Hauptstrategien zur Textaufteilung

Größenbasiert fügt Überlappung für Kontext hinzu, strukturbasiert benötigt eine bekannte Struktur, semantikbasiert ist aufwendig, aber relevanter.

Es gibt drei grundlegende Ansätze zur Textaufteilung, jeder mit eigenen Vorteilen und Kompromissen:

  • Größenbasiert: Text in Zeichenketten gleicher Länge unterteilen
  • Strukturbasiert: Aufteilung anhand der Dokumentstruktur (Überschriften, Absätze, Abschnitte)
  • Semantikbasiert: Zusammenhängende Sätze oder Abschnitte mithilfe von NLP-Techniken gruppieren

Größenbasierte Textaufteilung

Die größenbasierte Textaufteilung ist der unkomplizierteste Ansatz. Du teilst dein Dokument einfach in Chunks mit annähernd gleicher Zeichen- oder Wortanzahl auf. Sie ist einfach zu implementieren und funktioniert zuverlässig über verschiedene Dokumenttypen hinweg.

Ein 325 Zeichen langes Dokument, aufgeteilt in 3 Chunks von jeweils etwa 108 Zeichen, wobei Wörter mittendrin durchtrennt werden, etwa „bedeute“ und dann „nd“.

Dieser Ansatz hat jedoch klare Nachteile. Wörter werden mitten im Satz abgeschnitten, und Chunks verlieren wichtigen Kontext. Zum Beispiel enthält ein Chunk möglicherweise nicht die Abschnittsüberschrift, die erklären würde, worum es im Inhalt eigentlich geht.

Drei größenbasierte Chunks, die mitten im Wort geschnitten sind: „bedeute“ endet den ersten, „nde Fortschritte“ beginnt den zweiten, und „n“ beginnt den dritten.

Die Lösung besteht darin, eine Überlappung zwischen den Chunks hinzuzufügen. Jeder Chunk enthält einige Zeichen aus benachbarten Chunks, was eine bessere Kontextbewahrung gewährleistet und abrupte Abbrüche vermeidet.

Überlappung verbreitert einen Chunk im Quelldokument, sodass der Ausgabe-Chunk die gesamten Überschriften von Abschnitt 1 und Abschnitt 2 behält.

Hier ist eine grundlegende Implementierung der zeichenbasierten Textaufteilung mit Überlappung:

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

Strukturbasierte Textaufteilung

Die strukturbasierte Textaufteilung nutzt die natürliche Organisation deiner Dokumente. Wenn du mit Markdown-Dateien arbeitest, kannst du an Überschriften aufteilen. Bei anderen Formaten kannst du an Absätzen oder anderen strukturellen Elementen aufteilen.

Quelldokument, an seinen Markdown-Überschriften in drei Chunks aufgeteilt: eine Eröffnungszeile, Medizinische Forschung und Softwareentwicklung.

Dieser Ansatz funktioniert hervorragend, wenn du Garantien über die Dokumentstruktur hast. Bei Markdown-Dokumenten kannst du an Abschnittsüberschriften aufteilen:

python
import re

def chunk_by_section(document_text):
    pattern = r'\n## '
    return re.split(pattern, document_text)

Die größte Einschränkung besteht darin, dass viele Dokumente keine konsistente Struktur aufweisen. Reine Textdateien, PDFs oder von Nutzern hochgeladene Dokumente verfügen möglicherweise nicht über klare strukturelle Markierungen, an denen man aufteilen könnte.

Semantikbasierte Textaufteilung

Die semantikbasierte Textaufteilung ist der anspruchsvollste Ansatz. Sie analysiert die Bedeutung und die Beziehungen zwischen Sätzen, um zusammenhängende Inhalte zu gruppieren. Dies umfasst typischerweise:

  • Text in Sätze aufteilen
  • NLP-Techniken verwenden, um die semantische Ähnlichkeit zu messen
  • Zusammenhängende Sätze zu kohärenten Chunks gruppieren

Obwohl dies die qualitativ hochwertigsten Chunks hervorbringen kann, ist es rechenintensiv und komplexer zu implementieren. Für die meisten Anwendungen funktionieren die einfacheren Ansätze gut genug.

Praktische Umsetzung

Hier ist eine satzbasierte Chunking-Funktion, die einen guten Mittelweg bietet:

python
def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r'(?<=[.!?])\s+', text)
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(' '.join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

Die richtige Strategie wählen

Welche Chunking-Strategie du wählst, hängt ganz von deinem spezifischen Anwendungsfall ab:

  • Konsistente Dokumentstruktur: Verwende strukturbasierte Textaufteilung für die saubersten Ergebnisse
  • Gemischte Dokumenttypen: Satzbasierte Textaufteilung funktioniert oft gut
  • Code oder technische Inhalte: Zeichenbasierte Textaufteilung ist am zuverlässigsten
  • Unbekannte Dokumentformate: Zeichenbasierte Textaufteilung ist deine sicherste Wahl

Denke daran, dass Chunking oft ein iterativer Prozess ist. Beginne mit einem einfachen Ansatz, teste ihn mit deinen spezifischen Dokumenten und Anwendungsfällen und verfeinere ihn dann basierend auf den Ergebnissen. Die „beste“ Chunking-Strategie ist diejenige, die für deine konkreten Daten und Anforderungen zuverlässig funktioniert.