Retrieval Augmented Generation (RAG) ist eine Technik, die dir hilft, mit großen Dokumenten zu arbeiten, indem sie diese in kleinere Teile zerlegt und Claude für jede Frage nur die relevantesten Abschnitte liefert. Anstatt das Modell mit einem gesamten 800-seitigen Finanzbericht zu überfordern, lässt dich RAG genau die Abschnitte extrahieren, die für die Beantwortung bestimmter Fragen relevant sind.
Das Problem mit großen Dokumenten
Wenn du ein umfangreiches Dokument hast und Claude dazu konkrete Fragen stellen möchtest, stehst du vor einer grundlegenden Herausforderung: Wie bringst du die richtigen Informationen zu Claude, ohne an Grenzen zu stoßen oder die Leistung zu verschlechtern?

Stell dir vor, du fragst „Welche Risikofaktoren hat dieses Unternehmen?“ zu einem umfangreichen Finanzdokument. Das Dokument enthält die Antwort, aber Claude benötigt Zugriff auf den relevanten Inhalt, um dir zu helfen.
Option 1: Alles in den Prompt aufnehmen
Der naheliegende Ansatz besteht darin, den gesamten Text aus dem Dokument zu extrahieren und in einen einzigen Prompt zu packen:

Diese Methode hat gravierende Einschränkungen:
- Feste Token-Limits bedeuten, dass sehr lange Dokumente schlichtweg nicht hineinpassen
- Claude wird bei extrem langen Prompts weniger effektiv
- Größere Prompts kosten mehr Geld und brauchen länger zur Verarbeitung
- Die Leistung verschlechtert sich, wenn zu viele Informationen durchsucht werden müssen
Option 2: Dokumente in Abschnitte zerlegen
RAG verfolgt einen intelligenteren Ansatz, indem Dokumente vorab in überschaubare Teile aufgeteilt werden und dann nur die relevanten Abschnitte für jede Frage abgerufen werden.

So funktioniert es:
- Das Dokument wird in kleinere Abschnitte unterteilt (Strategieausblick, Risikofaktoren, Bilanz usw.)
- Wenn ein Nutzer eine Frage stellt, wird analysiert, wonach er sucht
- Die für seine Frage relevantesten Abschnitte werden ermittelt
- Nur diese relevanten Abschnitte werden in den Prompt an Claude aufgenommen

Bei einer Frage zu den Risiken eines Unternehmens würde das System den Abschnitt „Risikofaktoren“ identifizieren und abrufen und Claude damit einen fokussierten, relevanten Kontext statt des gesamten Dokuments liefern.
Vorteile von RAG
- Claude kann sich auf nur den relevantesten Inhalt konzentrieren
- Skaliert auf sehr große Dokumente und mehrere Dokumente
- Funktioniert über Dokumentensammlungen hinweg, nicht nur bei einzelnen Dateien
- Kleinere Prompts bedeuten schnellere Verarbeitung und geringere Kosten
Herausforderungen bei RAG
RAG bringt Komplexität mit sich, die du bewältigen musst:
- Erfordert einen Vorverarbeitungsschritt, um Dokumente in Abschnitte zu zerlegen
- Du brauchst einen Suchmechanismus, um relevante Abschnitte zu finden
- Abgerufene Abschnitte enthalten möglicherweise nicht den gesamten nötigen Kontext
- Es gibt viele verschiedene Möglichkeiten, Text zu zerlegen – welcher Ansatz funktioniert am besten?
Du kannst Dokumente nach gleichen Anteilen, nach Überschriften und Abschnitten, nach semantischer Bedeutung oder nach anderen Strategien zerlegen. Jeder Ansatz hat Abwägungen, die du für deinen konkreten Anwendungsfall bewerten musst.
Wann RAG verwendet werden sollte
RAG entfaltet seine Stärke, wenn du mit großen Dokumenten oder Dokumentensammlungen arbeitest, bei denen Nutzer konkrete Fragen stellen, für die nur ein Teil des Inhalts benötigt wird. Der Vorverarbeitungsaufwand lohnt sich, wenn du über das hinausskalieren musst, was in einen einzigen Prompt passt, wenn du schnellere Antworten möchtest oder wenn du Kosten über viele Anfragen hinweg verwalten musst.
Der Schlüssel liegt darin, zu analysieren, ob der technische Mehraufwand für die Implementierung von Chunking, Suche und Abruf für deine spezielle Anwendung sinnvoll ist. Manchmal funktioniert der einfache Ansatz „alles in einen Prompt packen“ gut – in anderen Fällen wird RAG unverzichtbar, um dein System praktikabel und leistungsfähig zu machen.