Retrieval Augmented Generation (RAG) ist eine Technik, die dir hilft, mit großen Dokumenten zu arbeiten, wenn du Claude verwendest. Anstatt einen kompletten 800-seitigen Finanzbericht in einen einzigen Prompt zu quetschen, ermöglicht dir RAG, intelligent nur die relevantesten Abschnitte für jede Frage zu finden und einzubeziehen.
Das Problem mit großen Dokumenten
Stell dir vor, du hast ein riesiges Finanzdokument und möchtest Claude spezifische Fragen dazu stellen, wie „Welche Risikofaktoren hat dieses Unternehmen?“ Du stehst vor einer grundlegenden Herausforderung: Wie bringst du die richtigen Informationen aus dem Dokument zu Claude, damit es deine Frage effektiv beantworten kann?

Option 1: Alles in den Prompt packen
Der erste Ansatz erscheint unkompliziert - extrahiere den gesamten Text aus dem Dokument und packe ihn direkt zusammen mit der Frage des Nutzers in deinen Prompt.

Dieser Ansatz hat mehrere Probleme:
- Es gibt ein hartes Limit dafür, wie viel Text Claude verarbeiten kann - dein Dokument könnte zu lang sein
- Claude wird bei sehr langen Prompts weniger effektiv
- Größere Prompts kosten mehr Geld und brauchen länger zur Verarbeitung
Option 2: Dokumente in Chunks aufteilen
Der zweite Ansatz ist ausgefeilter. Du teilst das Dokument in einem Vorverarbeitungsschritt in kleinere Chunks auf und findest und integrierst dann nur die Chunks, die für die jeweilige Nutzerfrage relevant sind.

So funktioniert es: Wenn ein Nutzer fragt „Welchen Risiken ist dieses Unternehmen ausgesetzt?“, durchsuchst du deine Chunks, um den über „Risikofaktoren“ zu finden, und integrierst nur diesen Abschnitt in deinen Prompt an Claude.

Vorteile des Chunking-Ansatzes
- Claude kann sich nur auf den relevantesten Inhalt konzentrieren
- Skaliert auf sehr große Dokumente
- Funktioniert mit mehreren Dokumenten
- Kleinere Prompts kosten weniger und laufen schneller
Herausforderungen beim Chunking
- Erfordert einen Vorverarbeitungsschritt zum Aufteilen von Dokumenten
- Benötigt einen Suchmechanismus, um „relevante“ Chunks zu finden
- Einbezogene Chunks enthalten möglicherweise nicht den gesamten Kontext, den Claude benötigt
- Es gibt viele Möglichkeiten, Text zu chunken - welcher Ansatz ist der beste?
Wenn du beispielsweise nur den Abschnitt „Risikofaktoren“ einbeziehst, verpasst du möglicherweise wichtigen Kontext aus dem Abschnitt „Strategieausblick“, der behandelt, wie das Unternehmen plant, mit diesen Risiken umzugehen.
Das ist RAG
Option 2 ist Retrieval Augmented Generation. Trotz seiner Komplexität bietet RAG erhebliche Vorteile für die Arbeit mit großen Dokumenten, bringt aber auch technische Herausforderungen mit sich, die eine sorgfältige Überlegung erfordern.
Die Schlüsselkomponenten von RAG sind:
- Vorverarbeitung und Chunking von Dokumenten
- Ein Suchmechanismus, um relevante Chunks zu finden
- Intelligente Auswahl, welche Chunks in Prompts einbezogen werden
Wenn du RAG für deine Anwendung in Betracht ziehst, musst du abwägen, ob die Vorteile die zusätzliche Komplexität für deinen konkreten Anwendungsfall rechtfertigen. Die Technik glänzt bei der Arbeit mit großen Dokumentsammlungen, bei denen du präzise, kontextbezogene Antworten benötigst, erfordert aber mehr vorgelagerten technischen Aufwand, als einfach ganze Dokumente in Prompts einzubeziehen.