Wird geladen

Einführung in Retrieval Augmented Generation

Lektion 342 Min.
Wird geladen

Retrieval Augmented Generation (RAG) ist eine Technik, die dir hilft, mit großen Dokumenten zu arbeiten, wenn du Claude verwendest. Anstatt einen kompletten 800-seitigen Finanzbericht in einen einzigen Prompt zu quetschen, ermöglicht dir RAG, intelligent nur die relevantesten Abschnitte für jede Frage zu finden und einzubeziehen.

Das Problem mit großen Dokumenten

Stell dir vor, du hast ein riesiges Finanzdokument und möchtest Claude spezifische Fragen dazu stellen, wie „Welche Risikofaktoren hat dieses Unternehmen?“ Du stehst vor einer grundlegenden Herausforderung: Wie bringst du die richtigen Informationen aus dem Dokument zu Claude, damit es deine Frage effektiv beantworten kann?

Ein privater Finanzbericht mit über 800 Seiten und Abschnitten wie Executive Summary, Risikofaktoren und Zukunftsaussichten.

Option 1: Alles in den Prompt packen

Der erste Ansatz erscheint unkompliziert - extrahiere den gesamten Text aus dem Dokument und packe ihn direkt zusammen mit der Frage des Nutzers in deinen Prompt.

Prompt mit dem Text „Beantworte die Frage des Nutzers zum Finanzdokument.“ mit dem gesamten Bericht in financial_document-Tags.

Dieser Ansatz hat mehrere Probleme:

  • Es gibt ein hartes Limit dafür, wie viel Text Claude verarbeiten kann - dein Dokument könnte zu lang sein
  • Claude wird bei sehr langen Prompts weniger effektiv
  • Größere Prompts kosten mehr Geld und brauchen länger zur Verarbeitung

Option 2: Dokumente in Chunks aufteilen

Der zweite Ansatz ist ausgefeilter. Du teilst das Dokument in einem Vorverarbeitungsschritt in kleinere Chunks auf und findest und integrierst dann nur die Chunks, die für die jeweilige Nutzerfrage relevant sind.

Der Finanzbericht aufgeteilt in sechs Chunks wie „Prüfbericht“, „Wichtige Leistungskennzahlen“ und „Marktdaten“.

So funktioniert es: Wenn ein Nutzer fragt „Welchen Risiken ist dieses Unternehmen ausgesetzt?“, durchsuchst du deine Chunks, um den über „Risikofaktoren“ zu finden, und integrierst nur diesen Abschnitt in deinen Prompt an Claude.

Die Frage des Nutzers und nur die relevanten Chunks der sechs fließen in einen Prompt mit user_question- und financial_document-Tags.

Vorteile des Chunking-Ansatzes

  • Claude kann sich nur auf den relevantesten Inhalt konzentrieren
  • Skaliert auf sehr große Dokumente
  • Funktioniert mit mehreren Dokumenten
  • Kleinere Prompts kosten weniger und laufen schneller

Herausforderungen beim Chunking

  • Erfordert einen Vorverarbeitungsschritt zum Aufteilen von Dokumenten
  • Benötigt einen Suchmechanismus, um „relevante“ Chunks zu finden
  • Einbezogene Chunks enthalten möglicherweise nicht den gesamten Kontext, den Claude benötigt
  • Es gibt viele Möglichkeiten, Text zu chunken - welcher Ansatz ist der beste?

Wenn du beispielsweise nur den Abschnitt „Risikofaktoren“ einbeziehst, verpasst du möglicherweise wichtigen Kontext aus dem Abschnitt „Strategieausblick“, der behandelt, wie das Unternehmen plant, mit diesen Risiken umzugehen.

Das ist RAG

Option 2 ist Retrieval Augmented Generation. Trotz seiner Komplexität bietet RAG erhebliche Vorteile für die Arbeit mit großen Dokumenten, bringt aber auch technische Herausforderungen mit sich, die eine sorgfältige Überlegung erfordern.

Die Schlüsselkomponenten von RAG sind:

  • Vorverarbeitung und Chunking von Dokumenten
  • Ein Suchmechanismus, um relevante Chunks zu finden
  • Intelligente Auswahl, welche Chunks in Prompts einbezogen werden

Wenn du RAG für deine Anwendung in Betracht ziehst, musst du abwägen, ob die Vorteile die zusätzliche Komplexität für deinen konkreten Anwendungsfall rechtfertigen. Die Technik glänzt bei der Arbeit mit großen Dokumentsammlungen, bei denen du präzise, kontextbezogene Antworten benötigst, erfordert aber mehr vorgelagerten technischen Aufwand, als einfach ganze Dokumente in Prompts einzubeziehen.