Wird geladen

Einführung in Retrieval Augmented Generation

Lektion 325 Min.
Wird geladen

Retrieval Augmented Generation (RAG) ist eine Technik, die dir hilft, mit großen Dokumenten zu arbeiten, die zu groß sind, um in einen einzigen Prompt zu passen. Anstatt alles in einen riesigen Prompt zu quetschen, zerlegt RAG Dokumente in Chunks und fügt nur die relevantesten Teile ein, wenn Fragen beantwortet werden.

Das Problem mit großen Dokumenten

Stell dir vor, du hast ein 800-seitiges Finanzdokument und möchtest Claude konkrete Fragen dazu stellen, wie „Welche Risikofaktoren hat dieses Unternehmen?“ Du musst die relevanten Informationen aus dem Dokument irgendwie zu Claude bringen, aber es gibt Grenzen dafür, wie viel Text du in einen Prompt aufnehmen kannst.

Das Dokument ist privat, daher hat Claude keine Ahnung, was es enthält, mit Abschnitten wie Executive Summary und Risikofaktoren.

Option 1: Alles in den Prompt aufnehmen

Der erste Ansatz ist unkompliziert - extrahiere den gesamten Text aus dem Dokument und packe ihn zusammen mit der Frage des Nutzers in deinen Prompt. Dein Prompt könnte so aussehen:

Answer the user's question about the financial document.

<user_question>
{user_question}
</user_question>

<financial_document>
{financial_document}
</financial_document>

Der gesamte Finanzbericht, eingespeist in den obigen Prompt, überschrieben mit „Möglicherweise nicht die beste Lösung“, mit darunter aufgeführten Einschränkungen.

Dieser Ansatz hat ernsthafte Einschränkungen:

  • Es gibt ein hartes Limit für die Prompt-Länge - dein Dokument könnte zu lang sein
  • Claude wird bei sehr langen Prompts weniger effektiv
  • Größere Prompts kosten mehr in der Verarbeitung
  • Größere Prompts benötigen mehr Zeit zur Verarbeitung

Option 2: Dokumente in Chunks zerlegen

RAG verfolgt einen intelligenteren Ansatz. Zunächst zerlegst du das Dokument in einem Vorverarbeitungsschritt in kleinere Chunks. Wenn dann ein Nutzer eine Frage stellt, findest du die für seine Frage relevantesten Chunks und fügst nur diese in deinen Prompt ein.

Finanzbericht aufgeteilt in sechs Textabschnitte, wie Strategie-Ausblick, Bilanz und Prüfungsbericht.

So funktioniert es: Wenn jemand fragt „Welchen Risiken ist dieses Unternehmen ausgesetzt?“, würdest du deine Chunks durchsuchen, den Abschnitt „Risikofaktoren“ finden und nur diesen relevanten Chunk in deinen Prompt aufnehmen.

Sechs Chunks wie Strategie-Ausblick, Bilanz und Marktdaten, mit der Frage des Nutzers und einem Chunk, die in den Prompt eingespeist werden.

Vorteile von RAG

  • Claude kann sich nur auf die relevantesten Inhalte konzentrieren
  • Skaliert bis zu sehr großen Dokumenten
  • Funktioniert mit mehreren Dokumenten
  • Kleinere Prompts kosten weniger und laufen schneller

Herausforderungen bei RAG

  • Erfordert einen Vorverarbeitungsschritt zum Zerlegen von Dokumenten
  • Benötigt einen Suchmechanismus, um „relevante“ Chunks zu finden
  • Enthaltene Chunks enthalten möglicherweise nicht den gesamten Kontext, den Claude benötigt
  • Viele Möglichkeiten, Text zu zerlegen - welcher Ansatz ist der beste?

Du könntest zum Beispiel Dokumente in gleich große Abschnitte aufteilen oder Chunks basierend auf der Dokumentstruktur wie Überschriften und Abschnitten erstellen. Jeder Ansatz hat Kompromisse, die du für deinen spezifischen Anwendungsfall bewerten musst.

Wann RAG verwendet werden sollte

RAG erfordert viele technische Entscheidungen und mehr Aufwand, als einfach alles in einen Prompt aufzunehmen. Du musst analysieren, ob die Vorteile die Komplexität für deine jeweilige Anwendung überwiegen. Es ist besonders wertvoll, wenn du mit sehr großen Dokumenten oder mehreren Dokumenten arbeitest oder wenn du für Kosten und Leistung optimieren musst.

Die zentrale Erkenntnis ist, dass RAG Einfachheit gegen Skalierbarkeit und Effizienz eintauscht. Es erfordert zwar mehr Vorarbeit für eine ordnungsgemäße Umsetzung, ermöglicht dir aber die Arbeit mit Dokumentsammlungen, die mit einfachem Prompt-Stuffing unmöglich zu bewältigen wären.