Wird geladen
Wird geladen

Nachdem ein Dokument in Chunks unterteilt wurde, besteht der nächste Schritt in einer RAG-Pipeline darin, herauszufinden, welche Chunks für die Frage eines Nutzers am relevantesten sind. Dies ist im Grunde ein Suchproblem - du musst alle deine Text-Chunks durchsuchen und diejenigen identifizieren, die sich auf das beziehen, wonach der Nutzer fragt.

Nutzerfrage "Wie viele Bugs haben die Ingenieure dieses Jahr behoben?" und drei Text-Chunks, von denen einer XDR-47 als "Bug" bezeichnet.

Der gängigste Ansatz zum Finden relevanter Chunks ist die semantische Suche. Im Gegensatz zur schlüsselwortbasierten Suche, die nach exakten Wortübereinstimmungen sucht, verwendet die semantische Suche Text-Embeddings, um die Bedeutung und den Kontext sowohl der Frage des Nutzers als auch jedes Text-Chunks zu verstehen.

"Wie viele Bugs haben die Ingenieure dieses Jahr behoben?" über einem medizinischen Chunk, der von "Bug" spricht, und einem Software-Chunk über Infektionsvektoren.

Text-Embeddings

Ein Text-Embedding ist eine numerische Darstellung der Bedeutung, die in einem Text enthalten ist. Stell es dir vor wie die Umwandlung von Wörtern und Sätzen in ein Format, mit dem Computer mathematisch arbeiten können.

"Ich bin heute sehr glücklich!", "Dieser Film war nicht großartig" und "abcd", die jeweils zu einer Liste von Zahlen wie 0,279, -0,05 werden.

So funktioniert der Prozess:

  • Du speist Text in ein Embedding-Modell ein
  • Das Modell gibt eine lange Liste von Zahlen aus (das Embedding)
  • Jede Zahl liegt im Bereich von -1 bis +1
  • Diese Zahlen repräsentieren verschiedene Eigenschaften oder Merkmale des Eingabetextes

Die Zahlen verstehen

Jede Zahl in einem Embedding ist im Grunde ein "Wert" für eine bestimmte Eigenschaft des Eingabetextes. Hier gibt es jedoch einen wichtigen Vorbehalt: Wir wissen nicht genau, wofür jede Zahl steht.

Pfeile beschriften einzelne Zahlen im Embedding als Werte, etwa wie "formell" der Text ist und wie sehr er von Obst handelt.

Es kann zwar hilfreich sein, sich vorzustellen, dass eine Zahl repräsentieren könnte, "wie glücklich der Text ist" oder "wie sehr der Text von Ozeanen handelt", aber das sind nur konzeptionelle Beispiele. Die tatsächliche Bedeutung jeder Dimension wird vom Modell während des Trainings erlernt und ist für Menschen nicht direkt interpretierbar.

VoyageAI für Embeddings

Da Anthropic derzeit keine Embedding-Generierung anbietet, ist der empfohlene Anbieter VoyageAI. Du musst:

  • Dich für ein separates VoyageAI-Konto anmelden
  • Einen API-Key besorgen (kostenloser Einstieg möglich)
  • Den Key zu deinen Umgebungsvariablen hinzufügen

Die in einem Editor geöffnete .env-Datei mit zwei Zeilen, ANTHROPIC_API_KEY und VOYAGE_API_KEY, jeweils auf "MY_KEY" gesetzt.

Füge in deiner .env-Datei Folgendes hinzu:

bash
VOYAGE_API_KEY="your_key_here"

Implementierung

Installiere zunächst die VoyageAI-Bibliothek:

bash
%pip install voyageai

Richte dann den Client ein und erstelle eine Funktion zur Generierung von Embeddings:

python
from dotenv import load_dotenv
import voyageai

load_dotenv()
client = voyageai.Client()

def generate_embedding(text, model="voyage-3-large", input_type="query"):
    result = client.embed([text], model=model, input_type=input_type)
    return result.embeddings[0]

Notebook-Zelle, die report.md liest, sie nach Abschnitt aufteilt und den ersten Chunk einbettet, Ausgabe beginnt mit -0,054, 0,015.

Wenn du diese Funktion auf einen Text-Chunk anwendest, erhältst du eine Liste von Gleitkommazahlen zurück, die das Embedding repräsentieren. Der Prozess ist schnell und unkompliziert - die eigentliche Herausforderung besteht darin, zu verstehen, wie man diese Embeddings effektiv in deiner RAG-Pipeline nutzt, um die relevantesten Inhalte zu finden.

Notebook-Zelle, die den ersten Chunk von report.md einbettet; die Ausgabe ist eine lange Liste von Dezimalzahlen, die mit -0,054, 0,015 beginnt.

Der nächste Schritt besteht darin, zu lernen, wie man Embeddings vergleicht, um zu bestimmen, welche Chunks der Frage eines Nutzers am ähnlichsten sind, was den Kern des semantischen Suchprozesses bildet.