Wird geladen
Wird geladen

Prompt-Caching ist eine Funktion, die Claudes Antworten beschleunigt und die Kosten der Textgenerierung senkt, indem Rechenarbeit aus vorherigen Anfragen wiederverwendet wird. Anstatt die gesamte Verarbeitungsarbeit nach jeder Anfrage zu verwerfen, kann Claude sie speichern und wiederverwenden, wenn du erneut ähnliche Inhalte sendest.

Wie Claude Anfragen normalerweise verarbeitet

Um Prompt-Caching zu verstehen, schauen wir uns zunächst an, was bei einer typischen Anfrage ohne aktiviertes Caching passiert.

Eine übliche Anfrage: Unser Server sendet Claude eine Nutzernachricht, „Fasse diesen langen Text zusammen:“ plus einen Textplatzhalter.

Wenn du Claude eine Nachricht sendest, beginnt es nicht sofort mit der Generierung einer Antwort. Stattdessen führt Claude umfangreiche Vorverarbeitungsarbeiten an deiner Eingabe durch:

Diagramm, das die ersten drei von Claudes vier Schritten als Arbeit markiert, die nur an der Eingabenachricht ausgeführt wird, bevor eine Zusammenfassung zurückgegeben wird.

  • Tokenisiert den Prompt (zerlegt Text in kleinere Einheiten)
  • Erstellt Embeddings für jedes Token (mathematische Darstellungen)
  • Fügt Kontext basierend auf dem umgebenden Text hinzu
  • Generiert erst dann den eigentlichen Ausgabetext

Die vier Verarbeitungsschritte, ausgewählt innerhalb der Claude-Box, bereit, in eine leere gestrichelte Box mit der Bezeichnung „Papierkorb“ gezogen zu werden.

Nachdem dir die Antwort gesendet wurde, verwirft Claude die gesamte Rechenarbeit. Alles wird weggeworfen, und Claude erklärt sich bereit für die nächste Anfrage.

Das Problem mit wiederholten Inhalten

Hier wird es ineffizient. Stell dir vor, du führst ein Gespräch mit Claude, sodass deine Folgeanfrage Folgendes enthält:

Folgeanfrage mit derselben Nachricht „Fasse diesen langen Text zusammen“, Claudes Zusammenfassung, dann „Die Zusammenfassung braucht mehr Fokus auf“.

  • Die gleiche ursprüngliche Nutzernachricht wie zuvor
  • Claudes vorherige Antwort
  • Deine neue Folgenachricht

In der Folgeanfrage verweist Claude zurück auf die wiederholte erste Nutzernachricht „Fasse diesen langen Text zusammen“, die es gerade verarbeitet hat.

Claude muss diese ursprüngliche Nachricht erneut verarbeiten, obwohl es genau denselben Inhalt kurz zuvor bereits analysiert hat. Claude könnte denken: „Ich habe diese Nachricht gerade verarbeitet und die gesamte Arbeit, die ich geleistet habe, weggeworfen. Ich hätte sie wiederverwenden können!“

Wie Prompt-Caching dies löst

Prompt-Caching ändert diesen verschwenderischen Prozess. Anstatt die Vorverarbeitungsarbeit zu verwerfen, speichert Claude sie in einem Cache.

Anfängliche Anfrage, die durch Claudes vier Schritte zu einer Zusammenfassungsantwort läuft, neben einer leeren Papierkorb-Box und einer leeren Cache-Box.

So funktioniert es:

  1. Anfängliche Anfrage: Claude verarbeitet deine Nachricht und schreibt die Rechenarbeit in einen Cache
  2. Folgeanfragen: Wenn Claude denselben Inhalt erneut sieht, liest es die zuvor verarbeitete Arbeit aus dem Cache, anstatt von vorne zu beginnen

Cache-Tabelle, die eine Nutzernachricht, die um die Zusammenfassung eines langen Textes bittet, mit der gespeicherten Tokenisierungs-, Embedding- und Kontextarbeit verknüpft.

Der Cache funktioniert wie eine Nachschlagetabelle: „Wenn ich diese Nachricht jemals wiedersehe, werde ich diese Arbeit, die ich bereits geleistet habe, wiederverwenden.“

Wichtige Vorteile und Einschränkungen

Claude schreibt die Arbeit, die am Prompt „Bitte fasse dies zusammen“ geleistet wurde, in den Cache und liest sie dann bei der Folgeanfrage.

Prompt-Caching bietet mehrere Vorteile:

  • Schnellere Antworten: Anfragen, die zwischengespeicherte Inhalte verwenden, werden schneller ausgeführt
  • Niedrigere Kosten: Du zahlst weniger für Verarbeitung, die zwischengespeicherte Arbeit wiederverwendet
  • Automatische Optimierung: Die anfängliche Anfrage schreibt in den Cache, Folgeanfragen lesen daraus

Es gibt jedoch wichtige Einschränkungen zu beachten:

  • Kurze Lebensdauer: Der Cache lebt nur 5 Minuten
  • Exakte Übereinstimmungen erforderlich: Nur nützlich, wenn du wiederholt denselben Inhalt sendest
  • Häufiger Anwendungsfall: Dies kommt extrem häufig bei Konversationsanwendungen und Dokumentenanalyse-Workflows vor

Prompt-Caching ist besonders wertvoll für Anwendungen, bei denen Nutzer häufig auf dieselben Dokumente verweisen, Gespräche fortsetzen oder innerhalb eines kurzen Zeitraums ähnliche Prompts iterieren.