Wird geladen
Wird geladen

Prompt-Caching ist eine Funktion, die Claudes Antworten beschleunigt und die Kosten für die Texterzeugung senkt, indem Rechenarbeit aus vorherigen Anfragen wiederverwendet wird. Anstatt nach jeder Anfrage die gesamte Verarbeitungsarbeit wegzuwerfen, kann Claude sie speichern und wiederverwenden, wenn du erneut ähnlichen Inhalt sendest.

Wie Claude Anfragen normalerweise verarbeitet

Um Prompt-Caching zu verstehen, schauen wir uns zunächst an, was während einer typischen Anfrage ohne aktiviertes Caching passiert.

Eine typische Anfrage: Unser Server sendet Claude eine Benutzernachricht, „Fasse diesen langen Text zusammen:“ gefolgt von einem Textplatzhalter.

Wenn du eine Nachricht an Claude sendest, beginnt es nicht sofort mit der Generierung einer Antwort. Stattdessen leistet Claude eine enorme Menge an Vorverarbeitungsarbeit an deiner Eingabe:

Die ersten drei der unten aufgeführten Schritte sind Arbeit, die nur an der Eingabenachricht geleistet wird; der vierte erzeugt die Zusammenfassung, die Claude zurückgibt.

  • Zerlegt den Prompt in kleinere Teile (Tokenisierung)
  • Erstellt Embeddings für jedes Token
  • Fügt Kontext basierend auf dem umgebenden Text hinzu
  • Erst dann wird der tatsächliche Ausgabetext generiert

Nachdem dir die Antwort gesendet wurde, wirft Claude die gesamte Rechenarbeit weg – die Tokenisierung, die Embeddings und die Kontextanalyse werden allesamt verworfen.

Claude sagt „Ich bin bereit, die nächste Anfrage zu verarbeiten!“, während die oben aufgeführten vier Schritte in einem gestrichelten Kasten mit der Aufschrift „Papierkorb“ liegen.

Das Problem beim Verwerfen von Arbeit

Das wird ineffizient, wenn du Folgeanfragen stellst, die denselben Inhalt enthalten. Nehmen wir zum Beispiel ein Gespräch, in dem du Claude bittest, eine Zusammenfassung desselben langen Textes zu verfeinern:

Die Folgeanfrage sendet Claude dieselbe Zusammenfassungsnachricht wie zuvor, deren Zusammenfassung und eine Benutzernachricht, die um mehr Fokus bittet.

Claude muss die gesamte gleiche Vorverarbeitungsarbeit an Inhalten wiederholen, die es gerade erst analysiert hat. Claude könnte sich dabei denken: „Ich habe diese Nachricht gerade verarbeitet und die gesamte Arbeit, die ich geleistet habe, weggeworfen – ich hätte sie wiederverwenden können!“

Folgeanfrage bestehend aus drei Nachrichten: eine Benutzeranfrage zur Zusammenfassung eines langen Textes, die Zusammenfassung, dann eine Anfrage nach mehr Fokus.

Wie Prompt-Caching dieses Problem löst

Prompt-Caching ändert diesen Arbeitsablauf, indem die Vorverarbeitungsarbeit gespeichert statt verworfen wird:

Claudes Vorverarbeitungsschritte, wie etwa die Tokenisierung des Prompts, liegen jetzt im Cache-Kasten, und der Papierkorb-Kasten ist leer.

Wenn du eine erste Anfrage stellst, führt Claude die übliche Vorverarbeitung durch, speichert die Ergebnisse jedoch in einem Cache, statt sie wegzuwerfen. Der Cache fungiert wie eine Nachschlagetabelle, die besagt: „Wenn ich diese Nachricht jemals wiedersehe, werde ich diese bereits geleistete Arbeit wiederverwenden.“

Eine Cache-Tabelle, die eine Benutzernachricht, die Claude bittet, einen langen Text zusammenzufassen, mit den drei gespeicherten Vorverarbeitungsschritten verknüpft.

Wichtige Vorteile und Einschränkungen

Prompt-Caching bietet mehrere Vorteile:

  • Schnellere Antworten: Anfragen, die zwischengespeicherte Inhalte verwenden, werden schneller ausgeführt
  • Niedrigere Kosten: Du zahlst weniger für die zwischengespeicherten Teile deiner Anfragen
  • Automatische Optimierung: Die erste Anfrage schreibt in den Cache, Folgeanfragen lesen daraus

Es gibt jedoch wichtige Einschränkungen zu beachten:

  • Cache-Dauer: Standardmäßig bleiben zwischengespeicherte Inhalte 5 Minuten lang erhalten, und jede Wiederverwendung setzt diesen Timer ohne zusätzliche Kosten zurück. Du kannst die Lebensdauer optional auf 1 Stunde verlängern, was mit einem höheren Cache-Schreibpreis verbunden ist.
  • Begrenzte Anwendungsfälle: Nur vorteilhaft, wenn du wiederholt denselben Inhalt sendest
  • Anforderung an hohe Häufigkeit: Am effektivsten, wenn derselbe Inhalt extrem häufig in deinen Anfragen vorkommt

Prompt-Caching eignet sich am besten für Szenarien wie Dokumentenanalyse-Workflows, bei denen du mehrere Fragen zum selben großen Dokument stellst, oder für iterative Bearbeitungsaufgaben, bei denen der Basisinhalt konstant bleibt, während du bestimmte Aspekte verfeinerst.