Wird geladen

Regeln für Prompt-Caching

Lektion 4710 Min.
Wird geladen

Prompt-Caching in Claude funktioniert, indem die für Nachrichten geleistete Rechenarbeit gespeichert wird, sodass sie in nachfolgenden Anfragen wiederverwendet werden kann. Dadurch werden nachfolgende Anfragen sowohl günstiger als auch schneller ausgeführt, aber nur, wenn du wiederholt denselben Inhalt sendest.

Claude schreibt die für den Prompt „Please summarize this“ geleistete Arbeit in den Cache und liest sie dann bei der Folgeanfrage.

Der Prozess folgt einem zweiphasigen Muster: Die erste Anfrage schreibt in den Cache, und Folgeanfragen können daraus lesen. Der Cache lebt nur 5 Minuten lang, daher ist diese Funktion am nützlichsten, wenn du denselben Inhalt wiederholt innerhalb eines kurzen Zeitraums sendest.

Cache-Punkte

Prompt-Caching wird nicht automatisch aktiviert – du musst manuell Cache-Punkt-Nachrichtenteile hinzufügen, um zu steuern, was gecacht wird. Cache-Punkte teilen Claude mit, die gesamte Arbeit zu cachen, die für alles vor diesem Punkt in deiner Nachricht geleistet wurde.

Eine Benutzernachricht wie der Code unten, mit einem Pfeil, der den hervorgehobenen cachePoint-Teil nach dem Text „Long prompt“ kennzeichnet.

So fügst du einer Benutzernachricht einen Cache-Punkt hinzu:

python
user_message = {
  "role": "user",
  "content": [
    {"text": ""},
    {"cachePoint": {"type": "default"}}
  ]
}

Die wichtigste Regel ist, dass die Arbeit, die für alles vor dem Cache-Punkt geleistet wurde, gecacht wird, aber alles nach dem Cache-Punkt wird nicht im Cache gespeichert.

Wie Cache-Punkte funktionieren

Erste Anfrage: Claudes Arbeit an „Summarize this long text“ vor dem Cache-Punkt wird gecacht, nicht aber die Arbeit an „Focus on“.

Wenn du eine erste Anfrage mit einem Cache-Punkt stellst, verarbeitet Claude den gesamten Inhalt und speichert die bis zu diesem Cache-Punkt geleistete Arbeit. Bei Folgeanfragen liest Claude, falls der Inhalt vor dem Cache-Punkt identisch ist, die zuvor verarbeitete Arbeit aus dem Cache, anstatt sie erneut zu verarbeiten.

Claude liest gecachte Arbeit für „Summarize this long text“ und verarbeitet nur die drei Teile nach dem Cache-Punkt.

Der Cache wird nur verwendet, wenn der Inhalt vor dem Cache-Punkt vollständig identisch ist. Schon kleine Änderungen, wie das Hinzufügen von „Please“ am Anfang deines Prompts, verhindern die Nutzung des Caches und zwingen Claude dazu, alles von Grund auf neu zu verarbeiten.

Der Prompt beginnt jetzt mit „Please“, sodass er nicht mehr mit der gecachten Arbeit für „Summarize this“ übereinstimmt.

Caching über mehrere Nachrichten hinweg

Cache-Punkte können sich über mehrere Nachrichten erstrecken und sogar Assistant-Nachrichten einschließen. Das bedeutet, dass du ganze Gesprächsverläufe bis zu einem bestimmten Punkt cachen kannst.

Eine Zusammenfassungsanfrage, eine Assistant-Zusammenfassung, dann eine Benutzernachricht, die mit einem Cache-Punkt endet, sodass die Arbeit für alle drei gecacht wird.

Du könntest zum Beispiel ein Gespräch mit einer Benutzernachricht, einer Assistant-Antwort und einer weiteren Benutzernachricht haben, mit einem Cache-Punkt am Ende. Die gesamte Verarbeitungsarbeit für diesen gesamten Gesprächsstrang wird gecacht und kann wiederverwendet werden.

Mindestinhaltslänge

Der Inhalt muss mindestens 1024 Tokens lang sein, um gecacht zu werden. Dies ist die Summe aller Nachrichten und Teile, die du vor dem Cache-Punkt zu cachen versuchst.

Zwei Gespräche mit einem Cache-Punkt: Ein einzelnes „Hi there!“ wird nicht gecacht, aber „Hi there!“, 503-mal wiederholt, wird gecacht.

Eine einfache Nachricht „Hi there!“ erreicht nicht das Mindestmaß von 1024 Tokens, sodass nichts gecacht wird. Wenn du „Hi there!“ jedoch 500-mal wiederholst, würde dies 1024 Tokens überschreiten und sich für das Caching qualifizieren.

Orte für Cache-Punkte

Cache-Punkte sind nicht auf Benutzernachrichten beschränkt. Du kannst sie zu System-Prompts und Tool-Definitionen hinzufügen, die tatsächlich die häufigsten Caching-Möglichkeiten darstellen.

"Tool definitions will be cached" und "System prompt will be cached" kennzeichnen den Tools- bzw. System-Code, die jeweils unten gezeigt werden.

Für Tool-Definitionen:

python
tools = [
  {"toolSpec": add_duration_to_datetime_schema},
  {"toolSpec": get_current_datetime_schema},
  {"cachePoint": {"type": "default"}}
]

Für System-Prompts:

python
system = [
  {"text": "You are a senior software..."},
  {"cachePoint": {"type": "default"}}
]

Dies sind die wertvollsten Caching-Möglichkeiten, da sich System-Prompts und Tool-Listen zwischen Anfragen selten ändern, was sie zu perfekten Kandidaten für das Caching macht.