Prompt-Caching in Claude funktioniert, indem die für Nachrichten geleistete Rechenarbeit gespeichert wird, sodass sie in nachfolgenden Anfragen wiederverwendet werden kann. Dadurch werden nachfolgende Anfragen sowohl günstiger als auch schneller ausgeführt, aber nur, wenn du wiederholt denselben Inhalt sendest.

Der Prozess folgt einem zweiphasigen Muster: Die erste Anfrage schreibt in den Cache, und Folgeanfragen können daraus lesen. Der Cache lebt nur 5 Minuten lang, daher ist diese Funktion am nützlichsten, wenn du denselben Inhalt wiederholt innerhalb eines kurzen Zeitraums sendest.
Cache-Punkte
Prompt-Caching wird nicht automatisch aktiviert – du musst manuell Cache-Punkt-Nachrichtenteile hinzufügen, um zu steuern, was gecacht wird. Cache-Punkte teilen Claude mit, die gesamte Arbeit zu cachen, die für alles vor diesem Punkt in deiner Nachricht geleistet wurde.

So fügst du einer Benutzernachricht einen Cache-Punkt hinzu:
user_message = {
"role": "user",
"content": [
{"text": ""},
{"cachePoint": {"type": "default"}}
]
}Die wichtigste Regel ist, dass die Arbeit, die für alles vor dem Cache-Punkt geleistet wurde, gecacht wird, aber alles nach dem Cache-Punkt wird nicht im Cache gespeichert.
Wie Cache-Punkte funktionieren

Wenn du eine erste Anfrage mit einem Cache-Punkt stellst, verarbeitet Claude den gesamten Inhalt und speichert die bis zu diesem Cache-Punkt geleistete Arbeit. Bei Folgeanfragen liest Claude, falls der Inhalt vor dem Cache-Punkt identisch ist, die zuvor verarbeitete Arbeit aus dem Cache, anstatt sie erneut zu verarbeiten.

Der Cache wird nur verwendet, wenn der Inhalt vor dem Cache-Punkt vollständig identisch ist. Schon kleine Änderungen, wie das Hinzufügen von „Please“ am Anfang deines Prompts, verhindern die Nutzung des Caches und zwingen Claude dazu, alles von Grund auf neu zu verarbeiten.

Caching über mehrere Nachrichten hinweg
Cache-Punkte können sich über mehrere Nachrichten erstrecken und sogar Assistant-Nachrichten einschließen. Das bedeutet, dass du ganze Gesprächsverläufe bis zu einem bestimmten Punkt cachen kannst.

Du könntest zum Beispiel ein Gespräch mit einer Benutzernachricht, einer Assistant-Antwort und einer weiteren Benutzernachricht haben, mit einem Cache-Punkt am Ende. Die gesamte Verarbeitungsarbeit für diesen gesamten Gesprächsstrang wird gecacht und kann wiederverwendet werden.
Mindestinhaltslänge
Der Inhalt muss mindestens 1024 Tokens lang sein, um gecacht zu werden. Dies ist die Summe aller Nachrichten und Teile, die du vor dem Cache-Punkt zu cachen versuchst.

Eine einfache Nachricht „Hi there!“ erreicht nicht das Mindestmaß von 1024 Tokens, sodass nichts gecacht wird. Wenn du „Hi there!“ jedoch 500-mal wiederholst, würde dies 1024 Tokens überschreiten und sich für das Caching qualifizieren.
Orte für Cache-Punkte
Cache-Punkte sind nicht auf Benutzernachrichten beschränkt. Du kannst sie zu System-Prompts und Tool-Definitionen hinzufügen, die tatsächlich die häufigsten Caching-Möglichkeiten darstellen.

Für Tool-Definitionen:
tools = [
{"toolSpec": add_duration_to_datetime_schema},
{"toolSpec": get_current_datetime_schema},
{"cachePoint": {"type": "default"}}
]Für System-Prompts:
system = [
{"text": "You are a senior software..."},
{"cachePoint": {"type": "default"}}
]Dies sind die wertvollsten Caching-Möglichkeiten, da sich System-Prompts und Tool-Listen zwischen Anfragen selten ändern, was sie zu perfekten Kandidaten für das Caching macht.