Wird geladen

Regeln für Prompt-Caching

Lektion 477 Min.
Wird geladen

Prompt-Caching bei Claude funktioniert, indem die für Nachrichten geleistete Rechenarbeit gespeichert wird, sodass sie in Folgeanfragen wiederverwendet werden kann. Dadurch werden Anfragen, die gecachte Inhalte verwenden, sowohl günstiger als auch schneller ausgeführt.

Claude schreibt die für den Prompt „Please summarize this“ geleistete Arbeit in den Cache und liest sie dann bei der Folgeanfrage wieder aus.

Der Ablauf folgt einem einfachen Muster: Deine erste Anfrage schreibt in den Cache, und Folgeanfragen können aus dem Cache lesen. Der Cache lebt 5 Minuten, daher ist diese Funktion nur nützlich, wenn du wiederholt denselben Inhalt sendest – was in realen Anwendungen jedoch extrem häufig vorkommt.

Cache-Breakpoints

Die für Nachrichten geleistete Arbeit wird nicht automatisch gecacht. Wir müssen manuell einen „Cache-Breakpoint“ zu einem Block hinzufügen. Die Arbeit, die für alles vor dem Breakpoint geleistet wurde, wird gecacht, und der Cache wird bei Folgeanfragen nur verwendet, wenn der Inhalt bis einschließlich des Breakpoints identisch ist.

Ein Textblock einer Nutzernachricht mit einem langen Prompt, dessen „cache_control“-Typ „ephemeral“ als Cache-Breakpoint gekennzeichnet ist.

Wenn du Cache-Breakpoints hinzufügen musst, musst du beim Schreiben von Textblöcken die Langform statt der Kurzform verwenden. Hier ist der Unterschied:

python
# Kurzform - Cache-Breakpoints können nicht hinzugefügt werden
user_message = {
  "role": "user",
  "content": "Hi there!"
}

# Langform - erforderlich für Cache-Breakpoints
user_message = {
  "role": "user", 
  "content": [
    {
      "type": "text",
      "text": "Hi there!",
      "cache_control": {
        "type": "ephemeral"
      }
    }
  ]
}

Wie Cache-Breakpoints funktionieren

Cache-Breakpoints erstrecken sich über Nachrichten hinweg und können auch Assistant-Nachrichten cachen. Wenn du einen Breakpoint setzt, wird alles bis zu diesem Punkt gecacht. Denk daran: Der Inhalt muss identisch sein, damit der Cache verwendet werden kann!

Für jeden der vier Textblöcke geleistete Arbeit in Claude, mit der gepunkteten Breakpoint-Linie nach dem ersten Block und der leeren Cache-Box.

Bei einer Folgeanfrage liest Claude die zuvor verarbeitete Arbeit aus dem Cache, anstatt sie erneut zu verarbeiten:

Claude liest gecachte Arbeit für drei Blöcke einer Folgeanfrage, deren letzter Block „Focus the summary on“ den Breakpoint trägt.

Breakpoint-Position

Du bist nicht auf Textblöcke beschränkt! Du kannst Cache-Breakpoints auch zu System-Prompts und Tool-Definitionen hinzufügen. Dies sind tatsächlich die häufigsten Caching-Gelegenheiten, da sie sich zwischen Anfragen selten ändern.

python
# Tool-Definitionen mit Cache-Breakpoint
tools = [
  add_duration_to_datetime_schema,
  get_current_datetime_schema,
  {
    "name": "set_reminder",
    "description": "Sets a reminder...",
    "input_schema": { ... },
    "cache_control": {"type": "ephemeral"}
  }
]

# System-Prompt mit Cache-Breakpoint  
system = [
  {
    "type": "text",
    "text": "You are a senior software...",
    "cache_control": {"type": "ephemeral"}
  }
]

Cache-Reihenfolge

Hinter den Kulissen werden Tools, System-Prompts und Nachrichten in genau dieser Reihenfolge zusammengefügt, bevor sie an Claude übergeben werden. Dies wirkt sich darauf aus, wie deine Cache-Breakpoints funktionieren.

In beiden Anfragen liegt der Cache-Breakpoint bei Tool 3, vor dem System-Prompt und den Nachrichten; die Assistant-Nachricht in Anfrage 2 hat sich geändert.

Du kannst insgesamt bis zu vier Cache-Breakpoints hinzufügen. Wenn du einen Breakpoint bei deinem letzten Tool setzt, wird alles bis zu diesem Tool gecacht, der System-Prompt und die Nachrichten jedoch nicht. Dies gibt dir feingranulare Kontrolle darüber, was gecacht wird, basierend darauf, was sich in deiner Anwendung ändert.

Mindestinhaltslänge

Es gibt eine Mindestlänge für das Caching, die vom Modell abhängt. Für Claude Haiku 4.5, das Modell, das in diesem Kurs verwendet wird, muss der Inhalt mindestens 4.096 Tokens lang sein, um gecacht zu werden. Dies ist die Summe aller Nachrichten und Blöcke, die du zu cachen versuchst, nicht einzelner Blöcke.

Eine Nachricht wie „Hi there!“ ist viel zu kurz, um gecacht zu werden, aber ein wirklich langer Prompt erreicht das Minimum. Inhalte unter dem Minimum werden einfach ohne Caching verarbeitet, und es kommt keine Fehlermeldung zurück. Um dies festzustellen, schau dir die Nutzungsangaben in der Antwort an: cache_creation_input_tokens und cache_read_input_tokens sind beide 0.

Der Schlüssel zu effektivem Prompt-Caching besteht darin, die Teile deiner Anfragen zu identifizieren, die konstant bleiben – meist deine System-Prompts und Tool-Definitionen – und Breakpoints strategisch so zu setzen, dass Cache-Treffer maximiert und erneute Verarbeitung minimiert werden.