La mémorisation des requêtes est une puissante fonctionnalité d'optimisation qui rend les requêtes moins coûteuses et plus rapides lorsque vous envoyez de manière répétée le même contenu à Claude. La requête initiale écrit dans le cache, et les requêtes suivantes peuvent y lire. Le cache est conservé pendant 5 minutes et s'avère extrêmement utile, car de nombreuses applications envoient de manière répétée les mêmes schémas d'outils, invites système ou historiques de messages.

Comment fonctionne la mémorisation des requêtes
Lorsque vous marquez un contenu pour la mise en cache, Claude le traite une seule fois et stocke le résultat. Les requêtes suivantes qui incluent exactement le même contenu peuvent ignorer l'étape de traitement et lire directement depuis le cache. Cela ne fonctionne que si le contenu mis en cache est identique - même un seul changement de caractère invalide le cache.
Vous pouvez définir plusieurs points de rupture de cache dans une même requête. L'ordre de mise en cache suit cette séquence :
- Schémas d'outils
- Invite système
- Historique des messages
Configuration de la mise en cache des schémas d'outils
Pour mettre en cache les schémas d'outils, vous devez ajouter un champ cache_control au dernier outil de votre liste. Voici la bonne façon de procéder sans modifier vos schémas d'outils d'origine :
if tools:
tools_clone = tools.copy()
last_tool = tools_clone[-1].copy()
last_tool["cache_control"] = {"type": "ephemeral"}
tools_clone[-1] = last_tool
params["tools"] = tools_cloneCette approche crée des copies à la fois de la liste d'outils et du dernier schéma d'outil avant d'ajouter le champ de contrôle du cache. Cela évite de modifier accidentellement vos définitions d'outils d'origine, ce qui pourrait poser problème si vous réorganisez les outils ultérieurement.
Mise en cache de l'invite système
Pour les invites système, vous devez structurer le paramètre system sous forme de liste avec un bloc de texte incluant le champ de contrôle du cache :
if system:
params["system"] = [
{
"type": "text",
"text": system,
"cache_control": {"type": "ephemeral"}
}
]Comprendre le comportement du cache
Lorsque vous effectuez votre première requête avec un contenu pouvant être mis en cache, vous verrez cache_creation_input_tokens dans le champ d'utilisation. Cela indique le nombre de jetons que Claude a écrits dans le cache. Lors des requêtes suivantes avec un contenu identique, vous verrez à la place cache_read_input_tokens.
Si vous avez à la fois du contenu mis en cache et du nouveau contenu dans la même requête, vous pourriez voir à la fois des lectures et des écritures de cache. Par exemple, si vous conservez les mêmes schémas d'outils mais que vous modifiez l'invite système, vous lirez les outils depuis le cache tout en écrivant la nouvelle invite système dans le cache. Vous n'obtenez cette lecture partielle que lorsque les outils seuls atteignent la longueur minimale, car un point de rupture de cache dont le contenu jusqu'à ce point est inférieur au minimum n'écrit rien.
Invalidation du cache
Le cache est extrêmement sensible aux changements. Modifier ne serait-ce qu'un seul caractère dans la description de votre schéma d'outil, dans votre invite système, ou dans tout contenu mis en cache invalidera cette entrée de cache. Lorsque cela se produit, Claude traite le contenu comme entièrement nouveau et crée une nouvelle entrée de cache.
Cette sensibilité signifie que vous devez réfléchir attentivement à ce que vous mettez en cache. Les schémas d'outils et les invites système qui restent stables sur de nombreuses requêtes sont des candidats idéaux. Le contenu dynamique qui change fréquemment ne bénéficiera pas de la mise en cache.
Mise en œuvre pratique
En pratique, vous voudrez intégrer la mise en cache par défaut dans vos fonctions de chat. La plupart des applications utilisent les mêmes schémas d'outils et invites système sur plusieurs requêtes, ce qui en fait des candidats parfaits pour la mise en cache. Les avantages en termes de performance et de coût sont significatifs lorsque vous effectuez de nombreuses requêtes avec un contenu similaire.
Rappelez-vous que la mise en cache est la plus utile lorsque vous envoyez de manière répétée le même contenu. Comme cela se produit extrêmement fréquemment dans les applications réelles - en particulier avec les schémas d'outils et les invites système - la mise en œuvre de la mise en cache tôt dans votre processus de développement portera ses fruits à mesure que votre application se développe.