La mémorisation des requêtes de Claude fonctionne en stockant le travail de calcul effectué sur vos messages afin qu'il puisse être réutilisé dans les requêtes suivantes. Cela rend les requêtes suivantes à la fois plus rapides et moins coûteuses à exécuter, mais seulement lorsque vous envoyez de manière répétée un contenu identique.
Le processus est simple : votre requête initiale écrit le travail de traitement dans le cache, et les requêtes suivantes peuvent lire ce cache au lieu de retraiter le même contenu. Par défaut, le cache vit pendant 5 minutes, donc cette fonctionnalité n'est utile que si vous envoyez de manière répétée le même contenu dans ce laps de temps. De nombreuses applications font cela. Si vous avez besoin de plus de temps, une durée de cache d'1 heure est également disponible, à un prix d'écriture de cache plus élevé.
Points de rupture du cache
La mémorisation n'est pas activée automatiquement - vous devez ajouter manuellement des points de rupture de cache à des blocs spécifiques de vos messages. Voici comment cela fonctionne :
- Le travail effectué sur les messages n'est pas mis en cache automatiquement
- Vous devez ajouter manuellement un « point de rupture de cache » à un bloc
- Le travail effectué pour tout ce qui se trouve avant le point de rupture sera mis en cache
- Le cache ne sera utilisé pour les requêtes suivantes que si le contenu jusqu'au point de rupture inclus est identique

Pour ajouter un point de rupture de cache, vous devez utiliser la forme longue pour écrire les blocs de texte au lieu de la forme abrégée :

La forme abrégée ne fournit pas d'emplacement pour ajouter le champ de contrôle du cache, vous devez donc utiliser le format étendu avec le champ cache_control défini sur {"type": "ephemeral"}.
Comment fonctionnent les points de rupture du cache
Lorsque vous placez un point de rupture de cache dans un message, Claude met en cache tout le travail de traitement jusqu'au point de rupture inclus. Le contenu après le point de rupture est traité normalement, sans mise en cache.

Pour que le cache soit utile dans les requêtes suivantes, le contenu doit être identique jusqu'au point de rupture. Même de petits changements, comme l'ajout du mot « s'il vous plaît », invalideront le cache et forceront Claude à tout retraiter.

Mise en cache entre messages
Les points de rupture de cache peuvent s'étendre sur plusieurs messages et types de messages. Si vous placez un point de rupture dans un message ultérieur, tous les messages précédents (utilisateur, assistant, etc.) seront inclus dans le contenu mis en cache.

Cela est particulièrement utile pour les conversations où vous souhaitez mettre en cache l'intégralité du contexte jusqu'à un certain point.
Invites système et outils
Vous n'êtes pas limité aux blocs de texte - des points de rupture de cache peuvent être ajoutés à :
- Invites système
- Définitions d'outils
- Blocs d'image
- Blocs d'utilisation d'outils et de résultats d'outils

Les invites système et les définitions d'outils sont d'excellents candidats pour la mise en cache, car elles changent rarement d'une requête à l'autre. C'est souvent là que vous tirerez le plus grand bénéfice de la mémorisation des requêtes.
Ordre de mise en cache
En coulisses, Claude traite les composants de votre requête dans un ordre précis : d'abord les outils, puis l'invite système, puis les messages. Comprendre cet ordre vous aide à placer les points de rupture efficacement.

Vous pouvez ajouter jusqu'à quatre points de rupture de cache au total. Par exemple, vous pourriez mettre en cache vos outils, puis ajouter un autre point de rupture en milieu de votre historique de conversation. Cela vous offre une flexibilité quant à ce qui est mis en cache lorsque différentes parties de votre requête changent.

Longueur minimale du contenu
Il existe une longueur minimale pour la mise en cache, qui dépend du modèle. Pour Claude Haiku 4.5, le modèle utilisé dans ce cours, le contenu doit comporter au moins 4 096 jetons pour être mis en cache. Il s'agit de la somme de tous les messages et blocs que vous essayez de mettre en cache, et non de blocs individuels.
Un message comme « Hi there! » est bien trop court pour être mis en cache, mais une requête véritablement longue atteint le minimum. Le contenu en dessous du minimum est simplement traité sans mise en cache, et aucune erreur n'est renvoyée. Pour le vérifier, regardez l'usage de la réponse : cache_creation_input_tokens et cache_read_input_tokens seront tous deux à 0.
La clé d'une mémorisation des requêtes efficace consiste à identifier quelles parties de vos requêtes restent constantes d'un appel à l'autre, et à placer les points de rupture de manière stratégique afin de maximiser la réutilisation tout en minimisant l'invalidation du cache.