Chargement

Règles de la mémorisation des requêtes

Leçon 443 min
Chargement

La mémorisation des requêtes de Claude fonctionne en stockant le travail de calcul effectué sur vos messages afin qu'il puisse être réutilisé dans les requêtes suivantes. Cela rend les requêtes suivantes à la fois plus rapides et moins coûteuses à exécuter, mais seulement lorsque vous envoyez de manière répétée un contenu identique.

Le processus est simple : votre requête initiale écrit le travail de traitement dans le cache, et les requêtes suivantes peuvent lire ce cache au lieu de retraiter le même contenu. Par défaut, le cache vit pendant 5 minutes, donc cette fonctionnalité n'est utile que si vous envoyez de manière répétée le même contenu dans ce laps de temps. De nombreuses applications font cela. Si vous avez besoin de plus de temps, une durée de cache d'1 heure est également disponible, à un prix d'écriture de cache plus élevé.

Points de rupture du cache

La mémorisation n'est pas activée automatiquement - vous devez ajouter manuellement des points de rupture de cache à des blocs spécifiques de vos messages. Voici comment cela fonctionne :

  • Le travail effectué sur les messages n'est pas mis en cache automatiquement
  • Vous devez ajouter manuellement un « point de rupture de cache » à un bloc
  • Le travail effectué pour tout ce qui se trouve avant le point de rupture sera mis en cache
  • Le cache ne sera utilisé pour les requêtes suivantes que si le contenu jusqu'au point de rupture inclus est identique

Un message utilisateur avec un long bloc de texte de requête et un champ cache_control défini sur le type « ephemeral », le point de rupture du cache.

Pour ajouter un point de rupture de cache, vous devez utiliser la forme longue pour écrire les blocs de texte au lieu de la forme abrégée :

Forme abrégée user_message avec le contenu « Hi there! » à côté de la forme longue avec un bloc de texte plus cache_control de type « ephemeral ».

La forme abrégée ne fournit pas d'emplacement pour ajouter le champ de contrôle du cache, vous devez donc utiliser le format étendu avec le champ cache_control défini sur {"type": "ephemeral"}.

Comment fonctionnent les points de rupture du cache

Lorsque vous placez un point de rupture de cache dans un message, Claude met en cache tout le travail de traitement jusqu'au point de rupture inclus. Le contenu après le point de rupture est traité normalement, sans mise en cache.

Le travail pour traiter le bloc « Summarize this » avec le point de rupture est mis en cache, tandis que le bloc « Focus on » qui suit ne l'est pas.

Pour que le cache soit utile dans les requêtes suivantes, le contenu doit être identique jusqu'au point de rupture. Même de petits changements, comme l'ajout du mot « s'il vous plaît », invalideront le cache et forceront Claude à tout retraiter.

Le point de rupture se situe dans le dernier message utilisateur, donc le travail de Claude sur les messages utilisateur et assistant précédents est également mis en cache.

Mise en cache entre messages

Les points de rupture de cache peuvent s'étendre sur plusieurs messages et types de messages. Si vous placez un point de rupture dans un message ultérieur, tous les messages précédents (utilisateur, assistant, etc.) seront inclus dans le contenu mis en cache.

Le point de rupture se situe sur le dernier message utilisateur, « Focus the summary on », donc Claude lit le travail mis en cache pour les trois messages.

Cela est particulièrement utile pour les conversations où vous souhaitez mettre en cache l'intégralité du contexte jusqu'à un certain point.

Invites système et outils

Vous n'êtes pas limité aux blocs de texte - des points de rupture de cache peuvent être ajoutés à :

  • Invites système
  • Définitions d'outils
  • Blocs d'image
  • Blocs d'utilisation d'outils et de résultats d'outils

Un champ cache_control défini sur le type « ephemeral » dans la dernière définition d'outil et dans le bloc d'invite système, mettant les deux en cache.

Les invites système et les définitions d'outils sont d'excellents candidats pour la mise en cache, car elles changent rarement d'une requête à l'autre. C'est souvent là que vous tirerez le plus grand bénéfice de la mémorisation des requêtes.

Ordre de mise en cache

En coulisses, Claude traite les composants de votre requête dans un ordre précis : d'abord les outils, puis l'invite système, puis les messages. Comprendre cet ordre vous aide à placer les points de rupture efficacement.

L'outil 3 est le point de rupture du cache dans la requête 1, au-dessus de l'invite système et des messages ; la requête 2 n'affiche que les outils 1 à 3.

Vous pouvez ajouter jusqu'à quatre points de rupture de cache au total. Par exemple, vous pourriez mettre en cache vos outils, puis ajouter un autre point de rupture en milieu de votre historique de conversation. Cela vous offre une flexibilité quant à ce qui est mis en cache lorsque différentes parties de votre requête changent.

Points de rupture de cache dans la requête 1 à l'outil 3 et un message assistant ; la requête 2 répète les outils 1 à 3 et le point de rupture de l'outil 3.

Longueur minimale du contenu

Il existe une longueur minimale pour la mise en cache, qui dépend du modèle. Pour Claude Haiku 4.5, le modèle utilisé dans ce cours, le contenu doit comporter au moins 4 096 jetons pour être mis en cache. Il s'agit de la somme de tous les messages et blocs que vous essayez de mettre en cache, et non de blocs individuels.

Un message comme « Hi there! » est bien trop court pour être mis en cache, mais une requête véritablement longue atteint le minimum. Le contenu en dessous du minimum est simplement traité sans mise en cache, et aucune erreur n'est renvoyée. Pour le vérifier, regardez l'usage de la réponse : cache_creation_input_tokens et cache_read_input_tokens seront tous deux à 0.

La clé d'une mémorisation des requêtes efficace consiste à identifier quelles parties de vos requêtes restent constantes d'un appel à l'autre, et à placer les points de rupture de manière stratégique afin de maximiser la réutilisation tout en minimisant l'invalidation du cache.