Chargement

Règles de la mémorisation des requêtes

Leçon 4710 min
Chargement

La mémorisation des requêtes dans Claude fonctionne en stockant le travail computationnel effectué sur les messages afin qu'il puisse être réutilisé lors des requêtes de suivi. Cela rend les requêtes suivantes à la fois moins coûteuses et plus rapides à exécuter, mais uniquement lorsque vous envoyez de manière répétée le même contenu.

Claude écrit le travail effectué sur la requête « Please summarize this » dans le cache, puis le lit lors de la requête de suivi.

Le processus suit un schéma en deux phases : la requête initiale écrit dans le cache, et les requêtes de suivi peuvent en effectuer la lecture. Le cache ne vit que pendant 5 minutes, donc cette fonctionnalité est surtout utile lorsque vous envoyez le même contenu de manière répétée sur une courte période.

Points de cache

La mémorisation des requêtes n'est pas activée automatiquement - vous devez manuellement ajouter des parties de message « point de cache » pour contrôler ce qui est mis en cache. Les points de cache indiquent à Claude de mettre en cache tout le travail effectué pour tout ce qui précède ce point dans votre message.

Un message utilisateur comme le code ci-dessous, avec une flèche désignant la partie cachePoint mise en évidence après le texte « Long prompt ».

Voici comment ajouter un point de cache à un message utilisateur :

python
user_message = {
  "role": "user",
  "content": [
    {"text": ""},
    {"cachePoint": {"type": "default"}}
  ]
}

La règle clé est que le travail effectué pour tout ce qui précède le point de cache sera mis en cache, mais tout ce qui suit le point de cache ne sera pas stocké dans le cache.

Comment fonctionnent les points de cache

Requête initiale : le travail de Claude sur « Summarize this long text » avant le point de cache est mis en cache, mais pas son travail sur « Focus on ».

Lorsque vous effectuez une requête initiale avec un point de cache, Claude traite tout le contenu et stocke le travail effectué jusqu'à ce point de cache. Lors des requêtes de suivi, si le contenu qui précède le point de cache est identique, Claude lit le travail précédemment traité depuis le cache au lieu de le retraiter.

Claude lit le travail mis en cache pour « Summarize this long text » et ne traite que les trois parties après le point de cache.

Le cache ne sera utilisé que si le contenu qui précède le point de cache est parfaitement identique. Même de petits changements, comme ajouter « Please » au début de votre requête, empêcheront l'utilisation du cache, forçant Claude à tout retraiter depuis le début.

La requête commence désormais par « Please », elle ne correspond donc plus au travail mis en cache pour « Summarize this ».

Mise en cache à travers les messages

Les points de cache peuvent s'étendre sur plusieurs messages et même inclure des messages de l'assistant. Cela signifie que vous pouvez mettre en cache des historiques de conversation entiers jusqu'à un certain point.

Une requête de résumé, un résumé de l'assistant, puis un message utilisateur se terminant par un point de cache, de sorte que le travail pour les trois est mis en cache.

Par exemple, vous pourriez avoir une conversation avec un message utilisateur, une réponse de l'assistant, et un autre message utilisateur, avec un point de cache à la fin. Tout le travail de traitement pour l'ensemble de ce fil de conversation est mis en cache et peut être réutilisé.

Longueur minimale du contenu

Le contenu doit comporter au moins 1 024 jetons pour être mis en cache. Il s'agit de la somme de tous les messages et parties que vous essayez de mettre en cache avant le point de cache.

Deux conversations avec un point de cache : un simple « Hi there! » n'est pas mis en cache, mais « Hi there! » dupliqué 503 fois l'est.

Un simple message « Hi there! » n'atteindra pas le minimum de 1 024 jetons, donc rien n'est mis en cache. Mais si vous répétez « Hi there! » 500 fois, cela dépasserait 1 024 jetons et serait éligible à la mise en cache.

Emplacements des points de cache

Les points de cache ne sont pas limités aux messages utilisateur. Vous pouvez les ajouter aux invites système et aux définitions d'outils, qui représentent en fait les opportunités de mise en cache les plus courantes.

"Tool definitions will be cached" et "System prompt will be cached" désignent les outils et le code système, chacun illustré ci-dessous.

Pour les définitions d'outils :

python
tools = [
  {"toolSpec": add_duration_to_datetime_schema},
  {"toolSpec": get_current_datetime_schema},
  {"cachePoint": {"type": "default"}}
]

Pour les invites système :

python
system = [
  {"text": "You are a senior software..."},
  {"cachePoint": {"type": "default"}}
]

Ce sont les opportunités de mise en cache les plus précieuses, car les invites système et les listes d'outils changent rarement d'une requête à l'autre, ce qui en fait des candidats parfaits pour la mise en cache.