Chargement

La mémorisation des requêtes en action

Leçon 488 min
Chargement

La mémorisation des requêtes est une puissante fonctionnalité d'optimisation qui rend les requêtes moins coûteuses et plus rapides lorsque vous envoyez de manière répétée le même contenu à Claude. La requête initiale écrit dans le cache, et les requêtes suivantes peuvent y lire. Le cache est conservé pendant 5 minutes et s'avère extrêmement utile, car de nombreuses applications envoient de manière répétée les mêmes schémas d'outils, invites système ou historiques de messages.

Claude écrit le travail effectué sur la requête « Veuillez résumer ceci » dans le cache, puis le lit lors de la requête suivante.

Comment fonctionne la mémorisation des requêtes

Lorsque vous marquez un contenu pour la mise en cache, Claude le traite une seule fois et stocke le résultat. Les requêtes suivantes qui incluent exactement le même contenu peuvent ignorer l'étape de traitement et lire directement depuis le cache. Cela ne fonctionne que si le contenu mis en cache est identique - même un seul changement de caractère invalide le cache.

Vous pouvez définir plusieurs points de rupture de cache dans une même requête. L'ordre de mise en cache suit cette séquence :

  • Schémas d'outils
  • Invite système
  • Historique des messages

Configuration de la mise en cache des schémas d'outils

Pour mettre en cache les schémas d'outils, vous devez ajouter un champ cache_control au dernier outil de votre liste. Voici la bonne façon de procéder sans modifier vos schémas d'outils d'origine :

python
if tools:
    tools_clone = tools.copy()
    last_tool = tools_clone[-1].copy()
    last_tool["cache_control"] = {"type": "ephemeral"}
    tools_clone[-1] = last_tool
    params["tools"] = tools_clone

Cette approche crée des copies à la fois de la liste d'outils et du dernier schéma d'outil avant d'ajouter le champ de contrôle du cache. Cela évite de modifier accidentellement vos définitions d'outils d'origine, ce qui pourrait poser problème si vous réorganisez les outils ultérieurement.

Mise en cache de l'invite système

Pour les invites système, vous devez structurer le paramètre system sous forme de liste avec un bloc de texte incluant le champ de contrôle du cache :

python
if system:
    params["system"] = [
        {
            "type": "text",
            "text": system,
            "cache_control": {"type": "ephemeral"}
        }
    ]

Comprendre le comportement du cache

Lorsque vous effectuez votre première requête avec un contenu pouvant être mis en cache, vous verrez cache_creation_input_tokens dans le champ d'utilisation. Cela indique le nombre de jetons que Claude a écrits dans le cache. Lors des requêtes suivantes avec un contenu identique, vous verrez à la place cache_read_input_tokens.

Si vous avez à la fois du contenu mis en cache et du nouveau contenu dans la même requête, vous pourriez voir à la fois des lectures et des écritures de cache. Par exemple, si vous conservez les mêmes schémas d'outils mais que vous modifiez l'invite système, vous lirez les outils depuis le cache tout en écrivant la nouvelle invite système dans le cache. Vous n'obtenez cette lecture partielle que lorsque les outils seuls atteignent la longueur minimale, car un point de rupture de cache dont le contenu jusqu'à ce point est inférieur au minimum n'écrit rien.

Invalidation du cache

Le cache est extrêmement sensible aux changements. Modifier ne serait-ce qu'un seul caractère dans la description de votre schéma d'outil, dans votre invite système, ou dans tout contenu mis en cache invalidera cette entrée de cache. Lorsque cela se produit, Claude traite le contenu comme entièrement nouveau et crée une nouvelle entrée de cache.

Cette sensibilité signifie que vous devez réfléchir attentivement à ce que vous mettez en cache. Les schémas d'outils et les invites système qui restent stables sur de nombreuses requêtes sont des candidats idéaux. Le contenu dynamique qui change fréquemment ne bénéficiera pas de la mise en cache.

Mise en œuvre pratique

En pratique, vous voudrez intégrer la mise en cache par défaut dans vos fonctions de chat. La plupart des applications utilisent les mêmes schémas d'outils et invites système sur plusieurs requêtes, ce qui en fait des candidats parfaits pour la mise en cache. Les avantages en termes de performance et de coût sont significatifs lorsque vous effectuez de nombreuses requêtes avec un contenu similaire.

Rappelez-vous que la mise en cache est la plus utile lorsque vous envoyez de manière répétée le même contenu. Comme cela se produit extrêmement fréquemment dans les applications réelles - en particulier avec les schémas d'outils et les invites système - la mise en œuvre de la mise en cache tôt dans votre processus de développement portera ses fruits à mesure que votre application se développe.