Chargement

La mémorisation des requêtes en action

Leçon 457 min
Chargement

La mémorisation des requêtes est une fonctionnalité d'optimisation puissante qui rend vos requêtes API à la fois plus rapides et moins coûteuses lorsque vous envoyez de manière répétée le même contenu à Claude. Explorons comment la mettre en œuvre efficacement dans vos applications.

Fonctionnement de la mémorisation des requêtes

Lorsque vous activez la mémorisation des requêtes, la première requête écrit du contenu dans un cache dont la durée de vie par défaut est de 5 minutes, et chaque fois que le contenu mis en cache est utilisé, cette fenêtre se réinitialise sans coût supplémentaire. Si vous avez besoin d'une fenêtre plus longue, vous pouvez opter pour une durée de cache d'une heure moyennant un coût supplémentaire. Les requêtes suivantes lisent ce cache au lieu de retraiter le même contenu. Cela est particulièrement utile lorsque vous envoyez :

  • De grandes invites système (comme une invite d'assistant de codage de 6 000 jetons)
  • Des schémas d'outils complexes (comme des définitions détaillées pour plusieurs outils)
  • Du contenu de message répété

L'idée clé est que la mise en cache n'est utile que si vous envoyez de manière répétée un contenu identique - mais dans de nombreuses applications, cela se produit extrêmement fréquemment.

Configuration de la mise en cache des schémas d'outils

Pour mettre en cache vos schémas d'outils, vous devez ajouter un champ de contrôle de cache au dernier outil de votre liste. Voici la bonne façon de procéder sans modifier vos définitions d'outils d'origine :

python
if tools:
    tools_clone = tools.copy()
    last_tool = tools_clone[-1].copy()
    last_tool["cache_control"] = {"type": "ephemeral"}
    tools_clone[-1] = last_tool
    params["tools"] = tools_clone

Cette approche crée des copies à la fois de la liste des outils et du schéma du dernier outil avant d'ajouter le champ de contrôle de cache. Bien que vous puissiez modifier directement tools[-1]["cache_control"], l'approche par copie évite les problèmes si vous réorganisez vos outils ultérieurement.

Mise en cache de l'invite système

Pour les invites système, vous devez les structurer sous forme de bloc de texte avec contrôle de cache :

python
if system:
    params["system"] = [
        {
            "type": "text",
            "text": system,
            "cache_control": {"type": "ephemeral"}
        }
    ]

Cela convertit votre invite système d'une simple chaîne de caractères en un format structuré qui prend en charge la mise en cache.

Comprendre le comportement du cache

Lorsque vous exécutez des requêtes avec la mise en cache activée, vous observerez différents schémas d'utilisation dans la réponse :

  • Première requête : cache_creation_input_tokens indique le nombre de jetons écrits - Claude écrit dans le cache
  • Requêtes suivantes : cache_read_input_tokens indique le même nombre de jetons lus - Claude lit depuis le cache
  • Contenu modifié : de nouveaux jetons de création de cache apparaissent

Le cache est extrêmement sensible - modifier ne serait-ce qu'un seul caractère dans vos outils ou votre invite système invalide l'intégralité du cache pour ce composant.

Ordre du cache et points de rupture

Vous pouvez définir plusieurs points de rupture de cache dans une seule requête. L'ordre a son importance :

  1. Outils (le cas échéant)
  2. Invite système (le cas échéant)
  3. Messages

Si vous modifiez votre invite système tout en conservant les mêmes outils, vous observerez une lecture partielle du cache (pour les outils) et une écriture de cache (pour la nouvelle invite système). Vous n'obtenez cette lecture partielle que lorsque les outils atteignent à eux seuls la longueur minimale, car un point de rupture de cache dont le contenu jusqu'à ce point est inférieur au minimum n'écrit rien. Cette mise en cache granulaire signifie que vous ne payez que pour le traitement des parties qui ont réellement changé.

Considérations pratiques

La mémorisation des requêtes est la plus efficace lorsque vous disposez :

  • De schémas d'outils cohérents d'une requête à l'autre
  • D'invites système stables
  • D'applications qui effectuent plusieurs requêtes avec un contexte similaire

N'oubliez pas que le cache par défaut dure 5 minutes (réinitialisé à chaque utilisation), avec une option d'une heure disponible moyennant un coût supplémentaire, il est donc conçu pour des applications avec une utilisation relativement fréquente de l'API plutôt que pour un stockage à long terme.