Cargando

Reglas del almacenamiento en caché de prompts

Lección 4710 min
Cargando

El almacenamiento en caché de prompts en Claude funciona guardando el trabajo computacional realizado en los mensajes para que pueda reutilizarse en solicitudes posteriores. Esto hace que las solicitudes siguientes sean más económicas y rápidas de ejecutar, pero solo cuando envías repetidamente el mismo contenido.

Claude escribe en la caché el trabajo realizado sobre el prompt "Please summarize this" y luego lo lee en la solicitud siguiente.

El proceso sigue un patrón de dos fases: la solicitud inicial escribe en la caché, y las solicitudes siguientes pueden leer de ella. La caché solo vive durante 5 minutos, por lo que esta función es más útil cuando envías el mismo contenido repetidamente dentro de un período corto.

Puntos de caché

El almacenamiento en caché de prompts no se habilita automáticamente; debes agregar manualmente partes de mensaje de punto de caché para controlar qué se almacena en caché. Los puntos de caché le indican a Claude que almacene en caché todo el trabajo realizado para todo lo que está antes de ese punto en tu mensaje.

Un mensaje de usuario como el código siguiente, con una flecha que etiqueta la parte cachePoint resaltada después del texto "Long prompt".

Así es como agregas un punto de caché a un mensaje de usuario:

python
user_message = {
  "role": "user",
  "content": [
    {"text": ""},
    {"cachePoint": {"type": "default"}}
  ]
}

La regla clave es que el trabajo realizado para todo lo que está antes del punto de caché se almacenará en caché, pero todo lo que está después del punto de caché no se guardará en la caché.

Cómo funcionan los puntos de caché

Solicitud inicial: el trabajo de Claude en "Summarize this long text" antes del punto de caché se almacena en caché, pero no su trabajo en "Focus on".

Cuando haces una solicitud inicial con un punto de caché, Claude procesa todo el contenido y guarda el trabajo realizado hasta ese punto de caché. En las solicitudes siguientes, si el contenido anterior al punto de caché es idéntico, Claude lee el trabajo previamente procesado desde la caché en lugar de volver a procesarlo.

Claude lee el trabajo almacenado en caché para "Summarize this long text" y procesa solo las tres partes posteriores al punto de caché.

La caché solo se usará si el contenido anterior al punto de caché es completamente idéntico. Incluso cambios pequeños, como agregar "Please" al comienzo de tu prompt, impedirán el uso de la caché, lo que obligará a Claude a procesar todo desde cero.

El prompt ahora comienza con "Please", por lo que ya no coincide con el trabajo almacenado en caché para "Summarize this".

Almacenamiento en caché entre mensajes

Los puntos de caché pueden abarcar varios mensajes e incluso incluir mensajes del asistente. Esto significa que puedes almacenar en caché historiales de conversación completos hasta cierto punto.

Una solicitud de resumen, un resumen del asistente y luego un mensaje de usuario que termina en un punto de caché, de modo que se almacena en caché el trabajo de los tres.

Por ejemplo, podrías tener una conversación con un mensaje de usuario, una respuesta del asistente y otro mensaje de usuario, con un punto de caché al final. Todo el trabajo de procesamiento de ese hilo de conversación completo se almacena en caché y puede reutilizarse.

Longitud mínima de contenido

El contenido debe tener al menos 1024 tokens de longitud para poder almacenarse en caché. Esta es la suma de todos los mensajes y partes que intentas almacenar en caché antes del punto de caché.

Dos conversaciones con un punto de caché: un solo "Hi there!" no se almacena en caché, pero "Hi there!" duplicado 503 veces sí se almacena en caché.

Un simple mensaje "Hi there!" no alcanzará el mínimo de 1024 tokens, por lo que no se almacena nada en caché. Pero si repites "Hi there!" 500 veces, eso superaría los 1024 tokens y calificaría para el almacenamiento en caché.

Ubicaciones de los puntos de caché

Los puntos de caché no están restringidos a los mensajes de usuario. Puedes agregarlos a las indicaciones del sistema y a las definiciones de herramientas, que en realidad son las oportunidades de almacenamiento en caché más comunes.

"Tool definitions will be cached" y "System prompt will be cached" etiquetan el código de las herramientas y del sistema, cada uno mostrado debajo.

Para las definiciones de herramientas:

python
tools = [
  {"toolSpec": add_duration_to_datetime_schema},
  {"toolSpec": get_current_datetime_schema},
  {"cachePoint": {"type": "default"}}
]

Para las indicaciones del sistema:

python
system = [
  {"text": "You are a senior software..."},
  {"cachePoint": {"type": "default"}}
]

Estas son las oportunidades de almacenamiento en caché más valiosas porque las indicaciones del sistema y las listas de herramientas rara vez cambian entre solicitudes, lo que las convierte en candidatas perfectas para el almacenamiento en caché.