Cargando

Reglas del almacenamiento en caché de prompts

Lección 443 min
Cargando

El almacenamiento en caché de prompts en Claude funciona guardando el trabajo computacional realizado en tus mensajes para que pueda reutilizarse en solicitudes posteriores. Esto hace que las solicitudes siguientes sean más rápidas y económicas de ejecutar, pero solo cuando envías contenido idéntico de forma repetida.

El proceso es sencillo: tu solicitud inicial escribe el trabajo de procesamiento en la caché, y las solicitudes posteriores pueden leer desde esa caché en lugar de reprocesar el mismo contenido. Por defecto, la caché dura 5 minutos, por lo que esta función solo es útil si envías el mismo contenido de forma repetida dentro de ese plazo. Muchas aplicaciones hacen esto. Si necesitas más tiempo, también está disponible una duración de caché de 1 hora a un precio de escritura en caché más alto.

Puntos de interrupción de caché

El almacenamiento en caché no se activa automáticamente: debes agregar manualmente puntos de interrupción de caché a bloques específicos en tus mensajes. Así es como funciona:

  • El trabajo realizado en los mensajes no se almacena en caché automáticamente
  • Debes agregar manualmente un "punto de interrupción de caché" a un bloque
  • El trabajo realizado para todo lo que está antes del punto de interrupción se almacenará en caché
  • La caché solo se utilizará en solicitudes posteriores si el contenido hasta e incluyendo el punto de interrupción es idéntico

Un mensaje de usuario con un bloque de texto de prompt largo y un campo cache_control establecido en el tipo "ephemeral", el punto de interrupción de caché.

Para agregar un punto de interrupción de caché, necesitas usar la forma extendida para escribir bloques de texto en lugar de la forma abreviada:

Forma abreviada user_message con contenido "Hi there!" junto a la forma extendida con un bloque de texto más cache_control tipo "ephemeral".

La forma abreviada no proporciona un lugar para agregar el campo de control de caché, por lo que debes usar el formato expandido con el campo cache_control establecido en {"type": "ephemeral"}.

Cómo funcionan los puntos de interrupción de caché

Cuando colocas un punto de interrupción de caché en un mensaje, Claude almacena en caché todo el trabajo de procesamiento hasta e incluyendo ese punto de interrupción. El contenido después del punto de interrupción se procesa normalmente sin almacenamiento en caché.

El trabajo para procesar el bloque "Summarize this" con el punto de interrupción se almacena en caché, mientras que el bloque posterior "Focus on" no.

Para que la caché sea útil en solicitudes posteriores, el contenido debe ser idéntico hasta el punto de interrupción. Incluso pequeños cambios como agregar la palabra "please" invalidarán la caché y obligarán a Claude a reprocesar todo.

El punto de interrupción se encuentra en el último mensaje de usuario, por lo que el trabajo de Claude en los mensajes anteriores de usuario y asistente también se almacena en caché.

Almacenamiento en caché entre mensajes

Los puntos de interrupción de caché pueden abarcar múltiples mensajes y tipos de mensajes. Si colocas un punto de interrupción en un mensaje posterior, todos los mensajes anteriores (usuario, asistente, etc.) se incluirán en el contenido almacenado en caché.

El punto de interrupción se encuentra en el último mensaje de usuario, "Focus the summary on", por lo que Claude lee el trabajo en caché para los tres mensajes.

Esto es particularmente útil para conversaciones en las que deseas almacenar en caché todo el contexto hasta cierto punto.

Indicaciones del sistema y herramientas

No estás limitado a bloques de texto: los puntos de interrupción de caché se pueden agregar a:

  • Indicaciones del sistema
  • Definiciones de herramientas
  • Bloques de imagen
  • Bloques de uso de herramientas y resultados de herramientas

Un campo cache_control establecido en el tipo "ephemeral" en la última definición de herramienta y en el bloque de indicación del sistema, almacenando ambos en caché.

Las indicaciones del sistema y las definiciones de herramientas son excelentes candidatas para el almacenamiento en caché, ya que rara vez cambian entre solicitudes. Aquí es frecuentemente donde obtendrás el mayor beneficio del almacenamiento en caché de prompts.

Orden de la caché

Detrás de escena, Claude procesa los componentes de tu solicitud en un orden específico: primero las herramientas, luego la indicación del sistema y luego los mensajes. Comprender este orden te ayuda a colocar los puntos de interrupción de manera efectiva.

La herramienta 3 es el punto de interrupción de caché en la solicitud 1, por encima de la indicación del sistema y los mensajes; la solicitud 2 muestra solo la herramienta 1 a la herramienta 3.

Puedes agregar hasta cuatro puntos de interrupción de caché en total. Por ejemplo, podrías almacenar en caché tus herramientas y luego agregar otro punto de interrupción a mitad de tu historial de conversación. Esto te da flexibilidad sobre qué se almacena en caché cuando diferentes partes de tu solicitud cambian.

Puntos de interrupción de caché en la solicitud 1 en la herramienta 3 y un mensaje de asistente; la solicitud 2 repite las herramientas 1 a 3 y el punto de interrupción de la herramienta 3.

Longitud mínima de contenido

Existe una longitud mínima para el almacenamiento en caché, y depende del modelo. Para Claude Haiku 4.5, el modelo que usa este curso, el contenido debe tener al menos 4,096 tokens de longitud para almacenarse en caché. Esta es la suma de todos los mensajes y bloques que intentas almacenar en caché, no bloques individuales.

Un mensaje como "Hi there!" es demasiado corto para almacenarse en caché, pero un prompt genuinamente largo alcanza el mínimo. El contenido por debajo del mínimo simplemente se procesa sin almacenamiento en caché, y no se devuelve ningún error. Para saberlo, mira el uso de la respuesta: cache_creation_input_tokens y cache_read_input_tokens serán ambos 0.

La clave para un almacenamiento en caché de prompts efectivo es identificar qué partes de tus solicitudes permanecen consistentes a través de múltiples llamadas y colocar los puntos de interrupción estratégicamente para maximizar la reutilización mientras se minimiza la invalidación de la caché.