Cargando

Almacenamiento en caché de prompts

Lección 462 min
Cargando

El almacenamiento en caché de prompts es una función que acelera las respuestas de Claude y reduce el costo de la generación de texto al reutilizar el trabajo computacional de solicitudes anteriores. Para entender cómo funciona esto, primero veamos qué sucede normalmente dentro de Claude durante una solicitud típica.

Cómo procesa Claude normalmente las solicitudes

Cuando envías un mensaje a Claude, suceden muchas cosas detrás de escena antes de que obtengas una respuesta. Claude no comienza a generar texto de inmediato; primero realiza un trabajo extenso sobre tu mensaje de entrada.

Una solicitud habitual: nuestro servidor envía a Claude un mensaje de usuario, "Resume este texto largo:" más un marcador de posición de texto.

Esto es lo que Claude hace con tu mensaje:

  • Tokenizar el prompt
  • Crear embeddings para cada token
  • Agregar contexto basado en el texto circundante
  • Generar el texto de salida

Diagrama que marca los primeros tres de los cuatro pasos de Claude como trabajo realizado únicamente sobre el mensaje de entrada, antes de devolver un resumen.

Todo este trabajo de preprocesamiento ocurre antes de que Claude genere cualquier respuesta real. Una vez que Claude termina de procesar tu solicitud y envía la respuesta, descarta todo el trabajo computacional que acaba de realizar.

Los cuatro pasos de procesamiento seleccionados dentro del cuadro de Claude, listos para ser arrastrados a un cuadro vacío con línea discontinua etiquetado "Papelera".

El problema de descartar el trabajo

Esto crea una ineficiencia cuando estás teniendo conversaciones con Claude. Supongamos que haces una solicitud de seguimiento que incluye el mismo mensaje de antes, más la respuesta anterior de Claude, más un nuevo mensaje para continuar la conversación.

Solicitud de seguimiento con el mismo mensaje "Resume este texto largo", el resumen de Claude, luego "El resumen necesita más enfoque en".

Cuando Claude ve ese mensaje original de nuevo, tiene que rehacer todo el mismo trabajo computacional que acababa de descartar momentos antes. Claude esencialmente piensa: "Acabo de procesar este mensaje exacto e hice todo este trabajo, luego lo descarté. Ahora tengo que hacerlo todo de nuevo".

En la solicitud de seguimiento, Claude señala de nuevo al primer mensaje de usuario repetido "Resume este texto largo" que acaba de procesar.

Cómo el almacenamiento en caché de prompts soluciona esto

El almacenamiento en caché de prompts aborda esta ineficiencia al guardar el trabajo computacional en lugar de descartarlo. Así es como funciona:

Solicitud inicial pasando por los cuatro pasos de Claude hasta una respuesta de resumen, junto a un cuadro de Papelera vacío y un cuadro de Caché vacío.

Cuando Claude procesa tu solicitud inicial, en lugar de descartar todo el trabajo de preprocesamiento, lo almacena en una caché. La caché actúa como una tabla de búsqueda que asigna mensajes de entrada específicos a sus resultados computacionales correspondientes.

Entrada de caché que empareja el mensaje de usuario que comienza con "Resume este texto largo" con los tres pasos de preprocesamiento a reutilizar.

Cuando haces una solicitud de seguimiento que incluye el mismo contenido, Claude puede consultar su caché y reutilizar el trabajo anterior en lugar de empezar desde cero.

Beneficios y limitaciones clave

Claude escribe el trabajo realizado sobre el prompt "Por favor resume esto" en la caché, luego lo lee en la solicitud de seguimiento.

El almacenamiento en caché de prompts ofrece varias ventajas:

  • Las solicitudes que usan contenido en caché son más económicas y rápidas de ejecutar
  • La solicitud inicial escribirá en la caché
  • Las solicitudes de seguimiento pueden leer de la caché
  • La caché vive durante 5 minutos
  • Solo es útil si estás enviando repetidamente el mismo contenido (pero esto sucede con extrema frecuencia)

La caché tiene una vida útil de 5 minutos, por lo que es más beneficiosa para conversaciones o flujos de trabajo donde realizas múltiples solicitudes con contenido superpuesto dentro de un período corto de tiempo. Este patrón es, de hecho, muy común en aplicaciones reales; piensa en chatbots, herramientas de análisis de documentos o cualquier sistema que mantenga contexto de conversación.

El almacenamiento en caché de prompts es particularmente valioso porque muchas aplicaciones de IA envían repetidamente el mismo contenido. Ya sea que se trate de indicaciones del sistema, historial de conversación o documentos extensos que se están analizando, el mismo texto a menudo aparece en múltiples solicitudes dentro de una sesión.