Cargando

Almacenamiento en caché de prompts

Lección 432 min
Cargando

El almacenamiento en caché de prompts es una función que acelera las respuestas de Claude y reduce el costo de la generación de texto al reutilizar el trabajo computacional de solicitudes anteriores. En lugar de descartar todo el trabajo de procesamiento después de cada solicitud, Claude puede guardarlo y reutilizarlo cuando envías contenido similar de nuevo.

Cómo procesa Claude normalmente las solicitudes

Para entender el almacenamiento en caché de prompts, primero veamos qué sucede durante una solicitud típica sin el almacenamiento en caché habilitado.

Una solicitud típica: nuestro servidor envía a Claude un mensaje de usuario, "Resume este texto largo:" seguido de un marcador de posición de texto.

Cuando envías un mensaje a Claude, este no comienza inmediatamente a generar una respuesta. En su lugar, Claude realiza una enorme cantidad de trabajo de preprocesamiento sobre tu entrada:

Los primeros tres de los pasos a continuación son trabajo realizado solo sobre el mensaje de entrada; el cuarto genera el resumen que Claude devuelve.

  • Tokeniza el prompt en piezas más pequeñas
  • Crea embeddings para cada token
  • Agrega contexto basado en el texto circundante
  • Solo entonces genera el texto de salida real

Después de enviarte la respuesta, Claude descarta todo este trabajo computacional: la tokenización, los embeddings y el análisis de contexto se eliminan por completo.

Claude dice "¡Estoy listo para procesar la siguiente solicitud!" mientras los cuatro pasos mencionados anteriormente se encuentran en un recuadro punteado etiquetado como "Basura".

El problema de descartar el trabajo

Esto se vuelve ineficiente cuando haces solicitudes de seguimiento que incluyen el mismo contenido. Por ejemplo, en una conversación donde le pides a Claude que refine un resumen del mismo texto largo:

La solicitud de seguimiento envía a Claude el mismo mensaje de resumen que antes, su resumen, y un mensaje de usuario pidiendo más enfoque.

Claude tiene que repetir todo el mismo trabajo de preprocesamiento sobre contenido que acaba de analizar momentos antes. Como Claude podría pensar para sí mismo: "Acabo de procesar ese mensaje y descarté todo el trabajo que hice: ¡podría haberlo reutilizado!"

Solicitud de seguimiento de tres mensajes: una solicitud de usuario para resumir un texto largo, el resumen, y luego una solicitud de más enfoque.

Cómo el almacenamiento en caché de prompts resuelve esto

El almacenamiento en caché de prompts cambia este flujo de trabajo al guardar el trabajo de preprocesamiento en lugar de descartarlo:

Los pasos de preprocesamiento de Claude, como tokenizar el prompt, ahora están en el recuadro de Caché, y el recuadro de Basura está vacío.

Cuando haces una solicitud inicial, Claude realiza todo el preprocesamiento habitual pero almacena los resultados en una caché en lugar de descartarlos. La caché funciona como una tabla de búsqueda que dice: "Si alguna vez veo este mensaje de nuevo, reutilizaré este trabajo que ya hice."

Tabla de caché que empareja un mensaje de usuario que pide a Claude resumir un texto largo con los tres pasos de preprocesamiento que guarda.

Beneficios y limitaciones clave

El almacenamiento en caché de prompts ofrece varias ventajas:

  • Respuestas más rápidas: Las solicitudes que usan contenido en caché se ejecutan más rápidamente
  • Costos más bajos: Pagas menos por las porciones en caché de tus solicitudes
  • Optimización automática: La solicitud inicial escribe en la caché, las solicitudes de seguimiento leen de ella

Sin embargo, hay limitaciones importantes a tener en cuenta:

  • Duración de la caché: Por defecto, el contenido en caché dura 5 minutos, y cada reutilización renueva ese temporizador sin costo adicional. Puedes extender opcionalmente la vida útil a 1 hora, lo cual conlleva un precio de escritura en caché más alto.
  • Casos de uso limitados: Solo es beneficioso cuando envías repetidamente el mismo contenido
  • Requisito de alta frecuencia: Es más efectivo cuando el mismo contenido aparece con extrema frecuencia en tus solicitudes

El almacenamiento en caché de prompts funciona mejor en escenarios como flujos de trabajo de análisis de documentos, donde haces múltiples preguntas sobre el mismo documento extenso, o tareas de edición iterativa donde el contenido base permanece constante mientras refinas aspectos específicos.