Cargando

Almacenamiento en caché de prompts

Lección 462 min
Cargando

El almacenamiento en caché de prompts es una función que acelera las respuestas de Claude y reduce el costo de la generación de texto al reutilizar el trabajo computacional de solicitudes anteriores. En lugar de desechar todo el trabajo de procesamiento después de cada solicitud, Claude puede guardarlo y reutilizarlo cuando envíes contenido similar nuevamente.

Cómo procesa Claude normalmente las solicitudes

Para entender el almacenamiento en caché de prompts, primero veamos qué sucede durante una solicitud típica sin el almacenamiento en caché habilitado.

Una solicitud habitual: nuestro servidor envía a Claude un mensaje de usuario, "Resume este texto largo:" más un marcador de posición de texto.

Cuando envías un mensaje a Claude, este no comienza inmediatamente a generar una respuesta. En cambio, Claude realiza un extenso trabajo de preprocesamiento sobre tu entrada:

Diagrama que marca los primeros tres de los cuatro pasos de Claude como trabajo realizado únicamente sobre el mensaje de entrada, antes de que devuelva un resumen.

  • Tokeniza el prompt (divide el texto en unidades más pequeñas)
  • Crea embeddings para cada token (representaciones matemáticas)
  • Agrega contexto basado en el texto circundante
  • Solo entonces genera el texto de salida real

Los cuatro pasos de procesamiento seleccionados dentro del recuadro de Claude, listos para ser arrastrados a un recuadro punteado vacío etiquetado "Papelera".

Después de enviarte la respuesta, Claude descarta todo este trabajo computacional. Todo se desecha, y Claude se declara listo para la siguiente solicitud.

El problema con el contenido repetido

Aquí es donde las cosas se vuelven ineficientes. Imagina que estás teniendo una conversación con Claude, así que tu solicitud de seguimiento incluye:

Solicitud de seguimiento con el mismo mensaje "Resume este texto largo", el resumen de Claude, y luego "El resumen necesita más enfoque en".

  • El mismo mensaje de usuario original de antes
  • La respuesta anterior de Claude
  • Tu nuevo mensaje de seguimiento

En la solicitud de seguimiento, Claude señala de nuevo al primer mensaje de usuario repetido "Resume este texto largo" que acaba de procesar.

Claude tiene que volver a procesar ese mensaje original otra vez, a pesar de que acaba de analizar exactamente el mismo contenido momentos antes. Como podría pensar Claude: "Acabo de procesar ese mensaje y desechar todo el trabajo que hice. ¡Podría haberlo reutilizado!"

Cómo el almacenamiento en caché de prompts resuelve esto

El almacenamiento en caché de prompts cambia este proceso derrochador. En lugar de descartar el trabajo de preprocesamiento, Claude lo guarda en una caché.

La solicitud inicial pasa por los cuatro pasos de Claude hasta una respuesta resumida, junto a un recuadro de Papelera vacío y un recuadro de Caché vacío.

Así es como funciona:

  1. Solicitud inicial: Claude procesa tu mensaje y escribe el trabajo computacional en una caché
  2. Solicitudes de seguimiento: Cuando Claude ve el mismo contenido nuevamente, lee el trabajo previamente procesado desde la caché en lugar de comenzar de nuevo

Tabla de caché que empareja un mensaje de usuario que pide resumir un texto largo con el trabajo guardado de tokenización, embeddings y contexto.

La caché actúa como una tabla de búsqueda: "Si alguna vez vuelvo a ver este mensaje, reutilizaré este trabajo que ya hice."

Beneficios y limitaciones clave

Claude escribe el trabajo realizado sobre el prompt "Por favor resume esto" en la caché, luego lo lee en la solicitud de seguimiento.

El almacenamiento en caché de prompts ofrece varias ventajas:

  • Respuestas más rápidas: Las solicitudes que usan contenido en caché se ejecutan más rápidamente
  • Costos más bajos: Pagas menos por el procesamiento que reutiliza el trabajo en caché
  • Optimización automática: La solicitud inicial escribe en la caché, las solicitudes de seguimiento leen de ella

Sin embargo, hay limitaciones importantes a tener en cuenta:

  • Vida útil corta: La caché solo vive durante 5 minutos
  • Se requieren coincidencias exactas: Solo es útil cuando envías repetidamente el mismo contenido
  • Caso de uso común: Esto sucede con extrema frecuencia en aplicaciones conversacionales y flujos de trabajo de análisis de documentos

El almacenamiento en caché de prompts es particularmente valioso para aplicaciones donde los usuarios hacen referencia frecuente a los mismos documentos, continúan conversaciones o iteran sobre prompts similares dentro de un período corto de tiempo.