Cargando

Cómo afecta el contexto al rendimiento y costo de Claude

Todo lo que Claude sabe sobre el mundo quedó incorporado en el modelo durante el entrenamiento, o forma parte del contexto actual. Aprende de dónde provienen las respuestas de Claude, dónde podrías estar usando más tokens de lo esperado y cómo ser intencional sobre el equilibrio entre costo y calidad.

20 min

Muchas personas usan el chat de IA como alternativa a la búsqueda. Para hacerlo de forma segura, es importante entender de dónde obtienen su información los LLM. Cuando un LLM produce información incorrecta, generalmente es un efecto secundario de contexto faltante, incorrecto o de baja calidad.

Si no sabes por qué sucede esto, es fácil sentir que el modelo está intentando engañarte al inventar información. Pero una vez que entiendes de dónde proviene el conocimiento de un modelo, puedes anticipar con más claridad dónde podría cometer un error. También puedes ver a dónde van tus tokens y decidir cuándo vale la pena pagar por más contexto.

De dónde provienen las respuestas

Es un calentamiento: solo adivina.

Verificación rápida

Cuando un modelo de chat de IA responde a tu pregunta, ¿de dónde proviene la respuesta?

Las tres cosas suceden. La lección las recorre en ese orden: el conocimiento del entrenamiento, lo que pones en la conversación y lo que el modelo busca por su cuenta.

Memoria paramétrica

A veces los modelos simplemente... saben cosas. Ese conocimiento incorporado se llama memoria paramétrica, porque está incrustado en los pesos del modelo, o parámetros.

Nadie se propuso construir una enciclopedia, pero los hechos que los LLM pueden recitar de memoria surgieron como un efecto secundario de aprender a predecir texto.

Dónde se agota la memoria paramétrica

La memoria paramétrica es mejor en algunas cosas que en otras. A continuación hay oraciones que un modelo está en proceso de escribir al predecir la siguiente palabra más probable. Haz clic para revelar las siguientes palabras en cada oración y luego decide por ti mismo si el modelo produjo información correcta o no.

Cargando

Agregar contexto

Echa un vistazo a una pregunta que Claude no puede responder solo con el entrenamiento.

En este widget, si ajustamos nuestra pregunta proporcionando contexto adicional, la tarea se vuelve notablemente más fácil para el modelo.

Cargando

La ventana de contexto

El contexto de un modelo de lenguaje tiene un tamaño máximo. Al momento de escribir esto, los modelos Claude insignia actuales pueden contener hasta un millón de tokens.

Eso equivale a unas tres copias de Moby-Dick. Entonces, ¿cómo es posible quedarse sin espacio?

En los primeros días del chat de IA, alcanzar el límite significaba empezar de nuevo. Es posible que tú mismo hayas alcanzado este límite en algún momento con una interfaz de chat en 2024 o 2025. Y, sin embargo, cuando sucede, sabes que has escrito mucho menos que una novela o tres; la mayoría de nosotros simplemente no somos tan conversadores. Entonces, ¿a dónde fueron tus millones de tokens? Exploremos.

Llenando la ventana

Realiza una interacción de chat normal y observa cómo se llena tu ventana de contexto. Para que este ejemplo sea fácil de digerir, imaginaremos un modelo con una ventana de contexto mucho más pequeña, de solo 1000 tokens.

Cargando

Compactación

Cuando la ventana de contexto se acerca a su límite, la aplicación le pide a Claude que resuma toda la conversación hasta ese momento, y luego ese resumen reemplaza el contexto que existía antes.

La compactación te permite continuar tu conversación en lugar de empezar una nueva. Así es como funciona:

  1. Primero, la aplicación se da cuenta. En lugar de enviar una solicitud que podría sobrecargar la ventana de contexto, la aplicación retiene tu siguiente turno e inicia la compactación.
  2. Luego, Claude resume. La conversación hasta ese momento se le pasa a Claude con una indicación como "adjunto hay una conversación entre un humano y un modelo. Por favor, elabora un resumen de todo lo que ha sucedido hasta ahora".
  3. Finalmente, la conversación continúa a partir de ese resumen. El resumen reemplaza el historial de la conversación, y luego tu consulta retenida del paso 1 se le pasa a Claude para obtener una respuesta.

Pruébalo: compactación

Cargando

Memoria escrita

La memoria es la forma en que una ventana con un límite estricto puede sentirse infinita: Claude escribe una nota en una conversación, y esas notas se vuelven a agregar al inicio de la siguiente.

Piensa en la memoria como Claude anotando cosas, al estilo de Memento, y volviendo a leerlas más tarde: Claude despierta completamente descansado tras una siesta y puede mirar a su alrededor los archivos de memoria que previamente escribió para sí mismo. Llamaremos a esto memoria escrita, para que no se confunda con la memoria paramétrica.

La compactación es la forma en que Claude puede continuar una sola conversación más allá del límite de contexto. La memoria escrita es la forma en que Claude mantiene detalles importantes en el contexto a través de múltiples conversaciones.

Lee el esquema de izquierda a derecha. El martes expresas una preferencia y Claude la anota visiblemente. Luego, el jueves, en una conversación nueva, a Claude no se le ha dicho la preferencia otra vez. Pero la nota de memoria se inserta discretamente en el contexto antes de tu primer mensaje. Este proceso le permite a Claude recordar tus preferencias a lo largo del tiempo, basándose en la retroalimentación directa que compartes.

Cargando

La memoria llega a conversaciones futuras, incluso en una sesión completamente nueva sin el contexto completo del martes.

Los distintos productos de Claude implementan la memoria de manera diferente. Claude Code lee archivos CLAUDE.md en todo el código base, mientras que claude.ai mantiene la memoria en su configuración. Pero aunque la ubicación sea distinta, el proceso es el mismo: Claude anota información importante, y luego una instancia posterior de Claude la vuelve a leer al inicio de la siguiente conversación.

Una semana de memoria

Cinco días con el mismo asistente. Observa lo que anota y compáralo con lo que busca de nuevo.

Cargando

Contexto antepuesto

Si damos un paso atrás, se agrega mucho al contexto antes de que Claude vea tu primer token. El widget a continuación muestra qué contexto antepuesto podría agregarse a una conversación con Claude. El contenido exacto varía de un producto a otro.

Cargando

Contexto agéntico

Ahora que sabes lo importante que es el contexto para potenciar las capacidades de Claude, es importante entender el contexto agéntico: cuando Claude decide obtener más contexto antes de responder. Viste que esto sucedía en el ejemplo anterior sobre las plantas de tomate, donde Claude usó una herramienta de búsqueda en lugar de responder desde la memoria paramétrica o el contexto que ya tenía.

En el siguiente widget, imagina que eres Claude. La barra lateral muestra información que se insertó discretamente en el contexto antes del mensaje del usuario. Para cada indicación, decide si responder con lo que ya sabes o buscar fuera de ti mismo más contexto.

Cargando

Claude toma esta misma decisión en cada turno, y la rapidez con la que busca más contexto depende en parte de la configuración de esfuerzo. Con un esfuerzo más alto, es más probable que Claude busque, lea y verifique antes de responder, lo que generalmente significa una mejor respuesta y una ventana de contexto más grande. Con un esfuerzo más bajo, es más probable que Claude responda directamente. Aprende a elegir un nivel de esfuerzo en Claude o en Claude Code.

Rastreando el contexto

Toma esta respuesta de ejemplo de Claude. Cada sección resaltada fue influenciada por parte del contexto antepuesto. Haz clic en una sección e identifica de dónde crees que proviene.

Cargando

Qué puedes hacer ahora

  • Puedes nombrar la diferencia entre lo que está en los pesos (memoria paramétrica) y lo que está en la ventana (contexto).
  • Sabes que la ventana tiene un límite y que no eres el único autor que la llena.
  • Sabes que cada turno reenvía toda la ventana, y puedes ser intencional sobre cuándo iniciar una nueva sesión.
  • Entiendes que la compactación es una técnica de resumen que puede hacer que la ventana se sienta infinita, pero que puede perder detalles.
  • Puedes explicar cómo la memoria escrita sobrevive entre sesiones.
  • Puedes observar una respuesta de Claude y hacer suposiciones sobre cómo el contexto antepuesto pudo haberla moldeado.

Siguiente: elige un nivel de esfuerzo en Claude · en Claude Code

Aprende más: Cómo funciona la IA · Capacidades y limitaciones de la IA