Cargando

Compatibilidad con imágenes

Lección 439 min
Cargando

Las capacidades de visión de Claude te permiten incluir imágenes en tus mensajes y pedirle a Claude que analice, compare, cuente objetos o realice prácticamente cualquier tarea visual que puedas imaginar. Esto abre posibilidades poderosas para aplicaciones que van desde el análisis de documentos hasta evaluaciones automatizadas.

Fundamentos del manejo de imágenes

Al trabajar con imágenes en Claude, necesitas entender algunas limitaciones clave:

  • Hasta 20 imágenes en todos los mensajes de una sola solicitud
  • Tamaño máximo de 3.75MB
  • Alto/ancho máximo de 8000px
  • Cada imagen cuenta como cierta cantidad de tokens: tokens = ⌈width / 28⌉ × ⌈height / 28⌉

Una diapositiva con los límites de imagen mencionados arriba y una fórmula de tokens más antigua, junto al código Python que se muestra abajo y que envía los bytes de image.png.

Para incluir una imagen, la agregas como otro tipo de parte del mensaje. Por cada imagen que quieras enviar, incluyes una parte de imagen en tu mensaje de usuario. La estructura se ve así:

python
with open("image.png", "rb") as f:
    image_bytes = f.read()

add_user_message(messages, [
    {
        "image": {
            "format": "png",
            "source": {"bytes": image_bytes}
        }
    },
    {"text": "What do you see in this image?"}
])

Múltiples imágenes

Puedes enviar múltiples imágenes en un solo mensaje agregando múltiples partes de imagen. Claude puede entonces analizar relaciones entre imágenes, compararlas o responder preguntas que requieran entender múltiples entradas visuales.

Mensaje de usuario con dos partes de imagen más el texto "¿Hay un tema común entre ambas imágenes?", seguido de la respuesta de texto de Claude.

Técnicas de prompting

Lo más importante que debes entender sobre las capacidades de visión de Claude es que se aplican las mismas técnicas de ingeniería de prompts que con el texto. Puedes aumentar drásticamente la precisión visual de Claude proporcionando pautas, pasos de análisis o usando ejemplos de one-shot/multi-shot.

Claude responde "Cuento 13 canicas en esta imagen" para una foto etiquetada como "La imagen tiene 12 canicas", marcada como incorrecta con una X roja.

Por ejemplo, en lugar de simplemente preguntar "¿Cuántas canicas hay en esta imagen?", puedes proporcionar un enfoque estructurado:

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?

Una foto de canicas y el prompt de conteo paso a paso van a Claude, cuya respuesta "Cuento 12 canicas en esta imagen" es correcta.

Otra técnica efectiva es el one-shot prompting, donde proporcionas una imagen de ejemplo con el análisis correcto antes de pedirle a Claude que analice tu imagen objetivo:

Una foto de ejemplo etiquetada como 11 canicas, luego una foto objetivo; Claude responde correctamente "Cuento 12 canicas en esta imagen".

Ejemplo del mundo real: Evaluaciones de riesgo de incendio

Una aplicación práctica de las capacidades de visión de Claude es la evaluación automatizada de riesgo de incendio para compañías de seguros. En lugar de enviar inspectores a cada propiedad, las compañías pueden usar imágenes satelitales de alta resolución y pedirle a Claude que evalúe los riesgos de incendio.

Foto satelital anotada de una casa rodeada de árboles densos, con flechas marcando las tres características de riesgo listadas abajo.

El sistema puede analizar varios factores clave:

  • Árboles densos y muy juntos cerca de la residencia
  • Rutas de acceso difíciles para vehículos de emergencia
  • Ramas que sobresalen sobre la residencia
  • Densidad general de árboles y espaciado

Así es como podrías estructurar dicho análisis:

python
with open('./images/prop7.png', 'rb') as f:
    image_bytes = f.read()

messages = []

add_user_message(messages, [
    {"image": {"format": "png", "source": {"bytes": image_bytes}}},
    {"text": prompt}
])

response = chat(messages)

La clave del éxito con este tipo de análisis visual complejo es proporcionar prompts detallados y estructurados que guíen a Claude a través de pasos de análisis específicos, en lugar de pedir una evaluación simple.

Recuerda: al trabajar con imágenes, no caigas en la trampa de usar prompts simples. Aplica las mismas técnicas de ingeniería de prompts que has aprendido para interacciones basadas en texto para mejorar drásticamente la precisión del análisis visual de Claude.