Wird geladen
Wird geladen

Die Vision-Fähigkeiten von Claude ermöglichen es dir, Bilder in deine Nachrichten einzubinden und Claude zu bitten, sie zu analysieren, zu vergleichen, Objekte zu zählen oder praktisch jede visuelle Aufgabe auszuführen, die du dir vorstellen kannst. Dies eröffnet leistungsstarke Möglichkeiten für Anwendungen, die von der Dokumentenanalyse bis hin zu automatisierten Bewertungen reichen.

Grundlagen der Bildverarbeitung

Wenn du mit Bildern in Claude arbeitest, musst du einige wichtige Einschränkungen verstehen:

  • Bis zu 20 Bilder über alle Nachrichten in einer einzigen Anfrage hinweg
  • Maximale Größe von 3,75 MB
  • Maximale Höhe/Breite von 8000px
  • Jedes Bild zählt als eine bestimmte Anzahl von Tokens: tokens = ⌈width / 28⌉ × ⌈height / 28⌉

Eine Folie mit den oben genannten Bildlimits und einer älteren Token-Formel, neben dem unten gezeigten Python-Code, der die Bytes von image.png sendet.

Um ein Bild einzubinden, fügst du es als einen weiteren Nachrichtenteil-Typ hinzu. Für jedes Bild, das du senden möchtest, fügst du einen Bildteil in deine Benutzernachricht ein. Die Struktur sieht folgendermaßen aus:

python
with open("image.png", "rb") as f:
    image_bytes = f.read()

add_user_message(messages, [
    {
        "image": {
            "format": "png",
            "source": {"bytes": image_bytes}
        }
    },
    {"text": "What do you see in this image?"}
])

Mehrere Bilder

Du kannst mehrere Bilder in einer einzigen Nachricht senden, indem du mehrere Bildteile hinzufügst. Claude kann dann Beziehungen zwischen Bildern analysieren, sie vergleichen oder Fragen beantworten, die ein Verständnis mehrerer visueller Eingaben erfordern.

Benutzernachricht aus zwei Bildteilen plus dem Text „Gibt es ein gemeinsames Thema zwischen beiden Bildern?“, dann Claudes Textantwort.

Prompting-Techniken

Das Wichtigste, was man über die Vision-Fähigkeiten von Claude verstehen muss, ist, dass alle gleichen Prompt-Engineering-Techniken auch für Bilder gelten. Du kannst die Genauigkeit von Claudes visueller Analyse dramatisch erhöhen, indem du Richtlinien, Analyseschritte oder One-Shot-/Multi-Shot-Beispiele bereitstellst.

Claude antwortet „Ich zähle 13 Murmeln auf diesem Bild“ für ein Foto mit der Bezeichnung „Bild hat 12 Murmeln“, markiert als falsch mit einem roten X.

Anstatt beispielsweise einfach zu fragen „Wie viele Murmeln sind auf diesem Bild?“, kannst du einen strukturierten Ansatz vorgeben:

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?

Ein Murmelfoto und der schrittweise Zählprompt gehen an Claude, dessen Antwort „Ich zähle 12 Murmeln auf diesem Bild“ korrekt ist.

Eine weitere effektive Technik ist One-Shot-Prompting, bei der du ein Beispielbild mit der korrekten Analyse bereitstellst, bevor du Claude bittest, dein Zielbild zu analysieren:

Ein Beispielfoto, das als 11 Murmeln gekennzeichnet ist, dann ein Zielfoto; Claude antwortet korrekt „Ich zähle 12 Murmeln auf diesem Bild“.

Praxisbeispiel: Brandrisikobewertungen

Eine praktische Anwendung von Claudes Vision-Fähigkeiten ist die automatisierte Brandrisikobewertung für Versicherungsunternehmen. Anstatt Inspektoren zu jeder Immobilie zu schicken, können Unternehmen hochauflösende Satellitenbilder verwenden und Claude bitten, Brandrisiken zu bewerten.

Annotiertes Satellitenfoto eines Hauses, umgeben von dichten Bäumen, mit Pfeilen, die die drei unten aufgeführten Risikomerkmale markieren.

Das System kann mehrere wichtige Faktoren analysieren:

  • Dichte, eng beieinanderstehende Bäume in der Nähe des Wohngebäudes
  • Schwierige Zufahrtswege für Einsatzfahrzeuge
  • Über das Wohngebäude ragende Äste
  • Allgemeine Baumdichte und -abstände

So könntest du eine solche Analyse strukturieren:

python
with open('./images/prop7.png', 'rb') as f:
    image_bytes = f.read()

messages = []

add_user_message(messages, [
    {"image": {"format": "png", "source": {"bytes": image_bytes}}},
    {"text": prompt}
])

response = chat(messages)

Der Schlüssel zum Erfolg bei dieser Art komplexer visueller Analyse liegt darin, detaillierte, strukturierte Prompts bereitzustellen, die Claude durch spezifische Analyseschritte führen, anstatt um eine einfache Einschätzung zu bitten.

Denke daran: Wenn du mit Bildern arbeitest, tappe nicht in die Falle, einfache Prompts zu verwenden. Wende dieselben Prompt-Engineering-Techniken an, die du für textbasierte Interaktionen gelernt hast, um die Genauigkeit von Claudes visueller Analyse dramatisch zu verbessern.