Wird geladen

Bildunterstützung

Lektion 4410 Min.
Wird geladen

Die Vision-Fähigkeiten von Claude ermöglichen es dir, Bilder in deine Nachrichten einzufügen und Claude zu bitten, diese auf anspruchsvolle Weise zu analysieren. Du kannst Claude bitten, Bildinhalte zu beschreiben, mehrere Bilder zu vergleichen, Objekte zu zählen oder komplexe visuelle Analyseaufgaben durchzuführen.

Grundlagen der Bildverarbeitung

Eine Folie mit einer älteren Version der unten aufgeführten Bildlimits und Token-Formel, neben dem ebenfalls unten gezeigten base64-Bildblock-Code.

Wenn du mit Bildern in Claude arbeitest, musst du mehrere wichtige Einschränkungen verstehen:

  • Bis zu 100 Bilder über alle Nachrichten in einer einzigen Anfrage hinweg
  • Maximale Größe von 10 MB pro Bild, gemessen nach base64-Kodierung
  • Beim Senden eines Bildes: maximale Höhe/Breite von 8000px
  • Beim Senden mehrerer Bilder: maximale Höhe/Breite von 2000px
  • Bilder können nur als base64-Kodierung eingebunden werden
  • Jedes Bild zählt als Tokens basierend auf den Abmessungen: tokens = ⌈width / 28⌉ × ⌈height / 28⌉

Um ein Bild einzufügen, fügst du deiner Benutzernachricht neben Textblöcken einen Bildblock hinzu. So sieht die Struktur aus:

python
import base64

with open("image.png", "rb") as f:
    image_bytes = base64.standard_b64encode(
        f.read()
    ).decode("utf-8")

add_user_message(messages, [
    # Bildblock
    {
        "type": "image",
        "source": {
            "type": "base64",
            "media_type": "image/png",
            "data": image_bytes,
        }
    },
    # Textblock
    {
        "type": "text",
        "text": "What do you see in this image?"
    }
])

Nachrichtenfluss

Benutzernachricht mit einem Bildblock mit Rohbilddaten und einem Textblock an Claude, dessen Antwort mit „Ich sehe einen hohen Baum“ beginnt.

Die Konversation funktioniert genau wie reine Textinteraktionen. Dein Server sendet eine Benutzernachricht, die sowohl Bild- als auch Textblöcke enthält, an Claude, und Claude antwortet mit einer Textnachricht, die das Bild analysiert.

Prompting-Techniken

Benutzernachricht mit einem Foto von 12 Murmeln und der Zählfrage, dann Claudes Antwort von 13 Murmeln, markiert mit einem roten X.

Das Wichtigste, was man über Claudes Vision-Fähigkeiten verstehen muss, ist, dass gute Prompting-Techniken absolut entscheidend sind. Einfache Prompts liefern oft schlechte Ergebnisse, selbst bei klaren Bildern.

Zum Beispiel könnte die Frage „Wie viele Murmeln sind auf diesem Bild?“ bei einem Bild mit 12 Murmeln eine falsche Zählung von 13 ergeben. Du kannst die Genauigkeit drastisch verbessern, indem du dieselben Prompt-Engineering-Techniken anwendest, die du auch für Text verwenden würdest:

  • Detaillierte Richtlinien und Analyseschritte bereitstellen
  • One-Shot- oder Multi-Shot-Beispiele verwenden
  • Komplexe Aufgaben in kleinere Schritte aufteilen

Schrittweise Analyse

Ein Murmelfoto und der schrittweise Zähl-Prompt gehen an Claude, dessen Antwort „Ich zähle 12 Murmeln auf diesem Bild“ korrekt ist.

Anstelle einer einfachen Frage stellst du Claude eine Methodik zur Verfügung:

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.

What is the exact, verified number of marbles in this image?

Dieser strukturierte Ansatz hilft Claude, die korrekte Anzahl von 12 Murmeln zu ermitteln.

One-Shot-Beispiele

Ein als 11 Murmeln gekennzeichnetes Beispielfoto, dann ein Zielfoto; Claude antwortet korrekt „Ich zähle 12 Murmeln auf diesem Bild“.

Du kannst auch One-Shot-Prompting verwenden, indem du mehrere Bild-Text-Paare in einer einzigen Nachricht einfügst:

[Image of 11 marbles]
The image above has 11 marbles in it.

[Image of 12 marbles]  
How many marbles are in this image?

Die Bereitstellung eines Beispiels verbessert die Genauigkeit von Claude beim Zielbild erheblich.

Praxisbeispiel: Brandrisikobewertung

Kommentiertes Satellitenfoto eines von dichten Bäumen umgebenen Hauses, mit Pfeilen, die die drei unten aufgeführten Risikomerkmale markieren.

Hier ist eine praktische Anwendung: die Automatisierung von Brandrisikobewertungen für Hausversicherungen. Versicherungsunternehmen verlangen von Hausbesitzern oft, Bäume rund um ihr Grundstück zu beschneiden, um das Waldbrandrisiko zu verringern. Anstatt Inspektoren zu jedem Grundstück zu schicken, kannst du Satellitenbilder mit Claude verwenden.

Das System analysiert Satellitenbilder, um Folgendes zu identifizieren:

  • Dichte, eng beieinanderstehende Bäume in der Nähe des Wohnhauses
  • Schwierige Zufahrtswege für Rettungsdienste
  • Äste, die über das Wohnhaus hinausragen

Anstatt eines einfachen Prompts wie „erstelle eine Brandrisikobewertung“ erstellst du ein detailliertes Analyseframework:

Analyze the attached satellite image of a property with these specific steps:

1. Residence identification: Locate the primary residence on the property by looking for:
   - The largest roofed structure
   - Typical residential features (driveway connection, regular geometry)
   - Distinction from other structures (garages, sheds, pools)

2. Tree overhang analysis: Examine all trees near the primary residence:
   - Identify any trees whose canopy extends directly over any portion of the roof
   - Estimate the percentage of roof covered by overhanging branches (0-25%, 25-50%, 50-75%, 75%+)
   - Note particularly dense areas of overhang

3. Fire risk assessment: For any overhanging trees, evaluate:
   - Potential wildfire vulnerability (ember catch points, continuous fuel paths to structure)
   - Proximity to chimneys, vents, or other roof openings if visible
   - Areas where branches create a "bridge" between wildland vegetation and the structure

4. Defensible space identification: Assess the property's overall vegetative structure:
   - Identify if trees connect to form a continuous canopy over or near the home
   - Note any obvious fuel ladders (vegetation that can carry fire from ground to tree to roof)

5. Fire risk rating: Based on your analysis, assign a Fire Risk Rating from 1-4:
   - Rating 1 (Low Risk): No tree branches overhanging the roof, good defensible space around
   - Rating 2 (Moderate Risk): Minimal overhang (<25% of roof), some separation between tree canopies
   - Rating 3 (High Risk): Significant overhang (25-50% of roof), connected tree canopies, multiple points of vulnerability
   - Rating 4 (Severe Risk): Extensive overhang (>50% of roof), dense vegetation against structure

For each item above (1-5), write one sentence summarizing your findings, with your final response being the numerical rating.

Dieser umfassende Prompt leitet Claude durch eine systematische Analyse, die zu präzisen und umsetzbaren Brandrisikobewertungen führt. Bei der Prüfung mit einem stark baumbestandenen Grundstück identifizierte Claude es korrekt als „3 (Hohes Risiko)“ aufgrund erheblicher Baumüberhänge und verbundener Baumkronen um das Gebäude.

Die wichtigste Erkenntnis ist, dass Claudes Vision-Fähigkeiten zwar leistungsstark sind, aber das gleiche sorgfältige Prompt-Engineering erfordern, das du für jede komplexe Aufgabe verwenden würdest. Investiere Zeit in die Erstellung detaillierter, strukturierter Prompts, anstatt dich auf einfache Fragen zu verlassen.