로드 중
로드 중

Claude의 비전 기능을 사용하면 메시지에 이미지를 포함시키고 Claude에게 이미지를 분석하거나, 비교하거나, 객체 수를 세거나, 상상할 수 있는 거의 모든 시각적 작업을 수행하도록 요청할 수 있습니다. 이는 문서 분석부터 자동화된 평가에 이르기까지 다양한 애플리케이션을 위한 강력한 가능성을 열어줍니다.

이미지 처리 기본 사항

Claude에서 이미지를 다룰 때는 몇 가지 주요 제한 사항을 이해해야 합니다:

  • 단일 요청의 모든 메시지에 걸쳐 최대 20개의 이미지
  • 최대 크기 3.75MB
  • 최대 높이/너비 8000px
  • 각 이미지는 일정 수의 토큰으로 계산됩니다: tokens = ⌈width / 28⌉ × ⌈height / 28⌉

위에 나열된 이미지 제한 사항과 이전 버전의 토큰 공식이 표시된 슬라이드, 그 옆에는 image.png 바이트를 전송하는 아래의 Python 코드가 있습니다.

이미지를 포함하려면, 메시지 파트의 또 다른 유형으로 추가합니다. 보내고자 하는 각 이미지에 대해, 사용자 메시지에 이미지 파트 하나를 포함시킵니다. 구조는 다음과 같습니다:

python
with open("image.png", "rb") as f:
    image_bytes = f.read()

add_user_message(messages, [
    {
        "image": {
            "format": "png",
            "source": {"bytes": image_bytes}
        }
    },
    {"text": "What do you see in this image?"}
])

여러 이미지

여러 이미지 파트를 추가하여 단일 메시지에서 여러 이미지를 보낼 수 있습니다. 그러면 Claude는 이미지 간의 관계를 분석하거나, 비교하거나, 여러 시각적 입력의 이해가 필요한 질문에 답변할 수 있습니다.

두 개의 이미지 파트와 "두 이미지 사이에 공통된 주제가 있나요?"라는 텍스트로 이루어진 사용자 메시지, 그리고 이어지는 Claude의 텍스트 답변.

프롬프트 작성 기법

Claude의 비전 기능에 대해 이해해야 할 가장 중요한 점은 이미지에도 동일한 프롬프트 엔지니어링 기법이 모두 적용된다는 것입니다. 가이드라인을 제공하거나, 분석 단계를 제시하거나, 원샷/멀티샷 예시를 사용함으로써 Claude의 비전 정확도를 크게 높일 수 있습니다.

Claude가 "이 이미지에는 구슬이 13개 있습니다"라고 답변한 사진에는 "이미지에는 구슬이 12개 있습니다"라는 라벨이 붙어 있으며, 빨간색 X 표시로 오답 처리되어 있습니다.

예를 들어, 단순히 "이 이미지에는 구슬이 몇 개 있나요?"라고 묻는 대신, 구조화된 접근 방식을 제공할 수 있습니다:

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?

구슬 사진과 단계별 계산 프롬프트가 Claude에게 전달되고, Claude의 답변 "이 이미지에는 구슬이 12개 있습니다"가 정답입니다.

또 다른 효과적인 기법은 원샷 프롬프팅으로, Claude에게 목표 이미지를 분석하도록 요청하기 전에 올바른 분석이 포함된 예시 이미지를 먼저 제공하는 방식입니다:

구슬 11개로 라벨이 붙은 예시 사진과 목표 사진; Claude가 올바르게 "이 이미지에는 구슬이 12개 있습니다"라고 답변합니다.

실제 사례: 화재 위험 평가

Claude의 비전 기능을 실제로 적용한 사례로는 보험 회사를 위한 자동화된 화재 위험 평가가 있습니다. 각 부동산에 조사원을 파견하는 대신, 회사는 고해상도 위성 이미지를 사용하고 Claude에게 화재 위험을 평가하도록 요청할 수 있습니다.

울창한 나무로 둘러싸인 주택의 주석이 달린 위성 사진, 아래 나열된 세 가지 위험 요소를 표시하는 화살표가 있습니다.

이 시스템은 몇 가지 주요 요인을 분석할 수 있습니다:

  • 주택 근처의 빽빽하게 밀집된 나무들
  • 긴급 차량의 접근이 어려운 경로
  • 주택 위로 뻗어 있는 나뭇가지들
  • 전반적인 나무 밀도와 간격

다음은 이러한 분석을 구성하는 방법의 예시입니다:

python
with open('./images/prop7.png', 'rb') as f:
    image_bytes = f.read()

messages = []

add_user_message(messages, [
    {"image": {"format": "png", "source": {"bytes": image_bytes}}},
    {"text": prompt}
])

response = chat(messages)

이러한 유형의 복잡한 시각적 분석을 성공적으로 수행하는 핵심은 단순한 평가를 요청하는 대신, Claude가 구체적인 분석 단계를 거치도록 안내하는 상세하고 구조화된 프롬프트를 제공하는 것입니다.

기억하세요: 이미지를 다룰 때는 단순한 프롬프트를 사용하는 함정에 빠지지 마세요. 텍스트 기반 상호작용에서 배운 것과 동일한 프롬프트 엔지니어링 기법을 적용하여 Claude의 시각적 분석 정확도를 극적으로 향상시키세요.