読み込み中
読み込み中

Claudeのビジョン機能を使うと、メッセージに画像を含めて、Claudeに分析、比較、オブジェクトのカウント、あるいは考えられるほぼあらゆる視覚タスクを実行させることができます。これにより、文書分析から自動評価まで、さまざまなアプリケーションで強力な可能性が広がります。

画像の取り扱いの基本

Claudeで画像を扱う際には、いくつかの重要な制限事項を理解しておく必要があります。

  • 1回のリクエストに含まれるすべてのメッセージで、合計最大20枚の画像
  • 最大サイズは3.75MB
  • 最大の高さ/幅は8000px
  • 各画像は一定数のトークンとしてカウントされます: tokens = ⌈width / 28⌉ × ⌈height / 28⌉

上記の画像制限と古いトークン計算式が記載されたスライド。隣にはimage.pngのバイトデータを送信する、下に示されているPythonコードがある。

画像を含めるには、メッセージパーツの別の種類として追加します。送信したい画像ごとに、ユーザーメッセージに1つの画像パーツを含めます。構造は次のようになります。

python
with open("image.png", "rb") as f:
    image_bytes = f.read()

add_user_message(messages, [
    {
        "image": {
            "format": "png",
            "source": {"bytes": image_bytes}
        }
    },
    {"text": "What do you see in this image?"}
])

複数の画像

複数の画像パーツを追加することで、1つのメッセージに複数の画像を送信できます。Claudeは画像間の関係を分析したり、それらを比較したり、複数の視覚的入力の理解を必要とする質問に答えたりできます。

2つの画像パーツと「両方の画像に共通するテーマはありますか?」というテキストを含むユーザーメッセージ、その後に続くClaudeのテキスト返信。

プロンプティング技法

Claudeのビジョン機能について理解すべき最も重要な点は、画像にもテキストと同じプロンプトエンジニアリング技法がすべて適用されるということです。ガイドラインを提供したり、分析手順を示したり、one-shot/multi-shotの例を使用したりすることで、Claudeの視覚的な精度を劇的に高めることができます。

「画像には12個のビー玉があります」とラベル付けされた写真に対し、Claudeが「この画像には13個のビー玉があります」と回答し、赤いXで誤りと示されている。

たとえば、単に「この画像には何個のビー玉がありますか?」と尋ねる代わりに、構造化されたアプローチを提供できます。

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?

ビー玉の写真と段階的なカウントのプロンプトがClaudeに送られ、その返信「この画像には12個のビー玉があります」は正解である。

もう一つの効果的な技法はone-shotプロンプティングで、対象の画像を分析させる前に、正しい分析結果を含む例示用の画像を提供するというものです。

11個のビー玉とラベル付けされた例の写真、続いて対象の写真。Claudeは「この画像には12個のビー玉があります」と正しく回答している。

実例:火災リスク評価

Claudeのビジョン機能の実用的な応用例として、保険会社向けの自動火災リスク評価があります。各物件に検査員を派遣する代わりに、企業は高解像度の衛星画像を使用し、Claudeに火災リスクを評価させることができます。

密集した木々に囲まれた家の注釈付き衛星写真。以下に挙げる3つのリスク要因が矢印で示されている。

このシステムはいくつかの重要な要因を分析できます。

  • 住宅近くの密集した木々
  • 緊急車両にとって困難なアクセス経路
  • 住宅に覆いかぶさる枝
  • 全体的な樹木密度と間隔

このような分析は、次のように構成できます。

python
with open('./images/prop7.png', 'rb') as f:
    image_bytes = f.read()

messages = []

add_user_message(messages, [
    {"image": {"format": "png", "source": {"bytes": image_bytes}}},
    {"text": prompt}
])

response = chat(messages)

この種の複雑な視覚分析を成功させる鍵は、単純な評価を求めるのではなく、具体的な分析ステップを通じてClaudeを導く、詳細かつ構造化されたプロンプトを提供することです。

覚えておいてください。画像を扱う際には、単純なプロンプトを使うという罠に陥らないようにしましょう。テキストベースのやり取りで学んだのと同じプロンプトエンジニアリング技法を適用することで、Claudeの視覚分析の精度を劇的に向上させることができます。