加载中
加载中

Claude 的视觉能力允许您在消息中包含图像,并要求 Claude 分析、比较、计数对象,或执行几乎任何您能想到的视觉任务。这为从文档分析到自动化评估等各种应用开辟了强大的可能性。

图像处理基础

在 Claude 中处理图像时,您需要了解几个关键限制:

  • 单个请求中所有消息里最多可包含 20 张图像
  • 最大尺寸为 3.75MB
  • 最大高度/宽度为 8000px
  • 每张图像计为一定数量的 token:tokens = ⌈width / 28⌉ × ⌈height / 28⌉

一张幻灯片列出了上述图像限制和一个较旧的 token 公式,旁边是下面显示的发送 image.png 字节的 Python 代码。

要包含一张图像,您需要将其作为另一种类型的消息部分添加。对于您想发送的每张图像,您需要在用户消息中包含一个图像部分。结构如下所示:

python
with open("image.png", "rb") as f:
    image_bytes = f.read()

add_user_message(messages, [
    {
        "image": {
            "format": "png",
            "source": {"bytes": image_bytes}
        }
    },
    {"text": "What do you see in this image?"}
])

多张图像

您可以通过添加多个图像部分,在单条消息中发送多张图像。Claude 随后可以分析图像之间的关系、对它们进行比较,或回答需要理解多个视觉输入的问题。

用户消息包含两个图像部分,加上文本"这两张图像之间有共同的主题吗?",随后是 Claude 的文字回复。

提示技巧

关于 Claude 视觉能力,最重要的一点是:所有相同的提示工程技巧都适用于图像。您可以通过提供指导原则、分析步骤,或使用单样本/多样本示例,大幅提高 Claude 的视觉准确性。

Claude 针对一张标注为"图像中有 12 颗弹珠"的照片回答"我在这张图像中数到 13 颗弹珠",被标记为错误并打上红色 X。

例如,与其简单地问"这张图像中有多少颗弹珠?",您可以提供一个结构化的方法:

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?

一张弹珠照片和逐步计数提示被发送给 Claude,Claude 的回复"我在这张图像中数到 12 颗弹珠"是正确的。

另一种有效的技巧是单样本提示,即在要求 Claude 分析目标图像之前,先提供一张带有正确分析结果的示例图像:

一张标注为 11 颗弹珠的示例照片,然后是目标照片;Claude 正确回复"我在这张图像中数到 12 颗弹珠"。

真实世界示例:火灾风险评估

Claude 视觉能力的一个实际应用是为保险公司进行自动化火灾风险评估。公司无需派检查员前往每处房产,而是可以使用高分辨率卫星图像,要求 Claude 评估火灾风险。

一张带注释的卫星照片,显示一栋被茂密树木环绕的房屋,箭头标出了下面列出的三个风险特征。

该系统可以分析几个关键因素:

  • 住宅附近茂密且紧密排列的树木
  • 紧急车辆难以进入的通道
  • 悬垂在住宅上方的树枝
  • 整体树木密度和间距

以下是您可能如何构建此类分析:

python
with open('./images/prop7.png', 'rb') as f:
    image_bytes = f.read()

messages = []

add_user_message(messages, [
    {"image": {"format": "png", "source": {"bytes": image_bytes}}},
    {"text": prompt}
])

response = chat(messages)

成功完成这类复杂视觉分析的关键,在于提供详细、结构化的提示,引导 Claude 完成特定的分析步骤,而不是要求进行简单的评估。

请记住:在处理图像时,不要陷入使用简单提示的陷阱。应用您在文本交互中学到的相同提示工程技巧,以大幅提升 Claude 的视觉分析准确性。