載入中
載入中

Claude 的視覺能力讓您可以在訊息中包含圖像,並要求 Claude 分析、比較、計算物件數量,或執行幾乎任何您能想到的視覺任務。這為從文件分析到自動化評估等各種應用開啟了強大的可能性。

圖像處理基礎

在 Claude 中使用圖像時,您需要了解一些關鍵限制:

  • 單一請求中所有訊息最多可包含 20 張圖像
  • 最大檔案大小為 3.75MB
  • 最大高度/寬度為 8000px
  • 每張圖像會計算為一定數量的 token:tokens = ⌈width / 28⌉ × ⌈height / 28⌉

一張投影片列出了上述圖像限制及一個較舊的 token 公式,旁邊是下方顯示的傳送 image.png 位元組的 Python 程式碼。

要包含一張圖像,您需要將其加入作為另一種類型的訊息部分。對於您想傳送的每張圖像,您需要在使用者訊息中包含一個圖像部分。其結構如下:

python
with open("image.png", "rb") as f:
    image_bytes = f.read()

add_user_message(messages, [
    {
        "image": {
            "format": "png",
            "source": {"bytes": image_bytes}
        }
    },
    {"text": "What do you see in this image?"}
])

多張圖像

您可以透過加入多個圖像部分,在單一訊息中傳送多張圖像。Claude 隨後可以分析圖像之間的關係、比較它們,或回答需要理解多個視覺輸入的問題。

使用者訊息包含兩個圖像部分加上文字「這兩張圖像之間有共同的主題嗎?」,接著是 Claude 的文字回覆。

提示技巧

關於 Claude 視覺能力最重要的理解是,所有相同的提示工程技巧都適用於圖像。您可以透過提供指引、分析步驟,或使用一次性/多次性範例,大幅提高 Claude 的視覺準確度。

Claude 對一張標示為「圖像中有 12 顆彈珠」的照片回答「我在這張圖像中數到了 13 顆彈珠」,並以紅色 X 標記為錯誤。

舉例來說,與其單純詢問「這張圖像中有多少顆彈珠?」,您可以提供一個結構化的方法:

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?

一張彈珠照片和逐步計數提示傳送給 Claude,其回覆「我在這張圖像中數到了 12 顆彈珠」是正確的。

另一個有效的技巧是一次性提示(one-shot prompting),即在要求 Claude 分析目標圖像之前,先提供一張帶有正確分析的範例圖像:

一張標示為 11 顆彈珠的範例照片,接著是目標照片;Claude 正確回覆「我在這張圖像中數到了 12 顆彈珠」。

實際案例:火災風險評估

Claude 視覺能力的一個實際應用是保險公司的自動化火災風險評估。公司可以不派遣檢查人員到每個物業,而是使用高解析度衛星影像並要求 Claude 評估火災風險。

一張經過標註的衛星照片,顯示一棟被密集樹木包圍的房屋,箭頭標示出下方列出的三個風險特徵。

該系統可以分析幾個關鍵因素:

  • 住宅附近密集、緊密排列的樹木
  • 緊急車輛難以通行的路線
  • 懸垂在住宅上方的樹枝
  • 整體樹木密度與間距

以下是您可能如何建構這類分析:

python
with open('./images/prop7.png', 'rb') as f:
    image_bytes = f.read()

messages = []

add_user_message(messages, [
    {"image": {"format": "png", "source": {"bytes": image_bytes}}},
    {"text": prompt}
])

response = chat(messages)

成功進行這類複雜視覺分析的關鍵,在於提供詳細且結構化的提示,引導 Claude 完成特定的分析步驟,而不是要求進行簡單的評估。

請記住:在處理圖像時,不要落入使用簡單提示的陷阱。請運用您在文字互動中學到的相同提示工程技巧,以大幅提升 Claude 的視覺分析準確度。