載入中
載入中

Claude 中的電腦使用(Computer Use)運作方式與一般的工具使用完全相同——它建立在您已經熟悉的相同基礎之上。關鍵差異在於,Claude 不是呼叫天氣 API 或資料庫函式,而是發出請求來控制電腦介面。

工具使用複習

在深入探討電腦使用之前,讓我們先快速複習一下標準工具使用的運作方式。當您想要 Claude 使用某個工具時,您會傳送一個包含使用者訊息和工具綱要(tool schema)的請求。工具綱要描述了您想要向 Claude 開放的額外功能。

我們的伺服器向 Claude 傳送訊息「舊金山的天氣如何?」以及 get_weather_schema 工具綱要。

以下是典型的流程:

  1. 您向 Claude 傳送一個問題,並附上可用的工具綱要
  2. Claude 分析請求並判斷需要使用工具
  3. Claude 回應一個工具使用請求,其中包含工具名稱及所需的輸入
  4. 您的伺服器執行該工具函式並回傳結果
  5. 您將工具結果傳回給 Claude

我們的伺服器傳送 get_weather_schema;Claude 回覆一個名為 get_weather 的 toolUse,而我們的函式回傳「Sunny」。

舉例來說,如果您詢問舊金山的天氣,Claude 可能會以 location 參數呼叫 get_weather 函式,您的伺服器擷取天氣資料,然後您將結果回傳給 Claude。

我們的伺服器向 Claude 提出一個附帶工具清單的問題,Claude 決定使用某個工具,我們執行程式碼並將結果傳回。

電腦使用:相同流程,不同工具

電腦使用遵循完全相同的模式。差異在於「工具」實際執行的內容——它不是擷取天氣資料,而是模擬滑鼠點擊和鍵盤輸入等電腦互動。

我們的伺服器與 Claude 之間針對一個操作電腦的工具進行三則訊息往來,該工具在搭載 Firefox 的 Docker 容器中執行。

當您啟用電腦使用時,您會向 Claude 傳送一個特殊的工具綱要,它會在背後自動展開。原本在您這端只是一個簡單的綱要,最終會變成一個全面的介面,告訴 Claude 它可以執行以下動作:

  • 滑鼠移動與點擊
  • 鍵盤輸入與按鍵組合
  • 擷取螢幕截圖
  • 捲動及其他介面互動

我們精簡的 computer_20250124 綱要展開為一個包含 action、coordinate、duration 和 text 屬性的長綱要。

您傳送的工具綱要是最簡化的,但它會自動轉換為一個詳盡的規格,其中包含 Claude 所需的所有電腦互動功能。

最小化的 computer 工具綱要搭配顯示尺寸,展開為「action」、「coordinate」、「duration」與「text」屬性。

技術實作

為了讓電腦使用能夠運作,您需要一個能以程式化方式執行 Claude 所請求動作的運算環境。參考實作使用一個執行 Firefox 的 Docker 容器,以及能夠模擬按鍵和滑鼠移動的程式碼。

當 Claude 決定與電腦互動時,它會像任何其他工具一樣傳送一個工具使用請求。您的伺服器接收此請求,並在容器化環境中執行對應的動作——無論是點擊按鈕、輸入文字,還是擷取螢幕截圖。

需要理解的重點是,Claude 並非直接控制電腦。它只是發出工具請求,而您的基礎架構會將這些請求轉換為實際的電腦互動。

開始使用

您不需要從零開始建置這套基礎架構。Anthropic 提供了一個參考實作,為您處理所有複雜的部分。

安裝任何 Docker 執行環境(例如 orbstack.dev),從憑證檔案中取得您的 AWS 設定檔名稱,然後執行 docker run。

若要設定電腦使用,您需要:

  1. 在系統上安裝 Docker 執行環境
  2. 在本機配置一個 AWS 設定檔(通常為「default」)
  3. 來自 Anthropic quickstarts 儲存庫的參考實作

準備好這些先決條件後,您只需一個指令即可啟動 Docker 容器。這會讓您存取與示範中所展示相同的介面——左側是一個聊天介面,您可以在其中與 Claude 對話;右側則是一個瀏覽器環境,Claude 可以在其中與網頁和應用程式互動。

Claude Computer Use Demo:一個聊天面板警告絕不要提供對敏感帳戶或資料的存取權限,旁邊是 Firefox。

設定過程相當簡單,完整的設定指南可在 GitHub 上的 Anthropic quickstarts 儲存庫中取得。這個參考實作提供了您在安全、受控環境中開始嘗試 Claude 電腦使用功能所需的一切。