Claude 中的電腦使用(Computer Use)運作方式與一般的工具使用完全相同——它建立在您已經熟悉的相同基礎之上。關鍵差異在於,Claude 不是呼叫天氣 API 或資料庫函式,而是發出請求來控制電腦介面。
工具使用複習
在深入探討電腦使用之前,讓我們先快速複習一下標準工具使用的運作方式。當您想要 Claude 使用某個工具時,您會傳送一個包含使用者訊息和工具綱要(tool schema)的請求。工具綱要描述了您想要向 Claude 開放的額外功能。

以下是典型的流程:
- 您向 Claude 傳送一個問題,並附上可用的工具綱要
- Claude 分析請求並判斷需要使用工具
- Claude 回應一個工具使用請求,其中包含工具名稱及所需的輸入
- 您的伺服器執行該工具函式並回傳結果
- 您將工具結果傳回給 Claude

舉例來說,如果您詢問舊金山的天氣,Claude 可能會以 location 參數呼叫 get_weather 函式,您的伺服器擷取天氣資料,然後您將結果回傳給 Claude。

電腦使用:相同流程,不同工具
電腦使用遵循完全相同的模式。差異在於「工具」實際執行的內容——它不是擷取天氣資料,而是模擬滑鼠點擊和鍵盤輸入等電腦互動。

當您啟用電腦使用時,您會向 Claude 傳送一個特殊的工具綱要,它會在背後自動展開。原本在您這端只是一個簡單的綱要,最終會變成一個全面的介面,告訴 Claude 它可以執行以下動作:
- 滑鼠移動與點擊
- 鍵盤輸入與按鍵組合
- 擷取螢幕截圖
- 捲動及其他介面互動

您傳送的工具綱要是最簡化的,但它會自動轉換為一個詳盡的規格,其中包含 Claude 所需的所有電腦互動功能。

技術實作
為了讓電腦使用能夠運作,您需要一個能以程式化方式執行 Claude 所請求動作的運算環境。參考實作使用一個執行 Firefox 的 Docker 容器,以及能夠模擬按鍵和滑鼠移動的程式碼。
當 Claude 決定與電腦互動時,它會像任何其他工具一樣傳送一個工具使用請求。您的伺服器接收此請求,並在容器化環境中執行對應的動作——無論是點擊按鈕、輸入文字,還是擷取螢幕截圖。
需要理解的重點是,Claude 並非直接控制電腦。它只是發出工具請求,而您的基礎架構會將這些請求轉換為實際的電腦互動。
開始使用
您不需要從零開始建置這套基礎架構。Anthropic 提供了一個參考實作,為您處理所有複雜的部分。

若要設定電腦使用,您需要:
- 在系統上安裝 Docker 執行環境
- 在本機配置一個 AWS 設定檔(通常為「default」)
- 來自 Anthropic quickstarts 儲存庫的參考實作
準備好這些先決條件後,您只需一個指令即可啟動 Docker 容器。這會讓您存取與示範中所展示相同的介面——左側是一個聊天介面,您可以在其中與 Claude 對話;右側則是一個瀏覽器環境,Claude 可以在其中與網頁和應用程式互動。

設定過程相當簡單,完整的設定指南可在 GitHub 上的 Anthropic quickstarts 儲存庫中取得。這個參考實作提供了您在安全、受控環境中開始嘗試 Claude 電腦使用功能所需的一切。