載入中
載入中

電腦使用(Computer use)是一項強大的功能,可讓 Claude 直接與桌面環境互動,本質上賦予它像人類一樣操控電腦的能力。這為自動化、測試以及超越簡單文字生成的複雜工作流程,開啟了全新的可能性。

三個階段的路線圖:電腦使用示範、電腦使用的運作方式,以及設定參考實作。

電腦使用能做什麼

Claude 不再只是描述該做什麼或產生程式碼,而是能夠實際執行任務,方式包括:

  • 截取螢幕畫面以查看螢幕上的內容
  • 點擊按鈕和連結
  • 在表單和應用程式中輸入文字
  • 在不同應用程式和瀏覽器分頁之間導航
  • 遵循需要視覺回饋的多步驟流程

這使其對於品質保證測試等任務特別有價值,因為在這類任務中,您需要與使用者介面互動並驗證一切是否如預期運作。

真實案例:自動化 QA 測試

以下是一個實際場景,展示了電腦使用的強大之處。想像您建置了一個具有自動完成功能的 React 元件——使用者可以輸入 @ 來提及檔案或資源。這個元件乍看之下運作正常,但您想要徹底測試其邊緣情況。

標題為「您想建置什麼?」的文字區域,內含「Test」以及一個提及晶片「@document.pdf」,游標位於其後。

與其自己手動測試每個情境,您可以設定 Claude 使用電腦使用功能來處理 QA 流程。您向 Claude 提供要執行的特定測試案例:

  1. 驗證輸入「Did you read @」會顯示自動完成選項
  2. 測試按下 Enter 鍵能正確將提及項目加入文字區域
  3. 檢查在加入提及項目後按下 Backspace 鍵,會在正確位置顯示自動完成清單

Claude 以動作「key」和文字「Return」呼叫電腦工具,「@document.pdf」在文字區域中變成一個提及項目。

Claude 會系統性地逐一處理每個測試案例,截取螢幕畫面、與介面互動,並記錄發生的情況。在這個範例中,Claude 發現前兩項測試通過,但第三項失敗了——當使用者按下 Backspace 鍵時,自動完成下拉選單出現在錯誤的位置。

Claude 的報告:Backspace 自動完成定位失敗,「document.pdf」清單顯示在頁面頂部。

測試流程如何運作

當您給 Claude 一項測試任務時,它會遵循結構化的方法:

  • 開啟瀏覽器並導航至您的應用程式
  • 逐步執行每個測試案例
  • 截取螢幕畫面以驗證視覺行為
  • 在測試之間重新整理頁面以確保乾淨的狀態
  • 記錄結果,包含通過或失敗的具體細節
  • 提供一份總結報告,附上可採取行動的發現

主要優勢在於,Claude 能夠發現您在手動測試時可能遺漏的問題,並且每次您修改程式碼時,都能一致地執行相同的測試。

設定電腦使用

出於安全考量,電腦使用會在隔離環境中執行。典型的設定包括:

  • 一個執行桌面環境的 Docker 容器
  • 一個 Claude 可以控制的瀏覽器實例
  • 一個您向 Claude 下達指令的聊天介面
  • 與您的主系統完全隔離

這種隔離至關重要,因為這意味著 Claude 可以與應用程式和網站互動,而不會對您的個人資料或系統安全造成任何風險。

電腦使用的最佳實務

在使用電腦使用功能時,請謹記以下準則:

  • 明確說明您希望 Claude 測試或完成的內容
  • 為每項任務提供清楚的成功標準
  • 將複雜的工作流程拆解成較小、可管理的步驟
  • 務必在隔離環境中執行電腦使用
  • 檢視 Claude 的發現,並手動驗證重要結果

電腦使用代表 AI 能力的重大進展,從產生關於任務的文字,轉變為實際執行任務。無論您是在進行 QA 測試、自動化重複性工作流程,還是探索複雜的應用程式,它都能節省大量時間,同時提供一致且有紀錄可查的結果。