加载中
加载中

Claude 中的计算机使用功能与常规的工具使用完全相同——它建立在您已经熟悉的同一基础之上。主要区别在于,Claude 不是在调用天气 API 或数据库函数,而是在发出请求来控制计算机界面。

工具使用回顾

在深入了解计算机使用之前,让我们先快速回顾一下标准的工具使用是如何工作的。当您希望 Claude 使用某个工具时,您会发送一个请求,其中同时包含一条用户消息和一个工具模式(tool schema)。工具模式描述了您想要向 Claude 暴露的附加功能。

我们的服务器向 Claude 发送消息"旧金山的天气怎么样?"以及 get_weather_schema 工具模式。

以下是典型的流程:

  1. 您向 Claude 发送一个问题,连同可用的工具模式
  2. Claude 分析请求并判断需要使用某个工具
  3. Claude 回复一个工具使用请求,其中包含工具名称和所需输入
  4. 您的服务器执行该工具函数并返回结果
  5. 您将工具结果发回给 Claude

我们的服务器发送 get_weather_schema;Claude 回复一个命名为 get_weather 的 toolUse,我们的函数返回"Sunny"。

举例来说,如果您询问旧金山的天气,Claude 可能会调用带有 location 参数的 get_weather 函数,您的服务器获取天气数据,然后将结果返回给 Claude。

我们的服务器向 Claude 提出一个问题,并附带一份工具列表,Claude 决定使用某个工具,我们运行代码并将结果发送回去。

计算机使用:相同的流程,不同的工具

计算机使用遵循完全相同的模式。区别在于"工具"实际所做的事情——它不是获取天气数据,而是模拟鼠标点击和键盘输入等计算机交互操作。

我们的服务器与 Claude 之间针对一个操作计算机的工具进行的三条消息,运行在装有 Firefox 的 Docker 容器中。

当您启用计算机使用功能时,您会向 Claude 发送一个特殊的工具模式,它会在幕后自动扩展。在您这一端起初只是一个简单的模式,最终会变成一个全面的接口,告诉 Claude 它可以执行以下操作:

  • 鼠标移动和点击
  • 键盘输入和组合键
  • 截取屏幕截图
  • 滚动以及其他界面交互

我们的小型 computer_20250124 模式扩展成一个包含 action、coordinate、duration 和 text 属性的较长模式。

您发送的工具模式是最简化的,但它会自动转换为一份详细规格说明,其中包含 Claude 所需的全部计算机交互能力。

带有显示尺寸的最简化计算机工具模式,扩展为"action"、"coordinate"、"duration" 和 "text" 属性。

技术实现

要使计算机使用功能正常工作,您需要一个能够以编程方式执行 Claude 所请求操作的计算环境。参考实现使用了一个运行 Firefox 的 Docker 容器,以及可以模拟按键和鼠标移动的代码。

当 Claude 决定与计算机交互时,它会像使用任何其他工具一样发送一个工具使用请求。您的服务器接收此请求,并在容器化环境中执行相应的操作——无论是点击按钮、输入文本,还是截取屏幕截图。

需要理解的重要一点是,Claude 并不是在直接控制计算机。它是在发出工具请求,而您的基础设施会将这些请求转化为实际的计算机交互。

快速上手

您不需要从零开始构建这套基础设施。Anthropic 提供了一个参考实现,为您处理所有复杂的部分。

安装任意 Docker 运行时,例如 orbstack.dev,从凭证文件中获取您的 AWS 配置文件名称,然后运行 docker run。

要设置计算机使用功能,您需要:

  1. 在系统上安装 Docker 运行时
  2. 在本地配置一个 AWS 配置文件(通常为 "default")
  3. 来自 Anthropic quickstarts 代码仓库的参考实现

一旦具备了这些前提条件,您只需一条命令就可以启动 Docker 容器。这将为您提供与演示中所展示的相同界面——左侧是一个聊天界面,您可以在其中与 Claude 交谈;右侧是一个浏览器环境,Claude 可以在其中与网页和应用程序进行交互。

Claude Computer Use Demo:一个聊天面板,警告切勿提供对敏感账户或数据的访问权限,旁边是 Firefox。

设置过程非常简单,完整的设置指南可在 GitHub 上的 Anthropic quickstarts 代码仓库中找到。这个参考实现提供了您在安全、受限的环境中开始体验 Claude 的计算机使用功能所需的一切。