Claude 中的计算机使用功能与常规的工具使用完全相同——它建立在您已经熟悉的同一基础之上。主要区别在于,Claude 不是在调用天气 API 或数据库函数,而是在发出请求来控制计算机界面。
工具使用回顾
在深入了解计算机使用之前,让我们先快速回顾一下标准的工具使用是如何工作的。当您希望 Claude 使用某个工具时,您会发送一个请求,其中同时包含一条用户消息和一个工具模式(tool schema)。工具模式描述了您想要向 Claude 暴露的附加功能。

以下是典型的流程:
- 您向 Claude 发送一个问题,连同可用的工具模式
- Claude 分析请求并判断需要使用某个工具
- Claude 回复一个工具使用请求,其中包含工具名称和所需输入
- 您的服务器执行该工具函数并返回结果
- 您将工具结果发回给 Claude

举例来说,如果您询问旧金山的天气,Claude 可能会调用带有 location 参数的 get_weather 函数,您的服务器获取天气数据,然后将结果返回给 Claude。

计算机使用:相同的流程,不同的工具
计算机使用遵循完全相同的模式。区别在于"工具"实际所做的事情——它不是获取天气数据,而是模拟鼠标点击和键盘输入等计算机交互操作。

当您启用计算机使用功能时,您会向 Claude 发送一个特殊的工具模式,它会在幕后自动扩展。在您这一端起初只是一个简单的模式,最终会变成一个全面的接口,告诉 Claude 它可以执行以下操作:
- 鼠标移动和点击
- 键盘输入和组合键
- 截取屏幕截图
- 滚动以及其他界面交互

您发送的工具模式是最简化的,但它会自动转换为一份详细规格说明,其中包含 Claude 所需的全部计算机交互能力。

技术实现
要使计算机使用功能正常工作,您需要一个能够以编程方式执行 Claude 所请求操作的计算环境。参考实现使用了一个运行 Firefox 的 Docker 容器,以及可以模拟按键和鼠标移动的代码。
当 Claude 决定与计算机交互时,它会像使用任何其他工具一样发送一个工具使用请求。您的服务器接收此请求,并在容器化环境中执行相应的操作——无论是点击按钮、输入文本,还是截取屏幕截图。
需要理解的重要一点是,Claude 并不是在直接控制计算机。它是在发出工具请求,而您的基础设施会将这些请求转化为实际的计算机交互。
快速上手
您不需要从零开始构建这套基础设施。Anthropic 提供了一个参考实现,为您处理所有复杂的部分。

要设置计算机使用功能,您需要:
- 在系统上安装 Docker 运行时
- 在本地配置一个 AWS 配置文件(通常为 "default")
- 来自 Anthropic quickstarts 代码仓库的参考实现
一旦具备了这些前提条件,您只需一条命令就可以启动 Docker 容器。这将为您提供与演示中所展示的相同界面——左侧是一个聊天界面,您可以在其中与 Claude 交谈;右侧是一个浏览器环境,Claude 可以在其中与网页和应用程序进行交互。

设置过程非常简单,完整的设置指南可在 GitHub 上的 Anthropic quickstarts 代码仓库中找到。这个参考实现提供了您在安全、受限的环境中开始体验 Claude 的计算机使用功能所需的一切。