加载中
加载中

计算机使用(Computer use)是一项强大的功能,它让 Claude 能够直接与桌面环境交互,本质上赋予了它像人类一样操控计算机的能力。这为自动化、测试以及超越简单文本生成的复杂工作流开辟了全新的可能性。

三个阶段的路线图:计算机使用的演示、计算机使用的工作原理,以及搭建参考实现。

计算机使用能做什么

Claude 不再只是描述该做什么或生成代码,而是可以通过以下方式实际执行任务:

  • 截取屏幕截图以查看屏幕上的内容
  • 点击按钮和链接
  • 在表单和应用程序中输入文本
  • 在不同的应用程序和浏览器标签页之间导航
  • 遵循需要视觉反馈的多步骤流程

这使它在需要与用户界面交互并验证一切是否按预期工作的任务(例如质量保证测试)中尤为有价值。

真实案例:自动化 QA 测试

下面是一个实际场景,展示了计算机使用的强大之处。假设您构建了一个带有自动补全功能的 React 组件——用户可以输入 @ 来提及文件或资源。这个组件乍一看似乎运行正常,但您想对其进行彻底的边缘情况测试。

标题为"您想构建什么?"的文本区域,内容为"Test"以及一个提及标签"@document.pdf",光标位于其后。

与其自己手动测试每个场景,您可以让 Claude 借助计算机使用来处理 QA 流程。您为 Claude 提供具体的测试用例来执行:

  1. 验证输入"Did you read @"是否会显示自动补全选项
  2. 测试按下 Enter 键是否能正确地将提及添加到文本区域
  3. 检查添加提及后按下退格键,是否会在正确位置显示自动补全列表

Claude 调用 computer 工具,动作为"key",文本为"Return","@document.pdf"随后在文本区域中变成了一个提及。

Claude 将系统性地逐一完成每个测试用例,截取屏幕截图、与界面交互,并记录发生的情况。在这个例子中,Claude 发现前两项测试通过了,但第三项测试失败了——当用户按下退格键时,自动补全下拉菜单出现在了错误的位置。

Claude 的报告:退格自动补全定位测试失败,"document.pdf"列表显示在页面顶部。

测试流程是如何工作的

当您给 Claude 分配一项测试任务时,它会遵循一套结构化的方法:

  • 打开浏览器并导航到您的应用程序
  • 逐步执行每个测试用例
  • 截取屏幕截图以验证视觉行为
  • 在测试之间刷新页面以确保状态干净
  • 记录结果,说明通过或失败的具体细节
  • 提供一份带有可操作发现的总结报告

关键优势在于,Claude 能够捕捉到您在手动测试中可能遗漏的问题,并且每当您对代码进行更改时,它都能持续一致地运行相同的测试。

设置计算机使用

出于安全考虑,计算机使用在一个隔离环境中运行。典型的设置包括:

  • 一个运行桌面环境的 Docker 容器
  • 一个 Claude 可以控制的浏览器实例
  • 一个用于向 Claude 下达指令的聊天界面
  • 与您主系统的完全隔离

这种隔离至关重要,因为这意味着 Claude 可以与应用程序和网站交互,而不会对您的个人数据或系统安全造成任何风险。

计算机使用的最佳实践

在使用计算机使用功能时,请牢记以下准则:

  • 明确说明您希望 Claude 测试或完成的内容
  • 为每项任务提供清晰的成功标准
  • 将复杂的工作流拆分为更小、更易管理的步骤
  • 始终在隔离环境中运行计算机使用
  • 审查 Claude 的发现,并手动验证重要结果

计算机使用代表着 AI 能力向前迈出的重要一步,从生成关于任务的文本,转变为实际执行任务。无论您是在进行 QA 测试、自动化重复性工作流,还是探索复杂的应用程序,它都能节省大量时间,同时提供一致且有据可查的结果。