Claudeにおけるコンピューター操作は、通常のツール使用とまったく同じように機能します。これはすでに慣れ親しんだものと同じ基盤の上に構築されています。主な違いは、天気APIやデータベース関数を呼び出す代わりに、Claudeがコンピューターのインターフェースを制御するためのリクエストを行うという点です。
ツール使用の復習
コンピューター操作に入る前に、標準的なツール使用がどのように機能するかを簡単に復習しましょう。Claudeにツールを使用させたい場合、ユーザーメッセージとツールスキーマの両方を含むリクエストを送信します。ツールスキーマは、Claudeに公開したい追加の機能を記述するものです。

典型的な流れは次のとおりです。
- 利用可能なツールスキーマとともに質問をClaudeに送信します
- Claudeはリクエストを分析し、ツールを使用する必要があると判断します
- Claudeはツール名と必要な入力を含むツール使用リクエストで応答します
- サーバーがツール関数を実行し、結果を返します
- ツールの結果をClaudeに送り返します

たとえば、サンフランシスコの天気について尋ねた場合、Claudeはlocationパラメータを使ってget_weather関数を呼び出し、サーバーが天気データを取得し、その結果をClaudeに返します。

Computer Use: 同じ流れ、異なるツール
コンピューター操作もまったく同じパターンに従います。異なるのは「ツール」が実際に何を行うかという点です。天気データを取得する代わりに、マウスクリックやキーボード入力などのコンピューター操作をシミュレートします。

コンピューター操作を有効にすると、裏側で自動的に拡張される特殊なツールスキーマをClaudeに送信します。あなたの側ではシンプルなスキーマとして始まりますが、それは次のような操作を実行できることをClaudeに伝える包括的なインターフェースになります。
- マウスの移動とクリック
- キーボード入力とキーの組み合わせ
- スクリーンショットの撮影
- スクロールおよびその他のインターフェース操作

送信するツールスキーマは最小限のものですが、それはClaudeが必要とするすべてのコンピューター操作機能を含む詳細な仕様に自動的に変換されます。

技術的な実装
コンピューター操作を機能させるには、Claudeが要求するアクションをプログラムで実行できるコンピューティング環境が必要です。リファレンス実装では、Firefoxを実行するDockerコンテナと、キー押下やマウスの動きをシミュレートできるコードを使用しています。
Claudeがコンピューターとの操作を決定すると、他のツールと同様にツール使用リクエストを送信します。サーバーはこのリクエストを受け取り、コンテナ化された環境内で対応するアクションを実行します。それがボタンのクリックであれ、テキストの入力であれ、スクリーンショットの撮影であれ同様です。
理解しておくべき重要な点は、Claudeが直接コンピューターを制御しているわけではないということです。Claudeはツールリクエストを行い、あなたのインフラがそれらのリクエストを実際のコンピューター操作に変換しているのです。
はじめに
このインフラをゼロから構築する必要はありません。Anthropicは、複雑な部分をすべて処理してくれるリファレンス実装を提供しています。

コンピューター操作を設定するには、以下が必要です。
- システムにインストールされたDockerランタイム
- ローカルで設定されたAWSプロファイル(通常は「default」)
- Anthropic quickstartsリポジトリのリファレンス実装
これらの前提条件がそろえば、単一のコマンドでDockerコンテナを起動できます。これにより、デモンストレーションで示されているものと同じインターフェースにアクセスできます。左側にはClaudeと話せるチャットインターフェース、右側にはClaudeがウェブページやアプリケーションと対話できるブラウザ環境があります。

設定プロセスは簡単で、完全な設定ガイドはGitHub上のAnthropic quickstartsリポジトリで入手できます。このリファレンス実装は、安全で隔離された環境でClaudeのコンピューター操作機能の実験を始めるために必要なすべてを提供します。