読み込み中

Computer Useの仕組み

レッスン 643 分
読み込み中

Claudeにおけるコンピューター操作は、通常のツール使用とまったく同じように機能します。これはすでに慣れ親しんだものと同じ基盤の上に構築されています。主な違いは、天気APIやデータベース関数を呼び出す代わりに、Claudeがコンピューターのインターフェースを制御するためのリクエストを行うという点です。

ツール使用の復習

コンピューター操作に入る前に、標準的なツール使用がどのように機能するかを簡単に復習しましょう。Claudeにツールを使用させたい場合、ユーザーメッセージとツールスキーマの両方を含むリクエストを送信します。ツールスキーマは、Claudeに公開したい追加の機能を記述するものです。

私たちのサーバーはClaudeに「サンフランシスコの天気は?」というメッセージとget_weather_schemaツールスキーマを送信します。

典型的な流れは次のとおりです。

  1. 利用可能なツールスキーマとともに質問をClaudeに送信します
  2. Claudeはリクエストを分析し、ツールを使用する必要があると判断します
  3. Claudeはツール名と必要な入力を含むツール使用リクエストで応答します
  4. サーバーがツール関数を実行し、結果を返します
  5. ツールの結果をClaudeに送り返します

私たちのサーバーはget_weather_schemaを送信し、Claudeはget_weatherという名前のtoolUseで応答し、私たちの関数は「Sunny」を返します。

たとえば、サンフランシスコの天気について尋ねた場合、Claudeはlocationパラメータを使ってget_weather関数を呼び出し、サーバーが天気データを取得し、その結果をClaudeに返します。

私たちのサーバーはツールのリストとともに質問をClaudeにし、Claudeはツールを使用することを決定し、私たちはコードを実行して結果を送り返します。

Computer Use: 同じ流れ、異なるツール

コンピューター操作もまったく同じパターンに従います。異なるのは「ツール」が実際に何を行うかという点です。天気データを取得する代わりに、マウスクリックやキーボード入力などのコンピューター操作をシミュレートします。

Dockerコンテナ内でFirefoxを実行し、コンピューターを操作するツールについて、私たちのサーバーとClaudeの間で交わされる3つのメッセージ。

コンピューター操作を有効にすると、裏側で自動的に拡張される特殊なツールスキーマをClaudeに送信します。あなたの側ではシンプルなスキーマとして始まりますが、それは次のような操作を実行できることをClaudeに伝える包括的なインターフェースになります。

  • マウスの移動とクリック
  • キーボード入力とキーの組み合わせ
  • スクリーンショットの撮影
  • スクロールおよびその他のインターフェース操作

私たちの小さなcomputer_20250124スキーマは、action、coordinate、duration、textプロパティを持つ長いスキーマに展開されます。

送信するツールスキーマは最小限のものですが、それはClaudeが必要とするすべてのコンピューター操作機能を含む詳細な仕様に自動的に変換されます。

ディスプレイサイズを含む最小限のcomputerツールスキーマが、「action」、「coordinate」、「duration」、「text」プロパティに展開されます。

技術的な実装

コンピューター操作を機能させるには、Claudeが要求するアクションをプログラムで実行できるコンピューティング環境が必要です。リファレンス実装では、Firefoxを実行するDockerコンテナと、キー押下やマウスの動きをシミュレートできるコードを使用しています。

Claudeがコンピューターとの操作を決定すると、他のツールと同様にツール使用リクエストを送信します。サーバーはこのリクエストを受け取り、コンテナ化された環境内で対応するアクションを実行します。それがボタンのクリックであれ、テキストの入力であれ、スクリーンショットの撮影であれ同様です。

理解しておくべき重要な点は、Claudeが直接コンピューターを制御しているわけではないということです。Claudeはツールリクエストを行い、あなたのインフラがそれらのリクエストを実際のコンピューター操作に変換しているのです。

はじめに

このインフラをゼロから構築する必要はありません。Anthropicは、複雑な部分をすべて処理してくれるリファレンス実装を提供しています。

orbstack.devなどのDockerランタイムをインストールし、認証情報ファイルからAWSプロファイル名を取得し、docker runを実行します。

コンピューター操作を設定するには、以下が必要です。

  1. システムにインストールされたDockerランタイム
  2. ローカルで設定されたAWSプロファイル(通常は「default」)
  3. Anthropic quickstartsリポジトリのリファレンス実装

これらの前提条件がそろえば、単一のコマンドでDockerコンテナを起動できます。これにより、デモンストレーションで示されているものと同じインターフェースにアクセスできます。左側にはClaudeと話せるチャットインターフェース、右側にはClaudeがウェブページやアプリケーションと対話できるブラウザ環境があります。

Claude Computer Use Demo: 機密性の高いアカウントやデータへのアクセスを決して許可しないよう警告するチャットパネルが、Firefoxの隣に表示されています。

設定プロセスは簡単で、完全な設定ガイドはGitHub上のAnthropic quickstartsリポジトリで入手できます。このリファレンス実装は、安全で隔離された環境でClaudeのコンピューター操作機能の実験を始めるために必要なすべてを提供します。