Wird geladen

Wie Computer Use funktioniert

Lektion 643 Min.
Wird geladen

Computer Use in Claude funktioniert genau wie normale Tool-Nutzung – es baut auf demselben Fundament auf, das dir bereits vertraut ist. Der entscheidende Unterschied besteht darin, dass Claude statt einer Wetter-API oder einer Datenbankfunktion Anfragen zur Steuerung einer Computeroberfläche stellt.

Auffrischung zur Tool-Nutzung

Bevor wir uns näher mit Computer Use befassen, wollen wir kurz wiederholen, wie die standardmäßige Tool-Nutzung funktioniert. Wenn du möchtest, dass Claude ein Tool verwendet, sendest du eine Anfrage, die sowohl eine Benutzernachricht als auch ein Tool-Schema enthält. Das Tool-Schema beschreibt die zusätzliche Funktionalität, die du Claude zur Verfügung stellen möchtest.

Unser Server sendet Claude die Nachricht „Wie ist das Wetter in San Francisco?" und das get_weather_schema-Tool-Schema.

Hier ist der typische Ablauf:

  1. Du sendest Claude eine Frage zusammen mit den verfügbaren Tool-Schemas
  2. Claude analysiert die Anfrage und entscheidet, dass es ein Tool verwenden muss
  3. Claude antwortet mit einer Tool-Nutzungsanfrage, die den Tool-Namen und die erforderlichen Eingaben enthält
  4. Dein Server führt die Tool-Funktion aus und gibt das Ergebnis zurück
  5. Du sendest das Tool-Ergebnis zurück an Claude

Unser Server sendet get_weather_schema; Claude antwortet mit einem toolUse, das get_weather nennt, und unsere Funktion gibt „Sonnig" zurück.

Wenn du zum Beispiel nach dem Wetter in San Francisco fragst, könnte Claude eine get_weather-Funktion mit dem Standortparameter aufrufen, dein Server ruft die Wetterdaten ab und du gibst das Ergebnis an Claude zurück.

Unser Server stellt Claude eine Frage mit einer Liste von Tools, Claude entscheidet sich, ein Tool zu verwenden, wir führen Code aus und senden das Ergebnis zurück.

Computer Use: Gleicher Ablauf, anderes Tool

Computer Use folgt genau diesem Muster. Der Unterschied liegt darin, was das „Tool" tatsächlich tut – statt Wetterdaten abzurufen, simuliert es Computerinteraktionen wie Mausklicks und Tastatureingaben.

Drei Nachrichten zwischen unserem Server und Claude für ein Tool, das einen Computer steuert, ausgeführt in einem Docker-Container mit Firefox.

Wenn du Computer Use aktivierst, sendest du Claude ein spezielles Tool-Schema, das im Hintergrund automatisch erweitert wird. Was auf deiner Seite als einfaches Schema beginnt, wird zu einer umfassenden Schnittstelle, die Claude mitteilt, dass es Aktionen wie die folgenden ausführen kann:

  • Mausbewegungen und -klicks
  • Tastatureingaben und Tastenkombinationen
  • Screenshots aufnehmen
  • Scrollen und andere Interaktionen mit der Benutzeroberfläche

Unser kleines computer_20250124-Schema erweitert sich zu einem langen mit den Eigenschaften action, coordinate, duration und text.

Das Tool-Schema, das du sendest, ist minimal, wird aber automatisch in eine detaillierte Spezifikation umgewandelt, die alle Fähigkeiten zur Computerinteraktion enthält, die Claude benötigt.

Minimales Computer-Tool-Schema mit Anzeigegröße, erweitert auf die Eigenschaften „action", „coordinate", „duration" und „text".

Die technische Umsetzung

Damit Computer Use funktioniert, benötigst du eine Computerumgebung, die die von Claude angeforderten Aktionen programmgesteuert ausführen kann. Die Referenzimplementierung verwendet einen Docker-Container mit Firefox sowie Code, der Tastenanschläge und Mausbewegungen simulieren kann.

Wenn Claude entscheidet, mit dem Computer zu interagieren, sendet es eine Tool-Nutzungsanfrage – genau wie bei jedem anderen Tool. Dein Server empfängt diese Anfrage und führt die entsprechende Aktion in der containerisierten Umgebung aus – sei es ein Klick auf eine Schaltfläche, die Eingabe von Text oder das Aufnehmen eines Screenshots.

Wichtig zu verstehen ist, dass Claude einen Computer nicht direkt steuert. Es stellt Tool-Anfragen, und deine Infrastruktur übersetzt diese Anfragen in tatsächliche Computerinteraktionen.

Erste Schritte

Du musst diese Infrastruktur nicht von Grund auf selbst aufbauen. Anthropic stellt eine Referenzimplementierung bereit, die all die komplizierten Teile für dich übernimmt.

Installiere eine beliebige Docker-Laufzeitumgebung, etwa orbstack.dev, hole dir deinen AWS-Profilnamen aus der Anmeldedatendatei und führe dann docker run aus.

Um Computer Use einzurichten, benötigst du:

  1. Eine auf deinem System installierte Docker-Laufzeitumgebung
  2. Ein lokal konfiguriertes AWS-Profil (normalerweise „default")
  3. Die Referenzimplementierung aus dem Anthropic-Quickstarts-Repository

Sobald du diese Voraussetzungen erfüllst, kannst du den Docker-Container mit einem einzigen Befehl starten. Dadurch erhältst du Zugriff auf dieselbe Oberfläche, die in den Demonstrationen gezeigt wird – eine Chat-Oberfläche auf der linken Seite, über die du mit Claude sprechen kannst, und eine Browserumgebung auf der rechten Seite, in der Claude mit Webseiten und Anwendungen interagieren kann.

Claude Computer Use Demo: ein Chat-Panel mit der Warnung, niemals Zugriff auf sensible Konten oder Daten zu gewähren, neben Firefox.

Der Einrichtungsprozess ist unkompliziert, und die vollständige Einrichtungsanleitung ist im Anthropic-Quickstarts-Repository auf GitHub verfügbar. Diese Referenzimplementierung liefert alles, was du benötigst, um in einer sicheren, abgeschotteten Umgebung mit den Computer-Use-Fähigkeiten von Claude zu experimentieren.