Chargement

Comment fonctionne l'utilisation de l'ordinateur

Leçon 643 min
Chargement

L'utilisation de l'ordinateur dans Claude fonctionne exactement comme l'utilisation d'outils classique : elle repose sur les mêmes bases que celles que vous connaissez déjà. La principale différence est qu'au lieu d'appeler une API météo ou une fonction de base de données, Claude effectue des requêtes pour contrôler une interface informatique.

Rappel sur l'utilisation d'outils

Avant de plonger dans l'utilisation de l'ordinateur, passons rapidement en revue le fonctionnement standard de l'utilisation d'outils. Lorsque vous souhaitez que Claude utilise un outil, vous envoyez une requête qui comprend à la fois un message utilisateur et un schéma d'outil. Le schéma d'outil décrit les fonctionnalités supplémentaires que vous souhaitez exposer à Claude.

Notre serveur envoie à Claude le message « Quel temps fait-il à San Francisco ? » ainsi que le schéma d'outil get_weather_schema.

Voici le flux habituel :

  1. Vous envoyez à Claude une question ainsi que les schémas d'outils disponibles
  2. Claude analyse la requête et décide qu'il a besoin d'utiliser un outil
  3. Claude répond avec une demande d'utilisation d'outil contenant le nom de l'outil et les entrées requises
  4. Votre serveur exécute la fonction de l'outil et renvoie le résultat
  5. Vous renvoyez le résultat de l'outil à Claude

Notre serveur envoie get_weather_schema ; Claude répond avec un toolUse nommant get_weather, et notre fonction renvoie « Ensoleillé ».

Par exemple, si vous posez une question sur la météo à San Francisco, Claude peut appeler une fonction get_weather avec le paramètre de localisation, votre serveur récupère les données météo, et vous renvoyez le résultat à Claude.

Notre serveur pose une question à Claude avec une liste d'outils, Claude décide d'utiliser un outil, nous exécutons du code et renvoyons le résultat.

Utilisation de l'ordinateur : le même flux, un outil différent

L'utilisation de l'ordinateur suit exactement ce même schéma. La différence réside dans ce que « l'outil » fait réellement : au lieu de récupérer des données météo, il simule des interactions informatiques comme des clics de souris et des saisies au clavier.

Trois messages entre notre serveur et Claude pour un outil qui pilote un ordinateur, exécuté dans un conteneur Docker avec Firefox.

Lorsque vous activez l'utilisation de l'ordinateur, vous envoyez à Claude un schéma d'outil spécial qui est automatiquement étendu en coulisses. Ce qui commence comme un simple schéma de votre côté devient une interface complète qui indique à Claude qu'il peut effectuer des actions telles que :

  • Mouvements et clics de souris
  • Saisies au clavier et combinaisons de touches
  • Prise de captures d'écran
  • Défilement et autres interactions avec l'interface

Notre petit schéma computer_20250124 s'étend en un schéma plus long avec les propriétés action, coordinate, duration et text.

Le schéma d'outil que vous envoyez est minimal, mais il se convertit automatiquement en une spécification détaillée qui inclut toutes les capacités d'interaction informatique dont Claude a besoin.

Schéma minimal d'outil informatique avec la taille d'affichage, étendu avec les propriétés « action », « coordinate », « duration » et « text ».

La mise en œuvre technique

Pour que l'utilisation de l'ordinateur fonctionne, vous avez besoin d'un environnement informatique capable d'exécuter de manière programmatique les actions demandées par Claude. L'implémentation de référence utilise un conteneur Docker exécutant Firefox, ainsi qu'un code capable de simuler des frappes au clavier et des mouvements de souris.

Lorsque Claude décide d'interagir avec l'ordinateur, il envoie une demande d'utilisation d'outil tout comme n'importe quel autre outil. Votre serveur reçoit cette demande et exécute l'action correspondante dans l'environnement conteneurisé, qu'il s'agisse de cliquer sur un bouton, de saisir du texte ou de prendre une capture d'écran.

Ce qu'il est important de comprendre, c'est que Claude ne contrôle pas directement un ordinateur. Il effectue des demandes d'outils, et votre infrastructure traduit ces demandes en interactions informatiques réelles.

Pour commencer

Vous n'avez pas besoin de construire cette infrastructure à partir de zéro. Anthropic fournit une implémentation de référence qui gère pour vous toutes les parties complexes.

Installez n'importe quel environnement d'exécution Docker, comme orbstack.dev, récupérez le nom de votre profil AWS depuis le fichier credentials, puis exécutez docker run.

Pour mettre en place l'utilisation de l'ordinateur, vous avez besoin de :

  1. Un environnement d'exécution Docker installé sur votre système
  2. Un profil AWS configuré localement (généralement « default »)
  3. L'implémentation de référence issue du dépôt Anthropic quickstarts

Une fois ces prérequis en place, vous pouvez démarrer le conteneur Docker avec une seule commande. Cela vous donne accès à la même interface que celle présentée dans les démonstrations : une interface de discussion à gauche où vous pouvez parler à Claude, et un environnement de navigateur à droite où Claude peut interagir avec des pages web et des applications.

Claude Computer Use Demo : un panneau de discussion avertissant de ne jamais donner accès à des comptes ou des données sensibles, à côté de Firefox.

Le processus de configuration est simple, et le guide de configuration complet est disponible dans le dépôt Anthropic quickstarts sur GitHub. Cette implémentation de référence fournit tout ce dont vous avez besoin pour commencer à expérimenter les capacités d'utilisation de l'ordinateur de Claude dans un environnement sûr et contrôlé.