로드 중
로드 중

Claude에서의 computer use는 일반적인 도구 사용과 정확히 동일한 방식으로 작동합니다. 이미 익숙한 것과 같은 기반 위에 구축되어 있습니다. 핵심적인 차이는 날씨 API나 데이터베이스 함수를 호출하는 대신, Claude가 컴퓨터 인터페이스를 제어하기 위한 요청을 한다는 점입니다.

도구 사용 복습

computer use를 자세히 살펴보기 전에, 표준 도구 사용이 어떻게 작동하는지 간단히 복습해 보겠습니다. Claude가 도구를 사용하도록 하려면, 사용자 메시지와 도구 스키마를 모두 포함한 요청을 보냅니다. 도구 스키마는 Claude에게 노출하고자 하는 추가 기능을 설명합니다.

우리 서버가 Claude에게 "샌프란시스코의 날씨는 어떤가요?"라는 메시지와 get_weather_schema 도구 스키마를 보냅니다.

일반적인 흐름은 다음과 같습니다:

  1. 사용 가능한 도구 스키마와 함께 Claude에게 질문을 보냅니다
  2. Claude가 요청을 분석하고 도구를 사용해야 한다고 판단합니다
  3. Claude가 도구 이름과 필요한 입력값을 포함한 도구 사용 요청으로 응답합니다
  4. 서버가 도구 함수를 실행하고 결과를 반환합니다
  5. 도구 결과를 Claude에게 다시 보냅니다

우리 서버가 get_weather_schema를 보내고, Claude는 get_weather를 지정하는 toolUse로 응답하며, 우리 함수는 "Sunny"를 반환합니다.

예를 들어, 샌프란시스코의 날씨에 대해 질문하면 Claude는 location 매개변수를 사용해 get_weather 함수를 호출할 수 있고, 서버는 날씨 데이터를 가져와 그 결과를 Claude에게 반환합니다.

우리 서버가 도구 목록과 함께 Claude에게 질문을 하고, Claude는 도구를 사용하기로 결정하며, 우리는 코드를 실행하고 결과를 다시 보냅니다.

Computer Use: 같은 흐름, 다른 도구

computer use는 이와 정확히 동일한 패턴을 따릅니다. 차이점은 "도구"가 실제로 수행하는 작업에 있습니다 - 날씨 데이터를 가져오는 대신, 마우스 클릭이나 키보드 입력 같은 컴퓨터 상호작용을 시뮬레이션합니다.

컴퓨터를 조작하는 도구를 위해 우리 서버와 Claude 사이에 오가는 세 개의 메시지로, Firefox가 설치된 Docker 컨테이너에서 실행됩니다.

computer use를 활성화하면, 뒤에서 자동으로 확장되는 특수한 도구 스키마를 Claude에게 보내게 됩니다. 사용자 측에서는 단순한 스키마로 시작하지만, 이는 Claude에게 다음과 같은 작업을 수행할 수 있다고 알려주는 포괄적인 인터페이스가 됩니다:

  • 마우스 이동 및 클릭
  • 키보드 입력 및 키 조합
  • 스크린샷 촬영
  • 스크롤 및 기타 인터페이스 상호작용

우리의 작은 computer_20250124 스키마가 action, coordinate, duration, text 속성을 가진 긴 스키마로 확장됩니다.

보내는 도구 스키마는 최소한의 형태지만, Claude에게 필요한 모든 컴퓨터 상호작용 기능을 포함하는 세부 사양으로 자동 변환됩니다.

화면 크기를 포함한 최소한의 computer 도구 스키마가 "action", "coordinate", "duration", "text" 속성으로 확장됩니다.

기술적 구현

computer use가 작동하려면 Claude가 요청하는 작업을 프로그래밍 방식으로 실행할 수 있는 컴퓨팅 환경이 필요합니다. 참조 구현은 Firefox를 실행하는 Docker 컨테이너와, 키 입력 및 마우스 이동을 시뮬레이션할 수 있는 코드를 사용합니다.

Claude가 컴퓨터와 상호작용하기로 결정하면, 다른 도구와 마찬가지로 도구 사용 요청을 보냅니다. 서버는 이 요청을 받아 컨테이너화된 환경에서 해당 작업을 실행합니다 - 버튼을 클릭하거나, 텍스트를 입력하거나, 스크린샷을 촬영하는 작업일 수 있습니다.

이해해야 할 중요한 점은 Claude가 컴퓨터를 직접 제어하는 것이 아니라는 것입니다. Claude는 도구 요청을 만들고, 여러분의 인프라가 그 요청을 실제 컴퓨터 상호작용으로 변환합니다.

시작하기

이 인프라를 처음부터 직접 구축할 필요는 없습니다. Anthropic은 복잡한 부분을 모두 처리해 주는 참조 구현을 제공합니다.

orbstack.dev 같은 Docker 런타임을 설치하고, 자격 증명 파일에서 AWS 프로필 이름을 가져온 다음, docker run을 실행합니다.

computer use를 설정하려면 다음이 필요합니다:

  1. 시스템에 설치된 Docker 런타임
  2. 로컬에 구성된 AWS 프로필 (보통 "default")
  3. Anthropic quickstarts 저장소의 참조 구현

이러한 전제 조건을 갖추면, 단일 명령으로 Docker 컨테이너를 시작할 수 있습니다. 이를 통해 시연에서 보여준 것과 동일한 인터페이스에 접근할 수 있습니다 - 왼쪽에는 Claude와 대화할 수 있는 채팅 인터페이스가, 오른쪽에는 Claude가 웹 페이지와 애플리케이션을 상호작용할 수 있는 브라우저 환경이 있습니다.

Claude Computer Use 데모: 민감한 계정이나 데이터에 대한 접근을 절대 허용하지 말라고 경고하는 채팅 패널과 그 옆의 Firefox.

설정 과정은 간단하며, 전체 설정 가이드는 GitHub의 Anthropic quickstarts 저장소에서 확인할 수 있습니다. 이 참조 구현은 안전하고 격리된 환경에서 Claude의 computer use 기능을 실험해 보는 데 필요한 모든 것을 제공합니다.