AI Agent Lab

Cua는 에이전트가 아니라 '손과 컴퓨터'다: 비슷한 도구들과 비교

컴퓨터 조작 도구 Cua를 Claude Cowork, ChatGPT Work, UI-TARS Desktop, Microsoft UFO, E2B Desktop, 브라우저 에이전트와 비교합니다. 백그라운드 조작, 권한 모드, Cua-Bench 결과와 약점까지 공식 자료 기준으로 정리했습니다.

컴퓨터를 대신 조작해 주는 AI 도구를 찾다 보면 Cua(cua.ai, GitHub trycua/cua)가 자주 보입니다. 그런데 Cua는 에이전트 자체가 아닙니다. Claude Code나 Hermes 같은 에이전트에 붙이는 “손과 컴퓨터”에 가깝습니다. 그래서 완성형 에이전트 제품과 줄 세우기보다는 같은 역할을 하는 도구들과 비교하는 편이 정확합니다.

기준일. 이 글의 제품 정보, 버전, 벤치마크 수치는 2026년 9월 기준으로 각 회사의 공식 페이지와 문서에서 확인한 내용입니다. 이 분야는 변화가 빨라서 읽는 시점에는 달라져 있을 수 있습니다. 링크는 글 끝 출처에 모아 두었습니다.

비교 대상 한눈에 보기

분류 예시 Cua와 다른 점
완성형 업무 에이전트 Claude Cowork, ChatGPT Work 모델과 에이전트가 한 회사 제품으로 묶여 있습니다. Cua는 이미 쓰는 에이전트에 붙이는 방식입니다
에이전트를 앱이나 프레임워크로 제공하는 도구 ByteDance UI-TARS Desktop, Microsoft UFO UI-TARS Desktop은 자사 UI-TARS 모델 중심입니다. UFO는 Windows 자동화에서 출발했고 지금은 여러 기기로 넓히는 중입니다
가상 컴퓨터 클라우드 E2B Desktop 데스크톱 샌드박스는 Ubuntu 22.04 + XFCE 기반입니다
브라우저 중심 Browser-Use, Aside 웹 작업이 중심이라 데스크톱 앱 조작은 범위 밖입니다

표의 근거는 다음과 같습니다.

  • ChatGPT Work는 OpenAI 설명대로 “ChatGPT에 실제 업무를 맡기는 방식”입니다. 파일, 플러그인, 승인한 도구를 쓰고, 데스크톱 앱에서는 로컬 파일, 앱, 내장 브라우저까지 다룹니다. (OpenAI 문서)
  • Claude Cowork는 Anthropic이 “Claude에게 실제 일을 맡기는 곳”이라고 소개합니다. 사용자가 고른 파일과 도구 안에서 여러 단계 작업을 처음부터 끝까지 처리하는 데스크톱 중심 제품입니다. (Claude Cowork)
  • UI-TARS Desktop은 README에서 스스로를 “UI-TARS 모델 기반의 네이티브 GUI 에이전트를 제공하는 데스크톱 앱”으로 설명합니다. (GitHub)
  • Microsoft UFO는 UFO²가 “Single Windows automation”을, UFO³ Galaxy가 여러 기기에 걸친 협업 워크플로를 맡는 구조입니다. UFO는 자체 모델이 아니라 GPT-4o 같은 외부 LLM을 설정해서 씁니다. (GitHub)
  • E2B의 컴퓨터 사용 가이드는 에이전트가 만드는 데스크톱 샌드박스를 “Ubuntu 22.04 환경에 XFCE 데스크톱과 기본 앱이 설치된 것”으로 설명합니다. (E2B 문서)
  • Browser-Use는 “브라우저를 쓰는 에이전트”와 원격 브라우저 인프라를, Aside는 AI 브라우저와 그 안의 브라우저 에이전트를 내세웁니다. (Browser-Use, Aside)

Cua만의 차별점

1. 사용자와 동시에 쓸 수 있는 백그라운드 조작 (가장 큰 차이)

  • 흔한 컴퓨터 조작 에이전트는 화면을 찍고 좌표를 누릅니다. 그동안 마우스와 포커스는 에이전트 차지입니다.
  • Cua Driver는 화면 전체가 아니라 지정한 창에 입력을 보냅니다. 공식 소개 문구는 “시스템 커서를 움직이지 않고 선택한 창에 입력을 보낸다”입니다. (Cua Driver)
  • 문서는 이것을 “best-effort background”라고 부릅니다. 기본 경로에서는 실제 마우스 포인터를 옮기지 않고, 대상 창을 앞으로 올리지도 않고, 사용자가 보던 앱도 바꾸지 않습니다. 화면에 보이는 에이전트 커서는 감독용 오버레이입니다. (문서)
  • 그래서 사용자가 다른 일을 하는 동안 에이전트가 옆 창에서 작업할 수 있습니다. 계산기처럼 단순한 앱으로 먼저 시험해 보면 이 차이가 바로 보입니다.
  • 다만 “best-effort”라는 이름대로 모든 앱에서 되는 것은 아닙니다. 포커스가 있어야만 입력을 받는 앱은 그 동작 하나만 전경(foreground)으로 재시도해야 합니다.

2. 에이전트와 모델을 가리지 않음

  • MCP 서버와 CLI(명령줄 도구) 형태로 제공됩니다. GitHub README에는 Claude Code, Cursor, Codex, OpenClaw 같은 클라이언트에서 같은 CLI와 MCP 서버를 쓴다고 나옵니다. (GitHub)
  • Cua Driver 페이지는 이 드라이버가 Hermes, Clicky, H Company, Factory Droid의 컴퓨터 조작 기능을 돌리고 있다고 밝힙니다. 회사 블로그에는 Qwen Code도 채택 사례로 나옵니다. (Cua Driver, Cua 블로그)
  • Hermes 쪽 문서도 기본 computer_use 도구 모음이 stdio MCP로 cua-driver와 통신한다고 적고 있습니다. (Hermes Agent 문서)
  • 다른 에이전트 제품들이 Cua Driver를 부품으로 가져다 쓰고 있다는 뜻입니다.

3. 운영체제 4종을 한 가지 방식으로 다룸

  • 공식 사이트 설명으로는 하나의 API로 Linux, Windows, macOS, Android 머신을 로컬 런타임이나 Cua Cloud에서 띄웁니다. 로컬 백엔드로는 Docker, QEMU, Apple VZ를 씁니다. (cua.ai)
  • 클라우드 macOS가 특히 드뭅니다. Cua는 이것을 “특허받은 가상화 스택(patented virtualization stack)” 위에서 돌린다고 설명합니다. 특허 번호 같은 세부 내용은 공개 페이지에서 확인하지 못했습니다. (Cloud macOS)
  • 비교하면 E2B의 데스크톱 샌드박스는 앞서 본 것처럼 Ubuntu 기반입니다.

4. 코드 실행과 화면 조작을 한 컴퓨터에서

  • 같은 샌드박스 안에서 셸이나 파이썬으로 파일을 준비하고, 그 결과를 앱 화면에서 클릭으로 처리할 수 있습니다.
  • Cua 문서 표현으로는 “코드 쪽과 GUI 쪽이 하나의 파일 시스템, 하나의 프로세스 집합, 하나의 OS 상태를 공유”합니다. (How sandboxes work)
  • 회사는 이 접근을 Computer-Use 2.0이라고 부릅니다. GUI를 코드, 셸, 파일, API와 나란히 놓인 도구 하나로 다룬다는 뜻입니다. (Cua 문서, Cua 블로그)

5. 평가와 학습까지 한 세트

  • Cua-Bench는 과제의 시작 상태, 정답 절차(oracle), 채점기(evaluator)를 한 묶음으로 정의합니다. 과제를 돌리기 전에 정답 절차가 채점기를 통과하는지 먼저 확인해서, 과제나 채점기가 잘못 만들어지지 않았는지 검증하는 흐름입니다. (과제 수명 주기, 과제 실행과 검증)
  • Cua Fleets는 미리 부팅해 둔 머신을 필요할 때 가져다 쓰는 웜 풀(warm pool) 방식이라 대량 실행에 맞습니다. 직접 돌릴 여유가 없는 팀에는 검증된 작업 궤적(trajectory) 데이터셋을 만들어 주는 서비스도 내놓고 있습니다. (cua.ai)
  • 에이전트를 쓰는 사람보다 에이전트를 만드는 회사에 더 쓸모 있는 부분입니다.

6. 안전장치가 드라이버 안에 있음

  • 권한 모드는 세 가지입니다. standard(기본), bounded(승인한 매니페스트 범위 밖은 모두 거부), unrestricted(위험 확인 후 승인 절차 생략, 일회용이나 완전히 신뢰하는 환경용). (Permission modes)
  • bounded 모드에서는 매니페스트에 적은 도구, 앱, 브라우저 출처(origin), 폴더만 허용됩니다. 별도 정책 파일(YAML/Rego)로 도구 허용 목록도 만들 수 있고 기본값은 거부입니다. (설치 가이드, 권한 정책)
  • 안전하게 할 수 없는 동작은 성공한 척하지 않고 명시적으로 거부합니다. 플랫폼 지원 문서에는 합성 입력을 받지 않는 툴킷에 “조용한 성공 대신 명시적 거부”를 돌려준다고 적혀 있습니다. (Platform Support)
  • 다만 문서 스스로도 매니페스트는 런타임 하나의 도구 범위를 제한할 뿐, 컴퓨터 전체를 감싸는 샌드박스가 아니라고 경고합니다.

약점

  • 기술 수준의 한계: 조작 도구가 좋아도 판단은 결국 모델이 합니다. Cua가 공개한 KiCad 전문가 과제 25개 벤치마크에서 가장 잘한 모델도 6개만 완전히 통과했습니다. 통과한 과제는 모두 기존 회로도를 고치는 작업이었고, 빈 화면에서 회로도를 새로 만드는 데 안정적으로 성공한 모델은 없었습니다. (Cua-Bench 리더보드, 기술 보고서)
  • 작은 팀, 빠른 버전 변화: 회사 소개 페이지에 이름이 오른 팀원은 8명입니다. cua-driver는 2026년 9월 기준 0.29.1(PyPI, 2026-09-26 KST 배포)로 1.0 이전이고, 릴리스가 자주 나옵니다. 문서나 설치 방식이 자주 달라질 수 있습니다. (About, PyPI, GitHub Releases)
  • Windows의 빈틈: Windows는 지원 대상이지만 공식 문서도 “일부 백그라운드 Chromium 제스처와 관리자 권한(elevated-integrity) 경계는 아직 불가능하거나 검증되지 않았다”고 적고 있습니다. (Platform Support)
  • 리눅스 샌드박스만 필요하다면: 이 경우는 E2B가 더 오래 쓰인 선택지입니다. E2B 사이트에는 Manus 공동창업자가 “완전한 가상 컴퓨터가 필요해서 E2B를 쓴다”고 말한 사례가 올라와 있습니다. (E2B)

어떤 환경에 맞을까

  • 웹 작업이 대부분이라면 (SNS 게시, 쇼핑몰이나 마켓 관리, 이미지 핀 정리 등): Aside 같은 브라우저 에이전트가 더 가볍고 편합니다. 설치할 것도 적고, 웹 안에서는 충분히 할 수 있습니다.
  • 데스크톱 앱을 다루거나 “코드 수정 후 실제 화면 확인”이 필요하다면 (Word·PDF 작업, 로컬 앱 점검 등): Claude Code나 Cursor에 Cua Driver를 붙이는 조합이 가장 잘 맞는 영역입니다. 코딩 에이전트가 코드를 고치고, 같은 흐름에서 실제 앱 창을 열어 결과를 확인할 수 있습니다.

그래서 브라우저 에이전트와 Cua Driver는 서로를 대체하는 관계가 아닙니다. 웹은 브라우저 에이전트, 데스크톱과 앱 검증은 Cua Driver로 역할을 나눠 쓰는 조합입니다.

출처

모두 2026년 9월 26일(KST)에 확인했습니다.

Cua

비교 대상

Next Reading

더 읽어보기

AGENTS.md 하나로 Cursor·Claude Code·Codex 규칙을 맞출 수 있을까? 심링크가 필요한 경우 Claude Code(v2.1.277+)·Codex·Cursor는 모두 AGENTS.md를 직접 읽습니다. CLAUDE.md 심링크나 @AGENTS.md import가 필요한 경우와 Windows·git 주의점을 공식 문서와 실행 결과로 정리했습니다. One Cloudflare Worker as a Unified MCP for GitHub, Obsidian, and NotebookLM A practical note on wrapping GitHub, Obsidian Local REST API, and a NotebookLM local bridge behind one small Cloudflare Worker MCP endpoint. Cloudflare Worker로 GitHub, Obsidian, NotebookLM을 하나의 MCP로 묶기 GitHub REST API, Obsidian Local REST API, NotebookLM 로컬 브리지를 하나의 Cloudflare Worker MCP 엔드포인트로 묶을 때 필요한 경계, 인증, 도구 설계 기록.
Comments

댓글

GitHub 계정으로 의견을 남길 수 있습니다. 댓글은 GitHub Discussions에 저장됩니다.