자율 컴퓨터: 컴퓨터 사용 에이전트 인프라와 뉴로심볼릭 설계

URL: https://www.youtube.com/watch?v=tyFPqtyOK5w 날짜: 2026-10-11 채널: aiDotEngineer 원제: The Autonomous Computer: Infrastructure for Computer Use Agents — Ang Li, Simular

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==컴퓨터 사용 에이전트가 실제 업무를 맡으려면 확률적인 뉴럴 에이전트와 결정적인 코드 계층을 결합하고, 그 위에 반복 실행·검증·보안 가드레일과 확장 가능한 클라우드 컴퓨터를 얹어야 한다.==

• 화면을 보고 판단하는 VLM(vision-language model)은 적응력이 높지만 같은 작업을 매번 동일하게 수행한다고 보장하기 어렵다.
• SimuLand 같은 코딩 계층은 성공한 경로를 결정적인 코드로 저장해 안정성과 비용 효율을 높인다.
• Sidebox 클라우드 컴퓨터와 SAPI API는 에이전트가 여러 Windows·macOS·Android·Linux 환경을 원격으로 운영하게 한다.

컴퓨터 사용은 API가 공개된 서비스만 호출하는 기존 에이전트와 달리 마우스·키보드·화면·운영체제 UI를 직접 다루므로 레거시 소프트웨어와 비정형 업무까지 자동화할 수 있다. 그러나 실세계의 높은 신뢰성을 얻으려면 스크린샷, 접근성 트리, 코드, 검증 모델, 인간 승인과 같은 여러 계층을 함께 사용해야 한다.

1. 배경과 컴퓨터 사용 에이전트의 정의

30년 동안 컴퓨터와 상호작용해 온 Ang Li는 첫 10년을 매일 코드를 작성하는 컴퓨터 프로그래밍에, 다음 10년을 신경망 훈련과 AI 연구에, 세 번째 10년을 AGI(artificial general intelligence) 문제에 사용했다. 2017년 DeepMind에 합류한 뒤에는 인간처럼 여러 종류의 일을 수행하는 일반 지능 시스템을 연구했다. 이 세 경험이 Simular에 신경망과 코드를 함께 사용하는 뉴로심볼릭(neurosymbolic) 원칙을 심었다.

1.1. 컴퓨터 사용 에이전트가 바꾸는 인터페이스

1. 컴퓨터를 가진 에이전트

   1. 원격 Windows 데스크톱: 사용자가 휴대폰으로 에이전트에게 사진과 “LinkedIn에 올려 달라”는 메시지를 보내면, 에이전트가 전체 Windows 데스크톱에서 마우스와 키보드를 움직여 LinkedIn을 열고 작업한다.
   2. 다중 에이전트: QA 에이전트는 제품을 테스트하고, 리서치 에이전트는 자료를 조사하며, 고객지원 에이전트는 Discord나 지원 채널의 정보를 읽는다. 녹화된 여러 시간의 작업을 짧은 영상으로 압축하면 여러 에이전트가 동시에 움직이는 모습을 확인할 수 있다.

2. API 에이전트와의 차이

   1. 관찰 가능한 컴퓨터 조작: 기존 에이전트는 API를 호출하므로 에이전트가 시각적으로 무엇을 하는지 드러나지 않지만, 컴퓨터 사용 에이전트는 화면을 보고 마우스와 키보드로 조작한다.
   2. API가 없는 영역의 자동화: API가 없는 데스크톱 프로그램, 오래된 ERP, 웹사이트, 모바일 애플리케이션에도 같은 인터페이스로 접근할 수 있어 자동화의 범위가 넓어진다.

1.2. 2023년의 불가능에 가까웠던 출발점

1. GPT-4V 화면 인식 실험

   1. 간단한 클릭 문제: GPT-4V에게 화면에서 iMessage 아이콘을 찾아 클릭하게 했지만, 첫 번째 추론은 틀린 위치를 가리켰고 두 번째는 메일함 아이콘으로 이동했으며 세 번째에서야 iMessage를 맞혔다.
   2. 성공률의 한계: 같은 방식으로 Zoom을 클릭하게 한 실험은 실패했다. iMessage 클릭 성공 사례가 당시 유일한 성공 데모였다는 점에서 컴퓨터 사용은 2023년에는 사실상 해결 불가능한 문제였다.

2. 자율 컴퓨터라는 문제 분해

   1. 자율성(autonomy): 시스템이 컴퓨터의 맥락과 환경을 이해하고, 계획하고, 실수에서 회복하며, 사람이 계속 지켜보지 않아도 작업하는 능력이다.
   2. 컴퓨터(computer): 에이전트가 실제로 사용할 운영체제와 장치의 종류를 뜻한다. 당시에는 이미 모든 사람이 컴퓨터를 가지고 있으므로 컴퓨터 쪽은 쉽다고 보고 자율성에 우선 집중했다.

2. 뉴럴 에이전트의 발전과 신뢰성 문제

자율주행차가 카메라·레이더·신호등을 함께 사용하듯 디지털 컴퓨터도 화면과 구조화된 UI 신호를 함께 사용해야 한다. 마우스와 키보드는 디지털 세계의 조향장치에 해당한다.

2.1. 컴퓨터를 읽는 세 가지 신호

1. 스크린샷(screenshot)

   1. 픽셀 기반 관찰: 사람이 보는 것과 같은 화면을 제공하므로 시각적 위치, 이미지, 화면에 노출된 요소를 파악할 수 있다.
   2. 범용성: 접근성 트리에 노출되지 않는 정보도 볼 수 있지만 픽셀을 정확히 동일한 요소로 매칭하기 어렵다.

2. 접근성 트리(accessibility tree)

   1. 운영체제의 UI 구조: 화면에 창과 아이콘을 렌더링하는 데 사용되는 운영체제 수준의 정보다. 브라우저에 흔한 DOM 트리와 비슷하지만 macOS와 Windows가 서로 다른 형식을 사용한다.
   2. 텍스트 기반 결정성: 버튼과 요소를 ID로 선형화하고 언어 모델에 클릭할 ID를 고르게 하면 화면 픽셀보다 정확한 매칭과 재생이 가능하다.
   3. 노출의 한계: 애플리케이션 개발자가 특정 부분을 접근성 트리에 노출하지 않도록 설정할 수 있으므로 스크린샷으로만 확인되는 정보도 있다.

3. 코드와 환경 상태

   1. 실행 가능한 행동 기록: 앞선 두 신호가 현재 상태를 읽게 한다면 코드는 성공한 행동 순서를 재실행하게 한다.
   2. 상호 보완: 어떤 애플리케이션은 스크린샷이, 다른 애플리케이션은 접근성 트리나 DOM이 더 잘 작동한다. 모든 환경에 통하는 단일 신호는 없다.

2.2. Agent S 프레임워크의 세 세대

1. 1세대 — 접근성 트리와 ID 기반 grounding

   1. 구조 선택: 2024년에는 VLM이 화면을 안정적으로 해석하지 못했기 때문에 운영체제 접근성 프로토콜을 수집해 현재 환경을 설명하고, 이를 LLM에 전달했다.
   2. 벤치마크 성과: 2024년 말 공개된 Agent S는 OSWorld에서 20% 성공률을 기록해 당시 최고 성능을 냈다. 초창기 OSWorld의 성공률이 5%였다는 점을 고려하면 큰 상승이었다.
   3. 연구 성과: 해당 연구는 2025년 ICLR 에이전트·AI 워크숍에서 최우수 논문으로 선정됐다.

2. 2세대 — 비전 전용 접근법

   1. VLM의 성장: 2025년 초 모델의 화면 이해 능력이 개선되자 접근성 트리를 버리고 시각 정보만 사용하는 구조로 전환했다.
   2. 매니저와 워커: 인간 조직처럼 여러 계층의 매니저와 워커를 두어 같은 작업을 분담하게 했다.
   3. 두 모델의 이점: 한 개의 기반 모델보다 두 개의 기반 모델을 같은 harness 안에서 사용하는 편이 더 좋았고, 두 번째 모델은 70억 파라미터 오픈소스 모델이었다. 스타트업이 작은 특화 모델을 훈련해 대형 연구소의 컴퓨터 에이전트보다 20% 향상된 성능을 낼 가능성을 보여줬다.

3. 3세대 — 추론 시간 확장(inference-time scaling)

   1. 동일 작업의 병렬 시도: 2025년 말 여러 에이전트가 동일한 과제를 각각 풀게 하고, 전체 워커 수와 총 스텝을 비교해 자원 예산을 공정하게 측정했다.
   2. 성능 곡선: 에이전트 10개를 사용할 때 성공률이 더 잘 확장됐다. 2025년 12월 OSWorld에서 인간 성능 기록을 넘어섰고, Anthropic과 OpenAI도 2026년 3월 같은 인간 수준에 도달했다.
   3. 벤치마크의 재설정: OSWorld 2가 공개된 뒤에는 최고 성능 시스템도 새 벤치마크에서 약 20%에 그쳤다. 이전 벤치마크에서 인간 수준을 넘었다고 해서 실생활 자동화가 인간보다 완벽하다는 뜻은 아니다.

2.3. 반복 실행에서 드러난 신뢰성 격차

1. pass@1과 pass@k의 차이

   1. 한 번의 성공: 코딩 에이전트에서는 여러 번 생성한 코드 중 하나라도 실행되면 성공으로 보는 pass@k가 흔하지만, 컴퓨터 업무는 매일 같은 워크플로를 안정적으로 반복해야 한다.
   2. 고객의 실제 질문: 고객은 에이전트를 서버에 두고 매일 업무를 실행하면서 계속 화면을 지켜보거나 디버깅하지 않아도 되는지 묻는다. 이 요구는 pass@1보다 pass@k를 중요하게 만든다.

2. 반복·교란 실험

   1. pass@3 하락: OSWorld에서 최고 성능 에이전트를 같은 작업에 세 번씩 실행하자 모든 에이전트의 성공률이 거의 10%씩 하락했다.
   2. 환경 변화의 추가 악화: 쿼리와 환경을 조금씩 바꿔 반복하면 성능이 더 떨어졌다. Claude, Codex, Agent S를 포함한 현행 시스템도 아직 신뢰할 수 있는 반복 프로세스를 보장하지 못한다.

3. 명확화 질문 프롬프트

   1. 모호성 해소: 지시가 애매하면 에이전트가 먼저 명확화 질문을 하도록 유도하면 전체 신뢰성이 높아진다.
   2. 최소 질문 원칙: 지시의 본질을 보존하면서 질문 횟수는 최소화하라는 프롬프트가 중요하다. 실험에서 Claude의 컴퓨터 에이전트가 개선됐고, GPT-5를 사용하는 Agent S의 향상 폭이 가장 컸다.

3. SimuLand와 뉴로심볼릭 컴퓨터

VLM 에이전트는 환경 변화에 적응하지만 매번 다른 결과를 낼 수 있고, 코딩 에이전트는 같은 코드를 반복해 결정적이지만 환경이 바뀌면 깨진다. 두 방식 사이의 균형점을 찾는 것이 Simular의 현재 방향이다.

3.1. SimuLand 코딩 계층

1. 컴퓨터용 공통 프로토콜

   1. RPA의 공백: 전통적인 RPA는 엔지니어가 코드를 작성하지만 전체 커뮤니티가 공유하는 단일 프로토콜이 없다.
   2. SimuLand의 목적: 브라우저 자동화에 Playwright가 있듯 컴퓨터 사용 자동화에 공통 언어를 제공하고, 여러 워크플로를 안정적이고 결정적으로 실행하게 한다.
   3. 사용 방식: 오픈소스 SimuLand는 터미널에서 실행할 수 있고, npm으로 설치한 뒤 Claude Code 같은 코딩 에이전트의 스킬로 사용할 수 있다.

2. 코딩 에이전트 데모

   1. 작업 생성: “AI Engineer 웹사이트로 가서 이벤트를 요약하라”는 지시를 받으면 코딩 에이전트가 SimuLand JS 코드를 작성한다.
   2. 관찰과 수정: 코드는 창을 열고 접근성 스냅샷이나 화면을 읽어 파일에 기록한다. 실행 중 오류가 발생하면 에이전트가 오류를 확인해 코드를 수정하고 다시 실행한다.
   3. 상태에 따른 신호 선택: 단순 요약에서는 화면 스크린샷보다 접근성 스냅샷이 더 효율적이라고 판단해 후자를 선택했다.
   4. 자기 개선: 자동 승인을 켜면 오류를 고치며 코드를 갱신하는 루프가 만들어져 일정 수준의 자기 개선 컴퓨터 에이전트가 된다.

3.2. 안정성-가소성 딜레마와 통합 프레임워크

1. 서로 반대되는 장점

   1. 안정성(stability): 코딩 에이전트의 코드는 결정적이어서 같은 작업을 반복하기 좋지만, 환경이 바뀌면 고장 나고 변화에 완고하다.
   2. 가소성(plasticity): VLM 에이전트는 새로운 환경에 적응하지만 확률적 모델이므로 같은 작업을 매번 재현하기 어렵다.

2. 뉴로심볼릭 목표

   1. 파레토 최적점: 적응성과 신뢰성을 동시에 최대화하는 지점을 찾아야 한다. 아직 문제를 해결했다고 주장할 단계는 아니지만 두 기술을 하나의 시스템으로 융합할 명확한 패러다임은 마련됐다.
   2. 코드 우선·에이전트 보완: VLM이 환경에서 작업하며 성공 경로를 파일에 기록하고, 다음 실행에서는 먼저 코드를 재생한다. 환경이 바뀌어 코드가 깨지면 VLM이 상황을 살펴 코드를 치유한다.
   3. 상태 기반 프로그래밍: 전통적인 지난 20년의 프로그래밍이 상태를 무시한(stateless) 코드 중심이었다면, 뉴로심볼릭 방식은 코드 한 줄을 실행할 때마다 환경 상태를 확인하는 stateful programming에 가깝다.

3. 비용 감소

   1. 토큰 절약: 다음 실행에서 작업량의 약 50%를 코드가 LLM 요청 없이 처리할 수 있다. 반복할수록 같은 추론을 다시 호출하는 비용을 줄인다.
   2. 사용량 기반 가격의 한계: 같은 일을 100번 하면 사람은 익숙해져 눈을 감고도 할 수 있지만, 현재 에이전트는 1,000번이나 10,000번을 실행해도 매번 Anthropic이나 OpenAI에 같은 추론 비용을 낸다. Sidebox 제품에서 500달러 무제한 작업 요금제를 실험한 이유도 반복 업무의 경제성을 반영하기 위해서다.

3.3. 테스트 자동화 사례

1. 에이전트가 만드는 제품이 아니라 테스트하는 제품

   1. 해커톤 우승 사례: 2025년 Berkeley의 대형 해커톤 Cow Hacks에서 Agent S 오픈소스를 사용한 프로젝트가 우승했다.
   2. QA 작업: 에이전트가 대시보드에서 마우스를 움직이고 버튼을 클릭하며 제품을 테스트한다. 코드와 PR이 계속 늘어나는 개발 환경에서 컴퓨터 사용 에이전트가 테스트 인력의 대안이 될 수 있다.

2. FaceTime 원격 디버깅 사례

   1. 문제 상황: 집에서 AI 모델을 훈련하다 CUDA out-of-memory 오류가 발생했지만 이미 외출한 상황을 가정했다.
   2. 해결 과정: 사용자는 컴퓨터에 전화를 걸고 FaceTime을 시작하라고 문자를 보낸다. 에이전트가 Mac에서 FaceTime을 열고, VS Code를 command+space로 실행하며 오류가 있는 파일을 찾는다.
   3. 수정 판단: 주석을 보고 텐서 크기가 너무 크다고 판단해 합리적인 크기로 줄이는 방향을 제안한다. 컴퓨터를 직접 가지 않고도 음성·영상 통화로 컴퓨터를 조작하는 방식이다.

4. 클라우드 컴퓨터 인프라와 Sidebox

작동하는 에이전트가 생기면 한 대의 개인 컴퓨터로는 부족하다. 사용자는 에이전트가 전면에서 실행되는 동안 자신의 컴퓨터를 쓸 수 없다는 문제를 겪고, 결국 별도 서버·가상 머신·수십 또는 수백 대의 컴퓨터를 요구한다.

4.1. Side와 Sidebox의 구조

1. 제품 구성

   1. Side: 2026년 3월 출시한 사용자 인터페이스이자 에이전트 제품이다.
   2. Sidebox: 에이전트가 실행되는 클라우드 가상 데스크톱이다. Ang Li는 개인적으로 백그라운드에 20대의 머신을 띄워 사용한다.
   3. 역할 분리: Side의 에이전트가 계획과 결정을 담당하고, Sidebox가 실제 운영체제 조작을 수행한다.

2. SAPI 공개

   1. 터미널 제어: 개발자 요청에 따라 클라우드 컴퓨터를 터미널에서 제어하는 SAPI(API와 CLI)를 공개했다.
   2. 개발자 통합: 웹 포털에서 하던 일을 명령줄과 API로 수행하고, 원격 머신을 자신의 제품에 통합할 수 있다. 출시 당일이므로 초기에는 버그가 있을 수 있다.

3. 확장 비전

   1. AI 조직의 컴퓨터 수: 에이전트가 안정적으로 일할수록 한 명의 사용자가 10대, 100대의 컴퓨터를 운영하게 된다.
   2. 100배 생산성: 클라우드 관리 데스크톱을 충분히 확장하면 한 사람이 100명의 AI 직원으로 구성된 조직의 CEO처럼 일하는 것이 목표다.

4.2. 여러 운영체제와 Android 자동화

1. 플랫폼 확장

   1. Windows와 macOS: 현재 Windows 중심의 클라우드 컴퓨터를 제공하며 macOS도 지원한다.
   2. Linux와 Android: Linux는 곧 지원될 예정이며, Android 가상 머신도 준비 중이다. 하나의 에이전트가 Windows·Mac·Android·Linux 장치를 오가며 작업하도록 만드는 방향이다.

2. Android 데모

   1. 게임 조작: Angry Birds에서 화면을 드래그해 발사하는 제스처를 수행했다.
   2. 인증 앱: Android 가상 머신에서 인증 앱을 열고 MFA 인증 사이트로 이동해 폼을 입력하고 토큰을 받아 성공했다. 2FA 자동화 요청이 계속 들어오지만 보안상 주의 깊게 사용해야 한다.
   3. 모바일 애플리케이션: 휴대폰의 소셜 미디어와 다른 앱에서도 다양한 작업을 수행할 수 있어 아직 충분히 탐색되지 않은 영역으로 평가된다.

4.3. Microsoft 협업과 레거시 산업

1. Windows 365 for Agents

   1. 가상 Windows 협업: Microsoft가 만든 Windows 365 for Agents 가상 머신에서 Simular 에이전트를 실행하는 협업을 진행했다.
   2. 전통적 ERP: 에이전트가 클라우드 Windows에서 오래된 ERP에 양식을 입력하는 흐름은 현대 API가 없는 전통 산업을 겨냥한다.

2. 적용 산업

   1. 보험: 보험 웹사이트에서 정보를 조회하고 데이터를 수집하는 업무에 컴퓨터 사용 에이전트를 활용할 수 있다.
   2. 의료: 의사가 사용하는 오래된 Windows 기반 ERP에 데이터를 입력하는 업무를 자동화할 수 있다. 수많은 레거시 시스템이 여전히 경제적 가치가 큰 대상이다.
   3. 수평 인프라: Simular는 특정 업종에만 집중하는 회사가 아니라 수직 애플리케이션을 만드는 개발자가 사용할 수 있는 수평 인프라를 제공한다.

5. 개발자 제공물과 전체 아키텍처

자율 컴퓨터는 자율성의 뉴럴·심볼릭 계층과 컴퓨터의 로컬·클라우드 계층을 하나의 제품군으로 묶는다. 이 구조는 연구 데모를 실제 애플리케이션과 운영 인프라로 확장하기 위한 지도다.

5.1. 네 가지 개발자 제공물

1. Side: 개발자 모드에서 여러 알고리즘을 시험하고 에이전트 동작을 탐색하는 전체 인터페이스다.
2. Agent S: 모델에 종속되지 않는 오픈소스 컴퓨터 사용 harness로, 화면과 접근성 정보에 기반해 계획·행동한다.
3. SimuLand: 무료로 사용할 수 있는 오픈소스 코딩 프로토콜이며, 성공 경로를 코드로 저장하고 결정적으로 재생한다.
4. Sidebox와 SAPI: 원격 가상 데스크톱과 그 컴퓨터를 API·CLI로 조작하는 인프라다.

5.2. 실험에서 운영으로 가는 루프

1. 탐색 단계: 뉴럴 에이전트가 화면·접근성 트리·환경 상태를 관찰하고 새로운 경로를 시도한다.
2. 기록 단계: 성공한 행동과 조건을 SimuLand 코드와 스킬로 저장한다.
3. 재생 단계: 다음 실행에서 코드를 먼저 실행해 토큰과 시간을 절약한다.
4. 치유 단계: 코드가 환경 변화로 실패하면 뉴럴 에이전트가 원인을 분석해 분기와 파라미터를 수정한다.
5. 검증 단계: 각 실행 중간에 결과를 확인하고, 이상이 있으면 중단한 뒤 더 유연한 에이전트나 사람에게 넘긴다.

6. 질의응답: 기억·보안·레거시·학습 비용

6.1. 공간 기억과 화면 이해

1. 텍스트로 축약된 기억: 현재 대부분의 기억은 텍스트 형태로 축약된다. Agent S 2에서는 화면 인식을 전담하는 별도 70억 파라미터 오픈소스 모델을 사용하고 필요하면 미세 조정한다.
2. 스크린샷 데이터 부족: 인터넷에는 텍스트 데이터보다 스크린샷 데이터가 적어 범용 기반 모델이 화면을 이해하는 능력이 상대적으로 약하다. 특정 애플리케이션에 맞춘 모델을 fine-tuning하면 대형 연구소의 범용 모델보다 나을 수 있다.

6.2. 다중 모달리티와 보안

1. 단일 신호의 한계: 스크린샷, 접근성 트리, DOM 중 어느 하나도 모든 상황에서 완벽하지 않다. 자율주행에서 카메라·레이더·라이다를 함께 쓰듯 여러 시스템이 서로의 오류를 보완해야 한다.
2. 치명적 실수 방지: 에이전트가 은행 송금액에 0을 하나 더 붙이는 것처럼 되돌리기 어려운 행동은 반드시 차단해야 한다.
3. 되돌릴 수 없는 행동 가드레일: Side에는 되돌릴 수 없는 행동을 감지해 에이전트를 멈추고 승인을 요구하는 별도 모니터가 있다.
4. 운영체제 수준 제한: 특정 애플리케이션 실행 자체를 막거나 허용 목록을 적용해야 한다면 VM 이미지와 관리형 Windows 환경에서 운영체제 수준의 차단 규칙을 둘 수 있다.

6.3. 정확도와 검증 루프

1. 생성보다 쉬운 검증: 의료·데이터 입력처럼 100% 정확도가 필요한 업무에서는 양식을 작성한 뒤 결과를 역으로 읽어 모델에게 의미가 맞는지 검증하게 한다.
2. 재실행: 검증 모델이 오류를 찾으면 같은 작업을 다시 수행한다. 생성보다 검증이 쉽기 때문에 이 반복 루프가 성능을 크게 개선한다.
3. 규칙과 사람의 결합: 코드와 규칙이 먼저 확실한 사례를 처리하고, 규칙이 포착하지 못한 경우 뉴럴 에이전트로 넘기며, 위험한 행동은 사람 승인을 거친 뒤 다시 코드 경로로 돌아간다.

6.4. 레거시 프로그램 학습과 SOP

1. 초기 지시: 처음 보는 독점 레거시 프로그램은 어떤 상자를 클릭할지 구체적으로 알려주는 긴 프롬프트가 필요하다.
2. 환경 탐색: 가드레일을 둔 상태에서 에이전트가 환경을 여러 번 자유롭게 탐색하면 성공 경로를 찾고 점차 프롬프트의 구체성을 줄일 수 있다.
3. SOP 활용: 기업의 표준 운영 절차(SOP)를 코딩 에이전트에 직접 주입한 실험에서는 한 번의 입력으로 100% 성공했다. 다만 지금의 기술은 아직 데모 단계이고 고객마다 발생하는 예외를 모두 해결하려면 추가 작업이 필요하다.
4. 레거시의 기회: 변화가 거의 없는 레거시 시스템에서는 탐색 비용이 낮을 때 가능한 경로를 미리 지도처럼 수집할 수 있다. 현재 애플리케이션의 약 80%가 레거시 시스템에 속한다는 관점에서 일반적인 웹 자동화보다 오히려 쉬운 경제적 기회가 될 수 있다.

6.5. 데이터와 학습 비용

1. 더 많은 데이터의 대가: 현재 딥러닝 패러다임으로 충분한 화면 데이터를 모아 에이전트를 아주 높은 성공률로 훈련하려면 OpenAI나 Anthropic보다 지수적으로 더 많은 비용이 필요하다.
2. 농담 섞인 추정: 연구자들이 수조 달러를 제공한다면 가능성을 검토할 수 있겠지만, 가까운 시일 안에 현 패러다임만으로 해결될 문제는 아니라는 판단이다.
3. 코드의 미래 형태: 에이전트가 작성하는 코드는 많은 while-loop와 복잡한 로직을 포함해 사람이 관리하기 어려워질 수 있다. 작은 문제로 쪼개면 단순해지지만 입력·출력 경계를 정의해야 하는 새로운 문제가 생긴다.

주요 발언 모음

“일반 AI 시스템은 코드와 신경망을 결합한 뉴로심볼릭 시스템이어야 한다.”

“컴퓨터 사용 에이전트는 디지털 세계에서 작동하는 자율주행차이며, 조향장치를 마우스와 키보드로 바꾼 것이다.”

“스크린샷만으로 충분하다는 사람도 있고 접근성이나 DOM이면 충분하다는 사람도 있지만, 모든 평가를 해보면 모든 것에 대한 은탄환은 없다.”

“코드는 100%를 보장할 수 있으므로 항상 코드로 먼저 가고, 코드가 혼란스러울 때 유연한 에이전트로 간다.”

“LinkedIn은 AGI의 튜링 테스트다. LinkedIn이 에이전트를 에이전트로 인식하지 못한다면 사실상 튜링 테스트를 통과한 셈이다.”

“사람은 같은 일을 100번 하면 눈을 감고도 할 수 있지만, 오늘날의 에이전트는 같은 일을 1,000번, 10,000번 해도 매번 같은 비용을 낸다.”

“토큰 소비가 결국 0이 되는 방향을 원한다.”

“컴퓨터는 한 대가 아니라 10대, 100대가 필요해지고, 모든 사람은 자기 AI 조직의 CEO가 될 수 있다.”

핵심 데이터 & 수치

• 컴퓨터 경험: 프로그래밍 10년, 신경망 연구 10년, AGI 연구 약 10년의 경력이 뉴로심볼릭 원칙으로 이어졌다.
• Agent S 1세대: OSWorld 성공률 20%를 기록했으며, 초기 벤치마크 성공률 5%보다 높았다.
• Agent S 모델 구성: 두 번째 기반 모델로 70억 파라미터 오픈소스 모델을 사용했다.
• Agent S 3세대: 추론 시간에 최대 10개 에이전트를 병렬로 투입할 때 성공률이 더 잘 확장됐다.
• OSWorld 기록: 2025년 12월 인간 성능 기록을 넘었지만 OSWorld 2에서는 최고 성능이 약 20%로 내려갔다.
• 반복 신뢰성: 동일 작업을 세 번 수행하는 pass@3에서 모든 최상위 에이전트가 거의 10%의 성공률을 잃었다.
• 반복 비용: 뉴로심볼릭 재생에서는 다음 실행의 약 50%를 코드가 LLM 호출 없이 처리할 수 있다.
• 클라우드 규모: 발표자는 개인적으로 20대의 머신을 백그라운드에서 운영하며, 장기 목표는 사용자당 100대의 컴퓨터다.
• 모델 크기: 화면 인식 전담 모델과 Agent S 보조 모델에 70억 파라미터 오픈소스 모델이 활용됐다.
• 제품 가격 실험: Side에서 500달러 무제한 작업 요금제를 시험했다.
• 적용 대상: 현재 업무 애플리케이션의 약 80%가 레거시 시스템이라는 관점에서 자동화 기회를 설명했다.
• 초대 코드: 발표 시점의 Side 초대 코드는 aieEWF2026이었다.

결론 및 시사점

1. 컴퓨터 사용 에이전트의 핵심 문제는 화면을 한 번 이해하는 것이 아니라 매일 반복되는 업무를 안정적으로 수행하는 것이다.
2. 접근성 트리·스크린샷·DOM·코드 중 하나를 고르는 대신 작업과 애플리케이션에 따라 여러 모달리티를 조합해야 한다.
3. VLM 에이전트의 적응성과 SimuLand 코드의 결정성을 결합하면 새로운 환경에는 적응하고 익숙한 작업에는 토큰을 거의 쓰지 않는 경로를 만들 수 있다.
4. 생성·실행·검증·치유를 반복하는 뉴로심볼릭 루프가 의료·보험·레거시 ERP처럼 오차 비용이 높은 업무의 현실적인 설계 원칙이다.
5. 되돌릴 수 없는 행동은 규칙, VM 수준 허용 목록, 에이전트 모니터, 인간 승인을 겹쳐 보호해야 한다.
6. 작동하는 에이전트가 만들어지면 클라우드 가상 데스크톱과 여러 장치의 오케스트레이션이 곧 병목이 되므로 Sidebox와 SAPI 같은 인프라가 중요해진다.
7. 개발자는 Agent S로 탐색을 시작하고 SimuLand로 성공 경로를 저장한 뒤, 검증과 치유 루프를 추가하는 방식으로 수직 애플리케이션을 만들 수 있다.
8. OSWorld의 인간 수준 기록은 실제 운영의 완성을 의미하지 않으며, 반복 실행과 환경 교란을 포함한 pass@k 평가가 제품 신뢰성을 더 잘 보여준다.
9. 같은 작업을 많이 반복할수록 모델 호출 비용을 줄이는 기억·코드화·재생 능력이 기술 성능뿐 아니라 사업 모델을 결정한다.
10. 현재는 데모와 초기 제품 단계지만, API가 없는 레거시 소프트웨어를 대상으로 하는 자동화가 가까운 시기에 가장 큰 실용적 기회를 제공한다.

핵심 요약

컴퓨터 사용 에이전트는 API가 없는 데스크톱과 모바일 환경을 마우스·키보드로 직접 조작한다. 자율 컴퓨터의 문제는 환경을 이해하고 계획하며 실수에서 회복하는 자율성과 사용할 운영체제를 함께 해결하는 일이다. 스크린샷은 픽셀을 제공하고 접근성 트리는 운영체제 UI 구조와 텍스트 기반 요소를 제공한다. 접근성 트리는 결정적 매칭에 강하지만 애플리케이션이 정보를 숨길 수 있어 스크린샷과 함께 써야 한다. Agent S 1세대는 VLM 대신 접근성 트리와 ID 기반 grounding으로 OSWorld 성공률 20%를 기록했다. Agent S 2세대는 화면 이해 모델이 발전하자 접근성 트리를 버리고 비전 전용 구조를 사용했다. Agent S 3세대는 여러 에이전트가 동일 작업을 시도하는 추론 시간 확장으로 성공률을 높였다. OSWorld에서 인간 수준을 넘은 기록도 OSWorld 2에서는 최고 성능 약 20%로 낮아졌다. 동일 작업을 세 번 반복하면 최상위 에이전트의 성공률이 거의 10%씩 떨어졌다. 모호할 때 최소한의 명확화 질문을 먼저 하라는 프롬프트는 Agent S와 Claude의 신뢰성을 높였다. VLM은 환경 적응성이 높지만 확률적이고 코딩 에이전트는 결정적이지만 환경 변화에 취약하다. SimuLand는 컴퓨터 사용 성공 경로를 코드로 저장하고 터미널과 코딩 에이전트에서 실행하는 오픈소스 프로토콜이다. 뉴로심볼릭 루프는 코드를 먼저 재생하고 실패할 때 VLM이 환경을 살펴 코드를 치유한다. 코드 재생은 반복 업무의 약 절반을 LLM 호출 없이 처리해 토큰 비용과 지연을 줄일 수 있다. FaceTime 원격 디버깅은 컴퓨터 사용 에이전트가 VS Code의 CUDA 메모리 오류를 찾아 수정하는 사례다. Side는 에이전트 인터페이스이고 Sidebox는 에이전트가 실행되는 클라우드 가상 데스크톱이다. SAPI는 Sidebox를 API와 CLI로 제어해 개발자가 원격 컴퓨터를 자신의 제품에 통합하게 한다. Windows·macOS·Android·Linux를 오가는 장치 오케스트레이션은 한 사용자가 여러 AI 직원을 운영하게 한다. 보험·의료·전통 ERP처럼 API가 없는 레거시 시스템은 컴퓨터 사용 자동화의 큰 실용 영역이다. 안전한 운영에는 코드 규칙, 검증 루프, VM 허용 목록, 되돌릴 수 없는 행동 차단과 인간 승인이 필요하다.