Training Robots in Worlds That Don't Exist | World Labs

URL: https://www.youtube.com/watch?v=-tabaM5l3s0 날짜: 2026-07-29 채널: a16z

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

World Labs가 로보틱스 시뮬레이션 스타트업 SceniX를 인수한 배경을 다루며, ==로봇을 학습시키기 위한 "실재하지 않는 세계(worlds that don't exist)"를 만드는 것이 왜 비디오 예측 모델만으로 로보틱스를 푸는 것보다 근본적으로 다른 접근인지==를 설명하는 a16z(Martin Casado)와 Fei-Fei Li(World Labs 공동창업자), Yunzhu Li(SceniX 공동창업자, 컬럼비아대 교수)의 대담이다.

• World Labs는 "spatial intelligence"(공간 지능)를 프런티어 AI 영역으로 정의하고, 그 핵심 산출물로 생성형 3D 월드 모델 Marble을 이미 출시했다
• SceniX는 로보틱스의 두 가지 고질적 병목인 "학습 데이터 부족"과 "평가(evaluation) 속도"를 풀기 위해 "real-to-sim-to-real" 파이프라인을 구축해왔다
• 두 회사는 사전에 계획된 M&A가 아니라, SceniX가 Marble의 고객으로 가입하면서 시너지를 발견해 인수로 이어진 우연적 결합이었다
• 로봇을 위한 시뮬레이션은 완벽한 물리 재현이 아니라 "문제의 본질적 구조(essential structure)"를 포착하는 것이 목표이며, 이는 사족보행/이족보행 로봇이 이미 증명한 패턴이다

두 창업자는 결국 "로봇이 실제로 작동하게 만드는 것"이 공통의 노스스타이며, 시뮬레이션과 실제 데이터 수집은 대립항이 아니라 데이터 플라이휠의 서로 다른 단계라고 강조한다. 휴머노이드에 대한 과도한 낙관은 경계하며, 구조화된 환경에서 반구조화된 환경(창고, 매장 등)으로 점진적으로 나아가는 실용적 접근을 제시한다.

---

1. World Labs와 SceniX 소개

두 회사가 각각 무엇을 하는 조직이고, 어떤 배경에서 창업됐는지를 다룬다.

1.1. World Labs — Spatial Intelligence를 만드는 프런티어 모델 랩

1. World Labs의 정체성

   1. 2년차 스타트업이자 프런티어 모델 랩: Fei-Fei Li는 World Labs를 "프런티어 모델 랩"으로 명확히 규정한다. 목표는 "spatial intelligence" — 공간(물리적이든 가상이든)을 생성·이해·추론·상호작용할 수 있는 AI를 만드는 것이다.
   2. large world model이 수단: spatial intelligence라는 목적지로 가기 위한 수단(means to an end)이 "large world model"을 구축하는 것이며, 이것이 World Labs의 주력 사업이다.

2. 로보틱스로의 확장은 처음부터 예정된 방향

   1. 가상 공간 활용 사례가 먼저: 로보틱스가 아니어도 VFX, 게임, 디자인 등 창작 분야에서 이미 가상 공간을 만들고 그 안에서 행동하는 사용 사례가 존재한다.
   2. 물리 공간 상호작용은 미래 AI의 핵심 역량: Fei-Fei는 물리적 공간에서 행동하는 능력이 미래 AI 세계에서 "가장 흥미롭고 가장 중요한 역량 중 하나"라고 말하며, 로보틱스를 spatial intelligence의 필수 응용 분야로 항상 여겨왔다고 밝힌다. SceniX 영입은 이 장기 비전과 미션에서 자연스럽게 이어진 결정이다.

1.2. SceniX — Real-to-Sim-to-Real 파이프라인을 만드는 팀

1. Yunzhu Li의 배경

   1. 경력 궤적: MIT에서 박사학위, 이후 Fei-Fei Li 밑에서 스탠퍼드 포스트닥을 거쳐 현재 컬럼비아대학교 조교수 겸 SceniX 공동창업자다.
   2. 일관된 목표: "로봇이 물리 세계를 더 잘 인식하고 상호작용하도록 돕는다"는 목표를 커리어 내내 유지해왔으며, 스스로를 "매우 실용적인 사람(practical person)"으로 정의하고 "내 로봇이 실제 물리 환경에서 작동하길 원한다"고 말한다.

2. SceniX가 발견한 기회

   1. 범용 로봇 개발의 병목: 범용 로봇(general purpose robots) 개발에 있어 "학습(training)"과 "평가(evaluation)" 양쪽 모두에서 심각한 병목이 존재한다고 진단한다.
   2. Real-to-sim-to-real 파이프라인: 실제 환경을 디지털 세계로 매핑하되, 그 정렬(alignment)의 기준은 "디지털 세계에서 일어나는 일이 실제 환경에서도 그대로 일어나는 것"이다. 이 정렬이 확보되면 실제 환경에서 필요한 모든 데이터·평가를 디지털 세계의 데이터로 대체할 수 있다.
   3. 팀 구성: 로보틱스, 로봇 러닝, 시뮬레이션·렌더링 분야에서 매우 강력한 팀을 모아 이 real-to-sim-to-real 스택을 구축했다.

---

2. 인수 스토리 — 계획된 합병이 아니라 우연한 발견

2.1. 고객에서 인수로 이어진 과정

1. 사전 계획된 딜이 아니었다
   1. 자연스러운 오해: Fei-Fei와 Yunzhu가 사제지간(Yunzhu가 Fei-Fei의 포스트닥)이었기 때문에 오랫동안 통합을 논의해왔을 것 같지만, 실제로는 그렇지 않았다고 두 사람 모두 웃으며 정정한다.
   2. Marble 출시와 함께 SceniX가 "고객"으로 가입: 지난 겨울(11~12월) World Labs가 첫 생성 모델 Marble을 공개하자 SceniX가 곧바로 가입했다. Fei-Fei는 당시 그것이 Yunzhu의 회사인지도 몰랐다가, 나중에 알고 나서 Yunzhu에게 직접 전화해 "이게 너희 회사였어?"라고 확인했다는 일화를 전한다.
   3. 시너지 발견 → 인수로 발전: 이 우연한 접점을 계기로 양측이 대화를 이어가며 상당한 시너지를 발견했고, 결국 인수로 이어졌다.

2.2. Marble — World Labs의 생성형 3D 월드 모델

1. Marble의 정의

   1. 베이스 모델의 코드네임: "Marble"은 World Labs가 학습·반복 개선해온 베이스 모델의 코드네임이다.
   2. 현재 공개된 핵심 기능: 이미지, 여러 장의 이미지, 또는 텍스트 프롬프트를 입력받아 기하학적으로 일관된(geometrically consistent) 3D 세계로 변환한다. 결과물은 가우시안 스플랫(Gaussian splat) 또는 메시(mesh) 형태로 표현될 수 있다.

2. SceniX가 풀려는 문제와의 접점

   1. 로보틱스의 근본 문제는 데이터 부족: 언어모델과 달리 로보틱스는 인터넷에 학습·평가용 데이터가 풍부하지 않다. Fei-Fei는 이것이 언어모델과 로보틱스가 근본적으로 다른 지점이라고 강조한다.
   2. 스케일링 법칙을 어떻게 로보틱스에 적용할 것인가: 로보틱스가 작동하려면 결국 스케일링 법칙의 힘을 풀어내야 하는데 그 데이터가 어디서 오는가가 업계 전체가 씨름하는 "근본적인 문제(profound problem)"라고 짚는다.

---

3. 팀의 상보성 — SceniX의 3인 공동창업자와 World Labs의 강점

3.1. SceniX 공동창업자 3인 체제

1. Yunzhu Li — 풀스택 로보틱스 연구자

   1. 하드웨어부터 모델링까지: 스탠퍼드 포스트닥 시절 이미 교수직 오퍼를 받은 상태였음에도 1년간 더 포스트닥에 머물렀을 만큼 로보틱스 전 영역(하드웨어~모델링)에 걸친 풀스택 연구자다.
   2. 컬럼비아 학생 풀도 자산: SceniX가 보유한 컬럼비아 학생 인재풀은 기존 World Labs가 갖지 못했던 자원이다.

2. Changxi Zheng — 시뮬레이션 분야의 시니어 기술자

   1. 또 다른 컬럼비아 교수: 시뮬레이션 분야에서 세계적 수준(world-class)의 기술자로, VFX 배경을 갖고 있다.
   2. 경력: Weta, Tencent에서 근무했고 창업 경험도 있다. World Labs가 하는 일이 본질적으로 시뮬레이션의 세계와 맞닿아 있어 그의 역량이 정확히 필요한 지점을 채운다.

3. Sonny Xiaochen Hu — 엔지니어링 리더

   1. 아마존 인수 스타트업 출신: 예전에 아마존에 인수된 스타트업 소속이었으며, 아마존 컴퓨터비전 분야에서 다양한 기술 스택을 다뤄본 뛰어난 엔지니어링 리더다.

3.2. 두 회사의 상호 보완 관계

1. SceniX가 World Labs에 없던 것

   1. 로보틱스 사고 리더십과 기술력: 하드웨어부터 시작하는 풀스택 로보틱스 역량, 그리고 시뮬레이션 분야의 시니어 기술력이 World Labs에는 없던 부분이었다.

2. World Labs가 SceniX에 없던 것

   1. 생성 모델·3D 재구성 역량: 생성 모델(generative model) 측면과 컴퓨터비전 기반 3D 재구성 기술은 World Labs가 강하고 SceniX가 필요로 하는 기술이다.
   2. 결합의 결과: 양쪽이 합쳐지면서 하나의 완결된(complete) 스택이 만들어진다.

3. Yunzhu의 인수 결정 배경

   1. 초기엔 독립 운영을 고민: 처음에는 "그냥 계속 가자"는 생각이었지만, Fei-Fei와 대화하며 발견한 시너지들이 두 조직이 힘을 합치는 것이 "완벽하게 타당하다(perfect sense)"는 결론으로 이어졌다.
   2. SceniX의 재구성 작업: SceniX가 해온 real-to-sim-to-real 작업은 환경의 겉모습(appearance), 기하구조(geometry), 그리고 동역학(dynamics — 행동을 가했을 때 환경이 어떻게 변하는지)까지 캡처하는 "텐서 재구성(tensor reconstruction)"인데, 현재는 다소 무거운(heavier) 방식이다. World Labs의 희소 재구성(sparse reconstruction)·생성 역량(Marble 등)을 활용하면 훨씬 효율적인 재구성·모델링이 가능하다고 본다.

---

4. 로보틱스 파운데이션 모델은 어떤 모습이어야 하는가

4.1. Omni-model로서의 로보틱스 파운데이션 모델

1. World Labs가 파운데이션 모델을 만들고 있다는 확인

   1. 베이스 모델 개발 중: Fei-Fei는 World Labs가 베이스 모델을 만들고 반복 개선 중이라고 확인한다.
   2. 가장 흥미로운 베이스 모델은 옴니모델: 멀티모달 입력을 받아 멀티모달 출력을 내는 옴니모델(omni-model)이 지금 가장 흥미로운 흐름이며, 로보틱스 파운데이션 모델도 "행동(action)"을 반드시 포함하게 될 가능성이 매우 높다고 말한다. 즉 세계의 상태(state)뿐 아니라 행동의 출력까지 포함하는 방향을 배제하지 않는다.

2. 행동을 입력/출력 어느 쪽에 두느냐에 따라 역할이 갈린다

   1. 행동이 입력일 때 = 순방향 시뮬레이터: "프레임 + 행동"을 입력으로 넣으면, 특정 행동을 가했을 때 환경이 어떻게 변할지 예측하는 순방향 시뮬레이터(forward simulator)가 된다.
   2. 행동이 출력일 때 = 정책 모델: 행동이 출력이 되면, 특정 목표가 주어졌을 때 그 목표에 가까워지기 위해 실제 환경에서 어떤 행동을 취해야 하는지 예측하는 정책 모델(policy model)이 된다.
   3. 로보틱스 커뮤니티를 위한 백본 역할: 이런 옴니모델은 환경을 모델링하는 법과 그 안에서 행동하는 법을 동시에 이해하도록 도우며, 특정 로봇 애플리케이션에 맞춰 파인튜닝할 수 있는 백본(backbone) 역할을 할 수 있다. 이를 통해 고객이 기대하는 신뢰성과 효율성 수준까지 끌어올릴 수 있다.

4.2. "비디오 모델 단일 접근"과의 차별점

1. 업계 주류 접근: 비디오 모델 하나로 로보틱스를 푼다

   1. Martin Casado의 질문: 많은 로보틱스 스타트업이 "비디오 모델 하나로 다 푼다"는 접근을 취하는데, World Labs·SceniX는 3D와 시뮬레이션 중심이라는 매우 다른 접근이라는 점에 대해 대비를 요청한다.

2. Yunzhu Li의 답변 — 핵심은 "일관성(consistency)"

   1. 로봇이 세계를 학습하려면 문제의 본질적 구조를 포착해야: 이때 가장 중요한 필요조건 중 하나가 "일관성"이다. 이 지점에서 Marble과 강한 시너지가 있다고 본다.
   2. Marble이 만드는 세계의 조건: 공간에 걸쳐, 시간에 걸쳐, 서로 다른 시점(viewpoint)에 걸쳐, 서로 다른 유형의 상호작용에 걸쳐 일관된 세계를 만드는 것이 World Labs가 짓고 있는 것이며, 이는 로봇 학습에 필요한 인프라의 한 구성요소가 된다.
   3. 비디오 예측 모델의 고질적 문제 — "물체가 마법처럼 사라진다": 로봇이 물체를 밀었을 때 물체가 그냥 사라지는 것과 같은 문제가 기존 다수의 비디오 예측 모델에서 나타나는 문제이며, 이런 모델은 로봇에게 "무엇이 올바른 행동인지"에 대한 충분히 좋은 신호를 주지 못한다.
   4. 더 강한 비디오 모델도 함께 성장할 여지는 인정: 다만 업계에서 더 낫고 강한 비디오 모델을 만드는 연구가 활발한 것도 인지하고 있으며, SceniX가 구축해온 인프라가 "시뮬레이션 중심 모델"에서 "실제 환경에서 실행하는 로봇 정책 모델"로 넘어가는 데이터 플라이휠의 초기 모멘텀을 제공할 수 있다고 본다. 최종적으로는 순수 물리 기반도, 순수 러닝 기반도 아닌 "문제의 본질적 구조를 포착하면서도 데이터가 쌓일수록 점점 나아지는" 중간 지점의 모델을 지향한다.

---

5. 두 창업자의 노스스타와 철학

5.1. Yunzhu Li — "로봇이 작동하게 만드는 것"

1. 실용주의적 노스스타

   1. "My north star is to make robots work": Martin이 Fei-Fei의 3D 관련 철학적 노스스타에 빗대어 Yunzhu에게도 비슷한 철학이 있는지 묻자, Yunzhu는 "내 노스스타는 로봇이 실제 환경에서 작동하게 만드는 것"이라고 명확히 답한다. 스스로를 매우 실용적인 사람으로 재차 정의한다.

2. "청소" 니즈에 대한 서베이 결과

   1. Fei-Fei와의 협업에서 나온 벤치마크: Yunzhu가 포스트닥 시절 Fei-Fei와 함께 만든 벤치마크 작업 중, 일반 대중에게 "로봇이 당신을 위해 무엇을 해줬으면 좋겠는가"를 묻는 설문을 진행했다.
   2. 결과 — 1000개 태스크 중 1/3이 "청소": 수집된 1000개 태스크 중 3분의 1이 청소(clean) 관련이었다. 사람들은 이런 "dirty하고 지저분한(d and dirty)" 일을 하기 싫어하며, 이런 시나리오야말로 로보틱스 솔루션이 정말로 필요한 지점이다.

5.2. Fei-Fei Li — SceniX 팀의 실용적 접근에 대한 호평

1. 아카데미아 출신이지만 산업 파트너 우선주의
   1. "design partner와 고객을 우선하는 태도": Yunzhu와 공동창업자들(Sonny 제외 Yunzhu·Changxi는 아카데미아 출신)이 갖고 있는 가장 마음에 든 지점은, 첫 본능이 실제 산업의 디자인 파트너·고객과 일하는 것(산업 랩, 창고, 전자제품 조립 라인 등)이었다는 점이다. Fei-Fei는 이를 "신선한(refreshing)" 로보틱스 접근 방식이라고 평가하며, 이것이 함께 일하고 싶게 만든 결정적 이유였다고 밝힌다.

---

6. "완벽하지 않아도 되는 시뮬레이션" — 정밀함의 역설

6.1. 로보틱스와 창작 분야의 정밀도 요구 차이

1. Martin의 질문

   1. 로보틱스는 정밀해야, 창작은 안 그래도 된다는 통념: 로보틱스는 꽤 정확해야 하지만(완벽할 필요는 없어도), World Labs가 많이 다뤄온 창작 분야는 틀려도 그것이 스타일적이거나 의도적일 수 있어 정밀도 요구가 다르다. 이 두 요구를 기술적으로 어떻게 화해시키는지, 아니면 영원히 두 개의 다른 지점으로 남는지 묻는다.

2. Yunzhu Li의 답변 — 장기적으로는 수렴, 로봇 모델도 완벽할 필요 없다

   1. "모델은 완벽할 필요가 없다": 환경 모델링이 완벽할 필요는 없다고 단언한다.

6.2. 사족보행·이족보행 로봇이 이미 증명한 패턴

1. 로보틱스 응용 발전의 초석 = 모델
   1. 비행기, 드론, Roomba 사례: 다양한 로보틱 애플리케이션(비행기, 드론, Roomba)에서 모델이 시뮬레이션→실제 환경으로의 전이(transfer)를 가능케 한 핵심 요소였다.
   2. 사족보행/이족보행 로봇의 시사점: 이런 로봇들은 눈밭이나 덤불 위를 걸을 수 있지만, 그 시뮬레이터가 눈과 덤불을 아주 정밀하게 시뮬레이션한 것은 아니다. 필요한 것은 "문제의 본질적 구조를 포착하면서, 디지털 환경 안에서 다양한 종류의 무작위화(randomization)를 수행하는 시뮬레이션"이다.
   3. SceniX × World Labs가 목표하는 것: 거대한 세계(massive worlds)를 모델링하는 데 필요한 "충실도(fidelity)의 수준"이 어느 정도인지를 탐구하면서, 로봇 시스템을 시뮬레이션된 디지털 세계에서 학습시켜 실제 시나리오로 전이시키는 것을 지향한다.

---

7. 시뮬레이션 vs 실제 데이터 — Sergey Levine의 반론에 대한 응답

7.1. Martin의 질문 — 업계의 회의론

1. Sergey Levine의 주장 인용
   1. "시뮬레이션은 결국 물리 세계와 어긋난다": Martin은 투자자로서 다른 연구자들(Sergey Levine 등)로부터 "시뮬레이션은 결국 물리 세계에서 벗어나며, 실제 세계 데이터 수집이 절대적으로 중요하다"는 의견을 들어왔다며, 시뮬레이션을 초석으로 삼는 접근의 타당성(viability)을 묻는다.

7.2. Yunzhu Li의 답변 — 대립이 아니라 데이터 플라이휠의 단계 차이

1. 시뮬레이션과 실제 데이터는 모순되지 않는다
   1. 시뮬레이션의 정의 재확인: 시뮬레이션은 행동을 가했을 때 환경이 어떻게 변할지 예측하는 "세계의 모델"이며, 순수 물리(pure physics)일 필요도, 순수 러닝(learning)일 필요도 없이 둘의 조합일 수 있다.
   2. 실제 데이터도 계속 수집한다: 실제 세계 데이터도 수집하고 사용하며, 다만 데이터 플라이휠의 "단계(stage)"가 다를 뿐이다.
   3. 단계별 강조점 이동: 초기에는 올바른 일관성과 구조를 확보하기 위해 물리(physics)에 강한 비중을 둔다. 이후 자체 데이터 수집과 고객 협업을 통해 데이터가 축적될수록 점점 더 러닝 기반 모델링 쪽으로 무게중심이 이동한다.
   4. 이 흐름이 물리의 일관성·구조와 데이터·컴퓨트의 힘 양쪽을 모두 취하는 방법이라고 결론짓는다.

7.3. Fei-Fei Li의 철학적 보충 — 인간의 시뮬레이션 능력에 빗댄 counterfactual reasoning

1. 시뮬레이션 vs 무(無)시뮬레이션은 이분법이 아니다

   1. 인간 지능도 시뮬레이션을 많이 한다: 인간은 머릿속에서 많은 시뮬레이션을 수행한다. 그 이유는 "counterfactual reasoning(반사실적 추론)" — 일어나지 않았거나 일어날 수 없거나 실제 세계에서 충분한 데이터가 없는 사건들을 미리 재생해보고, 그 과정에서 어떻게 행동할지를 배우는 것 — 때문이다. 인간은 이를 항상 하고 있다.

2. 월드컵 비유

   1. 경기 계획 = 시뮬레이션: Yunzhu가 월드컵 현장에 있었다는 사실(스페인 우승 축하)을 언급하며, 모든 경기 준비 과정에는 (디지털이든 화이트보드든) 반드시 시뮬레이션이 존재하고, 그 시뮬레이션의 역할이 바로 반사실적 추론이라고 설명한다.

3. Waymo 사례 — 실제 산업이 이미 증명한 사실

   1. 자율주행 업계의 실제 데이터: Waymo는 공식적으로 수십억 시간(billions of hours)의 시뮬레이션을 사용한다고 밝힌 바 있으며, 실제로는 실제 세계 데이터보다 시뮬레이션에 더 비중을 두고 있다(more simulation-heavy than just real world data heavy).
   2. 자동차도 로봇이다: 자율주행차는 "가장 단순한 종류의 로봇"이라는 점을 짚으며, 로보틱 러닝에서 시뮬레이션이 명백히 큰 역할을 한다고 결론짓는다.

7.4. Yunzhu Li — 시뮬레이션이 주는 두 가지 구체적 이점

1. 신뢰성(reliability)

   1. 상태공간의 체계적 커버리지가 관건: 실제 환경에서 신뢰성 있게 작동하는 로봇 시스템을 만들려면, 로봇이 마주칠 모든 상태공간(state space)과 변주(variation)를 체계적으로 커버하는 데이터가 필요하다.
   2. 시뮬레이션의 체계적 무작위화: 조명, 마찰(friction), 기하구조, 물체 종류 등 모든 물리적 파라미터를 시뮬레이션에서 체계적으로 무작위화·통제할 수 있어 충분한 상태공간 커버리지를 확보할 수 있다.

2. 효율성(efficiency)

   1. 텔레오퍼레이션의 속도 한계: 현재 많은 팀이 텔레오퍼레이션(tele-operation)으로 데이터를 수집하는데, 실제 로봇의 스켈레톤 장비를 이용해 데이터를 모으는 속도는 사람이 직접 그 일을 하는 속도보다도 느리다.
   2. 고객은 인간보다 빠른 속도를 원한다: 많은 고객에게는 "인간 속도"조차 충분하지 않으며, 더 빠른 속도를 원한다.
   3. 로봇을 그냥 빨리 움직이게 할 수는 없다: 로봇을 물리적으로 빨리 움직이게 하는 것은 간단하지 않다 — 중력(gravity)은 변하지 않기 때문이다.
   4. 시뮬레이션에서의 체계적 스피드업: 시뮬레이션 안에서는 로봇 행동을 체계적으로 가속(speed up)해서 학습시킬 수 있고, 이 과정에서 환경의 모든 동역학적 변화를 고려하게 만들 수 있다. 이것이 고객에게 효율성을 제공하는 지점이다.

---

8. 구체적 사용 사례 — Training과 Evaluation

8.1. Evaluation — 업계에서 종종 간과되는 영역

1. Evaluation의 의미 재정의

   1. AI 업계와 비-AI 업계의 용어 격차: Martin은 AI 종사자에게는 "eval"이 익숙한 개념이지만 비-AI 종사자에게는 다르게 들릴 수 있다며 구체적 설명을 요청한다.
   2. Yunzhu의 정의: 특정 체크포인트가 얼마나 잘 작동하는지(예: 95% 성공률인지 99.9%인지)를 파악하는 것이며, 이는 모델을 반복 개선(iterate)하기 위한 유일한 정보원이다.

2. 로보틱스 evaluation의 속도 문제

   1. 실제 환경 평가는 극도로 느리다: 90%짜리 체크포인트와 92%짜리 체크포인트를 구분하는 데 걸리는 시간(wall-clock time)이 실제 환경에서는 매우 길다.
   2. 언어모델 대비 수 배 느린 반복 속도: 로보틱스 태스크는 종류가 매우 다양(varied, diverse)할 뿐 아니라, "원자(atoms)가 실제로 공간을 이동해야 한다"는 물리 법칙의 제약 때문에 반복 속도가 언어모델보다 수 배(multiple orders of magnitude) 느리다. (로보틱스 영상이 종종 8~10배속으로 재생되는 이유를 예로 든다.)
   3. 느리고, 위험하고, 비용도 크다: 실제 환경 평가는 느릴 뿐 아니라 위험하고(dangerous) 비용도 많이 든다(costly).

3. 디지털 환경이 주는 신뢰

   1. 정렬(alignment)이 검증된 디지털 환경: SceniX의 디지털 환경은 실제 세계와의 정렬이 입증되어 있어, 시뮬레이션에서 더 잘 작동하는 체크포인트는 실제 환경에서도 더 잘 작동할 가능성이 높다(블로그 포스트에서도 이를 다뤘다고 언급).
   2. 결과: 고객은 디지털 환경의 신호를 이용해 확장 가능(scalable)하고 안전하며 훨씬 빠른 평가를 수행할 수 있다는 강한 확신을 얻는다.

8.2. Training — 통제 가능성(controllability)이 핵심

1. 다양한 변주를 체계적으로 통제

   1. 커버해야 할 파라미터들: 상태, 파라미터, 조명, 마찰, 물리 파라미터, 물체 기하구조, 물체 종류 등 가능한 모든 변주를 통제해 로봇에게 유용한(informative) 데이터를 생성해야 한다.
   2. 실제 환경만으로는 불가능: 텔레오퍼레이션은 느리고, 보유한 로봇 수·텔레오퍼레이션 장비 수에 제약을 받으며, 데이터 운용 전반에 여러 어려움이 따른다.

2. 시뮬레이션의 강점

   1. 완전한 통제와 체계성: 시뮬레이션에서는 모든 것이 통제 가능하고 체계적이며, 정확히 어떤 분포(distribution)를 커버했는지 알고 있기 때문에 "그 분포 내에서는 로봇이 작동할 것"이라는 확신을 개발할 수 있다.
   2. 고객이 가치를 두는 지점: 이러한 신뢰성·효율성·확장성이 고객들이 로봇 시스템 학습을 위해 이들의 "디지털 세계"를 사용하는 이유다.

3. 인바운드 수요가 이미 존재했다

   1. SceniX 합류 전부터 있었던 니즈: Fei-Fei는 SceniX와의 대화 이전부터 Marble의 인바운드 고객들에게서 이런 종류의 수요를 이미 봐왔지만, 그 수요를 채워줄 수 없었다고 밝힌다. 초기 단계 로보틱스 회사들로부터 모델 개발부터 매우 실용적인 다운스트림 사용까지 전 영역에 걸쳐 이런 니즈를 확인하고 있었다.

---

9. 이 사업은 어디서 시작해서 어디서 끝나는가 — 로봇 개발 생태계 내 위치

9.1. "로봇을 만드는 것"이 아니라 "로봇이 학습할 환경을 만드는 것"

1. Martin의 프레이밍

   1. 일반적 오해: "로보틱스에 들어간다"고 하면 사람들은 3D 프린터로 하드웨어를 만들고 로봇의 "두뇌"를 프로그래밍해 로봇에 심는 것을 상상하지만, 그게 아니라는 점을 짚는다.

2. Yunzhu의 확인 — 인프라이자 소프트웨어

   1. 모델·임바디먼트에 대해 애그노스틱(agnostic)한 인프라: 사람들이 세계를 만들어 로봇이 학습·평가할 수 있게 해주는 인프라와 소프트웨어를 구축하고 있으며, 이는 자연스럽게 모델에 대해서도, 로봇의 신체 형태(embodiment)에 대해서도 무관하게(agnostic) 설계되어 있다.
   2. 핵심 요약(Martin이 정리): "로봇을 만드는 게 아니라, 다른 회사가 자기 로봇의 두뇌를 배치해 탐험·학습하게 만들 수 있는 환경을 만드는 것"이라는 정리에 Yunzhu는 정확하다고 동의한다.

9.2. Embodiment-agnostic — 다양한 로봇 형태를 지원

1. 고객들이 사용하는 로봇 형태의 다양성
   1. 다양한 하드웨어: 싱글 로봇 암, 바이(bi-manual), 고정 암, 모바일 매니퓰레이터, 그리퍼, 더 정교한 엔드 이펙터 등 여러 형태의 로봇을 사용하는 고객들이 존재한다.
   2. 플랫폼의 유연성: SceniX 플랫폼은 자연스럽게 임바디먼트에 무관하게 설계되어 있어, 서로 다른 로봇 임바디먼트를 쉽게 통합해 디지털화된 세계에 투입할 수 있고, 개별 로봇들이 실제 환경에서 올바른 태스크를 올바른 수준의 신뢰성·효율성으로 수행할 능력을 갖추도록 만들 수 있다.

9.3. Model-agnostic — 다양한 모델을 지원

1. 처음부터 학습시키거나, 기존 파운데이션 모델을 사후학습
   1. 다양한 후속 활용: 자체 세계가 생성한 데이터를 이용해 처음부터(from scratch) 모델을 학습시킬 수도 있고, 기존 파운데이션 모델(VLA — vision language action 모델, world-action 모델 등)을 사후학습(post training)할 수도 있다.
   2. 회사가 중요하게 여기는 것은 결과: 어떤 모델을 쓰든 상관없이, 로봇이 실제 환경에서 신뢰성 있게 작동할 수 있도록 하는 인프라와 세계를 갖추는 것이 목표라고 강조한다.

---

10. 휴머노이드에 대한 신중한 시각 — 구조화 환경에서 반구조화 환경으로

10.1. Martin의 질문 — 과도한 낙관에 대한 우려

1. 휴머노이드 예측의 과도함: Yunzhu가 이전에 휴머노이드에 대한 업계의 예측이 다소 공격적(aggressive)이었으며, 창고 등 더 제약된(constrained) 롤아웃이 먼저 나올 것이라고 말했던 점을 상기시키며, 이것이 World Labs에서 다룰 사업 방향에 어떻게 영향을 주는지 묻는다.

10.2. 환경 구조화 정도에 따른 3단계 진화

1. 완전 구조화 환경(fully structured environments)

   1. 정의: 환경 안의 모든 구성(configuration)에 대해 지식과 통제력을 갖고 있는 환경이다.
   2. 사례: 공장이 대표적이며, 자동차 제조 라인 등은 이미 수십 년 전부터 자동화되어 있다.

2. 반구조화 환경(semi-structured environments)

   1. 정의: 환경에 대한 어느 정도의 통제력은 갖고 있지만, 옷가지처럼 통제할 수 없는 물체도 함께 존재하는 환경이다.
   2. 사례: 아마존 창고, 레스토랑, 호텔 등이 이에 해당하며, 로봇 태스크를 쉽게 만들기 위한 일정 수준의 환경 통제가 가능하다.

3. 비구조화 환경(unstructured environments)

   1. 정의: 가정처럼, 통제력이 거의 없는 환경으로 "그랜드 챌린지(grand challenge)"라고 표현한다.
   2. Martin의 사례: 자신의 집을 예로 들며 개 세 마리와 다섯 살 아이가 있는 집이 "특히 어렵다(especially my house, trust me)"고 농담한다.

4. 로버스트니스(robustness)의 원천

   1. 시나리오의 충분한 커버리지가 핵심: 로봇이 마주칠 시나리오들을 충분히 커버해야 로버스트니스가 확보되므로, 완전 비구조화 환경으로 넘어가기 전에 반구조화 환경에 집중하는 것이 지금 시점에서 훨씬 접근 가능하고(approachable) 쉽다. World Labs·SceniX는 이 방향으로 나아가되, 더 지속가능(sustainable)하고 현실적인(realistic) 접근을 택하겠다고 밝힌다.

10.3. Fei-Fei Li — 휴머노이드의 신체가 왜 "일반적이지만 최적은 아닌지"

1. 진화의 산물로서의 인간 신체

   1. 휴머노이드는 인간 신체를 모방하지만, 인간 신체는 비구조화 환경 생존에 맞춰 진화한 결과다: 인간의 손가락·다리는 "한 가지 일"에 최적화된 도구가 아니다. 만약 인류의 유일한 목표가 나무 타기였다면 지금과는 다른 형태의 손가락을 가졌을 것이라는 사고실험을 제시한다.
   2. 범용성 대 최적성의 트레이드오프: 인간이 진화시킨 신체 형태는 매우 범용적(general)이지만 어떤 것에도 최고로 특화되어 있지는 않으며, 이것이 비구조화 환경에서의 생존을 가능케 한 특성이다.

2. 비즈니스·기술 관점에서의 결론

   1. 비구조화 환경 + 범용 신체는 가장 어려운 문제: 사업적·기술적 관점에서 비구조화 환경과 범용화된 신체를 동시에 다루는 것은 가장 어려운 문제이며, 심지어 반드시 옳은 접근도 아닐 수 있다.
   2. 특화(specialize)가 더 실용적: 더 좁은 문제를 풀기 위해 더 특화된 신체를 택하는 쪽이 실용적이며, SceniX의 과제는 "임바디먼트에 무관"하게 인프라를 만들어 다양한 신체와 다양한 반구조화 환경을 함께 서비스할 수 있게 하는 것이다.

---

11. 인간 수준의 파워 효율에 도달하려면 얼마나 걸릴까

11.1. Martin의 경제학적 프레이밍

1. LLM과의 대비
   1. LLM은 인지 작업에서 압도적으로 빠르고 저렴: 생성 LLM은 글이나 코드를 인간보다 만 배 빠르고 훨씬 싸게 만들 수 있는데, 이는 인간의 두뇌가 그런 작업에 그다지 효율적이지 않기 때문에 경제적으로 말이 된다.
   2. 반대로 인간은 3D 내비게이션에 매우 효율적: 인간의 두뇌와 신체는 세상을 이동하거나 물건을 집는 것과 같은 3D 내비게이션에는 매우 효율적이다.
   3. 질문: 예측성 질문이지만, 가까운 미래에 최저임금 수준의 단순 노동(menial task)에서 인간의 파워 효율을 갖는 로봇을 만들 수 있을지 — 5년 정도일지, 아니면 영영 불가능할지를 묻는다.

11.2. Yunzhu Li의 답변 — "매우 오랜 시간이 걸릴 것"

1. 로봇은 결국 시스템(system) 문제

   1. 하드웨어·소프트웨어·두뇌·마찰계수까지: 실제 환경에서 작동하는 모든 로봇은 결국 하나의 "시스템 작업"이다. 손가락의 마찰계수(friction coefficient) 같은 세부사항까지 신중하게 고려해야 하는 많은 요소들이 있으며, 이를 현실화하려면 여러 번의 반복(iteration)이 필요하다.

2. 그럼에도 낙관적인 이유

   1. 예상보다 빠른 SOTA 발전: 자신이 항상 로봇 러닝의 최전선(state of the art)에 있었지만, 그 최첨단이 자신이 박사과정을 시작했을 때 상상했던 것과는 완전히 다른 방향으로, 그리고 예상보다 빠르게 진화해왔다.
   2. 측정된 낙관(calibrated optimism)의 필요성: 생태계 전반이 빠르게 진화하고 여러 요소들이 결합되고 있다는 것을 실감하지만, 예측에서는 균형 잡힌 시각을 유지해야 한다고 강조한다. 상당한 진전은 있겠지만, 인간 수준의 효율성과 역량에 도달하려면 더 오랜 시간이 걸릴 것이라고 결론짓는다.

11.3. Fei-Fei Li의 보충 — 뇌의 파워 효율 비교

1. "오늘날의 AI에서 가장 어려운 것은 적절히 측정된 낙관": Martin의 반응에 이 표현으로 화답한다.
2. LLM도 인간 뇌만큼 효율적이지 않다: 인간의 뇌는 30와트(30 watts)로 작동하는데, LLM은 그 정도 효율에 전혀 미치지 못한다. 다만 소프트웨어 엔지니어링이나 이미지 생성처럼 좁은(narrow) 태스크에서는 "성능 대비 전력(performance to power)" 측면에서 인간과 가까워질 수 있다는 점은 Yunzhu도 동의하지만, 로보틱스에서는 전혀 가깝지 않다고 재확인한다.

11.4. 이 현실이 전략에 미치는 영향

1. 트라젝토리를 근본적으로 바꾼 발견

   1. 매우 심오한 방식으로 전환: Yunzhu는 이 현실 인식이 팀의 전략적 궤적을 매우 근본적으로(profound manner) 바꾸었다고 답한다. 특히 World Labs와의 파트너십을 통해 환경 모델링 프로세스 전반을 훨씬 효율적이고 확장 가능하게 만드는 데서 많은 잠재력(unlock)을 본다.

2. 언어모델과 로보틱스 모델의 신뢰성 요구 차이

   1. 언어모델은 사람의 검수를 전제한다: 오늘날의 언어모델은 놀라운 역량을 갖췄지만, 사람들은 그것을 맹목적으로 신뢰해 항공권을 예매하거나 호텔을 예약하지 않는다 — 여전히 사람이 그 출력을 확인하기를 바란다.
   2. 로보틱스 모델은 "박스 밖에서 바로 신뢰성 있게 작동"해야 한다: 로보틱스는 그렇지 않다. 로봇 모델은 출시 즉시(out of the box) 실제 환경에서 신뢰성 있게 작동해야 하는데, 지금은 그럴 데이터도, 필요한 인프라도 충분치 않다. 바로 이 이유로 로봇이 그 안에서 학습·평가할 수 있는 확장 가능한 디지털 세계를 만드는 것이, 실제 환경의 값비싸고 안전하지 않은 데이터를 대체할 막대한 잠재력을 열어준다고 결론짓는다.

---

12. 통합 전략과 조직 운영

12.1. 신중한 통합 — "샐러드볼처럼 급하게 섞지 않는다"

1. 통합 속도에 대한 Martin의 질문

   1. 즉시 통합 vs 장기 궤도 유지: 이런 종류의 인수합병에서 지금 당장 통합할지, 아니면 긴 시간에 걸쳐 실현될 별도의 장기 궤적을 유지할지에 대한 질문이 항상 존재한다며 이번 경우는 어떤지 묻는다.

2. Fei-Fei Li의 답변 — 신중하지만 이미 일부는 진행 중

   1. 코드베이스·팀을 급하게 합치지 않는다: Changxi, Sonny, Justin, Ben 등과 이 문제를 논의해왔으며, 코드베이스부터 팀까지 전부를 서둘러 통합하지는 않는다는 방침이다.
   2. SceniX는 이미 상당히 자체 완결된 스택을 갖고 있다: "완전한 독립체(standalone)"라고 부르진 않겠지만, SceniX가 상당히 잘 정리되고(well-thought) 어느 정도 자기완결적인(contained) 기술 스택과 고객, 제품군을 이미 갖고 있다는 점을 시간을 갖고 다룰 것이라고 말한다.
   3. 일부는 이미 진행 중: 시뮬레이션 쪽과 잠재적인 베이스 모델(action-conditioned model) 쪽에서는 이미 논의를 시작했고, SceniX가 Marble을 내부 고객으로도 사용하고 있다. 다만 팀을 "완전한 샐러드볼(full salad bowl)"처럼 급하게 섞지는 않을 것이라고 강조한다.

12.2. 지리적 확장 — 바이코스탈(bi-coastal) 회사로

1. 뉴욕 오피스 신설
   1. 본사는 샌프란시스코, 이제 공식적으로 바이코스탈 회사: World Labs 본사는 샌프란시스코에 있으며, Fei-Fei는 팔로알토에 거주해 스스로 "다른 주에 있는 것 같다"고 농담한다. 뉴욕에 오피스를 여는 것이 동부 해안(East Coast) 인재를 유치하는 데 도움이 될 것으로 기대한다.
   2. 양쪽 오피스에 로봇을 배치할 계획: 원격으로 로봇과 협업하는 엔지니어링 스택을 성숙시키기 위해 두 오피스 모두에 로봇을 배치할 계획이다. 이는 고객을 위해 반드시 갖춰야 하는 역량이기 때문이라고 설명한다.
   3. Yunzhu의 샌프란시스코 이주: Yunzhu(현재 뉴욕/컬럼비아 소재)가 샌프란시스코로 이주할 예정이며, Martin이 이를 "플로렌스와 르네상스"에 빗대며 환영 인사를 건넨다.

---

13. 2년 후 성공 시나리오와 로보틱스 회사들을 향한 메시지

13.1. 2년 후 "완벽한 성공"의 모습

1. 소수의 중요한 버티컬에서 검증된 고객
   1. Fei-Fei의 답변: SceniX 팀과 World Labs 팀이 소수의(a small number) 중요한 버티컬 사용 사례에서 검증된(validated) 고객을 확보하고, 자사의 시스템·인프라가 그 고객들의 자동화 니즈에 실질적으로 도움이 되었다는 것을 증명하는 것이 성공이다.
   2. 라이트하우스 예시로 사업 확장: 이런 검증된 고객들이 "라이트하우스 예시(lighthouse examples)"가 되어 사업을 확장하는 발판이 되는 것을 목표로 한다.

13.2. 로보틱스 회사는 어느 시점에 연락해야 하는가

1. 니즈에 따라 다른 서비스 단계

   1. 일부는 "real-to-sim"만 필요: 일부 고객은 과제로 삼는 태스크를 디지털화해 자사 로봇 시스템의 평가만 수행하고 싶어 한다.
   2. 일부는 "real-to-sim-to-real" 전체 파이프라인이 필요: 실제 하드웨어에서 실행되는 정책(policy)까지 필요로 하는 고객도 있다. SceniX·World Labs 플랫폼은 고객의 니즈에 맞춰 유연하게 설계되어 있다.

2. 현재 고객들은 배포(deployment) 단계에 가까운 실용적 태스크를 다룬다

   1. 즉시 가치가 나는 태스크: 함께 일하는 고객들은 매우 실용적인 태스크를 다루고 있으며, 로보틱 솔루션으로 대체됐을 때 즉시 가치를 창출할 수 있는 상황이 수십~수백 건(tons or hundreds) 존재한다고 언급한다.
   2. 블로그 포스트에서 이미 사례 공개: 이미 블로그 포스트에 여러 시나리오가 소개돼 있으며, 앞으로 더 많은 실제 배포 요구사항·제약을 해결해나갈 것이라고 밝힌다.

3. "연락하기에 너무 이르거나 너무 늦은 때는 없다"

   1. Fei-Fei의 명확한 답변: 로보틱스 회사라면 World Labs에 연락하기에 너무 이르거나 너무 늦은 시점은 없으며, "우리는 모든 사람이 연락해주길 바란다. 당신의 유스케이스를 알고 싶다"고 강조한다.
   2. Martin의 마무리 권유: 로보틱스 프로젝트나 회사와 조금이라도 관련이 있다면 World Labs를 눈여겨보라고 권하며 인터뷰를 마무리한다.

---

주요 발언 모음

"We are building the next frontier of AI which is what we call spatial intelligence." — Fei-Fei Li

"My north star is I want the robot to work." — Yunzhu Li

"Think about human intelligence. We do a lot of simulation in our head. Why? There's a very important role simulation plays that real world data doesn't play which is counterfactual reason[ing]." — Fei-Fei Li

"What we are building is a consistent world — consistent both over space, over time, over different viewpoints, and over different type of interactions." — Yunzhu Li

"The hardest thing in today's AI is to have the right measured optimism." — Martin Casado

"Even LLM does not have human brain efficiency. Human brain operates on 30 watts... we are far from that [in robotics]." — Fei-Fei Li

"It's not building a robot, it's building an environment which another company can place their robot brain [in] to navigate and to learn." — Martin Casado (Yunzhu: "Exactly")

"No. We want everybody to call us. We want to learn about your use case... Not too early. If you're doing robotics, call World Labs." — Fei-Fei Li

핵심 데이터 & 수치

• 1000개 태스크 서베이 중 1/3이 "청소": Yunzhu가 Fei-Fei와의 포스트닥 시절 협업에서 만든 벤치마크 설문 결과, 일반 대중이 로봇에게 원하는 태스크의 1/3이 청소 관련이었다.
• Waymo — "billions of hours"의 시뮬레이션: Waymo가 공식적으로 밝힌 시뮬레이션 사용량이 실제 세계 데이터 비중보다 크다.
• 인간 뇌 = 30와트: Fei-Fei가 언급한 인간 뇌의 소비 전력. LLM은 이 효율에 크게 못 미친다.
• World Labs = 2년차 스타트업(2-year-old startup): Fei-Fei가 직접 밝힌 회사 연차.
• 로보틱스 영상은 종종 8~10배속 재생: 물리 법칙 제약으로 인해 실제 로봇 동작이 느리다는 점을 보여주는 예시로 언급됨.
• SceniX 3인 공동창업자: Yunzhu Li(컬럼비아 조교수, MIT 박사, 스탠퍼드 포스트닥), Changxi Zheng(컬럼비아 교수, VFX 배경, Weta·Tencent 근무 이력), Sonny Xiaochen Hu(前 아마존, 엔지니어링 리더). — 회사명 SceniX와 공동창업자 실명은 웹 검색으로 별도 교차 확인(2026-07-21 World Labs 공식 인수 발표 보도 기준).

결론 및 시사점

1. World Labs의 SceniX 인수는 계획된 M&A가 아니라 "Marble 고객 → 시너지 발견 → 인수"로 이어진 유기적 결합이었다. Fei-Fei Li와 Yunzhu Li의 사제 관계(스탠퍼드 포스트닥)는 우연이었을 뿐, 사전 조율된 딜이 아니었다.
2. 로보틱스의 핵심 병목은 "데이터"이며, 그중에서도 훈련(training)뿐 아니라 평가(evaluation) 속도가 특히 저평가된 문제다. 실제 환경 평가는 물리 법칙 제약 때문에 언어모델 대비 반복 속도가 수 배 느리고, 느리고 위험하고 비용도 크다.
3. 시뮬레이션은 "완벽한 물리 재현"이 목표가 아니라 "문제의 본질적 구조를 포착하는 것"이 목표다. 사족보행·이족보행 로봇이 정밀하지 않은 시뮬레이터로도 실제 전이에 성공해온 것이 그 증거다.
4. 시뮬레이션과 실제 데이터 수집은 대립이 아니라 데이터 플라이휠의 서로 다른 단계다. 초기엔 물리 기반 비중이 높고, 데이터가 쌓일수록 러닝 기반 비중이 커지는 방향으로 이동한다. Sergey Levine류의 "시뮬레이션은 결국 어긋난다"는 비판에 대한 SceniX·World Labs의 입장은 "둘 다 필요하며 상호 보완적"이라는 것이다.
5. **시뮬레이션의 두 핵심 이점은 신뢰성(체계적 상태공간 커버리지)과 효율성(텔레오퍼레이션보다 빠른 속도로 학습 가능)**이며, 실제 산업 고객들은 이 두 가지에 실질적 가치를 느끼고 있다.
6. World Labs·SceniX 플랫폼은 "로봇을 만드는 회사"가 아니라 "다른 회사의 로봇 두뇌가 학습·평가할 수 있는 환경을 만드는 회사"로 명확히 포지셔닝되어 있으며, 모델 애그노스틱·임바디먼트 애그노스틱하게 설계돼 있다.
7. 휴머노이드에 대한 과도한 낙관은 경계하며, 완전 구조화 → 반구조화 → 비구조화 환경으로 점진적으로 나아가는 실용적 로드맵을 제시한다. 인간 신체가 "범용적이지만 최적은 아닌" 진화의 산물이라는 관점에서, 특화된 신체·좁은 문제 해결이 오히려 더 실용적일 수 있다고 본다.
8. 인간 수준의 파워 효율을 가진 로봇은 "매우 오랜 시간"이 걸릴 것이라는 신중한 전망을 제시하며, 인간 뇌(30와트) 대비 LLM조차 효율이 크게 못 미친다는 점을 근거로 든다. 다만 이 현실 인식이 오히려 팀의 전략(디지털 세계를 통한 확장 가능한 학습·평가 인프라 구축)을 더 명확히 하는 계기가 되었다.
9. 조직 통합은 "급하게 섞지 않는다"는 원칙 하에 신중하게 진행 중이며, 시뮬레이션·베이스 모델 영역에서는 이미 협업이 시작됐다. 뉴욕 오피스 신설로 바이코스탈 조직으로 확장한다.
10. 로보틱스 회사를 향한 메시지는 명확하다 — "연락하기에 너무 이르거나 늦은 때는 없다." real-to-sim만 필요한 초기 단계 고객부터, 실제 하드웨어에 배포할 정책까지 필요한 고객까지 유연하게 지원한다는 입장이다.