피이페이 리가 공간 지능(Spatial Intelligence)에 거는 이유 — 월드 모델이 로보틱스·3D·창작을 바꾸는 방식

URL: https://www.youtube.com/watch?v=qn1QDDBnTA0 날짜: 2026-09-05 채널: a16z 원문 제목: Why Fei-Fei Li Is Betting on Spatial Intelligence

---

📌 핵심 질문 / 핵심 논점

==다음 토큰(next-token) 예측이 언어지능의 핵심 원시 연산이라면, 다음 시점의 관점(next-viewpoint)을 예측하는 능력은 공간지능(spatial intelligence)의 핵심 원시 연산이 될 수 있는가?==

• World Labs의 Atlas는 텍스트·이미지·비디오·카메라 포즈·깊이(depth)를 하나의 공간적 맥락(spatial context)으로 묶어 세계를 생성하고, 재구성하고, 시뮬레이션한다.
• 기존 영상 생성 모델이 그럴듯한 픽셀을 만들었다면, Atlas는 각 프레임을 3차원 카메라 포즈와 연결해 공간적으로 근거 있는 픽셀을 만든다.
• 공간지능은 공간을 생성하는 데서 끝나지 않고, 공간의 기하·구조·물리를 이해하고, 그 안에서 추론하고, 편집하고, 상호작용하고, 행동을 계획하는 능력으로 확장된다.

언어 모델이 긴 문맥을 이용해 빈칸을 메우듯, Atlas는 몇 장의 실제 관측을 긴 공간적 맥락으로 확장해 관측되지 않은 시점과 장면을 생성한다. 이 과정에서 재구성과 생성이 하나로 합쳐지고, 창작 도구·건축·시뮬레이션·로보틱스의 데이터와 작업 흐름이 동시에 바뀐다.

1. Atlas가 제시하는 새로운 기본 연산

Atlas는 차세대 월드 모델(world model)로서 세계를 생성(generate)하고, 재구성(reconstruct)하고, 시뮬레이션(simulate)하는 세 가지 능력을 하나의 체계로 묶는다.

1.1. 세 가지 핵심 능력과 입력·출력

1. 카메라 조건부 생성(camera-conditioned generation)

   1. 시점 제어: 이미지와 카메라 궤적(camera trajectory)을 입력하면 원하는 관점에서 이어지는 비디오 프레임을 생성한다. 텍스트로 대략적인 분위기만 지시하는 방식이 아니라 가상 카메라의 위치와 이동을 직접 조절한다.
   2. 임의의 공간·시간 관점: 장면에 대한 몇 개의 시점이나 설명을 공간적 맥락으로 만든 뒤, 가상 카메라를 공간과 시간의 임의 지점에 놓으면 그 위치에서 세계가 어떻게 보여야 하는지 추론한다.

2. 희소 3D 재구성(sparse 3D reconstruction)

   1. 적은 입력으로 실제 세계 복원: 실제 세계를 바라보는 이미지 한 장부터 최대 100개의 프레임까지 입력해 장면을 재구성한다.
   2. 두 가지 출력: 재구성 결과는 공간을 통과해 날아가는 새로운 비디오이거나, 장면을 명시적으로 표현하는 3D 재구성이 될 수 있다.

3. 시뮬레이션과 불릿 타임(bullet time)

   1. 영화적 시점 이동: 《매트릭스》에서 네오가 넘어지는 순간을 수백 대의 카메라가 둘러싸고 촬영한 불릿 타임 장면을, Atlas는 세 대의 카메라만으로 재현할 수 있다.
   2. 현실적인 촬영 조건: 세 대의 iPhone을 삼각대에 올려 농구공을 던지거나 딸기를 우유 그릇에 떨어뜨리는 장면을 촬영하면, 우유가 튀는 순간 시간을 멈추고 카메라를 그 주변으로 이동한 듯한 새로운 장면을 만든다. 스튜디오 촬영, 그린 스크린, 비싼 보정(calibration)이 필요 없다.

1.2. 다음 프레임에서 다음 관점으로

1. 모델별 예측 단위의 차이

   1. 언어: LLM은 다음 토큰 예측(next-token prediction)을 기반으로 문장을 생성한다.
   2. 영상: 기존 비디오 모델은 다음 프레임 예측(next-frame prediction)에 기대는 경우가 많다.
   3. Atlas: Atlas의 기본 단위는 다음 관점 예측(new-view prediction)이다. 이미 본 세계에서 카메라를 옮겼을 때 나타날 장면을 예측한다.

2. 공간적 맥락의 의미

   1. 포즈가 붙은 이미지: 입력 이미지는 단순한 참고 이미지가 아니다. 모든 이미지에 3차원 카메라 포즈가 연결되어 있어, 모델이 이미지가 공간의 어느 위치와 방향에서 관측된 것인지 안다.
   2. 정밀한 재현: 방 네 모서리에서 찍은 네 장의 이미지를 입력하면 다른 모서리에 무엇이 있을지 임의로 꾸미는 것이 아니라, 주어진 공간 관계를 보존하며 방 전체를 재현한다.
   3. 통제된 배치: 서로 다른 AI 생성 이미지나 현실 장소에서 찍은 두 사진도 공간의 특정 위치에 배치할 수 있다. 카메라가 어디를 보고 어디로 이동할지 정하면, 반복 생성에 의존하는 ‘슬롯머신 효과’ 대신 의도한 플라이스루(flythrough)를 연출한다.

3. 기존 다중 참조 모델과의 차이

   1. 이미지 수가 아닌 의미의 문제: 여러 비디오 모델이 한 장의 이미지, 시작 프레임과 마지막 프레임, 또는 20·30·50장의 참조 이미지를 사용하지만, 입력 이미지의 공간적 의미를 정확히 고정하지 못하면 텍스트 프롬프트로 억지로 원하는 결과를 유도해야 한다.
   2. 3차원 카메라 포즈: Atlas는 각 프레임에 연관된 3D 카메라 포즈를 사용하므로, 재구성의 정밀도가 근본적으로 달라진다. 이미지가 제공하는 공간 관계를 모델이 임의로 재해석하지 않는다.

2. 생성과 재구성을 하나로 만든 아키텍처

Atlas의 새로움은 텍스트-비디오 모델을 크게 확장한 데 있지 않고, 컴퓨터 비전에서 분리되어 있던 픽셀 생성과 픽셀 재구성을 같은 모델과 공간 좌표계 안에 통합한 데 있다.

2.1. 반세기 동안 분리된 문제의 통합

1. 컴퓨터 비전의 분리된 트랙

   1. 전통적 분업: 50년 넘게 이어진 컴퓨터 비전 분야에는 픽셀 생성, 인식, 3D 재구성이라는 별도의 연구 트랙이 존재했다.
   2. 전문화된 모델: 재구성은 자체적인 문제와 모델을 가진 하위 분야였고, 생성은 텍스트-이미지·텍스트-비디오 확산 모델이 잘하는 창작 문제였다.

2. 공통 모델의 장점

   1. 생성과 재구성의 동시 처리: Atlas는 한 아키텍처에서 3D 재구성과 생성을 함께 수행한다. 본 적 없는 대상을 상상하는 생성 능력과 실제 관측을 정확히 복원하는 재구성 능력이 서로의 빈틈을 보완한다.
   2. 공간적 앵커: 뷰포인트와 뷰포인트 추정(viewpoint estimation)을 중심축으로 삼아 두 문제를 연결한다. 모든 프레임의 카메라 위치가 공간의 기하를 묶는 핵심 정보가 된다.

2.2. 처음부터 네이티브 멀티모달로 설계

1. 모델이 받는 모달리티

   1. 텍스트·이미지·비디오: 언어로 장면을 지시하고, 단일 이미지나 여러 이미지와 비디오로 시각적 증거를 제공한다.
   2. 카메라와 3D: 카메라 포즈와 깊이 맵(depth map)을 사전 학습 단계부터 네이티브 입력으로 취급한다. 3D를 나중에 덧붙인 보조 모듈이 아니라 기본 모달리티로 다룬다.

2. 깊이와 색의 결합

   1. RGB 정보: 특정 카메라 위치에서 무엇이 보이는지 색과 픽셀로 표현한다.
   2. 깊이 정보: 같은 위치에서 각 지점이 카메라로부터 얼마나 떨어져 있는지, 공간 구조가 어떻게 배치되는지 깊이 맵으로 표현한다.
   3. 공동 추론: 텍스트, 이미지, 비디오, 3D 카메라가 함께 작동하면서 ‘무엇이 보이는가’와 ‘그것이 공간 어디에 있는가’를 분리하지 않고 추론한다.

2.3. 공간지능의 정의와 로드맵

1. 공간지능이 해야 할 일

   1. 생성: 공간이 무엇인지 만들어내고 표현한다.
   2. 추론: 공간 안의 구조와 관계를 이해하고 그 안에서 판단한다.
   3. 편집·상호작용: 장면의 요소를 바꾸고 공간 안에서 행동한다.

2. 3D에서 4D로

   1. 기초 문제: 공간의 기하(geometry), 구조(structure), 물리(physics)를 이해해야 렌더링·시뮬레이션·행동 계획이 가능하다.
   2. 시간의 추가: 3D 공간에 시간 축을 더하면 궁극적으로 4D가 된다. 정적인 장면을 보는 데서 동적인 세계의 변화를 예측하는 쪽으로 확장된다.
   3. 현재의 위치: 픽셀을 생성하는 모델은 이미 매우 많지만, 픽셀을 공간적 맥락에 맞게 근거화하고 생성하는 일이 훨씬 더 어려운 다음 단계다. Atlas는 이 단계에서 중요한 진전을 만든다.

3. Marble에서 Atlas로: 스케일과 표현의 진화

World Labs는 약 2년 반 동안 개발을 이어 왔고, 첫 대형 월드 모델인 Marble을 거쳐 Atlas에 도달했다.

3.1. Gaussian splat의 장점과 병목

1. Marble의 역할

   1. 입력의 폭: Marble은 이미지, 비디오, 텍스트 프롬프트를 받아 3D 세계를 생성한다.
   2. 출력의 집중: 결과를 Gaussian splat으로 표현했다. Gaussian splat은 모바일과 VR 장치에서 효율적으로 렌더링되고, 게임 엔진과 시뮬레이션 엔진에 연결하기 좋다.

2. 출력 표현의 한계

   1. 병목: 어떤 입력을 넣어도 하나의 Gaussian splat 세계로 출력해야 하므로, 필요한 경우와 그렇지 않은 경우 모두 같은 표현을 거쳐야 했다.
   2. Atlas의 전환: Atlas는 핵심 원시 연산을 Gaussian splat 생성이 아니라 다음 관점 예측으로 바꾼다. 필요할 때 RGB 프레임과 3D를 생성하고 Gaussian splat 세계도 만들 수 있지만, 매번 그 표현에 출력이 묶이지 않는다.
   3. 설계 비용: 어떤 표현이 무엇에 유리한지, 모달리티를 언제 나누고 어떻게 다시 통합할지 판단하는 데 ‘피와 땀과 눈물’이 필요했다.

3.2. 확신을 쌓는 스케일링 사다리

1. 작은 실험에서 시작

   1. 확장 가능성 검증: 처음부터 최종 모델을 만들 수 없으므로 작은 모델과 작은 실험을 통해 어떤 설계가 실제로 확장되는지 확인했다.
   2. 당시의 불확실성: World Labs를 시작했을 때는 공간지능의 스케일링 법칙(scaling law)이 알려져 있지 않았다. 방향에 대한 야심은 있었지만, 여러 번의 반복을 거쳐 확장 가능한 정식화를 찾아야 했다.

2. 컴퓨트가 현재의 병목

   1. 반복된 개선: 모델을 더 크게 만들고, 더 오래 학습하고, 더 많은 칩에 올릴 때마다 성능이 크게 좋아졌다.
   2. 출시 일정의 제약: 공개된 Atlas는 학습한 모델 중 가장 크고 좋은 모델이지만, 성능을 제한한 요인은 데이터나 확장 한계가 아니라 출시 마감일이었다. 마감일에 맞춰 감당할 수 있는 학습량을 역산했다.
   3. 남은 여지: 현재는 아키텍처의 끝이 아니라 시작점에 가깝다. 데이터도 중요하지만, 계속 확장하는 가장 큰 병목은 학습 컴퓨트다.

3.3. ‘탁자 아래를 통과한 카메라’의 발견

1. 초기 돌파구

   1. Nerf의 탁자 사례: 여름 초, 아직 현재 Atlas보다 작은 모델을 Ben과 Justin이 뷰포인트 생성에 넣었다. Nerf 논문과 여러 후속 논문에서 유명한 정원용 탁자 장면처럼 카메라가 탁자 아래로 이동했다.
   2. 축구공의 확인: 탁자 아래에 있던 축구공은 모델이 새로 상상한 것이 아니라 입력에 실제로 포함되어 있었다. 그럼에도 카메라가 보이지 않던 탁자 아래를 자연스럽게 통과하는 결과가 나왔다.

2. 개발 방향의 즉각적 결정

   1. Slack 메시지: Ben이 그 결과를 Slack에 공유했고, 세 사람은 아침에 서로를 바라보며 이것이 지금껏 누구도 본 적 없는 결과라고 판단했다.
   2. 5초의 결정: 세 사람은 약 5초 만에 “이것을 만들겠다”고 결정했다. scaling law와 next-viewpoint prediction이라는 두 가설에 대한 초기 확신이 실제 결과로 확인된 순간이었다.

4. 희소 재구성이 만드는 50~100배의 효율

‘희소(sparse)’는 단순히 사진이 적다는 뜻이 아니라, 기존의 촘촘한 촬영 과정을 모델의 생성 능력으로 보완해 필요한 관측 수를 급격히 줄인다는 뜻이다.

4.1. dense reconstruction이 비싼 이유

1. 모든 지점을 여러 각도에서 촬영

   1. 삼각측량의 조건: 전통적인 재구성은 한 점을 3D로 삼각측량하려면 최소 세네 개 시점에서 그 점이 보여야 한다.
   2. 숨은 영역의 누락: 방 안의 마이크 아래, 테이블 아래, 식물 잎 사이, 의자와 조명 사이처럼 어느 각도에서도 잘 보이지 않는 부분은 수백 장을 찍어도 빠질 수 있다.

2. 사용자 경험의 부담

   1. 숙련자의 시간: 훈련된 사람도 방을 돌아다니며 촬영하는 데 수 분이 걸린다.
   2. 초보자의 시간: 일반 소비자나 처음 작업하는 전문가는 휴대전화와 캡처 장치로 방을 스캔하는 데 한 시간 정도가 걸릴 수 있고, 다중 공간 환경을 처음 스캔한 사람은 충분한 커버리지를 얻는 데 두 시간을 쓰기도 한다.
   3. 사진 수: 이 방을 제대로 담으려면 100·200·300장의 사진이 필요할 수 있다. Atlas는 목표를 세 장 수준으로 줄인다.

4.2. 생성이 재구성의 구멍을 메우다

1. 관측과 상상의 결합

   1. 보이는 점의 복원: 입력 이미지가 제공하는 정보는 전통적 방식으로 삼각측량한다.
   2. 안 보이는 점의 보완: 아무리 촬영해도 모든 픽셀이 보이지 않으므로, 입력에서 빠진 영역은 관측된 구조를 바탕으로 생성해야 한다. 이 빈틈을 메우는 일은 본질적으로 생성 과정이다.

2. 스탠퍼드 쿼드 사례

   1. 적은 이미지: 3~25장의 이미지로 스탠퍼드 쿼드 전체를 재구성했다.
   2. 현실적인 입력과 높은 시점: 입력 이미지는 Ben이 지상에서 서서 찍은 사진들이지만, 결과는 항공 시점에서 쿼드를 내려다본다. 생성된 모든 픽셀은 재구성의 법칙과 공간 관계에 맞춰 만들어진다.

3. 기존 캡처의 재활용

   1. 실패한 자료의 부활: 과거에는 작동하지 않았던 오래된 캡처를 Atlas에 넣어 처음으로 재구성하거나, 기존에 찍은 사진의 95%를 버리고도 새로운 시점을 얻을 수 있다.
   2. 재구성 불가능했던 자료: 전통적인 NeRF나 splat 방식으로는 재구성할 수 없다고 여겼던 오래된 클립과 캐주얼한 영상을 3D 세계로 되살릴 수 있다.

4.3. 시각 모델의 컨텍스트 창

1. LLM의 문맥 확장과 같은 원리

   1. 언어에서의 변화: LLM은 128, 256, 512 토큰에서 백만 토큰으로 문맥을 늘리며, 코딩 모델에서 긴 문맥이 주는 가치를 사용자도 체감한다.
   2. 시각 분야의 미개척 영역: 이미지·비디오 모델에는 아직 한 시간짜리 영상을 넣고 37분 지점의 특정 프레임을 찾는 식의 긴 문맥 활용이 같은 원리로 정착하지 않았다.

2. 재구성은 긴 문맥을 가진 생성

   1. 연속체: 재구성은 더 많은 정보를 넣은 생성이다. Atlas는 관측 이미지가 늘어날수록 생성과 재구성 사이를 자연스럽게 잇는다.
   2. 규모의 예시: 2,000장으로 촬영한 다중 공간 주택을 30~40장 입력으로 줄여도 거의 같은 플라이스루를 얻을 수 있다. 64장 캡처만으로 집 전체를 통과하는 장면을 만들 수도 있다.
   3. 상호작용성: Atlas는 자기회귀(auto-regressive) 모델이므로 사용자가 생성 과정에서 어떤 이미지를 문맥에 추가할지 선택할 수 있다. 한 장에서 시작해 원하는 위치를 여러 개 지정하고, 카메라를 순서대로 이동시키며 촘촘한 플라이스루를 구성한다.

5. 창작·설계·산업 작업 흐름의 변화

공간의 지속 상태(statefulness)와 편집 가능성(editability)은 순간적인 이미지 생성보다 훨씬 넓은 작업 흐름을 연다.

5.1. 창작 파이프라인의 3D 일관성

1. Marble 사용자의 실제 행동

   1. 기존 우회: 사용자는 Marble에 이미지를 넣어 Gaussian splat 3D 장면을 만든 뒤, 여러 시점의 스크린샷을 찍고 작업을 끝내곤 했다.
   2. 새로운 대안: 같은 시점들을 처음부터 생성적으로 만들되, 카메라 위치와 방향을 정확히 통제하면 불필요한 품질 저하를 줄일 수 있다.

2. 다단계 창작 과정의 안정화

   1. 현실적인 제작 방식: 창작자는 하나의 거대 모델로 모든 일을 처리하지 않는다. 이미지 모델로 스토리보드와 무드보드를 만들고, 비디오 도구에서 키프레임으로 조합한 뒤, 클립을 편집한다.
   2. 지속되는 세계: 영화·쇼·마케팅 장면·게임 환경에는 무대, 소품, 자산이 지속적으로 존재해야 한다. 매번 새로 생성하고 버리는 것이 아니라, 자산을 축적하고 같은 3D 세계를 시간에 따라 발전시켜야 한다.
   3. 생성 모델의 문제: 일반 이미지 모델에 방의 다른 시점을 요구하면 물건이 조금씩 이동한다. Atlas는 모든 시점에 공간적 근거를 부여해 이런 불안정성을 줄인다.

5.2. 건축과 제조 전 단계

1. 현실 공간의 복제와 사전 상상

   1. 건축·건설: 만들려는 공간을 가상으로 복제하거나 미리 상상해 보고, 카메라와 구성 요소를 바꿔가며 설계할 수 있다.
   2. 컨퍼런스 부스: 회의나 전시회 부스처럼 사소해 보이는 구조물도 제작 전에 세밀한 가상 설계 단계를 거친다.

2. 3D 소프트웨어의 병목

   1. 피드백 변환 비용: 크리에이티브 디렉터, 디자인 디렉터, 건축가가 말이나 스케치로 준 피드백을 3D 표현으로 다시 옮기는 일이 전체 작업의 약 95%를 차지할 수 있다.
   2. 오래된 인터페이스: 현재 3D 소프트웨어는 수십 년 된 방식에서 크게 벗어나지 못해 레고를 조립하거나 도예를 하거나 연필로 스케치하는 것만큼 직관적이지 않다.
   3. AI의 역할: 자연어·스케치·장면 상태·카메라 제어를 연결하면 창작뿐 아니라 산업 설계의 반복 비용을 줄이고, 사람의 의도를 3D 세계에 바로 반영할 수 있다.

6. 로보틱스: 현실을 시뮬레이션으로 옮기고 다시 현실로

World Labs가 Scenix로 알려졌던 로보틱스 회사를 인수한 이유는 Atlas가 현실 세계를 시뮬레이션으로 옮기는 real-to-sim과 시뮬레이션에서 현실로 정책을 배치하는 sim-to-real의 연결 고리가 되기 때문이다.

6.1. 데이터가 로보틱스의 현재 병목

1. 산업용 케이블 작업 사례

   1. 정책 학습: 로봇 팔이 산업 환경에서 케이블을 다루도록 하려면, 케이블 작업 장면을 대량으로 모아 로봇 정책을 학습시켜야 한다.
   2. 평가와 배치: 정책이 제대로 작동하는지 시뮬레이션에서 평가한 뒤, 실제 케이블 작업 환경에 로봇을 배치해야 한다.

2. 현실에서 데이터를 모으는 비용

   1. 밀도 높은 재구성: 사진으로 환경을 재구성하는 전통적 과정은 고통스럽고 오래 걸리며 노동집약적이다. 이 비용이 로봇 시뮬레이션과 real-to-sim의 속도를 막는다.
   2. 다양성의 필요: 케이블이 한 방향으로만 휘지 않도록 방향을 바꾸고, 상자의 크기·색·뚜껑·위치를 바꾸는 랜덤화(randomization)가 필요하다.
   3. 큰 문제: 당장은 로보틱스의 가장 큰 문제는 칩이 아니라 데이터다. 언젠가 칩이 병목이 되겠지만, 현재는 실제 환경에서 다양한 상태를 수집하기가 어렵다.

6.2. 시뮬레이션과 행동 정책의 결합

1. 고전적 시뮬레이션

   1. 규칙 기반 접근: 물리 엔진에서 사람이 가능한 실패 상황을 상상하고, 각 상황을 명시적인 코드로 작성한다.
   2. 한계: 현실에서 일어날 수 있는 모든 예외를 사람이 미리 열거하기 어렵다. 로봇은 정적인 결과물이 아니라 세계에 나가 행동하고 목표를 달성하는 정책이므로, 예상 밖의 반응을 견뎌야 한다.

2. 학습 기반 신경 시뮬레이터

   1. 세계의 반응 학습: Atlas 같은 모델이 환경이 행동에 어떻게 반응하는지, 때로는 예상 밖의 방식으로 반응하는지 학습하면 신경 시뮬레이터(neural simulator)를 만들 수 있다.
   2. 정책 훈련장: 학습한 시뮬레이터를 정책 훈련용 환경으로 활용해 실제 세계에서 가능한 실패를 더 폭넓게 노출한다.
   3. 시뮬레이터에서 플래너로: 세계를 생성·시뮬레이션하고 행동의 결과를 이해하는 모델은 특정 결과를 만들려면 어떤 행동을 해야 하는지도 추론할 수 있다. 따라서 시뮬레이터 자체가 플래너(planner)로 확장될 수 있다.

3. 로보틱스 정책의 독특함

   1. 정적 산출물과의 차이: 코드·이미지·비디오는 웹에서 수집할 수 있는 정적 산출물이다. 로보틱스 정책은 산출물을 만드는 것이 아니라 현실에 나가 행동하고 목표를 시도한다.
   2. 배치 전 노출: 세계는 예상대로만 반응하지 않으므로, 정책은 배치 전에 가능한 실패와 예외를 최대한 경험해야 한다. 공간을 이해하는 월드 모델은 이 노출을 데이터와 시뮬레이션으로 확장한다.

7. 정적 공간에서 동적 세계로

Atlas는 정적 장면만 만드는 모델이 아니다. 현재 공개 모델은 공간 이동에 더 초점을 맞췄지만, 아키텍처와 사전 학습 데이터에는 이미 동역학(dynamics)이 들어 있다.

7.1. Marble의 정적 한계와 Atlas의 동역학

1. 이전 모델의 한계

   1. 정적 설계: Marble은 아키텍처와 학습 과정 전체가 근본적으로 정적이어서 동적인 변화를 처리할 수 없었다.
   2. 데이터 확장의 어려움: 완전히 정적인 데이터만 모으는 일은 어렵고, 규모를 키우기도 힘들다.

2. Atlas에 들어온 동역학

   1. 아키텍처 지원: Atlas는 처음부터 동역학을 지원하도록 설계됐다.
   2. 학습 데이터: 사전 학습 데이터에는 정적 장면과 동적 장면이 함께 포함되어 있다. 공개된 예시에서도 물결이 움직이고, 항공 시점의 작은 자동차가 이동한다.
   3. 정적 출력의 역설: 정확히 얼어붙은 시간의 3D 재구성이 필요하더라도, 모델을 정적 데이터에만 노출하는 것보다 정적·동적 장면을 모두 보여주고 동적 요소를 분리하게 하는 편이 더 강력하다.

7.2. 4D 비디오로 가는 단계

1. 현재 체크포인트의 초점

   1. 공간 우선: 이번 체크포인트의 후속 학습은 정적 장면과 공간적 이동에 더 집중하고 시간적 변화에는 덜 집중했다.
   2. 잠재 동역학: 사전 학습 체크포인트에는 이미 상당한 잠재 동역학이 있으며, 이후 개선에서 이를 더 크게 활용할 수 있다.

2. 향후 4D

   1. 자연스러운 확장: 더 크고 빠르고 좋은 모델을 만드는 것만으로도 하나의 산업을 만들 수 있지만, 공간과 시간의 상호작용을 직접 모델링하면 세계를 걷거나 둘러보는 4D 비디오로 확장된다.
   2. 재구성과 동역학의 공존: 정확한 3D 재구성에는 순간을 고정하는 능력이 필요하고, 로보틱스·시뮬레이션에는 시간이 흐르는 세계가 필요하다. Atlas는 두 요구를 분리해 학습하고 다시 연결할 수 있는 기반을 가진다.

8. 제어 가능성과 편집 가능성

공간지능의 다음 경쟁력은 단순한 해상도나 생성 속도가 아니라, 높은 품질을 유지하면서 사용자의 의도를 공간·객체·시간에 반영하는 제어 능력이다.

8.1. 멀티모달 제어의 산업적 기준

1. 편집 가능성의 확장

   1. 다중 턴 상호작용: 이미지 모델에서 시작된 편집 기능이 비디오와 월드 모델로 확장되면, 사람·객체·사건을 한 번에 조합해 원하는 변화로 이어갈 수 있다.
   2. 장난감 수준을 넘기기: 문장을 넣으면 공룡이 나타나는 식의 실시간 데모는 흥미롭지만, 산업용 시스템은 장면 전체의 공간 관계와 품질을 유지해야 한다.

2. 품질과 제어의 균형

   1. 품질 하락의 위험: 조절 손잡이(knob)를 많이 추가해도 결과 품질이 떨어지면 사용자는 최첨단 비디오 모델을 바꾸지 않는다. 제어 기능만 늘어난 ‘파티 트릭’은 실제 도구가 될 수 없다.
   2. 산업적 목표: 현재 모델이 세운 높은 출력 품질을 유지하면서 장면 상호작용, 레이아웃, 객체 정체성, 시간의 흐름을 제어하는 기능을 추가해야 한다.

3. 새로운 인터페이스

   1. 상태를 가진 3D 세계: 사용자가 객체를 배치하고, 장면의 요소를 편집하고, 카메라와 시간을 조절하며, 이전 상태를 유지한 채 다음 작업으로 넘어가는 인터페이스가 필요하다.
   2. 처음부터 다시 설계: 공간적 맥락과 제어 변수가 풍부해질수록 기존 3D 소프트웨어를 조금 고치는 방식이 아니라, 컴퓨터 속의 상태 있는 3D 세계와 상호작용하는 방식을 처음부터 다시 설계하게 된다.

8.2. 보는 지능에서 행동하는 지능으로

1. 지능의 첫 원리

   1. 관찰만으로는 부족: 물리적 공간에서 지능은 무언가를 보고 해석하는 데 머무르지 않는다.
   2. 폐쇄 루프: 보고 경험하는 단계에서 상호작용으로 이어지는 폐쇄 루프(closed loop)가 지능의 핵심이다.

2. 공간지능의 최종 방향

   1. 상태 파악: 세계의 구조와 변화를 이해한다.
   2. 행동 선택: 원하는 결과를 만들기 위해 어떤 행동을 할지 계획한다.
   3. 결과 반영: 행동에 대한 세계의 반응을 다시 보고, 다음 시점과 다음 행동을 정한다.

9. 다음 관점 예측은 AI-complete한가

Atlas의 핵심 가설은 다음 관점 예측이 단순한 3D 그래픽 기능이 아니라, 일반 지능 문제를 담을 수 있는 AI-complete한 원시 연산이라는 주장으로 확장된다.

9.1. AI completeness의 비유

1. 계산 이론의 출발점

   1. 튜링 완전성: 어떤 문제가 한 문제로 환원될 수 있다면, 그 한 문제를 풀어 모든 문제를 풀 수 있다. NP-hard 문제를 3-SAT로 환원하는 식의 관계가 예다.
   2. AI-complete의 느슨한 정의: 어떤 AI 과제를 가장 넓고 일반적인 형태로 풀면, 다른 지능 문제도 그 과제로 표현해 해결할 수 있다는 뜻이다.

2. 다음 토큰 예측의 사례

   1. 미스터리 소설: 소설 전체를 읽고 마지막 문장에 “범인은 다음 토큰을 예측하라”라고 적어 놓으면, 모델은 범인을 알아내는 문제까지 다음 토큰 예측으로 풀어야 한다.
   2. 일반성: 언어로 표현할 수 있는 다양한 지능 과제를 다음 토큰 예측의 형태로 바꿀 수 있기 때문에, 다음 토큰 예측은 AI-complete한 기본 과제로 여겨진다.

9.2. 다음 관점 예측의 일반성

1. 공간에서의 미스터리 해결

   1. 관측의 연속: 영화의 모든 프레임을 보고 살인자가 걸어 나오는 다음 장면을 예측하면, 누가 범인인지 알아내는 문제를 다음 관점 예측으로 표현할 수 있다.
   2. 새로운 세계의 구성: Martin이 리만 가설의 증명을 칠판 뒤에 쓰고 카메라가 다음 칠판으로 이동해 해답을 보여주는 세계를 지정하면, 모델은 공간·시간·의미를 동시에 만족하는 다음 관점을 만들어야 한다.

2. 진화와 시점 이동

   1. 움직이는 생명체: 진화는 동물이 움직일 때 새 관점을 얻게 된다는 문제를 해결하기 위해 눈을 부여했다.
   2. 나무와 눈의 대비: 나무에는 눈이 없지만 동물에는 눈이 있다. 움직임이 새로운 관점을 만들고, 새로운 관점을 예측하고 이해하는 능력이 생존과 행동에 중요했기 때문이다.
   3. 핵심 등가성: next-viewpoint prediction은 next-token prediction에 대응하는 공간적 기본 연산이며, AI-complete 또는 intelligence-complete한 문제로 발전할 가능성이 있다.

주요 발언 모음

“LLM은 다음 토큰 예측 위에 세워졌고, 영상 모델은 다음 프레임 예측 위에 세워졌다. Atlas는 다음 관점 예측이다.”

“픽셀을 생성하는 일은 초기 단계다. 진짜 어려운 단계는 공간적으로 맥락화되고 근거 있는 픽셀을 생성하는 일이다.”

“공간지능은 공간이 무엇인지 생성하고, 그 안에서 추론하고, 그 안에서 편집하고 상호작용할 수 있어야 한다.”

“재구성은 긴 문맥을 가진 생성이다.”

“로보틱스의 가장 큰 문제는 지금은 칩이 아니라 데이터다.”

“지능은 무언가를 보고 해석하는 데 앉아 있는 것이 아니라, 보고 경험하는 것과 상호작용 사이의 고리를 닫는 일이다.”

“다음 관점 예측은 다음 토큰 예측의 등가물이다.”

핵심 데이터 & 수치

• 3대 카메라: 《매트릭스》의 수백 대 카메라와 그린 스크린이 필요했던 불릿 타임 효과를 세 대의 iPhone 카메라로 구현한다.
• 최대 100프레임: Atlas는 실제 세계를 보여주는 최대 100개의 시점을 입력으로 받아 희소 3D 재구성을 수행한다.
• 2년 반: World Labs가 설립 후 Atlas 공개까지 존재한 기간이다.
• 3~25장: 지상에서 촬영한 스탠퍼드 쿼드 이미지로 전체 공간을 재구성한 입력 범위다.
• 100~300장 → 3장: 전통적 dense capture가 요구하는 방의 사진 수를 Atlas가 세 장 수준으로 줄이는 목표다.
• 50~100배: 실제 공간을 충분히 덮는 촬영량과 희소 입력량 사이의 감소 폭이다.
• 2,000장 → 30~40장: 다중 공간 주택의 기존 캡처를 크게 줄여도 비슷한 플라이스루를 얻는 예시다.
• 95%: 기존 캡처 사진을 버리고도 Atlas에서 재구성을 얻을 수 있었던 예시와, 3D 설계 피드백을 실제 표현으로 옮기는 작업이 차지하는 비중에 각각 등장한다.
• 약 5초: 탁자 아래를 통과한 카메라 결과를 본 뒤 세 사람이 Atlas 개발을 결정하는 데 걸린 시간이다.
• 물리적 차원: 정적 공간은 3D로 다루지만 시간까지 포함한 궁극적 공간지능은 4D를 지향한다.

결론 및 시사점

1. 기본 연산의 전환: AI의 시각 능력은 픽셀을 그럴듯하게 만드는 단계에서 공간적 좌표와 카메라 포즈를 보존하며 다음 관점을 예측하는 단계로 이동한다.
2. 통합 아키텍처: 생성과 재구성을 분리한 기존 컴퓨터 비전의 경계를 넘고, 텍스트·이미지·비디오·깊이·카메라를 네이티브 멀티모달 방식으로 결합한다.
3. 데이터 효율: 수백 장의 촬영과 수 시간의 수작업을 몇 장의 휴대전화 이미지로 줄이면 과거의 실패한 캡처와 캐주얼 영상까지 3D 자산으로 되살릴 수 있다.
4. 산업적 작업 흐름: 창작·건축·제조에서 언어와 스케치로 받은 피드백을 상태가 지속되는 3D 세계에 직접 반영하면, 기존 3D 도구에서 가장 큰 비용인 반복 변환 작업을 줄인다.
5. 로보틱스 연결: 현실 환경을 빠르게 재구성하고 다양한 조건으로 랜덤화하면 real-to-sim 데이터 부족을 완화하고, 학습된 신경 시뮬레이터를 정책 훈련과 계획에 활용할 수 있다.
6. 동적 세계: 정확한 정적 재구성을 위해 시간의 움직임을 분리하면서도 학습 데이터에는 동역학을 포함해 4D 세계와 행동 가능한 월드 모델로 확장한다.
7. 제어 가능한 품질: 객체 정체성·배치·시간·카메라를 조절하되 출력 품질을 희생하지 않는 편집 가능성이 연구 데모와 산업용 제품을 가르는 기준이 된다.
8. 행동하는 지능: 공간을 인식하고, 그 안에서 시점을 바꾸며, 행동의 결과를 시뮬레이션하고, 다음 행동을 계획하는 폐쇄 루프가 공간지능의 최종 방향이다.
9. 일반 지능의 후보: 다음 관점 예측이 충분히 일반화되면, 공간·물리·행동·의미를 동시에 다루는 AI-complete한 기본 과제가 되어 다음 토큰 예측에 대응하는 공간적 기반이 될 수 있다.