World Models, JEPA And The Path To Sample-Efficient RL

채널: Y Combinator | 날짜: 2026-07-18 | 길이: 74분 영상: https://www.youtube.com/watch?v=qz4GQ0zUFRw 발표: Stanford 강사(Decision-Making Under Uncertainty 강좌) + YC 관계자

---

계층 1: 핵심 주장

1. AI의 가장 큰 미해결 문제 — 샘플 효율성(Sample Efficiency)

현재 AI의 가장 큰 두 가지 미해결 문제는 **"와트당 지능(Intelligence per Watt)"**과 **"샘플당 지능(Intelligence per Sample)"**이다. 인간은 농구 레이업을 상상 속에서만 연습해도 실제 연습한 것과 거의 같은 수준(24% vs 23%)으로 실력이 향상된다. 반면 현재 최첨단 AI 모델은 수만 개의 학습 데이터가 있어도 ARC-AGI 같은 추론 문제를 제대로 풀지 못한다. 이 gap을 메우는 것이 AGI로 가는 핵심 과제다.

2. 완벽한 월드 모델 = 샘플 제로 — 뉴턴 역학이 그 증거

이론적으로 완벽한 월드 모델이 있다면 환경에서 샘플을 전혀 수집하지 않아도 된다. 뉴턴의 운동 법칙(F=ma)이 바로 그것이다: SpaceX는 로켓을 바다의 플랫폼에 착륙시킬 때 수백만 개의 훈련 데이터를 쓰지 않는다. 대다수의 현재 AI 문제는 뉴턴 역학과 달리 비결정론적(stochastic)이고 미분불가(non-differentiable)하기 때문에 RL이 필요하다.

3. 체스 → 바둑 → 자율주행 → 로보틱스 — 행동 공간 복잡도의 급격한 증가

체스는 행동 공간이 ~8로 작아 MCTS가 통하지만, 로보틱스의 6축 팔은 행동 공간이 10^16 수준으로 폭발한다. AlphaGo 방식(MCTS + 가치 함수)은 행동 공간이 작을 때만 작동한다. 자율주행은 이미 행동 공간이 ~36만(조향각 365도 × 10단계)으로 AlphaGo의 100배 이상이다.

4. 월드 모델이 AGI의 핵심 — 신피질의 진화가 증거

1천만 년 전 신피질 대폭발(Great Cortical Expansion)의 유일한 목적은 세상을 더 잘 시뮬레이션하기 위해서였다. 인간의 지능은 결국 더 나은 월드 모델에서 나온다. 잠자는 동안 해마의 샤프 파동 리플(Hippocampal Sharp-Wave Ripple)이 낮에 수집한 경험을 신피질로 전이하는 과정이 RL에서 "꿈에서 학습(Dream to Control)"과 정확히 대응된다.

5. JEPA(Joint Embedding Predictive Architecture) — 픽셀 대신 잠재 공간에서 예측

LeCun의 JEPA는 비디오를 픽셀 단위로 예측하는 대신, 잠재 공간(latent space)에서 예측함으로써 불필요한 세부 정보를 제거하고 진짜 세계의 구조만 학습한다. 이는 Stable Diffusion의 latent diffusion과 같은 철학이다. JEPA 방식은 마스킹된 자기지도학습(Masked Self-Supervised Learning)을 통해 레이블 없이 인과 구조를 학습할 수 있다.

---

계층 2: 섹션별 상세 내용

[0:00~15:00] 샘플 효율성 문제 정의

샘플 효율성이란: "데이터 1개를 추가하면 얼마나 더 똑똑해지는가?" 인간은 새 게임을 몇 번만 해봐도 빠르게 습득한다(얼리 어답터 학습). 현재 AI는 수십만 개 데이터가 있어도 새로운 작업에 잘 일반화되지 않는다.

완벽한 샘플 효율성의 극단: 샘플 0개로 학습. 뉴턴 물리학이 그것이다:

• NASA가 소행성 궤도를 수년 전에 예측해 정확히 교란시키는 것
• SpaceX 로켓이 해상 플랫폼에 착륙하는 것
• 이 시스템들은 "훈련 데이터"를 수집하지 않는다 — 완벽한 전이 함수(Transition Function)를 이미 가지고 있기 때문

1967년 Richardson 연구: 세 그룹을 나눠서 실제 레이업 연습 → 24% 향상 / 상상 속 연습 → 23% 향상 / 통제군. 상상 속에서 한 연습이 실제 연습과 거의 동일한 효과를 낸 것은 인간의 월드 모델이 얼마나 강력한지를 보여준다.

[15:00~35:00] 강화학습 수학 기초 — 전이 함수, 정책, 가치 함수

핵심 변수:

• 상태(State): s_t = (x, y, z 위치 + vx, vy, vz 속도) — 6차원 상태 벡터
• 행동(Action): a_t = 제어 입력(드론의 경우 추력 벡터)
• 전이 함수(Transition/World Model): s_{t+1} = f(s_t, a_t) — 이것이 월드 모델
• 정책(Policy): π(a_t | s_t) — 현 상태에서 어떤 행동을 취할지
• 가치 함수(Value Function): V(s) = 미래 누적 보상 기대값
• 보상(Reward): r_t — 게임에서는 +1(승), -1(패), 0(무)

결정론적 제어 예시 (드론): 뉴턴 운동방정식으로 전이 함수를 완전히 알고 있을 때:

• 손실 함수: minimize Σ |p* - p_t|² + |v* - v_t|² + λ|u_t|
• 볼록 최적화(Convex Optimization)로 폐형식 해 가능
• SpaceX 로켓 착륙이 이 방법 사용

비결정론적 전환 (적대적 환경):

• 상대방의 다음 행동을 알 수 없음 → 역전파(Backprop) 불가
• → RL로 전환 필요: 가치 함수 추정 + 정책 학습

[35:00~55:00] 체스 → 바둑 → AlphaGo — MCTS의 한계

체스 분석 (STAR 프레임워크):

• 상태 공간: 32^64 (매우 큼)
• 행동 공간: ~8 (작음 — MCTS 적용 가능)
• 전이 함수: 비결정론적, 미분불가 (상대 행동 모름)
• 보상: +1/-1/0

AlphaGo 아키텍처:

• 심층 CNN으로 상태(19×19 바둑판) → 잠재 벡터 압축
• 정책 네트워크: π(a|s) — 각 위치의 착수 확률
• 가치 네트워크: V(s) — 현재 상태의 기대 승률
• 손실 함수: L(θ) = (V_θ - R)² - π log P_θ + weight_decay

MCTS(몬테카를로 트리 탐색):

• 매 수(手)마다 800번 시뮬레이션 실행
• UCB(Upper Confidence Bound): 탐색(Exploration) + 활용(Exploitation) 균형
• 각 시뮬레이션마다 30수 앞 롤아웃 → 24,000번 모델 추론 (= 한 수를 위한 비용)
• 결과: 바둑에서 세계 챔피언 이김

AlphaGo가 확장되지 않는 이유:

• 행동 공간이 100배 커지면(361 → 36,000) 같은 커버리지를 위해 200만 MCTS 시뮬레이션 필요
• 실시간 요구 자율주행에서는 불가능 (차가 이미 사고 난 후에야 행동 결정)
• 행동 공간의 비가산성: 로보틱스에서 10^16 수준으로 폭발

[55:00~70:00] 자율주행과 로보틱스 — 월드 모델이 왜 필요한가

자율주행 STAR:

• 상태 공간: 사실상 무한 (카메라 픽셀 + 날씨 + 도로 조건 + 주변 차량)
• 행동 공간: ~36만 (조향각 365도 × 10단계 × 브레이크/가속)
• 실제 물리는 미분가능하지만, 다른 운전자의 행동이 미분불가

Tesla의 경쟁 우위: 실제 주행 데이터(행동 + 상태 시퀀스)를 대규모 수집하는 유일한 회사. 대시캠만 있는 데이터는 상태(s)만 있고 행동(a)이 없음 — 행동 레이블이 없으면 behavior cloning 불가.

로보틱스의 추가 어려움:

• 6축 팔: 각 축 2자유도 × 8 = 16자유도 → 행동 공간 10^16
• 텔레오퍼레이션(Teleoperation) 데이터 수집이 매우 비싸고 느림
• Cross-embodiment gap: Tesla Model X에서 학습한 것이 Model 3에 적용 안 됨. 로봇 종류별로 데이터 분리 필요.

Model-free vs Model-based RL:

• Model-free: π(a_t|s_t)만 학습. 환경 모델 없음. 현재 대부분의 LLM 파인튜닝/행동 클로닝이 이 방식. 단순하지만 한계 있음.
• Model-based: π + ψ(s_{t+1}|s_t, a_t) 함께 학습. 강력하지만 추론 비용 증가. AGI에는 이것이 필요하다고 발표자 주장.

[70:00~74:00] 월드 모델의 역사와 JEPA

Jürgen Schmidhuber의 World Models 논문 (2018): OpenAI Gym 게임에서 잠재 공간 + RNN으로 환경을 꿈꾸고 그 안에서 정책 학습. "Dreamer" 시리즈(V1~V4)로 발전.

Dream to Control / Dreamer:

• 비디오 생성 모델로 s_{t+1}을 예측
• 액션 컨디셔닝을 나중에 추가해 "신체를 가진(embodied)" 월드 모델 생성
• 잠재 공간 내에서 정책 학습 → 실제 환경 없이 꿈에서 훈련 가능

JEPA (Joint Embedding Predictive Architecture, LeCun):

• 픽셀 레벨 예측 대신 잠재 공간(latent space)에서 미래 상태 예측
• "불필요한 디테일(비가 오는 방향, 나뭇잎의 정확한 위치)"은 무시하고 인과 구조만 학습
• Stable Diffusion의 latent diffusion과 동일한 철학
• 마스킹된 자기지도학습(Masked Self-Supervised Learning, MSSL)으로 레이블 없이 훈련
• 모든 최적화를 잠재 공간에서 수행 → 상태 공간 극적 감소

---

계층 3: 핵심 발언 인용

"The two major problems we have left to solve is intelligence per watt and intelligence per sample." — 발표자

"If I had a perfect world model, I should never go to the environment to collect samples. Newton's second law of motion is the example — SpaceX lands a rocket without collecting training examples." — 발표자

"Being canceled is a choice. You can choose to get canceled and retreat from the public eye. — [편집: 이 인용은 다른 영상]"

"If you take a cohort and have one group practice layups for an hour (24% improvement) and another just imagine laying up a basketball (23% improvement) — against a control group — it means we have this crazy good world model." — 1967 Richardson 연구 소개

"The entire point of the growing neocortex during the Great Cortical Expansion 10 million years ago was to get better and better at world modeling." — 발표자 (Stanford 뇌과학 연구 인용)

"I believe the world model / transition function is required for AGI." — 발표자

"AlphaGo doesn't scale. The action space must be extremely small. The environment must be deterministic. And it must work in real time. None of these hold for robotics." — 발표자

"Tesla has a huge competitive moat — they're the only company that has both the state AND the action from real driving data. Everyone else only has dashcam footage with no action labels." — 발표자

"The cross-embodiment gap is very very strong. Data from a Model X would not transfer to a Model 3. There's no way I would trust it." — 발표자

"JEPA predicts in latent space rather than pixel space — you throw away all the irrelevant details and only learn the causal structure of the world." — 발표자

---

계층 4: 실행 포인트 & 시사점

AI 연구자/엔지니어를 위한 액션

1. 샘플 효율성 지표를 명시화하라: AI 시스템 설계 시 "와트당 지능"과 "샘플당 지능"을 구체적인 벤치마크로 측정하라. ARC-AGI 같은 few-shot 추론 벤치마크를 기준으로 삼아라.

2. 환경을 STAR로 분석하라: 모든 RL/제어 문제를 State space, Transition function, Action space, Reward로 분해하라. 행동 공간 크기가 핵심 결정 요인이다.

3. 월드 모델 vs 모델프리 선택 기준: 행동 공간이 작고 환경이 결정론적이면 모델프리 OK. 행동 공간이 크고 실시간이 필요하면 반드시 월드 모델 필요.

4. 데이터에 행동 레이블이 있는가?: 자율주행/로보틱스 도메인에서 상태(state) 데이터만 있는지, 행동(action) 레이블도 있는지 구분하라. 행동 레이블 없는 데이터로는 behavior cloning이 불가능하다.

5. 잠재 공간 활용 우선 고려: JEPA/Stable Diffusion처럼 픽셀/토큰 레벨 예측 대신 잠재 공간 예측을 사용하면 상태 공간을 극적으로 줄일 수 있다. 특히 비전 도메인에서 유효하다.

스타트업/창업자 시사점

• Tesla의 데이터 moat 교훈: 실제 사용자가 시스템을 사용할 때 자동으로 (상태, 행동) 쌍을 수집하는 구조를 만들면 엄청난 경쟁 우위가 된다. "사용자가 모르는 사이에 데이터를 생산하는" 플라이휠 설계.
• Cross-embodiment gap 인식: 하나의 로봇/플랫폼에서 수집한 데이터가 다른 플랫폼에 그대로 적용된다고 가정하면 위험하다. 도메인 전이를 위한 별도 연구가 필요.
• 비용 구조 이해: AlphaGo 방식의 테스트 타임 플래닝(24,000 모델 추론/수)은 실시간 환경에서 실용적이지 않다. 추론 비용 구조를 설계 단계에서 고려하라.

연구 트렌드 인식

• Dreamer 시리즈(V1~V4): 잠재 공간 내 꿈에서 학습하는 월드 모델 RL의 현재 최전선
• JEPA: LeCun이 주도하는 마스킹 자기지도학습 + 잠재 공간 예측
• 비디오 생성 모델(Video Diffusion): 월드 모델의 상태 전이를 직접 비디오로 학습하는 방향
• Model Predictive Control (MPC): 현재 SpaceX/드론 제어에 사용되는 최적화 기반 계획

---

핵심 요약 (20줄)

1. AI의 가장 큰 두 가지 미해결 문제는 "와트당 지능(Intelligence per Watt)"과 "샘플당 지능(Intelligence per Sample)"이다.

2. 완벽한 월드 모델이 있다면 샘플이 0개 필요하다 — 뉴턴 역학이 그 증거(SpaceX 로켓 착륙, NASA 소행성 교란).

3. 1967년 Richardson 연구: 농구 레이업을 상상 속에서만 연습해도 실제 연습(24% 향상)과 거의 동일한 23% 향상을 보인다 — 인간 뇌의 월드 모델 성능 증거.

4. 신피질 대폭발(1천만 년 전)의 진화적 목적은 더 나은 세계 시뮬레이션 능력 획득이었으며, 발표자는 이것이 AGI에도 필요하다고 주장한다.

5. 모든 RL 문제는 STAR 프레임워크로 분석할 수 있다: State space, Transition function, Action space, Reward.

6. 환경이 결정론적이고 미분가능하면 볼록 최적화(Convex Optimization)로 최적 정책을 폐형식으로 구할 수 있다.

7. 상대방이 존재하는 비결정론적 환경은 미분불가(non-differentiable) — 강화학습 필요.

8. AlphaGo는 바둑의 작은 행동 공간(361)에서 한 수당 24,000번 모델 추론(800 MCTS × 30수)으로 세계 챔피언을 이겼다.

9. AlphaGo 방식은 행동 공간이 커지면 확장되지 않는다 — 자율주행(행동 공간 ~36만)에서는 같은 품질의 탐색을 위해 수백만 번 시뮬레이션이 필요하다.

10. 자율주행의 가장 큰 문제는 다른 운전자의 행동이 미분불가하다는 것이며, 이것이 완전한 물리 기반 제어가 불가능한 이유다.

11. Tesla의 핵심 경쟁 우위는 실제 주행에서 (상태, 행동) 쌍을 자동으로 수집하는 유일한 회사라는 점이다 — 다른 회사의 대시캠 데이터에는 행동 레이블이 없다.

12. 로보틱스 행동 공간은 6축 팔 기준 ~10^16 수준으로 자율주행보다 훨씬 크고, 텔레오퍼레이션 데이터 수집이 매우 비싸고 느리다.

13. Cross-embodiment gap: Tesla Model X 데이터는 Model 3에 그대로 적용되지 않는다. 로봇 타입별 데이터 분리 필요.

14. Model-free RL은 정책만 학습하지만, Model-based RL은 전이 함수(월드 모델)까지 함께 학습해 더 강력하다.

15. Dreamer 시리즈(V1~V4): 잠재 공간에서 미래 상태를 꿈꾸고 그 안에서 정책을 학습하는 월드 모델 RL의 현재 최전선.

16. JEPA(Joint Embedding Predictive Architecture, LeCun): 픽셀 예측 대신 잠재 공간에서 미래를 예측 — 불필요한 세부 정보를 제거하고 인과 구조만 학습한다.

17. Stable Diffusion의 latent diffusion과 같은 철학: 픽셀 공간이 아닌 잠재 공간에서 최적화하면 상태 공간이 극적으로 줄어든다.

18. 마스킹된 자기지도학습(MSSL)으로 JEPA는 레이블 없는 비디오 데이터에서 세계의 인과 구조를 학습할 수 있다.

19. 인간의 수면 중 해마 샤프 파동 리플(Hippocampal Sharp-Wave Ripple)이 경험을 신피질로 전이하는 과정이 RL의 "꿈에서 학습(Dream to Control)"과 정확히 대응된다.

20. YC에서 Stanford 교수가 진행한 세계 모델과 샘플 효율적 RL에 대한 74분 심층 강의로, 로보틱스/자율주행/AGI 연구의 핵심 난제와 최신 해법을 체계적으로 다룬다.