Waymo Co-CEO Dmitri Dolgov: The Demo Is Only 1% Of The Work

URL: https://www.youtube.com/watch?v=Gp4zrV3-6N8 날짜: 2026-08-07 채널: Y Combinator

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

Waymo 공동 CEO 드미트리 돌고프(Dmitri Dolgov)는 Y Combinator Startup School 강연에서 ==물리 세계에서 작동하는 AI(physical AI)를 만들고 안전하게 배포하는 데 필요한 7가지 교훈==을 공유한다. 핵심 메시지는 "작동하는 데모는 전체 작업의 1%에 불과하며, 진짜 어려운 일은 그 이후 수많은 '나인(9)'의 신뢰성을 쌓아가는 과정에서 벌어진다"는 것이다.

• 데모(demo)와 실제 프로덕트(product) 사이에는 시간과 노력 면에서 압도적인 격차가 존재한다
• 디지털 AI와 달리 물리 AI는 오류 비용, 지연시간, 데이터, 검증이라는 4가지 근본적인 격차를 안고 시작한다
• Waymo는 2009년 프로젝트 시작 이후 15년 넘게 이 격차를 메워왔고, 이제는 지수적으로 확장되는 단계에 도달했다

발표자는 이 강연을 스타트업 창업자들을 위한 7개의 기술적 교훈으로 구성했으며, 각 교훈은 Waymo가 실제로 겪은 경험에 뿌리를 두고 있다고 강조한다.

---

0. 도입: 왜 "아무 일도 없었다"가 최고의 순간인가

발표자는 자신의 아이들과 함께 탄 Waymo 라이드 영상으로 강연을 시작한다.

1. 영상 속 사건

   1. 상황: 교차로를 통과하던 중 다른 인간 운전자들이 갑자기 끼어들었다
   2. 결과: Waymo 드라이버가 안전하고 부드럽게 반응해서 뒷좌석의 아이들은 아무 일도 일어난 줄조차 몰랐다

2. 이 사건이 상징하는 것

   1. 물리 AI의 이상적인 순간: 가장 훌륭한 물리 AI의 순간은 "아무 일도 일어나지 않은 것처럼 보이는" 순간이다 — 과제가 안전하고 부드럽게 완료됐을 뿐인 순간
   2. 매일 일어나는 일: 이런 순간들은 Waymo 전체 차량대(fleet)에서 매일 발생하고 있다

핵심 규모 지표: Waymo 드라이버는 현재 미국 15개 도시에서 주(週) 약 50만 회의 라이드(트랜스크립트상 "500 trips"로 들리지만 문맥상 뒤에 나오는 "half a million trips per week"와 일치하는 오인식으로 판단됨)를 제공하며, 매주 400만 마일 이상의 완전 자율주행을 수행한다. 이는 평균적인 미국 운전자 1명이 300년 넘게 운전해야 쌓을 주행거리를 매주 달성하는 수준이며, 초인적인(superhuman) 안전 기록과 함께 이뤄지고 있다.

---

1. 교훈 1: 데모는 작업의 1%에 불과하다

작동하는 데모를 만드는 것은 전체 작업량의 최대 1%이며, 그 뒤를 잇는 "나인(9)들의 행렬"이 진짜 작업이 벌어지는 곳이다.

1.1. Waymo의 첫 번째 90%: 2010년의 데모

1. 2009년 프로젝트 시작 시점의 목표

   1. 목표 1: 자율주행 모드로 10만(100,000) 마일 주행
   2. 목표 2: 베이 에어리어의 다양한 조건을 아우르는 100마일짜리 경로 10개를, 사람 개입 없이 처음부터 끝까지 완주

2. 달성 과정과 시대적 맥락

   1. 팀 규모와 소요 기간: 약 12명의 엔지니어 팀으로 약 1년 반 만에 두 목표를 모두 달성
   2. 기술적 배경: 이 시점은 ConvNet, Transformer, LLM 등 오늘날 이야기하는 AI 돌파구가 등장하기 이전이었다
   3. 당시의 인식: "데모 기준으로는" 2010년에 자율주행이 이미 해결된 것처럼 보였다 — 주간/야간, 교통, 보행자, 자전거, 신호등, 공사구간, 고속도로, 일반도로까지 모두 처리하는 "capability complete" 상태였다

1.2. 데모에서 프로덕트까지: 18개월 vs 15년

1. 현실과의 충돌

   1. 한 번 하는 것과 서비스화의 차이: 경로를 한 번 완주하는 것과, 운전자 없이 확장 가능한 서비스를 구축하는 것 사이에는 거대한 차이가 있었다
   2. 실제 소요 기간: 서비스 제공을 시작하기까지 약 10년이 더 걸렸고, 주(週) 50만 회 트립까지 확장하는 데 5년이 더 걸렸다 — 데모는 18개월, 프로덕트는 약 15년

2. 현재의 지수적 성장

   1. 누적 실적: 현재까지 2000만 회 이상의 완전 자율주행 트립을 서비스했고, 2억 마일 이상을 완전 자율주행으로 주행했으며, 미국 15개 도시에서 라이더 전용(rider-only) 차량을 운영 중
   2. 성장 속도의 가속화: 첫 1억 마일을 달성하는 데 15년이 걸렸지만, 다음 1억 마일은 약 7개월 만에 달성했다. 초기 라이더 전용 운영 시작부터 4개 도시에서 서비스하기까지 8년이 걸렸지만, 올해 초에는 단 하루 만에 4개 도시를 신규 런칭했다

1.3. 왜 이 격차가 발생하는가: 나인(9)의 지수 사다리

1. 신뢰성은 지수적으로 어려워진다

   1. 핵심 공학적 현실: 첫 90%나 99%를 달성하는 건 쉽지만, 그다음 나인 하나를 추가할 때마다 약 10배의 노력이 필요하다
   2. 제품별 필요 나인 수: 데모는 나인 1개, 어시스트/코파일럿 제품은 몇 개, 대중과 상호작용하며 아이들이 뛰어노는 물리 세계에 배치되는 완전 자율 에이전트는 나인의 전체 스택이 필요하다

2. 롱테일이 곧 문제 전체다

   1. 규모의 함정: 주(週) 수백만 마일을 주행하면, 100만 마일에 한 번 일어날 법한 희귀 사건이 매일의 현실이 된다
   2. 질적으로 다른 접근 필요: 나인을 추가로 얻으려면 이전과 "같은 방식을 더 오래" 하는 게 아니라 근본적으로 다른 접근이 필요하다 — 예를 들어 신뢰성의 경우 초기 몇 개 나인은 제대로 된 엔지니어링과 버그 수정으로 얻지만, 그다음 나인들은 완전 이중화(fully redundant) 시스템, 계층화된 백업 아키텍처 같은 근본적으로 다른 투자가 필요하다

1.4. 하이프 사이클의 함정

1. 기술 돌파구가 만드는 착시

   1. 데모는 쉬워지지만 테일은 그대로: 딥러닝→ConvNet→Transformer→VLM 등 모든 AI 돌파구는 데모와 프로토타입을 100배 쉽게 만들지만, 진짜 어려운 문제인 "테일"은 훨씬 덜 움직인다
   2. 반복되는 실수: 매 하이프 사이클마다 화려한 데모의 물결과 극소수의 실제 프로덕트가 나오는 이유는, 사람들이 "나인을 위해 아껴야 할 자원"을 데모에 써버리기 때문이다

2. 초기의 마법을 부정하지 않되 정직해야 한다

   1. 초기 열기를 즐길 것: 발표자는 이 초기 단계의 흥분과 마법을 부정하지 않으며, 이를 만끽하고 활용하라고 조언한다
   2. 정직함이 핵심: 다만 자신이 만드는 제품에 실제로 몇 개의 나인이 필요한지에 대해 정직해야 하고, 거기 도달하는 과정에서 지름길을 택해서는 안 된다 — "데모 조회수를 세기 전에 나인을 세라"

---

2. 교훈 2: 필요한 나인의 개수가 아키텍처를 결정한다

몇 개의 나인이 필요한지 알게 되면, 그것이 채택해야 할 아키텍처와 핵심 기술 접근법을 근본적으로 결정한다.

2.1. 성능-노력 곡선과 흔한 실패 패턴

1. 곡선의 형태

   1. 일반적 패턴: 모든 기술은 성능 대비 노력 곡선이 처음엔 가파르게 시작해 위로 올라가다가 결국 평평해진다
   2. 흔한 실패 모드: 가장 빠른 초기 상승 곡선을 주는 기술을 골라 그 가파른 기울기를 미래로 투영하며 "하늘이 한계다"라고 느끼다가, 결국 그 기술 경로가 제품에 필요한 성능보다 훨씬 이전에 평평해지는(plateau) 것을 뒤늦게 발견하는 것

2. 데모용 선택과 프로덕트용 선택을 구분할 것

   1. 실용적 이유로 가파른 곡선을 택할 수도 있음: 프로토타입, 데모, 학습 목적이라면 가파른 초기 곡선의 기술을 택하는 것도 합리적이다
   2. 자신에게 정직해야 함: 다만 지금 만드는 것이 데모용인지, 학습용인지, 실제 프로덕트용인지 스스로 명확히 알아야 한다

2.2. 센싱 전략: 카메라·라이다·레이더의 상호보완

1. 센서 종류별 특성

   1. 카메라: 고해상도와 색상 정보를 주지만 수동(passive) 센서라 어둠과 눈부심에서 성능이 저하된다
   2. 라이다(Lidar): 주변 세계의 3D 구조를 직접 측정하는 능동(active) 센서로, 완전한 어둠이나 눈부신 석양 속에서도 잘 작동한다
   3. 레이더(Radar): 안개·비·눈 같은 악천후를 뚫고 볼 수 있으며 도플러 효과로 속도를 직접 측정하는 능동 센서다

2. 왜 다중 모달리티인가

   1. 인간 대비 초인적 성능의 요구: 인간 수준을 근사하거나 어시스트 제품을 만드는 게 목표라면 약한 센싱으로도 충분하지만, 완전 자율(full autonomy)과 강한 초인적 성능을 목표로 한다면 약한 센싱은 안전 곡선을 너무 일찍 평평하게 만든다
   2. 백업이 아닌 융합: 각 센싱 모달리티는 서로의 백업이 아니라, 각각 인코더를 거쳐 하나의 훨씬 정밀하고 우월한 세계관으로 융합(fuse)된다

3. 실제 사례로 본 센서 융합의 효과

   1. 피닉스 사막먼지폭풍: 카메라 화면은 인간의 눈과 비슷하게 거의 아무것도 안 보이지만, 같은 프레임의 라이다에서는 도로변에 서 있는 보행자가 명확히 보인다
   2. 야간 콘크리트 방벽을 넘는 보행자: 카메라로는 거의 안 보이지만 라이다로는 명확히 감지된다
   3. 개를 쫓는 아이들: 헤드라이트도 램프도 없는 완전한 어둠 속에서, 카메라는 아무것도 못 보지만 라이다는 옆쪽에서 다가오는 아이들을 조기에 감지한다
   4. 센서 가림 상황의 이중화 사례: 나뭇잎이나 나뭇가지 하나가 센서에 붙어 와이퍼로도 제거되지 않았을 때, 센서 이중화 덕분에 차량이 이를 감지하고 안전하게 청소를 위해 차고지(depot)로 복귀한 실제 영상 사례

2.3. 하드웨어 가격에 발목 잡히지 마라

1. 하드웨어 세대 교체의 교훈
   1. 현재 6세대: Waymo 드라이버 하드웨어 스위트는 현재 6세대이며, 매 세대마다 놀라운 성능 향상과 함께 하드웨어 복잡도와 비용을 극적으로 줄여왔다
   2. 오늘의 가격에 베팅하지 말 것: 오늘의 부품 가격에 회사 전략을 고정(anchor)하는 것은 곧 만료될 숫자에 회사를 베팅하는 것과 같다 — 하드웨어는 변하고 많은 부품이 상품화(commoditize)되어 가격이 떨어지므로, 그런 미래를 염두에 두고 설계하고 업그레이드에 대비해야 한다

---

3. 교훈 3: 기술 파도를 반복해서 타되, 통합과 단순화를 함께 추구하라

기술은 특히 요즘 매우 빠르게 움직이므로, 이 파도를 반복해서 탈 준비가 되어 있어야 한다. 그리고 그럴 때마다 성능·역량의 향상뿐 아니라 통합(unification)과 단순화(simplification)에도 신경 써야 한다.

3.1. Waymo가 거쳐온 기술 파도들

1. 주요 전환점들

   1. 2013년경: 컴퓨터 비전과 인지(perception)를 위해 컨볼루션 신경망(ConvNet)을 레버리지
   2. 2017년경: 트랜스포머가 등장하자 인지, 행동 예측, 의사결정, 계획(planning) 모두에 크게 베팅했다 — 운전이라는 과제가 사회적 측면을 가진다는 점에서 언어 모델링과 유사하다는 통찰(다른 동적 행위자들과 "대화"하되 단어가 아닌 차량의 "몸짓 언어"로)
   3. 현재: 최신 VLM(비전-언어 모델)과 프론티어 월드 모델을 레버리지

2. 신기술 도입에서 진짜 어려운 근육은 무엇인가

   1. 연구 자체는 상대적으로 쉽다: 응용 연구를 고립된 환경에서 하거나 타이거 팀을 꾸려 새 기술을 프로토타이핑하는 것은 이 분야에서 뛰어난 회사와 팀이 많은 영역이다
   2. 진짜 어려운 것은 프로덕션화: 최신 연구 성과를 안전이 중요한(safety-critical) 환경에 회귀(regression) 없이 배포하고, 제품 확장(scaling)의 흐름을 깨지 않으면서 프로덕션에 반영하는 것이 훨씬 어려운 근육이다
   3. 역량 추가보다 어려운 것: 역량을 추가하면서 동시에 파편화(fragmentation)를 줄이고 복잡도를 낮추는 것, 그리고 이것을 여러 번의 기술 혁신 파도에 걸쳐 반복적으로 해내는 능력을 회사 차원에서 구축하는 것이 진짜 어려운 근육이다

3. 신기술 도입에 대한 2가지 조언

   1. 성공 이후 경로를 미리 그려라: 새 기술로 타이거 팀을 꾸리는 건 좋지만, 그 시도가 성공했을 때 회사 전체 제품과 시스템에서 그 혁신이 어떤 경로를 밟을지 명확히 해둬야 한다 — 어려운 프로젝트가 성공했는데 갈 곳이 없어 막다른 길(dead end)에 이르는 실패 모드는 매우 낭비적이고 사기를 떨어뜨린다
   2. 성능뿐 아니라 통합 여부도 물어라: 신기술이 역량과 성능 면에서 무엇을 주는지 물을 뿐 아니라, 스택을 단순화했는지 아니면 파편화를 초래했는지도 물어야 한다 — 돌파구적 성능과 급진적 단순화·통합을 동시에 런칭 기준으로 요구하라

3.2. Waymo Foundation Model: 멀티모달 월드 액션 랭귀지 모델

1. 네 가지 구성요소의 의미

   1. 멀티모달(Multimodal): 카메라, 라이다, 레이더의 멀티모달 센서 입력을 처리할 수 있다
   2. 월드 모델(World model): 물리학, 역학뿐 아니라 사회적·의미적 측면을 포함해 세계가 어떻게 작동하는지 내재적으로 이해한다
   3. 액션 모델(Action model): 세계를 수동적으로 관찰만 하는 게 아니라 능동적 참여자로서, 에이전트의 행동이 세계에 미치는 영향을 이해하고 좋은 행동과 나쁜 행동을 구분할 수 있다
   4. 언어와의 정렬(Language-aligned): VLM으로부터 일반적인 세계 지식을 끌어올 수 있어, 희귀한 의미론적 상황들(long tail)에서 매우 유용하다

2. 아키텍처 개요

   1. 인코더-디코더 구조: 전형적인 인코더-디코더 구조로, 인코더가 멀티모달 센싱을 압축/인코딩해 생성부(디코더)가 필요로 하는 모든 관련 정보를 유지한 효율적인 표현으로 만든다
   2. 엔드투엔드의 이점: 최종적으로 신경 쓰는 과제로부터 모델 초기 레이어까지 그래디언트를 역전파할 수 있고, 인코더가 디코더가 필요로 하는 풍부한 표현을 학습하게 해준다

3.3. System 1 / System 2: 빠른 사고와 느린 사고

1. 빠른 경로(Fast path) — "생각하지 않고 반응하는" 운전 본능

   1. 역할: 카메라·라이다·레이더의 원시 데이터를 융합해 밀리초 단위의 안전 결정을 내린다 — 마치 에이전트의 "파충류 뇌(lizard brain)"처럼 기하학적 과제를 처리하며 밀리초 단위로 반응한다
   2. 예시: 보행자가 도로로 뛰어들거나 근처 자전거가 경로로 갑자기 들어올 때 즉각 브레이크를 밟는 것이 이 경로다

2. 느린 경로(Slow path) — 의미론적·장면 수준 이해

   1. 역할: 밀리초 단위로 변하지 않는 더 복잡한 의미론적·장면 수준 이해 과제를 담당하며, 약간의 지연을 감수하는 대신 더 높은 역량과 추론 수준을 확보한다
   2. 예시: 도로변에 불타는 차량이 있을 때, 빠른 경로는 이를 단순히 "일반적인 장애물"로 인식해 앞길이 비어 있다고 판단할 수 있지만, 느린 경로는 그 객체가 "불타는 차"라는 의미와 더 넓은 장면 맥락을 깊이 이해해 기하학적으로는 길이 비어 있어도 완전히 다른 경로를 택하도록 결정한다

3. 생성 컴포넌트(디코더)

   1. 행동의 이해와 생성: 다른 행위자들이 어떻게 행동하는지 이해하고, 예측을 수행하며, 자신의 운전 결정을 계획할 수 있게 해준다
   2. 다양한 플랫폼에 적용: Waymo Foundation Model은 5세대, 6세대 하드웨어, JLR I-Pace, Olli, Hyundai Ioniq 등 다양한 차량 플랫폼에서 구동되며, 향후 트럭킹과 개인 소유 차량 등 다양한 상용 애플리케이션으로 확장될 예정이다. 대규모 공유 파운데이션에 복잡도를 상류(upstream)로 옮김으로써 차량에서 실행되는 특화 레이어(specialization layer)를 가볍게 유지하고 개발 속도를 높인다

---

4. 교훈 4: Bitter Lesson과 구조(Structure)를 지능적으로 사용하는 법

AI 커뮤니티에는 리처드 서튼(Richard Sutton)이 2019년에 정식화한 "쓴 교훈(Bitter Lesson)"이 있다 — ==대규모 연산과 데이터를 레버리지하는 범용 방법이 언제나 사람이 직접 설계한 지식 기반 방법을 이긴다==는 것이다.

4.1. 구조가 스케일을 방해하는가, 도와주는가

1. 구조의 두 얼굴

   1. 스케일과 싸우는 구조는 언제나 진다: 해법의 탐색 공간(solution space)을 제한하고 억제하는 구조는 결국 성능의 발목을 잡는다
   2. 스케일을 실어 나르는 구조는 언제나 이긴다: 일반성(generality)을 잃지 않으면서 스케일링을 돕는 구조는 오히려 유리하다

2. 바둑을 두는 로봇 사고 실험

   1. 엔드투엔드 접근: 카메라로 바둑판을 관찰하고 액추에이터로 돌을 움직이는 로봇을, 픽셀에서 액추에이션까지 직접 학습시키는 것도 흥미로운 연구가 될 수 있다
   2. 구조를 활용한 접근: 하지만 세계 최고의 바둑 로봇을 만드는 게 목표라면, 게임 상태를 완전히 포착하는 19x19 보드라는 간단한 중간 표현(intermediate representation)을 활용하는 것이 훨씬 효율적이다 — 이 구조는 모델을 제약하는 게 아니라 스케일링을 돕는 매우 유용한 방법을 제공한다
   3. 물리 세계와의 차이: 물리 세계에서 배포하려는 웬만큼 복잡한 문제는 이런 깨끗한 엔지니어링된 표현을 갖지 못한다 — 그래서 엔드투엔드 시스템과 학습된 표현/임베딩이 필요한 것이지만, 동시에 물리 세계에도 물리 법칙, 도로 규칙, 예측 가능한 방식으로 행동하는 객체들 같은 구조가 존재한다

4.2. Waymo의 접근: Structure-Augmented End-to-End

1. 기본 개념

   1. 정의: 학습된 임베딩을 물질화된(materialized) 구조 표현으로 보강해, 기본적인 바닐라 엔드투엔드를 넘어서는 접근
   2. 목표: 최대한 학습되고(maximally learned) 최소한으로 제약된(minimally constrained) 시스템에 베팅하되, 구조를 의도적으로 활용해 훈련과 평가 모두에서 성능과 스케일링 법칙을 끌어올린다

2. 이 접근이 주는 3가지 핵심 이점

   1. 추론 시점 검증(Validation at inference time): 모델이 센서 입력→액추에이션 명령을 곧바로 내놓는 블랙박스가 아니기 때문에, 배포된 차량에서 실시간으로 돌릴 수 있는 강력한 정확성·안전성 검증 레이어를 만들 수 있다
   2. 대규모 훈련/평가의 효율성: 블랙박스 엔드투엔드 시스템이라면 센서부터 결정, 액추에이션까지 전 구간을 엔드투엔드로만 훈련·평가해야 하지만, 중간 구조 표현이 있으면 더 큰 스케일의 훈련은 압축된 구조 표현 공간에서, 평가는 일부는 그 공간에서 일부는 전체 엔드투엔드 공간에서 섞어서(mix-and-match) 할 수 있다
   3. 검증 가능한 피드백 신호: 물질화된 구조는 평가·지표뿐 아니라 손실 함수 설계나 강화학습 레시피를 만드는 데도 훨씬 강력한 도구를 제공한다

---

5. 교훈 5: 대규모·고충실도 시뮬레이터가 필수다

물리 세계에서 에이전트를 안전하게 구축·배포하려면, 대규모의 현실적이고 고충실도(high-fidelity)인 시뮬레이터가 절대적으로 필수다.

5.1. 오픈 루프 vs 클로즈드 루프

1. 두 가지 훈련·평가 방식

   1. 오픈 루프(Open loop): 입력-출력 쌍을 수동적으로 관찰하는 방식으로, 모방 학습(imitation learning) 훈련이나 "이 상황에 놓이면 어떻게 하겠는가"를 채점하는 평가에 쓰인다
   2. 클로즈드 루프(Closed loop): 행동을 취하고, 그 행동이 세계에 미치는 효과를 관찰하고, 센서를 통해 세계관을 업데이트하고, 다시 행동을 취하는 시퀀스를 반복하며 훈련·평가한다

2. 클로즈드 루프가 필수인 이유

   1. 반사실(counterfactual) 평가 능력: 안전이 중요한 물리 세계 에이전트를 구축·배포하려면, 행동을 취했을 때의 반사실적 결과를 평가할 수 있는 능력이 절대적으로 중요하다

5.2. 시뮬레이터도 하나의 거대한 AI 모델이다

1. 시뮬레이터 자체가 어려운 문제

   1. 경량 도구가 아니다: 진짜 시뮬레이터는 AI 옆에 붙는 가벼운 도구가 아니라 그 자체로 거대한 AI 모델이며, 좋은 현실적인 시뮬레이터를 만드는 문제는 에이전트 자체를 만드는 것만큼이나 어렵다
   2. 필요한 이해의 폭: 시뮬레이터 뒤의 AI는 물리학, 의미론, 교통, 날씨 등 세계가 어떻게 작동하는지 이해해야 하며, 그 품질은 단순히 "그럴듯해 보이는" 수준이 아니라 안전이 중요한 실제 배포 결정을 내릴 만큼 높은 신뢰도로 훈련·평가할 수 있어야 한다

2. Waymo의 시뮬레이션 진화

   1. 행동 월드 모델(Behavioral world model): "월드 모델"이라는 용어가 유행하기 훨씬 전부터 Waymo는 수년간 행동 월드 모델을 구축해왔다
   2. 센싱 월드 모델(Sensing world model)로 확장: 엔드투엔드 모델 자체를 만드는 건 꽤 오래전부터 상대적으로 쉬웠지만, 그것을 클로즈드 루프로 평가하는 것이 어려운 문제였다 — 이제는 행동적 사실성(behavioral realism)뿐 아니라 센서 사실성(sensor realism)까지 필요해져 센싱 월드 모델을 구축하게 되었다
   3. 구조적 표현의 재활용: 행동 월드 모델은 구조화된 중간 표현 공간에서 작동하고, 여기에 긴밀히 결합된(tightly coupled) 센서 월드 모델이 현실적인 센서 시뮬레이션을 생성한다. Google DeepMind의 Genie 3 연구를 레버리지해 행동·센싱 양면에서 제어 가능하고 매우 현실적인 시나리오를 만들 수 있다

5.3. 순수 합성 희귀 시나리오 훈련의 힘

1. 실제로 겪어보지 못한 상황도 훈련 가능
   1. 의미: 이전에 실제로 마주쳤던 상황뿐 아니라, 실제 세계에서 한 번도 본 적 없는 순수 합성 희귀 시나리오로도 에이전트를 훈련·평가할 수 있다
   2. 시연된 시나리오들: 고속도로 차선에 멈춰선 차량, 고속도로 앞에 착륙하는 비행기, 교차로를 배회하는 탈출한 코끼리, 금문교의 눈, 돌아다니는 공룡 등 — 이는 단순한 생성 영상이 아니라 Waymo 드라이버가 클로즈드 루프로 작동하는 완전한 생성 시뮬레이션이다

---

6. 교훈 6: 에이전트·시뮬레이터·크리틱 — 3개의 AI와 플라이휠

이 정도 복잡도의 문제를 풀 때는 모델 하나를 만들고 끝낼 수 없다. 전체 생태계를 구축하고, 그것을 돌리는 플라이휠(flywheel)이 필요하다.

6.1. 세 개의 기둥

1. 필요한 세 가지 AI

   1. 에이전트(Agent): 실제로 차를 운전하는 드라이버
   2. 시뮬레이터(Simulator): 에이전트가 학습하는 가상의 놀이터(virtual playground)
   3. 크리틱(Critic): 에이전트의 성능을 엄격하게 평가·심사하고 어떻게 개선할지 알려주는 역할

2. 공유되는 기반

   1. 동일한 파운데이션 월드 모델: 세 요소 모두 근본적인 추론과 생성 능력을 공유하며, Waymo의 경우 동일한 파운데이션 월드 모델에 기반한다

6.2. 플라이휠의 작동 원리

1. 선순환 루프

   1. 데이터 생성: 실제 세계에서의 에이전트 배포가 데이터를 생성한다
   2. 시뮬레이터 접지(grounding): 그 데이터가 시뮬레이터를 더 현실적으로 만든다
   3. 크리틱을 위한 엣지케이스 생성: 시뮬레이터가 크리틱이 채점하고 에이전트가 학습할 더 어려운 엣지케이스를 만들어낸다
   4. 에이전트 성능 향상 → 재배포: 에이전트가 더 똑똑해져 다시 배포되고, 더 많은 데이터를 생성하며 플라이휠을 가속한다

2. 방향을 제시하는 것은 지표(metrics)

   1. 플라이휠은 방향을 모른다: 플라이휠은 그냥 두면 아무 방향으로나, 혹은 제자리에서 돈다
   2. 지표로 방향을 잡아야 함: 원하는 방향으로 가게 하려면 지표로 가이드해야 한다 — 이것이 자연스럽게 마지막 교훈으로 이어진다

---

7. 교훈 7: 모델은 필수요건일 뿐, 평가와 지표가 진짜 해자(moat)다

모델은 테이블 스테이크(table stakes, 최소 참가 조건)에 불과하지만, 평가(eval)와 지표(metrics)는 진정한 전략적 해자(strategic moat)다.

7.1. 기술보다 먼저 평가를 만들어라

1. 왜 평가가 먼저인가

   1. 정량적 정의가 없으면 데모일 뿐: "충분히 좋다(good enough)"를 정량적으로 정의할 수 없다면, 프로덕트를 만드는 게 아니라 데모를 계속 반복(iterate)하는 것일 뿐이다
   2. 최고의 아키텍처는 이미 잘 알려져 있다: 요즘은 최고의 모델 아키텍처가 꽤 잘 알려져 있고 새로운 아이디어도 빠르게 퍼지지만, 좋은 지표 없이는 아무리 데이터가 중요해도 눈을 감고 나는(flying blind) 것과 같다 — 최고의 데이터를 레버리지하고 있는지, 변경사항의 ROI를 제대로 평가하고 있는지 알 수 없다

2. 물리 AI에서는 모델 수준 평가로 부족하다

   1. 전체 스택의 평가가 필요: 물리 세계에 AI 에이전트를 배치할 때는 평가와 검증이 훨씬 더 깊고 넓어야 한다 — 물리 레이어부터 온보드에서 실행되는 행동 레이어, 오프보드 컴포넌트, 그리고 그 주변의 모든 운영 프로세스까지 모두 검증해야 한다
   2. "안전성과 준비성 프레임워크(Safety and Readiness Framework)": Waymo가 수년에 걸쳐 구축하고 정교화해온 이 프레임워크는 개발·배포·확장을 이끄는, Waymo의 가장 중요한 자산 중 하나로 꼽힌다

7.2. 물리 세계에서 신뢰는 모든 것이다

1. 신뢰를 얻는 방식

   1. 화려한 데모로 얻는 게 아니다: 영리한 기술적 해법이나 최신 아키텍처, 화려한 데모를 이야기하는 것으로 신뢰를 얻지 않는다
   2. 현장에서 매일 조금씩 증명하는 것: 자신의 시스템이 안전하고 실제로 작동한다는 것을 현장에서 하루하루 끈질기게 증명함으로써 신뢰를 서서히 얻는다
   3. 투명한 공개: 밀실에서 스스로에게만 증명할 수는 없기 때문에, Waymo는 안전 데이터와 진행 중인 안전 연구를 공개적으로 발표한다

2. 얻어낸 신뢰가 곧 사업의 궁극적 우위

   1. 복제하기 어려운 자산: 모델은 유출될 수 있고 알고리즘은 복제될 수 있지만, 근거 등급(evidence-grade)의 평가와 공개적으로 감사된(publicly audited) 증거로 뒷받침되는 수억 마일의 완전 자율주행 실적은 훨씬 더 복제하기 어렵다

---

종합: 7개 교훈이 어떻게 함께 작동하는가

1. 평가/지표(교훈 7): 국소 최솟값(local minimum)에 갇히지 않도록 올바른 기술·기술 접근법을 고르는 기준(나인의 개수, 교훈 1·2)을 설정한다
2. 구조의 의도적 사용(교훈 4) + 기술 파도를 반복해서 타는 능력(교훈 3): 필요한 수준의 나인에 도달하도록 돕는다
3. 에이전트·시뮬레이터(교훈 5)·크리틱으로 이뤄진 AI 생태계(교훈 6): 평가/지표의 안내를 받아 강력한 플라이휠을 만들고, 이 모든 효과가 복리로 쌓인다

이렇게 다듬어온 플레이북이 Waymo 드라이버의 강한 초인적(strongly superhuman) 안전 성능을 만들어냈다.

---

주요 발언 모음

"A working demo is 1% at best of the work that you have to do. The many nines of performance, the many nines of reliability that follow, that's where the real work happens."

"So, count your nines before you count your demo views."

"In the physical world, the cost of a mistake can be measured in human lives, not tokens. There's simply not an undo and a retry button."

"Structure that fights scale will always lose. And structure that channels scale always wins."

"Your model is really table stakes, but eval and metrics, that's your most important. That's your strategic moat."

"Your models can be leaked, algorithms can be replicated, but hundreds of millions of miles of fully autonomous operations in the real world, backed by evidence-grade evaluation and publicly audited proof, that is much, much more difficult to replicate."

"Physical AI right now is where digital AI was a few years ago... The last decade of AI happened in the digital world, and the next decade will also happen in the physical world."

핵심 데이터 & 수치

• 현재 서비스 규모: 미국 15개 도시에서 주(週) 약 50만 회 트립, 매주 400만 마일 이상의 완전 자율주행 (평균 미국 운전자 1인의 300년치 연간 주행거리에 해당)
• 데모 vs 프로덕트 소요기간: 2010년 데모 수준 달성(18개월) → 첫 서비스 시작까지 10년 추가 → 주 50만 트립까지 5년 추가 (총 15년)
• 누적 주행 실적: 2000만 회 이상의 완전 자율주행 트립, 2억 마일 이상 완전 자율주행
• 마일스톤 가속화: 첫 1억 마일까지 15년, 다음 1억 마일까지 약 7개월. 첫 4개 도시 서비스까지 8년, 올해 신규 4개 도시 하루 만에 런칭
• 하드웨어: 현재 Waymo 드라이버 하드웨어 6세대 — 매 세대 성능 향상과 동시에 복잡도·비용 대폭 절감
• 안전 데이터: 2억 2000만 마일 이상의 완전 자율주행 데이터 기준, 중상(serious injury)을 유발하는 충돌에서 인간 운전자 대비 약 17배 우수
• 사회적 맥락: 전 세계적으로 26초마다 한 명이 도로 사고로 목숨을 잃음 — 현재 규모에서 Waymo는 8일마다 중상 사고 1건을 예방하는 셈

결론 및 시사점

1. 데모가 작동한다고 해서 제품이 완성된 것이 아니다 — 실제 제품에 필요한 신뢰성 나인의 개수를 먼저 파악하고, 그에 맞는 기술적 접근을 처음부터 선택해야 한다.
2. 물리 세계에 배포되는 AI는 디지털 AI와 근본적으로 다른 4가지 격차(오류 비용, 지연시간, 데이터, 검증)를 안고 있으므로, 배포 전 확보해야 하는 확신의 수준이 훨씬 높다.
3. 새로운 기술을 도입할 때는 성능 향상뿐 아니라 시스템의 단순화·통합 여부를 함께 기준으로 삼아야 하며, 이를 반복적으로 해내는 조직 근육을 길러야 한다.
4. "구조(structure)"는 무조건 나쁜 게 아니다 — 스케일링을 방해하는 구조는 피하되, 스케일링을 돕는 구조(예: 물질화된 중간 표현)는 검증·효율·피드백 신호 면에서 큰 이점을 준다.
5. 안전이 중요한 물리 에이전트에게 클로즈드 루프 시뮬레이션은 선택이 아니라 필수이며, 시뮬레이터 자체를 에이전트만큼 진지하게 만들어야 한다.
6. 에이전트 하나만으로는 부족하다 — 에이전트·시뮬레이터·크리틱이라는 3개의 AI로 이뤄진 생태계와, 이를 지표로 조향하는 플라이휠을 함께 설계해야 지속적인 개선이 가능하다.
7. 평가와 지표를 기술보다 먼저 만들어야 한다 — 그것이 없다면 데모를 반복하고 있을 뿐이며, 물리 세계에서 쌓은 신뢰(공개된 안전 데이터, 실제 마일리지)야말로 가장 복제하기 어려운 경쟁 우위다.