Chelsea Finn: This is the State of the Art in Robotics

부제: The End of Single-Purpose Robots

URL: https://www.youtube.com/watch?v=cRZNwgvcWUg
날짜: 2026-08-13
채널: Y Combinator
발표자: Chelsea Finn
실제 영상 제목: Chelsea Finn: This is the State of the Art in Robotics
영상 길이: 58:18
Video ID: cRZNwgvcWUg

---

메타데이터

• 콘텐츠 유형: YouTube 심층 다이제스트
• 원본 업로드일: 2026-08-12로 확인됨
• 처리일: 2026-08-13
• 자막: YouTube 자동 생성 영어·한국어 자막을 대조해 정리함
• 핵심 기술 용어: Physical AI, Vision-Language-Action(VLA), foundation model, reinforcement learning(RL), supervised fine-tuning(SFT), PPO, GRPO, value function, long-horizon autonomy, compositional generalization

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==로봇을 한 가지 작업만 반복하는 데모 기계에서, 사람이 계속 지켜보지 않아도 현실의 복잡한 작업을 장시간 수행하는 범용 로봇으로 어떻게 전환할 것인가?==

• 물리적 AI는 추천 시스템처럼 사람이 최종 결정을 보정해 주는 시스템이 아니라, 실제 세계에 직접 영향을 주는 결정을 내려야 한다.
• 높은 신뢰도는 단순한 데이터 수집·학습 한 번으로 얻을 수 없으며, 실패에서 자동으로 학습하는 효율적인 실세계 RL과 다중 시간尺度의 메모리가 필요하다.
• 장기적으로는 작업별로 매번 미세 조정하는 전문가 정책이 아니라, 다양한 데이터를 학습해 바로 작동하고 새로운 작업·사물·로봇에 조합적으로 일반화하는 단일 foundation model이 필요하다.

Chelsea Finn은 Physical Intelligence가 이미 이 방향에서 장기 자율성, 90% 이상의 에스프레소 성공률, RL을 통한 약 2배 처리량 향상, 그리고 단일 π0.7 모델의 out-of-the-box 성능을 시연했다고 설명한다. 다만 로봇은 아직 사람보다 느리고 실수도 하므로, 발표의 결론은 “문제가 끝났다”가 아니라 실세계 경험을 대규모로 축적하는 학습 루프를 이제 만들 수 있게 되었다는 데 있다.

1. 데모를 넘어 ‘실제로 유용한 로봇’으로

1.1. Physical Intelligence가 풀려는 문제

1. 출발점은 모든 로봇을 모든 작업에 쓰게 하는 것

   1. Finn은 약 2년 전 Physical Intelligence(PI)를 설립했고, 특정 로봇을 특정 작업에 묶지 않고 어떤 로봇이든 현실 세계의 어떤 작업이든 수행하게 만드는 데 관심을 두고 있다고 말한다.
   2. 1년 전 같은 행사에서는 빨래를 꺼내고(unload) 개는 작업, 한 번도 가보지 않은 방에서 유용한 작업을 수행하는 로봇을 소개했다.
   3. 그 뒤 로봇은 기름때 낀 프라이팬 씻기, 당근 껍질 벗기기, 그릴드 치즈 샌드위치 만들기, 애호박 썰기 등으로 작업 범위를 넓혔다.

2. 오늘의 초점은 ‘멋진 영상’이 아니다

   1. 다양한 작업을 하는 짧은 영상보다 중요한 질문은 로봇이 현실에서 실제로 유용해지려면 무엇이 필요한가이다.
   2. 문제는 두 갈래다. 하나는 여러 작업에 쓰일 범용 모델을 개발하는 것이고, 다른 하나는 그 모델을 실제 세계에 가져가 사람에게 지속적인 영향을 주게 만드는 것이다.
   3. 후자는 모델이 사람의 판단을 보조하는 수준을 넘어, 장시간 자율적으로 행동해야 한다는 뜻이다.

1.2. 일반 AI의 실용화에서 얻는 교훈

1. 머신러닝은 점진적으로 범용화됐다

   1. 초기의 실세계 ML 제품은 상품 추천(product recommendation)과 광고 순위(ad ranking)처럼 입력과 출력이 비교적 명확한 문제였다.
   2. 약 5년 뒤에는 같은 종류의 문제에 deep learning이 적용됐다. 복잡한 입력·출력에 바로 적용하기 쉽고 다른 응용으로 옮기기 쉬운 점이 진전이었다.
   3. 2022년 ChatGPT 출시는 범용 모델이 실제로 다수의 사람에게 사용된 분기점이었다. 출시 5일 만에 100만 사용자를 확보했고, 이후 Claude Code와 다른 코딩 에이전트도 실세계에서 유용한 범용 모델의 사례가 됐다.

2. 추천형 AI와 물리적 AI의 오류 허용도는 다르다

   1. 추천 시스템에서는 AI가 추천하고 고객이 최종 결정을 내린다. 추천이 틀려도 사람은 오류를 알아차리고 다른 선택을 할 수 있다.
   2. 따라서 추천형 AI는 완벽하지 않아도 충분히 유용하고, 배포에 필요한 오류율 압박도 상대적으로 낮다.
   3. 물리적 AI는 카메라와 센서의 현재 관측을 바탕으로 직접 움직임을 결정하고, 그 결정이 물리 세계에 즉시 영향을 준다. 컵을 쏟거나 칼을 잘못 쓰는 등 오류를 사람이 항상 보정해 줄 수 없다.
   4. 그래서 물리적 AI는 완전 자율로 작동할수록 가치가 커지며, 기존 ML 제품보다 훨씬 적은 실수를 내는 시스템이 필요하다.

3. Waymo가 주는 낙관적 선례

   1. Finn은 약 1년 전 Waymo가 주간 자율주행 운행 25만 건을 넘겼다고 언급한다.
   2. 이는 ML 기반 시스템이 물리 세계에서 신뢰할 수 있는 방식으로 자율 운영되는 것이 가능하다는 증거다.
   3. 범용 조작 로봇도 같은 수준의 장기 신뢰성을 얻을 수 있다는 희망의 근거로 Waymo를 제시한다.

2. 장기 자율성을 만드는 첫 재료: 실세계 강화 학습

2.1. 에스프레소가 보여주는 신뢰성의 기준

1. 작업 자체가 어렵다

   1. 포터필터(portafilter)를 정확한 위치에 삽입하려면 정밀하면서도 충분히 강한 힘 제어가 필요하다.
   2. 액체가 든 컵을 부드럽게 다뤄 쏟지 않아야 한다.
   3. 추출 시간처럼 타이밍을 정확히 맞춰야 하는데, 시간 제어는 많은 일반 ML 작업에서 핵심 난제가 아니다.

2. 한 번의 성공이 아니라 장시간의 반복 성공이 목표다

   1. 사람이 로봇을 계속 지켜보며 실패할 때마다 개입한다면 음료 서빙에 실용적이지 않다.
   2. 따라서 에스프레소를 90% 이상 신뢰도로 만들고, 자주 babysit하지 않아도 되는 수준을 목표로 삼는다.
   3. 더 넓은 목표는 이런 복잡한 조작 과제에서 99% 이상에 가까운 신뢰도를 자동 학습으로 달성하는 것이다.

2.2. 사람이 수동으로 조정하는 방식의 한계

1. 기본 학습 루프

   1. 데이터셋을 모으고 모델을 학습한 뒤 성능을 평가한다.
   2. 첫 시도에 안정적으로 작동하지 않으므로, 더 많은 데이터, 더 좋은 라벨, 더 상세한 라벨, 실패한 edge case 데이터, 데이터 균형 조정 등을 반복한다.
   3. 이 과정은 신뢰도를 올리지만 사람이 직접 계속 튜닝해야 하므로 시간이 지날수록 지치고, 아주 높은 신뢰도까지 밀어붙이기 어렵다.

2. AI가 스스로 개선 지점을 찾는 루프

   1. 이상적인 시스템은 어디에 데이터가 더 필요하고 어느 상황에 감독(supervision)이 더 필요한지 스스로 찾아야 한다.
   2. 사람 대신 자동화된 반복을 훨씬 많이 수행하면 실패를 통해 계속 개선할 수 있고, 99% 이상 신뢰도에 접근할 가능성이 커진다.
   3. Finn이 제안하는 방식은 “작업 시도 → 실패 관찰 → 실패에서 학습 → 다음 시도 개선”을 반복하는 실세계 RL이다.

2.3. 로봇에서는 PPO/GRPO식 RL을 그대로 확장하기 어렵다

1. 시도 횟수의 비용이 다르다

   1. 언어 모델의 PPO와 GRPO 같은 알고리즘은 수백만, 때로는 수천만 번의 시도를 학습에 사용한다.
   2. 언어 모델의 한 시도는 데이터센터에서 계산을 한 번 돌리는 것이지만, 로봇의 한 시도는 하드웨어가 실제 세계에서 움직이며 작업을 수행하는 시간이다.
   3. 1분짜리 로봇 작업을 100만 궤적(trajectory) 수집한다고 가정하면, 에스프레소보다 짧은 과제인데도 총 700 로봇일(robot days)이 필요하다.
   4. 불가능하지는 않지만, 하드웨어·시간·운영비 때문에 훨씬 더 효율적인 RL 레시피가 필요하다.

2. 비효율 1: 막다른 길(dead-end trajectory)

   1. 상자를 조립해 쌓는 작업에서 로봇이 서로 붙어 있는 골판지 상자 두 개를 한 번에 집을 수 있다.
   2. 그대로 두면 두 상자를 분리하지 않고 두 개를 겹친 채 접으려 하며, 이 행동은 성공을 향해 나아가는 유용한 학습 데이터가 아니다.
   3. 사람은 원격 조작(teleoperation)으로 개입해 집게를 넣고 두 상자를 분리하는 회복 동작을 보여준다.
   4. 로봇이 스스로 회복하지 못하면 사람이 다시 개입해 올바른 경로로 돌려놓고, 최소한 막다른 에피소드를 일찍 종료한다.
   5. 핵심은 로봇이 잘못된 길에서 하드웨어 시간과 데이터를 낭비하지 않게 하는 것이다.

3. 비효율 2: 하나의 프롬프트에 너무 많은 반복 시도

   1. PPO/GRPO 계열은 한 프롬프트의 여러 응답 중 무엇이 좋은지 나쁜지 추정하기 위해 동일 프롬프트를 10회 또는 50회 정도 rollout한다.
   2. 로봇에서는 같은 프롬프트에 대한 반복 실행 비용이 크므로, 그 비용을 여러 프롬프트에 분산(amortize)해야 한다.
   3. 다양한 로봇 경험 영상으로 범용 가치 함수(general-purpose value function)를 학습하면, 각각의 프롬프트에서 반복 횟수를 많이 늘리지 않고도 진행·퇴보를 판단할 수 있다.
   4. 예를 들어 셔츠를 접으려다 오히려 펼치는 행동은 음의 진전으로 빨간색 표시를 하고, 냉장고에서 물건을 꺼내는 전혀 다른 과제에서도 같은 가치 함수로 좋은 행동과 나쁜 행동을 판별한다.
   5. 이 가치 모델은 ‘성공까지 남은 시간’을 예측하는 일반 모델이며, 자율 경험에서 무엇을 강화할지 알려 주어 필요한 시도 수를 줄인다.

2.4. 개선 알고리즘과 실제 워크플로우

1. 전체 개선 루프

   1. 다양한 데이터로 foundation model을 사전 학습한다.
   2. 모델이 실제 작업을 시도하게 하고, 막다른 상황에서만 사람이 개입해 회복시킨다.
   3. 여러 종류의 경험에서 좋은 진행과 나쁜 진행을 판단하는 범용 value function을 학습한다.
   4. 그 가치 추정을 사용해 foundation model을 task-specific하게 개선한다.
   5. 이 구조는 한 작업의 반복만 외우는 것이 아니라, 다양한 작업에서 재사용할 수 있는 실세계 RL 개선 recipe다.

2. 사람과 협력하는 라떼 만들기

   1. 사람은 우유를 스팀하고, 로봇은 에스프레소를 추출하는 협업 workflow다.
   2. 카메라 영상이 입력으로 들어가고 모델은 로봇 관절의 움직임을 직접 제어한다.
   3. 포터필터를 삽입하고, 추출에 필요한 시간을 기다리고, 스팀한 우유를 컵에 붓는다.
   4. 가장 어려운 마지막 단계는 가득 찬 라떼 컵을 컵받침(coaster)으로 옮기는 것이다. 모델은 컵의 균형을 섬세하고 부드럽게 유지해 라떼를 쏟지 않는다.
   5. 정책을 한 번 실행해 성공한 장면이 아니라 13시간 연속 타임랩스로 평가했고, 잦은 오류 없이 긴 시간 동안 실용적으로 작동할 만큼 안정적임을 확인했다.

3. 라떼 밖의 실제 업무

   1. PI 사무실에서 몇 블록 떨어진 Dandelion Chocolate Factory의 실제 workflow를 대상으로 했다.
   2. 사람이 하던 골판지 상자 조립, 라벨 부착, 적재를 그대로 로봇에게 학습시켰다.
   3. 같은 RL recipe로 상자를 만들고 라벨링하고 쌓는 정책의 신뢰도를 높였다.
   4. 접고 닫는 작업에서는 한 환경에 맞춘 성능만 보지 않고, 로봇이 본 적 없는 옷과 한 번도 본 적 없는 집에서 장기간 자율 동작하는지 시험했다.

4. 정량 평가와 한계

   1. 영상만으로는 모든 것을 알 수 없으므로 성공률과 속도를 함께 묶은 throughput(시간당 성공적으로 처리하는 양)을 측정했다.
   2. pre-training → SFT 유사 단계 → RL post-training으로 갈수록 성공률과 throughput이 크게 올라갔다.
   3. RL 단계만으로도 throughput이 약 2배가 됐고, 에스프레소 성공률은 90%를 넘었다.
   4. 아직 RL 개선 반복 횟수는 몇 번에 불과하고, 로봇은 계속 실수하며 사람보다 느리다. 따라서 더 많은 반복과 더 강력한 recipe가 필요하다.

3. 장기 자율성의 두 번째 재료: 다중 시간尺度 메모리

3.1. 현재 관측만 보는 모델의 한계

1. 대부분의 로봇 foundation model은 기억이 없다

   1. 최신 모델도 현재 센서와 현재 카메라 영상만 보고 다음 행동을 예측하는 경우가 많다.
   2. 짧은 motor skill이나 반복 작업은 메모리 없이도 가능하다. 앞서 보인 일부 영상도 과거 맥락 없이 현재 관측만으로 동작했다.
   3. 그러나 여러 단계를 순서대로 수행하는 long-horizon task에서는 지금까지 무엇을 완료했는지 추적할 기억이 필수다.

2. 비디오를 그대로 넣으면 토큰 비용이 폭발한다

   1. 10초 비디오를 50Hz라는 일반적인 로봇 제어 주파수로 샘플링한다고 가정한다.
   2. 로봇의 카메라 스트림 4개를 모두 쓰고 이미지 하나당 약 256토큰을 사용하면, 10초만 넣어도 약 50만 토큰이 된다.
   3. 초당 한 프레임으로 크게 줄여도 10초에 1만 토큰이며, 현재 모델에 실시간으로 넣기에는 비용이 지나치게 크다.
   4. 이것은 고작 10초의 기억일 뿐이어서 단순히 과거 비디오를 모두 context로 붙이는 방식은 장기 자율성의 해법이 아니다.

3.2. 짧은 비디오와 긴 텍스트를 결합한 메모리

1. 짧은 시간尺度

   1. 약 10초의 short-term video memory를 유지하되, 비디오 전체를 순진하게 모델에 전달하는 것보다 훨씬 효율적으로 계산한다.
   2. 이 기억은 바로 직전의 접촉, 움직임, 실패 원인처럼 세밀한 운동 정보를 보존한다.

2. 긴 시간尺度

   1. 수분·수시간 전의 모든 영상을 보존할 필요는 없으므로, 지난 10~15분의 사건을 텍스트 요약으로 압축한다.
   2. 모델은 무엇을 이미 했고 남은 단계가 무엇인지 텍스트로 추적할 수 있다.
   3. 짧은 비디오와 긴 텍스트를 함께 사용하면 영상 토큰 비용을 감당하면서도 긴 작업의 상태를 유지할 수 있다.

3. 주방 청소의 비반복적 장기 작업

   1. 로봇은 스펀지로 조리대를 닦는다.
   2. 종이타월로 조리대를 말리고, 사용한 종이타월을 버린다.
   3. 머스터드를 냉장고에 넣고, 접시를 캐비닛에 정리한다.
   4. 싱크대의 더러운 접시 일부를 씻는 등 다음 단계로 넘어간다.
   5. 이 과제는 같은 동작을 반복하는 라떼 작업과 다르며, 여러 상태를 기억해야 하는 10~15분짜리 비반복 작업이다. 메모리를 넣은 모델은 이를 완전 자율로 수행했다.

4. 단일 범용 로봇 모델로 가는 역사적 경로

4.1. 일반 AI의 네 단계

1. 2012년: 처음부터 학습한 범용 알고리즘

   1. ImageNet 이미지 분류에서 deep learning 시스템이 처음으로 외부 benchmark의 기존 specialist 방법을 넘어섰다.
   2. 이전 방법은 이미지 분류에 맞춰 설계됐지만, deep learning 시스템은 특정 응용에만 맞춘 알고리즘이 아니었다.

2. 사전 학습(pre-training)과 fine-tuning

   1. 몇 년 뒤 ImageNet·BERT 같은 pre-trained model을 downstream task에 미세 조정하는 방식이 표준이 됐다.
   2. 매번 처음부터 학습하지 않고, 넓은 데이터에서 익힌 표현을 새 과제에 전이해 더 좋은 성능을 얻었다.

3. out-of-the-box 모델

   1. GPT-2를 시작으로 pre-training 후 task별 fine-tuning 없이도 바로 쓰는 모델이 등장했다.
   2. 오늘날 소비자용 모델 상당수는 별도 미세 조정 없이 다양한 질문·작업을 수행한다.

4. 2021년: compositional generalization

   1. Finn은 DALL·E를 예로 들며 아보카도(avocado)와 의자(chair)를 조합해 ‘아보카도 의자’를 만들 수 있는 현상을 언급한다.
   2. 이는 모델이 두 개념을 어느 정도 이해하고 함께 적용한다는 뜻이다.
   3. 모든 조합을 데이터에 넣을 필요가 없다는 데이터 효율성도 의미한다. 학습 데이터에 아보카도 의자 사진이 없어도 새로운 조합을 만들 수 있다.

4.2. 로봇이 넘어야 할 두 목표

1. 로봇의 과거는 프로젝트별 scratch training이었다

   1. 불과 2023년에도 로봇 연구자는 개별 프로젝트마다 bespoke dataset을 처음부터 모으고 그 데이터로 처음부터 학습하는 일이 흔했다.
   2. 이는 ImageNet을 매 프로젝트마다 새로 모으는 것과 같아서, 범용 모델로 발전하기 어렵다.
   3. 최근에는 pre-trained model을 쓰는 단계까지 왔지만, 여전히 최고의 성능에는 task별 fine-tuning이 필요했다.

2. 목표 1: out-of-the-box generalist policy

   1. 특정 자물쇠 열기, 인간-로봇 transfer, 에스프레소 등 초기 데모는 작업별 fine-tuning 또는 RL post-training을 거쳤다.
   2. 이런 방식은 그 작업에서는 강하지만, 매 작업마다 다시 조정해야 하므로 진정한 범용 모델이 아니다.
   3. 하나의 모델이 여러 작업을 바로 수행하고, 필요하면 그 위에 추가 fine-tuning만 하는 구조가 목표다.

3. 목표 2: 조합적 일반화

   1. 학습에서 보지 못한 사물과 스킬, 작업과 로봇 플랫폼의 조합을 처리해야 한다.
   2. 이는 데이터를 모든 가능한 조합으로 폭발시키지 않고도 새로운 상황으로 전이하게 한다.

5. π0.7: out-of-the-box와 조합적 일반화를 함께 학습하기

5.1. 데이터와 모델 설계

1. 가능한 모든 종류의 데이터를 섞는다

   1. 로봇의 다양한 시연 데이터와 품질이 낮은 시연 데이터도 포함한다.
   2. 로봇이 실제로 작업을 시도한 policy rollout 데이터도 포함한다. 앞서 RL에서 사용한 경험 데이터가 여기에 들어간다.
   3. 사람이 행동하는 비디오와 웹 데이터도 포함한다.
   4. 핵심은 ‘최고 품질의 한 종류’만 고르는 것이 아니라, 현실에서 구할 수 있는 이질적인 데이터를 폭넓게 이용하는 것이다.

2. 큰 capacity와 상세한 prompting

   1. 서로 다른 데이터 분포를 처리할 만큼 충분히 큰 모델을 사용한다.
   2. 입력에는 과거 memory와 전체 task instruction이 들어간다.
   3. 바로 다음에 할 subtask instruction도 넣는다. 예를 들어 주방 청소에서 다음 즉시 단계가 무엇인지 명시한다.
   4. 데이터의 품질, episode 길이 등의 metadata도 prompt로 넣는다. 모델이 어떤 데이터를 얼마나 신뢰해야 하는지 판단하는 데 도움을 준다.
   5. 선택적으로 ‘몇 초 뒤 이런 이미지에 도달하라’는 sub-goal image를 조건으로 넣는다.

3. 배포 시의 고수준 제어

   1. 고수준 policy가 다음 subtask instruction을 생성한다.
   2. world model이 로봇이 다음에 도달해야 할 상태를 sub-goal image로 생성한다.
   3. foundation model은 memory, 전체 지시, 다음 subtask, metadata, 필요시 sub-goal image를 바탕으로 관절 행동을 예측한다.

5.2. 하나의 모델이 여러 로봇 작업을 수행하다

1. π0.7 단일 모델의 사례

   1. 왼쪽 영상에서는 칼라 셔츠를 접는다.
   2. 오른쪽 위에서는 로봇 팔에 나사를 삽입하고 드릴로 조이는 정밀 조립을 한다.
   3. 오른쪽 아래에서는 쓰레기통의 쓰레기봉투를 교체한다.
   4. 모두 동일한 π0.7 모델의 영상이며, 처음부터 각 작업의 specialist로 별도 학습한 모델이 아니다.

2. 전문가 정책과의 정량 비교

   1. π0.7 단일 pre-trained 모델을 커피 만들기와 상자 만들기에 특화해 RL post-training한 π0.6 모델과 throughput·성공률로 비교했다.
   2. π0.7은 전반적으로 fine-tuned specialist와 같거나 더 높은 성능을 보였다.
   3. RL specialist뿐 아니라 SFT specialist와 비교해도 같은 경향이어서, 하나의 모델이 여러 작업을 높은 성능으로 out-of-the-box 수행한다는 근거가 됐다.

5.3. 조합적 일반화 실험 1: 거의 보지 못한 에어프라이어

1. 새 가전제품과 기존 스킬의 결합

   1. 에어프라이어를 열고, 안에 고구마(sweet potato)를 넣고, 닫는 작업을 시켰다.
   2. 의도적으로 에어프라이어 훈련 데이터를 모으지 않았기 때문에 데이터셋에 아예 없을 것으로 생각한 선택이었다.
   3. 사후 분석에서는 데이터가 워낙 다양해 에어프라이어가 등장하는 episode 3개가 우연히 있음을 발견했다. Finn은 이 3개가 결과에 큰 영향을 줬을 가능성은 낮고, 제외해도 작동했을 것이라고 말한다.

2. 무엇을 일반화했는가

   1. 로봇은 거의 대표되지 않은 가전제품의 문을 열고 닫는 조작 스킬을, 새 물체에 적용했다.
   2. 고수준 policy가 다음 단계를 지시하자 완전 자율로 에어프라이어 작업을 수행했다.
   3. 즉 특정 가전제품을 암기한 것이 아니라 ‘열고 넣고 닫기’라는 스킬과 새로운 사물의 조합을 처리했다.

5.4. 조합적 일반화 실험 2: 새 로봇 플랫폼에서 옷 접기

1. 작업과 embodiment의 전이

   1. 왼쪽의 표준 양팔 로봇에서 셔츠 접기 데이터를 모았다.
   2. 오른쪽의 BARM으로 불린 대형 산업용 로봇 플랫폼에서는 옷 접기 데이터를 전혀 모으지 않았다.
   3. 두 로봇은 크기뿐 아니라 linkage 길이와 joint configuration도 크게 달랐다.

2. 관찰된 행동

   1. 첫 시도에서 이 로봇이 셔츠 접기를 하는 모습을 보고 연구팀은 매우 놀랐다. 새 플랫폼·새 작업에 대한 학습 데이터가 없었기 때문이다.
   2. 영상은 1배속이라 빠르지는 않았고, 처음 접는 로봇인 만큼 몇 번 시도할 수 있지만 결국 셔츠를 접었다.
   3. 화면 왼쪽 위에는 world model이 생성한 sub-goal image가 보이며, 접기를 진전시키는 목표 상태로 모델에 입력된다.
   4. 마지막에 더 매끄럽게 만들기 위한 작은 보정 동작도 수행했다.
   5. 새 플랫폼에서 수건과 셔츠를 접는 성능은 모델이 고도화될수록 크게 증가했고, 로봇별 옷 접기 학습 데이터가 없는데도 human teleoperation 성능에 가까워졌다.

5.5. 무엇이 효과를 만들었는가: 데이터와 metadata ablation

1. 다양성의 중요성

   1. 가장 다양한 데이터 부분을 제거하면 held-out task 성능이 급격히 하락했다.
   2. 반면 가장 다양한 subset이 아니라 무작위로 데이터 20%를 제거하면 성능 하락은 작았다.
   3. 따라서 단순한 데이터 양보다 새로운 작업과 조합을 덮는 데이터 다양성이 일반화의 핵심이다.

2. 저품질 데이터와 metadata prompting

   1. metadata를 prompt로 주는 경우와 주지 않는 경우를 비교했다.
   2. prompting은 전반적인 성능을 크게 높였다.
   3. metadata 없이 저품질 데이터 비율을 80%에서 100%로 늘리면 성능이 떨어졌다. 나쁜 데이터가 학습 혼합물에 더해지기 때문이다.
   4. metadata를 함께 넣으면 저품질 데이터가 늘어날 때 오히려 성능이 향상됐다.
   5. 모델이 각 데이터의 품질·길이 같은 맥락을 알고 있으면 낮은 품질 데이터에서도 더 많은 정보를 뽑아낼 수 있다는 뜻이다.

6. 현재 위치와 현실 배포

6.1. 로봇 AI가 GPT·DALL·E 단계로 이동하다

1. PI는 물리적 지능이 15년간 일반 AI가 거쳐 온 scratch training → pre-training → out-of-the-box → compositional generalization 흐름의 오른쪽에 진입했다고 본다.
2. 불과 몇 년 만에 로봇이 특정 프로젝트의 bespoke policy에서 여러 작업을 수행하는 범용 모델로 이동했다는 점이 핵심이다.
3. 발표의 모든 π0.7 실험은 추가 post-training 없이 out-of-the-box로 평가됐으며, 더 많은 실험과 세부 내용은 논문·기술 보고서에 있다고 덧붙인다.

6.2. 데모가 아니라 실제 사업에 적용되는 embodiment

1. YC 회사 Ultra와 Weave는 PI 모델을 가져와 fine-tune하고 실제 배포에서 각각 빨래 접기와 창고 packaging을 수행하고 있다.
2. 같은 계열 모델은 표준 양팔 로봇뿐 아니라 드론·쿼드콥터, 수술 로봇, 트랙터 등 다른 embodiment에도 적응될 수 있다.
3. 따라서 physical intelligence의 가치는 연구실 데모가 아니라 여러 하드웨어 플랫폼의 현실 업무로 옮겨갈 때 드러난다.
4. Finn은 PI가 채용 중이며, 이 분야에 관심 있는 사람은 공개 포지션에 지원하라고 말하며 발표를 마친다.

7. Q&A: 배포·연구·데이터·진로

7.1. “로보틱스의 ChatGPT 순간은 언제인가?”

1. 대중 확산 속도는 다를 것이다

   1. ChatGPT는 5일 만에 100만 사용자를 얻었지만, physical model은 실제 로봇 하드웨어가 필요하다.
   2. Waymo의 인상적인 rollout도 물리 장치에 배포하는 데 시간이 걸렸으므로, 모든 것이 한순간에 퍼지는 단일 이벤트는 없을 가능성이 크다.

2. 능력 측면의 ChatGPT 순간은 가까워졌다

   1. 배포 채널은 느려도, 모델의 실세계 능력은 이미 유용한 단계에 들어섰다.
   2. ChatGPT에 해당하는 capability는 향후 몇 년 안에 충분히 도달할 수 있다고 본다.

7.2. 소규모 팀은 site-specific policy에서 언제 generalist policy로 옮겨야 하나?

1. 처음부터 generalist를 쓰고 fine-tune하라

   1. PI의 π0와 π0.5 같은 generalist policy는 오픈 소스로 제공되며, 이미 여러 팀이 유용하게 쓰고 있다.
   2. 따라서 작은 팀도 전문 정책을 처음부터 만들기보다 generalist model을 바로 가져와 자신의 작업에 fine-tune할 수 있다.
   3. PI는 tractor 회사, Ultra, Weave 등과 최신 모델을 실제 응용에 맞춰 더 강력하게 만드는 협업을 하고 있다.

2. 예외는 자원 제약이 극심한 환경이다

   1. Finn은 인터넷 연결이 없고 GPU가 매우 나쁜 지하 수술실에서 수술 로봇을 만드는 팀의 사례를 들었다.
   2. 이런 경우 큰 모델을 쓰기 어렵지만, workstation에서 local inference를 하는 선택지는 남아 있다.
   3. 결론적으로 대체로 지금 당장 generalist를 시작점으로 삼을 수 있고, 현장 제약이 매우 큰 경우에만 모델 규모와 배포 방식을 별도로 최적화해야 한다.

7.3. 산업 진출을 원할 때 로보틱스 PhD의 가치

1. PhD가 주는 것

   1. Finn은 원래 PhD를 할 계획이 없었고, 엔지니어인 부모처럼 곧바로 산업계에 가려 했다.
   2. 아버지가 “PhD 소지자는 채용하지 않겠다”고 농담 섞인 조언을 해 PhD를 하면 취업하지 못할지도 모른다고 생각했지만, 아버지는 civil engineering 분야였다.
   3. 실제로 PhD는 불확실성을 다루는 법, 좋은 문제를 고르는 법, 연구를 자유롭게 수행하는 법을 배우는 매우 좋은 기회였다.
   4. 연구에서는 누가 문제를 정해 주지 않으며, 선택한 문제가 6개월·2년·10년 안에 풀릴 수 있을지조차 모른다. 이 불확실성을 다루는 훈련은 startup과 AI frontier에서 매우 유용하다.

2. 산업계에서 필요한 것

   1. 로봇 시스템에는 신뢰성 있는 소프트웨어 스택, 하드웨어, ML infrastructure, data infrastructure가 모두 필요하다.
   2. 이 엔지니어링을 하는 데 PhD가 필수는 아니며, 오늘날 연구의 많은 부분도 엔지니어링이다.
   3. PhD와 산업계는 개인의 목표와 환경에 따른 선택이고, Finn은 불확실성과 frontier 연구를 좋아하기 때문에 지금 돌아보면 자신은 PhD를 다시 선택할 것이라고 말한다.

7.4. 로봇의 인터넷 규모 데이터셋은 무엇인가?

1. train과 test를 맞춰야 한다

   1. 언어 모델의 웹 데이터는 텍스트를 완성하고 질문에 답하는 실제 사용 형태를 상당 부분 반영한다.
   2. 로봇의 대응 데이터는 실제 환경에서 로봇이 작동한 경험이다.
   3. 초기에는 teleoperation으로 유용한 행동 데이터를 모으고, 장기적으로는 배포된 로봇이 여러 상황에서 작업을 시도하는 autonomous experience가 큰 비중을 차지할 것이다.
   4. 언어 모델이 스스로 실행해 synthetic data를 만들듯 로봇도 실제 작업 시도로 데이터를 생성하게 될 수 있다.

2. 사람·웹 비디오도 유용하지만 대체재는 아니다

   1. 사람의 행동 비디오, YouTube, 웹 데이터, 캡션이 붙은 이미지는 ‘싱크대 오른쪽에 냉장고가 있는 주방’ 같은 장면 지식과 장기 작업 추론에 도움을 준다.
   2. 이 데이터는 로봇을 제어하는 frontier multimodal model을 만드는 데 유용하다.
   3. 그러나 사람이 하는 것을 보기만 해서 로봇이 자기 플랫폼에서 바로 할 수 있는 것은 아니다. Finn은 Roger Federer의 테니스 경기를 본다고 해서 자신이 Federer처럼 테니스를 칠 수 있게 되지는 않는다는 비유를 든다.
   4. 결국 로봇 embodiment 자체에서 얻은 경험이 핵심이며, 충분히 큰 로봇 경험 데이터셋이 필요하다.

7.5. 오픈 소스가 로봇 모델을 민주화할 수 있는가?

1. 하드웨어 비용이 다른 구조를 만든다

   1. embodied data와 하드웨어는 인터넷에서 모델을 복제하거나 distill하는 것보다 비싸고 얻기 어렵다.
   2. 따라서 최고의 모델이 소수의 자원 많은 연구실에 집중될 가능성은 언어 모델보다 크다.

2. 그래도 오픈 생태계에는 낙관적이다

   1. 이미 상당히 큰 데이터셋과 강력한 모델이 오픈 소스로 공개되고 있다.
   2. 폐쇄형 모델에 집중하는 회사도 Gemma나 GPT open-source 계열처럼 생태계를 키우기 위해 오픈 소스를 지원한다.
   3. Finn은 결과가 언어 모델과 정확히 같지는 않을 수 있지만, 로봇에도 강한 오픈 소스 커뮤니티가 형성될 것이라고 낙관한다.

7.6. 모델은 무엇을 출력하는가?

1. 현재 선택: 관절 목표 위치

   1. 발표에서 보인 모델은 각 관절이 도달해야 할 target joint position을 출력한다.
   2. 이후 PD controller가 그 목표 각도를 실제로 추종한다.
   3. 모델은 3D 공간의 target gripper position도 예측할 수 있으며, 이를 통해 관절 위치를 역산하는 방식도 가능하다.

2. 다른 선택지와 trade-off

   1. motor torque, voltage, effort를 직접 출력하는 설계도 가능하다.
   2. 직접 effort를 제어하면 더 뻣뻣하거나 부드러운 출력을 모델이 선택할 여지가 있다.
   3. 고정된 controller를 사용하면 stiffness 같은 측면을 모델이 직접 제어하지 못한다.
   4. 현재 관절·그리퍼 수준의 제어는 충분히 잘 작동하며 병목으로 보이지 않으므로, 병목이 아닌 부분보다 신뢰성·데이터·속도 같은 실제 병목에 집중한다는 것이 Finn의 태도다.

7.7. 로봇에 ‘상상력’이 필요한가?

1. 미래 상태를 이미지로 예측하는 π0.7

   1. π0.7은 앞으로 도달해야 할 이미지(sub-goal)를 상상하고 그 상태를 달성하도록 행동할 수 있다.
   2. 셔츠 접기 실험에서는 이 imagination을 넣었을 때 넣지 않았을 때보다 정량적으로 성능이 올랐다.

2. 하지만 필수라고 단정할 수는 없다

   1. 미래 이미지를 예측하지 않는 모델도 예상보다 훨씬 잘 작동했다.
   2. PI는 이 기능만으로 별도 논문이나 기술 보고서를 쓰려 했지만, 기능이 없는 모델 자체가 너무 좋아서 imagination의 비중을 조정했다.
   3. 좋은 데이터셋이 있으면 설계 선택을 계속 실험할 수 있고, 미래 상태 예측은 미래 행동만 예측하는 것보다 학습 목표로 적합해 보인다.
   4. 현재까지는 도움은 되지만 기대만큼 결정적이지는 않으며, critical component가 될지는 아직 열려 있다.

7.8. 로봇이 느린 문제를 어떻게 풀 것인가?

1. 데이터와 정책의 속도 문제
   1. RL만으로도 속도 개선이 있었고, Finn은 별도의 RL Token(RLT) release에서 human teleoperation보다 빠른 정책도 보였다고 언급한다.
   2. 가장 쉬운 교육 방식인 teleoperation에서 사람이 로봇을 조작하는 속도 자체가 느린 것이 병목 중 하나다.
   3. 앞으로는 데이터를 더 빠르게 모으거나, 학습된 policy가 데이터보다 더 빠르게 행동하게 만들어야 한다.
   4. PI에는 빠른 policy를 만드는 유망한 프로젝트가 진행 중이며, 데이터보다 빨라지는 방향과 데이터 수집을 빠르게 하는 방향 모두가 남아 있다.

7.9. 최근 가장 놀라웠던 행동과 다음 목표

1. 핀휠 조립에서 나타난 좌우 대칭 일반화

   1. 핀휠 조립 데이터에서는 항상 오른손으로 핀을 집고 왼손으로 미리 자른 종이를 잡아 핀을 종이 구멍에 넣었다.
   2. 어느 순간 종이가 오른쪽, 핀이 왼쪽에 놓이는 실수가 발생했다.
   3. 로봇은 왼쪽 그리퍼로 종이와 핀을 처리하고 오른쪽 그리퍼로 핀을 삽입했다.
   4. 왼손으로 핀을 삽입하는 데이터는 post-training에도 pre-training에도 없었다.
   5. 로봇이 왼손과 오른손 사이의 equivariance를 학습해 한 손의 행동을 다른 손으로 옮긴 emergent capability로 보였고, Finn은 이 장면을 개인적으로 매우 놀라운 순간으로 꼽는다.

2. 특정 과제보다 다음 능력에 집중한다

   1. Finn은 특별히 한 가지 과제보다, 로봇이 더 오래 안정적으로 일하는 능력 자체를 다음 목표로 본다.
   2. 최근에는 칼을 안전하게 사용해 채소를 써는 작업을 연구하고 있다.
   3. 칼을 안전하게 다룰 수 있다면 로봇이 할 수 있는 일이 크게 넓어진다는 점에서, 안전한 정밀 조작은 중요한 다음 단계다.

7.10. 소프트웨어 엔지니어가 로보틱스에 진입하는 법

1. 소프트웨어 경로

   1. 로보틱스에는 소프트웨어 엔지니어링이 많이 필요하므로, 로봇 회사에 software engineer로 입사하는 것이 직접적인 방법이다.
   2. 시스템 소프트웨어, ML infrastructure, data pipeline 등 이미 소프트웨어 배경이 활용되는 영역이 넓다.

2. Jenny의 전환 사례

   1. PI의 Jenny는 처음에 algorithmic trading을 했고, 이후 Harvey에서 법률 관련 일을 했다.
   2. 로봇에 관심이 생겨 값싼 로봇을 사서 침실에서 직접 다뤘고, 오픈 소스 모델을 fine-tuning해 무언가를 하게 만들었다.
   3. 자신이 만든 것을 공유한 뒤 Finn에게 cold email을 보내 연구실에서 일하고 싶다고 했고, 실제로 시도하고 결과를 만든 경험과 열정이 좋은 프로필로 보였다.
   4. 지금은 PI에서 일한다. 결론은 작은 로봇을 사서 직접 실험하고, 배운 것을 공개하고, resume에 남길 수 있는 실제 경험으로 만드는 것이다.
   5. 오픈 소스 프로젝트가 많아 시작 비용도 예전보다 낮다.

주요 발언 모음

“로봇을 현실 세계에서 유용하게 만들려면, 장기간 자율적으로 작동하게 해야 합니다.”

“사람이 모델의 예측을 바탕으로 최종 결정을 내리는 AI와, 물리 세계에 직접 영향을 주는 AI는 신뢰성 요구가 다릅니다.”

“한 번의 성공적인 데모가 아니라 13시간 동안 라떼를 계속 만드는지가 실세계 유용성을 판단하는 기준입니다.”

“로봇은 사람을 보는 것만으로 사람처럼 할 수 없습니다. Roger Federer의 테니스를 본다고 해서 제가 Federer처럼 칠 수 있는 것은 아닙니다.”

“새로운 조합에 일반화하려면 가능한 모든 조합을 데이터에 넣을 필요가 없어야 합니다.”

“특정 작업보다 다음 capability를 모델에서 어떻게 끌어낼지에 더 관심이 있습니다.”

핵심 데이터 & 수치

• 2년: Chelsea Finn이 Physical Intelligence를 설립한 뒤 발표 시점까지의 기간.
• 1년 전: 같은 행사에서 미지의 방에서 빨래를 처리하는 로봇을 소개했고, 약 1년 전 Waymo의 주간 자율주행 25만 건 돌파를 언급.
• 5일·100만 명: ChatGPT가 출시 후 5일 만에 도달한 사용자 수.
• 90% 이상: 에스프레소 작업의 달성 성공률.
• 99% 이상: 자동화된 실패 학습 루프로 지향하는 장기 목표 신뢰도.
• 100만 개·1분·700 로봇일: 1분짜리 로봇 궤적 100만 회를 모으면 약 700 로봇일이 든다는 계산.
• 10회 또는 50회: PPO/GRPO가 하나의 프롬프트에서 가치 비교를 위해 rollout하는 전형적 반복 수로 제시된 범위.
• 13시간: 라떼 정책을 연속 실행해 장기 신뢰성을 평가한 시간.
• 약 2배: RL post-training만으로 향상된 box workflow throughput.
• 10초·50Hz·4개 카메라·256토큰: 순진하게 메모리를 넣으면 약 50만 토큰이 되는 예시 조건.
• 1fps·1만 토큰: 같은 10초를 초당 1프레임으로 줄여도 발생하는 대략적인 토큰 수.
• 10~15분: 텍스트 요약 메모리가 다루는 긴 시간尺度이자 주방 청소 자율 작업의 길이.
• 3개 episode: 에어프라이어가 없다고 생각한 데이터셋을 분석했을 때 우연히 발견된 에어프라이어 episode 수.
• 20%: 덜 다양한 데이터를 무작위 제거했을 때 비교한 데이터 제거 비율.
• 80%→100%: metadata 없이 저품질 데이터 비율을 늘리면 성능이 떨어졌고, metadata가 있으면 성능이 올라간 구간.
• 25만 주간 운행: Waymo가 보여준 물리 세계 자율 시스템의 배포 선례.

결론 및 시사점

1. 로봇의 상용화 기준은 데모가 아니라 장기 신뢰성이다. 컵을 쏟지 않고, 실패에서 회복하며, 사람이 계속 babysit하지 않아도 실제 workflow를 수행해야 한다.
2. 실세계 RL은 컴퓨팅 중심 RL과 다른 경제성을 가져야 한다. dead-end를 조기에 끊고, 일반 value function으로 반복 시도를 여러 과제에 분산해야 하드웨어 시간을 감당할 수 있다.
3. 메모리는 장기 작업의 핵심 인프라다. 직전의 운동 정보를 위한 짧은 비디오 기억과, 완료한 단계를 위한 긴 텍스트 기억을 결합해야 한다.
4. 범용화는 데이터의 양보다 다양성과 맥락 활용이 중요하다. 낮은 품질 데이터를 버리는 대신 품질 metadata를 함께 주면 이질적인 데이터에서 더 많은 정보를 뽑을 수 있다.
5. π0.7의 의미는 specialist를 없앴다는 선언이 아니라 출발점을 바꿨다는 데 있다. 하나의 generalist가 specialist와 비슷한 성능으로 바로 작동하고, 필요하면 현장 데이터로 추가 개선할 수 있다.
6. 조합적 일반화는 로봇의 데이터 효율성을 바꾼다. 새 가전제품, 새 작업, 새 embodiment의 모든 조합을 사전에 수집하지 않아도 스킬을 전이할 수 있다.
7. 물리적 배포는 ChatGPT처럼 하루아침에 폭발하기 어렵다. 하드웨어가 필요하기 때문에 확산은 느리지만, capability 자체는 향후 몇 년 안에 크게 성숙할 수 있다.
8. 가장 중요한 데이터는 결국 로봇 자신의 경험이다. 인간 비디오와 웹 데이터는 장면·언어·상식·미래 상태 예측을 보완하지만, 자기 하드웨어에서의 접촉 경험을 대체하지 못한다.
9. 속도·안전·신뢰성은 아직 남은 병목이다. RL Token과 더 빠른 정책이 진전을 보였지만, teleoperation 데이터의 속도와 로봇의 사람 대비 느린 동작을 함께 개선해야 한다.
10. 로보틱스 진입은 직접 작은 시스템을 만들어 보는 것에서 시작할 수 있다. 값싼 로봇, 오픈 소스 모델, 공개된 실험 결과를 이용해 실제 동작을 만들고 이를 공유하는 경험이 연구·채용의 신호가 된다.