10월 15일 목요일

Dyna-2의 월드 액션 모델을 연구실의 한 동작에서 장시간 현장 업무로 옮기려면 무엇을 함께 설계해야 하는가?

Dyna-2는 과거 몇 초의 영상, 로봇의 관절 상태, 언어 명령을 입력으로 받고 연속 행동과 미래 영상 또는 미래 세계 상태의 표현을 함께 만든다. 미래에 무엇이 보일지 예측한 뒤 그 상태로 가는 행동을 고르는 구조다. 내부의 Diffusion Transformer는 긴 문맥과 대규모 데이터 학습, 부드러운 고차원 행동 생성을 결합하고, Flow Matching은 과거 40~100단계로 설명된 확산 계산을 약 4단계로 줄여 실시간 제어에 맞춘다. 그러나 이 모델 구조만으로 제품이 되지는 않는다. 100만 시간 이상의 인간 시점 영상은 폭넓은 물리 상식을 주지만 로봇 신체의 반사와 손재주를 대신하지 못하고, 네트워크 지연은 물리 세계를 멈추지 못하며, 한 동작 정책은 한 시간짜리 세탁 흐름을 계획하지 못한다. 따라서 범용성의 검증 단위는 모델 점수 하나가 아니라 데이터 전이, 온디바이스 실행, 전신 하드웨어, 계층적 하네스가 함께 실제 작업을 끝내는 시스템이다.

1. 01

   데이터는 범용 사전 지식과 신체 적응으로 나뉜다

   인간 영상은 다양한 물체 조작의 넓은 prior를 만들고, 소량의 로봇 시연은 특정 관절·그리퍼·환경에 맞춘다. 새 작업은 수십 분에서 몇 시간의 시연으로 시작해 실제 하드웨어에서 실패를 관찰하고 부족한 행동을 추가 수집한다. 무엇이 고품질 데이터인지는 모델의 현재 능력과 센서 구성에 따라 바뀌므로 원시 영상, 작업별 시연, 실제 로봇 경험을 함께 운영해야 한다.

2. 02

   지연과 몸체는 배포 제약이자 학습 인프라다

   로봇은 칼이나 물체를 든 채 네트워크 왕복을 몇 초 기다릴 수 없다. 큰 교사 모델의 지식을 작은 모델로 증류하고 자체 추론 스택으로 온디바이스 실행하는 이유다. 액추에이터의 내구성과 모델 가능성, 인간과 비슷한 몸 비율, 몸통 자유도도 별도 사양이 아니다. 인간 영상의 행동을 로봇에 전이하고 안정적인 데이터를 반복 수집할 수 있는지를 좌우하는 학습 인프라다.

3. 03

   장시간 자율성은 두 시간축을 연결한다

   하위 행동 모델은 손을 어디에 놓고 언제 집거나 놓을지 실행하고, 상위 추론 모델은 이동·대기·조작을 단계별 레시피로 묶는다. 세탁기가 도는 동안 다른 일을 하고 종료 뒤 수건을 옮기는 식의 병렬 업무는 저수준 정책 하나에 넣기 어렵다. 약 한 시간의 세탁 루프처럼 사람이 개입하지 않는 전체 워크플로가 30초짜리 시연보다 하네스와 시스템의 실력을 더 잘 드러낸다.

4. 04

   검증 경계는 센서와 현장 반복성까지 넓어진다

   비전 중심 월드 모델이 강해도 촉각·오디오·적외선처럼 접촉과 상태를 더 직접 보여주는 신호를 빠뜨릴 수 있다. 더 적은 데이터와 계산으로 같은 성능을 내는 다중 감각 접근이 등장할 가능성도 남아 있다. 그러므로 미래 상태 예측 자체와 실제 작업 성공을 구분하고, 한 장소의 파일럿보다 여러 고객 지점에서 같은 품질로 반복 배치되는지 확인해야 한다.

월드 액션 모델의 기술적 주장은 미래 상태 예측이 행동 선택에 유용한 중간 표현이 된다는 것이다. 제품의 주장은 더 엄격하다. 다른 몸에서 수집한 지식을 현재 하드웨어로 옮기고, 낮은 지연으로 연속 행동을 실행하며, 상위 계획이 긴 작업을 끝내고, 고객 현장의 반복 배치가 가치를 증명해야 한다. 이 경계를 분리해 측정해야 화려한 시연을 범용 로봇의 증거로 과대평가하지 않으면서도 데이터·모델·하드웨어를 함께 개선할 수 있다.