URL: https://www.youtube.com/watch?v=2wgPHvW0mG8 날짜: 2026-09-25 원문 발행일: 2026-09-24 채널: aiDotEngineer 발표자: Suchet Bargoti, Skydio 영상 길이: 20분 47초
📌 핵심 질문 / 이 영상이 다루는 핵심 논점
==한 명의 운영자가 직접 조종하지 않고도 엣지 자율비행(Edge Autonomy), 클라우드 에이전트(Cloud Agent), 다중 에이전트 오케스트레이션(Multi-agent Orchestration)을 결합해 수많은 드론을 안전하게 운영하려면 어떤 스택과 신뢰성 체계가 필요한가?==
- 드론을 사람이 휴대해 현장에 투입하는 도구에서, 도킹 스테이션에서 필요할 때 자동 출격하는 인프라로 전환한다.
- 즉각적인 장애물 회피와 비행은 기체의 엣지 컴퓨팅에서 처리하고, 장기 계획·무거운 추론·다수 기체 조율은 클라우드에서 처리한다.
- 현장 비행 로그를 개인정보 보호와 고객 데이터 투명성 원칙 아래 학습 플라이휠(Training Flywheel)에 되돌려 자율비행의 신뢰성을 높인다.
- 지도 기반 월드 모델(World Model), 객체 추적 모델, VLM(Visual Language Model), 강화 학습(Reinforcement Learning)을 고수준 도구와 연결해 수많은 하드코딩된
if분기를 줄인다.
Skydio의 목표는 드론 한 대를 잘 조종하는 사람을 늘리는 것이 아니라, 전력선 점검·수색·추적·공공 안전 같은 목표를 입력하면 시스템이 기체 선택, 경로, 도구 호출, 안전 판단을 맡는 물리적 에이전트 인프라를 구축하는 것이다. 이를 위해 하드웨어·자율비행 소프트웨어·클라우드·사용자 인터페이스를 한 회사가 통합하고, 현장 데이터와 시뮬레이션을 이용해 물리 시스템에 필요한 '나인즈(nines)' 수준의 신뢰성을 확보하려 한다.
1. 다수의 드론을 한 화면에서 운용하는 라이브 시연
발표는 슬라이드 설명보다 실제 드론 비행을 먼저 보여주는 방식으로 시작한다. 물리 시스템의 핵심은 화면 속 모델이 아니라, 네트워크가 불완전한 상황에서도 기체가 안전하게 출격·비행·복귀하는 운영 흐름이다.
1.1. 도킹 스테이션에서 출격하는 물리적 에이전트
-
실시간 원격 비행 화면
- 화면 왼쪽에는 현재 수행 중인 작업의 실시간 영상이 보인다.
- 발표자는 키보드로 간단한 비행 명령을 내리고, 드론이 실제로 비행 중인지 청중에게 확인한다.
-
도크 기반 인프라
- 남쪽 도시의 본사에 있는 드론 여러 대가 도킹 스테이션에 대기하고 있다.
- 발표자가 발사 버튼을 누르면 도크에 머물던 기체가 출격한다.
- Skydio는 이런 기체와 도크의 결합을 하나의 인프라로 부른다.
- 미국 전역의 전력 회사, 공공 안전 기관, 건설 업체 등에 수천 대가 배치되어 있다.
1.2. 한 운영자가 여러 지역의 임무를 겹쳐 실행하기
-
샌 마테오에서의 주변 탐색
- 지도에서 샌 마테오를 확대하면 샌프란시스코 스카이라인과 안개가 보이고, 샌프란시스코 국제공항에서 항공기가 이륙하는 모습도 확인한다.
- 항공기 추적 앱과 대조할 수 있을 만큼 화면은 실시간 상황을 반영한다.
-
동시에 실행하는 원격 임무
- 첫 번째 드론이 비행하는 동안 콜로라도의 도크를 열고, 전력선 화재를 확인하는 임무를 가정해 다른 드론을 발사한다.
- 출격 전 안전 점검이 자동으로 진행된다.
- 회의장 Wi-Fi 같은 불안정한 환경에서 노트북을 닫아도 작업이 백그라운드에서 안전하게 계속되어야 한다.
-
자연어에 가까운 고수준 명령
- 첫 번째 드론에는 주변을 둘러보라는 지시를 내리고, 두 번째 드론에는 지나가는 차량을 추적하라고 명령한다.
- 차량이 도주 차량일 수 있다는 상황을 가정해 추적을 유지한다.
- 발표자는 손을 완전히 떼고도 자신이 내린 명령에 따라 자율 시스템이 비행·추적하도록 둔다.
- 본사의 세 번째 드론도 추가로 띄울 수 있으며, 마지막에는 모든 드론에 멈추고 도크로 복귀하라고 지시한다.
2. 드론의 진화: 취미용 기기에서 상시 가동 인프라로
드론의 다음 단계는 더 많은 조종사를 고용하는 것이 아니라, 필요할 때 자동으로 출격해 사람의 능력을 확장하는 인프라가 되는 것이다.
2.1. 세 단계의 운영 모델
-
취미용 드론
- 약 15년 전 드론은 집에서 가지고 놀며 직접 만지고 고치는 취미 기기였다.
- 사용자가 제어 소프트웨어까지 다루며 기체의 동작을 직접 익혔다.
-
현장 도구
- 약 10년 전부터 드론이 대중화되어 산업 현장의 도구가 되었다.
- 작업자가 드론을 트럭에 싣고 현장으로 가져가 배치하고 조종했다.
-
인프라로서의 드론
- 도킹 스테이션에 대기하는 기체는 필요할 때 자동 이륙해 임무를 수행하는 물리적 에이전트(Physical Agent)가 된다.
- 미래에는 Slack 봇이 사건을 감지하고 “드론을 보내 볼까요?”라고 제안하며, 사용자는 드론이 실제로 발진했는지조차 모를 수 있다.
- 현재는 전문 조종사 자격과 안전 판단이 필요하지만, 앞으로는 자율 시스템이 안전성을 판단하고 인터페이스가 훨씬 고도화된다.
2.2. 실제 배치 사례가 보여주는 사람의 능력 확장
-
전력 인프라 순찰
- 미국 북동부 해안의 발전소 옆에 도크를 설치해 평상시 순찰을 수행한다.
- 순찰 중 전봇대 내부가 타고 있는 이상 징후를 발견한다.
- 전봇대가 쓰러져 화재를 일으키기 전에 감지하며, 사람을 현장에 보내는 비용과 위험을 줄인다.
-
샌프란시스코 경찰국(SFPD)의 차량 추적
- 도난 차량이 고속 추격전을 유발하는 대신, 드론이 멀리서 조용히 추적한다.
- 용의자는 드론이 뒤따르는 사실을 모른 채 차량 번호판을 바꾸고 창문에 틴팅을 하려 한다.
- 드론이 위쪽으로 향한 번호판을 포착해 행동과 차량 정보를 확인한다.
- 경찰은 위험한 고속 추격에 뛰어들지 않고 전략적 위치를 선점한 뒤 적절한 시점에 개입할 수 있다.
3. 대규모 자율성을 위한 운영·안전 문제
드론의 규모가 커질수록 조종 실력보다 여러 기체를 동시에 감독하고 실패를 관리하는 능력이 병목이 된다.
3.1. 24시간 인프라와 높은 신뢰성
-
환경 범위
- 드론 인프라는 밤낮과 날씨에 상관없이 매일 작동해야 한다.
- 알래스카의 극한 추위와 텍사스의 극한 더위에도 도킹 스테이션을 배치한다.
-
서비스 규모와 신뢰성 목표
- 시스템은 99.9999% 신뢰성을 목표로 하며, 시뮬레이션과 테스트로 이를 입증한다.
- 인프라 반경 2마일 안에 약 1,600만 명이 거주한다.
- 공공 안전 기관과 전력 회사는 현장에 직접 가지 않고도 사고에 대응할 수 있다.
3.2. 수동 조종의 선형 확장 한계
-
조종사 숙련 비용
- 처음 비행을 익히는 데 몇 시간이 걸리고, FPV(First Person View) 고글을 쓰면 난도가 더 높아진다.
- 숙련 과정은 즐겁고 기술을 쌓는 경험이지만, 기체마다 숙련 인력을 붙이는 방식은 드론 수에 비례해 인력이 늘어난다.
-
신고·경보 폭증과 시스템 붕괴
- 경찰이나 인프라 기업이 더 많은 드론을 운영하려면 더 많은 조종사를 채용해야 한다.
- 911 신고와 경보가 계속 증가하면 일대일 조종 모델은 확장되지 않는다.
- 초기의 1인칭 조종 관점에서 벗어나, 목표 중심의 다중 에이전트 관점으로 전체 기체를 전략적으로 관리해야 한다.
3.3. 자연어 목표를 실행 가능한 비행 계획으로 변환하기
-
고수준 임무
- “이륙해서 이 지역을 수색하라”는 명령은 실제 경로, 장애물 회피, 센서 사용, 안전 복귀로 변환되어야 한다.
- “실종자를 찾아라” 또는 “특정 차량을 찾아 그 위치를 유지하라”는 명령은 탐색·탐지·추적·위치 유지의 연속 과정이 된다.
-
Skydio의 통합 제어 범위
- Skydio는 하드웨어, 소프트웨어, 클라우드, 사용자 인터페이스를 직접 제어한다.
- 통합 제어는 고도·구름·고속 비행·비·장애물 밀집 환경에서 인지와 행동을 함께 설계할 수 있게 한다.
4. 자율주행 스택과 학습 플라이휠
자율비행의 경쟁력은 모델 하나가 아니라 기체·클라우드·데이터·학습·평가가 반복되는 전체 시스템에 있다.
4.1. 비전 기반 자율비행의 난제
-
도시·기상·장애물
- 도시의 GPS는 스마트폰에서도 성능이 불안정하므로, 대규모 도시 환경의 경로 계획을 GPS 하나에 의존할 수 없다.
- 고도가 높거나 구름이 낀 환경, 빠른 비행, 비가 오는 상황에서도 올바른 인식과 행동이 필요하다.
- 장애물이 많은 환경에서 대상을 안정적으로 추적하려면 시각 인식·지도·경로 계획을 함께 고려해야 한다.
-
모델의 의미
- Skydio가 말하는 모델은 단순한 객체 분류기가 아니라, 기체가 무엇을 보고 어떤 행동을 해야 하는지 연결하는 AI 시스템이다.
- 실시간으로 데이터를 학습하고 평가해 모델을 다시 현장에 투입하는 운영 구조가 핵심이다.
4.2. 현장 데이터에서 강화 학습으로 이어지는 순환
-
데이터 수집과 개인정보 보호
- 드론을 현장에 보내 운용하고 모든 비행 데이터를 기록한다.
- Google Street View처럼 데이터를 정제해 개인정보가 남지 않게 한다.
- 고객이 어떤 정보를 공유하는지 명확히 알 수 있도록 데이터 사용을 투명하게 만든다.
-
명령과 실제 결과의 차이 학습
- 명령한 경로·동작과 드론이 실제로 수행한 결과 사이의 차이를 대규모 데이터로 축적한다.
- 예상한 일과 실제로 일어난 모든 사례가 학습 에이전트와 강화 학습 생태계로 돌아간다.
- 재학습과 평가를 거친 모델을 다시 현장에 투입해 견고한 프레임워크를 유지한다.
5. 엣지-클라우드 분할과 월드 모델
즉각적인 비행 안전과 장기적인 의미 추론은 요구하는 지연 시간·연산량·대역폭이 다르므로, 엣지와 클라우드의 역할을 분리한다.
5.1. 엣지 자율성과 클라우드 자율성의 절충
-
엣지에서 처리하는 일
- 장애물 회피와 즉각적인 자율 행동은 드론 자체에서 수행한다.
- 통신 지연이나 네트워크 단절이 있어도 성공적인 비행을 위해 필요한 최소 판단을 기체가 유지해야 한다.
-
클라우드에서 처리하는 일
- 영상 피드와 원격 측정(Telemetry)이 클라우드 서버로 흐르고, GPU와 추론 엔진이 무거운 작업과 장기 계획을 담당한다.
- 클라우드 에이전트는 여러 드론을 동시에 조율하고 전체 지도에 대해 더 깊은 추론을 수행할 수 있다.
- 대역폭이 낮은 지역에서도 높은 영상 품질을 제공하려고 정보를 작게 인코딩하고, 같은 네트워크 조건에서 더 높은 품질로 디코딩하는 기술에 투자한다.
5.2. 첫 번째 모델: 지도 기반 월드 모델
-
Waymo와 유사한 전역 지도 관점
- 현지 장애물을 피하는 것만으로는 도시의 A 지점에서 B 지점까지 최적 경로를 찾을 수 없다.
- Waymo처럼 전역 지도를 사용해 국소 인식과 장거리 경로 계획을 함께 수행한다.
-
정적·벡터 정보의 결합
- 건물 데이터에 전력선과 도로 위치 같은 벡터 데이터를 결합한다.
- 특정 구역에서 필요한 동작에 맞게 자원을 결합해 드론이 지도를 숙지하고 경로를 계획하도록 한다.
-
하늘의 눈으로 지도 갱신
- 지도는 오래될 수 있지만, 여러 드론이 비행하며 새로운 건설 현장처럼 기존 지도에 없던 변화를 발견한다.
- 관측 결과를 지도 동기화 과정에 반영하고, 드론이 복귀해 데이터를 전달하면 다음 비행부터 전체 편대가 최신 지도를 사용한다.
5.3. 두 번째 모델: 객체 이해·추적과 암묵적 세계 모델
-
가려진 객체를 예측하는 추적
- 모델은 화면에 보이는 객체뿐 아니라 건물 뒤에 가려진 대상의 위치까지 추론한다.
- 대상이 건물 뒤로 사라지면 반대편에서 나타날 가능성을 예상하고, 계속 추적할 수 있도록 이동 방향을 선택한다.
-
날씨·시간·연산 위치의 대응
- 비·눈·낮·밤에도 비전만으로 안정적으로 추적해야 한다.
- 드론 엣지에서는 최소 추적을 수행하고, 클라우드에서는 더 무거운 모델이나 VLM으로 높은 수준의 추론을 수행한다.
- 클라우드 응답은 약 7~10Hz로 아주 빠르지는 않고 1~2초 지연이 있지만, 어디로 이동할지 결정하는 전반적 판단에는 충분하다.
6. 에이전트 도구와 VLM 기반 임무 수행
고정된 규칙을 계속 추가하는 대신, 에이전트가 드론 상태와 환경 정보를 읽고 필요한 고수준 도구를 선택하게 한다.
6.1. 전력선 점검을 의미론적 임무로 바꾸기
-
목표 중심 요청
- 운영자는 “이 라인을 확인해 봐” 또는 “무언가 잘못된 것 같아”라고 요청한다.
- 드론은 해당 위치로 이동한 뒤 현장을 이해하고, 현장 안에서 적절한 조치를 선택해야 한다.
-
도구 중심 시스템
- 현재는 개발자가 현장 해석과 행동 로직을 코드로 작성한다.
- 앞으로는 에이전트가 드론이 무엇을 보고 있는지, 어떤 대응이 가능한지 이해하도록 도구를 제공한다.
6.2. “흰색 지프차를 찾아 줘” 예시
-
VLM의 탐지 판단
- 사용자가 “흰색 지프차를 찾아 줘”라고 입력한다.
- 탐지 헤드와 VLM이 현재 장면에서 찾아야 할 대상이 무엇인지 판단한다.
-
드론 API와 추적 도구의 결합
- 에이전트는 드론 API에 접근해 특정 궤적을 그리며 이동하도록 명령한다.
- 대상을 찾으면 추적·따라가기 도구를 호출해 계속 관찰한다.
- 특정 사례를 위한 규칙을 모두 하드코딩하는 대신, 에이전트에 드론 상태·가용 정보·맥락·행동 도구를 제공한다.
7. 엔드 투 엔드 자율성의 한계와 다음 단계
가공되지 않은 센서 데이터에서 곧바로 최종 행동을 내는 완전한 엔드 투 엔드 구조는 매력적이지만, 물리 시스템에서는 검증 가능한 신뢰성이 가장 큰 장벽이다.
7.1. 강화 학습과 '나인즈'의 긴장
-
이상적인 엔드 투 엔드 비전
- 센서 데이터만 주면 드론의 방향·위치·행동과 최종 결과까지 완벽하게 산출하는 구조가 장기 목표다.
- 강화 학습으로 같은 동작을 반복했을 때 어떤 결과가 나오는지, 올바른 최종 결과에 도달하는지 검증한다.
-
물리 시스템의 신뢰성 문제
- 물리 시스템은 '나인즈(nines)' 단위의 매우 높은 신뢰성이 필요하다.
- 모든 상황을 관찰하고 엔드 투 엔드 결과의 신뢰성을 보장하기는 현재 어렵다.
- 따라서 엔드 투 엔드 파이프라인 중 어떤 부분을 세계 모델 기반 표현으로 바꿀지 계속 탐구한다.
7.2. if 분기에서 고수준 도구로
-
수색·구조 로직의 전통적 방식
- “나무를 찾아라. 없으면 아래를 확인하라. 그래도 못 찾으면 열화상 카메라를 켜라. 여기서도 못 찾으면 저기를 봐라”처럼 수많은 조건문을 코드에 넣는다.
- 예외 상황이 늘어날수록 분기 전략과 유지보수 부담이 커진다.
-
에이전트 중심 방식
- 에이전트가 고수준 도구를 사용해 드론에 명령하고, 관찰 결과와 맥락에 따라 다음 행동을 선택한다.
- 고정된
if목록을 늘리는 대신 목표·도구·안전 제약을 조합해 더 다양한 임무에 대응한다.
7.3. 폼팩터와 클라우드 인터페이스의 확장
- 쿼드콥터뿐 아니라 훨씬 작은 폼팩터의 쿼드콥터에도 같은 작업을 적용한다.
- 고정익 항공기(Fixed-wing Aircraft)까지 인프라 관점의 운영 방식을 확장한다.
- 어디서든 발진하고 어디서든 회수하는 배치 구조를 만들며, 클라우드에서 기체를 빠르게 조정할 최적의 지점을 찾는다.
- 각 시스템이 기본 상호작용 API를 제공하면 클라우드 에이전트가 접속해 상황을 판단하고 명령을 내릴 수 있다.
주요 발언 모음
“우리가 추구하는 것은 대규모 자율성을 구현하는 것이다.”
“드론을 인프라로 다루기 시작하면, 필요할 때 자동으로 발진해 임무를 수행하는 물리적 에이전트가 된다.”
“911 신고나 경보가 계속 늘어나면, 드론 옆에 숙련 인력을 배치하는 방식으로는 확장할 수 없다.”
“즉각적인 자율 행동은 드론에서 이루어지고, 장기적인 계획과 더 무거운 추론은 클라우드에서 처리한다.”
“수많은
if문과 분기 전략을 넣는 대신, 에이전트가 고수준 도구를 사용해 드론에 명령하도록 하려 한다.”
핵심 데이터 & 수치
- 약 15년 전: 드론이 가정용 취미 기기 수준으로 사용되던 시기다.
- 약 10년 전: 드론이 대중화되어 산업 현장의 도구로 자리 잡기 시작했다.
- 수천 대: 미국 전역의 전력 회사·공공 안전 기관·건설 업체 등에 배치된 드론 규모다.
- 99.9999%: 밤낮과 기상 조건을 넘어 목표로 삼는 시스템 신뢰성이다.
- 약 1,600만 명: 드론 인프라 반경 2마일 안에 거주하는 인구다.
- 7~10Hz: 클라우드의 높은 수준 추론이 제공하는 대략적인 응답 속도다.
- 1~2초: 클라우드 추론의 지연 시간이며, 전체 이동 방향을 결정하는 데는 충분한 수준으로 제시된다.
- 2마일: 인프라가 공공 안전·전력 대응을 지원하는 반경 기준이다.
핵심 요약 (20줄)
- Skydio는 도킹 스테이션에 대기한 드론을 필요할 때 자동 출격시키는 인프라를 구축한다.
- 한 운영자는 키보드와 고수준 명령으로 샌 마테오와 콜로라도의 드론 임무를 동시에 실행한다.
- 전력 회사·공공 안전 기관·건설 업체에는 이미 수천 대의 드론이 배치되어 있다.
- 전력선 순찰 드론은 전봇대 내부의 화재 위험을 발견해 인력 투입 전 사고를 예방한다.
- SFPD는 도난 차량을 조용히 추적해 위험한 고속 추격 없이 개입 위치와 시점을 선택할 수 있다.
- 알래스카의 추위와 텍사스의 더위를 견디는 도킹 인프라는 밤낮과 날씨에 관계없이 작동해야 한다.
- 99.9999% 신뢰성과 약 1,600만 명의 2마일 반경 이용자 규모가 운영 목표를 압축한다.
- 기체마다 숙련 조종사를 붙이는 방식은 911 신고와 경보가 늘어날수록 선형적으로 한계에 부딪힌다.
- 다중 에이전트 운영은 비행 조작보다 수색·추적·점검 목표를 중심으로 전체 편대를 관리한다.
- 하드웨어·소프트웨어·클라우드·사용자 인터페이스의 통합은 자율비행 경쟁력의 기반이다.
- 도시 GPS 불안정성·고속 비행·비·장애물은 비전과 경로 계획을 함께 요구하는 대표 난제다.
- 현장 비행 데이터는 개인정보를 정제하고 고객 공유 범위를 투명하게 만든 뒤 학습에 사용한다.
- 명령과 실제 수행 결과의 차이는 강화 학습과 평가를 거쳐 다음 배포의 품질을 높인다.
- 엣지 컴퓨팅은 즉각적인 비행 안전을 맡고 클라우드는 무거운 추론과 장기 계획을 맡는다.
- 저대역폭 환경에서는 영상 인코딩·디코딩을 개선해 같은 네트워크에서 높은 품질을 유지한다.
- 지도 기반 월드 모델은 건물·전력선·도로 데이터를 결합해 전역 경로를 계획한다.
- 여러 드론의 관측은 새 건설 현장 같은 변화를 지도에 반영해 다음 비행의 지식을 갱신한다.
- 엣지 추적과 클라우드 VLM 추론을 결합하면 가려진 객체의 위치와 이동 방향을 예측할 수 있다.
- “흰색 지프차를 찾아라” 같은 목표는 VLM·드론 API·추적 도구를 조합한 에이전트가 수행한다.
- 고정된
if분기 대신 기본 상호작용 API와 고수준 도구를 제공하는 물리적 에이전트 생태계가 다음 단계다.
결론 및 시사점
- 운영 단위가 드론 한 대에서 임무와 편대로 이동한다: 자율성의 가치는 수동 조종을 없애는 데서 끝나지 않고, 한 사람이 여러 지역의 목표를 동시에 관리할 수 있게 하는 데 있다.
- 엣지와 클라우드는 상호 대체가 아니라 역할 분담 구조다: 안전에 민감하고 지연에 민감한 판단은 기체에 남기고, 전역 지도·장기 계획·VLM 기반 의미 추론은 클라우드로 올리는 절충이 현실적인 배치 방식이다.
- 데이터 플라이휠이 하드웨어를 소프트웨어 자산으로 바꾼다: 현장 비행에서 얻은 명령-결과 차이, 지도 변화, 추적 실패 사례를 재학습에 연결해야 실사용 환경의 예외를 지속적으로 줄일 수 있다.
- 물리 시스템에서는 모델 성능보다 검증 가능한 신뢰성이 우선이다: 완전한 엔드 투 엔드 모델은 장기 목표지만, 99.9999% 같은 높은 신뢰성 요구를 충족하려면 월드 모델·도구·안전 제약을 조합한 단계적 구조가 필요하다.
- 자연어 임무는 API와 도구 설계의 문제이기도 하다: “수색하라” 또는 “흰색 지프차를 찾아라”를 실행하려면 에이전트가 상태·센서·경로·추적·복귀 도구를 호출할 수 있는 표준 인터페이스가 필요하다.
- 드론 인프라의 확장은 다양한 폼팩터와 산업으로 이어진다: 소형 쿼드콥터와 고정익 항공기까지 어디서든 발진·회수할 수 있는 클라우드 조정 체계를 갖추면 전력·공공 안전·건설을 넘어 범용 물리 에이전트 플랫폼으로 확장될 수 있다.
- 인력 수요의 중심도 바뀐다: 전문 조종사만 늘리는 대신 하드웨어, 자율주행, 풀스택, 프론트엔드·백엔드, 무선 네트워크까지 모바일 제품의 엔드 투 엔드 기술을 비행체에 적용하는 인재가 필요하다.
