빚 3억을 감수한 한국 연구자들이 영상 AI로 1,500억 원 투자를 이끈 과정

URL: https://www.youtube.com/watch?v=QXgymfvVhJo 날짜: 2026-09-04 채널: EO Korea

---

📌 핵심 질문 / 트웰브랩스는 왜 아무도 확신하지 못한 영상 이해 문제를 붙잡고 실리콘밸리의 선택을 받았는가

==시장도 투자자도 없던 시기에 가장 어렵고 생소한 문제를 고른 집요함이 어떻게 한국에서 만든 기술을 세계 시장의 제품과 1,500억 원 규모의 Series B로 연결했는가?==

• 전 세계 데이터의 80% 이상이 영상 형식이지만, AI의 의미 계층은 대부분 텍스트 토큰으로 구축되어 있다.
• 텍스트는 현실을 사후에 압축한 기록인 반면 영상은 사건 전후의 시간과 물리적 맥락을 보존하므로, 물리 세계를 이해하는 AI에는 원본 영상 신호가 필요하다.
• 이재성의 창업팀은 한국에서 시장과 초기 확신을 얻지 못했지만, 한국에서 기술을 만들고 실리콘밸리에서 검증받는 경로를 선택했다.
• 네이버벤처스와 NEA가 공동 주도한 1억 달러 Series B, Amazon·NVIDIA·Snowflake·Databricks·Index Ventures 등 글로벌 투자자, 할리우드 고객의 선택은 영상 이해가 독립된 기술 카테고리로 성장하고 있음을 보여준다.

트웰브랩스의 사례는 큰 자본과 유명한 인맥이 먼저 있었기 때문에 성공한 사례가 아니다. 군 복무 중 만난 연구자들이 대학원 진학 대신 창업을 택하고, SAT 과외·저축·대출로 초기 비용을 마련하며, 한국에서 만든 Marengo 프로토타입을 국제 대회에 내보내고, 시장이 형성되지 않은 미국에서 직접 고객을 찾은 사례다. 핵심 경쟁력은 모델 하나가 아니라 영상 인식·기억·추론을 묶은 영상 인지 시스템과 고객 문제를 빠르게 해결하는 실행력에 있다.

1. 트웰브랩스의 규모와 출발점을 보여주는 장면

트웰브랩스는 영상 콘텐츠를 사람처럼 이해하는 AI를 만들며, 한국과 실리콘밸리를 잇는 글로벌 기업으로 성장했다.

1.1. 글로벌 투자자와 창업자 네트워크

1. Series B의 공동 주도와 전략적 투자자

   1. NEA와 네이버벤처스: NEA(New Enterprise Associates)와 네이버벤처스가 1억 달러, 약 1,500억 원 규모의 Series B를 공동 주도했다.
   2. 전략적 투자자: Amazon이 주요 투자자로 참여했고 NVIDIA, Snowflake, Databricks, Index Ventures 등이 주주로 합류했다.
   3. AI 창업자와 연구자 네트워크: World Labs를 만드는 Fei-Fei Li, Meta에 회사를 매각한 Alexandr Wang 등도 트웰브랩스의 투자자·주주 네트워크를 화려하게 만든 인물로 언급된다.

2. 젊은 팀이 택하기 어려운 사업

   1. 높은 난도: 언어 모델보다 영상 이해 모델의 학습과 처리 비용이 훨씬 클 것이라는 인식이 강했고, 실제로 창업 초기에 자본·데이터·컴퓨팅·고객이 모두 부족했다.
   2. 초기 비용의 압박: 지금은 모델 하나를 학습시키는 데 1,000억 원이 들어갈 수 있지만, 창업 초기에는 약 3억 원을 모델 훈련에 썼다는 사실만으로도 주변에서 놀라던 시기였다.
   3. 끝까지 남은 태도: 이재성은 성공의 비결을 특별한 공식으로 설명하지 않고, 팀이 누구보다 간절했다는 점을 가장 중요한 원인으로 꼽았다.

1.2. 이태원 오피스가 상징하는 정체성

1. 이태원을 선택한 이유

   1. 용산에서 만난 창업자들: 공동창업자들은 용산에서 함께 군 복무를 한 선후임 사이였고, 휴가나 외출 때 주변 카페에서 함께 일하며 사업의 초심을 쌓았다.
   2. 초심과 국제성의 결합: 미국 팀원과 한국 팀원이 함께 일하는 회사가 되면서, 창업의 출발점인 용산과 국제적 분위기를 동시에 담을 수 있는 곳으로 이태원을 선택했다.
   3. 테헤란로와 역삼로를 거부한 이유: 스타트업이라면 좋은 빌딩과 VC가 몰린 테헤란로·역삼로에 가야 한다는 조언이 있었지만, 세상에 없는 제품을 만들려면 남들과 다른 자기만의 아지트가 필요하다고 판단했다.

2. 공간이 만드는 업무 방식

   1. 투자자가 찾아오는 장소: VC가 회사를 만나러 직접 올 수 있도록 회사의 감성과 개성을 드러내는 공간을 만들었다.
   2. 개방된 아트리움: 이전에 힙한 인테리어 디자인 회사가 쓰던 공간을 골랐고, 유럽 명품 브랜드 쇼장처럼 보이는 높은 천장과 아트리움이 답답함을 줄였다.
   3. 서로를 보는 구조: 팀원들의 얼굴이 서로 보이고 시야가 막히지 않는 배치를 선호해, 개방감과 팀의 연결감을 확보했다.

2. 서울과 샌프란시스코에서 구축하는 영상 지능

트웰브랩스는 서울에서 핵심 모델과 에이전트를 개발하고 샌프란시스코에서 제품화·고객 확장·시장 진입을 추진한다.

2.1. 고객이 쓰는 영상 이해 제품

1. 트웰브랩스의 기본 가치

   1. 사람처럼 영상을 이해하는 AI: 방대한 영상 데이터를 빠르게 검색하고, 콘텐츠를 분석하고, 스포츠 경기의 중요한 장면을 찾아 새로운 하이라이트를 생성하는 제품을 만든다.
   2. 서울의 역할: 고객이 실제로 쓰는 모델과 에이전트의 연구·개발을 서울에서 수행한다.
   3. 샌프란시스코의 역할: 자체 모델 위에 제품과 애플리케이션을 얹는 작업을 샌프란시스코에서 진행하며, GTM(Go-To-Market)은 샌프란시스코를 중심으로 전개하고 한국 GTM 팀도 키운다.

2. Jockey가 지향하는 에이전틱 플랫폼

   1. 두 모델의 결합: Jockey(자키)는 영상 검색과 이해에 쓰이는 Marengo(마랭고)와 생성·추론에 쓰이는 Pegasus(페가수스)를 함께 활용한다.
   2. 모든 모달리티의 구조화: 대량 영상 데이터에서 사용자가 원하는 데이터와 정보를 신속하게 찾아 제공하고, 영상·이미지·다른 모달리티를 구조화해 저장한다.
   3. 단순 질의응답의 확장: 질문을 넣으면 답변만 내놓는 대화형 에이전트가 아니라, 에이전트가 저장된 데이터를 자유롭게 다루고 소화하고 확장할 수 있는 플랫폼을 지향한다.

2.2. 시각 지능을 연구하는 인재

1. 손상현과 최세현의 전문성

   1. 손상현: 트웰브랩스에서 머신러닝 리서치 엔지니어로 일하며 영상 지능 연구와 제품화를 연결한다.
   2. 최세현: 서울대학교 박사 졸업 후 삼성전자에서 약 2년간 일했고, 원래 하고 싶었던 컴퓨터 비전(Computer Vision)과 영상 관련 연구로 돌아가기 위해 트웰브랩스에 합류했다.

2. 컴퓨터 비전에서 진정한 지능으로

   1. 시각 정보의 비중: 인간의 뇌가 처리하는 정보 가운데 70% 이상이 시각 정보라는 관찰이 시각 지능 연구의 출발점이 됐다.
   2. 연구 방향: 최세현은 시각 지능이 진정한 지능으로 가는 중요한 길이라고 보고 대학원 시절부터 비전 연구를 이어갔다.
   3. 연구와 사업의 정렬: 삼성전자에서는 큰 일을 할 수 있었지만 본인이 원한 시각 지능 연구와는 거리가 있었고, 트웰브랩스에서 컴퓨터 비전과 영상 연구를 다시 중심에 놓았다.

3. 김윤 박사의 역할

   1. 직책과 경력: 김윤 박사는 트웰브랩스의 President and Chief Strategy Officer로, Apple에서 Siri를 만드는 핵심 팀에 참여했고 SK Telecom의 전 CTO를 지냈으며 벤처 투자도 경험했다.
   2. 정신적 지주: 이재성은 김윤 박사를 회사의 전략적 방향을 잡아주는 정신적 지주이자 매우 닮고 싶은 선배로 평가했으며, 합류 후 약 20개월이 지났다.

3. 왜 텍스트가 아니라 영상을 선택했는가

영상은 텍스트로 압축되기 전의 현실 신호를 보존하므로, 물리 세계를 이해하고 행동하는 AI의 핵심 입력이 될 수 있다.

3.1. 텍스트의 압축과 영상의 원본성

1. 네이버벤처스의 투자 논리

   1. 데이터의 형태: 전 세계 데이터의 80% 이상이 영상 포맷으로 존재하지만, AI 기술의 중심은 오랫동안 텍스트에 놓여 있었다.
   2. 사후 압축 기록: 텍스트는 사람이 현실에서 일어난 일을 나중에 압축해 기록한 것이며, 압축 과정에서 시간적·시각적 정보가 사라진다.
   3. 와인잔 사례: 자막은 “와인잔이 깨졌다”라고 짧게 적을 수 있지만, 원본 영상은 와인잔이 깨지기 전과 후의 매 순간, 주변의 움직임과 물리적 맥락을 함께 담는다.

2. 의미 계층의 빈틈

   1. 기존 데이터 파이프라인: 표 형식 데이터나 PDF 원본은 언어 모델을 거쳐 의미론적 데이터(Semantic Data) 계층으로 변환되고, 그 결과는 대부분 텍스트 토큰으로 남는다.
   2. 빠진 영상 토큰: 현재 의미 계층에는 영상을 정확히 이해해 들어간 토큰이 거의 없으며, 텍스트로 생성된 설명만으로 복잡한 현실을 표현하는 한계가 있다.
   3. 트웰브랩스의 위치: 시각적으로 정확한 정보까지 의미 계층에 넣으면 복잡한 문제를 더 잘 풀 수 있으므로, 트웰브랩스는 의미 계층을 더 풍부하고 활용 가능하게 만드는 역할을 맡는다.

3.2. 생성보다 인간의 시청 방식을 참고한 연구

1. 영상 생성 모델과의 차이

   1. 확산 모델(Diffusion Model): 확산 모델이 영상을 생성하는 능력을 빠르게 발전시켰지만, 트웰브랩스의 목표는 영상을 만들어내는 것보다 영상에서 세계를 이해하는 것이다.
   2. 다음 프레임 예측의 한계: 언어 모델이 다음 단어를 잘 예측하면 언어를 이해하는 듯 보이지만, 같은 가설을 영상에 적용해 다음 프레임을 예측한다고 해서 실제 영상 이해가 자동으로 얻어지지는 않는다.
   3. 학습의 출발점: 생성 모델이나 언어 모델에서 힌트를 그대로 가져오기보다, 사람이 영상을 실제로 시청하며 주의를 배분하는 방식을 관찰했다.

2. 선택적 주의의 예시

   1. 느린 장면: 피겨스케이팅 선수가 길게 회전하는 장면은 비교적 느긋하게 바라본다.
   2. 결정적 순간: 트리플 악셀처럼 중요한 동작을 하기 직전에는 시선을 강하게 집중한다.
   3. 시스템화 과제: 장면의 모든 프레임을 똑같이 처리하지 않고, 사람이 중요한 순간에 집중하는 방식을 영상 데이터 처리 시스템으로 구현하는 일이 연구 영감이 됐다.

4. 군 복무 중 만난 연구자들의 창업과 실리콘밸리 진출

트웰브랩스 공동창업자들은 영상 이해가 어렵다는 사실을 알기 전에, 아무도 확신하지 못하던 문제를 직접 풀어보기로 했다.

4.1. 2018~2020년의 선택

1. 군대에서 시작된 공동 연구

   1. 선후임 관계: 공동창업자들은 군대에서 선후임으로 만났고, 특수한 환경에서 함께 AI 연구·개발을 수행했다.
   2. 당시의 계획: 2018~2020년 무렵 모두 전역하면 대학원에 진학하자는 생각이 강했다.
   3. 트랜스포머의 등장: Transformer 논문이 나오면서 대규모 AI 연구를 실제로 확장할 수 있다는 가능성이 보였고, 창업으로 방향을 바꿀 계기가 됐다.

2. 어려운 문제를 고른 철학

   1. 세계 이해 AI: 세상을 잘 이해하는 AI가 유용할 것이라는 철학이 출발점이 됐다.
   2. 현실과 가까운 신호: 인간이 세상을 배우는 방식과 가장 유사한 데이터에서 학습을 시작해야 한다고 판단했다.
   3. 어려움의 역설: 언어 모델보다 생소하고 아무도 적극적으로 하지 않는 문제이기 때문에 독자적인 포지셔닝을 만들 수 있다고 봤고, 어려울수록 더 집착하게 됐다.

4.2. 한국에서 믿음을 얻지 못한 이유

1. 시장 부재

   1. 한국의 투자 환경: 초기에는 한국에서 사업을 시작하고 투자자를 만나야 했지만, 영상을 이해하는 AI라는 비전을 믿어주는 초기 투자자가 거의 없었다.
   2. 이해의 격차: 한국에도 긍정적으로 말해주는 투자자는 있었지만, 당시에는 해당 시장 자체가 형성되지 않아 문제의 크기와 사업성을 이해하기 어려웠다.
   3. 실리콘밸리의 반응: 실리콘밸리에서는 “아직 될지 모르지만 매우 어렵고 재미있는 일을 한다”는 식으로 가능성을 열어두고 바라보는 분위기가 더 강했다.

2. 기술과 승부처의 분리

   1. 한국에서 만들기: 한국 연구자와 창업자도 세계에 뒤지지 않는 기술을 만들 수 있다는 자신감과 자존심을 바탕으로 핵심 기술은 한국에서 개발했다.
   2. 밸리에서 싸우기: 시장이 이미 있는 실리콘밸리로 나가 글로벌 고객과 투자자를 직접 만나고, 한국에서 만든 모델로 정면 승부해 이기기로 했다.

5. 자본이 없던 시절의 실행과 첫 검증

초기 팀은 자본과 업계 경험이 없었지만, 생활비를 직접 마련하고 제품을 만들어 국제 무대와 고객 앞에 세웠다.

5.1. Techstars와 개인 자금으로 버틴 초기

1. 원격 액셀러레이터 참여

   1. 코로나 시기의 Techstars: 공동창업자들은 코로나 시기에 Techstars 액셀러레이터에 원격으로 참여했다.
   2. 생활비 마련: CTO는 미국의 수능에 해당하는 SAT를 가르치며 생활비를 벌었다.
   3. 저축과 대출: 이재성은 이전에 일하며 번 돈을 사업에 투입했고, 팀이 너무 어려워지자 대출까지 받아 장비를 사고 공동창업자들의 급여를 마련했다.

2. 컴퓨팅 비용과 AWS 크레딧

   1. 당시와 현재의 격차: 지금은 모델 하나를 트레이닝하는 데 1,000억 원이 들어갈 수 있지만, 당시에는 약 3억 원을 모델 훈련에 썼다는 말만으로도 모두가 놀랐다.
   2. AWS의 지원: Techstars 액셀러레이터를 통해 Amazon Web Services(AWS)가 제공한 크레딧을 활용했고, 부족한 자원을 모아 모델을 훈련했다.
   3. 뒤가 없는 결정: 이재성은 장비와 급여를 마련하기 위해 대출을 받은 일을 “어떻게든 되겠지”라고 믿고 실행한, 말 그대로 뒤가 없는 행동으로 회고했다.

5.2. Marengo 프로토타입과 투자 유치

1. 첫 모델의 성과

   1. 프로토타입 구축: 팀은 가진 자원을 모두 모아 영상 검색 모델 Marengo의 초기 프로토타입을 만들었다.
   2. 국제 대회 1위: Marengo는 ICCV의 LSMDC 영상 이해 챌린지에서 1위를 차지하며 기술력을 외부에 증명했다.
   3. 시장 신호: 이미 언어 모델에 투자하고 있던 실리콘밸리의 Tier 1 VC Index Ventures가 이 성과를 보고 시드 라운드에 참여했다.

2. 5백만 달러 시드 라운드와 네이버의 뒤늦은 합류

   1. 라운드 규모: 당시 시드 라운드는 500만 달러 규모였다.
   2. D2 Startup Factory의 거절: 네이버에서 시드 투자를 전문으로 하던 D2 Startup Factory(DTSF)가 투자 의향을 전했지만, Index Ventures가 라운드를 모두 채우고 싶어 해 거절됐다.
   3. 큰 엔젤 체크: Index Ventures와 엔젤 투자자들이 큰 금액을 직접 쓰면서 라운드가 채워졌고, 훗날 네이버벤처스가 트웰브랩스에 투자하는 역설적인 인연으로 이어졌다.

3. 투자 결정에서 얻은 교훈

   1. 사전 상의의 중요성: 이재성은 Index Ventures와 계약한 뒤 텍사스에 있던 Techstars 매니징 디렉터에게 전화를 걸어 계약 사실을 알렸고, 상대는 “대박”보다 먼저 전략을 상의했어야 한다는 취지로 반응했다.
   2. 초기의 후회: 계약 후 2~3개월 동안 “이렇게 했어야 했다”라고 생각한 부분이 있었지만, 시간이 지나면서 그 선택을 감사하게 받아들이게 됐다.

6. Naver Ventures가 본 창업자와 영상 이해 카테고리

네이버벤처스는 트웰브랩스를 단순한 모델 회사가 아니라, 빅테크와 다른 속도로 새 카테고리를 만드는 팀으로 판단했다.

6.1. 박용정 GP의 투자 기준

1. Founder-Market Fit

   1. 문제와 사람의 결합: 창업자가 왜 하필 그 문제를 풀 수 있고 반드시 풀어야 하는 사람인지가 첫 번째 기준이다.
   2. 개인적 필연성: 유행에 올라탄 사람이 아니라 문제 자체에 매달릴 수 있는 경험·관심·집중력이 있는지 살핀다.

2. 집요함과 스태미너

   1. 유행 추종과 구분: 트렌드를 따라 움직이는 사람인지, 자원이 부족해도 문제에서 떠나지 않는 사람인지 구분한다.
   2. 실행 지속력: 충분한 리소스가 없어도 어떻게든 해내려는 집요함과, 그 집요함을 오래 유지할 스태미너가 있는지를 본다.
   3. 이재성의 적합성: 박용정은 이재성이 문제 적합성, 집요함, 스태미너라는 세 기준을 모두 겹쳐 보여주는 드문 창업자라고 판단했다.

6.2. 빅테크가 모든 가치를 가져가지 않는 이유

1. 새로운 카테고리의 반복

   1. 데이터 인프라: 하이퍼스케일러가 클라우드 시장을 장악하고 있어도 Snowflake와 Databricks가 데이터 스토리지·애널리틱스에서 의미 있는 회사를 만들었다.
   2. 결제와 코딩: 결제 분야에서는 Stripe가, 코딩 분야에서는 Cursor가 기존 거대 플랫폼과 별개로 새로운 카테고리를 만들었다.
   3. 영상 이해의 공백: 비디오 이해는 이제 막 비어 있는 카테고리이며, 트웰브랩스는 이 자리를 가장 가까이 차지하고 있는 회사로 평가받았다.

2. 빅테크보다 빠른 실행

   1. 좁고 깊은 집중: 트웰브랩스는 5년 넘게 영상 이해 한 문제에만 집중해 왔다.
   2. 프론티어 랩과의 차이: 빅테크나 프론티어 랩이 갖기 어려운 실행 속도로 제품과 사업을 성장시켰다.
   3. 할리우드의 반복된 선택: 글로벌 할리우드 스튜디오가 비디오 기술을 도입할 때, 빅테크의 유사 모델보다 트웰브랩스를 선택한 사례가 여러 번 반복됐다.

6.3. 네이버벤처스의 글로벌 네트워크

1. 박용정의 투자 경력

   1. 네이버에서의 8년 이상: 박용정은 네이버에서 8년 넘게 투자 업무를 수행하며 사업부의 전략적 투자권을 실사·검토·실행했다.
   2. 글로벌 투자 경험: 네이버가 글로벌 시장에서 진행하는 투자를 맡았고, 직접 스타트업을 발굴해 투자하는 일과 Tier 1 VC의 LP(Limited Partner)로 참여하는 일도 담당했다.
   3. 실리콘밸리 이동: 핵심 VC와 관계를 쌓은 뒤 AI 시대에 세상을 바꿀 창업자를 발굴하고, 투자 이후 네이버와 새로운 협업 사례를 만들기 위해 실리콘밸리로 나왔다.

2. 돈보다 오래된 인간적 관계

   1. 메가 펀드의 한계: 펀드 규모가 커지고 메가 펀드 운용사가 늘면서 작은 금액을 투자해 전략적 관계를 만드는 일은 어려워졌다.
   2. 벤처의 본질: 벤처 산업은 원래 개인적인 비즈니스로 시작했으므로, 출자자와 운용사의 관계를 넘어 사람 대 사람으로 서로 어떤 도움을 주고받을지 고민하는 관계가 중요하다.
   3. 한국 기술의 첫 연락처: 박용정은 투자 금액과 무관하게 한국 기술이나 기업이 궁금한 실리콘밸리 관계자들이 가장 먼저 연락하는 네트워크를 만들었다.

3. 네이버벤처스와 트웰브랩스의 재회

   1. 첫 투자 회사: 네이버벤처스는 설립된 지 약 1년밖에 되지 않았을 때 트웰브랩스에 최초로 투자했다.
   2. 우연한 소개: 박용정이 실리콘밸리로 이주한 지 약 2년이 됐을 때, M&A 이후 자신의 VC를 만들고 있던 인도계 투자자가 두 한국인을 연결했다.
   3. 한국 창업자에 대한 레퍼런스: 북미 진출을 준비하는 한국 스타트업이 현지 VC에 접근할 때 네이버벤처스에 먼저 레퍼런스와 개인적인 견해를 묻는 사례가 많아졌고, 네이버 출신 창업자와의 인맥도 이 역할을 강화했다.

7. Series B가 의미하는 기술적 도약

1억 달러 Series B는 단순한 자금 조달이 아니라, 영상 처리·파운데이션 모델·에이전트 스택이 실제 확장 단계에 들어섰다는 신호다.

7.1. 데이터에서 영상 인지 시스템으로

1. 발산 데이터로서의 영상

   1. 텍스트와 영상의 대비: 텍스트는 현실을 압축한 데이터이고, 영상은 인간이 세계를 학습할 때 사용하는 정보에 더 가까운 발산 데이터다.
   2. 새로운 의미 계층: 영상에 담긴 시간·행동·물리적 관계가 의미 데이터에 들어가면 기존 텍스트 중심 시스템이 다루기 어려운 복잡한 문제를 해결할 수 있다.
   3. Series B의 신호: 대규모 영상 처리 기술, 트웰브랩스의 영상 파운데이션 모델, 그 위에 구축한 에이전트 스택이 이제 제대로 시작됐으니 더 빠르고 크게 나아가라는 신호로 Series B를 해석한다.

2. 영상 인지 시스템의 세 계층

   1. 인식(Perception): 영상 속 사물·사람·행동·소리·장면을 인식하고 사실을 추출한다.
   2. 기억(Memory): 인식된 사실을 바탕으로 영상 메모리와 의미 있는 기억을 만든다.
   3. 추론(Reasoning): 저장한 기억을 필요할 때 다시 찾아보고, 그 위에서 질의·분석·행동을 수행한다.
   4. 시스템의 결합: 인식·기억·추론 세 계층을 하나로 묶은 시스템이 ‘영상 인지 시스템’이며, Jockey는 이 구조를 제품으로 확장한다.

7.2. 모델보다 오래 살아남는 풀스택 가치

1. 모델 교체 속도

   1. 빠른 대체: AI 모델은 새 모델이 출시될 때마다 빠르게 대체될 수 있으므로, 단일 모델만으로 지속적인 방어력을 만들기 어렵다.
   2. 전략 변화의 사례: OpenAI와 Anthropic은 글쓰기·코딩·배포에 대한 집중 범위를 바꾸며 서로 다른 전략을 펼치고, Codex 같은 제품 중심 집중도 강화했다.

2. 대체하기 어려운 가치 사슬

   1. 모델 위의 지능: 핵심 모델 위에 사용자의 문제를 해결하는 인텔리전스 레이어를 쌓는다.
   2. 지능 위의 시스템: 인텔리전스 레이어가 실제 워크플로와 제품 시스템으로 작동하게 만든다.
   3. 고객 가치의 풀스택 전달: 모델·지능·시스템이 함께 고객 가치를 만들면 특정 모델이 바뀌어도 전체 제품을 쉽게 대체하기 어렵다.

8. 한국 AI와 미국 AI의 경계를 넘어서는 전략

AI 모델과 에이전트는 출시되는 순간 전 세계에서 사용되므로, 국경보다 실제 가치와 실행력이 더 중요해졌다.

8.1. 서로 다른 국가적 관점

1. 미국의 공격적 관점

   1. AI 패권 경쟁: 미국에서는 AI를 전쟁으로 보고 주도권을 반드시 가져야 한다는 공격적인 담론이 강하다.
   2. 실행 압박: “지금 반드시 잘해야 한다”는 태도로 기술·자본·인재를 한곳에 모은다.

2. 한국의 방어적·기회 중심 관점

   1. 방어와 활용: 한국에서는 AI를 잘 만드는 것도 중요하지만, 이 기회를 활용해 세계 표준을 만들고 공급하는 방법을 함께 고민한다.
   2. 회사의 목표: 자체 AI를 갖는 것에 그치지 않고 AI 시대에 가장 훌륭한 회사를 만드는 일이 더 중요하다는 관점이 제시됐다.
   3. 대표 사례: 한국에서 만들고 글로벌 시장에서 경쟁하는 트웰브랩스가 그 목표를 보여주는 대표적인 주자로 평가됐다.

8.2. 소버린 AI와 국경 없는 인텔리전스 레이어

1. 소버린 AI의 재정의 필요성

   1. 불명확한 정의: 소버린 AI(Sovereign AI)는 아직 정의가 명확하지 않고, 어느 순간 국가별 경계를 나누는 구분 자체가 약해졌다.
   2. 전 세계 사용: 모델이나 에이전트는 출시 즉시 세계 어디서나 활용되고 시장의 반응을 얻으므로 국경이 사용을 막지 못한다.

2. 작은 지분의 지속적 확보

   1. 임베디드 모델: 각국의 훌륭한 기업이 서비스를 만들 때 사용하는 인텔리전스 레이어에 영상 모델이 임베드될 수 있다.
   2. 지속적인 가치 창출: 전 세계 기업들이 가치를 창출하는 과정에서 모델·시스템 제공자가 작은 몫이라도 지속적으로 가져오는 구조가 글로벌 AI 기업의 한 경로가 된다.
   3. 한국 팀의 자신감: 한국에서 만든 모델도 실리콘밸리의 성지에서 싸워 이길 수 있다는 자신감을 실제 고객과 제품으로 증명해야 한다.

9. 다음 단계와 실용적 시사점

트웰브랩스와 네이버벤처스는 각각 영상 지능의 범용화와 한·미 창업 생태계의 연결을 다음 목표로 삼는다.

9.1. 트웰브랩스의 실행 목표

1. 영상 이해의 기준 만들기

   1. 고객 문제 해결: 누구보다 영상을 잘 이해하고 고객에게 도움이 되는 제품을 계속 만든다.
   2. 단순하지만 가장 어려운 계획: 지금보다 훨씬 잘하는 제품을 만들고 실행하는 일은 말로는 단순하지만 실제로는 가장 어렵다.
   3. 카메라 데이터의 전면 처리: 카메라로 캡처된 모든 영상이 트웰브랩스를 통해 처리되는 날까지 달린다.

2. 제품·인재·생태계의 확장

   1. Jockey의 확장: 영상 인식·기억·추론을 에이전틱 플랫폼으로 묶어 영상 데이터에서 필요한 정보와 행동을 신속하게 제공한다.
   2. 글로벌 채용: AI 역사를 새로 쓰고 싶은 사람에게 트웰브랩스 합류 기회를 열며, 홈페이지를 통해 채용과 협업을 받는다.
   3. 사용자 생태계: 트웰브랩스 기술을 활용해 새로운 제품을 만들고 싶은 사람도 홈페이지로 문의할 수 있다.

9.2. 네이버벤처스의 두 방향

1. 한국에서 북미로

   1. 창업자 발굴: 트웰브랩스 같은 회사를 계속 발굴하는 일이 네이버벤처스의 가장 큰 미션이다.
   2. 북미 진출 지원: 한국 창업자가 북미 시장에 진출할 때 현지 투자자·고객·파트너에 접근하고 사업을 확장하도록 돕는다.

2. 미국에서 아시아로

   1. 현지화 지원: 네이버벤처스가 투자한 미국 회사가 아시아에 진출할 때 만나야 할 사람과 채용해야 할 인재를 찾도록 지원한다.
   2. 기술 검증과 파트너 연결: 기술을 어떻게 검증할지, 어떤 파트너와 협업할지 함께 판단한다.
   3. 트웰브랩스의 상징성: 트웰브랩스는 한국에서 만든 기술이 미국에서 성장한 사례이면서, 글로벌 기업이 아시아로 확장할 때 연결할 수 있는 한 회사 안의 양방향 사례다.

9.3. 창업가에게 적용할 수 있는 원칙

1. 남들이 고르지 않은 문제의 조건

   1. 문제와의 필연성: 유행보다 자신이 왜 그 문제를 풀어야 하는지 설명할 수 있어야 한다.
   2. 시장 형성 전의 검증: 시장이 없다는 이유로 멈추지 말고, 기술의 신호를 국제 대회·초기 고객·글로벌 커뮤니티에서 찾아야 한다.

2. 자원 부족을 다루는 방법

   1. 현금흐름 확보: SAT 과외, 저축, 대출, 액셀러레이터 크레딧처럼 현실적인 방법으로 연구와 생활을 버틸 자원을 만든다.
   2. 빠른 학습과 납품: 미디어 산업 경험이 없더라도 고객이 원하는 결과를 빠르게 배우고 납품하면서 시행착오를 제품 역량으로 바꾼다.
   3. 집중의 유지: 모델이 교체되는 시장일수록 인식·기억·추론·시스템을 아우르는 풀스택 가치를 만들어 한 모델에 종속되지 않게 한다.

주요 발언 모음

“비결은 없는 것 같아요. 근데 저희가 그 누구보다 간절하긴 했었던 것 같아요.” — 이재성

“정말 세상을 잘 이해하는 AI가 유용할 것 같고, 그러기 위해서는 우리가 세상을 배우는 시그널과 가장 유사한 데이터에서 학습이 시작되어야 한다고 생각했습니다.” — 이재성

“자막에서는 ‘와인잔이 깨졌다’라고 적고 말지만, 실제 영상은 그 앞뒤 매초를 그대로 담고 있습니다.” — 박용정

“빅테크가 결국 모든 것을 다 가져간다는 전제는 꼭 맞지 않는 것 같습니다.” — 박용정

“저희는 단순 모델뿐만 아니라 영상 인지 시스템을 만들고 있습니다.” — 이재성

“카메라를 통해 캡처된 영상들이 모두 트웰브랩스를 통해 처리될 수 있는 그날까지 열심히 달려보겠습니다.” — 이재성

“한국에서 만든 모델도 자신감을 갖고 실리콘밸리라는 성지에서 싸워 이기는 모습을 많이 볼 수 있으면 좋겠습니다.” — 박용정

핵심 데이터 & 수치

• 1억 달러: NEA와 네이버벤처스가 공동 주도한 Series B 규모다.
• 약 1,500억 원: 1억 달러 Series B를 원화로 환산한 규모다.
• 80% 이상: 전 세계 데이터에서 영상 포맷이 차지하는 비중으로 제시됐다.
• 약 5년 이상: 트웰브랩스가 영상 이해 문제에 집중해 온 기간이다.
• 약 3억 원: 창업 초기에 영상 모델 훈련에 투입한 비용으로, 당시에는 이 정도 지출도 큰 화제가 됐다.
• 1,000억 원: 현재 모델 하나를 트레이닝할 때 들어갈 수 있는 비용의 예시다.
• 500만 달러: Index Ventures가 참여한 초기 시드 라운드의 규모다.
• 70% 이상: 인간의 뇌가 처리하는 정보 중 시각 정보가 차지하는 비중으로 언급됐다.
• 2018~2020년: 공동창업자들이 군 복무 중 AI 연구를 함께하고 창업을 고민하던 시기다.
• 약 2년: 박용정이 실리콘밸리로 이주한 뒤 이재성과 처음 연결되기까지의 기간이다.
• 8년 이상: 박용정이 네이버에서 투자 업무를 수행한 기간이다.
• 약 20개월: 김윤 박사가 트웰브랩스에 합류한 뒤 이재성이 말한 경과 기간이다.
• 약 3년 전: 박용정이 실리콘밸리에서 트웰브랩스를 처음 만난 시점으로 회고한 시기다.
• 2~3개월: 초기 투자 계약 뒤 일부 결정을 후회하며 다시 생각했던 기간이다.

결론 및 시사점

1. 어려운 문제를 오래 붙잡는 일이 차별화가 된다: 아무도 하지 않는 문제는 시장이 없어서 위험하지만, 문제 자체가 중요한 이유와 해결해야 할 신호를 증명하면 독자적인 카테고리가 될 수 있다.
2. 원본 데이터가 다음 AI 경쟁의 기반이 된다: 텍스트로 압축된 현실만 학습하는 AI의 한계를 넘으려면 영상·오디오·이미지 등 원본 신호를 의미 계층에 연결해야 한다.
3. 모델 위의 시스템이 방어력을 만든다: 빠르게 교체되는 모델보다 인식·기억·추론을 고객 워크플로에 통합한 시스템이 지속적인 가치를 만든다.
4. 시장과 생산지를 분리할 수 있다: 한국에서 연구·제품을 만들고 실리콘밸리에서 고객·투자자·경쟁자를 만나는 전략은 출신 국가의 한계를 줄인다.
5. 관계는 투자금보다 오래 간다: 박용정이 쌓은 인간 대 인간의 신뢰는 한국 창업자와 미국 투자자·기업을 연결하는 레퍼런스 자산이 됐다.
6. 글로벌 AI에는 국경보다 사용성이 중요하다: 모델과 에이전트는 출시 즉시 세계에서 사용되므로, 한국 팀도 글로벌 표준과 고객 가치를 만들 수 있다는 자신감이 필요하다.
7. 간절함은 실행으로 증명된다: SAT 과외, 저축, 대출, AWS 크레딧, 국제 대회 출전, 낯선 미디어 고객을 직접 부르는 행동이 간절함을 사업 성과로 바꿨다.

마지막 핵심 요약 (20줄)

트웰브랩스는 영상을 사람처럼 이해하는 AI를 만들며 영상 이해라는 새로운 기술 카테고리를 개척했다. NEA와 네이버벤처스가 공동 주도한 Series B는 1억 달러, 약 1,500억 원 규모로 진행됐다. Amazon이 주요 투자자로 참여했고 NVIDIA, Snowflake, Databricks, Index Ventures 등이 주주로 합류했다. 전 세계 데이터의 80% 이상이 영상이지만 AI의 의미 계층은 대부분 텍스트 토큰으로 구축되어 있다. 텍스트는 현실을 사후에 압축한 기록이고 영상은 사건 전후의 시간과 물리적 맥락을 보존한다. 와인잔이 깨졌다는 자막보다 원본 영상이 깨지기 전후의 모든 순간을 더 풍부하게 담는다. 트웰브랩스는 영상·이미지·다른 모달리티를 구조화해 더 활용 가능한 의미 계층을 만든다. Jockey는 Marengo와 Pegasus를 결합해 대량 영상 데이터에서 사용자가 원하는 정보와 데이터를 제공한다. Jockey는 답변만 내놓는 대화형 에이전트보다 데이터를 다루고 소화하고 확장하는 에이전틱 플랫폼을 지향한다. 서울 팀은 모델과 에이전트를 개발하고 샌프란시스코 팀은 제품화와 GTM을 주도한다. 공동창업자들은 용산에서 군 복무를 하며 AI 연구를 함께한 선후임 사이였다. 트랜스포머 논문은 대학원 진학을 고민하던 연구자들을 창업으로 이끈 계기가 됐다. 팀은 아무도 하지 않던 영상 이해 문제에서 독자적인 포지셔닝을 만들 수 있다고 판단했다. CTO는 SAT 과외로 생활비를 벌었고 이재성은 저축과 대출로 장비와 급여를 마련했다. 초기 팀은 약 3억 원을 모델 훈련에 투입했고 AWS 크레딧까지 활용해 Marengo 프로토타입을 만들었다. Marengo는 ICCV의 LSMDC 영상 이해 챌린지에서 1위를 차지하며 글로벌 투자자의 관심을 얻었다. Index Ventures는 500만 달러 시드 라운드를 채웠고 네이버의 초기 투자 의향은 시기가 늦어 성사되지 않았다. 박용정은 창업자의 Founder-Market Fit, 문제에 대한 집요함, 실행을 지속할 스태미너를 중요하게 본다. 영상 인지 시스템은 인식·기억·추론을 통합해 단일 모델보다 대체하기 어려운 가치를 만든다. 트웰브랩스는 카메라로 캡처된 모든 영상이 자사 시스템을 거치는 날까지 고객 중심 실행을 이어가려 한다.