스마트폰 AI의 90%가 여전히 클라우드에서 실행되는 이유

메타데이터

• 원문 제목: Ninety Percent of Phone AI Still Runs in the Cloud — Ramin Hasani, Liquid AI
• 한국어 제목: 스마트폰 AI의 90%가 여전히 클라우드에서 실행되는 이유
• URL: https://www.youtube.com/watch?v=V_9TCu_21SE
• 날짜: 2026-09-19
• 채널: latentspacepod
• 출연자: Ramin Hasani, Liquid AI
• 핵심 주제: Liquid AI의 생물학 영감 기반 동적 신경망, 하드웨어 인지형 아키텍처 탐색, 온디바이스·멀티모달·적응형 AI
• 콘텐츠 유형: YouTube 심층 다이제스트

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==스마트폰과 각종 기기에서 AI의 대부분이 클라우드에 남아 있는 이유는 모델 품질·신뢰성·하드웨어 제약 때문이며, 하드웨어에 맞춰 설계된 작은 모델과 지속적으로 적응하는 모델 개발 플랫폼이 이 구조를 바꿀 수 있다.==

• Liquid AI는 C. elegans의 비스파이킹 뉴런과 연속시간 동역학에서 영감을 얻어 작은 계산량으로도 적응성과 표현력을 확보하려 한다.
• Liquid Foundation Model(LFM)은 Transformer 하나를 대체한다고 주장하기보다, 배포 장치와 목표에 따라 convolution·attention·liquid·state-space 연산자를 탐색해 조합한다.
• 스마트폰 AI 호출의 약 90%는 여전히 클라우드로 가고 10%만 기기에서 처리된다는 진단은 비용, 개인정보, 오프라인 동작, 지연시간을 모두 온디바이스 추론의 사업적 동기로 만든다.
• 진정한 온디바이스 AI는 오픈소스 모델을 내려받아 넣는 일로 끝나지 않는다. 열 제어, 긴 문맥에서의 동작 변화, 신뢰성, 검증·확인(verification and validation), 하드웨어별 커널 최적화까지 해결해야 한다.

Liquid AI의 장기 방향은 특정 아키텍처의 승리를 선언하는 것이 아니라, GPU·NPU·CPU와 같은 실행 환경, 데이터 양식, 품질 기준을 입력으로 받아 최적의 혼합 아키텍처를 자동으로 찾는 것이다. 그 결과는 자동차·노트북·스마트폰·산업용 로봇에 들어갈 수 있는 모델이며, 궁극적으로는 기업과 개인이 자기 지능을 소유하고 계속 업데이트하는 구조다.

1. 생물학에서 출발한 Liquid Neural Network

Liquid의 출발점은 인간 뇌를 그대로 복제하는 것이 아니라, 생물학적 신경계에서 연속시간 계산과 피드백의 원리를 추출하는 것이었다.

1.1. 뇌의 영감을 기계학습으로 옮기다

1. 빈 공백에서 출발한 연구

   1. Ramin Hasani와 현재 Liquid AI의 CTO는 약 12년 전 Vienna University of Technology(TU Wien, 대화에서는 TUNI로 언급)에서 연구를 시작했다. Ramin은 박사과정을, 공동창업자는 석사과정을 밟고 있었다.
   2. 핵심 질문은 기계학습 시스템 안에 continuous-time mathematics를 어떻게 넣을 것인가였다. 두 뉴런이 정보를 주고받는 과정을 단순한 1차 미분방정식(first-order differential equation)으로 모델링하고, 신경계의 동역학을 학습 가능한 형태로 옮겼다.
   3. 인간의 뉴런은 스파이킹(spiking) 특성이 강하고 뇌에서 계산이 실제로 어떻게 일어나는지 여전히 모르는 부분이 많기 때문에, 인간 뇌 전체를 첫 모델로 삼기에는 관측과 학습이 어려웠다.

2. C. elegans를 모델 유기체로 택한 이유

   1. C. elegans는 몸 전체에 뉴런이 302개뿐이고 길이가 약 2mm다. 이 뉴런은 인간 뇌의 스파이크형 뉴런과 달리 인공 뉴런과 비슷하게 연속적인 등급형 신호를 내며, 신경과학에서는 이를 electrotonic behavior로 설명한다.
   2. 뉴런이 스파이크를 발생시키지 않는다는 점은 연속시간 시스템을 만들기 좋다는 뜻이었다. 이 구조를 미분 가능한(differentiable) 모델로 만들면 backpropagation을 비롯한 표준 학습 절차를 적용할 수 있다.
   3. 2016~2017년 당시 특히 인상적이었던 사실은 302개의 뉴런이 95개의 근육세포를 제어해, 당시 지구상에서 만든 어떤 로봇 시스템보다 나은 동작을 보였다는 점이다.
   4. 인간과 C. elegans는 진화 계통에서 약 6억 년 전에 갈라졌지만, 인간 게놈과 약 78%의 유사성이 있다고 설명된다. 이 동물에서 밝혀진 세포 구조와 신경계 원리는 일정 범위에서 인간에게도 옮겨 볼 수 있다.
   5. C. elegans 연구는 지금까지 인류에게 네 번의 노벨상으로 이어졌다고 소개된다. 이런 이유로 연구팀은 해당 동물의 뉴런을 연구하는 신경과학자들과 협업했다.

1.2. Liquid Time-Constant 구조의 계산적 의미

1. 뉴런 간 상호작용을 수학으로 만든다

   1. 두 뉴런이 서로 정보를 교환하는 방식을 생물학적 관찰에 근거해 수학적으로 모델링했고, 이를 Liquid Neural Network와 Liquid Time-Constant Neural Network로 구현했다.
   2. ‘Liquid’라는 이름은 상태가 고정된 계산 그래프가 아니라 유연하게 변하는 동역학을 뜻한다. 순전파(forward pass)는 미분방정식으로 지배되는 고도로 비선형적인 시스템이고, 역전파(backward pass)로 학습할 수 있다.
   3. 여러 피드백 구조가 데이터에서 표현(representation)을 잘 학습하게 한다. 즉, 적은 수의 뉴런으로도 관측 데이터의 중요한 상태를 압축해 표현할 수 있다.

2. 작은 모델로 로봇을 제어하다

   1. 로봇에 탑재할 수 있는 신경망은 데이터센터 모델처럼 큰 계산 자원을 기대할 수 없다. Liquid 구조는 수십~수백 개 뉴런에 해당하는 작은 부분집합으로도 자율적인 로봇 동작을 제어하는 가능성을 보여줬다.
   2. 연구의 중심에는 가장 작은 계산 단위에 가능한 한 많은 지능을 넣는 효율성이 있었다. 센서 입력을 클라우드로 보내지 않고도 로봇이 행동을 결정하려면 계산량, 지연시간, 전력의 균형이 필요하다.

2. MIT에서 연속시간·동역학 연구를 확장하다

2.1. 자동차와 드론으로 가져간 연구

1. Daniela Rus와의 합류

   1. 2017년 MIT의 Daniela Rus가 빈에서 진행되던 연구를 접하고 Ramin과 동료들에게 MIT에서 계속 연구하면서 자동차, 드론, 다양한 차량에 적용해 보자고 제안했다.
   2. Ramin과 Matthias가 MIT에 합류했고, MIT 박사과정 학생이던 Alexander Amini가 합류했다. 네 사람은 연속시간 동역학 시스템, 연속시간 학습 시스템, 여러 산업 영역으로의 확장을 함께 연구했다.
   3. Daniela Rus는 로보틱스, 분산 로봇, 소프트 로봇 분야에 큰 기여를 한 인물로 소개된다. 연구는 추상적인 신경망 설계에서 실제 차량의 제어 문제로 이동했다.

2. 연속시간 모델이 주는 시간 차원의 적응성

   1. 일반적인 recurrent neural network(RNN)는 연속시간 동역학을 일정한 간격으로 이산화(discretize)해 한 스텝씩 계산한다. 스텝 사이의 시간 간격이 크게 달라지지 않는다는 가정이 들어간다.
   2. 연속시간 시스템은 사건이 발생한 시점뿐 아니라 사건과 사건 사이의 시간을 함께 고려한다. 지속적으로 변하는 시퀀스에서 시간축의 변화에 더 유연하게 적응할 수 있다.
   3. 이 관점은 recurrence와 feedback을 핵심 계산으로 삼는다. Neural ODE, State Space Model(SSM) 등 여러 연구 흐름이 비슷한 동역학 시스템을 각기 다른 이름과 수식으로 발전시켰다.

2.2. 2020년 전후의 확장성 문제

1. 작은 동역학을 큰 지능으로 키우기

   1. 2017~2020년에는 OpenAI가 reinforcement learning과 OpenAI Gym을 포함한 로보틱스 연구를 활발히 발표했고, Google과 MIT도 효율적인 학습 시스템을 경쟁적으로 개발했다.
   2. Liquid 연구의 가설은 작은 시스템이 학습 분포 밖(out-of-distribution)에서도 더 잘 일반화할 수 있다는 것이었다. 그러나 벌레에서 영감을 얻은 지능을 오디오·비전·텍스트처럼 인간이 이해하는 복잡한 신호로 확장하려면 규모 문제가 생긴다.
   3. 연속시간의 비선형 recurrent loop를 크게 만들수록 계산이 다루기 어려워진다. RNN의 대표적인 병목은 순차 계산이며, 비선형 recurrent operator를 GPU에서 병렬화하기가 특히 어렵다.

2. Transformer와 recurrence의 긴장 관계

   1. Transformer는 행렬곱 중심의 연산이라 현대 GPU가 잘 병렬화할 수 있다. 이 하드웨어 적합성이 Transformer를 규모 확장과 범용 행동의 핵심 구조로 만들었다.
   2. 반면 attention은 입력 데이터가 늘어날 때 quadratic cost가 발생한다. Recurrence는 데이터가 증가해도 계산을 sub-quadratic 또는 선형에 가깝게 유지할 수 있어 이론상 더 효율적이다.
   3. 이론적 복잡도만 낮다고 실제로 확장되는 것은 아니다. 연산을 실제 하드웨어에서 병렬로 실행하지 못하면 효율성은 현실의 처리량으로 이어지지 않는다.

3. 선형화와 SSM의 대가

   1. 비선형 시스템을 선형화(linearization)하면 동역학의 비선형성을 줄이고 선형대수 기법과 parallel scan을 적용할 수 있다. SSM은 RNN의 선형 버전으로 볼 수 있으며, 이 방식으로 연산을 병렬화한다.
   2. 컴퓨터과학에는 공짜 점심이 없다. 복잡한 동역학을 선형화하면 계산 가능성은 좋아지지만 표현력(expressivity)을 잃는다.
   3. SSM은 긴 시퀀스를 효율적으로 계산하지만 언어 문제에서 긴 문맥의 의존성을 배우고 표현하는 데 어려움을 보였다. 표현력은 Transformer보다 부족한 경우가 많다.
   4. 결론은 단일 연산자를 성전처럼 선택할 수 없다는 것이다. Liquid, 동역학 시스템, SSM, convolutional neural network, attention을 함께 고려해야 범용 계산기를 만들 수 있다.

3. 하드웨어 인지형 아키텍처 탐색과 LFM

3.1. 여러 대안 아키텍처를 한 팀으로 묶다

1. ‘하나의 성배’ 대신 아키텍처의 Avengers

   1. 약 3년 전 Liquid는 특정 아키텍처가 유일한 정답이라는 태도를 버리고, 여러 대안 아키텍처 연구자를 한곳에 모았다. Y. Bengio의 연구실, Stanford, MIT 등에서 나온 연구자들과 함께했다.
   2. Hyena 계열, SSM, Liquid Neural Network 등 서로 다른 연산자를 경쟁시키는 대신, 배포 환경에 따라 조합하는 meta-AI 시스템을 만들었다.
   3. 이 시스템은 GPU나 NPU 같은 목표 장치가 주어지면 연산자 공간(operation space)을 탐색해 hybrid architecture를 설계한다.

2. 탐색이 동시에 최적화하는 네 가지 기준

   1. 순수 Transformer와 비교해 품질을 희생하지 않는다. 품질에는 reasoning capability, language understanding, knowledge 등 약 100개의 기준이 포함된다.
   2. 메모리 사용량을 줄인다.
   3. 지연시간(latency)을 줄인다.
   4. 계산 속도를 높인다.
   5. 이 연구 방법은 대화에서 STAR라는 논문/프레임워크로 소개됐다. 새로운 연산자나 지능의 기본 블록이 나오면 meta-AI 탐색에 추가하고, 목표 장치에 맞는 다음 구조를 다시 찾는다.

3.2. Liquid Foundation Model의 세대 변화

1. LFM1에서 LFM2로

   1. 첫 Liquid Foundation Model(LFM1)은 convolution, attention, 원래의 Liquid 연산이 뒤섞인 혼합 구조였다. 여러 가능성을 한 번에 실험한 첫 번째 탐색 결과에 가까웠다.
   2. 두 번째 세대 LFM2는 CPU 실행을 위해 구조를 크게 단순화했다. 1D convolution, 그중에서도 double-gated convolution이 약 80%를 차지하고, Group Query Attention(GQA)이 약 20%를 차지한다.
   3. LFM2의 목표는 CPU에서 빠르게 실행하면서도 높은 품질을 유지하는 단순한 foundation model이다.

2. LFM2.5와 다음 세대

   1. 대화 시점 Liquid는 LFM2.5 모델을 개발 중이며, 수천만 개 수준부터 700억(70B) 파라미터까지 scaling law를 실험한다.
   2. LFM2와 LFM2.5의 작은 모델들을 먼저 공개했고, 다음 세대 LFM3는 품질, 안정성, 관심 있는 배포 프레임워크에서의 지연시간 제어를 개선하는 방향이다.
   3. 모델을 처음부터 사전학습하고(pre-training), scaling law를 측정하고, 생산 환경에 넣는 과정을 모두 내부에서 수행한다. 따라서 LFM은 연구용 체크포인트만이 아니라 배포를 전제로 한 모델 계열이다.

3.3. 더 큰 모델과 더 작은 모델의 설계 원칙

1. 대규모 범용 모델은 편향을 줄인다

   1. 아키텍처 후보마다 일정한 토큰 수까지 학습시키거나 모델 크기를 늘리면서 scaling loss를 측정한다.
   2. 범용 지능을 목표로 모델을 크게 만들수록 구조적 편향을 줄여야 한다. LFM2가 복잡한 gated delta net 등을 넣지 않고 단순한 1D convolution을 택한 이유다.
   3. Attention과 Transformer처럼 구조적으로 덜 편향된 연산은 규모를 키울 때 유리하다. 큰 모델일수록 불필요한 기능과 특수한 루프를 걷어내는 편이 낫다.

2. 작은 모델은 더 강한 귀납 편향을 활용한다

   1. 메모리가 8GB처럼 제한된 환경에서는 더 많은 feedback loop와 구조적 복잡성을 넣어야 표현력을 확보할 수 있다.
   2. 작은 모델에서는 편향이 추가될수록 더 풍부한 동역학을 얻는다. 큰 모델에서 제거해야 하는 구조가 작은 모델에서는 효율성의 원천이 된다.
   3. 200억(20B) 파라미터 이하의 영역에서는 recurrence가 매우 효과적일 수 있다. 다만 그만큼 특정 데이터 양식과 하드웨어에 맞춘 편향된 구조가 된다.

3. 데이터 양식에 따른 연산자 선택

   1. 오디오처럼 시간에 따라 연속적으로 변하는 데이터에서는 continuous-time dynamical system과 SSM이 강하다.
   2. 텍스트에서는 같은 SSM이 긴 의존성을 충분히 표현하지 못해 성능이 떨어질 수 있다.
   3. 레이어를 반복하는 layer looping도 작은 규모에서는 계산 효율을 줄 수 있지만, 반복 자체가 구조적 편향이며 현행 GPU 인프라가 병렬 행렬곱 중심으로 최적화되어 있다는 제약을 받는다.

4. 온디바이스 AI가 필요한 사업적 이유

4.1. 스마트폰 AI의 90%가 클라우드에 남은 이유

1. 현재의 하이브리드 구조

   1. Apple Intelligence와 Galaxy AI 같은 주요 스마트폰 서비스는 클라우드 모델과 기기 모델을 섞어 사용한다.
   2. 체감상 가장 많이 쓰이는 스마트폰 AI 호출의 약 90%가 클라우드로 가고, 10%만 기기에서 처리된다.
   3. 기기 모델이 더 많은 요청을 맡지 못하는 이유는 충분한 성능과 신뢰성을 아직 확보하지 못했기 때문이다.

2. 클라우드 비용을 줄이는 가장 직접적인 방법

   1. 4억 대의 휴대전화나 수십억 명의 클라이언트에게 무료에 가까운 AI 기능을 제공하면서 모든 요청을 클라우드에서 처리하면 비용이 감당하기 어려워진다.
   2. AI를 기기로 옮기면 서버 추론 비용을 줄이고 사업자의 마진을 만들 수 있다. 단순한 기술 선호가 아니라 비용 구조의 문제다.
   3. 온디바이스 모델은 오프라인 기능, 개인정보 보호, air-gapped 환경, 짧은 지연시간도 제공한다.

3. 개인정보 보호 필터와 로컬 에이전트

   1. 노트북에서 ChatGPT 터미널이나 Cloud Code 에이전트에 보낼 텍스트를 작은 Liquid 모델이 먼저 검사할 수 있다.
   2. 모델은 민감한 개인정보를 감지해 가리거나(shield), 어떤 데이터가 클라우드로 나가도 되는지 로컬에서 판단하는 guardrail 역할을 할 수 있다.
   3. 기기 안의 파일과 정보를 읽는 proactive agent도 가능하다. 분석을 로컬에서 수행하면 클라우드와 비슷한 경험을 오프라인·망분리 환경에서도 제공할 수 있다.

4.2. 생산 등급 온디바이스 AI의 난점

1. 모델 파일을 올리는 것과 제품을 만드는 것은 다르다

   1. 오픈소스 모델을 내려받아 장치에 넣는 것만으로 생산 환경에 도달하지 않는다.
   2. 열 제어(thermal control), 긴 문맥에서 변하는 모델 행동, 일정 수준 이상의 신뢰성, 실제 사용자 분포를 견디는 안정성을 검증해야 한다.
   3. 품질 벤치마크 점수만으로는 충분하지 않다. 지난 2년 반 동안 여러 생산 사이클을 경험한 결과, production-grade AI는 벤치마크보다 훨씬 큰 문제라고 설명된다.

2. 하드웨어와 모델의 공동 설계

   1. AMD와 협력해 AI PC에서 LFM을 직접 실행하는 방향을 추진한다. 세계적으로 매년 약 3억~4억 대의 노트북이 만들어지고, 그중 약 1억 대가 AMD 기반일 수 있다는 규모가 제시된다.
   2. 노트북, 자동차, 스마트폰, 로봇 제조사는 데이터센터 바깥에 배치되는 계산을 원한다. Liquid의 모델은 CPU·NPU·특정 칩의 제약을 설계 단계부터 반영한다.
   3. 하드웨어 회사가 차세대 NPU의 전용 computation graph나 칩에 직접 새겨 넣을 neural-network weights를 설계할 때도 하드웨어 인지형 아키텍처 탐색이 유용하다.

5. 실제 배포 사례: 자동차·Shopify·로봇

5.1. Mercedes-Benz의 차량 내 지능

1. 600MB 모델을 차량에 넣다

   1. Liquid는 Mercedes-Benz와 협력해 차량 안에서 동작하는 foundation model을 만든다. 사용자는 차 안에서 “Hey Mercedes”와 같은 기능으로 차량과 대화할 수 있다.
   2. 모델은 카메라 연결을 포함하는 multimodal 구조이며, 음성 교환과 텍스트 기반 reasoning을 함께 처리한다.
   3. 모델 크기는 약 600MB다. 차량마다 이 정도의 지능을 넣고 over-the-air(OTA) 업데이트할 수 있다.

2. 양산 배포의 의미

   1. 첫 대규모 배포는 해당 연도에 북미 지역의 3세대 Mercedes-Benz 차량 전체를 대상으로 진행될 예정이라고 설명된다.
   2. 실행 칩의 원가는 약 100달러 수준이다. 데이터센터에 있는 거대한 모델이 아니라, 제한된 하드웨어에서 실제 제품 경험을 만드는 사례다.
   3. 음성, 카메라, 텍스트 추론을 하나의 차량 경험으로 묶는 과정이 온디바이스 멀티모달 AI의 실전 시험대가 된다.

5.2. Shopify의 지연시간 중심 배포

1. Shop 앱에서 실제 요청을 처리하다

   1. Shopify는 차량처럼 온디바이스 AI를 쓰는 고객은 아니지만, latency와 quality를 중요하게 생각한다.
   2. Shopify의 merchant-facing·client-facing 제품과 Shop 앱에는 Liquid Foundation Model이 private deployment 형태로 들어가 있다.
   3. 사용자가 Shop 앱에 입력하면 Liquid 모델로 신호가 전달되는 경로가 있다. Shop 앱 하나만 보더라도 Liquid 모델을 통과하는 요청은 월 10억 건을 넘는다.

2. 오픈소스 사용량과 모델 포트폴리오

   1. 공개된 Liquid 모델은 누적 4천만 회 이상 다운로드됐고, 주간 다운로드도 약 150만 회 수준이라고 소개된다.
   2. 공개 모델의 파라미터 범위는 1억~240억 개다. 큰 모델에는 mixture-of-experts 계열 구조도 포함된다.
   3. 포트폴리오는 오디오·비전·텍스트를 동시에 입력으로 받고 오디오·텍스트를 출력하는 멀티모달 모델로 확장되고 있다.

5.3. 산업용 로봇과 로보틱스 전략

1. 현재의 vision-action 적용

   1. Vision-Language Model(VLM)은 로봇이 세계를 보고 행동을 선택하는 vision-action 문제를 푼다.
   2. 공장 카메라가 전체 작업을 모니터링하고, 산업용 로봇의 상태를 관찰하거나 지시를 따르게 하는 모니터링·instruction following에 활용된다.
   3. ROOTECH와 이탈리아의 G-Bionics 같은 회사는 카메라를 로봇 본체에 달고 Liquid VLM을 행동 공간에 연결하는 modular robot 사례를 만들고 있다.

2. 로보틱스를 잠시 늦춘 이유와 재개 시점

   1. Liquid는 로보틱스 배경을 갖고 있지만 초기에는 로보틱스 vertical을 의도적으로 뒤로 미뤘다. 생산 등급 로봇은 기술 검증과 확인(verification and validation)을 거쳐야 하고, 배포에는 규제 문제가 따라오기 때문이다.
   2. 먼저 자동차·PC·모바일 같은 OEM과 수평적인 지능 계층을 구축하고, 행동 결과의 위험이 더 큰 로보틱스는 나중에 진입하는 전략을 택했다.
   3. 모델의 성숙도, 데이터 통제, post-training과 애플리케이션별 customization 역량이 높아졌기 때문에 이제는 로보틱스 vertical을 더 진지하게 시작할 시점이라고 판단한다.

3. 로봇 모델은 별개의 마법인가

   1. 지능의 혁신은 세 종류로 나눌 수 있다. 첫째는 model architecture, 둘째는 학습 algorithm, 셋째는 data processing mechanism이다.
   2. LFM 아키텍처를 world modeling 파이프라인에 넣고 물리 세계를 더 잘 이해하도록 학습할 수 있다. 다음 토큰 예측과 world modeling은 서로 다른 물리적 primitive를 학습한다.
   3. 일반 목적 컴퓨터로서의 아키텍처는 여러 vertical에 재사용할 수 있지만, 로봇이 물리 세계를 이해하고 행동하는 데 필요한 알고리즘은 여전히 큰 연구 질문이다. 로봇 분야의 ‘ChatGPT 순간’을 어떤 학습 알고리즘이 열지는 아직 확정되지 않았다.

6. 기업 모델 개발과 customization의 사업 모델

6.1. Design partner에서 반복 가능한 수직 솔루션으로

1. 초기 계약 구조

   1. 초기 고객은 design partner가 된다. Liquid의 applied ML 팀이 고객과 함께 특정 장치·메모리·지연시간·품질 제약에 맞는 모델을 만든다.
   2. 공동 개발 기간에는 서비스 비용을 받고, 생산 배포 이후에는 장치 단위·연간 단위의 라이선스를 받는다.
   3. 한 vertical에서 Mercedes-Benz 같은 design partner와 솔루션을 만들면, 다음 자동차 고객에게 제공해야 하는 서비스 양이 줄어든다. 결과적으로 vertical별 솔루션이 영업과 배포를 가속한다.

2. Self-serve 플랫폼으로의 전환

   1. foundation model을 처음부터 만들고 생산에 배포하는 일을 반복한 경험을 바탕으로, 기업이 스스로 모델을 개발하는 플랫폼을 구축 중이다.
   2. 대화 시점의 플랫폼은 beta다. Liquid가 내부에서 사용하던 품질 수준의 모델 개발 기능을 고객에게 노출하는 것이 목표다.
   3. 모델 개발의 범위는 post-training 하나에 머물지 않는다. pre-training, mid-training, post-training, data generation, reinforcement learning까지 전부 customization의 일부로 본다.

6.2. ‘추론 토큰’에서 ‘커스터마이제이션 토큰’으로

1. 현재 AI 수익 모델의 한계

   1. 시장의 약 90%는 Frontier Lab이나 inference provider가 모델을 호스팅하고 inference token을 과금하는 구조라고 진단된다.
   2. 그러나 오픈소스 기반 모델의 품질이 좋아지면서 기업은 이미 존재하는 모델을 자기 데이터와 환경에 맞게 바꾸려 한다.
   3. 이 과정에서 기업이 지불할 가치는 단순히 모델을 호출하는 토큰이 아니라, 모델을 개발·학습·검증·배포하는 customization token으로 이동할 수 있다.

2. 고객이 자기 지능을 소유하는 구조

   1. 고객의 agent가 Liquid의 도구를 호출해 데이터 생성, 학습, 평가, 배포를 반복하는 recursive loop를 만들 수 있다.
   2. 생산 이후 새 데이터가 들어오면 모델을 계속 최신 상태로 유지하고, 고객이 원하는 품질 기준에 맞게 업데이트한다.
   3. 이 구조가 기업이 자기 intelligence를 소유하는 sovereign AI의 의미다. 한 단계 더 나아가면 개인도 자신의 지능을 소유하는 personal intelligence에 도달할 수 있다.

6.3. LEAP와 개발자 워크플로

1. 사람을 위한 오픈소스 도구

   1. LEAP는 Liquid의 라이브러리와 cookbook을 제공한다. 개발자는 모델을 가져와 fine-tuning하고 배포할 수 있다.
   2. fine-tuning 도구뿐 아니라 CPU에서 실행할 수 있는 GGUF·llama.cpp 호환 inference bundle을 추출해 장치에 바로 넣는 기능이 있다.
   3. Hugging Face의 TRL, Unsloth, SGLang, llama.cpp 같은 오픈소스 생태계와 연결해 여러 개발 흐름을 지원한다.

2. 자동화된 차세대 플랫폼

   1. 현재 구축 중인 플랫폼은 LEAP의 개별 기능을 자동화된 형태로 묶는다. 여러 도구를 하나의 UI에 가두기보다 고객의 agentic harness가 도구를 직접 호출하도록 만드는 방향이다.
   2. 개발자는 자신의 harness에 Liquid 도구를 연결해 모델을 fine-tune하고, 특정 장치용으로 패키징하고, 생산 배포까지 단계별로 진행할 수 있다.
   3. 원클릭 auto mode도 가능하지만, 중간 단계에 사람이 개입하는 interactive 방식이 최종 모델 품질은 더 좋다.

7. 적응형 AI와 평가의 변화

7.1. 인간의 개입과 자동화 사이

1. 처음부터 완전 자동화하기 어려운 이유

   1. 약 200개의 Fortune 500 기업과 일하면서 본 공통점은 많은 기업이 이미 자체 applied ML 팀을 만들고 오픈소스 모델을 내려받거나 모델을 처음부터 만들려 했다는 것이다.
   2. 그 결과 대부분은 production-grade 품질에 도달하지 못하고 다시 클라우드 솔루션으로 돌아갔다. 온디바이스·자체 모델 프로젝트의 약 80%가 생산 수준에 도달하지 못한다는 경험적 비율이 제시된다.
   3. 개발자들이 생성형 코딩을 많이 사용해도 조직에 실제로 남는 가치는 작다. 성숙한 조직의 vibe-coded repository를 가치로 평가하면 토큰의 약 90%가 쓸모없는 토큰이라는 지적이 나온다.

2. Interactive human-in-the-loop

   1. agentic harness가 모델 개발 도구를 단계별로 호출하도록 하되, 개발자가 과정과 결과를 확인하는 방식이 초기 배포에 적합하다.
   2. 한 번의 클릭으로 중간 로그를 모두 숨기고 모델을 받는 auto mode는 편하지만, 상호작용형 개발보다 결과 품질이 떨어질 수 있다.
   3. 좋은 평가(evaluation)가 있다면 자동 연구가 가능하지 않느냐는 반론이 제기되지만, 생산 이후의 새 데이터와 사용자 요구 변화까지 고려하면 정적 평가만으로는 충분하지 않다.

7.2. 정적 평가에서 지속적 학습으로

1. 분포 변화가 평가를 무효화한다

   1. 모델이 생산에 들어가면 새로운 요청과 데이터가 들어온다. 사용자의 관심이 바뀌거나 입력 분포가 이동(distribution shift)하면 처음에 만든 평가 세트가 현실을 대표하지 못한다.
   2. 정적 eval은 시간이 지나면 obsolete가 된다. 따라서 기준 자체가 계속 변하는 환경을 감시해야 한다.
   3. 지속적으로 진화하는 시스템만 생산 환경의 변화에 맞춰 모델을 갱신할 수 있다.

2. 적응형 지능의 의미

   1. Liquid가 말하는 adaptability는 단순한 routing이 아니다. 시스템이 continual learning을 통해 계속 진화하고 성능을 개선하는 능력이다.
   2. In-context learning은 테스트 시점에 더 많은 데이터를 넣어 일종의 의사(backward pass)를 수행하는 것으로 볼 수 있다. least-squares와 비슷한 형태의 계산이 일어나지만, 진정한 지속적 학습의 전부는 아니다.
   3. 앞으로는 forward pass와 backward pass가 동시에 결합되는 아키텍처가 등장할 수 있다. 모델이 답을 내는 동시에 자신의 상태와 가중치를 현장 데이터에 맞춰 바꾸는 방향이다.

8. 하드웨어의 미래와 대안적 계산 기판

8.1. 실리콘을 넘어서는 병렬성

1. Photonics와 비선형 연산

   1. 현재 GPU는 병렬 행렬곱에 최적화되어 있어 비선형 recurrent 계산에는 불리하다.
   2. Photonics가 빛의 속도로 통신하고 계산한다면, 순차 계산도 인간이 지각할 수 없을 정도로 빨라질 수 있다. 이 경우 비선형 operator를 하드웨어의 속도 한계 때문에 포기하지 않아도 된다.
   3. 계산 기판이 바뀌면 현재 GPU에 맞춰 선형화한 아키텍처 대신 새로운 동역학과 recurrent 구조를 다시 설계할 수 있다.

2. 탄소, 실리콘, 기판의 역할

   1. 신경과학에서 “intelligence is a property of carbon”이라는 표현이 소개된다. 자연 지능은 탄소 기반 기판 위에서 발생했고, 인공 지능은 실리콘 위에서 구축되고 있다.
   2. 지능의 성질은 알고리즘만이 아니라 어떤 기판(substrate)에 놓이는지에도 영향을 받을 수 있다.
   3. Photonics와 quantum computing은 GPU의 병렬 행렬곱과 다른 계산 양식을 가능하게 하는 대안적 기판으로 탐색된다.

8.2. Quantum computing이 바꿀 가능성이 있는 것

1. 가장 큰 기대는 검색(search)

   1. 대규모 AI 학습은 결국 파라미터 공간에서 거대한 검색을 수행하는 일이며, 현재는 gradient descent가 가장 실용적인 방법이다.
   2. 충분히 큰 quantum computer와 qubit이 가능해지면 병렬 search가 크게 발전할 수 있다.
   3. 다만 양자컴퓨팅이 모든 AI 병목을 해결하는 것은 아니다. 어떤 병목은 검색이 아니라 데이터, 평가, 배포, 시스템 통합에 있기 때문이다.

2. 아직 먼 시간표

   1. 2017년 한 NeurIPS 행사에서 IBM 관계자가 양자 장치를 모두가 사용할 수 있는 시점을 2035년으로 말한 일화가 소개된다.
   2. 대화 시점에도 이 전망은 여전히 이르며, 양자컴퓨팅의 실제 AI 영향은 단정하기 어렵다는 분위기다.

9. 멀티모달·DNA·물리 세계를 향한 연구

9.1. Liquid의 현재 연구 의제

1. 대규모 멀티모달과 긴 지평선 추론

   1. Liquid는 모든 데이터 양식을 한꺼번에 학습하는 massively multimodal system을 연구한다.
   2. 장기적인(long-horizon) reasoning과 안정적인 온디바이스 assistant가 목표다. 기기 안에서 신뢰성 높은 서비스를 만들려면 현재 모델보다 더 높은 reliability가 필요하다.
   3. 효율성 부서는 kernel design, inference, RL infrastructure, pre-training에서 production delivery까지 모든 단계를 최적화한다.

2. 인간이 읽기 어려운 데이터

   1. 생물학적 신호와 DNA도 연구 대상이다. DNA는 사람이 눈으로 읽어 의미를 이해하기 어려운 긴 문맥 데이터이며, vocabulary는 네 개의 염기 문자로 작지만 시퀀스 길이는 매우 길다.
   2. 연속시간 동역학과 긴 시퀀스 처리에 강점을 가진 구조가 DNA foundation model에 기여할 수 있다.
   3. 생물학과 신호 데이터는 인간 언어와 다른 구조를 가지므로, Transformer 하나를 모든 양식에 동일하게 적용하는 접근의 한계를 시험한다.

9.2. 7B급 모델의 영상·음성 출력

1. 고품질 생성과 물리적 이해는 다르다

   1. 70억(7B) 이하 모델이 영상·음성·텍스트를 입력으로 받고 고품질 영상까지 출력하기는 어렵다. entertainment 수준의 고해상도·고충실도 video output을 기대하기는 힘들다.
   2. 그러나 world modeling으로 학습하면 물리 세계에 대한 내부 표현은 더 좋아질 수 있다. 출력의 fidelity가 낮더라도 모델 내부에 물리 지식이 부호화될 수 있다.
   3. 이 지식은 공장에서 움직이는 로봇처럼 물리적 문제를 해결하는 grounded industry 작업에 유용하다.

2. 아직 비어 있는 멀티모달 연구 공간

   1. 현재 멀티모달 시스템은 이미지들을 이어 붙이는 수준에 머무는 경우가 많고, 연속적인 비디오 이해는 충분히 발전하지 않았다.
   2. 시간축을 가진 비디오, 음성, 행동을 함께 학습하는 시스템은 foundation model 연구의 열린 영역이다.
   3. SSM과 연속시간 모델이 음성에 강한 이유는 음성이 상태가 제한된 연속 추론이고 시간 순서가 본질이기 때문이다. 시간계열용 동역학 시스템이 시간계열을 모델링하는 자연스러운 선택이 된다.

10. 생태계와 컴파일러: Llama.cpp, Mojo, PyTorch

10.1. 기반을 새로 만들지 않는 전략

1. Llama.cpp가 보여주는 생산성

   1. 온디바이스 추론을 위한 여러 inference 회사가 Llama.cpp를 대체하거나 그 위에 wrapper를 만들지만, 여러 하드웨어를 동시에 지원하는 범용 계층은 원래 프로젝트보다 나빠지는 경우가 많다.
   2. Llama.cpp는 고도로 최적화된 C++ kernel을 사용하는 compiler 성격의 기반이다. 이미 강한 기반을 불필요하게 재발명하지 않는 것이 낫다.
   3. Liquid는 가능한 한 컴퓨터에 가까운 native 언어와 플랫폼을 사용하려 한다.

2. Modular와 Mojo에 대한 평가

   1. Modular는 Qualcomm에 인수됐고 Mojo를 통해 커널 계층에서 하드웨어 추상화를 시도한다. Liquid는 JAX에서 PyTorch로 옮겼다.
   2. 모든 하드웨어를 하나의 언어로 완벽하게 통일하는 것은 어렵다. AMD용, Qualcomm용으로 다른 커널을 설계해야 하며, Modular가 이런 기반 작업을 수행한다.
   3. Mojo의 플랫폼 자체는 지능을 호스팅하는 계층을 쉽게 만들어 주는 유용한 도구가 될 수 있다. 다만 생태계가 어느 한 하드웨어에 묶일수록 그 하드웨어에서 더 큰 성공을 거둘 가능성이 있다.

10.2. 생태계가 이긴다는 현실

1. 하드웨어 중립성의 대가
   1. 여러 하드웨어를 모두 지원하는 것은 매력적이지만, 각 장치의 native 경로에 깊이 최적화하는 것보다 성능이 떨어질 수 있다.
   2. 진입자가 좋은 아이디어만으로 기존 생태계를 이기기는 어렵다. 커널, 툴체인, 개발자, 배포 경로가 누적된 생태계의 힘이 크다.
   3. 결론은 “ecosystem always wins”라는 냉정한 판단이다. 어려운 문제를 푸는 데 시간이 걸리지만, 바로 그 어려움이 사업 기회이기도 하다.

11. Transformer 이후의 지능

11.1. Attention은 필요하지만 전부는 아니다

1. Transformer의 10년

   1. Transformer 등장 10주년이 가까워도 attention 기반 시스템은 오랫동안 사용될 것이다.
   2. Attention은 Liquid가 배제하는 대상이 아니라, 더 큰 혼합 시스템을 구성하는 중요한 연산자 중 하나다.
   3. 인간의 시각도 한 장면 전체를 한 번에 보는 방식이 아니다. 눈이 계속 움직이며 서로 다른 시점의 차이를 뇌가 합성한다는 비유가 attention과 동적 계산의 관계를 설명한다.

2. 다음 세대의 조합

   1. 하드웨어 인지형 customization은 같은 모델을 모든 장치에 억지로 넣는 대신, 각 장치의 메모리·지연시간·전력·연산 그래프에 맞춰 구조를 바꾼다.
   2. Embodiment는 물리 로봇뿐 아니라 가상 세계의 agent에도 필요하다. agent는 자신이 작동하는 가상·물리 환경을 이해해야 한다.
   3. Embodied reasoning과 adaptive intelligence를 결합하면, 모델은 단순히 응답을 생성하는 수준을 넘어 환경 안에서 행동하고 스스로 개선할 수 있다.

11.2. Cognitive architecture와 시스템의 시스템

1. 작은 단위의 지능을 묶다

   1. 지능의 단위는 뉴런·시냅스일 수도 있고, LFM일 수도 있고, 작은 모델 자체일 수도 있다.
   2. 여러 작은 모델과 agent를 묶어 시스템의 시스템(system of systems)을 만들면 하나의 거대한 모델과 다른 방식으로 복잡한 문제를 풀 수 있다.
   3. 여러 agent를 묶은 cognitive architecture는 오늘날 코딩에서 orchestrator가 다수의 agent를 조율하는 방식과 닮았다.

2. 모델을 일의 일부로 훈련하는 agent

   1. 미래의 agent는 작업 중 필요할 때 모델을 검색하고, fine-tune하고, 평가하고, 배포하는 일을 수행할 수 있다.
   2. 그 역할에는 LFM 자체뿐 아니라 fine-tuning·데이터·평가·배포를 묶은 LEAP와 차세대 플랫폼이 필요하다.
   3. 이런 구조가 실현되면 모델은 배포 시점에 고정되지 않고 환경과 업무에 맞춰 계속 진화한다.

주요 발언 모음

“302개의 뉴런으로 95개의 근육세포를 제어했다. 당시 지구상 어떤 로봇 시스템보다 나았다.”

“컴퓨터과학에는 공짜 점심이 없다. 복잡한 동역학을 선형화하면 계산 가능성을 얻지만 표현력을 잃는다.”

“스마트폰 AI 호출의 90%는 클라우드로 가고, 10%만 기기에서 처리된다.”

“생산 등급 AI는 장치에서 품질 벤치마크를 돌리는 것보다 훨씬 큰 문제다.”

“모든 사람이 자기 지능을 소유할 수 있게 하는 것, 그것이 sovereign AI의 다음 단계다.”

“정적 평가(evals)는 계속 쓸 수 없게 된다. 생산 환경에서는 평가 기준 자체가 바뀐다.”

“작은 모델에는 편향을 더하고, 크게 만들수록 편향을 제거해야 한다.”

“Ecosystem always wins.”

“Attention은 분명 필요한 요소지만, 지능 전체는 아니다.”

핵심 데이터 & 수치

• 약 12년: Ramin Hasani와 동료가 뇌에서 영감을 받은 연속시간 기계학습을 연구해 온 기간.
• 302개 뉴런 / 약 2mm: C. elegans의 크기와 신경계 규모.
• 95개 근육세포: 302개 뉴런이 제어하는 근육세포 수.
• 약 6억 년: 인간과 C. elegans가 진화 계통에서 갈라진 시점으로 설명된 값.
• 78%: C. elegans와 인간 게놈의 유사성으로 소개된 수치.
• 약 4회: C. elegans 연구가 인류에게 연결한 노벨상 수로 소개된 값.
• 80% / 20%: LFM2의 대략적인 double-gated 1D convolution과 GQA 비중.
• 수천만~700억 파라미터: Liquid가 scaling law를 탐색하는 모델 크기 범위.
• 약 90% / 10%: 주요 스마트폰 AI 호출의 클라우드 처리와 온디바이스 처리 비율.
• 3억~4억 대: 매년 생산되는 AI PC·노트북 규모로 언급된 값.
• 약 1억 대: 그중 AMD 기반일 수 있는 규모로 언급된 값.
• 약 600MB: Mercedes-Benz 차량에 넣는 모델 크기.
• 약 100달러: 차량 내 AI 실행 칩의 원가 수준.
• 월 10억 건 이상: Shop 앱 한 영역에서 Liquid 모델이 처리하는 요청량.
• 4천만 회 이상 / 주 150만 회: 공개 Liquid 모델의 누적·주간 다운로드.
• 1억~240억 파라미터: 공개 LFM 포트폴리오의 파라미터 범위.
• 약 200개: 협업 경험이 있다고 언급된 Fortune 500 기업 수.
• 약 80%: 생산 등급에 도달하지 못하는 기업 온디바이스 프로젝트의 경험적 비율.
• 약 90%: 성숙한 조직의 vibe-coded 토큰 가운데 실제 가치가 낮다고 지적된 비율.
• 약 8GB: 작은 모델에서 복잡한 feedback 구조를 고려하는 메모리 제한 예시.
• 20B 이하: recurrence가 특히 효과적일 수 있다고 언급된 모델 규모.
• 7B 이하: 물리 지식을 내부에 넣을 수 있지만 고충실도 영상 출력에는 한계가 있는 모델 규모 예시.
• 2035년: 2017년 IBM 관계자가 대중적 양자컴퓨팅 사용 시점으로 제시한 전망.

결론 및 시사점

1. 온디바이스 AI 경쟁은 모델의 파라미터 수보다 실제 장치에서의 비용, 열, 지연시간, 안정성, 개인정보 보호를 함께 최적화하는 문제다.
2. Liquid의 차별화는 Liquid Neural Network 하나를 밀어붙이는 데 있지 않고, 목표 하드웨어와 데이터 양식에 맞춰 여러 연산자를 자동 탐색하는 meta-AI 방식에 있다.
3. 대규모 범용 모델에는 단순하고 덜 편향된 구조가, 작은 장치용 모델에는 더 강한 구조적 편향과 피드백이 유리하다는 설계 원칙이 나온다.
4. 오디오·비디오·DNA처럼 시간축과 긴 시퀀스가 중요한 데이터에서는 recurrence와 continuous-time 모델이 Transformer만으로는 얻기 어려운 효율성을 제공할 수 있다.
5. 스마트폰 AI 호출의 90%가 클라우드에 머무는 현실은 온디바이스 모델의 품질과 신뢰성이 아직 충분하지 않다는 뜻이지만, 동시에 비용과 프라이버시가 강력한 전환 동력이라는 뜻이기도 하다.
6. 자동차와 Shopify 사례는 온디바이스·저지연 AI가 연구 데모가 아니라 수억 대 장치와 월 10억 건 요청을 대상으로 하는 생산 시스템이 될 수 있음을 보여준다.
7. 로봇은 별도의 신비한 모델 하나가 아니라 architecture, learning algorithm, data processing을 조합하는 문제이며, 물리 세계를 학습하는 world modeling은 다음 단계의 핵심 후보다.
8. AI 기업의 수익은 모델 호출의 inference token에서 고객별 pre-training·mid-training·post-training·데이터 생성·RL을 포함하는 customization token으로 이동할 가능성이 있다.
9. 생산 환경에서는 정적 eval이 빠르게 낡는다. 모델은 분포 변화를 감지하고 고객 데이터와 함께 지속적으로 업데이트되는 적응형 시스템이어야 한다.
10. 장기적으로는 attention, recurrence, convolution, SSM, photonics, quantum, multi-agent cognitive architecture가 서로 경쟁하기보다 하드웨어와 문제에 따라 조합될 가능성이 크다.
11. 최종적인 방향은 기업과 개인이 데이터센터의 범용 지능을 임대하는 데서 벗어나, 자신의 환경에 맞는 지능을 소유하고 계속 학습시키는 sovereign·personal intelligence다.

핵심 요약 (20줄)

1. Liquid AI의 연구는 인간 뇌의 영감을 기계학습에 옮기는 데서 출발했다.
2. 연구팀은 인간 뇌보다 관찰하기 쉬운 C. elegans의 신경계를 모델 유기체로 선택했다.
3. C. elegans는 302개의 뉴런으로 95개의 근육세포를 제어하며 약 2mm 길이의 몸을 움직인다.
4. C. elegans의 비스파이킹 뉴런은 연속시간 미분방정식으로 모델링하기에 적합했다.
5. Liquid Neural Network는 미분 가능한 비선형 동역학과 여러 피드백 구조를 사용한다.
6. 수십~수백 개의 뉴런으로도 로봇의 자율적인 동작을 제어할 가능성이 확인됐다.
7. 연속시간 모델은 사건 사이의 시간까지 고려해 시퀀스의 시간축 변화에 적응한다.
8. RNN과 SSM은 이론적으로 효율적이지만 비선형성·표현력·GPU 병렬화에서 서로 다른 대가를 치른다.
9. Liquid AI는 특정 아키텍처를 숭배하지 않고 배포 장치에 맞는 hybrid architecture를 탐색한다.
10. LFM2는 double-gated 1D convolution 약 80%와 GQA 약 20%로 CPU 실행을 겨냥한다.
11. 큰 모델은 단순하고 덜 편향된 구조가 유리하고 작은 모델은 강한 구조적 편향을 활용할 수 있다.
12. 현재 스마트폰 AI 호출의 약 90%는 클라우드에서 처리되고 10%만 기기에서 처리된다.
13. 온디바이스 AI는 클라우드 비용, 개인정보, 오프라인 동작, 지연시간 문제를 동시에 해결한다.
14. Mercedes-Benz 차량에는 약 600MB의 멀티모달 모델과 약 100달러 수준의 칩이 사용될 예정이다.
15. Shopify의 한 영역에서는 Liquid 모델이 월 10억 건이 넘는 요청을 처리한다.
16. 산업용 로봇은 Liquid VLM을 이용해 공장 모니터링과 vision-action·instruction following을 수행할 수 있다.
17. 기업용 모델 개발은 post-training을 넘어 pre-training부터 데이터 생성과 RL까지 포함하는 customization으로 확대된다.
18. 생산 환경의 정적 eval은 분포 변화로 낡기 때문에 모델은 continual learning으로 적응해야 한다.
19. Photonics와 quantum computing은 현재 GPU가 제공하지 못하는 비선형 연산과 병렬 검색의 가능성을 연다.
20. 최종 목표는 기업과 개인이 자신의 환경에 맞는 지능을 소유하고 지속적으로 발전시키는 sovereign·personal intelligence다.