물리 세계를 위한 트릴리언 토큰 범용 모델

title: "물리 세계를 위한 트릴리언 토큰 범용 모델" title_original: "Trillion Token Context. No, Really — Anima Anandkumar & Benedikt Jenik, Accelerated Understanding" source: "latentspacepod" channel: "latentspacepod" video_id: "KS_IpnX7n9I" url: "https://www.youtube.com/watch?v=KS_IpnX7n9I" date: "2026-09-05"

📌 핵심 질문 / 가속된 이해가 겨냥하는 물리 범용성

==언어 모델에서 일어난 ‘여러 전문 모델을 하나의 범용 모델로 통합하는 확장’이 물리 시뮬레이션과 물리적 이해에서도 가능한가?==

• 언어 분야에서는 맞춤법 검사·번역·자동완성 모델을 하나의 대규모 모델로 통합하자 전문 모델을 넘어서는 성능과 범용성이 나타났다.
• 물리 세계에도 유체·에너지·반도체·항공우주 등 서로 다른 영역을 함께 학습하면 공유되는 구조와 법칙을 포착할 가능성이 있다.
• 물리 데이터만 모아 학습하는 방식으로는 새로운 과학적 발견을 다룰 수 없으므로, 편미분방정식(PDE)과 물리 법칙을 생성 데이터·학습 신호·자기 개선의 원리로 사용해야 한다.

Accelerated Understanding은 물리 공간 3차원과 시간 1차원을 축약하지 않고 함께 다루는 범용 물리 모델을 만든다. 학습에서 최대 1조(1 trillion) 컨텍스트, 추론에서 5조(5 trillion) 컨텍스트를 처리하며, 애플리케이션의 요구에 따라 해상도와 컨텍스트를 바꾼다. 이 접근은 시뮬레이션을 단순히 빠르게 근사하는 데 그치지 않고, 설계·발명·과학적 발견에서 물리 법칙을 활용해 학습 분포의 품질을 넘어서는 것을 목표로 한다.

1. 언어 모델의 범용성을 물리 세계로 확장하기

언어에서 얻은 범용 모델의 교훈을 물리 시뮬레이션에 적용하되, 물리 법칙과 다차원 데이터의 특성을 모델 설계의 출발점으로 삼는다.

1.1. 하나의 모델에 여러 물리 영역을 담는 이유

1. 전문 모델에서 범용 모델로의 이동

   1. 과거의 언어 모델: 최근 AI 혁명 이전에는 맞춤법 검사(spell-checking), 번역(translation), 자동완성(autocomplete)처럼 기능별로 별도 모델을 훈련했다.
   2. OpenAI가 보여준 통합: 여러 기능의 데이터를 하나의 모델에 넣는 전략이 놀라울 정도로 잘 작동했고, 개별 전문 모델을 거의 모두 넘어섰다.
   3. 물리 영역의 대응 질문: 날씨 모델, 카테터 유체 흐름, 핵융합로처럼 겉보기에는 다른 문제를 하나의 모델이 함께 이해할 수 있는지가 핵심 가설이다.

2. 범용성(universality)과 스케일(scale)의 물리적 대응물

   1. 공통 원리: 에너지·반도체·항공우주처럼 산업과 현상이 달라도 시간의 변화, 에너지 보존, 객체 영속성(object permanence), 인과성(causality) 같은 추상 구조가 공유된다.
   2. 같은 법칙의 다른 영역: 카테터 안의 유체와 로켓 안의 유체는 서로 다른 조건과 레이놀즈 수(Reynolds number) 영역에 놓이지만 유체 역학(fluid dynamics)의 기본 원리는 같다.
   3. 신경망의 역할: 서로 다른 수학적 모델과 편미분방정식(PDE)이 사용하는 표현이 달라도, 물리 시스템에 공통으로 나타나는 특징을 신경 모델이 포착할 수 있다.

1.2. 물리 세계에서 데이터만으로 충분하지 않은 이유

1. 현실 데이터의 부족

   1. 준비된 물리 데이터 저장소의 부재: 언어처럼 모든 자료가 인터넷에 축적되어 있는 상황이 아니므로, 물리 데이터는 처음부터 충분히 주어지지 않는다.
   2. 도메인 이동 문제: 한 회사가 특정 조건의 데이터만 확보해 화려한 데모를 만들고, 정작 고객이 필요한 분포 밖(out-of-sample) 문제에는 배포하지 못하는 일이 좁은 대리모델(surrogate model)의 병목이었다.

2. 새로운 발견은 학습 데이터 밖에 있다

   1. 발견의 정의: 과학적 발견은 새로운 것을 하는 일이므로 그 결과가 훈련 데이터에 이미 들어 있을 수 없다.
   2. 데이터 기반 AI의 한계: 관측 데이터의 평균적 품질만 학습하는 방식만으로는 분포의 바깥에 있는 새로운 현상과 설계를 만들기 어렵다.
   3. 물리 법칙의 필요성: 기존 수치 시뮬레이터로 데이터와 초기 모델을 만들고, 물리 법칙 자체를 자기 개선(self-improvement)의 지도 원리로 사용해야 한다.

2. 4차원 물리 컨텍스트와 트릴리언 스케일

물리 데이터의 공간적·시간적 차원을 보존하면 언어 모델과 다른 데이터 구조가 생기며, 이 구조가 1조~5조 규모의 컨텍스트를 요구한다.

2.1. 공간 3차원과 시간 1차원을 축약하지 않기

1. 다차원 데이터의 근본적 차이

   1. 언어의 1차원 토큰: 언어 토큰은 한 차원으로 늘어나므로 최신 모델에도 약 100만 개를 넣을 수 있다.
   2. 물리의 네 차원: 실제 공간은 3차원으로 커지고, 여기에 시간에 따른 전개(rollout)가 더해져 네 차원이 각각 독립적으로 증가한다.
   3. 영상 모델과의 차이: 영상 모델처럼 픽셀을 평균내거나 패치(patch)로 묶어 압축하지 않고, 공간 3차원의 구조를 그대로 유지한다.

2. 시간 전개를 한 단계씩 예측하지 않기

   1. 자기회귀(autoregressive) 방식의 문제: 한 번에 한 시간 단계씩 예측하면 작은 오차가 누적된다.
   2. 연속성과 원인 정보의 손실: 누적 오차 때문에 입력의 어떤 부분이 출력으로 이어졌는지에 대한 연속적인 이해가 약해진다.
   3. 설계 문제의 요구: 무엇이 결과를 만들었는지 추적하는 능력이 설계에 중요하므로, 전체 시간 롤아웃을 한 번에 모델링하는 방식을 택한다.

2.2. 1조 컨텍스트가 생기는 산술과 실제 성과

1. 컨텍스트 크기의 산술

   1. 간단한 계산: 공간 각 차원의 해상도를 1,000으로 잡고 시간 단계도 정확히 1,000개 해상도로 처리하면 1,000 × 1,000 × 1,000 × 1,000 = 1조가 된다.
   2. 데이터의 물리적 크기: 5조 컨텍스트 추론 실행의 출력은 22TB였고, 이 작업 집합(working set)을 가속기 메모리에 두어야 느려지지 않는다.

2. 실제로 달성한 범위

   1. 학습: 입력 기준 최대 1조 컨텍스트까지 모델을 훈련했다.
   2. 입력과 출력: 입력과 출력 모두 1조 컨텍스트 길이를 갖는 학습을 수행했다.
   3. 추론: 5조 컨텍스트에서 추론을 실행했다.
   4. 스케일의 폭: 대규모 클러스터뿐 아니라 작은 컨텍스트의 소형 모델, 중간 규모 모델과 작은 컨텍스트는 MacBook이나 Mac Studio에도 맞출 수 있도록 전체 스펙트럼을 지향한다.

2.3. 분산 학습 인프라를 처음부터 다시 설계하기

1. 기존 샤딩의 한계

   1. FSDP(Fully Sharded Data Parallel) 같은 표준 기법은 파라미터를 여러 장치에 나눴다가 학습 시 레이어를 GPU 안에서 다시 조립하는 구조를 전제로 한다.
   2. 레이어 크기: 레이어가 GPU 안에서 재조립할 수 없을 만큼 크다.
   3. 샘플 크기: 데이터 샘플 하나도 가속기 한 개나 노드 하나에 들어가지 않는다.

2. 새로운 분산 전략과 시스템 조건

   1. 샤딩 인프라 재창조: 모델을 규모 있게 훈련하기 위해 전체 샤딩 인프라와 샤딩 전략을 새로 만들었다.
   2. 상호작용과 상태 유지: 모델을 통과하는 데이터 조각들이 서로 상호작용해야 하며, 레이어 안의 상태를 가속기에 유지하면서 처리해야 한다.
   3. 클러스터 요건: 안정성이 높고 상호 연결(interconnect)이 매우 좋은 대규모 클러스터가 필요하다.
   4. HPC와 최신 기법의 결합: 대규모 언어 모델이 점점 마주치는 최신 확장 기법과 전통적 고성능 컴퓨팅(HPC) 방법을 처음부터 모두 사용했다.

3. 훈련의 진행 상황

   1. 기간과 반복: 1년 넘게 훈련했고, 필요한 아키텍처 실험을 통상적으로 수행하면서 수백 건의 훈련 실행을 쌓았다.
   2. 모델 규모: 최대 1조 파라미터(parameter) 모델까지 훈련해 이 접근이 확장될 수 있음을 확인했다.

3. 다중 물리 학습과 해상도 가변 아키텍처

동일한 크기의 모델에 서로 다른 물리 영역을 함께 넣었을 때 단순히 모델을 키운 것 이상의 공유 학습 효과가 나타나며, 신경 연산자가 가변 해상도의 기반을 제공한다.

3.1. 여러 물리 영역이 서로를 학습시키는 효과

1. 다중 물리(multiphysics)의 의도적 구성

   1. 다양한 도전 선택: 특징과 난제가 서로 다른 물리 영역을 일부러 골라 하나의 모델에 넣었다.
   2. 동일한 4D 처리: 각 영역에 대해 공간 3차원과 시간 1차원의 전체 롤아웃을 수행하며 함께 훈련했다.

2. 공유 학습(shared learning)의 검증

   1. 비교 조건: 여러 물리 영역을 함께 담은 모델과, 같은 총 규모의 파라미터를 각 단일 물리에 몰아준 별도 모델을 비교했다.
   2. 결과: 다중 물리 모델이 단일 물리별 모델보다 더 잘 작동했다.
   3. 단순한 크기 효과가 아님: 모델만 크게 만들어 성능이 오른 것이 아니라, 물리 영역을 추가할수록 각 영역을 더 잘 학습하는 emergent learning이 나타났다.

3.2. 신경 연산자로 서로 다른 기하와 해상도 처리하기

1. 공개할 수 있는 아키텍처의 범위

   1. 독점 정보: 정확한 아키텍처의 모든 세부 사항은 공개할 수 없다.
   2. 핵심 기반: 신경 연산자(neural operator)가 아키텍처의 기반이며, 입력 해상도가 달라져도 작동하는 해상도 불변성(resolution invariance)을 제공한다.
   3. 기하학적 귀납 편향: 푸리에 신경 연산자(Fourier Neural Operator)처럼 공간이 구면인지 등에 대한 기하학적 귀납 편향(inductive bias)을 쓰는 접근을 여러 기하에 확장하는 문제가 핵심 설계 과제다.

2. 작업별로 컨텍스트와 해상도를 조절하기

   1. 최고 해상도가 필요한 경우: 모든 세부 정보가 필요한 가장 어려운 물리 문제에는 큰 컨텍스트 길이를 제공한다.
   2. 낮은 해상도가 충분한 경우: 설계 탐색 초기처럼 모든 세부 사항이 필요하지 않은 작업은 작은 컨텍스트로 처리해 계산을 아낀다.
   3. 가변성이 만드는 차이: 학습과 추론 모두 고정 해상도를 가정하는 영상·비전 세계 모델과 달리, 문제의 요구에 따라 컨텍스트 길이와 해상도를 유연하게 바꾼다.

3. 영상·게임용 물리 근사와 공학용 물리의 차이

   1. 고정 해상도의 허용 범위: 게임과 엔터테인먼트의 시각적 특징은 더 확대할 필요가 없고 물리가 다소 손으로 만든 듯한 근사여도 괜찮다.
   2. 공학·과학의 엄격함: 공학 설계와 과학적 발견은 그런 요령을 쓸 수 없으므로 실제 물리 세부 사항을 보존해야 한다.

3.3. 트랜스포머 대신 물리 구조를 활용하는 이유

1. 어텐션의 계산 복잡도

   1. 5조 컨텍스트의 장벽: 언어에서 성공한 트랜스포머(Transformer)의 이차 복잡도(quadratic complexity)는 아무리 계산 자원을 투입해도 5조 컨텍스트에 적용할 수 없다.
   2. 불필요한 전역 상호작용: 물리 세계는 모든 위치가 서로 임의로 상관되는(all-to-all) 구조가 아니라 더 많은 구조를 가지므로, 전역 상관을 모두 계산할 필요도 없다.

2. 체계적인 아키텍처 진화

   1. 언어 모델의 진화에 대응: 프런티어 언어 연구소가 초기 모델에서 Mixture of Experts(MoE) 등으로 체계적으로 발전해 온 것처럼, 물리 모델도 같은 방식으로 실험과 진화를 반복한다.
   2. 코드와 하드웨어의 공동 설계: 최적의 아키텍처뿐 아니라 통신 대역폭, 메모리·가속기 활용률, 분산 실행 요건을 함께 고려하는 코드 설계가 결정적이다.

4. 물리 법칙을 데이터 생성기이자 자기 개선 신호로 사용하기

수치 시뮬레이터와 PDE는 대규모 학습 데이터를 만들 뿐 아니라, 모델이 데이터 분포의 평균 품질을 넘어서는지 직접 측정하는 조밀한 학습 신호가 된다.

4.1. 시뮬레이션과 현실 사이의 간극을 다루기

1. 시뮬레이션-현실 격차(sim-to-real gap)

   1. 현실 데이터의 역할: 실제 관측과 시뮬레이션 결과를 함께 다뤄야 시뮬레이션만의 이상적 조건과 현실의 차이를 줄일 수 있다.
   2. PDE의 신뢰성: PDE를 올바르게 풀면 물리를 올바르게 계산한다는 점은 수학적으로 상당히 확실하다.
   3. 문제 표현의 조건: PDE가 정확해도 해결하려는 실제 과제를 그 안에 제대로 표현해야 하며, 스킬·매개변수 영역(skill/domain)을 충분히 넓혀 목표가 분포 안에 들어오게 해야 한다.

2. 분포 밖 문제를 겨냥하는 데이터 전략

   1. 좁은 대리모델의 함정: 특정 데이터 주머니(pocket)만 잘 맞추는 모델은 화려한 데모를 보여도 고객이 필요한 조건에서 작동하지 않는다.
   2. 넓은 물리 영역: 수치적으로 가능한 매개변수와 조건의 범위를 넓혀, 처음부터 다양한 상황을 포괄하는 학습 분포를 만든다.

4.2. 수치 시뮬레이터로 커리큘럼을 설계하기

1. 무한에 가까운 학습 데이터 공급

   1. 수치 시뮬레이터: 필요한 만큼 PDE를 풀어 학습 데이터를 생성할 수 있다.
   2. 커리큘럼 엔지니어링(curriculum engineering): 단순한 방정식과 낮은 해상도·단순한 데이터에서 시작해 점점 어려운 조건으로 진행할 수 있다.

2. 언어 학습과 다른 순서 제어

   1. 언어 데이터의 무질서: 인터넷 전체를 내려받아 섞은 데이터에는 맞는 내용과 틀린 내용이 뒤섞여 있다.
   2. 학습 순서의 이점: 인간처럼 쉬운 것에서 어려운 것으로 순서 있게 배우는 방식이 더 낫다는 직관을 물리 모델에 적용할 수 있다.
   3. 수치 실험의 통제력: 방정식, 해상도, 난이도를 직접 선택하므로 어떤 개념을 언제 학습시킬지 통제할 수 있다.

4.3. PDE 잔차를 조밀한 자기 개선 피드백으로 바꾸기

1. 훈련 데이터의 평균 품질을 넘어서기

   1. 시뮬레이터만 사용할 때의 한계: 시뮬레이터에서 생성한 분포만으로 멈추면 모델 품질도 결국 그 훈련 분포의 평균 품질에 머문다.
   2. PDE를 학습 신호로 사용: 모델의 출력이 PDE를 얼마나 잘 만족하는지 계산해 추가 훈련 신호로 넣는다.
   3. 자기 개선: 물리 법칙을 기준으로 모델을 계속 교정하면 데이터에 명시적으로 들어 있지 않은 더 좋은 해를 찾을 수 있다.

2. 언어의 보상 학습과 물리의 조밀한 피드백 비교

   1. 언어의 희소 보상: 언어 모델의 자기 개선은 인간 피드백이나 보상 모델처럼 ‘맞다/아니다’, ‘좋아요/싫어요’에 가까운 희소 신호에 의존한다.
   2. 물리의 조밀한 신호: 여러 물리 법칙이 공간과 시간의 각 지점에서 연속적으로 오차를 알려주므로 피드백이 조밀하다.
   3. 피드백 순서 조절: 여러 법칙을 커리큘럼에 맞춰 배열하면서 어떤 제약을 먼저 적용할지 정할 수 있다.
   4. 실험적 효과: 이러한 조밀한 자기 개선이 언어에서의 희소 보상보다 더 강력할 수 있다는 결과를 실험에서 관찰했다.

4.4. 다중 스케일 현상을 효율적으로 학습하기

1. 큰 스케일과 작은 스케일의 동시 표현

   1. 물리적 난제: 실제 현상은 큰 구조와 작은 구조가 동시에 작동하며, 서로 몇 자릿수(order of magnitude)나 차이 나는 스케일을 한 표현에 담아야 한다.
   2. 최고 해상도의 비용: 모든 것을 처음부터 가장 높은 해상도로 계산하면 비용이 극도로 커진다.

2. 저해상도에서 고해상도로 올라가는 경로

   1. 거친 시작점: 먼저 낮은 해상도의 데이터를 많이 모으고, 미세한 효과를 무시하는 더 싼 솔버로 평균적·거시적 효과를 학습한다.
   2. 근사 솔버의 한계와 가치: 저해상도 솔버는 미세 스케일 효과를 무시하므로 정확히는 틀리지만, 전체적인 평균과 거시적 효과를 파악하는 출발점으로 유용하다.
   3. 세밀한 보정: 이후 미세 스케일 특징을 포함하는 더 전문화된 솔버로 미세 조정(fine-tuning)한다.

3. 신경 연산자의 다중 스케일 혼합

   1. 내부적 스케일 통합: 신경 연산자는 서로 다른 해상도와 스케일을 모델 안에서 섞을 수 있다.
   2. 외부 하이브리드의 한계 극복: 다른 하이브리드 물리 머신러닝처럼 외부에서 여러 단계를 단순히 이어 붙이지 않고, 모델 내부에서 스케일 간 정보를 결합한다.
   3. 효율성: 필요한 곳에만 세부 해상도를 쓰면서 더 적은 데이터로도 더 잘 학습할 수 있다.

5. 상용화의 첫 영역: 반도체와 에너지

물리 범용 모델은 물리 법칙이 이미 설계·제조·관측을 좌우하지만 아직 충분히 활용되지 않는 반도체와 에너지 문제부터 상용 가치를 만든다.

5.1. 반도체 설계에서 물리 헤드룸을 성능으로 바꾸기

1. 초기 상용화의 초점

   1. 두 가지 관점: 물리 영역 자체와 그 물리를 활용해 서비스를 제공할 산업을 나눠 생각한다.
   2. 반도체와 에너지: 현재 모두가 개선을 필요로 하며 Accelerated Understanding의 물리 모델 역량과 정확히 맞닿은 영역이다.
   3. 고객 공개 범위: 협의 중인 회사와 고객의 전체 명단은 공개하지 않는다.

2. 현재 칩 설계의 물리 활용 방식

   1. 디지털 우선 파이프라인: 디지털 설계를 먼저 고정한 뒤, 물리 시뮬레이션에 한 번 통과시켜 검사하는 흐름이 일반적이다.
   2. PDK와 제조 규칙: 공정 설계 키트(PDK)가 정한 형상을 충족하지 않으면 TSMC가 제조하지 않으므로, 물리는 ‘통과 가능한가’를 확인하는 데 그친다.
   3. 사용하지 않는 헤드룸: 설계가 안전 한계 안에 있는지 확인할 뿐, 남은 물리적 여유(headroom)를 추가 성능으로 바꾸지는 못한다.

3. 물리 기반 설계 공간의 확장

   1. 경계의 확장: 물리가 허용하는 범위를 활용해 설계를 조금 더 밀어붙이고, 전체 배치를 재배열해 더 높은 성능을 얻는다.
   2. 기존 최적화의 범위: 와이어 길이(wire length)를 줄이고, 열 스파이크(thermal spike)나 전자이동(EM) 스파이크가 생기는지를 확인하는 최적화가 중심이었다.
   3. 새로운 활용: 문제가 거의 발생하지 않고 온도가 안정적인 영역을 식별해 그 물리적 여유를 설계에 적극적으로 활용한다.

4. 반도체 설계에서 제조까지

   1. 디지털·아날로그와 물리의 연결: 출발점은 디지털·아날로그 설계 파이프라인에 물리 모델을 바닥부터 연결하는 것이다.
   2. 점진적 확장: 여러 회사가 파이프라인의 각 조각을 담당하는 상황에서 먼저 큰 영향이 열리는 방향부터 시작하고, 궁극적으로 물리 수준까지 아래에서 위로 활성화한다.
   3. 생산 공정: 반도체 생산 자체에도 수많은 물리적 난제가 있으므로 설계 이후에도 확장할 작업이 많다.

5.2. 에너지에서 설계와 세계 관측을 함께 다루기

1. 물리적 객체의 설계

   1. 설계 질문: 특정 성능을 갖는 물리적 객체를 만들고 싶다는 요구를 입력으로 받아 구조와 조건을 찾는다.
   2. 핵에너지와 재생에너지: 핵 관련 문제뿐 아니라 태양광과 다른 에너지 시스템에도 같은 설계 관점이 적용될 수 있다.

2. 관측으로부터 보이지 않는 세계 추론하기

   1. 관측-세계 변환: 세계를 관측한 자료가 실제 세계의 상태에 무엇을 말해주는지 추론한다.
   2. 지열 사례: 지하 어디가 따뜻한지, 물을 어느 정도 포함하고 있어 펌핑할 수 있는지 파악해 지열 자원을 찾는다.
   3. 핵심 광물 사례: 전자기기에 필요한 핵심 광물이 어디에 있는지 관측 자료와 물리 지식으로 추론한다.

3. 범용성이 열어 주는 확장

   1. 공유 물리의 재사용: 여러 문제는 서로 완전히 다르지 않고 상당한 물리 원리를 공유한다.
   2. 응용의 연쇄: 모델이 충분한 범용성에 도달하면 설계, 시뮬레이션, 지하 관측, 자원 탐사 등 여러 문이 동시에 열린다.

5.3. 실제 응용에서 확인한 범용 모델의 상승 효과

1. 좁은 모델과 범용 모델의 비교 절차

   1. 첫 단계: 특정 시뮬레이터가 올바르게 설정되었고 학습 가능한지 확인하기 위해 좁은 모델을 훈련한다.
   2. 두 번째 단계: 같은 문제를 다중 물리 범용 모델에 추가해 성능을 비교한다.
   3. 파이프라인 검증: 모델에 넣기 전에 시뮬레이터와 데이터 처리 파이프라인 전체가 정확한지 먼저 확인한다.

2. 관찰된 전이 효과

   1. 범용 모델의 우위: 좁은 모델에서 보인 성능 특성보다 넓은 모델에서 본 성능이 ‘끝까지 범용 모델 쪽’으로 나타났다.
   2. 해석: 다른 물리 영역에서 배운 표현이 새 응용으로 전이되며, 추가 파라미터를 단순히 투입한 것보다 공유 학습이 성능을 끌어올린다.

6. 다음 단계와 창업팀의 방향

모델과 회사를 동시에 확장하면서, 장기적인 과학적 발견의 난제와 단기적인 고객 가치 창출을 같은 경로에서 연결한다.

6.1. 모델·회사·고객의 확장

1. 현재 진행 중인 확장

   1. 모델 스케일링: 더 큰 모델과 더 어려운 물리를 향해 계속 규모를 키운다.
   2. 회사 스케일링: 팀과 회사도 함께 확장한다.
   3. 관심의 급증: 회사가 스텔스에서 나온 뒤 지난주부터 연락이 크게 늘어 문의를 처리하고 있다.

2. 상용성과 과학적 야심의 결합

   1. 과학적 도전: 과학적 발견과 발명에서 가장 어려운 물리와 가장 어려운 현상을 향해 나아간다.
   2. 고객 가치: 그 여정에서 고객이 실제로 얻는 가치를 계속 열어야 한다.
   3. 동시 추구: 가장 어려운 연구만 좇거나 현재의 쉬운 상용 문제에만 머무르지 않고, 두 축의 결합을 성장 전략으로 삼는다.

6.2. Time 100 AI 선정과 다양한 관점의 연결

1. 선정에 대한 반응

   1. 뜻밖의 영예: Anima Anandkumar는 Time 100 AI 명단에 포함된 것을 기쁘고 놀라운 일로 받아들였다.
   2. 지난해의 경험: 전년도에는 Time Impact Award를 받았고, 그 시상식 참석을 위해 두바이에 갔다.
   3. 교류: 두바이에서 AI 분야의 여러 저명인사를 만났다.

2. Time 100 AI의 의미

   1. 다양한 관점: 서로 다른 관점을 가진 AI 인물을 한데 모으려는 시도 자체가 의미 있다.
   2. 공동의 장: AI를 둘러싼 여러 시각이 함께 논의되는 장을 만드는 일이 긍정적이라고 평가한다.

주요 발언 모음

“언어에서 일어난 범용성과 스케일의 대응물이 물리 세계에 무엇인지가 Accelerated Understanding의 베팅이다.”

“과학적 발견은 새로운 것을 하는 일이므로, 그것은 정의상 훈련 데이터 안에 있을 수 없다.”

“물리 법칙은 우리를 끝까지 이끄는 원칙이며, 시뮬레이터로 시작한 뒤 법칙 자체를 사용해 자기 개선을 할 수 있다.”

“우리는 공간을 세 차원으로 키우고 시간에 따른 전체 롤아웃을 모델링한다.”

“입력 컨텍스트 1조까지 학습했고, 입력과 출력 모두 1조인 학습도 했으며, 추론은 5조 컨텍스트에서 할 수 있다.”

“5조 컨텍스트 실행의 출력은 22TB였고, 그 작업 집합은 가속기 메모리에 들어가야 한다.”

“서로 다른 물리 영역을 하나의 모델에 넣었더니, 각 물리에 파라미터를 전부 준 별도 모델보다 더 잘 작동했다.”

“모델을 크게 만들어서만 좋아진 것이 아니라, 물리 영역을 더 추가할수록 모든 영역에서 더 잘 배우는 효과가 나타났다.”

“트랜스포머의 이차 복잡도는 5조 컨텍스트에 맞지 않으며, 물리 세계는 임의의 전역 상관보다 더 많은 구조를 가진다.”

“PDE는 데이터를 생성하는 수치 시뮬레이터이면서 동시에 모델의 물리적 정확도를 평가하는 훈련 신호가 될 수 있다.”

“언어의 자기 개선 피드백이 좋아요·싫어요처럼 희소한 반면, 물리 법칙은 조밀한 피드백을 제공한다.”

“가장 어려운 과학적 도전을 향하면서도 그 과정에서 고객에게 많은 가치를 열어야 한다.”

핵심 데이터 & 수치

• 1년 이상: Accelerated Understanding이 모델을 훈련하고 아키텍처를 실험해 온 기간이다.
• 수백 건: 수행한 훈련 실행의 규모다.
• 1조 컨텍스트: 입력 기준 학습 한계이며, 입력과 출력 모두 1조인 학습도 수행했다.
• 5조 컨텍스트: 달성한 추론 컨텍스트 길이다.
• 1,000 × 1,000 × 1,000 × 1,000: 공간 3축의 1,000 해상도와 시간 1,000단계를 곱해 1조가 되는 예시다.
• 22TB: 5조 컨텍스트 실행에서 생성된 출력 크기다.
• 최대 1조 파라미터: 훈련한 모델 규모다.
• 3차원 + 1차원: 축약하지 않고 보존하려는 공간과 시간의 구조다.
• Time 100 AI: Anima Anandkumar가 선정된 AI 영향력 인물 명단이다.
• Time Impact Award: Anima가 전년도에 받은 상이다.

결론 및 시사점

1. 물리 범용 모델의 핵심은 서로 다른 현상을 억지로 같은 데이터 형식으로 만들기보다, 각 영역에 공통인 시간·인과성·보존 법칙과 다중 스케일 구조를 학습시키는 데 있다.
2. 4차원 데이터의 전체 롤아웃은 컨텍스트를 조 단위로 키우지만, 신경 연산자와 물리 구조를 사용하면 고정 해상도·이차 복잡도라는 언어 모델의 한계를 피할 수 있다.
3. PDE는 시뮬레이터, 커리큘럼 설계 도구, 자기 개선의 조밀한 보상 함수라는 세 역할을 동시에 수행한다.
4. 반도체에서는 물리를 통과 여부 검사에서 설계 성능을 확장하는 공동 설계(co-design) 도구로 바꾸는 것이 초기 가치 제안이다.
5. 에너지에서는 물리적 객체 설계뿐 아니라 지열과 핵심 광물처럼 관측으로부터 세계의 숨은 상태를 추론하는 문제도 같은 범용 모델로 연결된다.
6. 장기 목표인 과학적 발견과 단기 목표인 고객 가치 창출을 함께 밀어붙이는 것이 Accelerated Understanding의 다음 성장 경로다.

핵심 요약 (20줄)

Accelerated Understanding은 언어 모델의 범용성과 스케일을 물리 시뮬레이션과 물리적 이해로 확장하려 한다. 맞춤법 검사·번역·자동완성 모델을 하나로 통합한 언어 모델의 성공이 물리 범용 모델의 출발점이 된다. 물리 문제는 데이터가 부족하고 새로운 발견은 훈련 데이터에 존재할 수 없어 순수 데이터 기반 학습만으로는 부족하다. 물리 법칙과 PDE는 시뮬레이션 데이터를 생성하고 모델의 자기 개선을 이끄는 공통 기준이 된다. 카테터와 로켓의 유체는 조건이 달라도 유체 역학과 레이놀즈 수라는 공유 구조를 가진다. 시간 변화·에너지 보존·객체 영속성·인과성은 서로 다른 물리 영역을 잇는 공통 특징이다. 모델은 공간 3차원과 시간 1차원을 축약하지 않고 전체 롤아웃으로 처리한다. 한 단계씩 예측하는 자기회귀 방식은 오차를 누적시키고 입력과 출력 사이의 연속적 원인 관계를 약화시킨다. 공간 각 차원 1,000개와 시간 단계 1,000개를 곱하면 1조 컨텍스트가 된다. 학습에서 1조 컨텍스트를 처리하고 추론에서 5조 컨텍스트까지 실행했으며 5조 실행 출력은 22TB였다. 레이어와 샘플이 단일 GPU나 노드에 들어가지 않아 전체 샤딩 인프라를 새로 설계했다. 수백 건의 훈련 실행과 최대 1조 파라미터 모델로 물리 모델의 확장 가능성을 확인했다. 다중 물리 모델은 같은 총 파라미터를 단일 물리에 나눈 별도 모델보다 모든 영역에서 더 나은 학습 효과를 보였다. 신경 연산자는 서로 다른 해상도와 기하를 수용하는 해상도 불변성의 기반이 된다. 가변 컨텍스트는 고해상도가 필요한 어려운 물리와 저비용 설계 탐색을 하나의 모델에서 처리하게 한다. 트랜스포머의 이차 복잡도는 5조 컨텍스트에 비현실적이며 물리 세계의 구조를 활용하는 편이 더 적절하다. 수치 시뮬레이터는 단순한 방정식과 낮은 해상도에서 시작하는 물리 커리큘럼을 제공한다. PDE가 주는 조밀한 피드백은 인간의 좋아요·싫어요 같은 언어 모델의 희소 보상보다 세밀한 자기 개선을 가능하게 한다. 반도체에서는 물리적 헤드룸을 배치·열·전자이동 검사에서 추가 성능과 생산 공정 최적화로 전환한다. 회사는 가장 어려운 과학적 발견과 발명에 도전하면서 고객에게 단계적으로 상용 가치를 제공하는 방향으로 확장한다.