발신: ByteByteGo 2026-07-27 | 원문: blog.bytebytego.com
전문 번역
NVIDIA가 GPU를 판다는 건 다들 안다. 하지만 NVIDIA가 세계에서 가장 많은 오픈 AI 모델을 발표하는 회사라는 사실은 아는가? NVIDIA의 모델들은 Hugging Face에서 가장 많이 다운로드된 모델 축에 들고, 라인업은 챗봇을 훨씬 넘어선다 — 추론 모델, 세계 모델(world model), 휴머노이드 로봇용 모델, 자율주행차용 모델, 심지어 신약 개발·양자 컴퓨팅·전 지구적 기상 예측용 모델까지 있다.
여기서 두 가지 질문이 떠오른다. 하드웨어로 가장 잘 알려진 회사가 어떻게 이렇게 많은 도메인에서 이렇게 강력한 모델들을 만드는가? 그리고 그 모델들이 결국 NVIDIA가 파는 바로 그 GPU 위에서 돌아가는데, 왜 공짜로 나눠주는가?
이 두 질문에 답하기 위해 우리는 NVIDIA의 응용 딥러닝 리서치 VP인 Bryan Catanzaro와 대화했다. 그는 자신의 팀이 회사의 오픈 모델을 만드는 방법, 그 아키텍처 뒤에 있는 논리, 그리고 NVIDIA가 왜 그렇게 많은 것을 오픈소스로 공개하는지를 상세히 설명해주었다.
이 글에서 다루는 내용:
- NVIDIA가 만든 오픈 모델은 무엇이고 어떤 일을 하는가
- NVIDIA가 어떻게 모델을 빠르면서도 강력하게 만드는가
- 하나의 기반이 어떻게 소규모 팀으로 여러 모델을 만들게 하는가
- '오픈'이 진짜로 의미하는 것과, 가중치만큼이나 데이터 공개가 왜 중요한가
- NVIDIA가 왜 이 모든 것을 그냥 나눠주는지, 그리고 오픈으로 배포하며 팀이 배운 교훈
NVIDIA의 오픈 모델 생태계
NVIDIA의 오픈 모델들은 AI의 양 끝단에 걸쳐 있다. 한쪽 끝에는 언어·코드·추론처럼 화면 위에서 사는 기호(symbol)를 다루는 모델들이 있다. 다른 쪽 끝에는 로봇과 자율주행차가 주변을 인지하고 행동해야 하는 물리적 세계에서 작동하는 모델들이 있다. 라인업 대부분은 그 선 어딘가에 위치한다.
이 생태계를 보는 가장 간단한 방법은 각 모델군이 무엇을 위한 것인지로 묶어보는 것이다.
1. 추론 모델(Reasoning models)
추론 모델은 최종 답을 내놓기 전에 중간 토큰을 생성하도록 훈련된 대형 언어모델이다. 이것이 수학이나 코딩 같은 과제를 단계별로 사고할 수 있게 해준다. 요즘 보는 대부분의 프론티어 모델은 추론 모델에 기반한다 — Claude Opus, GLM-5.2, Kimi K2.7이 그렇다.
NVIDIA의 추론 모델군 이름은 Nemotron이다. 최초의 Nemotron 모델은 2023년에 나왔다. 2024년에는 3400억 파라미터의 차세대 모델이 나왔고, 이어 2025년에는 더 빠른 하이브리드 설계가 나왔다. 현재 세대인 Nemotron 3는 2025년 말부터 2026년에 걸쳐 세 가지 크기로 출시됐다: 빠르고 단순한 작업을 위한 소형 Nano, 더 어려운 계획·추론을 위한 중형 Super, 무거운 추론이 필요한 복잡한 작업을 위한 대형 Ultra.
2. 피지컬 AI(Physical AI)
언어 모델은 다음 토큰을 예측하는 데는 뛰어나지만 물리적 세계를 이해하지 못한다. 셔츠 소매가 어떻게 접히는지, 물잔이 기울어지는 순간 어떻게 보이는지 알려줄 수 없다. 로봇이나 자율주행차는 그런 이해가 필요하지만, 텍스트로부터는 얻을 수 없다.
이것이 바로 세계 모델(world model)이 제공하는 것이다. 다음 단어를 예측하는 대신, 세계 모델은 세계를 이해하고 현재 상태와 행동이 주어졌을 때 다음 상태를 예측할 수 있다. 현실적이고 물리적으로 그럴듯한 영상을 생성하고, 운동과 인과관계를 추론하며, 로봇이 학습에 필요한 행동 데이터를 만들어낼 수 있다.
세계 모델은 현실에서 포착하기에 느리거나, 비싸거나, 위험한 상황들에 대한 학습 데이터를 만드는 데 쓸 수 있어서 매우 유용하다.
NVIDIA CEO 젠슨 황은 이를 "피지컬 AI의 챗GPT 모먼트"라 불렀다. NVIDIA의 피지컬 AI용 프론티어 오픈 모델은 Cosmos로, 2025년 1월 CES에서 발표됐고 2026년에는 장면을 생성하고, 그것에 대해 추론하고, 다음에 일어날 일을 예측할 수 있는 단일 옴니모델 Cosmos 3로 통합됐다. Cosmos 3는 또한 사전학습된 비디오 백본을 로봇 정책으로 직접 전환하는 세계 행동 모델(world action models)도 도입했다. 로봇에서 실시간으로 실행되고 제어할 수 있을 만큼 작은 40억 파라미터짜리 Edge 버전도 있다.
세계 모델에서 로봇 정책으로
세계 모델은 다음 장면을 예측할 수 있지만, 로봇은 실제로 행동해야 한다. 카메라가 보는 것을 실시간으로, 누구도 미리 짜놓지 않은 과제에서, 모터가 움직이는 방식으로 바꿔내야 한다.
이것이 로봇 파운데이션 모델, 흔히 비전-언어-행동(VLA) 모델이라 불리는 것의 역할이다. 이 모델의 입력은 보통 카메라 이미지와 지시문이며, 모델은 움직임을 출력한다.
휴머노이드 로봇을 위한 NVIDIA의 오픈 파운데이션 모델 라인은 Isaac GR00T다. NVIDIA는 2024년 이 프로젝트를 공개했고, 2025년 초 첫 오픈 휴머노이드 파운데이션 모델인 GR00T N1을 출시했으며, 이후 GR00T 1.7까지 발전했다.
GR00T 모델은 Cosmos를 추론 백본으로 사용해, 로봇에게 인지·추론·로코매니퓰레이션(움직이면서 물체를 다루는 능력)을 위한 공통 기반을 제공한다. 이는 더 인간다운 의사결정을 가능케 하고, 로봇이 복잡한 행동을 개발자가 특정 작업에 맞게 특화할 수 있는 구조화된 단계별 계획으로 쪼갤 수 있게 돕는다. 1.7 버전에는 실서비스에 적합한 상용 라이선스도 포함되어, 개발자가 실제 애플리케이션에 모델을 배포할 수 있다.
3. 헬스케어, 자율주행차, 양자, 그 밖의 특화 응용 분야
라인업은 계속 이어진다. Alpamayo는 추론 기반 자율주행을 위한 오픈 모델군이다. GR00T처럼 Cosmos를 추론 백본으로 써서, 로봇을 구동하는 것과 같은 피지컬 AI 기반이 자동차가 훈련받은 적 없는 도로 상황을 해쳐 나가게 해준다. 또한 각 결정 뒤의 인과관계 사슬을 노출해, 개발자가 이를 검사하고 발전시킬 수 있다. BioNeMo는 생물학과 신약 개발에 오픈 모델을 가져오며, BioNeMo Agent Toolkit은 개발자가 생명과학 작업을 위한 자율 에이전트를 만들 수 있게 해준다. Ising은 양자 컴퓨터를 만들고, 운영하고, 개발하는 이들에게 내결함성(fault tolerance)까지 장치를 확장하는 데 필요한 AI 도구를 제공한다. Earth-2는 전문가급 날씨·기후 AI를 누구나 쓸 수 있게 해주는 오픈 모델·라이브러리·프레임워크 모음이다. 이들 위에 NVIDIA는 실서비스용 오픈 모델도 제공한다: 유해 콘텐츠를 걸러내는 안전 모델, 음성용 스피치 모델, 이미지용 비전 모델.
이를 종합하면, 이 강력한 생태계는 커뮤니티가 발전하고 만들어가는 방식 자체를 바꾼다. 이후 글은 NVIDIA가 이런 모델들을 어떻게 만드는지, 팀이 어떻게 빠르게 움직일 수 있는지, 그리고 무엇을 배웠는지를 살펴본다.
모델을 프론티어급이면서 빠르게 만드는 법
빠르면서도 유능한 모델을 만드는 것은 종종 어려운 과제다. 유능한 모델은 보통 더 크고, 그만큼 훈련과 응답이 느려진다. NVIDIA의 답은 프론티어와 속도를 동시에 추구하는 것이다. Bryan은 이렇게 표현했다: "가장 빠른 모델이 가장 똑똑한 모델이다."
슬로건처럼 들릴 수 있지만 여기엔 진짜 통찰이 있다. 더 빠른 모델은 같은 시간 안에 더 많은 데이터로 훈련될 수 있다. 더 많은 환경에서 사후 훈련(post-train)될 수 있다. 배포된 뒤에는 같은 비용으로 어려운 문제를 더 오래 생각할 수 있다. 그러니 속도는 곧 역량으로 전환되고, 이는 모든 단계에서 복리로 쌓인다.
이 전략에 따라 NVIDIA는 효율성과 속도에 초점을 맞춰 모델을 설계한다. 다음 설계 선택들이 이 모델들을 빠르면서도 유능하게 만든다. 앞의 둘은 모델을 더 빠르고 효율적으로 만들고, 마지막 하나는 더 유능하게 만든다.
1. 하이브리드 아키텍처
잘 알려진 대부분의 모델은 거의 전적으로 트랜스포머의 어텐션(attention) 메커니즘 위에 지어졌다. 어텐션은 입력의 모든 토큰이 다른 모든 토큰을 볼 수 있게 해줘서 관계를 포착하는 데는 강력하지만 비용이 크다. 비용은 입력 길이의 제곱으로 늘어나서, 입력이 두 배가 되면 작업량은 대략 네 배가 된다. 모델은 실행되는 동안 이전의 모든 토큰을 메모리에 유지해야 한다. 아주 긴 입력에서는 이것이 느리고 비용이 커진다.
다른 주요 부류는 상태 공간 모델(state space model)이며, Mamba가 가장 잘 알려진 예시다. Mamba 레이어는 모든 토큰을 다른 모든 토큰과 비교하는 대신, 시퀀스를 한 번 읽고 지금까지 본 모든 것을 고정된 크기의 메모리로 압축한다. 그래서 비용이 저렴하다: 비용은 길이에 비례해 선형으로 늘어나고, 입력이 아무리 길어도 메모리는 일정하다. 트레이드오프는 고정 크기 메모리가 모든 세부사항을 보존할 수 없어서, Mamba는 아주 뒤에 묻힌 한 가지 정확한 사실을 기억해내는 데는 약하다는 것이다.
Mamba 레이어는 효율적이고 어텐션 레이어는 더 효과적이다. 둘을 결합하면 최선의 조합을 얻는다. 하이브리드 아키텍처는 트랜스포머의 어텐션 레이어 대부분을 Mamba 레이어로 바꾸고, 완전한 어텐션을 갖춘 몇 개 블록만 남겨둔다.
NVIDIA의 모델들은 같은 하이브리드 패턴을 따른다. 레이어 대부분이 Mamba라서 긴 입력을 처리하는 비용이 저렴하며, 이것이 100만 토큰 컨텍스트 윈도우를 이론상이 아니라 실제로 쓸 수 있게 만든다. 중간중간 몇 개의 어텐션 레이어를 배치해 Mamba가 포기한 핀포인트 회상 능력을 되살리고, 그래서 모델은 여전히 컨텍스트 어디서든 정확한 세부사항을 찾아낼 수 있다.
여기에 더해 이 모델들은 전문가 혼합(mixture-of-experts, MoE) 레이어도 쓴다. MoE 레이어는 많은 소형 전문가 레이어들로 이뤄지며 각 토큰을 소수의 전문가에게만 라우팅한다. 그래서 모든 토큰에 모든 파라미터를 돌리는 대신, 모델은 파라미터의 작은 부분집합만 활성화한다. 이는 토큰당 낮은 비용으로 큰 총 용량을 쓸 수 있게 해주어 모델을 빠르게 유지한다.
Bryan의 표현을 빌리면, Mamba는 전체 시퀀스에 대한 전역적인 시야를 만들고, 어텐션은 언제든 정확한 사실을 되찾아올 수 있다. 둘을 합치면 둘 중 하나만 있을 때보다 더 똑똑하다. NVIDIA는 2024년 이 하이브리드 결과를 발표했고, Qwen과 Kimi 팀을 포함한 다른 랩들도 이후 같은 방향으로 움직였다.
2. GPU와 모델을 함께 설계하기
두 번째 선택은 NVIDIA의 두 사업 부문이 만나는 지점이다. NVIDIA의 대형 모델들은 NVFP4라는 4비트 숫자 포맷으로 사전훈련되는데, 이는 훈련 중 대부분의 연산이 값 하나당 단 4비트만 쓴다는 뜻이다. 비트 수가 적을수록 메모리와 이동해야 할 데이터가 줄어서, 연산이 더 빠르게, 더 적은 전력으로 돌아간다.
4비트는 매우 적은 정밀도라는 점에 주목하라. 대부분의 팀은 더 높은 정밀도로 훈련한 뒤에야 모델을 축소하는데, 이는 정확도를 잃는다. NVIDIA는 처음부터 4비트로 훈련했다. 다음 세대 GPU인 Blackwell이 빠른 4비트 하드웨어로 만들어지고 있다는 걸 알고 있었기 때문이다. 모델과 칩이 서로를 위해 설계된 것이다.
VP는 이 배경의 사고방식을 이렇게 설명했다. 무어의 법칙은 더 이상 세대마다 쉬운 이득을 주지 않으므로, 진보는 모델과 하드웨어를 함께 설계하는 데서 나와야 한다. 팀은 그 결과가 가능하다고 믿었기 때문에야 4비트 사전훈련을 시도했다. 그의 말대로, 놀라운 것을 발명하는 첫걸음은 그것이 가능하다고 믿는 것이다.
3. 사후훈련: 경험으로부터 배우기
이런 효율성 선택들이 갖춰지면, 사후훈련(post-training)이 모델의 역량을 얻는 단계가 된다.
사후훈련 레시피 자체는 대부분의 다른 팀이 수렴한 방식과 같다. 지도 미세조정(supervised fine-tuning)에서 시작해, 모델이 잘 정제된 좋은 답변 예시로부터 배우며 기대되는 형식과 행동을 익힌다. 그다음 강화학습으로 전환해, 모델이 실제 과제에서 연습하고 올바른 결과에 도달하면 보상을 받는다. 예시로부터 배우는 대신 자기 시도로부터 배우는 것이다.
이 강화학습 단계를 확장하는 것이 모델의 역량을 크게 향상시킨다는 것이 밝혀졌다. 여기서 NVIDIA의 효율성 전략이 다시 빛을 발한다. 모델을 돌리는 비용이 더 저렴하기 때문에 더 낮은 비용으로 RL을 확장할 수 있고, 모델이 많은 환경에서 병렬로 연습하고 백만 건 이상의 롤아웃(rollout)에서 배우게 할 수 있다.
VP는 여기서 더 나은 모델을 위한 진짜 병목을 짚었다. 데이터도 컴퓨트도 아니다. 이 훈련 환경들의 다양성이다. 모델이 연습하는 상황이 다양할수록 실제 문제 해결 경험을 더 많이 얻기 때문에 더 유능해진다.
지금까지는 모델을 만드는 설계 결정과 단일 프론티어 모델을 훈련하는 데 무엇이 필요한지를 살펴봤다. 그런데 이렇게 많은 모델을 어떻게 만들고, 어떻게 그렇게 빨리 계속 개선하는가?
하나로 통합된 기반
한 도메인에서 강력한 모델을 만드는 것도 어렵다. 언어, 영상, 로보틱스, 자율주행차, 생물학을 아우르는 모델을 만드는 데는 엄청난 엔지니어링과 컴퓨트 자원이 필요하다. NVIDIA의 접근법은 재사용 가능한 기반을 찾아내, 한 번 만들고, 여러 노력에 걸쳐 재사용하는 것이다.
VP는 이것을 CUDA로 거슬러 올라가 설명했다. CUDA는 NVIDIA의 GPU를 프로그래밍 가능하게 만든 소프트웨어 계층이다. "U"는 Unified(통합)를 뜻하고, 그는 이것을 가장 중요한 글자라 불렀다. 아이디어는 여러 개의 개별 스택을 유지하는 대신, 하나의 기반을 만들고 그 위에서 모든 것을 돌리는 것이다.
같은 본능이 모델들의 형태도 결정한다. 앞서 설명한 하이브리드 아키텍처는 모델마다 새로 만들지 않는다. 같은 백본이 세 가지 크기의 Nemotron 전체에 걸쳐 확장된다. 노력들 사이에 통째로 컴포넌트가 넘어가기도 한다. 물리적 세계에 대해 추론하도록 만들어진 모델인 Cosmos Reason은 NVIDIA의 Isaac GR00T 파운데이션 모델 안에서 추론 코어로 재사용되어, 로보틱스 팀이 그 부분을 처음부터 새로 만들 필요가 없었다. 대안, 즉 열 개의 병렬 노력이 각각 같은 부품을 재발명하는 것은 사람과 컴퓨트를 너무 얇게 퍼뜨리는 일이다. Bryan에 따르면, NVIDIA는 최대한 게을러지려 한다 — 그것이 한정된 자원에서 최대치를 뽑아내는 방법이기 때문이다.
팀이 이렇게 생산적이고 빠르게 반복할 수 있는 또 다른 이유는 문화적인 것이다. NVIDIA는 대체로 하향식(top-down)이 아니다. 자원봉사자들의 회사에 가깝고, 팀이 무엇을 할지 선택하며, 통합은 통제가 아니라 초대를 통해 일어난다. 협업 문화는, 팀들이 서로 협력해 더 많은 것을 이뤄내면 혼자 갈 때보다 더 많은 자원을 얻게 된다는 것이다. 모두가 이 믿음을 공유하면, 소규모 그룹이 많은 것을 만들어낼 수 있다.
오픈은 그저 가중치를 공개하는 것 이상이다
오픈 모델에 대해 많이 들어봤을 것이다. 여러 AI 랩이 유능한 모델을 공개했다. 가중치를 다운로드해서 쓸 수 있다. 하지만 그것은 진짜 오픈 모델이 아니다. 여기서 NVIDIA의 접근법이 다른 랩들과 정말로 갈라진다. Bryan의 말대로, Nemotron은 그저 모델이 아니다. 데이터이자, 도구이자, 훈련 레시피이자, 논문에 실린 아이디어이기도 하다. 완성된 가중치는 그저 마지막 단계일 뿐이다.
실제로 이는 NVIDIA가 훈련 데이터셋, 사후훈련 데이터셋, 강화학습 환경, 그리고 그 작업을 재현하는 데 필요한 레시피를 공개한다는 뜻이다. 팀은 모델을 돌릴 수 있을 뿐 아니라 그것이 어떻게 만들어졌는지 보고 자신만의 버전을 훈련할 수도 있다.
로보틱스와 자율주행차도 마찬가지다. 개발자들은 오픈소스 시뮬레이션·학습 프레임워크, 배포 전 모델 성능을 훈련하고 평가할 데이터셋을 쓸 수 있다.
이 정도 규모로 데이터를 공개하는 것은 이례적이다. 회사 입장에서는 두려운 일이다. NVIDIA는 그럼에도 그렇게 하며, 통계적으로는 현실적이지만 완전히 사적인 정보를 보호하는 합성 "페르소나" 데이터 같은 영리한 빌딩 블록까지 공유해, 모델이 실제 사람을 암기하지 않고도 세상에 대해 배울 수 있게 한다.
커뮤니티가 그것으로 무엇을 했는지를 보면 알 수 있다. NVIDIA의 오픈 데이터와 모델은 방대한 커뮤니티 파인튜닝과 파생 모델을 낳았다. 로보틱스 데이터셋 하나는 Hugging Face에서 가장 많이 다운로드된 데이터셋 중 하나가 되었다. Nemotron 모델의 수많은 변형이 각각 수백만 다운로드를 기록했고, Nemotron 패밀리는 최근 총 1억 다운로드를 넘어섰다. 가중치만으로는 이렇게 만들 수 없다.
칩 회사가 왜 이 모든 것을 그냥 나눠주는가
오픈 모델을 공개하는 게 멋지다고 생각할 수 있다. 하지만 GPU를 파는 회사가 왜 그 위에서 돌아가는 AI를 그냥 나눠주는가?
Bryan은 두 가지 이유를 들었다. 첫째, NVIDIA는 올바른 하드웨어를 만들기 위해 AI를 깊이 이해해야 한다. 미래의 칩을 설계하려면 AI가 어디로 가는지 알아야 한다. 진짜로 아는 가장 좋은 방법은 직접 모델을 만들어서 실제 사용자 앞에 내놓는 것이다. 비공개로 유지된 모델은 스스로를 속이기 쉽다. 그러니 공개적으로 배포하는 것은 작업을 정직하게 유지하고 NVIDIA의 연구자들을 그들이 배우는 더 넓은 커뮤니티와 계속 연결해준다. 오픈 모델이 이렇게 뜨거운 주제인 만큼, 진짜 가치는 개발자들이 이 모델들을 훨씬 저렴한 비용으로 직접 사후훈련할 수 있게 하는 데 있다.
둘째 이유는 비즈니스에 관한 것이다. NVIDIA는 AI가 성장할 때마다 함께 성장한다. NVIDIA의 목표는 그 위에 쌓아 올리는 회사들과 경쟁하는 게 아니라 생태계를 지원하는 것이다. 오픈 모델을 채택해 자신만의 AI를 만드는 모든 팀은 미래의 컴퓨트 고객이 될 수 있다. 그러니 회사는 생태계에 모델을 건네주고, 세계의 AI 수요가 자신의 비즈니스를 끌어당기게 두는 편을 택한다.
부수적인 이점도 있다: 안전성이다. 오픈 인터넷이 그것을 쓰는 모든 사람에 의해 단련되는 것처럼, 더 많은 사람이 검사하고 문제를 찾을 수 있기 때문에 오픈 기술은 더 안전해지는 경향이 있다.
NVIDIA가 오픈 모델을 배포하며 배운 것
이렇게 많은 모델을 공개적으로 배포하는 일은 폐쇄형 랩들은 절대 마주치지 않는 교훈을 가르쳐준다. Bryan은 몇 가지 값진 교훈을 공유했다.
1. 어떤 단일 릴리스보다 프로그램 자체가 중요하다
이렇게 빠르게 움직이는 분야에서는 모든 모델이 출시되기도 전에 이미 구식이 된다. 그러니 어떤 단일 릴리스도 그 자체로 핵심이 아니다. 신뢰를 얻는 것은 꾸준하고 지속적인 프로그램이다. 커뮤니티가 어떤 모델 라인이 계속 이어질 것이라 믿을 때, 새 릴리스 하나하나를 일회성으로 취급하지 않고 주목하게 된다.
2. 개발자가 쓰기 쉽게 만들라
깔끔한 출시는 라이선싱부터 문서화, 바로 실행 가능한 예제까지 백 가지 작은 것들을 제대로 해낸 결과다. VP는 이것이 화려하지 않은 부분이라고 인정했다. 커뮤니티 피드백을 듣고 첫 실행 경험을 다듬는 것이 다운로드를 지속적인 사용으로 바꾸는 열쇠다.
3. 커뮤니티가 신뢰하는 라이선스를 선택하라
NVIDIA는 자체 개발한 라이선스에서 벗어나, 오픈 AI를 위해 특별히 만들어진 리눅스 재단의 커뮤니티 라이선스 OpenMDW로 옮겨갔다. 공유되고 목적에 맞게 만들어진 라이선스를 쓰는 것은 마찰을 없애고 이 모델들이 자유롭게 쓰이기 위한 것임을 신호한다.
다음은 무엇인가
여기서부터의 방향은 더 일찍 오픈하는 것이다. 모델을 비공개로 만든 뒤 완성되면 공개하는 대신, NVIDIA는 어차피 모든 것을 오픈할 계획이므로 협력자들을 더 일찍 참여시키고 싶어 한다. 목표는 모델이 아직 만들어지는 동안 파트너들이 그 형태를 함께 빚을 수 있게 하는 것이다. 이를 위해 NVIDIA는 Nemotron Coalition과 Cosmos Coalition을 결성했다.
가장 두드러지는 것은 이것이 일시적인 국면이 아니라 장기적인 헌신이라는 확신이다. VP는 CUDA를 가리켰다. 나머지 세계가 그것이 왜 중요한지 이해하기까지 10년 넘게 걸렸다. NVIDIA는 계속 밀어붙였고, 그것이 회사의 기반이 되었다.
그는 오픈 모델도 같은 길을 따를 것이라 기대한다. 그의 말대로, 이것은 과학 프로젝트도 아니고 자선사업도 아니다. NVIDIA가 스스로를 미래로 밀어붙이는 방식이다.
핵심 요약 (20줄)
- NVIDIA는 GPU 회사로 알려져 있지만 실제로는 세계 최대의 오픈 AI 모델 발행사이며, Hugging Face 최다운로드 모델군에 속한다.
- 라인업은 챗봇을 넘어 추론·세계모델·로봇·자율주행·신약개발·양자컴퓨팅·기상예측까지 아우른다.
- 추론 모델군 이름은 Nemotron이며, 현재 세대 Nemotron 3는 Nano/Super/Ultra 세 크기로 나온다.
- 피지컬 AI(로봇·자율주행)를 위한 세계 모델은 Cosmos이며, 2026년 옴니모델 Cosmos 3로 통합됐다.
- 휴머노이드 로봇용 비전-언어-행동 모델 라인은 Isaac GR00T이며 Cosmos를 추론 백본으로 쓴다.
- 자율주행용 Alpamayo, 생물학용 BioNeMo, 양자용 Ising, 기상용 Earth-2 등 특화 모델군도 있다.
- NVIDIA의 설계 철학은 "가장 빠른 모델이 가장 똑똑한 모델"이다 — 속도가 훈련량·배포 후 사고 시간으로 복리 전환된다.
- 하이브리드 아키텍처: 대부분 레이어를 효율적인 Mamba로, 일부만 정확한 회상이 가능한 어텐션으로 구성해 100만 토큰 컨텍스트를 실용화했다.
- 여기에 전문가 혼합(MoE) 레이어를 더해 토큰당 낮은 비용으로 큰 총 파라미터 용량을 활용한다.
- NVIDIA는 대형 모델을 4비트(NVFP4) 포맷으로 처음부터 사전훈련하는데, 이는 차세대 GPU Blackwell의 4비트 하드웨어와 공동 설계된 결과다.
- 사후훈련은 지도 미세조정 후 강화학습으로 이어지며, NVIDIA는 낮은 비용 구조 덕분에 백만 건 이상의 롤아웃으로 RL을 대규모 병렬 확장할 수 있다.
- VP는 더 나은 모델의 진짜 병목이 데이터나 컴퓨트가 아니라 "훈련 환경의 다양성"이라고 짚었다.
- NVIDIA는 CUDA의 "Unified" 철학처럼 하나의 기반(하이브리드 아키텍처, Cosmos Reason 등)을 여러 모델군에 재사용한다.
- 조직 문화도 하향식이 아닌 자원봉사형이며, 통합은 통제가 아닌 협업 초대를 통해 이뤄진다.
- NVIDIA가 말하는 '진짜 오픈'은 가중치뿐 아니라 훈련 데이터셋·RL 환경·레시피까지 공개하는 것을 뜻한다.
- 로보틱스 데이터셋 하나가 Hugging Face 최다운로드 데이터셋이 됐고 Nemotron 패밀리는 총 1억 다운로드를 돌파했다.
- NVIDIA가 모델을 무료 공개하는 이유는 (1) AI를 깊이 이해해 올바른 칩을 설계하기 위함, (2) 생태계가 커질수록 컴퓨트 수요가 늘어 NVIDIA에 유리하기 때문이다.
- 부수 효과로 오픈 기술은 더 많은 사람이 검사할 수 있어 더 안전해지는 경향이 있다.
- 배운 교훈 3가지: 단일 릴리스보다 지속적 프로그램이 중요, 개발자 경험(라이선싱·문서·예제)이 핵심, 커뮤니티가 신뢰하는 라이선스(OpenMDW)를 채택해야 함.
- NVIDIA는 이제 모델이 완성된 뒤 공개하는 대신 개발 초기부터 파트너를 참여시키는 방향(Nemotron/Cosmos Coalition)으로 나아가고 있으며, CUDA처럼 10년 단위의 장기 베팅으로 보고 있다.