NVIDIA, 선두 자리를 잃다

URL: https://www.youtube.com/watch?v=VgLwsakPgo4
날짜: 2026-08-29
채널: t3dotgg
원문 제목: NVIDIA Just Lost Their Lead

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==게이밍 GPU로 출발해 AI 컴퓨팅을 사실상 지배한 엔비디아의 CUDA·메모리·공급망 해자가 중국산 칩, OpenAI의 자체 ASIC, 애플의 M5 Ultra, 대형 데이터센터의 전력 제약 앞에서도 유지될 수 있는가?==

• 엔비디아의 독점은 칩 성능 하나가 아니라 CUDA 생태계, 고대역폭 메모리(HBM), 고객과 정부를 묶는 공급 계약, 생산·공급망 규모가 합쳐진 결과다.
• 중국은 수출 통제로 엔비디아의 최신 GPU를 충분히 살 수 없게 되면서 Huawei 같은 자국 칩으로 실제 서비스를 운영하고 있다.
• OpenAI의 Jalapeno ASIC, 애플 M5 Ultra, 일론 머스크의 Terafab은 엔비디아에 의존하지 않고 더 낮은 비용과 전력으로 추론·학습을 수행하려는 움직임이다.
• 엔비디아가 당장 무너지는 것은 아니지만, 모델을 만드는 연구소와 고객이 직접 칩을 설계하기 시작하면서 시장의 승부 기준이 칩의 절대 성능에서 전력당 토큰과 전력 확보 능력으로 이동한다.

1. 게임용 그래픽 회사에서 AI 인프라의 중심으로

엔비디아는 원래 컴퓨터 게임에 화려한 3D 그래픽을 제공하는 칩을 만들었지만, 이제는 우리가 매일 쓰는 AI 도구의 지능 대부분을 떠받치는 세계 최고 가치 기업이 됐다.

1.1. 독점을 지탱하는 여러 겹의 해자

1. CUDA가 연구와 개발의 기본 언어가 됐다

   1. 개발 표준: CUDA는 AI 연구자 대다수가 선택하는 언어이자 실행 시스템이라서, 다른 칩으로 옮기려면 하드웨어만 바꾸는 것이 아니라 소프트웨어와 연구 도구 전체를 다시 맞춰야 한다.
   2. 누적 효과: 오랫동안 쌓인 CUDA용 코드·라이브러리·인력·문서가 새로운 GPU 구매를 다시 CUDA로 유도하는 순환을 만든다.

2. 거대 고객과의 계약이 수요를 묶어 둔다

   1. 정부와 연구소: 미국 정부의 데이터센터 건설 계획부터 OpenAI, Anthropic, xAI 같은 기업까지 엔비디아 GPU를 필요로 한다.
   2. 공급자 의존: OpenAI가 엔비디아에 칩 가격을 지금보다 10배 높여 달라는 요구를 받으면 정상적으로 기능할 수 없고, 미국 정부도 엔비디아가 조건을 바꾸어 데이터센터 계획이 실패하면 크게 반발할 수밖에 없다.

3. 고객의 불안이 탈출 시도를 만든다

   1. 오늘의 조건도 부담: 여러 기업이 이미 엔비디아가 제시하는 가격·공급 조건을 감당하기 어렵다고 느낀다.
   2. 내일 더 나빠질 것이라는 예상: 엔비디아가 앞으로 조건을 더 불리하게 만들 것이라는 전망이 고객에게 자체 칩과 대체 공급자를 찾게 한다.

1.2. 중국이 가장 강하게 탈출을 시도하는 이유

1. 수출 통제가 역설적으로 자립을 강제했다

   1. 최신 GPU 접근 제한: 미국 정부는 엔비디아 칩의 중국 수출을 대부분 막았고, 수출이 허용된 제품도 종류가 매우 적으며 미국에서 학습에 사용하는 거대한 고성능 GPU가 아니다.
   2. Huawei 의존: 중국 연구소와 모델 개발사, 자막에서 언급된 ZAI 같은 조직은 Huawei 등 중국 기업이 만든 칩에 크게 의존하게 됐다.

2. 자립 칩이 중국 밖에서도 증명되기 시작했다

   1. OpenAI의 자체 개발: OpenAI도 더 빠르고 저렴한 추론·학습을 내부에서 확보하려고 자체 칩을 만들기 시작했다.
   2. 엔비디아의 불안한 반응: 엔비디아가 Jim Cramer의 방송에서 방어적으로 반응하고 Hugging Face를 인수하려는 움직임을 보인 것은 대체 생태계의 성장을 의식한다는 신호로 해석된다.

2. AI 에이전트에는 최신 지식과 웹 접근이 필요하다

기존 LLM이 학습 시점에 알고 있던 지식만으로는 실제 업무를 수행하기에 부족하며, 에이전트가 인터넷에서 가져온 정보가 실제 컨텍스트 윈도우의 대부분을 차지한다.

2.1. 웹 데이터가 에이전트의 실시간 컨텍스트가 되는 구조

1. 모델의 사전 지식만으로는 현실의 변화를 따라갈 수 없다

   1. 업무 지식의 부족: 현재 LLM이 이미 알고 있는 내용만으로는 사람이 맡은 실제 일과 직무를 완수하기에 충분하지 않다.
   2. 검색 기반 보완: 에이전트는 인터넷에서 새 정보를 가져와 컨텍스트를 채워야 하며, 이 과정이 실제 사용 컨텍스트의 큰 비중을 차지한다.

2. Browserbase가 제공하는 세 가지 접근 방식

   1. Search API: 단일 curl 요청으로 웹을 검색하고 에이전트가 사용할 실제 맥락을 찾게 한다.
   2. Fetch API: URL을 넘기면 거의 모든 웹사이트에서 에이전트가 파싱하고 이해할 수 있는 Markdown을 돌려준다.
   3. 브라우저 서비스: 실제 Chromium 브라우저처럼 웹을 탐색하고, 폼을 채우며, 로그인하고, 사용자를 대신해 행동한다.

3. curl만으로는 웹 전체에 접근할 수 없다

   1. 접근 한계: 웹 API의 85% 이상은 단순히 curl을 호출하는 방식으로 접근할 수 없고, curl만으로 얻을 수 있는 영역은 약 15%에 불과하다.
   2. 에이전트의 선택: 웹의 나머지 영역에서 실제 행동까지 하려면 검색·가져오기·브라우저 자동화가 함께 필요하다.

3. 엔비디아가 칩과 메모리를 이용해 가격을 나누는 방식

엔비디아의 지배력을 이해하려면 칩 자체와 CUDA라는 두 축을 분리해서 봐야 하며, 칩 쪽의 핵심은 AI 계산에 맞는 병렬 처리와 모델을 담을 메모리다.

3.1. GPU가 AI에 맞는 이유

1. 수많은 작은 코어가 거대한 모델을 훑는다

   1. 병렬 구조: GPU는 소수의 큰 코어 대신 수백만 개에 가까운 작은 코어를 사용해 AI 작업에 맞는 대규모 병렬 처리를 한다.
   2. 가중치 순회: 모델은 거대한 가중치와 파라미터의 묶음이므로, 응답을 만들려면 내부의 데이터를 계속 훑고 대규모 행렬 변환을 수행해야 한다.

2. 작은 두뇌 여러 개가 이 작업에서는 더 강하다

   1. 직관적 비유: 한 개의 거대한 두뇌보다 많은 작은 두뇌가 각각 데이터 일부를 처리하는 편이 이런 행렬 작업에 훨씬 강하다.
   2. 메모리의 필수성: 계산 코어만 많아서는 안 되며, 순회할 가중치를 칩 가까이에 충분히 보관해야 한다.

3.2. GPU를 구성하는 두 부품

1. 실리콘과 메모리가 역할을 나눈다

   1. 연산 실리콘: 실제 칩은 데이터를 처리하는 코어와 회로를 담는다.
   2. 고대역폭 메모리: 고대역폭 메모리(High-Bandwidth Memory)는 모델의 가중치와 중간 데이터를 보관해 연산부에 공급한다.

2. 메모리 용량이 가격을 폭발시킨다

   1. RTX 5090: 원래 소매가가 2,000달러였던 RTX 5090은 수요 폭증으로 현재 약 4,500달러에 거래되지만, 강력한 GPU를 얻는 가장 저렴한 선택지다.
   2. RTX Pro 6000: 서버용 RTX Pro 6000은 12,000~16,000달러이며, raw 성능은 RTX 5090과 비슷하거나 오히려 느릴 수 있다.
   3. 비싼 이유: RTX Pro는 96GB GDDR7 ECC 메모리를 쓰는 반면 RTX 5090은 32GB GDDR7 비-ECC 메모리만 쓴다. Pro가 CUDA 코어는 더 많지만 5090의 공정이 조금 더 새롭고 좋아서 순수 처리량은 근접하다.

3. 가격 차이는 메모리를 원하는 고객에게서 나온다

   1. 수요층의 차이: 빠른 칩과 많은 RAM이 동시에 필요한 기업은 게임용 GPU 구매자보다 훨씬 높은 가격을 지불할 의사가 있다.
   2. 오래된 전략: 엔비디아는 RAM 가격이 최근 오른 뒤가 아니라 훨씬 전부터 이 방식으로 시장을 나누고 가격을 책정했다.

3.3. GPU를 여러 장 연결하면 해결되지 않는 이유

1. 멀리 떨어진 냉장고 비유

   1. 주방의 한계: 식당 주방의 냉장고가 가득 차서 새 냉장고가 필요하지만 공간이 없어 1마일 떨어진 건물에 냉장고와 대형 냉동고를 둔다고 가정한다.
   2. 왕복 비용: 요리사가 재료가 필요할 때마다 1마일을 달려가 가져오고 다시 돌아와야 하므로 저장 공간은 늘어도 지연과 통신 비용이 커진다.

2. 모델 분할은 메모리 공유와 다르다

   1. 용량 초과: 32GB가 넘는 33GB 또는 40GB 모델은 한 장의 5090에 들어가지 않아 두 GPU에 데이터를 나눠야 한다.
   2. 동적 배분 문제: 어떤 GPU가 언제 어떤 데이터를 필요로 할지 예측하고 GPU 1과 GPU 2에 작업을 배분해야 한다.

3. 소비자 하드웨어의 연결 대역폭이 부족하다

   1. 부분적 해결책: Mixture of Experts 모델 같은 기법은 작업을 어느 정도 분산하기 쉽게 만들지만, 두 5090이 메모리를 합리적인 속도로 공유하게 해주지는 않는다.
   2. 속도 장벽: 자막에서 메모리 처리량이 최대 48Gbps에 이른다고 언급되며, GPU 사이에서 데이터를 옮기려면 그보다 더 빠른 연결이 필요하다. 일반 소비자 장비에서는 사실상 불가능하다.

4. DGX Spark가 보여 준 엔비디아의 선택적 업셀링

엔비디아는 RAM만 원하는 고객과 빠른 칩만 원하는 고객에게는 상대적으로 싼 선택지를 주지만, 두 가지를 모두 원하는 고객에게는 10배 이상 비싼 제품을 제시한다.

4.1. 4,000달러짜리 DGX Spark의 타협

1. 작은 박스지만 일반 컴퓨터로 쓰기 어렵다

   1. 구성: DGX Spark는 4,000달러에 20코어 ARM 칩을 넣은 소형 박스이며, Ubuntu 설치가 제대로 다듬어지지 않은 상태로 제공된다.
   2. 용도 제한: ARM Linux는 사용 경험이 매우 나쁘고, 이 장치를 일반 컴퓨터로 쓰기보다 추론 전용으로 사용하는 편이 낫다.

2. 큰 통합 메모리와 느린 메모리를 맞바꾼다

   1. 용량: 128GB의 통합 메모리(unified memory)를 제공해 CPU RAM과 GPU가 같은 메모리를 모델에 사용할 수 있다.
   2. 속도: LPDDR5라서 GDDR7보다 의미 있게 느리며, 숫자상 용량은 크지만 대역폭은 고성능 GPU보다 훨씬 낮다.

3. CUDA를 쓸 수 있지만 코어 수가 부족하다

   1. 호환성: CUDA 코어가 있어 CUDA 기반의 실제 워크플로를 돌릴 수 있다는 점은 분명한 장점이다.
   2. 성능: CUDA 코어가 약 6,000개라서 RTX 5090이나 RTX Pro의 24,000개 이상과 비교하면 훨씬 적다.

4.2. RAM·속도·가격의 세 갈래 선택

1. 각 제품은 한 가지 부족함을 감수하게 한다

   1. DGX Spark: 모델에 쓸 RAM은 넉넉하지만, 4,000달러를 내고도 매우 느린 칩과 최악의 컴퓨터 환경을 받아야 한다.
   2. RTX 5090: 칩은 강력하지만 32GB 메모리에 묶여 큰 모델을 올리기 어렵다.
   3. RTX Pro 6000: RAM과 고성능 칩을 모두 원하면 16,000달러 이상을 내야 한다.

2. 엔비디아의 가격 구조가 의도적으로 보인다

   1. 저렴한 용량: RAM이 더 필요하면 DGX Spark라는 비교적 싼 선택지가 있다.
   2. 저렴한 연산: 빠른 칩이 필요하면 5090을 살 수 있다.
   3. 비싼 양쪽의 조합: RAM과 속도를 모두 요구하는 순간 RTX Pro로 올라가며 가격이 10배 이상 뛴다.

3. Spark끼리는 네트워크로 묶을 수 있다

   1. 200Gbps NIC: 엔비디아는 Spark에 200Gbps 네트워크 인터페이스 카드(NIC)를 넣어 SFP를 통해 여러 대를 연결하고 비교적 빠르게 데이터를 주고받게 했다.
   2. 설정 비용: 연결 자체는 가능하지만 설정이 매우 어렵고, 여러 대를 묶는다고 저렴한 고성능 GPU 한 장이 되는 것도 아니다.

5. 중국산 칩이 실제 서비스에서 엔비디아를 대체하다

Aux Alpha 사례는 엔비디아 없는 중국산 칩 스택이 단순한 실험이 아니라 대규모 트래픽을 처리할 수 있음을 보여 준다.

5.1. Aux Alpha와 GLM의 무료 대규모 처리

1. 익명 모델이 등장했다

   1. 무료 처리량: Aux Alpha라는 익명 모델이 OpenRouter와 OpenCode에 등장했고, 하루 100조 토큰에 이르는 것으로 보이는 엄청난 무료 처리량을 제공했다.
   2. 사용자 반응: 모델 품질이 좋아 많은 사람이 사용했고, 제작자도 직접 많이 사용하며 별도의 호평을 남겼다.

2. Huawei 칩으로 트래픽을 처리했다

   1. 정체 공개: Aux Alpha는 뒤늦게 GLM 53 Flash로 밝혀졌다(자막 표기 기준).
   2. 엔비디아 없는 스택: 비교적 작은 모델이라는 점과 함께 Huawei가 만든 중국산 칩에서 모든 트래픽을 처리했기 때문에 공격적인 무료 서비스가 가능했다.

3. 중국산 하드웨어의 효율이 과소평가됐다

   1. 기존의 추정: 자막 화자는 이 정도 컴퓨팅 자원은 최전선 연구소만 가질 수 있다고 생각해 처음에는 당연히 엔비디아가 포함됐을 것이라고 추정했다.
   2. 새로운 추정의 확인: 비공개로는 Xiaomi가 중국산 칩으로 처리할 수 있다고 생각했지만, 약 2주 뒤 GLM이 같은 칩으로 다시 서비스를 제공하면서 중국산 하드웨어의 효율과 토큰당 비용이 엔비디아 GPU와 비교 가능한 수준임을 보여 줬다.

6. OpenAI Jalapeno가 CUDA 탈출을 현실화하다

OpenAI의 Jalapeno는 특정 모델만 빠르게 돌리는 전용 장치가 아니라 여러 모델과 작업을 처리하는 범용 추론 칩이며, 성능보다 전력당 처리량을 중시하는 설계 방향을 명확히 한다.

6.1. Cerebras와의 협력, 범용 ASIC 설계

1. OpenAI가 자체 칩을 추진한다

   1. 의존성 탈출: Jalapeno는 OpenAI가 엔비디아 의존의 비용·공급 지옥에서 벗어나기 위해 개발해 온 칩이다.
   2. Cerebras 협력: 빠른 추론 칩과 모델 호스팅으로 알려진 Cerebras와 협력해 속도를 높이고 비용을 낮추려 한다.

2. 특정 OpenAI 모델에만 맞춘 칩이라는 해석은 틀렸다

   1. 범용성: 언론이 OpenAI의 짧은 발언을 바탕으로 Jalapeno가 OpenAI 모델에만 최적화됐다고 보도했지만, 실제로는 모든 종류의 모델과 워크로드를 처리하는 범용 추론 칩이다.
   2. 검증 장면: OpenAI 엔지니어들과 함께 Inference X 벤치마크를 돌렸고, Codex 프롬프트만으로 칩에 Doom을 포팅해 실행하는 장면까지 보여 줬다.

6.2. 사양과 성능-per-watt

1. 하드웨어 사양이 HBM 용량과 전력에서 강점을 보인다

   1. 메모리·전력: 최대 216GB HBM, 700W 전력, FP4 기준 13.4 petaflops를 제공한다고 소개됐다.
   2. 정밀도별 비교: FP16 수치는 공개되지 않았고, FP8에서는 Nvidia GB200·GB300보다 약간 뒤처지지만 H100·H200보다 의미 있게 앞선다.
   3. 대역폭: HBM 용량뿐 아니라 메모리 대역폭도 경쟁 제품보다 높다.

2. 낮은 전력으로 Blackwell과 경쟁한다

   1. 범용 성능: Jalapeno는 특정 지점에 맞춘 튜닝 없이도 거의 모든 시나리오에서 Blackwell보다 전력당 성능이 높다고 소개됐다.
   2. 지연과 처리량: 낮은 지연이 중요한 대화형 사용과 높은 처리량이 중요한 대규모 서비스 양쪽에서 강점을 보인다.
   3. 전력당 토큰: 단일 토큰 예측의 공정한 비교에서 경쟁 제품을 크게 앞섰고, DeepSeek R1을 동시성 1에서 사용자당 700 TPS 이상 처리했다.

3. 벤치마크 조건이 성능을 과장하지 않는다

   1. 추론 방식: 700 TPS 결과는 speculative decoding이나 prefill/decode disaggregation 없이 단일 토큰 예측만으로 얻었다.
   2. 다른 모델: 자막 표기상 Kim 25와 GPT-OSS는 사용자당 1,400 tokens per second를 기록했고, GSM-8K 평가 결과도 엔비디아 칩과 동등해 모델을 약화시키지 않았다고 설명됐다.

6.3. HBM4와 대형 모델이라는 아직 남은 변수

1. 새 세대 메모리가 초기 우위를 만든다

   1. HBM4: Jalapeno는 최신 고대역폭 메모리인 HBM4를 사용해 구세대 메모리를 쓰는 제품보다 상당한 이점을 얻는다.
   2. Rubin의 시차: 엔비디아의 차세대 Rubin도 HBM4를 사용하지만 아직 실제 출시·대량 사용 단계가 아니며, 현재 고객이 주문하는 것은 Blackwell이다.

2. 엔비디아 고객은 Blackwell을 오래 기다려야 한다

   1. 공급 지연: Blackwell을 대량 주문한 고객도 칩을 실제로 받기까지 2~3년이 걸릴 수 있다.
   2. Rubin의 영향 시점: Rubin이 시장에서 의미를 갖기까지는 더 긴 시간이 필요하므로, 당장은 Jalapeno의 전력당 효율이 더 직접적인 위협이다.

3. 아직 거대 모델 성능은 검증되지 않았다

   1. 현재 벤치마크의 한계: 테스트된 모델은 크기 면에서 비교적 실행하기 쉬운 모델들이었다.
   2. 미확인 영역: Kimi K3나 DeepSeek 계열의 대형 모델을 올렸을 때도 같은 결과가 나올지는 아직 알 수 없다.

7. 애플 M5 Ultra가 DGX Spark의 존재 이유를 없애다

애플은 M5 Max와 M5 Ultra를 탑재한 Mac Studio로 대용량 통합 메모리와 높은 대역폭을 한 시스템에 제공하면서, 엔비디아의 RAM·속도·가격 분할을 정면으로 압박한다.

7.1. 오랫동안 멈춰 있던 Mac Studio의 변화

1. M4 세대의 공백이 컸다

   1. 업그레이드 지연: Mac Studio는 M3 시대 이후 제대로 업데이트되지 않았고, M4 Max는 나왔지만 M4 Ultra는 나오지 않았다.
   2. 메모리 제약: 많은 RAM이 필요하면 3년 반 이상 된 칩을 계속 써야 했고, M4 Max도 RAM 상한이 낮아 불편했다.

2. M5 Max와 Ultra가 공백을 메운다

   1. M5 Max: 128GB RAM과 초당 614GB의 메모리 대역폭을 제공한다.
   2. M5 Ultra: M5 계열 칩 두 개를 붙인 구조로 36 CPU 코어, 80 GPU 코어, 최대 512GB 메모리, 초당 1.2TB 대역폭, 32코어 Neural Engine을 갖는다.
   3. 영상 처리: 새 Ultra 칩은 30FPS의 8K ProRes 422 스트림 33개를 동시에 재생할 수 있다.

7.2. 통합 메모리가 추론용 VRAM이 된다

1. M5 Ultra의 실제 체감 개선

   1. 첫 토큰 지연: M5 Ultra Mac Studio의 time to first token은 M1 Ultra Mac Studio보다 10배 빠르다.
   2. 개선의 핵심: 성능 향상의 상당 부분은 단순한 칩 연산력보다 메모리 시스템의 발전에서 나온다.

2. Unified의 의미

   1. RAM과 VRAM의 통합: 통합 메모리는 일반 RAM으로도 쓰이고 GPU가 추론에 사용하는 VRAM으로도 쓰인다.
   2. 용량 활용: 별도 VRAM 상한에 갇히지 않아 큰 모델을 한 시스템 안에서 처리하기 쉬워진다.

7.3. Nvidia 제품과의 직접 비교

1. RTX 5090과 RTX Pro

   1. 5090: GPU 연산 성능은 매우 높지만 32GB RAM만 제공하며, Nvidia 방식의 유효 메모리 대역폭은 1,800GB/s다.
   2. RTX Pro: 비슷한 대역폭에 5090보다 3배 많은 메모리를 제공하지만 가격은 3배를 훨씬 넘는다.

2. DGX Spark와 M5 Ultra

   1. Spark의 타협: Spark는 최대 128GB를 제공하지만 통합 LPDDR5 대역폭이 5090의 약 7분의 1 수준이다.
   2. Ultra의 조합: 비교 대상으로 언급된 256GB 통합 메모리 구성은 Spark보다 거의 6배 빠르고 5090보다 약 30~40% 느린 정도로, 용량과 대역폭을 동시에 확보한다.
   3. 연산 성능의 변수: M5 Ultra가 5090이나 RTX 6000 Blackwell의 GPU 연산을 이길지는 출시 후 확인해야 하지만, DGX Spark보다 칩 자체가 훨씬 강력할 가능성이 높다.

3. 가격 대비 선택지가 뒤집힌다

   1. 가격: M5 Ultra는 10,000달러 MSRP이며 출시 전인데도 현재 가격이 유지되고 있다.
   2. 시장 효과: Spark보다 훨씬 많은 메모리와 훨씬 높은 대역폭을 제공하면서 Spark보다 의미 있게 강한 칩을 얻을 수 있어, Spark를 살 이유가 거의 사라진다.
   3. 대체 구매: Spark에서 RTX Pro 6000으로 업그레이드하려던 고객이나 Spark를 건너뛴 고객도 더 싼 가격에 훨씬 나은 경험을 얻을 수 있다.

4. 애플의 첫 실질적인 AI 하드웨어 공세

   1. 공세의 의미: 애플은 오랫동안 AI 인프라 시장에 적극적으로 뛰어들지 않았지만, 이번에는 대용량·고대역폭 통합 메모리로 엔비디아의 제품 구성을 직접 흔든다.
   2. DGX Spark 평가: Spark의 유효 메모리 대역폭, 칩, 시스템은 매우 나쁘며, 자막 화자는 이를 자신의 아파트에서 가장 싫어하는 컴퓨터라고 평가했다.

8. 전력당 성능이 미래의 핵심 경쟁 지표가 된다

OpenAI가 Jalapeno를 성능-per-watt 중심으로 설계한 이유는 돈이나 데이터센터 바닥 면적보다 전력 공급이 먼저 한계에 도달하기 때문이다.

8.1. OpenAI가 전력을 최우선으로 보는 이유

1. 데이터센터의 병목이 바뀐다

   1. 현재 제약: OpenAI는 예산이나 공간이 부족해서가 아니라 데이터센터에 공급할 전력이 부족해서 제한되고 있다.
   2. 경제적 지표: 같은 전력으로 더 많은 토큰을 생성하는 능력, 즉 tokens per megawatt가 매출과 직결된다.

2. 엔비디아도 전력의 중요성을 인정한다

   1. Jensen의 발언: Computex 2026에서 Jensen Huang은 미래 GPU의 핵심 기능으로 전력당 성능, 신뢰성, 긴 수명을 꼽았다.
   2. 수익 공식: “1기가와트의 전력이 있다면, 와트당 처리량이 곧 매출이다”라는 논리로 전력 효율을 설명했다.

9. Jensen Huang의 방어와 Nvidia의 생태계 확장

엔비디아는 수많은 XPU 발표를 위협으로 인정하기보다, 33년의 경험과 공급망 규모가 결국 시장 점유율을 지켜 줄 것이라고 주장한다.

9.1. Jim Cramer 인터뷰에서 드러난 공식 입장

1. Jalapeno에 대한 질문

   1. 질문의 요지: Jim Cramer는 OpenAI가 엔비디아를 해칠 수 있는 칩을 개발했다며, Jensen이 정말 괜찮다고 생각하는지 물었다.
   2. Jensen의 반응: 수많은 XPU가 발표되지만 이런 프로젝트는 어렵고 시작된 프로젝트가 취소되기도 한다고 답했다.

2. 공급망과 기술 규모를 강조했다

   1. 파트너 지원: 엔비디아는 파트너를 지원하고 세계 최고의 기술을 만들겠다고 했다.
   2. 생산 능력: 공급망과 기술을 확장할 규모가 있어 고객의 가장 큰 공급자가 될 자신이 있다고 말했다.
   3. 시장 지표: XPU와 스타트업이 계속 발표되는 동안에도 엔비디아의 AI 시장 점유율은 오르고, 성장 속도는 빨라지며, 기술 리더십은 확장되고 있다고 주장했다.

9.2. Hugging Face 인수의 양면성

1. 악의적 해석과 선의의 해석이 공존한다

   1. 통제 우려: 엔비디아가 Hugging Face를 소유하면 CUDA가 아닌 하드웨어에서 잘 실행되는 모델의 접근을 억제할 수 있다는 우려가 생긴다.
   2. 오픈소스 투자: 반대로 오픈소스 AI의 개발을 지원하고 더 많은 조직이 모델을 학습하게 만드는 진정성 있는 투자로 볼 수도 있다.

2. 훈련 단계에서는 CUDA가 여전히 강하다

   1. 수요 확대: 기업이 직접 학습·파인튜닝·커스텀 모델 제작을 시도하도록 장려하면, 그만큼 엔비디아 칩을 구매하는 장기 고객이 늘어난다.
   2. 포화 연장: 추론에서 대체 칩이 커져도 학습이 CUDA에서 계속 이루어지면 엔비디아의 압도적 점유율과 수익 구조를 더 오래 유지할 수 있다.

3. 재정 여력이 전략을 뒷받침한다

   1. 현금의 힘: 엔비디아는 여전히 막대한 돈을 벌고 있어 이런 생태계 투자를 정당화할 수 있다.
   2. 비용 규모: 약 129억 달러보다 적은 돈으로 사업 포지션을 더 유리하게 만들 수 있다면 그 자체로 매력적인 거래라는 냉소적 평가가 붙는다.

10. Elon Musk의 Terafab과 추가 경쟁자들

엔비디아에서 벗어나려는 움직임은 OpenAI와 중국에만 국한되지 않으며, SpaceX AI와 일론 머스크의 거대한 칩 제조 계획까지 연결된다.

10.1. Terafab이 겨냥하는 공급 부족

1. 머스크의 계약과 의존성이 동시에 커졌다

   1. GPU 보유량: 일론 머스크는 Jensen Huang과 가까운 사이이고 엔비디아와 큰 수익성 계약을 맺었으며, Anthropic보다 더 많은 GPU를 확보했다.
   2. 임대 사업: Anthropic은 머스크가 빠르게 GPU를 확보했기 때문에 현재 그의 GPU를 임대하고 있다.

2. 그럼에도 독점 탈출을 원한다

   1. Terafab의 목적: Terafab은 현재의 칩 생산량과 미래 수요 사이의 간극을 줄이기 위해 초대형 칩 제조 공장을 건설하려는 계획이다.
   2. 우주 산업의 수요: 미래가 별들 사이로 확장될 때 필요한 컴퓨팅 수요까지 고려한 장기 공급망 프로젝트다.

3. 규모가 기존 시설을 압도한다

   1. 비교 대상: Terafab은 Tesla의 Giga Texas 같은 거대 시설, 미국 국방부 건물, Mall of America보다도 거대하게 지어질 계획으로 설명된다.
   2. 수치: Apple Park의 약 25배, Pentagon의 약 20배 규모로 언급됐다.
   3. 참여 기업: Intel도 Terafab에 관여하고 있어 프로젝트의 방향은 더 흥미롭고 불확실해졌다.

10.2. AMD의 위치

1. 잠재적 승자지만 아직 뒤처져 있다

   1. 투자 관계: 자막 화자는 AMD 주식을 보유한 투자자지만 특별한 초기 투자자는 아니며, 현재 주식을 매수하는 정도라고 밝혔다.
   2. 현실 평가: AMD를 좋아하고 장기적으로 큰 승자가 될 가능성을 보지만, 현재 논의된 중국산 칩·Jalapeno·애플 제품을 따라잡기에는 상당히 뒤처져 있다.

2. 추격에는 시간이 필요하다

   1. 단기 전망: AMD가 곧바로 이 경쟁의 승자가 되기는 어렵다.
   2. 장기 가능성: 격차가 좁혀질 가능성은 있지만, 현시점에서는 시간이 더 필요하다.

주요 발언 모음

“GPU의 미래는 칩이 아니라 전력에서 싸우게 될 것이다.”

“1기가와트의 전력이 있다면, 와트당 처리량이 곧 매출이다.” — Jensen Huang

“엔비디아의 AI 시장 점유율은 오르고 있고, 성장은 가속되며, 기술 리더십은 확장되고 있다.” — Jensen Huang의 답변 요지

“RAM과 빠른 칩을 둘 다 원하면 10배 이상을 내야 한다.”

“애플이 AI 공간에 들어와 엔비디아가 너무 많이 장난친다고 말하며 끝내려 한다.”

핵심 데이터 & 수치

• RTX 5090: 최초 소매가 2,000달러, 실제 거래가 약 4,500달러, GDDR7 32GB, 약 24,000개 이상의 CUDA 코어급 제품과 비교되는 고성능 소비자 카드.
• RTX Pro 6000: 12,000~16,000달러, GDDR7 ECC 96GB, 5090과 비슷하거나 느릴 수 있는 raw GPU 성능.
• DGX Spark: 4,000달러, 20코어 ARM, 통합 LPDDR5 128GB, CUDA 코어 약 6,000개, 200Gbps NIC.
• M5 Max: 최대 128GB 메모리, 614GB/s 메모리 대역폭.
• M5 Ultra: 36 CPU 코어, 80 GPU 코어, 최대 512GB 통합 메모리, 1.2TB/s 대역폭, 32코어 Neural Engine, 8K ProRes 422 30FPS 33스트림 재생.
• M5 Ultra 추론 비교: M1 Ultra보다 time to first token이 10배 빠르고, 비교 구성의 256GB 통합 메모리는 DGX Spark보다 거의 6배 빠르며 RTX 5090보다 약 30~40% 느리다.
• Jalapeno: 최대 216GB HBM, 700W, FP4 13.4 petaflops, DeepSeek R1 동시성 1에서 사용자당 700 TPS 이상, 자막 표기상 Kim 25·GPT-OSS에서 사용자당 1,400 TPS.
• OpenRouter/OpenCode: Aux Alpha가 하루 약 100조 토큰의 무료 처리량을 제공한 사례.
• Terafab: Apple Park의 약 25배, Pentagon의 약 20배 규모로 설명된 초대형 칩 제조 시설.
• 전력 지표: OpenAI는 예산·공간보다 데이터센터 전력에 먼저 제한되며, tokens per megawatt가 핵심 성능 지표가 된다.

결론 및 시사점

1. 엔비디아의 해자는 CUDA와 학습 생태계, 메모리 공급, 계약, 공급망 규모가 겹쳐 있어 단일 경쟁 제품이 곧바로 무너뜨리기 어렵다.
2. 중국산 Huawei 칩에서 GLM 계열의 대규모 트래픽이 돌아간 사례는 엔비디아 없는 서비스가 이미 현실에서 작동함을 증명한다.
3. OpenAI Jalapeno는 범용 추론, HBM4, 700W 전력, 높은 전력당 토큰 처리량으로 엔비디아의 가장 중요한 약점인 비용과 전력을 공격한다.
4. 애플 M5 Ultra는 용량 부족의 5090, 가격 폭탄인 RTX Pro, 속도 부족인 DGX Spark 사이의 선택을 통합 메모리로 우회한다.
5. Hugging Face 같은 오픈소스 생태계에 대한 엔비디아의 투자는 CUDA 훈련 수요를 지키는 방어 전략이면서 대체 칩 확산을 늦출 수 있는 통제 수단이다.
6. 일론 머스크의 Terafab과 Intel의 참여 가능성은 칩 제조 능력 자체를 확보하려는 경쟁이 엔비디아 고객사 바깥의 산업으로 확대되고 있음을 보여 준다.
7. AMD는 잠재적 수혜자지만 현시점에서는 중국산 칩, Jalapeno, M5 Ultra 같은 새로운 축보다 뒤처져 있어 단기 추격에는 시간이 필요하다.
8. AI 경쟁의 다음 단계는 칩의 절대 성능보다 전력당 토큰, HBM 용량·대역폭, 공급망 신뢰성, 그리고 필요한 전력을 실제로 확보할 수 있는지에 의해 결정된다.
9. AI 모델이 제조사와 연구소가 자체 하드웨어를 설계하는 과정까지 돕게 되면, 엔비디아에 수조 달러 규모의 GPU 계약을 몰아주던 구조가 연구소와 고객의 직접 경쟁으로 바뀔 수 있다.
10. 전력 생산과 데이터센터 인프라가 확장되지 않으면 어떤 칩의 성능 향상도 최종적인 AI 확장을 보장하지 못하며, 엔비디아의 현재 시장 지위도 예상보다 빠르게 약해질 수 있다.