AI의 진짜 병목은 에너지일까 — Positron의 추론·데이터센터 전략

URL: https://www.youtube.com/watch?v=6ohZuFkq-aU
날짜: 2026-09-20
채널: 20VC with Harry Stebbings
출연: Thomas Somasekhar, Positron AI 공동창업자·회장

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==생성형 AI의 다음 병목은 단순한 전력 총량이 아니라, 메모리 중심의 추론 인프라를 실제로 배치할 수 있게 만드는 경제성·규제·에너지 생산·인간의 합의다.== Positron AI는 칩부터 하드웨어에 직접 붙는 소프트웨어, 랙 단위 시스템까지 만들어 토큰당 더 많은 지능을 더 적은 전력으로 제공하려 한다.

• 학습(training)은 주로 연산(compute) 중심이지만, 추론(inference)은 토큰을 생성할 때마다 모델 가중치를 읽어야 하므로 메모리 대역폭과 용량에 묶인다.
• 2014~2024년 GPU의 부동소수점 연산량은 약 120배 늘었지만 메모리 대역폭은 약 17배 늘어나는 데 그쳐 메모리 벽(memory wall)이 커졌다.
• 데이터센터 건설을 막으면 미국의 속도만 늦어질 뿐, 중국은 전력·토지·규제 제약을 무시하고 인프라를 확장할 수 있다는 전략적 비대칭이 생긴다.
• 에너지가 장기적으로 모든 진보의 기반이기는 하지만, 당장의 더 큰 제약은 에너지를 만들고 데이터센터를 짓는 데 필요한 자본·부채·인허가·정치적 합의다.

Positron의 관점에서 AI 인프라의 핵심 단위는 GPU의 FLOPs(초당 부동소수점 연산 횟수)가 아니라 유용한 결과를 얼마나 빠르고 싸게 만들어 내는가다. 모델이 똑똑해질수록 인간이 직접 프롬프트를 입력하는 속도가 병목이 되고, 로컬 모델이 데이터를 계속 관찰하다가 더 강한 클라우드 모델을 자율적으로 호출하는 구조가 다음 토큰 수요를 만든다.

1. Positron AI가 차지하는 위치와 학습·추론의 차이

Positron AI는 애플리케이션 회사가 아니라 생성형 AI 추론을 위한 반도체·시스템 회사이며, 칩에서 랙 규모 배포까지 하드웨어와 저수준 소프트웨어를 함께 통제한다.

1.1. 칩부터 랙까지 이어지는 추론 스택

1. Positron의 수직 범위

   1. 반도체: 추론에 맞는 칩을 만든다.
   2. 직접 하드웨어와 대화하는 소프트웨어: 칩 위에서 실행되는 저수준 소프트웨어를 함께 만든다.
   3. 시스템·랙 규모 배포: 개별 칩을 실제 데이터센터의 랙 단위 시스템으로 묶어 ChatGPT, Claude와 같은 애플리케이션을 지탱한다.

2. 추론을 선택한 이유

   1. 학습된 모델을 서비스에 배치하는 추론은 사용자가 실제로 토큰을 소비하는 단계다.
   2. 추론에서는 칩의 연산량뿐 아니라 가중치와 사용자별 컨텍스트를 얼마나 빠르게 읽고 보관하는지가 비용과 지연시간을 결정한다.

1.2. 학습은 연산 중심, 추론은 메모리 중심

1. 학습(training)의 성격

   1. 학습은 데이터 코퍼스가 이미 있으므로 문장·토큰·시퀀스를 대규모로 병렬 처리할 수 있다.
   2. 더 많은 파라미터와 FLOPs를 투입할수록 모델 성능이 좋아지는 스케일링 법칙(scaling laws)이 지난 10여 년 동안 관찰됐다.
   3. 규제와 수출통제가 FLOPs를 중시하는 까닭도 학습이 얼마나 많은 연산을 수행하는지로 대략적인 규모를 판단할 수 있기 때문이다.

2. 추론(inference)의 성격

   1. 추론은 생성할 다음 토큰을 미리 알 수 없으므로 토큰을 순서대로(auto-regressive) 만들어야 한다.
   2. 다섯 단어 뒤에 무엇이 나올지 알 수 없으므로 학습처럼 미래 입력을 한꺼번에 병렬화할 수 없다.
   3. 매 토큰마다 네트워크의 가중치를 읽어야 하며, 실제 수행되는 수학 연산보다 메모리에서 값을 가져오는 일이 병목이 된다.
   4. 생물학적 비유로 말하면 모든 토큰을 생성할 때마다 뉴런의 값을 다시 읽어야 하는 셈이다.

1.3. 메모리 벽이 커진 과정

1. 연산과 메모리의 속도 격차

   1. 2014년부터 2024년까지 단일 Nvidia GPU의 FLOPs는 약 120배 개선됐다.
   2. 같은 기간 메모리 대역폭(memory bandwidth)은 약 17배 개선되는 데 그쳤다.
   3. 연산이 필요한 문제는 GPU를 더 붙이면 빨라졌지만, 메모리 대역폭이 필요한 문제는 연산 장치를 추가해도 같은 비율로 빨라지지 않았다.

2. 왜 메모리가 뒤처졌는가

   1. 실리콘의 SRAM(Static RAM) 셀은 비트선·워드선·제어 로직을 포함한 약 6개 트랜지스터 구조이며, 지난 15년 동안 무어의 법칙만큼 작아지지 않았다.
   2. 연산 아키텍처에는 큰 발전이 있었지만 SRAM이라는 기본 메모리 원시구조는 약 30~40년 동안 근본적으로 달라지지 않았다.
   3. 2010년대의 CNN(Convolutional Neural Network)과 AlexNet·ResNet 계열은 주로 연산 중심이어서 메모리 용량·대역폭 부족이 덜 드러났다.
   4. 2017년 Attention Is All You Need가 발표됐지만, GPT-1·GPT-2를 거쳐 GPT-3가 약 10억에서 1,750억 파라미터로 커지며 능력이 크게 향상된 사실이 알려진 뒤에야 Transformer의 메모리 특성이 대중화됐다.
   5. 2022년 말 ChatGPT가 출시되면서 Transformer 전환이 일반 사용자에게도 명확해졌다.

2. 토큰 경제성과 ‘프런티어 속도 조절’ 논쟁

추론 비용은 표면적인 토큰 가격보다 캐시된 토큰이 만드는 원가 구조와 모델의 지능당 가치로 봐야 하며, 프런티어 개발을 멈추자는 요구는 안전 논리와 비용·책임·시장전략을 동시에 품고 있다.

2.1. 캐시된 토큰이 만드는 높은 마진

1. 캐시 토큰과 비캐시 토큰

   1. 이미 처리한 입력을 캐시에서 읽는 비용은 새 토큰을 다시 계산·생성하는 비용의 약 1/1,000 수준이다.
   2. 많은 공급자가 캐시 읽기 가격을 고객에게는 일반 입력보다 낮게 제시하지만, 실제 원가와 비교하면 여전히 매우 높은 마진을 남긴다.
   3. Anthropic API 사업의 매출총이익률이 약 80%라는 보고가 놀라운 이유는 어떤 산업에서도 이 정도 마진을 유지하기 어렵기 때문이다.

2. AI 회사가 모두 적자라는 통념의 반박

   1. OpenAI·Anthropic 같은 회사는 프런티어 학습을 계속하기 때문에 비용이 커 보인다.
   2. 학습을 중단하면 즉시 막대한 이익을 내는 구조이며, 학습 속도·모델 출시 주기·인프라 투자라는 조절 레버도 많다.
   3. 경쟁이 심해지면 높은 마진은 낮아지겠지만, 건강한 생태계에는 경쟁에 따른 마진 압축이 필요하다.
   4. ‘현금이 다 떨어져 시장이 0으로 간다’는 서사는 캐시 토큰과 API 경제성을 제대로 반영하지 않는다.

2.2. 프런티어 속도 조절에 대한 두 가지 반대 이유

1. 기술을 완전히 멈추자는 세력에 힘을 줄 위험

   1. ‘Pacing the Frontier’라는 이름의 안전 논의가 실제 정책으로 장기 중단을 만들면 기술 자체를 중단하고 싶은 세력에 정당성과 도구를 줄 수 있다.
   2. 인간이 장수하고 우주로 진출할 가능성을 포함해 AI가 인류 전반을 긍정적으로 변화시킬 가능성을 포기할 이유가 없다.

2. 소수에 기술이 집중되는 위험

   1. 가장 걱정되는 결과는 터미네이터식 파멸보다 기술 역량이 소수 기업·정부에 집중되는 시나리오다.
   2. 행렬 곱셈을 법으로 허가받게 만드는 식의 규제는 산업혁명 이전, 심하면 계몽주의 이전의 자유 개념으로 되돌아가는 ‘현대판 농노제’가 될 수 있다.
   3. 대부분의 토큰은 대형 사업자가 만들더라도, 기술을 대형 사업자만 쓸 수 있게 하면 그들이 새로운 영주·왕이 되고 나머지는 농노가 된다.

2.3. 안전 논의의 동기와 중국 변수

1. 규제에는 진짜 안전과 전략적 동기가 함께 있다

   1. Dario Amodei와 Anthropic의 많은 구성원은 기술의 가능성과 위험을 모두 진지하게 믿기 때문에 감사를 요구할 수 있다.
   2. 감사와 규제는 법적 책임을 분산하는 전략적 이점, IPO 전 비용을 낮추는 이점, 경쟁사의 숫자를 따라잡을 시간을 주는 이점도 갖는다.
   3. 막대한 부와 권력을 얻은 사람은 규칙을 자신이 계속 통제할 수 있다고 생각하기 쉽지만, 규칙이 만들어진 뒤에는 관료제가 기술을 장악할 수 있다.
   4. 규제를 요구한 지도자가 실제로 규제자가 될 것이라고 기대했다가, 진전은 멈추고 현재 역량은 소수 관료에게 배분되는 결과를 맞을 수 있다.

2. 중국이 추월하는 경우

   1. 중국 모델 생태계는 오픈소스와 제약 조건을 활용해 빠르게 발전하고 있다.
   2. 중국이 선두에 서면 지금의 개방 전략을 그대로 유지하기보다 사다리를 걷어차고, 중국공산당원이 아닌 약 10억 명이 같은 혜택을 누리지 못하게 할 가능성이 있다.
   3. 미국이 군사력에서 우위라는 사실이 미래 전쟁의 우위를 보장하지 않는다. 러시아·우크라이나에서 보듯 값싼 드론이 대량으로 국경을 넘어오는 상황에 미국이 대응해야 한다면, 과거 전쟁을 위해 만든 군사 체계만으로는 충분하지 않다.
   4. 미국이 여전히 압도적으로 앞서 있다는 전제 아래 수출통제만으로 후발국을 계속 뒤처지게 할 수 있다는 생각은 위험하다.

2.4. 자유무역과 수출통제의 조건

1. 개방의 기본 원칙

   1. 자유무역과 자유로운 아이디어 교환을 강하게 지지하며, 이를 받아들이는 사회에는 활발한 AI 생태계가 필요하다.
   2. 다만 중국처럼 세계 자유무역 질서의 이익은 취하면서 내부는 닫아두고, 그 이익을 전체주의 체제 유지에 수출하는 국가는 같은 규칙에 무임승차해서는 안 된다.

2. Zuckerberg와 Jensen의 태도 해석

   1. Mark Zuckerberg는 프런티어 개발을 계획대로 계속해야 한다고 공개적으로 반대했다.
   2. Jensen Huang의 침묵과 각 기업의 발언은 기술적 위험에 대한 평가이면서 동시에 각자의 사업·IPO·추격 전략일 수 있다.
   3. 정치인보다 실제 기술과 위험을 이해하는 Zuck이나 Dario의 발언을 더 중요하게 보되, 발언자의 동기를 함께 봐야 한다.

3. 데이터센터가 실제로 얼마나 지어질까

데이터센터 건설의 가장 큰 위험은 물리적 자원 부족보다 사실과 다른 정보가 정치적 반대 연합을 만드는 것이며, 미국에는 아직 광활한 토지와 새로운 전력원을 활용할 여지가 있다.

3.1. 반(反)데이터센터 정서와 물 사용량 오해

1. 좌우를 가로지르는 반대

   1. 데이터센터 반대가 좌우 진영을 거의 유일하게 묶는 이슈가 됐다는 점이 우려스럽다.
   2. 데이터센터가 전력·물을 빼앗고 보기 흉한 시설을 동네에 세운다는 프레임이 확산되고 있다.

2. 자주 반복되는 수치의 오류

   1. 미국 최대 데이터센터보다 In-N-Out 매장 하나가 더 많은 물을 쓴다는 비교가 언급될 정도로, 초기 보도에는 단순하고 부정확한 수치가 많았다.
   2. 골프장은 데이터센터보다 물 사용량이 몇 자릿수나 더 클 수 있다.
   3. 많은 데이터센터는 폐쇄형 액체 냉각(closed-loop liquid cooling)을 사용하므로 물을 계속 소모하는 구조로 단순화해서는 안 된다.

3. 데이터센터의 미관

   1. 수천 년 뒤의 역사가들이 기술 문명을 돌아볼 때 초대형 데이터센터는 피라미드나 세계 불가사의처럼 보일 수 있다.
   2. 시설을 주변 환경과 연결하고 건축적으로 아름답게 만드는 미화 캠페인이 필요하다.

3.2. 중국과 미국의 건설 조건

1. 중국의 속도

   1. 중국은 기가와트 단위의 신규 발전 용량을 추가하고, 상당 부분을 오염을 유발하는 방식으로 건설한다.
   2. 주민을 강제로 이주시키고 지역에 순환정전을 감수시키면서 새로운 학습·추론 용량을 확보할 수 있다.
   3. 서구 사회가 거짓 정보에 기반해 기업·정부·시설을 비판하며 속도를 늦출 자유는 소중하지만, 중국과의 전략 경쟁에서는 불리하게 작용한다.

2. 미국의 잠재력

   1. 미국 서부에는 사람이 거의 없는 넓은 연방 토지가 남아 있으며, 국립공원이 아닌 연방 토지의 90% 이상이 비어 있는 사막에 가깝다는 관점이 제시된다.
   2. 네바다에는 지열·태양광 자원이 풍부하고, 사람이 없는 사막 한가운데 원자력 발전과 데이터센터를 건설할 수 있다.
   3. 사람이 수백 마일 떨어진 BLM 토지를 활용하는 것까지 막는 규제는 현실과 맞지 않는다.

3. 전력 가격에 대한 공급·수요 반론

   1. 데이터센터가 주택에 배정된 전력을 빼앗는다는 주장은 신규 발전 용량을 함께 짓는다는 전제를 무시한다.
   2. 전력회사는 주택 수요를 위해 일정한 예비 용량(buffer)을 확보하고 그 비용을 가격에 반영한다.
   3. 새 데이터센터는 자체 사용량을 충당하고 그 이상을 생산할 발전 용량을 함께 가져오는 경우가 많다.
   4. 전력망 접속을 허용하면 신규 발전 용량이 시장에 추가돼 소비자 가격을 낮출 수 있는데, 기존 전력회사는 가격 하락을 우려해 로비할 유인을 갖는다.

3.3. 실제 완공률과 입지 이동

1. 계획이 사라지지는 않는다

   1. 주요 데이터센터 사업자가 발표한 총 용량이 그대로 같은 지역에 지어지지는 않을 수 있다.
   2. 지방정부가 시설을 막으면 사업자는 다른 지역으로 옮기며, 1년 전보다 정치적 문제를 심각하게 인식한 사업자들이 지역 교육에 더 투자하고 있다.
   3. 반대가 없는 지역과 미국 서부의 넓은 토지를 활용하면 전체 용량 확대가 중단되는 실존적 위협은 아니다.

2. 우주와 해저·해상 데이터센터

   1. Elon Musk가 우주 데이터센터를 추진한다면 처음부터 정해진 목적이 아니라 사업이 다른 형태로 진화하는 사례가 될 수 있다.
   2. 단기적으로는 지상 건설이 싸고 쉽지만, 장기적으로 인류가 잠재력을 실현하려면 우주 경제가 필요하므로 우주 데이터센터를 완전히 무시할 수 없다.
   3. Positron이 협력하는 Panthalassa는 바다 한가운데서 작동하는 펌프식 수력(pumped hydro)과 해양 데이터센터를 개발하고 있다.

4. 에너지·경제·부채가 만드는 진짜 병목

에너지 효율 개선은 데이터센터 건설을 줄이는 대신 같은 전력으로 더 많은 지능을 생산하게 하며, 단기 병목은 발전 기술 자체보다 이를 건설할 경제적 여력이다.

4.1. 와트당 추론량과 Jevons식 반등

1. Positron의 목표

   1. 같은 메가와트로 더 많은 컴퓨트와 능력을 제공해 토큰당 에너지 효율을 높인다.
   2. Nvidia 장비로 500MW가 필요했던 컴퓨트를 Positron 장비로 100MW에 수행할 수 있다고 가정해도, 사업자는 100MW 시설 하나만 짓지 않는다.
   3. 절약된 전력은 같은 시설에서 더 많은 토큰·더 높은 지능·더 많은 사용자를 처리하는 데 재투입된다.

2. 장기 에너지 관점

   1. 불의 발견부터 원자력발전소까지 인류의 진보는 에너지를 생산·사용하는 능력의 확장과 함께해 왔다.
   2. 수백·수천 년의 시간축에서는 모든 진보가 결국 에너지 문제로 환원된다.
   3. 에너지가 존재해도 경제성이 없으면 개발되지 않으므로 ‘에너지 부족’보다 ‘경제적으로 감당할 수 있는 에너지와 인프라’가 더 정확한 병목이다.

4.2. 국채와 금융 시스템

1. 주권 부채 문제

   1. 정부가 자체 통화를 무한히 발행할 수 있다는 사실은 인플레이션과 통화가치 하락의 2차·3차 효과를 숨긴다.
   2. 가장 안전한 자산으로 여겨진 미국 국채와 채권시장에도 위험 인식이 커지고 있으며, 그 영향은 금융 시스템 전체로 퍼질 수 있다.
   3. AI 기업이 매출 목표를 달성하지 못하는 것보다, 누적된 국가 부채가 특정 시점에 급성 통화·금융 위기로 표출되는 가능성이 더 걱정스럽다.

2. Oracle과 미국 정부의 비교

   1. Oracle의 사업 실행 능력과 비즈니스 모델을 미국 정부보다 더 신뢰한다는 과격한 비교가 제시된다.
   2. 미국 정부는 자체 통화를 발행하고 과세를 집행할 군대와 핵무기를 보유하기 때문에 형식상 더 안전해 보일 뿐, 그 자체가 재정 건전성을 의미하지는 않는다.
   3. AI 인프라의 부채가 문제라기보다, 모든 인프라 투자를 떠받치는 국가 금융 시스템의 신뢰가 더 큰 상위 위험이다.

5. KV 캐시와 추론 메모리의 ‘보이지 않는’ 구조

추론 비용을 이해하려면 토큰과 시퀀스, KV 캐시, 양자화, 메모리 계층을 함께 봐야 하며, 실제 서비스에서 가장 가치 있는 에이전트 작업은 극도로 높은 캐시 적중률을 보인다.

5.1. 토큰·시퀀스·KV 캐시

1. 토큰(token)

   1. 모델은 거대한 텍스트 코퍼스를 통계적으로 분석해 자주 반복되는 접두사·접미사·단어 조각을 어휘로 만든다.
   2. 화면에 출력되는 토큰은 때로는 완전한 단어이고, 때로는 단어의 작은 일부다.
   3. 영어 대규모 코퍼스에서 토큰 하나는 평균적으로 단어의 약 절반에서 75% 정도에 해당한다.

2. 시퀀스(sequence)

   1. 사용자의 프롬프트와 모델이 지금까지 생성한 모든 토큰이 순서대로 쌓인 것이 시퀀스다.
   2. ‘프랑스의 수도는?’이라는 입력이 토큰화돼 모델에 들어가고, ‘파리’와 이후 설명이 차례로 이어지는 식이다.

3. KV 캐시(key-value cache)

   1. Transformer 초기 구현은 이미 처리한 토큰까지 매번 다시 계산했다.
   2. 현재 입력과 생성 결과에 의해 정해지는 K(key)·V(value) 행렬을 저장하면 기존 토큰의 계산을 반복하지 않아도 된다.
   3. 계산량은 시퀀스 길이에 따라 사실상 제곱(quadratic)으로 늘지만, K·V를 저장하는 공간은 선형(linear)으로 늘어난다.
   4. 계산을 저장공간으로 바꾸는 대신, 사용자마다 다른 캐시를 얼마나 오래 보관하고 어디에 둘지 결정해야 한다.

5.2. 캐시 적중률과 규모

1. 에이전트 코딩의 캐시성

   1. SemiAnalysis의 AgentX 벤치마크는 Claude Code 세션처럼 수십~수백 번 상호작용하고 서브에이전트를 사용하는 실제 추적 데이터를 분석한다.
   2. 이런 세션 전체 토큰의 약 96%가 캐시된다는 결과가 나왔다.
   3. 캐시를 무시하면 서비스가 작동하기는 하지만 비용·성능·경제성이 모두 크게 악화된다.

2. 모델과 사용자 컨텍스트의 용량

   1. GPT-4가 약 1.8조 파라미터라는 유출 추정치를 사용하고, 이를 INT4로 양자화하면 모델 가중치가 약 900GB가 된다.
   2. Claude의 가상적인 10조 파라미터 모델은 같은 방식으로 약 5TB가 된다.
   3. 긴 컨텍스트에서 사용자 한 명의 세션 캐시가 약 100GB가 될 수 있다.
   4. 사용자 50명의 캐시만 모아도 모델 가중치 자체보다 커진다.
   5. 실제 서비스는 50명보다 훨씬 많은 사용자를 상대하므로, 가중치와 사용자 캐시 사이에 가속기 메모리를 어떻게 배분할지가 핵심 운영 문제가 된다.

5.3. 양자화와 메모리 계층

1. 양자화(quantization)

   1. 과거 범용 계산은 FP32(32비트 부동소수점)가 중심이었지만, 모델 표현에 32비트 정밀도가 과도하다는 사실이 드러났다.
   2. FP16, Google의 BF16, FP8, FP4로 정밀도를 낮추면서 저장 공간과 연산량을 줄였다.
   3. 16개의 FP16/BF16 값을 단순히 INT4/FP4로 줄이면 75% 공간을 아끼지만 벤치마크가 20~30% 나빠질 수 있어 모델을 ‘뇌손상’시킨 것과 같은 결과가 난다.
   4. 고급 양자화는 16개 값에 공유되는 FP16 스케일·바이어스·배율을 함께 저장해 압축하면서도 품질 손실을 약 1% 안으로 줄인다.
   5. 가중치뿐 아니라 KV 캐시와 활성값에도 양자화를 적용할 수 있지만, 공짜 압축은 아니며 정밀도와 능력 사이의 교환이 남는다.

2. 계층형 메모리

   1. 가속기 메모리는 가중치와 지금 당장 처리하는 활성 세션을 담는다.
   2. 최근 몇 초간 사용됐지만 현재 요청이 없는 세션은 호스트 메모리로 옮기며, 호스트에는 가속기보다 대략 4~10배 많은 메모리를 둘 수 있다.
   3. 몇 분에서 몇 시간 사용하지 않은 캐시는 NVMe 같은 플래시, 네트워크 스토리지, 느린 SSD로 내린다.
   4. 6개월 전 ChatGPT 세션 같은 캐시까지 고가의 가속기 메모리에 둘 필요는 없다.
   5. 이 계층화는 용량을 늘리지만 언제 어떤 캐시를 어느 계층에 둘지 결정하는 스케줄링 복잡성을 만든다.

5.4. Positron의 메모리 전략과 긴 컨텍스트

1. 더 큰 메모리 용량

   1. Positron의 차세대 세대는 Nvidia의 가장 큰 메모리 SKU보다 장치당 메모리 용량이 8배 많아질 예정이다.
   2. 오늘날 모델이 지원하는 약 100만 토큰 컨텍스트도 대형 코드 저장소 일부만 담을 수 있다.
   3. 여러 대형 코드베이스가 서로 정보를 교차 활용하는 에이전트 코딩에는 1,000만 토큰 이상이 유용할 수 있다.

2. 알고리즘이 하드웨어를 보완한다

   1. 선형·희소 어텐션(linear/sparse attention)은 긴 컨텍스트에 필요한 저장공간과 연산을 줄인다.
   2. 중국 모델 연구소는 수출통제로 고용량·고FLOPs 칩에 접근하기 어려운 제약을 알고리즘 혁신으로 바꿨다.
   3. DeepSeek V3는 Multi-Head Latent Attention(MLA)으로 KV 캐시를 크게 줄였고, 더 많은 FLOPs를 지불해 더 작은 캐시를 얻는 구조다.
   4. Gated DeltaNet과 파생 방식은 어텐션 구간에 쓰는 전체 시간을 약 75% 줄일 수 있는 유망한 방법이다.
   5. MLA는 비용을 공짜로 줄이지 않는다. 모델 능력의 일부를 희생하는 대가가 있고, 미국 주요 연구소는 아직 MLA를 쓰지 않는 것으로 알려져 있지만 향후 바뀔 수 있다.

3. 긴 컨텍스트의 진짜 기준

   1. 100만 토큰을 입력받는다고 선언하는 것과 그 안의 정보를 실제로 기억하고 활용하는 것은 다르다.
   2. 과거 모델은 64,000토큰을 넘으면 회상 능력이 크게 무너지는 경우가 있었다.
   3. RULER의 ‘바늘을 건초더미에서 찾기(needle in a haystack)’ 테스트는 책의 문단 같은 잡음을 컨텍스트에 채우고 중간에 숨긴 해시값을 찾게 한다.
   4. 출시 6~7주 된 GPT-5.6은 약 70%만 성공했지만, GPT-6 Astra는 95% 이상 성공했다는 비교가 제시된다.

6. 로컬 모델, 프런티어 모델, 그리고 GPT-6 Astra

로컬 모델은 클라우드 토큰을 대체하기보다 개인 데이터를 지속적으로 관찰하고 더 강한 모델을 호출하는 관문이 되어 전체 토큰 소비를 늘릴 가능성이 크며, 모델 규모의 스케일링도 당분간 멈출 조짐이 없다.

6.1. 기업용 소형 모델과 프런티어 모델의 공존

1. 현재 토큰 점유율

   1. 전체 토큰의 약 80~85%는 상위 4개 모델 회사에서 소비·생성된다.
   2. 그 다음 3~4개 회사가 추가로 약 5~10%를 차지한다.
   3. 온프레미스·기업 자체 모델이 전체 토큰의 약 5%를 가져가는 전망은 충분히 가능하지만, 고용량·고가치 작업은 대형 프런티어 모델에 남는다.

2. 기업이 소형 모델을 소유하는 이유

   1. 비용을 아끼고 독점 데이터를 외부로 내보내지 않기 위해 사내 모델을 운영한다.
   2. 대기업조차 가장 큰 모델의 학습 자원과 인력을 직접 감당하기 어렵기 때문에 오픈소스 모델을 개조하거나 더 작은 모델을 만든다.
   3. Positron 내부에서도 오늘은 토큰 가격보다 10배 더 많은 결과 가치를 얻는지가 중요하므로, 프런티어 능력이 10배 좋아지면 토큰당 10배를 지불할 수 있다.

3. 로컬 모델이 클라우드 수요를 늘리는 경로

   1. 휴대폰·노트북의 모델이 이메일·캘린더·메시지를 항상 읽고 어떤 정보가 중요한지 판단한다.
   2. 단순한 답은 로컬에서 처리하지만, 더 많은 지능이 필요한 작업은 OpenAI나 Anthropic 같은 클라우드 모델에 자동으로 질의한다.
   3. 인간이 직접 질문할 때는 생각의 빈도가 토큰 소비의 병목이지만, 로컬 모델이 자율적으로 판단하면 한 사람이 만드는 클라우드 요청 수가 크게 늘어난다.

6.2. 스케일링 법칙과 AGI 체감

1. 모델 규모의 다음 단계

   1. 1억→10억→100억→1,000억→1조 파라미터로 갈 때 능력이 상승한 경험적 패턴이 있다.
   2. 1조에서 5조·10조 파라미터로 커질 때도 아직 상승 징후가 보이며, 50조·100조로 이어지지 않을 수학적 증명은 없지만 멈출 조짐도 없다.
   3. ‘스케일링 법칙’은 관찰된 법칙이지 영원히 지속된다는 증명은 아니므로, 전망은 경험과 직관에 기반한다.

2. GPT-6 Astra가 준 체감

   1. 2022년 11월 GPT-3.5 기반 ChatGPT를 처음 사용했을 때 호텔에서 새벽까지 무작위 프롬프트를 입력했던 경험은 컴퓨터와의 가장 마법적인 첫 만남에 가까웠다.
   2. Sora 2는 제한 없이 생성할 수 있던 첫 주말에 영상의 충실도와 품질로 비슷한 충격을 줬다.
   3. GPT-6 Astra는 Thomas가 AGI에 가깝다고 느낀 모델이며, 단순한 코딩 성능 향상과 ‘세상이 달라졌다’는 능력 향상을 동시에 보여줬다.

6.3. Astra의 세 가지 돌파 사례

1. 어려운 소프트웨어 아키텍처 문제

   1. 다른 LLM이 해결하지 못하거나 우아하지 않은 해법을 반복하던 문제를 Astra는 처음부터 한 번에 해결했다.
   2. 코드베이스에서 성능 개선과 버그를 찾고, 사람이 알지 못했던 코드 영역의 개선 공간을 발견해 직접 수정했다.
   3. 일반 코딩 능력은 큰 단계적 도약(step function)이지만 완전히 믿기 힘든 수준의 마법은 아니었다.

2. 컴퓨터 사용과 창작 도구

   1. Blender 같은 범용 도구로 애니메이션을 만들고 온라인에 유통되는 영상을 높은 충실도로 재현한다.
   2. 사진 몇 장만 보고 집의 인테리어를 설계할 수 있어, 텍스트 모델이 실제 공간 디자인까지 해낼 수 있다는 기대를 넘어섰다.

3. 칩 설계의 RTL-to-GDS 자동화

   1. 간단한 암호화 블록을 설계하는 사양을 받고 Verilog 하드웨어 기술 언어를 작성한 뒤, RTL에서 최종 GDS까지 이어지는 전자설계자동화(EDA) 흐름을 완주했다.
   2. EDA 도구는 1990년대~2000년대 초에 설계됐고 공개 웹에 문서가 거의 없어 LLM이 학습하기 어려운 영역이다.
   3. GPT-6 Astra는 컴퓨터 사용과 강력한 스크립팅을 결합해 TSMC의 3nm PDK로 설계를 수행하고, 1GHz 이상으로 동작하는 결과를 50여 시간 조금 넘게 걸려 GDS까지 밀어붙였다.
   4. 비슷한 업무에 새로 투입된 엔지니어라면 흐름을 작동시키는 데 약 1주, 최적화에 1~2주가 더 걸릴 작업이다.
   5. 2~3주 업무를 이틀 남짓으로 줄였다는 점이 훈련 데이터만 생각하면 설명하기 어려운 수준의 압축이다.

7. 커스텀 칩의 확산과 추론 가격의 미래

OpenAI·Anthropic·DeepSeek 등 주요 모델 회사가 자체 칩을 만들면 반도체가 다시 산업의 중심이 되고, 토큰당 가격은 남겠지만 경제적 가치는 ‘유용한 결과’ 단위로 이동할 수 있다.

7.1. 모델 회사의 수직 통합

1. 자체 칩이 만드는 효과

   1. OpenAI가 ‘Jalapeño’라는 이름의 칩을 공개했고 Anthropic과 DeepSeek도 자체 칩을 개발하는 흐름이 나타난다.
   2. 소비자 관점에서는 칩 비용을 낮추고 능력을 높여 더 많은 사람에게 AI를 공급하는 좋은 경쟁이다.
   3. 13년 전 반도체가 Silicon Valley에서 외면받던 ‘더러운 단어’였지만, 이제 가장 흥미로운 애플리케이션 회사들이 실리콘까지 수직 통합한다.

2. 다양한 설계의 공존

   1. 기업들은 모두 더 싼 추론과 더 높은 능력이라는 거시 목표를 공유하지만, 구현 방식과 아키텍처는 다르다.
   2. Hot Chips 같은 컨퍼런스에서 예전보다 공개 정보가 줄었어도 설계 논의와 지식 공유는 여전히 상당히 열려 있다.
   3. Positron도 고유한 아키텍처 선택을 발전시키고 있으며, 여러 방향의 내기가 공존할 공간이 있다.
   4. 최종적으로 무엇이 가치 있는지는 시장이 결정하고, 가치를 만든 설계가 보상받는다.

7.2. 2021년의 60달러 토큰과 2026년의 1달러 토큰

1. 가격 하락만으로 가치를 평가할 수 없다

   1. Silicon Data 토큰 가격 지수는 5년 전 백만 토큰당 60달러에서 최근 1달러 아래로 떨어졌다.
   2. 5년 전 60달러짜리 토큰은 오늘 기준으로 아무도 돈을 내지 않을 정도로 낮은 품질이었다.
   3. 반대로 오늘 1달러 토큰은 GPT-3가 최고 모델이던 2021년의 수준보다 훨씬 높은 지능과 생산성을 제공한다.

2. 지능 단위의 경제적 가치

   1. GPT-3는 2020년 8월 출시 뒤 2022년 11월 ChatGPT까지 2년 반 동안 사실상 최고 모델이었다.
   2. GPT-3.5는 같은 기반 모델에 인간 피드백 강화학습을 더한 정도였지만, GPT-6과 비교하면 경제적 생산성 가치는 크게 다르다.
   3. 오늘의 토큰은 단순한 가격 하락을 넘어 보수적으로 100배, 넓게는 1,000배 더 가치 있다고 볼 수 있다.

3. 토큰당 가격 이후

   1. Greg Brockman은 GPT-6 출시와 함께 토큰 가격보다 ‘유용한 결과당 비용’을 향하고 싶다고 말했다.
   2. 유용한 결과를 정량화하기 어렵기 때문에 토큰 가격은 원가와 마진을 계산하기 쉬운 표준 단위로 오래 남을 가능성이 크다.
   3. GPT-7·GPT-8이 초인적이고 완전한 가상 직원처럼 일한다면, 사업자는 토큰별 과금 대신 연간 100만 달러의 무제한 에이전트 사용료를 받을 수도 있다.

7.3. 거품 붕괴의 징후와 데이터 기업

1. 가능한 균열

   1. 프런티어 모델에서 오픈 웨이트 모델로 수요가 이동하는지 본다.
   2. Anthropic과 OpenAI가 다음 해에도 같은 수준의 성장·매출 목표를 달성하지 못하는지 본다.
   3. 두 핵심 리더의 내부 갈등이 드러나고 AI 거품의 기대가 꺾이는지도 지표가 된다.
   4. 다만 로컬·오픈 모델의 발전이 오히려 클라우드 모델의 자동 호출과 토큰 물량을 늘릴 수 있어, 이것만으로 붕괴를 예상하기는 어렵다.

2. 데이터 노동 기업의 잠재력

   1. Mercor와 Surge가 각각 30억 달러 매출 수준에 접근한다는 사례가 언급된다.
   2. Anthropic과 OpenAI가 장기적으로 4~5조 달러 기업이 될 수 있다면, 이들을 돕고 자체 모델을 만드는 기업을 지원하는 Mercor·Surge도 2,000억 달러 회사가 될 수 있다는 전망이 가능하다.
   3. 현재 프런티어 연구소가 데이터 수집·라벨링 기업을 직접 통합하지 않는 이유는 자본과 집중력을 모델 개발에 쓰는 편이 더 낫기 때문이다.
   4. 그러나 GPT-7·GPT-8이 대기업 운영을 Sam Altman만큼 잘한다면, 데이터 노동·경영·운영 업무 자체가 에이전트로 수직 통합될 수 있다.

주요 발언 모음

“추론은 연산 문제가 아니라 메모리 문제에 훨씬 더 가깝다. 생성되는 모든 토큰마다 가중치를 읽어야 한다.”

“기술과 역량이 소수에게 집중되는 것이 내가 가장 걱정하는 AI 결과다. 모두가 행렬 곱셈을 할 수 없게 만드는 것은 자유주의적 자유에 대한 가장 큰 공격이다.”

“프런티어를 멈추는 것은 기술을 완전히 중단하려는 사람들에게 탄약과 더 나은 근거를 줄 수 있다.”

“Nvidia 장비로 500MW가 필요했던 일을 100MW에 할 수 있어도, 100MW만 짓는다는 뜻은 아니다. 같은 전력으로 더 많은 토큰과 지능을 만들 것이다.”

“100만 토큰을 지원한다고 말하는 것과 그 컨텍스트를 효과적으로 사용할 수 있는 것은 전혀 다른 문제다.”

“다음 몇 차례 규모의 토큰 증가를 만드는 순간은 인간이 로컬 LLM을 신뢰해 스스로 더 똑똑한 모델을 호출하고 일을 결정하게 될 때다.”

핵심 데이터 & 수치

• Positron Series C: 5십억 달러 기업가치에서 8억 7,500만 달러를 조달했다는 소개가 나왔다.
• GPU 연산량: 2014~2024년 약 120배 증가.
• 메모리 대역폭: 같은 기간 약 17배 증가.
• 캐시 토큰 원가: 새 토큰을 생성·재계산하는 비용의 약 1/1,000.
• Anthropic API 매출총이익률: 약 80%라는 보고가 언급됨.
• 에이전트 코딩 캐시율: AgentX 추적 세션에서 전체 토큰의 약 96%.
• 추정 모델 용량: GPT-4 1.8조 파라미터·INT4 약 900GB, 가상 Claude 10조 파라미터·약 5TB.
• 사용자 캐시: 긴 컨텍스트에서 한 세션 약 100GB, 50명만으로 모델 가중치 규모를 넘을 수 있음.
• Positron 차세대 메모리: Nvidia 최고 메모리 SKU보다 장치당 약 8배.
• 컨텍스트 목표: 현재 약 100만 토큰에서 1,000만 토큰 이상으로 확대될 여지.
• KV/어텐션 알고리즘: Gated DeltaNet 계열은 어텐션 시간 약 75% 절감 가능성이 언급됨.
• 긴 컨텍스트 회상: GPT-5.6 약 70%, GPT-6 Astra 95% 이상이라는 RULER 계열 비교.
• 토큰 가격: 5년 전 백만 토큰당 60달러에서 최근 1달러 미만.
• 토큰의 지능 가치: 가격 하락과 별개로 현재 토큰이 과거보다 100~1,000배 가치 있을 수 있음.
• 토큰 점유율: 상위 4개 모델 회사 약 80~85%, 온프레미스·자체 모델은 장기적으로 약 5% 가능성.

결론 및 시사점

1. 추론 하드웨어는 FLOPs 경쟁만으로 평가하면 안 된다. 모델 가중치와 사용자별 KV 캐시를 지속적으로 읽고 보관하는 메모리 용량·대역폭·계층화가 실제 원가를 결정한다.
2. AI 효율 개선은 데이터센터 수요를 줄이지 않을 수 있다. 와트당 토큰이 늘면 사업자는 절약된 전력으로 더 많은 사용자와 더 긴 컨텍스트를 처리한다.
3. 에너지의 상위 병목은 경제성과 인허가다. 발전 기술은 존재하지만 부채·국채·금리·전력망 접속·지역 정치가 건설 속도를 결정한다.
4. 미국은 데이터센터를 막는 대신 입지를 바꿔야 한다. 네바다의 사막, 지열·태양광·원자력, 자체 발전을 결합하면 주택 전력과 직접 경쟁하지 않는 확장이 가능하다.
5. 반데이터센터 운동의 수치 주장을 검증해야 한다. 폐쇄형 냉각, 골프장과 식당의 물 사용량, 신규 발전 용량을 제외한 단순 비교는 정책 판단을 왜곡한다.
6. 긴 컨텍스트는 숫자보다 회상 품질이 중요하다. 100만 토큰이라는 최대치보다 6만~100만 토큰 안에서 정보를 실제로 찾고 조합하는 능력을 측정해야 한다.
7. 로컬 LLM은 클라우드의 적이 아닐 수 있다. 개인 데이터와 업무를 지속적으로 관찰하는 로컬 모델이 더 어려운 판단을 프런티어 모델에 위임하면 총 토큰 사용량이 폭증할 수 있다.
8. 프런티어를 멈추자는 정책은 기술 독점을 강화할 수 있다. 안전장치가 필요하더라도 공개 연구·개방형 모델·경쟁을 막아 소수 기업과 정부에 역량을 몰아주는 결과를 피해야 한다.
9. 스케일링 법칙은 아직 경험적으로 유효하다. 1조에서 5~10조, 더 나아가 50조 파라미터로의 확장이 언제 멈출지는 모르지만, 현재 데이터만으로 중단을 단정할 근거는 약하다.
10. AI 정렬(alignment)은 인간 정렬(human alignment)까지 포함해야 한다. 모델의 가치와 목표를 맞추는 기술적 연구만으로는 부족하며, 사회가 규제·에너지·토지·경제적 인센티브를 함께 조율해야 AI가 만들어낼 생산성의 혜택을 누릴 수 있다.

핵심 요약 (20줄)

1. Positron AI는 AI 추론을 위한 칩, 저수준 소프트웨어, 시스템과 랙 규모 배포를 함께 만든다.
2. 학습은 병렬화가 쉬운 연산 중심 작업이지만 추론은 매 토큰마다 가중치를 읽는 메모리 중심 작업이다.
3. 2014년부터 2024년까지 GPU FLOPs는 약 120배 늘었지만 메모리 대역폭은 약 17배 늘어나는 데 그쳤다.
4. Transformer와 대형 언어 모델의 확산은 연산보다 메모리 대역폭과 용량을 중요한 병목으로 만들었다.
5. 캐시된 토큰은 새 토큰을 생성하는 비용의 약 1/1,000이어서 API 사업자의 높은 마진을 만든다.
6. Anthropic API의 매출총이익률이 약 80%라는 보고는 AI 기업이 모두 적자라는 통념과 충돌한다.
7. 프런티어 개발을 멈추면 기술 독점과 전체주의적 관료제가 강화될 수 있다는 우려가 제기된다.
8. 중국이 규제와 수출통제를 받지 않고 데이터센터와 발전 용량을 늘리면 서구의 일방적 속도 조절은 전략적 불리함이 된다.
9. 데이터센터 반대론에는 In-N-Out과 골프장의 물 사용량을 무시한 부정확한 비교가 섞여 있다.
10. 폐쇄형 액체 냉각과 자체 발전을 고려하면 데이터센터가 주택용 전력과 물을 단순히 빼앗는다는 설명은 불충분하다.
11. 미국 서부의 넓은 연방 토지와 네바다의 지열·태양광·원자력 자원은 새로운 건설 공간을 제공한다.
12. Positron이 500MW 규모 Nvidia 컴퓨트를 100MW로 줄여도 사업자는 절약분으로 더 많은 토큰을 생산할 가능성이 크다.
13. 장기적으로 모든 진보는 에너지 문제로 수렴하지만 단기 병목은 발전 자체보다 자본과 인허가다.
14. KV 캐시는 이미 처리한 토큰을 다시 계산하지 않게 하지만 사용자별 대용량 메모리를 요구한다.
15. 실제 에이전트 코딩 세션에서는 전체 토큰의 약 96%가 캐시될 수 있어 캐시 관리가 경제성을 좌우한다.
16. 양자화는 FP16에서 FP4로 공간을 크게 줄이지만 정밀도와 모델 능력 손실이라는 비용을 동반한다.
17. Positron은 Nvidia 최고 메모리 SKU보다 8배 많은 장치당 메모리로 긴 컨텍스트를 겨냥한다.
18. DeepSeek의 MLA와 Gated DeltaNet 같은 알고리즘은 캐시와 어텐션 비용을 줄이지만 공짜 절약은 아니다.
19. 로컬 모델은 개인 데이터를 관찰하면서 더 강한 클라우드 모델을 호출해 전체 토큰 수요를 오히려 늘릴 수 있다.
20. AI의 성공은 모델 정렬뿐 아니라 규제·에너지·토지·경제적 이해관계를 조율하는 인간 정렬에 달려 있다.