지능을 3~6자릿수 싸게 만드는 토큰 공장

URL: https://www.youtube.com/watch?v=jH98VTe6FwA 날짜: 2026-08-30 채널: BZCF | 비즈까페 원문 제목: 어떻게 이기냐 이걸 (닐 모바, Neil Movva)

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI 에이전트가 사람과 실시간으로 대화하는 도구에서 백그라운드에서 장시간 일하는 지능으로 바뀐다면, 칩·소프트웨어·전력·데이터센터 전체를 어떻게 설계해야 토큰을 압도적으로 싸게 만들 수 있는가?==

• Sail Research는 오픈 웨이트 모델의 토큰을 최저가로 공급하고, 몇 시간·며칠·몇 주씩 실행되는 에이전트용 클라우드 샌드박스를 제공한다.
• 실시간 지연시간보다 처리량(throughput), 장기 실행, 실패를 견디는 분산 운영을 최적화하면 지금까지 외면받은 칩·전력·데이터센터를 활용할 수 있다.
• 토큰은 최종 생산 단위가 아니며, 궁극적으로는 검증 가능한 결과(outcome)를 얼마나 싸게 얻는지가 중요해진다.
• 추론 수요는 즉시 가치가 발생하므로 과거의 투기적 학습용 칩 수요와 다르며, 토큰 가격을 3~6자릿수 낮추면 현재 비용 때문에 시도하지 못한 지능 사용이 열린다.

Sail의 전략은 특정 최첨단 칩 하나를 독점하는 방식이 아니라, 모든 칩과 전력원을 비교우위에 맞게 조합하고, GPU 커널부터 랙·전력·부지까지 전체 스택을 처리량 중심으로 조율하는 방식이다. 사람이 5분마다 에이전트를 관리하는 대신 하루나 일주일 단위의 목표를 맡기고 결과를 확인하는 협업이 핵심이며, 그 전제는 값싼 토큰과 검증 가능한 작업이다.

1. Sail의 출발점: 지능을 풍부한 상품으로 만들기

Sail Research는 오픈 웨이트 모델과 장기 실행 에이전트를 누구나 사용할 수 있게 하는 ‘토큰 공장(token factory)’을 만든다.

1.1. 제품 정의와 회사의 북극성

1. 토큰 공장과 API
   1. 오픈 웨이트 모델 호출: 누구나 API로 요청을 보내 원하는 작업에 대형 언어 모델(large language model)을 사용할 수 있다.
   2. 가격 경쟁력: 시장에서 이길 수 없을 정도로 낮은 가격에 토큰을 공급하는 것이 기본 약속이다.
2. 장기 실행 에이전트 인프라
   1. 클라우드 샌드박스: 에이전트가 몇 시간, 며칠, 몇 주 동안 계속 실행될 수 있는 가상 머신(virtual machine)을 제공한다.
   2. 실행 모델의 변화: 사용자가 매번 프롬프트를 넣고 응답을 기다리는 구조에서, 목표만 맡기고 나중에 결과를 확인하는 구조로 이동한다.
3. 풍요(abundance)의 테마
   1. 지능의 신상품화: 무언가를 충분히 싸게 만들면 새로운 상품 범주가 생기며, 토큰도 같은 방식으로 대중화할 수 있다.
   2. 생각하는 기계의 확산: 기계가 생각할 수 있다는 사실을 소수의 비싼 상담 서비스로 두지 않고 가능한 많은 사람과 기계의 손에 넘겨야 한다.

1.2. 토큰에서 결과로 이동하는 비용 단위

1. 현재의 북극성은 토큰당 비용이다
   1. 절대적 최저가: 경쟁사 대비 상대적 순위가 아니라 산업 전체에서 한참 앞선 최저 cost per token을 목표로 삼는다.
   2. 현재의 실용성: 토큰이 지능과 작업의 최종 단위라고 생각하지는 않지만, 지금 가격을 비교하고 시스템을 최적화하기에는 가장 명확한 단위다.
2. 향후의 단위는 검증 가능한 결과다
   1. 에이전트 예산의 자기 관리: 지금은 회사가 엔지니어에게 월별 토큰 한도를 정하지만, 앞으로 에이전트가 작업을 끝내기 위해 필요한 만큼 토큰을 스스로 사용하게 된다.
   2. 의존 변수로서의 토큰: 에이전트가 작업에 걸리는 시간과 도구 호출 횟수는 과제에 따라 달라지므로, 토큰 수는 목표 결과에 종속되는 변수가 된다.

2. 실시간 챗봇에서 장기 실행 에이전트로

AI 인프라는 사람의 대화 속도보다 기계의 백그라운드 처리량을 우선하는 방향으로 이동한다.

2.1. 시장의 빈틈: 오픈 소스와 긴 작업 시간

1. 오픈 소스의 상승세
   1. 지능의 소유권: 고객은 자신이 의존하는 모델의 가중치(weights)를 보유하고, 누구도 빼앗을 수 없으며, 원하는 곳에 배포할 수 있기를 원한다.
   2. Sovereignty 수요: 맞춤 모델과 순수 오픈 소스 모델 모두 통제권·주권을 원하는 고객에게 더 매력적인 선택이 된다.
2. 기존 추론 업체의 편향
   1. 낮은 지연시간 중심: Together AI, Fireworks, Baseten 등은 대부분 낮은 latency inference에 집중해 왔다.
   2. Cursor의 영향: 당시 가장 중요한 고객 중 하나였던 Cursor가 빠른 코드 보조를 요구하면서 시장이 낮은 지연시간 쪽으로 끌려갔고, 약 1년 전에는 합리적인 선택이었다.
3. 새로운 최적화 목표
   1. 장기 실행의 부상: 약 6개월 전부터 에이전트에는 속도뿐 아니라 persistence와 long-horizon task가 필요하다는 신호가 뚜렷해졌다.
   2. 속도와 작업 시간의 교환: 한 번에 100 tokens/sec를 출력하지 않아도 10 tokens/sec로 몇 시간 또는 며칠 동안 계속 일해 효율이 높다면 충분하다.

2.2. ‘최고의 latency는 latency가 없는 것’이라는 관점

1. 사람이 기다리지 않는 비동기 실행
   1. 최고의 지연시간: 사용자가 기다릴 때는 가장 빠른 답이 필요하지만, 이상적인 상태는 사용자가 요청하기 전에 에이전트가 백그라운드에서 일을 끝내는 것이다.
   2. 아침에 완료된 일: 밤새 작업을 시켜 아침에 결과를 받으면 사용자는 토큰 생성 속도를 체감하지 않는다.
2. 인간 시간척도에 맞춘 협업
   1. 현재의 병목은 사람: 사용자가 프롬프트를 넣고 답을 기다리는 루프에 갇히면 사람이 에이전트가 할 수 있는 작업량을 제한한다.
   2. 동료처럼 위임: 5분마다 동료를 관리하지 않고 높은 수준의 과제를 맡긴 뒤 하루, 더 현실적으로는 일주일 후 확인하는 방식이 인간-에이전트 협업의 미래다.
3. 성장 전망
   1. 테스트 타임 컴퓨트 스케일링(test-time compute scaling): 에이전트에게 더 많은 시간을 주면 더 나은 답을 만든다는 가설이 핵심이다.
   2. 모델의 성숙: Opus 4.5가 장기 작업에 처음으로 어느 정도 쓸 수 있는 에이전트였고 초기에는 평범했지만, 최근 모델과 오픈 소스 모델은 한 번에 약 1시간 실행할 수 있는 수준까지 왔다.
   3. 지수적 방향: 평균 턴과 과제 길이가 계속 늘어나는 몇 개의 점만 봐도 에이전트를 더 긴 시간 돌릴 가치가 커지는 방향을 추론할 수 있다.

2.3. 무한한 백그라운드 수요와 대표 사용 사례

1. 배경 토큰은 인간의 주의력에 묶이지 않는다
   1. 올해의 구성 전망: 올해 말에는 실시간과 백그라운드 작업이 대략 50 대 50이 될 수 있다.
   2. 장기 방향: 장기적으로는 백그라운드가 90%, 실시간이 10%인 구조까지 갈 수 있다. 사람이 하루 종일 노트북 앞에서 CodeX나 Claude Code를 더 많이 사용할 수 있는 양에는 한계가 있지만, 잠자는 동안 소비되는 토큰에는 사실상 상한이 없다.
2. 딥 리서치(deep research)
   1. 대규모 출처 검증: 100개나 1,000개가 아니라 10,000개 이상의 출처를 확인해 확정적인 답을 얻는 작업이 대표적인 백그라운드 과제다.
   2. Parallel Web Systems: 인터넷 전체를 색인하고 실시간 변화까지 감시하려는 고객은 엑사바이트(exabyte) 규모의 지능과 실행 시간이 필요하다.
3. 사이버보안
   1. 공격 표면의 비대칭: 생성할 수 있는 코드보다 그 코드를 깨뜨릴 수 있는 방법이 기하급수적으로 많다.
   2. 자율 펜테스트: Fable 또는 Mythos 같은 에이전트를 모든 코드 라인에 돌려 메모리 오류, 비즈니스 로직 오류, 네트워크 취약점을 각각 찾고, 취약점을 선제적으로 패치한다.
   3. 보안은 proof of work: 어떤 소프트웨어가 얼마나 안전한지는 Entropic API를 사용해 침투를 시도하는 데 몇 달러를 썼는지가 가장 좋은 지표가 될 수 있다는 농담이 나왔다.
   4. 톱니 모양의 지능(frontier의 jaggedness): 큰 모델이 항상 작은 모델이 찾는 버그의 상위집합을 찾지 않는다. 작은 모델과 큰 모델, 여러 모델·하네스를 조합하면 서로 다른 버그를 발견하므로 샘플링을 다양화해야 한다.

2.4. 개인용 능동 지능과 검증 가능한 문제

1. 백그라운드에서 작동하는 개인 비서
   1. 생활 전체의 문맥: Siri가 하루 동안 받은 이메일과 문자 메시지를 모두 읽고 사용자의 삶을 백과사전처럼 이해하면 현재의 단발성(point solution)과 다른 도움을 줄 수 있다.
   2. 다음 행동 예측: 기계가 충분히 신뢰할 만하고 사적인 정보를 안전하게 다룬다면, 사용자가 휴대폰을 열 때 다음 행동을 예측해 먼저 제안할 수 있다.
2. 기다리지 않고 토큰을 쓸 수 있어야 한다
   1. 무수익 토큰의 허용: 결과가 나올지 확신할 수 없어도 토큰을 먼저 소비할 수 있을 만큼 추론 비용이 낮아져야 능동형 지능이 열린다.
   2. 값싼 지능의 임계점: 소프트웨어, 형식 수학 증명, 과학적 발견처럼 결과를 검증할 수 있는 문제에는 달러 비용을 붙여 대규모로 시도할 수 있다.
3. 비용의 하락과 인간의 영역
   1. 예상되는 비용: definitive answer를 얻는 장기 과제가 현재의 수백만 달러가 아니라 수천 달러, 가까운 미래에는 수백 달러나 수십 달러가 될 수 있다.
   2. 검증 불가능한 취향: 인간의 취향과 글의 질, 예술의 아름다움은 아직 해결되지 않았고 근본적으로 해결될 수 있는지도 모른다. 이 영역은 사람에게 남겨 둔다.

3. 소프트웨어부터 시작하는 GPU 효율화

Sail은 현재 칩에서 더 많은 토큰을 뽑아내기 위해 GPU 커널부터 전체 랙과 클러스터까지 처리량을 극대화한다.

3.1. NVIDIA에서 배운 ‘speed of light’

1. 커널과 Tensor Core
   1. 커널(kernel): GPU에서 실행되는 일반적인 프로그램이며, 행렬 곱셈이나 두 텐서의 덧셈처럼 특정 연산을 수행한다.
   2. Tensor Core: GPU 안에서 행렬 곱셈(matrix multiplication)을 가속하는 특수 유닛이다.
   3. 행렬 곱셈의 직관: 두 숫자 블록을 간결하게 섞어 상호작용하게 만들고, 선형대수(linear algebra)로 데이터의 임의 관계를 압축적으로 표현하기 때문에 딥러닝의 원자적 연산처럼 쓰인다.
2. 게임용 GPU에서 AI용 GPU로
   1. 2015~2016년의 전환: NVIDIA는 ICML과 NIPS 같은 작은 머신러닝 학회에서 대학원생들이 게임용 NVIDIA GPU로 모델을 학습하는 모습을 관찰했다.
   2. Jensen Huang의 베팅: 2015~2016년 AI 칩 수요가 커질 것이라는 확신을 갖고 그래픽 기능에 쓰일 귀중한 다이 면적을 머신러닝 기능에 배정했다.
   3. 초기 Tensor Core: 그래픽으로 픽셀을 칠하던 칩에서 행렬 곱셈을 수행하기 위해 설계팀과 경쟁하며 다이의 약 5~10% 정도만 확보했고, 컴퓨터 비전의 핵심이던 convolution을 가속했다.
3. 속도의 빛을 쫓는 문화
   1. 절대 성능: 칩이 가능한 성능을 낼 수 있다고 생각하면 모든 병목을 깨고 그 한계까지 가는 것이 speed of light다.
   2. 경쟁사 대비가 아닌 물리적 한계: 상대적 개선률보다 해당 칩에서 달성 가능한 절대 수치와 100% speed of light에 도달했는지를 본다.
   3. 사람과 문화: 2015~2016년에 함께 일한 사람들이 아직 NVIDIA에 많이 남아 있을 정도로 유지율이 높고, 병렬 컴퓨팅을 오랫동안 믿어 온 실리콘 엔지니어들이 뛰어난 전문성과 열정을 보인다.
   4. 검소함의 일화: NVIDIA는 무료 점심도 없었고 냉장고에 무료 우유도 두지 않았다. 커피에 우유를 넣으려면 매달 1달러를 milk club에 내야 Costco 우유가 보충됐다. Sail에는 이 정도 제도는 없지만 검소함은 회사 전반의 태도로 남았다.

3.2. 처리량과 지연시간의 근본적 교환

1. GPU의 본성
   1. 처리량 기계: GPU는 많은 일을 한꺼번에 받아 계산 유닛을 높은 이용률로 채울 때 가장 행복하다.
   2. 챗봇의 역행: 지난 몇 년 동안 AI를 대화형 챗봇으로 사용하면서 키보드 앞의 사람에게 토큰을 빨리 뱉는 낮은 지연시간을 선택했고, GPU의 처리량 최적 경로에서 멀어졌다.
2. 배칭(batch)의 대가
   1. 병렬 처리: 여러 사용자의 작업을 한 배치로 묶으면 GPU의 병렬성을 채울 수 있다.
   2. 개별 요청의 대기: 큰 배치는 전체 계산량을 늘리므로 한 사용자의 토큰이 다른 사람의 작업과 함께 GPU를 통과하며 더 오래 머문다.
   3. 버스와 자동차 비유: 자동차는 출발지와 목적지를 직선으로 잇지만, 버스는 여러 승객을 태우고 정류장마다 멈춘다. 낮은 지연시간은 자동차이고 높은 처리량은 버스에 가깝다.
3. NVLink와 병렬성 선택
   1. 지연시간 단축: 큰 행렬 곱셈을 2~8개의 NVIDIA GPU에 쪼개면 각 GPU가 1/8의 일을 해 더 빨리 끝낼 수 있다.
   2. 강한 스케일링의 한계: GPU를 8배 써도 통신 비용과 작은 타일의 낮은 효율 때문에 속도는 8배가 아니라 대략 4~5배만 빨라지는 sublinear scaling이 발생한다.
   3. Sail의 선택: 최소 지연시간이 목적이면 NVLink를 쓰지만, Sail은 expert parallelism이나 pipeline parallelism을 택하고 통신을 계산과 겹쳐 숨기는 방향을 선호한다.
   4. 칩 선택 기준: NVLink가 약한 칩도 FLOPS/$와 시간당 운영비가 뛰어나면 쓸 수 있다. 해당 칩에 맞는 병렬화 방식을 설계하는 것이 과제이며, tensor parallelism만이 정답은 아니다.

4. 메모리 계층, KV 캐시, 그리고 Transformer

저지연 가속기의 강점은 빠른 온칩 메모리이고, 장기 실행의 병목은 동적으로 커지는 KV 캐시다.

4.1. Cerebras·Groq식 가속기와 SRAM/DRAM

1. SRAM과 DRAM의 상반된 특성
   1. SRAM: 논리 다이 가까이에 배치되는 정적 메모리로, 6T transistor cell이 전원을 유지하는 동안 비트를 잡고 있어 매우 빠르지만 실리콘 면적을 많이 차지한다.
   2. DRAM: capacitor에 전하를 저장하고 누설되는 전하를 약 50ms마다 refresh하는 동적 메모리다. 밀도가 높지만 메모리 컨트롤러가 계속 비트를 관리해야 한다.
   3. 제조 분리: SRAM은 로직 다이에 통합하지만 DRAM은 Micron·SK Hynix·Samsung처럼 별도 공정과 회사가 맡는 이유가 여기에 있다.
2. 밀도와 대역폭의 교환
   1. NVIDIA Blackwell: 약 800mm² reticle 한계의 로직 다이에 SRAM을 가득 넣어도 single-digit GB 정도이며, 실제 로직 다이의 SRAM은 약 500MB 수준이다.
   2. HBM: Blackwell 주변에 288GB의 HBM을 붙이면 용량은 훨씬 커지지만 SRAM보다 비례적으로 대역폭이 낮다.
   3. 대역폭 수치: Cerebras Wafer-Scale Engine 3은 SRAM에서 약 21PB/s를 표방하고, Blackwell HBM은 약 10TB/s 수준이다.
3. Cerebras의 설계
   1. 웨이퍼 전체 활용: TSMC의 800mm² reticle 한계에 머무르지 않고 scribe line을 통해 웨이퍼의 die들을 서로 연결해 웨이퍼당 약 50GB SRAM을 확보한다.
   2. 웨이퍼 적층: 여러 웨이퍼를 pipeline처럼 쌓으면 최대 1TB의 매우 빠른 메모리를 만들 수 있다.
   3. 초고속 추론: Kimmy 같은 대형 모델의 파라미터를 약 1ms 안에 로직 코어 안팎으로 옮겨 최대 1,000 tokens/sec 수준의 경로를 만들 수 있다.

4.2. KV 캐시가 만드는 장기 문맥의 병목

1. KV 캐시의 의미
   1. 대화의 결정화된 상태: 언어 모델에 입력한 모든 토큰의 표현을 대화가 이어지는 동안 저장해 다음 토큰 예측에 사용한다.
   2. 가중치와의 차이: 모델 가중치가 학습으로 굳어진 세계 지식이라면 KV cache는 현재 대화의 동적 지식이다.
   3. 크기: 토큰별 표현을 저장하므로 사용자가 100,000토큰을 대화하면 앞의 100,000토큰도 계속 남고, KV 캐시가 모델 가중치보다 커지는 경우도 많다.
2. 장기 문맥 품질 문제
   1. 학습 길이의 불일치: 모델은 주로 8,000 또는 16,000토큰 대화로 학습됐고, 200,000토큰 길이도 일부 학습했지만 핵심 강점은 아니다.
   2. 심층 대화의 열화: 10,000토큰일 때와 200,000토큰일 때 같은 지능을 유지하는 것은 프런티어 연구소의 지속적인 과제이며, 긴 대화에서 품질이 떨어지는 관찰과 연결된다.
   3. 1M context의 현실: Anthropic이 1,000,000 context window에 먼저 도달했지만, 실제 사용자는 전체 길이를 채우기보다 Claude Code에서 /compact를 실행하는 편이 낫다고 본다.
3. 하이브리드의 필요성
   1. 가중치와 KV의 비대칭: SRAM 기반 가속기는 고정된 가중치를 빠르게 읽는 데 압도적이지만, 사용자 수와 대화 길이에 따라 늘어나는 KV 캐시 용량을 쉽게 수용하지 못한다.
   2. GPU와의 결합: 오프칩 메모리가 큰 전통적 GPU는 긴 문맥을 담고, 온칩 메모리가 빠른 Cerebras·Groq 계열 칩은 MLP의 고속 계산을 맡기는 조합이 현실적이다.

4.3. Transformer의 강점과 ‘원죄’

1. Attention의 역할
   1. 임의 시퀀스의 패턴 발견: Transformer는 어떤 데이터 시퀀스든 패턴을 찾고, attention은 매 단계에서 지금까지 본 입력 중 다음 예측에 중요한 부분의 가중치를 다시 계산한다.
   2. 언어의 지배: 사람이 정기적으로 만드는 가장 흥미로운 시퀀스가 언어라서 Transformer가 언어 모델에서 특히 강해졌다.
2. 스케일링의 힘
   1. 사람의 선입견이 적다: 특정 구조를 미리 가정하지 않고 시퀀스에 패턴이 있다고 가정한 뒤 작동할 때까지 파라미터를 늘린다.
   2. 수백만에서 수조로: 전통적 선형 모델은 수십만 개 이하, 초기 컴퓨터 비전 딥러닝은 수천만 개에서 최대 약 1억 5천만 개 파라미터였지만, Transformer는 수조(trillion) 파라미터까지 확장하는 연결고리가 됐다.
   3. 범용 학습기: 계산을 10배 늘리면 어딘가에서 로그 수준의 개선을 주는 ‘스펀지’처럼 데이터를 흡수하며 scaling law가 아직 작동한다.
3. Attention의 유연성과 비효율
   1. 쌍별 관계: 시퀀스의 모든 토큰이 다른 모든 토큰을 볼 수 있어 어떤 pairwise relationship도 표현할 수 있다.
   2. 선택성의 부재: 모든 토큰이 서로 볼 필요는 없지만, 더 좋은 가지치기(pruning) 방법을 모르는 현재에는 이 유연성이 값비싼 메모리 연산으로 이어진다.
   3. 메모리-연산의 충돌: 긴 문맥에서 attention은 memory-bound이고 MLP는 충분한 배치에서 compute-bound인데, Transformer는 본질적으로 메모리 계층과 계산 계층을 한 구조 안에 나란히 배치했다.
   4. 하이브리드 배치: 빠른 메모리를 가진 가속기에 MLP/가중치를 올리고, 긴 KV 캐시를 담을 수 있는 GPU에 attention을 올리는 방식이 NVIDIA와 Groq가 향하는 조합이다.

4.4. 데이터와 자기 개선의 다음 단계

1. 인터넷은 데이터에 대한 일회성 보조금이었다
   1. 고품질 텍스트 약 30조 토큰: 넓은 의미의 좋은 텍스트까지 포함하면 약 300조 토큰이지만, 모델은 이미 인터넷 전체를 여러 번 본 상태다.
   2. 인간 데이터의 고갈: 인터넷에서 더 많은 인간 텍스트를 모으는 것만으로는 할 일이 많지 않다.
2. 무작위 인간 피드백의 가치 하락
   1. 일상적 선호의 약한 신호: 평균 모델이 무작위 사용자의 능력보다 훨씬 앞서기 시작해, 아무 조건 없는 인간 피드백은 예전만큼 유용하지 않다.
   2. 전문가 선호: 이제는 모델이 풀기 어려운 분야를 아는 expert human preference가 필요하다.
3. RL 환경과 검증 가능한 과제
   1. 환경이 곧 데이터: 에이전트에게 코딩·수학 문제나 컴퓨터를 주고, 목표에 가까워졌는지를 자동 측정하는 격리된 gym을 제공한다.
   2. 재귀적 자기 개선: AGI에 가는 가장 좋은 방법은 빈틈이 없어질 때까지 전문 지능을 계속 쌓는 것이다.
   3. 필수 조건: 과제에 self-grading system이 있어야 모델이 진전을 스스로 측정하고 어떤 분야에서든 자기 개선할 수 있다.
   4. 산업의 변화: 프런티어 연구소가 데이터 구매보다 자체 환경에 더 많은 비용을 쓰는 흐름은 검증 가능한 과제의 재귀적 개선을 반영한다.

5. 커널에서 랙까지: 기존 하드웨어를 끝까지 짜내기

5.1. 커널의 진화와 AI 보조 설계

1. 커널은 끝난 문제가 아니다
   1. FlashAttention의 기반: 현대 Transformer는 FlashAttention 같은 훌륭한 커널 위에 서 있다.
   2. 모델 변화의 비용: positional information을 넣는 RoPE 방식이 조금만 달라져도 기존 커널이 맞지 않아 패치가 필요하다.
   3. 연산 융합(fusion): 행렬 곱셈 뒤 덧셈을 별도 커널로 실행하면 DRAM에 쓰고 다시 읽어야 하지만, 두 연산을 하나로 합치면 메모리 왕복을 줄일 수 있다.
2. 사람은 설계하고 모델은 구현한다
   1. 화이트보드 방식: 사람이 입력·출력과 GPU에 작업을 배치할 전략을 자연어로 설계한다.
   2. 모델의 실행: AI가 그 전략을 받아 실제 커널 코드와 dispatch를 구현한다. 더 이상 모든 커널을 사람이 손으로 작성할 필요가 없다.
   3. 자동화 전망: 현재 모델이 커널 엔지니어링에 아직 완벽하지 않지만, 6개월 안에 크게 좋아질 수 있고 프런티어 연구소는 이미 상당 부분 자동화했다고 볼 수 있다.
3. 소프트웨어 우위의 성격
   1. 프런티어의 상승: Mythos나 GPT-5.6 같은 모델의 성능 향상은 모든 회사의 커널 구현을 끌어올리는 rising tide다.
   2. 좁은 특화의 한계: 커널 작성만을 위한 별도 모델을 만드는 것보다 코딩 전반의 능력과 필요한 privileged prompt 정보가 더 중요하다.
   3. 하류 사업자의 위치: Sail은 모델 연구소의 능력에 의존하므로, 소프트웨어 커널 효율의 상당 부분은 프런티어 모델 발전의 downstream 결과가 된다.

5.2. 칩의 실제 이용률과 랙 단위 프로그래밍

1. 최고점의 현실
   1. 70~80% 이용률: 큰 차원의 행렬 곱셈처럼 GPU가 좋아하는 작업은 peak utilization의 70~80%까지 도달하고, 이후에는 소프트웨어보다 전력과 열(thermal)이 제한한다.
   2. Peak FLOPS의 과장: NVIDIA가 인용하는 peak FLOPS는 전력·열 throttling 때문에 실제로는 도달할 수 없는 낙관적 수치다.
   3. 실제 병목: Transformer가 항상 큰 배치 행렬 곱셈만 실행하지 않으므로, Sail은 계속 큰 작업을 공급하는 엔진을 만들어야 한다.
2. GPU에서 랙·클러스터로
   1. 프로그래밍 단위의 확장: 한 GPU가 아니라 랙 전체, 궁극적으로는 클러스터와 데이터센터 전체를 하나의 컴퓨터로 다뤄야 한다.
   2. NVL72: NVIDIA는 Grace Blackwell 300을 72개 단위의 랙 시스템으로 출하하며, 누가 이 랙 규모 컴퓨터를 가장 효율적으로 프로그래밍하는지가 새로운 경쟁이 된다.
   3. 양쪽에서 강한 최신 칩: 현재 NVIDIA는 최저 지연시간뿐 아니라 최고 처리량에서도 강력한 선택이지만, 새로운 랙 프로그래밍 패러다임을 익혀야 한다.

6. 칩을 가리지 않는 컴퓨트 차익거래

Sail은 ‘좋은 칩’과 ‘나쁜 칩’을 나누기보다 가격과 활용 방식의 차익을 찾아 어떤 실리콘도 성능으로 바꾼다.

6.1. NVIDIA의 희소성과 다른 칩의 기회

1. 최첨단 칩의 배분
   1. 수요와 장기 전략: NVIDIA는 Blackwell 수요가 거대해도 가장 돈 많은 고객에게 전부 넘기면 장기적으로 한 고객이 너무 강해질 수 있음을 안다.
   2. 관계의 중요성: 몇 달밖에 운영하지 않은 스타트업이 3~5년 동안 Blackwell 10,000개를 임대하겠다고 해도 공급자가 돈을 받을 수 있을지 믿기 어렵다.
   3. 접근권의 조건: compute 확보에는 좋은 관계나 강력한 재무 능력이 필요하다.
2. AMD와 신생 가속기
   1. 가격이 판단 기준: “나쁜 칩은 없고 나쁜 가격만 있다”는 원칙 아래, 알맞은 가격이면 어떤 칩도 활용한다.
   2. AMD의 숨은 알파: AMD 칩 자체는 훌륭하지만 NVIDIA만큼 잘 프로그래밍되지 않았기 때문에 성능을 더 짜낼 여지가 크다.
   3. 시장 인식의 역설: AMD를 낮게 보는 시선은 Sail이 공급을 싸게 확보할 수 있게 하는 좋은 신호다. Meta와 OpenAI가 대량 구매하면서 AMD도 점점 부족해지고 있다.
   4. 새로운 회사의 과제: Etched, SEnova, d-Matrix 같은 회사는 TSMC에서 충분한 웨이퍼를 배정받아 실제 시장에 칩을 공급할 규모를 만드는 일이 가장 어렵다.
3. 이질적 서빙(heterogeneous serving)
   1. 빠른 전환: 새 칩이 나오면 공급량의 상당 부분을 사서 빠르게 스택을 맞출 수 있는지가 경쟁력이다.
   2. 모든 비교우위 활용: TPU와 Trainium도 받아들이고, 쉽게 맞지 않으면 heterogeneous serving system 안에서 역할을 찾아 넣는다.
   3. 차익의 원천: 다른 사업자가 덜 주목한 칩에 맞춰 소프트웨어를 빠르게 만들고, 그 칩의 FLOPS/$를 토큰 공급 마진으로 바꾼다.

6.2. AI 인프라 주식에 대한 반론

1. 과거의 거품과 현재의 차이
   1. 시장 비중: 반도체가 S&P 500에서 차지하는 비중은 역사적으로 2~4%였지만 현재 19~21% 수준까지 올랐다.
   2. 닷컴 시대의 기억: 2000년 전후 Cisco와 Intel이 가장 가치 있는 회사였고, 당시 네트워킹 장비 투자는 오지 않은 사용자 수요를 예상한 투기적 투자였다.
   3. 토큰의 즉시 가치: 사용자는 토큰을 쌓아 두지 않고 즉시 써서 가치를 얻는다. 따라서 추론 소비는 과거 네트워크 장비 투자와 다르다.
2. 학습용 수요와 추론용 수요
   1. 2023~2024년 Hopper 부족: 당시의 GPU 부족은 주로 학습(training) 중심이었고 학습은 본질적으로 투기적이었다.
   2. 현재의 추론 지출: 기업은 Claude Code 등에 지출 상한을 두고 있지만, 상한이 생겼다는 사실 자체가 실제 사용 수요가 있다는 뜻이다.
   3. 단조 증가의 주장: 추론 지출은 즉시 사용되는 가치에 붙어 있어 앞으로 단조롭게 증가하며, 공급 부족이 투기적 수요만으로 생긴 것이 아니다.

7. 미니 데이터센터와 전력의 ‘scavenger strategy’

7.1. 중앙집중형 학습센터에서 분산형 추론망으로

1. 학습과 추론의 인프라 차이
   1. 학습은 상위집합: 학습 클러스터는 추론에도 쓸 수 있지만, 추론용 클러스터가 학습까지 수행할 수 있는 것은 아니다.
   2. 네트워킹 요구: 칩 사이 대역폭과 필요한 클러스터 크기가 달라진다.
   3. 규모의 불경제: GPU 100,000개짜리 데이터센터는 10,000개보다, 10,000개는 1,000개보다 훨씬 비싸고 어렵다.
2. 전력의 분산
   1. 미국의 현실: 1GW 데이터센터는 쉽게 만들 수 없고, 100MW도 특수 고객이 아니면 점점 어려워지며, 10MW는 현재 가능한 한계에 가깝다. 1MW 전력은 비교적 풍부하다.
   2. 시장 불일치: 미국 전역에 전력 총량은 많지만 한곳에 집중되지 않는다. 학습사업자는 모든 GPU를 한 장소에 모아야 한다고 생각해 이 공급을 활용하지 못했다.
   3. 분산 추론: 장기 실행 추론은 데이터센터 간 작업 이동을 허용하므로 여러 1MW 시설을 추론 fleet으로 묶을 수 있다.
3. 물리적 크기
   1. 액체 냉각의 변화: 액체 냉각으로 랙 하나에 엄청난 전력 밀도를 넣을 수 있다.
   2. 1MW의 모습: 냉장고 크기의 랙 약 8개를 나란히 놓은 정도가 1MW 컴퓨트의 감각적 규모다.

7.2. 낮은 가용성을 경제성으로 교환하기

1. 과감한 비용 절감
   1. 무엇이든 구매: Sail은 세계 어디의 어떤 칩이든 어떤 기간이든 사서 fleet 안에서 작동시키겠다는 유동성을 경쟁력으로 삼는다.
   2. 제거할 중복 설비: 작은 시설에는 전력 이중화, 디젤 백업 발전기, 네트워크 이중화, 세 개의 광섬유 회선과 SLA를 두지 않을 수 있다.
   3. 가용성의 하락: 일부 시설의 uptime이 95%까지 떨어져도 다른 사업자에는 치명적이지만 Sail에는 가격이 맞으면 매력적이다.
2. 제어면(control plane)의 역할
   1. 실패 격리: 한 데이터센터의 단일 장애가 다른 시설과 상관되지 않는다면 robust control plane이 작업을 다른 GPU로 옮긴다.
   2. 선형적 가치: 95%, 98%, 99% uptime의 차이는 Sail에 선형적인 손익 차이일 뿐, 특정 임계점 아래에서 즉시 사업이 끝나는 구조가 아니다.
   3. P99를 포기한 경제성: 한 에이전트가 한 시간 일하다 GPU를 빼앗기면 새 GPU를 찾는 데 1~3분, 때로는 10분이 더 걸릴 수 있다. 평균 처리량은 경쟁력 있게 유지하되 P99 latency는 통제할 수 없다고 고객에게 알린다.
   4. 백그라운드와의 적합성: 고객이 자는 동안 실행되는 에이전트는 가끔 한 턴이 더 늦어지는 것보다 압도적으로 싼 비용을 더 중요하게 여긴다.

7.3. 태양광·풍력과 유휴 칩 활용

1. 간헐적 전력의 재평가
   1. 기존의 부적합 판단: 데이터센터는 지속적인 base load가 필요하므로 간헐적인 태양광과 풍력은 부적합하다고 여겨졌다.
   2. Sail의 허용 범위: 가격이 충분히 낮다면 80% uptime도 받을 수 있고, 바람이 멎거나 구름·안개가 며칠 또는 몇 주 지속되는 outage도 감수할 수 있다.
   3. 예측 가능한 중단: 날씨를 모델링해 시설이 언제 오프라인이 될지 예측하고, 그 기간에는 다른 지역의 컴퓨트를 호출한다.
2. scavenger 전략
   1. 칩을 먼저 scavenging: Anthropic이나 OpenAI와 Blackwell을 두고 경쟁하지 않고, 그들이 오늘날 ‘쓸모없다’고 분류한 공급을 모은다.
   2. 전력도 scavenging: 그 칩을 수용할 전력을 다시 경쟁이 적은 곳에서 찾는다. 값싼 칩이라면 유휴 상태의 자본비용도 감당할 수 있다.
   3. 미니밀 비유: 거대한 단일 제철소 대신 여러 미니밀(mini mill)로 세계 최고의 철강 공장을 만드는 방식처럼, 집중된 공급이 아니라 합산된 공급을 쌓아 경제성에서 이긴다.

8. 수직 통합, 조직, 그리고 회사의 운영 원리

8.1. 어디까지 직접 소유할 것인가

1. 극단적인 통합
   1. 전체 스택 소유: 전력 생산, 데이터센터, 자체 칩 설계, 칩을 끝까지 먹이는 소프트웨어, 최종 토큰 판매까지 모두 직접 할 수 있다.
   2. 자본 부담: 반대편에는 아무것도 소유하지 않고 모든 자원을 조정하는 coordination plane만 두는 자본경량 모델이 있다.
2. Founder와 CEO의 긴장
   1. Founder의 야망: 칩·전력·에너지를 평생 생각해 왔고, soup to nuts로 가장 효율적인 시스템을 만들 때까지 절대 멈추지 않으려 한다.
   2. CEO의 현실성: 모든 것을 소유하는 데 필요한 자본은 비현실적이므로 software처럼 레버리지가 높은 층부터 시작한다.
3. 규모가 주는 통합 권리
   1. 전문성 활용: 전력 생산은 전력회사와 좋은 power purchase agreement를 맺고, 각 파트너가 역사적으로 잘하던 일을 맡게 하는 편이 초기에는 합리적이다.
   2. 나중의 내재화: Sail이 충분한 수요와 규모를 만들어 공급업체의 가정과 다른 고객이 되면, 맞춤 설비를 파트너에게 만들게 하고 불가능하면 직접 만든다.
   3. 시장의 크기: 추론이 컴퓨팅 역사상 가장 큰 시장이 될 수 있고, 수백만·수조 달러가 투입될 것이므로 inference-specific 설비를 만들 경제적 근거가 생긴다.

8.2. 가장 큰 비효율은 컴퓨트의 조정 실패다

1. 계산 자체는 이미 꽤 효율적이다
   1. MoE의 희소성: 현대 Mixture-of-Experts 모델 중 가능한 전문가의 10%를 넘게 활성화하는 모델은 드물고, 프런티어 모델은 약 1%에 가까울 정도로 sparse하다.
   2. FLOPS의 활용: 더 많은 FLOPS를 주면 더 많이 사용하는 구조라 compute scaling 자체는 상당히 잘 작동한다.
2. KV 캐시의 낭비
   1. 압축되지 않은 상태: 토큰 하나마다 KV cache에 수 KB를 저장하는 현재 방식은 엔트로피에 비해 비효율적이고, 한두 자릿수(order of magnitude) 더 줄일 여지가 있다.
   2. DeepSeek의 진전: DeepSeek는 KV cache를 계속 압축하는 연구를 공개했고, 대략 1년마다 한 자릿수 규모의 개선이 보인다는 점은 남은 여지가 크다는 신호다.
3. 세계 컴퓨트의 오케스트레이션
   1. 유휴 GPU: 올해 500만 개의 Blackwell이 어디에 가고 항상 사용되는지 확신할 수 없다. 사설 풀과 창고에 할당된 GPU가 슬프게 놀고 있다.
   2. 공유 자원화: 서로 다른 데이터센터의 컴퓨트를 하나의 공유 자원처럼 조율하고 더 촘촘하게 포장하는 것이 Sail이 직접 공격하는 비효율이다.
   3. XAI만의 문제가 아니다: XAI 클러스터의 낮은 FLOP 이용률을 놀리지만, 세계 나머지 컴퓨트의 실제 유휴율은 훨씬 심각하다.

8.3. 팹과 불량 다이까지 활용하기

1. 병목은 균형을 이룬다
   1. 연쇄 병목: 칩을 100배 늘리면 TSMC 병목 하나를 풀 수 있지만 곧 다른 병목이 생긴다. 모든 요소를 동시에 늘리지 않으면 토큰 가격은 그대로 막힌다.
   2. 전체 비용 최적화: 다이 가격, 다이 공급량, 전력 가격, 칩을 둘 장소를 한꺼번에 계산해야 한다.
2. 공정 코너(process corners)의 재설계
   1. 생산 편차: 같은 팹에서도 생산 라인의 최악 칩과 최고 칩 사이에는 큰 성능 분산이 있다.
   2. TSMC의 표준: TSMC는 최악의 칩을 최고 칩에 가깝게 만드는 공정 제어에 큰 노력을 들이고, 그만큼 시간과 비용을 쓴다.
   3. Sail의 수용성: Sail은 최악의 다이도 쓸 곳을 찾아낼 수 있으므로 공정 제어를 덜 엄격하게 하고 reject를 더 많이 받을 수 있다. 전력과 배치 장소가 늘어나면 데이터센터에 들어갈 자격을 얻지 못한 칩에도 집을 마련할 수 있다.

8.4. Sail의 문화와 채용

1. 상태는 고정값이 아니다
   1. 한 달·6개월·1년의 시야: 새 모델을 처음 배치할 때 효율이 낮아도 장기적으로 어디까지 갈 수 있는지를 본다.
   2. 병목 기록: Blackwell처럼 이미 좋은 칩도 성능을 가로막는 병목을 측정하고 문서화해 NVIDIA에 전달하고 다음 구매 의사결정의 불변 조건으로 축적한다.
2. 교사이자 학생인 조직
   1. 협업: 모든 구성원이 가르칠 것과 배울 것을 갖는 collegial 환경을 지향한다.
   2. 화이트보드: 대학에서 TA를 맡았고 지식을 나누는 일을 좋아했던 사람들을 높이 평가하며 화이트보드 세션을 자주 연다.
3. 채용의 핵심은 호기심과 성능 사랑이다
   1. 호기심: 기계가 어떻게 작동하는지 끝까지 파고드는 curiosity가 3년 후에도 자동화와 함께 일할 사람의 핵심 속성이다.
   2. 마이크로초의 집착: 성능 엔지니어라면 매 microsecond에 기계 안에서 무슨 일이 일어나는지 알고 싶어 하는 사랑이 있어야 한다.
   3. 경력 연수는 대리 지표: AI 경력이나 CUDA 경력 10년을 요구하지 않는다. CUDA와 GPU 개념은 최근 5년에도 크게 바뀌었고 기술은 가르칠 수 있지만 performance engineering을 사랑하는 태도는 가르치기 어렵다.

9. 오픈 소스, 모델 확산, 그리고 풍요로운 지능

9.1. 폐쇄형 모델이 받는 3~6개월 프리미엄

1. 프런티어 연구소의 가치
   1. 시간 우위: OpenAI와 Anthropic 같은 연구소는 다른 생태계보다 3~6개월 앞서는 데 막대한 프리미엄을 지불한다.
   2. 현재의 합리성: 그 기간 동안 최고의 모델을 보유하는 것은 지금도 충분히 가치 있는 전략이다.
2. Distillation의 재해석
   1. 절도라는 관점: 폐쇄형 모델의 출력을 이용해 학습하면 프런티어 모델에서 무언가를 훔치는 것이라는 비판이 있다.
   2. 인터넷에 남는 흔적: GitHub에 올라오는 새 코드의 상당 부분이 Claude Code 같은 AI로 작성된다면, 사용자가 자신의 출력물을 공개하는 순간 의도하지 않은 latent distillation이 일어난다.
   3. 확산의 불가피성: 정보와 모델 능력이 퍼지는 현상을 막는 것은 근본적으로 불가능하고, 남는 질문은 속도뿐이다.
3. 승자 없는 지속적 경쟁
   1. 기업 도입의 속도: 엔터프라이즈는 3~6개월 주기로 움직이지 않으며 여전히 Opus 4.6 또는 4.7 같은 이전 모델을 사용하는 곳도 있다.
   2. 영원한 경주: 이른 시기라 승자를 부를 수 없고, 폐쇄형과 오픈 소스의 경쟁은 끝나는 경주라기보다 계속되는 과정이다.
   3. 오픈 소스의 생명력: 한 리더가 빠져도 빈자리를 새 리더가 채울 만큼 인센티브와 순풍이 크고, 프런티어급 모델을 훈련하는 일이 매일 쉬워진다.

9.2. 원하는 미래: 풍부한 토큰과 각자의 하네스

1. 다양한 harness
   1. 사용자 소유: 모든 회사와 사용자, 모든 에이전트가 자기만의 harness를 만들고 에이전트를 자신의 방식으로 구성해야 한다.
   2. 가중치보다 문맥: 맞춤화는 weight fine-tuning보다 in-context learning을 통해 빠르게 가능해질 수 있다.
2. 공급 측 레버의 총동원
   1. 토큰의 최저가: 칩 하나만이 아니라 모든 칩, 모든 전력원, 미국에서 쓸 수 있는 모든 땅을 활용해 토큰을 가능한 한 싸게 만든다.
   2. 지능의 대중화: 에이전트를 비싼 전문가처럼 어렵고 드물게 상담하지 않고, 기계가 생각한다는 놀라운 능력을 가능한 많은 사람에게 건넨다.
3. 1조 토큰의 경제학
   1. 현재 가격: OpenAI의 현재 가격으로 1조 토큰은 5.5 또는 5.6급 모델에서 최소 약 500만 달러다.
   2. 목표 비용: 비용을 3~6 orders of magnitude 낮춰 수천 달러로 만들면 한 작업에 1조 토큰을 쓸 고객이 생기며, 특정 모델에서는 이미 수만 달러 수준에 접근하고 있다.
   3. 수요에 대한 확신: 평범한 사람이 뇌를 쓰는 만큼 기계 지능을 요구하지 않을 것이라는 걱정은 받아들이지 않는다. 수요는 항상 있고 제품의 온램프와 무료 티어 제한을 고치는 일이 과제다.

9.3. 반대 의견과 미래 칩 설계

1. NVIDIA와 공정 기술에 대한 역발상
   1. 단기 강세: NVIDIA에는 절대 베팅하지 말아야 하며, 스스로를 계속 재창조하는 회사다.
   2. 성능/와트의 제한적 개선: Hopper에서 Blackwell, Rubin으로 갈 때 BFloat16 행렬 곱셈의 performance per watt가 큰 폭으로 좋아지지 않았고, TSMC 5nm·4nm·3nm·2nm 사이도 극적인 차이가 아니다.
   3. 지정학적 충격의 과장: TSMC 접근권을 잃으면 공급 충격은 생기지만, 서구의 최선 공정과 Intel의 성능/와트 차이는 최악에도 약 2배로 담론이 암시하는 것보다 작다.
2. 모델 아키텍처가 하드웨어를 결정한다
   1. 다운스트림 위치: Sail은 OpenAI나 Anthropic의 모델 설계에 거의 영향이 없고, 그들이 갈 방향을 예측해 서빙 소프트웨어와 하드웨어를 맞춰야 한다.
   2. 중대한 선택: sparse attention과 dense attention, FP16·FP8·FP4 같은 데이터 타입의 선택은 겉보기에는 임의적이지만 필요한 칩과 메모리 구조를 완전히 바꾼다.
   3. KV의 플래시 오프로드: HBM 부족을 우회하기 위해 KV cache를 flash로 오프로드하는 모델 구조를 계속 화이트보드에 그린다. Sail의 북극성은 1~10 tokens/sec를 감수하는 대신 엄청난 처리량과 용량을 얻는 것이다.
3. 컴퓨트 스타트업에 주는 조언
   1. 공급망 병목 네 가지: TSMC 웨이퍼 용량, HBM 용량, advanced packaging, 전력 확보 계획을 먼저 설명해야 투자받을 수 있다.
   2. NVIDIA보다 뾰족해져라: NVIDIA는 모든 면에서 완벽하지 않지만 균형이 좋다. 새 회사는 HBM 부족처럼 NVIDIA가 과소평가한 제약을 골라 한 방향으로 극단적인 성능을 내야 한다.
   3. 메모리의 구조적 부족: 메모리 팹을 단기간에 많이 늘릴 쉬운 방법이 없고, Boise의 업체들은 메모리 산업의 주기 때문에 큰 자본지출을 꺼린다.
   4. 비용 전가의 결과: 공급 부족을 다른 시스템의 효율로 우회하면 iPhone 같은 제품의 메모리를 줄이고 가격을 올리는 식으로 결국 다른 부품과 소비자가 비용을 부담한다.
4. NVIDIA가 토큰을 직접 팔지 않는 이유
   1. 고객과 경쟁하지 않기: NVIDIA는 칩을 사는 고객과 토큰 시장에서 직접 경쟁하지 않는 장기 전략을 택한다.
   2. Neocloud 생태계: Jensen Huang은 CoreWeave 같은 친구를 수십억 달러 회사로 만들고, 다양한 Neocloud와 추론 사업자가 NVIDIA 칩 수요를 서로 만들어 내도록 한다.
   3. 구매자 간 경쟁: 한 고객이 수직 통합하거나 AMD로 떠나도 대기 중인 세 고객이 자리를 채우게 만들면 구매자 간 경쟁이 NVIDIA에 유리하게 작용한다.

주요 발언 모음

“내 일은 토큰을 인간이 가능한 한 싸게 만드는 것이다. 손에 닿는 스택의 모든 층을 통해 그 일을 달성하겠다.”

“최고의 지연시간은 지연시간이 전혀 없는 것이다. 아침에 일어나면 일이 이미 끝나 있어야 한다.”

“나쁜 칩은 없다. 나쁜 가격만 있다. 알맞은 가격이면 어떤 칩이든 작동하게 만들겠다.”

“우리는 먼저 칩을 scavenging하고, 그 칩을 위한 전력을 scavenging한다.”

“사람들은 에이전트를 비싼 사람처럼 취급해 어려운 질문이 있을 때만 불러야 한다고 생각한다. 지능을 그렇게 생각하면 안 된다.”

“나는 100% speed of light를 쫓는다. 경쟁사 대비 상대 수치가 아니라 칩에서 무엇을 할 수 있는지와 그 방법만 본다.”

“모든 회사와 모든 사용자가 자기만의 harness를 만들고 에이전트를 자기 것으로 만들기를 원한다.”

“1조 토큰은 현재 가격으로 최소 500만 달러지만, 특정 모델에서는 수만 달러까지 내려오는 경로가 보인다.”

“교수님은 게이트 수준의 실리콘부터 인터넷 규모 서비스까지 전체 스택을 이해하는 사람이 되라고 하셨고, 그 말이 지금도 남아 있다.”

핵심 데이터 & 수치

• 장기 실행 속도: 100 tokens/sec보다 10 tokens/sec로 오래 실행하는 편이 장기 에이전트에 유리할 수 있다.
• 백그라운드 비중: 올해 말 실시간 대 백그라운드가 50 대 50, 장기적으로 10 대 90(백그라운드 우세)을 전망한다.
• 추론 과제 비용: 수백만 달러에서 수천 달러, 장기적으로 수백~수십 달러까지 낮추는 목표다.
• Tensor Core 초기 투자: NVIDIA의 초기 Tensor Core는 다이 면적 약 5~10%를 차지했다.
• NVLink 병렬화: GPU 8개를 사용해도 통신 오버헤드 때문에 약 4~5배 속도 향상에 그치는 sublinear scaling이 발생한다.
• 메모리 용량: Blackwell은 약 288GB HBM과 약 500MB 수준의 로직 다이 SRAM을 조합한다.
• 메모리 대역폭: Cerebras WSE3은 약 21PB/s SRAM 대역폭, Blackwell HBM은 약 10TB/s 수준이다.
• Cerebras 구조: 웨이퍼당 약 50GB SRAM, 여러 웨이퍼 적층 시 최대 약 1TB 초고속 메모리를 목표로 한다.
• 문맥 길이: 일반적인 학습 문맥은 8,000~16,000토큰이고, 200,000토큰은 모델의 핵심 강점이 되기 어렵다.
• 인터넷 데이터: 고품질 텍스트 약 30조 토큰, 넓은 정의로 약 300조 토큰이며 인터넷 데이터는 사실상 여러 번 소진됐다.
• GPU 이용률: 큰 행렬 곱셈의 실제 이용률은 열·전력에 막혀 peak의 약 70~80%다.
• 랙 규모: NVIDIA Grace Blackwell 300 기반 NVL72는 GPU 72개 단위의 랙 시스템이다.
• 전력 규모: 1MW는 약 냉장고 크기 랙 8개, 10MW는 가능한 상한에 가깝고 100MW~1GW는 구축이 매우 어렵다.
• 가용성 교환: Sail은 가격이 맞으면 95% uptime, 최악에는 80% uptime도 검토하며 P99 latency 통제를 포기한다.
• MoE 희소성: 현대 MoE는 대체로 활성 전문가가 10% 미만이고, 프런티어 모델은 약 1%에 가깝다.
• 컴퓨트 규모: 올해 약 500만 Blackwell이 항상 활용되는지는 불확실하며, 사설 풀과 창고에 유휴 GPU가 많다.
• 시장 비중: S&P 500 내 반도체 비중이 역사적 2~4%에서 현재 19~21%로 상승했다.
• 1조 토큰 가격: OpenAI 현재 가격 기준 약 500만 달러 이상이며, 3~6자릿수 비용 절감 시 수천~수만 달러 작업이 가능해진다.
• 공급망 병목: TSMC 웨이퍼, HBM, advanced packaging, 전력이 새 칩 회사의 네 가지 핵심 제약이다.

중간 스폰서 멘트 기록

RAMP

RAMP는 기업이 재무팀을 더 작고 빠르고 효율적으로 운영하게 하며 평균 연간 비용을 5% 절감한다고 소개됐다. RAMP 고객은 미국 기업 평균보다 3.2배 빠르게 매출을 키운다고 주장했고 Visa, Verscell, Cursor, Stripe, Notion, 11labs, Shopify 등 70,000개 이상의 기업이 사용한다는 메시지가 나왔다.

WorkOS

OpenAI, Cursor, Anthropic, Perplexity, Vercel이 WorkOS를 공통으로 사용한다는 광고가 나왔다. SSO, SCIM, RBAC, audit logs 같은 엔터프라이즈 핵심 기능을 API로 첫날부터 확보해 제품 개발에 집중할 수 있다는 내용이다.

Felix by Rogo

Felix는 금융회사의 템플릿·문맥·기준을 이용해 한 번의 프롬프트를 고객에게 보낼 수 있는 결과물로 바꾸는 개인 금융 에이전트다. 이메일 지시만으로 PowerPoint, Excel 모델, 출처가 있는 리서치를 만들어 24시간 전달한다고 소개됐다.

Vanta

Vanta는 Ramp, Cursor, Harvey를 포함한 16,000개 이상의 기업 보안·컴플라이언스를 자동화하고, 감사 사이에 생기는 공급업체·AI 도구·환경의 위험을 찾아 수정안을 만든다고 소개됐다. Vanta Agent가 24시간 GRC 엔지니어처럼 작동해 공급업체 평가 시간을 최대 50% 줄이며, 청취자에게 1,000달러 할인 혜택을 제공한다고 했다.

Ridgeline

Ridgeline은 포트폴리오 회계·조정·보고·거래·컴플라이언스를 한 플랫폼에 통합한 투자관리 시스템이다. AI가 있어도 투자회사에는 거버넌스와 데이터의 단일 진실 공급원이 필요하며, 주말에 주문관리 시스템을 만들 수 있다는 과도한 낙관을 경계해야 한다는 광고 메시지가 나왔다.

결론 및 시사점

1. 추론 인프라의 목표를 바꿔라: 사람의 즉시 응답을 기준으로 만든 시스템은 백그라운드 에이전트의 잠재력을 제한한다. 장기 실행과 전체 처리량을 기준으로 제품·하드웨어·비용을 다시 설계해야 한다.
2. 토큰 가격은 수요를 만든다: 비용이 낮아져야 결과가 보장되지 않는 탐색에도 토큰을 쓸 수 있고, 딥 리서치·보안·과학·개인 비서가 새로운 상품 범주로 열린다.
3. 특정 칩보다 비교우위를 조합하라: NVIDIA는 저지연과 균형에서 강하지만, AMD·TPU·Trainium·새 가속기에도 가격·FLOPS·메모리·병렬성에 맞는 역할이 있다.
4. KV 캐시와 오케스트레이션을 주목하라: MLP 계산보다 동적 문맥의 메모리 비용과 전 세계 유휴 GPU의 분산 조율이 더 큰 개선 여지를 가진다.
5. 가용성과 경제성을 교환하라: 장기 비동기 에이전트라면 P99 지연과 99.99% uptime을 포기하고, 예측 가능한 실패 복구·분산 제어면·저렴한 전력으로 비용을 낮출 수 있다.
6. 공급망을 먼저 해결하라: 새 칩의 기술적 우위만으로는 부족하며 TSMC 웨이퍼, HBM, 패키징, 전력과 랙 구축 계획이 사업의 생존 조건이다.
7. 균형 대신 뾰족한 가치를 선택하라: NVIDIA가 균형 잡힌 스택을 제공하는 동안 스타트업은 HBM 부족, 플래시 오프로드, 특정 데이터 타입처럼 한 병목을 극단적으로 공략해야 한다.
8. 전체 스택을 이해하라: 게이트 수준 실리콘에서 인터넷 규모 서비스까지 연결해 보는 시야가 칩·커널·전력·제품의 최적화를 동시에 가능하게 한다.
9. 오픈 소스와 맞춤형 하네스를 확장하라: 프런티어 모델의 단기 프리미엄은 존재하지만, 능력은 인터넷과 코드로 계속 확산된다. 풍부한 토큰 위에서 회사와 개인이 각자의 에이전트를 소유하는 미래가 목표다.

핵심 요약 (20줄)

토큰 공장은 오픈 웨이트 모델을 최저가로 제공하고 장기 실행 에이전트용 샌드박스를 운영한다. Sail Research의 북극성은 산업에서 압도적으로 낮은 cost per token을 달성하는 것이다. 토큰은 최종 단위가 아니며 장기적으로는 검증 가능한 결과의 비용이 핵심 지표가 된다. AI 인프라는 사람의 실시간 대화보다 백그라운드에서 몇 시간 또는 며칠 일하는 에이전트에 맞춰진다. 가장 좋은 지연시간은 사용자가 기다리지 않아도 되도록 작업이 미리 끝나는 상태다. 딥 리서치와 사이버보안은 수천에서 수만 개의 시도와 출처가 필요한 대표적인 장기 작업이다. 개인용 에이전트는 이메일과 메시지 전체를 이해해 사용자가 다음에 할 일을 먼저 제안할 수 있다. 소프트웨어·수학·과학처럼 결과를 검증할 수 있는 문제는 값싼 추론이 될수록 시장이 커진다. GPU는 처리량 기계지만 챗봇 중심 사용은 낮은 지연시간을 위해 배칭의 효율을 포기하게 했다. NVLink는 지연시간을 줄이지만 통신 비용 때문에 GPU 수만큼 속도가 늘지 않는다. SRAM 가속기는 빠르지만 작고 DRAM과 HBM은 크지만 느리므로 두 메모리 계층의 결합이 필요하다. KV 캐시는 긴 대화의 모든 토큰 표현을 저장해 모델 가중치보다 커질 수 있는 동적 병목이다. Transformer는 모든 토큰 쌍의 관계를 표현하는 대신 긴 문맥에서 attention 메모리 비용을 발생시킨다. 인터넷의 인간 텍스트는 대부분 소진됐고, 다음 데이터는 검증 가능한 환경에서 얻는 자기 개선 신호다. Sail은 NVIDIA뿐 아니라 AMD·TPU·Trainium·신생 칩의 비교우위를 찾아 이질적 서빙망에 넣는다. 1MW급 소형 데이터센터를 분산 배치하면 미국에 흩어진 전력과 유휴 컴퓨트를 추론에 활용할 수 있다. 95% uptime과 통제되지 않는 P99 지연도 백그라운드 에이전트에는 압도적인 비용 절감과 교환할 수 있다. Sail은 경쟁이 적은 칩과 간헐적 전력을 모으는 scavenger 전략으로 거대한 합산 공장을 만든다. 가장 큰 낭비는 KV 캐시 압축 부족과 세계 곳곳에서 놀고 있는 GPU를 공유 자원으로 조율하지 못하는 일이다. 풍부한 토큰과 각자의 에이전트 harness가 기계 지능을 소수의 비싼 서비스에서 모두의 도구로 바꾼다.