추론의 최전선: 초당 100토큰에서 10,000토큰까지 — Cerebras CTO Sean Lie

URL: https://www.youtube.com/watch?v=3uSI8q_RN-o 날짜: 2026-09-02 채널: Latent Space

---

메타데이터

• 원문 제목: The Inference Frontier: from 100 to 10,000 tokens per second — Sean Lie, Cerebras CTO
• 발표자: Sean Lie, Cerebras 공동창업자 겸 CTO
• 진행자: swyx, Vibhu
• 영상 길이: 약 44분 02초
• 주제: 초고속 추론(Ultra-fast Inference), Cerebras CS4·CS5, OpenAI Jalapeño, 웨이퍼 스케일(Wafer-scale) 컴퓨팅, 이기종·분산 추론, 3D 패키징, AI 반도체 공급망
• 처리 날짜: 2026-09-02
• 원문 URL: https://www.youtube.com/watch?v=3uSI8q_RN-o
• 자막 처리: YouTube 영어 자동 생성 자막을 기준으로 ASR 오인식을 문맥에 맞게 보정함

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI 추론 속도를 초당 수백 토큰에서 수천·수만 토큰으로 끌어올리면, 기존 애플리케이션의 처리 시간이 줄어드는 데서 끝나지 않고 모델의 추론 루프·에이전트 구조·사용자 경험·데이터센터 설계 자체가 달라지는가?==

• Cerebras CS4는 새로운 Nexus 시스템 플랫폼과 웨이퍼 스케일 아키텍처를 통해 GPT-OSS를 4,400 TPS 이상으로 실행하는 방향을 제시한다.
• 차세대 CS5는 중간 규모 모델에서 최대 10,000 TPS, 프런티어 모델에서 최대 5,000 TPS를 목표로 하며, 속도가 에이전트의 추가 reasoning loop를 가능하게 한다.
• OpenAI는 Cerebras의 ultra-fast inference를 장애 대응과 핵심 연구에 내부적으로 사용하면서, 일부 엔터프라이즈 고객에게도 점차 공개하려 한다.
• 미래의 추론은 하나의 범용 GPU가 모든 단계를 처리하는 방식보다 prefill·decode·attention·KV cache·expert routing에 맞춘 이기종(disaggregated) 하드웨어 조합으로 이동한다.
• 병목은 단일 칩의 연산량만이 아니라 메모리 대역폭, 인터커넥트, 전력 공급, 냉각, 패키징, 랙과 공장 수준의 통합으로 확장된다.

Sean Lie의 주장은 단순히 Cerebras의 TPS 숫자를 홍보하는 데 있지 않다. 모델이 충분히 빨라지면 한 번의 답변을 빨리 만드는 것이 아니라, 더 많은 reasoning step과 에이전트 반복을 사용자 대기 시간 안에 넣을 수 있다. 따라서 하드웨어는 모델이 완성된 뒤 실행하는 부품이 아니라 모델 구조·커널·시스템·데이터센터와 함께 설계해야 하는 공동 설계(co-design)의 일부가 된다.

1. Hot Chips가 보여준 반도체 산업의 전환

Hot Chips는 더 이상 컴퓨터 아키텍처 전문가들이 속도와 사양만 교환하는 행사가 아니다. AI 수요가 칩·광학·소프트웨어·패키징·데이터센터를 동시에 밀어붙이면서, 산업 전체가 여러 층에서 병렬적으로 재설계되고 있다.

1.1. 과거의 기술 행사에서 산업 변화의 무대로

1. Hot Chips의 성격이 달라졌다

   1. 과거의 모습: 10~20년 전에는 컴퓨터 아키텍처 전문가들이 성능과 기능을 놓고 깊이 파고드는 기술자 중심 행사였다.
   2. 현재의 모습: 이제는 업계를 바꿀 하드웨어가 공개되는 자리로 변했다. Apple의 M6 계열, OpenAI의 Jalapeño, Cerebras의 CS4·CS5 같은 발표가 같은 시기에 등장한다.
   3. 산업적 의미: AI가 특정 가속기 하나의 문제가 아니라 칩, 인터커넥트, 시스템 설계, 소프트웨어, 광학, 개발 도구, 제조 방법론을 동시에 바꾸고 있다는 뜻이다.

2. 하드웨어의 황금기가 열린 이유

   1. AI 수요의 압력: AI 모델과 애플리케이션이 빠르게 커지면서 기존 하드웨어의 연산·메모리·네트워크 구조가 모두 한계에 접근했다.
   2. 혁신의 동시 발생: 한 세대의 반도체 업계에서는 보통 몇 개의 층만 움직이지만, 지금은 칩 설계에서 데이터센터와 광통신까지 모든 층에서 혁신이 일어난다.
   3. 기술자의 관점: Sean Lie는 컴퓨터 아키텍처를 좋아하는 기술자에게 지금이 반도체 역사상 보기 드문 시기라고 평가한다.

1.2. Latent Space의 오프닝과 인터뷰 맥락

1. 광고 없는 운영 모델

   1. Latent Space는 AI 엔지니어링·과학·엔터테인먼트 콘텐츠를 후원자 광고 없이 지속하기 위해 구독자의 참여를 강조한다.
   2. 제작진은 매일 스폰서 제안을 받지만, 충분한 구독자가 있어 광고에 의존하지 않고 프로그램을 유지할 수 있다고 설명한다.
   3. 구독 버튼을 누르는 일이 청취자가 제공할 수 있는 가장 강력하고 무료인 지원이라는 요청으로 본편을 시작한다.

2. 인터뷰가 열린 시점

   1. 대화는 Hot Chips 다음 날 Cerebras 본사에서 진행된다.
   2. Sean Lie는 Cerebras 공동창업자·CTO이자 웨이퍼 스케일 시스템을 설계해 온 인물로 소개된다.
   3. 대화의 출발점은 Cerebras CS4와 CS5, OpenAI Jalapeño, 그리고 Hot Chips에서 공개된 여러 AI 가속기다.

2. Cerebras CS4: 웨이퍼 스케일 추론을 주류로

CS4의 핵심은 웨이퍼 스케일 엔진 자체의 숫자만 키우는 것이 아니라, 이를 높은 밀도의 데이터센터에 배치할 수 있는 모듈형 시스템 플랫폼을 만드는 데 있다.

2.1. Nexus 플랫폼의 구조적 변화

1. 웨이퍼 스케일의 목표

   1. 기술 시연을 넘어 주류화: Cerebras는 웨이퍼 스케일 컴퓨팅을 실험실의 독특한 기술이 아니라 하이퍼스케일(hyperscale) 데이터센터에서 쓸 수 있는 형태로 만들려 한다.
   2. 고밀도 데이터센터 문제 해결: 전력, 랙 밀도, 웨이퍼 간 연결, 냉각, 운영 안정성을 시스템 차원에서 해결해야 실제 고객에게 공급할 수 있다.
   3. 모듈화: CS4 시스템은 앞쪽에 모듈형 전원 공급 장치, 뒤쪽에 모듈형 서버인 backpack을 배치하는 Nexus 플랫폼에 기반한다.

2. CS4의 시스템 개선

   1. 전력 공급: 이전 세대보다 웨이퍼에 공급할 수 있는 전력이 2배로 늘었다.
   2. 인터커넥트 대역폭: 웨이퍼와 시스템 사이의 연결 대역폭도 2배가 됐다.
   3. 지연 시간: 시스템 수준의 설계 변경으로 지연 시간은 절반으로 줄었다.
   4. 랙 밀도: 더 많은 전력을 더 높은 밀도로 웨이퍼에 전달함으로써, 단순히 칩의 이론 연산량이 아니라 랙 단위 실성능을 끌어올린다.

2.2. 4,400 TPS가 바꾸는 애플리케이션

1. GPT-OSS 데모

   1. Hot Chips 데모에서 GPT-OSS가 초당 4,400토큰 이상으로 실행됐다.
   2. 이 수치는 일반적인 응답 속도 비교를 넘어, 기존에는 배치로 처리하던 작업을 실시간에 가깝게 처리할 수 있는지를 묻는다.
   3. Sean Lie에게 큰 숫자의 의미는 벤치마크 순위가 아니라 이전에 불가능했던 제품 경험을 여는 데 있다.

2. 배치 작업에서 실시간 경험으로

   1. 기존의 100~200 TPS 수준은 점점 새로운 batch mode처럼 느껴질 수 있다.
   2. 프롬프트 처리나 대규모 병렬 작업에서는 기존 속도도 여전히 유용하지만, 상호작용형 제품에는 사용자가 기다리는 decode 시간이 더 중요하다.
   3. 오프라인으로 밤새 돌리던 작업이 버튼을 누른 뒤 몇 시간 안에 끝나고, 더 나아가 작업 중간 결과를 실시간으로 확인하는 경험으로 바뀐다.

3. 에이전트의 reasoning loop 확대

   1. 에이전트는 도구 호출·계획·검증·수정의 루프를 여러 번 반복해야 하므로 단일 답변보다 누적 지연 시간이 중요하다.
   2. 모델이 4,000 TPS 이상으로 실행되면 같은 사용자 대기 시간 안에 더 많은 루프를 넣을 수 있다.
   3. 더 많은 루프는 단순한 속도 향상이 아니라 더 많은 reasoning과 더 높은 에이전트 능력으로 이어질 수 있다.

3. “불가능하다”던 웨이퍼 스케일에서 OpenAI 협력까지

Cerebras의 사업 방향은 첫 세대의 기술 가능성 증명에서 실제 서비스와 고객 문제 해결로 이동했다. 이 이동의 중심에는 더 똑똑한 모델과 더 빠른 하드웨어를 서로 피드백하는 공동 설계 루프가 있다.

3.1. 1세대의 역할: 기술 시연

1. 먼저 가능성을 증명해야 했다

   1. 첫 세대 칩의 가장 중요한 목표는 거대한 웨이퍼 스케일 칩을 실제로 만들 수 있다는 사실을 세계와 자기 자신에게 증명하는 것이었다.
   2. 당시 많은 사람은 이런 규모의 칩은 만들 수 없으며 Cerebras의 구상이 비현실적이라고 반응했다.
   3. 초기의 핵심 과제는 수많은 다이를 연결하고, 제조 수율을 확보하고, 대규모 구조가 실제로 동작하게 만드는 기반 기술이었다.

2. 증명 이후의 질문

   1. 웨이퍼 스케일 시스템이 만들어지고 기대한 성능을 낸 뒤에는 “만들 수 있는가?”가 아니라 “무엇을 가능하게 하는가?”가 핵심 질문이 됐다.
   2. 기존 워크로드를 조금 빠르게 실행하는 것보다, 새 사용자 경험과 새로운 에이전트 흐름을 설계하는 것이 다음 단계다.
   3. 회사의 목표도 독특한 칩을 보여주는 것에서 충분한 용량을 배치하고 고객이 실제로 원하는 모델을 실행하는 것으로 바뀌었다.

3.2. OpenAI의 ultra-fast inference

1. 가장 지능적인 모델과 가장 빠른 하드웨어의 결합

   1. Cerebras는 OpenAI의 프런티어급 대형 모델을 일반 GPU 환경보다 약 14배 빠르게 실행하는 ultra-fast inference를 발표했다.
   2. 속도와 지능을 따로 최적화하는 대신, 높은 모델 능력과 짧은 응답 지연을 함께 제공하는 것이 목표다.
   3. Cerebras가 말하는 전환점은 “기술 시연”에서 “실제 문제와 새로운 능력 해결”로 이동하는 것이다.

2. 스케일을 위한 회사의 운영 방식

   1. 필요한 전력과 데이터센터 용량을 확보해 ultra-fast 서비스를 확장한다.
   2. 사용자가 중요하게 여기는 모델을 지원하고, 그 모델에 맞춰 더 빠른 하드웨어를 계속 내놓는다.
   3. 하드웨어 성능 증가 → 더 많은 애플리케이션과 사용자 수요 → 더 큰 배치 규모 → 다음 세대 하드웨어라는 플라이휠(flywheel)을 만든다.

4. CS5와 초당 10,000토큰의 경로

CS4가 2배의 시스템 성능 개선을 보여준 뒤, CS5는 같은 Nexus 플랫폼을 여러 세대에 걸쳐 재사용하는 전략으로 다시 2배의 성능 향상을 노린다.

4.1. Nexus를 여러 세대의 기반으로 설계한 이유

1. 플랫폼과 칩의 세대 분리

   1. CS4의 Nexus 플랫폼은 CS4 한 세대만을 위한 시스템이 아니다.
   2. 전원 공급 장치와 backpack을 모듈화해 다음 웨이퍼 칩을 수용할 수 있도록 처음부터 설계했다.
   3. 시스템 플랫폼을 매 세대 새로 만들지 않으면 차세대 칩의 성능을 더 빠르게 데이터센터에 배치할 수 있다.

2. CS5의 성능 궤적

   1. CS4는 이전 세대 대비 약 2배의 성능 개선을 제공한다.
   2. 다음 세대 CS5는 CS4에서 다시 약 2배의 성능 개선을 목표로 한다.
   3. 이 수치는 단일 칩의 최고치가 아니라 전력·냉각·랙 밀도·인터커넥트가 포함된 시스템 플랫폼의 궤적이다.

4.2. 모델 규모별 목표

1. 중간 규모 모델

   1. GPT-OSS와 Gemma 같은 중간 규모 모델은 최대 10,000 TPS 수준으로 실행하는 것이 목표다.
   2. 이런 모델은 빠른 대화, 대규모 동시 사용자 처리, 에이전트 반복 실행에 특히 적합하다.
   3. 모델이 짧은 시간 안에 더 많은 토큰을 생성하면 사용자에게는 대화가 즉시 진행되는 것처럼 느껴지고, 내부적으로는 더 많은 검증 단계를 수행할 수 있다.

2. 프런티어 모델

   1. Kimi, DeepSeek, 자막에서 GPT-5.6 Soul로 표기된 프런티어 모델은 최대 5,000 TPS 수준을 목표로 한다.
   2. 프런티어 모델은 메모리와 모델 병렬화 요구가 더 크기 때문에 중간 규모 모델과 같은 최고 속도를 내는 것이 목표는 아니다.
   3. 그럼에도 수천 TPS의 프런티어 추론은 현재의 일반적인 사용자 경험과 완전히 다른 제품을 가능하게 한다.

3. 왜 이것이 시작에 불과한가

   1. 시장이 ultra-fast inference의 가치를 확인하면 사용자는 더 빠른 속도를 계속 요구한다.
   2. 특정 속도 자체가 최종 목표가 아니라, 그 속도로만 가능한 애플리케이션이 다음 수요를 만든다.
   3. Sean Lie는 현재의 10,000 TPS도 ultra-fast inference의 시작점일 뿐이라고 본다.

5. 공급이 수요를 따라가지 못하는 ultra-fast inference

Cerebras는 당시 생산 중인 용량이 사실상 매진된 상태라고 설명한다. 특히 OpenAI가 상당한 물량을 내부 핵심 업무에 배치하고 있어, 일반 고객이 모든 모델을 즉시 사용할 수 있는 상황은 아니다.

5.1. OpenAI에 집중된 현재 용량

1. 전력 단위의 전략적 배치

   1. Cerebras는 확보한 모든 메가와트를 가장 전략적인 위치에 배치하려 한다.
   2. 현재 건설 중인 용량 대부분이 이미 할당돼 있으며, OpenAI가 가장 큰 파트너 중 하나다.
   3. 이 상황은 단순한 상업 계약이 아니라 모델과 하드웨어를 함께 설계하는 장기 협력과 연결돼 있다.

2. OpenAI가 내부에서 사용하는 영역

   1. 장애 대응(Incident Response): 서비스 장애가 발생하면 매초·매분이 중요하므로 빠른 모델 응답이 운영팀의 분석과 대응 속도를 높인다.
   2. 핵심 연구: 빠른 추론은 한 번 더 생각하게 하는 추가 reasoning step을 가능하게 하며, 연구자가 더 지능적인 응답을 탐색할 수 있게 한다.
   3. 내부 최적화: OpenAI는 공개 API 기능뿐 아니라 자사 서비스와 연구 시스템의 가장 중요한 경로에 용량을 우선 배치한다.

5.2. 엔터프라이즈 공개와 사업적 균형

1. 왜 일부 외부 고객에게 공개하는가

   1. OpenAI는 내부에서만 ultra-fast inference를 독점할 수도 있지만, 엔터프라이즈 고객의 고가치·고난도 애플리케이션에도 점차 공개하기로 했다.
   2. 외부 사용은 기술의 실제 가치를 검증하고, 새로운 사용 사례와 추가 수요를 발견하는 기회가 된다.
   3. Cerebras와 OpenAI는 장기적으로 더 많은 용량을 공급해 훨씬 넓은 사용자층이 접근하도록 하겠다고 약속한다.

2. 미션과 사업 사이의 균형

   1. OpenAI는 내부 사용을 통해 가능한 수준의 모델과 제품을 계속 밀어붙인다.
   2. 동시에 사업체로서 외부 고객, 매출, 자본시장과 IPO 가능성도 고려해야 한다.
   3. OpenAI의 용량 배분은 사명과 상업적 현실을 동시에 반영하는 의사결정으로 해석할 수 있다.

3. 공동 설계의 플라이휠

   1. 모델을 빠르게 실행하면 더 많은 추론 단계를 실험할 수 있다.
   2. 더 많은 추론과 새로운 애플리케이션은 모델 구조와 시스템 요구 사항을 바꾼다.
   3. 그 요구 사항이 다음 하드웨어 설계에 들어가고, 새 하드웨어가 다시 모델의 능력과 제품 경험을 확장한다.

6. OpenAI Jalapeño: AI-first 칩 설계의 신호

Sean Lie는 Hot Chips 발표 중 OpenAI의 Jalapeño가 가장 흥미로웠다고 평가한다. 이유는 GPU보다 빠른 숫자 자체보다 AI를 중심에 둔 설계 방법론이 반도체 개발 방식을 바꿀 가능성에 있다.

6.1. Jalapeño가 보여준 두 가지 성과

1. 더 나은 GPU를 빠르게 만든 성과

   1. NVIDIA가 오랫동안 GPU 시장을 지배한 이유는 경쟁자가 쉽게 따라갈 수 없을 정도로 설계와 생태계가 강하기 때문이다.
   2. 그런 상황에서 OpenAI가 처음부터 NVIDIA보다 높은 성능을 내는 GPU 계열 칩을 만들었다는 사실 자체가 큰 성취다.
   3. AI 모델을 직접 운영하는 조직이 칩 설계까지 내려오면, 추상적인 범용성보다 실제 모델의 병목을 정확히 겨냥할 수 있다.

2. AI-first methodology의 중요성

   1. OpenAI는 AI 모델과 워크로드의 요구 사항을 칩 설계의 출발점으로 삼았다.
   2. 이 방법은 설계자가 전통적인 범용 하드웨어 가정에서 벗어나 모델·커널·서비스의 실제 경로에 맞춘 결정을 내리게 한다.
   3. Sean Lie는 이 방식이 칩 개발 속도와 결과 성능을 동시에 높일 수 있으며, 반도체 산업의 미래에 해당한다고 본다.

6.2. 처리량과 지연 시간의 경계 확장

1. Jalapeño의 방향

   1. Jalapeño는 처리량(throughput)과 지연 시간(latency) 양쪽의 경계를 넓히는 데 기여한다.
   2. 특히 전통적인 GPU가 도달하기 어려운 낮은 지연 시간 영역을 겨냥한다.
   3. OpenAI가 단순히 모델을 실행할 가속기를 만든 것이 아니라, 다음 세대 AI 제품 경험을 위한 인프라를 공동 설계하는 사례로 볼 수 있다.

2. CS5와 Jalapeño의 조합

   1. Jalapeño는 throughput에 특화됐고, Cerebras CS5는 frontier 모델의 ultra-low-latency 실행을 담당하는 구성이 가능하다.
   2. 두 시스템을 함께 사용하면 prefill과 decode를 분리하거나, 모델의 서로 다른 하위 작업을 가장 적합한 하드웨어에 배치할 수 있다.
   3. Sean Lie가 OpenAI를 중요한 파트너로 보는 이유는 제품·모델·칩·도구를 모두 연결할 수 있기 때문이다.

6.3. AI가 칩 개발과 커널을 작성하는 시대

1. AI 코드 생성의 잠재력

   1. 모델이 하드웨어의 메모리 구조와 병렬성을 이해하면 특정 가속기에 맞는 커널(kernel)을 생성할 수 있다.
   2. 많은 팀이 AI를 애플리케이션 코드에만 활용하고 있지만, 커널 생성과 하드웨어 소프트웨어 스택 최적화는 아직 충분히 주목받지 못했다.
   3. 비NVIDIA 하드웨어는 CUDA 생태계에 맞춰 작성된 기존 코드를 그대로 실행하는 대신, AI가 아키텍처에 맞는 코드를 새로 생성하는 방식으로 격차를 줄일 수 있다.

2. Cerebras와 OpenAI의 도구 협력

   1. OpenAI의 AI 도구는 모델 개발뿐 아니라 Cerebras의 칩 설계와 소프트웨어 작업에도 활용될 수 있다.
   2. 하드웨어 설계와 컴파일러·커널·런타임을 동시에 개선하면 단일 최적화보다 더 큰 시스템 성능을 얻는다.
   3. 모델이 하드웨어를 위해 설계되고, AI 도구가 그 하드웨어용 코드를 만들며, 실행 데이터가 다음 모델과 칩 설계로 되돌아가는 루프가 형성된다.

7. 성능 대 전력: 전통적 가속기와 Groq의 논쟁

토큰당 속도만으로 AI 인프라를 평가할 수 없다. 운영 규모에서는 성능/와트, 실제 모델 크기, 메모리 용량, 공급 가능한 수량, 지연 시간, 처리량을 함께 봐야 한다.

7.1. 전통적 GPU의 강점과 한계

1. NVIDIA가 지키는 시장

   1. NVIDIA는 더 많은 토큰을 더 낮은 비용으로 생산하는 방향을 계속 밀어붙이고 있다.
   2. 대규모 병렬 prompt processing과 배치 작업에서는 이런 방향이 매우 강력하다.
   3. AMD, TPU, Trainium 등도 많은 부분에서 더 나은 범용 GPU·가속기, 즉 “더 나은 Rubin”을 만드는 경쟁에 참여하고 있다.

2. 100~200 TPS의 역할 변화

   1. 과거에는 초당 100~200토큰도 빠른 응답으로 여겨졌다.
   2. 이제 그 속도는 점점 batch mode나 overnight processing처럼 느껴질 수 있다.
   3. 프롬프트 처리와 매우 병렬적인 워크로드에는 여전히 적합하지만, 실시간 에이전트와 사용자 상호작용의 decode 요구를 모두 충족하지는 못한다.

3. 단일 방향의 경쟁이 아닌 다른 축의 경쟁

   1. 기존 아키텍처는 더 많은 연산량과 더 많은 병렬성을 확보하는 성능 트레드밀 위에 있다.
   2. 이 경쟁은 토큰을 더 싸게 만드는 데 큰 가치를 제공하지만, 모든 애플리케이션의 지연 시간 문제를 해결하지는 않는다.
   3. Cerebras는 같은 축에서 GPU와만 경쟁하기보다 초저지연·프런티어 모델·웨이퍼 스케일이라는 다른 벡터를 밀어붙이려 한다.

7.2. Groq의 SRAM 설계가 던진 질문

1. SRAM 아키텍처의 주류화

   1. Groq는 SRAM 기반 설계를 통해 데이터 이동 지연을 줄이는 방향을 제시했다.
   2. NVIDIA까지 SRAM 설계를 받아들이는 것은 전통적인 GPU 구조로는 ultra-fast 영역에 도달하기 어렵다는 업계의 인식이 커졌다는 신호다.
   3. Sean Lie는 오랫동안 웨이퍼 스케일과 SRAM의 가능성을 주장해 왔기 때문에, 경쟁 아키텍처가 주류가 되는 현상을 긍정적으로 본다.

2. 31B 모델 벤치마크에 대한 의문

   1. Groq가 공개한 성능 수치가 약 31B 파라미터 모델에 집중된 이유가 무엇인지가 Hot Chips 현장에서 논쟁이 됐다.
   2. NVIDIA가 attention과 FFN을 분리하는 disaggregation을 강조해 온 것과 달리, 해당 발표에서 그 구조가 충분히 드러나지 않았다는 점도 질문이 됐다.
   3. 제품이 실제로 큰 프런티어 모델을 어떻게 처리하는지 판단하려면 작은 단일 모델의 TPS만으로는 부족하다.

3. SRAM 용량의 구조적 한계

   1. 비웨이퍼 스케일 SRAM 칩 하나에는 대규모 모델의 가중치를 담을 메모리가 충분하지 않다.
   2. 수조 파라미터급 모델을 실행하려면 수천 개의 Groq LPU만으로도 가중치를 저장해야 할 수 있다.
   3. 따라서 SRAM이 빠르다는 장점은 유지되지만, 모델 규모가 커질수록 칩 수·분산·통신·메모리 관리 비용이 함께 커진다.

4. Cerebras의 비교 관점

   1. Cerebras는 웨이퍼 하나에 단일 Groq 칩보다 약 100배 많은 메모리를 제공할 수 있다고 주장한다.
   2. 그 결과 Cerebras는 수천 개의 작은 칩을 조합하지 않고도 훨씬 큰 모델을 한 시스템에 수용할 수 있다.
   3. Groq의 강점은 다른 규모와 모델에 있을 수 있지만, Cerebras는 프런티어 모델과 ultra-fast inference를 자신의 핵심 시장으로 선택한다.

8. 이기종·분산 추론: 데이터센터를 하나의 컴퓨터로

추론은 더 이상 하나의 균일한 작업이 아니다. 요청의 흐름을 쪼개 보면 서로 다른 메모리 접근·연산·통신 특성을 가진 하위 작업이 드러나며, 각 하위 작업에 맞춘 하드웨어를 조합하는 편이 대규모 배치에서 유리하다.

8.1. 제품 관점: 속도와 용량을 함께 확보하기

1. 속도가 여는 기회

   1. 속도가 빨라지면 새 애플리케이션, 새로운 상호작용, 더 풍부한 사용자 경험이 가능해진다.
   2. 빠른 응답은 더 많은 에이전트 루프와 더 정교한 reasoning을 사용자 대기 시간 안에 포함시킨다.
   3. 현재 ultra-fast라고 부르는 속도보다 더 빨라졌을 때만 가능한 제품도 아직 상상하지 못하고 있을 가능성이 있다.

2. 속도만으로 충분하지 않은 이유

   1. 가장 빠른 하드웨어를 원해도 실제 서비스에는 충분한 용량이 필요하다.
   2. 한두 대의 빠른 장비가 아니라 고객의 동시 요청과 모델 종류를 감당할 수 있는 수량이 있어야 한다.
   3. 따라서 제품 관점의 최적 구성은 최고 속도와 필요한 capacity를 함께 만족하는 하드웨어 조합이다.

8.2. 아키텍처 관점: 추론을 하위 작업으로 분해하기

1. 첫 번째 분해: prefill과 decode

   1. Prefill은 입력 프롬프트를 읽고 KV cache를 만드는 단계로, 대규모 병렬 처리와 메모리 대역폭이 중요하다.
   2. Decode는 한 번에 다음 토큰을 생성하는 단계로, 짧은 지연 시간과 반복적인 메모리 접근이 중요하다.
   3. 같은 하드웨어에서 두 단계를 모두 처리하면 한쪽의 특성이 다른 쪽의 효율을 제한할 수 있다.

2. 두 번째 분해: 단계 안의 세부 작업

   1. KV cache를 실제로 로드하는 작업은 별도의 메모리 동작 특성을 갖는다.
   2. attention 계산은 다른 연산량·대역폭·지연 요구를 가진다.
   3. Mixture-of-Experts 모델에서는 여러 하드웨어에 expert를 분산하고 요청을 균형 있게 라우팅해야 한다.
   4. 각 세부 작업을 같은 칩에 억지로 맞추기보다, 해당 작업에 특화된 하드웨어로 배치할 수 있다.

3. 분산(disaggregation)이 경제성을 얻는 규모

   1. 작은 시스템에서는 여러 종류의 하드웨어를 모아 한 문제만 해결하는 비용이 이점보다 클 수 있다.
   2. 수백 메가와트에서 기가와트, 다중 기가와트 규모에서는 전문 하드웨어를 나누는 편이 전체 비용과 성능에서 이득이 된다.
   3. 이 규모에서는 데이터센터 전체를 하나의 컴퓨터로 보고, attention용 메모리·prefill용 처리량·decode용 지연 특성을 설계할 수 있다.

9. 모델과 하드웨어의 공동 설계

현재의 모델은 대체로 NVIDIA GPU를 기준으로 설계돼 있다. 이식성은 높지만, 특정 GPU의 메모리 계층·커널·통신 방식에 맞춘 모델이 다른 아키텍처에서는 잠재 성능을 모두 발휘하지 못할 수 있다.

9.1. NVIDIA 중심 모델이 남기는 성능

1. 특정 GPU를 기준으로 한 모델

   1. 모델과 커널은 B200, GB200, NVL72 같은 특정 NVIDIA 플랫폼을 목표로 최적화되는 경우가 많다.
   2. 이 구조에서는 모델이 실제로 사용하는 메모리 접근과 병렬 패턴이 해당 GPU의 장점에 맞춰진다.
   3. 같은 모델을 Cerebras나 다른 비NVIDIA 아키텍처에서 실행하면, 하드웨어가 더 빠르더라도 코드와 모델 구조가 병목이 될 수 있다.

2. 14배 성능 이후의 추가 기회

   1. Cerebras는 NVIDIA를 위해 설계된 모델도 이미 약 14배 빠르게 실행할 수 있다고 설명한다.
   2. 모델 아키텍처를 Cerebras의 메모리·연산·통신 특성에 맞게 조금만 조정해도 큰 추가 이득이 가능하다.
   3. 모델을 하드웨어에 맞춰 더 많이 공동 설계하면 최적화 여지는 거의 제한이 없다고 본다.

9.2. 인터랙티브 모델과 새로운 워크플로

1. 텍스트를 넘어서는 상호작용

   1. 그래픽 디자인에서는 사용자가 생성 결과를 기다리는 대신 작업 중에 이미지·비디오를 반복적으로 생성하고 수정한다.
   2. diffusion 기반 이미지·비디오 생성이 창작 흐름 안에 실시간으로 들어오면, 모델의 지연 시간이 곧 편집 경험의 품질이 된다.
   3. 음성·멀티모달·에이전트 모델이 결합할수록 여러 모델과 단계 사이의 지연을 줄이는 것이 중요해진다.

2. AI가 생성하는 하드웨어 커널

   1. 기존의 CUDA 중심 커널을 다른 가속기에 단순 이식하는 것보다, AI가 새로운 아키텍처에 맞춰 커널을 생성하게 하는 편이 효율적일 수 있다.
   2. 모델의 연산 패턴과 하드웨어의 메모리·통신 제약을 함께 입력하면, 사람이 수작업으로 작성하기 어려운 최적화 코드를 탐색할 수 있다.
   3. 모델-하드웨어 공동 설계는 칩 설계 시점뿐 아니라 컴파일러·런타임·커널 생성 시점에도 적용된다.

10. Etched와 차세대 AI 하드웨어 스타트업의 방향

Etched는 높은 기업가치와 인상적인 제품 이미지를 갖고 있지만, Sean Lie는 단일 칩의 성능 외에 랙·패키징·인터커넥트까지 어떤 차별화를 만들지 공개적으로 보여줘야 한다고 본다.

10.1. 공개 정보와 차별화의 불확실성

1. 변화하는 설명

   1. Etched는 지금까지 무엇을 만들고 있는지 구체적으로 많이 공개하지 않았다.
   2. 초기 설명과 최근 설명 사이에 변화가 있었고, 회사도 환경 변화에 맞춰 방향을 조정했다고 인정한다.
   3. 피벗 자체는 자연스럽지만, 외부에서는 어떤 문제를 어떤 구조로 해결하는지 판단하기 어렵다.

2. 분산 스토리지 주장에 대한 질문

   1. Etched는 분산된 저장 구조가 분산됐기 때문에 더 빠르다고 주장한 것으로 언급된다.
   2. 그러나 왜 분산 자체가 더 빠른지, 메모리 대역폭·지연·통신 비용을 어떻게 해결하는지는 명확하게 설명되지 않았다.
   3. Hot Chips에서 랙 또는 시스템을 전시했지만, 실제 차별화와 성능 수치를 평가하려면 더 많은 공개 정보가 필요하다.

3. 20억 달러 규모의 기업가치가 의미하는 것

   1. 기업가치가 크다는 사실은 Etched가 무시할 수 없는 경쟁자라는 뜻이다.
   2. 동시에 큰 자본을 확보한 만큼 단순히 전통적인 GPU를 조금 개선하는 데 그치지 않고 더 대담한 시스템 혁신을 보여줄 기대도 커진다.
   3. Sean Lie는 Etched와 다른 스타트업이 칩 바깥의 통합 문제를 풀어주기를 바란다.

10.2. 다음 혁신이 일어날 층위

1. 칩을 넘어선 통합

   1. AI 모델과 애플리케이션의 크기가 단일 칩에 담을 수 있는 범위를 넘었기 때문에, 더 많은 연산·메모리·인터커넥트를 함께 묶는 방법이 핵심이 된다.
   2. 혁신의 대상은 칩 하나가 아니라 패키지, 노드, 랙, 인터커넥트, 데이터센터 공장까지 이어진다.
   3. 스케줄링·파이프라이닝·데이터 이동 알고리즘도 하드웨어와 같은 수준에서 설계해야 한다.

2. 데이터센터 전체를 설계하는 관점

   1. 모델이 너무 커지면 서버 몇 대의 성능만으로는 충분하지 않다.
   2. 전력·냉각·메모리·네트워크·소프트웨어 배치가 하나의 컴퓨터처럼 동작해야 한다.
   3. 향후 AI 인프라의 승자는 단일 칩의 최고 벤치마크보다 전체 시스템의 통합 효율에서 결정될 수 있다.

11. 메모리와 3D 패키징이 여는 다음 도약

AI 칩을 구성하는 핵심은 결국 연산(compute), 인터커넥트(interconnect), 메모리(memory) 세 가지다. 특히 낮은 지연 시간 영역에서는 메모리 대역폭이 성능을 결정하는 핵심 요소가 된다.

11.1. D-Matrix와 3D DRAM

1. D-Matrix가 보여준 방향

   1. Hot Chips에서 D-Matrix가 3D DRAM 패키징을 적극적으로 추진하는 것이 Sean Lie의 눈에 띄는 발표였다.
   2. 연산 장치에 메모리를 가까이 쌓으면 데이터 이동 거리를 줄이고, 대역폭과 지연 시간을 개선할 가능성이 있다.
   3. 이는 단일 칩의 연산 유닛을 늘리는 것과 다른 방식으로 AI 성능을 확장하는 접근이다.

2. Cerebras backpack과의 유사성

   1. Cerebras의 backpack은 전력을 웨이퍼 표면 가까이 직접 공급하는 컴팩트한 3D 패키지 구조다.
   2. 3D DRAM 적층은 같은 통합 철학을 전력 대신 메모리에 적용하는 것으로 볼 수 있다.
   3. Cerebras도 약 2년 전부터 같은 이유로 DRAM stacking 프로그램을 시작했으며, 차세대 성능을 위해 패키징 혁신이 필요하다고 본다.

11.2. ZHBM과 메모리 업체의 경쟁

1. 삼성의 메모리 통합 방향

   1. 삼성의 ZHBM 논의는 고대역폭 메모리를 AI 연산 장치 가까이에 통합하려는 업계 흐름의 일부다.
   2. 메모리 기업들이 새로운 HBM 구조와 3D 통합을 경쟁적으로 내놓는 이유는 모델 크기와 KV cache가 빠르게 커지고 있기 때문이다.
   3. 미래의 AI 시스템은 연산 유닛 수보다 메모리에서 연산 유닛으로 데이터를 공급하는 속도에 의해 제한될 수 있다.

2. 연산·인터커넥트·메모리의 균형

   1. 연산 능력이 커져도 메모리 대역폭이 따라오지 않으면 유휴 연산기가 늘어난다.
   2. 메모리가 충분해도 인터커넥트가 느리면 여러 칩과 랙 사이의 분산 작업이 병목이 된다.
   3. 세 요소를 함께 최적화해야 low-latency inference의 실제 성능이 올라간다.

12. 전력·냉각·수율: 그림과 제품 사이의 간극

웨이퍼 스케일이나 3D DRAM은 발표 자료로 그리기 쉬운 구조지만, 실제 제품이 되려면 전력을 공급하고 열을 제거하며 높은 수율로 반복 생산해야 한다.

12.1. 웨이퍼 스케일에서 드러난 진짜 어려움

1. 초기에 예상한 문제

   1. 사람들은 웨이퍼 스케일의 가장 큰 난관을 수많은 다이를 어떻게 연결할지로 생각했다.
   2. 웨이퍼 전체를 하나의 시스템으로 만들 때 제조 수율을 어떻게 확보할지도 근본적인 문제였다.
   3. Cerebras는 연결과 수율을 실제 제품 수준에서 해결해야 했다.

2. 결국 더 어려웠던 문제

   1. 많은 전력을 웨이퍼에 안정적으로 공급하는 일이 성능을 가능하게 하는 핵심으로 드러났다.
   2. 같은 전력에서 발생하는 열을 제거하고 시스템을 냉각하는 일이 지속적인 운영의 전제다.
   3. 대규모로 신뢰성 있게 제조하고 패키징하는 능력이 최고 성능의 발표 숫자보다 중요하다.

12.2. 3D DRAM이 넘어야 할 현실

1. PowerPoint와 제품의 차이

   1. DRAM과 로직을 수직으로 쌓은 그림을 그리는 일은 쉽다.
   2. 실제로는 적층된 층에 전력을 어떻게 전달하고, 각 층에서 생긴 열을 어떻게 제거할지 결정해야 한다.
   3. 수율·열·전력·패키징을 동시에 해결하지 못하면 3D 통합은 실험실을 넘어설 수 없다.

2. Cerebras가 가진 경험

   1. Cerebras는 웨이퍼 스케일에서 대규모 수율 문제를 이미 다뤘다고 설명한다.
   2. 3차원 패키징과 전력 전달 구조를 실제 제품에 적용한 경험도 다음 DRAM 적층 접근에 활용할 수 있다.
   3. 삼성, D-Matrix 등 다른 회사도 같은 문제를 각자의 메모리·로직·패키징 구조에서 해결해야 한다.

13. 미국과 중국의 모델·반도체 경쟁

오픈소스 모델과 AI 하드웨어의 주도권이 같은 방향으로 움직이지 않을 수 있다는 점이 전략적 위험으로 제시된다. 중국 연구소가 고품질 오픈 모델을 빠르게 내놓는 동시에, 그 모델을 뒷받침하는 비미국산 인프라도 구축하고 있다.

13.1. 중국 오픈 모델의 존재감

1. 오픈 모델 시장의 집중

   1. 대화에서는 고품질 대형 오픈 모델의 약 95%가 중국 연구소에서 나온다는 강한 추정치가 언급된다.
   2. 진행자가 “100%는 아니지만”이라고 조정했지만, 오픈 모델 공급에서 중국의 비중이 매우 크다는 문제의식은 유지된다.
   3. 전 세계 개발자가 모델을 공유하고 활용하는 것은 기술 생태계에 이롭지만, 한 국가에 모델 공급이 과도하게 의존하는 것은 전략적으로 취약하다.

2. 모델과 하드웨어의 동시 독립

   1. 중국 모델이 성장하는 동안 이를 실행하기 위한 중국 내 하드웨어 인프라도 배경에서 독립적으로 구축되고 있다.
   2. 미국산 칩 없이도 강력한 모델이 오픈 라우터 등에서 실행되는 사례는 모델과 인프라의 분리가 진행되고 있음을 보여준다.
   3. 모델 주도권과 하드웨어 주도권을 모두 잃으면 미국 기업의 기술 경쟁력과 국가 안보가 동시에 압박받을 수 있다.

13.2. 단일 회사로 해결할 수 없는 문제

1. 경쟁의 난이도

   1. 중국의 연구소와 기업은 무엇을 해야 하는지 알고 있으며, 기술 경쟁이 쉽지 않다.
   2. 한 회사나 한 팹(fab)이 모든 공급망과 모델 생태계를 해결할 수는 없다.
   3. 하드웨어 설계·제조·패키징·전력·모델·소프트웨어를 동시에 강화해야 한다.

2. 정부와 국가 전략의 역할

   1. 미국의 반도체 우위를 유지하려면 정부와 국가적 이해관계 수준의 이니셔티브가 필요하다.
   2. Hot Chips처럼 산업 지도자들이 모이는 자리에서 공급망·연구·제조 정책을 함께 논의해야 한다.
   3. Sean Lie는 미국의 기술 우위를 이어가는 정책적 노력을 지지한다고 밝힌다.

14. Cerebras의 IPO와 대화의 결론

Cerebras는 인터뷰 시점에 상장 기업이 된 직후였으며, Sean Lie는 이를 여전히 실감하기 어렵다고 표현한다. 그러나 상장은 끝이 아니라 ultra-fast inference를 실제 규모로 확장해야 하는 출발점이다.

14.1. 상장이 의미하는 것

1. 반도체 역사상 큰 IPO

   1. Sean Lie는 Cerebras의 IPO가 역사상 가장 큰 반도체 IPO였다고 회고한다.
   2. 웨이퍼 스케일이라는 오랜 베팅이 공개시장과 대규모 고객 수요를 만나는 단계에 들어섰다는 의미다.
   3. 상장 이후에는 기술 가능성뿐 아니라 공급 능력, 매출, 고객 서비스, 차세대 제품 실행력이 평가 대상이 된다.

2. 앞으로의 약속

   1. 더 빠른 CS5와 더 많은 capacity를 공급해 OpenAI뿐 아니라 엔터프라이즈 고객도 ultra-fast inference를 사용할 수 있게 한다.
   2. 프런티어 모델을 빠르게 돌릴 수 있는 용량과 중간 규모 모델을 10,000 TPS로 처리하는 용량을 함께 확대한다.
   3. OpenAI와의 공동 설계를 모델·칩·AI 도구·고객 제품으로 확장한다.

14.2. 시청자에게 남긴 요구

1. 진행자는 더 크고 더 빠른 ultra-fast inference를 모든 사람이 사용할 수 있게 해 달라고 농담 섞인 압박을 보낸다.
2. OpenAI가 용량을 내부에만 두지 말고 GLM·DeepSeek 같은 모델과 일반 개발자에게도 개방해야 한다는 요구가 이어진다.
3. Sean Lie는 서비스 공개 범위는 OpenAI의 결정이며 Cerebras는 인프라를 제공한다고 선을 긋는다.
4. 이상적인 미래는 특정 고객만 전용 용량을 갖는 것이 아니라, 개발자가 자신의 랙을 확보해 원하는 모델을 초고속으로 운영하는 환경이다.

주요 발언 모음

“지금은 하드웨어의 황금기다.”

“NVIDIA는 바보가 아니다. 그들이 시장을 소유한 데는 이유가 있다.”

“모듈형으로 설계하면, 모듈형이다.”

“OpenAI의 결정이다. 우리는 인프라를 제공할 뿐이다.”

“더 빠른 속도는 더 많은 추론 루프와 더 지능적인 에이전트를 가능하게 한다.”

핵심 데이터 & 수치

• CS4 성능: GPT-OSS를 4,400 TPS 이상으로 실행하는 데모가 공개됐다.
• CS4 시스템 개선: 이전 세대 대비 웨이퍼 공급 전력 2배, 인터커넥트 대역폭 2배, 지연 시간 절반을 목표로 한다.
• OpenAI ultra-fast: Cerebras는 OpenAI의 프런티어 모델을 일반 GPU 환경보다 약 14배 빠르게 실행한다고 설명한다.
• CS5 목표: CS4에서 다시 약 2배 개선해 중간 규모 모델 최대 10,000 TPS, 프런티어 모델 최대 5,000 TPS를 목표로 한다.
• Groq 비교: 논쟁의 중심이 된 공개 벤치마크는 약 31B 파라미터 모델에 초점을 맞췄다.
• 메모리 규모: Sean Lie는 Cerebras 웨이퍼 하나의 메모리가 Groq 단일 칩보다 약 100배 많다고 비교한다.
• 배치 속도의 기준 변화: 100~200 TPS는 프롬프트 처리에는 유용하지만 점차 새로운 batch mode처럼 느껴질 수 있다.
• 중국 오픈 모델: 대화에서는 고품질 대형 오픈 모델의 약 95%가 중국 연구소에서 나온다는 추정치가 언급된다.

결론 및 시사점

1. 초고속 추론의 가치는 TPS 숫자 자체가 아니라 동일한 사용자 대기 시간 안에 더 많은 reasoning과 에이전트 루프를 넣는 데 있다.
2. 100~200 TPS는 여전히 배치·프롬프트 처리에서 유효하지만, 인터랙티브 에이전트의 기준은 수천 TPS로 이동할 수 있다.
3. Cerebras CS4는 웨이퍼 스케일을 Nexus 모듈형 플랫폼으로 데이터센터에 배치하려는 제품화 전략을 보여준다.
4. CS5의 핵심은 차세대 웨이퍼 칩을 위해 플랫폼을 미리 설계하고 성능을 다시 2배 확장하는 데 있다.
5. OpenAI의 내부 장애 대응과 핵심 연구는 ultra-fast inference가 실제 운영 가치가 있음을 보여주는 초기 사례다.
6. OpenAI Jalapeño는 AI 모델과 워크로드에서 출발하는 AI-first 칩 설계가 가능한지를 시험하는 신호다.
7. 모델이 특정 NVIDIA GPU에 맞춰 설계된 현재 구조는 비NVIDIA 아키텍처에서 얻을 수 있는 잠재 성능을 남긴다.
8. 모델·컴파일러·커널·하드웨어를 공동 설계하면 단순 이식보다 큰 추가 성능을 얻을 수 있다.
9. 추론은 prefill·decode·KV cache·attention·expert routing으로 분해되며, 각 단계에는 서로 다른 하드웨어 특성이 필요하다.
10. 수백 메가와트에서 기가와트 규모에서는 이기종 하드웨어를 하나의 데이터센터 컴퓨터처럼 조합하는 전략이 경제성을 갖는다.
11. SRAM은 낮은 지연 시간에 강하지만, 대형 프런티어 모델의 가중치를 담기 위한 메모리 용량과 칩 수 문제가 뒤따른다.
12. 다음 혁신은 단일 칩보다 패키지·노드·랙·인터커넥트·공장 전체의 통합에서 나올 가능성이 높다.
13. 3D DRAM은 메모리 대역폭을 높일 수 있지만 전력 전달·냉각·수율·신뢰성이라는 현실의 벽을 넘어야 한다.
14. AI 반도체 성능은 연산량만으로 결정되지 않고 compute·interconnect·memory의 균형으로 결정된다.
15. 전력과 냉각은 웨이퍼 스케일과 3D 패키징을 가능하게 하는 핵심 기술이며, 발표 자료보다 제품화에서 더 큰 난관이 된다.
16. 중국 오픈 모델의 성장과 중국 내 하드웨어 인프라 독립은 미국의 모델·칩·공급망 전략을 동시에 요구한다.
17. 미국 반도체 경쟁력은 한 회사나 팹만으로 유지할 수 없고, 정부·산업·연구 생태계의 국가적 협력이 필요하다.
18. Cerebras의 IPO는 웨이퍼 스케일 기술의 가능성 증명에서 대규모 공급과 서비스 운영으로 책임이 이동했음을 뜻한다.
19. ultra-fast inference의 최종 승자는 가장 높은 단일 칩 벤치마크가 아니라 가장 좋은 모델·시스템·전력·용량 조합을 제공하는 생태계일 수 있다.
20. AI 인프라의 다음 경쟁은 “더 큰 칩”보다 “모델이 더 많이 생각하고, 사용자가 더 짧게 기다리게 하는 전체 컴퓨터”를 만드는 경쟁이다.

핵심 요약 (20줄)

1. Cerebras CS4는 Nexus 모듈형 플랫폼을 통해 웨이퍼 스케일 추론을 하이퍼스케일 데이터센터에 배치하려 한다.
2. CS4는 이전 세대보다 웨이퍼 공급 전력과 인터커넥트 대역폭을 2배로 늘리고 지연 시간을 절반으로 줄였다.
3. GPT-OSS는 Hot Chips 데모에서 초당 4,400토큰 이상으로 실행됐다.
4. 100~200 TPS는 프롬프트 처리와 병렬 작업에는 유용하지만 점차 새로운 batch mode처럼 느껴질 수 있다.
5. 4,000 TPS 이상의 속도는 에이전트가 같은 대기 시간 안에 더 많은 reasoning loop를 수행하게 한다.
6. Cerebras의 첫 세대는 웨이퍼 스케일 칩을 실제로 만들 수 있다는 기술 가능성을 증명하는 단계였다.
7. Cerebras는 이제 기술 시연보다 OpenAI와 함께 실제 모델·서비스·고객 문제를 해결하는 단계로 이동했다.
8. OpenAI는 ultra-fast inference를 장애 대응과 핵심 연구에 내부적으로 사용하고 있다.
9. Cerebras는 현재 생산 중인 용량이 사실상 매진됐으며 엔터프라이즈 접근을 점차 확대하려 한다.
10. CS5는 CS4에서 다시 약 2배 개선해 중간 규모 모델 최대 10,000 TPS를 목표로 한다.
11. 프런티어 모델도 CS5에서 최대 5,000 TPS 수준으로 실행하는 것이 목표다.
12. OpenAI Jalapeño의 가장 중요한 성과는 GPU 성능보다 AI-first 칩 설계 방법론에 있다.
13. AI가 특정 하드웨어에 맞는 커널을 생성하면 비NVIDIA 아키텍처의 성능 잠재력을 더 끌어낼 수 있다.
14. Groq의 SRAM 구조는 낮은 지연 시간에 강하지만 대형 모델을 담기 위한 메모리 용량 문제가 있다.
15. Cerebras는 웨이퍼 단위의 큰 메모리로 프런티어 모델을 수천 개의 작은 칩 없이 실행하려 한다.
16. 미래의 추론은 prefill·decode·KV cache·attention·expert routing을 각기 특화된 하드웨어에 배치할 수 있다.
17. 대규모 데이터센터에서는 전체 시설을 하나의 컴퓨터처럼 설계하는 이기종·분산 접근이 경제성을 갖는다.
18. 다음 반도체 혁신은 단일 칩보다 3D 메모리·패키징·랙·인터커넥트·전력·냉각의 통합에서 나올 가능성이 크다.
19. 중국 오픈 모델과 중국 내 AI 하드웨어의 성장은 미국에 모델·반도체·공급망을 함께 강화할 국가 전략을 요구한다.
20. 초고속 추론의 최종 가치는 더 많은 토큰이 아니라 더 지능적인 에이전트와 새로운 실시간 AI 제품을 가능하게 하는 데 있다.