오픈 모델은 OpenAI와 Anthropic을 따라잡을 수 있을까?

URL: https://www.youtube.com/watch?v=BKuK0M6oDTI 날짜: 2026-10-15 채널: a16z

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==오픈 모델이 폐쇄형 프런티어 모델을 따라잡는 속도는 컴퓨트·데이터·인재라는 자본의 배분, 추론 비용, 그리고 오픈 생태계의 데이터·RL 환경·에이전트 도구 공유 속도에 달려 있다.==

• OpenAI와 Anthropic은 새로운 학습 패러다임을 먼저 만들고 막대한 컴퓨트와 추론 인프라를 통합할 자본을 갖는다.
• 중국을 포함한 오픈 모델 연구소는 인재 면에서 뒤지지 않지만 컴퓨트가 부족하며, 증류·데이터·RL 환경으로 격차를 수개월 단위로 좁힌다.
• 공개 연구에서 증류의 효과는 큰 오차 막대를 가지며, 현재 추론 모델의 핵심 병목은 좋은 교사 흔적보다 좋은 환경과 검증 가능한 보상을 만드는 일에 가깝다.
• 프런티어 연구의 기법 자체가 모두 비밀인 것은 아니며, 성공적인 기법의 비율을 실험할 자본과 인프라가 가장 큰 장벽이다.
• Trillium은 재귀적 자기개선(RSI)을 신비화하지 않고 실제 작업·설정·궤적·실패를 공개하는 비영리 연구소를 지향한다.

폐쇄형 연구소는 고가치 시장과 효율적인 추론 서비스에서 먼저 수익을 만들고 다시 컴퓨트에 투자한다. 오픈 생태계는 모델 제작자·추론 회사·포스트 트레이닝 회사·고객 사이의 느린 정보 순환을 통해 실제 가중치와 사내 데이터 소유권을 얻는다. 수학·코드처럼 검증 가능한 업무에서는 모델 효율이 빠르게 올라가고, 생물학·의료·법률·로보틱스처럼 검증하기 어려운 업무에서는 분야별 데이터와 환경을 사는 자본 투입이 오래 필요하다.

1. 프런티어를 만든 자본과 폐쇄·오픈 생태계

모델 발전은 컴퓨트, 데이터, 인재라는 세 자본과 이를 조직하는 능력의 함수다.

1.1. 컴퓨트·데이터·인재와 조직 설계

1. 폐쇄형 연구소의 자본과 문화

   1. 세 가지 투입물: 모든 연구소가 컴퓨트·데이터·인재를 서로 다른 양과 질로 보유하며, OpenAI·Anthropic·Google이 이 세 자본을 가장 많이 확보했다.
   2. 조직도의 난점: 자본량만으로는 부족하고 모델 제작에 맞는 조직을 설계하기 어렵다. Meta는 조직을 아래부터 전면 재설계한 뒤 다시 상승 궤도에 올랐다.
   3. OpenAI의 돌파: 추론 모델과 추론 스케일링 법칙을 앞세워 모두가 모델을 생각하는 방식을 바꾼 성능 곡선을 만들었다.
   4. Anthropic의 집중: 모델이 실제로 할 수 있는 일, 특히 코딩에 오랫동안 집중했고 Claude Code의 폭발적 확산을 얻었다.
   5. 인재의 진로: 최전선에서 일하고 싶다면 외부에서 가장 분명한 선택지는 Anthropic과 OpenAI이며, Meta·Google·xAI도 가능하지만 외부에서 방향을 확인하기 어렵다.

2. 중국의 오픈 출시 전략

   1. 인지도 문제: 중국에서 API를 팔면 미국 시장 고객이 Moonshot AI, Zhipu 등 수많은 회사를 알기 어렵다.
   2. 상업적 지름길: 오픈 모델 출시는 개발자·투자자와 대화에 들어가는 유통 전략이며, 모든 출시를 정부 지시로 볼 필요는 없다.
   3. 인재의 동등성: 중국은 고급 교육을 받은 연구자가 많아 인재 면에서 동등하다.
   4. 컴퓨트 격차: 미국의 일반적인 OpenAI 연구자가 언제든 접근할 수 있는 H100 환산 5,000장 이야기를 들으면 중국의 최상위 사전학습 연구자도 이해하기 어려워한다.
   5. 안보 감각: 중국 정부가 기업에 취하는 급격한 조치는 미국에서 상상하기 어려워 중국 연구소가 보안의 심각성을 현실적으로 느끼게 한다.

3. 패러다임 창조와 빠른 추종

   1. 서로 다른 목표: OpenAI와 Anthropic은 새로운 패러다임과 진정한 RSI를 먼저 만들어 최강 모델을 영속적으로 차지하려 한다.
   2. 추종의 경제성: 선두가 만들 모델의 형태를 보여주면 후발 연구소는 무엇을 해야 하는지 훨씬 쉽게 정의한다.
   3. 자연스러운 층위: 최고 폐쇄형 모델, 한 단계 아래의 오픈 근접 프런티어 모델, 특정 고객을 겨냥한 저가 모델이라는 층위가 수요·공급에 따라 생긴다.
   4. 데이터 확산: 선두 연구소가 데이터 산업을 비싸게 구축하면 계약상 독점 기간 뒤 데이터 회사가 같은 자산을 여러 고객에게 판매한다.
   5. 산업의 지속성: ChatGPT 이후 2년 안에 올 것 같던 통합·인수합병이 늦어졌고 오픈 모델 회사들은 예상보다 오래 버텼다.

2. 증류, 컴퓨트 격차, 경쟁의 경계

중국 연구소는 기술적으로 매우 강하지만 증류만으로 짧아진 격차를 모두 설명할 수 없다.

2.1. SFT에서 환경 중심 RL로

1. 증류의 기본 원리

   1. 출력과 컴퓨트: 언어 모델 출력은 컴퓨트의 함수이므로 원하는 출력이 이미 있으면 생성을 위한 컴퓨트를 데이터로 바꿔 산 셈이 된다.
   2. 초기 방식: 강한 교사 모델에 프롬프트를 넣어 완성문을 만들고 다음 토큰 예측으로 학습하면 적절한 프롬프트만으로 성능이 오른다.
   3. 프롬프트의 지위: AI2에서 Hannah와 포스트 트레이닝을 공동 지휘할 때도 프롬프트를 포스트 트레이닝의 핵심 단위로 봤다.
   4. 방식의 변화: 과거 SFT·RHF는 강한 모델의 완성문에 의존했지만 현재는 모델을 환경에 넣고 보상을 얻는 RL이 중심이 됐다.

2. 공개 연구가 보이는 난점

   1. 교사 부족: 완전 공개된 연구자들은 적절한 교사를 구하지 못해 오래된 Qwen 모델을 반복 사용한다.
   2. 중간 학습 가설: 공개 사전학습 데이터와 중간 학습이 최상위 모델의 추론 흔적을 가져와 SFT하는 일을 어렵게 만들 수 있다.
   3. 흔적의 불확실성: Claude Opus의 사고 흔적을 얻어도 새 모델이 크게 좋아진다는 보장은 없다.
   4. RL 실행의 불투명성: xAI 등이 일주일짜리 오픈 RL 실행을 공개해도 RL 뒤 추가 포스트 트레이닝을 했다는 보고서 때문에 순서를 확정하기 어렵다.
   5. 중국의 프록시 사례: 중국에는 대량 토큰·계정과 모델 프록시를 쓰는 사례가 있고 Kimi가 제품에서 Claude를 사용자에게 제공한 사례도 있다.

2.2. 증류를 둘러싼 경쟁과 정책

1. 수개월 효과와 큰 오차 막대

   1. 현실적 추정: 공개 문헌에서 증류는 도움이 되지만 현재 포스트 트레이닝의 압도적 단일 레버는 아니며 격차를 수개월 줄이는 정도로 보인다.
   2. 역량의 현실: 좋은 모델을 만드는 기업이 20~30곳이나 된다는 사실을 인정하지 않고 미국만 잘 만든다고 보는 것은 현실 부정이다.
   3. 추론 토큰: API에 사고 토큰이 노출되면 쉽게 추출해 학습할 수 있고, 제품이나 엔터프라이즈 계약 뒤에 숨기면 어려워진다.

2. 경쟁인가 절도인가

   1. Jensen Huang의 발언: “사람들은 매일 내 제품을 증류한다. 제품을 날것의 부분으로 분해하고 모든 것을 시험한다. 그것을 경쟁이라고 부른다.”
   2. 약관의 대응: 정부가 서비스 약관 위반에 개입하기보다 접근을 취소할 수 있으며, 약관은 일반적인 의미의 서명 계약과 다를 수 있다.
   3. 정책의 역효과: 의회나 연방기관이 증류를 압박해도 증류는 멈추지 않고 미중 소통과 오픈소스·스타트업 생태계만 손상할 수 있다.
   4. 안보 균형: 국가안보 커뮤니티의 우려에는 AI 영향력이 커진다는 방향성의 진실이 있으나, 프런티어 위험과 오픈 웨이트 위험을 다루려면 중국 기술 기업과 대화해야 한다.

3. 폐쇄형 플라이휠과 오픈 모델의 시간척도

폐쇄형과 오픈형은 같은 지수 곡선 위에서 경쟁하지만 수익과 정보가 흐르는 시간이 다르다.

3.1. 자본·수익의 플라이휠

1. 희소 자원의 선점

   1. 컴퓨트의 범위: 칩뿐 아니라 전력도 부족하며 이 병목은 2028년까지 이어질 수 있다.
   2. 선점 전략: OpenAI와 Anthropic은 컴퓨트를 확보해 프런티어에 도달하고 능력을 API와 제품으로 판매한다.
   3. 재투자: 스케일링 과학이 컴퓨트와 성능의 관계를 예측하게 하므로 모델 수익이 더 많은 자본과 데이터로 재투자된다.
   4. IPO의 필요: 자원 요구량이 지수적으로 늘어 연구소는 IPO와 공개시장 자금이 필요하며, 플라이휠이 흔들리면 산업 전체가 타격을 받는다.

2. 오픈 경제의 느린 순환

   1. 분리된 층: 오픈 모델 제작자·추론 회사·포스트 트레이닝 회사가 나뉘어 고객 요구가 제작자에게 즉시 흐르지 않는다.
   2. 규모의 불리함: 오픈 회사는 폐쇄형만큼 많은 사용자를 효율적으로 서비스하거나 추론 마진을 만들기 어렵다.
   3. 소유의 보상: 기업은 민감한 데이터를 API에 보내기 싫어하고 내부 평가·미세조정을 거쳐 Thinking Machines·Prime Intellect 같은 회사를 찾는다.
   4. 최종 가중치: 오픈 방식은 약관 없는 가중치를 자체 하드웨어에서 실행해 ROI를 계산할 수 있다는 보상을 준다.

3.2. 범용 추론과 전문 데이터

1. 범용 모델의 침투

   1. 수학: 일반 추론을 확장한 모델이 수학 전용 모델보다 좋아졌고 Anthropic은 수학 특화 연구소가 아니어도 높은 성능을 냈다.
   2. 로보틱스: OpenAI가 6~8개월 전부터 인력과 로보틱스 데이터를 확보한 뒤 능력이 좋아졌으며, 컴퓨터 사용의 공간 추론과 Blender 데모의 영향도 가능하다.
   3. 특화의 한계: 수학자 채용이 있었더라도 핵심은 좁은 데이터셋보다 일반 추론 스케일링에 가깝다.

2. 오픈 미세조정의 실용성

   1. 충분히 좋은 기반: 좋은 오픈 모델은 기업의 비공개 벤치마크와 데이터로 미세조정할 출발점이 된다.
   2. Cursor 사례: SQLite를 다시 쓰는 장기 작업에서 계획·실행에 두 프런티어 모델을 쓰는 방식은 Composer와 프런티어 모델 하나를 계획에 쓰는 방식과 동등하면서 더 비쌌다.
   3. 전문 데이터: 기업별 데이터와 평가가 축적되면 값싼 오픈 미세조정이 실무에서 범용 모델의 추가 확장보다 유리할 수 있다.

4. 데이터·RL 환경·모델 효율

검증 가능한 영역과 검증하기 어려운 영역은 서로 다른 진보 경로를 가진다.

4.1. 데이터와 가격 하락

1. 검증 가능 영역

   1. 수학·코드·분산 ML: 정답과 비용을 비교하기 쉬워 자동화와 생산성 향상이 빠르다.
   2. 서빙 소프트웨어: 모델을 싸고 빠르게 제공하는 소프트웨어가 수익을 만들고 추론 비용을 곱셈적으로 낮춘다.

2. 검증 어려운 영역

   1. 분야별 세계: 생물학·의료·법률·로보틱스에서는 데이터와 모델이 행동할 세계를 만드는 일이 일반화 마법보다 중요하다.
   2. 좁은 직무: 프런티어 연구소에는 특정 행동을 정의하고 필요한 데이터를 구매하는 좁은 역할이 있으며 이 작업은 수년간 이어진다.
   3. 자본 집약성: 여러 산업의 데이터를 구매해야 하므로 오픈 모델이 비검증 영역에서 즉시 같은 성능을 내기 어렵다.

3. 서빙 비용의 가정

   1. 가격 인하: OpenAI의 급격한 가격 인하는 비용 구조가 계속 변한다는 증거다.
   2. 2배/8개월: 큰 모델의 가격이 3년 동안 8개월마다 절반이 되면 4년 뒤 비용은 현재의 약 1%가 된다.
   3. Jevons의 역설: 비용 하락이 마진 증가가 될지, 시장 포화와 사용량 증가가 매출과 비용을 어떻게 바꿀지는 열려 있다.

4.2. RL 환경 시장과 품질

1. 합성 데이터와 구매

   1. 판매 범위: 환경 회사는 최상위 두 연구소뿐 아니라 긴 꼬리의 연구소에도 판매한다.
   2. 합성의 정의: 언어 모델이 세계를 수정·생성하고 사람이 안내하면 사람이 관여해도 합성 데이터다.
   3. 빠른 제작: 모든 회사가 사람이 Blender에서 세계를 수작업으로 만들기를 기다리지 않고 합성과 모델 롤아웃을 사용한다.
   4. 대량 구매: 데이터는 100% 성공하지 않아 연구소는 대량 구매 후 작동하는 항목을 고른다.

2. 보상 해킹과 거친 공급망

   1. 미로 사례: 테스트 파일이 실제 미로 대신 빈 파일이면 모델은 미로를 풀지 않고도 높은 보상을 얻는다.
   2. 품질 문제: 해외 계약자가 중개업체를 통해 자신도 모르는 데이터를 GitHub에 올리는 등 산업의 거친 모서리가 많다.
   3. 내부화: 프런티어 연구소는 연구 신호 유출을 막기 위해 환경을 내부로 가져오며, 품질·필터링 개선에는 몇 년이 걸린다.

5. Trillium의 오픈 연구 인프라

Trillium은 단기 매출보다 연구의 재현성과 사회적 관찰 가능성을 높이는 비영리 연구소다.

5.1. RL 환경과 공개 이유

1. T-Max 방식

   1. 과제: 워싱턴대·AI2·Hamish Iverson과 관련해 조언한 T-Max 작업은 Terminal-Bench류 터미널 과제를 다룬다.
   2. 생성·검증: 프런티어 모델로 유형별 문제를 생성하고 여러 프롬프트로 다양화한 뒤 롤아웃으로 버그를 찾아 제거한다.
   3. 사람의 검토: 마법이 아니라 모든 데이터 포인트를 읽어야 품질이 오른다.

2. 공개 인프라의 가치

   1. 비용: 환경 하나를 제대로 만드는 데 수천~수만 달러가 들고, 수익 동기가 강해 이를 공개할 기관이 적다.
   2. 연구 단위: RL 환경과 롤아웃을 공개하면 모델 행동·평가 인식·RL에 따른 변화를 연구할 수 있다.
   3. 장기 공공재: CS 연구의 이익은 대개 10년 뒤 산업에 돌아가므로, 산업에서 10년 일할 사람이 공개 기반을 남겨야 한다.

5.2. 꽃의 비유와 오픈 커뮤니티

1. Trillium의 역할

   1. 꽃: Trillium은 나무 잎이 캐노피를 덮기 전에 피는 봄의 일시적 꽃이다.
   2. 생태: 나무가 잎을 내기 전 영양분을 퍼뜨려 봄·여름의 성장 순환을 돕는다.
   3. 연구: AI 산업에 더 많은 사람의 연구·교육·독립적 사고를 퍼뜨리는 생기를 제공한다.
   4. 표준: 샌드박스와 통제 상실을 정의하고 1,000~100,000개 GPU의 일주일 RL 변화까지 관찰할 공개 기준을 만든다.

2. 기여의 양면성

   1. 기여자: 박사과정 학생과 고급 연구자가 직장 밖에서도 코드와 데이터에 참여할 수 있다.
   2. 잡음: 언어 모델이 만든 가짜 연구 결과를 근거로 한 GitHub 이슈가 늘고, 논문의 두 번째 문장에 있는 사실을 새 발견처럼 제보하기도 한다.
   3. 깊이: 동유럽 기여자가 책 코드를 개선한 사례처럼 진짜 기여도 있지만, 새 분야에는 몇 주간 읽고 좋은 질문을 만들며 6~18개월을 기다리는 시간이 필요하다.
   4. 에이전트의 한계: 버튼을 누르는 언어 모델만으로는 연구자가 되기 어렵고, 직접 코드를 쓰며 맥락에 머무는 시간이 중요하다. 수학자들도 에이전트가 이 몰입을 흐린다고 불평한다.

6. RSI를 측정 가능한 작업으로 바꾸기

RSI의 신비감을 줄이려면 실제 자동화 작업과 실패를 공개해야 한다.

6.1. 오픈 RSI 실험

1. 전체 스택 기록

   1. 도구: SFT·중간 학습용 오픈 스택, SkyRL·Miles 같은 도구, 사용 컴퓨트와 설정을 공개한다.
   2. 과제: 클라우드·GPT 계열 모델에 어떤 과제를 왜 줬는지, Linear 같은 작업 도구를 썼는지 기록한다.
   3. 궤적: 1년 동안 작업 궤적을 저장하고 6개월마다 변화와 실패를 점검한다.

2. 정책에 필요한 관찰

   1. 구체적 실패: “Nathan이 무엇을 시켰고 어디에서 막혔는가”를 보여주면 정책 담당자가 코드 버그 같은 실제 한계를 이해한다.
   2. 비교 가능성: AI2·Trillium의 연구는 프런티어 연구와 본질적으로 다르지 않고 폐쇄형은 더 많은 자원으로 확대한다.
   3. 여러 접근: Trillium뿐 아니라 Hugging Face, OpenAthena, Marin·Stanford 그룹과 학계 Open RSI가 서로 다른 결과를 내야 한다.

3. RSI의 실제 범위

   1. 서빙 효율: 모델은 서빙 비용과 아키텍처를 개선하는 데 강하고 수십억 달러가 걸린 연구소는 큰 수익을 얻는다.
   2. 지식 노동: Claude가 스스로 더 좋은 PowerPoint를 만들도록 명령한다고 지식 노동 전체가 해결되지는 않으며 적절한 환경이 필요하다.
   3. 자동화의 시급성: 프런티어 연구소의 뛰어난 연구자들이 자신의 일이 1년 안에 자동화된다고 말하며, 자동화가 깊어지기 전에 기준선을 기록해야 한다.

7. 오픈 사전학습과 포스트 트레이닝

사전학습 도구는 접근 가능하지만, 실제로 쓸 수 있는 첫 모델과 포스트 트레이닝을 만드는 일이 더 어렵다.

7.1. 사전학습의 비용과 진입

1. 접근 가능한 영역

   1. 사전학습 래더: 아이디어가 규모가 커져도 통하는지 시험하는 의사결정 도구가 있다.
   2. 인터넷 데이터: 첫 근사로 인터넷을 학습하며 데이터의 기본 형태는 환경만큼 빨리 바뀌지 않는다.
   3. 오픈 도구: Megatron 같은 도구로 시작하지만 스타트업과 유명 연구소는 코드를 포크한 뒤 upstream에 돌려주지 않는 경우가 많다.

2. 자본과 첫 출시

   1. 비용의 오해: 좋은 기반 모델에 반드시 10억 달러가 필요한 것은 아니며 관련 모델에 100억 달러가 필수도 아니다.
   2. 관문: 사람들이 실제로 쓸 첫 모델을 만들어 다음 펀드레이즈를 성사시키는 일이 어렵다.
   3. 사례: Thinking Machines는 첫 모델이 최고가 아니었다고 투명하게 말하고 두 번째 모델로 궤도에 올랐다. Meta는 Llama 3 때 Mark Zuckerberg가 오픈 경로를 설명했고 광고·제품 수익과 보완되므로 계속할 유인이 있다.

7.2. 전체 스택의 공진화

1. 컴퓨트와 구조
   1. 규모: 사전학습 실험에는 20,000~30,000개 칩이 필요할 수 있다.
   2. 긴 컨텍스트: 희소 어텐션이 100,000토큰 생성 속도를 40% 높이면 투자수익이 달라진다.
   3. 중간 학습: 오래된 모델에서 추론 행동을 가져와 RL로 확장하는 과정은 사전학습보다 복잡하다.
   4. AI2의 교훈: 사이클 시간이 느리면 포스트 트레이닝이 뒤처지며, 오픈 모델은 낮은 기준선에서 작은 자본으로 큰 복리 개선을 만들 수 있다.

8. 하네스·에이전트 스웜·정보 확산

폐쇄형 연구소가 모델과 하네스를 통합해도 다양한 사용자가 정보를 퍼뜨려 우위가 영구적인 비밀이 되기는 어렵다.

8.1. 하네스와 에이전트 스웜

1. 통합 가설의 수정

   1. 폐쇄형 연구소가 Apple처럼 특정 하네스에 맞춘 모델을 독점할 것으로 예상했지만, 다양한 하네스가 생겨 모델 회사도 범용성을 제공해야 했다.
   2. OpenAI와 Anthropic은 에이전트 스웜 조정 시스템을 먼저 설계하고 수천~수만 에이전트를 다룰 가능성이 크다.
   3. 한 번 10,000개 에이전트의 형태가 알려지면 오픈 회사도 따라가지만 최초 실험에는 천문학적 컴퓨트가 필요하다.

2. 폐쇄형의 실제 해자

   1. 아이디어는 퇴근 후 대화 한 번으로 퍼지고 연구자들은 친구에게 발견을 말하고 싶어 하므로 비밀은 몇 달만 유지된다. SSI는 예외적으로 보안을 잘하는 사례다.
   2. 폐쇄형 연구소가 이기는 지점은 지식 비밀보다 추론 인프라를 넣어 더 낮은 가격·높은 마진으로 와트·달러당 지능을 공급하는 능력이다.
   3. 코딩만이 지식 노동 전체는 아니며 전문 데이터가 필요한 어려운 가장자리가 많아 여러 모델과 스타트업이 승자가 될 수 있다.

9. 결론 및 시사점

1. 오픈 모델은 수개월 뒤처져도 영구적으로 패배하지 않으며, 동등한 인재·데이터 확산·미세조정·환경 공개로 컴퓨트 부족을 보완한다.
2. 증류는 경쟁의 한 수단이지 격차 전체를 설명하는 마법이 아니며, 교사 모델·중간 학습·RL 환경의 연결을 더 연구해야 한다.
3. 폐쇄형의 진짜 해자는 비밀 알고리즘보다 자본과 인프라이며, 성공 기법을 알아도 수만 개 칩으로 비율을 실험할 자본은 쉽게 복제되지 않는다.
4. 포스트 트레이닝과 환경은 오픈 연구가 상대적으로 적은 자본으로 큰 복리 개선을 만들 자리다.
5. 수학·코드·분산 ML은 빠르게 자동화되지만 생물학·의료·법률·로보틱스는 분야별 데이터와 세계가 오래 필요하다.
6. 오픈 모델의 느린 도입은 기업에 약관 없는 가중치와 사내 데이터 소유권을 주며 자체 하드웨어에서 ROI를 계산하게 한다.
7. Trillium의 핵심 산출물은 모델 하나보다 환경·롤아웃·설정·실패·자동화 궤적을 공개하는 관찰 가능한 연구 기록이다.
8. RSI에 대한 냉정함은 위험 무시가 아니다. 현재 스케일링은 선형 성능에 지수적 컴퓨트를 요구하고 인간 병목이 남아 있다.
9. 새로운 아키텍처가 변칙적인 지능을 보여주면 판단을 업데이트해야 하지만, 그 전까지 수학과 현재 스케일링의 설명력이 더 높다.
10. 가장 시급한 준비는 RSI 예언보다 이미 퍼지는 위험에 대한 공개 사이버보안과 사회적 대응 인프라다.

주요 발언 모음

“모델의 진보는 서로 다른 형태의 자본, 즉 컴퓨트·데이터·인재로 귀결된다.”

“중국이 인재 면에서 동등하지 않다고 말하려면 상당히 어려운 논증을 해야 한다. 그들이 갖지 못한 것은 컴퓨트다.”

“사람들은 매일 내 제품을 증류한다. 제품을 날것의 부분으로 분해하고 모든 것을 시험한다. 그것을 경쟁이라고 부른다.”

“Trillium은 캐노피가 잎으로 덮이기 전에 피어 성장의 순환에 영양분을 퍼뜨리는 봄의 꽃이다.”

“사람들은 내가 모델에게 무엇을 시켰고 모델이 어디에서 막혔는지를 봐야 한다.”

“빠른 자기개선을 두려워하지 않는다고 해서 위험을 걱정하지 않는 것은 아니다.”

핵심 데이터 & 수치

• 3가지 자본: 컴퓨트·데이터·인재다.
• H100 환산 5,000장: 미국의 일반적인 OpenAI 연구자가 언제든 접근할 수 있다고 언급된 비교 규모다.
• 20~30개 기업: 좋은 모델을 만드는 기업 수에 대한 체감치다.
• 2028년까지: 칩과 전력을 포함한 컴퓨트 부족이 병목으로 남을 수 있는 시점이다.
• 6~8개월: OpenAI가 로보틱스 인력·데이터를 확보한 뒤 능력 변화가 보였다고 언급된 간격이다.
• 2배/8개월: 3년간 이 속도로 가격이 내리면 4년 뒤 비용이 현재의 약 1%가 된다는 가정이다.
• 40%: 희소 어텐션이 100,000토큰 생성을 빠르게 할 수 있는 예시다.
• 수천~수만 달러: 고품질 공개 RL 환경을 만드는 대략적 비용이다.
• 1,000~100,000개 GPU: 일주일 RL 라운드를 관찰할 수 있는 공개 연구 규모의 예시다.
• 15%·40%: 교수와 대학원생이 문서화에 배정하기 어려운 시간 비율의 예시다.
• 6~18개월: 새 분야의 맥락을 익히고 인정받는 데 걸릴 수 있는 시간이다.
• 20,000~30,000개 칩: 사전학습 실험에 필요한 접근성의 예시다.
• 10억·100억 달러: 좋은 기반 모델이나 관련 모델에 반드시 필요한 금액은 아니지만 첫 사용 가능한 출시가 관문이다.
• 약 10배: 일부 시스템 카드가 빠른 이륙에 필요하다고 제시한 추가 진전이다.

시간순 논점 지도

1. 00:00~08:48 — 자본·인재·중국 모델: 세 자본, OpenAI·Anthropic 문화, 중국의 동등한 인재와 부족한 컴퓨트, 오픈 출시의 상업적 동기가 다뤄진다.
2. 08:48~14:57 — 컴퓨트 부족과 증류: H100 5,000장, SFT에서 RL 환경으로의 이동, 추론 흔적과 공개 문헌의 간극이 다뤄진다.
3. 14:57~19:24 — 증류와 경쟁: 추론 토큰, 프록시·계정, Jensen Huang의 경쟁 발언, 약관·정부 개입·미중 대화가 다뤄진다.
4. 19:24~25:00 — 서로 다른 시간척도: 폐쇄형 플라이휠, 2028년 컴퓨트·전력 부족, IPO, 오픈 모델의 가중치 소유가 대비된다.
5. 25:00~31:29 — 프런티어 진보와 데이터: 수학·로보틱스, Cursor의 SQLite, 비검증 영역의 데이터 구매, 가격 하락과 Jevons의 역설이 이어진다.
6. 31:29~38:05 — Trillium과 오픈 환경: RL 환경 품질, T-Max·Terminal-Bench류 과제, 공개 롤아웃, 꽃의 비유와 오픈 기여가 다뤄진다.
7. 38:05~44:32 — RSI의 측정: 작업·설정·궤적 공개, 실패 관찰, 서빙 효율, 지식 노동과 자동화 불안이 다뤄진다.
8. 44:32~49:32 — 오픈 사전학습·하네스·결론: 칩 규모, 긴 컨텍스트, 에이전트 스웜, 정보 확산, 빠른 이륙보다 사이버보안 준비가 정리된다.