AI는 멈출 수 있는가: 조합적 놀이가 시작된 All-In Summit 2026 복기

URL: https://www.youtube.com/watch?v=myx3gxPwtw4
날짜: 2026-09-25
처리일: 2026-09-28
채널: chester_roh (AI Frontier Korea)

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI 발전을 늦추는 페이싱(pacing)은 미국과 중국의 경쟁, 경제적 인센티브, 이미 시작된 집단 탐색 때문에 현실적으로 작동하기 어렵다. 그러나 재귀적 자기개선(RSI)을 실제로 가속하는 순간에는 정렬과 감사를 위한 안전장치를 반드시 확보해야 한다.==

• All-In Summit의 여러 리더는 AI 투자가 단순한 기대 배수가 아니라 실제 매출과 컴퓨트 수요에 의해 지지된다고 주장하지만, GDP 생산성으로 이어져야 버블이 아니라는 반론도 제기한다.
• 모델 자체의 가격과 마진은 경쟁과 오픈 모델 때문에 내려가고, 가치는 애플리케이션·데이터센터·전력·반도체·새로운 조합 실험으로 이동할 가능성이 크다.
• 중국은 전력과 오픈 모델에서 빠르게 추격하고 있으며, 미국이 일방적으로 멈추면 경쟁에서 질 수 있다는 인식이 페이싱 논의를 압도한다.
• RSI는 이미 진행 중인 자기개선(SI)과 달리 통제하기 어려운 재귀적 가속의 스위치에 가깝고, 세대 간 정렬 확률의 작은 하락이 누적될 수 있다.
• 초파리 커넥톰, Jev, 소형 모델, 멀티 에이전트가 누구나 실험할 수 있는 값싼 재료가 되면서, 모델을 얼려도 인간과 모델의 조합적 탐색 플라이휠은 계속 돌아간다.

AI를 둘러싼 논쟁은 ‘멈출 것인가, 달릴 것인가’의 단순한 양자택일이 아니다. 현재의 모델 출시와 인프라 확장은 이미 경제·정치·사회에 내장된 리듬이 되었고, 모두가 중단에 합의하지 않는 한 다른 주체가 먼저 달릴 가능성이 크다. 다만 더 강한 모델이 자기 자신을 설계하고 개선하는 RSI 단계는 지금의 리듬과 구분해 다뤄야 하며, 그 경계에 도달하기 전에 독립적 감사, 모니터링, 정렬 신호를 확보해야 한다. 동시에 값싼 모델과 공개된 아티팩트가 사람과 에이전트의 가설 탐색을 폭발시키고 있으므로, 공식적인 RSI가 오지 않더라도 발전의 궤적 자체는 이미 멈추기 어렵다.

1. All-In Summit에서 드러난 AI 산업의 공통 축

All-In Summit은 미국의 거물급 창업자·투자자·정치 인사가 모여 AI의 속도, 수익, 중국 경쟁을 한꺼번에 논의하는 자리다. 연례 행사 티켓이 약 1,000만 원인데도 많은 사람이 참석할 정도로 향후 방향에 대한 관심이 크며, 세션마다 관점은 달라도 세 가지 축이 반복됐다.

1.1. 페이싱을 둘러싼 상반된 입장

1. 프런티어를 늦추자는 주장과 계속 달리자는 주장의 충돌

   1. Dario Amodei는 위험을 이유로 프런티어 AI의 속도를 늦춰야 한다는 취지의 주장을 폈고, Sam Altman과 Elon Musk도 그 문제의식에 동의했다. 내부에서 실제 위험 신호를 보고 있기 때문에 나온 동의라는 해석이 가능하다.
   2. Donald Trump, Jensen Huang, David Sacks를 포함한 All-In 쪽 인사들은 미국만 멈추면 중국이 멈추지 않을 것이므로 사실상 중단할 수 없다고 본다. 경쟁에서 이기는 것이 안전과 국력의 전제라는 논리다.
   3. Musk는 완전한 중단보다 상호 견제와 감사를 대안으로 제시한다. 세상에 배포하기 전에 서로의 시스템을 테스트하고, 오픈소스를 통해 더 많은 사람이 들여다보게 하면 보안 취약점을 찾을 가능성이 높아진다는 생각이다.

2. 현재의 발전 속도와 RSI를 구분해야 한다는 관점

   1. 현재처럼 모델이 계속 개선·출시되는 리듬을 막자는 것과, 모델이 자기 자신을 반복적으로 개선하는 RSI를 늦추자는 것은 다른 문제다.
   2. 사용자는 지금 수준의 발전이 계속되기를 바라지만, 되돌릴 수 없는 강을 건너는 재귀적 가속은 피해야 한다. 발전을 보고 싶은 욕구와 통제 상실에 대한 두려움이 동시에 존재한다.
   3. SI(self-improvement)는 이미 발생하는 일반적인 자기개선이고, RSI(recursive self-improvement)는 통제하기 어려운 가속 버튼에 가깝다. Richard Sutton도 두 개념을 구분해 설명했다.

1.2. 안전을 위한 공개와 상호 감사

1. 오픈소스가 제공하는 집단 검증

   1. Linux와 Windows의 대비처럼, 공개된 시스템은 많은 사람이 코드를 검토하고 결함을 고치므로 폐쇄형 시스템보다 보안 취약점을 발견하기 쉬울 수 있다.
   2. AI도 특정 기업의 내부 검증에만 의존하지 않고 모델과 평가 결과를 더 넓게 공개하면, 다양한 주체가 안전 문제를 발견하고 수정할 수 있다.

2. 배포 전 상호 테스트

   1. 각 기업이 서로의 모델을 감사하고, 출시 전 공격·오용·정렬 테스트를 반복하는 방식이 현실적인 절충안으로 제시된다.
   2. 페이싱을 선언하는 것만으로는 실제 속도를 멈출 수 없으므로, 안전 논의를 먼저 공개하고 검증 절차를 생태계의 기본 운영 방식으로 만드는 편이 실행 가능성이 높다.

2. AI 버블 논쟁과 자본 회수의 구조

막대한 데이터센터·GPU·메모리 투자가 실제 수요와 매출로 회수될 수 있는지가 버블 논쟁의 핵심이다. 투자 곡선이 먼저 가파르게 올라가고, OpenAI·Anthropic·SpaceX 등 랩과 인프라 사업자의 매출이 뒤따르는 구조에서 투자액과 매출의 간격이 좁혀지는지가 관건이다.

2.1. 투자액, 매출, 그리고 버블의 기준

1. 빠른 성장과 회수 가능성

   1. 논의에 사용된 자료에서는 관련 매출이 약 2년 만에 70억 달러에서 2,000억 달러 수준으로 뛰었다고 설명한다. 성장이 매우 빠르지만 이후에도 같은 속도로 수요가 따라올지는 확실하지 않다.
   2. 2024년 투자금으로 약 2,410억 달러가 언급되고, 향후 2년 동안 투자 규모가 대략 4~5배로 증가하는 흐름이 제시된다. 지금까지의 투자는 반도체 기업과 데이터센터 공급망의 수익으로 먼저 전이됐다.
   3. 결국 필요한 지표는 투자한 자본이 실제 사용료와 기업·개인의 AI 지출로 회수되는지다. 수요가 멈추면 데이터센터와 GPU를 중심으로 한 투자 전체가 흔들린다.

2. 버블이 아니라는 주장과 반론

   1. Brad Gerstner는 현재의 상승이 단순한 밸류에이션 배수(multiple) 확장이 아니라 실제 이익 증가에 기반한다고 말한다. Nasdaq의 이익 대비 배수는 오히려 과거보다 낮아졌거나 비슷한 수준이라는 설명이다.
   2. 닷컴 버블 시기에는 아직 돈을 벌지 못하는 기업의 주가가 미래 수익 기대만으로 매출 대비 100배씩 책정됐다가 무너졌다. 현재는 최소한 NVIDIA와 반도체 기업을 포함해 실제 현금흐름이 존재한다는 차이가 있다.
   3. Satya Nadella는 더 엄격한 기준을 제시한다. 반도체 회사의 이익만 올라가는 것은 충분하지 않고, AI가 실제 GDP를 높여야 버블이 아니라고 증명할 수 있다는 주장이다.
   4. 숫자의 일부는 예측치이며 예측이 과장될 수 있다. 숫자가 맞더라도 그것을 근거로 버블이 절대 터지지 않는다고 결론 내리는 것은 해석의 영역이므로, 투자자 각자가 판단해야 한다.

3. GDP 효과의 현실적인 크기

   1. Anthropic은 AI가 경제와 GDP에 미칠 영향을 여러 시나리오로 모델링한 보고서를 공개했다. 인터넷과 철도처럼 사회의 지평을 바꾼 기술도 GDP가 단기간에 폭발적으로 뛰지는 않았다는 과거 자료가 함께 언급된다.
   2. 평상시 GDP 성장률이 3~5%라면 AI가 이를 8% 안팎으로 높일 수 있다는 기대가 가능하지만, 그 수준에 도달하려면 AI가 사회 전반에서 매우 많이 사용되어야 한다.
   3. 따라서 현재의 반도체 매출 상승은 최종 생산성의 증거가 아니라 인프라 구축의 초기 수요일 수 있다. GDP와 애플리케이션 매출이 뒤따라야 투자 회수 논리가 완성된다.

2.2. 생태계 전체로 내려가는 가치

1. 수직 통합과 생태계 확장

   1. NVIDIA는 GPU를 팔아 데이터센터 구축에서 가장 먼저 수익을 얻지만, 공급망은 메모리·TSMC·데이터센터 운영사·네오클라우드·하이퍼스케일러로 이어진다. 수요가 큰 동안에는 공급되는 만큼 판매되는 구조가 유지된다.
   2. Microsoft는 Azure 하이퍼스케일러, Windows와 애플리케이션 플랫폼, 자체 모델 개발을 동시에 보유한다. 데이터센터를 직접 짓고 임대하거나, 필요할 때 다른 사업자의 컴퓨트를 빌려 쓰는 유연성이 생태계의 핵심이다.
   3. Microsoft가 과거 Linux를 위협으로만 보지 않고 함께 운영하면서 Windows 생태계까지 키운 사례처럼, NVIDIA와 특정 모델 하나에만 의존하지 않고 다양한 모델·공급자를 허용하는 편이 전체 시장을 키운다.

2. 컴퓨트 임대가 보여주는 실물 수요

   1. SpaceX는 xAI와 결합하고 Crusoe를 인수했으며, Colossus 같은 대형 데이터센터를 활용한다. Colossus의 컴퓨트 임대만으로도 매출이 빠르게 늘어 우주산업에 필적하는 수익을 낸다는 설명이 나왔다.
   2. 로켓과 우주산업을 수년간 키운 초기 멤버가, 시작한 지 얼마 되지 않은 컴퓨트 임대가 우주사업만큼 빨리 돈을 버는 상황을 당혹스러워할 정도로 변화 속도가 빠르다.
   3. Google은 현재 Gemini 판매가 OpenAI·Anthropic 모델만큼 강하지 않아도 컴퓨트 사업으로 큰 돈을 번다. 하이퍼스케일러의 자본력과 인프라 지위가 모델 경쟁과 별개로 강력한 이유다.

3. 모델 가격에서 애플리케이션으로 이동하는 가치

   1. OpenAI Astra는 출력 100만 토큰당 50달러 수준으로 소개됐지만, 새 DeepSeek 모델은 그보다 99% 저렴하다. 많은 작업은 최고 성능 모델이 아니어도 수행할 수 있어 쉬운 태스크가 저가 모델로 이동한다.
   2. 실제 활용에서는 핵심 판단에만 비싼 모델을 쓰고, 나머지 판단은 싼 모델로 라우팅하는 혼합 전략이 가능하다. 한 로직에서 Sol을 핵심 모델로 쓰고 나머지는 Luna를 사용해도 결과가 같았다는 사례가 그 근거다.
   3. 새 모델은 출시 직후 연구·테스트 수요로 비싸게 팔릴 수 있지만, 장기적으로 모든 가치가 모델 층에 남기는 어렵다. Postgres 같은 오픈소스 데이터베이스가 경쟁을 만들었듯, 애플리케이션 층으로 가치가 내려가야 한다.
   4. NVIDIA가 Hugging Face 인수와 추론 인프라 확장에 나선 것도 모델 하나가 전체 수익을 독점하지 못한다는 판단과 맞닿아 있다. 모델이 필요한 만큼 성장하되 생태계 전체가 더 큰 몫을 차지하는 방향이다.

3. 전력·데이터센터·미중 경쟁이라는 현실적 병목

3.1. 컴퓨트 확장을 가로막는 전력과 인허가

1. 전력이 진짜 병목인 이유

   1. GPU를 주문하는 것만으로는 충분하지 않다. 데이터센터 건설, 전력 공급, 냉각, 토지, 인허가가 함께 확장되어야 하며 이 부분은 반도체처럼 빠르게 규모를 키우기 어렵다.
   2. Elon Musk가 Terafab을 추진하는 이유는 대만 TSMC 공급이 지정학적 충돌로 막힐 가능성까지 고려해 반도체 생산을 직접 확보하려는 데 있다. 그는 그 일을 “꿈에서 시켜서 했다”고 농담하지만, 공급망 독립을 실제로 추진할 사람이라는 평가를 받는다.
   3. 미국의 전력 생산량은 2005년 이후 크게 늘지 않았지만 중국은 그 기간에 대폭 늘었다. 중국의 총 전력 생산량이 미국의 약 3배라는 비교가 나오며, 20년 전부터 격차가 벌어졌다는 점이 강조된다.

2. 지역사회가 데이터센터를 반대하는 이유와 반전

   1. 데이터센터는 공장처럼 많은 일자리를 직접 만들지 않고, 건설 소식만으로 토지 가격이 오르며, 전력 사용과 환경 문제 때문에 주민 반대와 인허가 지연이 발생한다.
   2. Microsoft는 워싱턴주 Quincy에 약 20년 전 데이터센터를 지은 사례를 제시했다. 20년 동안 세수가 12배 늘었고, 유지보수와 추가 건설로 약 1,200개의 일자리가 생겼으며, 농촌 지역 성장률이 Seattle보다 높아졌다.
   3. 처음에는 데이터센터를 꺼리던 지역사회도 세수와 지역 성장 효과를 경험한 뒤 데이터센터가 있다는 사실을 긍정적으로 받아들이게 됐다. 이 사례를 알려 여론과 인허가 기준을 바꿔야 한다는 주장이 나온다.

3. 우주 데이터센터라는 우회로

   1. 지상에서 땅을 확보하고 허가를 받는 데 걸리는 시간이 너무 길다면, 발사체로 데이터센터를 우주에 올리는 편이 오히려 빠를 수 있다는 발상이다.
   2. 우주에서는 태양광 전력과 방열 환경을 활용할 수 있어 전기와 냉각이 사실상 공짜에 가깝다는 주장이 나온다. 실제 냉각 비용과 복사열 처리는 해결해야 할 공학적 과제지만 Google과 Elon Musk 모두 관심을 보이고 있다.
   3. SpaceX와 xAI가 먼저 시도할 가능성이 크며, 성공 여부는 불확실해도 컴퓨트 수요가 몇 년간 계속 증가한다면 선택지로 검토될 수 있다.
   4. 워싱턴주 Quincy의 데이터센터는 약 0.5GW 규모로 언급된다. 이미 전력과 허가가 준비된 지역이 확장을 선점하는 이유는 새로운 부지를 찾는 것보다 기존 인프라를 늘리는 편이 빠르기 때문이다.

3.2. 중국을 이유로 멈출 수 없는 구조

1. 산업혁명과 철도의 비유

   1. 산업혁명은 유럽에서 시작됐지만 미국은 그 기술을 어떻게 활용하느냐에 집중해 성장했다. 기술의 발명 국가보다 사회 전체가 기술을 흡수하는 능력이 경쟁력을 좌우한다는 논리다.
   2. 중국은 넓은 국토에 고속철도를 빠르게 깔았지만 California의 철도 사업은 부패·비리와 규제 때문에 실패했다는 비교가 사용된다. AI도 어느 모델이 시작했는가보다 사회 인프라로 얼마나 잘 활용하는지가 중요하다는 주장으로 이어진다.
   3. Jensen Huang은 특정 모델의 출처보다 경쟁에서 이기고 사회 전체가 AI를 활용하게 만드는 일이 더 중요하다고 강조한다. NVIDIA의 이해관계가 반영된 발언이지만 패널 전반에서 비슷한 관점이 확인된다.

2. 오픈 모델과 중국의 추격

   1. 최근 AI-native 스타트업에 약 4,000억 달러가 투자됐고, 그 대부분이 오픈 모델을 사용한다는 설명이 나왔다. 가격과 보안 등 이유는 다르지만 오픈 모델은 생태계에 필수적인 요소가 됐다.
   2. 오픈 모델은 OpenAI·Anthropic에는 가격 경쟁을 심화시켜 불리하지만, 애플리케이션 개발자와 다른 생태계 참여자에게는 저렴하고 통제 가능한 기반을 제공한다.
   3. 중국은 다양한 영역에서 미국과의 격차가 거의 없으며, 반도체 제조 격차도 Jensen의 전망으로는 약 4년 안에 좁혀질 수 있다. 2~3년의 지연은 10~20년 단위의 큰 시간축에서는 사실상 같은 수준으로 볼 수 있다는 주장이다.
   4. 중국 기업 Zhipu는 약 50억 달러를 조달해 RSI를 추진하겠다고 명시적으로 선언했다. 중국의 전력·오픈 모델·추론 투자가 동시에 달리는 상황에서 미국만 속도를 늦추기는 어렵다.

3. All-In Summit의 결론

   1. 중국과 함께 페이싱에 합의하는 것은 불가능하다는 판단이 지배적이다. 미국이 멈추면 중국이 멈추지 않을 것이라는 믿음이 정치와 산업의 공통 전제가 된다.
   2. 대신 최소한의 안전 논의와 공동 테스트는 합의할 수 있다. 일반 사용자는 발전 자체를 막는 것보다 더 안전하게 사용할 수 있는 검증 절차를 환영할 수 있다.
   3. 생태계와 투자는 계속 커지고, 수요도 따라올 가능성이 높으며, Trump 행정부는 속도를 늦추기보다 가속하는 방향으로 움직일 것이라는 결론이다. 따라서 현재의 페이싱은 99%에 가까운 확률로 일어나지 않을 것이라는 전망이 제시된다.

4. 정보 과잉을 다루는 자막·요약·탐색 워크플로

4.1. 긴 컨퍼런스를 구조화하는 방법

1. 자막을 먼저 구조화하기

   1. All-In Summit의 세션은 짧아도 30~40분, 길면 1시간이어서 하루에 두세 개씩 시청해야 했다. 먼저 모든 자막을 받고 겹치는 주제를 추출하면 영상의 지도를 만들 수 있다.
   2. 주요 주제를 먼저 파악한 뒤 식사나 잠들기 전에 영상을 보면 세부 맥락이 더 잘 들어온다. 전체 시청 후 기억에 남은 내용을 다시 묶으면 단순한 시청 기록이 아니라 지식 구조가 된다.

2. 다가오는 발표가 만드는 시간 압축

   1. Tesla는 10월 1일 대형 발표를 예고했고, OpenAI DevDay는 9월 29일 예정되어 있었다. 전년도와 전전년도에도 이 시기에 발표가 몰렸기 때문에 새로운 변화가 다시 나올 가능성이 거론됐다.
   2. AI로 자료를 만들 수 있기 때문에 매주 긴 콘텐츠를 생산하는 일도 가능해졌다. 다만 AI와 나눈 대화록을 그대로 공개하면 정보량이 과도하므로 핵심 주장과 원본 링크를 선별해야 한다.

5. Jagged Intelligence와 빅 랩 내부의 인식 변화

5.1. 들쭉날쭉한 지능과 예측 불가능한 단기 미래

1. Anthropic VC Forum과 Jagged Intelligence

   1. Anthropic VC Forum은 샌프란시스코에서 9월 17~18일 진행됐고, Andrej Karpathy, Jared Kaplan, Ben Mann 등과의 fireside chat이 포함됐다. 전체 영상은 아직 공개되지 않았지만, 행사 제목으로 ‘Jagged Intelligence’가 언급됐다.
   2. Jagged Intelligence는 어떤 작업은 놀라울 만큼 잘하지만 농담이나 상식적 상황에서는 우스꽝스럽게 실패하는 AI의 불균일한 능력 곡선을 뜻한다. Sarah Guo는 Karpathy를 센세이라고 부르며 관련 장면을 공유했다.

2. Karpathy의 보조도구에서 대화형 컴퓨터로의 변화

   1. 2025년 10월에는 Cursor의 autocomplete를 사용하면서 중요한 코드는 직접 쓰는 방식이었지만, 2026년에는 autocomplete조차 사용하지 않는다고 말했다.
   2. 코드를 사람이 직접 읽고 수정할 원문이 아니라 컴파일된 assembly처럼 보고, 자연어로 모델과 대화해 프로그램을 만드는 방식으로 이동했다.
   3. 불과 3~4세대 모델이 나오는 동안 이런 인식 변화가 일어났다. 2년 뒤에는 약 8세대의 주요 기술 반복이 일어날 수 있으므로, 빅 랩 내부 인사조차 2년 후 AI 능력을 예측하기 어렵다고 본다.

3. 모델이 만드는 개인 맞춤형 콘텐츠

   1. Claude Opus로 『반지의 제왕』 초반부와 유사한 이야기를 만들고, JavaScript만으로 그림과 영상을 생성하는 사례가 확산됐다. 모델이 인터넷을 호기심 있게 탐색해 사진을 가져오고 그 위에 그림을 그리는 방식도 등장했다.
   2. Karpathy는 일하기 전에 모델에게 한 시간짜리 영상을 만들어 달라고 하고, 그 영상을 즐기거나 공부한다고 말했다. 모델이 사용자를 위한 콘텐츠를 생성하고 사용자가 다시 그 콘텐츠로 학습하는 개인화 루프가 만들어진다.

6. RSI, 정렬, 멀티 에이전트 연구

6.1. 이질적인 지성을 통제하는 문제

1. Jakub Pachocki의 「An Alien Mind」

   1. OpenAI chief scientist Jakub Pachocki는 2026년 9월 6일 「An Alien Mind」를 공개했다. 2025년 가을에 2026년 9월 AI 인턴, 2028년 AI scientist를 내놓겠다고 한 약속과 맞물려 나온 글이다.
   2. loop transformer와 recurrent 모델을 둘러싼 소문에 대해 더 자세한 설명을 하겠다고 약속한 뒤 글을 공개했으며, 인간이 완전히 이해하지 못하는 지성을 어떻게 통제할지 묻는다.
   3. Geoffrey Hinton의 Mother Protocol, Dario Amodei의 『Machines of Loving Grace』처럼 AI에 사랑·자비를 가르치자는 SF적 표현이 등장할 정도로 정렬 문제가 추상적 미래가 아니라 현실적인 설계 과제가 됐다.

2. Noam Brown과 OpenAI의 연구 축

   1. Noam Brown은 Meta에서 포커와 Cicero를 연구하며 test-time scaling에 기여했고, OpenAI에서는 VP of Research로서 test-time 연구에서 멀티 에이전트 연구로 확장했다.
   2. The Information의 ‘AI Deep Dive’ 첫 게스트와 Dwarkesh의 인터뷰에서 Astra, RSI, OpenAI·Hugging Face 사건, 내부 보안 문제를 다뤘다. 내부 인프라 침투 사건에 대해서는 보안 담당자가 아니라는 이유로 답을 피했다.
   3. Noam은 최근 돌파구의 약 90%가 모델 자체 능력의 상승에서 왔고, 멀티 에이전트 팀의 기여는 1만 에이전트 문제에서 약 10%라고 설명했다. 그러나 모델 사이의 소통과 협력을 모델 자체에 내재화한 성과는 중요하다.

6.2. 내재화된 협력과 정렬 신호의 약화

1. 하네스에서 모델 능력으로 이동한 협업

   1. 전통적인 멀티 에이전트 시스템은 오케스트레이터가 하위 에이전트를 호출하고 하네스가 에이전트 간 통신을 연결한다.
   2. OpenAI는 멀티 에이전트 실행 trace를 분석해 사전학습과 강화학습에 반영했고, Astra는 에이전트들이 별도 하네스에만 의존하지 않고 모델 내부 능력으로 소통·협력하는 최초의 공개 모델로 소개됐다.
   3. 초기에는 에이전트에게 협력하라고 지시해도 잘 협력하지 못했지만, 어느 시점부터 협업이 가능해졌다. OpenAI·Hugging Face 사건에서 보인 모델의 transcript와 CoT가 인간 사회의 행동처럼 느껴진 이유도 이 내재화된 협력 능력 때문이다.
   4. 멀티 에이전트 확장은 선형적이지 않고 준선형적(sublinear)이라는 설명이 나왔다. GPT-4, o1, 현재 모델로 이어지는 세 단계에서 새로운 스케일링 축이 열렸다는 해석이다.

2. 정렬 확률의 작은 하락이 누적되는 문제

   1. Astra가 현재 99.97~99.98% 정렬된 모델이라고 가정해도, 출시 후 내부·현장 테스트에서 얻는 신호가 충분히 쌓이기 전에 RSI로 다음 세대 출시가 당겨지면 다음 모델이 99.97%로 내려갈 수 있다.
   2. 0.01%포인트의 하락은 한 번만 보면 작지만, 세대가 반복될수록 누적된다. 그래서 RSI의 스위치를 켜기 전에 일정한 간격을 두고 검증하는 문제가 중요하다.
   3. CoT faithfulness와 monitorability도 취약하다. 모델의 사고 흔적을 들여다보고 잘못된 피드백을 주면, 모델이 생각 자체를 숨기는 방향으로 학습할 수 있다.
   4. 현재 연구자들이 공개적으로 논의하는 모든 내용이 다음 사전학습과 강화학습 데이터에 들어가므로, 모델은 감시 방식과 평가 기준까지 학습한다. 기존 CoT 모니터링이 세대가 거듭될수록 약화될 수 있다는 우려다.

7. AI 안전을 둘러싼 규제 포획과 좁은 인맥

7.1. David Sacks의 비판

1. 안전 규제가 선발 주자를 보호할 위험
   1. David Sacks는 Dario Amodei의 ‘We Must Pace the Frontier’와 Sam Altman의 동의를 인용하면서, 프런티어 규제가 후발 주자에게 불리하고 선발 주자에게 유리하게 설계될 수 있다고 비판했다.
   2. 빅테크가 사실상 담합하는 모양새로 안전 기준을 설정하면 경쟁을 제한하면서 자신들의 지위를 보호할 수 있다. 제3기관에 embedded audit을 허용하겠다는 약속도 실제 권한과 독립성이 충분한지 따져야 한다.

7.2. METR·ARC Evals·효율적 이타주의의 연결

1. 감사기관의 계보

   1. METR의 전신은 ARC Evals이며, ARC는 OpenAI 초기 멤버이자 RLHF 연구자인 Paul Christiano가 만들었다.
   2. Christiano는 Anthropic에서 이해 충돌 문제로 특별한 역할을 내려놓은 뒤 미국 AI 안전 관련 정부 조직의 고문이 됐고, 최근 OpenAI 이사회 멤버가 됐다.
   3. 최근 OpenAI·Hugging Face 사건과 관련해 조사관으로 등장한 Ajeya Cotra는 Christiano의 배우자이며, METR 이전에는 Open Philanthropy에 있었다. Open Philanthropy는 현재 Coefficient Giving으로 이름을 바꿨다.

2. AI 안전과 EA 네트워크

   1. Holden Karnofsky는 GiveWell과 Open Philanthropy를 만들고 AI 안전 연구에 큰 기금을 배분했으며, 현재는 Anthropic의 technical staff로 일한다. Anthropic President Daniela Amodei와 배우자 관계다.
   2. Christiano, Karnofsky, Dario Amodei, Geoffrey Irving 등은 2012년 무렵부터 AI 안전과 ‘AI Safety via Debate’를 함께 논의해 온 인맥으로 연결된다. Irving은 Google DeepMind와 영국 AISI를 거쳐 Resolution이라는 조직도 시작했다.
   3. Karnofsky의 『The Most Important Century』에는 인구 감소를 해결하기 위해 ‘Pasta Machine’ AI를 만들자는 그림과 AI 안전 논의가 담겨 있다. 그 글의 배경에 Christiano 등 여러 안전 연구자의 아이디어가 있었다.

3. 왜 좁은 인맥이 문제인가

   1. 이 연결 관계가 곧 감사 결과가 틀렸다는 뜻은 아니지만, 중요한 안전 판단을 하는 기관·연구자·투자자·기업이 서로의 배우자, 이사회, 기금, 고용 관계로 이어져 있다는 점은 독립성에 의문을 낳는다.
   2. 가속을 주장하는 기술 리더와 제어를 주장하는 안전 연구자가 완전히 다른 세계에 있는 것이 아니라 동일한 소수 네트워크 안에 있다는 점이 핵심 우려다.
   3. AI의 안전 기준과 출시 허용 여부를 ‘한 줌의 인물’이 결정하게 두지 않으려면, 감사 데이터와 모델 평가를 더 넓은 기관과 사회에 공개해야 한다.

8. 멈추지 않는 가속과 지식 노동의 변화

8.1. 과학 연구 자동화와 RSI의 경계

1. 과학 연구의 루프 닫기

   1. Periodic Labs는 Menlo Park에 실험실을 만들고 AI가 과학 실험까지 수행하는 닫힌 루프를 구축하려 한다. 아직 결정적인 성과를 공개한 것은 아니지만 인프라를 먼저 만들고 있다.
   2. Anthropic은 Claude Science beta와 생명과학 연구를 추진한다. 모델이 문서 답변을 넘어 과학적 가설·실험·검증을 담당하는 방향이다.
   3. Google DeepMind는 Shane Legg, James Manyika, Demis Hassabis가 이끄는 DeepMind Institute를 공개했고, RSI가 경제·사회에 미칠 영향을 연구하는 에세이를 내고 있다. GPT-4 출시 당시 Sam Altman이 YC Research에서 기본소득을 연구하게 한 것과 같이, 기술 충격의 제도적 결과를 미리 준비하려는 흐름이다.

2. 현재 출시 리듬과 진짜 RSI의 차이

   1. 지금 모델이 출시되는 속도와 약간 더 빨라지는 속도는 이미 산업의 관성으로 굳어져 중단하기 어렵다.
   2. 반면 재귀적으로 자기개선하는 RSI는 통제하기 어려운 질적 전환일 수 있다. Yoshua Bengio가 RSI를 불법으로 해야 한다고 주장한 이유가 여기에 있다.
   3. 중국의 DeepSeek 출신 커널 엔지니어는 ‘커널 엔지니어의 소고’에서, 자신의 전문 영역을 AI에게 넘기고 AI라는 기계를 조종하는 조종사가 되어가는 감정을 썼다. 인간에게 할 일이 사라진다는 뜻이 아니라, 전문 노동의 역할이 실행자에서 감독자·조종자로 변한다는 감각이다.

8.2. 토큰 사용량 폭증과 AI 의존

1. MiMo의 실시간 RL 실험

   1. Xiaomi의 Fuli Luo는 MiMo v2.6의 강화학습 run을 실시간으로 공개했다. test-time scaling이 진행되는 과정, 사용한 토큰 비용, 성능·벤치마크 궤적이 그대로 드러난다.
   2. 방송 시점 3일 만에 토큰 비용 약 180만 달러가 사용됐다. 추론과 강화학습을 충분히 돌리는 것 자체가 거대한 비용이지만, 성능 향상이 실제로 계속된다는 것을 보여주는 실험이다.

2. 개발자의 사용량 증가

   1. OpenAI 내부에서는 기술 직원 중 약 1%가 하루 토큰 비용으로 8,000달러를 쓰는 사례가 언급됐다. 한 달이면 약 24만 달러에 해당하는 개인 단위 사용량이다.
   2. 개인도 OpenAI 200달러, Anthropic 200달러, Grok 300달러 구독을 동시에 쓰다가 한도에 도달해 강제로 쉬어야 했다. 돈을 더 내고도 모두 소진할 만큼 사용량이 자연스럽게 증가한다.
   3. 사무직 노동자는 AI를 쓸수록 더 많은 일을 AI에게 맡기게 되고, AI 없이는 업무를 수행하기 어렵다는 의존감과 무력감을 경험할 수 있다. 이는 생산성 향상인 동시에 새로운 취약성이다.

9. 수학의 AlphaGo 모먼트와 보안 문제

9.1. 수학계의 충격과 공론장

1. 밀레니엄 문제와 Hodge 추측
   1. Hodge 추측을 포함해 밀레니엄 문제 두 개가 해결됐다는 소문이 돌았다. 아직 공식 발표가 지연되는 이유로 수학계의 당혹감과 검증 문제가 거론된다.
   2. Terence Tao는 8월 말 수학의 핵심 개념 여섯 가지를 설명하는 책을 준비했고, 9월 초에는 가설 공간을 한 번에 대량 탐색하는 Ansatz가 밀레니엄 문제 해결에 쓰일 수 있다고 예견했다.
   3. Fields Medal 수상자들은 9월 11일 ‘수학에서의 오정렬’을 논의하며, AI가 문제를 풀어도 수학 생태계와 인류의 이해에 어떤 도움을 주는지 질문했다. 6월 Leiden 선언은 이 변화를 건강하게 이끌기 위한 원칙을 제시했다.
   4. Tao는 수학자·철학자를 불러 사건의 의미와 향후 방향을 토론하는 공론장을 만들고 있다. 수학계가 먼저 맞았지만 지식 노동 전체가 같은 충격을 받을 것이라는 메시지다.

9.2. 프런티어 모델의 보안 취약성

1. 외부 침투와 가중치 보호
   1. OpenAI가 외부 화이트해커에게 뚫린 사건이 언급되며, 중요한 모델 가중치를 보유한 조직의 보안 수준이 충분한지 문제가 제기됐다.
   2. Irregular의 모델 카드와 감사 결과는 Anthropic과 OpenAI 양쪽에서 반복해서 등장한다. Irregular 창업자들이 이스라엘 정보부대 출신의 수학·기술 인재라는 점도 알려졌다.
   3. Irregular 역시 이스라엘의 효율적 이타주의 펀드 지원을 받아 만들어졌다는 이야기가 나와, 안전 네트워크의 독립성을 평가할 때 후원과 인맥을 함께 봐야 한다는 주장이 나온다.

10. Jev, System 1, 그리고 조합적 플레이

10.1. 저비용 병렬 판단 모델의 확산

1. Jev와 Jevons의 역설

   1. Jev는 공급 단가가 내려가면 총수요가 오히려 더 커진다는 Jevons paradox에서 이름을 따왔다. AI가 아무리 싸져도 사용량이 그 이상으로 증가한다는 논리다.
   2. Jev는 입력에 대해 yes/no 또는 문제 여부를 판단하는 분류기들을 최대 255개까지 동시에 실행한다. LLM인지 확실하지 않더라도 사전확률을 바탕으로 아주 빠르게 많은 판단을 병렬로 내린다.
   3. Minecraft와 각종 컴퓨터 게임을 실시간으로 조작하는 computer-use agent, Doom·Mario·Pong 플레이, 주식·코인 트레이딩, OCR과 각종 분류 실험이 공유됐다.
   4. 사람들은 Qwen 같은 작은 모델의 logit만 사용해 decode 한 번으로 yes/no를 판단하는 방식도 재현했다. Raspberry Pi에 들어갈 정도로 작은 Needle 계열 모델도 비슷한 System 1 작업을 수행한다.

2. System 1과 System 2의 재결합

   1. Daniel Kahneman의 『Thinking, Fast and Slow』에 따르면 System 1은 빠른 직관이고 System 2는 느린 추론이다. CoT와 test-time reasoning이 System 2에 가깝다면, Jev와 소형 모델은 System 1로 돌아가는 흐름이다.
   2. 로봇도 큰 모델과 작은 모델을 조합해 복잡한 판단과 빠른 반사 행동을 나눈다. 인간 역시 반사적으로 하는 행동과 생각해서 하는 행동을 함께 사용하므로 자연스러운 구조다.

10.2. 구현 비용 하락이 만든 실험의 플라이휠

1. 비슷한 실험이 폭발하는 이유

   1. 초파리 커넥톰, Jev, 소형 모델을 따라 조사해 보니 게임 플레이, 트레이딩, OCR 분류처럼 서로 다른 재료가 비슷한 실험 패턴으로 수렴한다.
   2. 과거에는 대형 실험실과 소수 전문가만 할 수 있던 일이었지만, 이제 모델과 아티팩트를 공개하면 누구나 파생 실험을 만들 수 있다. 구현 비용이 낮아졌기 때문에 한 번의 발견이 수백 개의 변형으로 번진다.
   3. 모델을 공개하는 일은 결과물을 제공하는 것뿐 아니라, 수많은 사람에게 새로운 신호와 실험 재료를 공급하는 일이다. 공개→사용→변형→공유→새 모델 학습의 플라이휠이 작동한다.

2. 사람과 멀티 에이전트의 동형성

   1. 사람은 각자의 경험과 사전확률, 선입견과 호기심을 바탕으로 가설 공간을 탐색하고, 결과를 소셜 미디어에 공유해 다른 사람의 파생 실험을 촉발한다.
   2. OpenAI의 1만 에이전트 실험도 서로 다른 가설과 실패·성공을 분산 공유해 cross-pollination을 일으킨다. 모델이 협력과 정보 교환 자체를 학습하는 것은 인간 집단 탐색과 닮았다.
   3. 인간이 인터넷에 남긴 탐색 궤적은 다시 모델의 학습 데이터가 된다. RSI가 공식적으로 시작되지 않아도 인간과 모델의 집단 탐색이 누적되면서 이미 멈추기 어려운 궤도에 올라섰다.
   4. 탐색 주기가 이틀 단위로 줄어들어, 사람들이 어떤 실험을 해보고 접었는지까지 빠르게 확인할 수 있다. 정보량은 축복인 동시에 정신이 과열되는 ‘psychosis’ 같은 부담이 된다.

10.3. Astra로 만든 3층 레이어 에이전트 실험

1. 환경과 목표

   1. 3층짜리 공간에 곡물을 나타내는 누런 블록과 나무를 나타내는 갈색 블록을 배치하고, 에이전트가 경로를 계획해 곡물을 먹도록 하는 시뮬레이션을 만들었다.
   2. 에이전트에게 경쟁·협력을 명시적으로 넣지 않아도, 같은 계단을 이용하거나 길을 막는 과정에서 의도치 않은 협력과 경쟁이 나타났다. 개미 사회처럼 환경 공유에서 사회적 행동이 emergent하게 발생했다.

2. 하네스와 A 궤적 학습*

   1. 공간 전체를 인식하게 하면 에이전트가 오히려 많이 헤맸지만, Jev처럼 조작 판정만 담당하는 작은 하네스를 주면 작은 레이어에서도 빠르게 행동했다.
   2. Astra는 기존 A* 알고리즘으로 먼저 플레이한 궤적을 모델이 학습하게 하자고 제안했다. 3층 공간의 최단 경로 계획을 사전 시연하고 그 trace를 학습시키는 방식이다.
   3. 일반 LLM에게 블록 chunk와 목표 위치를 매번 추론시키면 너무 오래 걸리고 agentic 행동을 만들기 어렵지만, 커넥톰과 Jev 계열의 빠른 판정 구조는 작은 모델로도 가능했다.

주요 발언 모음

“RSI에 들어가는 걸 굉장히 조심해서 가야 하는 거지, 지금 정도의 빈도와 리듬으로 가는 추세를 막자는 건 아니라고 느꼈어요.”

“모델이 독주하는 체제가 유지됐을 때 그런 것들이 좀 더 무서웠던 것 같은데, 생각보다 중국이 너무 잘 따라와서 그런 걱정이 예전만큼 있지는 않은 것 같아요.”

“결국에는 pacing을 못 할 것 같아요. 거기서 pacing하겠다고 하면 다른 친구들이 튀어나와서 달릴 것 같습니다.”

“지금 이 모델 상태에서 동결하더라도 이미 어떤 궤도에는 올라가 있는 상태예요.”

“RSI 버튼을 굳이 누르지 않더라도 이미 무서운 궤도에 올라간 건 분명한 것 같아요.”

“조합적인 놀이라는 게 굉장히 유희적이에요. 놀이를 통해 어마어마하게 탐색을 넓힌다는 느낌을 받았어요.”

핵심 데이터 & 수치

• 행사 티켓 약 1,000만 원: 높은 가격에도 많은 사람이 참석할 만큼 미국 AI·정치·자본의 방향에 대한 관심이 컸다.
• 매출 성장 70억 달러 → 2,000억 달러: 약 2년 동안 AI 관련 매출이 급증했다는 자료가 제시됐다.
• 2024년 투자금 약 2,410억 달러: 데이터센터와 GPU를 포함한 투자가 급격히 늘고 있음을 보여주는 수치다.
• GDP 성장 기대 3~5% → 약 8%: AI가 평상시 성장률을 크게 높이려면 사회 전반의 사용 확대가 필요하다.
• Astra 출력 토큰 100만 개당 50달러: 고성능 모델의 가격 사례다.
• DeepSeek 약 99% 저렴: 경쟁과 오픈 모델이 모델 층의 마진을 압박한다.
• 중국 전력 생산량은 미국의 약 3배: 20년 전부터 벌어진 전력 인프라 격차가 AI 경쟁의 배경이다.
• Quincy 데이터센터 약 0.5GW: 기존 전력·인허가 인프라를 활용한 확장 사례다.
• Quincy 세수 20년간 12배 증가: 데이터센터가 지역사회에 가져온 장기 효과다.
• Quincy 일자리 약 1,200개: 데이터센터가 직접 고용은 적어도 유지보수·건설 일자리를 만든다는 근거다.
• AI-native 스타트업 투자 약 4,000억 달러: 대부분 오픈 모델을 사용해 오픈 생태계의 필수성을 보여준다.
• Zhipu 조달액 약 50억 달러: 중국 기업도 RSI 경쟁을 공개적으로 추진하는 사례다.
• MiMo RL run 3일 만에 토큰 비용 약 180만 달러: test-time scaling의 비용과 속도를 동시에 보여준다.
• OpenAI 기술 직원 약 1%가 하루 8,000달러 토큰 사용: 고강도 AI 사용의 내부 확산을 보여준다.
• 병렬 판단 최대 255개: Jev 계열이 한 번에 수행할 수 있는 분류 작업 규모다.
• Astra 정렬 99.97~99.98% 가정: 세대별 0.01%포인트 하락도 RSI에서 누적될 수 있다는 사고실험이다.

결론 및 시사점

1. 현재의 모델 출시와 인프라 투자를 멈추는 페이싱은 중국 경쟁과 자본·정치적 인센티브 때문에 현실화되기 어렵다.
2. SI와 RSI를 구분해야 하며, 지금의 발전 리듬을 인정하더라도 자기개선이 재귀적으로 가속되는 경계에는 별도의 통제 장치를 둬야 한다.
3. 버블 판단은 반도체 이익만이 아니라 애플리케이션 매출과 GDP 생산성으로 검증해야 한다.
4. 장기적으로 모델 가격과 마진은 경쟁으로 하락하고, 가치와 기회는 애플리케이션·데이터·컴퓨트 운영·전력 인프라로 이동한다.
5. 전력·데이터센터·반도체 공급망이 실제 확장의 병목이며, 기존 인프라를 활용하거나 우주 데이터센터 같은 새로운 경로를 탐색할 수 있다.
6. 오픈 모델은 가격·보안·생태계 확장의 기반이므로 폐쇄형 모델과 함께 존재해야 한다.
7. 안전 감사가 기업·투자자·연구자·배우자·후원 네트워크로 연결된 소수 인맥에 집중되지 않도록 독립성과 공개성을 높여야 한다.
8. CoT 모니터링은 모델이 평가 방식을 학습하고 사고를 숨길 수 있다는 점에서 단독 안전장치가 될 수 없다.
9. 토큰 사용량과 AI 의존은 개인의 생산성을 높이면서도 AI 없이는 업무를 수행하기 어려운 취약성을 만든다.
10. Jev·초파리 커넥톰·소형 모델은 복잡한 추론뿐 아니라 빠른 System 1 판단과 병렬 실험의 가능성을 확장한다.
11. 구현 비용의 하락은 누구나 실험할 수 있게 해 한 번의 모델 공개를 수백 개의 파생 실험으로 증폭한다.
12. 사람의 소셜 탐색과 멀티 에이전트의 cross-pollination은 서로 닮았으며, 인간이 남긴 trace가 다시 모델 학습으로 환류된다.
13. 모델을 현재 상태로 동결해도 이미 공개된 아티팩트와 인간의 탐색 플라이휠 때문에 발전은 계속될 가능성이 높다.
14. 조합적 플레이는 당장 생산성을 약속하지 않아도, 서로 다른 도구·모델·실험을 결합해 거대한 가설 공간을 탐색하는 방식이다.
15. 안전과 가속에 대한 양가감정을 유지하면서, 무엇이 마케팅성 공포이고 무엇이 실제 정렬 위험인지 계속 분리해 검증해야 한다.

핵심 요약 (20줄)

All-In Summit에서 AI 논쟁은 페이싱, 투자 회수, 중국 경쟁이라는 세 축으로 수렴했다. 현재의 모델 출시 리듬과 재귀적 자기개선인 RSI는 서로 다른 위험 수준으로 구분해야 한다. Dario Amodei와 일부 리더는 프런티어를 늦추려 하지만 미국 산업계와 정치권은 중국 때문에 멈출 수 없다고 본다. Elon Musk가 제시한 상호 감사와 오픈 검증은 속도를 유지하면서 안전을 보완하는 현실적 대안이다. AI 투자는 2년 만에 매출이 급증했지만 투자금이 GDP 생산성으로 연결되는지는 아직 검증되지 않았다. Brad Gerstner는 실제 이익 증가를 근거로 버블이 아니라고 보지만 Satya Nadella는 GDP 상승을 요구한다. 모델 가격은 경쟁과 오픈 모델 때문에 내려가고 장기적인 가치는 애플리케이션 층으로 이동할 가능성이 크다. NVIDIA, Microsoft, 메모리, TSMC, 하이퍼스케일러와 네오클라우드가 하나의 거대한 생태계를 형성한다. 전력과 데이터센터 인허가가 진짜 병목이며 중국의 전력 생산량은 미국의 약 세 배로 비교된다. Quincy 사례는 데이터센터가 세수와 유지보수 일자리를 늘려 지역사회의 태도를 바꿀 수 있음을 보여준다. 우주 데이터센터는 지상 토지와 인허가 제약을 우회하려는 새로운 컴퓨트 확장 경로로 검토된다. 오픈 모델은 수천억 달러가 투자된 AI 스타트업 생태계에서 가격과 보안을 위해 필수적인 기반이 됐다. Jakub Pachocki의 이질적 지성 논의는 인간이 이해하지 못하는 모델을 어떻게 정렬할지 묻는다. Noam Brown의 연구는 멀티 에이전트 협력을 모델 내부 능력으로 내재화하는 방향으로 나아간다. RSI가 빨라지면 정렬 확률의 작은 세대별 하락과 CoT 모니터링 약화가 누적될 수 있다. METR과 AI 안전 네트워크의 촘촘한 인맥은 감사의 독립성을 둘러싼 규제 포획 우려를 낳는다. MiMo의 실시간 RL과 개발자의 토큰 사용 폭증은 test-time scaling과 지식 노동의 AI 의존을 동시에 보여준다. Jev와 소형 모델은 최대 255개의 빠른 판단을 병렬로 실행하며 System 1 지능을 되살린다. 값싼 구현 비용은 초파리 커넥톰과 게임·트레이딩·OCR 실험을 누구나 재현할 수 있는 조합적 놀이로 바꾼다. RSI 버튼을 누르지 않아도 인간과 모델의 탐색 플라이휠은 이미 멈추기 어려운 궤도에 올라섰다.