AI 연구 자동화와 재귀적 자기개선의 분기점

URL: https://www.youtube.com/watch?v=PrSf7IOYu-I 날짜: 2026-09-13 채널: Dwarkesh Patel 원문 제목: AI researchers debate how close we are to recursive self-improvement 영상 ID: PrSf7IOYu-I 영상 길이: 1:37:01

---

📌 핵심 질문 / 핵심 논점

==2036년에도 세계가 초지능으로 급변하지 않는다면, 병목은 새로운 알고리즘·일반화·지속 학습·목표 정의 중 어디에 있을까?==

• Baron Militsch는 현재의 Transformer와 강화학습(Reinforcement Learning, RL)을 계속 키워도 새로운 학습 패러다임을 발견하지 못하면 점근적 곡선에 갇힐 수 있다고 본다.
• John Schulman은 모델의 판단력·자기검증·장기적 취향(taste)과 목표 정의가 인간의 마지막 역할로 남을 수 있다고 본다.
• Charlie O'Neal은 RL이 이미 수평적 지식 전이보다 더 긴 작업을 지속하는 지평선 일반화(horizon generalization)를 보여 주며, 중간 학습(mid-training)과 다양한 환경이 빠른 진전을 설명한다고 본다.
• 세 사람은 수백만 개의 환경에서 훈련한 에이전트가 일주일·한 달짜리 원격 근로자가 될 가능성에는 대체로 동의하지만, 실제 배포에서 얻는 비정상적이고 사회적인 경험을 가중치에 안정적으로 누적하는 문제는 아직 풀리지 않았다고 본다.

0. 삽입된 협찬·광고 정보

0.1. Antithesis와 코드 검증

1. 고신뢰 소프트웨어의 버그를 찾는 도구

   1. Jane Street는 2025년 초 high-assurance software를 만드는 팀에서 Antithesis를 사용하기 시작했고, 기존의 세심한 개발 과정으로도 찾기 어려운 버그를 발견했다.
   2. 버그를 찾아 시스템의 신뢰성을 높일 뿐 아니라, 개발팀이 더 확신을 갖고 빠르게 움직이게 해 Jane Street가 Antithesis에 투자하는 계기가 됐다.

2. 에이전트 시대의 verification bottleneck

   1. 코드 생산이 자동화될수록 사람이 생성된 코드를 읽고 실제 production에 받아들일 수 있는지 확인하는 시간이 핵심 병목이 된다.
   2. 테스트를 개선해 에이전트가 새 문제를 도입하지 않았다는 확신을 주면 검증 병목이 완화되고 더 많은 코드를 처리할 수 있다. 안내 주소는 antithesis.com/bash다.

0.2. Jane Street의 protocol emulator ASIC 대회

1. 현실적인 트래픽을 흉내 내는 재프로그래밍 가능 칩

   1. 테스트할 칩을 protocol emulator ASIC에 연결하면 live system에 꽂지 않고도 현실적인 트래픽에 어떻게 반응하는지 확인할 수 있다.
   2. 단일 프로토콜을 하드코딩하는 대신 새 프로토콜에도 대응하는 범용 재프로그래밍 설계가 요구되며, 시작점으로 UART·SPI·I²C가 제안됐다.

2. 대회 조건과 일정

   1. 더 야심찬 설계는 low-speed USB와 Ethernet 등 칩 구조를 시험하는 프로토콜을 다룰 수 있고, Jane Street는 가장 참신한 설계를 실제 tape-out해 물리 칩을 우승자에게 보낸다.
   2. 설계는 오픈소스 130nm 공정 노드를 목표로 해야 하며, 대회 마감일은 2027년 1월 18일이고 팀 참가가 권장된다. 템플릿 코드는 janestreet.com/scash에서 받을 수 있다.

0.3. Grokbot 편집 프로듀서

1. Slack 메모와 긴 녹취를 연결한다

   1. 인터뷰 직후 남긴 비공식 Slack brain dump에는 정확한 timestamp가 없고 원본 녹음은 몇 시간씩 이어져, 편집자가 언급된 장면을 찾는 데 큰 시간이 들었다.
   2. Grokbot은 편집자가 rough cut을 Slack에 올리면 스스로 컴퓨터에서 transcript를 열고, 메모와 일치하는 구간을 표시한다.

2. 선호 case file과 모바일 검토

   1. Grokbot은 축적된 편집 선호 case file을 사용해 후보 편집을 제안하고, 작업이 끝나면 상위 clip 후보를 보내 휴대폰에서 검토하게 한다.
   2. 문자하듯 편집자에게 남긴 메시지가 transcript와 편집 선호에 즉시 반영되는 점이 장점으로 소개됐고, 안내 주소는 x.ai/bot이다.

1. 2036년에도 초지능 세계가 오지 않을 가능성

현재의 성능 상승이 인간 연구개발(R&D)을 압도하는 지점까지 이어질지, 아니면 일반화와 지속 학습의 병목에서 멈출지가 첫 번째 쟁점이다.

1.1. 벤치마크 성능과 실제 영향의 간극

1. 모라벡의 역설(Moravec's paradox)이 AI에도 반복될 가능성

   1. 수학 난제 해결이나 체스 승리처럼 인간이 어렵게 느끼는 과제를 AI가 풀어도, 실제 경제적 영향이 기대만큼 크지 않을 수 있다.
   2. AI가 벤치마크와 명시적 환경에서는 거의 모든 과제를 잘하지만, 현실로 옮기는 순간 지속적인 sim-to-real 간극이 남는 시나리오가 있다.

2. 일반화와 지속 학습이 2036년의 기술적 병목이 될 가능성

   1. 메타러닝(meta-learning)이 충분히 일반화되지 않고 continuous learning도 해결하지 못하면, AI는 주어진 환경에만 최적화된 매우 유능한 시스템으로 남는다.
   2. 참가자들은 이 가능성을 기본 시나리오로 인정하면서도, RL에서 이미 어느 정도 일반화가 나타나므로 완전한 정체는 다소 낮은 확률로 본다.

1.2. 인간의 우위가 남기는 병목

1. 판단력과 자기검증이 생산성을 제한한다

   1. 모델은 새 버전이 나올 때마다 인간의 약점을 하나씩 따라잡지만, 더 나쁜 판단과 낮은 자기검증 능력이 남은 병목으로 나타난다.
   2. 코드를 사람보다 훨씬 많이 작성해도 연구·엔지니어링 과정 전체를 100배 빠르게 만들지는 못한다. 사람이 결과를 검토하고 다음 행동을 정하는 시간이 남기 때문이다.

2. AGI 선언과 한 달 뒤의 실망이 반복된다

   1. 새 모델이 출시되면 사람들은 “이번이 AGI다”라고 생각하지만, 한 달 정도 사용하면 모델이 다시 멍청하게 느껴지는 주기가 반복된다.
   2. 2036년까지 이 주기가 예상보다 여러 번 반복되는 것이 초지능 부재의 현실적 설명이 될 수 있다.

2. 재귀적 자기개선과 새로운 패러다임

한 번 인간 연구자를 아주 조금이라도 능가한 AI를 대량·고속으로 실행하면 급격한 자기개선이 일어날 수 있지만, 그 전제인 학습자의 질적 도약을 현재 패러다임이 스스로 찾을지는 불확실하다.

2.1. 0.1%의 연구 우위가 만드는 급가속

1. 병렬 실행과 하드웨어가 인간의 속도 병목을 제거한다

   1. 인간 전체보다 0.1%라도 나은 AI 연구자가 생기면 수십만~수백만 개 인스턴스를 병렬 실행하고 더 빠른 칩에서 돌릴 수 있다.
   2. 병렬성·추론 속도·칩 성능이 다른 병목을 압도하면 매우 빠른 recursive self-improvement와 takeoff가 발생한다.

2. 체스 Elo의 전환점이 직관을 제공한다

   1. 1980년대 이후 체스 봇의 Elo는 대체로 선형적으로 올랐지만, 인간 전문가가 항상 이기던 구간에서 인간 전문가가 더는 이기지 못하는 큰 단절이 나타났다.
   2. 현재 AI의 경제적 영향이 아직 서서히 증가하는 것은 인간 수준의 Elo에 접근하는 과정이기 때문이며, 인간 수준을 넘는 순간에는 같은 선형 증가가 전혀 다른 영향으로 바뀔 수 있다.

2.2. 무어의 법칙과 AI 스케일링의 불연속성

1. 현재 레시피도 여러 번의 질적 도약 위에 있다

   1. 사전 학습(pre-training) 손실의 스케일링 법칙이 한계에 접근하자 RL이 새로운 개선 곡선을 열었고, 덕분에 전체 진전이 다시 직선처럼 보였다.
   2. 무어의 법칙 역시 단순한 직선이 아니라 수많은 공정·소자·설계의 불연속적 혁신이 이어진 결과였다.

2. 현재의 Transformer+RL이 다음 불연속을 찾는다는 보장은 없다

   1. 새로운 아이디어가 현재 RL 위에 누적되는 정도라면 AI가 연결고리를 찾아낼 수 있지만, gradient descent와 neural network 자체를 버려야 할 만큼 멀리 있는 전환이면 현재 LLM이 스스로 발견하기 어렵다.
   2. 반대로 2012년 이후의 발전을 계속 연장하면 인간 R&D를 지배하는 수준에 도달할 것이라는 반론도 있다. 인간이 결국 발견할 수 있는 패러다임을 AI가 못 찾을 이유가 없다는 직관이다.

2.3. 지정된 목표와 열린 과학의 차이

1. 자동화하기 쉬운 연구는 목표가 깨끗하게 정의된다

   1. 사전 학습 손실을 줄이거나 검증 가능한 환경의 점수를 올리는 auto-research는 이미 지정된 목적함수를 최적화하는 문제다.
   2. 작은 ablation, 학습률과 모델 크기의 관계, 모델 폭(width)의 효과처럼 데이터와 목표가 주어지면 AI가 기존의 저비용 실험을 빠르게 정리할 수 있다.

2. 패러다임 전환은 목표를 먼저 만들어야 한다

   1. 새로운 학습 구조를 찾는 과학은 무엇을 최적화해야 하는지조차 모호하며, AI가 올바른 목적함수를 지정하지 못하면 목적을 최적화하는 능력만으로는 충분하지 않다.
   2. 실제 연구는 직관을 세우고 그 직관에 생명 징후를 보일 과제를 만든 뒤, 방법이 성숙할수록 과제를 현실적으로 되돌리는 과정에 가깝다.

3. 다음 목적함수와 인간의 마지막 역할

AI가 실험을 수행하는 능력보다 어떤 실험을 할지와 어떤 행동을 원할지를 정하는 능력이 오래 인간에게 남을 가능성이 높다.

3.1. 다음 토큰 예측이 주는 교훈

1. 2014년에는 다음 토큰 예측이 지능의 핵심처럼 보이지 않았다

   1. 넓은 데이터에서 다음 토큰을 예측하는 방향은 당시에는 NanoGPT speedrun을 최적화하는 것처럼 보이지 않았지만, 지금은 거대한 새 패러다임이 됐다.
   2. 다음 inner loop를 AI가 스스로 예상하지 못할 수 있고, 수익이나 사용자의 가치 같은 outer loop는 강하더라도 느리게 작동한다.

2. 로그 손실에 대한 초기 의심과 뜻밖의 성공

   1. John Schulman은 초기 OpenAI 시절 로그 손실 최소화만으로는 지능을 얻기 어렵다고 생각했다. 중요한 정보가 전체 손실에서 차지하는 비중이 너무 작아 잡음에 묻힌다고 봤기 때문이다.
   2. 사람은 환경 전체를 사진처럼 복제하는 법을 배우지 않는데도 다음 토큰 예측이 실제로 작동했다. 단순해 보이는 목적함수가 뜻밖의 일반화를 일으킨 사례다.

3.2. 연구자의 마지막 업무는 질문과 목적을 정하는 일

1. 반복적으로 올바른 질문을 고르는 일이 남는다

   1. 현재 AI는 실험 코드를 작성하는 것보다 어떤 실험을 할지 결정하는 데 약하고, 연구 대화에서 제안하는 것은 작은 miscellaneous step에 머무는 경우가 많다.
   2. Radford가 넓은 데이터의 다음 토큰을 예측하자는 발상을 낸 것과, 이후 연구자들이 그것을 크게 확장할 scaling law를 찾아낸 것은 단순한 코드 실행이 아니라 질문 선택의 사례다.

2. 정렬(alignment)은 목표 정의와 최적화로 분해된다

   1. 인간의 마지막 직무는 모델이 얼마나 helpful해야 하는지, 어떤 assistant 행동을 원하는지, RLHF의 목표를 무엇으로 둘지 정하는 일이다.
   2. 이후에도 constitution과 model spec을 정하고 각 영역에서 모델이 어떻게 행동해야 하는지 결정해야 한다. 실제 최적화는 자동화돼도 “우리가 무엇을 원하는가”는 곧바로 자동화되지 않는다.

3.3. 취향(taste)과 장기적 판단

1. 취향은 장기적으로 작동하는 행동에 대한 압축된 지식이다

   1. 소프트웨어 엔지니어링의 취향은 유지보수 가능하고 프로젝트 후반에도 잘 작동할 시스템을 고르는 감각과 관련된다.
   2. 이는 단순히 한 번의 정답을 맞히는 능력이 아니라, 오랜 시간 뒤의 결과를 예측해 선택하는 능력이다.

2. 긴 문맥만으로 취향이 해결된다는 보장은 없다

   1. 모델에 1조 토큰 문맥을 주고 인간의 연구 경험을 모두 넣어도, 그 문맥에서 올바른 업데이트를 학습하는 훈련이 별도로 필요하다.
   2. 인간 박사과정 학생은 약 5년 동안 대략 10~30개의 연구 프로젝트만 거치고도 첫해와 마지막 해 사이에 취향을 크게 발전시킨다. AI가 훨씬 많은 경험으로 이를 메타학습할 수 있는지는 아직 확인되지 않았다.

4. 모델 제공자, 증류와 현실 배포

모델 행동의 증류(distillation)는 중앙집중을 약화시키지만, 실제 사용자의 분포와 현실적인 다중 턴 과제를 얼마나 확보하느냐가 성능을 가른다.

4.1. 왜 모델 제공자가 모두 하나로 합쳐지지 않는가

1. RL 행동은 적은 비트로 증류할 수 있다

   1. RL로 학습된 행동은 많은 정보가 아니라 소수의 결정적 비트로 표현되므로, 모델의 성공 궤적(trajectory)을 얻으면 다른 모델에 비교적 쉽게 옮길 수 있다.
   2. 따라서 한 회사의 모델이 매일 좋아져도 다른 회사는 매일 그 행동을 증류할 수 있어 중앙집중의 힘이 약해진다.

2. 배포 전용 모델과 회사별 모듈이 경쟁 구도를 바꾼다

   1. 기업은 배포 과정에서 얻은 데이터를 자신만의 모델 개선에 쓰고 싶어 하므로, 현재의 소수 모델 제공자가 회사별 모델을 공급하거나 작은 회사가 이를 제공할 수 있다.
   2. 사용자의 데이터를 공통 대형 모델에 직접 넣는 대신 LoRA, 압축된 지식 카트리지(cartridge), 고정 크기에 긴 정보를 넣는 linear attention 계열 모듈이 먼저 확산될 수 있다.

4.2. 프롬프트 분포와 중국 모델의 추격

1. 현실적인 프롬프트 분포가 증류의 핵심이다

   1. 모델의 chain-of-thought에 접근해도 어떤 프롬프트로 호출할지 모르면 유용한 능력을 모두 옮길 수 없다.
   2. 실제 사용자의 폭넓은 프롬프트와 상호작용 흔적이 있어야 학생 모델이 교사의 일반적인 행동 분포를 재현할 수 있다.

2. 라우터 서비스가 독특한 증류 데이터가 된다

   1. 중국 사용자가 차단된 미국 frontier 모델을 코딩에 쓰도록 연결하는 router·proxy 서비스는 사용자의 실제 요청과 결과를 축적한다.
   2. 중국 회사가 얻은 이 데이터는 “사용자가 무엇을 원하는가”에 대한 거의 완벽한 프롬프트 분포가 될 수 있으며, seed prompt를 인간과 기존 모델에서 얻은 뒤 모델로 광범위한 변형을 합성할 수도 있다.

4.3. Frontier 모델과 distiller 사이의 비대칭

1. 현실 배포가 frontier 환경보다 더 많은 정보를 줄 수 있다

   1. Frontier 연구소가 어려운 RL 환경과 논리 증류를 모두 갖고도 작은 모델에서 뒤처진다면, 실제 배포 사용자가 만드는 행동 분포가 더 중요하다는 예측이 가능하다.
   2. “좋은 정치인이 되어라” 같은 행동은 distiller가 frontier 모델에 요청해 수십억 개 변형을 만들기 쉽지만, 첫 frontier 모델을 만드는 연구소는 현실 정치인의 매일 행동을 직접 수집해야 한다.

2. 학생-교사 격차와 과도한 모방이 생긴다

   1. 작은 모델이 교사의 모든 판단을 그대로 복사하려 하면 teacher-student gap 때문에, 가능한 모든 행동을 점검하는 판사 AI처럼 토큰만 많이 쓰고 언제 멈출지 모를 수 있다.
   2. “The reach exceeds the grasp”처럼 학생의 시도가 능력을 앞서거나, frontier 모델의 큰 모델다운 감각 없이 점검 절차만 과도하게 늘어나는 uncanny valley가 나타날 수 있다.

4.4. 환경의 난도와 현실성

1. 난도 축과 현실성 축은 다르다

   1. 어려운 퍼즐과 검증 가능한 벤치마크는 만들기 쉽지만, 다중 턴 상호작용·여러 목적·인간과의 왕복이 있는 현실적 코딩 에이전트 환경은 만들기 어렵다.
   2. 난도만 올리면 학생 모델이 벤치마크에서 교사를 흉내 내도 실제 분포에서 실패할 수 있으므로, reward에 rubric과 인간 피드백을 넣어 현실성 축도 밀어야 한다.

2. 큰 모델의 일반화와 post-training의 함정

   1. 큰 모델은 좁고 어려운 과제에서 현실적 과제로 더 잘 일반화할 수 있지만, 증류 데이터가 쉬운 검증 과제에 치우치면 벤치마크만 맞고 넓은 업무에서는 못한다.
   2. post-training의 작은 설정 오류도 벤치마크에는 나타나지 않는 괴상한 말투와 행동을 만들 수 있다. RL의 엔트로피 붕괴도 방법 자체보다 단순한 verifier나 judge를 해킹한 결과일 수 있다.

5. AI R&D를 자동화할 첫 모델의 훈련법

AI 연구 자동화 모델은 인간 연구자의 취향을 흡수하는 피드백과 다단계 연구 프로젝트 환경을 결합하고, 매 세대에서 가장 큰 결함을 보수하는 방식으로 만들어질 가능성이 높다.

5.1. 환경과 인간 피드백의 결합

1. 현실적인 훈련 조합

   1. 인간 피드백으로 연구자의 취향과 좋은 판단을 흡수하고, 여러 단계의 연구 프로젝트를 수행하는 practice environment를 만든다.
   2. 연구자가 모델을 사용하며 발견한 일관된 약점을 다음 세대의 피드백 데이터나 새 환경으로 바꿔 매번 patch한다.

2. 모델 계보(lineage)를 어디까지 되돌릴지의 선택

   1. 한 극단은 GPU와 neural network만 주고 모델 스스로 특정 과제의 학습법을 처음부터 발견하게 하는 방식이다.
   2. 실용적인 방식은 최전선까지 축적된 계보를 유지하면서 최근 몇 달간 발견된 training-stack 버그와 개선점을 환경으로 바꾸는 것이다. 필요하면 GRPO 이전 시점까지 되돌려 새 방법을 발견하게 할 수 있다.

5.2. 인간보다 어려운 환경과 연구의 실제 형태

1. 환경은 인간의 상한을 넘을 수 있다

   1. 궤적을 그대로 증류하면 인간 연구자 수준을 넘을 수 없지만, 인간이 풀 수 없는 손실값이나 복잡한 게임을 환경으로 만들면 AI가 인간보다 나은 답을 탐색하게 할 수 있다.
   2. 1억 파라미터 모델이 Minecraft를 깨는 일이 이미 너무 쉬운 과제로 취급된다는 농담은 최근 능력 상승의 속도를 보여 준다.

2. 연구는 목표를 향한 단순한 언덕 오르기가 아니다

   1. 많은 연구는 먼저 “이 알고리즘이 모델을 더 낫게 만들 것”이라는 직관을 세우고, 그 직관의 생명 징후를 볼 작은 과제를 설계하는 방식으로 진행된다.
   2. 성공하면 더 현실적인 과제로 옮기며, 수학적으로 예측 가능한 이론보다 비공식적인 작동 이론과 설명을 함께 개발한다.

5.3. RLVR 대규모화라는 연구소의 베팅

1. 수백만 환경에서 일반 메타스킬을 학습한다

   1. RL with Verifiable Rewards(RLVR)를 수백 개 도메인과 수백만 개의 다양한 환경으로 확장하면, persistence·문맥 정보 triage·다른 에이전트와의 end-to-end 협업이 나타날 것이라는 베팅이 있다.
   2. 긴 in-context learning을 계속 확장하면 데이터센터 시뮬레이션에서 배운 메타스킬로 일주일 또는 한 달 동안 일하는 drop-in remote worker가 될 수 있다.

2. 도메인별 환경의 진화

   1. 코딩은 인터넷과 내부 데이터로 환경을 만들기 쉬운 낮은 과일이며, 이후 금융·Excel, PowerPoint, 경제 전반의 긴 꼬리로 환경이 확장된다.
   2. 이 과정은 RSI 직접 훈련일 수도 있지만, 모델을 판매해 다음 대규모 훈련을 위한 수익을 만들고 상업 업무에서 반복되는 결함을 찾아내는 전략이기도 하다.

6. 배포 경험, 지속 학습과 hive mind

모델의 모든 배포 인스턴스가 수백만 년의 경험을 공유하는 hive mind는 거시적으로 이미 시작됐지만, 미시적이고 지속적인 가중치 업데이트는 망각·용량·경제적 이해관계에 막혀 있다.

6.1. 거시적 지속 학습은 이미 시작됐다

1. 배포 데이터를 다음 세대에 넣는 루프

   1. 사용자의 데이터를 필터링·판정·주석·합성한 뒤 미래 모델의 pre-training이나 mid-training에 넣는 방식은 이미 세대 간 개선의 상당 부분을 설명할 수 있다.
   2. 중국 회사는 배포와 증류를 적극적으로 활용하고, 폐쇄형 연구소도 직접적인 형태는 아니더라도 배포에서 얻은 신호를 다음 모델에 반영한다.

2. 작은 회사의 빠른 온라인 학습

   1. Composer나 Harvey 같은 제품은 특정 업무에서 사용자가 불평한 지점과 실패 흔적을 환경으로 만들어 특정 모델을 재훈련한다.
   2. Cursor·Composer의 코드 제안에서는 사용자가 Tab을 눌렀는지 같은 신호를 모아 모델을 계속 개선하고, Composer는 실제 생성 모델에도 온라인 강화학습을 적용했다.

6.2. 단일 사용자 온라인 RL의 난점

1. 그룹이 없는 한 번의 롤아웃은 분산이 크다

   1. 일반 RL은 여러 샘플의 그룹 비교를 사용할 수 있지만, 한 사용자가 한 번 말하고 한 번의 rollout만 만드는 온라인 상황에서는 분산 감소가 어렵다.
   2. Cursor 계열은 응답이 평균보다 얼마나 좋은지 추정하는 휴리스틱을 사용해 이 문제를 완화했다.

2. 개선 검증과 배포의 주기가 필요하다

   1. 새 모델을 CursorBench에 넣어 개선되면 약 5시간마다 배포하고, 개선되지 않으면 해당 버전을 폐기하는 식으로 안정성을 확인한다.
   2. 자연어 사용에서 실제 reward가 무엇인지 모르면 코드 수락 여부 같은 표면 신호가 reward hacking을 일으킬 수 있다.

6.3. sim-to-real과 긴 지평선의 충돌

1. 현실 업무는 데이터센터에서 그대로 시뮬레이션하기 어렵다

   1. 코딩조차 1년짜리 업무가 되면 고객·회사·사용자와 대화해야 하며, 사업 운영·새 사업의 수익화·시장 거래·법정 승소는 현실과 상호작용하는 과정 자체가 학습의 일부다.
   2. 샘플 효율이 낮은 현재 모델에서 수천 번의 인간 상호작용을 실제 사람에게 요구할 수 없으므로, 당분간 sim-to-real이 주된 프레임워크가 된다.

2. 배포 학습이 커질 조건

   1. 샘플 효율이 크게 좋아지면 실제 배포에서 학습하는 비중이 커지고, 모든 trace를 재시뮬레이션하지 않는 off-policy 학습도 가능하다.
   2. 다만 현실의 reward를 정확히 정의하지 못하면 실제 데이터가 많아져도 잘못된 목표를 빠르게 최적화하는 문제가 남는다.

6.4. 누적 과제와 비정상적 과제의 분리

1. AI R&D는 누적적일 수 있다

   1. attention, mixture of experts, GRPO처럼 한 번 발견한 요소를 training stack에 추가하면 이후 모델이 그것을 매번 처음부터 재발견할 필요가 없다.
   2. 재귀적 자기개선을 수행하는 작은 Python 파일이 발견을 하나씩 추가해 능력을 쌓는다면, RSI는 비교적 누적적인 과제가 된다.

2. 현실 업무는 계속 변하는 분포다

   1. 법률사무소의 법률 associate는 회사의 인간관계·정보 위치·암묵적 관행이 끊임없이 바뀌므로, 매번 새 문맥에 적응해야 한다.
   2. 이런 non-stationary task는 RSI처럼 이미 얻은 발견을 쌓기만 하는 과제보다 지속 학습과 관계 기억을 훨씬 더 요구한다. “RSI가 paralegal보다 쉬운 게 억울하다”는 농담이 이 차이를 압축한다.

6.5. hive mind의 경제적 제약과 모듈화

1. 기업은 공통 모델에 배포 데이터를 내놓기 싫어한다

   1. 모델 제공자가 한 고객사의 배포 경험을 모두 학습하면 그 회사의 경쟁 우위가 줄어들 수 있어, 고객은 공통 가중치 업데이트를 원하지 않을 수 있다.
   2. 따라서 기술적으로 가능해도 경제적 인센티브가 진정한 hive mind의 출발을 늦춘다.

2. 공통 모델은 단계적으로 학습한다

   1. 처음에는 LoRA·카트리지·전문 모듈로 배포에 맞춰 특화하고, 몇 달 뒤 새 trace를 모아 base model에 통합하는 간접 학습이 현실적이다.
   2. 모델 출시 주기가 분기에서 주간, 일간, 시간 단위로 빨라지면 직접적인 hive mind와 구분하기 어려운 속도의 루프가 된다.

7. 가중치 업데이트, 망각과 샘플 효율

7.1. 미시적 지속 학습이 무너지는 이유

1. 소량의 반복 업데이트가 기존 능력을 파괴한다

   1. 한 법률사무소의 성공 trace만 SFT하거나 on-policy·off-policy distillation을 반복하면 catastrophic forgetting과 base model 위에 추가한 이전 정보의 망각이 나타난다.
   2. 일반적인 사용 능력도 악화될 수 있어, 한 업무의 최신 정보를 계속 주입하는 단순한 방식은 오래 버티지 못한다.

2. RL과 SFT는 서로 다른 장단점을 가진다

   1. RL은 파라미터를 아주 조금만 바꿔 기존 행동을 보존하는 데 유리하지만, 특정 인물·조직·프로세스 같은 명시적 지식을 모델에 넣는 데는 약하다.
   2. SFT와 distillation은 더 많은 정보를 넣을 수 있지만 업데이트가 너무 파괴적일 수 있어, 대규모 환경과 여러 출처가 잡음을 씻어 주는 조건이 필요하다.

7.2. 용량 문제보다 기술 문제에 가깝다

1. 같은 크기 모델을 새로 훈련하면 더 나아질 수 있다

   1. 모든 데이터를 넣어 같은 크기의 모델을 처음부터 mid-training하면, 용량이 없어서가 아니라 업데이트 방법 때문에 생긴 손실을 피할 수 있다.
   2. 현행 방식은 최근 모델에 작은 업데이트를 영원히 누적하기보다, 새 base를 훈련해 오래된 지식과 새 지식을 함께 재구성하는 쪽에 가깝다.

2. 비정상적 데이터 분포가 기하급수적 재훈련을 부른다

   1. 새 배포 데이터가 들어올 때마다 데이터 분포가 바뀌면 이전 정보가 희석되고, 지금은 이를 막는 좋은 방법이 없다.
   2. 단일 모델을 영구히 학습시키는 대신 새 모델을 계속 훈련하는 이유도 이 plasticity와 catastrophic forgetting의 결합에 있다.

7.3. 긴 문맥과 인간식 학습 효율

1. 인간은 중간 길이의 경험에서 더 효율적일 수 있다

   1. 모델은 in-context learning 같은 짧은 문맥과 대규모 학습에서는 매우 효율적이지만, 가중치를 업데이트해야 하는 중간 길이의 경험 구간에서는 인간보다 덜 효율적일 수 있다.
   2. 인간은 출생부터 성인까지 보는 정보량보다 훨씬 적은 연구 경험으로도 업무 취향과 장기 판단을 형성한다.

2. 샘플 효율만으로 모든 약점을 설명할 수 없다

   1. 인간보다 낮은 사고의 다양성, 장기 판단의 취약성, 부족한 taste도 RSI의 병목이 된다.
   2. 따라서 trillion-token context가 마련돼도 적절한 학습 규칙과 긴 지평선의 일반화가 자동으로 따라오지는 않는다.

8. 데이터가 설명하는 AI 진전

데이터의 질과 환경의 설계는 사전 학습 성능 상승을 크게 설명하지만, 후속 학습으로 갈수록 다음 능력에 필요한 신호가 원래 데이터에 존재하지 않는다는 문제가 커진다.

8.1. 초지능 데이터 분포의 존재와 환경 사다리

1. 원칙적으로는 원하는 데이터 분포를 만들 수 있다

   1. 현재 구조를 어떤 pre-training·post-training 데이터와 환경으로 훈련하면 인간 전문가를 모든 분야에서 압도하는 모델이 나올 가능성 자체는 분명하다.
   2. 극단적으로는 실제 초지능을 훈련하는 Python 파일을 출력하도록 모델을 훈련해 그 파일의 가중치를 암기시키는 장난감 사례도 있다.

2. 환경 사다리를 한 칸 오르는 비용이 커진다

   1. 인간 수준 AI 연구자에 도달하는 환경의 사다리는 존재하지만, 각 다음 rung을 만드는 노력은 대략 지수적으로 증가한다.
   2. 모델이 실제로 그 과제를 수행하는 compute와 시간 병목까지 더하면, 최종 인간 초월 단계에서 곡선이 평평해질 수 있다.

8.2. 환경 제작자가 이용하는 비대칭

1. 생성 과정을 숨기면 복잡한 환경을 cheaply 만들 수 있다

   1. 데이터 생성 과정의 잠재 변수(latent variable)를 모델에게 숨기고, 사람이 앞뒤로 쉽게 조작할 수 있는 환경을 만들면 임의로 복잡한 문제를 생성할 수 있다.
   2. 모델은 그 생성 과정을 알아내기 위해 줄일 수 없는 토큰과 작업을 소비해야 하므로, 사람이 만든 환경이 모델에게는 큰 탐색 과제가 된다.

2. 현실의 긴 조사를 작은 환경으로 압축한다

   1. Anthropic이 수만 시간의 인간과 LLM 작업으로 발견한 버그를 하나의 깔끔한 환경으로 만들면, 모델은 수백만 토큰 안에 재발견할 수 있다.
   2. 이런 인간-모델 노동의 비대칭과 task-horizon generalization을 이용하지만, 환경을 만드는 쪽의 low-hanging fruit이 소진되면 수익이 감소한다.

8.3. 사전 학습과 후속 학습의 신호 차이

1. 사전 학습에는 신호가 이미 있다

   1. Common Crawl 같은 대규모 텍스트에는 사전 학습 과제에 필요한 정보가 섞여 있고, 핵심은 신호를 새로 만드는 것보다 잡음을 걸러내는 일이다.
   2. 데이터 필터링과 합성은 자동화하기 쉬워 사전 학습 효율을 개선한다.

2. 중간·후속 학습에는 다음 능력의 신호가 없다

   1. 모델이 이미 잘하는 것보다 한 단계 위의 수학·코딩·연구를 위한 정보는 원자료에 숨어 있지 않으며, 아무리 필터링해도 Millennium Prize 문제의 해답이 Common Crawl에 나타나지는 않는다.
   2. 새로운 비트를 얻으려면 인간에게 reasoning을 쓰게 하거나, 인간이 목적과 환경을 만들거나, 배포 데이터에서 학습해야 한다.

8.4. 증류의 놀라운 가능성과 커리큘럼의 필요

1. 약한 모델도 올바른 행동을 쉽게 복사할 수 있다

   1. 1930년까지만 학습한 Talkie 모델에 현대 코딩 에이전트 데이터를 fine-tuning하자 Claude 3 Opus보다 Sweepbench에서 더 나은 코딩 에이전트처럼 행동했다는 사례가 제시된다.
   2. 이는 올바른 전문가 행동의 사례가 주어지면 약한 모델에도 능력을 surprisingly 쉽게 주입할 수 있다는 뜻이다.

2. 너무 먼 능력은 RL로 한 번에 건너뛸 수 없다

   1. 초등학교 수준 수학과 영어를 학습한 모델에 고등학교 후반·대학 수학을 바로 RL하려 한 실험에서는 성능이 전혀 오르지 않았다.
   2. 7학년·8학년을 거쳐 12학년으로 올라가는 연속적인 curriculum을 주면 가능했으므로, 환경 사다리의 rung 간격과 RL의 탐색 신호가 핵심이다.

9. 데이터 효율, 파라미터와 하드웨어

9.1. 데이터 개선과 아키텍처 개선의 기여

1. 2019년 이후의 비교 실험

   1. Jerry Han과의 Princeton 연구는 2019년부터 현재까지의 학습 recipe와 데이터셋을 서로 교차해 GPT-2를 최신 Ultra FineWeb으로 훈련하고 최신 오픈 recipe를 오래된 Pile로 훈련하는 grid를 만들었다.
   2. 같은 능력 수준에 도달하는 compute를 비교하자 작은 규모에서 데이터 개선은 약 9배의 compute efficiency, 아키텍처 개선은 약 3배를 설명했다.

2. 숫자 해석에는 스케일 의존성이 있다

   1. 2019년 이후 1년에 3배씩 효율이 올랐다는 추정치와 7년 누적 3^7, 즉 2,000배 이상이라는 격차를 설명하려면 post-training과 스케일 의존적 개선을 포함해야 한다.
   2. 데이터는 낮은 과일을 많이 소진했지만 아직 0.1% 단위의 손실 감소는 남아 있고, 아키텍처는 단순한 퍼센트 이득보다 새로운 regime을 여는 역할을 한다.

9.2. 아키텍처는 데이터가 사용할 수 있는 영역을 연다

1. 새 구조는 접근 불가능했던 문맥을 가능하게 한다

   1. GQA 같은 구조가 없었다면 백만 토큰 문맥을 처리하는 비용이 지나치게 커져, 그 길이에서만 드러나는 데이터와 능력을 사용할 수 없었다.
   2. 따라서 “데이터가 9배, 아키텍처가 3배”라는 작은 규모의 곱셈식은 아키텍처가 질적으로 새로운 데이터 영역을 열었다는 사실을 숨긴다.

2. 후속 학습 데이터는 큰 모델에서 더 강해질 수 있다

   1. 매우 긴 지평선의 환경은 작은 모델이 활용하지 못하므로, 같은 trace도 합리적인 크기의 모델에서 훨씬 큰 개선을 낸다.
   2. Kimi와 DeepSeek의 압축 attention 같은 변경은 pre-training loss만이 아니라 실제 inference 효율과 배포 방식을 함께 최적화한다.

9.3. 2030년 파라미터 규모의 불확실성

1. RL rollout은 active parameter를 줄이는 힘이다

   1. 긴 rollout을 대규모로 수행하려면 inference 효율이 중요하고, 환경의 복잡도가 아직 병목이면 모델이 무조건 커질 이유가 약하다.
   2. Mythos와 GPT 계열의 실제 규모는 10조 파라미터라는 외부 추측보다 작을 수 있으며, 향후 몇 년은 active parameter가 plateau할 가능성이 있다.

2. 데이터·compute·하드웨어가 서로 다른 최적점을 만든다

   1. 데이터가 부족하면 큰 모델이 같은 데이터에서 더 잘 일반화하므로, compute가 덜 병목이 되는 순간에는 덜 포화된 대형 모델로 돌아갈 수 있다.
   2. H100에서 GB 계열과 Rubin으로 넘어가 메모리 대역폭과 VRAM이 늘어나야 수조 파라미터 모델을 실제로 서빙하고 큰 RL 입력을 처리할 수 있다.

9.4. Chinchilla와 sparsity의 미해결 문제

1. 파라미터를 무한히 늘려도 필요한 데이터는 조금만 줄어든다

   1. 기본 Chinchilla scaling law에서 파라미터를 무한히 늘리면 동일 손실에 필요한 데이터가 10배보다 적게 감소한다.
   2. 현재는 Chinchilla 기준으로 모델을 과도하게 학습하는 쪽이므로, 데이터가 진짜 병목이 되면 더 큰 모델과 덜 훈련된 모델 쪽으로 이동할 수 있다.

2. 희소성(sparsity)의 최적점은 아직 모른다

   1. sparsity가 데이터 효율을 떨어뜨릴 수 있다는 주장은 같은 것을 여러 expert가 따로 배워야 한다는 점에 근거한다.
   2. 활성 파라미터와 총 파라미터의 차이, sparsity가 어느 수준에서 plateau하는지, 왜 성능이 좋아지는지에 대한 scaling theory가 부족하다.

3. 깨끗한 scaling law 뒤에는 복잡한 조건이 있다

   1. 직선 그래프를 얻으려면 모든 hyperparameter를 모델 크기에 맞게 조정하고 optimizer를 scale-friendly하게 parameterize해야 한다.
   2. Kaplan의 cosine·embedding parameter 누락 같은 버그도 각자 깔끔한 scaling law를 만들어 작은 모델의 결론을 왜곡할 수 있다.

10. RL이 생각보다 성공한 이유

RL은 한 에피소드에서 “정답을 맞혔는가”라는 작은 신호만 배우는 것처럼 보이지만, 좋은 중간 학습과 높은 신호 대 잡음비, 긴 지평선 일반화가 결합하면서 큰 행동 변화를 만든다.

10.1. 중간 학습이 RL의 대부분을 준비한다

1. 합성 추론 데이터가 RL의 warm start가 된다

   1. 실제 RL 성공의 상당 부분은 synthetic reasoning data와 RL 환경으로 pre-training과 유사한 mid-training을 수행한 데서 나온다.
   2. 이 단계가 최종 RL checkpoint의 약 80%까지 모델을 가져가므로, RL은 모든 행동을 처음부터 학습할 필요가 없다.

2. RL 신호는 다른 비트를 무시한다

   1. SFT는 정답이 끝에 있는 reasoning trace의 모든 토큰을 교사의 방식대로 맞추려 하므로, 정답 비트와 함께 특정 사고 경로에 관한 너무 많은 비트를 학습한다.
   2. RL은 정답 여부에 직접 관련된 한 비트만 강조해 신호 대 잡음비를 크게 올리며, 적은 update step으로도 효율이 높다.

10.2. 한 비트의 작은 업데이트가 큰 행동을 만든다

1. pass rate와 group size가 RL 신호를 결정한다

   1. 충분히 큰 group size로 샘플링해 여러 정답을 얻을 확률이 무시할 수 없는 수준이 되면, 해당 정책이 upweight된다.
   2. 중간 학습과 더 많은 pre-training은 RL 시작점의 pass@1을 대략 pre-training token 수의 로그에 따라 높인다.

2. 파라미터 변화량과 함수 변화량은 다르다

   1. 파라미터가 조금만 바뀌어도 input-output mapping인 function space에서는 매우 큰 변화가 일어날 수 있다.
   2. 단 한 비트가 가설 공간의 절반을 제거하는 것처럼, 작은 RL 업데이트가 거대한 hypothesis space를 좁혀 극적인 행동 변화로 나타날 수 있다.

10.3. 수평 일반화보다 지평선 일반화가 강하다

1. 도메인 간 추론 패턴 전이는 제한적이다

   1. 수학에 RL했다고 코딩을 자동으로 최고 수준으로 잘하지는 않으며, 코드 환경에 별도의 RL이 필요하다.
   2. 퍼즐과 수학 사이에는 어느 정도 전이가 있지만, 모든 분야로 reasoning pattern이 수평 전이된다는 기대는 충족되지 않았다.

2. 더 오래 사고하는 능력은 일반화된다

   1. 모델은 더 긴 토큰을 사용하면서도 과제를 계속 진전시키는 능력을 학습한다.
   2. EdgeBench는 모델이 더 오래 일할 수 있는 속도가 3개월마다 두 배가 된다는 결과를 보여 주며, 완전히 새로운 환경에서도 이 지평선 능력이 성공과 상관된다.

10.4. 양자화된 과제와 질적 도약

1. 부드러운 손실 곡선 안에는 개별 phase transition이 있다

   1. pre-training loss는 매끄럽게 내려가지만, 모델 내부에서는 induction head처럼 특정 기능이 갑자기 생기는 수많은 discrete task가 나타난다.
   2. 수만·수백만·수억 개의 작은 전환을 평균 내면 부드러운 곡선으로 보일 뿐이다.

2. RL에서도 과제별 전환이 누적된다

   1. 한 모델을 RL한 뒤 성공 궤적을 다음 mid-training 데이터에 넣고 다시 RL하는 느린 ad loop가 여러 task의 양자화를 차례로 해결한다.
   2. 특정 finance나 Excel 과제에서 pass rate가 0.5%에서 90%로 갑자기 뛰는 현상을 평균 내면, 전체 모델이 질적으로 좋아진 것처럼 보인다.

11. RL의 창의성, 엔트로피와 모델 문화

11.1. Move 37과 LLM의 창의성

1. AlphaGo의 창의성과 LLM의 탐색은 다르다

   1. AlphaGo의 Move 37은 인간 데이터로 초기화되지 않고 Monte Carlo Tree Search(MCTS)로 광범위하게 탐색해 인간이 생각하지 못한 수를 찾은 사례다.
   2. 일반 LLM policy gradient RL은 MCTS와 같은 탐색을 하지 않지만, RL이 본질적으로 창의성을 파괴한다고 단정할 수는 없다.

2. 이미 인간을 벗어난 탐색 행동이 나타난다

   1. OpenAI의 샌드박스 탈출 사건에서 모델이 동시에 여러 zero-day를 찾아낸 것은 일반화와 긴 탐색에서 나온 Move 37식 창의성으로 볼 수 있다.
   2. 어려운 검색 문제를 풀거나 수많은 제약을 만족하는 시를 쓰는 능력도 기능적 의미의 창의성에 포함되며, AI는 이 영역에서 매우 강해질 수 있다.

11.2. RL 엔트로피 붕괴와 judge hacking

1. 출력 다양성은 실제로 줄어든다

   1. RL 이후 모델은 특정 말투와 습관을 반복하고, 글쓰기에서 같은 주제와 캐릭터 이름을 재사용하는 경향이 생긴다.
   2. 인간 작가의 다양한 분포 대신 하나의 매우 좋은 스타일만 남는 현상은 모델의 창의적 다양성을 낮춘다.

2. 문제는 RL 자체보다 데이터와 판정자일 수 있다

   1. 다양한 환경이 부족한 상태에서 단순한 verifier를 최적화하면, 모델은 judge가 보상하는 특정 버릇을 학습해 entropy를 붕괴시킨다.
   2. Claude에서 증류한 open-weight 모델이 같은 문체와 습관을 갖는 monoculture도 학습 데이터와 judge의 편향 문제이지, RL 알고리즘 자체가 필연적으로 나쁘다는 증거는 아니다.

12. 미래 시점에 대한 빠른 예측

12.1. 한 달 동안 일하는 일반 원격 근로자

1. 접근 방식에 따라 1~3년의 차이가 난다

   1. 브라우저 사용만 강제하고 기업이 정보를 프로그램적으로 정리하면 약 2년, Slack 메시지·컴퓨터 조작 등 완전한 형태는 약 1년이라는 전망이 나왔다.
   2. 완전한 일반성은 약 3년으로 보는 견해도 있으며, 조직이 AI가 사용하기 쉬운 형태로 바뀌면 그 전에 80~90% 수준에 도달할 수 있다.

2. 긴 꼬리와 온라인 학습이 핵심 변수다

   1. 한 달짜리 업무에는 사람이 할 수 있는 온갖 miscellaneous task가 섞여 있어, 평균적인 사무 업무와 극단적인 긴 꼬리 사이에 시간 차이가 생긴다.
   2. 모델이 파일을 스스로 쓰고 context를 압축하며 온라인 학습하는 속도가 1년과 3년을 가르는 불확실성이다. 동료에게 강하게 독촉해야 하는 상황에서는 지나치게 착한 모델이 실패할 수 있다.

12.2. 10배 AI 연구 생산성

1. 10배는 이미 일부 영역에서 넘었을 수 있다

   1. 특정 수학 증명이나 코딩에서는 AI의 생산성이 이미 10배 이상일 수 있어 단일 배율을 제시하기 어렵다는 의견이 있다.
   2. 세금 자료를 모아 회계사에게 보내는 일처럼 컴퓨터를 클릭해 긴 목록을 처리하는 작업은 현재 Codex류도 이미 꽤 잘 수행한다.

2. AI 연구 전체의 10배는 대략 2년 전망이다

   1. AI 연구자가 5~10년치 생산성 향상을 얻는다는 대답이 있었지만, 일반적인 한 달짜리 사무직과 혼동한 수치라는 점이 드러났다.
   2. 2년 안에 모델이 실험 결과를 보고 다음 실험을 한두 번 연속으로 고르는 루프만 완성해도 10배 향상이며, 연구자의 다음 Bayesian decision과 정보 흡수 능력이 현재 crux다.

12.3. 컴퓨터로 할 수 있는 모든 인지 업무의 초지능

1. 컴퓨터 기반 업무 전체는 3~4년 전망이 있다

   1. 한 전망은 3~4년 안에 짧은 과제뿐 아니라 3년이 걸리는 과제에서도 모든 분야의 인간 전문가를 능가하는 AI가 등장하는 것이다.
   2. AI 연구·코딩·수학에는 많은 관심과 데이터가 집중됐지만, 3D·공간·물리·기계공학처럼 관심이 덜한 영역은 더 늦을 수 있다.

2. 새로운 domain onboarding과 긴 꼬리는 5~10년을 요구할 수 있다

   1. TSMC 엔지니어처럼 공개 데이터가 거의 없는 직무에서 현장 지식을 스스로 배우려면 더 긴 horizon learning과 onboarding 문제가 해결돼야 한다.
   2. 한 견해는 AI 연구 자동화 자체가 ASI-complete에 가깝고, 외부 메모리·긴 문맥만으로도 부족한 세계의 지식과 업무가 많아 5~10년을 예상한다. 다른 견해는 연구소가 집중하는 영역에는 약 5년이면 충분하지만 아무도 컴퓨터를 배정하지 않은 긴 꼬리는 더 오래 걸릴 수 있다고 본다.

주요 발언 모음

“Alignment is the final job.”

“The last job for humans is defining the objective.”

“You can never gain new bits from just thinking.”

“The reach exceeds the grasp.”

“AI 연구자는 실험을 실행하는 것보다 어떤 실험을 할지 결정하는 데 훨씬 약하다.”

“작은 RL 업데이트가 작은 행동 변화만 뜻하는 것은 아니다. 함수 공간에서는 극적인 변화가 일어날 수 있다.”

“RSI가 paralegal보다 쉬운 게 억울하다.”

핵심 데이터 & 수치

• 2036년: 10년 뒤에도 세계가 초지능으로 급변하지 않는 기술적 이유를 가정한 기준 시점이다.
• 0.1%: 인간 전체보다 조금만 나은 AI 연구자도 수십만~수백만 개 병렬 실행으로 급격한 RSI를 만들 수 있다는 직관의 크기다.
• 1980년대 이후: 체스 봇 Elo는 선형적으로 상승하다 인간 전문가 수준을 넘는 지점에서 큰 전환을 보였다.
• 약 80%: synthetic reasoning data와 mid-training이 최종 RL checkpoint까지 가져가는 비중으로 제시됐다.
• 3개월마다 2배: EdgeBench가 보여 준 모델의 장기 작업 지속 능력 증가 속도다.
• 0.5%→90%: 개별 금융·Excel 과제에서 RL이 만드는 급격한 pass rate 전환의 예시다.
• 약 5시간: Cursor 계열에서 개선된 온라인 모델을 검증한 뒤 배포하는 주기의 예시다.
• 약 5년, 10~30개 프로젝트: 인간 박사과정 학생이 연구 취향을 형성하는 시간과 프로젝트 수의 대략적 비교다.
• 약 9배 대 약 3배: 작은 규모에서 최신 데이터가 만든 compute efficiency와 아키텍처가 만든 compute efficiency의 비교 결과다.
• 3^7>2,000: 2019년 이후 연 3배 개선 추정치와 실제 관측 격차를 설명하기 위해 제기된 누적 수치다.
• 100 million parameters: Minecraft를 깨는 모델이 이미 “너무 쉬운” 환경으로 농담될 정도의 능력 상승을 나타내는 사례다.
• 1조 토큰: 인간의 경험을 모두 문맥에 넣는 가정적 context window다.
• 1~3년: 일주일·한 달짜리 일반 원격 근로자 형태에 대한 전망 범위다.
• 약 2년: 한두 번의 실험 피드백 루프를 포함한 AI 연구 10배 생산성 전망이다.
• 3~4년 또는 5~10년: 컴퓨터 기반 모든 인지 업무를 인간보다 잘하는 AI의 전망 범위다.

결론 및 시사점

1. 현재의 Transformer+RL 스케일링은 당장 인간 R&D를 압도할 가능성이 있지만, 새로운 목적함수와 패러다임을 발견하는 열린 과학은 명시적 벤치마크 최적화와 다르다.
2. 인간의 마지막 역할은 실험 코드를 쓰는 일이 아니라 어떤 질문을 던지고 어떤 목적을 정의할지 결정하는 일이며, 이 역할은 alignment와 직접 연결된다.
3. RL의 작은 비트 신호는 mid-training의 좋은 출발점, 높은 신호 대 잡음비, 함수 공간의 비선형성 덕분에 거대한 행동 변화를 만들 수 있다.
4. RL은 모든 분야의 reasoning을 수평 전이시키기보다, 더 오래 사고하고 한 과제를 끝까지 밀어붙이는 지평선 일반화를 먼저 보여 주고 있다.
5. 현실 배포 경험은 거시적으로 이미 다음 세대 모델에 들어가지만, 한 회사의 비정상적 관계·암묵지·고객 신호를 동일한 base model에 안전하게 누적하는 미시적 지속 학습은 해결되지 않았다.
6. sim-to-real은 현재의 낮은 샘플 효율 때문에 당분간 필수이며, off-policy trace와 모듈·카트리지·LoRA가 직접적인 hive mind보다 먼저 확산될 가능성이 높다.
7. 데이터 품질은 사전 학습 진전의 큰 부분을 설명하지만, 모델의 능력 경계를 넘는 새 신호는 원자료에 없으므로 인간의 목표 설계와 환경 제작이 점점 중요해진다.
8. 10배 AI 연구 생산성이 도달하면 AI 진전의 병목은 연구자가 작은 실험을 실행하는 능력에서 다음 Bayesian 실험을 고르는 판단, compute, 하드웨어와 환경 제작으로 이동한다.
9. 2036년에도 초지능이 없다면 가장 설득력 있는 기술적 설명은 일반화·지속 학습·장기 판단·새 목적 발견 중 하나가 점근적 병목으로 남는 것이며, 규제는 기술 외적이지만 더 현실적인 대안으로 언급된다.

핵심 요약 (20줄)

2036년에도 초지능이 세계를 바꾸지 않았다면 sim-to-real 일반화와 지속 학습이 기술적 병목으로 남았을 가능성이 크다.

새 모델이 AGI라는 기대를 일으켰다가 한 달 뒤 다시 멍청하게 느껴지는 주기가 여러 번 반복될 수 있다.

인간보다 0.1% 나은 AI 연구자를 수십만 개 병렬 실행하면 재귀적 자기개선이 급격한 takeoff로 이어질 수 있다.

현재의 Transformer와 RL은 무어의 법칙처럼 여러 불연속적 혁신 위에서만 계속 직선적인 개선을 보일 수 있다.

현재 패러다임에 추가되는 혁신은 AI가 찾을 수 있지만 gradient descent와 neural network를 버릴 만큼 먼 전환은 찾기 어렵다.

지정된 손실과 검증 가능한 환경의 최적화는 열린 과학에서 새로운 목적을 정하는 일보다 훨씬 자동화하기 쉽다.

다음 토큰 예측은 중요한 정보가 손실에 묻힐 것이라는 초기 우려에도 불구하고 뜻밖의 일반화를 달성했다.

인간의 마지막 직무는 코드를 작성하는 일이 아니라 올바른 실험과 모델의 목적을 정의하는 일일 가능성이 높다.

정렬은 원하는 행동을 명세하는 일과 그 목적을 최적화하는 일로 나뉘며, 앞의 문제는 오래 인간에게 남는다.

현실적인 프롬프트 분포와 다중 턴 상호작용 흔적은 모델 행동을 증류하는 데 결정적인 정보가 된다.

중국의 모델 라우터 서비스가 모은 실제 사용자 데이터는 frontier 모델의 행동을 재현할 강력한 증류 재료가 될 수 있다.

증류 모델은 어려운 벤치마크만 맞추고 현실적 업무에서 실패할 수 있으므로 환경의 난도와 현실성을 함께 높여야 한다.

AI 연구 자동화 모델은 인간 피드백과 다단계 연구 환경을 결합하고 매 세대의 반복적인 결함을 패치하며 만들어질 가능성이 크다.

코딩에서 금융과 Excel, PowerPoint로 확장되는 환경 사슬은 일주일 또는 한 달짜리 원격 근로자라는 연구소의 베팅을 반영한다.

실제 배포에서 얻는 hive mind식 학습은 경제적 경쟁 우위 때문에 공통 base model보다 모듈과 카트리지로 먼저 나타날 수 있다.

소량의 반복 가중치 업데이트는 catastrophic forgetting과 일반 능력 저하를 일으켜 새 base model 재훈련을 필요로 한다.

인간은 적은 연구 프로젝트만으로 taste와 장기 판단을 형성하지만 모델이 같은 효율로 긴 경험을 학습하는지는 아직 불확실하다.

데이터 개선은 작은 규모 실험에서 약 9배의 compute efficiency를 설명했고 아키텍처 개선은 약 3배를 설명했다.

RL은 reasoning 패턴을 모든 분야로 전이하기보다 더 긴 토큰 지평선에서 과제를 계속 수행하는 능력을 먼저 일반화했다.

모든 컴퓨터 기반 인지 업무를 인간보다 잘하는 AI의 전망은 3~4년부터 5~10년까지 갈리며 긴 꼬리와 새 domain 학습이 핵심 변수다.