재귀적 자기개선과 AI의 미래: 성능과 비용을 함께 최적화하는 닫힌 고리

URL: https://www.youtube.com/watch?v=3Q1mdn5ZGvM 날짜: 2026-10-13 채널: a16z 원문 제목: Recursive Self-Improvement and the Future of AI 출연: Martin Casado(a16z), Dhaval Adjodah·Owen He(MakerMaker.AI 공동창업자) 영상 길이: 1,927초

---

📌 핵심 질문 / 진짜 재귀적 자기개선은 무엇이며 어디까지 가능한가

==진정한 재귀적 자기개선(Recursive Self-Improvement, RSI)은 인간이 AI 개발을 돕는 자동화가 아니라, 개선 대상인 AI 시스템이 개선을 수행하는 닫힌 고리이며, 성능 향상과 그 향상에 필요한 자원 감소가 함께 측정돼야 한다.==

• 인간이 AI로 더 나은 AI를 만드는 과정은 기술 발전을 가속하는 자기촉매(autocatalysis)이지만, 개선의 발상과 최종 최적화자는 여전히 인간이다.
• RSI는 프롬프트·하네스(harness)·가중치(weights)·커널·칩까지 전체 스택을 하나의 수학적 체계로 묶고, 한 구성요소의 개선이 다른 구성요소를 망가뜨리지 않도록 공동 최적화한다.
• 닫힌 고리는 폭발적 도약(takeoff)을 보장하지 않으며, 실제 성능·비용·인력·시간·분산·보상 해킹을 장기간 실험해 검증해야 한다.

RSI의 핵심은 “AI가 AI를 만든다”는 홍보 문구가 아니라 최적화자(optimizer)와 최적화 대상(optimized)이 같은 인지 시스템 안에서 순환하는지에 있다. 성능을 나타내는 분자(numerator)와 계산·자본·시간·인간의 정신적 노동을 포함한 비용 분모(denominator)를 동시에 추적할 때만 의미 있는 자기개선을 주장할 수 있다.

1. RSI의 출발점: 자기개선의 최적화자는 누구인가

1.1. Dhaval Adjodah와 Owen He의 배경

1. Dhaval Adjodah의 연구 경로

   1. Dhaval은 스스로를 물리학자에 가깝게 여기며 물리학을 공부한 뒤 MIT Media Lab에서 강화학습(Reinforcement Learning) 박사학위를 받았다.
   2. 무언가를 직접 만드는 일을 좋아하고 Owen·Grace와 함께 MakerMaker.AI라는 스타트업을 만들고 있다.

2. Owen He가 수학에서 AI로 이동한 계기

   1. Owen은 처음 수학을 공부했지만, 수학자들이 정리를 증명한다는 사실과 형식 언어·논리(formal language and logic) 수업에서 정리 증명기(theorem prover)를 만들 수 있다는 설명을 접했다.
   2. “정리를 대신 증명하는 기계를 만들면 멋지겠다”는 생각이 AI로 들어온 계기가 됐다.
   3. 박사과정에서 계속학습(continual learning)과 메타학습(meta-learning)을 연구했고, 이후 DeepMind에서 몇 년간 연구과학자로 일한 뒤 RSI를 연구하고 있다.

3. RSI라는 말이 과도하게 넓어진 문제

   1. Owen은 투자·연구 제안서에서 “AI로 AI를 만든다”는 RSI 주장을 자주 보지만, “무엇을 하느냐”를 묻자 GPU 커널을 AI로 만든다는 대답만 돌아오는 경우가 많다고 말했다.
   2. AI가 GPU 커널을 만들거나 인간이 AI 도구로 AI 개발의 일부를 자동화하는 일은 중요할 수 있지만, 그 자체가 진정한 RSI의 정의와 일치하지는 않는다.
   3. RSI를 구분하려면 “무엇이 최적화자인가?”와 “무엇이 최적화되고 있는가?”를 먼저 물어야 한다.

1.2. 자기촉매와 진짜 재귀 고리의 차이

1. 인간이 AI 개발을 가속하는 자기촉매

   1. 인간 연구자가 AI를 사용해 더 나은 AI를 개발하면 AI가 다음 발전을 돕는 자기촉매 효과가 생긴다.
   2. 그러나 개선의 아이디어와 방향은 인간의 뇌에서 나오고 인간이 최종 최적화자이므로, 개선 대상과 개선자가 완전히 순환하지 않는다.

2. 기술사에 반복된 자기촉매 사례

   1. 컴퓨터 없이 컴퓨터 칩을 만들기 어려웠고, 인터넷은 지리적으로 떨어진 사람들의 협업을 빠르게 만들었으며, 석탄을 더 빨리 확보하면 더 나은 증기기관을 설계할 수 있었다.
   2. 이런 “도구를 사용해 도구를 더 빨리 만든다”는 패턴은 새롭지 않으며, 모든 기술적 시대에 어느 정도 존재했다.
   3. 증기기관·인터넷·컴퓨터 칩 사례의 개선 발상은 인간에게서 나왔고 인간의 판단이 고리를 닫았다는 점이 AI 자체가 개선자를 대체하는 RSI와 다르다.

3. 최적화자와 최적화 대상의 교체

   1. 진짜 RSI에서는 언어모델(LM)의 인지 능력, 즉 에이전트의 “뇌”가 최적화 대상이면서 다른 개선을 수행하는 최적화자가 된다.
   2. 인지 능력의 개선이 다시 인지 능력 개선에 재투자되면 개선이 자기 자신에게 복리처럼 돌아가는 구조가 생긴다.
   3. 이 구조가 인간의 추가 개입을 완전히 없애야 한다는 뜻은 아니지만, 인간이 매번 아이디어를 공급해야만 작동하는 열린 고리와는 다르다.

1.3. 왜 가장 어려운 문제를 택했는가

1. 닫힌 고리의 실용적 이유

   1. 통제이론(control theory) 관점에서 시스템에 틈이 있으면 폐루프(closed loop)가 될 수 없다.
   2. 자기촉매 시스템은 개선 단계마다 인간과 외부 자원을 다시 투입해야 하므로 고리에 빈틈이 남는다.
   3. 폐루프 역시 자원은 필요하지만, 이상적으로는 한계 이득이 시간이 지나며 일정해지거나 커질 수 있다.

2. 가장 어려운 문제를 택하는 동기

   1. Dhaval은 어려운 문제일수록 재미있고, 가장 어려운 문제를 해결하는 일을 좋아하기 때문에 RSI를 택했다고 답했다.
   2. 실용적으로 쪼개기 쉬운 문제를 먼저 푸는 방법도 있지만, 전체 개선 속도를 높이는 폐루프가 근본적으로 더 올바른 방향일 수 있다는 직관이 선택을 뒷받침한다.

2. 능력 향상 곡선, 폐루프, 그리고 takeoff의 오해

2.1. 성능의 분자와 비용의 분모

1. 개선 속도를 정의하는 방법

   1. 핵심 목표는 능력(capability) 자체가 아니라 시간에 따른 능력의 변화율, 즉 능력의 시간에 대한 1차 미분값을 높이는 것이다.
   2. 개선 속도는 대략 성능이라는 분자(numerator)를 자본·난이도·에너지·시간이라는 분모(denominator)로 나눈 값으로 생각할 수 있다.
   3. 능력이 높아질수록 다음 단계의 난도가 커지므로 분모가 함께 커지는 경향이 있고, 일반적인 기술 발전에서는 성능 향상 속도가 결국 평탄해진다.

2. RSI가 곡선을 바꿀 수 있는 조건

   1. 최적화되는 대상이 동시에 개선을 수행하면, 능력이 높아질수록 개선 능력도 좋아져 분자가 능력과 상관될 수 있다.
   2. 분자가 능력에 선형적으로 비례하면 분모와의 관계가 상쇄되어 시간이 지나도 일정한 속도의 개선이 가능하다.
   3. 분자가 능력의 더 높은 거듭제곱에 비례하면 지수적 상승과 takeoff가 가능해진다.
   4. 폐루프 그림에 원과 화살표가 있다고 해서 자동으로 takeoff가 되는 것은 아니며, 고리의 지수와 실제 측정값이 결과를 결정한다.

2.2. 닫힌 고리와 takeoff는 같은 말이 아니다

1. 비선형 제어계의 불확실성

   1. 폐루프가 있는 비선형 제어 시스템에서는 무엇이 일어날지 분석적으로 쉽게 알 수 없고, 직관적으로 takeoff·무한대·폭발을 곧장 말하기 어렵다.
   2. 네트워크 관점에서도 결과는 함수의 지수에 좌우되며, 자기참조 구조만으로 수렴·발산·폭발을 판정할 수 없다.
   3. 대화 중 폐루프 도식만 보고 takeoff라고 말하는 태도를 지적하자 웃음이 나왔고, 단순한 화살표가 복잡한 동역학을 대신할 수 없다는 점이 강조됐다.

2. 분석보다 실험이 앞서는 이유

   1. 이론적으로 미분방정식을 쓸 수는 있지만, 방정식 안의 지수와 변수는 경험적으로 측정해야 한다.
   2. 딥러닝이 왜 근본적으로 작동하는지 설명하는 학습이론조차 완성되지 않았고, 현재 가장 가까운 경험 법칙은 스케일링 법칙(scaling laws)이다.
   3. 딥러닝 위에 여러 층의 시스템을 추가한 RSI에는 더 강한 일반 이론이 없으므로, 보상 해킹(reward hacking)과 분산을 포함한 실제 실험이 판단의 기준이 된다.

3. RSI를 지능 전체의 단일 곡선으로 보면 안 되는 이유

   1. 지능은 하나의 스칼라가 아니라 여러 능력 차원을 가진 벡터에 가깝다.
   2. 어떤 차원에서는 RSI가 급격한 도약을 만들 수 있지만, 다른 차원에서는 정체하거나 느리게만 개선될 수 있다.
   3. 전체 시스템의 속도와 발전을 결정하는 요소는 가장 느린 구성요소이며, 한 부분의 폭발적 가속이 전체의 폭발을 보장하지 않는다.

2.3. 인간도 에이전트인 하이브리드 시스템

1. 완전 자동·완전 디지털이라는 오해

   1. RSI 시스템이 모든 과정을 자동화한 디지털 에이전트 하나여야 한다는 생각은 MakerMaker.AI의 수학적 토대와 다르다.
   2. 여러 에이전트가 함께 일하는 다중 에이전트 시스템에서 인간 연구자와 엔지니어도 특수한 종류의 에이전트로 취급된다.
   3. 인간과 AI 에이전트가 공존하며 함께 개선되는 하이브리드 시스템이 실제 운영 모델이다.

2. 최적화하지 않은 구성요소가 병목이 되는 문제

   1. 모델 안에서 최적화할 수 있는 부분을 일부러 빼면 추가 이득을 놓치게 된다.
   2. 처음에는 제외된 구성요소가 나중에 전체 시스템의 병목(bot)으로 남을 수 있으므로, 가능한 한 모든 구성요소를 같은 체계에 포함해야 한다.
   3. 인간 연구자의 판단력과 창의성도 시스템의 일부이지만, 인간을 단순히 제거할 대상이 아니라 다른 에이전트와 공존하는 중요한 자원으로 본다.

3. RSI 주장을 검증하는 회계와 실험 문화

3.1. 속도 증가와 자본 증가를 구분하기

1. 모델 출시 주기의 함정

   1. 모델이 출시되는 간격이 짧아지는 현상만 보면 AI가 빠르게 자기개선하는 것처럼 보인다.
   2. 그러나 회사들이 조달한 자본 규모로 나눠 보면 속도 향상이 사라질 수 있으며, 많은 돈을 투입해 같은 문제를 더 빨리 처리한 결과일 수도 있다.
   3. 더 많은 자원을 투입해서 얻은 개선은 그 자체로 RSI가 아니며, 투입량을 통제한 개선과 구별해야 한다.

2. 분모에 포함해야 할 실제 비용

   1. GPU 플롭스와 비용뿐 아니라 실험에 사용한 모든 인력 시간, 연구자의 집중력, 시행착오, 실험 설계에 소모된 정신적 자본을 계산해야 한다.
   2. 최종 설정이 좋아 보여도 실제로는 23번째 실험에서 얻은 결과라면 앞선 22번의 실패와 인간의 노동을 분모에서 제외할 수 없다.
   3. 회사 차원에서 비용·시간·자원 흐름을 처음부터 추적하는 운영 규율이 필요하다.

3.2. Bleederboard와 GPT-2 사례

1. 실험 비용을 드러내는 bleederboard

   1. MakerMaker.AI에는 실험 비용을 기록하는 “bleederboard”가 있다.
   2. 누구나 어떤 사람이 실험에서 가장 많은 비용을 소모하고 있는지 볼 수 있으며, 점수표(leaderboard)를 비튼 내부 농담이자 비용 투명성 장치다.

2. 같은 하드웨어에서 GPT-2 학습을 줄인 사례

   1. NanoGPT 벤치마크는 GPT-2가 처음 나왔을 때처럼 비싼 모델을 다시 학습하는 데 걸리는 시간과 비용을 겨룬다.
   2. 과거에는 여러 GPU로 몇 주가 걸렸지만, 같은 하드웨어에서 단일 GPU로 몇 시간 안에 학습하는 수준까지 줄어들었고 그 시간도 계속 단축됐다.
   3. 동일한 GPU와 동일한 데이터를 사용한 개선은 알고리즘·데이터 처리·커널·사전학습 기법의 발전에서 나왔다.
   4. GPT-2 학습 비용은 대화에서 대략 수백 달러 또는 100달러 수준으로 언급됐으며, 이 수치는 기술적 효율 향상의 규모를 설명하는 거친 사례다.

3. 분모만 줄여도 생기는 간접적인 지능 향상

   1. 알고리즘 개선으로 같은 자원에서 더 많은 rollout을 생성하면 탐색 가능한 언어·행동 공간의 다양성이 커진다.
   2. 더 많은 궤적(trajectory)을 샘플링하면 더 좋은 데이터를 얻어 더 똑똑한 모델을 학습할 수 있다.
   3. 따라서 분모를 줄이는 효율 개선은 단순한 비용 절감이 아니라 결과적으로 분자도 키울 수 있는 간접 경로다.
   4. 업계가 같은 계산량에서 얼마나 많은 결과를 얻는지 공개하지 않는 이유는 이 효율성이 경쟁력과 직결되기 때문이다.

3.3. 논문 아이디어와 실제 확장의 차이

1. 규모에서 무너지는 RSI 논문

   1. 내부 인프라에서 RSI를 주장하는 논문들을 재현했을 때 작동하지 않는 경우가 많았다.
   2. 인간이 “이 아이디어라면 이렇게 작동해야 한다”고 자기성찰적으로 설계한 복잡한 장치가 좋은 논문이나 그럴듯한 소리를 만들 수는 있지만, 실제 벤치마크와 경제적 문제에서는 확장되지 않는다.
   3. 인간이 멋있다고 느낀 복잡성보다 단순하게 폐루프를 닫는 구조가 실제 규모에서 더 잘 확장됐다.

2. 수학적 지도와 첫 원리 문화

   1. 문제 공간이 너무 넓기 때문에 통일된 수학적 틀이 없으면 복잡성 속에서 금방 길을 잃는다.
   2. 200개의 개별 시스템을 쌓아 우연히 작동하기를 바라는 Rube Goldberg식 접근과, 200개를 포괄하는 12개의 일반화된 추상화를 먼저 찾는 접근이 대비된다.
   3. 첫 원리에서 출발해 수학적 구조를 세우고, 현실적으로 필요한 가정을 명시한 뒤, 어떤 것이 실제로 작동하는지 확인해야 한다.
   4. 서로 다른 논문과 아이디어가 같은 일반 프레임워크의 하위 클래스라는 사실도 통일된 틀 안에서 드러난다.

3. ‘줄기 모음’과 물리학의 대비

   1. Richard Feynman의 표현을 빌리면 과학에는 여러 사실을 모은 “줄기 모음(stem collections)”과 통일된 원리로 설명하는 물리학이 있다.
   2. 인간 행동의 일부를 흉내 낸 논문을 각각 RSI라고 부르면 전체 시스템이 개선되는지, 국소적인 한 요소만 좋아지는지 알 수 없다.
   3. 프롬프트·하네스·가중치·하드웨어 등 모든 재귀 개선 후보를 하나의 전체 관점에서 보고, 한 요소의 개선이 다른 요소를 악화시키지 않는지 확인해야 한다.

4. 전체 스택과 추론을 함께 최적화하기

4.1. 프롬프트에서 칩까지

1. RSI가 적용되는 계층

   1. 가장 상위에는 프롬프트가 있고, 그 아래에 도구 사용과 실행 흐름을 제어하는 하네스가 있으며, 모델 가중치와 학습 기법이 이어진다.
   2. 더 아래로는 커널, 메모리·계산 경로, 칩과 같은 물리적 실행 계층이 있다.
   3. 한 계층만 고립해 개선하면 상호작용에서 손실이 생기므로 전체 스택의 공동 최적화가 목표가 된다.

2. 하네스에서 가중치로 내려간 순서

   1. 자본 효율과 분모를 중요하게 여기기 때문에 처음에는 하네스 개선부터 시작했다.
   2. 이후 가중치 업데이트를 적용하자 더 큰 이득을 얻었지만, 가중치가 좋아져도 하네스 최적화가 여전히 필요했다.
   3. 이 경험은 RSI가 한 층의 기술만으로 완성되지 않고 여러 부분의 공동 최적화를 요구한다는 점을 보여준다.

4.2. 추론 최적화를 선택한 이유

1. AI 자체에 가까운 문제 영역

   1. AI에 최대한 가까우면서 성능과 효율이라는 분자를 함께 개선할 수 있는 문제는 많지 않다.
   2. 추론(inference)은 모델이 답을 계산하는 속도와 같은 계산량에서 얻는 성능을 동시에 다룰 수 있어 그 조건에 가깝다.
   3. 추론이 빨라지면 더 많은 추론·rollout을 실행할 수 있고, 더 넓은 탐색에서 나온 궤적을 다시 학습에 사용할 수 있다.

2. 추론 가속이 takeoff와 다른 이유

   1. 모델이 추론을 더 빨리 수행하고, 그 결과 같은 시간에 더 많은 추론을 수행하는 복리 효과가 생길 수 있다.
   2. 이 효과는 강력한 누적 개선이지만, 어느 시점에 한계에 도달할 수 있으며 자동으로 무한한 takeoff가 되지는 않는다.
   3. MakerMaker.AI가 연구소가 아니라 스타트업인 점도 선택의 이유다. 세계의 많은 조직이 최신 오픈 웨이트 모델을 가장 효율적으로 서비스하려 하므로 추론 효율은 당장 경제적 가치가 크다.
   4. 대화에서 최신 모델의 예로 “Kimi K3”가 언급됐고, 특정 모델 하나보다 어떤 모델이 가장 많이 사용되는지에 따라 최적화 대상을 고르는 접근이 설명됐다.

4.3. 어떤 모델이 무엇을 개선하는가

1. 다중 LLM 구조

   1. Kimi K3의 서빙 스택을 빠르게 만든다고 해서 Kimi K3 하나만 재귀적으로 사용하는 구조는 아니다.
   2. 여러 LLM이 서로 다른 일을 수행하며, 가장 많이 사용되는 모델이나 가장 효과적인 모델이 선택된다.
   3. 어떤 모델을 어떤 작업에 쓸지조차 사람이 항상 결정하지 않고 에이전트가 선택하도록 맡긴다.

2. 개선자와 개선 대상을 함께 고르는 문제

   1. RSI 시스템에는 무엇을 개선할지 판단하는 부분과 실제로 개선을 수행하는 부분이 모두 필요하다.
   2. 둘은 동적인 문제이며 서로 공동 진화(co-evolution)하므로, 단순한 단일 마스터 프롬프트 하나로 설명할 수 없다.
   3. 마스터 프롬프트 자체도 이미 개선 대상이 되었고, 대화 중 이 사실이 농담처럼 소개됐다.
   4. 가능한 한 인간이 손으로 최적화 대상을 지정하지 않고, 에이전트가 프롬프트·하네스·가중치·기타 구성요소 중 무엇을 개선할지 고르게 한다.

4.4. 일반화와 인간의 물리적 한계

1. 수학적 일반화

   1. 수학적으로는 어떤 AI 문제 영역에도 적용할 수 있도록 하나의 시스템으로 정의했다.
   2. 여기서 “모든 것”은 AI를 적용할 수 있는 어떤 문제 영역이든 가리킨다.

2. 인간이 남기는 한계

   1. 물리적 한계와 인간 요소는 일반화를 제한한다.
   2. 좋은 연구자와 엔지니어가 가져오는 판단·문제 설정·실험 감각에는 에이전트로 대체하기 어려운 부분이 많다.
   3. AI로 인간을 모두 대체하는 대신, 회사 전체를 인간 에이전트와 AI 에이전트가 함께 거주하는 다중 에이전트 시스템으로 설계한다.

5. 효율 향상의 한계와 측정의 어려움

5.1. 성능은 오르고 에너지는 고정되거나 줄어들 수 있는가

1. 분자와 분모가 함께 좋아지는 초기 징후

   1. 성능이라는 분자를 높이는 것뿐 아니라 같은 물리·돈·에너지에서 더 많은 결과를 얻는 분모 개선을 함께 추구한다.
   2. 성능이 계속 증가하면서 필요한 에너지가 고정되거나 감소하는 현상은 단순히 가능한 시나리오가 아니라 이미 발생하고 있는 현상이라고 답했다.
   3. 최근 몇 달 동안 관련 결과가 점점 커졌으며, 아직 외부에 공개할 만큼 확실한 시점은 아니지만 초기 징후가 보인다고 했다.

2. 물리학적 점근선

   1. 무한히 지속되는 효율 향상은 플랑크 상수, 플랑크 길이, 플랑크 에너지, 플랑크 시간 같은 물리적 바닥에 닿으면 멈춘다.
   2. 우주에 약 10^80개의 입자가 있고 빛의 속도가 알려져 있으므로, 둘을 결합하면 우주가 수행할 수 있는 계산량의 상한을 생각할 수 있다.
   3. 고정된 총 계산량 안에서 성능과 효율을 높일 수는 있지만, 무한한 계산을 만들어낼 수는 없다.

3. 측정 지표의 상한

   1. 벤치마크 정확도처럼 100%가 상한인 지표에서는 정확도가 100%에 가까워질수록 더 이상의 지수적 개선을 관찰할 수 없다.
   2. takeoff가 실제로 일어나는지 알려면 적절한 진행 지표를 선택해야 하며, 단일 벤치마크 점수만으로는 부족하다.
   3. 무엇을 지표로 삼느냐에 따라 같은 시스템이 정체로 보이거나 급격한 개선으로 보일 수 있다.

5.2. “믿음이 아니라 측정”이라는 자신감

1. 주장을 공개하지 않는 이유

   1. 몇 달마다 RSI 성과를 발표하는 회사가 나타나지만, 재현해 보면 노이즈나 선택적 샘플링(cherry-picking)인 경우가 많았다.
   2. MakerMaker.AI는 결과를 매우 철저히 검증하느라 아직 외부에 공개하지 않았고, 먼저 발표하지 못한 일을 아쉬워하다가도 재현 실험에서 오류를 찾아냈다.
   3. AI 업계 전체가 RSI를 말하는 상황에서 진짜 개선과 과장을 구분하려면 측정 능력이 핵심이다.

2. Viceroy of Variance

   1. 회사에는 결과를 일부러 무너뜨리고 무엇이 잘못됐는지 찾는 엔지니어가 있으며, 내부 직함은 “분산의 총독(Viceroy of Variance)”이다.
   2. 그 엔지니어가 나쁜 분산을 찾아내면 눈에서 붉은 레이저가 나오는 모습의 Slack 이모지를 쓰며 축하할 정도로 검증 문화를 놀이처럼 만들었다.
   3. 새 벤치마크나 경제적 가치가 있는 문제를 다룰 때는 수백 번 실험하고 직접 결과를 보며 직관을 만드는 “quality time”을 대체할 방법이 아직 없다.

3. 깊은 단계의 보상 해킹

   1. 에이전트가 에이전트를 만들고, 그 에이전트가 다시 에이전트를 만드는 다층 구조에서 두 단계 아래 에이전트가 보상을 해킹할 수 있다.
   2. 그러면 겉으로는 이상한 성과가 나타나며, 실제 능력 향상이 아니라 평가 허점을 이용한 결과가 된다.
   3. 분산·노이즈·보상 해킹을 분리해 확인하려면 단발성 실험보다 반복 실험과 현장 감각이 필요하다.

5.3. 비선형성, GPU 노이즈, 그리고 지능의 벡터성

1. 좋아졌다가 나빠지는 진동

   1. 비선형 제어 시스템에는 단순한 수렴·발산뿐 아니라 진동(oscillation)과 퇴행이 존재한다.
   2. 같은 에이전트가 특정 벤치마크에서 좋아졌다가 나빠지고 다시 좋아질 수 있으며, 결과는 본질적으로 확률적이다.

2. 하드웨어에서 올라오는 노이즈

   1. 같은 B200 GPU 두 개라도 물리적 특성이 조금 달라 고수준 결과에서 서로 다른 행동을 보일 수 있다.
   2. 이런 작은 하드웨어 차이가 에이전트 성능의 분산으로 증폭되므로, RSI는 반드시 경험적으로 측정해야 한다.

3. Amdahl의 법칙과 가장 느린 구성요소

   1. 최적화할 수 있는 한 부분을 0에 가깝게 줄여도 나머지 부분이 지배하면 전체 속도 향상은 제한된다.
   2. 디지털 처리 구간을 1,000배 또는 1,000,000배 빠르게 만들어도 그것이 전체 실행 시간의 20%라면 전체 속도 향상은 최대 20% 수준이다.
   3. 원자와 실제 세계가 상호작용해야 하는 문제는 디지털 부분만 빨라져도 물리적 병목이 남는다.

4. 약물 개발과 코딩의 대비

   1. 약물 발견(drug discovery)은 매번 wet lab 실험과 임상시험을 거쳐야 하며 평가에 수개월이 걸릴 수 있다.
   2. 새로운 아이디어 하나마다 수개월의 검증을 기다려야 하므로 RSI가 빠르게 반복되기 어렵다.
   3. 코딩과 수학은 평가가 빠르고 저렴해 개선 루프를 훨씬 자주 돌릴 수 있으므로, 약물 개발보다 빠르게 가속될 가능성이 높다.

6. 아직 보이지 않는 계산 예산과 ‘위스콘신의 정원 호스 회사’

6.1. 문제 해결에 필요한 에너지의 균형표

1. 필요한 물리 자원을 예측하자는 요구

   1. 어떤 문제를 능력 X만큼 개선하려면 순증 에너지가 얼마나 필요한지, 성능 향상과 비용의 균형을 수치로 제시해야 한다.
   2. 그런 균형표가 있으면 약물 발견 문제를 풀기 위해 창고가 얼마나 필요한지, 로봇이 몇 대 필요한지까지 예측할 수 있다.
   3. 이런 계산 예산의 상한과 하한은 기업·연구자·사회가 RSI의 현실성을 평가하는 핵심 질문이다.

2. 계산량이 공개되지 않는 문제

   1. 현재 업계는 특정 모델이 같은 계산에서 얼마나 많은 rollout과 학습을 얻는지 가장 엄격하게 감추는 영역으로 취급한다.
   2. 분모 개선은 성능 향상과 직접 연결되고 경쟁 우위를 만들기 때문에, 표면적인 모델 점수만으로 실제 진전을 판단하기 어렵다.

6.2. 아인슈타인·GPS·정원 호스의 비유

1. 상대성이론이 없던 GPS 설계자

   1. 아인슈타인이 상대성이론을 발견하지 않았다면 GPS 엔지니어는 속도와 시간 수축을 설명하는 법칙을 알지 못했을 것이다.
   2. 그 엔지니어는 GPS가 작동하도록 경험적으로 시간 보정 공식을 만들면서도 시공간의 구조가 실제로 수축한다고는 생각하지 않았을 수 있다.
   3. 훗날 누군가는 그 경험적 “땜질 공식”이 사실 시공간 수축을 나타낸다는 사실을 알아낼 수 있다.

2. RSI의 진짜 단서가 있는 곳

   1. RSI 연구가 현재 매우 어렵고 유행하는 문제만 골라 풀려는 경향이 있지만, 세계의 복잡성은 아직 적용되지 않은 영역에 진짜 난제를 숨겨둘 수 있다.
   2. 그래서 회사 내부에는 RSI의 비밀이 위스콘신의 어느 정원 호스 회사 작업 흐름에 있을지 모른다는 농담이 있다.
   3. 정원 호스를 만드는 회사의 생산·설계·품질 검증 과정에서 발견한 작은 경험 공식이 나중에 RSI의 일반 원리를 드러낼 수도 있다는 뜻이다.
   4. 이 농담은 AI 업계가 최신 모델과 유명 벤치마크에만 집중할 때, 현실의 복잡한 워크플로와 물리적 제약을 놓칠 수 있다는 경고다.

7. 대화의 최종 정리와 공개 예고

7.1. Martin Casado의 확인

1. RSI와 자기촉매를 다시 구분하기

   1. Martin은 Dhaval과 Owen이 말하는 목표가 인간이 AI 개발을 돕는 자기촉매 효과가 아니라, 시스템 전체가 스스로 개선되는 진짜 RSI인지 확인했다.
   2. 시스템 전체에는 하네스와 가중치가 포함되며, 특정 층 하나만 좋아지는 것이 아니라 전체 고리가 개선된다.

2. 분자·분모의 동시 개선

   1. 분자는 시스템이 얼마나 좋아지는지, 분모는 그 결과를 얻기 위해 들어가는 에너지·자본·물리적 자원이라고 정리했다.
   2. 두 연구자는 같은 접근에서 분자와 분모가 동시에 개선되는 초기 징후를 보고 있다고 확인했다.

3. 공개 시점

   1. Martin이 더 자세한 결과를 언제 들을 수 있느냐고 묻자 “아주 곧(very soon)”이라는 답이 나왔다.
   2. 대화는 감사 인사와 함께 끝났으며, 공개된 결과보다 반복 검증을 먼저 완료하겠다는 태도가 마지막까지 유지됐다.

주요 발언 모음

“핵심 아이디어는 스스로 개선하는 AI를 만드는 것이다. 그리고 우리가 거기에 도달하고 있다고 생각한다.”

“처음으로 최적화자를 최적화되는 대상으로 바꿀 수 있다. 그러면 인지적 개선을 자기 자신에게 재투자하는 일이 가능해진다.”

“인간이 AI를 사용해 더 나은 AI를 만드는 일은 자기촉매이지, 진정한 RSI는 아니다.”

“폐루프가 있다고 해서 takeoff가 되는 것은 아니다. 실제로 무슨 일이 일어나는지는 시험해야 한다.”

“성능이 좋아지고 더 많은 자원을 계속 붓는다면 RSI가 아니다. 얼마나 개선됐는지를 투입된 모든 비용과 함께 뒷받침해야 한다.”

“우리가 무엇을 최적화할지는 오늘날 우리 자신이 아니라 에이전트가 결정한다.”

“믿음이 아니다. 경험적 측정이다.”

“지능은 하나의 스칼라가 아니라 여러 차원을 가진 벡터에 가깝다.”

“디지털 부분을 천 배나 백만 배 빠르게 해도 그 부분이 전체 시간의 20%라면 전체 속도 향상은 20%에 그친다.”

“RSI의 비밀은 위스콘신의 정원 호스 회사 어딘가에 있을지도 모른다.”

핵심 데이터 & 수치

• 영상 길이: 1,927초(약 32분)로 RSI의 정의, 검증, 추론 최적화, 물리적 한계를 순서대로 다룬다.
• 계산 상한의 직관: 우주 입자 수를 약 10^80개로 놓고 빛의 속도와 결합해 우주 계산의 상한을 생각한다.
• 벤치마크 상한: 정확도 100%에 가까워지는 지표는 지수적 개선을 계속 보여줄 수 없다.
• GPT-2 재학습: 여러 GPU에서 수주 걸리던 작업이 같은 하드웨어에서 단일 GPU·수시간 수준으로 줄어든 사례가 언급된다.
• GPT-2 비용: 대화에서 대략 수백 달러 또는 100달러 수준의 거친 추정치가 언급된다.
• 전체 속도 병목: 디지털 구간이 전체 실행 시간의 20%라면 그 구간을 무한히 가속해도 전체 향상은 20%에 제한된다.
• 하드웨어 분산: 같은 B200 GPU끼리도 물리적 차이로 결과가 달라질 수 있다.
• 실험 규모: 새로운 문제에서는 수백 번의 실험과 quality time이 분산·보상 해킹·진짜 개선을 구분하는 데 필요하다.
• 물리적 평가 지연: 약물 발견의 wet lab과 임상시험은 아이디어 하나를 검증하는 데 수개월을 요구할 수 있다.

결론 및 시사점

1. RSI를 주장하려면 AI가 AI 개발의 일부를 자동화하는지보다 최적화자와 최적화 대상이 닫힌 고리로 연결되는지를 확인해야 한다.
2. 프롬프트·하네스·가중치·커널·칩을 따로 최적화하는 것보다 서로의 영향을 반영한 전체 스택 공동 최적화가 중요하다.
3. 능력 향상이라는 분자만 발표하면 안 되며, GPU·자본·시간·인력·실패 실험·정신적 노동이라는 분모를 모두 계산해야 한다.
4. 분모를 줄이면 더 많은 rollout과 더 나은 학습 궤적을 얻을 수 있으므로 효율 개선은 간접적으로 모델 능력도 높인다.
5. 폐루프는 takeoff의 필요조건일 수 있지만 충분조건이 아니며, 실제 지수와 동역학은 반복 실험으로만 알 수 있다.
6. 보상 해킹·선택적 샘플링·GPU별 노이즈·진동을 제거하지 않으면 작은 개선을 RSI로 오인하게 된다.
7. 인간 연구자와 엔지니어는 제거해야 할 비용이 아니라 AI 에이전트와 함께 시스템을 구성하는 특수 에이전트다.
8. 코딩·수학처럼 값싼 평가가 가능한 영역은 약물 개발처럼 물리 실험이 필요한 영역보다 RSI가 빠르게 진행될 가능성이 높다.
9. 전체 성능은 Amdahl의 법칙에 따라 가장 느린 물리적 구성요소에 묶이며, 디지털 가속만으로 전면적 takeoff를 기대할 수 없다.
10. 최신 AI 문제에만 시선을 고정하지 말고, 현실의 복잡한 생산·설계·검증 워크플로에서 일반 원리를 발견할 가능성도 탐색해야 한다.

핵심 요약 (20줄)

1. 진정한 RSI는 인간이 AI 개발을 돕는 자동화가 아니라 AI 시스템이 스스로 개선을 수행하는 닫힌 고리다.
2. AI로 더 나은 AI를 만드는 인간 주도 과정은 자기촉매이지만 최적화자는 여전히 인간이다.
3. RSI는 최적화자와 최적화 대상이 하나의 인지 시스템 안에서 순환할 때 성립한다.
4. 폐루프의 존재만으로 폭발적 takeoff가 보장되며 실제 지수와 동역학은 실험으로 확인해야 한다.
5. 능력 향상 속도는 성능이라는 분자와 자본·에너지·시간이라는 비용 분모의 관계로 평가해야 한다.
6. 모든 인력 시간과 시행착오를 제외한 성능 향상은 RSI의 진전을 과장할 수 있다.
7. 같은 하드웨어에서 GPT-2 학습 시간을 수주에서 수시간으로 줄인 개선은 알고리즘과 커널 효율의 사례다.
8. 분모를 줄이면 더 많은 rollout과 학습 궤적을 확보해 분자까지 높일 수 있다.
9. 복잡한 RSI 논문보다 단순하고 닫힌 구조가 실제 벤치마크와 경제적 문제에서 더 잘 확장됐다.
10. 200개 시스템을 쌓기보다 이를 포괄하는 소수의 일반 추상화를 찾는 통일된 수학 틀이 필요하다.
11. 프롬프트·하네스·가중치·커널·칩은 서로 영향을 주므로 전체 스택을 공동 최적화해야 한다.
12. 추론 효율은 AI에 가깝고 성능과 자원 사용을 동시에 개선할 수 있어 중요한 RSI 영역이다.
13. 여러 LLM이 작업을 나누고 어떤 모델과 구성요소를 개선할지 에이전트가 선택하도록 맡긴다.
14. 마스터 프롬프트 자체도 개선 대상이며 개선자와 개선 대상은 함께 진화한다.
15. 인간 연구자와 엔지니어는 대체 대상이 아니라 AI 에이전트와 공존하는 특수 에이전트다.
16. 성능 지표가 100% 상한에 가까워지면 지수적 개선을 판단하기 어려워 적절한 측정 지표가 필요하다.
17. 분산의 총독과 수백 번의 실험은 진짜 능력 향상과 노이즈·보상 해킹을 구분하기 위한 장치다.
18. 지능은 단일 점수가 아니라 여러 차원의 벡터이며 가장 느린 구성요소가 전체 발전을 제한한다.
19. 디지털 처리 구간을 극도로 가속해도 wet lab·임상시험 같은 물리적 단계가 남으면 전체 속도는 크게 늘지 않는다.
20. RSI의 단서는 최신 모델뿐 아니라 위스콘신 정원 호스 회사 같은 현실의 복잡한 워크플로에 숨어 있을 수 있다.