First Steps Toward Automated AI Research — Richard Socher, CEO Recursive AI

URL: https://www.youtube.com/watch?v=pWXUkLP9uWM 날짜: 2026-07-30 채널: AI Engineer (aiDotEngineer) 처리일: 2026-07-31

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

Richard Socher(전 Salesforce Chief Scientist, 현 you.com/Recursive AI CEO)는 ==인류가 3.5억 년의 생물학적 진화, 그리고 이후 과학·기술의 진화에서 얻은 패턴을 그대로 AI에 적용해, 과학적 발견 자체를 자동화하는 "유레카 머신(Eureka Machine)"을 만들어야 한다==고 주장한다. 이 머신은 물리학·화학·생물학·신경과학·의학·경제학·천체물리학 등 사실상 모든 과학 분야에서 미래의 발명을 대신 만들어내는 것을 목표로 한다.

• 과학의 지수적 성장은 결국 "그 분야에 종사하는 사람 수의 한계"에 부딪혀 정체된다(Stanisław Lem의 통찰) — 세부 분야가 너무 세분화되어 특정 니치 주제에 100만 명을 투입하는 것이 불가능해짐
• AI가 최근 6~8개월 사이에 처음으로 "긴 시간 지평(time horizon)에서 코드를 작성"할 수 있게 되면서, AI가 AI 자신을 개발하는 재귀적 자기개선(RSI, Recursive Self-Improvement)이 비로소 가능해졌음
• 실제로 Recursive AI 팀은 NanoChat 학습, NanoGPT 스피드런, CUDA 커널 최적화라는 세 가지 소규모 벤치마크에서, 자동 연구 시스템이 인간(및 인간+AI 협업) 커뮤니티가 수개월~1년 이상 걸려 도달한 기록을 며칠 만에 능가하는 것을 입증함

이 강연의 결론은 진화(생물학적 → 기술적 → 과학적 → AI적 진화)라는 하나의 open-ended 프로세스가 다음 단계로 "AI가 AI 연구를 자동화하는 단계"에 진입했으며, 이것이 다음 거대한 S-curve/exponential이 될 것이라는 전망이다.

---

1. 왜 진화(Evolution)를 이야기하는가

이 강연 전체를 관통하는 프레임은 "생물학적 진화 → 기술적 진화 → 과학적 진화 → AI의 자기개선"이 본질적으로 같은 패턴을 따른다는 것이다.

1.1. 35억 년 진화의 큰 그림

1. 생물학적 진화의 스케일

   1. 35억 년의 누적 결과: 단순 박테리아·식물·물고기·양서류를 거쳐 수십억 년 만에 인간에 도달한 과정 자체가, 진화적 프로세스가 얼마나 놀라운 결과를 낼 수 있는지 보여주는 증거
   2. 기술 진화로의 확장: 수백만 년 단위로 줌인하면, 초기적 형태의 기술 진화가 세계 경제 생산량(monetary value)을 지수적으로 증가시켜 왔음을 볼 수 있음 — 다만 대부분의 지수 곡선은 결국 S-curve(포화 곡선)로 꺾인다

2. 기술과 인구 부양력의 관계

   1. 최근 수천 년의 패턴: 기술이 발전할수록 더 많은 인구를 부양할 수 있었고, 이는 인류 번영으로 직결됨
   2. 최근 수백 년의 폭발적 증가: 특히 최근 수백 년간 기술 덕분에 인구가 폭발적으로 증가했으며, 이 진화 프로세스는 (인간이 의식적으로 주도한다는 점에서) 자연적 진화와 다르지만 여전히 같은 원리에서 영감을 얻을 수 있음

1.2. 기술낙관주의(Techno-optimism)와 과학철학적 근거

1. Marc Andreessen의 테크노-옵티미스트 매니페스토 인용

   1. 경제의 유일한 영구적 성장 원천: Andreessen이 지적했듯, AI가 일자리를 뺏을 것이라는 우려가 크지만 실제로는 경제 전체를 크게 성장시켜 다수에게 이익이 될 가능성이 높음. 경제의 영구적 성장 원천은 결국 "기술"임
   2. 물질적 문제에는 항상 기술적 해법이 있다: 기아 → 녹색혁명, 어둠 → 조명, 추위 → 실내난방, 더위 → 에어컨처럼, (심리적 문제를 제외한) 물질적 문제는 더 많은 기술로 해결 가능하다는 것이 Socher의 주장

2. 한 세대 안에서 일어난 극적 도약의 사례

   1. 라이트 형제(1903)부터 달 착륙(1969)까지: 1900년에 태어난 사람은 3살 때(1903년) 인류 최초의 동력 비행을, 60여 년 후(1969년)에는 인류의 달 착륙을 목격함 — 즉 "아무도 날 수 없던 시대"에서 "모두가 달까지 날아가는 시대"로의 전환이 단 한 세대 안에 일어남
   2. AI에 대한 시사점: "지구를 탐험하기엔 너무 늦었고, 별을 탐험하기엔 너무 이르지만, 지능을 통해 비행이 해냈던 것과 같은 일을 AI로 해낼 시점으로는 딱 맞다"는 것이 Socher의 표현 — AI가 모든 과제에서 인간보다 못한 상태에서 특정 과제마다 인간보다 뛰어난 상태로 이동하는 데 약 60년(가속화를 고려하면 30년 정도)이 걸릴 것으로 추정

3. 칼 포퍼(Karl Popper)의 과학철학 인용

   1. 이론도 진화의 대상: 우리가 이론을 선택할 때, 다른 경쟁 이론들과의 경합에서 가장 우수한 것을 선택한다는 점에서 이론 선택 역시 자연선택과 같은 과정을 거침(생존 경쟁하는 것은 이론 그 자체)
   2. 가설 제시 → 엄격한 실증 검증의 반복: Popper에 따르면 과학이란 새로운 이론·가설·설명을 제시하고 이를 엄격한 경험적 검증에 부치는 과정의 반복이며, 이것이 곧 "과학 이론에 가해지는 진화적 압력"임 (LLM이 이런 검증을 하려면 웹 검색 같은 도구로 기존 이론을 찾아낼 수 있어야 함)

---

2. 과학 발견 자동화가 필요한 이유 — 유레카 머신(Eureka Machine)의 탄생 배경

2.1. 과학 성장의 구조적 한계 (Stanisław Lem)

1. "과학에 종사할 사람이 부족해진다"는 통찰

   1. 지수적 과학 성장의 정체 요인: 공상과학 작가 Stanisław Lem이 오래전 예견했듯, 과학의 지수적 성장은 결국 "그 일을 할 사람이 부족하다"는 점에서 멈추게 됨
   2. 세분화의 역설: 오늘날 모든 과학 분야에 너무 많은 니치 세부 분야(subfield)가 생겨나, 특정 세부 주제 하나에 100만 명을 투입하는 것이 현실적으로 불가능해짐 — 즉 과학의 범위(scope)가 넓어질수록 각 세부 영역에 집중하는 인력 수는 오히려 줄어듦

2. 결론: 과학적 발견 자체를 자동화해야 한다

   1. 유레카 머신의 정의: 이러한 구조적 병목을 해결하기 위해 Socher 팀(Recursive AI)이 만들고 있는 것이, 물리학·화학·생물학·신경과학·의학·경제학·천체물리학 등 거의 모든 과학 분야에서 미래의 발명을 대신 만들어낼 수 있는 기계
   2. 개인적 프로젝트 배경: Socher는 이 아이디어를 수년간 품어왔으며 "나의 화성 탐사 버전"이라 표현, 몇 달 안에 이 주제로 책도 출간할 예정이라고 밝힘. Recursive.com의 여러 동료들, 특히 공동창업자 Tim Rocktäschel과의 협업이며 AIX Ventures의 도움도 있었음

2.2. 유레카 머신을 구성하는 4개의 기둥(pillar)

1. ① 기존 지식 이해(Knowledge)

   1. 인류가 이미 발명한 것 파악: 머신이 작동하려면 먼저 이 세상에 이미 어떤 지식이 존재하는지, 인류가 무엇을 이미 발명했는지를 이해해야 함

2. ② 과학적 측정 데이터(Data)

   1. 모든 측정 데이터를 머신에 투입: 과학적으로 측정 가능한 모든 데이터를 이 시스템에 입력해야 함

3. ③ 시뮬레이션(Simulation)

   1. 아직 측정 불가능한 것에 대한 대응: 아직 알지 못하거나 측정할 수 없는 대상에 대해서는 시뮬레이션을 구축해야 하며, 시뮬레이션 가능한 것은 검증 가능하고, 검증 가능한 것은 AI로 풀 수 있음

4. ④ 물리적 산업 실험실(Physical Lab)

   1. 최후의 검증 수단: 다른 모든 방법이 실패하거나 이 과정들의 최종 단계에서는, 실제 세계에서 진짜 실험을 수행할 수 있는 물리적·산업적 실험실이 여전히 필요함

5. 이 4개 기둥 위의 에이전트 스웜(Agent Swarm)

   1. 모든 지식·데이터·실험·보상을 통합 운용: 이 네 가지 서로 다른 지식/데이터/실험/보상 원천을 다루는 에이전트 군집(swarm)이 전체를 총괄함

2.3. 초지능을 위한 인프라 재구축

1. AI를 위해 기존 기술 스택을 다시 만들어야 한다
   1. 인터넷·브라우저·GPU도 재설계 대상: 지금까지 인간을 위해 구축된 모든 기술 계층(인터넷, 브라우저, GPU 등)을 초지능(superintelligence)을 위한 인프라로 다시 생각(rethink)할 수 있으며, 각 계층마다 새로운 스타트업 기회가 존재함
   2. you.com 사례: Socher가 몸담은 you.com은 LLM과 에이전트를 위한 웹 검색을 다시 만드는 작업을 하고 있음 — 이는 기존 검색과 근본적으로 다른데, 사람을 위한 검색이 "10개의 파란 링크 + 짧은 스니펫"이라면, 에이전트를 위한 검색은 수천 개의 매우 긴 스니펫을 읽을 수 있어야 함

---

3. 유레카 머신을 어떻게 만드는가 — 재귀적 자기개선(RSI)

3.1. "직접 만드는 것보다, 스스로 만들게 하는 것"이 최선이다

1. NLP 분야의 역사가 주는 교훈

   1. 언어학자 규칙 → 통계 모델 → 신경망: ChatGPT 이전 시대(Socher 표현으로 "고대/BC 역사")에는 언어학자들이 언어에 대한 규칙을 알려주면 그 위에 통계 모델을 학습시켰음. 이후 신경망이 word vector 등으로 이 특징(feature)을 스스로 학습하게 되면서, 그리고 엔드투엔드 학습·역전파가 도입되면서 훨씬 큰 성능 향상을 얻었음
   2. 아키텍처 엔지니어링도 결국 자동화 대상: 현재는 통합된(unified) 아키텍처로 수렴하는 중이지만, 그 통합 아키텍처 안에도 여전히 수작업 프로세스가 많이 남아 있음. AI 역사에서 반복적으로 확인된 패턴은 "수작업 프로세스를 학습된 시스템으로 대체할 때마다 성능이 향상된다"는 것

2. "AI가 코드를 작성할 수 있게 된 것"이 결정적 전환점

   1. 최근 6~8개월의 변화: AI가 점점 더 긴 시간 지평(time horizon)에서 코드를 작성할 수 있게 된 것은 최근 6~8개월 사이에 비로소 일어난 일이며, 이 능력이 있어야 RSI(자기 자신을 개발하는 AI)가 가능해짐
   2. 자기 인식과 자기 수정: 이제 RSI는 자기 자신의 부족한 점(shortcoming)에 대한 일종의 자기 인식을 발전시키고, 그 부족함을 스스로 고칠 수 있게 됨. 이렇게 AI 연구 자체에 매우 능숙해진 머신을 확보한 뒤, 그것을 다른 과학 분야의 AI 연구에도 활용할 수 있음

3. 연구의 3단계 구조

   1. 아이디어 도출(ideation) → 구현(implementation) → 검증(validation): 거의 모든 과학 분야에 공통적으로 적용되는 매우 단순한 상위 구조

3.2. "약한 형태의 자동 연구"와 "진짜 RSI"의 구분 (중요한 개념적 경계)

1. NanoChat 같은 사례는 진짜 RSI가 아니다
   1. 일반적인 auto research의 한계: 일반적으로 자동 연구(auto research)를 수행할 때는 재귀적 자기개선이 아닌 경우가 많음 — 예를 들어 NanoChat처럼 별도의 작은 AI(5분 안에 학습되는 모델)를 개선하도록 시키는 것은 흥미롭고 중요한 이정표이지만, 진짜 RSI는 아님
   2. 진짜 RSI의 정의: 진정한 재귀적 자기개선이란, AI가 자기 자신의 부족함에 대한 자기 인식을 갖고, 사전학습(pre-training)부터 RL 학습, 하네스(harness)에 이르기까지 자신이 가진 모든 것에 대한 완전한 접근 권한을 가지고, 그 전체 시스템을 업데이트해 자기 자신의 "다음 버전"을 만들어내는 것

---

4. 실증 사례 — 세 가지 소규모 벤치마크

Recursive AI 팀은 유레카 머신의 초기 버전이 실제로 작동함을 보여주기 위해, 많은 사람들이 익숙한 세 가지 소규모 벤치마크(더 나은 학습, 더 빠른 학습, 더 나은 커널)를 대상으로 자동 연구 시스템을 적용했다.

4.1. NanoChat — 5분 안에 학습되는 초소형 챗 모델

1. 목표와 커뮤니티 대비 성과

   1. 비트-퍼-바이트(bits per byte) 지표: 5분 이내에 학습되는 초소형 챗 모델을 대상으로 최상의 bits-per-byte 수치를 달성하는 것이 목표였으며, 커뮤니티 전체가 오랜 기간 매달려 0.93까지 도달한 상태였음
   2. 하루~이틀 학습만으로 커뮤니티 기록 경신: Recursive AI의 자동 연구 시스템은 하루 조금 넘는 시간 동안 학습시킨 끝에 0.91까지 끌어내렸음

2. 단순 하이퍼파라미터 튜닝이 아닌 진짜 새로운 아이디어 발견

   1. 해시 바이그램/트라이그램 임베딩: 시스템은 단순히 하이퍼파라미터 몇 개를 조정한 것이 아니라, 해시 바이그램·트라이그램 임베딩과 그에 대한 테이블을 새로 고안해냈음
   2. 어텐션 value path에의 결합: 이렇게 만든 임베딩을 학습된 게이트(learned gate)를 통해 어텐션의 다양한 value path에 섞어 넣는 방식까지 스스로 찾아냄 — 즉 진짜로 흥미로운 새로운 아이디어를 발견하는 방향으로 나아감

4.2. NanoGPT 스피드런 — 인간+AI 협업 1년 기록을 단기간에 경신

1. 기존 최고 기록
   1. 1년 이상 인간+AI 협업의 결과: 사람들이 AI와 함께 1년 넘게 작업해온 이 벤치마크(속도가 핵심 지표)에서, 자동 연구 시스템은 매우 짧은 시간 만에 기존 기록을 능가함
   2. 2초 이상 단축, 70초 달성: 전체 소요 시간을 2초 이상 더 단축해 70초를 기록했으며, 이 과정에서도 다시 한 번 흥미로운 새 아이디어들을 발견함

4.3. CUDA 커널 최적화 — Nvidia 벤치마크 리더보드 경신

1. 문제의식: 대규모 클러스터의 낮은 효율

   1. MoE 모델의 낮은 GPU 활용률: 수십억 달러 규모의 대형 클러스터를 운용하는 Mixture-of-Experts 모델들조차 실제 GPU 활용률이 약 30% 수준에 그치는 경우가 많다는 점을 지적하며, 이를 개선하려는 시도가 세계 곳곳에서 진행 중임을 언급
   2. 학습·테스트 전반에 쓰이는 다양한 CUDA 커널: 다양한 CUDA 커널이 학습·테스트 과정 전반에 쓰이고 있음

2. 결과와 검증 과정

   1. 며칠 만에 Nvidia 리더보드 최고 기록 경신: 자동 연구 시스템은 며칠 만에 Nvidia 벤치마크 웹사이트의 기존 최고 기록보다 상당한 격차로 더 나은 커널을 여러 카테고리에 걸쳐 발견함
   2. 팀 내 CUDA 전문가 부재에도 달성: 팀 안에 커리어 전체를 CUDA 커널 작성에 바친 전문가가 없었음에도 이 결과를 냈으며, 리워드 해킹(reward hack) 등의 문제가 없는지 확인하기 위해 Nvidia와 함께 검증했고 실제로 대부분의 커널이 정당하게 최적의 해법을 찾은 것으로 확인됨

---

주요 발언 모음

"The Eureka machine. A machine that will eventually invent pretty much all future inventions for humanity." (유레카 머신은 결국 인류의 거의 모든 미래 발명을 대신 만들어낼 기계다)

"Whenever I fire a linguist, my accuracy goes up." (언어학자를 해고할 때마다 정확도가 올라간다 — 기계번역 시대의 유명한 격언 인용)

"We're too late to explore Earth, we're too early to explore the stars, but we're right on time to build an AI that could actually do what flying did for some in one lifetime due to intelligence." (지구를 탐험하기엔 너무 늦었고 별을 탐험하기엔 너무 이르지만, 한 세대 만에 비행이 이뤄낸 일을 지능을 통해 AI로 해낼 시점으로는 딱 맞다)

"It's clear over and over again in AI that when we take out a manual process and we replace it with a learned system, improvements will follow." (수작업 프로세스를 학습된 시스템으로 대체할 때마다 성능 향상이 뒤따른다는 것이 AI 역사에서 반복적으로 확인됐다)

"True recursive self-improvement is when you have an AI that has a sense of self-awareness of its own shortcomings, full access over everything in its arsenal from pre-training to RL training and harnesses and everything, and then actually updates that entire system in the next version of itself." (진짜 RSI란 AI가 자기 부족함을 인식하고, 사전학습부터 RL 학습·하네스까지 모든 것에 완전히 접근해 전체 시스템을 자기 자신의 다음 버전으로 업데이트하는 것이다)

핵심 데이터 & 수치

• 35억 년: 생물학적 진화의 전체 타임스케일 — 단순 박테리아에서 인간까지
• 1903년 → 1969년(66년): 라이트 형제의 첫 동력 비행부터 인류의 달 착륙까지, 한 세대 안에 일어난 도약의 사례
• 60년 → 약 30년: Socher가 추정하는 "AI가 모든 과제에서 인간보다 열등한 상태 → 특정 과제마다 인간을 능가하는 상태"로 가는 데 걸릴 시간(가속화 고려 시 단축 전망)
• 6~8개월: AI가 긴 시간 지평에서 코드를 작성할 수 있게 된 것이 실제로 가능해진 최근 기간 — RSI가 가능해진 전제 조건
• NanoChat bits-per-byte: 커뮤니티 최고 기록 0.93 → Recursive AI 자동 연구 시스템이 하루~이틀 만에 0.91로 경신
• NanoGPT 스피드런: 인간+AI 협업 1년 이상의 최고 기록을 자동 연구 시스템이 2초 이상 단축해 70초 달성
• CUDA 커널: Nvidia 벤치마크 리더보드 최고 기록을 여러 카테고리에서 "상당한 격차"로 경신, 며칠 만에 달성
• MoE 클러스터 GPU 활용률: 수십억 달러 규모 대형 클러스터도 실제 활용률이 약 30% 수준에 그치는 경우가 많다는 문제의식 언급

결론 및 시사점

1. 과학 자동화는 필연적 다음 단계다: 과학 성장이 "일할 사람 부족"이라는 구조적 한계(Stanisław Lem)에 부딪힌 지금, 과학적 발견 프로세스 자체를 AI로 자동화하는 것이 다음 성장 곡선을 여는 유일한 길이라는 것이 Socher의 진단이다.
2. RSI의 전제 조건은 "AI가 코드를 짤 수 있는 능력"이다: 최근 6~8개월 사이 AI가 긴 시간 지평에서 코드를 작성할 수 있게 된 것이 결정적 전환점이며, 이것이 AI가 스스로를 개선하는 RSI를 가능케 한 핵심 기술적 조건이다.
3. "약한 자동 연구"와 "진짜 RSI"를 구분해야 한다: NanoChat류의 사례처럼 AI가 다른(작은) AI 시스템을 개선하는 것은 RSI가 아니다. 진짜 RSI는 AI가 사전학습부터 RL 학습, 하네스까지 자신의 전체 시스템에 접근해 스스로를 업데이트하는 것이며, 이 구분을 명확히 하지 않으면 현재의 성과를 과대 해석하게 된다.
4. 소규모 벤치마크에서 이미 인간 커뮤니티 기록을 능가하는 사례가 나왔다: NanoChat, NanoGPT 스피드런, CUDA 커널 최적화라는 세 가지 사례 모두에서, 자동 연구 시스템이 인간(또는 인간+AI 협업) 커뮤니티가 수개월~1년 이상 걸려 도달한 성과를 며칠 만에 능가했으며, 단순 하이퍼파라미터 튜닝을 넘어 진짜 새로운 아이디어(예: 해시 바이그램/트라이그램 임베딩)를 발견했다는 점이 중요하다.
5. 검증(reward hacking 방지)이 반드시 병행되어야 한다: CUDA 커널 사례처럼, 실제 산업 파트너(Nvidia)와 협력해 결과가 리워드 해킹이 아닌 진짜 개선인지 확인하는 과정이 필수적이다.
6. 인프라 전 계층을 "AI를 위해" 다시 설계해야 한다: 인터넷, 브라우저, GPU, 검색 등 인간을 위해 만들어진 기존 기술 스택을, 에이전트/AI가 쓰기에 적합한 형태로 재설계하는 것 자체가 새로운 스타트업 기회의 원천이다(you.com의 에이전트용 웹 검색이 그 예시).