EP 105. Can AI Do Research?

URL: https://www.youtube.com/watch?v=ZwjWj6aw2BY 날짜: 2026-07-26 (게시일 기준, 노트 작성일 2026-07-30) 채널: AI Frontier Korea (노정석/Chester Roh)

---

메타데이터

• video_id: ZwjWj6aw2BY
• 재생시간: 1:10:21
• 출연: 최승준, 박종현 (2인 진행. 평소 출연하는 정석(노정석/Chester Roh) 님은 이날 컨디션 난조로 불참)
• 녹화일: 2026년 7월 18일 (영상 내 언급)
• 채널 성격: AI 최신 동향/리서치를 다루는 한국어 팟캐스트형 채널

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI가 "좋은 연구"를 해낼 수 있는가?== 라는 질문을 학회 시스템의 위기, Dwarkesh 팟캐스트(Grant Sanderson·Adam Brown 편) 리뷰, RLVR의 원리와 한계, 압축(Compression)과 지능의 관계라는 네 갈래로 파고든 에피소드다.

• 인간 사회의 연구 평가 시스템(피어리뷰)이 AI가 쓴 논문 폭증으로 균열이 가고 있다 (arXiv CS 카테고리 피어리뷰 통과작만 접수 정책, ICML 2만3천 편 투고·6천 편 게재, ICLR AI 리뷰 적발 사례)
• RLVR(Reinforcement Learning with Verifiable Rewards)은 verifiable한 보상이 있는 영역(수학, 코딩)에서는 강력하지만, 검증 불가능한 영역(과학적 통찰, 글쓰기, 디자인)에서는 근본적 한계가 있다
• Dwarkesh Patel이 최근 두 편(Grant Sanderson, Adam Brown)에서 "RLVR이 과학에서 유독 취약할 수 있다"는 가설을 집요하게 파고들고 있다
• 그럼에도 두 진행자 모두 "좋은 연구"는 결국 AI가 해낼 수 있는 search problem(탐색 문제)의 일종이라고 낙관하며, 다만 타임스케일은 10~20년 단위로 본다

이 에피소드는 단정적 결론보다는 "왜 지금 이게 어려운가"를 여러 각도(학계 시스템·수학사·물리학·압축이론·RL 알고리즘 역사)에서 해부하고, 실제 진행 중인 실험적 시도들(허깅페이스 리프로듀스 챌린지, 랄프톤, 빈티지 LM, TML의 자기개선)을 근거로 든다.

---

1. 학계 시스템이 겪고 있는 균열: "좋은 연구"를 평가하는 것 자체가 너무 어렵다

이 섹션의 핵심 주장: 좋은 연구를 알아보는 안목(taste)은 원래도 어려웠는데, AI가 논문 생산량을 폭증시키면서 인간 사회의 검증 시스템(피어리뷰) 자체가 감당 불가능해지고 있다.

1.1. PPO 논문 리젝 사례 — 좋은 연구도 당대엔 몰라본다

1. John Schulman의 PPO 논문 리젝 일화
   1. 배경: John Schulman은 OpenAI 공동창업자, 현재 Thinking Machines Lab 소속. PPO(Proximal Policy Optimization)는 ChatGPT 시절 RLHF(Reinforcement Learning from Human Feedback)에 가장 많이 쓰인 알고리즘
   2. 사실관계: 이 PPO 논문이 2017년 실제로 학회에서 리젝당했다는 사실이 한 달 전 트윗으로 재조명되며 큰 조회수를 기록. 박종현이 그 트윗을 리포스트한 다른 논문(Tony Zhao의 것)도 알고 보니 거의 리젝당했던 이력이 있었다고 언급
   3. 함의: 지금은 액션(로보틱스 등) 분야에서 인기 있는 연구인데, 정작 당시 리뷰어들은 좋게 보지 않았다. 저자들 본인조차 이 알고리즘이 나중에 LLM에서 이렇게 강력하게 쓰일 줄 몰랐다는 것 — 즉 좋은 연구를 평가/점수 매기는 것 자체가 본질적으로 어렵다는 사례
   4. PPO 개요 (박종현 설명): x(입력/프롬프트)가 주어졌을 때 y(출력 토큰)를 내는 모델 파라미터 theta가 있고, 사람이 대화 품질에 대한 평가(좋다/나쁘다)를 주면 그 보상으로 모델을 개선하는 방식. 사람 평가의 한계로 인해 사람을 모방하는 리워드 모델을 따로 학습해 쓰기도 함

1.2. arXiv와 학회의 대응 — 피어리뷰 문턱을 다시 높이는 역설

1. arXiv의 정책 변화

   1. 배경: arXiv는 원래 저널·학회의 느린 심사(6개월 이상)를 우회해 지식을 빠르게 공유하기 위한 프리프린트 서버. 물리·수학 분야에서 LLM 이전부터 존재
   2. 최근 변화: 작년 arXiv가 CS 카테고리 특정 분야는 피어리뷰를 통과한 논문만 접수하겠다고 발표. 이유는 AI가 쓴 논문("슬롭", slop)이 너무 많아져 품질 관리가 안 되기 때문
   3. Hacker News 논쟁: 찬성 측은 "LLM으로 논문 생성은 너무 싸고, 검수/평가는 비싸고 어려우니 제한이 불가피"하다는 입장. 반대 측은 "arXiv는 원래 피어리뷰 전에 배포하는 곳이며, PPO처럼 리젝당한 좋은 연구가 발굴될 기회를 막으면 안 된다"는 입장

2. ICML/ICLR의 통계로 본 규모 폭증

   1. 투고/게재 규모: 이번 ICML은 2만 3천 편 투고, 6천 352편 게재. 박종현이 대학원생이던 10년 전엔 게재 논문이 100편 단위였다며 "정말 많이 바뀌었다"고 언급
   2. AI 리뷰 적발 사례: ICLR에서는 리뷰 상당수가 AI로 작성됐다는 사실이 드러남. 이번 ICML은 "AI와 함께 리뷰" 트랙과 "AI 없이 사람이 직접 리뷰" 트랙을 분리 운영했는데, 사람이 직접 하기로 해놓고 AI로 리뷰한 사실이 적발돼 리뷰에서 배제된 사례가 있었음
   3. 함의: 논문 작성이 쉬워지며 평균 품질이 내려간 것뿐 아니라, 리뷰 물량 감당이 안 돼 리뷰도 AI로 돌리게 되며 리뷰 품질까지 함께 내려가는 악순환. "생산이 압도하고 있어서 생기는 문제"(최승준)

---

2. 좋은 연구란 무엇인가 — 두 진행자의 정의

2.1. 박종현의 정의: 인류 지식의 확장 + 세상에 대한 좋은 임팩트

1. 리서치의 본질적 의미
   1. 정의 1: 인류의 지식 전체를 조금이라도 늘려나가는 것이 리서치의 본질
   2. 정의 2: 그렇게 늘린 지점이 실제로 세상에 임팩트를 내고, 좋은 방향으로 세상을 바꿔나가면 그것이 "좋은 연구"

2.2. 최승준의 첨언: 지식·지혜의 프런티어 확장 + 연구 윤리

1. 공감 지점: 인류 지식/지혜의 프런티어를 확장·개척해나가는 것이 한 측면이라는 데 동의
2. 추가 관점 — 연구 윤리: 인류에 미치는 영향에는 여러 종류의 임팩트가 있을 수 있으므로, 윤리를 무시한 연구(전쟁 시기의 연구 등)를 경계해야 한다는 점을 첨언

2.3. 보상(reward) 문제 — 피어리뷰라는 인간 사회의 답과 그 균열

1. 피어리뷰 시스템의 본질

   1. 작동 방식: 몇백 년간 이어져 온 시스템으로, 동료 연구자들이 서로 좋은 연구인지 판단해줌
   2. 보상 구조: 명시적 비용이 오가지 않아도 학회 조직·소사이어티 소속 자체가 간접적 인센티브. 학회/저널마다 다르지만 리뷰에 금전 보상을 주는 경우도 있음
   3. 한계: 인간 사회에서 이보다 더 나은 시스템을 아직 찾지 못했지만, LLM 때문에 지금 균열이 보이기 시작함

2. LLM 지능 발전과 verifiable reward의 한계

   1. RLVR이 지능을 끌어올리는 핵심 방법: 수학은 이미 작년(2025)·재작년(2024) 각각 IMO 금메달·은메달 수준에 도달
   2. 연구의 근본적 어려움: verifiable한 리워드를 주기 어려운 영역이라 LLM의 연구 능력 발전 자체가 쉽지 않은 상황. 인간 사회에서도 좋은 연구를 발굴하기 어려운 건 마찬가지

---

3. AI 시대의 "좋은 연구 발굴"을 위한 실험적 시도들

3.1. 허깅페이스 ICML 리프로듀스 챌린지

1. 개요

   1. 방식: 에이전트들이 논문에 나온 방법을 실제로 재구현해보고, 그 결과가 재현되는지 검증
   2. 배경 문제의식: 논문이 "이렇게 실험해서 이렇게 좋아졌다"고 발표해도 직접 재현하면 안 되는 경우가 굉장히 많음. 오픈소스로 다 공개하라고 하기엔 하드웨어 실험, 클로즈드 소스 시뮬레이터 등 현실적 제약이 큼

2. 진행 현황과 함의

   1. 현재 상태: 제출 마감은 8월 2일. 인터뷰 시점 기준 6천여 편 중 약 800편이 리프로듀스됨 (반증 포함 추정)
   2. 의미: 논문 텍스트만으로 하던 피어리뷰에서, 실제로 돌려서 데이터가 나오는지까지 검증하는 "중간 단계 리워드"로 볼 수 있음 — 좋은 연구를 위한 필터링의 중간 단계

3.2. 랄프톤(Ralph-thon) — 한국에서 유행 중인 AI 리서치 해커톤

1. 개요

   1. 정의: "Ralph"(AI 에이전트)를 돌려서 진행하는 해커톤. 밈적으로 유행하며 다양한 참가자(교수, 의사, 연구자, 심지어 15세 고등학생)가 참여
   2. 이번 ICML 기간 랄프톤 = "리서치 랄프톤": 두 트랙으로 진행 — ① LLM으로 실제 연구·실험을 거쳐 페이퍼 쓰기, ② 그 페이퍼들을 AI로 리뷰하기

2. 현장 인터뷰 에피소드 — 15세 참가자

   1. 질문 내용: "컨텍스트에 데이터를 프롬프트로 채우면 어느 순간부터 성능이 안 좋아지는데, 언제·어떻게 안 좋아지는지, 중요한 데이터가 앞/뒤 어디에 와야 하는지 알고 싶다"는, 학교에서 배우지 않았을 법한 진짜 연구자적 질문을 스스로 던지고 탐구하고 있었음
   2. 주최자: 정구봉(팀어텐션) — 샌프란시스코·싱가포르에서도 랄프톤 개최, 해외 참가자도 유치할 만큼 인기

3. 리뷰 에이전트 심사 결과의 시사점

   1. 심사 방식: 페이퍼 작성 → AI 리뷰 → 점수순 정렬 → 포스터 세션 → 실제 리서처들이 심사위원으로 참여
   2. 핵심 발견: 심사위원들이 좋다고 뽑은 리뷰 에이전트는, "심사위원의 AI 페이퍼 리뷰 점수"와 "에이전트의 리뷰 점수"가 방법론과 무관하게 가장 유사한 상관관계를 보인 것이었음
   3. 함의: 좋은 리뷰의 정의 자체가 어려운 상황에서, "인간 심사위원과의 상관관계"를 보는 것이 특정 방법론보다 나을 수 있다는 것. 이는 RLVR에서 "좋은 리워드 하나만 있으면 방법을 강제하지 않고 알아서 풀게 하라"는 방법론과 같은 맥락

4. LLM 루브릭 채점 사례 — Kimi K2

   1. 연결점: LLM에게 루브릭을 주고 최대한 자세하게 평가해 에이전트 성능을 끌어올리는 방식이 Kimi K2의 성공 요인 중 하나였다는 언급. 같은 방향성으로 해석 가능

---

4. Dwarkesh 팟캐스트 리뷰 — Grant Sanderson & Adam Brown 편

4.1. 배경: Dwarkesh의 집요한 기획 의도

1. 인터뷰이 구성
   1. Grant Sanderson: 3Blue1Brown 채널 운영자, "최고의 수학 설명가"로 소개됨
   2. Adam Brown: 스탠퍼드 물리학 출신, 현재 Google DeepMind에서 슈퍼인텔리전스 연구 중
2. 기획 의도: Dwarkesh는 "RLVR이 과학에서 유독 취약할지도 모른다"(5월 공개 블로그 글)는 가설을 던져놓고, Michael Nielsen 등 과학자들을 릴레이 인터뷰하며 이 문제를 집요하게 파고들고 있음. RLVR이 작동하지 않을 때의 대안을 상상하는 편도 있었음

4.2. IMO 금메달의 함의와 한계

1. 3년 전 vs 지금 — Grant Sanderson의 선견지명

   1. 3년 전 인터뷰: "AI가 IMO 금메달을 따면 AGI 아니냐"는 질문에 Grant Sanderson은 "아니다, 그냥 벤치마크 하나 뚫는 것일 뿐 일반지능은 아닐 것"이라고 답함
   2. 현재 시점: 실제로 IMO 금메달을 땄지만 그걸 AGI라 부르지 않음 — 당시 예측이 정확했음이 확인됨

2. IMO 금메달이 갖는 실제 의미의 한계

   1. "입문 컷"이라는 관점: GPU 클러스터 사업 창업자(IMO 금메달 출신)가 Latent Space에서 "IMO 금메달은 수학자의 입문 컷일 뿐"이라고 언급. IMO는 6문제를 이틀간 총 9시간에 푸는, 최대 10시간짜리 태스크인 반면 진짜 수학 연구는 몇만 시간짜리 태스크
   2. 훈련 가능성의 비밀: Grant Sanderson — "IMO의 숨겨진 사실은 엄청 훈련을 많이 할 수 있다는 것." 노벨티 있어 보이는 문제도 사실 인간이 반복 훈련 가능한 문제라는 것. 한국 수능 수학 기출문제 반복 풀이에 비유(박종현)

3. 수학 안에서도 뾰족한 지능 — 조합(Combinatorics)만 유독 약함

   1. 분포 불균형: 대수, 기하, 정수론은 잘 풀지만 조합(경우의 수 문제)만 유독 못 풂. "수학 안에서도 동형(isomorphic)으로 뾰족한 지능이 따로 있다"
   2. 실제 사례: 2024년 IMO에서 기하 문제 두 문제가 나왔으면 금메달이었을 거란 이야기(최승준 회상, Grant Sanderson 언급). 실제로는 조합 문제 1개가 나와 그 문제를 틀리고 재작년(2024)엔 은메달에 그침
   3. 전문가 소견: 최승준이 수학 전공자들에게 물어보니 "조합 전문가는 사람 중에서도 따로 있다", "선천적 재능이 필요한 전형적으로 천재들이 잘하는 과목"이라는 답을 들었다고 함

4.3. 좋은 연구의 검증 타임스케일 문제 — 갈루아 군론 사례

1. 에바리스트 갈루아의 군론(Group Theory)

   1. 역사: 갈루아가 만든 군론이라는 개념이 실제로 조명받아 쿼크 예측 등에까지 영향을 끼치기까지 100년이 걸림
   2. 함의: 어떤 이론이 나오고 그것이 인간 사회에 실제 임팩트를 줄 때까지 검증되는 데 걸리는 타임스케일이 압도적으로 길다 → 반복(iteration)이 불가능하다는 뜻
   3. RLVR과의 충돌: 현재 LLM 지능을 끌어올리는 RLVR은 즉각적 보상-반복 사이클에 기반하는데, 이 타임스케일과 근본적으로 맞지 않아 이 방법이 그대로 적용되지 않을 것

2. 좋은 수학자의 3단계 위계 — Grant Sanderson이 인용한 격언

   1. 좋은 수학자: 정리(theorem)를 증명하는 사람
   2. 위대한 수학자: 좋은 추측(conjecture, 예: 푸앵카레 추측)을 하는 사람
   3. 최고의 수학자: 좋은 정의(definition)를 가져오는 사람
   4. 함의: 현재 AI 연구는 사실상 "정리를 증명하는" 1단계 수준에 머물러 있으며, 그 뒤 단계(좋은 추측·좋은 정의)까지 AI가 갈 수 있을지가 핵심 질문

4.4. 서로 다른 분야를 연결하는 능력 — isomorphic한 발상 전이

1. 몽고메리-다이슨(Montgomery-Dyson) 사례

   1. 일화: 프린스턴 고등연구소의 점심/티타임 자리에서 수론자 몽고메리와 물리학자 다이슨이 대화하다가, 리만 제타 함수와 관련된 수식이 서로 다른 두 분야에서 우연히 같은 형태임을 발견
   2. 함의: 완전히 다른 분야라 여겨지는 것들 사이에 사실은 공통점(동형, isomorphic)이 엄청 많을 수 있다는 사례

2. AI가 이런 발견을 해낼 수 있는 이유

   1. 지식 접근성의 차이: 인간은 각자 자기 도메인은 잘 알지만 다른 도메인은 잘 모름. LLM은 지식 관점에서 여러 분야를 순식간에 다 알 수 있음
   2. 박종현의 주장: 한 분야의 요소를 다른 분야에 동형적으로 적용하면 발전이 일어날 수 있으므로, 인류가 아직 발견 못 한 지식을 다른 분야 지식을 가져와 적용해 늘려나가는 것이 "충분히 가능하다"

3. 최승준의 반론 — "컨텍스트의 저주"

   1. 문제점: 모델에게 그냥 하라고 하면 분포가 평균적인 쪽으로 향해서 원래 그 계열 이야기만 하지, 다른 분야를 알아서 끌어와 주지 않음. 프롬프트로 "끌어와 달라"고 명시적으로 지시해야만 작동
   2. 함의: 이 부분(다른 도메인을 알아서 연결하는 것)은 아직 인간이 개입해야 하는 영역이라는 견해

4. 극복 방안 논의

   1. 프롬프트 차원: 다른 분야를 보라고 프롬프트에 명시하거나, 다른 분야 자료를 강제로 컨텍스트에 넣어주기
   2. RLVR/디코딩 차원: 출력 토큰 중 엔트로피가 낮은 토큰을 일부러 골라 다른 방향으로 탐색을 유도하는 방법(박종현 제안)
   3. 선행 개념: 작년 Gwern이 "LLM Daydreaming"이라는 이름으로 모델이 자면서(비활성 시간에) 여러 개념을 연결하게 하는 개념을 제시한 바 있음(최승준 언급) — 하네스 차원에서 어느 정도 극복 가능하리라 전망

4.5. 실험 없이 연구가 가능한가 — 이론물리와 Adam Brown의 관점

1. 이론물리의 난제 — 실험 자체가 극도로 어렵다

   1. 현실적 제약: 입자를 빛의 속도에 가깝게 가속시키는 등 실험 장벽이 매우 높음 → 결국 사고실험(thought experiment)에 의존해야 함
   2. 질문 프레임: 실제 실험 없이 AI에게 연구를 맡겼을 때 어디까지 갈 수 있는가?

2. Adam Brown의 "아인슈타인 대량생산" 논리

   1. 핵심 주장: LLM이 아인슈타인 수준의 지능이라고 가정하면, 인류 역사상 그 정도 지능은 한 번에 한 명 정도밖에 없었지만 LLM은 대량으로 만들 수 있으므로 다양한 사고실험을 머릿속으로 아주 많이 돌릴 수 있음
   2. 결론: 문제를 탐색(search)으로 보고 거기에 컴퓨테이션이라는 리소스를 투자하면, 찾아낼 수 있는 것이 엄청나게 많을 것

3. LLM은 "낭비를 기꺼이 한다" — 참으로 믿어온 것들을 재검증하는 힘

   1. 핵심 통찰(Fable 5가 초안 작성, 박종현이 검토 후 남긴 표현): 지금 우리가 참이라고 믿는 것들 중 사실은 참이 아닌 게 많았음(뉴턴 만유인력과 상대성이론 사이의 모순 등). 이런 모순을 찾아 보완하려면 참이라 믿는 추측을 다시 재증명해야 하는데, 인간에게는 이게 "낭비"처럼 느껴지지만 LLM은 이를 아까워하지 않음
   2. 연결점: 이것이 바로 3장에서 다룬 허깅페이스 리프로듀스 챌린지의 근본 취지 — peer review를 통과했으니 다 맞다고 여겨지는 논문들도 굳이 재현해보며 틀렸을 가능성을 반증하는 작업

4. 분야별 속도 차이 전망

   1. 머릿속에서 다 돌아가는 분야(수학, 이론): 가장 먼저 AI 발전이 가시화될 것
   2. 실제 실험이 필요한 분야(바이오, 화학 등 합성·반응 관찰 필요): 당연히 더 느릴 것
   3. 리워드를 쉽게 줄 수 있는 분야가 먼저, 그렇지 않은 분야는 더딜 것 — 이것이 Dwarkesh가 팟캐스트를 통해 하고 싶은 말이라는 해석. 앞선 시리즈(pretraining의 한계, continual learning 부재)와도 같은 문제의식의 연장선

5. 최고 수학자의 "정의"까지 AI가 만들 수 있는가 — 박종현의 결론

   1. 긍정적 전망: "정의"도 결국 현실에서 물리적 현상·자연 현상을 얼마나 잘 설명하느냐로 좋고 나쁨이 갈리므로, evaluation·verification이 가능하다면 이것도 결국 search problem과 다르지 않을 수 있음
   2. 타임스케일: 2년 내는 아니지만, 10~20년 단위로 보면 가능하다고 봄(최승준은 "2040년쯤 되면 무슨 일이든 일어날 것"이라 화답)

4.6. "재미없는 소설"과 "재미있는 소설" — Lean 자동증명이 던진 딜레마

1. Lean이라는 도구

   1. 정의: 수식처럼 생긴 코드 언어로, 실행하면 특정 명제가 true/false인지 판정 가능 — 수학을 verifiable하게 바꿔주는 도구
   2. 사용례: 재작년(2024) 딥마인드가 IMO 은메달을 딸 때 Lean으로 코드를 작성해 풀었음. 다만 올해(2026)부터는 Lean을 안 쓰는 추세(최승준)

2. Adam Brown 편에서 제기된 걱정 — "수백만 줄짜리 Lean 코드" 문제

   1. 우려: Lean 코드를 쓰든 소설을 쓰든 수학 코드를 쓰든 결국 LLM 입장에선 다 "토큰을 내뱉는" 글쓰기다. 그런데 좋은 수학 연구의 결과물(theorem 증명)이 수백만 줄짜리 Lean 코드로 나오면, 참이긴 하지만 인간이 이해할 수 없는 "재미없는 소설"이 될 수 있음 — 설명 불가능하지만 참인 결과
   2. 현재 시점의 반전: 실제로 최근 OpenAI가 발표한 수학 관련 성과들의 설명 내용은 이해하기 쉬웠다고 함. 이에 Adam Brown이 "그건 님한테만 쉬운 거 아니냐"는 Dwarkesh의 지적을 받았지만, 결론적으로 "정말 똑똑한 인간 기준으로는 설명 불가능한 수준은 아니다"라는 평가
   3. 박종현의 재해석: 인간이 납득 가능한 수준의 설명 = "재미있는 소설". 이는 Grant Sanderson의 "Compression is Intelligence"(4.7절)와 맞닿아 있으며, 복잡한 결과를 인간이 이해할 수 있게 잘 압축해서 설명한 글이 곧 똑똑한 글이자 좋은 소설일 수 있다는 관점. 다만 "재미있는 소설"과 "이해하기 쉬운 소설"이 정말 같은 것인지는 스스로도 분류가 명확하지 않다고 인정

4.7. Compression is Intelligence — 3Blue1Brown 신규 연재 시리즈

1. 핵심 주제

   1. 연재: Grant Sanderson이 3Blue1Brown 채널에서 연재 중인 3부작 시리즈로 추정. "압축이 곧 지능이다(Compression is Intelligence)"라는 메인 주제. 엔트로피 관련 이야기와 연결된 시리즈로 보임(최승준)
   2. 아인슈타인 비유: 아인슈타인이 상대성이론을 만드는 데 10~20년이 걸렸는데, 시청자는 그 결과를 1시간 만에 듣는다 — 오랜 탐색·가설·사고실험·물리적 실험 끝에 쌓인 방대한 지식이 압축되어 누구나 이해할 수 있는 형태로 설명되는 것, 그 자체가 지능이라는 관점

2. 3Blue1Brown 채널에 대한 개인적 신뢰(박종현)

   1. 경험담: 학교에서 푸리에 변환을 배웠지만 실무/연구에서 쓸 일이 생겼을 때 이해하지 못했는데, 3Blue1Brown 영상을 한 번 보고 바로 이해했다는 경험. "시각적인 게 정말 강력하다"

3. 이론물리 강의 파트 — 90분 중 대부분이 순수 강의

   1. 구성: 영상 약 1시간 40분 중 1시간 10~20분은 상대성이론을 설명하는 순수 강의 파트. 그 후에야 "AI가 이걸 어떻게 할 수 있느냐"는 논의로 이어짐
   2. 개인적 한계 고백: 박종현 스스로도 이론적으로 너무 어려워 다 이해하지 못했다고 인정하면서도, 부분적으로 이해 가능한 지점이 많다며 시청을 권함

4.8. 압축과 지능의 계보 — Solomonoff, Hutter, Kolmogorov, Shane Legg

1. AGI 개념의 계보와 압축 이론

   1. Shane Legg: "AGI"라는 용어를 널리 퍼뜨린 인물, DeepMind 공동창립자
   2. 스승 Marcus Hutter: Wikipedia 압축 경진대회(Hutter Prize, 얼마나 효율적으로 압축하는지 겨루는 상)를 낸 인물. 압축이 Shane Legg와 Marcus Hutter의 연구 화두였고 이것이 AGI 개념으로 이어짐
   3. 핵심 개념: Solomonoff induction — Shane Legg의 박사논문에서 다뤄지는 개념. Ilya Sutskever도 Kolmogorov 복잡도를 설명할 때 이 근처 개념을 언급한 바 있음
   4. 함의: 압축과 지능에 관한 이런 근간 이론들이 algorithmic information theory(알고리즘 정보이론) 계통에서 매우 중요하며, 이것이 요즘 AI의 근간을 이루는 사고방식이라는 최승준의 통찰

2. 인류 지식의 압축 = 지능의 본질일 수 있다는 관점(박종현)

   1. 사고실험: 천 년 전 인간과 현재 자신의 뇌 능력(하드웨어) 자체는 크게 다르지 않을 것. 그런데 산출물(output)이 크게 다른 이유는 인류가 쌓아온 지식이 잘 압축돼 있어, 정규교육과정을 통해 그것을 빠르게 머릿속에 넣기 때문
   2. 최승준의 보충: "스캐폴딩이 이미 머릿속에 많이 들어차 있기 때문에 그걸 생각의 도구로 활용할 수 있는 것" — 뇌의 하드웨어 차이보다 압축된 지식의 이식 여부가 지능 발현의 관건이라는 관점
   3. 반론적 인용: Ted Chiang이 LLM을 "웹의 흐릿한 JPG 압축"이라 표현해 논쟁이 된 적이 있다는 점도 언급(균형을 위한 인용)
   4. Ted Chiang의 단편 소설 연결: 2000년경 발표된 단편(번역서 「인류 과학의 진화」 수록)에서, 메타휴먼이 만든 연구를 이해하기 위해 인류가 "고고학"을 해야 한다는 웃픈 설정이 나옴 — AI가 인간이 이해 못 하는 수준의 연구를 만들어낼 미래에 대한 오래된 문학적 예견으로 소개

---

5. RLVR의 원리와 역사 — 왜 창작·디자인엔 안 통하는가

5.1. RLVR 알고리즘의 수식적 이해 (최승준의 설명)

1. 기본 구조

   1. 핵심 수식: x(입력/프롬프트)가 주어졌을 때 파라미터 theta를 가진 모델 pi가 y(출력 토큰)를 내는 조건부 확률 구조. score function은 이 확률의 로그값에 대한 gradient
   2. 작동 원리: 모델 바깥(외부)에서 스칼라 형태의 보상을 곱해주는 방식이라 계산 그래프가 직접 연결돼 있지 않아도 분포를 바꿀 수 있음. 토큰 하나하나가 action space를 구성하므로, LLM이 확률적으로 뱉는 것을 강화하는 게 가능해짐
   3. RLVR 구체적 작동: 코드를 다 쓴 뒤 외부 검증기가 테스트를 돌려 성공/실패를 판정 → 그 결과를 보상 R로 사용. 전체 토큰 궤적이 성공하면 다 높은 확률, 실패하면 낮은 확률을 부여
   4. GRPO(DeepSeek): 여러 궤적의 평균을 baseline으로 놓고 상대평가하여, 평균보다 잘하면 플러스, 못하면 마이너스로 그 궤적 자체를 강화하는 방식

2. 알고리즘의 역사적 뿌리 — 매우 오래된 아이디어

   1. Ronald Fisher의 score function: 통계학에서 1900년대 초반(1920년대)에 이미 등장한 개념
   2. REINFORCE / policy gradient: Williams 등이 1990년대 초반에 정립. 즉 RLVR의 근간 아이디어 자체는 굉장히 일찍부터 존재했으며, 최근 LLM 시대에 와서야 본격적으로 만개한 것

5.2. RLVR의 근본적 한계 — 결과만 보상하고 과정(토큰 하나하나)은 보상하지 않는다

1. 핵심 한계 구조

   1. 문제의 본질: 수학 문제를 예로 들면 풀이가 어떻게 쓰였든 결과(정답)만 맞으면 그 전체 궤적을 다 강화하기 때문에, 풀이가 얼마나 간결한지·예쁜지는 제대로 강화학습되지 않음 — 이는 앞서 우려한 "수백만 줄짜리 Lean 코드" 문제와도 직결
   2. 완화 시도: 최근 연구들은 regularizer 추가, 풀이 길이에 대한 보상 요소 추가 등 여러 기법("hacking")으로 이를 다루려 시도하지만, 여전히 근본적으로는 결과 중심 패러다임에 머물러 있음(최승준)

2. RLVR이 특히 취약한 영역

   1. 글쓰기(창작): 좋은 글은 독자가 어디서 멈칫할지, 어떤 오해를 할지, 어떤 순서로 받아들일지까지 고려하는 작업이며, 문장·단어 하나하나가 최종 결과물 그 자체다 — 코드처럼 "겉은 지저분해도 결과만 맞으면 되는" 방식이 통하지 않음(Dwarkesh 인용, 최승준 재구성)
   2. 정답이 여럿인 문제: "이것도 맞고 저것도 맞을 수 있는" 문제, 함의가 다층적인 문제 — 디자인, 예술 영역이 대표적
   3. 개그/소설: 박종현·최승준 모두 "개그는 정말 안 된다, 하나도 안 웃기다"고 실감 공유

5.3. 디자인 영역의 taste 문제 — YC의 AI 디자인 사례

1. 문제의식

   1. 관찰: 요즘 웹사이트나 PPT를 보면 "이거 Claude가 만든 디자인이네"라는 걸 한눈에 알아볼 만큼 AI 디자인에 특유의 느낌이 있음. 그런데 YC(Y Combinator)가 자체적으로 AI로 만든 디자인은 그런 티가 전혀 안 남

2. YC의 방법론 — Human-in-the-loop selection

   1. 프로세스: soul(정체성)과 mood board를 만들게 한 뒤, 사람이 그중에서 취향(taste)에 맞는 것을 selection. 그 taste를 다시 input으로 넣어 N가지 결과물을 뽑고, 거기서 또 사람이 selection하는 반복 구조
   2. 결론: 정답이 여럿일 수 있는 영역은 사람이 그 loop 안에 들어가 pick을 하는 방식으로 취향을 반영하고 있음 — 아직 사람의 취향이 자동으로 마법처럼 나오지는 않음. token/image 레벨에서 극복하는 방법은 있지만 "아직은 우아하지 않다"(최승준)

---

6. 실전 사례들 — 대형 프로젝트 마이그레이션, 신규 모델, 자기개선(RSI)

6.1. Anthropic의 Bun → Rust 마이그레이션 성공담

1. 개요
   1. 배경: Anthropic이 Bun(자바스크립트 런타임)을 인수한 뒤, 7월 8일 이를 Rust로 전환하는 약 100만 라인 규모의 대형 프로젝트 성공담이 공개됨
   2. 핵심 시사점: 에이전트 스웜(agent swarm)을 아무리 활용해도, 사전에 전문가가 약 3시간을 들여 자신이 아는 것을 압축해 제대로 된 스펙을 만들어야만 제대로 돌아간다는 점 — "그냥 되는 건 아니다"

6.2. 오픈 웨이트 모델 러시 — Inkling(TML)과 Kimi K3

1. TML(Thinking Machines Lab)의 Inkling

   1. 의미: 영어로 "희미한 실마리, 예감"이라는 뜻. 약 1T(1조) 파라미터에 가까운 대형 모델을 오픈 웨이트로 공개. "이제 시작이다"라는 예고편 성격으로 해석됨
   2. TML의 배경: OpenAI 전 CTO Mira Murati가 창업, John Schulman·Lilian Weng 등 유명 인사들이 합류. 다만 오랫동안 모델 출시 없이 파인튜닝 서비스, 논문, omnimodality 모델 등만 내놓다가 이번에 처음 본격적인 대형 모델을 공개

2. Harness Engineering for Self-Improvement — 스스로 파인튜닝하는 실천 사례

   1. 배경 아이디어: Lilian Weng이 공개한 「Harness Engineering for Self-Improvement」 개념의 실천판을 박재웅(블로거)이 잘 정리
   2. 핵심 실험: 자체 파인튜닝 인프라 Tinker에 올려 모델을 스스로 파인튜닝. 예시로 "리포그램(lipogram)" — 알파벳 e를 빼고 글을 쓰는 문학적 제약 창작 기법(울리포 등에서 유래)을 파인튜닝 목표로 삼아 학습시킨 사례 소개
   3. 작동 방식: Inkling 모델로 OpenCode를 돌리며 자기 자신을 특정 목적에 맞게 파인튜닝(RSI, Recursive Self-Improvement) — 결과적으로 출력 토큰의 경향 자체가 점점 바뀌어감
   4. 관련 사례: TML 외에도 AIDE²라는 곳에서 하네스(harness) 차원의 자기개선을 시도 중 — 모델 웨이트를 업데이트하는 자기개선과 하네스를 업데이트하는 자기개선이 동시에 진행되는 흐름으로 관찰됨

3. Kimi K3

   1. 개요: MoE(Mixture of Experts) 아키텍처의 대형 오픈 웨이트 모델. 개인이 직접 돌리기는 어려운 규모지만 오픈 웨이트로 공개된 것 자체가 고무적. 각종 GPU 클라우드/네오클라우드에서 서빙되고 OpenRouter로도 제공될 예정
   2. 특기사항: 자체 칩 디자인도 하고 있다는 언급(중국 기업이 칩 규제로 막혀 있는 상황에서 주목할 지점). 공개 하루 전 나온 티저 영상 자체를 Kimi K3가 편집했다는 점도 소개됨

6.3. Satya Nadella의 "역정보 패러독스"와 Google/Gemini 근황

1. 역정보 패러독스(Inverse Information Paradox)

   1. 문제제기: 빅테크들이 고객 데이터를 학습/훈련에 쓰지 않겠다고 약속하지만, 서비스 "사용 양태" 자체가 데이터로 흘러 들어가는 건 막을 수 없음 — 지능의 시대에 기업이 자신의 핵심 지식 자산을 어떻게 보호해야 하는가에 대한 화두를 Satya Nadella가 던져 화제가 됨
   2. 대비되는 반응: Demis Hassabis의 관련 트윗도 있었지만, 최승준은 Satya Nadella의 문제제기가 더 생각할 지점이 많았다고 평가하며 "(경쟁 구도상) Demis Hassabis가 있는 Google이 지금 좀 곤란한 상황"이라고 언급

2. Google/Gemini에 대한 낙관적 전망

   1. 관점: 최신 모델 경쟁에 일희일비하기 쉽지만, 연 단위로 시야를 넓히면 여러 회사가 다 잘 쫓아오고 있음. Gemini도 지난 출시 때 호평받은 기간이 꽤 길었고, Google은 데이터·하드웨어 모두 풍부하므로 조금만 기다리면 다시 좋은 결과를 낼 것이라는 기대(박종현, 최승준 공감)

6.4. GPT-5.6 사용 후기와 Minecraft 에이전트 개발 비화

1. GPT-5.6 사용 소감(박종현)

   1. 경험: 전날 밤 돌린 작업이 10시간 넘게 끝나지 않아 직접 멈춘 사례 — test-time compute(추론 시간 연산)에 강하게 집중하는 최근 경향이 이렇게도 드러난다는 소감

2. Minecraft 에이전트 개발 비화(최승준)

   1. 프로젝트 개요: 모델이 Minecraft 봇을 조작하도록 만드는 개인 프로젝트. 봇이 막히는 지점을 파악하기 위해, 봇이 쓰는 것과 같은 명령어로 자신이 직접 플레이할 수 있는 인터페이스까지 구축
   2. Fable 5 vs Sol 비교 관찰: Fable 5로 개발을 진행하며 Sol에게 리뷰를 맡겼는데, Sol이 강하게(적대적으로) 지적하면 Fable 5가 순순히 그 의견에 굴복하는 경향을 관찰. 이후 드라이버(주도 역할)를 Sol로 바꿔 human-in-the-loop(HITL)로 티키타카하며 진행했더니, Sol은 Fable 5를 리뷰할 때만큼 적대적으로 굴지 않고 대체로 수긍하는 경향을 보임 — "이런 리듬(주도-피드백 구조)에서는 Sol이 잘한다"는 인상
   3. 기술적 난제와 해결: 청크(chunk)를 대규모로 불러올 때 스트리밍 방식을 정하는 문제가 어려웠는데, 이 부분에서 Fable 5가 실수(삑사리)했고 이를 Sol이 해결
   4. 시간 부족 토로: 코딩을 시키는 것 자체에도 시간이 필요한데, 유튜브 준비(뉴스 확인·읽기)와 일상까지 병행하려니 시간이 부족하다는 두 진행자의 공통 토로. 리모트(모바일 등)로도 작업 가능하지만 근본적 시간 부족은 해결 안 됨

---

7. 마무리 — 파이 디자인 스쿨 소개 (광고)

1. 개요
   1. 소개: 토스가 만든 디자인 스쿨로 알려진 "파이 디자인 스쿨"에서 AI 수업을 진행 중(최승준이 강사로 참여). 루프 밖에서 스펙을 만들고 돌리는 작업뿐 아니라, 루프 안에 들어가 Rust를 몰라도 알고리즘 핵심을 이해하며 임하는 모드까지 "양쪽을 다 겪어봐야 한다"는 철학으로 커리큘럼 구성
   2. 호응: 박종현도 실제로 강의 페이지를 둘러본 소감을 전하며 디자인을 전혀 모르지만 잘하고 싶다면 가고 싶어질 정도라고 평가
   3. 지원자 특성: 개발자들도 다수 지원 — 직무 연계 고민인지 커리어 피벗 고민인지는 각자 다르지만, 비-디자인 전공자들도 프리코스 1기·2기에 지원. 등록금은 대학 등록금 수준으로 상당한 투자가 필요하지만, 디자인 분야 유명인사들이 함께 참여

---

주요 발언 모음

"좋은 연구라고 해서 꼭 좋은 학회에 등재가 잘되는 건 아니다. 리젝을 받기도 한다." — 박종현 (PPO 리젝 사례를 두고) "좋은 수학자는 정리를 증명하는 것이고, 위대한 수학자는 좋은 추측을 하는 것이고, 정말 최고의 수학자는 좋은 정의를 가지고 온다." — Grant Sanderson 인용 (박종현 재인용) "IMO의 숨겨진 사실은 엄청 훈련을 많이 할 수 있다는 거다." — Grant Sanderson 인용 (박종현 재인용) "지금 우리가 다 참이라고 생각하는 것들이 사실은 참이 아닌 게 엄청 많았던 거예요… 참이라고 믿는 추측을 다시 재증명하는 데 LLM은 낭비하는 걸 아까워하지 않기 때문에." — 박종현 "그거는 님한테만 쉬운 게 아닐까요?" — Dwarkesh Patel 인용 (Adam Brown에게, 박종현 재인용) "말하자면 재미없는 소설인 거죠. 설명이 불가능하지만 참이긴 한 거예요." — 박종현 (수백만 줄짜리 Lean 증명 코드를 두고) "글쓰기는 코드처럼 겉은 지저분해도 결과만 잘 나오면 되는 일이 아니다." — 최승준 (Dwarkesh 인용 재구성) "그런데 개인적으로는 컨텍스트의 저주 때문에 프롬프트로 그거를 하라고 했을 때만 모델이 해요." — 최승준 "저는 개인적으로 AI가 할 수 있지 않을까요… 그런데 향후 2년 정도의 타임스케일은 아닐 것 같아요. 10년, 20년 이렇게 바라보면." — 박종현

핵심 데이터 & 수치

• PPO 논문 리젝(2017년): John Schulman의 PPO 알고리즘 논문이 당시 학회에서 리젝됐으나, 이후 ChatGPT RLHF의 핵심 알고리즘이 됨
• ICML 이번 회차: 2만 3천 편 투고 → 6,352편 게재 (박종현 대학원생 시절 10년 전엔 게재 논문이 100편 단위였음)
• 허깅페이스 ICML 리프로듀스 챌린지: 약 6천 편 중 약 800편이 현재까지 리프로듀스됨 (마감 8월 2일, 반증 포함 추정)
• IMO 성적 추이: AI 모델이 2024년 은메달(조합 문제 1개로 실점) → 2025년 금메달 달성
• Lean 도입 시점: 재작년(2024) 딥마인드 IMO 은메달 때 Lean 코드 사용, 2026년부터는 Lean 미사용 추세
• 갈루아 군론의 검증 타임스케일: 이론 정립부터 쿼크 예측 등 실제 임팩트까지 약 100년 소요
• Inkling(TML) 모델 규모: 약 1T(1조) 파라미터에 근접
• Anthropic Bun→Rust 마이그레이션: 약 100만 라인 규모, 사전 스펙 작성에 전문가 약 3시간 소요
• RLVR 알고리즘 계보: Fisher score function(1920년대) → REINFORCE/policy gradient(1990년대 초반) → RLHF/RLVR(현재)

결론 및 시사점

1. 연구 평가 시스템의 위기가 먼저 온다: AI 시대의 진짜 병목은 "AI가 연구를 할 수 있는가"보다, 폭증하는 AI 생산 논문을 인간 사회가 검증할 수 있는가라는 문제일 수 있다. arXiv·ICML·ICLR 사례가 이를 실증한다.
2. RLVR의 성공 공식(verifiable reward)은 영역별로 강하게 갈린다: 수학·코딩처럼 정답 검증이 명확한 영역은 빠르게 발전하지만, 창작·디자인·과학적 통찰처럼 정답이 여럿이거나 결과보다 과정(토큰 하나하나)이 중요한 영역은 근본적 구조상 뒤처질 수밖에 없다.
3. "좋은 연구"는 여전히 3단계 위계로 나뉜다: 정리 증명(현재 AI 수준) → 좋은 추측 → 좋은 정의. 뒤로 갈수록 검증 타임스케일이 길어지고(갈루아 사례처럼 100년 단위), 즉각적 보상 구조인 RLVR과 충돌한다.
4. 다른 분야를 연결하는 능력은 AI에게 잠재력이 있지만, 아직 인간의 명시적 유도가 필요하다: "컨텍스트의 저주" 때문에 모델은 시키지 않으면 평균적인 답으로 수렴한다. 프롬프트 설계, 하네스 엔지니어링, 엔트로피 기반 탐색 유도 등이 실무적 해법으로 논의된다.
5. 압축(Compression)이 지능의 본질이라는 이론적 프레임이 부상하고 있다: Solomonoff induction, Kolmogorov complexity 등 오래된 알고리즘 정보이론이 현재 AI 논의의 근간으로 재조명되고 있으며, "좋은 설명"과 "좋은 압축"이 동일시되는 관점이 유용한 프레임이 될 수 있다.
6. 실전에서는 이미 자기개선(RSI) 루프가 작동 중이다: TML의 Tinker 기반 파인튜닝, AIDE²의 하네스 자기개선 등 모델 웨이트와 하네스 양쪽에서 동시에 자기개선이 진행되고 있어, 이 흐름을 계속 지켜볼 가치가 있다.
7. 타임라인 전망: 두 진행자 모두 "좋은 연구"를 AI가 해낼 수 있다는 데는 낙관적이지만, 최고 수준(정의를 만드는 수준)까지는 10~20년 단위의 장기 타임스케일을 예상한다.