영상은 Dwarkesh Patel이 자신의 블로그 글을 읽어준 음성 해설 형식이다. AI가 인간처럼 "일을 하려면" 단순히 세션마다 메모를 남기는 게 아니라 실제 경험을 축적하는 **지속적 학습(continual learning)**이 필요하다는 주장을 출발점으로, 지속적 학습 시대가 도래하면 어떤 변화가 생길지 8가지 예측을 제시한다.
1. 전체 한눈에 보기
Dwarkesh Patel은 현재 AI 시스템이 인간처럼 업무 전체를 수행하려면 세션 간 맥락을 축적하는 지속적 학습이 필수적이라고 본다. 그는 색소폰 학습에 비유한다: 한 학생이 첫 연주 후 실패하며 남긴 메모를 다음 학생이 읽고 또 메모를 덧붙이는 식으로는 결코 실제 연주 실력이 쌓이지 않는다. 어느 시점에는 경험이 뇌, 즉 모델의 가중치에 축적되어야 한다. 이 같은 지속적 학습이 현실화되면 규제, 정렬, 시장 구조, 경제성 전반에 걸쳐 우리가 알고 있는 AI 산업의 기본 전제가 무너질 수 있다. 그는 이 변화를 8가지 예측으로 정리했다.
2. 8가지 예측 뼈대
- AI 규제의 기본 전제가 바뀐다: 학습 후 배포하는 고정 모델을 가정한 규제는 무의미해진다. 월별·분기별 위험 점검이 더 적합하다.
- 기술적 정렬의 초점이 바뀐다: 고정된 가중치 안전성 검증에서, 지속적 업데이트에도 안전하고 속이지 않는 시스템을 설계하는 문제로 전환된다.
- AI 사고방식의 다양성이 증가한다: 같은 데이터로 훈련된 소수 모델 대신, 경험에 따라 분화된 수많은 AI 인스턴스가 등장한다.
- AI 경쟁의 수확 체감이 가팔라진다: 배포 자체가 학습이 되면 선두 모델이 더 많은 사용자 피드백을 흡수해 더 빠르게 개선된다.
- 최고 모델의 조기 배포 압력이 커진다: 내부 테스트 기간이 길어질수록 경쟁자에게 실제 경험 기반 학습 우위를 내줄 수 있다.
- 선두 연구소의 해자가 명확해진다: 사용자·조직 맥락이 축적된 모델을 바꾸는 비용이 커지며 클라우드 사업과 유사한 높은 마진이 가능해진다.
- 기업과 사용자의 락인(lock-in) 논쟁이 심화된다: 연구소는 데이터 학습을 허용하는 사용자에게 보조금과 최신 모델 접근권을 주고, 거부자는 배제할 수 있다.
- 추론 단계에서도 규모의 경제가 발생한다: 희소 모델의 배치 효율 때문에 대기업이 개인 사용자보다 훨씬 저렴하게 개인화된 모델을 운용할 수 있다.
3. 예측별 심층 해설
1) AI 규제: "학습 후 배포"라는 가정이 붕괴한다
현재 대부분의 AI 규제 제안은 모델을 한 번 학습시킨 뒤 공개하는 전형적인 라이프사이클을 전제로 한다. 그래서 배포 전에 평가·검사를 수행하면 사이버 공격이나 이상 행동을 방지할 수 있다고 가정한다. 하지만 지속적 학습 체제에서는 모델이 매일 수백만 건의 작업 세션을 거치며 가중치가 업데이트된다. 이때 배포 전후의 구분은 거의 의미를 잃는다. Patel은 **정부가 안전 평가를 원한다면 배포 전 특정 시점에 집착하기보다 월별·분기별 위험 점검(risk inspections)**을 하는 것이 더 현명하다고 주장한다. 그 이유는 미래 기술이 어떻게 변할지 1년, 5년, 10년 뒤를 알 수 없으므로, 현재의 규제 체제를 고착화시키는 것이 오히려 구시대적이고 역효과를 낳을 수 있기 때문이다.
2) 기술적 정렬: 얼어붙은 가중치에서 살아 움직이는 가중치로
오늘날 정렬 연구는 "배포 중 고정된 가중치가 잘 작동하는가"에 초점을 맞추고 있다. 하지만 지속적 학습에서는 가중치가 끊임없이 업데이트되는 상황에서도 AI가 탈옥(jailbreak)에 걸리지 않고, 기만적이거나 악의적인 인격으로 변질되지 않도록 막는 문제가 중심이 된다. 더 큰 문제는 AI가 사용자 간 학습을 통합할 때, 특정 사용자가 기본 모델에 백도어나 악의적 의도를 주입할 수 있다는 점이다. Patel은 이를 인간의 정렬 문제에 빗댄다. 아이들은 밖에서 새로운 경험을 쌓고 때로는 이상한 이념이나 잘못된 선택에 노출되지만, 부모는 충분한 상식과 가치관을 심어주어 스스로 건강하게 성장하길 바란다. 마찬가지로 AI에게도 변화하지 않을 핵심 가치와 상식을 부여한 채로 자기 주도적 학습을 허용하는 방법을 찾아야 한다.
3) AI 사고방식의 다양성: 단일체 대신 생태계
현재 세계를 지배하는 뛰어난 AI 엔진은 다섯 개도 채 되지 않으며, 모두 거의 같은 데이터로 훈련되어 서로 유사하다. 하지만 지속적 학습이 보편화되면 경험이 회사별, 인스턴스별로 달라지면서 모델들이 분화할 것이다. Patel은 이를 긍정적으로 본다. 단조롭고 지루한 거대 단일체(monolithic singleton)가 아니라, 다양한 경험을 가진 다양한 AI들이 공존하는 세상이 더 흥미롭고 건강할 수 있다. 이는 현재 모델들이 보이는 모드 붕괴(mode collapse) 현상보다 낫다.
4) AI 경쟁 가속: 배포가 곧 훈련 데이터
지금까지는 모델의 능력이 주로 사전 학습과 사후 정렬에 의해 결정되었다. 그러나 지속적 학습 시대에는 배포 자체가 학습의 핵심 파이프라인이 된다. 최고의 모델을 가진 연구소에 더 많은 사용자가 복잡하고 유용한 작업을 맡기면, 그 AI는 세션 밖에서도 통합할 수 있는 풍부한 피드백을 얻는다. 이는 인간 전문가가 현장에서 실수와 성공을 반복하며 실력이 쌓이는 것과 같다. 따라서 앞서가는 자가 더 빠르게 앞서 나가는 수확 체감 증가(increasing returns to being ahead) 현상이 두드러진다.
5) 조기 배포 압력: 내부 테스트 기간은 사치가 된다
만약 모델이 실제 배포로부터 주로 학습한다면, 연구소들은 최고 성능 모델을 더 일찍 공개해야 하는 압박을 받는다. Patel은 Anthropic이 "Mythos"를 내부적으로 2월부터 사용하다 6월에 공개한 사례를 든다. 지속적 학습이 활성화된 세계에서는 4개월의 내부·외부 간격이 경쟹력을 해치는 사치가 된다. 출시일에 열등한 모델을 내놓은 경쟁사라도 실제 사용자 경험을 축적하면 몇 달 뒤 더 똑똑한 모델이 될 수 있다. 결국 안전성과 완성도를 위해 배포를 미루는 것이 점점 비싸진다.
6) 선두 연구소의 해자: 전환 비용이 마진을 만든다
많은 사람이 AI 연구소가 어떻게 돈을 벌 것인지 의문을 제기한다. Patel은 Dario Amodei(Anthropic CEO)가 클라우드 사업을 예로 든 것을 언급한다. AWS와 Google Cloud는 차별화되지 않은 서비스임에도 높은 마진을 남기는데, 그 이유는 **전환 비용(switching cost)**이 크기 때문이다. 지속적 학습 시대에는 사용자가 특정 AI를 오래 사용할수록 그 AI가 조직의 맥락, 선호, 프로젝트 이력을 축적한다. 이제 경쟁사 AI로 옮기는 것은 수개월의 조직 맥락을 쌓은 직원을 해고하고 신입 인턴을 처음부터 훈련시키는 것과 비슷하다. 이런 락인이 생기면 모델 제공업체는 상당한 마진을 요구할 수 있다.
7) 기업의 딜레마: 락인 vs. 기능 상실
기업들은 이 종속을 피하려 하겠지만, 선택지는 두 가지뿐이다. 모델 제공업체에 종속되거나, 세션마다 모델이 개선되는 귀중한 기능을 포기하거나. 만약 실제 사용 데이터가 모델 개선의 주요 동력이 된다면, 연구소들은 구글의 무료 검색과 같은 논리로 사용자 데이터 수집을 장려한다. 신규 코딩 AI 사용자에게 제공되는 혜택들이 이미 이런 흐름을 보여준다. 반대로 연구소는 학습 세션 사용을 거부하는 기업에게 최신·최고 모델 접근을 제한할 수도 있다. 당근과 채찍을 모두 활용해 사용자들이 AI가 경험으로부터 학습하도록 허용하게 만들 것이다.
8) 추론의 규모 경제: 대기업의 개인화 우위
AI 훈련은 이미 규모의 경제가 크다. 그러나 Patel은 지속적 학습이 추론(inference) 단계에서도 규모의 경제를 만들 수 있다고 주장한다. 희소(sparse) 모델의 경우 최적 배치 크기가 수천 개의 동시 시퀀스에 달한다. 수많은 직원과 에이전트가 다양한 업무를 처리하는 대기업은 한 개인 사용자가 배치 크기 1로 실행하는 경우보다 컴퓨팅 효율이 두 자릿수 이상 높을 수 있다. 이는 개인 맞춤형 지속 학습의 경제성이 대규모 조직에 매우 유리하게 작용한다는 의미다. 따라서 개인 사용자가 자신만의 지속 학습 AI를 싸게 유지하기는 어려워질 수 있다.
4. 정리 및 시사점
Patel은 지속적 학습이 아직 완전히 실현되지 않았으며, 실제로 효과를 발휘하기 전에 더 많은 변화가 있을 것이라고 강조한다. 그중에서도 가장 중요한 변화는 지금으로서는 예측하기 가장 어려운 변화일 가능성이 높다. 그럼에도 불구하고 위 8가지는 이미 꽤 분명하게 예상할 수 있는 방향이다.
- 규제 설계자는 고정 모델 시대의 사전 평가 패러다임에서 벗어나, 지속적으로 변하는 시스템에 대한 모니터링과 적응형 규제를 고민해야 한다.
- 정렬 연구자는 얼어붙은 가중치를 검증하는 것을 넘어, 살아 움직이는 가중치가 안전하고 선한 방향으로 학습하도록 유도하는 메커니즘을 개발해야 한다.
- 기업과 투자자는 AI 시장이 단순히 모델 성능 순위를 다투는 구조에서, 사용자 데이터와 맥락 축적에 따른 락인과 네트워크 효과가 지배하는 구조로 바뀔 수 있음을 인지해야 한다.
- 일반 사용자는 더 강력하고 개인화된 AI를 얻을 수 있지만, 동시에 데이터 제공과 플랫폼 종속이라는 거래의 본질이 더욱 뚜렷해질 수 있다.
이 영상은 단순한 기술 예측을 넘어, AI가 "경험을 기억하고 성장하는 존재"로 진화할 때 사회·경제·정책 전반이 어떻게 재편될지를 제시하는 단기 예측 보고서다.
5. 원문 핵심 발화
"I don't think you can have AIs that perform whole jobs as competently as humans if they are forced to just write marked files from session to session." (AI가 세션마다 표시된 파일을 작성하는 것만 강요받는다면 인간만큼 모든 작업을 능숙하게 수행할 수 없다.)
"Humans improve in a self-directed way... you hope that you've given them enough common sense and basic values that they improve as people without ending up with some super weird beliefs or some misanthropic ideas." (인간은 자기 주도적으로 성장한다. 아이에게 충분한 상식과 기본 가치를 심어주어 이상한 신념이나 인간 혐오적 생각을 갖지 않고 성장하길 바란다.)
"A world where we have continual learning would hopefully be more interesting than the mode collapse of different models we see in the world right now." (지속적 학습이 있는 세상은 현재 모델들의 모드 붕괴보다 흥미로울 것이다.)
"You basically had to fire an employee that has accumulated months of context on your organization and replace them with a very fresh, very inexperienced new intern." (AI를 바꾸는 것은 조직에 대한 수개월의 맥락을 축적한 직원을 해고하고, 경험이 부족한 신입 인턴으로 대체하는 것과 같다.)