The Base Model Is Dead — Varun Singh, Arcee AI

URL: https://www.youtube.com/watch?v=xbPriQWXtWM 날짜: 2026-08-01 채널: aiDotEngineer (AI Engineer 컨퍼런스 발표)

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

Arcee AI의 프리트레이닝 리드 Varun(발표자 표기 Varon)은 ==베이스 모델이 "웹 텍스트 전체를 학습해 인간 지식 전체를 반영하는 존재"라는 기존 정의는 죽었으며, 이제 베이스 모델은 대규모 강화학습(RL)·에이전틱 행동을 위한 "프라이어(prior)"를 만드는 단계로 재정의되고 있다==고 주장한다.

• GPT-3 시절엔 웹 텍스트(Common Crawl, WebText2, Wikipedia 등)가 학습 데이터의 최대 85%를 차지했지만, 최신 모델(MAI Thinking 1)에서는 웹 텍스트 비중이 15%까지 떨어졌다
• 2024년 OpenAI o1, 2025년 1월 DeepSeek R1의 등장으로 RL이 "곁들임(cherry on top)"에서 성능을 극적으로 끌어올리는 핵심 축으로 격상됐다
• 최신 연구 트렌드는 프리트레이닝 단계에 포스트트레이닝 스타일 데이터(SFT, 합성 데이터, 에이전틱 트레이스)를 역주입해, 모델이 처음부터 RL에 적합한 표현을 학습하도록 만드는 방향으로 수렴하고 있다

발표자는 "베이스 모델은 죽었다, 그러나 사실은 아니다(not really)"라는 도발적 제목으로 시작해, 베이스 모델이 사라진 게 아니라 그 존재 목적이 "인간 지식의 저장소"에서 "RL·에이전트 행동을 위한 사전 준비 단계"로 바뀌었다는 점을 논증한다.

---

1. 과거의 프리트레이닝 패러다임

과거 언어모델 학습에서는 프리트레이닝(베이스 모델 구축)이 모델 품질을 결정짓는 핵심이었고, 포스트트레이닝과 RL은 부차적인 역할에 머물렀다.

1.1. 베이스 모델의 전통적 정의

1. 프리트레이닝의 목적

   1. 월드 지식 축적: 프리트레이닝은 모델이 다음 토큰 예측(next token prediction)을 통해 웹 텍스트로부터 세계 지식을 축적하고 유용한 표현(representation)을 구축하는 단계였다
   2. 아키텍처: 디코더 전용(decoder-only) 트랜스포머 구조를 기반으로 하며, GPT-3 논문이 보여주듯 비지도/자기지도(혹은 지도) 학습을 통한 다음 토큰 예측만으로 인컨텍스트 러닝(in-context learning) 능력이 발현됐다
   3. 참고 사례: Arcee 자체 모델과 GLM 4.5, GLM 5의 학습 프로세스 다이어그램도 모두 이런 프리트레이닝 단계를 공통으로 갖고 있었다

2. 데이터 구성의 특징

   1. 웹 텍스트 압도적 비중: GPT-3 학습 데이터의 대부분은 Common Crawl(범용 웹 스크랩), WebText2(또 다른 웹 스크랩), 일부 책, 그리고 고품질 인간 지식의 대표격인 Wikipedia로 구성됐다
   2. 수치: Wikipedia를 포함한 웹 텍스트만으로 GPT-3 학습 믹스의 약 85%를 차지했으며, Llama 3에서도 일반 지식에 해당하는 토큰이 여전히 약 50%를 차지해 웹 텍스트가 다수를 이뤘다

1.2. 과거 포스트트레이닝과 RL의 부차적 역할

1. 포스트트레이닝의 역할

   1. 지식 표면화: 포스트트레이닝은 프리트레이닝에서 축적된 지식을 챗 인터페이스로 "표면화"시키는 역할에 그쳤다
   2. 포맷 적응: 모델이 챗 템플릿, 질문-답변 포맷에 적응해 상호작용에서 유용해지도록 만드는 것이 주 목적이었다

2. RL은 "곁들임"에 불과했다

   1. 역할의 한계: 당시 RL은 지식이나 품질을 추가로 부여하기보다 상호작용의 "풍미(flavor)"를 다듬는 정도의 곁들임(cherry on top)이었다
   2. 컴퓨트 배분: 프리트레이닝이 전체 컴퓨트 예산의 대부분을 차지했고, 모델 성능의 상한선은 사실상 베이스 모델(프리트레이닝) 품질로 결정됐다

---

2. 2024~2025년의 패러다임 전환

OpenAI의 추론 모델 출시와 DeepSeek의 오픈소스 공개로 RL의 위상이 완전히 뒤바뀌었고, 이는 곧 에이전틱 코딩 붐으로 이어졌다.

2.1. 추론 모델의 등장과 RL의 재조명

1. 트리거 이벤트

   1. OpenAI o1 (2024): 추론 모델(reasoning model)을 개척한 첫 사례로, AIME(경시 수학 대회) 성능이 극적으로 향상되는 유명한 그래프를 공개했다
   2. DeepSeek R1 (2025년 1월): 이런 유형의 언어모델을 만드는 방법을 전 세계에 공개하며 재현 가능성을 열었다

2. RL의 위상 변화

   1. "곁들임"에서 "핵심"으로: RL은 더 이상 곁들임이 아니라 다양한 태스크에서 모델 성능을 극적으로 향상시키는 새로운 용도로 재조명됐다
   2. 함수 호출 능력 강화: 모델이 함수 호출(function calling) 등에서 점점 강력해지면서, 사람들은 이 과정을 엔드투엔드로 RL 할 수 있다는 걸 깨달았다

2.2. 에이전틱 코딩의 부상

1. Claude Code의 등장

   1. 개발자 워크플로우 변화: Claude Code가 등장하면서 개발자들이 터미널에서 언어모델을 활용해 애플리케이션을 손쉽게 구축할 수 있게 됐다
   2. 소프트웨어 환경과의 상호작용: 이후 모델들이 소프트웨어 환경과 상호작용하는 법, 소프트웨어를 빌드하고 실질적으로 유용한 작업을 수행하는 법을 학습하기 시작했다

2. 핵심 질문의 등장

   1. 프라이어로서의 베이스 모델: 이제 질문은 "표준 베이스 모델이 대규모 RL 단계(연구자·에이전틱 모델이 사용하는)를 위한 최선의 프라이어(prior)인가?"로 바뀌었다
   2. 연구 방향의 불명확성: 오픈 리서치 논문들에서도 이 방향이 아직 명확히 수렴하지 않았으며, 발표자는 개인적으로 합성 데이터가 답이라 보지만 상반된 두 관점이 공존한다고 밝혔다

---

3. 새로운 프리트레이닝 데이터 레시피 — 두 갈래 접근

베이스 모델을 RL의 프라이어로 재정의하는 과정에서, 연구 커뮤니티는 상반된 두 가지 데이터 전략을 취하고 있다.

3.1. MAI Thinking 1: 합성 데이터 배제 노선

1. 원칙

   1. 합성 데이터 전면 배제: MAI Thinking 1 논문은 합성 데이터나 다른 언어모델이 생성한 데이터를 전혀 사용하지 않는다는 점을 강하게 못박는다
   2. 웹 스크랩 필터링: 이전 패러다임(인간 지식을 활용해 모델 표현·능력을 부트스트랩하는 방식)을 고수하기 위해 웹 스크랩 데이터를 엄격히 필터링했다

2. 그럼에도 데이터 믹스는 근본적으로 달라졌다

   1. 웹 텍스트 비중 급감: 합성 데이터를 안 쓰는데도, 웹 텍스트 비중이 GPT-3의 85%에서 15%까지 떨어졌다 — 이는 웹 텍스트의 다운스트림(RL 등) 기여도가 여전히 중요하지만, 코드·STEM 능력에 자리를 내주고 있다는 뜻이다
   2. 실사용 케이스 반영: 모델이 코드·과학기술 관련 실사용 케이스를 더 많이 획득하면서 데이터 구성도 그에 맞춰 재편됐다

3.2. NeMo Tron 3 Ultra: 포스트트레이닝 데이터 역주입 노선

1. 접근 방식

   1. SFT 데이터의 프리트레이닝 역주입: 포스트트레이닝 데이터와 대규모 합성 데이터를 프리트레이닝 단계로 다시 끌어오는 방식으로, NeMo Tron 3 Ultra의 데이터 레시피 파이차트 상위 3개 항목이 모두 "SFT" 접두어를 달고 있다
   2. 대화 형태 조기 학습: 원래 포스트트레이닝에서만 볼 법한 질문-답변형 챗 데이터를 프리트레이닝 초기부터 노출시켜, 모델이 대화의 형태와 다운스트림에서 요구될 태스크 유형을 처음부터 학습하게 한다

2. 결과적으로 웹 텍스트 비중 역시 감소

   1. 공통된 트렌드: MAI Thinking 1과는 정반대 철학이지만, 결과적으로 웹 텍스트 사용량을 줄이는 동일한 트렌드를 보인다
   2. 코드 데이터의 부상: GPT-3에는 코드 전용 데이터셋조차 없었지만, 현재는 코드가 프리트레이닝 레시피에서 지배적인 데이터 서브셋이 됐다

---

4. 합성 데이터의 실전 활용

"합성 데이터를 무분별하게 넣으면 모델이 붕괴한다"는 우려가 있지만, 대규모로 성공한 실전 사례들이 존재한다.

4.1. 리프레이징 기반 합성 데이터 (Arcee, Kimi K2)

1. Arcee 자체 사례 (Trinity 계열 모델)

   1. 리프레이징 방식: 시드 데이터 아이템 하나를 골라 합성적으로 리프레이즈(rephrase)한 버전들을 만들어 믹스에 업샘플링하는 방식으로, 웹 스케일 합성 데이터를 대량 사용했다
   2. 다각도 노출 효과: 모델이 동일한 정보를 여러 방식으로 반복해서 보게 되는 효과가 있다

2. 더 큰 스케일의 사례들

   1. Kimi K2: 프리트레이닝 데이터셋 전체에 걸쳐 이런 리프레이징 방식을 광범위하게 적용한, 훨씬 더 큰 규모의 사례다
   2. Swallow Code / Swallow Math: 이런 접근의 초기 예시로, 특정 논문에서 나온 결과물이다

4.2. 합성 데이터가 주는 이점

1. 토큰 수량과 품질
   1. 토큰 증가: 합성 데이터는 단순히 더 많은 토큰을 확보하게 해줄 뿐 아니라, 토큰을 정제(clean up)하고 품질을 높이는 효과도 있다
   2. 태스크 형태 조기 학습: 인스트럭트(instruct)나 에이전틱 태스크 형태로 다듬어진 토큰을 프리트레이닝 아주 초기부터 모델에 노출시켜, 해당 태스크 표현을 처음부터 배우게 할 수 있다

---

5. MoE 로드 밸런싱과 미드트레이닝

프리트레이닝 초기에 포스트트레이닝 스타일 데이터를 넣는 또 다른 이유는 MoE(Mixture of Experts) 아키텍처의 로드 밸런싱 문제 때문이다.

5.1. MoE 로드 밸런싱 문제

1. 문제의 본질

   1. 전문가(expert) 특화: MoE를 학습시킬 때 가장 큰 골칫거리 중 하나가 로드 밸런싱이다 — 학습이 진행되며 전문가들이 특정 영역에 특화되는데, 로드 밸런싱 목표는 배치나 시퀀스 단위로 전문가들의 활용도를 대략 균등하게 유지하는 것이다
   2. 분포 불일치의 위험: 프리트레이닝 초기에 포스트트레이닝 데이터가 없으면, 포스트트레이닝에서 모델이 마주치는 데이터 분포가 프리트레이닝 때와 확연히 달라져 대규모 불균형을 초래할 수 있다 (MAI Thinking 1 리포트에 잘 설명돼 있음)

2. 대응 방식의 차이

   1. MAI의 임시방편: MAI Thinking 1은 SFT 단계에서 로드 밸런싱 계수를 크게 끌어올려(cranking up) 이 문제를 극복했다
   2. 더 나은 방향: 발표자는 학습 후반부에서 밸런스를 억지로 조정하기보다, 모델이 아주 초기부터 안정적인 표현을 학습하도록 하는 게 이상적이라고 강조한다

5.2. 미드트레이닝(mid-training) 개념

1. 정의
   1. 분포 사전 노출: 미드트레이닝은 모델을 포스트트레이닝·RL에서 마주칠 분포(더 긴 컨텍스트 포함)에 미리 노출시키는 것으로, 에이전틱 트레이스 같은 데이터를 믹스에 포함시켜 모델을 준비시킨다
   2. 긴 컨텍스트 프리트레이닝과의 결합: 이미 많은 모델이 프리트레이닝에서부터 훨씬 긴 컨텍스트로 학습하고 있으므로, 이런 데이터셋을 초기부터 믹스에 끌어와 더 안정적인 표현을 구축하지 못할 이유가 없다는 것이 발표자의 주장이다

---

6. 프리트레이닝을 재정의하기 — RL을 위한 프라이어로

발표자는 프리트레이닝/미드트레이닝/포스트트레이닝/RL을 각각의 별개 단계로 보는 대신, "지도학습(다음 토큰 예측) + RL"이라는 두 개의 큰 패러다임으로 이해하는 게 더 낫다고 제안한다.

6.1. 지도학습과 RL의 컴퓨트 배분 변화

1. 업계 사례

   1. Xiaomi Mimo Labs: Xiaomi Mimo Labs 리더의 인터뷰에 따르면, 최종 모델에서 프리트레이닝과 포스트트레이닝에 거의 동등한 컴퓨트가 배분된다 (연구·프리트레이닝·포스트트레이닝 간 컴퓨트 배분 언급)
   2. Composer 2.5(Cursor): 이보다 더 극단적인 사례로, 모델이 지도학습에서 본 적 없는 수준으로 훨씬 더 많은 RL 컴퓨트를 투입했다

2. 지도학습의 역할 재정의

   1. RL 준비 단계로의 전환: RL이 컴퓨트 예산의 압도적 비중을 차지하게 되면서, 지도학습을 "모델이 사용될 목적 그 자체"가 아니라 "RL을 위한 유용한 표현을 구축하는 준비 단계"로 보는 게 합리적이라는 게 발표자의 결론이다
   2. 관점 전환의 함의: 이는 곧 베이스 모델의 존재 이유가 "완성된 지식 저장소"에서 "RL이 잘 작동하도록 준비된 프라이어"로 바뀌었다는 뜻이다

6.2. 지도학습이 RL에 미치는 영향에 대한 연구

1. 핵심 발견

   1. 원자적 스킬(atomic skills) 필요성: 발표자가 언급한 한 논문의 핵심 결론은, 베이스 모델이 RL 도중 조합해야 할 "원자적 스킬"에 어느 정도 노출돼 있어야 하며, RL 환경이 충분한 난이도를 갖추면 모델이 거기서부터 외삽(extrapolate)해 학습할 수 있다는 것이다
   2. AlphaGo 비유: 발표자는 RL이 결국 지도학습을 추월하는 고전적인 AlphaGo 그래프를 인용했다

2. 언어모델에서의 불확실성

   1. 인간 언어의 난해함: 인간 언어는 순수 RL만으로 학습하기엔 너무나 방대하고 복잡한 분포이기 때문에, 언어모델에서도 AlphaGo와 같은 현상이 나타날지는 아직 불명확하다
   2. 지도학습 축소 가능성: 그럼에도 지도학습 비중이 줄고 RL 비중이 더 커지는 방향으로 갈 가능성이 있으며, 이 경우 베이스 모델을 "RL을 위한 원자적 스킬 집합"으로 사고하는 프레임이 더욱 유용해질 것이라고 본다

6.3. 지도학습에 새로운 데이터 유형 도입

1. "낯선(novel)" 데이터의 등장

   1. 추론 트레이스: 일부 랩(lab)은 모델이 기존에 전혀 본 적 없는 형태의 데이터를 지도학습 단계에 도입한다 — 대표적 예가 추론 트레이스(reasoning trace)로, 인간이 일반적으로 출력하는 텍스트와는 형태가 상당히 다르다
   2. 테스트 타임 컴퓨트를 위한 워밍업: 또 다른 흥미로운 방향은 SFT나 심지어 프리트레이닝 단계에서부터 모델을 테스트 타임 컴퓨트(test-time compute) 스킴에 미리 "워밍업"시키는 것이다 (Zephyr의 Ziya 1 논문 스크린샷 인용)

2. 의의

   1. RL 탐색 능력에 대한 영향: 이런 데이터 설계가 RL에서 모델이 얼마나 잘 탐색(explore)할 수 있는지에 영향을 미치는 흥미로운 방식이라고 평가한다

---

결론

발표자는 베이스 모델의 정체성이 근본적으로 바뀌었다고 결론짓는다.

1. 패러다임 전환의 요약: 베이스 모델은 일반적인 인간 지식과 세계에 대한 프라이어(world prior)를 담는 존재에서, 추론(reasoning)과 에이전틱 행동(agentic behavior)을 위한 프라이어를 담는 존재로 이동했다.
2. 현재 관점의 한계 인정: 이는 다소 환원적(reductive)인 서술이라는 점을 발표자도 인정한다 — 현재 챗봇을 사용하는 주된 방식이 추론자·에이전트 형태이기 때문에 이렇게 결론 내린 것일 뿐이다.
3. 미래를 향한 열린 결론: 만약 새로운 상호작용 패러다임(모델과 상호작용하는 새로운 방식)이 등장한다면, 베이스 모델은 그저 거대한 웹 텍스트 스크립트를 학습하는 대신, 그 새로운 패러다임을 위한 프라이어를 구축하는 존재로 사고해야 한다는 것이 발표의 최종 메시지다.

---

주요 발언 모음

"The talk I'm going to be giving today is called the base model is dead. Um but not really." — 오늘 발표 제목은 '베이스 모델은 죽었다'다. 근데 사실 아니다.

"RL was mostly just a cherry on top, shaping the flavor of the interactions more than conferring extra knowledge or quality onto the base model itself." — (과거에는) RL이 그저 곁들임이었고, 베이스 모델에 지식이나 품질을 더해주기보다는 상호작용의 풍미를 다듬는 정도였다.

"Web text, which used to make up like up to 85% of the train data in GPT-3, is now all the way down at 15%." — GPT-3 학습 데이터의 최대 85%를 차지했던 웹 텍스트가, 지금은 15%까지 줄었다.

"With RL dominating such a massive amount of the compute budget, it makes sense to view supervised learning as a way specifically to prepare the model to build useful representations for RL." — RL이 컴퓨트 예산의 압도적 비중을 차지하는 지금, 지도학습은 RL을 위한 유용한 표현을 만들어주는 준비 과정으로 보는 게 합당하다.

"Base models have kind of moved from general human knowledge and world priors to reasoning and agentic behavior priors." — 베이스 모델은 일반적인 인간 지식·세계에 대한 프라이어에서, 추론과 에이전틱 행동을 위한 프라이어로 옮겨갔다.

핵심 데이터 & 수치

• GPT-3 데이터 믹스: 웹 텍스트(Common Crawl + WebText2 + Wikipedia)가 학습 믹스의 약 85% 차지
• Llama 3 데이터 믹스: 일반 지식에 해당하는 토큰이 약 50% 차지
• MAI Thinking 1: 합성 데이터를 전혀 안 쓰는데도 웹 텍스트 비중이 15%까지 하락
• Xiaomi Mimo Labs: 최종 모델에서 프리트레이닝과 포스트트레이닝 컴퓨트 배분이 거의 동일
• Composer 2.5(Cursor): 지도학습에서 본 적 없는 규모의 RL 컴퓨트를 투입한 극단적 사례
• GPT-3 vs 현재: GPT-3는 코드 전용 데이터셋이 없었지만, 현재는 코드가 프리트레이닝의 지배적 서브셋

결론 및 시사점

1. 데이터 전략 재검토 필요: 베이스 모델 학습 시 웹 텍스트 비중을 무조건 늘리기보다, 코드·STEM·에이전틱 태스크 형태의 데이터 비중을 의도적으로 높이는 방향이 트렌드다.
2. 합성 데이터는 무섭게 여길 대상이 아니라 도구: "합성 데이터 = 모델 붕괴"라는 통념과 달리, 리프레이징 기반 합성 데이터를 대규모로 성공적으로 활용한 사례(Arcee Trinity, Kimi K2)가 이미 존재한다.
3. MoE를 쓴다면 조기 데이터 설계가 중요: MoE 아키텍처를 채택할 경우, 포스트트레이닝 스타일 데이터를 프리트레이닝 초반부터 섞어 넣는 것이 로드 밸런싱 문제를 사전에 예방하는 데 유리하다.
4. 프리트레이닝/포스트트레이닝의 경계를 허물어라: 프리트레이닝·미드트레이닝·포스트트레이닝을 엄격히 구분하기보다, "지도학습 vs RL"이라는 두 축으로 재구성해 사고하면 최신 모델 학습 트렌드를 더 잘 이해할 수 있다.
5. 베이스 모델의 목적을 재정의하라: 베이스 모델을 "완성된 지식의 저장소"가 아니라 "RL·에이전틱 학습이 잘 작동하도록 준비된 프라이어"로 보는 관점이, 향후 모델 설계와 데이터 전략 수립에 있어 더 실용적인 프레임이 된다.