Modern Post-Training: A Deep Dive — Will Brown, Prime Intellect

AI Engineer 컨퍼런스 발표. Will Brown (Prime Intellect 응용연구 리더)이 현대적 사후 학습(Post-Training)의 전체 구조와 Prime Intellect의 오픈소스 툴킷을 심층 소개.

---

핵심 주제 1: Prime Intellect와 Open Superintelligence Stack

Prime Intellect의 미션

• 목표: 대규모 오픈소스 AI 연구를 민주화하고, 기업이 자체 모델을 학습/배포할 수 있도록 지원
• 단순히 좋은 오픈소스 모델을 제공하는 것에서 나아가, 가져다가 자신의 유스케이스에 맞게 더 개선할 수 있는 선택권 부여
• "개방형 초지능 스택(Open Superintelligence Stack)"이라는 비전 — 1년 전엔 마케팅 문구처럼 들렸지만 이제는 실질적 현실

인프라 현황

• 전 세계 데이터센터로 구성된 글로벌 컴퓨트 마켓플레이스 운영
• 10,000개 이상의 GPU 운영 중 (클러스터당 수백~수천 GPU)
• 스택 구성: Compute → Training Framework → Environment Hub → Lab Platform → Model Intelligence

스택 구성 요소

레이어	구성 요소
컴퓨팅	글로벌 GPU 마켓플레이스
학습	PrimeRL (비동기 RL 프레임워크)
환경	Verifiers V1 + Environment Hub
플랫폼	Lab (연구 워크플로우 플랫폼)
모델	Prime Intelligence 모델 시리즈

---

핵심 주제 2: 현대적 사후 학습(Post-Training)의 구조

환경(Environment)이란 무엇인가

• 환경 = 모델이 무엇을 해야 하는지를 명시하는 언어
• 포함 요소:
  • 에이전트가 처할 시나리오 (데이터)
  • 에이전트가 환경과 상호작용하는 방식 (도구/하네스)
  • 좋은 결과 vs 나쁜 결과를 판단하는 기준 (보상/검증)
• 핵심 인사이트: 환경과 평가는 본질적으로 같은 것 → 평가가 사후 학습의 진입문

평가(Evaluation)의 역할

• 평가는 단순히 "어떤 모델이 더 나은가"를 판단하는 것이 아님
• 다목적 활용:
  1. 오프라인 평가 (모델 비교)
  2. RL 훈련용 환경
  3. SFT 데이터 생성
• GPT vs Claude 선택, 또는 같은 제공사 내 어떤 모델이 특정 작업에 최적인지 결정

현대 사후 학습의 4가지 주요 기법

기법	설명	특징
SFT (Supervised Fine-Tuning)	환경에서 롤아웃 → 데이터 저장 → 트레이너에 공급	데이터 업로드 방식보다 환경 기반이 현실적
RL (Reinforcement Learning)	환경에서 롤아웃 → 보상 신호로 학습	GRPO, DPPO 등
정책 증류 (Policy Distillation)	교사 모델의 로그 확률을 기준으로 점수 계산	온폴리시 증류로 멀티-환경 전문가 합성에 유용
자기 증류 (Self-Distillation)	힌트 포함 다른 프롬프트로 시퀀스 생성 후 원본으로 트리밍	자기 자신이 교사이자 학생

전문가 합성 패턴

• 동일 기본 모델에서 여러 환경별 RL 전문가를 따로 훈련
• 이 교사 모델들을 동일 체크포인트로 증류 → 단일 모델이 다양한 환경에서 최고 성능
• "일반적으로 이 방법이 더 신뢰할 수 있다"

반복적 개선 사이클

• 사후 학습은 한 번만 하는 게 아님 → 지속적 플라이휠
• "프론티어 모델이 어차피 좋아질 텐데 왜 사후 학습을?"에 대한 답변:
  • 내 모델도 좋아진다. 모든 게 다 나아진다.
  • 훈련 컴퓨팅 비용은 전체 추론 예산 대비 작다 → 현실 세계에서 더 많은 신호 수집할수록 점점 개선
• 미해결 과제: 실제 세계 피드백을 환경에 어떻게 반영하느냐 (공학 + 연구 문제)

---

핵심 주제 3: Verifiers V1 — 환경 설계 재구성

왜 리팩토링했는가

• 기존 패턴: 멀티턴 환경 패턴, 툴 환경 패턴 → 초기에는 유용했으나 확장시 반복 작업 발생
• CLI 에이전트 지원, MCP 지원 등을 추가할 때마다 동일 패턴 반복
• 결정: 한 발짝 물러나 환경이 어떻게 작동해야 하는지 근본적으로 재설계

핵심 3요소 구조 (TaskSet + Harness + Runtime)

[TaskSet]    ← 에이전트와 무관한 데이터와 규칙 (무엇을 해야 하나)
     ↕
[Harness]    ← 에이전트 실행 방식 (어떻게 실행하나)
     ↕
[Runtime]    ← 코드가 실행되는 곳 (어디서 실행하나)

TaskSet

• 데이터셋의 한 행과 같은 개념
• 에이전트와 독립적인 데이터와 규칙
• 통합: Hugging Face, Harbor, NeMo Gym, Open Ended 등과 기본 통합
• 환경 상태를 나타내지만 모델 기능을 소유하지 않음

Harness

• 에이전트 실행 방식을 정의
• 지원하는 에이전트 유형:
  • RLM (Recursive Language Model): Codex, Claude Code, Open Code 같은 CLI 에이전트
  • 연구 에이전트: Mini Sweep Agent 등
  • 임의 Python 에이전트: LangChain, DSPy 등
• TaskSet과 독립적으로 작성 가능
• UV 스크립트로 실행

Runtime

• 코드 실행 환경
• 선택 옵션:
  • 로컬 실행 (MacBook에서 프로토타이핑)
  • 로컬 Docker
  • Prime 샌드박스 레이어
  • 사용자 정의 샌드박스

인터셉션 서버(Intercept Server) 패턴

[Harness] → 가짜 Base URL(OpenAI/Anthropic 호환) → [인터셉션 서버] → [실제 추론 서버]

• 핵심: 하네스는 자신이 RL을 하고 있다는 사실을 모름
• 하네스가 실제 환경에서 작동하는 것처럼 동작
• 모드 전환 용이: RL 설정 ↔ 일반 배포 설정
• 다양한 방언 지원: OpenAI Chat Completions, Responses API, Anthropic API

추적 그래프(Trace Graph)

• 서브에이전트와 병렬 분기 트리 지원
• 메시지 레벨(논리 공간) vs 토큰 레벨(수치 공간) 분리
• 재토큰화(re-tokenization) 문제 해결:
  • 모델 출력 → 텍스트 변환 → 토크나이저 재입력 시 미묘한 불일치 발생
  • 해결: 추적 데이터를 메시지 레벨에 저장 후 필요시 토큰 레벨로 매핑

Renderers 라이브러리

• 독립형 Python 라이브러리 (다른 핵심 요소 불필요)
• 기존 채팅 템플릿의 문제:
  • 불필요한 줄바꿈 제거로 트레이너-추론 간 불일치
  • 토크나이저 미묘한 차이로 논리/토큰 공간 분기 오류
• 역할: 채팅 템플릿을 프로그래밍 가능한 아티팩트로 변환, 올바른 토큰화 방식 관리
• 원본 개념: OpenAI GPT 오픈소스 릴리스 + "Thinking Machines" 책

보상 설계의 핵심: 그룹 보상(Group Rewards)

• 문제: 모델이 점점 길게 생각하려는 경향 → 통제하지 않으면 폭주
• 도전: 문제마다 최적 길이를 사전에 알 수 없음
• 해결: 그룹 내 변동성 활용

  같은 문제에 대한 여러 샘플 → 정답 중 가장 짧은 답변에 보너스
  → 정확성 + 효율성 동시 장려
  

• 많은 RL 프레임워크에서 그룹 보상 구현이 어려운 이유: 롤아웃을 독립적으로 취급

사용자 시뮬레이터 (User Simulator)

• 에이전트가 단순 작업 완수 + 사용자 상호작용 방식까지 이해해야 하는 경우
• 구현: MCP 서버로 모델링 → 에이전트는 실제 사용자와 대화하는 것처럼 인식
• 배경에서: LLM이 컨텍스트를 받아 사용자 역할 수행
• 효과: 멀티턴 사용자 참여 설정을 현실적으로 시뮬레이션

---

핵심 주제 4: PrimeRL — 비동기 RL 프레임워크

비동기 RL의 핵심 이유

• 에이전트 작업 시간 다양성 문제:
  • 코딩 에이전트 작업: 30초 ~ 2분 ~ 3시간까지 다양
  • 동기식 RL: 가장 느린 롤아웃을 항상 기다려야 함 → GPU 낭비
• 해결: 롤아웃 완료 즉시 다음 배치에 투입 가능 (모델의 다른 버전에서 온 것도 허용)

아키텍처: 추론-학습 완전 분리

[환경/하네스] → [오케스트레이터] → [추론 서버] (별도 GPU)
                       ↓
               [배치 데이터] → [트레이너] (별도 GPU)

• 추론과 훈련은 별도 프로세스, 별도 서버, GPU 미공유
• 서로 "상대방이 뭘 하는지 모름" → 인터페이스로만 통신
• 장점:
  • 환경을 RL 없이도 평가로 독립 실행 가능
  • 샌드박스 부팅 시간, 가중치 동기화 시간 신경 안 써도 됨
  • GPU 사이클 낭비 없이 수명주기 구간 중첩 가능

정책 이탈 허용도

• 일반적으로 16 정도의 policy lag도 허용 가능
• 이로 인해 속도 관련 걱정 없이 다양한 최적화 집중 가능

손실 함수 & 알고리즘 모듈화

손실 함수 = 기울기 계산 (어떤 목표를 최적화하나)
알고리즘  = 데이터 준비 (어떻게 rollout을 처리하나)

이점(Advantage)의 통일된 관점

알고리즘	이점(Advantage)
교차 엔트로피 손실 (SFT)	음의 로그 우도 = advantage
OPD (온폴리시 증류)	로그 확률 = advantage
RL (GRPO 등)	보상 - 기준선(집단 평균) = advantage

• 핵심 설계: 손실 함수만 교체하면 됨 → 인프라 변경 불필요

지원 알고리즘

• GRPO (Group Relative Policy Optimization)
• DPPO (Decentralized Proximal Policy Optimization)
• OPD (On-Policy Distillation)
• SFT (Supervised Fine-Tuning)
• 사용자 정의 알고리즘 레지스트리 등록 가능

ECHO 패턴 구현 예시

환경 토큰 → 교차 엔트로피 목표
행동 토큰 → RL 목표
→ 두 알고리즘 컴포넌트를 자유롭게 조합

대규모 학습 성능

• GLM-5 기준 (131K 컨텍스트, 장기 코딩 작업):
  • 28 노드에서 1 step < 5분
  • 1,000 step → 약 3일
  • 비용: ~$50,000
• 비교: "OpenAI가 모금하는 금액"보다 훨씬 저렴하고 현실적
• 월 토큰 비용과 비교 시 대규모 사후 학습이 경제적으로 정당화됨

기술 스택 (추론 최적화)

• FP8 양자화
• 광역 전문가 병렬 처리 (Expert Parallelism)
• YDP (분해된 Prefill)
• 분산 Prefill (멀티노드 전문가)
• KV 오프로딩
• 라우터 교체 (모든 레이어 메타데이터 추적 → 복잡한 시스템 문제)
• 멀티모달 이미지 등 대용량 데이터 → 객체 스토리지/파일시스템으로 분리

학습 프레임워크: TorchTitan 선택 이유

• Megatron 대신 TorchTitan 사용
• 이유: 해킹(커스터마이징)이 훨씬 쉬움
• Megatron은 모놀리스 구조 → 팀 규모 작을 때 비효율
• 팀 규모: PrimeRL 유지 연구팀 < 10명, 회사 전체 < 40명
• 새 논문 아이디어 → 빠르게 프로토타입 가능한 모듈화 구조 필요

학습 안정성

• DPPO 논문 참고 → 수천 step까지 매우 안정적
• 현재 10,000 step 목표 실험 진행 중
• 대규모 배치 처리 시 모든 병렬화 기법 활용:
  • 트레이너: Expert Parallelism
  • 추론: 멀티노드 Expert Parallelism + 분산 Prefill

---

핵심 주제 5: 호스팅 플랫폼 (Lab)

현재 서비스: 멀티테넌트 LoRA

• GPU 직접 관리 불필요
• 멀티테넌트 방식: 여러 사용자가 동일 아키텍처에서 학습 실행
  • 하나의 기본 모델 공유
  • 각 사용자가 자신만의 LoRA → 핫 스왑으로 교체
  • 토큰 기반 가격 책정 가능, GPU 예약 불필요
• 현재 RL 중심, 오늘 바로 사용 가능

곧 출시: 풀 파인튜닝 (Full Fine-Tuning)

• 완전한 파라미터 학습 (LoRA 어댑터 한계 극복)
• 대규모 SFT, 중간 훈련 등 지원
• 모든 레이어 커스터마이징 가능
• GPU 확보량 대폭 증가로 가능해짐
• 출시 예정: 몇 주 이내

Lab 플랫폼 기능

• GPU, 자동 스케일링, Magic Restart
• 모든 로그 기록 대시보드
• 샌드박스 및 심판(Judge) 통합
• 환경 패키지로 배포 가능
• 개발 워크플로우:

  MacBook CPU → 로컬 개발 → 환경 패키지로 Lab 배포 → 클라우드 학습
  

사용자가 진입할 수 있는 레벨

1. 환경 레벨: 보상 함수 변경만 (트레이너 불변)
2. 트레이너 설정 레벨: 손실 함수, 학습률 등 조절
3. 완전 커스터마이징: 알고리즘 클래스, 손실 함수까지 깊이 파고들기

---

핵심 주제 6: 알고리즘 연구 지원 방향

연구자들이 주목하는 알고리즘들

• 온폴리시 증류 (On-Policy Distillation)
• OPSD
• ECHO 패턴 (강화 학습으로 세계 모델링 + SFT 결합)
• Max RL (초기 논문에서 영감)

설계 철학: 알고리즘 조합 가능성

• 코드 깊숙이 if문 추가 없이 알고리즘 조합 가능
• 파이프를 통해 여러 내용을 전달하는 복잡한 구조 불필요
• 목표: 새 논문 아이디어를 읽으면 → 빠르게 구현 → 실험 가능

---

주요 인용 / 데이터 포인트

"환경은 모델이 무엇을 해야 하는지를 명시하는 언어와 같다."

"평가가 사후 학습으로 나아갈 수 있는 문을 열어준다. 환경과 평가는 본질적으로 같은 것이다."

"프론티어 모델이 어차피 좋아질 텐데 왜 사후 학습을 해야 하지? — 당신의 모델도 더 나아질 것입니다."

"GLM-5 기준 28노드, 1,000 step → 3일, 비용 ~$50,000. 실제 에이전트 환경에서 최첨단 모델 학습 비용치고는 상당히 합리적이다."

"하네스는 자신이 RL을 하고 있다는 사실을 알지 못한다."

"비동기 RL의 핵심: 전체 진행 속도가 개별 롤아웃 속도에 좌우되지 않도록 한다."

---

출시 현황 요약

제품	상태
Verifiers V1	알파 출시, 안정 버전 곧 출시
요리책(Cookbook) 저장소	알파 출시
멀티테넌트 LoRA 학습	현재 서비스 중
풀 파인튜닝	몇 주 이내 출시 예정
PrimeRL 비동기 RL	서비스 중
Renderers 라이브러리	출시 완료

---

영상: https://www.youtube.com/watch?v=V-EDrhIhHzQ 저장 경로: Study/YouTube다이제스트/2026-07-14-AIEngineer-ModernPostTraining-WillBrown.md