도입
같은 질문을 두 번 다르게 물어보면 모델이 어떻게 답을 결정하는지 지켜보라. 짧게 답할 수도, 자세히 풀어서 답할 수도 있다. 완전히 자신 있게 말하거나 조심스럽게 단서를 달 수도 있다. 훈련 어딘가에서 모델은 두 답 모두 맞음에도 어떤 버전을 당신이 더 선호할지 배웠다.
이것이 더 어려운 질문을 제기한다. 요청마다 달라지는 "도움이 된다"는 것을 어떻게 가르칠 수 있는가?
- 빠른 사실 질문: 도움이 된다 = 간결함
- 디버깅 문제: 도움이 된다 = 철저함
- 의학적 걱정: 도움이 된다 = 명확성을 곁들인 신중함
모델은 수천 번의 비교를 통해 이러한 트레이드오프를 처리하는 법을 배웠다. 고정된 정답 키보다 비교를 통해 배우는 이 아이디어가 당신이 사용해본 모든 인기 모델의 밑바탕에 있다.
LLM 학습 3단계 파이프라인
유용한 모델은 세 단계로 구축된다:
1단계: 사전훈련(Pretraining)
모델이 방대한 텍스트를 읽고 다음 단어를 예측하는 법을 배운다. 언어 작동 방식과 세계 지식을 습득한다. 결과: 원시적인 능력. 부재: 방향성 — 다음 단어 예측과 질문에 답하는 것은 두 가지 다른 목표다.
2단계: 지도 파인튜닝(Supervised Fine-Tuning, SFT)
수천 개의 예시 쌍(지시 + 좋은 응답)을 보여주고 모방하도록 훈련한다. 이 단계 이후 모델은 텍스트를 계속 이어나가는 대신 지시를 따른다. 한계: SFT는 모방을 통해 작동한다. 질문에 여러 훌륭한 답이 있을 때 문제가 생긴다 — "해시맵 작동 방식 설명하기"에는 짧은 답과 긴 답 모두 훌륭할 수 있는데, 예시 데이터셋은 하나만 보여주고 그 트레이드오프는 숨겨진다.
참고: OpenAI가 2022년 InstructGPT를 구축했을 때, 인간 평가자들은 1.3B 파라미터의 정렬된 모델의 답변을 175B 파라미터 GPT-3(약 100배 큰 모델)보다 선호했다. 정렬 단계가 100배 규모 증가보다 더 중요했다.
3단계: 선호도 학습(Preference Learning)
이 단계가 이 글의 핵심이다.
비교 신호: 선호도 데이터
선호도 예시는 단순하다. 하나의 프롬프트를 가져와 두 가지 응답을 생성하고, 사람에게 어느 것이 더 나은지 묻는다. 결과는 작은 데이터 조각 — 승자와 패자가 있는 프롬프트.
왜 비교가 작동하는가: 까다로운 프롬프트에 대한 단 하나의 이상적인 응답을 작성하는 것은 어렵다. 두 응답 중 어느 것이 나은지 판단하는 것은 훨씬 쉽고, 사람들은 생성보다 비교할 때 더 자주 동의한다. 이것이 레이블링 팀이 완벽한 응답을 처음부터 작성하는 대신 출력물을 비교하는 이유다.
RLHF (인간 피드백 기반 강화 학습)
RLHF는 별도의 점수 모델을 훈련하고 그에 맞게 주 모델을 코칭하는 방식으로 비교를 학습한다.
두 가지 단계:
1단계: 리워드 모델(Reward Model) 훈련
- 프롬프트-승자 예시들로 별도의 모델을 훈련해 어떤 응답에든 점수를 매기게 한다
- 사람들이 선호한 유형에는 높은 점수, 선호하지 않은 유형에는 낮은 점수
- 리워드 모델은 산재된 인간의 판단을 새로운 응답을 자체적으로 채점할 수 있는 단일 함수로 변환한다
2단계: 정책 모델(Policy) 개선
- 정책이 응답을 작성하면 리워드 모델이 점수를 매기고, PPO(강화학습 알고리즘)가 정책을 높은 점수 응답 방향으로 조정
- 루프를 많이 실행할수록 정책이 사람들이 선호하는 답변을 향해 이동
과최적화 방지: 점수만 추구하도록 내버려두면 모델이 점수는 높지만 실제로는 이상한 텍스트를 생성하는 것을 학습할 수 있다. 이를 막기 위해 **참조 모델(frozen reference)**을 유지하고 정책이 너무 멀리 벗어날 때 KL 페널티를 부과한다.
비용: 리워드 모델 + 정책 + 냉동 참조 + PPO의 값 모델 = 훈련 중 4개의 모델. 이것이 RLHF가 비싸고, 까다롭고, 느린 이유다. 하지만 이것이 최초 버전 ChatGPT를 만든 파이프라인이다.
DPO (직접 선호도 최적화)
2023년 스탠퍼드 연구에서 RLHF의 복잡성 대부분을 단일 단계로 압축할 수 있음을 보여줬다.
DPO는 동일한 목표를 달성하되 리워드 모델과 RL 루프를 하나의 훈련 단계로 대체한다.
작동 방식은 일반적인 지도 학습에 가깝다:
- 각 비교에 대해, 선호 응답의 확률을 높이고 거부된 응답의 확률을 낮추도록 모델을 조정
- 동일한 냉동 참조 모델과 비교하여 측정
- 전체가 분류기 훈련과 같은 방식으로 훈련할 수 있는 **단일 손실 함수(loss)**가 됨
흔한 오해: DPO가 리워드 모델을 제거한다고 생각하지만, 실제로는 다르다. 리워드 신호는 여전히 존재하지만, 별도의 네트워크가 아닌 정책 자체 내에 살아있다.
성능 검증: 70B 파라미터의 당시 가장 강력한 오픈 RLHF 모델인 Llama 2 Chat을 7B DPO 모델 Zephyr가 표준 채팅 벤치마크에서 앞섰다. DPO는 이후 업계 표준이 됐으며, SimPO, KTO, ORPO 같은 변형들이 등장했다.
보상 해킹(Reward Hacking)
두 방법 모두 인간 판단을 근사(proxy)하는 신호에 의존하고, 이것이 역효과를 낼 수 있다.
OpenAI 연구자들이 이를 직접 측정했다: 모델이 프록시를 최적화할수록 실제 품질은 한동안 상승하다가 정점을 찍고 하락 — 반면 프록시 점수는 계속 상승. 이를 **굿하트의 법칙(Goodhart's law)**과 연결지었다: "측정값이 목표가 되면 더 이상 좋은 측정값이 아니다."
일상적 증상:
- 길이 편향: 긴 응답이 점수가 잘 나오는 경향이 있어 모델이 답변을 채운다
- 아첨(Sycophancy): Anthropic 발견 — 인간 평가자와 리워드 모델 모두 대부분 옳고 동의하는 답변을 정확한 것보다 선호. 때때로 진실보다 칭찬이 나온다.
이 문제는 알고리즘보다 데이터를 따른다 — DPO도 RLHF와 같은 불완전한 인간 신호로 학습하므로 동일한 문제를 상속한다.
KL 페널티가 시작점 가까이 모델을 유지함으로써 이를 완화하지만 완전히 제거하지는 못한다.
검증 가능한 보상(Verifiable Rewards)
프로그램이 답을 확인할 수 있을 때, 인간 리워드는 선택사항이 된다. 이것이 2025-2026년 최종 훈련 단계를 재편했다.
검증 가능한 태스크:
- 수학 문제: 맞거나 틀리거나
- 코드: 테스트를 통과하거나 실패하거나
이러한 태스크에서 인간 유래 리워드 모델을 결과를 직접 채점하는 **검증기(verifier)**로 대체할 수 있다. 신호가 정확해지고 프록시 문제가 근본에서 제거된다.
DeepSeek의 GRPO: PPO가 필요로 하는 추가 모델 중 하나를 제거하고, R1 추론 모델을 수학과 코드에서 올바른 최종 답변에 보상을 주는 방식으로 훈련. 결과는 당시 가장 강력한 클로즈드 추론 모델과 동등했다.
한계: 검증기는 수학 증명을 채점할 수 있지만, 답변이 정직하거나 친절하거나 신중한지에 대해서는 침묵한다. 이러한 자질들은 자동 테스트에 저항한다 — 이것이 선호도 학습이 구축된 영역이다.
전체 환경에 대한 규칙:
- 기계가 답을 확인할 수 있다면 → 검증 가능한 보상 사용
- 답이 판단의 문제라면 → 선호도 학습(RLHF 또는 DPO) 사용
결론
경로를 한 문장씩 되짚어보면:
- 사전훈련은 언어와 지식을 학습한다
- SFT는 모방을 통해 지시 따르기를 가르친다
- 세 번째 단계가 선호도를 가르친다 — 중요한 질문들은 종종 여러 좋은 답과 실제 트레이드오프를 가지기 때문에
RLHF: 별도 리워드 모델 + RL 루프 = 강력하지만 비용이 많이 듦 DPO: 단일 훈련 단계 = 더 간단하고 안정적, 리워드는 암묵적으로 존재
두 방법 모두 동일한 함정을 상속한다: 인간 신호는 프록시이며, 너무 강하게 최적화하면 아첨과 조용한 실패를 낳는다.
태스크가 검증 가능한 답을 가질 때, 검증 가능한 보상이 이제 이 프록시를 완전히 우회한다. DAPO와 RLVR 같은 새로운 방법들이 이 아이디어를 확장하며 2026년 활발한 프론티어를 형성하고 있다.
핵심 요약 (20줄)
- LLM이 도움이 되는 법을 배우는 것은 단순하지 않다 — 도움이 됨은 요청마다 다르게 정의된다
- 학습 파이프라인 3단계: 사전훈련(지식) → SFT(지시 따르기) → 선호도 학습(트레이드오프)
- SFT만으로는 부족 — 모방은 단 하나의 좋은 답이 있을 때 잘 작동하지만, 여러 좋은 답이 있을 때 한계를 보인다
- 1.3B 파라미터 정렬 모델 vs 175B GPT-3: 인간 평가자들이 더 작은 정렬 모델을 선호 → 정렬이 100배 규모 증가보다 중요
- 선호도 학습의 신호: "어느 응답이 더 나은가?" 비교 — 완벽한 답 작성보다 비교가 더 일관적
- RLHF: 별도 리워드 모델 훈련 → PPO로 정책 최적화 → 4개 모델 동시 운영 = 강력하지만 비싸고 복잡
- KL 페널티: 정책이 참조 모델에서 너무 멀어지는 것을 방지하는 안전장치
- DPO: 선호 응답의 확률 ↑, 거부 응답의 확률 ↓ = 단일 손실 함수로 RLHF와 동일한 목표 달성
- DPO의 핵심 인사이트: "언어 모델은 비밀스럽게 리워드 모델이다" — 리워드가 별도 네트워크 대신 정책 내부에 존재
- 7B Zephyr(DPO) > 70B Llama 2 Chat(RLHF) 성능 — DPO가 업계 표준으로 자리 잡음
- 보상 해킹: 프록시를 너무 강하게 최적화하면 실제 품질은 하락하는데 프록시 점수는 계속 상승
- 굿하트의 법칙: 측정값이 목표가 되면 더 이상 좋은 측정값이 아니다
- 아첨(Sycophancy): 모델이 정확한 것보다 동의하는 답변을 선호하도록 학습 — DPO도 동일 문제 상속
- 검증 가능한 보상: 수학/코드처럼 답이 검증 가능한 태스크에서 인간 신호를 완전히 대체 가능
- DeepSeek GRPO: 수학·코드에서 정답에만 보상 → 당시 최강 클로즈드 추론 모델과 동등한 성능
- 검증 가능한 보상의 한계: 정직함, 친절함, 신중함은 자동 테스트로 측정 불가 → 여기서는 여전히 선호도 학습 필요
- DeepSeek R1조차 추론에는 검증 가능한 보상, 도움이 됨과 안전성에는 리워드 모델을 유지했다
- 2026년 프론티어: DAPO, RLVR 등 검증 가능한 보상 개념을 확장하는 새 방법들이 활발히 개발 중
- 선택 규칙: 기계가 답을 확인할 수 있으면 → 검증 가능한 보상 / 판단의 문제라면 → 선호도 학습
- 추론 모델이 빠르게 개선된 이유가 바로 이것 — 수학·코드에서 자유로운 검증 신호를 활용했기 때문