가장 유능한 AI 모델은 실행 비용도 가장 비싸다. 전용 하드웨어가 필요하고, 대량의 메모리를 소비하며, 모든 요청에 비용과 지연을 더한다.
이런 특성 때문에 모바일 기기나 트래픽이 많고 빠르고 저렴한 응답이 필요한 서비스처럼 자원이 제한된 환경에는 배포하기 어렵다.
여기에 처음에는 직관에 반하는 것처럼 들리는 두 번째 사실이 있다. 작은 모델이 특정 작업에서 훨씬 더 큰 모델과 맞먹거나 능가하는 경우가 있는데, 그 작은 모델이 알고 있는 모든 것을 큰 모델로부터 배웠을 때조차 그렇다. 직관적으로는 다른 모델의 출력으로 훈련된 모델은 돌파구가 아니라 한계를 물려받을 것 같지만, 결과는 다르다. 이를 가능하게 하는 방법이 바로 지식 증류(knowledge distillation)이며, 이는 프로덕션 AI 시스템을 구축하는 표준적인 방법이 되었다.
이 글에서는 이 아이디어를 처음부터 짚어본다. 다룰 핵심 내용은 다음과 같다.
- 증류란 무엇이며, 압축(compression)과 어떻게 다른가
- 모델의 출력으로부터 배우는 것이 원본 레이블로부터 배우는 것보다 나은 이유
- 세 가지 주요 방법과 그중 지배적인 방법
- 증류된 모델이 실제로 달성하는 것
- 이 방법이 무너지는 지점과 향후 방향
증류
증류는 크고 유능한 모델의 행동을 복제하도록 더 작은 새 모델을 훈련시킨다. 이 설정에는 두 개의 모델이 관여한다.
첫 번째는 크고 유능한 모델로, 교사(teacher)라고 부른다. 두 번째는 교사의 출력을 재현하도록 훈련되는 더 작은 모델로, 학생(student)이라고 부른다.
훈련이 끝나면 학생은 독자적으로 작동하고, 교사는 뒤로 빠진다.
흔한 오해는 학생이 압축된 형태의 교사라는 것이다. 하지만 실제로는 다르다.
양자화(quantization)나 가지치기(pruning) 같은 압축 방법은 하나의 모델에서 출발해 숫자를 더 낮은 정밀도로 저장하거나 결과에 거의 기여하지 않는 부분을 제거해 그 발자국(footprint)을 줄인다. 모델은 그대로 동일한 모델이며, 더 작고 가벼워질 뿐이다.
반면 증류는 자체 파라미터와 종종 다른 설계를 가진, 훈련 목표가 교사처럼 행동하는 것인 진짜로 별개의 모델을 만들어낸다.
한쪽은 기존 모델을 축소하는 연산이고, 다른 쪽은 새 모델을 훈련시키는 연산이다. 그 실질적 이득은, 작은 학생 모델이 단일 서비스 안에서나 휴대폰에서 실행되고, 응답 시간이 짧으며, 요청당 비용이 훨씬 저렴하고, 경우에 따라서는 데이터를 다른 곳으로 보내지 않고 기기 자체에서 실행될 수 있다는 데 있다.
이 방법은 이제 표준적인 관행이다. 예를 들어 구글의 Gemma 모델들은 Gemini 계열의 더 큰 모델을 기반으로 훈련 중 증류를 사용해 만들어진다. 두 아이디어는 순차적으로 함께 작동하기도 한다. 모델을 먼저 증류해 작고 유능한 모델을 만든 다음, 특정 기기를 위해 그 모델을 다시 양자화해 더 축소하는 식이다.
이 구분을 명확히 유지하는 것이 중요한데, 이는 우리가 이후 개념들을 이해하는 방식에 영향을 주기 때문이다. 압축된 모델은 원본의 사본을 내부에 지니고 있다. 증류된 모델은 원본처럼 행동하도록 훈련된 별개의 존재이며, 바로 이 때문에 때로는 원본이라면 하지 않을 방식으로 행동할 수 있다.
학생이 단지 교사를 베끼는 것뿐이라면, 왜 베끼는 것이 이렇게 잘 작동할까?
답은 교사가 무엇을 넘겨주는가에 있다.
소프트 레이블 (Soft Labels)
모델의 출력으로부터 배우는 것이 원본 데이터로부터 배우는 것을 이기는 이유는, 출력이 단순한 정답보다 더 많은 정보를 담고 있기 때문이다.
표준 훈련 데이터는 예제당 하나의 정답을 준다. 고양이 이미지는 "고양이"라는 레이블을 달고 있고, 모델은 "고양이"를 산출하면 보상받고 그 외의 것을 산출하면 벌점을 받는다. 교사 모델은 더 풍부한 것을 제공한다. 단일한 답 대신, 그 출력은 선택지 전체에 걸친 확률의 집합이다. 예를 들어 고양이 0.70, 개 0.25, 여우 0.05처럼 말이다. 이 확률의 전체 집합을 소프트 레이블(soft label)이라 부르며, 일반 데이터에 있는 단일한 하드 레이블(hard label)과 대비된다.
이 추가적인 숫자들은 부가적인 정보를 담고 있다. 이들은 교사의 출력이 개를 그럴듯한 대안으로, 여우를 먼 대안으로 순위 매기고 있음을 보여주며, 이는 범주들이 서로 어떻게 관련되는지에 대해 무언가를 말해준다. 연구자들은 이를 때때로 다크 날리지(dark knowledge)라고 부르는데, 이는 모델의 확신(confidence) 안에 숨겨진 구조로서 단순한 레이블은 빠뜨리는 것을 뜻한다.
훈련 중에 학생은 이 분포를 맞추기 위해 노력한다. 학생은 자신의 확률이 교사의 확률로부터 얼마나 떨어져 있는지로 평가받고, 훈련은 학생을 그 간극을 좁히도록 밀어붙인다. 다시 말해, 학생은 단 하나의 정답이 아니라 교사의 확신에 대한 전체 패턴을 배우며, 그 패턴은 한 단어짜리 레이블보다 더 강력한 훈련 신호다.
이것이 증류가 그렇게나 잘 작동하는 핵심 이유다. 단일한 정답 레이블은 선택지들 사이의 관계를 버리지만, 소프트 레이블은 그것을 보존한다.
초기 결과는 실질적인 성과를 보여주었는데, 학생이 소프트 타깃으로 훈련받았을 때 훨씬 적은 예제로도 좋은 성능에 도달할 수 있었다. 각 예제가 이제 단일한 답 이상을 담고 있었기 때문이다. 2015년의 원조 연구는 정확히 이런 목적으로 온도(temperature)라는 제어 변수를 추가했는데, 온도를 높이면 확률이 더 퍼지면서 학생이 배울 수 있는 미세한 구조가 더 많이 드러난다.
이 메커니즘이 분명해졌으니, 다음 질문은 실제로 이것이 어떻게 수행되는가이며, 여기에는 하나 이상의 답이 있다.
방법론
증류에는 세 가지 주요 형태가 있으며, 이들은 학생이 무엇을 베끼는가에서 차이가 난다.
- 출력 증류(Output distillation): 학생이 앞서 설명한 소프트 레이블을 포함해 교사의 최종 출력을 맞춘다. 이것이 2015년의 원조 형태이자 가장 직접적인 방법이다.
- 특징 증류(Feature distillation): 학생이 교사의 내부 표현, 즉 모델이 최종 답에 도달하기 전 입력을 처리하는 동안 계산하는 중간값들을 맞춘다. 목표는 유사한 출력만이 아니라 유사한 내부 그림이다. 구글의 EmbeddingGemma는 이 방식으로 훈련되어, 더 큰 Gemini 모델의 것에 가까운 내부 표현을 만들어내도록 학습한다.
- 합성 데이터 증류(Synthetic data distillation): 교사가 예제 데이터셋을 생성하고, 학생은 마치 일반적인 데이터로 훈련받듯 그 데이터셋으로 미세조정(fine-tune)된다. 스탠퍼드의 Alpaca가 초기 사례로, 기존의 큰 모델이 산출한 예제로 미세조정되어 지시를 얼마나 잘 따르는지를 개선했다.
세 번째 형태가 실무에서 가장 흔한 접근법이 되었으며, 그 이유의 일부는 접근성에 있다.
많은 강력한 모델은 텍스트를 반환하는 인터페이스를 통해서만 접근 가능하며, 내부 값과 확률은 비공개로 유지된다. 이런 내부 값에 접근할 수 없을 때, 데이터를 생성하는 것이 여전히 통하는 경로다.
세 형태는 요구하는 것도 서로 다르다. 출력 증류는 교사의 확률을 필요로 하고, 특징 증류는 교사의 내부 값에 대한 접근을 필요로 하며, 합성 데이터 증류는 교사가 만들어낸 텍스트만 있으면 되기에 폐쇄형 모델들 사이에서도 가장 멀리까지 이동할 수 있다.
이 방법들은 조합될 수도 있다. 하나의 훈련 실행이 생성된 데이터셋과 소프트 레이블을 함께 사용할 수 있고, 최신 방법들은 훈련 중에 교사와 학생의 생성을 섞기도 한다.
이 방법들은 이론에 그치지 않는다. 다음 절에서는 이들이 만들어내는 결과를 보여준다.
결과
실제 결과는 강력하지만, 중요한 단서가 하나 붙는다.
2025년 초 DeepSeek이라는 랩에서 명확한 사례가 나왔다. 이들은 큰 추론 모델을 사용해 일련의 훈련 예제를 생성한 다음, 기존의 여러 작은 모델을 그 예제로 미세조정했다. 한 결과가 눈에 띄었다.
70억 파라미터 학생 모델이 320억 파라미터 모델보다 경쟁 수학 벤치마크에서 더 높은 점수를 받았는데, 이는 단순히 더 큰 모델의 출력을 이용한 미세조정만으로 만들어진 것이었다. 공개된 증류 모델 계열은 15억에서 700억 파라미터까지 걸쳐 있었고, 작은 모델들은 단일 그래픽카드에서 실행할 수 있을 만큼 작았는데, 이것이 이 공개가 그렇게 많은 주목을 받은 이유 중 하나다. 실질적인 효과는, 이런 좁은 작업에서의 강력한 성능이 작은 팀도 크고 호스팅된 모델을 통하지 않고 로컬에서 저렴하게 실행할 수 있는 무언가가 되었다는 것이다.
이 단서는 헤드라인만큼이나 중요하다.
이러한 승리는 수학이나 코드처럼 좁고 잘 정의된 작업에서 나타나는 경향이 있다. 그런 작업에서는 작은 증류 모델이 그 크기가 시사하는 것 이상의 수준으로 수행할 수 있다. 하지만 더 폭넓은 일반 지식 척도에서는 같은 작은 모델들이 여전히 큰 모델들에 뒤처진다. 예를 들어 어떤 모델은 증류를 통해 경쟁 수학에서 뛰어나게 되면서도 세상에 대한 폭넓은 질문에서는 여전히 약할 수 있다. 따라서 작은 모델이 큰 모델을 이긴다는 주장은 보통 특정한, 좁은 의미에서만 참이다.
결과가 이 정도로 좋다면, 자연스러운 질문은 이 방법이 어디서 무너지는가이며, 다음 절이 이를 직접 다룬다.
한계
증류에는 명확한 한계가 있으며, 이는 특정 문제에 이 방법이 맞는지 판단할 때 중요하다.
- 교사로부터 오는 천장 효과: 교사의 출력으로 훈련된 학생은 그들이 본 종류의 데이터에서 교사의 수준이나 그 이하에 머무르는 경향이 있다. 교사가 틀린 답을 내놓으면, 학생은 옳은 답들과 함께 그 틀린 답도 배운다. 교사의 품질이 기준선을 설정하며, 이는 교사 선택을 이 과정에서 가장 중대한 결정 중 하나로 만든다.
- 더 넓은 격차는 오히려 해로울 수 있다: 더 크고 강력한 교사가 항상 더 나은 학생을 만들어내는 것은 아니다. 교사와 학생 사이의 격차가 매우 넓을 때, 전이가 저하될 수 있는데, 학생이 훨씬 큰 모델이 표현하는 모든 것을 흡수하기에는 용량이 너무 작기 때문이다. 이 용량 격차(capacity gap)에 관한 연구는 가장 강력한 가용 교사가 때로는 나쁜 선택이 될 수 있음을 발견했다. 넓은 격차를 메우기 위한 일련의 방법들이 존재하는데, 중간 단계를 추가해 교사가 중간 크기 모델을 훈련시키고 그 모델이 다시 작은 학생을 훈련시켜, 각 전달이 더 작은 거리를 커버하게 하는 방식이다.
- 아키텍처가 크기보다 중요할 수 있다: 기반 모델의 설계가 파라미터 수보다 더 중요할 수 있다. 한 연구에서는 320억 파라미터 학생 모델이 동일 작업에서 700억 파라미터 학생 모델을 능가했는데, 더 작은 쪽이 더 강력한 기반 아키텍처 위에 구축되었기 때문이다. 크기 하나만으로는 증류가 얼마나 잘 될지에 대한 약한 예측 지표다.
- 교사는 작업 이상의 것을 전달할 수 있다: Nature에 나중에 게재된 2025년의 한 연구에서, 특정 성향(부엉이를 선호하는 경향)을 가진 교사 모델이 오로지 숫자 시퀀스로만 이루어진 훈련 데이터를 생성하는 데 사용되었다. 그 숫자로 훈련받은 학생은, 그 성향의 눈에 보이는 흔적을 모두 제거하도록 데이터를 필터링했음에도 불구하고 같은 부엉이 선호를 습득했다. 더 심각한 행동들에서도 같은 효과가 나타났으며, 이는 교사와 학생이 동일한 기반 모델을 공유할 때만 발생했다. 요점은 증류가 가르치려는 작업 이상의 것을 전달할 수 있으며, 눈에 보이는 데이터를 필터링하는 것만으로는 이를 막기에 종종 너무 조악하다는 것이다.
이러한 한계들이 경계를 설정하며, 그 안에서 이 방법은 계속 발전하고 있다. 다음 절은 이 방법이 향하고 있는 방향을 다룬다.
자동화
증류의 최신 방향은 전체 과정을 자동화하여 수작업을 줄이는 것이다.
이 설정에서는 큰 모델이 전체 루프를 스스로 실행한다. 훈련 데이터를 생성하고, 학생을 미세조정하고, 자신도 생성한 홀드아웃 예제 세트로 학생을 평가하고, 학생이 더는 개선되지 않을 때까지 산출물을 조정하며 이 사이클을 반복한다. 인간의 역할은 시작 시 작업과 성공 기준을 정의하는 것, 그리고 마지막에 실제 데이터로 최종 점검을 하는 것으로 줄어든다.
2026년의 최근 연구는 이를 탐지(detection) 작업에 적용했고 잘 작동함을 발견했는데, 한 가지 유념할 만한 발견이 있었다.
교사 모델의 선택이 결과에 큰 영향을 미쳤다. 동일한 루프와 동일한 학생이 주어졌을 때, 서로 다른 교사들은 눈에 띄게 다른 품질의 학생을 만들어냈다. 따라서 자동화는 수작업을 줄이는 동시에, 초기 교사 선택을 더 중대한 것으로 만든다. 그 선택이 이제는 단일 훈련 실행이 아니라 전체 자기 실행(self-running) 프로세스를 이끌기 때문이다.
같은 루프는 시간이 지남에 따라 손으로 구축하는 파이프라인 작업이 줄어드는 방향도 가리킨다. 데이터 생성과 평가의 더 많은 부분이 모델 자체로 옮겨가면서다. 팀 입장에서 매력적인 지점은, 먼저 대규모 수작업 레이블 데이터셋을 조립하지 않고도 작고 작업 특화된 모델을 구축할 수 있다는 것이다. 교사가 훈련 예제와 그것을 채점하는 데 쓰이는 데이터를 모두 공급하기 때문이다.
결론
증류는 크고 비싼 모델의 행동을 복제하도록 작고 배포 가능한 모델을 훈련시키는 방법이다. 이는 원본의 압축 버전이 아니라 별개의 모델을 만들어내며, 이 구분이 이 방법이 작동하는 방식의 대부분을 설명한다.
이것이 작동하는 이유는 모델의 출력이 단순한 레이블보다 더 많은 정보를 담고 있기 때문이며, 그 형태는 선택지 전체에 걸친 확신의 전체 패턴을 보여주는 소프트 레이블이다.
실무에서는 교사가 학생이 학습할 훈련 세트를 생성하는 형태가 가장 흔하며, 그 결과는 강력할 수 있지만 보통 좁은 작업에서 그렇다.
한계는 실재한다:
- 교사가 천장을 설정한다
- 더 넓은 크기 격차는 도움이 되기보다 해로울 수 있다
- 아키텍처가 크기보다 중요할 수 있다
- 이 과정은 의도하지 않았던 성향까지 전달할 수 있다
종합하면, 증류는 작업이 잘 정의되어 있고 유능한 교사가 존재할 때 좋은 선택이 되는 경향이 있으며, 목표가 폭넓고 개방적인 역량일 때는 약한 선택이 된다.
핵심 요약 (20줄)
- 강력한 AI 모델은 실행 비용이 크고, 자원이 제한된 환경(모바일, 고트래픽 서비스)에 배포하기 어렵다.
- 지식 증류(knowledge distillation)는 작은 모델(학생)이 큰 모델(교사)의 행동을 복제하도록 훈련시키는 방법으로, 프로덕션 AI 시스템 구축의 표준 관행이 됐다.
- 증류는 압축(양자화·가지치기)과 다르다 — 압축은 같은 모델을 축소하지만, 증류는 자체 파라미터를 가진 완전히 별개의 새 모델을 만든다.
- 구글 Gemma는 Gemini 계열 모델을 교사로 증류해 만들어졌으며, 증류 후 다시 양자화하는 조합도 흔하다.
- 학생이 잘 배우는 핵심은 "소프트 레이블" — 교사가 내놓는 단일 정답이 아니라 고양이 0.70·개 0.25·여우 0.05 같은 확률 분포 전체다.
- 소프트 레이블에 담긴 "다크 날리지(dark knowledge)"는 범주 간 관계 정보를 담고 있어 단일 하드 레이블보다 훨씬 강한 훈련 신호가 된다.
- 2015년 원조 연구는 온도(temperature) 파라미터를 도입해 확률 분포를 더 넓게 펼쳐 학생이 배울 미세 구조를 더 많이 드러냈다.
- 증류에는 세 가지 방법이 있다: 출력 증류(교사의 최종 출력 모방), 특징 증류(교사의 내부 표현 모방, 예: EmbeddingGemma), 합성 데이터 증류(교사가 생성한 데이터셋으로 미세조정, 예: 스탠퍼드 Alpaca).
- 실무에서는 합성 데이터 증류가 가장 흔한데, 많은 강력한 모델이 텍스트 출력만 접근 가능하고 내부 확률·값은 비공개이기 때문이다.
- 2025년 초 DeepSeek 사례: 70억 파라미터 학생 모델이 320억 파라미터 모델보다 경쟁 수학 벤치마크에서 더 높은 점수를 기록했다.
- DeepSeek의 증류 모델 계열은 15억~700억 파라미터로 공개돼 단일 GPU에서 로컬 실행이 가능할 만큼 작은 모델도 포함됐다.
- 다만 증류의 강점은 수학·코드처럼 좁고 잘 정의된 작업에 국한되며, 폭넓은 일반 지식에서는 여전히 큰 모델에 뒤처진다.
- 한계 1 — 천장 효과: 학생은 교사 수준(또는 그 이하)에 머물고, 교사의 오답까지 함께 학습한다. 교사 선택이 가장 중요한 결정이다.
- 한계 2 — 격차 역효과: 교사·학생 간 격차가 너무 크면 학생이 다 흡수하지 못해 전이가 오히려 나빠질 수 있어, 중간 크기 모델을 거치는 단계적 증류가 쓰이기도 한다.
- 한계 3 — 아키텍처 우위: 한 연구에서 320억 파라미터 모델이 더 강한 기반 아키텍처 덕분에 700억 파라미터 모델을 능가 — 크기는 약한 예측 지표다.
- 한계 4 — 형질 전이: 2025년 Nature 게재 연구에서, '부엉이 선호'라는 교사의 성향이 숫자만 담긴 필터링된 데이터를 통해서도 학생에게 전이됐다 — 같은 기반 모델을 공유할 때만 발생.
- 최신 방향은 "자동화": 큰 모델이 데이터 생성→미세조정→평가→반복까지 전 과정을 스스로 수행하고, 인간은 작업 정의와 최종 점검만 담당한다.
- 2026년 최신 연구(탐지 작업 적용)에서도 교사 모델 선택이 결과 품질을 크게 좌우한다는 점이 확인됐다.
- 자동화 루프는 수작업 파이프라인 구축 없이 소규모 팀도 작업 특화 소형 모델을 만들 수 있게 해주는 방향으로 발전 중이다.
- 결론: 증류는 원본의 압축판이 아닌 별개의 모델을 만드는 방법이며, 작업이 명확하고 유능한 교사가 있을 때 강력하지만 폭넓고 개방적인 역량이 목표라면 약한 선택이다.