URL: https://www.youtube.com/watch?v=J4_jCrTxMkk 날짜: 2026-08-07 채널: AI Engineer
📌 핵심 질문 / 이 영상이 다루는 핵심 논점
AI Engineer 컨퍼런스의 패널 토론. 모더레이터 Chris Alexiuk(NVIDIA, Nemotron 팀)가 Unsloth의 Daniel, NVIDIA Model Optimizer 팀원, Hugging Face의 Marv, Ollama의 Parth와 함께 ==모델 압축(compression)/양자화(quantization)가 왜 "인텔리전스의 민주화"의 핵심 기술인지, 그리고 86% 작아진 모델이 왜 86%만큼 멍청해지지 않는지==를 논의한다.
- 압축은 GPU 클러스터가 아닌 개인 컴퓨터·노트북·심지어 폰에서 프론티어급 지능을 돌릴 수 있게 만드는 기술이다
- 무작위로 가중치를 깎으면 100% 멍청해지지만, 레이어별 중요도를 이해하고 선택적으로 압축하면 86% 작아져도 정확도의 76%를 회복할 수 있다
- 모델이 점점 커지는 추세이기 때문에(1.5TB GLM 5.2 등) 압축은 선택이 아니라 필수가 되어가고 있다
패널 전체의 결론은 한 문장으로: 같은 비용으로 더 높은 지능(same cost, more intelligence)이 압축의 본질이며, 이는 사용자가 모델 랩(model lab)에 종속되지 않고 자기 디바이스에서 자신의 지능을 소유하는 방향으로 나아간다.
0. 패널 소개
- Chris Alexiuk (모더레이터): NVIDIA 프로덕트 리서치 엔지니어, Nemotron 팀
- Daniel: Unsloth ("Enslaf"로 들림 — Unsloth의 오디오 인식 오류) 소속
- NVIDIA Model Optimizer 팀원: NVIDIA 사내에서 모델 최적화(양자화 체크포인트 제작)를 담당
- Marv: Hugging Face 머신러닝 엔지니어
- Parth: Ollama 소속
1. 압축이란 무엇인가 — 각자의 정의
1.1. 패널 각자의 정의
- Parth (Ollama): 압축은 거대 모델을 대부분의 사람들에게 실사용 가능(viable)하게 만드는 기술이다. 양자화를 통해 작은 머신에서 큰 모델을 돌릴 수 있게 된 것이 Ollama 인기의 핵심 요인이었다.
- NVIDIA Model Optimizer 팀원: "같은 비용, 더 높은 지능(same cost, more intelligence)"이 압축의 본질이다.
- FP32 → FP4 사례: 학습을 FP32로 시작했지만 지금은 FP4를 논하고 있으며, 이는 거의 동일한 지능 수준에서 8배 압축을 의미한다.
- Marv (Hugging Face): 정보를 잃지 않고 무언가를 줄이는 것. 단, "공짜 점심은 없다(zero free lunch)" — 결국 지연시간(latency)이든 품질이든 어딘가에서는 비용을 치른다.
- 86% 압축 사례: GLM 5.2(1.5TB)를 양자화하면 250GB로 줄어 86% 작아지지만, 레이어별로 정밀도를 다르게 두는 dynamic quantization을 쓰면 정확도의 76%를 회복할 수 있다. 즉 86% 작아졌다고 86% 멍청해지는 것이 아니다.
- Daniel (Unsloth): 압축은 에지 디바이스와 개인 컴퓨터에서 모델을 민주화하는 것이다. Gemma 4나 Qwen 3.6 같은 최신 모델의 양자화 버전이 이미 잘 작동하고 있다.
2. 각자가 압축/양자화에 눈뜬 순간
2.1. Daniel (Unsloth) — DeepSeek R1
- DeepSeek R1 출시가 결정적 계기: 처음으로 제대로 작동하는 오픈소스 추론(reasoning) 모델이 등장했지만 너무 커서 로컬 실행이 극도로 복잡했다.
- 1.58비트 양자화 실험: 일부 레이어만 고정밀도로 남기는 트릭을 시도했는데 예상외로 잘 작동해 팀 스스로도 놀랐다.
- 모델이 커질수록 압축 필요성 증가: Qwen 3.5/3.6, Gemma 4, NVIDIA Nemotron 등 모델이 나올 때마다 더 좋아지지만 동시에 더 커지고 있어, 모델을 작게 만드는 작업의 중요성이 계속 커지고 있다. GLM 5.2도 매우 훌륭한 로컬 모델이지만 워낙 거대해 로컬 디바이스에서 잘 돌리기가 복잡하다.
2.2. NVIDIA Model Optimizer 팀원 — Pruning에서 시작
- 약 3년 전 CV 모델 프루닝(pruning)부터 시작: 당시엔 프루닝이 일반적으로 품질 저하를 동반해 파인튜닝이 필요했다.
- LLM 등장 후 양자화의 상대적 우위 발견: 양자화는 정확도 손실 없이 쉽게 적용 가능한 압축 기법이었다. 스파시티(sparsity)도 좋지만 양자화만큼은 아니다.
- NVFP4 프로젝트 합류: NVIDIA 입사 후 NVFP4 실험 수학(experiment math) 작업에 참여할 기회를 얻었으며, 이는 "정말 견고한(really solid) 수치 포맷"이라고 평가한다. 극적인 "아하 모멘트"보다는 점진적으로 확신이 쌓인 케이스다.
2.3. Marv (Hugging Face) — QLoRA와 llama.cpp 인수
- QLoRA의 "toaster에서 파인튜닝" 순간: Colab의 무료 T4 GPU에서 파인튜닝이 가능해진 것이 첫 번째 "와우" 모멘트였다. 느리지만 가능했다는 것 자체가 충격이었다.
- 관련 라이브러리: TRL, bitsandbytes 등이 이를 가능케 했고, GRPO 같은 고급 기법도 소량의 VRAM으로 학습할 수 있게 되었다.
- Hugging Face의 llama.cpp 인수(hire) 이후 두 번째 모멘트: llama.cpp 세계로 피봇한 뒤, Qwen 3.6 양자화 모델로 "openclaw"와 hermes 에이전트를 매우 긴 호라이즌(long-horizon) 작업에서 돌릴 수 있었던 것이 두 번째 와우 모멘트였다. Qwen 3.5는 코딩을 상당히 잘 처리하고 자신의 하니스(harness)를 스스로 고칠 정도였다.
2.4. Parth (Ollama) — 2023년, 학생 시절 무료로 로컬 AI 돌리기
- 2023년 Ollama 합류 이전, 학생 시절: 돈이 없어 무료로 AI를 로컬에서 돌릴 방법을 찾다가 Ollama를 접하고 Llama 3를 로컬에서 실행했다.
- 로컬 모델 세계에 입문한 계기: "이거 실제로 작동하는구나(this is actually workable)"라는 깨달음이 시작이었다. 이전에 모델을 직접 만들어본 경험이 있어 얼마나 어려운 작업인지 알고 있었고, 그래서 양자화가 이를 가능케 한다는 점이 특히 인상 깊었다.
공통된 경험: API나 클라우드 뒤에만 존재하던 모델을 처음으로 자신의 컴퓨터/게이밍 랩탑에서 돌려본 순간, "이런 걸 작게 만드는 게 진짜 멋지다"는 인식을 갖게 된다는 점에서 패널 전원이 공감했다.
3. 86% 작아진 모델이 왜 86% 멍청해지지 않는가
3.1. Daniel의 설명 — 레이어 중요도와 언어모델 아키텍처 활용
- 무작위 압축은 100% 멍청하게 만든다: 무작위로 가중치를 삭제하거나 반올림하면 86% 압축이 곧 100% 성능 붕괴로 이어진다. 이 방식은 작동하지 않는다.
- 핵심 트릭: 언어모델 아키텍처 자체를 활용
- 레이어별 중요도 차이: 언어모델은 보통 36~50개 이상의 레이어를 갖는데, 첫 레이어와 마지막 레이어는 매우 중요하지만 중간 레이어들은 상대적으로 덜 유용하다.
- 훈련 토큰 대비 파라미터 과잉: 1조 파라미터 모델을 훈련하려면 수십조 개의 토큰이 필요하지만(예: 30조 토큰), 아직 모든 가중치를 "포화(saturate)"시킬 만큼 훈련하지 못하고 있다. 역전파 특성상 일부 가중치는 0에 매우 가까워, 그냥 0으로 설정해도 무방하다. (미래에 300조 토큰까지 훈련한다면 압축이 어려워질 수 있다는 추측도 덧붙였다.)
- 조합 최적화 문제로의 확장: 레이어 1개씩 개별적으로 양자화 영향을 분석하는 것을 넘어, "32개 중 2개 레이어 조합", "3개 레이어 조합" 등 레이어 간 상호작용까지 고려해야 하는 조합 폭발(combinatorial explosion) 문제로 이어진다.
- Super Weights 사례: "Super Weights" 논문에 따르면, 모델 전체에서 단 하나의 숫자를 양자화하는 것만으로 모델이 20% 멍청해질 수 있다. 이런 특정 숫자를 찾아내 양자화에서 제외해야 한다.
3.2. 검증 방법 — 벤치마크와 KLD
- NVIDIA Model Optimizer 팀의 접근: Hugging Face Hub의 NVIDIA Model Optimizer 스페이스에 양자화 체크포인트를 공개하며, FP4 목표는 전체 벤치마크에서 1% 미만 정확도 저하다.
- 단순한 전략을 선호하는 이유: 더 빠르게 모델을 출시할 수 있기 때문. 잘 설계된 수치 포맷(FP4 등)이 정확도를 많이 보존한다는 것이 핵심 학습이었다.
- 레이어별 민감도 불균형: linear/attention projection 레이어(QKV 등)는 매우 민감해 기본적으로 FP4보다 높은 정밀도(FP8, BF16)로 유지하고, 나머지 레이어를 낮은 정밀도로 둔다. 이를 위해 gradient 기반 민감도 분석 + 선형 프로그래밍 솔버를 사용한다.
- KL Divergence(KLD) — 더 나은 검증 방법: 정확도 벤치마크는 샘플링·시행 횟수·평균화 등으로 복잡해질 수 있어, 대안으로 KL Divergence를 사용한다.
- 방법: 비양자화 버전(BF16)과 양자화 버전 각각에 동일한 calibration 데이터를 넣어 출력 로짓(logits)을 비교하고, 그 사이의 거리(distance)를 계산한다.
- 목표: 이 거리를 0에 가깝게 유지하면서 모델 크기는 최소화하는 것.
- 참고 자료: "Accuracy is not all you need" 논문에서 더 자세히 다룬다.
4. NVFP4란 무엇인가 — 마이크로스케일링 설명
- 정의: NVFP4는 4비트 부동소수점(floating point 4-bit) 숫자이지만, 핵심은 마이크로스케일(microscale) 방식이라는 데 있다.
- 마이크로스케일링 원리: 16개 원소를 하나의 그룹으로 묶고, 이 16개가 하나의 스케일링 팩터(8비트 FP8 숫자)를 공유한다.
- 기원: 원래 bitsandbytes의 Tim(Dettmers)이 유사한 아이디어를 처음 고안했으며, NVIDIA는 이를 다른 방식으로 채택해 "16개 값이 하나의 8비트 스케일 값을 공유"하는 4비트 설계를 완성했다. 이 설계는 다른 4비트 포맷 대비 상당한 개선 효과를 보여준다.
- 단순한 축소가 아니다: 단순히 "숫자를 작게 만드는" 것이 아니라 훨씬 정교한 설계가 들어간다는 점을 모더레이터가 재차 강조했다.
5. 기업(엔터프라이즈)에게 압축이 갖는 가치
5.1. Parth (Ollama)의 관점
- 하드웨어 편차 대응: 직원 개개인이 가진 개인 컴퓨터부터 자체 클러스터까지 하드웨어 스펙 편차가 크므로, 개인이 원하는 어떤 모델이든 로컬에서 돌릴 수 있어야 한다는 게 Ollama의 관점이다.
- 압축 후 실사용 검증의 어려움: 정확도는 하나의 도전 과제일 뿐이고, 실제로 하니스(harness)에서 써봤을 때의 결과, 예컨대 Claude Code 같은 도구에 넣고 돌려봤을 때 "왠지 느낌이 이상하다"는 문제는 벤치마크만으로는 포착되지 않는다. 벤치마크는 방향을 가리켜줄 뿐, 실제 모델 거동을 일치시키는 작업은 여전히 진행 중인 과제다.
- 기업 대상 목표: 자체 인프라에 모델을 배포하는 옵션뿐 아니라 개인 머신에서도 돌릴 수 있게 하는 것이 목표다.
5.2. Marv (Hugging Face)의 관점
- 벤치마크의 한계: 벤치마크는 검증 가능한(verifiable) 태스크에만 유효하고, "바이브(vibe)" 자체는 측정하기 어렵다. "퀀트 아레나(quant arena)" 같은 아이디어도 있었지만, Cohere 소속 연구자(Singal 등)의 작년 논문이 아레나 방식이 "해킹당하기 쉽다(hacked)"는 것을 보여줬다.
- 소프트웨어 개발자의 버블 인식: 대부분의 업무는 "fable 수준"의 최고 성능을 요구하지 않는데, 이 자리에 있는 사람들은 그 사실을 모르는 경우가 많다(개발자들은 오픈소스에 관심이 많아 당연하다고 생각하지만 실제로는 많은 사람들이 모른다).
- 압축의 실질적 비즈니스 가치: 동시성(concurrency)을 늘려 컴퓨트 비용을 절감할 수 있고, 온프레미스 배포도 가능하다. Hugging Face 유저들 사이에서 중형 모델을 리랭킹(reranking) 등 LLM 출력이 필요 없는 작업용으로 초소형 모델로 증류(distill)해 수백만 달러의 비용을 절감하는 사례도 봤다. 양자화뿐 아니라 훨씬 다양한 압축 기법이 존재하고 그 가치를 사람들이 잘 모르고 있다.
6. 왜 압축인가 — 네이티브 소형 모델이 있는데도?
질문: Nemotron 3 Nano나 Gemma Small, Qwen Tiny처럼 애초에 작은 모델이 있는데 왜 큰 모델을 압축해서 써야 하는가?
- 연구 결과 — 큰 모델을 양자화하는 것이 더 낫다: 같은 디스크 용량 기준으로 비교했을 때, 예컨대 350억 파라미터 BF16 모델과 4배 큰 1200억 파라미터를 4비트로 양자화한 모델을 비교하면, 후자(큰 모델의 4비트 양자화)가 지능 면에서 더 우수하다는 실험 결과가 있다(Daniel 인용).
- 모델은 계속 커질 것이라는 전망: GLM이 현재 1.5TB인데 향후 15TB, 나아가 10조 파라미터급 모델이 등장하면 어떤 엔터프라이즈도 서빙하기 어려워지므로, 압축/양자화는 로컬에서든 엔터프라이즈에서든 필수가 될 것이다.
- 모델 라우팅이라는 대안 전략: 큰 모델은 계획(planning)에, 작은 모델은 실행(execution)에 사용하는 라우팅 방식도 가능하다.
- 처리량(throughput) 트레이드오프: 큰 모델을 압축해도 GPU 파워가 부족하면 초당 5~10 토큰 수준에 그칠 수 있지만, 작은 모델은 초당 200 토큰까지 낼 수 있어, 유스케이스에 따라 속도·처리량·보유 GPU를 함께 고려해야 한다.
7. Ollama와 오픈소스 생태계의 역할
7.1. Parth — 압축 없는 세상이라면?
- 압축은 로컬 실행의 핵심축: 개인 컴퓨터에서 모델을 실사용 가능하게 만드는 데 압축이 결정적 역할을 했다(Qwen 3.6이 컴퓨터에서 돌아가며 자기 하니스를 고치는 사례 등).
- 대안 기법들도 존재: 일부 모델 랩은 작은 모델을 낼 때 Q8이나 MXFP4(gpt-oss에 쓰인 포맷) 같은 다른 방식을 쓰기도 한다. 즉, 압축이 없었다면 유사한 대체 기법이나 다른 형태의 모델 훈련 방식이 등장했을 것이라고 본다. 결국 모든 방식엔 트레이드오프가 따른다.
7.2. Marv — Unsloth와 소형 VLM 사례
- Unsloth에 대한 찬사: 양자화 체크포인트를 만들고 검증하는 방대한 파이프라인을 갖고 있으며, "가장 좋은 퀀트를 찾을 수 있는 곳"이라고 추천한다.
- 2년 전 소형 VLM(Vision-Language Model) 훈련 경험: 당시엔 LLaVA 이후 큰 모델로만 점프해 아무도 소형 모델을 훈련하지 않던 시기였다. 1B/500M/256M 크기를 훈련해보니 256M은 별로였지만 500M은 상당히 괜찮았고, 놀랍게도 아이폰에서 실행 가능했다.
- Qwen 3.6 릴리스의 시사점: Qwen 팀이 "체크포인트를 하나만 낸다면 어떤 크기를 원하냐"고 커뮤니티에 물었을 때, 대부분이 중형(midsize) 모델을 요청했다. 이는 사람들이 이제 "작은 모델을 요청"하는 대신 "큰 모델을 받아 직접 양자화"하는 방식을 선호한다는 걸 보여주는 사례다. 시간이 지날수록 모델은 더 똑똑해지고, 그것을 압축한 결과물이 예전의 더 큰 모델보다 뛰어나면서도 크기는 작아지는 현상이 반복되고 있다.
8. 양자화는 엔지니어링적으로 얼마나 어려운가
8.1. NVIDIA Model Optimizer 팀원의 설명
- PTQ(Post-Training Quantization)는 비교적 쉽다: 이미 학습된 BF16 릴리스 모델에 대해 post-training quantization을 적용하는 것은 상대적으로 쉽다. GLM 같은 조 단위 파라미터 모델도 Blackwell 노드에서 몇 시간이면 양자화 체크포인트가 완성된다. 진짜 어려운 작업은 그 다음 단계 — 모델 카드와 실제로 일치하는지 평가하는 데 대부분의 시간이 소요된다.
- 모델 규모별 난이도
- 200억~300억 파라미터 이상 (중대형): PTQ가 out-of-the-box로 잘 작동한다. Sparse MoE는 공격적으로 양자화 가능하다는 등의 휴리스틱, 그리고 자동 민감도 분석 + 냅색(napsack) 솔버를 쓰는 "auto quantis" 기법을 활용한다.
- 200억 파라미터 미만 (소형): 정확도 회복을 위해 quantization-aware distillation(QAD) 등이 필요해 훨씬 더 고통스럽다. 특히 추론(reasoning) 모델일수록 더 어려워지는데, 원본 데이터셋이 필요할 뿐 아니라(NVIDIA는 내부적으로 원본 Nemotron 데이터셋을 보유) 최신 모델들이 코딩/추론 등 각 분야 전문 teacher로부터 다중 교사 증류(multi-teacher distillation)를 거친 multi-stage RL 모델이라 QAD용 좋은 학습 데이터를 확보하기가 매우 어렵다. 잘못된 데이터로 QAD를 하면 모델을 오히려 망가뜨리는(break) 경우가 더 흔하다.
- 격려의 메시지: 30B급 이상이라면 대부분 PTQ가 기본적으로 잘 작동하니 겁먹지 말고 양자화 모델을 적극 활용하라고 권장했다. Model Optimizer, Unsloth, Hugging Face 등 생태계에 도구가 이미 충분히 갖춰져 있다.
9. 아키텍처 다양화가 양자화를 얼마나 어렵게 만드는가
9.1. 문제 제기 — "Llama 시대"에서 "저주받은 시대"로
- 예전(Llama/초기 OpenAI 시대)에는 모든 모델의 아키텍처가 사실상 동일했지만, 지금은 하이브리드 어텐션, 리니어 어텐션 변형 등 모델마다 아키텍처가 제각각인 시대로 접어들었다.
9.2. Parth (Ollama)의 답변 — 두 가지 어려움
- 모델 구현 자체의 어려움: 일부 모델 랩은 출시 전 미리 협업해 구현을 돕지만, 한 모델에 5가지 변형(variation)이 존재하는 경우도 있어 이를 전부 지원해야 한다.
- 양자화 이후 UX 검증의 어려움: Ollama는 대부분의 모델에 대해 기본(default) 양자화 버전을 제공하는데, 이를 위해 양자화 자체뿐 아니라 다양한 하니스에서 실제로 잘 작동하는지 검증하는 데 많은 시간을 쓴다. 파라미터가 매우 작은 모델은 양자화 후 품질이 크게 떨어지는 경우가 있어, 이런 경우 오히려 기본값을 더 높은 정밀도로 남겨두기도 한다.
9.3. Daniel (Unsloth)의 답변 — 과거 대비 훨씬 복잡해졌다
- "Transformer++" 시대에서 "Transformer++++"로: 예전엔 모든 모델이 dense한 "Transformer+"(기본 Transformer + RMSNorm + 몇 가지 트릭) 구조였지만, 지금은 여기에 "이것도 더하고 저것도 빼고" 식으로 각 랩이 서로 다른 활성화 함수, 리니어 어텐션, 슬라이딩 윈도우 어텐션(레이어별로 몇 개는 슬라이딩, 몇 개는 글로벌인지도 제각각), 심지어 레이어 정규화의 epsilon 값(1e-5 vs 1e-6)까지 저마다 다르게 설계하며 수많은 ablation을 거치고 있다.
- 압축과 양자화가 극도로 복잡해졌다: 기존 휴리스틱("이 모델엔 이렇게 하면 잘 된다")이 새 아키텍처에는 통하지 않는 경우가 많다. 예를 들어 리니어 어텐션 레이어를 양자화하면 겉보기엔 잘 작동하는 것 같지만, 실제 장문 컨텍스트(long context) 벤치마크나 실제 프로덕션 사용에서는 결과가 gibberish(횡설수설)로 무너진다. 반대로 어떤 레이어는 1비트까지 낮추거나 아예 삭제해도 무방한 경우도 있다.
- 그럼에도 다양성은 긍정적이라는 평가: 모두가 같은 방식으로 생각하지 않는 것이 필요하기 때문에, 오픈 모델 시대에 이렇게 다양한 아키텍처와 의견이 나오는 것은 오히려 바람직하다고 평가했다.
10. 압축의 미래 — 6개월, 18개월 뒤
10.1. Marv (Hugging Face)
- 압축이 모든 모델 출시에 있어 점점 더 중요한 요소로 자리잡고 있어, 모델 랩들도 이를 더 신경 쓰기 시작했다. Unsloth 같은 팀이 계속 좋은 결과물을 내주길 기대하며, 아키텍처 변화와 모델 랩의 관심 증가로 인해 QAT(Quantization-Aware Training)가 랩 자체에서 더 많이 나올 것으로 예상한다. 커뮤니티의 훌륭한 작업도 계속 이어질 것이다.
10.2. NVIDIA Model Optimizer 팀원
- 이전엔 서버에서만 모델을 돌렸지만, 프라이버시·민감 데이터에 대한 수요 증가로 엣지(edge)까지 지능이 확장될 것으로 본다. llama.cpp와 관련해 "어디서나 실행되는" 방향으로 멋진 작업을 진행 중이라며 기대해달라고 언급했다. 파라미터·데이터 다양성을 계속 확장해왔던 흐름이 이제는 폰(phone)까지 내려가는 방향으로 이어질 것으로 본다.
10.3. Parth (Ollama)
- 가중치 압축의 물리적 한계 근접: FP4를 기준으로 가중치 압축과 행렬 연산 가속(4비트 GEMM)을 동시에 달성하고 있는데, 앞으로 1~3비트까지는 더 갈 수 있겠지만 양자화 단독으로는 파레토 최적(par optimality)에 근접하고 있다고 본다.
- KV 캐시 압축: 현재 대형 모델은 8비트로도 품질을 잘 유지하지만 소형 모델은 저하가 나타난다. KV 캐시 압축 + 양자화 결합을 통해 장문 추론(long-horizon reasoning)을 더 넓게 확장하는 방향을 기대한다.
- 스파시티(Sparsity)의 재조명: 스파시티는 NVIDIA 하드웨어에 이미 탑재돼 있었지만 널리 채택되지 못했는데, 이는 양자화는 정확도 저하가 적은 반면 스파시티는 정확도 저하가 더 크기 때문이다. 차세대 Rubin 아키텍처의 "dynamic activation sparsity" 기능이 어텐션 연산 등을 개선할 수 있어 기대된다.
- 어텐션 아키텍처의 이질화 심화: DeepSeek이 MLA로 시작한 이후 sparse attention, indexed attention, softmax skip 등 어텐션 구조가 점점 더 복잡·다양해지고 있으며(장난스럽게 "DeepSeek 탓"이라고 언급), 이는 모델을 더 저렴하게 만드는 과정의 일부이자 복합적 효과(compounding effect)를 낸다고 본다.
10.4. Daniel (Unsloth)
- 모델은 점점 더 커질 것이고, 이를 폰·노트북·개인 GPU에서 로컬로 돌릴 수 있다면 매우 멋질 것이다. 최고의 프론티어 모델을 개인 컴퓨터에서 돌릴 수 있는 세상, 즉 모델 랩에 통제받지 않고 자신의 운명을 스스로 통제하며 자유롭게 파인튜닝·커스터마이징할 수 있는 세상을 상상한다. 배터리 효율까지 고려하며 GPU든 폰이든 모든 하드웨어에서 인텔리전스가 완전히 민주화되는 미래를 그린다.
11. 청중 Q&A
질문: 다양한 변형(퀀트/압축)을 거친 "프랑켄슈타인" 모델들이 원본 벤치마크 대비 어떻게 성능이 변했는지 확인할 수 있는 통합 리소스가 있는가?
답변 요지:
- 현재 이런 작업을 포괄적으로(comprehensively) 수행하는 곳은 없다는 것이 패널의 답변이다.
- NVIDIA Model Optimizer 팀은 일부 모델에 대해 dynamic quantization 시 벤치마크를 함께 공개하고 있다.
- 정확도 벤치마크는 샘플링 시행 횟수·평균화 등으로 복잡해질 수 있어, 더 나은 방법으로 KL Divergence(KLD)를 제안한다: BF16(비양자화) 버전과 양자화 버전에 동일 calibration 데이터를 넣어 출력 로짓(logits)의 거리를 측정하고, 이 거리를 0에 가깝게 유지하면서 크기를 줄이는 것이 목표다. 관련 논문으로 "Accuracy is not all you need"를 참고할 것을 권했다.
주요 발언 모음
"same cost more intelligence" — NVIDIA Model Optimizer 팀원, 압축을 한 문장으로 정의하며
"it doesn't become like you know terrible useless... if you compress it by 86% it doesn't become like you know terrible useless" — Marv, 86% 압축돼도 86% 멍청해지지 않는다는 점을 설명하며
"if you round it to like the closest number, you would most likely... it will be 100% dumber" — Daniel, 무작위/단순 반올림 압축의 위험성에 대해
"there is a super weights paper which shows that if you quantize one number... your model becomes 20% dumber" — Daniel, 하나의 숫자가 모델 전체 성능을 좌우할 수 있다는 사례
"quantization is really good, sparsity is really good but not as much as quantization" — NVIDIA Model Optimizer 팀원
"we finally have some sort of like reasoning model that worked very well... and it was open source" — Daniel, DeepSeek R1 출시를 회고하며
"I could run open claw and hermes agent on like very long horizon tasks with Qwen 3.6 quants which wouldn't be possible before" — Marv
"we're constantly scaling the model parameters... I see intelligence going to phones thanks to the quants and everything" — NVIDIA Model Optimizer 팀원, 압축의 미래에 대해
"now you can control your own destiny. you do not need to be controlled by some model labs" — Daniel, 압축이 만드는 미래상에 대해
핵심 데이터 & 수치
- GLM 5.2 압축 사례: 1.5TB → 250GB, 즉 86% 크기 축소. Dynamic quantization으로 정확도의 76%를 회복.
- FP4 목표치: NVIDIA Model Optimizer 팀은 FP4 양자화 시 전체 정확도 벤치마크 기준 1% 미만 저하를 목표로 한다.
- Super Weights 논문: 단 하나의 숫자를 양자화하는 것만으로 모델 성능이 20% 저하될 수 있음을 보임.
- NVFP4 구조: 16개 원소가 하나의 8비트(FP8) 스케일링 팩터를 공유하는 마이크로스케일링 방식.
- PTQ 처리 시간: Blackwell 노드에서 조(trillion) 파라미터급 모델도 몇 시간 내 양자화 체크포인트 완성 가능(평가에 더 많은 시간 소요).
- 모델 규모 기준선: 200억~300억 파라미터 이상이면 PTQ가 out-of-the-box로 잘 작동, 그 미만은 QAD 등 추가 작업 필요.
- 처리량 비교: 압축된 대형 모델이 GPU 파워 부족 시 초당 5~10 토큰인 반면, 소형 모델은 초당 약 200 토큰까지 가능.
- Hugging Face 소형 VLM 실험: 1B/500M/256M 규모 훈련 결과, 500M이 실사용 가능한 수준이었고 아이폰에서도 구동 가능했음.
결론 및 시사점
- 압축은 "인텔리전스의 민주화" 그 자체다: 클라우드/API 뒤에 갇혀 있던 프론티어급 지능을 개인 컴퓨터, 노트북, 나아가 폰까지 가져오는 핵심 기술이 압축/양자화이며, 패널 전원이 이를 자신의 커리어 전환점으로 꼽았다.
- 무작위 압축과 지능적 압축은 완전히 다르다: 레이어 중요도, super weight, 훈련 토큰 대비 파라미터 과잉 등 언어모델 아키텍처의 구조적 특성을 이해하고 선택적으로 압축해야 86% 크기 축소가 86% 성능 저하로 이어지지 않는다.
- 벤치마크만으로는 부족하다: 정확도 벤치마크는 방향성만 제시할 뿐, 실제 하니스에서의 거동(vibe)을 검증하는 작업이 병행돼야 한다. KL Divergence 같은 로짓 기반 지표가 더 신뢰할 만한 대안으로 제시됐다.
- "큰 모델을 압축"이 "애초에 작은 모델"보다 나을 수 있다: 동일 디스크 크기 기준으로 큰 모델을 4비트로 양자화한 것이 작은 모델을 16비트로 쓰는 것보다 지능 면에서 우월하다는 연구 결과가 있어, 모델이 계속 커지는 추세 속에서 압축의 중요성은 더 커질 것이다.
- 아키텍처 다양화는 양날의 검: 하이브리드/리니어 어텐션 등 아키텍처가 다양해지며 양자화 난이도가 급격히 올라갔지만(레이어별로 양자화 가능 여부가 완전히 달라짐), 동시에 다양성 자체는 오픈소스 생태계 발전에 긍정적으로 평가된다.
- 향후 방향: KV 캐시 압축, 스파시티(특히 NVIDIA Rubin의 dynamic activation sparsity), 랩 자체의 QAT 확대, 엣지·폰까지 확장되는 배포 범위가 다음 6~18개월의 핵심 화두로 제시됐다.