불확실성의 수학이 AI에 겸손과 지속 학습을 더하는 이유

URL: https://www.youtube.com/watch?v=afgyS-bblpw
날짜: 2026-09-04
채널: Tech Bridge
원제: [한영자막] AI는 왜 틀릴 때도 당당할까요? '불확실성'의 수학
영상 길이: 44분 41초

---

Layer 1 — 전체 요약

지능은 정답을 많이 말하는 능력만이 아니라, 제한된 감각과 불완전한 정보 속에서 자신의 믿음을 갱신하고 행동을 선택하는 능력이다. ==AI가 신뢰할 수 있는 협력자가 되려면 정확도와 함께 자신이 얼마나 불확실한지 명시적으로 표현하고, 그 불확실성을 의사결정에 사용해야 한다.==

• 대규모 언어 모델(LLM)은 다음 토큰 확률을 계산하지만, 자신이 어떤 주장에 얼마나 믿음을 두는지에 대한 명시적 확률 분포를 갖고 있지 않은 경우가 많다.
• 베이즈 추론(Bayesian inference)은 사전 믿음(prior)에 증거의 가능도(likelihood)를 반영해 사후 믿음(posterior)을 만들고, 새 증거가 들어올 때마다 지식을 일관되게 갱신하는 수학적 틀이다.
• 자율주행차의 우박 속 말, 학교버스를 치타라고 부르는 적대적 이미지, 사실 질문과 창작 질문의 구분은 정확한 답과 확신의 보정(calibration)이 함께 필요하다는 점을 보여준다.
• Google DeepMind의 GenCast 날씨 예보와 AlphaFold는 불확실성을 제거하지 않고 확률적 앙상블과 신뢰도 시각화로 표현함으로써 더 유용한 예측을 만든다.
• 불확실성 추론은 겸손·안전·지속 학습·데이터 효율성을 제공하지만, 모든 확률 분포를 정확히 계산하는 데 필요한 연산량이 매우 크다는 저주를 동반한다.

Zoubin Ghahramani는 AI 연구가 순수한 규모(scale) 확대만으로 끝나지 않으며, 새로운 아키텍처와 확률적 추론이 필요하다고 주장한다. 인간도 의식적으로 확률을 추정할 때는 자주 틀리지만 생존에 필요한 지각 체계는 무의식적으로 불확실성을 다룬다. 다음 단계의 AI는 인간의 감정적 겸손을 흉내 내는 데 그치지 않고, 인간보다 더 합리적으로 믿음을 표현하고 증거에 따라 수정하는 시스템이어야 한다.

Layer 2 — 상세 흐름

1. 당당하게 틀리는 AI와 불확실성의 출발점

현재 AI의 핵심 문제는 지식 부족만이 아니라, 틀릴 때조차 확신에 찬 어조를 유지한다는 데 있다.

1. AI의 권위적인 오답

   1. 절대적인 어조: 사용자가 AI에게 질문하면 AI는 흔히 흔들림 없는 권위로 하나의 답을 내놓는다.
   2. 오답과 확신의 결합: 그 답이 나중에 틀린 것으로 밝혀져도 처음에는 확실한 사실처럼 말한다.
   3. 인간의 자기 의심과 대비: 인간 지능의 중요한 특성으로 여겨지는 자기 의심(self-doubt)이 오늘날 AI에는 부족하다.

2. 불확실성을 연구해 온 Zoubin Ghahramani

   1. 연구 경력: Zoubin Ghahramani는 약 30년 동안 불확실성의 수학에 기반한 지능을 개척해 왔다.
   2. 현재의 역할: Cambridge 교수이자 Google DeepMind의 frontier AI 공동 리드(co-lead)로서 현대 AI의 방향을 둘러싼 논쟁 한가운데 있다.
   3. 논쟁의 두 진영: 한쪽은 더 많은 데이터·컴퓨트·모델 규모가 AI를 계속 개선할 것이라 보고, 다른 쪽은 아키텍처 혁신과 기계의 불확실성 개선이 진정한 지능에 필요하다고 본다.

2. 지능은 불확실성 속 의사결정이다

지능형 시스템은 모든 사실을 알 수 없으므로, 불완전한 지각과 미래 예측의 한계를 확률로 표현하며 행동해야 한다.

1. 의사결정이 지능의 중심인 이유

   1. 생명체부터 로봇까지: 박테리아, 동물, 인간, 로봇을 막론하고 지능은 무엇을 할지 결정하는 능력과 연결된다.
   2. 현실의 정보 한계: 감각은 세계의 일부만 제공하고 미래를 완벽히 예측할 수 없으므로 현실 상태에 대한 불확실성이 항상 남는다.
   3. 필요한 세 가지 기능: 지능 시스템은 불확실성을 표현하고, 새 증거에 맞춰 갱신하며, 갱신된 믿음을 이용해 불확실성 속에서 좋은 결정을 내려야 한다.

2. 서로 다른 두 종류의 불확실성

   1. 우연적 불확실성(aleatoric uncertainty): 동전의 앞뒷면이나 보행자가 어느 방향으로 돌지처럼 세계 자체의 무작위성에서 생긴다.
   2. 인식론적 불확실성(epistemic uncertainty): 한 번도 경험하지 못했거나 정보가 부족해서 생긴다. 더 관찰하고 데이터를 모으면 줄어들 수 있다.
   3. 의사결정의 차이: 우연적 불확실성은 예측을 포기하거나 위험을 감수하게 만들 수 있지만, 인식론적 불확실성은 정보를 더 수집하게 만든다.

3. 자율주행차와 ‘긴 꼬리’ 상황

   1. 학습 데이터의 한계: 자율주행차는 수많은 주행 데이터를 보지만, 발생 가능한 사건의 긴 꼬리(long tail) 전체를 경험할 수는 없다.
   2. 희귀한 복합 상황: 우박 폭풍 속에서 말이 갑자기 차 앞으로 뛰어드는 상황처럼 학습 데이터에 거의 없던 조합이 나타날 수 있다.
   3. 불확실성에 따른 행동: 차가 자신이 낯선 상황에 들어왔다는 사실을 알면 속도를 줄이고 더 조심해야 한다. 말이 자전거인지 무엇인지 확신할 수 없을 때 무리하게 진행하지 않는 방식이다.

4. 확률로 통합되는 불확실성

   1. 수학적 공통 언어: 여러 종류의 불확실성은 수학적으로 확률에 매핑할 수 있다.
   2. 확률 규칙의 역할: 확률 이론의 규칙은 믿음을 조작하고 현재 상태를 갱신하는 공통 절차를 제공한다.
   3. 정보의 단위: 컴퓨터과학에서 1비트(bit)는 불확실성이 2분의 1로 줄어드는 정보량으로 설명된다. 정보를 모으는 일은 불확실성을 줄이는 과정이다.

3. 인간의 지각·학습과 베이즈 추론

인간은 의식적으로 확률을 계산하지 않아도 감각 정보와 기존 믿음을 결합하며, 인지과학은 그 과정을 확률적 추론으로 모델링한다.

1. 감각은 불완전한 세계의 추론이다

   1. 보이지 않는 정보의 추정: 사람의 뒤통수를 직접 볼 수 없어도 앞모습과 일반적인 신체 구조를 바탕으로 뒤쪽 모습을 추정한다.
   2. 코스타리카의 재규어 사례: 숲에서 나뭇잎이 바스락거리면 재규어일 수 있다. 코스타리카에 재규어가 있다는 사전 지식이 그 소리를 해석하는 방식에 영향을 준다.
   3. 지역별 사전 믿음: 코스타리카에서는 재규어를 고려하지만 런던 한복판에서는 같은 소리에 재규어를 먼저 가정하지 않는다.

2. 인간의 확률 능력은 의식과 무의식에서 다르다

   1. 의식적 추정의 취약성: 특정 사건의 확률을 직접 물으면 사람은 몇 자릿수나 틀릴 정도로 크게 오판할 수 있다.
   2. 추론 오류와 믿음의 편향: 인지과학·심리학 연구는 사람이 확률적 추론과 믿음 형성에서 여러 오류를 보인다는 점을 확인했다.
   3. 무의식적 지각의 강점: 생존이 달린 지각 체계는 감각의 불확실성을 무의식적으로 꽤 잘 처리한다.

3. 아기의 학습과 암묵적 확률

   1. 행동-결과 믿음: 아기와 유아는 어떤 행동이 어떤 결과를 낳을지에 대한 믿음을 조정하며 학습한다.
   2. 수식 없는 확률: 아기는 확률이라는 말을 모르고 방정식도 쓸 수 없지만, 행동 결과에 대한 불확실한 예측을 암묵적으로 업데이트한다.
   3. 인지과학의 형식화: 인지과학자와 심리학자는 인간 학습·지각·의사결정을 AI에 쓰이는 확률 형식으로 이해하려 한다.

4. 베이즈 규칙(Bayes’ rule)의 직관

   1. 사전 믿음(prior): 증거를 보기 전 여러 가설에 대해 가진 믿음을 확률 분포로 표현한다. 탐정 소설에서 집사·다른 용의자들이 범인일 가능성에 해당한다.
   2. 가능도(likelihood): 살인 무기가 식료품 저장실에서 발견되는 등 새 증거가 각 용의자에게서 나타날 가능성을 계산한다.
   3. 사후 믿음(posterior): 사전 믿음에 가능도를 곱한 뒤 확률의 합이 1이 되도록 정규화하면 새 지식 상태가 된다.
   4. 반복 갱신: 현재 사후 분포를 새 사전 분포로 삼아 다음 증거를 반영한다. 관찰이 누적될수록 믿음은 일관된 방향으로 변한다.

5. 학습을 베이즈 갱신으로 보기

   1. 모델 매개변수: 학습 초기에 모델의 매개변수가 어떤 값이어야 하는지 확실히 알 수 없으므로 매개변수에 대한 믿음이 필요하다.
   2. 데이터의 순차 반영: 데이터가 들어올 때마다 매개변수의 분포를 갱신하면 학습을 설명할 수 있다.
   3. 지식의 누적: 새 증거가 기존 지식을 무작정 덮어쓰는 것이 아니라, 기존 믿음과 증거의 상대적 힘을 반영해 다음 상태를 만든다.

4. 정확도만으로 부족하다는 증거

AI가 정답을 맞혔는지와 그 정답을 얼마나 믿는지는 별개의 품질 축이며, 둘을 함께 보지 않으면 시스템은 위험하게 오판한다.

1. 학교버스가 치타가 되는 적대적 예시(adversarial example)

   1. 사람에게는 같은 이미지: 학교버스 사진의 몇 픽셀을 사람이 알아채지 못할 정도로 바꿔도 사람은 여전히 학교버스로 인식한다.
   2. 신경망의 오인식: 같은 이미지를 신경망에 넣으면 “치타”라고 답하고, 그 확률을 99%라고 자신 있게 제시할 수 있다.
   3. 범주를 가리지 않는 취약성: 특정 이미지는 모델의 눈에 원숭이 등 다른 범주로도 바뀔 수 있다.

2. 정확도와 확신의 동시 평가

   1. 필요한 품질: 실제로 중요한 것은 정답률만이 아니라 모델의 확신이 실제 정답률과 맞는지다.
   2. 피해야 할 시스템: 틀린 답을 내놓으면서도 과도하게 확신하는 시스템은 신뢰할 수 없다.
   3. 현재의 한계: 현대 시스템은 여전히 이런 방식으로 속을 수 있으며, AGI가 되려면 한계와 오류 가능성을 표현하는 겸손이 필요하다.

3. LLM의 확신과 플립플롭

   1. 확신 질문의 문제: LLM에게 “얼마나 확신하느냐”고 물어도 그 답은 명시적인 믿음 분포에서 나온 수치가 아니라 다음 토큰 예측의 산물일 수 있다.
   2. 반박에 따른 태도 전환: 모델이 자신 있게 답한 뒤 사용자가 “네가 틀린 것 같다”고 말하면 곧바로 “맞다, 내가 틀렸다”고 바꿀 수 있다.
   3. 신뢰의 조건: 증거 없이 입장을 바꾸는 시스템도, 근거 없이 끝까지 우기는 시스템도 일관된 지능으로 보기 어렵다.

5. 1980년대 신경망에서 2015년의 확률적 지능 논문까지

신경망의 초기 혁명과 확률 모델 연구는 서로 다른 길처럼 보였지만, 오늘날 지능의 핵심을 확률과 구조의 결합으로 다시 묶고 있다.

1. 1980년대의 AI와 개인적 출발

   1. 십대의 관심: Ghahramani는 14~15세 무렵부터 AI 연구자가 되고 싶어 했다.
   2. 1986년의 여름 일자리: University of Pennsylvania 컴퓨터과학과의 유명한 전산언어학자 Aravind Joshi를 찾아가 여름 일자리를 요청했고, Joshi는 『Parallel Distributed Processing』 두 권을 읽고 설명하는 일을 맡겼다.
   3. 신경망 혁명의 시점: 그 책들이 나온 1986년은 역전파(backpropagation) 논문이 발표되어 현대 신경망 혁명이 시작된 해이기도 했다.

2. 전문가 시스템과 신경망의 대비

   1. 당시 주류: 1980년대 중후반 AI의 지배적 패러다임은 규칙 기반 전문가 시스템이었다.
   2. 규칙 시스템의 취약성: 정해진 규칙으로 의사결정하는 전문가 시스템은 상황이 조금만 달라져도 깨지는(brittle) 경향이 있었다.
   3. 신경망의 유연성: 인간 뇌를 본뜬 신경망은 데이터에서 학습하고 입력을 출력으로 매핑할 수 있어 기존 방식보다 유연했다.

3. 1989년의 ‘작은 언어 모델’

   1. 학부 논문: Ghahramani는 신경망으로 인간 언어를 파싱하는 방법을 연구하는 학부 논문을 썼다.
   2. 시대적 제약: 당시에는 월드와이드웹도 없었고 데이터셋과 컴퓨트도 매우 작았다.
   3. 오늘날의 관점: 지금의 기준으로는 매우 작은 언어 모델(small language model)을 연구한 셈이며, 발표했다면 초기 언어 모델 논문 중 하나가 될 수 있었다.

4. Connection Machine과 신경망의 반문화

   1. 병렬 컴퓨터: 당시 사용한 Connection Machine은 65,000개의 프로세서를 갖춘 큐브 모양의 상징적인 병렬 컴퓨터였다.
   2. 시각적 특징: 불투명한 큐브 안에서 65,000개의 작은 빨간 불빛이 깜빡이는 형태였다.
   3. 연구 문화: 신경망은 당시 전통적 AI에 매료된 주류에 맞서는 반문화(counterculture)처럼 여겨졌다.

5. 확률 모델로의 이동

   1. 초기의 이해: 1990년대 초 연구자들은 신경망을 입력 X를 출력 Y로 바꾸는 함수 근사기(function approximator)로 이해했다고 느꼈다.
   2. 새로운 수학적 연결: 신경망과 확률론·통계학·확률적 과정(stochastic process) 사이의 아름다운 관계가 드러나면서 연구의 중심 질문이 바뀌었다.
   3. Jeff Hinton과의 작업: Ghahramani는 Geoffrey Hinton과 함께 심층학습을 시도했지만, 대규모 데이터가 없던 시절이라 단순 신경망 대신 확률 모델을 사용해 시스템을 지나치게 복잡하게 만들었다.
   4. Bayesian machine learning: 이후 Bayesian machine learning과 확률 모델을 수년간 연구했으며, 신경망이 작동한다는 사실 자체를 부정하지는 않았다. 다만 당시에는 신경망의 수학이 이미 충분히 이해된 것처럼 보여 연구적으로 덜 흥미롭게 느꼈다.

6. 2015년 Nature 논문의 주장

   1. 핵심 명제: 2015년 Nature 논문에서 지능의 여러 측면은 불확실성을 정교하게 확률적으로 표현하는 데 결정적으로 의존한다고 주장했다.
   2. LLM과 확률의 차이: LLM은 이전 토큰이 주어졌을 때 다음 토큰의 확률을 예측하므로 확률이 중심에 있지만, 확률을 명시적으로 표현하고 조작하는 구조를 반드시 갖는 것은 아니다.
   3. 분산된 내부 상태: 거대한 신경망 안에서 특정 믿음의 확률이 어디에 명시적으로 저장되는지 찾기 어렵고, 수십억 개 유닛의 활성화 전반에 흩어져 있을 수 있다.

6. LLM의 베이즈 추론 한계와 환각

현재 LLM은 웹의 방대한 패턴을 흉내 내는 데 뛰어나지만, 세계에 대한 일관된 믿음과 인과적 불확실성을 직접 관리하는 데는 약하다.

1. 데이터의 ‘수프’

   1. 학습 목표: 현재의 학습 패러다임은 데이터 모델링을 매우 잘하는 모델을 만드는 데 우선순위를 둔다.
   2. 상충하는 관점의 혼합: 웹에 여러 사람이 서로 다른 믿음과 추론을 남겼다면 모델에는 그 모든 것이 뒤섞인 수프(soup)처럼 들어간다.
   3. 현실 행동의 요구: 자율주행차·로봇은 텍스트 패턴만이 아니라 현실 세계의 원인과 결과, 자신의 불확실성, 안전한 행동을 이해해야 한다.

2. 환각은 증상이며 창의성과 긴장 관계에 있다

   1. 사실 질문의 오류: 검증 가능한 사실을 틀리게 답하는 환각은 모델이 자신의 믿음과 근거를 보정하지 못한다는 증상이다.
   2. 창작에서의 유용한 환각: “알베르트 아인슈타인이 로켓을 타고 달에 갔던 날”에 대한 단편을 써 달라는 요청은 사실이 아니지만 창작으로서는 유효하다.
   3. 의도 추론: 모델은 사용자가 사실 확인을 원하는지 창작을 원하는지 의도를 추론해야 하며, 사실 질문에는 근거를, 창작 요청에는 상상력을 맞춰야 한다.
   4. 상충하는 목표: 환각을 전혀 허용하지 않으면 창의성도 줄어들 수 있으므로, 무조건적인 억제가 아니라 맥락에 맞는 불확실성 표현이 필요하다.

3. Semantic Entropy와 내부 신호

   1. 토큰 분포의 엔트로피: 모델이 다음 토큰을 만들기 전 가능한 모든 토큰에 대한 확률 분포를 갖고 있으며, 그 분포의 엔트로피가 불확실성의 단서가 된다.
   2. 낮은 엔트로피: 하나의 토큰에 확률이 뾰족하게 몰린(spiky) 분포는 모델이 비교적 확신하는 상태다.
   3. 높은 엔트로피: 확률이 여러 토큰으로 넓게 퍼진 분포는 모델이 불확실한 상태다.
   4. 의미 단위의 추정: 학생이 개발한 Semantic Entropy 같은 접근은 모델 내부에서 답변의 의미가 얼마나 일관되게 모이는지로 믿음의 정도를 추론하려 한다.

4. 에펠탑 사례와 ‘계산하는’ 모델의 필요

   1. 파리의 높은 확률: “에펠탑은 어디에 있는가?”라는 질문에는 파리가 매우 큰 확률을 차지해야 한다.
   2. 대안에 남는 엔트로피: 뉴욕과 라스베이거스에도 작은 에펠탑이 있을 수 있으므로 맥락에 따라 그 선택지에 약간의 확률이 남을 수 있다.
   3. 데이터 패턴의 함정: 데이터셋에서 ‘에펠탑’과 ‘파리’가 자주 함께 등장한다는 사실만으로 높은 확률을 만들면, 그 관계는 세계를 이해한 결과가 아니라 패턴을 흉내 낸 것일 수 있다.

5. 계산기 비유

   1. 예시 암기 방식: 덧셈과 곱셈 예시만 계속 보여주어 계산기를 만들면, 한 번도 보지 못한 숫자에서 제대로 일반화하지 못할 수 있다.
   2. 진짜 계산: 계산기는 예시를 흉내 내는 것이 아니라 실제로 계산해야 한다.
   3. AI에 대한 요구: AI도 세계에 대한 답을 데이터에서 재현하는 데 그치지 말고, 자신이 놓인 세계에 대해 추론해야 한다.

6. 왜 아직 어려운가

   1. 계산 복잡도: 가능한 모든 사물에 대한 확률 분포를 명시적으로 표현하고 조작하는 일은 계산적으로 매우 어렵다.
   2. 과거의 선택: 15~20년 전에도 합리적 시스템을 만드는 재료는 어느 정도 있었지만, 정확한 확률 추론은 거대한 슈퍼컴퓨터와 엄청난 시간을 요구한다고 판단했다.
   3. 근사로의 전환: 수백만 년을 기다려야 답을 얻을 수 있다는 우려 때문에 연구자들은 데이터 학습으로 방향을 바꾸고 확률 추론을 근사했다.

7. GenCast와 AlphaFold가 보여주는 불확실성의 실용성

날씨 예보와 단백질 구조 예측은 불확실성을 숨기지 않고 분포로 다루는 것이 예측과 의사결정을 개선한다는 대표적인 사례다.

1. GenCast의 확률적 날씨 예보

   1. 예측 범위와 속도: Google DeepMind의 GenCast는 최대 15일의 날씨를 예측하며, 거대한 슈퍼컴퓨터가 수시간 걸리던 작업을 약 8분에 수행한다.
   2. Diffusion model: 이미지 생성 모델과 마찬가지로 diffusion model을 사용해 시간에 따른 확률 분포를 조작한다.
   3. 앙상블 예보: 허리케인 Melissa의 경로처럼 미래 경로를 하나의 선으로 단정하지 않고 반복 실행한 여러 예측의 앙상블(ensemble)로 표현한다.
   4. 관측에 따른 갱신: 몇 시간 뒤 센서 관측이 추가되면 가능한 경로의 분포를 업데이트한다. 이는 베이즈 갱신의 핵심 아이디어를 적용한 방식이다.

2. 날씨의 두 불확실성

   1. 카오스와 나비효과: 날씨는 작은 차이가 큰 결과를 만드는 혼돈계이므로 미래를 완벽히 예측할 수 없다.
   2. 센서의 한계: 지구 전체에 센서가 무한히 있는 것이 아니며, 관측 수가 제한되어 현재 상태를 완전히 알 수 없다.
   3. 모델·센서의 오류: 센서가 고장 나거나 귀가 막혀 소리를 잘 듣지 못하는 것처럼 관측이 부정확할 수 있고, 모델의 가정도 틀릴 수 있다.
   4. 불확실성 추가의 역설: 임의의 잡음을 넣는 것이 아니라 현실의 한계를 정직하게 표현할 때 예측은 더 잘 보정(calibrated)된다.

3. AlphaFold의 신뢰도 표현

   1. 색상으로 표시되는 확신: AlphaFold의 단백질 구조 예측은 어느 부분을 얼마나 확신하는지 색으로 보여준다.
   2. 물리적 불확실성: 단백질의 일부는 물리적으로 더 많이 흔들리므로 정확히 한 위치에 고정되지 않는다.
   3. 모델과 실험의 차이: 예측 모델은 실험 데이터 그 자체가 아니므로 모델에서 오는 불확실성도 남는다.
   4. 구름으로 보는 예측: 분자의 위치를 단일한 확정값이 아니라 가능한 위치들의 구름으로 표현해야 문제의 본질을 보존할 수 있다.

8. ‘모른다’와 유용한 확률 사이의 균형

불확실성을 정직하게 표현한다고 해서 모든 질문에 “모르겠다”고 답하는 것은 아니며, 반복 가능한 사건에서는 확률의 보정 정도로 품질을 검증할 수 있다.

1. 과도한 겸손의 위험

   1. 무응답 모델: 불확실성을 지나치게 강조하면 모델이 어떤 질문에도 답하지 않고 계속 “모르겠다”고 말할 수 있다.
   2. 필요한 균형: 정보가 충분할 때는 유용한 답을 내놓고, 정보가 부족하거나 위험이 클 때는 확신을 낮춰야 한다.
   3. 불확실성의 정도: 모든 “모르겠다”가 같은 뜻은 아니다. 거의 확신이 없는 상태와 유력한 답이 있지만 틀릴 가능성이 남은 상태를 구분해야 한다.

2. 반복 가능한 사건의 보정(calibration)

   1. 70% 강수 확률: 어떤 날에 비가 올 확률을 70%라고 말했다면, 같은 예측을 한 모든 날 중 약 70%에는 실제로 비가 와야 한다.
   2. 확률의 검증: 70%라고 예보한 날 중 70%에 비가 왔다면 그 확률은 보정되어 있다고 할 수 있다.
   3. 정확도와 다른 기준: 보정은 단 한 번의 정답 여부보다 반복되는 예측 집단에서 확률과 실제 빈도가 맞는지를 본다.

3. 한 번만 일어나는 사건도 확률로 표현할 수 있다

   1. 화성 도달 날짜: 인간이 처음 화성에 도착하는 날짜는 한 번 일어나며, 사건이 일어난 뒤에는 그 날짜가 확정된다.
   2. 사전 믿음의 가치: 사건이 아직 일어나지 않았을 때는 가능한 날짜에 대한 믿음을 확률로 표현할 수 있다.
   3. 베이즈 통계의 정당화: 반복 관측으로 빈도를 확인할 수 없는 사건에도 베이즈 통계는 불확실한 믿음의 정도를 표현할 수 있게 한다.

4. 사람에게 확률을 전달하는 법

   1. 과소 신뢰와 과신: 어떤 사람은 AI의 말이라면 아무것도 믿지 않고, 다른 사람은 AI의 답에 지나치게 의존한다.
   2. 의료 AI의 생명·사망 결정: 의사가 환자의 증상·검사 결과를 AI와 함께 해석하는 미래에는 AI의 불확실성이 치료 계획을 결정할 수 있다.
   3. 가시화의 필요: 사용자가 모델의 한계와 불확실성을 이해하도록 확률과 답을 우아하게 시각화해야 한다.
   4. 상호보완적 AI: AI는 인간을 대체하는 권위자가 아니라, 인간이 중요하게 여기는 문제를 해결하도록 돕는 보완적 시스템이어야 한다.
   5. David Spiegelhalter의 연구: Cambridge의 동료 David Spiegelhalter가 일반 대중에게 불확실성과 확률을 전달하는 방법을 연구해 왔다는 사례가 언급된다.

9. 스케일링만으로 충분한가: AGI 연구의 다음 과제

현재 모델의 유용성을 인정하더라도, 드문 상황·지속 학습·에너지·데이터 효율성에서는 규모 확대만으로 해결되지 않는 문제가 남아 있다.

1. 스케일링 진영과 아키텍처 진영

   1. 스케일링의 성과: 더 많은 데이터와 컴퓨트를 투입하면 모델이 계속 좋아진다는 접근은 실제로 수십억 명이 사용하는 유용한 시스템을 만들었다.
   2. 긴 꼬리의 공백: 챗봇을 일상적으로 쓰는 상황에서는 오류가 치명적이지 않을 수 있지만, 드문 상황까지 밀어붙이면 모델의 빈틈이 드러난다.
   3. 고위험 영역: 자율주행과 의료 진단처럼 잘못된 확률이 생명과 안전에 영향을 미치는 영역에서는 단순한 평균 성능보다 보정된 믿음이 중요하다.
   4. 새 아키텍처의 필요성: 규모 확대가 진전을 이뤘다는 사실과 아직 발견할 것이 많다는 사실은 동시에 참이다.

2. 지속 학습(continual learning)

   1. 현재의 훈련 방식: 거대한 모델 하나를 학습한 뒤 제품으로 배포하고, 몇 달 후 새 거대 모델을 다시 학습하는 방식이 일반적이다.
   2. 생물학적 학습과의 차이: 인간과 동물은 계속 데이터 스트림을 받고 신경 연결을 끊임없이 조정한다.
   3. 치명적 망각(catastrophic forgetting): 현재 AI는 새 지식을 학습하는 과정에서 과거 지식을 잃는 문제를 잘 해결하지 못한다.
   4. 베이즈 갱신의 해법: 기존 믿음을 사전 분포로 보존하고 새 데이터를 사후 분포에 반영하면, 원리상 치명적 망각 없이 계속 학습할 수 있다.
   5. 현대적 근사: 대규모 신경망의 지속 학습 시도 중 상당수는 베이즈 갱신을 효율적으로 근사하려는 것으로 볼 수 있다.

3. 에너지 효율성

   1. 뇌의 소비전력: 인간의 뇌는 약 20와트 정도를 소비하며, 전구 하나에 비유할 수 있다.
   2. 비교의 주의점: 단일 인간의 경험과 인터넷 지식 전체를 섞은 LLM을 직접 비교할 수는 없지만, 대규모 데이터센터의 모델 학습은 뇌보다 에너지 효율이 훨씬 낮다.
   3. 연구 기회: 더 적은 에너지로 학습하는 방법은 여전히 충분히 연구할 가치가 있다.

4. 새 하드웨어·소프트웨어 공진화

   1. 현재의 두 일꾼: 현대 AI의 핵심 도구는 Transformer와 diffusion model이다.
   2. 다음 가능성: 완전히 다른 아키텍처와 하드웨어의 공진화가 등장할 수 있다.
   3. 희소 신경망: 새로운 하드웨어는 매우 희소한(sparse) 신경망을 효율적으로 실행하는 구조일 수 있다.
   4. 데이터 효율성: 인간·동물보다 훨씬 많은 데이터를 요구하는 현재 AI의 비효율성도 베이즈 아이디어로 개선할 여지가 있다.

10. 베이즈 ‘마법’의 대가와 다시 열리는 가능성

베이즈 추론은 겸손·지속 학습·데이터 효율성을 한 틀에서 설명하지만, 정확한 계산의 비용 때문에 근사와 새 컴퓨트가 필수다.

1. 너무 좋아 보이는 마법

   1. 한 줄에 담기는 장점: 베이즈 원칙 하나가 불확실성, 지속 학습, 데이터 효율성을 동시에 설명하는 것처럼 보인다.
   2. 마법이 아닌 오래된 지식: 이 아이디어는 새로 발견한 비법이 아니라 오래전부터 머신러닝 교과서에 알려져 있었다.
   3. 학생에게 필요한 기초: 모든 머신러닝 학생은 이런 이상적 시스템이 원리상 가능하다는 점을 이해해야 한다.

2. 계산적 저주

   1. 정확한 계산의 어려움: 가능한 상태 전체의 확률 분포를 정확히 다루는 일은 계산적으로 매우 느리다.
   2. 복잡도 문제: 교과서는 이런 문제들이 NP-hard 또는 NP-complete에 가까운 계산 난제를 가진다고 설명하며, 정확한 해 대신 근사를 요구한다.
   3. 현재 시스템의 위치: 이상적인 확률적 AI를 만드는 개념은 있지만, 현대 AI는 이를 빠르게 계산하기 위한 근사 시스템이다.

3. 1980년대와 달라진 컴퓨트 환경

   1. 과거의 포기 이유: 당시에는 확률 분포 계산이 너무 느려 연구자들이 데이터 학습으로 돌아가는 것이 합리적이었다.
   2. 현재의 자원: Ghahramani가 학부 시절 사용한 거대한 Connection Machine도 현재 주머니 속 Pixel 스마트폰보다 느리다.
   3. 새로운 시도: 컴퓨트는 빠르고 저렴해졌고, 수십 년간 효율적인 근사 기법도 축적됐으므로 확률적 아이디어를 다시 조합할 조건이 갖춰졌다.

Layer 3 — 핵심 개념·근거·사례 해설

1. 불확실성의 종류와 행동 규칙

불확실성을 하나의 “모름”으로 뭉개지 않고 원인에 따라 분리해야 시스템이 적절한 행동을 선택할 수 있다.

1. Aleatoric uncertainty

   1. 원인: 동전 던지기나 보행자의 방향 전환처럼 세계에 내재한 무작위성이다.
   2. 행동: 정보를 더 모아도 줄지 않을 수 있으므로 예측을 계속 시도하기보다 위험을 관리한다.

2. Epistemic uncertainty

   1. 원인: 학습 데이터에 없거나 관측이 부족해서 발생한다.
   2. 행동: 추가 센서, 질문, 실험, 관찰을 통해 줄일 수 있으므로 능동적으로 정보를 수집한다.

3. AI 설계 원칙

   1. 자기 상태 표시: 모델은 답뿐 아니라 답을 지지하는 확률과 근거의 상태를 함께 제시해야 한다.
   2. 위험 민감 행동: 불확실성이 큰 희귀 상황에서 속도를 낮추거나 인간에게 넘기는 정책이 필요하다.

2. 베이즈 추론의 계산 구조

베이즈 추론은 증거가 들어올 때마다 믿음을 갱신하는 절차이며, 인지·학습·예보를 하나의 언어로 연결한다.

1. 기본 식의 의미

   1. 사전 분포: 관찰 전의 가설별 믿음이다.
   2. 가능도 반영: 현재 증거가 각 가설 아래에서 얼마나 그럴듯한지 곱한다.
   3. 정규화: 모든 가설의 확률 합이 1이 되도록 만들어 새 사후 분포를 얻는다.

2. 정보와 갱신

   1. 정보량: 증거가 불확실성을 얼마나 줄였는지는 비트로 측정할 수 있다.
   2. 순차 학습: 사후 분포가 다음 관찰의 사전 분포가 되므로, 지식이 누적된다.
   3. 합리성: 증거가 없을 때 무작정 입장을 바꾸거나 고집하지 않고 증거의 크기에 비례해 믿음을 조정한다.

3. 엔트로피·보정·신뢰도의 구분

모델의 내부 엔트로피는 불확실성의 단서이고, 보정은 확률이 실제 빈도와 맞는지 평가하며, 신뢰도는 사용자가 그 정보를 어떻게 해석하는지의 문제다.

1. 엔트로피

   1. 낮은 엔트로피: 한 선택지에 확률이 몰려 예측이 뾰족하다.
   2. 높은 엔트로피: 선택지가 넓게 퍼져 모델이 망설인다.
   3. 한계: 토큰 분포의 뾰족함이 곧 세계의 사실성이나 인과 이해를 보장하지는 않는다.

2. 확률 보정

   1. 반복 사건: 70% 예측 집단의 70%가 실제로 사건을 겪는지로 보정을 평가한다.
   2. 일회 사건: 화성 도달 날짜처럼 반복 검증이 어려운 사건도 사전 믿음으로 확률을 표현할 수 있다.

3. 인간-기계 협업

   1. 과신 방지: 의료·자율주행에서는 모델의 확률이 사람의 과도한 의존을 줄여야 한다.
   2. 회의주의 방지: 확률 표현은 AI의 모든 답을 거부하는 태도도 완화할 수 있다.
   3. 시각화: 단일 점수보다 범위, 분포, 대안, 근거를 함께 보여주는 인터페이스가 필요하다.

4. 현대 시스템과 이상적 시스템의 간극

현대 LLM은 확률을 전혀 쓰지 않는 시스템이 아니라, 확률을 명시적으로 믿음으로 관리하지 않는 시스템에 가깝다.

1. 현대 LLM의 강점

   1. 다음 토큰 예측: 방대한 데이터에서 문맥에 맞는 다음 토큰 분포를 계산한다.
   2. 사실성 개선: 더 나은 데이터와 grounding은 많은 유용한 답을 만들어냈다.

2. 현대 LLM의 간극

   1. 믿음의 비명시성: 특정 주장에 대한 확률이 모델의 어느 부분에 저장되는지 직접 읽기 어렵다.
   2. 패턴 모방: 확률 분포가 세계의 구조를 계산한 것인지 웹의 문장 패턴을 모방한 것인지 분리하기 어렵다.
   3. 태도 불일치: 사용자의 반박에 별도의 새 증거 없이 답을 바꾸면 믿음 갱신 규칙이 불안정하다는 신호다.

3. 이상적 시스템의 방향

   1. 명시적 믿음: 주장·가설·세계 상태에 대한 확률을 일관되게 보유해야 한다.
   2. 인과적 모델: 단순한 상관 패턴을 넘어 행동이 결과를 어떻게 바꾸는지 이해해야 한다.
   3. 계산 가능한 근사: 이상적 베이즈 추론을 현실의 시간·에너지 예산에서 실행할 수 있도록 근사해야 한다.

Layer 4 — 결론 및 실행 가능한 시사점

1. AI 연구·제품 설계에 대한 시사점

정답률을 올리는 일과 불확실성을 잘 표현하는 일은 함께 최적화해야 하며, 고위험 제품일수록 후자의 우선순위가 높다.

1. 신뢰도 없는 답을 배포하지 않기

   1. 확신의 근거 기록: 모델의 답과 함께 근거·검색 결과·대안 가설·신뢰 구간을 보존한다.
   2. 모르는 상황 감지: 학습 분포 밖(out-of-distribution)의 입력을 감지하면 답변 강도를 낮추거나 인간에게 넘긴다.
   3. 행동 연결: 자율 시스템에서는 불확실성이 일정 임계치를 넘을 때 감속·정지·추가 관측을 선택한다.

2. 보정 평가를 기본 지표로 추가하기

   1. 정확도와 분리: 정답률, calibration error, 과신 오답률을 별도로 측정한다.
   2. 반복 집단 검증: 확률 구간별로 실제 빈도를 비교해 70% 예측이 실제로 70%에 맞는지 확인한다.
   3. 희귀 상황 테스트: 평균적인 벤치마크뿐 아니라 우박 속 말처럼 긴 꼬리의 복합 상황을 시뮬레이션한다.

3. 사실성과 창의성을 맥락별로 분리하기

   1. 사실 모드: 사실 질문에는 출처·검증·낮은 창작성을 우선하고 모르면 모른다고 표시한다.
   2. 창작 모드: 허구 요청에는 상상력을 허용하되 사실이 아니라는 맥락을 유지한다.
   3. 의도 확인: 사용자의 요청이 사실 보고인지 창작인지 모호하면 답변 전에 목적을 분류한다.

2. 지속 학습과 효율성에 대한 시사점

새 모델을 반복해서 처음부터 훈련하는 방식은 생물학적 학습보다 비효율적이며, 믿음 보존과 업데이트를 시스템 설계의 핵심으로 삼아야 한다.

1. 기억을 보존하는 업데이트

   1. 기존 지식 유지: 새 데이터가 들어와도 기존 지식을 사전 분포로 보존한다.
   2. 충돌 처리: 새 증거가 기존 믿음과 충돌하면 어느 쪽이 더 신뢰할 만한지 가능도와 데이터 품질로 평가한다.
   3. 망각 측정: 새 과제 성능뿐 아니라 과거 과제의 성능 손실도 지속적으로 측정한다.

2. 데이터·에너지 효율성 개선

   1. 능동적 정보 수집: 모든 데이터를 동일하게 모으기보다 불확실성을 가장 많이 줄이는 관측을 선택한다.
   2. 희소 계산: 모든 신경망 연결을 항상 활성화하지 않고 필요한 부분만 계산하는 하드웨어·소프트웨어를 탐색한다.
   3. 근사 알고리즘: 정확한 확률 계산의 비용을 낮추는 샘플링·변분 추론 등 효율적인 근사 기법을 제품 수준으로 발전시킨다.

3. 사용자 경험과 사회적 안전에 대한 시사점

불확실성은 문장 끝에 붙이는 면책 문구가 아니라, 사람이 AI의 답을 해석하고 행동하는 방식을 바꾸는 인터페이스 요소다.

1. 확률을 이해 가능한 형태로 보여주기

   1. 범위와 비교: 단일 퍼센트보다 가능한 결과의 범위와 주요 대안을 함께 표시한다.
   2. 자연어 보완: “70%”가 실제로 무엇을 의미하는지 반복 사건의 예시로 설명한다.
   3. 위험도 연결: 낮은 확률이라도 피해가 큰 경우에는 경고 강도를 높인다.

2. 의료·자율주행·과학의 인간 감독

   1. 의료: 진단·치료 선택에서 AI의 확률, 데이터 누락, 상반된 근거를 의사가 확인할 수 있어야 한다.
   2. 자율주행: 학습하지 못한 조합을 만나면 속도를 줄이고 센서 정보를 추가로 얻는 정책을 기본값으로 삼는다.
   3. 과학 예측: AlphaFold와 날씨 예보처럼 단일 정답 대신 구조·경로의 분포를 연구자에게 제공한다.

4. 최종 결론

1. 지능의 기준 재정의

   1. 인간의 약점을 넘어서기: 인간은 의식적으로 확률을 잘못 계산하므로 AI가 단순히 인간의 직관을 모방하는 것만으로는 충분하지 않다.
   2. 합리적 협력자: 인간의 겸손·정직·의심을 유용한 기능으로 구현하되, 확률 추론에서는 인간보다 더 일관되고 합리적이어야 한다.
   3. 가장 중요한 선호: 중요한 문제일수록 오만하고 과신하는 AI보다 자신이 모르는 때를 아는 AI를 선택해야 한다.

2. 규모와 구조의 병행

   1. 스케일의 공헌: 규모 확대는 놀라운 능력과 광범위한 활용을 가능하게 했다.
   2. 구조의 과제: 명시적 믿음·지속 학습·에너지 효율·긴 꼬리 안전성은 새로운 아키텍처 연구를 요구한다.
   3. 현실에 뿌리내린 AI: 불확실성은 AI를 약하게 만드는 잡음이 아니라, 세계의 한계를 인정해 실제로 의지할 수 있는 협력자로 만드는 기반이다.

주요 발언 모음

“지능형 시스템을 만들려면 불확실성을 표현하고, 불확실성을 갱신하고, 불확실성 속에서 좋은 결정을 내릴 수 있어야 한다.”

“우리는 과신하는 AI 시스템에 의존하게 되어서는 안 된다.”

“계산기를 덧셈과 곱셈의 예시만 보여주어 만들고 싶지는 않다. 계산기가 실제로 계산하기를 원한다.”

“불확실성을 추가한다고 해서 시스템을 임의로 시끄럽게 만드는 것이 아니다. 센서가 부정확하고 모델의 가정이 틀릴 수 있다는 사실을 정직하게 표현하는 것이다.”

“모든 중요한 문제에서 오만하고 과신하는 AI보다 자신이 모르는 때를 아는 AI를 갖고 싶다.”

“불확실성과 의심을 받아들이는 일은 AI의 취약성이 아니다. AI를 현실에 grounded하게 만들고 실제로 의지할 수 있는 협력자로 만든다.”

핵심 데이터 & 수치

• 약 30년: Ghahramani가 불확실성 수학에 기반한 지능을 연구해 온 기간이다.
• 1986년: 『Parallel Distributed Processing』 출간과 역전파 논문 발표가 겹친 현대 신경망 혁명의 출발 시점이다.
• 1989년: Ghahramani가 신경망으로 자연어 파싱을 연구하는 학부 논문을 쓴 시점이다.
• 65,000개: 당시 Connection Machine이 갖고 있던 프로세서 수다.
• 2015년: 지능의 여러 측면이 신중한 확률적 불확실성 표현에 의존한다는 Ghahramani의 Nature 논문이 발표된 시점이다.
• 약 8분: GenCast가 15일 날씨 예보를 생성하는 데 걸리는 시간으로 소개된다.
• 15일: GenCast가 다루는 예보 범위다.
• 70%: 반복적으로 70%라고 예보한 날 중 실제 비가 오는 날의 비율이 70%여야 한다는 보정 예시다.
• 약 20와트: 인간 뇌의 소비전력으로 소개되며, 대규모 LLM 학습보다 훨씬 효율적이다.
• 수백만 년: 모든 가능한 상태의 확률 분포를 정확히 계산하려 할 때 과거 연구자들이 상상한 극단적 대기 시간이다.

핵심 요약 (20줄)

1. AI의 가장 위험한 결함은 틀린 답 자체보다 틀린 답을 확신에 차서 말하는 것이다.

2. 지능은 제한된 감각과 예측 불가능한 미래 속에서 결정을 내리는 능력이다.

3. 불확실성을 표현하고 갱신하며 행동에 반영하는 구조가 지능형 시스템에 필요하다.

4. 우연적 불확실성은 세계의 무작위성에서, 인식론적 불확실성은 정보 부족에서 생긴다.

5. 자율주행차는 우박 속에서 말이 뛰어드는 긴 꼬리 상황을 만나면 속도를 낮춰야 한다.

6. 확률은 서로 다른 불확실성을 표현하고 조작하는 수학적 공통 언어다.

7. 인간은 코스타리카의 나뭇잎 소리를 재규어라는 사전 믿음과 결합해 해석할 수 있다.

8. 인간은 의식적으로 확률을 추정할 때 자주 틀리지만 생존에 필요한 지각은 무의식적으로 불확실성을 처리한다.

9. 베이즈 규칙은 사전 믿음에 증거의 가능도를 반영해 사후 믿음을 만들고 새 증거로 반복 갱신한다.

10. 학교버스 이미지의 일부 픽셀을 바꾸면 신경망이 이를 99% 확률의 치타로 오인할 수 있다.

11. LLM은 다음 토큰 확률을 계산하지만 특정 주장에 대한 믿음을 명시적으로 보유하지 않을 수 있다.

12. 사용자의 반박만으로 답을 뒤집는 LLM의 플립플롭은 일관된 불확실성 표현의 부재를 드러낸다.

13. 환각은 사실 질문에서는 문제지만 알베르트 아인슈타인의 달 여행처럼 창작 요청에서는 유용할 수 있다.

14. 낮은 엔트로피는 토큰 확률이 한 선택지에 몰린 상태이고 높은 엔트로피는 확률이 넓게 퍼진 상태다.

15. GenCast는 diffusion model과 예측 앙상블로 날씨 경로의 분포를 만들고 새 센서 자료로 갱신한다.

16. AlphaFold는 단백질 구조의 물리적 흔들림과 모델 오차를 색상 기반 신뢰도로 표현한다.

17. 보정된 70% 강수 확률은 같은 예측을 한 날 중 70%에 실제 비가 오는 것을 뜻한다.

18. 베이즈 갱신은 인간처럼 계속 배우면서 과거 지식을 잃는 치명적 망각을 줄일 이론적 기반을 제공한다.

19. 베이즈 추론의 장점은 매력적이지만 모든 확률 분포를 계산하는 비용이 매우 커 효율적인 근사가 필요하다.

20. 중요한 문제에서는 오만하고 과신하는 AI보다 자신이 모르는 때를 아는 AI가 더 신뢰할 만한 협력자다.

메타데이터

• 콘텐츠 유형: YouTube 심층 다이제스트
• 출처: Tech Bridge
• 원본 영상: https://www.youtube.com/watch?v=afgyS-bblpw
• 원본 발행일: 2026-09-03
• 처리일: 2026-09-04
• 영상 길이: 44분 41초
• 주요 인물: Zoubin Ghahramani, Hannah
• 주제 분류: AI·LLM·AGI, Bayesian inference, uncertainty quantification, calibration, continual learning