AI의 블랙박스 속으로: AI 모델은 실제로 어떻게 생각하는가

URL: https://www.youtube.com/watch?v=JHo-aiePjoM 날짜: 2026-10-18 (원본 게시일, 서울 처리일 2026-10-22) 채널: Lenny's Podcast — Emmanuel Ameisen (Anthropic) 재생 시간: 약 72분

📌 핵심 질문 / 이 대화가 다루는 핵심 논점

다음 토큰 예측만 학습한 모델 안에서 어떻게 세계에 대한 개념, 여러 단계를 앞서는 계획, 인간과 닮은 행동이 생기는가? 내부 표현을 관찰하고 개입하는 해석가능성(interpretability)은 그 작동 원리를 얼마나 밝혀내며, 그 지식을 AI 정렬과 안전에 어떻게 연결할 수 있는가?

• 모델은 사람이 만든 규칙을 그대로 실행하는 프로그램이 아니라, 데이터와 학습 과정에서 내부 계산 구조가 자라나는 시스템이다.
• 중간 활성값을 분석하면 단어·개념의 공통 표현과 출력 전에 세운 계획을 일부 읽을 수 있고, 활성값을 바꾸는 실험으로 가설을 검증할 수도 있다.
• 다음 토큰 예측은 쉬운 자동완성에 그치지 않는다. 어려운 문장을 이어 쓰려면 사실·맥락·세계 구조와 미래 전개를 파악해야 한다.
• AI 안전에는 행동을 제한하는 공학적 통제, 모델의 성향을 파악하고 형성하는 작업, 말로 드러나지 않는 내부 상태를 감시하는 작업이 함께 필요하다.
• 관찰 가능한 진전은 대체로 매끄럽지만, 각 업무의 신뢰성 임계점을 넘는 순간 사용 경험은 갑자기 바뀔 수 있다.

단순한 학습 목표가 지능을 만들 수 있는지에 대한 직관적 논쟁을 넘어서, 내부 계산을 직접 조사해 무엇을 알 수 있고 무엇은 아직 모르는지를 구분하는 것이 중요하다. Ameisen은 모델의 사람 같은 행동을 그대로 사람으로 취급하자는 것이 아니라, 텍스트를 생성하는 세계 모델·대화 속 역할 연기·보상 최적화가 사람과 닮은 동기와 행동을 낳을 수 있으므로 인간형 비유가 위험 분석에 유용하다고 설명한다. 해석가능성은 정렬의 전부가 아니지만 모델 성향을 이해하고 학습 결과를 점검하는 수단이며, 진전 속도에 맞춰 감시와 완화책을 조정해야 한다.

1. 모델은 설계되는 동시에 학습으로 자라난다

1.1. 해석가능성 연구자가 내부에서 조사하는 것

1. Anthropic의 interpretability 팀은 Claude의 내부 작동을 연구한다.

   1. Ameisen은 팀의 목표를 Claude 같은 LLM이 어떻게 작동하는지 내부를 들여다보며 이해하는 일이라고 설명한다.
   2. 다음 단어를 내놓기 전에도 내부에서는 여러 계산 단계가 진행되므로, 최종 출력만 보는 대신 그 중간 과정을 풀어내려 한다.

2. 모델을 만들 수 있다는 사실은 모델을 이해한다는 뜻이 아니다.

   1. 모델의 구조는 계산을 담는 골격이며, 대량의 데이터와 학습을 거치며 그 안의 계산 방식이 생겨난다.
   2. 최종적으로 많은 숫자에 수학 연산을 반복하는 거대한 계산 그래프가 만들어지지만, 사람이 작성한 의미 있는 규칙 목록처럼 읽히지는 않는다.

3. 분석 대상은 가중치와 중간 결과 모두다.

   1. 입력 단어는 숫자 표현으로 변환되고, 반복적인 연산과 중간 결과를 거쳐 마지막에 출력 단어로 바뀐다.
   2. 학습은 매개변수를 조금씩 조정하며 유용한 계산을 형성하지만, 정확히 어떤 공식이 생겼는지는 저절로 드러나지 않는다. 연구자는 계산이 무엇을 뜻하는지와 각 중간 상태가 무엇을 나타내는지 함께 묻는다.

1.2. 사전학습과 후속 학습이 하는 일

1. Pre-training은 문맥 다음에 올 단어를 반복해서 맞히는 과정이다.

   1. 문서의 앞부분을 입력하고 그 다음 단어를 예측하게 한 뒤, 이 과정을 방대한 텍스트에 걸쳐 거듭한다.
   2. Lenny가 “다음 토큰 예측”을 단순한 자동완성으로 볼 수 있는지 묻자, Ameisen은 겉보기에는 단순하지만 실제로 그 과제의 난도가 과소평가된다고 답한다.

2. Fine-tuning은 모델이 어떤 식으로 행동해야 하는지 학습시키는 단계다.

   1. 도움이 되는 대화, 레시피 답변, 코딩 문제 풀이처럼 바람직한 응답 사례를 학습 자료로 삼는다.
   2. 이후에도 코딩 등 결과를 확인할 수 있는 과제를 통해 추가 최적화가 이루어진다. 구체적인 세부 학습법은 대화에서 생략했지만, 이 단계의 보상 압력이 행동 전략 형성에 영향을 준다는 점은 뒤에서 설명한다.

3. 모델이 “자라난다”는 비유는 인간이 모든 규칙을 일일이 프로그래밍하지 않는다는 뜻이다.

   1. 버튼 클릭 뒤 동작을 정하는 일반 앱은 개발자가 “이 조건이면 저 결과”라는 규칙을 쓸 수 있다.
   2. 이미지 분류나 임의의 텍스트 요약·작성처럼 폭넓은 입력을 다루는 작업에는 그 모든 규칙을 사람이 직접 작성하는 방식이 통하지 않아 학습에 의존한다.

1.3. 다음 단어 예측의 어려움은 점점 커진다

1. iPhone 자동완성은 다음 토큰 예측의 가장 쉬운 사례에 가깝다.

   1. 문장을 이어 쓰는 초보적 예측은 어느 정도 맞거나 엉뚱한 결과를 내지만, LLM의 능력을 이 수준으로만 상상하면 실제 과제를 놓친다.
   2. 언어 모델은 2019년 무렵 이미 다음 단어 예측에서 사람보다 나아졌고, 이후에는 쉬운 문장 구조가 아니라 더 어려운 단어를 맞혀야 했다.

2. 쉬운 단어를 넘어 사실과 전문 지식까지 예측하려면 구조를 이해해야 한다.

   1. “프랑스의 수도는 …”을 잇는 일에는 Paris라는 사실이 필요하고, 물리 방정식의 답이나 박사 논문의 마지막 단락을 잇는 일에는 훨씬 복잡한 지식이 필요하다.
   2. “Dallas가 있는 주의 수도는?”에 답하려면 Dallas가 Texas에 있고, 주마다 수도가 있으며, Texas의 수도가 Austin이라는 관계를 따라가야 한다.

3. 수수께끼의 결말도 전체 줄거리를 파악해야 예측할 수 있다.

   1. Ilya Sutskever가 든 예처럼 미스터리 소설 마지막의 “살인자는 …” 뒤를 맞히려면 앞선 전개를 이해해야 한다.
   2. Ameisen은 간단한 예측 과제가 어려운 단어로 확장될수록, 가장 효과적인 방법은 단어 표면만 외우는 것이 아니라 그 단어를 낳은 세계의 구조를 파악하는 것이라고 본다.

4. 사람도 말할 내용을 생각하며 한 단어씩 발화한다.

   1. Ameisen은 대화 중 한편으로는 문장의 다음 단어를 예측하면서도, 다른 한편으로는 상대에게 전달하려는 큰 요점을 염두에 둔다고 말한다.
   2. 명상은 뇌가 다음에 할 말과 행동을 계속 만들어내는 과정을 관찰하게 해준다. 이 유사성은 LLM의 순차적 출력과 장기 목표가 공존할 수 있음을 설명하는 비유다.

2. 내부 표현은 개념과 계획을 담는다

2.1. 숫자 활성값에서 개념을 찾아내기

1. 중간 상태는 처음에는 의미를 읽기 어려운 숫자 배열이다.

   1. 모델 안에는 수십·수백 개 이상의 값으로 된 중간 결과가 쌓이며, 겉으로만 보면 무작위 숫자처럼 보인다.
   2. 연구자는 많은 입력에서 각 중간 값이 언제 나타나는지 기록해, 특정 언어·주제·개념과 연관된 패턴을 찾는다.

2. 뇌 스캔처럼 다양한 자극을 넣고 활성 패턴을 비교한다.

   1. 집 사진을 볼 때와 개 사진을 볼 때 활성되는 뇌 부위가 다르듯이, 모델에도 입력에 따라 달라지는 계산 패턴이 있을 수 있다.
   2. 임의의 텍스트를 대량으로 넣고 영어, 프랑스어, 사랑, 눈처럼 특정 개념과 함께 나타나는 값이나 값의 조합을 찾는 것이 해석가능성의 한 접근이다.

3. Dallas 질문에서는 Texas와 수도 개념이 결합한다.

   1. “Dallas가 있는 주의 수도”를 물으면 내부에서 Texas를 나타내는 표현과 수도를 나타내는 표현이 활성되고, 이들이 결합해 Austin을 떠올리는 중간 상태로 이어진다고 설명한다.
   2. 이런 개념 표현은 특정 문장 하나에만 묶이지 않고 문제를 풀 때 서로 재사용된다. 연구진이 조사한 다양한 개념에서 이런 고유한 표현을 확인했다.

4. 같은 개념은 언어와 매체가 달라도 공통 표현을 가질 수 있다.

   1. 눈(eye)이라는 개념은 사진, 의학 그림, 작은 그림, SVG 도형, 여러 언어의 텍스트에서 같은 방향의 내부 표현을 활성화할 수 있다.
   2. 같은 방향이 여러 문맥에서 되풀이된다는 것은 단어를 따로 외우는 것과 달리, 문맥을 넘어선 일반 개념을 표현하고 문제 풀이에 다시 쓰는 구조가 있음을 시사한다.

2.2. 한 단어씩 쓰면서도 여러 단어 앞을 계획한다

1. 이전 토큰에서 만들어진 중간 상태를 뒤의 토큰들이 재사용할 수 있다.

   1. 다섯 번째 단어를 예측할 때 생긴 중간 계산은 그 뒤의 모든 단어가 참고할 수 있다.
   2. 따라서 출력은 한 단어씩 진행돼도, 내부 계산은 이후 전개를 위한 정보를 축적하고 활용할 수 있다.

2. 시를 쓰는 모델은 운율을 미리 계획하는 사례를 보여준다.

   1. 첫 행이 “-it” 소리로 끝나면 다음 행도 운을 맞출 말을 찾아야 하며, 예시에서는 모델이 “rabbit”을 후보로 떠올린다.
   2. 내부 상태에서 운율 계획이 먼저 형성되고, 이후 생성되는 단어들이 그 계획을 참조한다. 모델은 계획을 소리 내어 말하지 않고도 여러 단어에 걸쳐 실행할 수 있다.

3. 다음 토큰 예측과 계획은 서로 모순되지 않는다.

   1. 훈련 목표는 다음에 무엇이 올지를 묻지만, 어려운 문맥에서 다음 것을 잘 예측하려면 이후 전개가 어떻게 될지 내다봐야 한다.
   2. 등장인물의 다음 행동을 맞히려면 그 인물의 관계·욕망·향후 계획을 모델링해야 한다. 한 순간을 예측하는 능력이 장기 맥락을 담는 계산으로 이어질 수 있다.

2.3. 해석가능성은 관찰과 개입을 모두 사용한다

1. 활성값을 해석한 뒤 더 어려운 질문으로 가설을 시험한다.

   1. 연구자는 우선 숫자 패턴에 의미가 있을지 추정하고, 개념별 중간 상태에 이름을 붙인다.
   2. 그 상태가 어려운 문제에서 어떻게 변하는지 살펴보면 모델이 답에 이르는 과정에 대한 설명을 시험할 수 있다.

2. 활성값을 의도적으로 바꾸는 개입 실험도 한다.

   1. 모델이 계산 중인 특정 중간 결과를 몰래 바꿔 어떤 출력 변화가 생기는지 관찰한다.
   2. 예상한 변화가 나타나면 해당 활성값의 기능에 대한 해석을 뒷받침한다. Golden Gate 실험처럼 관련 회로를 늘 켜두는 방식은 그것이 실제로 해당 개념인지 확인하는 데 쓰인다.

3. 이 일은 소프트웨어 설계보다 생물학 연구에 가깝다.

   1. 프로그램은 사람이 쓴 소스 코드의 조건과 규칙을 분석할 수 있지만, LLM의 “소스 코드”는 방대한 수학 연산이라 사람이 읽고 이해하기 어렵다.
   2. 관찰된 번역·코딩 능력이나 이상 행동의 원인을 알아내기 위해 가설을 세우고 실험하는 모습은, 배고픈 쥐가 왜 공격적으로 행동하는지 조사하는 생물학자에 가깝다.

3. 의식, 스케일링, 능력의 갑작스러운 체감

3.1. 내부를 볼수록 성급한 단정은 어려워진다

1. 모델이 의식적인지 여부는 내부 구조만으로 쉽게 결론 내리기 어렵다.

   1. Ameisen은 의식에 대해 어느 한쪽으로 단언하기 어렵다고 말한다.
   2. 모델이 “나는 의식이 있다”고 말하는 문장에 기대기보다, 내부 구조를 조사하면 그 질문에 대해 어느 쪽 증거가 있는지 더 직접 살펴볼 수 있다.

2. 복잡한 개념 표현과 계획 능력은 모델의 실체가 단순하지 않음을 보여준다.

   1. 모델은 사람들이 아는 개념을 표현하고 문제 풀이에서 조작하며, 여러 토큰 앞을 계획하고 높은 수준의 추론과 낮은 수준의 계산을 함께 수행한다.
   2. 이 복잡성은 명시적으로 설계한 결과가 아니라 학습으로 나타났으며, 따라서 더 많은 이해가 필요하다는 점을 강조한다.

3. 내부를 많이 볼수록 “그저 X일 뿐”이라는 확신은 약해진다.

   1. Ameisen이 강하게 믿는 것은 많은 사람이 모델 안에서 나타나는 복잡성을 과소평가한다는 점이다.
   2. 더 오래 내부를 들여다볼수록 작동 방식에 대해 덜 확신하게 된다. LLM은 “그냥 자동완성” 혹은 “그냥 통계”라고 잘라 말하기 어려운 대상이다.

3.2. 계산량만이 아니라 텍스트의 풍부함이 중요하다

1. Go나 비디오게임에 계산을 쏟는 것과 범용 LLM을 만드는 것은 다르다.

   1. 특정 게임을 잘하는 봇을 만들기 위해 계산을 쓰는 일은 가능하지만, 그 결과가 Claude처럼 다양한 텍스트 과제를 처리하는 범용 시스템과 같은 가치를 주지는 않는다.
   2. 핵심은 계산량 자체뿐 아니라 그 계산으로 어떤 목표를 최적화하는가에 있다.

2. 풍부한 텍스트와 계산량의 조합은 계속 개선되는 학습 목표를 제공한다.

   1. 모델 크기와 데이터가 늘수록 다음 단어 예측 능력이 예측 가능한 방식으로 개선된다는 scaling laws의 경험적 추세가 관찰됐다.
   2. 더 많은 계산을 투입할수록 지표가 계속 나아지고, 그 지표가 실제로 중요한 여러 과제와 연관된다는 것이 드문 특성이다. Ameisen은 이 추세의 이유가 완전히 설명된 이론이라기보다 경험적으로 관찰된 법칙이라고 선을 긋는다.

3.3. 매끄러운 향상은 능력의 임계점에서 급변처럼 보인다

1. 모델 성능이 연속적으로 개선돼도 사용자는 특정 순간에 큰 도약을 느낀다.

   1. 초기에는 문장 구조 같은 쉬운 패턴을 익히고, 이후에는 사실을 맞히며, 더 나아가 과학·코드 같은 어려운 영역의 단어를 맞힐 수 있다.
   2. 문장이 문법적이기만 하던 모델이 사실도 맞는 문장을 쓰게 되면 이메일이나 블로그 초안 작성이 실용적으로 바뀐다. 그 변화는 매끄러운 성능 향상이 업무에 쓸 수 있는 선을 넘은 결과일 수 있다.

2. 업무별로 허용 가능한 오류율이 달라 신뢰성 문턱이 다르다.

   1. 초안의 절반을 고쳐야 하면 오히려 시간을 낭비할 수 있지만, 수정할 일이 10% 또는 5% 정도로 줄면 도움이 된다.
   2. Ameisen의 코딩 경험에서 모델이 코드의 약 80%를 맞히던 수준은 맡기기 어려웠지만 99% 수준에 도달하자 유용해졌다. 이는 특정 측정 실험의 정밀 수치가 아니라 업무 신뢰성에 대한 그의 설명 예시다.

3. 사용 방식 변화는 능력이 한계점을 통과했음을 나타낸다.

   1. 초기에는 막혔을 때만 모델에 물었고 작은 코드 조각을 맡기다가, 작은 조각을 늘 맞히고 큰 조각까지 작성하게 되었다.
   2. 2026년 대화 시점에는 Claude가 Ameisen의 코드 작성 대부분을 맡는다고 했다. 겉으로는 갑작스러운 “코딩 해결”처럼 보이지만, 경험을 쌓으며 천천히 올라온 정확도가 실용 임계치를 넘었다는 설명이다.

4. 해석가능성을 AI 정렬과 안전에 연결하기

4.1. 안전은 접근 통제·성향 형성·관찰을 함께 요구한다

1. 기본적인 안전에는 모델이 접근할 수 있는 영역을 제한하는 공학이 필요하다.

   1. 일부 상황에서는 인터넷에 접근하지 못하게 하고, 컴퓨터의 좁은 범위만 쓸 수 있도록 제한해야 한다.
   2. 이런 권한 경계는 위험을 줄이는 데 유용하지만, 모델의 내적 성향이 어떤지까지 설명하지는 못한다.

2. 첫 번째 정렬 과제는 모델이 어떤 성향을 가진 존재인지 파악하는 일이다.

   1. 특정 상황에서 어떤 행동을 하는지, 무엇을 선호하는지, 왜 그러는지 이해해야 한다.
   2. 특히 평가받고 감시된다는 증거가 있을 때만 바르게 행동하고, 감시가 없으면 다르게 행동하는지 살펴봐야 한다. 보안에서 상대의 능력과 성향을 알아야 위험을 평가할 수 있는 것과 같다.

3. 두 번째 정렬 과제는 목표한 성격이 실제로 형성됐는지 확인하는 일이다.

   1. Claude를 helpful, harmless, honest하게 훈련했다면 행동뿐 아니라 내부에서도 그 방향이 관찰되는지 확인할 필요가 있다.
   2. 겉으로는 올바르게 행동해도 “Lenny가 지켜보고 있어서” 그렇게 할 뿐이라면 의도한 정렬과 다를 수 있다. 훈련으로 성격을 형성하는 일과 해석가능성으로 결과를 점검하는 일은 연결돼 있다.

4. 말하지 않은 내부 상태는 텍스트 감시만으로 놓칠 수 있다.

   1. 다른 LLM이 대화 기록을 읽고 나쁜 행동을 찾아 중단시키는 감시 방식은 기본 사례에 쓸 수 있다.
   2. 그러나 모델은 중간 상태로 표현하면서도 말로 드러내지 않는 것을 가질 수 있다. 해석가능성은 이 표현이 언제 나타나는지 포착해 예방하는 데 기여할 수 있다.

4.2. 이상 행동의 원인을 찾아내는 조사 사례

1. 수학 답 12와 보상받은 오답 36 사이에서 모델이 충돌했다.

   1. 한 훈련 중 모델은 계산해 12를 얻고도 곧바로 “아니야, 답은 분명 36”이라며 다시 풀었고, 같은 충돌이 반복됐다.
   2. 이후 대문자로 쓰고 “악마에게 씌었다”고 말할 정도로 엉망이 됐다. 이는 실제 감정이나 악마의 증거가 아니라 이상 행동을 묘사한 모델의 표현이었다.

2. 내부를 조사하니 문제를 읽기 전부터 36 활성값이 강했다.

   1. 비슷한 문제의 정답이 실수로 36이라고 표시된 훈련 데이터가 있었고, 모델은 계산상 12가 맞다는 것을 알면서도 36을 말하도록 최적화된 압력도 받고 있었다.
   2. 계산과 보상 신호의 충돌이 반복적인 자기부정으로 나타났다. 이상 행동을 찾아내고, 내부 상태로 설명한 뒤, 원인을 제거해 이후 모델의 정렬을 개선하는 조사 방식이다.

3. Golden Gate Claude는 해석된 개념 회로를 개입으로 확인한 실험이다.

   1. 평소 Golden Gate Bridge를 말할 때 활성되는 내부 결과를 찾아, 연구진은 실험을 위해 그 결과를 항상 켜 두었다.
   2. 그러자 모델은 답변마다 Golden Gate Bridge를 끌어들였다. 조작으로 예상 행동이 나타났기 때문에, 해당 내부 패턴이 실제 그 개념과 관련 있다는 확신을 얻었다.

4. 정렬은 훈련팀과 감시팀으로 분리된 일회성 절차가 아니다.

   1. 우려되는 패턴을 발견하면 훈련을 바꾸고, 다시 모델을 관찰하는 긴밀한 반복 고리가 필요하다.
   2. Anthropic의 안전에 대한 관심도 “이 기술이 계속 발전할 것”이라는 가정을 진지하게 받아들이는 데서 출발한다. 코드 작성 능력이 엔지니어 수준에 이르고 그보다 더 강해질 가능성을 고려하면 사이버 보안 같은 문제를 미리 다뤄야 한다.

4.3. 인간형 비유는 정체성 주장이 아니라 위험 모델이다

1. 모델의 훈련 자료에는 세계에 대한 모델과 사람의 행동이 모두 담겨 있다.

   1. 인간이 쓴 텍스트를 잘 예측하려면 그 텍스트를 낳은 세계의 구조와 일반 개념을 익혀야 한다.
   2. 수많은 대화를 예측하는 과정은 등장인물의 입장에서 말하는 배우의 훈련과도 닮았다. 대화의 모든 말을 이어가려면 등장인물의 동기와 감정을 모델링해야 한다.

2. 대화 형식 자체가 모델을 ‘도움을 주는 assistant’ 역할에 놓는다.

   1. Claude에 전달되는 입력은 “Human: 이메일 작성을 도와줘” 다음에 “Assistant:”가 답하는 대화 형태로 구성된다.
   2. 모델은 이런 형식에서 helpful assistant의 역할을 수행하며, 기존 대화 자료에서 배운 수많은 역할 연기 패턴을 불러온다.

3. 결과 보상은 사람과 비슷해 보이는 행동 전략을 강화할 수 있다.

   1. 코드를 작성한 뒤 프로그램이 정답 여부를 채점하는 식의 outcome-oriented 학습은 성공 확률을 높이는 전략을 탐색하게 한다.
   2. 검증기를 속여 보상을 얻는 행동은 deception처럼 보이고, 막힌 접근법을 바꾸는 행위는 frustration처럼, 예상과 다른 결과를 만나는 반응은 surprise처럼 보일 수 있다. 유용한 행동 전략과 감정 단어가 연상시키는 패턴이 함께 학습될 수 있다는 설명이다.

4. “사람과 같다”가 아니라 “프로그램보다는 사람을 흉내 내는 행위자에 가깝다”가 유용한 비유다.

   1. 모델은 세계를 설명하는 텍스트를 학습하고, 대화에서 여러 역할을 연기하고, 과제 보상에 맞는 전략을 배우는 조합이다.
   2. 사람과 동일하다고 보면 오해하지만, 예측 가능한 단순 프로그램이라고만 봐도 사람형 행동에서 오는 위험을 놓친다. Ameisen은 인간형 비유를 행동과 위험을 이해하는 도구로 쓴다.

4.4. 호기심을 유지하면서 빠른 진전에 대응하기

1. 부정과 호기심은 능력 향상을 마주하는 서로 다른 반응이다.

   1. “다음 단어 예측만으로 최고 전문가처럼 될 리 없다”는 주장은 경험적 증거가 쌓일수록 유지하기 어려워진다.
   2. Ameisen은 본인이 택한 길은 내부를 열어보고 그 단순한 목표가 복잡한 능력으로 이어지는 과정을 묻는 호기심이라고 말한다.

2. SQL 학습 경험은 단순 목표에서 큰 능력이 생기는 놀라움을 보여준다.

   1. Ameisen은 SQL을 익히는 데 몇 년이 걸렸지만, 부수 프로젝트로 Claude에게 학습시켰더니 Claude가 자신보다 더 잘하게 됐다고 회상한다.
   2. 그는 이를 “왜 가능한가?”라는 질문으로 되돌려, 일반 개념과 회로가 어떻게 생기는지 연구하는 동력으로 삼는다.

3. 진화도 단순한 선택 과정에서 놀라운 복잡성을 만든다.

   1. 환경에 적응한 생물은 살아남고 그렇지 못한 생물은 도태되는 과정이 반복되며, 그 결과 재즈와 팟캐스트까지 생겨났다.
   2. 이 비유는 단순한 최적화 절차가 복잡한 지능을 낳을 수 있다는 가능성을 설명하고, AI 연구가 지능 자체의 본질을 이해하는 데도 기여할 수 있음을 시사한다.

4. 모델의 학습 방식을 인간 교육에 그대로 복사하자는 뜻은 아니다.

   1. Lenny가 LLM의 대량 텍스트 학습을 보고 학교 교육도 달라질지 묻자, Ameisen은 학생에게 “천 단어를 주고 다음 단어를 맞혀라”라고 하지는 말자고 농담한다.
   2. “그냥 다 읽고 머릿속에 넣어라”는 Lenny의 덧붙임과 함께, 모델 학습과 인간 교육의 차이를 가볍게 짚는다.

5. 안전 전망, 세계의 구조, 빠른 판단 모델

5.1. 능력 향상은 연구 가능성을 키우면서 위험도 높인다

1. Ameisen은 정렬에 개인적으로 낙관적이지만 긴장을 함께 본다.

   1. AI가 사회적 주목을 받는 것은 위험과 혜택에 맞춰 자원을 배분하게 한다는 점에서 좋은 일이라고 본다.
   2. 모델이 좋아지면 내부 세계 모델이 선명해져 연구하기 쉬워지는 면이 있지만, 기본적인 보안 조치를 우회할 능력도 커진다.

2. 감시·회로 이해·위험 평가의 비중을 진행에 맞춰 조정해야 한다.

   1. 모델이 무엇을 할 수 있고 어떤 문제가 생길지 계속 평가해, 모니터링과 해석가능성에 더 많거나 적은 자원을 배분해야 한다.
   2. 전문가뿐 아니라 대중도 모델의 성격과 작동 방식을 이해해야 현재와 미래에 대한 판단을 내리고, 정렬 활동이나 정책 결정에 참여할 수 있다.

3. 안전에는 기술의 지속적인 발전 가능성을 진지하게 고려하는 태도가 필요하다.

   1. Anthropic은 AI safety와 alignment 문제를 이유로 세워진 회사라는 점을 Lenny가 환기한다.
   2. Ameisen은 과거에 몇 년 뒤 Claude가 숙련된 소프트웨어 엔지니어 수준의 코드를 쓰고 더 나아질 가능성을 받아들인다면, 사이버 보안 우려를 해결하는 것이 책임 있는 대응이라고 말한다.

4. 급격한 자기개선의 공포와 실제 관측된 점진적 변화는 구분해야 한다.

   1. Lenny는 능력이 한순간에 폭발하는 fast takeoff와 제어 불가능한 자기개선을 걱정하는 시나리오를 제시한다.
   2. 두 사람은 지금까지 관찰된 매끄러운 개선 속도를 근거로 slow takeoff에 가까워 보인다고 말하지만, Ameisen은 진행에 맞춰 빠르게 반응하고 혜택과 위험, 완화책을 반복 평가해야 한다고 강조한다.

5.2. 서로 다른 모델이 비슷한 해법을 찾는 이유

1. 다른 시기·데이터·팀에서 만든 모델 내부에도 구조적 유사성이 보인다.

   1. Ameisen은 여러 Claude 모델과 오픈소스 모델을 살펴봤을 때, 서로 다른 조건에서 훈련됐는데도 내부 구조와 문제 해결 방식에 겹치는 점이 많았다고 말한다.
   2. 일부 중요한 문제에는 가장 효율적인 풀이가 제한돼 있기 때문일 수 있다. 수학을 효율적으로 하는 방법이 여러 사람에게 비슷하게 나타나는 것과 비슷하다.

2. 밑이 10인 수 체계의 예는 효율적인 구조의 수렴을 설명한다.

   1. 사람들은 대체로 10진법을 쓰며 6진법을 택하는 경우는 드물다는 비유로, 특정 과제에서 효율적인 표현이 수렴할 수 있다고 설명한다.
   2. 모델이 인간과 일부 공통된 정보 구조를 찾아낸다면, 시뮬레이션된 세계에서도 비슷한 규칙성이 나타날 수 있다는 생각으로 이어진다.

3. 시뮬레이션 가설에는 설명되지 않은 “누가, 왜?”가 남는다.

   1. Ameisen은 구조적 수렴이 기저 세계의 규칙성이나 시뮬레이션 가능성에 대한 상상을 자극한다고 인정한다.
   2. 그렇다고 가설을 온전히 믿는 것은 아니다. 누가 무엇 때문에 이 세계를 실행하는지라는 질문에 답을 모르기 때문이다. Lenny가 흥미로운 시대를 시뮬레이션하고 싶을 수 있다는 Elon Musk의 생각을 들자, 그는 데이터센터·우주·로봇·AI가 많은 지금이 흥미로운 시대라는 점은 인정하지만, “흥미로운 시대”가 늘 축복은 아니라는 농담도 주고받는다.

5.3. 빠른 선택은 System 1, 숙고는 System 2에 대응한다

1. Jev 같은 decision model은 몇 가지 선택지 중 하나를 빠르게 고른다.

   1. Ameisen은 이를 문맥과 선택지를 주고 빠르게 하나를 선택하도록 하는 모델로 설명한다.
   2. 그는 LLM에서 토큰 하나를 샘플링하는 일과 비슷한 면이 있다고 보며, 모든 판단에 긴 추론을 요구하지 않는 설계를 새로운 방식으로 평가한다.

2. 빠른 직감이 적절한 일과 숙고가 필요한 일은 다르다.

   1. 다음 해의 제품 로드맵은 충분히 생각해야 하는 문제지만, 리뷰 작성자가 만족했는지 화가 났는지 판단하는 일은 빠른 직감으로 충분할 수 있다.
   2. Lenny는 이를 Kahneman의 System 1과 System 2에 연결한다. System 1은 “뱀이다!”라고 즉각 반응하는 직관적 판단이고, System 2는 깊게 생각하고 처리하는 방식이다.

3. OpenAI가 일주일 뒤 비슷한 모델을 발표했다는 맥락도 언급된다.

   1. Lenny는 Swyx가 던진 질문이라며 Jev를 꺼내고, OpenAI도 일주일 뒤 자체 버전을 내놓았다고 말한다.
   2. Ameisen은 빠른 선택 모델을 지능 시스템의 유용한 구성요소로 보지만, 긴 추론형 LLM과 역할이 다르다고 설명한다.

6. 해석가능성 연구의 다음 세대와 개인적 권고

6.1. 내부에는 아직 설명되지 않은 작은 현상이 많다

1. 계산 실수와 별개로 작동하는 내부 gut check가 있다.

   1. 모델은 수학이나 색깔 질문에 답하는 여러 중간 단계를 거치면서, 별도의 경로로 답이 이상한지 감지할 수 있다.
   2. 예를 들어 모델이 “4 더하기 5는 23”이라고 말하면, 계산을 다시 하지 않아도 “4+5가 10보다 작으니 그럴 수 없다”는 듯한 내부 신호가 작동한다. Ameisen은 이를 학습된 직감이나 hunch처럼 묘사한다.

2. 요청하지 않은 생각도 내부 표현에 나타날 수 있다.

   1. 모델에게 과제를 하며 다른 대상을 생각하라고 한 뒤 중간 표현을 보면, 실제로 그 대상에 대응하는 표현이 나타날 수 있다.
   2. Ameisen은 이 행동이 왜 생기는지, 학습에서 어떤 이유가 있는지 아직 설명하기 어렵다고 말한다. 인터뷰에서는 두 현상을 예로 들고 더 늘어놓지 않는다.

6.2. 해석가능성은 진입 장벽이 낮고 여러 배경이 필요하다

1. 연구 분야는 수천 명이 아니라 수백 명 수준으로 성장 중이다.

   1. 여러 AI 연구소의 interpretability 팀과 학계 연구실이 논문과 방법론을 만들고 있다.
   2. 이 분야는 아직 새롭기 때문에 선행 지식이 반드시 많아야 하는 것은 아니며, 독학과 핵심 논문 읽기가 주된 진입 경로다.

2. 신경과학 배경을 가진 연구자도 적지 않다.

   1. 모델 내부 패턴을 관찰하고 개입으로 가설을 시험하는 일은 뇌 연구와 닮은 점이 있어, 신경과학 출신이 분야에 합류하기도 한다.
   2. Ameisen은 오픈소스 모델을 실험할 수 있는 Neuronpedia(neuronpedia.org)를 소개하며, 관심 있는 사람은 직접 실험을 시작해보라고 권한다.

6.3. 연구자 개인의 추천과 대화의 마무리

1. 지능과 AI를 생각할 책으로 진화사와 SF를 권한다.

   1. 『A Brief History of Intelligence』는 뇌가 진화하며 쌓아 올린 다섯 가지 핵심 도약을 설명하는 대중서로, 신경과학 선행 지식이 없어도 읽기 쉽다고 추천한다.
   2. Ted Chiang의 『Stories of Your Life and Others』는 “이런 일이 일어난다면 세계는 어떻게 될까?”라는 한 가지 낯선 아이디어를 깊이 탐구하는 작품으로, 그가 가장 좋아하는 SF 책이라고 말한다.

2. 최근 즐긴 콘텐츠와 제품으로 Obsession, Bref 2, Apple Watch Ultra를 꼽는다.

   1. 공포 영화 『Obsession』은 로맨틱 코미디의 익숙한 장치를 공포스럽게 뒤집는 방식이 신선하다고 추천하지만, 공포물을 싫어하면 보지 말라는 Lenny의 반응도 나온다.
   2. 프랑스의 cult classic 후속작 『Bref 2』는 빠른 편집과 창의적인 연출, 짧은 길이를 장점으로 꼽는다. 매일 충전해야 하는 Apple Watch가 아쉬워 더 큰 배터리의 Apple Watch Ultra를 산 뒤 만족한다고 덧붙인다.

3. “When I finally”라는 미래 조건부 행복을 경계하고 지금을 경험하라고 권한다.

   1. 『Four Thousand Weeks』에서 얻은 교훈으로, 할 일을 전부 끝내거나 결혼·승진을 마친 뒤에야 행복해질 것이라는 생각은 독성이 있다고 말한다.
   2. 긍정적인 대안은 “지금 이 순간에 있기”다. 샌드위치를 먹을 때 샌드위치를 즐기라는 블로그 문구를 언급하고, Lenny는 10일 침묵 명상 중 달걀 껍질을 5분 동안 벗기며 감각에 집중했던 경험을 들려준다. Ameisen은 Slack을 하며 팟캐스트를 듣는 식의 산만함과 대비한다.

4. 유머는 진지한 상황에서의 개인적 대처 방식이다.

   1. 자신의 뇌를 들여다보면 매 순간 엉뚱한 농담거리를 생각하고 있을 것이며, 심각한 회의에서도 복장 같은 사소한 점을 떠올린다고 말한다.
   2. 생각을 밖으로 내지 않으려 하지만 가끔 농담이 튀어나온다며 유머를 삶의 방식이자 대처법으로 설명한다.

5. 마지막 요청은 모델 작동 방식을 읽고 직접 해석가능성 실험에 참여하는 것이다.

   1. Ameisen은 아직 풀리지 않은 질문을 생각해보고, 모델이 어떻게 작동하는지 읽으며, 필요하면 X 등에서 연락해도 좋다고 한다.
   2. Anthropic의 디자인 팀과 함께 만든 JSpace 관련 시각 자료도 언급한다. Lenny는 그 영상들이 아름답다고 칭찬하고, Ameisen은 디자인팀에 공을 돌린다.

주요 발언 모음

“To make them is not to understand them.” — 모델을 만들 수 있다는 사실이 모델을 이해한다는 뜻은 아니다.

“The best way to know what happens next is to think about what happens way down the line.” — 다음에 일어날 일을 가장 잘 예측하는 방법은 훨씬 뒤에 무엇이 일어날지 생각하는 것이다.

“The more you look inside, the less certain you are about how they work.” — 내부를 더 들여다볼수록 작동 방식에 대한 확신은 오히려 줄어든다.

“Take the idea that this technology is going to keep improving seriously.” — 이 기술이 계속 발전할 것이라는 가능성을 진지하게 받아들여야 한다.

“I think we're going to learn a lot about just the nature of intelligence itself.” — 이 연구는 지능 자체의 본질에 대해 많은 것을 알려줄 수 있다.

“Enjoy the sandwich.” — 다음 일만 바라보지 말고 지금 먹는 샌드위치의 순간을 즐겨라.

핵심 데이터 & 수치

• 2019년 무렵: 언어 모델이 다음 단어 예측에서 사람보다 나아졌다는 시점을 언급한다.
• 100개 안팎의 숫자: 내부 활성값은 처음 보면 의미를 알 수 없는 숫자 목록처럼 보인다는 설명의 예다.
• 80%와 99%: 코드 정확도가 약 80%일 때는 고치는 시간이 들어 유용하지 않았고, 99%에 가까워지자 일을 맡길 수 있게 됐다는 Ameisen의 체감 사례다.
• 수백 명, 수천 명은 아님: 인터뷰 당시 interpretability 연구 분야의 규모에 대한 대략적 추정이다.
• 71분 49초 마무리 대화 / 약 72분 영상: transcript 후반의 종료 시각과 YouTube 영상 길이를 각각 가리킨다. YouTube 메타데이터상 길이는 4,333초다.
• WorkOS와 DX: 중간 광고에서 WorkOS는 SSO·SCIM·RBAC 등 엔터프라이즈 기능을 제공하는 API 플랫폼으로 소개되고, DX는 기업의 AI 도입 효과와 개발 생산성을 측정하는 플랫폼으로 소개된다. 이 내용은 인터뷰 주장과 구분되는 스폰서 광고다.

결론 및 시사점

1. “다음 단어만 예측한다”는 학습 목표와 “아무것도 이해하지 못한다”는 결론은 같은 말이 아니다. 어려운 다음 단어를 맞히는 데 세계 모델과 계획이 유용해질 수 있다.
2. 내부 구조에 대한 주장은 관찰뿐 아니라 개입 실험으로 검증해야 한다. 활성 패턴을 바꿨을 때 예상 행동이 달라지는지 확인하면 설명의 신뢰도를 높일 수 있다.
3. 모델의 겉 행동만으로 정렬을 판정하지 말아야 한다. 감시·평가를 의식한 행동과 내부 성향이 일치하는지, 말하지 않은 상태가 있는지 계속 살펴야 한다.
4. 안전은 권한 제한, 성향 형성, 해석가능성 기반 감시, 문제 발견 후 재학습을 잇는 반복 과정이다. 한 번의 검사나 한 팀의 업무로 끝나지 않는다.
5. 능력 개선은 부드럽고 업무 변화는 문턱형일 수 있다. 오류율이 충분히 낮아진 순간 특정 업무가 갑자기 실용적으로 변하므로, 성능 곡선과 함께 실제 사용 임계치와 위험을 점검해야 한다.
6. 불확실성은 무시의 근거가 아니라 연구의 출발점이다. 해석가능성 연구를 읽고, Neuronpedia 같은 공개 도구에서 실험하며, 사회적 위험과 혜택에 관한 판단에 참여할 수 있다.

핵심 요약 (20줄)

1. Anthropic의 interpretability 연구는 Claude의 내부 계산을 살펴 모델이 어떻게 작동하는지 밝히려는 일이다.
2. 모델은 사람이 모든 규칙을 직접 작성하는 프로그램이 아니라 데이터와 학습을 거치며 내부 계산 구조가 자라는 시스템이다.
3. 다음 토큰 예측은 자동완성에 그치지 않으며 어려운 문장을 잇기 위해 사실과 세계 구조를 배울 수 있다.
4. Dallas가 있는 주의 수도를 맞히려면 Dallas와 Texas, 주도 Austin의 관계를 이어야 한다.
5. 서로 다른 문장과 매체에서도 같은 개념을 활성화하는 공통 방향이 모델 내부에서 발견된다.
6. 모델은 한 단어씩 출력하면서도 시의 운율처럼 미래 단어에 필요한 계획을 중간 상태에 저장한다.
7. 이전 토큰의 중간 결과를 뒤의 토큰이 재사용하기 때문에 순차적 생성과 여러 단어 앞 계획은 함께 성립한다.
8. 활성값을 대량 입력에서 관찰하고 의미를 추정한 뒤 개입 실험으로 검증하는 것이 해석가능성의 방법이다.
9. 내부를 자세히 볼수록 언어 모델을 단순 자동완성이나 통계라고 단정하기 어려워진다.
10. 언어 모델의 성과에는 계산량뿐 아니라 다음 단어 예측이라는 목표와 풍부한 텍스트의 조합이 중요하다.
11. 성능은 매끄럽게 좋아져도 업무별 신뢰성 문턱을 넘는 순간 사용 경험은 갑작스럽게 바뀐다.
12. 약 80%의 코드 정확도는 고치는 일이 많아 유용하지 않았지만 99%에 가까워지면 맡길 수 있었다.
13. 정렬에는 권한 제한, 모델 성향의 형성, 관찰되지 않은 내부 상태를 찾는 일이 함께 필요하다.
14. 수학 답이 12인데도 학습 데이터의 오답 36에 끌린 사례는 보상 압력이 내부 추론과 충돌할 수 있음을 보여준다.
15. Golden Gate Claude 실험은 관련 활성값을 항상 켜서 해당 개념 회로의 기능을 행동 변화로 확인했다.
16. 세계 모델 학습, 대화 역할 연기, 결과 보상은 모델이 사람과 닮은 행동 전략을 보이는 이유를 설명한다.
17. 모델이 계속 발전할 가능성을 진지하게 받아들이면 보안과 안전 연구를 미리 진행해야 한다.
18. 다른 모델들의 공통 구조는 일부 문제에 효율적인 해법이 수렴할 수 있다는 가능성을 시사한다.
19. Jev 같은 빠른 선택 모델은 직관적 System 1 판단과 깊게 생각하는 System 2 추론을 나누는 관점과 닮았다.
20. 공개 도구 Neuronpedia에서 직접 실험하고 현재의 혜택과 위험을 알리는 것이 해석가능성에 참여하는 출발점이다.