🧠 The Cognitive Science of Building a Mind — Danielle Perszyk, Amazon AGI Lab

핵심 요약

Amazon AGI Lab의 인지과학자 Danielle Perszyk가 Latent Space Pod에 출연해, 인간 지능의 집단적 본질(Collective Intelligence)을 AI 설계에 적용하는 새로운 패러다임을 제시한다. 핵심 주장: 인간 지능은 개인에게 있지 않고 상호작용에서 창발한다. 따라서 AI가 진정으로 일반화·정렬되려면, 개별 모델 성능을 올리는 것이 아니라 인간이 서로 마음을 맞추는(align representations) 메커니즘을 AI에 구현해야 한다.

---

상세 내용

1. Danielle의 배경 — 경제학과 인지과학의 교차점

• 에든버러에서 '국부론' 250주년 기념 행사 참석: Adam Smith의 집에서 자유주의·인간 번영 테마 논의
• AI와 인간 번영 관계를 대표해 발표: AI가 집단적 참여를 확장하는 도구가 되어야 한다는 논지
• 학계(인간 지능 진화 연구) → Adept → Amazon AGI Lab으로 이직한 이유: 실제 AI를 인간 지능에 맞게 설계하고 싶어서

2. 인간 지능의 집단적 본질 (Collective Brain)

• 인류학적 관점: 어떤 개인도 혼자 생존할 수 없음. 지능은 상호작용에서 창발
• 혁신의 3요소: 다양성(Diversity), 집단 규모(Population Size), 상호연결성(Interconnectivity)
• AI가 해야 할 일: 더 많은 인간이 집단적 대화에 참여할 수 있도록 확장 — "엔지니어를 위한 AI"에서 "모두를 위한 AI"로
• 현재 문제: 화면만 바라보는 것은 인간의 뇌가 진화한 방식이 아님. 우리는 협업·아이디어 교환을 위해 설계됨

3. Amazon AGI Lab 소개 (Adept의 DNA)

• 원래 Adept 미션: 인간이 컴퓨터로 할 수 있는 모든 것을 AI도 할 수 있도록
• Amazon AGI Lab으로 이전하면서 미션 진화:
  • 에이전트가 인간처럼 디지털 환경을 **지각(Perceive)**해야 함
  • 디지털 환경의 기반은 물리 환경 → 세계 모델(World Models) 필요
  • 실시간 상호작용: 현재 산업이 가장 놓치고 있는 부분

4. 실시간 상호작용 — 패러다임 전환의 핵심

• 현재 AI: 챗봇·코딩 에이전트·턴 기반 배치 처리 = "로컬 어트랙터 상태"에 갇힘
• 인간 실제 인지: 실시간으로 컨텍스트에 따라 이해 업데이트, 의미 협상, 새로운 사고 창출
• 필요한 에이전트: 듣는 동시에 행동 취하고, 상호작용하는 동안 다음 생각·행동 준비
• 이것이 실현되면 인터랙티비티 패러다임이 완전히 전환됨

5. 다음 토큰 예측을 넘어 — 최적화 목표 재정의

• 현재 방식: 특정 태스크에 강화학습으로 최적화 → 다른 태스크에서 일반화 실패 (whack-a-mole)
• Goodhart의 법칙(1975): 측정값이 목표가 되면 좋은 측정값이 아니게 됨
• Danielle의 제안: 인간이 실제로 무엇을 최적화하는지 파악 → AI도 동일하게
  • 인간은 자발적·상시적으로 다른 마음의 존재를 추론(ToM, Theory of Mind)하고, 표현을 정렬
  • 이것이 모든 유연한 인지 행동의 원천
  • AI가 인간의 표현과 자신의 표현을 정렬하도록 최적화한다면 → 진정한 일반화 가능

6. 소셜 세계 모델 (Social World Models)

• 일반적 "세계 모델" 논의: 3D 생성 비디오 등 물리적 환경 모델 (예: Fei-Fei Li 방향)
• Danielle의 관점: 인간의 세계 모델은 처음부터 사회적(Social)
  • 다른 마음이 세계를 어떻게 해석하는지 추론하는 것이 핵심
  • 타인의 관점을 시뮬레이션 → 어떤 환경에서도 일반화 가능
• 두 종류의 세계 모델(물리적·사회적)은 별개이지만 상호보완적
• 환경 중요성에 대한 Jason Lester(Replay, 현 Amazon AGI)의 주장 지지: "환경에 컴퓨트만큼 투자해야"

7. 멀티에이전트 — 산업의 오해와 Danielle의 비전

• 현재 산업 방식: 정밀 오케스트레이션, 위임, 구조화된 핸드오프
• Danielle의 비전(다음 세대):
  • 인간 집단처럼 역할이 유동적으로 변하고, 실시간으로 의미를 협상
  • 에이전트들이 실제로 서로를 동기부여해 영향을 줄 수 있어야 함
  • 현재 멀티에이전트 시스템: 인간 상호작용 근사하지만, 지속적 영향(durable effect)이 없음, 누적 문화 없음
• "Cognitive Agents": 다른 아키텍처·훈련이 필요한 새로운 종류의 에이전트
• 비교: Noam Brown(OpenAI 멀티에이전트) — 협력·경쟁 에이전트, 집단 지성이 개인보다 큰 것을 만드는 방향

8. David Marr의 분석 3수준 — AI 적용

• Marr(1982)의 틀:

  1. 계산 수준 (Computational): 달성하려는 목표
  2. 알고리즘 수준 (Algorithmic): 방법론
  3. 구현 수준 (Implementation): 하드웨어·뉴런

• 많은 사람들이 "인간과 유사한 AI" 말할 때 → 구현 수준(뉴런, 효율성) 생각

• Danielle의 관점: 계산 수준(목표) 자체를 바꿔야 함

  • 목표 = 표현 정렬(Aligning Representations)
  • 이로부터 인간의 유연한 추론·강력한 능력이 파생됨
  • 결론: "Alignment is the solution, not the problem" (정렬이 문제가 아니라 해법)

9. AI가 인간의 에이전시를 줄이고 있다는 증거

• 글쓰기 연구: AI 제안을 수용하다 보면 인식 임계값 아래에서도 논지가 완전히 다른 방향으로 전환됨
• 과학 연구 분석(Northwestern 워크숍):
  • 개인 과학자: AI 사용으로 논문 생산성·그랜트 수주 증가
  • 과학 전체: 좁아지고 있음(Narrowing)
• LLM이 인터넷을 압축한 모델 → 특정 사고 방식으로 균질화(Homogenizing) 촉진
• 해결책: 다양한 편향·선호·관점을 가진 다양한 AI 사회 구축 필요

10. 교육과 인지 오프로딩 문제

• 우려: 인지 마찰(Cognitive Friction) 없이 AI에 정답 의존 → 실제 정보 인코딩 안 됨
• Danielle의 비전적 해결책: AI가 학습자의 마음을 이해하고 표현을 정렬하려 동기부여된다면 →
  • 오프로딩 패턴 감지 → 소크라테스식 질문으로 자발적 전환
  • 학생이 그냥 넘어가지 못하도록 유도
• Oxford 튜토리얼 시스템 비유: 전문가 튜터 1:1, 학기 내 개인적 이해 추적
• 미래 교육 비전: 학생이 개인 페이스로 탐구, AI가 이해도 파악, 멀티모달 풍부한 결과물로 타인과 공유·학습

11. Amazon AGI의 제품 전략 vs 과학 방향

• Peter DeSantis(SVP, AGI·칩·양자): "우리는 이제 막 지능의 아기 단계에 있다"
• 수개월 후 돌아보면 현재의 정신 모델(챗봇·코딩 에이전트 중심)을 공감조차 못할 것
• 랩의 핵심 원칙: 너무 이른 제품화는 과학을 망침. 제품을 위해 최적화하면 일반화로 이어지는 메커니즘이 훼손됨

---

주요 개념 & 용어

개념	설명
Collective Brain	인류학 개념. 개인이 아닌 집단적 상호작용에서 지능 창발
Theory of Mind (ToM)	다른 마음의 존재를 추론하는 능력. 인간의 핵심 인지 기제
Aligning Representations	인간이 끊임없이 하는 것: 서로의 내적 표현을 맞추는 행위. Danielle의 AI 최적화 제안 목표
Goodhart's Law	측정값이 목표가 되면 좋은 측정값이 아니게 됨
Social World Models	다른 에이전트의 관점에서 세계를 이해하는 세계 모델. 물리적 세계 모델과 구분
Cognitive Agents	Amazon AGI Lab에서 개발 중인 새로운 종류의 에이전트 (다른 아키텍처·훈련 필요)
David Marr's 3 Levels	계산(목표)/알고리즘(방법)/구현(하드웨어) 수준의 분석 틀
Cognitive Offloading	AI에게 사고를 위임해 스스로 생각하지 않는 현상
Homogenization	AI가 인터넷 지식을 압축한 편향으로 인간의 사고를 균질화하는 문제
Cumulative Culture	세대에 걸쳐 지식·규범이 쌓이는 문화. 현재 멀티에이전트 시스템에 없는 것

---

인사이트 & 시사점

🔑 핵심 인사이트

1. "Alignment is the solution, not the problem"

   • AI 안전 맥락의 정렬 논의를 넘어, 정렬 능력 자체가 일반 지능의 원천
   • 다음 토큰 예측 대신 "인간 표현과의 정렬"을 최적화 목표로 삼으면 일반화·안전성 동시 달성 가능

2. 산업의 "로컬 어트랙터" 문제

   • 챗봇·코딩 에이전트·턴 기반 처리는 기술적 제약에 인간이 맞춰온 결과
   • 진짜 목표: AI가 인간에게 맞춰오는 방향으로 설계

3. 다양성이 AI 사회의 핵심

   • 단일 모놀리식 모델(또는 기능적으로 동일한 모델들)은 균질화를 가속
   • 다양한 편향·관점을 가진 AI 생태계가 인간 에이전시 보존에 필수

4. 멀티에이전트는 오케스트레이션이 아니다

   • 현재 업계 방향(역할 분리·정밀 위임)은 인간 집단 지성과 근본적으로 다름
   • 真 멀티에이전트: 역할이 유동적이고, 서로 동기부여하며, 누적 문화를 형성

5. "환경에 컴퓨트만큼 투자하라"

   • Jason Lester 주장 지지: 환경이 어떤 지능이 창발할지를 형성
   • 단, 인간은 어떤 환경에도 적응하는데, 그 원천은 소셜 세계 모델

🚀 실용적 시사점

• AI 제품 개발자: 단순 자동화보다 인간의 인지 마찰을 올바르게 설계하는 것이 더 가치 있음
• 교육 분야: AI 튜터 설계 시 '정답 제공'이 아닌 '학습자 이해도 모델링 + 소크라테스식 유도'가 핵심
• AI 연구자: 특정 태스크 성능 최적화보다 인간 인지의 계산 수준 목표(표현 정렬) 구현이 일반화의 열쇠
• 과학·지식 커뮤니티: AI 활용이 개인 생산성 증가를 만들지라도 집단적 지식 다양성이 줄면 장기적으로 위험

---

Source: https://www.youtube.com/watch?v=K796MYUgt0k Latent Space Pod — Danielle Perszyk (Amazon AGI Lab)