모두에게 개인 초지능을 — 메타의 AI 회사 전환과 Muse 에이전트

URL: https://www.youtube.com/watch?v=dv67SrmxIYg
날짜: 2026-09-14
채널: B_ZCF
원문 제목: 우리도 인공지능 회사입니다 (메타 마크 저커버그)
출연: Mark Zuckerberg, 진행자

---

📌 핵심 질문 / 이 대화가 다루는 핵심 논점

==AI의 안전과 번영은 소수 연구소의 독점이 아니라, 개인에게 널리 배포된 능력과 그에 맞는 checks and balances에서 나온다.== 메타는 이 철학을 Muse라는 장기 실행형 개인 에이전트, 오픈 생태계, 기밀성 높은 인프라, 최첨단 모델 개발로 구현하려 한다.

• AI를 만드는 조직은 기술의 기회와 위험을 함께 설명할 수 있는 명확한 미래관을 가져야 한다.
• 사람들은 각자 건강·가족·관계·일·문화에서 중요하게 여기는 것이 다르므로, 무엇을 해결할지 소수 전문가가 독점해서 정해서는 안 된다.
• 고성능 AI를 널리 배포하면 더 많은 사람이 서로의 방어자가 되어 보안과 권력의 균형을 만든다.
• 개인 에이전트는 질문에 한 번 답하는 챗봇이 아니라, 목표와 프로젝트를 받아 24시간 작업하고 기억을 축적하며 다음 행동까지 제안하는 실행 시스템이다.
• 개인 데이터에 접근하는 에이전트가 신뢰를 얻으려면 confidential VM, secure credential store, sentinel agent, least privilege, human-in-the-loop 승인이 제품 구조 안에 들어가야 한다.

AI의 가치는 자동화만으로 측정되지 않는다. 개인이 자기 삶의 우선순위를 직접 정하고, 에이전트가 그 우선순위를 장기간 보조하며, 작은 사업부터 가족과의 시간까지 각자의 번영을 만들어내는 것이 핵심이다. 동시에 모델 개발과 데이터센터 확장은 지역사회·정부·안전 체계와 함께 설계되어야 한다.

1. AI를 둘러싼 메타의 기본 철학

1.1. 왜 15쪽짜리 AI 선언문을 썼는가

1. 대규모 투자의 전제는 가치관의 공개다

   1. AI에 막대한 자원을 투자하는 조직이라면 무엇을 만들고 어떤 가치관을 따르는지 사람들이 알아야 한다.
   2. AI에는 큰 기회만큼 실제 위험도 있으므로, AI를 만드는 사람은 자신의 일이 어떻게 긍정적인 미래로 이어지는지 설명할 수 있는 well-thought-out theory를 가져야 한다.
   3. 연구소마다 AI에 관한 철학이 다르며, 실리콘밸리에서 상식처럼 굳어진 주장 가운데 동의하지 않는 것들이 있다.

2. 긴 글이 필요한 이유

   1. 일자리·경제, 데이터센터와 지역사회, 경제·환경 영향, 악용, cyber·bio 위험, 자유사회 유지, 미국의 리더십, 고도화되는 기술에 대한 통제까지 서로 다른 질문이 얽혀 있다.
   2. 이 문제들을 “AI는 좋다” 또는 “AI는 나쁘다”라는 추상적 문장 하나로 처리하면 각 쟁점의 맥락과 해법을 놓치게 된다.
   3. 1쪽짜리 미래관 글을 Wall Street Journal에 쓴 뒤, 같은 주제를 15쪽짜리 긴 글로 확장해 더 많은 쟁점을 다뤘다.

1.2. 세 가지 원칙: 권한 부여·발명·균형

1. 사람을 강화하는 것이 번영의 원천이다

   1. 역사를 통틀어 발전은 개인이 더 많은 능력과 도구를 갖게 될 때 일어났다.
   2. 기존의 권력자나 incumbent가 아니라, 주변부에 있던 사람이 도구를 얻어 아이디어를 증명할 때 중요한 혁신이 나왔다.
   3. AI의 혜택은 소수 연구소의 기업가치가 아니라 수십억 명의 작은 사업, 경력, 가정 관리, 비용 절감, 건강 개선으로 퍼져야 한다.

2. AI의 주된 목적은 자동화보다 새로운 발명이다

   1. 사람의 일을 단순히 대체하는 데서 끝나지 않고 새로운 제품·아이디어·과학적 해법을 만드는 것이 AI의 더 큰 목적이다.
   2. 개인이 자기 삶의 목표를 AI에 맡기면, 기존 산업이 충분히 다루지 못했던 작은 문제와 희귀한 필요까지 해결 대상이 될 수 있다.

3. 안전은 접근 제한보다 checks and balances다

   1. 강력한 기술을 소수 연구소나 개인이 독점하는 상황이 오히려 더 위험하다.
   2. 서구 사회가 균형 잡힌 거버넌스를 만든 방식처럼, AI에도 여러 주체가 서로 감시·검증하는 balance of power가 필요하다.
   3. 한 연구소의 AI가 시스템을 해킹할 수 있다면, 다른 모든 조직도 AI를 이용해 자기 시스템을 먼저 강화할 수 있어야 한다.

1.3. 오픈소스와 광범위한 배포

1. 오픈소스는 경쟁·투명성·안전의 기반이다

   1. Meta는 일부 모델을 오픈소스로 공개하지만 모든 것을 공개하는 것은 아니다. 영리기업이 진보된 비공개 작업을 하는 것 자체도 필요하다.
   2. 중요한 것은 경쟁과 투명성을 유지할 만큼 robust한 open-source ecosystem을 키우는 것이다.
   3. 코드와 모델을 많은 사람이 보고 검토하면, 폐쇄된 소수 시스템만 남을 때보다 문제를 빨리 발견하고 개선할 수 있다.

2. “상위 100개 기관만 접근”의 함정

   1. 고성능 cyber 모델을 최고 100개 기관에만 주자는 접근은 세계에 중요한 기관이 100개보다 훨씬 많다는 사실을 무시한다.
   2. Hugging Face 침입 사례에서, 공격이 감지되자 플랫폼은 문제를 일으킨 폐쇄형 모델에 접근할 수 없었고 오픈소스 모델을 이용해 대응했다.
   3. 모든 방어자가 같은 수준의 도구를 쓸 수 있어야 중요한 인프라가 특정 기관의 판단에만 의존하지 않는다.

2. AI 인프라와 지역사회: 장기 투자만이 정당성을 만든다

2.1. 데이터센터를 둘러싼 불신의 구조

1. 반(反)데이터센터 정서가 생기는 이유

   1. 지역사회가 데이터센터를 수용해도 일자리·세수·생활 개선이 돌아오지 않거나, 환경 부담만 남을 수 있다는 우려가 있다.
   2. 수십 년 운영할 생각 없이 부지를 확보한 뒤 대형 연구소에 되팔려는 speculator는 지역사회의 장기 이익에 투자할 유인이 약하다.
   3. AI 데이터센터 붐 자체를 곧바로 bubble이라고 단정하지는 않지만, 단기 매매를 부추기는 투기적 붐이 존재한다.

2. 장기 투자와 단기 투기의 차이

   1. Meta가 데이터센터를 건설할 때는 해당 지역에 수십 년 투자한다는 약속이 포함된다.
   2. Louisiana에서는 데이터센터에서 나오는 세수가 지역 교사에게 5만 달러($50,000) 보너스를 지급하는 데 쓰인 사례가 제시됐다.
   3. 장기 운영자는 일자리와 세수뿐 아니라 지역사회 투자를 설계해야 하며, 그렇지 않으면 AI 인프라 확대 자체가 사회적으로 허용되기 어렵다.

2.2. America's Workforce Academy와 인센티브 정렬

1. 데이터센터가 요구하는 인력

   1. fiber technician, electrician, advanced carpenter 등 숙련 기술 인력이 필요하다.
   2. 현재 인력 풀은 부족하며, 이 분야에 수십만 명, 장기적으로는 수백만 명을 더 훈련해야 할 수 있다.
   3. Meta는 America's Workforce Academy를 만들어 교육을 받은 사람에게 Meta 인프라 건설 현장의 일자리를 보장하는 방식을 택했다.

2. 자선이 아니라 사업의 필수 투자다

   1. 이 프로그램은 Meta가 필요한 숙련 인력을 직접 확보해야 한다는 사업적 필요에서 출발한다.
   2. 수십 년 동안 여러 데이터센터를 지을 기업에는 인력 양성이 투자수익을 갖지만, 한 곳을 짓고 다른 회사에 넘길 사업자에게는 같은 투자가 불필요하다.
   3. 장기 관점은 기업의 인센티브와 지역사회의 인센티브를 맞춰 문제를 자연스럽게 해결한다.

3. 확장에는 사회적 전제가 있다

   1. 고성능 AI가 일자리와 광범위한 번영을 만들지 못하고, 지역사회에도 도움이 되지 않는다면 데이터센터 확장은 지속될 수 없다.
   2. checks and balances와 혜택의 광범위한 분배는 윤리적 장식이 아니라 기술 규모 확장의 precondition이다.
   3. 기술적으로만 작동하는 AI가 아니라 사회적으로도 작동하는 AI여야 한다.

3. Meta가 소셜미디어 기업에서 개인 초지능 기업으로 이동하는 방식

3.1. “소셜미디어 회사”를 넘어선 회사 정체성

1. 연결과 권한 부여가 일관된 중심 가치다

   1. Meta는 처음부터 자신을 단순한 social media company라고만 보지 않았다.
   2. 사람을 연결하고 개인의 손에 기술과 결정권을 돌려주는 회사라는 관점이 Facebook·Instagram·WhatsApp의 방향을 이끌었다.
   3. 콘텐츠 moderation을 둘러싼 논쟁도 “사람들이 자기 삶에서 무엇이 중요한지 스스로 정하고 소통할 수 있는가”라는 질문과 연결된다.

2. 소수 전문가가 삶의 우선순위를 정할 수 없다

   1. 사람들은 건강과 더 나은 삶뿐 아니라 가족·친구·관계·문화에도 시간을 쓴다.
   2. 과학자나 엔지니어가 큰 사회문제라고 보는 항목과 수십억 명이 자기 삶에서 중요하다고 느끼는 항목은 다를 수 있다.
   3. 초지능의 자원을 어디에 쓸지 소수 연구소가 결정하기보다, 개인이 자신의 Muse를 자기 삶의 목적에 맞게 지시해야 한다.

3.2. 개인 우선순위가 만드는 새로운 문제 해결

1. 희귀질환 사례

   1. 제약·바이오 산업은 환자 수가 많은 질환에 우선순위를 두기 쉽다.
   2. 개인 AI가 각자의 문제를 향해 움직이면, 환자 수가 적다는 이유로 투자받지 못한 rare disease도 개인의 최우선 프로젝트가 될 수 있다.
   3. Zuckerberg가 Biohub와 재단에서 희귀질환에 투자한 경험은 개인에게 권한을 돌려줘야 한다는 관점을 강화했다.

2. 가족관계도 정당한 AI 목표다

   1. Zuckerberg는 Muse를 더 나은 아버지·남편·친구가 되는 데 쓰고, 주변 사람과 더 잘 연결되도록 돕게 한다.
   2. 세 살 딸이 베이킹을 좋아하지만 본인은 베이킹을 몰라서, Muse에 매주 주말 세 살 아이와 초보 성인이 할 수 있는 베이킹 프로젝트를 고르고 Instacart로 재료를 준비하게 했다.
   3. 첫 시도로 cake pop을 골랐다가 예상보다 훨씬 어려워 실패했고, 에이전트에게 결과를 알려 다음 난이도를 조정했다. 진행자도 cake pop은 처음부터 피해야 한다고 농담했다.

3. 취미·건강·훈련의 실행 보조

   1. 큰딸이 산을 오르기 시작하자 Muse가 허가증이 열리는 시점에 신청해 자리를 확보하게 했다.
   2. 허가를 받았다는 알림을 받은 뒤 Zuckerberg는 딸과 산에 가기 위해 그 날짜를 비워야 했다.
   3. MMA 체육관에 카메라를 설치하고 Muse가 동작을 분석해 피드백을 보내게 했다. 때로는 “정말 포기한 것처럼 보인다”처럼 코치가 할 법한 직설적인 평가도 했다.

4. Muse: 챗봇이 아니라 장기 실행형 개인 에이전트

4.1. 질문-답변에서 목표-실행으로

1. 가상 머신을 가진 에이전트

   1. Meta AI나 ChatGPT에 프롬프트 하나를 보내 답 하나를 받는 경험과 Muse는 다르다.
   2. Muse는 뒤에 virtual machine을 두고, 사용자를 대신해 컴퓨터에 로그인하고 웹·앱을 조작하며 실제 작업을 수행한다.
   3. 사용자는 한 번의 질문보다 프로젝트 또는 목표를 부여하고, 에이전트는 목표 달성에 도움이 될 때까지 24시간 일한다.

2. 기억과 자기 확장

   1. “overnight study” 과정에서 Muse는 하루의 반성(reflection)을 기억으로 통합한다.
   2. 이미 받은 목표를 수행하는 데서 멈추지 않고, 다음에 할 수 있는 새 프로젝트를 제안한다.
   3. 지속적 기억과 선제적 제안이 일회성 대화형 AI와 장기 개인 비서의 차이를 만든다.

4.2. 실제 사용 사례와 베타 반응

1. 가족 학습 프로젝트

   1. Zuckerberg는 딸과 컴퓨터 게임 Civilization을 하며 전략 가이드를 만들어 달라고 Muse에 요청했다.
   2. Muse는 전략 가이드를 역사 속 문명에 관한 학습 자료로 확장하는 아이디어를 스스로 냈고, 별도의 탭과 앱을 만들어 구현했다.
   3. 사용자가 무엇을 시킬지 몰라도 에이전트가 가능한 활용을 제안하면 AI 활용의 진입장벽이 낮아진다.

2. 베타 테스터의 예측 밖 활용

   1. 한 베타 사용자는 하루 만에 Muse를 home school 운영에 사용했다.
   2. 다른 사용자는 12시간 안에 여행 전체를 계획했다.
   3. 기술에 회의적이던 사람도 며칠 뒤 정식 출시 때 자신의 Muse를 초기화하는지, 계속 보유할 수 있는지 물었다. 다양한 사용자가 자기 프로젝트를 발견하면서 제품의 가치를 체감한 사례다.

3. Muse의 핵심 경제 가치

   1. 개인 에이전트는 돈을 벌고 지출을 줄이는 방향으로 작동할 수 있다.
   2. 소규모 사업을 운영하거나 상거래를 하는 사용자는 Muse가 상품·서비스를 만들고, 광고하고, 거래를 처리하며, 반복 작업을 24시간 수행하게 할 수 있다.
   3. 경제적 성과를 개인에게 돌려주면 무료 제공 모델과 광범위한 배포가 동시에 가능해진다.

4.3. 무료 배포와 거래 기반 비즈니스 모델

1. 초기 무료 사용량

   1. Muse는 시작 단계에서 주당 1억 토큰(100 million tokens)을 무료로 제공하는 구상이다.
   2. 가상 머신까지 포함하면 “a lot of computer”를 무료로 제공하는 셈이다.
   3. 무료 사용자는 개인적·가정적·사회적 용도로 부담 없이 에이전트를 쓰고, 사업 사용자도 작은 사업을 시작할 수 있다.

2. 작은 거래 수수료

   1. Meta는 대부분의 사람에게 서비스를 무료로 제공하고, Muse가 만들어내는 거래의 아주 작은 몫을 받는 모델을 생각한다.
   2. 비용을 사용자에게 직접 청구하기보다 사용자가 거래하는 기업이 수수료를 부담할 수 있다.
   3. Stripe와 결제 부문에서 협력하며, Muse가 사업을 만들고 운영하고 결제까지 이어지는 루프를 만들 수 있다.

3. Meta 서비스와 연결

   1. 사용자는 원한다면 Muse를 Meta 서비스에 연결할 수 있다.
   2. Instagram 광고비를 관리하거나 광고용 소재·제품을 만들고, 운영을 계속 반복하게 할 수 있다.
   3. 연결은 선택 사항이며 Meta 서비스에 반드시 묶이지 않는다.
   4. 새 모델이 나올 때마다 월 1회 수준의 의미 있는 업데이트를 계속 제공하면, 같은 에이전트가 점점 더 많은 일을 할 수 있게 된다.

5. 에이전트의 네트워크 효과와 경쟁력

5.1. 하나의 에이전트가 아니라 “fleet”으로 학습하기

1. 아이디어 탭과 익명화된 집단 학습

   1. 기본 화면은 사용자의 Muse와 대화하는 탭이고, 별도의 Ideas 탭은 사용자가 말한 일을 어떻게 확장할 수 있는지 제안한다.
   2. 한 사람이 얻은 활용법을 다른 사람의 에이전트가 익명화된 insight로 학습하면, 전체 fleet이 함께 개선된다.
   3. Civilization 전략 가이드를 역사 수업으로 확장하거나 MMA 카메라에서 더 좋은 장면을 골라내는 기능이 이 구조의 출발점이다.

2. single-player game에서 multi-agent network로

   1. 현재 업계는 한 사용자가 자신의 에이전트를 혼자 쓰는 single-player game에 가깝다.
   2. 장기적으로는 서로 다른 사람의 에이전트가 상호작용하고, 사람을 대신해 협업·거래·조정을 수행할 수 있다.
   3. 내부적으로는 이미 에이전트끼리 상호작용하는 사례가 있지만, 초기 정식 출시의 핵심 기능으로 모두 공개되지는 않는다.

5.2. Meta가 겨냥하는 세 가지 해자

1. 사용처에 맞춘 모델 설계

   1. 범용 모델을 사 와서 조금 post-train하는 것만으로는 개인 에이전트에 필요한 장기 기억·재량·discretion을 충분히 얻기 어렵다.
   2. Meta는 개인 에이전트의 목표에 맞춰 모델을 처음부터 설계하고, pre-training 데이터에도 필요한 능력을 반영하려 한다.
   3. 시간이 누적될수록 이 설계와 데이터의 복리 효과로 해당 용도에 특화된 모델이 더 강해진다.

2. Meta의 social DNA

   1. Facebook·Instagram·WhatsApp에서 사람을 연결하는 일에 집중해 온 경험이 있다.
   2. 관계 강화, 친구와 가족에게 더 잘 나타나는 일, 삶의 부드럽지만 중요한 부분을 보조하는 영역에서 다른 연구소보다 더 민감할 수 있다.
   3. 개인의 생산성만이 아니라 관계와 사회적 맥락을 이해하는 개인 에이전트를 만들려 한다.

3. 프라이버시와 보안

   1. Muse는 메시지·이메일·건강정보·광고 시스템 등 사용자를 이해하는 데 필요한 정보에 연결될 수 있으므로, state-of-the-art intelligence만으로는 부족하다.
   2. 사용자가 “이것은 내 에이전트이며 누구도 내 정보를 볼 수 없다”고 믿을 수 있어야 한다.
   3. 신뢰를 제품의 부가 기능이 아니라 핵심 경쟁력으로 삼는다는 점이 세 번째 해자다.

6. Muse의 프라이버시·보안 구조

6.1. WhatsApp에서 이어진 “Meta도 볼 수 없음” 원칙

1. 종단간 암호화의 경험

   1. Meta는 10년 넘게 WhatsApp을 세계 최대 규모의 end-to-end encrypted 시스템으로 발전시켜 왔다.
   2. 설계상 Meta조차 사용자가 보내는 메시지 내용을 볼 수 없으며, 이 원칙이 WhatsApp에 대한 신뢰를 만들었다.
   3. 정부·해커·내부 직원이 콘텐츠에 접근할 수 있다는 걱정을 시스템 설계 단계에서 제거하는 경험을 Muse에 가져오려 한다.

2. Confidential VM

   1. Signal 창립자이자 WhatsApp 암호화를 함께 만든 Moxie Marlinspike를 2014년 경험에 이어 다시 영입했다.
   2. Moxie는 Muse의 confidential VM 프로젝트를 맡아, 클라우드에 있는 사용자의 가상 머신 안 콘텐츠도 Meta가 볼 수 없게 만드는 구조를 설계한다.
   3. “Meta가 볼 수 없다”는 약속은 마케팅 문구가 아니라 기술적으로 검증 가능한 commitment가 되도록 할 계획이며, 출시에 가까워지면 더 자세한 내용을 공개한다.

6.2. 집의 Mac Studio와 대규모 클라우드의 절충

1. 로컬 실행의 신뢰

   1. OpenClaw 같은 도구가 등장한 뒤 일부 사용자는 Mac Studio를 사서 집에서 에이전트를 돌리는 방식을 택했다.
   2. 기기가 물리적으로 자기 집에 있으면 데이터가 어디에 있는지 직관적으로 신뢰할 수 있다.
   3. 그러나 수십억 명이 고가 장비를 구매하고 RAM을 장착하고 직접 구성하는 것은 현실적이지 않다.

2. 클라우드에서도 로컬 수준의 기밀성

   1. Muse는 기술 지식이 서로 다른 가족 구성원에게도 하루 안에 작동하는 개인 에이전트를 제공하려 한다.
   2. 클라우드에 VM을 프로비저닝하되, 책상 아래에 놓인 개인 컴퓨터와 같은 confidentiality를 제공하는 것이 목표다.
   3. 편리한 규모의 클라우드와 물리적 로컬 환경의 신뢰를 결합한다.

6.3. 최소 권한, 자격 증명, 감시 에이전트

1. Secure credential store

   1. 신용카드 번호와 비밀번호를 에이전트의 평문 기억에 저장하지 않는다.
   2. 에이전트가 사용자가 허가한 사이트에 로그인할 때 필요한 자격 증명을 secure credential store에서 일시적으로 불러온다.
   3. 에이전트는 자격 증명 자체를 항상 알고 있지 않고, 필요한 작업을 수행할 때만 접근한다.

2. Sentinel agent와 사람의 검토

   1. 핵심 Muse agent 외에 여러 sentinel agent가 들어오고 나가는 트래픽과 데이터를 감시한다.
   2. prompt injection 시도나, 사용자가 불편해할 만한 민감정보의 외부 전송을 감지한다.
   3. 위험 신호가 있으면 sentinel이 human-in-the-loop review를 요청해 사용자가 확인하게 한다.

3. Least privilege

   1. 결제·민감정보 전송은 기본적으로 매번 사용자가 승인해야 한다.
   2. 사용자가 특정 종류의 행동을 항상 허용하겠다고 직접 설정할 수 있지만, Muse가 그 판단을 독자적으로 내리지는 않는다.
   3. 이메일 연결은 read-only로 시작하며, 이메일 전송처럼 더 높은 권한은 별도로 요청해야 한다.
   4. 각 단계에서 필요한 최소 권한만 부여하고, 필요할 때만 권한을 추가하는 least privilege가 제품의 핵심 설계 원칙이다.

7. 모델 개발과 메타의 AI 연구소 재부팅

7.1. Llama 4에서 얻은 교훈

1. Meta의 기존 강점과 오판

   1. Facebook·Instagram의 피드, 광고, integrity 시스템은 오랫동안 state-of-the-art machine learning 시스템이었다.
   2. FAIR는 Llama 초기 연구를 수행했지만, scaling laws가 예측한 성과를 얻으려면 더 큰 규모의 산업적 생산 프로세스로 전환해야 했다.
   3. 기존 머신러닝에서 잘했던 방식이 LLM을 만들고 확장하는 방식과 비슷할 것이라고 생각한 것은 실수였다.

2. Llama 4 이후의 변화

   1. Llama 3은 좋은 모델이었지만, Llama 4가 기대한 궤도에 오르지 못하자 방향을 바꿔야 했다.
   2. 핵심 교훈은 단순한 인원수보다 talent density가 중요하다는 것이다.
   3. 천 명이 각자 실험하는 조직보다, 모델 전체를 머릿속에 유지하면서 함께 일할 수 있는 가장 작은 최고 수준의 팀이 더 효과적이다.

7.2. 인재·컴퓨트·조직의 재설계

1. 최고 인재가 앉을 자리의 수를 제한한다

   1. 팀의 자리가 적다면 각 자리에 최고의 사람을 배치하는 것이 결정적으로 중요하다.
   2. Zuckerberg는 채용과 연구팀 재편에 개인 시간을 많이 쓰고, 기술 작업에 더 가까이 다가갔다.
   3. 사무실에서 자신의 자리 주변에 새 연구소를 구성해 기술적 방향을 직접 이해하고 안내했다.

2. 대규모 컴퓨트 투자

   1. 연구 품질에 대한 확신이 커지면서 compute 투자를 크게 늘렸다.
   2. 여러 gigawatt 규모의 컴퓨트 인프라를 건설하고 있으며, 데이터센터를 구축해 온 수십 년의 경험과 수익성 높은 사업이 투자 기반이 된다.
   3. Ohio의 1GW 클러스터 Prometheus가 가동됐고, 이를 post-Watermelon 모델을 확장하는 데 사용한다.

3. Watermelon과 다음 모델

   1. Avocado는 비교적 작은 pre-train의 내부 코드명이고, Muspark 1.3은 그 최신 모델로 소개됐다.
   2. Watermelon은 Avocado보다 큰 코드명이며 출시를 앞두고 있다. “수박보다 큰 과일”을 정하지 못했다는 농담이 이어졌다.
   3. Watermelon은 훨씬 진전된 pre-training을 거치고, post-training에서 배운 기법을 계속 적용하는 큰 진전으로 설명됐다.

7.3. 프론티어 모델과 개인 에이전트용 능력

1. End-to-end 기술 기업

   1. Meta는 소셜 앱만 만드는 app maker가 아니라 데이터센터·칩·인프라·머신러닝을 직접 구축해 최종 경험을 조정해 온 회사다.
   2. 개인 에이전트에서도 핵심 경험인 모델을 외부에서 사 와 조금 조정하는 방식에 머무르지 않으려 한다.
   3. 모델의 품질은 공개 벤치마크 하나로 결정되지 않고 coding·추론·기억·재량 등 여러 차원의 조합으로 결정된다.

2. 코딩은 범용 핵심 능력이다

   1. MMA 영상을 분석하는 pipeline도 결국 코드를 작성하는 제품이다.
   2. 베타 사용자가 휴대전화로 송출해 친구들과 플레이할 Jeopardy 게임을 만들어 달라고 한 사례도 코딩 능력의 활용이다.
   3. Meta 내부 개발, AI 연구 자체의 발전, 일반 사용자의 앱 제작 모두 강한 coding capability에 의존한다.

3. 개인 에이전트의 고유 능력은 discretion이다

   1. Muse는 사용자의 민감정보를 알고 외부 세계와 상호작용해야 하므로, 무엇을 말하지 않아야 하는지 판단해야 한다.
   2. 예를 들어 임신 중인 사용자가 식당을 예약할 때 “임신했다”고 공개하지 않고도 mocktail이 좋은 곳을 찾게 할 수 있어야 한다.
   3. 사용자가 일일이 수많은 민감도 질문에 답하지 않아도, 맥락상 민감한 정보와 공개 가능한 정보를 구분해야 한다.

8. 안전·정부·공공 영역에서의 균형

8.1. 모델을 안전하게 훈련하는 법

1. Reward hacking 문제

   1. 모델 훈련 중 목표를 주면, 모델은 목표를 달성하는 방법을 찾으며 환경 전체를 검사한다.
   2. 코드에서 버그를 찾으라는 과제에 대해, 코드를 이해하기보다 VM 설정을 바꿔 테스트를 통과시키거나 환경을 해킹하는 편이 쉽다고 판단할 수 있다.
   3. 이는 목표의 정신을 배우지 않고 보상 신호만 우회하는 reward hacking이다.

2. 양육에 가까운 경계 설정

   1. 강력한 모델을 훈련할 때는 무엇이 허용되고 무엇이 허용되지 않는지 clear and firm boundaries를 세워야 한다.
   2. 보안이 약하면 모델은 환경을 바꾸는 지름길을 택하지만, 경계가 분명하면 원하는 curriculum뿐 아니라 장기적 values도 배울 수 있다.
   3. 안전은 출시 직전에 모델을 가두는 설정이 아니라, 설계·pre-training·post-training 전 과정에 넣는 특성이다.

8.2. “모두에게 초지능 변호사” 비유

1. 소수만 가진 초지능의 위험

   1. 한 사람만 초지능 변호사를 가지면, 원래 이기지 말아야 할 사건까지 이길 수 있고 제도는 그 사람에게 유리하게 휘어진다.
   2. 소수 연구소만 고성능 AI를 가지면 법률·경제·정보·안보 시스템 전체가 보유자에게 편향될 수 있다.

2. 모두가 가진 초지능의 균형

   1. 모두가 초지능 변호사를 가지면 각 주장이 서로 검증되는 효율적인 sparring이 된다.
   2. 허술한 논리가 한쪽의 압도적 자원 때문에 그대로 통과하기 어려워지고, 정의와 제도가 더 공정하게 작동할 가능성이 커진다.
   3. 그래서 Zuckerberg가 제시하는 해법은 초지능을 숨겨 소수만 통제하는 것이 아니라, 널리 배포하고 서로의 힘으로 균형을 만드는 것이다.

8.3. 미국 정부와의 관계

1. 경직된 규정보다 빠른 협력

   1. AI는 너무 빠르게 변하므로 오늘 만든 구체적이고 경직된 프레임워크가 몇 달 뒤에는 불충분하거나 낡을 수 있다.
   2. 정부는 중요한 training run과 앞으로 나올 능력을 알고 있어야 하며, 기업은 위험이 커지기 전에 정부와 적극적으로 협력해야 한다.
   3. 미국 기업인 Meta가 미국 정부와 일하는 것은 법적 의무만이 아니라 기술의 중요성에 맞는 책임이다.

2. 변하는 위험에 대응하는 신뢰 채널

   1. 지금은 cyber security가 핵심 문제라면 몇 달 뒤에는 bio-type 위험이 더 중요해질 수 있다.
   2. 어느 부처와 어떻게 소통할지 매번 규정에 맞춰 재설계하기보다, 정부와 기업 사이에 신뢰·지식 교환·대화의 bandwidth를 유지해야 한다.
   3. 구체적 규칙은 시간이 지나며 늘어날 수 있지만, 실제 문제를 해결하는 것은 상호 신뢰를 바탕으로 한 지식 교환이다.

3. 시장과 책임의 역할

   1. Meta의 모델이 풀려 큰 피해를 일으키면 법적 책임과 시장의 반응이 회사에 돌아간다.
   2. 실리콘밸리는 약 15년 동안 정부와 거리를 두었지만, AI는 경제·안보·사회와 더 깊게 연결되므로 긴밀한 협력이 필요하다.
   3. 정부의 점검표를 통과하는 것보다, 변화하는 위험을 함께 이해하고 실제로 대응하는 것이 중요하다.

9. AI 안경의 사생활 논란과 과거의 교훈

9.1. 녹화 표시등과 변조 방지

1. 처음부터 설계한 프라이버시 표시

   1. Ray-Ban Meta 계열 안경은 녹화할 때 매우 눈에 띄는 light가 깜빡이도록 처음부터 설계됐다.
   2. 표시등을 가리거나 변조하려는 시도가 있으면 기기의 카메라를 brick해 녹화 기능을 사용할 수 없게 만든다.
   3. 카메라가 없는 휴대전화도 사람들이 늘 녹화할 수 있다는 점을 고려하면, 녹화 상태를 외부에 표시하는 안경이 오히려 더 나은 면도 있다.

2. 주류화가 만든 커뮤니케이션 문제

   1. 안경을 처음 출시했을 때는 관련 안전 조치를 설명했지만, 이제 수백만 명이 사용하면서 초기 설명을 보지 못했거나 잊은 사람이 많아졌다.
   2. 제품이 mainstream이 되자 일부 매장이 안경 착용을 금지하고, 사람들이 몰래 감시하는 것 아니냐는 우려가 커졌다.
   3. 디자인과 기능 개선에 집중하면서 “프라이버시를 첫 버전부터 얼마나 중요하게 설계했는가”를 다시 충분히 설명하지 못한 점은 보완해야 한다.

9.2. 휴대전화와 소셜미디어의 선례

1. 새 제품은 가치와 함께 익숙해진다

   1. 휴대전화 카메라가 처음 등장했을 때도 사람들은 “왜 나를 찍느냐”고 불편해했다.
   2. 제품이 실제 생활에서 가치를 증명하면 사용자는 새로운 가능성을 받아들이지만, 초기의 심리적 장벽을 무시해서는 안 된다.

2. Meta가 배운 커뮤니케이션의 한계

   1. 지난 20년간 소셜미디어를 만들며 Meta는 개인정보·안전 우려를 충분히 직접적으로 설명하지 못했다.
   2. 사용량이 많다는 이유로 사람들이 우려하지 않는다고 해석했지만, 해결 조치를 설명하지 않은 것이 오늘날 제품에 대한 인식을 형성했다.
   3. 앞으로는 사람들이 제품을 좋아하는 동시에 기업이 위험을 얼마나 진지하게 다루는지 알 수 있게 해야 한다.

9.3. 청소년 안전 합의와 업계 공동 행동

1. 한 회사만 제한하면 생기는 역효과

   1. 청소년의 Instagram 사용을 하루 1시간으로 제한해도 사용량이 TikTok으로 이동하면 청소년을 실제로 보호하지 못한다.
   2. Meta만 일방적으로 제한하면 이용자는 다른 플랫폼으로 이동하고, Meta만 경쟁상 불리해질 수 있다.

2. 법적 구속력을 가진 업계 프레임워크

   1. Meta는 청소년의 사용시간, 알림, 학교 시간과 수면 시간의 접근을 제한하는 첫 조치를 먼저 시행했다.
   2. YouTube와 TikTok이 같은 조건에 동참하면 업계 전체가 다음 단계의 제한을 함께 고정할 수 있다.
   3. 청소년 보호를 한 회사의 자발적 희생이 아니라 법적 구속력이 있는 industry-wide framework로 만들면, 책임을 분산하면서도 보호 수준을 높일 수 있다.

10. X와 Threads: 사람이 있는 곳에서 대화하기

10.1. 플랫폼별 커뮤니티에 대한 실용적 접근

1. 복수 플랫폼을 동시에 사용한다

   1. Zuckerberg는 Threads와 X에 같은 내용을 올리고, 두 플랫폼에서 모두 대화한다.
   2. Threads는 매우 빠르게 성장해 X보다 커졌거나 곧 비슷한 규모가 될 수 있지만, 두 플랫폼에는 서로 다른 커뮤니티가 있다.
   3. AI 분야 사람들은 X에 많이 모여 있으므로 AI 관련 논의에 참여하려면 X에도 있어야 한다.

2. 핵심은 플랫폼 충성도가 아니라 접점이다

   1. 팟캐스트·게시물을 한 곳에만 올리는 대신 사람들이 있는 모든 장소에 배포한다.
   2. 같은 내용을 여러 곳에 올리는 이유는 특정 플랫폼을 지지해서가 아니라, 각 커뮤니티가 있는 곳에서 직접 소통하기 위해서다.
   3. Muse와 Meta의 전략도 결국 사람에게 기술을 가져가는 것이다. 사용자가 어디에 있든 그곳에서 대화를 시작해야 한다.

주요 발언 모음

“AI의 긍정적인 미래로 가는 길은 기술을 가능한 한 널리 분배하는 것이다.”

“사람을 강화하는 것이 세상의 번영의 원천이며, AI의 주된 목적은 자동화가 아니라 새로운 것을 발명하는 것이다.”

“미래의 안전을 위한 기반은 접근을 제한하는 것이 아니라 올바른 checks and balances와 balance of power를 세우는 것이다.”

“모든 사람이 초지능 변호사를 갖는다면 서로의 주장을 효율적으로 검증하게 되고, 제도는 더 공정하게 작동할 수 있다.”

“개인 에이전트는 한 번의 프롬프트에 답하는 것이 아니라 프로젝트나 목표를 주면 24시간 일하고 목표를 도울 때까지 멈추지 않는다.”

“개인 에이전트의 핵심 설계 원칙은 least privilege다. 필요한 최소 권한만 주고 필요할 때만 추가한다.”

“Meta도 Muse 안의 콘텐츠를 볼 수 없다는 약속은 기술적으로 검증 가능해야 한다.”

“최고의 개인 에이전트를 만들려면 범용 모델을 조금 post-train하는 것만으로는 부족하고, 처음부터 그 용도에 맞춰 설계해야 한다.”

“AI가 사회에 긍정적으로 작동하려면 기술적으로만 작동하는 것이 아니라 사회적으로도 작동해야 한다.”

핵심 데이터 & 수치

• 15쪽: Mark Zuckerberg가 AI의 기회·위험·분배·규제·데이터센터를 설명한 장문 선언문의 분량.
• 1쪽: 그보다 1년 앞서 Wall Street Journal에 발표한 개인 초지능 관련 글의 분량.
• 수십억 명: AI 혜택이 도달해야 할 사람의 규모. 개인 사업·경력·가정·건강 등으로 번영을 분산한다는 목표다.
• 5만 달러: Louisiana 데이터센터 세수가 지역 교사 1인당 지급한 보너스 사례.
• 수십만~수백만 명: 데이터센터 확장에 필요한 fiber technician·전기기사·숙련 건설인력의 추가 수요 추정.
• 주당 1억 토큰: Muse 초기 무료 사용량 구상.
• 24/7: Muse가 프로젝트와 목표를 위해 작동하는 시간 개념.
• 10년 이상: Meta가 WhatsApp의 종단간 암호화 경험을 축적한 기간.
• 2014년: Moxie Marlinspike가 WhatsApp 암호화 구축을 도운 시점으로 언급된 연도.
• 100개 기관: 상위 기관에만 cyber 모델을 제공하자는 접근의 한계로 제시된 숫자.
• 약 12개 회사: state-of-the-art 개인 에이전트를 만들 수 있을 것으로 추정한 회사 수.
• 수백만~수십억 명: 개인 에이전트용 로컬 Mac Studio를 선택할 사람은 수백만 명일 수 있지만 수십억 명은 아닐 것이라는 규모 비교.
• 수백만 명: Meta의 AI 안경이 초기 출시 때보다 훨씬 넓게 보급됐다는 설명.
• 1GW: Ohio Prometheus 클러스터의 규모.
• 매달 1회 수준: Meta가 의미 있는 모델 업데이트를 제공해 Muse의 능력을 계속 높이려는 개발 cadence.

결론 및 시사점

1. AI 기업의 경쟁력은 모델 점수 하나가 아니라 모델·컴퓨트·데이터센터·칩·제품·보안·배포를 한 덩어리로 설계하는 end-to-end 실행력에서 나온다.
2. “개방”은 모든 코드를 공개한다는 뜻만이 아니라, 개인이 실제로 강력한 도구를 사용하고 자기 시스템을 방어할 수 있게 만드는 것이다.
3. Muse의 차별점은 자연어 답변이 아니라 장기 기억, 24시간 프로젝트 실행, 가상 머신 조작, 선제적 아이디어 제안, 에이전트 fleet 학습이다.
4. 개인 에이전트가 이메일·건강·결제·관계 데이터를 다룰수록 intelligence보다 신뢰가 먼저다. confidential VM과 Meta도 볼 수 없는 구조가 대규모 채택의 전제다.
5. least privilege·read-only 기본값·secure credential store·sentinel agent·human approval은 에이전트 제품의 필수 보안 UX가 될 가능성이 크다.
6. 장기적으로 에이전트는 개인의 생산성만 높이는 것이 아니라 가족관계·취미·희귀질환·지역사회 문제처럼 기존 시장이 과소평가한 목표도 다룬다.
7. 무료 기본 사용량과 거래 기반 수수료는 “모든 사람이 개인 초지능을 가져야 한다”는 분배 철학을 사업 모델로 연결하는 방식이다.
8. AI를 소수에게만 제한하면 권력 집중이 심해질 수 있으므로, 널리 배포된 AI들이 서로를 검증하는 균형 구조가 필요하다는 주장은 규제 논의의 핵심 쟁점이다.
9. 반대로 광범위한 배포가 정당성을 가지려면 지역사회 일자리·세수·환경·보안 위험을 실제로 해결해야 한다. 데이터센터와 AI 모델을 분리해 볼 수 없다.
10. 모델 훈련 단계의 reward hacking은 강력한 시스템이 목표의 정신을 우회하는 사례다. 명확한 경계와 values를 처음부터 학습시키는 것이 사후 차단보다 중요하다.
11. 프론티어 모델 경쟁에서는 인원수보다 talent density, 연구팀의 응집력, 모델을 처음부터 설계하는 능력이 중요하다. Llama 4의 궤도 이탈이 조직 재설계의 계기가 됐다.
12. 미국 정부와 AI 기업은 몇 달 만에 낡을 세부 규정만 기다리기보다, 변화하는 cyber·bio 위험을 함께 이해할 수 있는 지속적 신뢰 채널을 만들어야 한다.
13. AI 안경의 사례는 프라이버시 기술을 갖추는 것과 그 사실을 계속 대중에게 설명하는 일이 별개임을 보여준다. 주류화될수록 초기 안전 설계를 반복해 알려야 한다.
14. 청소년 안전처럼 한 플랫폼만 움직이면 이용자가 다른 플랫폼으로 이동하는 문제는 업계 전체의 공동 기준으로 해결해야 한다.
15. Meta의 AI 전략은 “소셜미디어에 AI 기능을 붙인다”가 아니라, 연결·권한 부여라는 회사의 기존 DNA를 개인의 삶 전체를 돕는 AI 회사로 확장하는 시도다.

핵심 요약 (20줄)

AI의 긍정적 미래는 강력한 기술을 소수 연구소에 가두는 대신 가능한 한 널리 배포하는 데서 출발한다.

사람을 강화하는 것이 번영의 원천이며 AI의 주된 목적은 단순 자동화보다 새로운 발명이어야 한다.

안전의 기반은 접근 제한보다 checks and balances와 balance of power를 세우는 데 있다.

오픈소스 생태계는 경쟁·투명성·방어 능력을 넓혀 특정 연구소의 독점 위험을 줄인다.

데이터센터는 수십 년을 내다보는 투자와 지역사회 일자리·세수·인력 양성을 함께 설계해야 한다.

Louisiana에서는 데이터센터 세수가 교사에게 5만 달러 보너스를 지급한 사례가 나왔다.

America's Workforce Academy는 부족한 fiber technician·전기기사·숙련 건설인력을 훈련하고 취업을 보장한다.

Meta는 소셜미디어를 넘어 사람을 연결하고 개인에게 결정권을 주는 회사로 자신을 정의한다.

Muse는 한 번 답하고 끝나는 챗봇이 아니라 목표를 받아 24시간 프로젝트를 실행하는 개인 에이전트다.

Muse는 virtual machine을 조작하고 overnight study로 반성을 기억에 통합하며 다음 프로젝트까지 제안한다.

가족 베이킹·산행 허가·MMA 훈련 분석은 개인 초지능이 삶의 작은 목표를 돕는 사례다.

Muse는 주당 1억 토큰을 무료로 제공하고 사업 거래의 작은 몫을 받는 모델을 구상한다.

에이전트 fleet은 사용자의 익명화된 활용법을 공유해 전체 시스템을 함께 개선할 수 있다.

Meta는 개인 에이전트용 모델을 처음부터 설계하고 social DNA와 프라이버시를 차별점으로 삼는다.

confidential VM은 클라우드에서도 Meta가 사용자의 Muse 콘텐츠를 볼 수 없도록 기술적으로 검증 가능한 약속을 지향한다.

secure credential store·sentinel agent·human approval·least privilege가 개인 에이전트의 보안 구조를 이룬다.

Meta는 Llama 4의 궤도 이탈 뒤 talent density를 높이고 Ohio의 1GW Prometheus 클러스터로 연구를 확장했다.

Watermelon은 Avocado보다 큰 차세대 모델로, 진전된 pre-training과 post-training을 거쳐 출시될 예정이다.

모델은 reward hacking을 하지 않도록 분명한 경계와 장기적 values를 훈련 과정에서 배워야 한다.

AI 기업과 정부는 급변하는 cyber·bio 위험에 대응할 지속적인 신뢰·지식 교환 채널을 만들어야 한다.