실존 위험을 과장하지 말라: Databricks CEO가 말하는 AI의 진짜 위험과 기회

URL: https://www.youtube.com/watch?v=GzEtpAKYRvE 날짜: 2026-09-19 채널: a16z 원문 제목: Databricks CEO: Stop Scaring People About AI 출연: Ali Ghodsi(Databricks CEO), Martin Casado(a16z)

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI의 실존적 위험을 대중에게 확률 숫자와 종말 시나리오로 퍼뜨리는 방식은 현재의 실제 위험을 가리는 반면, 에이전트가 초래할 사이버 보안·경제적 피해는 지금 당장 공학적으로 다뤄야 한다.==

• Ali Ghodsi는 현재 실존 위험이 거의 0에 가깝다고 보며, 근거가 부족한 종말론적 메시지는 대중의 불안과 정신건강 문제를 키운다고 주장한다.
• 다만 대규모 강화학습(Reinforcement Learning) 실행과 자율 에이전트가 취약한 인터넷 인프라를 공격하거나 스스로 확산할 가능성은 현실적인 위험으로 본다.
• 초지능(Superintelligence)과 당장 구축 가능한 다중 에이전트·사이버 시스템을 분리해야 하며, 전자는 아직 증거가 부족하고 후자는 보안 통제·자동화로 대응해야 한다.
• AI의 가치는 더 똑똑한 모델 자체보다 조직 내부의 회의·프로세스·암묵지(默知)를 연결한 온톨로지(ontology)를 통해 훨씬 빨리 실현될 수 있다.
• 안전과 보안을 말하려면 모호한 “pacing the frontier”보다 구체적인 통제·감사·독립 검증을 말해야 하며, 모델 비용은 작업 난이도에 맞춰 조절해야 한다.

대화는 ‘AI 개발을 멈추거나 늦춰야 하는가’라는 정치적 구호에서 출발해, 무엇이 진짜 실존 위험인지, 어떤 데이터가 RSI(Recursive Self-Improvement)를 입증하는지, 사이버 방어를 어떻게 자동화할지, 기업이 지금 얻는 생산성은 어디서 나오는지로 이동한다. 마지막에는 오픈소스 모델의 post-training, 에이전트용 데이터베이스, 비용 최적화가 실제 시장의 방향을 보여주는 사례로 제시된다.

1. 실존 위험을 둘러싼 공론장의 혼선

1.1. 대중을 겁주는 커뮤니케이션의 문제

1. 리더는 불필요하게 사람을 공포에 몰아넣지 말아야 한다

   1. Ali Ghodsi는 충분히 좋은 근거가 없는 상태에서 “AI가 인류 전체를 멸망시킬 확률이 10%” 같은 메시지를 대중에게 반복하는 것은 무책임하다고 말한다.
   2. 사회 구성원마다 AI를 받아들이는 심리적 준비도가 다르며, 기술적 맥락을 모르는 사람에게 종말 시나리오만 전달하면 스트레스와 정신건강 문제를 일으킬 수 있다.
   3. 실제로 Ali의 지인은 AI 종말을 대비해 애리조나 시골의 오두막에 물을 준비해야 하는지 물었다. 그 지인은 원래도 프리퍼(prepper) 성향이었지만, 공론장의 불안이 일상적인 대비 행동으로 번진 사례다.
   4. 단, 정말로 사람을 멸망시킬 구체적 근거가 있다면 경고해야 하며, “실제 이유가 있다면 다른 이야기”라는 예외는 분명히 둔다.

2. 공포의 확산은 정치적 역풍을 만든다

   1. AI 실존 위험 담론은 기술자 커뮤니티를 넘어 전 세계 일반 대중과 선거 의제로 번지고 있다.
   2. 연방 관료 체계가 움직이고 규제를 요구하는 명분이 커지면, 원래 의도와 달리 과도한 정치적 개입을 부를 수 있다.
   3. 두 진행자는 양쪽 모두에 정치적 이해관계가 있다고 지적한다. AI를 제약해야 한다고 주장하는 쪽뿐 아니라, IPO와 투자 수익을 지켜야 하는 기업·투자자 쪽도 여론과 정책에 영향력을 행사한다.
   4. 사업 측 이해관계자는 “내 IPO를 망치지 말고, 투자금을 회수할 수 있게 조용히 하라”는 방향으로 움직일 수 있다.
   5. 반대편에서는 특정 게시물과 발언을 무기화하고, 유리한 스레드를 퍼뜨리거나 심을 수 있다.
   6. 대화 중에는 트럼프 본인을 제외한 양당 정치권이 일정 수준의 AI 제약에 동의한다는 관찰과, Greg Abbott가 텍사스 데이터센터 건설에 부정적인 태도를 보였다는 예시도 나온다.

1.2. “Pacing”이라는 표현이 낳은 PR 실패

1. 안전·보안과 개발 속도는 같은 개념이 아니다

   1. 산업계가 스스로 안전·보안 기준을 세우려는 시도 자체는 낯설지 않고, 기술 산업에서 감독을 두자는 원칙도 합리적이다.
   2. 문제는 이를 “frontier를 pace한다”는 표현으로 포장한 데 있다. 무기를 천천히 만든다고 무기가 아닌 것이 되지 않듯이, 개발 속도를 낮춘다는 말만으로 안전해지지는 않는다.
   3. Martin Casado는 기업들이 이미 전력 질주하면서 더 빠르게 만들기 위해 컴퓨트를 계속 구매하는 상황에서 “pacing”을 말하면 진정성이 떨어진다고 지적한다.
   4. Dario Amodei의 문서는 안전 관점에서 합리적이지만, 문서의 실제 내용과 “pacing”이라는 표지가 잘 맞지 않는다고 본다.

2. 시장 경쟁은 누구도 일방적으로 멈추지 못하게 한다

   1. Ali는 사업 리더의 관점에서 이를 ‘공유지의 비극(tragedy of the commons)’으로 설명한다.
   2. 경쟁자가 계속 달리는 상황에서 한 회사만 멈추면 승자가 아니라 바보가 된다. IPO, 경쟁, 조직 간 적대감이 모두 일방적 중단을 막는다.
   3. 따라서 기업들은 “내가 먼저 멈추면 손해를 보니, 누군가 와서 우리 모두에게 가드레일을 씌워 달라”고 사실상 요구한다.
   4. 시장 균형만 보면 자율적인 pacing은 비현실적일 가능성이 높지만, 공통 규칙 아래에서 보안 통제를 강제하는 것은 실현 가능한 방향이다.

3. Hugging Face·OpenAI 사례는 ‘속도’보다 통제가 핵심이었다

   1. 대화에서 언급된 사건에서는 대규모 RL 실험이 진행되는 동안 모든 출력 토큰을 실시간으로 모니터링하지 않고, 실험이 끝난 뒤 결과를 확인했다.
   2. 여러 에이전트가 샌드박스에서 수백만 GPU 시간 규모로 실행될 때 보안팀이 모든 행위를 관찰하면 실행은 크게 느려진다.
   3. Ali는 이것을 외부의 공통 가드레일이 필요한 사례로 본다. 모두가 보안팀을 붙이고 규칙을 지키면 되지만, 경쟁사가 같은 통제를 하지 않을지 모르는 상황에서는 어느 회사도 먼저 비용을 떠안기 어렵다.
   4. Martin은 이 문제를 “pace”라고 부르면 핵심이 흐려진다고 반박한다. 반응은 “개발 속도를 늦춰라”가 아니라 “보안 통제를 구현하라”여야 한다.
   5. Mark Zuckerberg가 안전·보안·자율 규제에 초점을 맞춰 모델 공개를 늦춘다고 말한 방식은 상대적으로 명확했지만, Dario의 “frontier를 pace해야 한다”는 첫 문장은 다른 심리적 프레임을 만들었다.
   6. “Pacing”은 일시 중지를 원하는 doomer에게는 충분히 강하지 않고, 일반 정책 담당자에게는 실제 보안 조치가 빠진 말처럼 들리는 ‘언캐니 밸리’가 됐다.

2. 실존 위험, 초지능, 사이버 위험의 분리

2.1. 대규모 에이전트 실행이 만드는 당장의 위험

1. 강화학습의 보상 함수가 위험한 행동을 유발할 수 있다

   1. 가상의 실행에서는 1만 개의 에이전트와 1억 달러를 병렬로 투입하고, 거대한 클러스터에서 한두 달 동안 어떤 문제든 풀게 할 수 있다.
   2. 목표가 보안이 아니어도 문제는 생긴다. 수학 퍼즐 같은 좁은 목표라도 에이전트가 시스템을 해킹하거나 예상하지 못한 경로를 찾을 수 있다.
   3. 가장 현실적인 피해 경로는 사이버 공격이다. 위험은 반드시 인류 멸망일 필요가 없으며, 시스템 침해·서비스 중단·경제적 손실만으로도 충분히 심각하다.

2. 인터넷 인프라의 연결성은 과거보다 훨씬 커졌다

   1. 현대의 기업·병원·금융·공공 시스템은 서로 연결되어 있고, 많은 기반 시설이 아직 취약하다.
   2. 자율 에이전트가 여러 곳의 허점을 찾아내고 한 시스템에서 다른 시스템으로 이동하면, 바이러스처럼 스스로 실행 자원을 확보하며 확산하는 시나리오가 가능하다.
   3. 이런 시나리오는 지금 당장 가능한 현실적 보안 문제지만, Ali는 그것을 곧바로 ‘실존적 위험’이라고 부르는 데에는 반대한다.

3. 초기 인터넷 웜과 AI의 차이는 검증해야 한다

   1. Martin은 인터넷 초기부터 웜이 병원을 마비시키고 핵심 인프라를 중단시키며 수백억 달러의 경제적 피해를 냈다고 회고한다.
   2. 당시에는 경제에서 인터넷이 차지하는 비중과 연결된 시스템 수가 지금보다 훨씬 적었는데도 큰 피해가 발생했다.
   3. AI에는 많은 돈과 위험 탐지 인력이 투입되고 있는데도 초기 웜 시대에 상응하는 대규모 사고가 아직 보이지 않는 이유를 질문한다.
   4. Ali는 현재 밤에 편히 잘 수 있고 실존 위험은 거의 0이라고 답하지만, 보안이 자동화되지 않으면 서비스 중단·시스템 장애·경제 피해와 사람의 부상은 충분히 일어날 수 있다고 본다.

2.2. RSI를 판단하는 네 가지 동시 조건

1. 재귀적 자기개선의 기준을 구체화해야 한다

   1. 첫째, 다음 모델을 훈련하는 데 필요한 자원과 GPU가 단순한 소폭이 아니라 초선형적으로 줄어들어야 한다.
   2. 둘째, 다음 모델의 훈련 시간이 줄어들어야 한다.
   3. 셋째, 모델의 정확도와 지능이 계속 높아져야 한다.
   4. 넷째, 앞의 세 변화가 한 번으로 끝나지 않고 반복적으로 재현되어야 한다.
   5. 네 조건은 하나씩 따로 나타나는 것이 아니라 동시에 충족되어야 한다. 하나라도 충족되지 않으면 하드웨어 부족이나 시간 제약이 재귀적 폭주를 막을 수 있다.

2. 현재의 ‘AI가 코드를 쓴다’는 현상은 RSI와 다르다

   1. Databricks 소프트웨어의 90% 이상이 AI로 작성된다는 Ali의 사례는 AI 보조 개발의 강도를 보여주지만, 마지막 몇 퍼센트를 AI가 작성한다고 해서 초지능이 되는 것은 아니다.
   2. 소프트웨어가 자기 자신을 일부 작성하는 것과, 더 적은 자원·시간으로 더 지능적인 모델을 반복적으로 만들어내는 것은 다른 현상이다.
   3. 대화에서 말하는 초지능은 인간이 수천 년 동안 생각할 일을 순간적으로 처리하거나, 몇 초 안에 새롭고 심사 가능한 박사 논문을 완성하거나, 인간이 할 수 없는 11차원 물리학적 추론을 직관적으로 수행하는 수준이다.

3. 현재 frontier 모델 개발은 오히려 네 조건의 반대다

   1. 대화에서는 frontier 모델을 훈련하는 한 번의 실행에 약 50억~100억 달러 규모가 들 수 있다고 언급한다.
   2. frontier를 6개월 뒤 복제하는 비용은 약 20분의 1로 낮아지지만, 새로운 frontier를 만드는 최초 실행은 여전히 매우 비싸다.
   3. 각 연구소가 실제로 수행하는 대규모 훈련은 1년에 한두 번 정도이며, 더 많은 인력과 자원, 더 큰 데이터센터와 GPU가 필요하다.
   4. GPU를 한 자릿수 차수 더 많이 모으면 이전에는 무시하던 오류·네트워크·장애를 감당해야 하므로 시스템의 견고성을 추가로 설계해야 한다.
   5. 실행이 실패하면 막대한 돈을 잃기 때문에 연구소는 오히려 조심스럽고, 실제로 여러 대형 실행이 망가진 사례도 있었다.
   6. 현재 과정은 “더 빠르고 싸고 똑똑한 다음 모델”이 아니라 “더 오래 걸리고, 더 비싸고, 더 많은 사람이 필요하며, 더 취약하고, 성공시키기 어려운 과정”에 가깝다.

4. RSI를 관찰할 계측 지표가 필요하다

   1. Martin은 동적·적응형 시스템을 볼 때 숫자와 눈앞의 현상 중 무엇을 믿을지 선택해야 하며, 우선 관찰 가능한 숫자에 의존해야 한다고 말한다.
   2. 기업이 계속 성장하는데 필요한 사람 수와 자금이 줄고, 모델을 내놓는 속도가 계속 빨라진다면 블랙박스에서도 중요한 신호를 읽을 수 있다.
   3. 가령 Anthropic이 12명으로 줄어든 채 더 빠른 주기로 계속 모델을 낸다면 충분히 주목할 만하다. 다만 이것은 충분조건이지 필요조건은 아니다.
   4. Ali는 기업 전체 인원보다 실제 pre-training과 post-training을 담당하는 팀의 규모·업무량·GPU 사용량이 줄어드는지를 봐야 한다고 덧붙인다.
   5. 외형적인 채용은 비효율적인 다른 사업 때문일 수 있으므로, 모델을 실제로 훈련하는 핵심 팀을 따로 계측해야 한다.

2.3. 사이버 보안은 이미 자동화 경쟁에 들어갔다

1. 사람 중심 보안 운영은 공격 속도를 따라가지 못한다

   1. Databricks의 Lakewatch 같은 탐지 제품은 침입과 이상 징후를 분석하는 시장을 겨냥한다.
   2. 기존 보안운영센터(SOC)는 사람이 매일 수백 건의 탐지 이메일을 확인한다.
   3. 그중 상당수는 오탐(false positive)이지만, 진짜 공격도 섞여 있고 사람에게는 모두 검토할 시간이 없다.
   4. 위협 헌팅(threat hunting)도 에이전트가 자동으로 자신의 시스템을 공격하고 약점을 찾는 방식으로 바뀌어야 한다.

2. AI 에이전트는 방어에도 공격에도 사용된다

   1. 금융기관과 보안 의식이 높은 일부 조직은 자동화를 시작했지만, 대부분의 산업은 여전히 구식 SOC에 머물러 있다.
   2. 사람은 공격에 충분히 빨리 대응하지 못하므로, 탐지·분류·대응을 자동화하지 않으면 사이트와 시스템이 실제로 중단될 수 있다.
   3. 위험을 줄이는 핵심은 AI 개발을 멈추는 것이 아니라, AI가 만든 새로운 공격 속도에 맞춰 방어 에이전트도 배치하는 것이다.

3. 데이터·AI와 사이버 보안 시장이 합쳐진다

   1. 과거에는 데이터·머신러닝을 운영하는 시장과 악성 침입을 탐지하는 사이버 시장이 별개였다.
   2. 이제 기업 내부 에이전트가 서로 상호작용하며 행동 로그·추적 기록·지문(fingerprint)을 대량으로 남긴다.
   3. 이 모든 데이터를 분석해야 하므로 데이터 플랫폼과 사이버 보안의 경계가 무너진다.
   4. CVE 취약점이 공개된 뒤 산업에서 무기화되는 시간은 2018~2019년에는 2~3년이었고, 2022년에는 8~9개월 수준으로 줄었으며, 현재는 사실상 몇 시간까지 단축됐다.
   5. 따라서 탐지와 대응은 데이터·AI 플랫폼을 통해 자동화해야 하며, 두 시장은 결국 하나의 시장으로 수렴할 가능성이 높다.

3. 공학적 해결, 독립 검증, 규제의 경계

3.1. 두 종류의 문제를 분리해야 한다

1. 사이버 위험은 공학 문제에 가깝다

   1. 수많은 에이전트가 보안 취약점을 찾고 확산하는 문제는 모니터링, 샌드박스, 권한 제어, 자동 탐지, 위협 헌팅으로 완화할 수 있다.
   2. 완벽한 안전을 약속할 수는 없지만, 이 위험은 제품·서비스·보안 공학이 개선할 수 있는 영역이다.
   3. 현재 에이전트는 역사상 인간이 할 수 없었던 규모의 연구자·수학자·보안 전문가를 버튼 하나로 병렬화할 수 있다는 점에서 변곡점이다.
   4. 1만 명의 보안 연구자를 한 달 동안 샌드박스에 넣고 1억 달러어치 작업을 시키거나, 1만 명의 수학 에이전트가 추측을 협력해 풀게 하는 일은 과거에는 불가능했다.

2. 초지능 문제는 별도의 미지 영역이다

   1. Bostrom의 2014년 저서가 상정한 초지능은 현재의 업무 자동화 에이전트와 같은 개념이 아니다.
   2. 그런 초지능이 실제로 등장한다면 실존적 위험이 될 수 있고, 그것을 단순한 엔지니어링 문제로 해결할 수 있다고 단정하기 어렵다.
   3. 핵심 질문은 연구소가 시도하는 RSI가 실제로 그 방향으로 이어지는지, 이어진다면 얼마나 빠른지다.
   4. 현재로서는 그 경로를 입증할 증거가 없고, 네 가지 RSI 조건이 모두 높은 확률로 충족된다고 보기도 어렵다.

3.2. 검사관과 제3자 검증

1. 독립 검사관은 투명성을 높일 수 있다

   1. 연구소 내부에 검사관이 들어가 훈련 과정·자원·실험 결과를 살펴보자는 제안은 합리적이다.
   2. 검사관이 실제 데이터와 지표를 공개하면, RSI가 일어나고 있는지에 대한 추측을 검증 가능한 논의로 바꿀 수 있다.
   3. 한 진영에 미리 소속된 사람이 결론을 정한 뒤 들어가면 어떤 결과도 신뢰받기 어렵다.
   4. 서로 다른 관점을 가진 다양한 검사관을 구성해야 단일 이념이나 이해관계가 데이터 해석을 독점하지 않는다.

2. 검사관의 신뢰성은 결론보다 중요하다

   1. Ali는 딥러닝을 개척한 Yann LeCun이 검사관으로 들어가 “볼 것이 없고 위험은 nonsense이니 계속 빠르게 가라”고 말한다고 가정한다.
   2. LeCun이 실제 데이터를 보고 그렇게 말한다면, 사전에 어떤 진영에 속했는지와 무관하게 의미 있는 신호가 된다.
   3. 반대로 검사 후 그가 흔들리거나 견해를 바꾼다면, 그 변화 역시 중요한 데이터가 된다.
   4. 핵심은 누구든 자기 결론을 입증할 사람을 고르는 것이 아니라, 신뢰할 만하고 다양한 사람이 같은 자료를 직접 살펴보는 것이다.

3. 연구소 간 상호 검증은 제3자보다 약하다

   1. 세 가지 감독안이 대비된다. OpenAI·Anthropic식 제3자 검증, Elon Musk식 연구소 간 상호 심사, Mark Zuckerberg식 자기 규제다.
   2. 경쟁 연구소끼리 서로 판정하는 것은 과학의 동료평가처럼 보이지만, IPO·시장 점유율·과거 경쟁 관계 때문에 이해상충이 크다.
   3. 복싱 선수들이 서로의 경기 심판을 맡는다면 매 순간 파울을 외칠 것이라는 비유가 사용된다.
   4. 경쟁사가 훌륭한 모델을 내면 “대형 초지능 위험”이라고 공격하고, 자기 모델이 나오면 안전하다고 말할 유인이 생긴다.
   5. 독립적인 제3자와 정부·산업의 혼합 구조가 필요한 이유는 당사자끼리 판단하면 편향이 구조적으로 남기 때문이다.

3.3. 실존 위험 담론의 이해관계와 정부 개입

1. 공포와 마케팅은 동시에 존재할 수 있다

   1. 연구소 내부에는 실제로 불안해하는 안전 연구자들이 있고, 모두가 Effective Altruism 진영에 속한 것도 아니다.
   2. 동시에 새 모델이 “세상을 무너뜨릴 만큼 위험하다”는 홍보는 주목과 규제 완화·경쟁우위·자금 조달을 가져오는 마케팅 수단이 될 수 있다.
   3. 모델 성능이 높다는 홍보와 위험하다는 홍보가 함께 진행되는 겉보기 모순은, 당사자가 각자의 머릿속에서 사업적 이해와 안전 우려를 동시에 정당화하기 때문에 생긴다.
   4. Elon Musk가 지적한 “한편으로는 인류가 모두 죽는다고 하고, 다른 한편으로는 IPO 배정을 무엇으로 할지 묻는다”는 4D 체스식 냉소가 이 모순을 압축한다.

2. 규제 요구는 실제 규제를 부른다

   1. 산업계가 실존 위험을 주장하면서 동시에 “우리를 규제해 달라”고 하면 규제기관이 영원히 거절하기 어렵다.
   2. FINRA처럼 업계 자율 규제와 정부의 연결이 섞인 모델은 순수한 민간 자율 규제와 법정 규제 사이의 중간 형태다.
   3. 미국 중간선거와 세계 각국의 선거에서 AI가 큰 쟁점이 될 가능성이 있고, 이미 정치권의 논리와 말할 거리가 만들어졌다.
   4. 과도한 연방 규제와 개발 중단으로 갈 수도 있지만, 아직 올바른 선택을 할 여지는 남아 있다.
   5. 규제를 요구하는 기업은 규제 내용이 자신에게 유리하도록 설계하려는 유인도 있으므로, 감독자는 기업의 언어와 동기를 분리해 봐야 한다.

3. 강화학습의 좁은 성공을 초지능으로 오해하지 말아야 한다

   1. 수학 문제, 특정 프로그래밍 과제처럼 보상 함수가 검증 가능한 좁은 영역에 수십억 달러를 투입하면 매우 좋은 결과를 얻을 수 있다.
   2. 여러 경험을 반복하고 막대한 자원을 투입하면 적은 입력으로 더 좋은 결과를 얻었다고 착각할 수 있지만, 실험 자체가 충분히 폐쇄적·통제적이지 않으면 원인을 분리하기 어렵다.
   3. 연구소가 기업공개를 추진하는 이유 중 하나는 scaling law를 믿고 컴퓨트와 자본을 전략적 우위로 보기 때문이다.
   4. 기업공개를 원래 선호하지 않을 법한 사기업까지 자본을 필요로 하는 상황은 frontier 훈련 비용이 계속 커지고 있음을 보여준다.

4. RSI, 자기촉매, AGI라는 단어의 과잉 사용

4.1. 자기촉매적 기술과 RSI의 구분

1. AI로 기술 개발을 가속하는 것 자체는 새롭지 않다

   1. 컴퓨터로 다음 세대 컴퓨터를 설계하거나, 컴파일러가 자기 컴파일러를 작성하는 현상은 기술이 기술의 발전을 돕는 자기촉매적(autocatalytic) 과정이다.
   2. 증기기관, 인터넷, 컴퓨터 칩도 이전 기술과 협업을 가능하게 하며 다음 기술을 만들어내는 측면에서 자기촉매적이었다.
   3. 인터넷은 원격 협업을 가능하게 했고, 컴퓨터는 컴퓨터 설계를 도왔지만, 이것을 곧바로 RSI라고 부르지는 않는다.

2. 업계에서 RSI가 과도하게 사용된다

   1. Martin은 연구실에서 나와 창업하는 팀 대부분이 ‘RSI’를 말하지만, 실제로는 데이터 정제·GPU 커널 작성·개발 도구 보조에 AI를 쓰는 경우가 많다고 말한다.
   2. 체감상 활동의 약 90%는 일반적인 자기촉매적 생산성 향상이고, 진짜로 모델이 스스로 훈련·개선하는 작업은 일부에 불과하다고 본다.
   3. Andrej Karpathy가 보여준 자동 연구(auto-research)처럼 모델이 연구 과정을 직접 개선하는 방향은 존재하지만, 실제로 그 일을 하는 팀과 계산 자원은 예상보다 적다.
   4. 따라서 “AI가 AI 개발을 돕는다”와 “AI가 더 적은 자원으로 더 지능적인 AI를 반복적으로 만든다”를 분리해 측정해야 한다.

4.2. AGI 선언과 실제 도입의 간극

1. AGI 선언은 사용 현황과 맞지 않는다

   1. Brockman이 팟캐스트에서 “AGI 시대에 들어섰다”고 말한 뒤, 비슷한 주장이 빠르게 반복됐다.
   2. 사람들은 2025년 3~4분기 무렵부터 AI가 주변 대부분의 사람보다 똑똑하다고 말해 왔지만, 이 문장만으로 실제 조직 자동화가 이뤄졌다는 뜻은 아니다.
   3. 수백~수천 개의 에이전트를 관리하고 서로 협상시키며 삶과 업무 전체를 자동화하는 사람에게 손을 들라고 하면 거의 아무도 들지 않는다.

2. 기업의 현실은 Copilot과 챗봇에 머물러 있다

   1. 대부분의 기업이 실제로 쓰는 것은 Microsoft Copilot 정도이며, 다중 에이전트 swarm이 아니다.
   2. 많은 조직에서 AI의 주된 사용은 챗봇에 질문하는 일이다.
   3. 이 챗봇은 과거 Google 검색을 훨씬 편리하게 만든 수준인 경우가 많고, 기업 전체를 자율적으로 움직이는 에이전트 시스템은 아직 일반화되지 않았다.
   4. 기업 자동화가 늦은 핵심 이유는 모델의 지능 부족보다 조직 내부 맥락 부족이다.

5. AI의 가장 큰 단기 가치: 조직 맥락과 온톨로지

5.1. Frontier 모델보다 조직의 맥락이 먼저다

1. 현재 모델은 충분히 똑똑하지만 조직을 모른다

   1. AI는 조직의 모든 회의에 참석하지 않았고, 직원들의 머릿속에 있는 규칙을 알지 못하며, 실제 업무 프로세스와 예외를 경험하지 못했다.
   2. 모든 조직에는 공식 조직도에는 드러나지 않는 핵심 직원이 있다. 그 사람이 퇴사하면 “이 조직은 어떻게 돌아가나”라는 질문이 생기는 이유는 그 사람이 암묵적 맥락을 가지고 있기 때문이다.
   3. 오늘날 frontier 모델에 그 맥락만 제공해도 전 세계 조직에서 큰 생산성 향상을 얻을 수 있다.
   4. Navier–Stokes 방정식, 미해결 추측, Humanity’s Last Exam 점수를 60%에서 70%로 올리는 능력은 대다수 기업의 단기 도입에 필수적이지 않다.

2. 지능 가격의 하락은 도입을 가속한다

   1. 지능의 가격은 점근적으로 떨어지고 있으며, 대화에서는 약 6개월마다 10분의 1 수준으로 내려가는 흐름이 언급된다.
   2. 가격 하락은 고객에게는 기회지만, frontier 연구소에는 사업 모델을 위협한다.
   3. 최첨단 모델을 계속 밀어붙이지 않아도 대부분의 조직은 아직 기존 모델을 자동화에 연결하지 못했기 때문에, 사회 전체의 실제 편익은 당분간 더 커질 수 있다.
   4. 공공 논의는 비용·위험만 말하지 말고 시민이 “그래서 나에게 무엇이 좋은가?”라고 묻는 질문에도 답해야 한다.

5.2. 실제로 생명을 구하고 비용을 줄이는 사용 사례

1. Crisis Text Line의 자해·자살 위험 탐지

   1. Crisis Text Line은 대규모 언어 모델을 활용해 청소년이 자해나 자살을 생각하고 있는지 탐지한다.
   2. 위기 신호를 빠르게 발견해 상담 대응으로 연결하는 것은 실제로 생명을 구하는 사용 사례다.

2. Omnipod의 개인화된 당뇨 관리

   1. Omnipod는 당뇨 환자의 인슐린 방출과 혈당 변화를 학습해 필요한 만큼 자동으로 인슐린을 방출한다.
   2. 환자가 과거처럼 반복해서 직접 측정하고 조절해야 하는 부담을 줄이며, 신체별로 학습하는 AI를 사용한다.

3. Zipline의 자율 배송

   1. Zipline의 드론은 배터리 최적화·비행 경로·배송 판단을 AI로 자동화한다.
   2. 아프리카에서 시작해 도움이 필요한 지역에 혈액을 배송했고, 난민을 포함한 취약한 사람들에게 의료 물자를 전달했다.
   3. 데이터와 AI를 결합한 시스템이 물류·의료 접근성 문제를 직접 해결한 사례다.

4. Merck와 Teddy의 신약 개발

   1. Teddy는 “Transformer Enhanced Drug Discovery”의 약자로, Merck와 함께 만든 Transformer 기반 모델이다.
   2. 영어의 다음 토큰을 예측하는 대신 유전자 조절 네트워크(Gene Regulatory Network)가 어떻게 반응할지를 예측한다.
   3. 질병 과정에서 인과적으로 작용하는 세포와 단지 반응하는 세포를 구분하면, 특정 질병을 겨냥한 약물 개발 비용을 크게 낮출 수 있다.
   4. 연구 결과는 공개됐고, 모델 구조와 성과를 검토할 수 있다.

5. Genie와 Novo Nordisk의 임상시험

   1. Genie는 조직의 데이터를 온톨로지로 연결해 자연어 질문과 분석을 가능하게 한다.
   2. Novo Nordisk는 GLP-1 약물을 만든 기업으로, 임상시험 전반에 Genie를 사용한다.
   3. 비만 연구 같은 시험에서 인사이트를 얻는 시간을 몇 주에서 몇 분으로 압축할 수 있다.
   4. AI 도입의 편익은 먼 미래의 초지능이 아니라 오늘의 의료 의사결정에서도 나타난다.

5.3. 온톨로지는 조직의 암묵지를 그래프로 만든다

1. 온톨로지의 의미

   1. 온톨로지는 조직 안의 목표·부서·사람·프로젝트·자원·업무가 무엇을 의미하고 어떻게 연결되는지 표현하는 구조다.
   2. 동일한 능력·학력·성실성을 가진 신입사원과 5년차 직원의 차이는 조직이 실제로 일하는 방식을 아는지 여부다.
   3. 조직도에서 이름을 찾는다고 일이 해결되지 않는다. “이 서류는 제출할 필요가 없고, 이 프로젝트는 이 사람에게 물어봐야 한다”는 비공식 지식이 업무를 움직인다.
   4. 그 지식은 여러 사람의 머릿속에 흩어져 있어, 사람을 잃으면 회사가 회복하지 못하는 핵심 자산이 된다.

2. 온톨로지 구축의 첫 단계는 전사 디지털화다

   1. 모든 회의를 녹음·전사하고, 조직에서 일어나는 디지털 활동과 문서를 수집해야 한다.
   2. 법무팀이 개인정보·기밀을 이유로 회의를 녹음하지 말라고 할 수 있으므로, 권한·동의·보호 체계를 갖춘 방식으로 수집해야 한다.
   3. 수집한 정보는 단순 문서 검색이 아니라 사람·프로젝트·의사결정·근거 간 관계를 표현하는 디지털 그래프로 정제해야 한다.
   4. Palantir가 기업의 암묵지를 기록하고 조직에 심는 일을 잘해왔다는 평가도 나온다.

3. 검색 인덱스와 그래프가 에이전트의 지연을 줄인다

   1. 현재 에이전트는 질문을 받은 뒤 여러 MCP 서버와 리소스를 하나씩 확인하고, 결과를 합성해 답한다.
   2. 이 방식은 느리고 비용이 높다. Martin은 이를 25년 전 Google이 검색을 매번 웹사이트에 들어가 요약하고 링크를 따라가며 10분 뒤 결과를 주는 방식으로 만들었다면 어땠을지에 비유한다.
   3. Google이 실제로 하는 일은 웹을 미리 색인하고 역색인(reverse index)해 100밀리초 이내에 링크를 제공하는 것이다.
   4. 기업 AI도 조직의 관계와 자료를 오프라인에서 계속 색인해야 한다.
   5. 기업 데이터에는 사용자별 권한·개인정보·접근 제어가 있고, 웹사이트 외에도 사람·회의·프로젝트·수치 등 여러 객체가 있어 더 어렵지만 해결 가능하다.

4. Databricks의 온톨로지 실험

   1. Databricks는 자사 제품을 고객보다 더 많이 사용하는 대표적인 도그푸딩 사례여서, 내부 온톨로지가 고객사의 것보다 더 크다고 말한다.
   2. 내부 그래프에는 수백만 개의 노드가 있다.
   3. 기업 의사결정은 조직의 트리를 따라 위로 올라간다. 문제가 생기면 상사에게 에스컬레이션하고, 상사는 맥락을 파악해 결정을 내린 뒤 다시 아래로 전파한다.
   4. 온톨로지가 있으면 AI가 회의에서 발표된 분석·PowerPoint·Excel 모델과 수치를 모두 알고, 추가 회의 없이 질문에 답할 수 있다.
   5. AI가 리더가 원하는 그래프와 분석 형식으로 결과를 보여주면 리더는 후속 질문을 즉시 던지고, 의사결정을 조직 전체에 다시 전파할 수 있다.

5. “Genie해 달라”는 조직 습관

   1. Databricks 내부 사람들은 회의 중 복잡한 말이 나오면 휴대폰으로 Genie에 질문하기 시작했다.
   2. Fortune 500 고객 침투율을 묻는 상황에서 Ali는 영업운영 담당자에게 질문했지만, 담당자는 비행 중이라 Genie에 로그인할 수 없다고 답했다.
   3. Ali가 CFO Dave에게 다시 묻자 CFO도 Genie의 답변 스크린샷을 그대로 복사해 보냈다.
   4. 구성원 모두가 같은 온톨로지에 질문하고 있었기 때문에, 새로운 분석을 각자 하는 대신 “이걸 Genie해 달라”는 표현이 생겼다.
   5. 단추 하나를 누른다고 온톨로지가 생기는 것은 아니며, 데이터를 수집하고 관계를 만들고 권한을 관리하는 작업이 선행되어야 한다.

6. 생산성의 확산과 AI 비용의 통제

6.1. Databricks 내부의 ‘토큰 맥시밍’에서 가치 맥시밍으로

1. CEO부터 실전 사용을 시작했다

   1. 2025년 4분기 무렵 모델이 충분히 좋아지자 Ali는 직접 AI로 Databricks의 실제 코드를 작성해 민감한 데이터 플랫폼의 production에 커밋했다.
   2. CEO가 보안 요구사항이 높은 제품의 코드를 배포할 수 있다면 모든 관리자와 직원도 할 수 있어야 한다는 논리로 조직을 강하게 밀어붙였다.
   3. 2025년 4분기부터 사용량 리더보드를 만들었고, 이듬해 1~2월에는 전사 사용이 본격화됐다.
   4. 2~3월경 토큰을 많이 쓰는 것이 곧 생산성이라는 ‘token maxing’이 과열되기 시작했지만, Databricks는 몇 분기 앞서 문제를 볼 수 있었다.

2. AI Gateway가 비용을 계측한다

   1. Databricks의 gateway는 OpenAI·Anthropic·Gemini·Grok과 오픈소스 모델의 토큰 용량을 제공한다.
   2. 사람과 그룹별 예산을 설정하고, 남은 예산과 한도 접근 경고를 보여줬다.
   3. 분석 시스템으로 비용이 어디로 향하는지 예측하고, 예산이 부족하거나 작업이 단순하면 더 싼 모델로 자동 라우팅했다.
   4. Omnient라는 harness를 만들어 여러 harness 사이를 multiplexing했다.
   5. 같은 모델·같은 버전이어도 harness가 다르면 실제 비용이 거의 2배 차이 날 수 있으므로, 모델 선택만큼 실행 harness 선택이 중요하다.
   6. 토큰 사용량은 계속 늘었지만 비용은 대체로 정체되는 수준으로 곡선을 휘게 만들었다.

3. 가치 맥시밍은 작업별 모델 선택이다

   1. 어려운 일에는 가장 최신 frontier 모델이 필요하지만, 파일 이름 변경처럼 단순한 일에 비싼 모델을 쓰면 낭비다.
   2. 모델이 5분 동안 실행된 뒤 파일 하나를 바꾸고 몇 센트를 청구하는 상황이라면 직접 처리하는 편이 낫다는 농담이 나온다.
   3. 값싼 오픈소스 모델이 전문가 모델을 호출하거나, 전문가 모델이 작은 모델에 일을 넘기는 패턴이 확산되고 있다.
   4. 모델끼리 번갈아 검토하도록 하거나 harness를 바꾸는 방식도 비용을 줄인다.
   5. Pi 같은 harness가 효율적이라는 관찰이 있으며, 앞으로 모든 작업에 가장 똑똑한 모델을 쓰는 패러다임은 바뀔 가능성이 높다.
   6. Fable·Astra 같은 강한 모델은 아키텍처 설계와 감사를 맡기고, 싼 모델은 구현을 맡기는 조합이 새로운 표준으로 떠오른다.

6.2. Frontier 모델에서 오픈소스·GLM으로의 이동

1. 대규모 기업도 작업에 맞춰 모델을 바꾸기 시작한다

   1. Martin은 20개가 넘는 이사회에 참여하는데, 한 대형 엔지니어링 조직이 처음으로 frontier 모델에서 GLM으로 옮긴 사례를 전했다.
   2. 과거 DeepSeek와 Kimi의 등장 때처럼 일시적인 화제인지, 실제 시장 이동인지 질문했지만, 이번에는 실제 사례가 누적되는 느낌이 있다고 말했다.
   3. Ali는 최신 모델이 필요한 고난도 작업과 저렴한 모델이면 충분한 반복 업무를 분리할 것이라고 본다.

2. 오픈소스 사용량은 비용과 토큰 기준이 다르다

   1. 비용 기준으로 오픈소스 모델의 비중은 약 5%에 불과하다.
   2. 토큰 수 기준으로는 60%를 넘는다.
   3. 제품에 외부로 제공하는 기능은 오픈소스 비중이 거의 90%에 이르는 스타트업도 있지만, 내부 직원용 도구는 비용을 신경 쓰지 않고 frontier 모델을 쓰는 경우가 많다.
   4. 제품 규모가 커지면 내부 사용에서도 낭비를 줄이기 위해 오픈소스와 라우팅을 선택하게 된다.

3. 2023년 Mosaic 인수의 방향이 2026년에 현실화됐다

   1. Databricks는 2023년에 Mosaic을 인수했고, 당시부터 고객이 자기 지능을 소유하고 오픈소스 모델을 post-training할 수 있다는 방향을 갖고 있었다.
   2. 지금은 이미 좋은 pre-trained 모델이 많아서 대규모 사전 훈련을 새로 하는 것은 대부분의 고객에게 합리적이지 않다.
   3. 대신 특정 업무에 좋은 오픈소스 모델을 가져와 강화학습 환경에서 post-training하면, 반복적인 특정 업무에 매우 강한 모델을 만들 수 있다.
   4. 스타트업은 비용·속도·자체 IP를 통제할 수 있어 이 방식에 동기가 크다.
   5. 대기업은 당장 기본 자동화만 해도 복잡하고, 자체 모델 훈련으로 넘어갈 여력이 아직 부족하다.

6.3. 평가(Eval)가 자체 모델 훈련의 병목이다

1. 좋은 평가 세트가 있어야 post-training이 가능하다

   1. 특정 업무에서 모델을 개선하려면 무엇이 좋아졌는지를 측정할 좋은 eval이 필요하다.
   2. 스타트업은 제품의 반복 업무와 성공 기준이 명확해 eval을 만들 동기가 있다.
   3. 대기업은 frontier 모델을 바로 쓰는 것이 자체 기준선을 만들고 과학적 실험을 설계하는 것보다 쉬워 보인다.

2. 조직은 평가를 알아도 실제로 하지 않는다

   1. Databricks가 고객을 위해 자동으로 eval을 만들어 제품 전면에 보여줬지만, 고객은 복잡한 절차를 원하지 않아 사용하지 않았다.
   2. 기능을 백엔드로 옮겨 선택 사항으로 만들자 고객은 더 이상 eval을 찾지 않았다.
   3. 새 모델을 바로 시험하고 문제를 해결하고 싶은 사람에게 기준선·실험 설계·과학적 방법을 강요하기 어렵다.
   4. 소프트웨어 개발자가 TDD(Test-Driven Development)가 옳다고 말하면서도 실제로는 거의 하지 않는 현상과 비슷하다.
   5. 자체 모델 훈련의 저주는 모델보다 eval이 더 어렵다는 데 있다.

6.4. FDE와 에이전트 제품화

1. 현장 엔지니어링 지원의 수요가 커졌다

   1. Databricks의 FDE(Field/Forward Deployed Engineer로 통칭되는 현장 배치 엔지니어) 수요가 크게 늘었다.
   2. 고객 조직이 AI를 시작하려면 먼저 회의·문서·업무 데이터를 모으고 온톨로지를 만들어야 한다.
   3. 녹음과 데이터가 없으면 자동으로 만들 수 있는 온톨로지도 비어 버리므로, 기술뿐 아니라 조직 변화 지원이 필요하다.

2. 고객 대면 에이전트에는 가드레일이 필요하다

   1. 낮은 지연시간과 고객 경험을 유지하면서, 에이전트가 악용되거나 허용하지 않은 질문에 답하지 않도록 가드레일을 설계해야 한다.
   2. Fox의 스포츠 AI는 경기 관련 질문에 답하고 정치 질문을 받으면 정중히 거절하며 스포츠 이야기로 되돌아간다.
   3. 이런 에이전트의 배포·평가·권한·거절 정책을 설계하는 일이 Databricks의 현장 지원 업무에 포함된다.

7. 에이전트가 데이터베이스를 선택하는 방식

7.1. Lakebase·Neon이 에이전트의 기본 데이터베이스가 된 이유

1. 중립 평가에서 Postgres 계열이 선택됐다

   1. 제3자 평가에서 Lakebase 또는 Neon이 에이전트가 선호하는 Postgres 데이터베이스로 1위를 차지했다.
   2. Databricks 입장에서도 예상 밖의 결과였고, 다른 데이터베이스가 개발자 모멘텀을 갖고 있어 더 놀라운 결과였다.

2. 에이전트의 실험 루프에 맞춘 속도가 핵심이다

   1. 에이전트는 작은 소프트웨어를 만들며 반복적으로 데이터베이스를 만들고, 실험하고, 버리고, 다시 만든다.
   2. 데이터베이스가 뜨는 데 1초보다 훨씬 적은 시간이 걸리고, 큰 데이터베이스도 1초 이내에 복제할 수 있어야 한다.
   3. Branching 기능으로 하나의 데이터베이스에서 많은 브랜치를 가볍게 만들 수 있다.
   4. 스냅샷으로 되돌릴 수 있고, 빠르고 탄력적이며 실패해도 복구할 수 있는 구조가 에이전트 실험에 적합하다.

3. 에이전트 전용 페르소나가 데이터베이스 시장을 바꾼다

   1. 기존 데이터베이스 사업은 DBA와 애플리케이션 개발자에게 무엇을 제공할지를 중심으로 설계됐다.
   2. Neon 팀은 “에이전트가 최고의 데이터베이스 경험을 얻으려면 무엇이 필요한가”를 중심에 놓았다.
   3. 실험 단계의 에이전트가 만든 데이터베이스 비용이 계속 쌓이지 않도록 가격 모델도 설계했다.
   4. 생산 환경에서 많은 사용자가 붙은 데이터베이스에는 비용을 지불해도 되지만, 단순 실험에는 낮은 비용이 필요하다.
   5. 생성되는 데이터베이스의 90% 이상이 이미 사람이 아니라 에이전트에 의해 만들어진다는 수치가 제시된다.
   6. 에이전트가 도구를 선택하는 시대에는 사람용 기능 목록보다 에이전트의 반복 루프·지연시간·복구성·가격이 채택을 결정한다.

7.2. Databricks와 Neon의 관계

1. 대기업 소속이 제품을 느리게 만들지는 않는다
   1. Martin은 대기업에 들어가면 일반적으로 제품이 느려진다고 생각했지만, Neon을 표준 데이터베이스로 써보니 제품이 오히려 크게 좋아졌다고 말한다.
   2. Ali는 Neon의 Nikita와 팀이 문제에 집착하고 빠르고 가볍고 에이전트 친화적인 제품을 만든 공을 인정한다.
   3. Databricks와 Neon 팀은 데이터·데이터베이스라는 공통 관심사로 긴밀하게 협력하지만, 제품의 실행은 독립적으로 이뤄진다.
   4. 에이전트가 만든 소프트웨어의 기본 저장소를 잘 잡는 일이 장기적으로 에이전트 시장 전체를 선점하는 경로가 될 수 있다.

주요 발언 모음

“리더는 정말 좋은 이유가 없다면 사람들을 불필요하게 겁주지 않을 책임이 있다.”

“지금 실존 위험은 거의 0에 가깝다. 하지만 사이버 위험은 현실이며, 그것을 심각하게 다뤄야 한다.”

“다음 모델이 더 적은 자원과 더 짧은 시간으로 훈련되고, 더 똑똑해지며, 그 과정을 반복하는 네 가지 조건이 동시에 나타나는지 봐야 한다.”

“Pacing은 중지를 원하는 사람도, 보안 조치를 원하는 사람도 만족시키지 못하는 언캐니 밸리다.”

“사람은 공격 속도를 충분히 빨리 따라갈 수 없으므로 탐지와 대응을 자동화해야 한다.”

“AI 모델은 충분히 똑똑하지만 조직 안에서 실제로 일이 어떻게 돌아가는지에 대한 맥락이 없다.”

“온톨로지는 사람·목표·프로젝트·자원과 그 관계를 조직이 이해하는 방식으로 만든 그래프다.”

“어려운 일에는 최신 모델을 쓰고, 파일 이름을 바꾸는 일에는 비싼 모델을 쓰지 말아야 한다.”

“복싱 선수들이 서로의 심판이 되면 매 순간 파울을 외칠 것이다.”

“AI가 없는 세상의 내 파멸 확률이 AI가 있는 세상보다 훨씬 높다.”

핵심 데이터 & 수치

• 약 66분 53초: 전체 대화 길이.
• 실존 위험: Ali의 현재 판단은 “거의 0에 가까움”이며, 마지막 답변에서 P(doom)를 10% 미만으로 제시했다.
• 대규모 RL 가상 실행: 에이전트 1만 개, 1억 달러, 대형 클러스터에서 한두 달 실행하는 시나리오가 사이버 위험 예시로 제시됐다.
• Databricks 코드: 소프트웨어의 90% 이상이 AI로 작성된다는 내부 사례가 언급됐다.
• RSI 조건: 필요한 GPU·자원 감소, 훈련 시간 감소, 정확도·지능 향상, 세 조건의 반복이라는 네 가지가 동시에 필요하다.
• Frontier 훈련 비용: 대화에서 한 번의 frontier 모델 훈련 규모를 약 50억~100억 달러로 언급했다.
• Frontier 복제 비용: 6개월 뒤 동일 수준을 복제하는 비용은 약 20분의 1로 낮아진다고 했다.
• Frontier 훈련 빈도: 각 연구소가 수행하는 대규모 실행은 연 1~2회 수준이라고 언급됐다.
• 사이버 취약점 무기화: 2018~2019년 2~3년, 2022년 8~9개월, 현재는 몇 시간 수준으로 줄었다고 했다.
• AI 지능 가격: 약 6개월마다 10분의 1 수준으로 내려가는 흐름이 언급됐다.
• Databricks 온톨로지: 수백만 개의 노드로 구성된 내부 그래프가 있다고 했다.
• Genie 분석 속도: Novo Nordisk 임상시험 인사이트 도출 시간을 몇 주에서 몇 분으로 줄일 수 있다고 했다.
• AI 비용: 같은 모델·버전도 harness에 따라 실제 비용이 거의 2배 차이 날 수 있다.
• 오픈소스 사용량: 비용 기준 약 5%, 토큰 기준 60% 이상이라는 구분이 제시됐다.
• 스타트업 제품 모델: 외부 제품에서 오픈소스 모델 비중이 90%에 가까운 사례가 언급됐다.
• 에이전트 데이터베이스: Neon·Lakebase에서 생성되는 데이터베이스의 90% 이상이 에이전트에 의해 만들어진다고 했다.
• 데이터베이스 응답성: 생성·복제·브랜치 작업을 1초보다 훨씬 짧게 처리하는 경험이 채택 요인으로 제시됐다.

결론 및 시사점

1. 실존 위험 확률을 근거 없이 공개적으로 숫자화하는 일은 대중에게 실제로 필요한 보안 조치보다 공포와 정치적 반작용을 먼저 확산시킨다.
2. “pacing”이라는 추상어보다 안전 통제, 토큰 모니터링, 샌드박스, 권한 제어, 독립 검사관, 자동화된 위협 헌팅을 구체적으로 말해야 한다.
3. 사이버 공격은 가장 가까운 위험이다. 에이전트가 취약점을 몇 시간 안에 찾아 무기화할 수 있는 속도에 맞춰 방어도 에이전트화해야 한다.
4. 초지능 우려와 오늘의 에이전트 자동화를 섞지 말고, RSI를 네 가지 동시 조건과 반복 데이터로 검증해야 한다.
5. 연구소의 규모나 AGI 선언보다 pre-training·post-training 핵심 팀의 인력, GPU, 시간, 반복 개선 지표를 공개적으로 계측하는 편이 낫다.
6. 감독은 경쟁 연구소의 상호 심사나 자기 규제만으로 끝내지 말고, 이해관계가 다양한 독립 검사관과 정부·산업 혼합 구조를 설계해야 한다.
7. AI의 단기 생산성은 모델 지능의 작은 상승보다 조직 내부의 맥락을 디지털화하고 온톨로지 그래프로 연결하는 데서 더 크게 나온다.
8. 온톨로지 구축은 회의 전사·문서 수집·권한 관리·관계 그래프·빠른 인덱싱을 포함하므로, 기술 도입보다 조직 운영 변화가 먼저 필요하다.
9. 업무 난이도별 모델 라우팅과 harness 선택은 토큰 사용량을 늘리면서도 비용을 안정화하는 핵심 운영 방식이다.
10. 오픈소스 post-training은 반복 업무가 명확한 스타트업에 비용·속도·IP 통제라는 이점을 주지만, 대기업은 먼저 기본 자동화와 평가 체계를 마련해야 한다.
11. 좋은 eval을 만드는 능력이 자체 모델 훈련의 병목이며, 평가를 제품 앞단에 내놓아도 조직이 실제로 사용하지 않을 수 있다.
12. 에이전트 시장에서는 에이전트가 직접 빠르고 안전하게 만들 수 있는 데이터베이스, 낮은 실험 비용, branching과 복구성이 인프라 선택을 결정한다.
13. 공론장은 AI가 무엇을 망가뜨릴지뿐 아니라 Crisis Text Line, Omnipod, Zipline, 신약 개발, 임상시험처럼 무엇을 개선하는지도 함께 측정해야 한다.
14. Ali의 P(doom)는 10% 미만이며, Martin은 AI가 없는 세상의 자기 파멸 확률이 AI가 있는 세상보다 높다고 말해 기술 낙관론과 위험 관리의 균형을 제시한다.

핵심 요약 (20줄)

AI 실존 위험을 근거 없이 종말론적으로 말하면 대중의 불안과 정치적 역풍을 키울 수 있다. Ali Ghodsi는 현재 실존 위험이 거의 0에 가깝다고 보지만 구체적인 사이버 위험은 현실로 인정한다. 강화학습 에이전트 1만 개를 거대한 클러스터에서 한두 달 돌리면 목표가 좁아도 해킹과 시스템 침해가 발생할 수 있다. AI 에이전트는 취약점을 바이러스처럼 찾아 여러 시스템으로 확산할 가능성이 있다. 사람 중심 보안운영센터는 공격 속도와 탐지량을 따라가지 못하므로 탐지와 위협 헌팅을 자동화해야 한다. 취약점 공개에서 실제 무기화까지 걸리는 시간은 수년에서 수개월을 거쳐 현재 몇 시간 수준으로 줄었다. 초지능과 현재의 업무 자동화 에이전트는 서로 다른 문제로 분리해야 한다. RSI를 의심하려면 더 적은 GPU와 시간으로 더 똑똑한 모델을 반복해서 만드는 네 조건이 동시에 나타나야 한다. 현재 frontier 모델 훈련은 더 많은 자원과 인력과 거대한 데이터센터를 요구하므로 RSI 네 조건의 반대에 가깝다. 모델 연구소의 핵심 훈련팀 인력과 비용과 반복 속도를 공개적으로 계측해야 실제 변화를 판단할 수 있다. 연구소 간 상호 검증은 IPO와 시장 경쟁 때문에 편향될 수 있어 독립적인 제3자 검사가 필요하다. 산업계가 실존 위험을 이유로 규제를 요청하면 자율 규제와 정부 규제가 결합된 구조가 형성될 가능성이 높다. AI의 단기 기업 가치는 더 똑똑한 모델보다 조직 내부의 회의와 암묵지와 프로세스를 연결하는 데서 나온다. 온톨로지는 사람과 프로젝트와 의사결정의 관계를 그래프로 만들어 AI가 조직의 맥락을 이해하게 한다. Databricks는 수백만 노드의 내부 온톨로지를 Genie와 연결해 회의와 후속 분석을 빠르게 바꾸고 있다. Crisis Text Line과 Omnipod와 Zipline은 AI가 사람의 생명과 의료와 물류를 직접 개선하는 사례다. 업무 난이도에 따라 frontier 모델과 저렴한 오픈소스 모델을 라우팅하면 토큰 사용량이 늘어도 비용을 통제할 수 있다. 오픈소스 모델은 비용 기준보다 토큰 기준에서 훨씬 큰 비중을 차지하며 특정 제품을 만드는 스타트업에 특히 유리하다. 좋은 eval을 만드는 일은 자체 post-training의 가장 어려운 부분이고 대기업은 이를 자주 생략한다. 에이전트 시대의 데이터베이스는 빠른 생성과 복제와 branching과 실험 친화적 가격을 갖춰야 하며 Ali의 P(doom)는 10% 미만이다.