URL: https://www.youtube.com/watch?v=uV-WoA-_Fg0
날짜: 2026-09-16
채널: B_ZCF
원문 제목: Let’s Stop Talking Nonsense (Jensen Huang)
📌 핵심 질문 / 이 영상이 다루는 핵심 논점
==AI의 위험을 다루는 방식은 근거 없는 종말론과 규제 구호가 아니라, 실제 사건의 원인을 공학적으로 추적하고 통제·검증·평가를 제도화하는 쪽이어야 한다.==
- Dario Amodei의 에세이와 Anthropic 내부고발자 Jacob Coxon의 문제 제기는 서로 다른 층위인데, 내부고발의 정당성과 과학적 근거 없는 멸종 확률 예측을 섞으면 안 된다.
- 방사선학·코딩·신입 일자리·GPT-2·Llama 3을 둘러싼 과거의 극단적 예측은 실제 결과와 어긋났으므로, 전문가라는 권위보다 예측의 실적을 체계적으로 기록해야 한다.
- 프런티어 연구소는 가장 많은 compute를 보유하고 가장 어려운 문제를 풀기 때문에 위험이 집중되며, 연구에서 engineering으로 넘어가는 과정에서 sandbox·runtime·monitor·continuous monitoring과 반복 평가를 갖춰야 한다.
- 폐쇄형 모델과 open model은 bottled water와 무료 물처럼 용도가 다르며, 미국의 AI 승리는 몇몇 기업이 아니라 모든 회사·산업·연구자·교사·학생·startup이 기술을 활용할 때 성립한다.
- NVIDIA의 전략은 필요한 기술을 먼저 만들고 생태계 전체가 번성하도록 낮은 계층에 머무는 것이다. 데이터센터·전력·제조·지역 neocloud까지 확장해야 다음 산업혁명을 지탱할 수 있다.
AI를 멈출 것인지 달릴 것인지의 이분법을 거부하고, 안전한 engineering과 미국 전체의 참여를 동시에 요구한다. 근거 없는 공포는 줄이되 실제 통제 실패는 원인 분석과 시스템 개선으로 해결해야 하며, 최종 목표는 인류 전체가 AI의 생산성·과학·산업적 이익에 함께 도달하는 것이다.
1. Dario Amodei의 에세이와 내부고발을 분리해서 읽기
Dario Amodei의 글을 둘러싼 논쟁은 안전의 중요성 자체가 아니라, 사실에 기반한 통제 문제와 과학적 근거가 없는 미래 예측을 한데 묶은 데서 커졌다.
1.1. 시작 장면과 논쟁의 배경
-
열정적으로 다뤄야 할 심각한 문제
- 무대에 오른 Jensen Huang은 ‘GPU Jesus’라는 환호와 기립박수를 받았고, 새 재킷은 경매(auction)로 마련했다고 농담한다. 심각한 주제를 다루더라도 활력(energy)을 갖고 이야기해야 한다는 분위기를 만든다.
- Jason Calacanis와 패널은 주말에 나온 Dario의 에세이를 꺼내며, Hemingway가 썼는지 묻는 농담과 Pangram 분석 이야기를 덧붙인다. Pangram을 돌려도 AI가 얼마나 보조했는지는 알기 어렵지만, 에세이를 중심으로 여러 Frontier Lab이 한목소리를 낸 점이 놀랍다고 말한다.
- 질문의 초점은 Jensen이 에세이를 어떻게 읽었는지, 무엇을 사실로 보고 무엇을 문제로 보는지, 그리고 글 안의 구체적인 주장들을 어떻게 해석하는지에 맞춰진다.
-
안전과 리더십은 거짓 양자택일이 아님
- 안전(safety)은 당연히 최우선으로 심각하게 다뤄야 하지만, 안전과 빠른 혁신·실행·미국의 리더십을 서로 배타적인 선택지처럼 제시하면 안 된다.
- 미국은 빠르게 혁신하고 실행하면서도 안전하게 선도할 수 있다. “안전이냐 리더십이냐”라는 프레임 자체가 false choice다.
1.2. Jacob Coxon 내부고발의 의미
-
내부고발은 심각하게 받아들여야 함
- Anthropic의 전 연구자 Jacob Coxon의 whistleblower 게시물은 회사 내부 통제에 관한 주장으로서 매우 심각한 사안이다. 내부고발자가 등장하면 먼저 그 사람이 무엇을 봤고 어떤 우려를 품었는지 진지하게 조사해야 한다.
- 공개적으로 우려를 밝힌 Coxon의 용기는 높이 평가할 만하다. 내부고발을 했다는 행위 자체를 과학적 예측과 함께 무시하거나 비난해서는 안 된다.
-
내부고발과 멸종 예측은 별개의 주장
- “AI가 인간 문명을 멸종시킬 확률이 10% 이상” 같은 과학적 예측은 내부고발자가 제기한 조직 통제 문제와 다른 층위다. 두 주장을 섞으면 내부 통제에 대한 유효한 경고까지 약화된다.
- 연구자라는 직함을 가진 사람이 말했더라도, 미래 확률을 산출한 방법과 과학적 근거가 없으면 과학적 주장으로 취급할 수 없다. 높은 교육 수준이나 연구소 소속이 근거를 대신하지 않는다.
-
pause와 pace는 통제 상실에 대한 자발적 대응
- 회사가 통제 불능이라고 느낀다면 연구를 잠시 멈추거나(pause), 속도를 조절하는(pace) 것은 조직이 선택할 수 있는 자발적 조치다.
- Coxon이 실제로 무엇을 봤는지는 외부인이 알 수 없고 결국 본인만 안다. 다만 통제력 부족을 목격했다면 문제의 핵심은 추상적인 인류 멸종 확률이 아니라 회사의 내부 control이다.
2. 종말론적 AI 예측을 실제 기록과 비교하기
AI에 대한 극단적인 예언은 반복되지만, 과거 예측의 적중률을 따져 보면 “전문가를 믿으라”는 호소만으로 결론을 내릴 수 없다.
2.1. 양자화된 공포가 일반인에게 전달되는 방식
-
‘문명 사망’이라는 표현의 난점
- 한 패널의 어머니가 전화해 “Jimoth, 문명 전체가 죽는다는 게 도대체 무슨 뜻이냐”고 물었지만, 평범한 사람에게 설명하기가 어려웠다. 아주 똑똑한 사람들이 10% 멸종 확률처럼 숫자를 붙일수록 오히려 이해 불가능한 공포가 된다.
- “10% of extinction”이 구체적으로 무엇을 의미하는지, 어떤 사건의 확률인지, 어떤 기간과 조건을 전제하는지 설명되지 않으면 숫자는 측정값이 아니라 만들어진 인상에 머문다.
-
연구자라는 권위가 근거를 만들지는 않음
- ‘well-educated researcher가 말했으니 믿어야 한다’는 구조가 문제다. 연구소에서 일한다는 사실과 예측이 science와 research에 기반한다는 사실은 다르다.
- 과학적 추론이라면 관측·모델·가정·검증 가능성이 있어야 한다. 이 요소가 없는 종말 확률을 그럴듯한 전문용어와 결합해 공표하는 일은 alarming하고 troubling하며 무책임하다.
2.2. 실제로 빗나간 예측들
-
방사선학(radiology)
- 5년 안에 AI가 방사선학을 완전히 장악해 전 세계에 방사선 전문의(radiologist)가 한 명도 남지 않을 것이라는 예측이 있었다.
- 실제 결과는 정반대였다. 세계는 어느 때보다 많은 radiologist를 필요로 한다. 동시에 AI의 automated scan reading이 방사선학을 크게 장악한 것은 좋은 변화다. 작업 일부를 자동화해도 전문 인력 수요가 사라지는 것은 아니다.
-
코드 생성(code generation)
- 작년에는 6~12개월 안에 코드의 90%가 AI로 생성될 것이라는 예측이 나왔다.
- 해당 예측은 틀린 것으로 드러났다. AI 코딩이 빠르게 발전했다는 사실과 “90%”라는 시한부 예언이 맞았다는 주장은 별개다.
-
신입 일자리(entry-level jobs)
- 6~9개월 안에 신입 일자리의 50%가 사라질 것이라는 예측도 나왔다.
- 이 예측 역시 틀렸다. ‘일자리 대재앙(job apocalypse)’이라는 표현은 실제 고용 데이터와 분리된 수사로 남았다.
-
모델 출시와 사무직
- GPT-2가 너무 unsafe해서 출시할 수 없다는 주장이 있었다.
- Llama 3도 너무 위험해서 공개가 어렵다는 주장이 있었다.
- “내년에 white-collar job의 절반이 사라진다”는 말도 반복됐다. 이처럼 모델별 위험 예언과 직업 소멸 예언은 누적해서 기록하고 나중에 사실과 대조해야 한다.
-
예측에 대한 책임성
- 모든 예측이 틀렸다고 단정하기보다, 어떤 예측이 어떤 조건에서 어느 정도 틀렸는지 계속 기록해야 한다. “누군가는 책임(accountability)을 져야 한다”는 주장은 예언자를 처벌하자는 말보다 예측의 역사와 실패를 잊지 말자는 뜻에 가깝다.
- 미국이 AI 경쟁에서 이길 수 있다고 주장하면서 동시에 미국의 기술 발전이 곧 대재앙이라고 말하는 서사는 서로 긴장 관계에 있다. 예측을 축적해 보면 이 모순을 더 명확히 볼 수 있다.
2.3. ‘전문가를 믿어라’와 방법론적 검증의 충돌
-
전문가 권위에 대한 반론
- “Trust the experts” 운동은 전문가·연구자가 일반인보다 비대칭적으로 더 많은 정보를 안다는 점을 근거로 삼는다.
- 그러나 같은 권위를 가진 사람들이 사실이 아닌 예측을 내놓은 기록이 있다. 권위를 존중하되, 실제 예측의 역사와 측정 가능한 결과를 함께 봐야 한다.
-
공포의 심리적·사업적·정치적 유인
- 질문자는 프런티어 연구소가 이런 이야기를 하는 심리적 구성, business incentive, political incentive를 묻는다.
- Jensen은 해당 기업들이 역사상 가장 중요한 기업들 중 일부이고, 뛰어난 engineer와 researcher가 훌륭한 일을 하고 있으며 NVIDIA도 기업 대 기업으로 긴밀히 협력한다고 전제한다. 비판은 성과 전체를 부정하는 것이 아니다.
- 그럼에도 이런 논쟁을 공개적으로 해야 하는 상황은 안타깝다. 예전 기업처럼 조용히 회사를 키우면서 내부의 어려운 문제를 먼저 해결하는 편이 낫다는 입장이다.
3. 연구소에서 engineering 회사로: 안전을 통제 시스템으로 만들기
프런티어 연구소의 문제는 거대한 선언보다 원인 분석과 재발 방지 engineering으로 다뤄야 한다.
3.1. NVIDIA 조직 문화와 공개 발언의 경계
-
회사를 대표하는 개인 발언의 범위
- 질문자는 NVIDIA에서 누군가 화가 난 주말에 회사를 그만두고, 개인 감정으로 조직 전체를 대신해 트윗하는 일을 허용하느냐고 묻는다.
- Jensen은 입사할 때부터 조직 안에서 어떻게 행동할지 서로 합의한다고 답한다. NVIDIA의 문화와 employee base가 매우 행복하다고 평가받는 이유는 회사가 일관되고 안정적이기 때문이다.
-
조용히 의미 있는 일을 하는 핵심 가치
- NVIDIA는 직원 가족을 돌보고, 각자가 평생의 일(life’s work)을 할 조건을 만들며, 의미 있는 일을 가능한 한 조용히 수행하고, 다른 사람의 성공에 기여하는 것을 핵심 가치로 삼는다.
- 그 가치에 끌려 입사한 사람에게 조직 문화와 맞지 않는 공개 행동이 있을 수 있다는 점도 인정한다. 핵심은 모든 개인의 발언을 억압하는 것이 아니라, 조직을 대표하는 말과 개인의 말을 구분하는 책임이다.
-
정치와 회사의 분리
- NVIDIA는 사내 political discourse를 환영하지 않는 apolitical company이며, 특정 정당이 아니라 어느 정부가 들어서든 미국의 성공을 돕는 bipartisan 태도를 취한다.
- 인종·종교·정치에 관한 논의는 회사 밖에서 하라고 한다. 이는 그런 주제가 중요하지 않다는 뜻이 아니라, 회사의 공동 작업 공간을 정치적 갈등의 장으로 만들지 않겠다는 운영 원칙이다.
3.2. 규제보다 먼저 정립할 기초
-
측정과 표준화
- Satya Nadella가 앞서 말했듯, AI regulation이 혁신을 불필요하게 막기 전에 measurement와 standardization 같은 기초를 제대로 정립해야 한다.
- 같은 현상을 같은 방식으로 평가할 수 있어야 안전 기준과 제품 비교가 가능하다. 무엇을 측정하는지 모르는 규제는 실제 문제를 해결하지 못한다.
-
연구 결과를 engineering으로 번역하기
- 연구 결과를 더 예측 가능한 방식으로 engineering에 옮겨야 한다. 준비되지 않은 상태에서 공포를 키우는 공개를 하기보다, 내부에서 검증하고 외부에 노출할 시점을 정해야 한다.
- Demis Hassabis가 제안한 초국가적·통제권을 가진 조직에 대해 구체적으로 무엇을 원하는지 불명확하다는 질문이 나왔지만, Jensen의 우선순위는 새로운 거대 기관보다 실제 문제 해결이다.
-
실제 문제에서 출발하는 규제
- regulation은 실제 문제(actual problems)를 해결해야 한다. 지금까지 실제 문제가 발생한 곳은 대부분 frontier lab이다.
- 이는 frontier lab을 비난하는 이유인 동시에 이해할 이유다. 가장 많은 compute를 갖고 frontier problem을 풀기 때문에 위험한 실험도 그곳에서 먼저 발생한다.
- 고등학생이나 작은 startup이 같은 규모의 사고를 일으킬 가능성이 낮은 이유는 도덕성보다 compute가 부족하기 때문이다. 지구상 대부분의 주체는 frontier lab만큼의 compute를 확보하지 못한다.
3.3. 다섯 건의 사건을 공학적으로 root cause하기
-
연구→제품 전환에서 생기는 혼란
- 프런티어 기업은 연구만 하는 조직에서 engineering과 제품을 만드는 회사로 빠르게 전환 중이다. 동시에 회사, 문화, 기술, engineering, product를 모두 건설해야 하므로 “hair on fire”처럼 혼란스러울 수 있다.
- 한 연구소에서 발생한 네 건의 incident와 다른 연구소의 한 건의 큰 incident를 추상적인 공포로 묶지 말고, 각각 실제로 무슨 일이 있었는지 분해해야 한다.
-
root cause와 institutionalization
- 첫 질문은 “무슨 일이 일어났나?”이고, 다음 질문은 “우리가 무엇을 다르게 할 수 있었나?”다.
- 기술(technology), 방법(method), 과정(process) 가운데 무엇을 구현하고 제도화(institutionalize)해야 재발을 막을 수 있는지 정해야 한다.
- 네 사건 모두 미래에는 통제할 수 있는 범위에 있다고 Jensen은 돈을 걸 만큼 확신한다. 사건을 root-cause하고 고쳤다면 같은 유형은 다시 일어나지 않아야 한다.
-
통제·검증·평가 도구
- sandbox는 모델의 활동 범위를 제한하고, runtime은 실행 환경과 권한을 관리하며, monitor와 continuous monitor는 실행 중 이상 징후를 관찰한다.
- 연구소가 이 도구들을 확보했다면 사건 이후의 개선은 구체적인 engineering 성과가 된다. 반대로 분석 후에도 무슨 일이 일어났는지 모르고 통제 방법도 모른다고 사회에 도움을 청한다면, 다른 회사의 engineer들이 파견되어 조언해야 한다.
- 다만 Jensen은 해당 연구소에 뛰어난 인재가 있고 이미 이 문제를 처리했을 가능성이 높다고 본다. “그들은 이 손잡이를 잡았다(They got this handled)”라는 낙관이다.
-
독립 평가와 다중 감사
- 제3자 평가(third-party evaluation)를 원한다면 먼저 평가 기관과 평가 방법이 존재해야 한다. 재무 감사처럼 auditor가 해당 회사의 모든 전문성을 가질 필요는 없지만 올바른 질문을 던질 수 있어야 한다.
- 독립 auditor·evaluator를 여러 명 두면 한 기업이 특정 이해관계나 영향에 물들어도 전체 판단이 한쪽으로 쏠리는 것을 줄일 수 있다.
- 가장 중요한 순서는 기술과 테스트를 안전하게 만드는 것이다. extraordinary technology를 만드는 extraordinary companies라면 extraordinary standards를 적용받아야 하며, Jensen은 해당 기업들도 높은 기준을 원한다고 말한다.
4. Recursive Self-Improvement는 마법이 아니라 시스템의 묶음이다
RSI(Recursive Self-Improvement)는 AI가 AI를 계속 무한히 개선해 통제 불능으로 폭주한다는 단일 장치가 아니라, 이미 쓰이는 여러 개선 기법을 묶은 이름이다.
4.1. RSI를 구성하는 기술
-
문맥·기술·성찰
- in-context 작업은 모델이 현재 문맥에 제공된 정보와 지시를 바탕으로 문제를 풀게 한다.
- skills는 반복 가능한 능력과 절차를 주입하고, reflection은 자신이 낸 결과를 돌아보고 개선하게 한다.
- reinforcement learning(RL)은 보상에 따라 더 나은 행동을 학습시키며, synthetic data generation은 모델이 만든 데이터를 활용해 추가 학습 재료를 만든다.
-
LoRA와 base model의 분리
- low-rank adaptation처럼 base model의 전체 weights를 다시 학습하지 않고도 특정 작업에 맞게 성능을 개선하는 방법이 있다.
- LoRA는 synthetic data와 RL로 개선할 수 있고, 축적된 경험을 나중에 base model 재학습에 반영할 수도 있다.
- 따라서 RSI는 생산성을 높이기 위해 AI로 AI 개발을 보조하는 합리적인 기술 조합이다. 모든 조직이 어느 정도 이런 방법을 사용하고 있을 가능성이 높다.
4.2. 폭주 서사와 출시 전 통제
-
‘새로운 섹시한 표현’의 무기화
- RSI라는 용어가 기술의 정상적인 개선 과정을 설명하는 대신, AI가 통제 불능으로 spiral out of control할 것처럼 보이게 무기화되고 있다.
- 회사 안에서는 하루 종일 RSI를 수행할 수 있지만, 제품을 release하는 순간 반드시 다시 evaluate하고 test해야 한다. 제품이 이전 기능을 퇴보시키는 regression이 없는지도 확인해야 한다.
-
연구에서 engineering으로 갈수록 통제가 강해짐
- 연구소가 engineering 단계로 넘어가면 control은 방법·지식·실무·도구·기술의 누적에서 생긴다.
- 더 나은 verification과 evals가 있으면 RSI를 회사 내부에서 안전하게 수행하면서, 외부에는 검증된 좋은 제품만 출시할 수 있다.
- 핵심은 “AI가 AI를 개선한다”는 사실을 막는 것이 아니라, 개선 루프와 외부 release 사이에 반복적인 평가·권한·품질 게이트를 두는 것이다.
5. 폐쇄형 모델과 open model이 함께 만드는 생태계
Hugging Face를 둘러싼 대화는 단순한 인수가 아니라 생태계의 방향을 결정하는 거래로 다뤄진다. 폐쇄형·open source·open weights는 경쟁적으로 하나만 남아야 하는 관계가 아니다.
5.1. Closed model은 병에 담긴 물이다
-
양쪽 모델 모두 필요함
- Jensen은 주말에 네 개의 closed model을 사용했고, 모두 frontier 수준이며 훌륭하게 작동했다고 말한다. closed model은 계속 좋아지고 있고 실제 사용 경험도 탁월하다.
- 동시에 세계에는 closed model과 open model이 모두 필요하다. 어느 한 방식이 다른 방식을 전부 대체할 수 없다.
-
bottled water 비유
- closed model은 병에 담긴 물과 같다. 물 자체는 무료지만, 마실 장소와 용도에 맞는 형태로 담아 제공하는 서비스에는 비용과 편의가 붙는다.
- Jensen은 “물은 공짜”라고 반복하며, 아침 샤워에서 무료 물을 많이 썼다고 농담한다. 전기와 다양한 commodity도 같은 원리다. 원재료가 공짜인지와 적절한 장소에서 안정적으로 공급되는지가 다르다.
- 어떤 애플리케이션은 폐쇄형 모델의 성능·서비스·편의가 맞고, 다른 애플리케이션은 자체 운영과 수정 가능성을 위해 open model이 맞다.
5.2. Open model이 필요한 이유와 미국의 혁신
-
주권·개인정보·독점 기술
- 국가 주권(sovereignty)을 지키거나, 개인정보를 외부 서비스에 보내지 않거나, 독점 기술을 내부에 보유해야 하는 경우 open model과 open weights가 필요하다.
- 자체 모델을 내려받고 fork·개선할 수 있으면 한 연구소의 서비스 정책이나 API에 모든 사업이 종속되지 않는다.
-
4000억 달러와 80%
- 최근 6개월 동안 AI-native company에 4,000억 달러($400 billion)의 venture funding이 유입됐다.
- 그 기업의 80%가 open model을 사용한다. 이들이 각자의 꿈을 만들 수 있었던 배경에는 공개 모델이 있다.
- startup의 목표는 Frontier Lab의 목표와 다를 수 있다. open model은 연구소가 상상하지 않은 여러 제품·산업·사업 모델을 가능하게 한다.
-
AI race의 승자는 한 기업이 아님
- 미국이 AI 경쟁에서 이긴다는 말은 몇몇 technology company가 승리한다는 뜻이 아니다.
- 모든 미국 기업과 산업, 연구자, 교사, 학생, startup이 AI를 활용해 생산성을 얻는 상태가 진짜 승리다. 일부는 closed model을 쓰고 많은 주체는 open model을 쓴다.
- 질문자가 “1,000만 명이면 중요한가?”라고 되묻는 흐름은 소수의 모델 회사보다 광범위한 사용자가 훨씬 중요하다는 점을 강조한다.
5.3. 중국의 open source 기여와 ‘경주’의 정의
-
중국산 open model을 둘러싼 질문
- open model이 중국에서 나왔는지 미국에서 나왔는지가 중요한지 질문이 나온다. NVIDIA도 공개 모델에 기여하려고 모든 노력을 하고 있지만, 현재 세계 open source 기여의 상당 부분은 중국에서 온다는 현실을 인정한다.
- 중국은 더 큰 인구와 더 많은 engineer를 갖고 있으며, 과학·수학 전공 학생을 대규모로 배출한다. 칭화대학교(Tsinghua University) 같은 훌륭한 대학을 통해 인재와 제품을 높은 volume으로 생산한다.
-
Linux와 Kubernetes의 사례
- 세계는 Linux와 Kubernetes를 내려받아 사용한다. 이 소프트웨어에도 중국 연구자와 engineer의 손길이 들어가 있다.
- 그러나 다운로드하는 순간 소프트웨어는 사용자의 것이 된다. fork하고 개선하고 자기 환경에 맞게 만들 수 있다.
- 중국 연구자가 만든 model을 내려받는 것도 같다. 훌륭한 중국 연구자가 만들었다는 출처는 존중하되, 사용자는 자신의 목적에 맞게 바꾸고 무엇이든 할 수 있다.
-
AI race는 누가 기술을 가장 잘 활용하느냐의 경쟁
- 마지막 산업혁명의 발명가인 Maxwell, Volta, Ampère는 미국인이 아니었다. 산업혁명은 유럽에서 일어났지만, 미국은 그 기술을 사회적으로 누구보다 잘 활용했다.
- 결과적으로 발명자의 국적보다 기술을 조직·산업·사회에 적용하는 능력이 번영을 결정했다. 다음 AI 세대에서도 같은 일이 일어나기를 바란다는 것이 Jensen의 바람이다.
6. AI 공포보다 실용적 서사가 앞서야 하는 이유
중국과 미국의 AI 서사를 비교할 때, 기술적 능력만큼 대중에게 어떤 이야기를 들려주는지가 경쟁력으로 작동한다.
6.1. 중국의 실용주의와 미국의 종말론
-
중국의 서사
- 중국에서는 AI가 경제와 사회를 발전시키는 기술이라는 실용적인 이야기가 중심이다. “무언가의 끝”, “대재앙”, “문명의 종말”을 외치는 집단이 미국만큼 부각되지 않는다.
- 이 서사는 사람들에게 무엇을 만들고 어디에 적용할지를 생각하게 한다. AI를 국가 발전과 생산성의 도구로 취급한다.
-
미국에서 만들어진 공포
- AI가 정말 문명을 끝낼 가능성이 있다면, 사람들을 겁주는 데 시간을 쓰기보다 실제 해결책을 만들고 통제해야 한다.
- 아무것도 할 수 없는 사람들에게 멸종 확률을 반복해 걱정시키는 것보다, AI를 만드는 당사자가 위험을 다루는 것이 책임이다.
- science와 research에 기반한 모든 것이 오히려 극단적인 예언과 반대되는 결과를 보여 준다면, 근거 없는 주장을 멈추고 실제 사실을 다시 살펴야 한다.
6.2. 미지의 frontier를 두려워하는 인간 심리
-
가본 적 없는 곳에 대한 공포
- 인간은 frontier에 가본 적이 없고 아직 본 적도 없기 때문에 두려워한다. 미지의 영역일수록 다른 사람에게도 두려워하라고 말하기 쉽다.
- 웃음이 터진 뒤, David에게 이런 반응은 인생 경험과도 관련 있다고 덧붙인다. 익숙하지 않은 변화를 겪은 세대가 다음 frontier를 과장해서 해석할 수 있다.
-
엔지니어 세대의 변화
- Jensen이 학교를 졸업했을 때는 소프트웨어가 대중화되기 전이라 engineer로서 typing을 많이 하지 않았다. 먼저 software를 가능하게 할 computer를 직접 만들어야 했다.
- 현재 세대의 engineer는 입사하면 laptop과 chair를 받고, 눈뜨는 순간부터 하루 종일 typing한다. 여기서 typing은 사실상 coding을 뜻한다.
- 그러나 typing 이전에도 engineering은 바빴다. coding이 자동화되면 세상에는 typing이 아닌 거대한 engineering 작업 산이 남는다. AI가 엔지니어링을 없애기보다 “무엇을 만들 것인가”와 시스템을 설계하는 쪽으로 시간을 돌려줄 수 있다.
-
NVIDIA에서의 backspace 농담
- NVIDIA software engineer가 찾아오면 “당신은 그냥 typing하고 있을 뿐”이라고 말한다고 한다. 오래전부터 해 온 농담이다.
- 가장 좋아하는 키는 backspace다. 최고의 software는 가장 작은 software이기 때문이다. 불필요한 코드를 삭제하는 능력과 간결한 설계가 중요하다는 농담 속에 engineering 원칙이 담긴다.
7. 트럼프 대통령의 전화와 데이터센터를 둘러싼 산업정책
NVIDIA를 해부하려던 순간 Donald Trump 대통령의 전화가 걸려오면서, AI·데이터센터·미국 재산업화에 대한 대화가 실제 정치와 연결된다.
7.1. 무대에서 대통령 전화 받기
-
예상하지 못한 전화
- Jensen이 NVIDIA 전략의 가장 밑바닥부터 설명하려던 순간 “계획되지 않았지만 누군지 안다”는 말과 함께 대통령 전화가 울린다.
- Jensen은 Sachs, Jason, Chamath, Dave, David 등 besties와 수천 명 관객 앞에 있으며, 마침 대통령에 대해 이야기하던 중이었다고 알린다.
-
스피커폰 소동
- 대통령에게 관객에게 인사할지 묻고, Jason은 speaker mode로 전환하자고 한다. 마이크를 가져오느라 잠시 기다리는 동안, 대통령은 지구 전체와 이야기하게 된다.
- “Jensen은 10년 동안 누구도 복제할 수 없는 가장 복잡한 computer chip을 만들 수 있지만, 내 목소리를 speakerphone으로 바꾸는 방법은 모른다”는 농담이 나온다. 기술의 최전선에 있는 사람도 일상적인 전화 기능 앞에서 허둥댈 수 있다는 장면이다.
-
‘AI는 hoax’라는 대통령의 주장
- 대통령은 AI와 데이터센터를 둘러싼 공포가 거의 conspiracy처럼 부풀려졌다고 말한다. 로봇이 세계를 지배하거나 AI가 세계를 장악할 것이라는 예측은 hoax이며, 데이터센터는 사람과 주를 부유하게 만드는 다음 20~25년의 oil이라고 주장한다.
- 핀란드에 Google이 대형 데이터센터를 건설하려 하지만 permitting을 얻지 못한 일을 언급하며, 데이터센터 건설을 원하지 않는 정치적 세력이나 중국의 손에 놀아나서는 안 된다고 말한다.
- AI를 신중하고 prudent하게 다뤄야 하지만 산업을 멈추고 향후 10년을 파괴 논의에만 쓸 수는 없다는 입장을 밝힌다.
7.2. ‘누가 AI를 이기느냐’와 지역사회의 부
-
AI 승리는 인터넷보다 큰 문제
- 대통령은 “whoever wins AI wins”라는 표현을 반복한다. AI는 internet보다 큰 규모이며, 한쪽이 이기면 AI 자체의 승리라는 뜻이다.
- 데이터센터를 가진 지역사회는 한때 쇠퇴하고 있었지만 이제 매우 부유한 공동체가 됐다고 말한다. 데이터센터는 단순한 서버 시설이 아니라 지역 경제와 세수·일자리의 기반이다.
-
1년 20조 달러 투자 주장
- 대통령은 미국에 20조 달러($20 trillion)의 투자가 유입되고 있다고 말하며, 이전 행정부의 4년 동안 1조 달러에도 훨씬 못 미친 투자와 대비한다.
- 이 수치는 대화 속 대통령의 주장으로 제시되며, 1년 만에 이런 일이 일어났다고 강조한다. Jensen과 패널은 수치의 검증보다 전화의 즉흥성과 AI 투자 분위기에 반응한다.
-
전화 뒤의 맥락
- Jensen은 처음에는 대통령 전화가 bit, 즉 준비된 농담인 줄 알았고 speakerphone으로 바꾸라고 했다가 실제 상황임을 알았다고 말한다.
- 대통령은 Jensen이 5년 동안 미뤄 온 휴가 중인데도 저녁 식사 참석자 명단에 넣으려 했고, 백악관에서 “깨워서 연결하라”고 했다. Jensen이 자고 있었다는 말에 “휴가가 뭐냐”는 농담이 이어진다.
- 당시 백악관 밖 기온이 영하 80도였다는 말이 나온다. 그런 상황에서도 대통령이 대중적으로 인기 있는 “데이터센터와 AI를 닫자”가 아니라 hoax라고 부른 것이 놀랍다는 질문이 제기된다.
7.3. AI 일자리와 에너지
-
트럼프 행정부가 원한 목표
- Jensen이 대통령과 첫 통화를 하고 처음 만났을 때 들은 핵심 목표는 미국에서 일자리를 만들고 United States를 re-industrialize하는 것이었다.
- 다음 산업혁명을 뒷받침할 energy가 필요하며, energy 없이는 industrial growth가 없다. 에너지 성장, 일자리 성장, supply chain의 재산업화가 한 묶음으로 추진돼야 한다.
-
AI가 만드는 수요와 일자리
- AI는 software job을 포함해 엄청난 수의 일자리를 만들고 있다. 최근 6개월간 AI 산업에 유입된 4,000억 달러의 venture financing이 기업과 고용을 만들고 compute 수요를 폭발시켰다.
- compute 수요는 data center 수요와 전력·건설 수요로 이어진다. AI를 software만의 현상으로 보면 제조·전기·부동산·건설·발전의 연결고리를 놓치게 된다.
-
작은 지역사회에 대한 공감
- Jensen은 Texas Governor Greg Abbott와 이야기를 나눴으며, Abbott는 미국 전역에 데이터센터를 세울 때 작은 지역사회의 목소리를 듣고 공감하라고 산업계에 당부했다고 전한다.
- 속도와 규모가 중요해도 지역주민에게 더 나은 listener가 되어야 한다. AI 인프라의 사회적 수용성은 기술만으로 확보되지 않는다.
8. NVIDIA는 AI의 은행이자 병목을 푸는 생태계 운영자다
NVIDIA의 사업은 칩 판매에 머물지 않는다. compute가 생산되는 전 과정을 가능하게 하는 자본·공급망·전력·데이터센터·모델·애플리케이션을 함께 연결한다.
8.1. 자본 배분과 AI 생산 공정
-
‘Bank of AI’ 역할
- NVIDIA는 AI 생태계를 시작시키기 위해 사실상 Bank of AI처럼 움직였다. Clover Leaf에서 land·power·shell을 확보하는 일, BlackRock·Goldman Sachs와 financing capability를 만드는 일이 사례로 제시된다.
- 자본 배분의 목적은 NVIDIA 하나가 이익을 독점하는 것이 아니라 다음 단계에 들어올 더 넓은 생태계가 투자·건설·운영을 할 수 있게 underwrite하는 것이다.
-
AI는 지능 생산 산업
- 새 산업혁명은 manufacturing, electricity, internet, AI를 모두 필요로 한다. electricity가 무엇이든 작동하게 하고 internet이 무엇이든 찾게 했다면, AI는 무엇이든 물어보고 알 수 있게 한다.
- 그러나 질문에 답하려면 먼저 intelligence를 생산해야 한다. 모델과 compute가 지능을 생산하는 과정이므로 데이터센터와 전력 인프라가 필수다.
-
모델보다 넓은 산업 구조
- AI 산업은 model이나 chip만이 아니다. 상단의 application이 대부분의 가치와 사용성을 만들고, 하단에는 data center·construction·electricity·power generation이 있다.
- NVIDIA는 전체 ecosystem을 훑어 bottleneck을 찾는다. 뛰어난 기업이 생기지만 land·power·shell·공급망이 부족하면 성장 전에 병목을 제거한다.
8.2. 장기 공급망과 하류 계층
-
성장 전에 파트너를 준비함
- NVIDIA가 성공하려면 Corning의 Wendell, Lumentum, TSMC, memory company 등 다수 기업이 지원해야 한다.
- 따라서 혁명과 성장 직전에 주문하는 것이 아니라 훨씬 전부터 이 기업들과 협력해 성장이 가능해질 때 공급망이 준비되게 한다.
-
수익은 애플리케이션으로 이동함
- 장기적인 compute cycle에서 수익은 시간이 지나며 stack 위쪽, 특히 더 오랜 기간 초과수익을 얻을 수 있는 application layer로 이동하는 경향이 있다.
- 질문자는 NVIDIA가 Hugging Face 인수로 serving business에 들어갔고, OpenRouter 같은 제품이나 Amazon Bedrock보다 나은 구축 방식에 관심을 둘 수 있다고 지적한다.
- 상류 기업이 하류로 내려가는 데 문제가 없어 보이는 이유는 NVIDIA가 가장 좋은 balance sheet, 뛰어난 engineer, 제품을 설계·출시해 온 검증된 경험을 갖고 있기 때문이다.
-
필요한 만큼 위로, 가능한 낮게
- NVIDIA는 세계의 거의 모든 모델을 실행하는 기반을 만들었다. 약 1년 반 전만 해도 NVIDIA에서 실행되는 유일한 모델은 OpenAI였지만, 지금은 Gemini·Anthropic과 여러 Frontier Model이 NVIDIA 위에서 확장된다.
- Grok과 Grokbot, Meta 계열 모델, Gemini, Anthropic 등 많은 모델과 AI Lab이 추가됐고 그 수는 계속 증가한다. Physical Intelligence를 포함한 여러 연구소도 NVIDIA 위에 구축된다.
- 전략은 “필요한 만큼 위로 올라가되 가능한 한 낮게 머문다(go up as far as we need to and as low as possible)”다. QDNN 같은 framework 기술과 Megatron Core 같은 large-scale training 기술을 직접 만들고, 이후 천 개의 꽃이 피게 한다(let a thousand flowers bloom).
- 모두의 성공을 돕는 편이 NVIDIA가 일부 이익을 독점하는 것보다 장기적으로 낫다. NVIDIA가 필요한 층까지 기술을 발명하면, 그 위에서 수많은 모델·startup·application이 경쟁할 수 있다.
9. Neocloud, open model, 자율주행·생물학 제품
NVIDIA는 경쟁사를 모두 제거하려는 회사가 아니라, 각 지역과 산업이 AI를 쓸 수 있도록 부족한 stack을 제공하는 회사라는 자기 설명을 이어간다.
9.1. Hyperscaler와 neocloud의 역할
-
더 많은 경쟁이 필요한 계층
- 질문자는 hyperscale layer에 경쟁이 더 필요하며, neocloud를 50개·100개·1,000개까지 늘려야 한다고 말한다. NBS를 소개받아 훌륭하다고 평가한 일화도 나온다.
- Jensen은 의외로 경쟁심이 약하고 경쟁은 자신의 스타일이 아니라고 웃는다. hyperscaler가 다섯 개만 있어도 충분히 만족한다고 말한다.
-
지역 cloud가 빠른 이유
- 모든 neocloud/NCP의 초기 고객은 hyperscaler였다. hyperscaler는 1년에 한 번 계획하지만 시장 변동성이 커서 계획이 거의 항상 현실과 어긋난다.
- regional cloud는 지역의 토지·전력·인프라 사정을 알고 빠르게 움직인다. Seattle이나 Palo Alto의 본사에서 세계 전체를 보는 것보다 특정 주·국가·지역의 land, power, shell을 확보하는 데 유리하다.
-
분산된 글로벌 compute 네트워크
- NVIDIA는 land·power·shell을 확보하는 회사들의 대규모 distributed network를 갖게 됐다.
- 각국 정부도 compute를 전략 자산으로 인식해 전력을 자국 기업에 우선 공급하려 한다. NVIDIA가 해당 국가에 들어가 있으면 현지 neocloud를 성장시키며 국가별 수요를 연결할 수 있다.
- 호주의 Fermas 등 프로젝트에서 2 gigabyte를 추가하고, 동남아시아의 IOH 등에서 몇 gigabyte를 추가하며, 전체적으로 gigawatt 규모로 확장한다는 사례가 제시된다. 단위는 자막에 나온 표현을 그대로 옮긴 것이며, 핵심은 국가·지역 단위의 대규모 확장이다.
9.2. 5개 분야의 Frontier Model과 고객 필요
-
Open source에 대한 집중
- NVIDIA의 Neotrons는 잘 팔리고 Jensen도 자주 사용한다. Hugging Face, Poolside, Lagona와의 협력·제품도 언급되며, self-driving을 위한 open-source stack도 disruptive하다고 평가된다.
- 질문자는 NVIDIA가 은메달이 아니라 금메달을 노리는 것처럼 보인다며, 다섯 영역에서 최고의 open-source model을 만들 것인지, open source가 Frontier Model을 따라잡을 수 있는지 묻는다.
-
고객이 필요로 해서 만드는 제품
- Jensen의 답은 “할 수 있는 skills가 있고 고객이 필요로 하기 때문”이다. 파괴(disruption)를 목표로 경쟁사에 도전하는 것이 아니라, 고객이 혼자 만들 수 없는 것을 제공한다.
- Alpamo는 세계 최초의 thinking self-driving car로 소개된다. reasoning을 하면 수십억 시간의 road data를 모두 학습하지 않아도 문제를 분해하고 과거에 본 유사 상황을 추론할 수 있다.
- 모든 car가 autonomous가 될 뿐 아니라 agriculture, truck, van도 움직이는 모든 대상이 자율화될 수 있다. 대부분의 기업은 전체 stack을 만들 규모가 없으므로 NVIDIA가 stack을 만들고 고객은 자신의 application에 맞춰 last-mile adaptation을 한다.
-
Biology 모델의 기반
- ESM2 protein-foundation language model, ESMFold, OpenFold, AlphaFold 2가 단백질 탐색과 구조 예측의 기반으로 제시된다.
- Equivariant 계열 기술과 protein complex 연구는 차세대 단백질 합성·binding을 다루는 groundbreaking work다.
- Lilly, Merck 등 제약사와 다른 기업이 이를 필요로 하지만 아직 자체 역량이 충분하지 않을 수 있다. NVIDIA가 먼저 기술을 만들어 실질적인 기여를 하면 산업 전체가 사용할 수 있다.
- “아침에 일어나 누군가를 파괴하려 하지 않고 모두를 도우려 한다”는 말처럼, 제품을 만드는 동기는 경쟁사 파괴보다 고객의 필요다.
10. Terra Fab, 중국의 제조력, 그리고 늦추지 말아야 할 속도
AI 경쟁은 모델만의 경쟁이 아니라 chip design·fabrication·lithography·memory·전력의 장기 경쟁이다.
10.1. Elon Musk의 1억 제곱피트 Terra Fab
-
누구든 가능하지만 Elon이라면 시도함
- Elon Musk가 발표한 1억 square foot 규모의 Terra Fab에 대해 질문이 나온다. Jensen은 누군가 할 수 있다면 Elon이라고 답한다.
- Jensen과 Elon은 때때로 대통령 전화를 받는 사람과 함께 비행기를 타고 다른 나라로 이동했고, Elon이 Terra Fab 이야기를 좋아해 비행 중 오래 논의했다고 한다.
-
설계와 제조의 차이
- 질문은 chip을 설계하지만 직접 fab하지 않는 NVIDIA의 칩이 Terra Fab에서 만들어질 수 있는지 묻는다.
- Jensen은 NVIDIA가 공정 기술(process technology)의 한계를 계속 밀어붙이고 대규모로 scale하기 때문에 제조·memory 기술을 많이 알고 있다고 답한다. 세계 최고의 memory 회사와 협력하고 내부에도 강한 역량이 있다.
- Elon의 superpower는 무언가를 하기로 결정하면 말리기 어렵다는 점이다. 결과가 어떻게 될지와 별개로, 실행을 결심한 사람을 멈추기 어렵다는 평가다.
10.2. 중국의 advanced lithography
-
2030년 도달 전망
- 중국이 자체적으로 advanced lithography system을 발전시키면 2030년쯤 현재 수준에 도달할 수 있다는 전망이 나온다.
- 2030년은 바로 앞이며, 패널은 그때쯤이면 “우리 모두 죽고 없을 것”이라는 식의 농담으로 시간 감각을 강조한다.
-
대량 생산으로 이어지는 전환
- 중국의 강점은 high-volume production이다. 기술이 성숙하면 mainland fab로 생산이 빠르게 넘어가는 것은 시간 문제라는 시각이다.
- NVIDIA는 2~3년이 아니라 다음 decade와 그 다음 decade를 생각해야 한다. 2~3년은 큰 기업의 장기 계획에서 눈 깜짝할 사이이며, 중국의 제조 역량이 이미 도달한 것처럼 보고 준비해야 한다.
-
미국의 대응은 speed run
- Jensen·Elon·Gwen과 미국 전체를 향해 “we’ve got to run, America”라는 촉구가 나온다. AI 산업에서 속도를 늦추는 것은 분명히 잘못된 전략이다.
- 국가 경쟁은 한 모델 출시의 승패가 아니라 에너지·공급망·제조·모델·애플리케이션을 함께 구축하는 장기 speed run이다.
11. AGI와 Superintelligence: 좁은 분야에서 이미 도달한 능력
AGI와 superintelligence를 인간 전체를 대체하는 단일 존재로만 정의하지 않고, 특정 분야에서 인간보다 뛰어난 시스템의 실제 성능으로 바라본다.
11.1. AGI에서 분야별 초지능으로
-
AGI의 정의와 현재 위치
- AGI는 다른 인간만큼 똑똑한 존재로 정의된다. 패널은 업계가 이미 AGI의 순간에 들어섰다고 느끼며 Jensen도 “이미 거기에 도달했다”고 동의한다.
- 다음 waypoint는 superintelligence이며, 고객 기반과 NVIDIA가 관찰한 실제 제품을 바탕으로 이미 일부 영역에서 그 단계에 도달했다는 주장이다.
-
자율주행의 좁고 깊은 지능
- 자율주행차에게 omelette를 만들어 달라고 하는 것이 아니라 운전만 시키면 된다. 좁은 segment에서 한 가지 과업을 완벽하게 수행하는 능력이 superintelligence의 실용적 형태다.
- 자율주행은 인간보다 훨씬 뛰어나며 accident rate가 인간의 10분의 1 수준이라는 수치가 제시된다.
-
단백질 과학의 초지능
- 단백질 합성(protein synthesis)과 protein virtual screening도 이미 인간의 능력을 넘어선 분야로 꼽힌다.
- 범용적으로 모든 일을 하는 존재가 아니더라도, 특정 과학·산업 문제를 인간보다 훨씬 빠르고 정확하게 해결하면 해당 분야에서는 superintelligence라고 부를 수 있다.
11.2. 인류의 frontier에서 일하는 즐거움
-
미래는 좋은 곳이라는 낙관
- 인류 문명의 frontier에 있는 것이 재미있느냐는 질문에 Jensen은 좋다고 답한다. “여기는 정말 멋진 곳”이며 미래는 가고 싶은 곳이다.
- 많은 사람이 일하지 않아도 될 수 있지만, 이렇게 재미있고 중요한 일을 하지 않을 이유가 없다. 좋은 일은 생계의 필요를 넘어 참여 자체가 보상이 된다.
-
성공을 함께 나누기
- Jensen은 관객 모두가 자신과 함께 frontier에 도달하기를 바란다. 인류 전체가 함께 enormously successful해지는 것이 목표다.
- 그때까지 중요한 일을 하는 연구자와 기업을 격려하고 응원해야 한다. 불필요한 drama와 갈등은 줄여야 한다.
-
미국 전체가 함께 가야 함
- AI 경쟁의 마지막 조건은 미국 전체가 참여하는 것이다. 모든 기업·산업·주·사람이 승리해야 국가 차원의 성공이 된다.
- 미국이 그 여정에 함께할 때 비로소 기술적 성과가 사회적 성과로 바뀐다. Jensen은 이 메시지를 남기며 관객에게 작별을 고한다.
주요 발언 모음
“안전과 리더십은 거짓 양자택일이다. 미국은 빠르게 혁신하고 실행하면서도 안전하게 선도할 수 있다.”
“내부고발은 괜찮다. 하지만 과학적 예측은 과학에 기반해야 하며, 과학자라는 이유만으로 근거 없는 예측이 과학이 되지는 않는다.”
“규제는 실제 문제를 해결해야 한다. 먼저 무슨 일이 실제로 일어났는지 공학적으로 root cause하라.”
“RSI는 회사 안에서 하루 종일 할 수 있다. 하지만 제품을 출시하려면 다시 평가하고 테스트하고 regression이 없는지 확인해야 한다.”
“필요한 만큼 위로 올라가되 가능한 한 낮게 머문다. 필요한 기술을 만들고 천 개의 꽃이 피게 한다.”
“AI 경쟁은 누가 기술을 발명했는지만의 경쟁이 아니라 누가 기술을 가장 잘 활용하느냐의 경쟁이다.”
“AI가 문명을 끝낼 것이라고 사람들을 걱정시키는 것보다, 정말 사실이라면 우리가 직접 해결하는 데 더 많은 시간을 써야 한다.”
“AI를 늦추는 것은 분명히 잘못된 전략이다.”
“미래는 멋지다. 우리 모두 인류로서 함께 그곳에 가서 엄청나게 성공할 것이다.”
핵심 데이터 & 수치
- 5년: AI가 5년 안에 방사선학을 완전히 장악해 radiologist가 사라질 것이라는 과거 예측.
- 6~12개월: 코드의 90%가 AI로 생성될 것이라는 과거 예측의 기한.
- 6~9개월: 신입 일자리의 50%가 사라질 것이라는 과거 예측의 기한.
- 10% 이상: 과학적 근거 없이 제시된 AI로 인한 문명 멸종 확률의 사례.
- 4건+1건: 한 연구소의 네 건 incident와 다른 연구소의 한 건 giant incident를 root cause해야 한다는 설명.
- 4000억 달러: 최근 6개월 동안 AI-native company에 투자됐다고 제시된 venture funding.
- 80%: 해당 AI-native company 중 open model을 사용한다고 제시된 비율.
- 10만?: 대화 중 “10 million”이 언급되지만 대상과 단위가 자막에서 명확하지 않다. 공개 모델을 활용하는 광범위한 사용자 규모를 강조하는 문맥으로 기록한다.
- 20~25년: 데이터센터가 다음 20~25년 동안 oil과 같은 역할을 할 것이라는 대통령의 주장.
- 20조 달러: 1년 동안 미국에 유입되고 있다고 대통령이 주장한 투자액.
- 1조 달러 미만/4년: 전임 행정부 4년 동안의 투자액과 대비해 대통령이 제시한 수치.
- 2 gigabyte 및 수 gigabyte: 호주와 동남아시아에서 추가한다고 설명한 지역별 compute 규모. 자막의 단위 표현을 그대로 기록한다.
- gigawatt: 여러 지역 프로젝트를 합쳐 전력·compute를 gigawatt 규모로 확장한다는 NVIDIA의 방향.
- 1억 square feet: Elon Musk가 발표한 Terra Fab 시설 규모.
- 2030년: 중국이 advanced lithography system 수준에 도달할 수 있다고 전망한 시점.
- 10분의 1: 자율주행 시스템의 사고율이 인간의 약 10분의 1이라는 주장.
- 41~42년: 대통령이 MIT 교수로 소개한 삼촌의 재직 기간을 농담 섞어 언급한 수치.
결론 및 시사점
- 안전 담론을 근거와 통제로 되돌려야 한다: 내부고발은 보호하고 조사하되, 내부고발과 멸종 확률 예측을 분리하며 예측의 가정·근거·실적을 기록해야 한다.
- 실제 사고는 engineering 문제로 다뤄야 한다: incident별 root cause를 찾고 sandbox, runtime, monitor, continuous monitoring, 반복 evaluation을 기술·방법·프로세스로 institutionalize해야 한다.
- 규제는 측정 가능한 실제 문제에 맞춰야 한다: measurement와 standardization을 먼저 마련하고, 여러 독립 evaluator·auditor로 단일 기업의 영향과 이해상충을 견제해야 한다.
- RSI는 통제 가능한 생산성 도구다: in-context, skills, reflection, RL, synthetic data, LoRA를 회사 내부 개선 루프에서 사용하고, 외부 release 전 regression·안전성 평가를 통과시켜야 한다.
- Closed와 open은 용도에 따라 공존한다: 서비스 편의와 frontier 성능이 필요한 곳은 closed model을 쓰고, sovereignty·privacy·proprietary technology가 필요한 곳은 open model을 활용한다.
- AI race의 단위는 기업이 아니라 사회다: 미국의 모든 기업·산업·연구자·교사·학생·startup이 AI를 활용할 수 있어야 국가 경쟁력이 넓게 확산된다.
- 발명자의 국적보다 활용 생태계가 중요하다: 중국산 모델도 다운로드·fork·개선하면 사용자의 것이 된다. Linux와 Kubernetes처럼 공개 기술의 영향력은 국경을 넘는다.
- AI 인프라는 산업혁명의 전체 공급망이다: 칩·모델만이 아니라 데이터센터·토지·전력·건설·발전·메모리·TSMC·지역 cloud가 동시에 확장돼야 한다.
- 지역 neocloud는 변동성에 대한 실행 계층이다: 연 단위로 계획하는 hyperscaler보다 지역 토지·전력·인프라를 아는 cloud가 빠르게 움직이며 글로벌 distributed compute를 만든다.
- 속도와 사회적 책임을 함께 가져가야 한다: AI 개발을 늦추지 않되 작은 지역사회의 목소리를 듣고, drama와 불필요한 갈등을 낮춰 미국 전체가 변화에 참여하게 해야 한다.
핵심 요약 (20줄)
AI 안전과 미국의 리더십은 서로 배타적인 선택지가 아니다.
Jacob Coxon의 내부고발은 진지하게 조사해야 하지만 과학적 근거 없는 멸종 확률과 섞어서는 안 된다.
연구자라는 직함은 측정 방법과 검증 가능한 근거를 대신하지 못한다.
방사선 전문의 소멸, 코드 90% 자동 생성, 신입 일자리 50% 소멸 예측은 실제 결과와 어긋났다.
과거 예측을 계속 기록하고 전문가 권위보다 결과와 방법론을 함께 평가해야 한다.
프런티어 연구소에 위험이 집중되는 이유는 가장 어려운 문제와 가장 많은 compute를 다루기 때문이다.
연구소는 연구에서 engineering으로 넘어가며 회사·문화·기술·제품을 동시에 만들어야 한다.
사건별 root cause를 찾고 기술·방법·프로세스를 재발 방지 체계로 제도화해야 한다.
sandbox, runtime, monitor, continuous monitoring과 반복 평가가 안전한 출시의 기반이다.
RSI는 in-context, skills, reflection, RL, synthetic data와 LoRA가 결합한 개선 시스템이다.
AI가 AI를 개선해도 제품 출시 전 평가와 regression 검증을 거치면 통제 가능한 생산성이 된다.
폐쇄형 모델과 open model은 병에 담긴 물처럼 서로 다른 용도에 맞춰 함께 필요하다.
최근 6개월 AI-native 기업에 유입된 4000억 달러의 80%가 open model을 사용했다는 수치가 공개 모델의 역할을 보여 준다.
중국산 open model도 다운로드 후 fork하고 개선하면 사용자의 기술이 된다.
AI race의 승자는 몇몇 모델 회사가 아니라 모든 기업·산업·연구자·교사·학생이다.
AI 산업은 모델과 칩을 넘어 데이터센터·전력·건설·제조·공급망 전체를 필요로 한다.
NVIDIA는 필요한 기술을 만든 뒤 가능한 낮은 계층에 머물며 생태계 전체가 번성하도록 한다.
지역 neocloud는 토지·전력·인프라를 빠르게 확보해 hyperscaler의 연간 계획을 보완한다.
중국의 high-volume manufacturing과 2030년 lithography 전망 때문에 미국은 speed run을 해야 한다.
미래는 인류 전체가 함께 누릴 frontier이며, 속도를 유지하되 근거 없는 drama와 갈등은 줄여야 한다.
