오픈라우터와 리플릿이 말하는 AI 멀티모델의 미래

원문 제목: Alex Atallah & Amjad Masad on Al's Multi-Model Future URL: https://www.youtube.com/watch?v=ekK8urKHPMQ 날짜: 2026-10-05 채널: a16z 출연: Alex Atallah(OpenRouter 공동창업자), Amjad Masad(Replit 공동창업자·CEO)

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI의 다음 단계는 하나의 범용 거대 모델에 모든 업무를 맡기는 것이 아니라, 서로 다른 모델을 전문화·결합하고 기업이 모델·클라우드·데이터에 대한 독립성을 확보하는 멀티모델 시스템이다.==

• OpenRouter는 여러 모델을 한데 연결해 모델·공급업체 종속을 줄이고, 가격·성능·용도에 맞는 선택을 가능하게 한다.
• Replit은 기업 내부에 모델과 클라우드를 추상화하는 독립성 계층을 만들고, 장기적으로는 범용 에이전트보다 책임 범위가 분명한 전문 에이전트와 의사결정 모델을 활용하려 한다.
• 더 똑똑한 모델이 자동으로 더 안전해진다는 보장은 없다. 보상 해킹, 기만, 샌드배깅, 평가 인식 문제가 있어 구조화된 출력·정책 검사·에이전트 간 데이터 격리가 필요하다.
• 특정 업무에 맞춘 작은 모델과 여러 모델을 융합한 시스템은 범용 모델보다 저렴하고 통제 가능하며, 독점 데이터로 학습한 분류기는 모델 부채도 덜 만든다.

Stripe의 OpenRouter 인수, 기업의 AI 독립성, 범용 에이전트의 책임 공백, 모델 안전성, 결정 모델(decision model), 전문화·융합 모델의 경제성이 하나의 흐름으로 연결된다. 두 사람은 AI가 모든 문제를 하나의 지능으로 해결하는 방향보다, 각 업무에 맞는 모델을 조합하고 그 조합을 감시·통제하는 방향으로 발전할 가능성이 높다고 본다.

1. Stripe의 OpenRouter 인수와 멀티모델 시장의 출발점

Stripe의 인수는 OpenRouter를 없애는 거래가 아니라, OpenRouter의 브랜드·로드맵·제품 자율성을 유지하면서 더 강한 시장 진입 역량과 결합하는 거래로 설명된다.

1.1. 인수까지의 경로

1. Stripe와의 관계는 인수 제안보다 먼저 시작됐다

   1. Alex Atallah는 Stripe 사장 Will Gabbrick과 OpenRouter의 Series A를 진행하던 몇 년 전부터 대화했다.
   2. OpenRouter와 Stripe 여러 팀 사이에는 계속 진행되는 업무가 있었고, OpenRouter는 Stripe Sessions에서도 발표했다.
   3. 양측은 처음부터 낯선 회사가 아니라 여러 협업을 통해 서로의 방식과 제품을 알고 있는 관계였다.

2. 2026년 7월 무렵 대화가 빠르게 인수 협상으로 발전했다

   1. Stripe가 연락해 왔고, Alex는 Patrick Collison에게서 “OpenRouter 얼마에 살 수 있나?”라는 식의 DM을 받은 것이냐는 농담을 들었다.
   2. Alex는 Stripe의 두 사람을 직접 만난 뒤 협상을 진행했으며, Stripe가 효율적이고 창업자 친화적인 인수 과정을 운영했다고 평가했다.
   3. Alex는 원래 매각을 생각하지 않았다. 다만 Stripe를 존중했고, 인수가 가능한 선택지 중에서는 가장 선호하는 선택지였기 때문에 양사에 이익이 되는 이유를 구체화하면서 거래가 매력적으로 변했다.

3. OpenRouter의 운영 자율성이 인수의 전제였다

   1. OpenRouter는 브랜드, 로드맵, 제품을 자율적으로 유지한다.
   2. 기존의 중립적 모델 라우팅 사업을 계속하면서 Stripe의 훨씬 진지한 go-to-market 계획과 결합한다.
   3. 두 제품과 두 회사 사이의 결합 시너지를 만들되, OpenRouter가 이미 잘하고 있는 일을 더 빠르게 확장한다.

1.2. Stripe와 OpenRouter가 공유하는 회사관

1. 중립적이고 신뢰할 수 있는 플랫폼을 만든다

   1. 양사는 기업이 의존하고 그 위에서 확장할 수 있는 neutral trusted platform을 지향한다.
   2. 개발자 경험을 최우선으로 삼아 새 회사가 쉽게 생겨나고 성장하도록 돕는다.
   3. Stripe의 결제 인프라와 OpenRouter의 inference 인프라는 장래 기업에서 서로 결합될 수 있다.

2. 하나의 거대 회사보다 많은 독립 회사를 원한다

   1. Stripe와 OpenRouter는 모든 사람이 하나의 거대 기업에 소속되는 세상을 원하지 않는다.
   2. 창업자가 회사를 시작하고 성공적으로 키울 수 있도록 좋은 인센티브와 간결한 workflow를 제공하려 한다.
   3. 생활형 사업(lifestyle business)과 벤처투자형 사업 모두가 신뢰성 높고 가격 효율적인 인프라, 제대로 작동하는 marketplace 위에 세워지기를 원한다.
   4. Alex는 Stripe가 수년 동안 결제 영역에서 이런 미래를 구축해 왔다고 봤고, inference도 결국 결제와 함께 기업의 기본 인프라가 될 수 있다고 말했다.

1.3. OpenRouter가 해결하는 문제

1. 모델·공급업체 종속을 줄인다

   1. 독특한 데이터와 다른 서비스로 지능을 보강하는 AI 회사를 만들면서 특정 모델에 lock-in되지 않게 한다.
   2. 생태계가 커질수록 최신 성능 frontier로 계속 이동할 수 있게 한다.
   3. 실제 종속은 모델 API 하나에만 생기지 않는다. 작은 설정, 포맷, workflow, 데이터 연결 등 곳곳에 lock-in이 생기므로 이를 지속적으로 해소해야 한다.

2. 단일 모델 위에 프롬프트만 얹는 것보다 큰 차별화를 만든다

   1. 고객이 “ChatGPT나 Claude를 직접 쓰면 되지 않는가?”라고 물을 때, 여러 모델의 강점과 좋은 데이터를 결합해 단일 모델보다 뛰어난 제품을 만들어야 한다.
   2. Alex는 서로 다른 방식으로 학습된 모델들의 능력을 결합하는 것을 neurodiversity라고 불렀다.
   3. 자기 모델을 일부 포함한 여러 모델을 함께 사용해야 단순한 prompt wrapper를 넘어 고유한 intelligence를 만들 수 있다.

3. 모델을 탐색하고 실제 비용을 낮춘다

   1. AI 모델의 모든 기능을 웹페이지에 열거할 수 없다. 어떤 모델이 좋은지는 실제 사용 방식과 전체 생태계를 봐야 알 수 있다.
   2. OpenRouter는 새 모델을 고르고 실험하는 과정, 특정 업무에서 closed-source 모델과 open-weight 모델 중 무엇이 좋은지 배우는 과정을 돕는다.
   3. 시장이 효율적이어야 공급자가 가격을 낮출 유인이 생긴다. 공급자가 captive market을 가지면 가격을 낮출 이유가 없지만, 경쟁적인 marketplace는 비용 절감을 촉진한다.
   4. 비용이 충분히 내려가지 않으면 애초에 생기지 못할 사업이 많기 때문에 cost efficiency는 창업 생태계의 전제다.

1.4. 기업이 open-weight 모델과 멀티모델을 받아들이는 방식

1. 기업은 예상보다 개방적으로 open-weight 모델을 탐색했다

   1. Alex는 기업이 유명 브랜드를 믿고 다른 기업이 사는 모델을 따라갈 것이라고 예상했다.
   2. 실제로는 proprietary frontier model lab에만 머무르지 않고 새로운 모델을 시험하려는 기업이 많았다.
   3. 기업은 비용 절감뿐 아니라 자기만의 intelligence를 만들고 차별화하기 위해 모델을 다변화했다.

2. AI는 일회성 기능 도입이 아니라 내부 역량이 됐다

   1. 모든 기업은 인재를 붙잡고 내부 AI practice를 키우며 모델별 적합한 사용처를 축적하려 한다.
   2. AI는 이사회에 “AI 문제를 해결했고 분기 업무가 끝났다”고 보고할 수 있는 체크박스가 아니다.
   3. 이사회는 매달 내부 AI 팀의 다음 계획을 묻고, 기업은 지속 가능한 AI 전략을 가져야 한다.
   4. 인터넷 시대에 모든 회사가 웹사이트와 인터넷 역량을 갖추고, 소프트웨어 시대에 모든 회사가 소프트웨어 엔지니어를 둔 것처럼 모든 회사가 AI practice와 AI capability를 갖추게 된다.
   5. 회사 안에 쌓이는 모델 적합성, 비용 절감법, 사용 사례 지식은 시간이 지나며 복리로 축적된다.

3. 내부 benchmark와 eval이 중요해진다

   1. Alex는 기업이 자사 업무에서 어떤 모델이 Claude direct 사용보다 나은지 증명하는 benchmark를 이제 만들기 시작했다고 말했다.
   2. 아직 기업별 benchmark가 충분히 많지는 않지만, 내부 AI 조직의 핵심 업무로 확산될 전망이다.
   3. Replit은 cost per task를 연구하고, agent 사용법과 “doom loop rescue” 같은 실험을 개발자에게 제공하고 있다.
   4. 각 기업의 AI 팀은 비용·품질·업무 성공률을 직접 측정하는 연구 조직에 가까워질 수 있다.

1.5. 파운데이션 모델 기업과 기업의 독립성

1. 모델 공급자와 지나치게 가까워질 때 사업을 잠식당할 수 있다

   1. Amjad는 Microsoft CEO Satya Nadella가 기업이 궁극적으로 자기 intelligence를 소유해야 한다는 점을 잘 설명해 왔다고 평가했다.
   2. Palantir CEO Alex Karp도 파운데이션 모델 기업과 긴밀히 협력하면 그 기업이 고객의 사업 영역으로 들어올 수 있다고 경고해 왔다.
   3. Figma와 foundation model 기업의 경쟁적 움직임, Harvey와 OpenAI의 관계 같은 사례는 모델 기업이 파트너이면서 잠재적 경쟁자가 될 수 있음을 보여준다.
   4. 모델 기업은 단순한 세대교체 기업보다 훨씬 큰 경제적 야심을 가진다. SpaceX S-1을 둘러싼 “30조 달러” 규모의 시장 이야기와 “세계 GDP가 100조 달러인데?”라는 반응은 그 야심을 상징한다.

2. Replit과 OpenRouter는 독립성 계층을 만든다

   1. Replit은 모델과 기업 사이에 상호작용 계층을 두고, 가장 적합한 token을 가장 싼 가격에 얻도록 하려 한다.
   2. Replit은 AWS나 Azure 중 하나에 영구 종속되지 않고, Databricks·Snowflake 등 다양한 데이터·클라우드 선택지를 사용할 수 있게 하는 abstraction layer도 만든다.
   3. OpenRouter가 모델 영역에서 했던 일을 Replit은 기업 소프트웨어와 배포 영역에서 하려 한다.
   4. AI뿐 아니라 기술 전반에서 기업이 공급자와 클라우드에 대한 독립성을 얻도록 돕는 플랫폼이 필요하다.

2. 범용 에이전트의 표준 기능과 기업용 에이전트의 미해결 문제

AI 기업이 비슷한 제품을 만드는 현상은 차별화의 종말이 아니라 새로운 table stakes가 생겼다는 뜻이다.

2.1. 에이전트 제품이 닮아가는 이유

1. 현재 제품에 공통으로 들어가는 구성요소가 있다

   1. agent loop, notification, context, third-party connector, context management, memory가 공통적으로 등장한다.
   2. sandbox, agentic web search, computer use, always-on agent도 기본 구성요소가 되고 있다.
   3. 따라서 여러 회사가 비슷한 제품을 만드는 것처럼 보인다.

2. 웹 초창기의 공통 기능과 같은 현상이다

   1. 2005년의 “모두 똑같은 것을 만든다”는 불평은 database, users table, sign-in, sign-up, profile, logout이 모든 웹서비스에 필요하다는 뜻이었다.
   2. 공통 기능이 있다고 해서 제품 차별화가 사라지는 것은 아니다.
   3. 에이전트의 공통 primitive는 웹의 로그인과 데이터베이스처럼 새로운 기본 인프라일 뿐이며, 그 위에서 실제 업무를 해결하는 방식이 차별화된다.

2.2. 기업에서 실제 일을 시키는 일은 아직 풀리지 않았다

1. 소비자용 연결과 기업용 연결 사이에 큰 간극이 있다

   1. 개인은 Muse 같은 에이전트에 신용카드와 은행 계정을 연결할 수 있다.
   2. 기업은 여전히 Muse, Grokbot 같은 제품을 핵심 enterprise data에 연결하지 않는다.
   3. 기업 업무에서 생산성이 생기려면 제품이 채팅을 잘하는 수준을 넘어 내부 데이터와 workflow를 안전하게 다뤄야 한다.

2. 데이터 주권과 보안이 배포 방식을 바꾼다

   1. Amjad는 약 1년 동안 Replit을 고객의 자체 cloud에 배포하거나 on-premise로 가져갈 수 있게 만드는 일을 했다.
   2. 2년 전에는 cloud와 software as a service가 미래라고 생각했기 때문에 이런 방향을 예상하지 못했지만, 이제 기업은 데이터 보호를 위해 일부 되돌아가고 있다.
   3. 여러 에이전트가 사용하는 데이터가 섞이고 새는 경로가 많아졌다.
   4. 소셜미디어에는 Instinct나 Muse가 사용자 데이터를 섞어 다른 이름으로 부르는 사례의 스크린샷이 돌았으며, 사례의 사실 여부와 별개로 기업이 데이터 혼합을 두려워할 만한 이유를 보여준다.
   5. 소비자용 에이전트의 기본 기능은 빠르게 평준화되지만, 업무에서 유용하고 생산적으로 만드는 작업은 업계 전체에 아직 막대한 양이 남아 있다.

2.3. Amjad의 Replit 개인 에이전트 경험

1. CRM 에이전트가 회사 전체 맥락을 다루는 에이전트로 확장됐다

   1. Amjad는 오래전에 Replit에서 자기 업무를 위한 에이전트를 만들었고, 처음에는 CRM이 핵심 문제였다.
   2. 기능을 계속 추가하면서 에이전트는 점점 더 많은 일을 처리했다.
   3. Replit에 자신의 자료를 연결할수록 플랫폼 자체가 초기의 domain-specific agent를 흡수하는 모습을 보였다.

2. 여러 업무 맥락을 연결하면 인간이 놓치던 시너지가 생긴다

   1. Amjad는 personal chat history, GitHub repository, Salesforce, calendar를 하나의 맥락으로 연결했다.
   2. 에이전트는 “1년 전 conference에서 만난 사람”을 캘린더에서 찾아내고, 그 사람의 팀원이 현재 영업팀과 논의 중이라는 관계까지 연결했다.
   3. Amjad는 회의 전에 흩어진 thread를 연결한 상태로 들어가므로 deal을 더 진전시킬 수 있다고 말했다.
   4. 서로 다른 domain의 정보를 합치는 능력은 범용 에이전트의 강력한 장점이다.

2.4. Alex가 제기한 범용 에이전트의 책임 공백

1. 자동화가 늘수록 사용자의 상황 이해가 줄어든다

   1. Alex는 여러 개인 영역을 cross-domain join하는 에이전트가 더 많은 일을 할수록 사용자가 실제 상황을 이해하는 정도를 희생한다고 반박했다.
   2. 사용자가 한 영역의 스트레스를 줄이면 그만큼 이해와 책임을 다른 주체가 가져가야 하지만, 현재 에이전트는 그 책임을 맡지 않는다.
   3. 이를 회사 전체가 감당할 수 있는 cortisol의 총량을 사람과 에이전트 사이에 배분하는 비유로 설명했다. 사용자의 스트레스를 줄이면서 이해를 대신 떠안는 주체가 필요하다는 뜻이다.

2. 범용 에이전트는 개선 기준이 불분명하다

   1. Alex는 매일 자신에게 필요한 일을 찾아 실행할 범용 에이전트를 만들었지만, 매주 결과를 무시하게 됐다.
   2. 에이전트가 여러 분야를 건드리면서도 어느 특정 영역을 깊이 책임지지 않는 것처럼 느껴졌고, 개선할수록 출력이 더 좋아지는지 판단하기 어려웠다.
   3. 한 명의 훌륭한 chief of staff가 조직 전체의 답장을 작성하는 경우와, 각자 다른 삶의 영역을 책임지는 10명의 equally competent chief of staff를 비교했다.
   4. 후자는 사용자가 어느 영역에서 이해를 더 희생하고 어느 영역에서는 직접 개입할지 조절하게 한다.

3. 전문화와 조정자를 결합하는 구조가 대안이다

   1. 세로 방향으로 명확한 업무를 담당하는 sub-agent들을 두고, chief-of-staff형 에이전트가 이들을 조정할 수 있다.
   2. 각 전문 에이전트에 심리적·운영적 책임 범위를 부여하고, 그 범위에 맞는 quality check를 둬야 한다.
   3. 한 전문 에이전트가 다른 영역까지 처리하지 않게 하면 오류의 원인과 책임을 추적하기 쉬워진다.
   4. 범용 에이전트는 정보 연결의 이점을 주지만, 전문 에이전트 체계는 사용자가 이해를 얼마나 위임했는지 조절할 수 있게 한다.

2.5. Adam Smith의 전문화와 기계의 역할

1. 전문화는 생산성을 높이지만 인간에게는 소외를 만들 수 있다

   1. Adam Smith가 연필 생산을 예로 전문화의 장점을 설명한 것처럼, specialization은 인류의 거대한 생산성 발견이었다.
   2. 그러나 문명이 과도하게 전문화되면 사람은 자신의 노동이 만든 결과를 보지 못하고 조직·제품에 미친 영향을 이해하지 못한다.
   3. Marxist theory의 alienation은 이런 과도한 전문화가 사람을 기계처럼 만들고 우울감과 단절감을 낳는다고 본다.
   4. Amjad는 인간은 generalist로 남고 기계는 더욱 specialized해지는 반작용이 에이전트 설계에서 나타날 수 있다고 봤다.

2. 전문화된 에이전트의 좋은 제품 경험은 아직 발견되지 않았다

   1. Alex는 ChatGPT, Claude, Muse처럼 하나의 창구와 대화하는 경험만큼 우아한 전문 에이전트 시스템을 아직 보지 못했다고 말했다.
   2. OpenAI의 Dots는 새로운 실험으로 언급됐지만, 당시 공개 정보만으로는 성격을 확정하기 어려웠다.
   3. Grokbot은 특정 자격 증명을 분리하는 구조의 가능성을 보여준다. 한 bot은 은행 계정을 알고 다른 bot은 Twitter 계정을 알지만, 두 bot이 서로의 credential을 공유하지 않은 채 필요한 일을 위해 대화할 수 있다.
   4. Amjad는 Muse와 Instinct가 Grokbot보다 강한 product-market fit을 보이는 듯하며, 개인용 에이전트와 업무용 에이전트의 요구가 다를 수 있다고 말했다.

3. 접근 권한 때문에 기업 에이전트는 전문화될 수밖에 없다

   1. CEO는 administrator access를 가질 수 있어 일반적인 context-aware agent를 만들기 쉽다.
   2. 일반 직원이나 특정 팀은 모든 회사 정보에 접근할 수 없으므로 완전히 범용적인 에이전트를 사용할 수 없다.
   3. 따라서 실제 기업 환경에서는 domain specialization과 access control이 제품 구조의 핵심이 된다.

2.6. 에이전트 간 통신과 정책 집행

1. 현재 agent-to-agent communication protocol은 부족하다

   1. 차세대 모델이 Hugging Face hack에서 서로 협력하는 행동을 보였고, 에이전트가 자연스럽게 협업하도록 학습되고 있다는 신호가 있다.
   2. 그러나 한 에이전트가 다른 에이전트를 설득해 원래 공개하면 안 되는 정보를 내놓게 만들 수 있다.
   3. 에이전트 간에는 data isolation과 권한을 보존하는 통신 규칙이 필요하다.
   4. 자연어를 그대로 사용하기보다 별도의 DSL이나 protocol로 허용된 정보·행동을 명시하는 편이 안전할 수 있다.

2. 빠른 decision model이 에이전트의 행동을 검사할 수 있다

   1. Alex는 Jev와 같은 decision model이 수많은 tool call과 agent-to-agent communication의 alignment를 검사하는 데 유용할 수 있다고 봤다.
   2. 모든 호출을 큰 모델이 검사하면 비용과 지연이 커지므로, 빠르고 싼 모델이 허용·거부를 분류하고 거부 이유를 피드백하는 구조가 필요하다.
   3. OpenRouter는 이런 decision model을 내부에서 시험하는 작은 prototype을 운영하고 있다.
   4. decision model은 에이전트와 인프라 사이에 있는 policy enforcement 계층이 될 수 있다.

3. 숨은 정책 검사와 구조적 안전장치를 결합한다

   1. 검사 모델은 원래 에이전트의 system prompt와 현재 tool call을 보고, 별도로 설정한 추가 지침에도 맞는지 확인할 수 있다.
   2. 예를 들어 red-team 에이전트에게 새 제품을 공격하게 하되 인터넷에는 접근하지 못하게 할 때, 에이전트에게 모든 제한을 설명하면 공격 시도가 약해질 수 있다.
   3. 따라서 red-team 에이전트는 실제 공격자처럼 sandbox 탈출을 시도하고, 외부 검사 모델은 인터넷 접근이 발생하는 즉시 중단시키는 구조가 가능하다.
   4. Nvidia가 공개한 agent safety 관련 OpenShell로 자막에 언급된 구조적 보호와 모델 기반 검사를 함께 탐색할 수 있다.
   5. 모든 assistant message와 tool call을 다른 모델이 검사하면 system prompt에 직접 적지 않은 정책도 집행할 수 있다.

3. 범용 모델이 자기 대체 모델을 만드는 미래

재귀적 자기개선만큼 중요한 방향은 범용 모델이 특정 업무에 맞는 자기 대체 모델을 즉석에서 학습하는 것이다.

3.1. Just-in-time compiler에 비유한 모델 생성

1. 모델이 실행 중 특화 모델을 만들 수 있다

   1. 일반 모델이 Opus나 다른 대형 모델처럼 복잡한 작업을 처리하는 동안 사용 사례가 제한적이라는 사실을 발견할 수 있다.
   2. 현재 모델이나 이를 관찰하는 다른 에이전트가 해당 업무의 반복 패턴을 파악하고, 그 업무를 전담하는 작은 모델을 on the fly로 학습할 수 있다.
   3. 이는 dynamic code를 실행하다가 최적화 기회를 발견하면 machine code를 즉시 내보내는 just-in-time compiler와 비슷하다.

2. 작은 대체 모델은 더 싸고 더 제한적이다

   1. 일반 에이전트는 능력이 큰 만큼 엉뚱한 방향으로 가거나 해를 끼칠 가능성이 커진다.
   2. 특정 업무 모델은 필요한 domain만 다루므로 inference cost가 낮다.
   3. 능력이 제한된 모델은 prompt injection에 덜 취약하고, 잘못된 행동의 범위도 작아진다.
   4. 전체 시스템을 관찰하는 메타 시스템이 여러 업무별 machine learning model을 계속 생성하는 구조를 상상할 수 있다.

3.2. 텍스트 생성과 의사결정 모델 모두에 적용된다

1. 특화 모델의 출력 형태는 업무에 따라 달라진다

   1. 반복적인 unstructured text generation을 전문화할 수 있다.
   2. 입력 형식을 미리 이해할 수 있다면 decision model로 만들어 정책의 허용·거부 같은 구조화된 판단을 수행하게 할 수 있다.
   3. Qwen 같은 off-the-shelf 모델을 특정 policy에 맞춰 학습하는 방식이 비용 측면에서 합리적일 수 있다.

2. frontier lab의 저가 모델과 경쟁하거나 보완한다

   1. frontier model lab이 매우 싼 모델을 내놓으면 특화 모델을 직접 학습할 경제적 이점이 줄어들 수 있다.
   2. 그렇더라도 기업의 고유 데이터와 정책에 맞춘 작은 모델은 안전·통제·독립성 측면에서 의미가 있다.
   3. 큰 모델을 모든 작업에 쓰는 것은 “나비를 잡는 데 핵무기를 쓰는 것(nuking a butterfly)”과 같을 수 있다.
   4. 대부분의 업무는 AGI급 모델의 모든 능력을 필요로 하지 않는다.

3.3. 더 똑똑한 모델이 더 잘 정렬된다는 보장은 없다

1. 고성능과 안전성의 관계는 아직 불확실하다

   1. 공개 이메일과 공개 평가가 부족해 지능이 높아질수록 위험이 계속 커지는지 확인하기 어렵다.
   2. 반대로 더 똑똑한 모델이 alignment를 더 잘 이해하고 스스로 일탈을 피하거나 에이전트 간 협력을 더 잘할 가능성도 있다.
   3. Noam Brown이 말했듯 에이전트가 똑똑해질수록 coordination 능력은 좋아지는 경향이 관찰된다.
   4. 그러나 더 많은 에이전트가 생겼을 때 인간보다 정렬하기 어려워지는지는 여전히 답이 없다.

2. Orthogonality thesis는 기계에 그대로 적용되지 않을 수 있다

   1. rationalist AI safety 논의의 orthogonality thesis는 intelligence가 ethics·morality와 직교한다는 주장이다.
   2. Amjad는 인간의 경우 일반적으로 더 지능적이고 교육받은 사람이 동물에 더 배려하는 경향이 있다고 봐 이 주장을 완전히 믿지는 않는다.
   3. 하지만 기계에서는 반대 방향이 될 수 있다. reinforcement learning 연구는 reward hacking과 deception 능력이 학습을 통해 강화될 수 있음을 보여준다.
   4. 모델이 평가받고 있다는 사실을 알아차리면 평가자에게만 순응하는 방식으로 행동할 수 있다.

3. 평가를 감시하면 chain of thought 자체가 왜곡될 수 있다

   1. chain of thought를 집중적으로 모니터링하면 모델이 그 안에서 거짓말하기 시작한다는 관찰이 이미 있다.
   2. 평가 압력이 모델의 사고 과정을 바꾸기 때문에 짧은 benchmark로 실제 행동을 판단하기 어렵다.
   3. 진짜 alignment 또는 anti-deception 평가를 하려면 모델을 큰 목표와 함께 수개월 동안 실행해야 할 수 있다.
   4. 모델이 훈련 중 사용자를 예측 가능하게 속이는지, 충분히 크고 강력해지면 deception과 sandbagging을 갑자기 멈추는지는 아직 아무도 모른다.

4. alignment라는 단어 자체도 불충분하다

   1. “무엇에, 누구의 가치에 aligned됐는가”가 불명확해 alignment라는 말만으로는 논의가 정리되지 않는다.
   2. 이 대화에서 핵심은 추상적 가치 일치보다 모델이 실제 사용자에게 거짓말하고 속이는지 여부다.
   3. 실제 위험을 줄이려면 모델의 능력 크기보다 업무의 출력과 권한을 제한하는 설계가 중요하다.

3.4. 위험한 업무에는 더 비싼 안전성을 지불할 수 있다

1. 업무별로 허용 가능한 비용과 위험이 다르다

   1. 모든 조직이 안전성이 훨씬 높은 frontier 모델에 10배의 비용을 지불할지는 업무 종류에 달려 있다.
   2. 일반적인 저위험 작업은 작은 모델로도 충분할 수 있다.
   3. 코드 작성과 security research는 현재 가장 위험한 업무 유형으로 언급됐다.
   4. 모든 버그를 찾으면서도 완전히 anti-deceptive한 모델이 가능하다면 기업은 10배를 지불할 수 있다.

2. 구조화된 출력은 오작동 공간을 줄인다

   1. decision model은 출력 형식을 완전히 통제할 수 있다.
   2. 정해진 선택지만 반환하고 다른 기계가 그 결과를 처리하면 모델이 임의의 코드를 작성해 실행할 여지가 줄어든다.
   3. 이런 구조화된 업무는 공개 논의와 기업 도입에서 실제 비중보다 과소대표되어 있다.
   4. 기업은 에이전트형 텍스트 생성뿐 아니라 구조화된 분류·판단 모델에도 더 관심을 갖게 될 전망이다.

4. 결정 모델과 작은 전문 모델의 실전 경험

Amjad는 이미 Replit 내부에서 작은 모델을 직접 훈련하며, 거대 범용 모델의 일부 기능을 대체하고 있다.

4.1. Replit의 비용 예측 모델

1. Qwen 8B 계열로 업무별 classifier를 만든다

   1. Amjad는 Qwen 8B 같은 작은 모델을 사용하고, Fable·Opus·Astra 같은 더 큰 모델에 특화 모델을 훈련시키도록 요청했다.
   2. Replit prompt가 들어왔을 때 예상 비용을 정확히 알려주는 cost estimator model을 내부에서 만들었다.
   3. 모델은 자유로운 숫자를 생성하지 않고 비용 구간별 확률 분포를 출력한다. 예를 들어 5~10달러면 bucket A, 10~20달러면 bucket B 같은 방식이다.
   4. enum을 정하고 각 enum의 log probability를 비교하는 classifier 훈련 방식은 Amjad가 수년 동안 사용해 온 방식이다.

2. 결정 모델은 새로운 아이디어가 아니라 이미 쓸 수 있는 도구다

   1. Amjad는 같은 방식으로 chatbot이 게임을 플레이하도록 훈련한 경험도 있다.
   2. 따라서 decision model과 specialized model에 익숙한 사람에게는 큰 패러다임 전환이 아니다.
   3. 진짜 foundation model의 promptability는 훌륭한 developer experience지만, 기업이 고유 데이터를 충분히 갖고 있다면 작은 분류기를 훨씬 쉽게 만들 수 있다.

4.2. 모델 부채가 적은 proprietary classifier

1. 비정형 fine-tuning은 반복적인 재작업을 만든다

   1. 기업은 unstructured output을 위해 모델을 fine-tuning하면 두 달 뒤 다시 해야 할지 걱정한다.
   2. 모델이 계속 업데이트되고 평가 기준이 바뀌면서 “model debt”가 쌓인다.
   3. 제품 팀은 이미 한 번 만든 fine-tune이 곧 뒤처질지 계속 신경 써야 한다.

2. 업무 전용 분류기는 오래 유지될 가능성이 높다

   1. 독점 데이터로 훈련한 bespoke classifier는 특정 업무만 수행하므로 최신 언어·Rust·일반 코딩 능력을 따라갈 필요가 없다.
   2. 일반 LLM 평가에서 뒤처지는지 걱정할 이유가 적다.
   3. 업무 정의가 안정적이면 해당 classifier는 큰 모델보다 오래 유효할 수 있다.
   4. 자체 데이터를 가진 기업이 regret 없이 직접 구축하기 쉬운 모델 유형이다.

4.3. 동적 언어에서 Rust로 이어지는 소프트웨어 역사 비유

1. 생산성 때문에 범용·느슨한 도구를 먼저 선택한다

   1. 1990년대에는 Java와 C++가 주류였지만 Python·JavaScript·Ruby가 인터넷과 스타트업 개발을 빠르게 만들며 확산됐다.
   2. Stripe는 금융 회사인데도 Ruby로 구축됐고, Facebook은 PHP로 구축됐다는 사례가 소개됐다.
   3. 빠른 개발을 가능하게 한 언어는 스타트업에 큰 이점을 줬다.

2. 시간이 지나면 비용·안전·성능 때문에 특화 도구를 추가한다

   1. 동적 언어를 사용한 시스템은 버그가 많고 느려지면서 타입 시스템과 JIT compiler를 추가했다.
   2. 결국 Rust가 등장해 JavaScript와 Python으로 처리하던 일부 업무를 더 안전하고 빠르게 담당할 수 있게 됐다.
   3. AI에서도 처음에는 AGI급 모델 하나를 여러 용도에 사용하지만, 사람들은 곧 낭비와 위험이 불필요하게 크다는 사실을 깨닫게 될 수 있다.
   4. CSV를 업로드하면 한 가지 일만 하는 특화 모델을 바로 얻는 기능이 널리 제공될 수 있으며, Replit도 그 capability를 추가하고 있다.

5. 여러 모델을 결합하는 neurodiversity와 fusion

멀티모델의 핵심은 모델을 단순히 번갈아 부르는 것이 아니라, 서로 다른 학습 데이터와 강점을 하나의 더 효율적인 시스템으로 결합하는 것이다.

5.1. 코드 리뷰에서 fusion 연구로

1. 서로 다른 모델로 결과를 교차검증한다

   1. Alex가 서로 다른 model family를 사용해 주 모델의 결과를 double-check하는 모습을 처음 본 사례는 code review였다.
   2. 한 모델의 답을 다른 모델이 검사하면 단일 모델이 놓친 오류와 관점을 찾을 수 있다.
   3. 이는 모델들이 서로 다른 방식으로 학습됐다는 점을 품질 향상에 활용하는 방법이다.

2. mixture·composite model 연구가 빨라지고 있다

   1. 수년 동안 mixture of models와 composite models 연구는 느리게 진행됐다.
   2. 최근에는 여러 AI agent lab이 fusion 방식을 실제 제품으로 가져오고 있다.
   3. OpenRouter는 deep research에 초점을 둔 fusion tool/model을 출시했고, Cognition도 유사한 fusion 제품을 내놓았다.
   4. 여러 모델의 아이디어 탐색 폭을 넓히면서 비용을 낮추는 것이 fusion의 장점이다.

5.2. 비용과 품질의 실측 결과

1. 서로 다른 데이터 출처를 합쳐 같은 품질을 더 낮은 비용으로 낸다

   1. 모델마다 학습 데이터의 출처와 강점이 다르므로 모두에서 결과를 가져오는 편이 합리적이다.
   2. OpenRouter의 초기 fusion 출시는 deep research용이었고, Fable 수준의 품질을 약 2배 낮은 비용으로 달성했다고 설명됐다.
   3. fusion은 단일 frontier 모델의 능력을 단순히 평균내는 것이 아니라, 여러 모델의 탐색과 결과를 조합한다.

2. Replit의 deep research 결과는 frontier 비용을 40~50%로 낮췄다

   1. Replit은 같은 날 deep research 결과를 공개했고, 여러 모델과 harness를 조합한 fusion형 시스템을 사용했다.
   2. 결과는 frontier-level 품질을 원래 비용의 40~50% 수준에서 달성하는 것이었다.
   3. 사용 모델은 시간에 따라 바뀌며, 시스템은 특정 모델 이름에 고정되지 않는다.

5.3. cache-aware router 설계

1. 계산 결과를 모델 사이에서 재사용하면 효율이 커진다

   1. OpenAI는 서로 다른 model family와 effort level 사이에서 계산을 저장·재사용하는 기능을 추가한 것으로 언급됐다.
   2. effort를 바꿔도 cache를 놓치지 않는다는 의미이며, 서로 다른 모델 간에도 가능한지는 Alex가 확신하지 않아 추가 확인이 필요하다고 말했다.
   3. 같은 OpenAI family 안에서 cache를 유지하는 것만으로도 효율이 커지고, 다른 모델을 함께 쓰는 시스템에서도 cache reuse는 중요한 최적화가 된다.

2. Router와 fusion의 핵심 설계 변수는 cache 인식이다

   1. cache-aware 방식은 fusion model, router, escalation model을 설계할 때 가장 중요한 요소 중 하나다.
   2. 모델을 여러 개 조합하더라도 앞 단계 계산을 매번 다시 하면 비용 절감이 사라진다.
   3. 따라서 멀티모델 시스템의 품질뿐 아니라 캐시 적중률, 모델 전환 비용, effort 조절을 함께 최적화해야 한다.

주요 발언 모음

“OpenRouter는 기업이 모델 lock-in 없이 AI 회사를 만들고, 생태계가 커질 때 계속 성능 frontier로 이동하도록 돕는다.”

“Stripe와 OpenRouter는 모두가 하나의 거대 회사에 속하기보다, 세상에 많은 새로운 회사를 만들고 싶어 한다.”

“기업은 자기 intelligence를 소유해야 한다. AI는 기능 하나를 체크하고 끝나는 문제가 아니라 내부에 축적되는 역량이다.”

“범용 에이전트에 일을 더 맡길수록 내가 무슨 일이 일어나는지 이해하는 정도를 희생하지만, 현재 에이전트는 그 책임을 대신 지지 않는다.”

“사람은 generalist여야 하지만 기계는 궁극적으로 훨씬 더 specialized해져야 한다.”

“모든 업무에 AGI 모델을 쓰는 것은 나비를 잡는 데 핵무기를 쓰는 것과 같다.”

“결정 모델은 tool call과 에이전트 간 통신을 빠르고 싸게 검사하는 policy enforcement 계층이 될 수 있다.”

“언젠가 우리는 컴퓨터가 시키는 대로 정확히 하던 결정론적 코드가 얼마나 좋았는지 깨닫게 될 것이다.”

“Fusion 시스템은 frontier 수준의 품질을 40~50% 비용으로 제공할 수 있다.”

핵심 데이터 & 수치

• Stripe 인수 시점: Alex의 설명상 2026년 7월 무렵 접촉 후 협상이 빠르게 진행됐다.
• 기업의 미래 시장을 둘러싼 규모 비유: SpaceX S-1 관련 논의에서 30조 달러가 언급됐고, 세계 GDP는 100조 달러라는 반응이 나왔다.
• 안전한 frontier 모델의 비용 프리미엄: 코드 작성·보안 연구처럼 위험한 업무에는 10배 비용을 지불할 가능성이 언급됐다.
• 비용 예측 모델: Replit은 5~10달러, 10~20달러 같은 bucket별 확률을 반환하는 cost estimator를 훈련했다.
• 작은 모델: Qwen 8B 계열이 전문 classifier의 예시로 언급됐다.
• OpenRouter fusion: Fable 수준 품질을 약 2배 낮은 비용으로 달성했다고 설명됐다.
• Replit deep research: frontier-level 품질을 원가의 40~50% 수준으로 달성했다고 발표했다.
• 평가 기간: 기만 여부를 제대로 평가하려면 큰 목표를 주고 수개월 동안 실행해야 할 수 있다.
• 일상 업무의 정보 연결 예시: 1년 전 conference 만남, 현재 calendar, Salesforce, GitHub, sales team 논의를 하나의 관계망으로 연결했다.

결론 및 시사점

1. Stripe의 OpenRouter 인수는 단일 모델 공급자에 종속되지 않는 중립적 AI 인프라와 창업 생태계를 확대하려는 전략적 결합이다.
2. 기업은 특정 foundation model 회사가 잠재적 경쟁자로 변할 위험까지 고려해 모델·클라우드·데이터의 독립성 계층을 확보해야 한다.
3. 에이전트의 공통 기능은 웹의 로그인과 데이터베이스처럼 기본 primitive가 될 뿐이며, 진짜 경쟁력은 안전하게 기업 업무를 수행하는 연결·권한·workflow에 있다.
4. 범용 에이전트는 서로 다른 데이터의 시너지를 만들지만, 사용자가 무엇을 위임했고 무엇을 이해하지 못하게 됐는지 추적하기 어렵다.
5. 업무별 전문 에이전트, chief-of-staff형 조정자, 명시적 접근 권한, quality check를 조합하면 책임과 이해의 희생을 조절할 수 있다.
6. 에이전트 간 통신에는 자연어만으로는 부족한 격리·권한·DSL·정책검사 계층이 필요하다.
7. decision model은 tool call과 agent-to-agent 통신을 저비용으로 차단·허용하는 핵심 안전 인프라가 될 수 있다.
8. 더 큰 모델이 자동으로 더 정직하거나 더 안전해진다는 보장은 없다. reward hacking, deception, sandbagging, 평가 인식 문제를 장기간 평가해야 한다.
9. 구조화된 출력과 업무 전용 작은 모델은 자유로운 텍스트 생성을 줄여 오작동 공간을 줄이고, 기업이 직접 통제하기 쉽다.
10. proprietary data로 학습한 classifier는 일반 LLM보다 model debt가 적고 오래 유지될 가능성이 있다.
11. AI 업계는 동적 언어에서 타입·JIT·Rust로 이동한 소프트웨어 역사처럼, 범용 AGI 모델에서 업무별 특화 모델로 이동할 수 있다.
12. 서로 다른 모델을 결합하는 fusion과 neurodiversity는 단일 frontier 모델의 품질을 유지하면서 비용과 탐색 범위를 개선하는 실용적 경로다.
13. 멀티모델 라우터는 모델 이름만 고르는 시스템이 아니라 cache 적중률, effort, 모델 전환 비용, 결과 검증까지 최적화해야 한다.
14. AI의 장기적 미래는 하나의 신화적 AGI가 모든 업무를 맡는 모습보다, 다양한 전문 모델과 독립성·안전성 계층이 조합된 생태계에 가까울 수 있다.