OpenRouter CEO: Why Chinese Open Models Are Beating the US | Why Enterprises Fear OpenAI & Anthropic

URL: https://www.youtube.com/watch?v=K72oZoloA4M
날짜: 2026-08-10 (원본 업로드일)
채널: 20VC with Harry Stebbings
출연: Alex Atallah, OpenRouter 공동창업자·CEO (이전 OpenSea 공동창업자)

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI 모델 시장은 하나의 승자가 독식하는 시장이 아니라, 다양한 모델·추론 공급자·라우터·하니스가 서로 경쟁하고 조합되는 거대한 멀티모델 생태계가 되며, 현재 중국 오픈웨이트(open-weight) 모델이 미국보다 빠르게 발전하는 이유는 국가적 집중과 규제·자본·컴퓨트의 동원력에 있다.==

• OpenRouter의 관측에서는 중국 모델이 상위권을 차지하지만, 직접 프런티어 API를 호출하는 기업이 통계에 빠져 있어 전체 시장을 완전히 대표하지는 않는다.
• 기업은 OpenAI·Anthropic 같은 프런티어 모델보다 오히려 데이터 정책, 저장 위치, 자가 호스팅 가능성의 불확실성 때문에 더 불안해할 수 있다.
• 라우팅은 단순한 게이트웨이가 아니라, 수백 개 모델과 추론 공급자의 품질·속도·가격·가용성을 계속 측정해 사용자의 선택권과 협상력을 보존하는 인프라다.
• 미국은 컴퓨트와 연구 인재라는 우위를 아직 갖고 있지만, 중국은 DeepSeek·Moonshot·ByteDance 같은 국가적·기업적 챔피언에 자원과 정책을 집중할 수 있어 격차가 커질 가능성이 있다.

Alex Atallah의 결론은 OpenRouter가 특정 모델의 독점이 되는 것을 막고, 새 모델과 공급자가 등장할 때 누구나 쉽게 발견하고 기존 AI 시스템에 연결할 수 있게 하는 것이 안전한 AI 접근과 생태계의 다양성에 중요하다는 것이다. 기업은 한 가지 모델에 종속되기보다 자체 특화 모델을 브랜드·업무 핵심으로 보유하면서도, 나머지 업무는 여러 모델을 가격과 성능에 따라 조합하게 된다.

1. OpenSea에서 OpenRouter로: 폭발적 수요를 견디는 인프라

OpenRouter의 운영 철학은 OpenSea에서 겪은 트래픽 폭발과 장애를 AI 추론 인프라에 적용한 결과다.

1.1. OpenSea에서 배운 예측 불가능한 성장

1. 작게 시작한 팀과 갑작스러운 NFT 붐

   1. 초기 운영 방식: OpenSea는 최초의 NFT 마켓플레이스 중 하나였고, Series A 전후까지 팀을 매우 작게 유지했다.
   2. 2020년 10월의 전환점: NFT가 폭발하기 시작하자 팀은 자신들이 심각하게 인력 부족 상태라는 것을 알게 됐고, 서버가 녹아내리며 검색 인덱스(search index)가 폭발했다.
   3. 장애의 공포: 여러 차례 큰 장애가 발생해 사이트를 유지하기 어려웠으며, Alex는 “암호화폐판 트위터 실패 고래(Twitter fail whale)가 되는 것”이 가장 큰 걱정이었다고 농담했다.

2. 10배 부하를 가정한 확장성

   1. 팀·플랫폼·인프라 재정비: 목표는 팀을 만들고 플랫폼과 인프라를 통제해 예측 가능한 확장(predictable scaling)이 가능하도록 하는 것이었다.
   2. 부하 테스트: 실제로 그런 트래픽을 아직 보지 못했더라도 10배 부하를 견디도록 load testing을 했다.
   3. 커뮤니티 의존성: 암호화폐 서비스의 트래픽은 콘텐츠와 커뮤니티에 따라 갑자기 치솟기 때문에 언제 얼마나 몰릴지 알 수 없었다.

1.2. OpenRouter에 가져온 운영 원칙

1. 항상 켜져 있는 서비스

   1. 신뢰 가능한 기반: OpenRouter에서도 대규모 급증과 요동치는 시장 속에서 사람들이 의존할 수 있는, 기본적으로 항상 작동하는 서비스를 만드는 데 시간을 썼다.
   2. AI와의 유사성: AI 회사들, 특히 Anthropic도 예측하기 어려운 성장 곡선을 경험하고 있으며 OpenRouter 역시 비슷한 성장을 겪었다.
   3. 장애보다 중요한 준비: OpenRouter에도 몇 번의 문제가 있었지만 OpenSea 때의 경험 덕분에 전반적으로 훨씬 나은 방식으로 대응할 수 있었다.

2. 초기 시장의 신호

   1. 새로운 시장의 모양은 미리 정해지지 않는다: 초기 OpenRouter는 오픈웨이트 모델을 누가 호스팅할지조차 예상하지 못했다.
   2. 관측을 제품으로 연결: 실제 사용량과 공급자별 동작을 계속 관찰하고, 변화가 발견되면 라우팅과 제품에 즉시 반영하는 것이 핵심이 됐다.

2. 오픈웨이트 모델을 둘러싼 추론 공급자 시장

OpenRouter의 창업 당시 예상과 달리, 오픈웨이트 모델의 호스팅·서빙을 담당하는 전문 추론 공급자(inference provider) 생태계가 형성됐다.

2.1. 하이퍼스케일러 독점이 되지 않은 이유

1. 초기 가설과 실제 결과

   1. 예상: AWS·Google·Azure 같은 세 하이퍼스케일러가 모든 오픈웨이트 모델을 서비스하는 독점 구조가 될 수 있다고 생각했다.
   2. 실제 사용: 사람들은 하이퍼스케일러에서 GLM을 돌리기보다 Fireworks, Together 등 전문 추론 공급자를 사용한다.
   3. 전문성의 차이: 전문 공급자는 새 모델을 훨씬 빨리 호스팅하고, 모델별 edge case를 찾아내며, 실제 서비스에 필요한 운영 문제를 해결했다.

2. OpenRouter 초기 제품

   1. Provider One·Provider Fallback: 초기에는 실제 호스팅 공급자를 사용자에게 드러내지 않고, 기본 공급자와 대체 공급자 형태로만 운영했다.
   2. 탐색 도구에서 마켓플레이스로: 당시 OpenRouter는 정식 마켓플레이스라기보다 새로운 LLM을 발견하고 실험하는 exploration tool에 가까웠다.
   3. 가용성은 자동으로 해결되지 않는다: 공급 측 회사가 늘어난다고 uptime 문제가 저절로 사라지지 않으며, 오히려 공급자별 품질을 계속 확인해야 한다는 사실을 배웠다.

2.2. 추론 공급자는 단순한 상품이 아니다

1. 공급 부족이 지속되는 시장

   1. 지속적인 부족: 현재 시장은 추론 capacity가 크게 부족하고, 대부분의 공급자가 계속해서 capacity 부족 상태다.
   2. GPU를 둘러싼 경쟁: Google·Amazon·Microsoft가 GPU를 모두 사들여 공급자를 없애지 못하는 이유는 GPU 제조사들이 한 고객에 집중되는 것을 원하지 않기 때문이다.
   3. NVIDIA의 이해관계: NVIDIA는 여러 고객에게 GPU를 나눠 배분해 고객 집중도를 낮추고, compute layer에서 이질성과 경쟁을 유지하려 한다.

2. 공급자별 최적화

   1. 생태계 전체의 이익: 다양한 공급자와 경쟁은 NVIDIA에도, 최종 사용자에게도 좋다.
   2. 같은 모델도 결과가 다르다: Moonshot이 Kimi K3의 추론 공급자별 벤치마크를 공개했듯이, 같은 모델이라도 서비스 속도·품질·가격·안정성의 수치가 크게 다르다.
   3. 계속 변하는 벤치마크: OpenRouter는 모든 오픈웨이트 모델을 모든 공급자에서 지속적으로 벤치마킹하며, 대형 모델은 5분 단위로도 결과가 크게 바뀔 수 있다고 본다.
   4. 비결정성: 추론 시스템은 고정된 상품처럼 결과가 같지 않다. 공급자별 하드웨어와 low-level 최적화가 실제 사용자 경험을 바꾼다.

3. “토큰은 토큰이다”라는 관점의 반박

   1. Lynn의 비유: Fireworks의 Lynn은 “토큰은 토큰”이라는 말을 정정하며, 한 공급자는 한 토큰으로 더 많은 일을 하게 만들 수 있다고 설명했다.
   2. 매장까지 가는 길: 같은 목적지라도 차로 한 블록을 빙 돌아갈 수 있고 곧장 갈 수도 있는 것처럼, 토큰도 효율적으로 쓰면 더 멀리 간다.
   3. 라우터의 역할: OpenRouter의 중앙 라우터는 품질 개선·속도 향상·가격 인하가 감지되는 즉시 해당 공급자에게 더 많은 트래픽을 보낸다.

2.3. 어떤 추론 공급자를 선택할 것인가

1. 중립성 유지

   1. 특정 공급자 추천 회피: Alex는 OpenRouter가 생태계의 중립적 인터페이스이므로 한 공급자에 투자하라는 질문에는 중립을 지켜야 한다고 답했다.
   2. 선호하는 유형: custom hardware와 매우 낮은 수준의 최적화(low-level optimization)를 수행하는 공급자를 높게 평가한다.

2. 파인튜닝의 이동성

   1. 기존 방식: 파인튜닝(fine-tuning)은 base model에서 완전히 독립된 새 모델을 만드는 방식인 경우가 많다.
   2. LoRA·카트리지: 공급자들은 여러 모델 사이에서 더 이동 가능한 LoRA 또는 cartridge를 만들고 있다.
   3. 향후 비용: base model layer를 바꾸는 데 드는 비용이 장래에는 수백 달러 또는 수십 달러 수준으로 내려갈 수 있다.

3. 멀티모델 미래와 라우터의 방어력

Alex는 기업이 자체 특화 모델을 갖더라도 모델 하나로 통합되지는 않으며, 오히려 멀티모델이 기업의 생산성과 협상력을 높인다고 주장한다.

3.1. 기업의 자체 모델은 OpenRouter에 위협이 아닌가

1. 전문화된 모델과 멀티모델의 공존

   1. 질문의 전제: 기업이 자신의 데이터로 특화 모델을 만들면 하나의 proprietary model에 고정되어 OpenRouter의 모델 선택 폭을 사용하지 않을 수 있다는 우려가 제기됐다.
   2. Alex의 반론: OpenRouter의 처음부터의 사명은 AI 생태계 전체의 “신경 다양성(neurodiversity)”을 늘리는 것이며, 멀티모델 미래는 불가피하다.
   3. 창의성의 원천: 한 모델이 모든 요구를 충족하더라도, 다른 데이터로 학습돼 전혀 다른 방식으로 말하고 사고하는 모델이 등장하면 두 모델을 함께 사용할 수밖에 없다.

2. 모델을 섞을 때 얻는 가치

   1. 창의성의 비검증성: 창의적인 아이디어에는 간단한 숫자를 부여하기 어렵지만, 서로 다른 데이터와 업데이트를 가진 모델을 함께 사용할 때 한 모델만 쓸 때보다 창의적인 아이디어가 나올 가능성이 높다.
   2. 기업의 게임이론: 모든 기업과 모델 연구소가 각자 새로운 모델을 만들면, 기업은 자신이 만든 모델만 고집할 이유가 없다.
   3. 실험의 이익: 다른 모델을 시험해 생산성을 높이고, 여러 모델을 합쳐 state-of-the-art 성능을 얻고, 비용을 낮출 수 있다.

3.2. 기업 브랜드와 “branded intelligence”

1. 자체 모델의 진짜 역할

   1. 브랜드의 일부: 기업이 만든 모델은 모든 시장을 이기는 범용 모델이 아니라 그 기업의 브랜드가 들고 다니는 지능(branded intelligence)이 된다.
   2. 전문성의 해자: 특정 업무에서 잘하는 것으로 알려진 모델은 기업의 중요한 moat가 될 수 있다.
   3. 지속적 개선: 자체 모델도 생태계 전체가 계속 발전하므로 계속 개선해야 하며, 시장 전체를 차지할 수는 없다.

2. 시장 규모

   1. 독식 불가능성: 이 시장은 기술 역사상, 어쩌면 인류 역사상 가장 큰 시장이 될 것이므로 어느 한 모델도 전체를 차지하지 못한다.
   2. 실행 방향: 기업은 자신에게 매우 중요한 한 분야를 특화하고, 나머지는 모델 생태계에서 가장 적절한 도구를 선택해야 한다.

3.3. 라우팅 기술이 빠르게 상품화되는가

1. 유행을 따라 만드는 게이트웨이

   1. 복제의 유혹: Ramp가 비슷한 제품을 내고, 투자한 Merge 등 여러 회사가 라우팅 기술을 내놓자 많은 회사가 유행에 따라 router 또는 gateway를 만들고 있다.
   2. 존재를 위한 경쟁: 이들은 실제로 이기는 것보다 기존 고객에게 AI 성장을 붙여 주기 위해 “경기에 참여하는” 상태가 될 수 있다.
   3. 집중도의 차이: OpenRouter는 최상의 router·gateway·LLM marketplace를 만드는 데 100% 집중해 왔으므로, 부가 기능으로 만든 회사보다 몇 달 앞서게 된다.

2. 사용자 레버리지의 문제

   1. 선택권은 협상력이다: 더 많은 모델에 접근할 수 있게 한다는 것은 AI에서 일어나는 모든 혁신에 대한 사용자와 개발자의 레버리지를 높이는 일이다.
   2. 종속성 축소: 특정 모델 하나에 의존하지 않고 전체 시장에 접근해야 기업이 새로운 모델을 즉시 시험할 수 있다.
   3. 불완전한 게이트웨이의 위험: 전체 시장·유연성·커스터마이제이션을 제공하지 않는 라우터를 사용하면, 회사의 직원들이 필요한 혁신에서 잘려 나간다.

3.4. OpenRouter의 가격과 수익 모델

1. 현재 가격 구조

   1. Pay-as-you-go: 기본 계획은 5.5% take rate를 받는다.
   2. Enterprise: 기업 플랜은 committed spend에 기반한 별도 가격 모델이며, 약정된 지출에는 수수료를 붙이지 않는 방식으로 성공적으로 운영되고 있다.
   3. 가격 인식의 문제: 일부 기업은 사용량이 커지자 라우팅 비용이 너무 비싸다고 생각해 자체 기술을 만들려 하지만, Alex는 기업이 Enterprise 플랜이나 더 세분화된 가격표를 아직 잘 모르는 경우가 많다고 했다.

2. 앞으로의 요금제

   1. Business self-serve: 더 합리적으로 사용할 수 있는 business self-serve 플랜을 곧 도입할 예정이다.
   2. Bring Your Own Inference: 기업이 자체 추론 capacity 또는 자체 API key를 OpenRouter에 가져오면 해당 수수료는 사라진다.
   3. 수수료가 발생하는 경우: OpenRouter의 capacity를 사용하고 Enterprise 플랜이 아닌 경우에만 수수료가 붙으며, 이는 공급 수요를 예측하기 위한 committed spend 모델과 연결된다.

3. 3년 뒤 주요 매출원

   1. 성장 가정: 전체 AI 시장이 향후 4년 동안 매년 10~15배 또는 그 이상 성장한다면 inference 수요가 계속 예상보다 커질 것이다.
   2. 핵심 문제: 기업과 스타트업은 사용할 inference capacity를 계속 과소평가하므로, 예상하지 못한 용량을 제공하고 failover·uptime을 보장하는 것이 OpenRouter 매출의 중심이 된다.
   3. 거시경제 변수: 이런 성장률이 무한히 지속될 수는 없고 경제에는 한계가 있다. 성장률이 낮아지면 major SMB SaaS 같은 고객군의 성장 방식도 달라질 수 있다.

3.5. 토큰 가격 하락은 오히려 사용량을 키운다

1. Jevons paradox

   1. 가설: 토큰 가격이 10배 내려가면 사용량이 10배보다 더 크게 늘어날 수 있다는 Jevons paradox가 추론 시장에도 나타난다.
   2. 실증 사례: 영상에서 언급된 OpenRouter의 Luna 모델은 OpenAI의 5배 가격 인하 뒤 OpenRouter와의 조정으로 다시 2배 인하되어, 약 2주 동안 총 10배 저렴해졌다.
   3. 사용량 변화: 가격이 10배 내려간 뒤 사용량은 13배 늘었고, 이후 13배 수준에서 안정화된 뒤에도 이전과 비슷한 성장률을 보였다.

2. 시장 내 순위 변화

   1. 경쟁 환경: 이 현상은 DeepSeek 출시와 GLM의 저렴한 가격이 동시에 존재하는 상황에서도 나타났다.
   2. Luna의 역전: Luna는 OpenRouter에서 이제 GLM보다 많이 사용되며, GLM은 과거 토큰 사용량 상위 3~4개 모델 중 하나였지만 순위가 뒤집혔다.
   3. OpenAI 모델의 재등장: OpenAI 모델이 OpenRouter에서 토큰 사용량 상위 3~5개에 들어온 것은 매우 오랜만의 일이었다.

4. OpenRouter 데이터가 시장 전체를 얼마나 반영하는가

OpenRouter의 순위는 멀티모델을 적극적으로 사용하는 시장을 잘 보여주지만, 프런티어 모델의 전체 사용량을 그대로 나타내는 지표는 아니다.

4.1. 대표성의 한계

1. 직접 호출되는 프런티어 API

   1. 시장 점유 범위: OpenRouter가 전체 토큰 사용량의 약 1.5~2%일 수 있다는 질문이 제기됐다.
   2. 누락되는 사용자: OpenAI·Anthropic·Gemini 같은 프런티어 API를 직접 호출하는 기업은 OpenRouter 순위에 잡히지 않는다.
   3. 중국 모델 상위권의 해석: OpenRouter에서 상위 5개 모델이 중국 모델이라는 사실은 멀티모델을 쓰는 개발자와 기업의 선택을 반영하지만, 프런티어 API 전체 사용량과 동일한 의미는 아니다.

2. OpenRouter의 보정 방법

   1. 설문과 외부 자료: 고객 설문과 다른 기관의 조사를 활용해 OpenRouter 데이터가 실제 시장과 얼마나 다른지 추정한다.
   2. 구조적 편향: OpenRouter의 멀티모델 가설을 믿고 여러 모델을 원하는 회사가 더 많이 들어오므로, “우리는 OpenAI만 쓰는 회사”는 거의 관측되지 않는다.
   3. 시간에 따른 개선: 기업들이 모델 하나만 쓰는 전략에서 벗어나 다른 모델을 필요로 할수록, OpenRouter 데이터는 더 대표성을 갖게 된다.

5. 왜 기업은 중국 모델보다 미국 프런티어 모델을 더 두려워하는가

모델의 국적보다 기업이 실제로 통제할 수 있는 데이터 흐름과 인프라의 불확실성이 더 큰 불안 요소가 될 수 있다.

5.1. 얇은 AI 래퍼의 취약성

1. 프런티어 모델 제공자의 침투 동기

   1. 현재의 안전한 시장: 어떤 스타트업이 특정 시장에 AI를 공급하고, 통합과 system prompt 커스터마이제이션을 제공하는 thin go-to-market wrapper라면 모델 연구소가 그 시장을 중요하게 여기지 않는 동안에는 살아남을 수 있다.
   2. 팀 단위 종속: 그러나 모델 연구소는 자신들이 중요하게 여기는 기업 안에서 여러 팀을 자기 모델에 의존하게 만들 유인이 있다.
   3. Claude Design의 전략성: Claude Design이 Anthropic에 큰 매출을 주지는 않더라도 디자인 팀이 Anthropic 모델에 애착과 의존성을 갖게 만들 수 있다. 그러면 한 기업 안에 Anthropic을 계속 쓰고 싶어 하는 전략적 팀이 하나 더 생긴다.

2. 가장 가까운 위협

   1. 표적 시장의 변화: 특정 모델 연구소가 중요하다고 판단한 팀을 위해 제품을 만드는 스타트업은 모델 연구소와 직접 경쟁하게 된다.
   2. Figma 사례: 진행자는 여러 창업자가 Figma에서 Claude Design으로 옮겨가며 Figma 사용량이 잠식된다고 말했지만, Alex는 아직 반복적으로 확인되는 이야기를 듣지는 못했다고 답했다.
   3. 현재 지표: OpenRouter 내부 디자이너들도 Claude Design을 시험했지만, Figma의 실적은 여전히 매우 좋았다. 진행자는 Figma가 좋은 실적을 발표했는데도 주가가 하락한 상황을 공개 기업의 고충으로 농담했다.

5.2. 기업이 프런티어 모델을 더 불안해하는 이유

1. 데이터 정책의 불투명성

   1. 무슨 일이 일어나는가: 기업은 프롬프트가 실제로 어떻게 처리되고 저장되며 누가 볼 수 있는지 충분히 알기 어렵다.
   2. 통제권 부족: 프런티어 모델은 기업이 직접 장비에서 실행하거나 원하는 공급자에서 실행할 수 없는 경우가 많다.
   3. VPC 비유: 자체 인프라에서 실행하는 것과 VPC 안에서 누가 데이터를 볼 수 있는지 통제하는 것의 차이와 비슷한 불확실성이 생긴다.

2. 중국 모델과의 역설

   1. 실제 답변: Alex는 기업이 중국 모델보다 미국 프런티어 모델을 더 걱정하는 경우가 많다고 봤다.
   2. 이상한 현실: 실리콘밸리에 본사가 있고 리더를 직접 볼 수 있는 미국 기업을 더 불안해한다는 것은 역설적이다.
   3. 사이버 보안: 동시에 현재 프런티어 모델 회사들이 가장 강한 cyber posture를 갖추고 있다는 점도 인정했다.

5.3. 모델 관련 사이버 사건을 공개해야 하는가

1. 공개 의무
   1. 사건 공개: OpenAI, Anthropic, Meta 등이 “우리가 해킹당했다”고 연이어 발표하는 것이 자랑처럼 보일 수 있지만, 모델과 관련된 사이버 사건을 숨기는 것은 장기적으로 작동하지 않는다.
   2. 올바른 선택: 사건을 공개할지 선택해야 한다면, 사람들이 어떻게 해석할지와 무관하게 공개하는 것이 옳다.
   3. 과장과 투명성의 구분: 각 회사가 실제로 자랑하려는지, 혹은 책임 있게 공개하는지는 외부에서 단정하기 어렵다.

6. 중국 오픈 모델의 품질, 검열, 그리고 미국과의 격차

Alex는 중국 오픈웨이트 모델의 속도와 품질을 심각하게 받아들이며, 12개월 뒤 격차가 더 커질 것을 우려했다.

6.1. 현재의 품질과 모델별 특징

1. Kimi와 GLM

   1. Kimi의 위치: 최신 Kimi는 상당히 좋지만, 프런티어 모델만큼 cyber capable하지 않고 긴 시간의 long-horizon task에서는 아직 뒤처진다.
   2. GLM 5.2: GLM 5.2는 오픈웨이트 모델에 있어 매우 큰 도약이었다.
   3. Kimi의 추격: Kimi는 Moonshot이 GLM 5.2 수준에 올라온 사례로 볼 수 있다.

2. 코딩과 글쓰기의 균형

   1. Kimi의 강점: Kimi는 writing의 voice와 tone이 좋다.
   2. 프런티어 모델의 문제: 일부 프런티어 모델은 코딩 능력이 좋아지는 대신 목소리와 가독성이 저하된다.
   3. 읽기 어려운 출력: “네 가지 주장 중 세 개는 맞고 하나는 전환점이다”처럼 문장 구조가 꼬여 무엇을 말하는지 읽기 어려운 경우가 생긴다. Alex는 이 문제는 고칠 수 있다고 봤다.

6.2. 중국이 국가적 챔피언을 밀어주는 구조

1. DeepSeek와 Moonshot의 효과

   1. 국가적 집중: DeepSeek가 중국의 국가적 챔피언이 되면 Xi Jinping이 그 모델을 AI 전쟁의 말로 정하고 돈과 노력을 집중할 수 있다.
   2. 규제 완화: Moonshot 같은 다음 모델이 등장하면 관련 규제와 정책이 뒤로 밀리고, 자금이 풀리며, 목표 달성에 필요한 활동이 폭넓게 허용될 수 있다.
   3. 미국의 어려움: 미국에서 오픈소스 모델 회사를 세우고 수십억 달러를 조달하는 것은 불가능하지는 않지만, 사업모델이 불명확하고 연구 비용이 크며 OpenAI·Anthropic과 경쟁해야 하므로 더 어렵다.

2. 연구 인재에 대한 과소평가

   1. 연구자 수준: 중국에는 매우 뛰어난 연구자들이 있으며, 미국이 이를 과소평가한다고 Alex는 말했다.
   2. 비교 지형의 비대칭: 중국 오픈 모델 제공자는 국가적 지원을 받을 수 있지만, 미국 오픈 모델은 자본시장과 경쟁 환경을 동시에 설득해야 한다.
   3. 12개월 전망: 미국 오픈소스와 중국 오픈소스 사이의 간극이 작아지기보다 커질 것이 Alex의 우려다.

6.3. 중국 모델의 검열과 Great Firewall

1. 국외와 국내의 극단적 차이

   1. 국외 능력: 중국 모델은 중국 밖에서 사용할 때 매우 강력한 능력을 보여준다.
   2. 국내 제약: 중국 안에서는 guardrail이 매우 엄격하고 금지적이어서 능력이 상대적으로 제한된다.
   3. 실제 사례: 진행자의 지인 Jason이 중국에서 SaaS를 운영하다가 DeepSeek에 Starbucks가 몇 시에 여는지 물었지만, 기본적인 질문에도 “허용되지 않음”이라는 답을 받았다고 전했다.

2. 아직 답이 없는 질문

   1. 방화벽을 넘는 정보의 범위: DeepSeek가 중국 내 인터넷에서 얻을 수 있는 정보보다 실제로 얼마나 더 멀리 접근할 수 있는지에 대한 깊이 있는 비교가 거의 없다.
   2. 정책의 지속 가능성: 중국이 모델의 국제적 중요성을 계속 키운다면 Great Firewall을 모델에도 유지할지, 국가적 확산을 위해 완화할지 알 수 없다.
   3. 검열의 역설: 중국 모델은 해외에서는 미국 모델을 위협할 만큼 강력하지만 국내에서는 매우 기초적인 요청도 거부할 수 있다는 역설이 있다.

7. 미국 오픈 모델 생태계를 회복시키는 방법

미국이 중국과 더 치열하게 경쟁하려면 기존 미국 연구소를 활용하고, distillation과 compute를 빠르게 연결해야 한다.

7.1. 중국 모델 distillation 활용

1. distillation을 통한 추격

   1. 첫 단계: 미국의 현재 모델 연구소와 중국 모델을 distill하는 것이 실제로 어떤 모습이며 얼마나 효과적인지 먼저 대화하고 측정해야 한다.
   2. 오픈웨이트의 허용: 중국 오픈웨이트 모델 대부분은 distillation을 허용하므로, 모델의 출력을 가져와 새 모델 위에 reinforcement learning을 수행할 수 있다.
   3. 일반적인 연구 관행: 모델의 유용한 행동을 다른 모델에서 학습하는 것은 모든 AI 연구소가 사용하는 중요하고 일반적인 방법이다.

2. 정렬(alignment) 점검의 이점

   1. 출력 검토: distillation 과정에서는 교사 모델의 출력을 직접 볼 수 있다.
   2. 목소리와 헌법 확인: 새 모델의 voice 또는 constitution과 맞지 않는 행동이 있는지 RL rollout 단계에서 점검할 수 있다.
   3. 오해의 해소: distillation은 모델을 만드는 기법이지 그 자체로 잘못된 행위가 아니다. 폐쇄형 모델 연구소도 더 큰 모델의 지식을 작은 모델에 옮긴다. Alex는 Claude Sonnet이 Claude Opus의 부분적으로 distilled된 버전이라는 예를 들었다.

7.2. distillation의 권리와 약관

1. 연구소의 통제권

   1. Terms of Service: 모델 연구소는 경쟁 모델을 만들기 위해 자신들의 서비스를 distill하는 것을 약관으로 금지할 권리가 있다.
   2. 접근 차단: 회사는 경쟁 모델을 만들려는 사용자나 기업의 접근을 끊을 수 있다.
   3. 비경쟁적 사용: 특정 한 가지 작업만 잘하는 작은 모델을 만드는 경우는 경쟁 모델이 아니므로, Alex가 아는 범위에서 대부분의 프런티어 연구소는 이를 금지하지 않는다.

2. 공존하는 시장

   1. 허용 모델과 금지 모델: 앞으로 distillation을 허용하는 회사와 허용하지 않는 회사가 함께 존재할 것이다.
   2. OpenRouter의 역할: OpenRouter는 양쪽의 약관을 모두 지킬 수 있도록 지원해야 한다.

7.3. 컴퓨트와 칩 경쟁

1. 미국의 현재 우위

   1. 컴퓨트 접근성: Alex는 미국이 아직 중국에 비해 compute에서 큰 우위를 가진다고 봤다.
   2. 인재와 컴퓨트 연결: 미국의 새로운 neolab들이 제대로 경쟁하려면 뛰어난 인재에게 적절한 컴퓨트를 쉽게 연결해 줘야 한다.
   3. 협력 대상: NVIDIA뿐 아니라 Google의 TPU, Amazon의 Trainium, 새로운 AI 칩 회사들과 협력해야 한다.

2. 우위가 오래가지 않을 수 있는 이유

   1. 중국의 자체 칩: DeepSeek와 ByteDance가 수출 통제 때문에 자체 칩을 공격적으로 개발하고 있다.
   2. 정치적 긴급성: 진행자는 이것이 Xi Jinping이 AI 전쟁에서 이기려 할 때의 가장 큰 문제라고 봤다.
   3. 개발 속도에 대한 농담: 진행자는 다리를 4주 만에 지을 수 있다면 중국은 칩을 6개월 만에 만들 것이라고 과장 섞인 비유를 했다.
   4. 미국의 과제: 미국이 chip war에서 계속 앞서가는 것이 결정적으로 중요하다.

8. 모델 충성도, 메모리, 하니스의 미래

모델이 많아져도 개발자가 모두 즉시 갈아타는 것은 아니다. 작동하는 앱, 가격, 신뢰, 개인화된 메모리가 실제 유지(retention)를 만든다.

8.1. 개발자가 모델을 바꾸지 않는 이유

1. 전환 비용을 낮추는 OpenRouter

   1. 쉬운 실험: OpenRouter는 새 모델이 나왔을 때 사람들이 쉽게 시험할 수 있도록 switching cost를 거의 0에 가깝게 만들려 한다.
   2. retention·churn 측정: 모델별 유지율과 이탈을 측정하고, 모델 연구소가 요청하면 어떤 모델이 트래픽을 보냈고 사용자가 어디로 이동했는지 공유한다.
   3. 향후 공개: 이런 데이터의 더 많은 부분을 장래에 생태계 전체에 공개할 예정이다.

2. 개발자의 잔류 요인

   1. 이미 작동하는 앱: 지원 봇이 이상한 말을 하기 시작하면 곤란하므로, 개발자는 이미 최적화와 guardrail을 끝낸 모델을 쉽게 바꾸지 않는다.
   2. 가격의 역전: 새 모델이 항상 더 싸지는 것은 아니다. 새 능력이 등장하면 새 모델 가격은 높게 시작하고, 기존 모델 가격이 시간이 지나며 내려가는 경우가 많다.
   3. 출력에 대한 신뢰: 개발자는 모델의 말투와 결과를 신뢰하게 되며, 자신만의 random test 또는 personal eval을 갖는다. 새 모델이 그 시험을 통과하지 못하면 더 좋아 보이더라도 기존 Kimi K2.6 같은 모델을 계속 쓸 수 있다.

8.2. 메모리는 어느 계층에 귀속되는가

1. 가능한 네 위치

   1. 모델 계층: 모델에 메모리가 있으면 개인화 벤치마크에서 가장 높은 지능을 낼 가능성이 있다.
   2. 추론 공급자 계층: 모델을 실제로 실행하는 provider가 메모리를 관리할 수 있다.
   3. 앱 계층: 앱이 메모리를 가지면 앱 업무에 가장 맞는 맥락을 확보하면서 모델에 종속되지 않는다.
   4. 인프라·라우터 계층: 여러 모델을 연결하는 인프라가 사용자 이력을 보유할 수도 있다.

2. 계층 간 경쟁

   1. 모두가 메모리를 원한다: 각 계층은 서로 다른 장점이 있으므로 모델 연구소, 앱, 공급자, 라우터가 모두 메모리를 소유하려 할 것이다.
   2. 결합의 미지수: 모델 내부 메모리와 앱 또는 인프라 메모리를 동시에 사용하면 더 좋아질지, 모델이 혼란스러워질지는 아직 모른다.
   3. 앱 맥락의 독점성: 앱은 모델 연구소가 갖지 못한 사용자의 중요한 업무 맥락을 보유하므로, 한 계층이 모든 가치 있는 메모리를 차지할 수는 없다.
   4. 협력의 필요: 모델 연구소가 메모리를 강화하려면 앱이 자신들의 맥락을 제공하도록 유인해야 한다.

8.3. 모델·에이전트·하니스는 독립적으로 남는가

1. 모델 선택에 대한 초기 확신

   1. 2023~2024년의 가정: 초기 AI 앱들은 사용자가 어떤 모델을 쓰는지 신경 쓰지 않고 “그냥 AI”를 원한다고 생각했다.
   2. OpenRouter의 반대 가설: 사용자는 자신이 누구와 대화하는지 알고 싶어 하듯 어떤 모델과 대화하는지 알고 싶어 할 것이다.
   3. 실제 전개: Notion에서 모델을 직접 고를 수 있게 된 것처럼 사용자의 모델 선택 욕구가 확인됐다.

2. 하니스의 지속성

   1. 하니스는 UX다: 개발자들은 특정 harness에 affinity를 갖기 시작했고, 이는 모델을 감싼 실행 경험 자체가 제품이기 때문이다.
   2. 시스템 프롬프트의 부담: 모델이 좋아질수록 system prompt에 쌓아 둔 불필요한 지시가 오히려 handicap이 될 수 있다.
   3. Anthropic의 관찰: Anthropic은 system prompt에서 내용을 덜어내자 뒤의 사용자 프롬프트에서 모순이 줄고 성능이 좋아졌다는 분석을 발표했다.
   4. 하니스의 적응: 최신 프런티어 모델과 더 잘 작동하기 위해 하니스들이 코드를 삭제하는 현상은 하니스가 사라진다는 뜻이 아니라 계속 적응한다는 뜻이다.

3. 하니스가 갖는 사업적 가치

   1. 사용자 관계 소유: 모델 연구소가 아닌 개발자도 하니스를 통해 사용자 경험과 사용자 관계를 소유할 수 있다.
   2. 경제적 계층: 모델 위에 구축되는 하니스는 경제에서 매우 가치 있는 계층으로 더 많이 등장할 수 있다.

8.4. 하니스와 앱의 차이

1. 합성 가능성(composability)

   1. 하니스의 조합: 하나의 하니스가 다른 하니스를 호출하거나, 클라우드 sandbox에서 또 다른 하니스를 실행할 수 있다.
   2. 앱보다 결정적: 앱을 조합할 때보다 더 reliable하고 deterministic하며 사용자가 확장하기 쉽다.

2. Unix와 Bash의 이점

   1. 학습된 기반: 하니스는 Unix 기반이고 모델은 Unix와 Bash command에 매우 잘 학습돼 있다.
   2. 앱 조합의 unknown unknowns: 앱을 조작하려면 로그인 방법, 비밀번호, 가상 브라우저, API 위치, 문서 탐색 등 알 수 없는 문제가 계속 나온다.
   3. 하니스 조합의 예측 가능성: 하니스는 이런 unknown unknowns가 매우 적고, 실행되는 API call과 코드를 직접 볼 수 있다.
   4. 자연어 검사: 개발자는 화면에 코드가 흐르는 것을 보거나 하니스 내부로 들어가 무슨 일이 일어나는지 영어로 물을 수 있어 더 사용자 친화적이다.

9. 모델 유틸리티화, Meta Muse, 그리고 에이전트 아키텍처

사용자가 브랜드에 충성하기보다 여러 모델을 시험하고 결과를 고르는 방향으로 가면, 모델 계층은 유틸리티가 되고 라우터와 오케스트레이터의 중요성이 커진다.

9.1. Meta의 Muse가 경쟁자가 될 가능성

1. Meta의 장점

   1. 자원: 새로운 모델 연구소를 처음부터 세우는 데는 시간이 걸리고 조직적 부채가 생기지만, Meta는 serious challenger가 될 만한 자원을 갖고 있다.
   2. 소셜 그래프: 모델 연구소들이 크게 관심 두지 않는 사람 중심의 소셜 네트워크와 브랜드를 활용할 수 있다.
   3. 차별화 필요: Grok·xAI/SpaceX AI와 마찬가지로 Meta도 어떤 분야에서 확실히 더 좋은지 niche를 찾아야 한다.

2. 현재의 과제

   1. Muse Spark의 사용 이유: 사람들은 아직 Muse Spark를 언제 써야 하는지, 핵심 장점이 무엇인지 명확히 모른다.
   2. 제품 방향: 코딩 하니스를 출시했고 현재는 범용 모델을 지향하지만, 앞으로는 “우리는 이 일을 훨씬 잘한다”라고 말할 수 있어야 한다.
   3. 잠재력: 그 차별화되는 순간이 Meta의 중요한 전환점이 될 것이다.

9.2. Arena와 모델의 유틸리티화

1. 발견(discovery) 메커니즘

   1. 다중 결과: 진행자는 Arena에 프롬프트를 넣고 Kimi, Muse, Peram 등 자신이 평소 쓰지 않던 모델을 포함한 여러 선택지를 받아본다고 했다(자막의 ‘Pergamom/Peram’ 표기는 고유명사 자동인식이 불명확하다).
   2. 발견의 가치: 원래라면 Kimi를 직접 찾아가지 않고 ChatGPT만 썼겠지만, Arena가 여러 모델을 보여 주므로 새로운 모델을 발견하게 된다.
   3. 선택 기준: 모델의 회사나 브랜드에 애착이 없어도 결과를 보고 가장 좋은 것을 고르면 된다.

2. 모델 계층의 유틸리티화

   1. 무충성 구조: 사용자는 “Kimmy인지 Muse인지 Claude인지 Sonnet인지”보다 당장 좋은 결과를 원한다.
   2. 라우터의 의미: 모델을 직접 찾아가는 대신 옵션을 동시에 보고 선택하는 흐름은 모델을 전기·네트워크 같은 utility layer로 만들 수 있다.

9.3. 프런티어 오케스트레이터와 오픈 모델 서브에이전트

1. 계층형 아키텍처

   1. 기본 구조: IQ가 160인 프런티어 모델 하나가 IQ 120 수준의 오픈 모델 네 개를 병렬로 실행하고 결과를 종합하는 구조를 적극적으로 시험해야 한다.
   2. OpenRouter의 경험: OpenRouter는 여러 개발자가 이런 구조를 만들도록 sub-agent server tool을 제공하고, 모델을 일반적으로 잘 쓰도록 튜닝했다.
   3. 역할 분담: orchestrator가 일을 해석하고 필요한 시점에 sub-agent를 호출해 특정 task를 수행시킨다.

2. 어떤 일을 오픈 모델에 맡길 것인가

   1. 결정적 작업: 출력의 형태와 문제 유형을 알고 있고 이미 널리 해결된 문제라면, 오픈웨이트 모델이 잘한다.
   2. 예시: 텍스트 분류(classifying text)처럼 결과의 모양이 정해진 작업은 저렴한 OpenRouter 모델을 사용한다.
   3. 프런티어 모델의 역할: 오케스트레이터가 서브에이전트 결과를 읽고, 아직 형태를 알 수 없는 non-deterministic한 원래 문제를 계속 해결한다.
   4. 경제성: 서브에이전트는 매우 저렴하게 운영할 수 있고, 프런티어 모델은 가장 판단이 필요한 부분에 집중할 수 있다.

10. OpenRouter의 안전 책임과 기업 신뢰

중국 모델을 포함해 모든 모델에 접근시키는 라우터인 만큼, Alex는 고객 신뢰와 안전한 접근(safe access)을 최우선 책임으로 봤다.

10.1. 모델을 제거하거나 안전 계층을 추가하는 기준

1. 플랫폼에서의 모델 판단

   1. 안전하지 않은 모델: 일반적으로 사용하기에 unsafe하다고 판단되는 모델은 플랫폼에서 제거한다.
   2. 오용 가능성: 모든 모델은 어떤 방식으로든 unsafe하게 사용할 수 있으므로, 단순히 위험 가능성이 있다는 이유로 모두 금지하지는 않는다.
   3. 기술적 보호: 모델 연구소가 사용하는 방식과 협력해 안전하게 만드는 기술을 적용하고, 최선의 관행과 같거나 더 나은 상태를 유지한다.

2. 기업용 보호 기능

   1. Prompt injection protection: 켜기만 하면 prompt injection처럼 보이는 입력을 탐지할 수 있다.
   2. PII redaction: 개인식별정보(PII)를 자동으로 가리는 기능을 제공한다.
   3. 일괄 적용: 이런 기능을 한 번 클릭해 모든 inference 위에 안전 계층으로 추가할 수 있게 한다.

10.2. 인터넷과 같은 접근 방식

1. 전면 금지의 한계

   1. 인터넷 비유: 인터넷에 나쁜 내용이 있다고 해서 회사가 인터넷 전체를 금지할 수는 없다.
   2. 가드레일: 대신 회사는 guardrail을 만들고, AI를 사용해 가능한 최선의 guardrail을 만들어야 한다.
   3. 새 모델 실험: OpenRouter의 안전 계층은 기업이 새 모델을 안전하게 배포하고 직원이 시험하도록 돕는다.

2. 중국 내부를 알 수 없는 한계

   1. 정보 비대칭: Moonshot이나 Alibaba의 Qwen이 중국 내부에서 어떻게 운영되는지 Alex가 안다고 가장할 수는 없다.
   2. 미국 기업으로서의 원칙: OpenRouter는 미국에서 적용되는 best practice에 따라 무책임한 일을 하지 않도록 운영한다.

11. OpenRouter의 존재 이유와 창업자의 개인적 관심

Stripe의 100억 달러 인수설에 대한 답변은 기업 가치보다 생태계의 장기 비전을 강조했다.

11.1. Stripe 인수설

1. 확인 거부

   1. 질문: OpenRouter가 Stripe에 100억 달러에 매각된다는 보도가 사실인지 물었지만, Alex는 언급할 수 없다고 답했다.
   2. 지분 계산 농담: 진행자는 Alex가 회사의 22%를 보유했다면 100억 달러의 22%인 22억 달러를 얻어 벤처투자자가 되는 셈이라고 농담했다.

2. 변하지 않는 비전

   1. 실행 약속: 어떤 일이 일어나든 OpenRouter의 비전을 실행할 것이라고 했다.
   2. 독점 방지: 한 독점 기업이 AI를 장악하지 못하게 하는 것이 중요하다.
   3. 탐색 가능한 생태계: 모델, 새 inference provider, server tool, inference-adjacent 기술이 등장할 때 누구나 발견하고 기존 AI와 쉽게 연결할 수 있어야 한다.
   4. 안전한 접근: 이 구조는 활발한 모델 생태계뿐 아니라 안전한 AI 접근에도 필요하다.

11.2. 개인 자본으로 풀고 싶은 문제

1. 벤처투자가 닿지 않는 영역

   1. 사업모델 없는 문제: Alex는 개인적으로 많은 돈을 쓰지 않으며, 사업모델이 붙지 않아 벤처캐피털로는 자금 조달하기 어려운 문제를 돕고 싶어 한다.
   2. 비영리 분야의 기회: AI가 과거보다 훨씬 많은 데이터를 검토할 수 있게 됐으므로 비영리 영역에서 그런 문제를 해결할 기회가 커졌다.
   3. 연구자 지원: 아직 공개할 단계는 아니지만 연구자들이 이런 문제를 연구하도록 grants를 제공하는 일을 하고 싶다고 했다.

2. David Fialkow 사례

   1. General Catalyst: 진행자는 General Catalyst 공동창업자 David Fialkow가 일반적인 투자를 받기 어려운 영화에 자금을 지원해 중요한 이야기를 세상에 알린 사례를 들었다.
   2. The Dissident: Jamal Khashoggi(자막의 ‘Kosogi’)의 이야기를 다룬 정치적으로 민감한 작품이다.
   3. Icarus: 러시아 도핑을 다룬 영화로, 민감한 주제였기에 그의 자금이 없었다면 제작되기 어려웠다.
   4. 금지된 이야기: Fialkow는 시장성이 아니라 중요성을 기준으로 “금지된 이야기”를 가능하게 했다. Alex도 자신의 관심이 비슷한 방향이라고 답했다.

12. 퀵파이어: Alex Atallah의 짧은 답변

짧은 질문에도 OpenRouter의 시장 전망과 운영 철학이 압축돼 있다.

12.1. 모델 연구소의 생존과 목소리

1. 가장 저평가된 모델

   1. Poolside: Alex는 Poolside의 모델을 가장 먼저 꼽았다.
   2. 특징: 새로운 미국 연구소가 작지만 매우 효과적인 coding model과 접근 도구를 만들고 있으며, 좋은 팀이라고 평가했다.

2. 3년 뒤 Neolab의 생존율

   1. 70% 소멸설: 70%의 neolab이 3년 안에 사라질 것이라는 주장에는 “70%는 너무 높다”고 반대했다.
   2. 인수의 처리: 인수돼 다른 모델 연구소에 흡수되는 것을 소멸로 친다면 어느 정도 consolidation은 있을 수 있다.
   3. 수정 추정: 그 경우에도 약 50% 정도라고 말했다.

3. Dario Amodei의 비관론

   1. 필요한 편집증: AI의 미래와 판도의 변화를 매우 걱정하는 목소리를 가진 사람이 필요하다.
   2. Anthropic의 가치: Alex는 개인적으로 Anthropic의 paranoia를 높이 평가한다.
   3. 신경 다양성: 다른 연구소가 밀려나지 않기를 바라면서도, Anthropic은 중요한 neurodiversity 지도의 일부이며 아무도 극도로 걱정하지 않는다면 그런 목소리도 사라진다고 봤다.

12.2. AI 시대의 직원 비용

1. 새로운 운영비 구조

   1. 기업의 혼란: 많은 회사가 inference 비용을 어떻게 관리해야 할지 몰라 당황하고 있다.
   2. 기존 급여와의 차이: 과거 직원 비용은 급여라는 고정 숫자였고 분기나 평가 때만 조정했지만, 이제 직원마다 AI 사용량에 따라 비용이 계속 달라진다.
   3. 라우팅의 위임: 현재 기업은 라우팅 결정을 직원에게 맡기기도 하며, 앞으로는 어떤 도구와 모델이 업무에 적합한지 직원이 선택하게 될 수 있다.

2. 직원별 동적 비용 관리

   1. 선택의 책임: 직원은 비싸고 싼 모델을 얼마나 효과적으로 조합하는지에 따라 자신의 비용을 바꾼다.
   2. 두 축 평가: 관리자는 기존처럼 생산성과 업무 효과를 평가하되, 직원이 회사에 얼마를 비용으로 발생시키는지도 함께 봐야 한다.
   3. 축하 사분면: 성과가 좋고 비용 효율적인 직원은 축하하는 사분면에 놓을 수 있다.
   4. 우려 사분면: 성과가 보통인데 AI 사용 비용이 매우 높은 직원, 즉 “AI psychosis” 수준으로 비용을 쓰는 경우는 우려 사분면에서 개선해야 한다.
   5. 인간적인 반발: 진행자는 지난달 직원의 가치가 100이었다가 이번 달 50이라고 말하는 것은 계획을 어렵게 만들 수 있다고 지적했다.
   6. Alex의 답변: 직원이 어떤 모델과 도구를 선택할지에 따라 비용을 통제할 수 있으므로, 이제 직원은 자신의 성과뿐 아니라 효율성도 스스로 고민해야 한다.

12.3. 가장 기대하는 AI 응용

1. 희귀질환 연구

   1. 지능 병목의 해소: 희귀질환 연구는 아이디어를 많이 시도하고 효과를 확인해야 해서 intelligence 또는 inference bottleneck에 막혀 있었다.
   2. AI의 역할: 저렴하고 풍부한 추론을 사용하면 더 많은 가설을 검증할 수 있다.

2. 생산적인 도시·지역 생활 개선

   1. 대중의 문제 해결: 누군가 미국 또는 영국의 모든 납 파이프(lead pipe)를 찾는 아이디어를 갖고도 성숙시키고 stress test할 자원이 없었다면, AI가 그 과정을 도울 수 있다.
   2. 포기된 문제의 재도전: 너무 이상하거나 사업성이 없어 사람들이 포기한 문제도 AI를 이용해 다시 해결을 시도할 수 있다.
   3. 아이디어의 분포: 뛰어난 아이디어는 전 세계에 고르게 분포하며 특정 도시나 엘리트에게만 있는 것이 아니다.
   4. 실행 레버리지: AI는 어디서 나온 아이디어든 실제로 시험할 수 있는 레버리지를 제공한다.
   5. 범위: Alex가 기대하는 변화는 도시뿐 아니라 농촌을 포함한 폭넓은 삶의 질(quality of life) 개선이다.

주요 발언 모음

“이것은 기술 역사상 가장 큰 시장, 어쩌면 인류 역사상 가장 큰 시장이 될 것이다. 누구도 그 전체를 이길 수 없다.”

“OpenRouter의 사명은 생태계 전체의 신경 다양성(neurodiversity)을 늘리는 것이다. 멀티모델 미래는 불가피하다.”

“한 공급자는 한 토큰을 다른 공급자보다 훨씬 더 멀리 보낼 수 있다. 매장까지 한 블록을 돌아갈 수도 있고 곧장 갈 수도 있는 것처럼 말이다.”

“미국은 여전히 매우, 매우 뒤처져 있다.”

“인터넷에 나쁜 것이 있다고 해서 회사에서 인터넷을 금지할 수는 없다. 가능한 최선의 가드레일을 만들어야 한다.”

“직원 비용은 AI 시대에 고정된 숫자가 아니라 동적인 숫자가 되어야 한다.”

“훌륭한 아이디어는 세계 곳곳에 고르게 분포한다. 이제 AI가 그 아이디어를 실제로 작동시킬 레버리지를 준다.”

핵심 데이터 & 수치

• 2020년 10월: NFT 붐으로 OpenSea 서버·검색 인덱스·트래픽이 폭발했고, 10배 부하를 가정한 확장성 작업을 시작했다.
• 70개 모델: Alex는 2026년 7월 OpenRouter에 한 달 동안 약 70개 모델이 출시됐으며, 약 10시간에 한 모델 꼴이라고 말했다.
• 5분: 대형 모델의 공급자별 품질·속도·가격 변화는 5분 단위로도 크게 바뀔 수 있다.
• 5.5%: OpenRouter Pay-as-you-go 플랜의 take rate다.
• 10~15배: AI 시장이 향후 몇 년 동안 매년 성장할 수 있다고 질문에서 가정한 범위이며, 이 경우 inference 수요도 계속 과소평가될 수 있다.
• 10배 가격 하락 → 13배 사용량 증가: 영상에서 제시한 Luna의 Jevons paradox 사례다.
• 약 1.5~2%: OpenRouter가 전체 토큰 사용량에서 차지할 수 있는 비중에 대한 진행자의 추정치다.
• 22%·220억 달러: 진행자가 인수 가격 100억 달러와 Alex의 가정상 22% 지분을 곱해 농담으로 제시한 계산이다.
• 70%가 아닌 약 50%: 3년 내 neolab 소멸·통합 가능성에 대한 Alex의 수정 추정치다.

결론 및 시사점

1. 멀티모델이 기본 아키텍처가 된다: 기업은 핵심 브랜드와 업무에 맞춘 특화 모델을 만들더라도, 성능·가격·창의성·복원력을 위해 여러 외부 모델을 함께 사용해야 한다.
2. 라우터의 핵심 가치는 중립성과 최신성이다: 라우터는 API를 하나로 묶는 단순 gateway가 아니라, 실시간 벤치마크로 최적의 모델·공급자를 선택해 사용자의 종속성을 줄이는 시장 접근 계층이다.
3. 추론 공급자는 GPU 운영 이상의 역할을 한다: 하드웨어 최적화, 모델별 edge case 처리, 가용성, 가격과 품질의 변화가 같은 토큰의 실제 가치를 바꾼다.
4. 가격 하락은 사용량을 폭발시킬 수 있다: 토큰 단가가 내려가도 Jevons paradox에 따라 총 추론 수요가 더 크게 늘 수 있으므로, 인프라 사업자는 단가보다 총 사용량·용량 계획을 봐야 한다.
5. 중국 오픈웨이트 모델의 위협은 과소평가하면 안 된다: 국가적 집중, 강한 연구 인재, 규제와 자본의 동원, 자체 칩 투자가 미국 모델 생태계보다 빠른 발전을 만들 수 있다.
6. 미국의 대응은 distillation과 compute 접근성이다: 중국 오픈 모델의 출력을 합법적 약관 안에서 학습에 활용하고, NVIDIA·TPU·Trainium 등 여러 하드웨어를 인재에게 연결해 미국 neolab의 기반을 넓혀야 한다.
7. 안전은 금지가 아니라 계층형 통제다: 위험한 모델은 제거하되, prompt injection protection·PII redaction·가드레일로 기업이 새로운 모델을 통제된 방식으로 실험하게 해야 한다.
8. 기업이 두려워하는 것은 국적보다 통제 불능성이다: 프런티어 API는 데이터 정책·저장·열람·자가 호스팅에 대한 불확실성이 커서, 미국 기업이라도 중국 모델보다 더 불안하게 느껴질 수 있다.
9. 하니스와 메모리는 모델 위의 경쟁 계층이다: 앱 맥락, 모델 개인화, 공급자·라우터의 기억이 서로 다른 가치를 가지며, Unix 기반의 composable harness는 사용자 관계를 보유하는 제품 계층으로 남는다.
10. AI의 가장 큰 장기 가치는 비시장 문제에 있을 수 있다: 희귀질환 연구, 납 파이프 탐색, 도시·농촌의 삶의 질 개선처럼 사업성이 부족해 방치된 문제에 AI의 추론과 아이디어 검증 능력을 투입할 수 있다.

핵심 요약 (20줄)

1. OpenRouter CEO Alex Atallah는 OpenSea에서 겪은 NFT 트래픽 폭발과 장애 경험을 AI 추론 인프라의 안정성 설계에 적용했다.
2. OpenRouter는 처음에 하이퍼스케일러가 오픈웨이트 모델을 독점할 것으로 예상했지만 Fireworks·Together 같은 전문 추론 공급자가 빠르게 성장했다.
3. 같은 모델이라도 공급자별 하드웨어 최적화와 운영에 따라 품질·속도·가격·가용성이 달라지므로 토큰은 단순한 동일 상품이 아니다.
4. OpenRouter는 모델과 공급자를 계속 벤치마킹하고 개선이 감지되는 즉시 트래픽을 재배분하는 중앙 라우터를 운영한다.
5. 기업의 자체 특화 모델은 멀티모델 사용을 없애지 않으며, 브랜드 지능을 만들고 나머지 업무는 다양한 모델로 조합하는 구조가 된다.
6. Alex는 라우터를 유행처럼 복제하는 회사가 전면적인 시장 접근과 사용자 레버리지를 제공하지 못하면 OpenRouter보다 뒤처진다고 봤다.
7. OpenRouter는 Pay-as-you-go에서 5.5%를 받고 Enterprise에서는 committed spend 기반으로 수수료를 다르게 책정하며 BYO inference도 지원한다.
8. Luna의 가격이 약 2주 동안 총 10배 하락하자 사용량이 13배 늘어 Jevons paradox가 추론 시장에서도 나타났다.
9. OpenRouter 순위는 전체 시장의 약 1.5~2%만 볼 수 있고 직접 프런티어 API를 쓰는 기업을 누락하므로 중국 모델 사용량을 과대대표할 수 있다.
10. 기업은 중국 모델보다 오히려 프런티어 모델의 데이터 정책·저장 위치·열람 권한과 자가 호스팅 불가를 더 불안해할 수 있다.
11. Claude Design 같은 제품은 모델 연구소가 기업 안의 특정 팀을 자사 모델에 종속시키는 전략적 진입점이 될 수 있다.
12. Alex는 Kimi가 글쓰기의 목소리와 톤에서 강하지만 긴 작업과 사이버 능력에서는 여전히 프런티어 모델에 뒤처진다고 평가했다.
13. 중국은 DeepSeek와 Moonshot을 국가적 챔피언으로 집중 지원할 수 있어 미국 오픈 모델과의 격차가 12개월 뒤 더 커질 수 있다.
14. 중국 모델은 해외에서는 강력하지만 중국 내부에서는 Starbucks 영업시간 같은 질문도 거부할 만큼 검열 가드레일이 강하다는 역설이 있다.
15. 미국은 중국 모델을 합법적 범위에서 distillation해 reinforcement learning에 활용하고 NVIDIA·TPU·Trainium 등 컴퓨트를 인재에게 연결해야 한다.
16. Distillation은 더 큰 모델의 지식을 작은 모델로 옮기는 정상적인 모델 제작 기법이지만 각 연구소의 약관과 경쟁 모델 금지 정책을 존중해야 한다.
17. 개발자는 이미 작동하는 앱과 guardrail을 깨뜨리고 싶지 않고 새 모델이 항상 더 싸거나 신뢰할 수 있는 것도 아니어서 모델 충성도를 보인다.
18. 메모리는 앱·모델·추론 공급자·라우터가 모두 소유하려 할 것이며, 앱의 풍부한 업무 맥락 때문에 한 계층이 전부 차지하기는 어렵다.
19. 프런티어 오케스트레이터가 저렴한 오픈 모델 서브에이전트에 텍스트 분류 같은 결정적 작업을 맡기는 계층형 구조가 효율적이다.
20. Alex가 가장 기대하는 응용은 희귀질환 연구와 납 파이프 탐색처럼 AI가 전 세계 아이디어에 실행 레버리지를 제공하는 문제 해결이다.