How Open Source Became AI's Backbone | Inferact with a16z

URL: https://www.youtube.com/watch?v=78-6dUROziQ 날짜: 2026-08-07 채널: a16z

출연: Simon Mo (Inferact 공동창업자, vLLM 리드 메인테이너) / Matt Bornstein (a16z 제너럴 파트너)

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==오픈소스(정확히는 open-weight) AI 모델은 더 이상 애호가들의 취미가 아니라, 데이터베이스나 운영체제처럼 AGI 경제 전체를 떠받치는 "critical infrastructure"가 되었다==. vLLM 같은 추론 엔진이 그 인프라의 핵심이며, 비용·통제권·모더레이션 리스크라는 세 가지 이유로 앞으로도 그 중요성은 커질 수밖에 없다.

• vLLM은 현재 1,000개 이상의 모델 아키텍처를 지원하며 언제든 50만 개의 GPU에서 동시에 구동되고 있다
• Cursor, Decagon, Harvey 같은 최근 1년 사이의 강력한 애플리케이션 스타트업들이 "closed 모델 위의 wrapper"가 아닌 진짜 제품을 만들기 위해 결국 오픈소스로 회귀했다
• Hugging Face 사이버 공격 방어 사례처럼, 폐쇄형 API의 과잉 모더레이션(false positive)이 정당한 사용 사례까지 막아버리는 문제 때문에 신뢰가 필요한 use case는 결국 open-weight로 향하게 된다

두 사람은 결론적으로 "5년 뒤에도 오픈소스와 프론티어 모델 사이에 능력 격차는 거의 없을 것"이라 전망하며, 차이는 모델 자체가 아니라 유통·GTM 전략과 각 랩이 구축한 "학습 환경(RL environment)"의 질에서 갈릴 것이라고 본다.

---

1. vLLM과 오픈소스 AI의 인프라화 역사

오픈소스 AI는 "애호가의 취미"에서 "일상 프로덕트를 지탱하는 인프라"로 단계적으로 진화했으며, 그 전환점은 명확한 시점들로 구분된다.

1.1. 초기 오픈소스 AI 시대 (2020년 이전~2022)

1. 모델 서빙 난이도의 근본적 차이

   1. 컴퓨터 비전 시대의 손쉬운 서빙: ResNet 같은 이미지 분류 모델은 Nvidia K80 같은 초기 GPU에서 돌긴 했지만, 심지어 상용 CPU에서도(느리지만) 돌아갔다
   2. BERT부터 시작된 전용 인프라 필요성: BERT부터는 GPU 없이는 번역 등 어떤 태스크에서도 실질적으로 쓸 수 없을 정도로 느려져, "특수 소프트웨어 + 특수 컴퓨터 세트"가 필요해졌다. Simon은 이 시점을 2020년 이전으로 짚는다
   3. Hugging Face BERT 변종의 시대: Matt는 당시 Hugging Face에 수천 개의 BERT 변종이 올라와 있어 태스크에 맞는 정확한 버전을 직접 찾아야 했던 경험을 회상한다

2. 오픈소스가 "당연한 기본값"이던 시절

   1. OpenAI라는 이름의 아이러니: Matt는 "OpenAI라는 회사 이름 자체가 농담거리가 됐다"고 지적한다. 초기에는 모든 프론티어 AI 연구가 오픈소스로 공개되거나 최소한 open-weight로 릴리즈됐다
   2. 로컬 실행 가능성: 당시 사람들은 이미 보유한 하드웨어에서 대부분의 모델을 실행할 수 있었다

1.2. Critical Infrastructure로의 전환 (2023~)

1. 일상 의존이 시작된 시점 (2023년)

   1. GitHub Copilot과 ChatGPT의 등장: Simon은 2023년 GitHub Copilot과 ChatGPT가 "사람들이 없이는 살 수 없는" 도구가 된 시점을 critical infrastructure 전환의 기준으로 제시한다
   2. 가속기(accelerator) 수요 폭증: 이 시점부터 open-weight 모델을 구동할 가속기와 이를 잘 작동시킬 오픈소스 소프트웨어 스택이 반드시 필요해졌다

2. 스타트업 관점의 전환 (약 1년 전)

   1. "Wrapper가 아닌 진짜 제품"의 필요: Matt는 새로운 애플리케이션 회사들이 "OpenAI 위의 wrapper가 아닌 진짜 AI 제품"을 만들려면 결국 오픈소스로 가야 한다는 결론에 도달했다고 설명한다
   2. 구체적 사례: Cursor, Decagon, Harvey 등 강력한 애플리케이션 스타트업들이 자체 mid-training, post-training, 추론/배포 트릭을 구현하려면 오픈소스 위에 만들 수밖에 없었다 — 폐쇄형 벤더는 이런 수준의 접근 권한을 주지 않기 때문
   3. 보이지 않는 깊은 임베딩: 오픈소스는 이제 눈에 잘 띄지 않지만 가장 혁신적인 제품들에 깊이 내장돼 있다

1.3. vLLM의 시작과 초기 기술적 도전

1. 프로젝트의 기원 (2022, pre-ChatGPT)

   1. 원래 목적: "느린 오픈소스 데모를 빠르게 만들자"는 단순한 목표로 시작했으나, 그 과정에서 산더미 같은 미해결 문제들을 발견했다
   2. 팀 배경: UC Berkeley 출신으로 오픈소스 소프트웨어와 시스템 연구의 오랜 전통을 이어받은 팀이다

2. LLM 서빙이 기존 ML 워크로드와 근본적으로 다른 이유

   1. 연산 집약성: GPU/TPU 같은 가속기에서 실행해야 하는 계산 집약적 프로세스이며, 각 요청마다 사용자가 빠르고 효율적인 응답을 받도록 보장해야 한다
   2. 입출력 분포의 비결정성: 요청마다 입력 길이가 다르고, 출력 길이는 비결정적이라 배칭(batching)과 스케줄링이 추론 엔진의 핵심 과제가 된다

---

2. vLLM이 인프라 스택에서 차지하는 위치

vLLM은 단순한 도구가 아니라, "가용한 GPU를 지능(intelligence)을 서빙하는 엔드포인트로 전환"하는 인프라 소프트웨어로 스스로를 정의한다.

2.1. 추론 엔진으로서의 역할

1. "데이터베이스, OS급 인프라"라는 비유

   1. 정의: vLLM의 역할은 가용한 GPU를 실행 중인 지능(intelligence) 엔드포인트로 바꾸는 것 — 이는 오늘날 모두가 의존하는 AGI 경제를 떠받치는 데이터베이스·운영체제 같은 critical software라는 비유
   2. 핵심 가치 제공: 비용 효율성, 효율성, 신뢰성, 그리고 "항상 프론티어에 머무르는 것"을 보장한다

2. 거대한 모델 지원 범위

   1. 1,000개+ 아키텍처 지원: 오늘 기준 1,000개 이상의 모델 아키텍처를 지원하며, 그중 다수는 proprietary이지만 다수는 open-weight다
   2. "Day Zero 모델 릴리즈": 연구 프로토타입에서 세계에 공개되는 open-weight 아키텍처로 전환되는 순간, vLLM에서 즉시(day zero) 구동되게 하는 프로세스를 운영한다

3. 하드웨어 벤더와의 긴밀한 협업

   1. 전 벤더 커버리지: Nvidia, AMD, Google, Amazon, Intel 등 모든 주요 하드웨어 벤더의 최신 칩이 vLLM에서 구동되도록 보장한다
   2. 벤치마크로서의 vLLM: 많은 경우 하드웨어 벤더들이 자사 신규 칩이 잘 작동하는지 검증하는 벤치마크로 vLLM을 사용한다

2.2. 모델 릴리즈의 "비하인드 스토리"와 코디자인 프로세스

1. 모델 랩과의 관계 스펙트럼

   1. 이미 준비된 랩: 일부 모델 랩은 이미 프로덕션/연구 과정에서 vLLM을 쓰고 있어 vLLM 팀이 접촉했을 때 이미 통합을 다 해놓고 "PR만 리뷰해달라"고 요청하는 경우도 있다
   2. 처음부터 도와야 하는 랩: 반대로 시스템이 자기 핵심 역량이 아니어서 자체 내부 추론 엔진을 어떻게 open-weight 생태계에 적응시킬지 전혀 모르는 랩도 있다
   3. 멀티파티 프로세스: 각 모델 릴리즈는 모델 랩, 1차/2차 하드웨어 벤더, vLLM 팀, 모델 포맷/허브 벤더인 Hugging Face, 그리고 랩의 의향에 따라 10~20개의 릴리즈 파트너(추론 클라우드, 퍼블릭 하이퍼스케일러 등)가 관여하는 대규모 협업이다

2. Mistral 최초 모델 릴리즈 일화 (2023~2024년 초)

   1. 토렌트 링크로 던져진 모델: Mistral이 첫 모델을 공개할 때 그냥 토렌트(P2P) 링크만 던졌고, 모두가 어떻게 실행해야 할지 몰라 우왕좌왕했다
   2. 주말 스프린트: vLLM 팀이 Mistral 팀과 물밑에서 협업해 추론 엔진 지원 작업을 진행했고, 주말이 지난 월요일/화요일에 Mistral과 vLLM 팀이 함께 "여기서 vLLM으로 성공적으로 실행할 수 있다"고 공식 발표했다
   3. 애호가에서 전문가로: Matt는 당시를 "나 같은 애호가가 직접 모델을 다운받아 어디선가 실행해보려 스크램블하던 재미있는 시절"로 회상했고, Simon은 "전문가들이 이제 그 일을 맡아줘서 다행"이라고 화답했다

---

3. NVIDIA Open Weights 서한 서명과 오픈소스 옹호론

Inferact는 최근 NVIDIA의 "Open Weights and American AI Leadership" 서한에 서명했으며, 이는 a16z, Meta, Amazon 등 수십 개 기업이 함께한 것이다.

3.1. 서명의 배경과 원칙

1. 오픈소스가 생태계에 절대적으로 중요하다는 입장

   1. 폐쇄형 API 독점에 대한 우려: 세계가 proprietary API에만 통제되어서는 안 되며, open-weight의 오픈 개발·연구가 차단되거나 금지돼서는 안 된다는 것이 서한의 핵심 취지
   2. 다운스트림 포지션의 인식: 추론 엔진은 pre-training이나 RL 프로세스의 일부가 아니라, "모델이 실제로 세상과 만나는 지점"에 위치한다는 것을 스스로 인정한다

2. 비용 vs 통제, 두 개의 축

   1. 통제(Control)의 지속적 중요성: 지난 몇 년간 통제가 가장 중요한 요인이었다 — 자체 인프라와 모델을 통제해 확장·가드레일 설정이 가능해야 한다는 니즈
   2. 비용(Cost)의 최근 급부상: 지난 몇 달 사이 비용이 급부상했다 — 비싼 코딩 플랜과 급증하는 토큰 소비 비용에서 벗어나려는 마이그레이션 수요가 원인

3. 구체 사례: 음성 에이전트(Voice Agent) 기업

   1. SLA 준수를 위한 자체 모델 통제: 음성 에이전트 기업들은 전화 통화 중 에이전트가 요구되는 응답 시간(SLA)을 지키도록 보장하기 위해 자체 모델을 통제하고 싶어한다
   2. 하드웨어·시스템 전체 모니터링의 필요성: 이는 전체 하드웨어와 시스템을 직접 모니터링해야만 가능한 수준의 통제이며, 언제 다운되거나 계약 위반이 발생할지 모르는 proprietary API에 의존하는 것과 대비된다

---

4. Kimi K3 모델 사례로 보는 오픈소스의 경제성

4.1. 가격 포지셔닝 — "경제성은 핵심이 아니다"

1. 가격대의 위치

   1. 10배 격차를 좁힌 사례: Kimi K3는 이전 대비 거의 10배(10x) 격차를 좁힌 큰 스텝 체인지를 보여준 모델이다
   2. 중간 지점 포지셔닝: Claude(Plot)나 GPT-5(GPD soul)만큼 비싸지는 않지만, GLM 5.2보다는 훨씬 비싸다 — 이는 시장에서 지능의 가격을 정확히 매기는 지점이라고 Simon은 해석한다

2. 가격이 아닌 "소유"가 핵심 포인트

   1. 오너십의 가치: 논의의 초점은 "이 모델이 Opus 4.8급 지능을 내 자체 인프라로 가져와, 내가 쓰고, 실행하고, 파인튜닝하고, 토큰 소비량과 정확한 성능 프로파일을 이해할 수 있게 해준다"는 데 있다
   2. 속도 제어의 자유도: 프로프라이어터리 모델은 "일반 모드"와 "고속 모드" 단 두 가지 스위치만 제공하지만, open-weight는 프로바이더마다 최대 10개 수준의 서로 다른 속도 옵션을 제공할 수 있다 — 가장 느린(가장 저렴한) 모드부터 초당 400~500 토큰까지, 이는 오늘날 시중 고속 모드보다 2~3배 빠른 수준이다

4.2. 사용자 행동 패턴 — Fast Mode의 실질적 효과

1. 개발자 경험의 체감 변화

   1. 초당 400~500 토큰 fast mode: 사용자들이 fast mode를 활성화했을 때 모델의 최대 이점을 얻는 것으로 관찰됐다
   2. "생각에 갇히지 않고 실행하는" 체감: 개발자가 모델과 상호작용할 때 태스크가 더 빠르게 끝나고, 모델이 더 이상 "생각(thinking)"에 갇혀 있지 않고 환경과 상호작용하며 실행(executing)하는 것처럼 느껴진다 — 특히 프리미엄 개발자의 블로킹 포커스 태스크에서 큰 이점

2. 파인튜닝을 통한 워크로드 맞춤화

   1. 자체 개선 사이클: K3는 사용자가 자유롭게 수정·파인튜닝해 자신의 워크로드에 맞게 개선할 수 있으며, 이는 현재 실제로 일어나고 있는 일이다

4.3. 데이터 통제와 컴플라이언스

1. 데이터 보존 정책의 차이
   1. Fable의 사례: Fable은 zero data retention 정책이 없어, 최소한 데이터 일부가 계속 남아있게 된다 — open-weight는 이런 리스크에서 벗어나 보안·컴플라이언스를 더 강하게 통제할 수 있다

---

5. 오픈소스 모델 라이선싱의 진화

5.1. Apache 2.0에서 상업적 라이선스로

1. 역사적 배경

   1. 과거의 "무조건 무료" 모델: 과거 open-weight 모델은 Apache 2.0 소프트웨어처럼 "가져다 마음대로 수정해도 되는 세상에 주는 선물"이었다
   2. 경제적 지속가능성 문제 대두: 최근 모델 랩들이 자체 모델 개발을 경제적으로 지속가능하게 펀딩할 방법을 고민하기 시작했다 — 학습·연구·데이터가 매우 비싸기 때문

2. Llama의 선례

   1. DAU/ARR 임계값 조항: Meta가 Llama를 릴리즈할 때 이미 일일 활성 사용자(DAU)나 연매출(ARR)이 특정 임계값을 초과하면 Meta와 상업 계약을 맺어야 한다는 조항을 넣었다
   2. Matt의 회고: 당시 그 임계값 기준을 만족하는(=예외 대상에서 제외되는) 기업이 세상에 딱 두 곳뿐이었다는 사실을 정확히 짚어 기억한다고 언급했다

3. 최근 사례들

   1. Minimax M2.7: 사용량(usage) 기준의 상업 조항을 명시한 라이선스를 채택했다
   2. Kimi(초기): 파생 저작물(derivative works)에 대한 조항이 있었고, 당시 Fireworks와 Cursor가 Kimi 모델 위에 무엇을 구축했는지가 화제가 됐다

5.2. 경제적 정당성 — "탐욕이 아니다"

1. 오픈소스 소프트웨어 시절과의 구조적 차이

   1. AI 모델은 소프트웨어가 아니다: 전통 오픈소스 소프트웨어는 개인이나 기업이 직원의 시간을 "기부"하는 방식으로 지탱됐지만, AI에서는 이 방식이 작동하지 않는다
   2. 막대한 컴퓨팅 비용: "친구들과 밤에 집에 가서 재미로 프론티어 오픈소스 모델을 학습시킬 수는 없다" — 수백만~수십억 달러 규모의 컴퓨팅 자원이 필요하다

2. 지정학적 함의: 중국 모델의 경우가 더 중요

   1. 자금원의 대안 리스크: Matt는 Moonshot 같은 중국 모델 랩에 경제적 펀딩 소스가 없다면, 자금이 정부 등 "우리 입장에서 더 나쁜" 곳에서 나올 수 있다고 지적한다
   2. 경제 구조의 중요성: 이는 앞으로 이런 경제적 구조가 더 많아질 것이라는 데 두 사람이 동의하는 지점이다

3. 제약산업(pharma) 비유

   1. R&D 자금 순환 구조: 신약 개발의 R&D가 지속 가능하려면, 신약 출시 후 발생한 매출의 일부가 다시 다음 R&D로 흘러가야 큰 리스크를 감수하는 연구가 계속될 수 있다 — 모델 개발도 유사한 구조로 가고 있다
   2. 약물 vs 모델의 통제 강도 차이: Matt는 흥미로운 대비를 짚는다 — 약물은 한 번 출시되면 "가장 강력한 통제(아무도 복제 제조할 수 없음)"가 가능하지만, 오픈소스 모델은 출시되는 순간 누구나 가져다 쓰고 확장할 수 있다는 점에서 정반대다. 그래서 오픈소스 모델에는 경제적 장치가 붙는 것이 합리적이라는 결론

---

6. 오픈소스 AI 모델의 "유지보수" 역학

일반 소프트웨어와 달리, AI 모델은 릴리즈 이후에도 방대한 커뮤니티 차원의 후속 작업이 필요하다.

6.1. 학습 과정의 숨겨진 고난

1. 결과만 보이는 대규모 학습
   1. "1억 달러 학습 런"의 이면: 사람들은 최종 결과(예: "1억 달러짜리 학습 런")만 보지만, 그 이전에 대규모 실패한 학습 런이 5번쯤 있었을 수 있다는 사실은 잊혀진다
   2. Llama 초기 클러스터 로그 일화: Matt가 가장 좋아하는 아티팩트 중 하나로, 초기 Llama 모델 학습 중 클러스터를 지켜보던(babysitting) 사람들의 대화 로그가 공개된 적이 있다 — "오 안돼, 다 망가졌어"부터 "됐다, 이제 괜찮아, 클러스터 정상, 손실(loss) 하락 중"까지 혼돈과 패닉, 해결의 반복이 고스란히 담겨 있었다고 설명

6.2. 릴리즈 이후 커뮤니티의 "온보딩" 작업

1. 하드웨어·유스케이스 다양성에 대한 적응

   1. 원래는 "단일 유스케이스"로 학습됨: 모델은 특정 하드웨어, 특정 아키텍처 조건에서 학습되지만, 세상에 나가면 모든 사람이 서로 다른 클러스터 토폴로지와 유스케이스를 가지고 있다
   2. 1개의 유스케이스를 무한대의 유스케이스로: 엣지 디바이스에 적응시키려는 사람, 최대 규모로 확장하려는 사람, 음성 에이전트용으로 안정적으로 돌리려는 사람, 코딩 에이전트라는 전혀 다른 유스케이스에 맞추려는 사람까지 — 이 모든 걸 최적화·특화하고 신뢰성 있게 만드는 것이 "온 마을(whole village)"이 참여하는 커뮤니티 노력이다

2. 진짜 오픈소스 소프트웨어와 닮은 점

   1. 누구나 기여해 개선 가능: 이 지점에서 AI 모델도 전통적 오픈소스 소프트웨어처럼 누구나 기여해서 더 나아지게 만들 수 있다는 공통점이 생긴다

6.3. "GPU 가격 99% 하락" 사고실험

1. 진짜 오픈소스 시대로의 회귀 가능성
   1. Matt의 사고실험: GPU 기반 컴퓨팅이 저렴하고 널리 이용 가능해진다면, 한 사람이 자기 집 지하실에서 또는 백 명이 자유 시간에 모여, 지금은 대기업 내부 큐에만 존재하는 다양한 모델 학습 경로들을 직접 시도해볼 수 있는 진짜 오픈소스 세상으로 돌아갈 수 있을지에 대한 질문
   2. 컴퓨팅 격차의 극단적 확대: Matt는 "프론티어에 있기 위해 필요한 컴퓨팅 양이 처음엔 무시할 수 있는 수준이었지만 지금은 엄청나게 커졌다"고 짚는다
   3. AlexNet과의 대비: Matt는 "GPU에서 돌아간 최초의 신경망인 AlexNet은 단 2개의 GPU로 학습됐다"는 사실을 반복해 강조한다 — 지금 그 정도 컴퓨팅으로는 "말 그대로 아무 것도 얻을 수 없다"

---

7. 추론이 점점 어려워지는 이유와 오픈소스의 필수성

7.1. 지난 18개월간 추론이 어려워진 배경

1. 규모(Scale)와 다양성의 결합
   1. 모델·유스케이스의 다양성 증가: 규모와 다양성의 조합, 그리고 점점 더 장기 실행되는 작업을 수행하는 에이전트의 등장이 결합돼 추론이 훨씬 어려워졌다

7.2. 오픈소스가 "있으면 좋은 것"이 아니라 "필수"인 이유

1. 규모(Scale)의 두 가지 축

   1. 데이터센터 랙에서의 실행 가능성: 거대한 모델을 데이터센터 랙에서 실행할 수 있는가
   2. 빛의 속도까지의 최적화: 얻을 수 있는 최대 가치를 뽑아낼 수 있을 정도로 극한까지 최적화할 수 있는가

2. 커뮤니티·파트너 검증의 힘

   1. 0.00001% 확률의 버그까지 잡아내기: 마지막까지 남은 극도로 희귀한 버그를 검증하고 걸러내려면 전체 커뮤니티와 파트너의 협업이 필요하다
   2. 최대 규모 배포가 만드는 선순환: 더 많은 사람이 최대한 넓은 풋프린트로 실행할수록, 그 모델을 실행하는 모든 사람의 경험이 좋아진다 — 이것이 오늘날 오픈소스 추론이 폐쇄형 추론 엔진보다 앞서는 이유

3. 폐쇄형 진영도 결국 오픈소스 위에서 동작

   1. 인퍼런스 클라우드·API 서비스의 실체: 많은 인퍼런스 클라우드와 API 서비스가 실제로는 내부에서 오픈소스 추론 엔진을 그대로 사용·활용하고 있다 — 이미 충분히 검증되고 학습된 레시피 위에 구축할 수 있기 때문

7.3. 2022~2023년, 왜 이 팀들은 미리 알았는가

1. 동시다발적으로 등장한 오픈 인프라 기업들

   1. 비슷한 시기의 탄생: vLLM/Inferact뿐 아니라 Open Router, Ollama 같은 팀들도 모두 2022~2023년경(일부는 ChatGPT 이전부터) open 모델 중심으로 시작됐다

2. 동기의 두 축

   1. 오픈소스 DNA: vLLM 팀은 UC Berkeley 출신으로 오픈소스 소프트웨어와 시스템 연구의 오랜 전통을 계승했다
   2. 순수한 호기심: 모두가 "AI 모델이 어떻게 인류에게 도움이 될 수 있을지, 어떻게 더 잘 활용할 수 있을지"에 대해 강한 호기심을 갖고 있었고, 오픈소스는 이런 미션에 가장 잘 정렬된 사람들이 모이는 곳이었다
   3. 생태계 파트너십: Open Router, Ollama는 경쟁자가 아니라 "모두가 AI 모델을 더 잘 활용하도록 돕는다"는 목표를 공유하는 생태계 내 파트너이자 친구다

---

8. Hugging Face 사이버 공격 사건과 모더레이션 문제

8.1. 사건 개요와 통제(Control)의 의미

1. 사건 요지

   1. 사건 배경: 최근 화제가 됐던 사건은 Hugging Face가 중국산 open-weight 모델을 사용해, 샌드박싱되지 않은(unsandboxed) 폭주 OpenAI 모델이 테스트 중 저지른 사이버 공격을 억제(contain)하는 데 사용한 사례다
   2. 투명한 공개에 대한 감사: Simon은 Hugging Face가 이 사건을 자사 웹사이트/블로그에서 상세히 잘 정리해 공개한 것에 감사를 표한다

2. 폐쇄형 API 가드레일의 근본적 한계

   1. 자의적이면서도 집행이 어려운 가드레일: 폐쇄형 proprietary API의 가드레일은 다소 자의적이면서도(arbitrary) 동시에 집행이 매우 어렵다는 이중의 문제를 안고 있다
   2. 정당한 사용까지 막는 과다 false positive: 가드레일에 너무 많은 false positive가 있어 정당한 사용 사례까지 차단되는 문제가 발생한다
   3. 소셜미디어 콘텐츠 필터와의 유사성: Simon은 이를 "콘텐츠 필터를 어떻게 올바르게 설계할지"라는 소셜미디어 시대부터 이어진 "영구적으로 어려운(evergreen) 문제"라고 표현한다

8.2. "신뢰가 필요한 use case는 결국 open-weight로" 원칙

1. 모더레이션이 절대 완벽히 해결되지 않는다는 전제

   1. 미해결 상태가 지속될 것: 모더레이션 문제는 앞으로도 매우 풀기 어려운 문제로 남을 것이라는 전제 아래, 언제나 "이 모델을 알고 신뢰할 수 있어 게시하고 사용할 수 있는" 대안이 필요하다는 결론이 나온다
   2. 가드레일 통제권: 신뢰가 필요한 use case에 대해서는 결국 사람들이 open-weight로 가서, 가드레일을 완화하거나 자신이 직접 통제할 수 있는 방향을 택하게 된다

2. vLLM/Inferact 팀 스스로의 실제 경험

   1. Anthropic 모델의 프론티어 AI 연구 차단: Anthropic 모델 다수가 프론티어 AI 연구 자체를 밴(ban)하고 있으며, GPU 커널을 연구하다가 발생하는 "잘못된 메모리 접근(invalid memory access) 에러"조차 레드라인을 건드리는 것으로 오탐지된다
   2. 2시간 작업이 통째로 날아가는 문제: Inferact/vLLM 개발자들이 2시간짜리 작업 중 이 false positive 레드라인을 건드려 작업 전체를 잃는 사례가 실제로 발생하면서, 다수 개발자가 Fable(Fable 5)을 기피하게 됐다
   3. 대안으로의 이동: 그 결과 많은 개발자가 비슷한 품질을 제공하면서 합리적인 가드레일을 가진 Kimi K3로 실제로 오늘도 이동해 사용하고 있다 — Simon은 "There it goes, we're using it"이라고 직접 언급한다

8.3. 소셜미디어 규제와의 구조적 비교

1. "분산된 인간 활동의 중앙화"라는 공통 패턴

   1. Matt의 비유: 소셜미디어 이전에는 사람들이 서로 대화하고, 기사를 발행하고, 게시판에서 메시지를 주고받았지만, 이것이 하나의 이윤추구 기업 아래 중앙화되면서 인센티브가 크게 바뀌었다
   2. 소셜미디어의 면책 구조: 소셜미디어에는 "플랫폼에서 사람들이 하는 말에 대해 책임지지 않는다"는 특별한 면책(carve-out) 조항이 있었고, 이것이 모더레이션 문제를 다룰 수 있는 수준으로 만들어줬다 — 명백히 불법적인 것만 최선을 다해 제거하고, 애매한(경계선) 콘텐츠는 방치하는 방식

2. AI에는 이 면책이 없다는 문제

   1. 작업(work)의 중앙화: 코드를 작성하거나, 스프레드시트를 만들거나, 건강 조언을 구하는 등 "모든 종류의 작업"이 이제 한두 개 사이트에 집중되고 있다는 점에서 소셜미디어와 유사한 패턴이 벌어지고 있다
   2. 면책 조항의 부재: 하지만 AI 기업들은 "사이트에서 실제로 일어나는 일에 대해 책임지지 않는다"는 소셜미디어식 면책이 없다
   3. 문제가 순수 커뮤니케이션보다 더 크다: 문제는 커뮤니케이션 차원을 넘어 실제 작업과 행동(action)의 영역까지 확장돼 있으며, 그 위에 각 기업의 윤리적 판단이라는 레이어까지 추가로 얹혀 있다
   4. Anthropic의 사례: Anthropic 등 일부 기업은 법적으로 요구되는 수준을 넘어 자체적인 윤리적 입장을 취하고 있다 — 이는 옳을 수도, 틀릴 수도 있는 그들의 결정이라고 Matt는 평한다
   5. 과잉 신중함의 부작용: 다소 지나치게 신중한 방향으로 오차를 두는 것은 합리적일 수 있지만, 사용자 입장에서는 매우 답답한 경험이 된다 — Matt는 특정 언어·콘텐츠 조합이 정치적으로 민감한 주제를 건드리는 것으로 오인돼 번역 시도 자체가 차단된 사례를 온라인에서 봤다고 언급한다

---

9. Infact 창업 배경과 Ion Stoica의 영향

9.1. Ion Stoica(Databricks)의 조언

1. 오픈소스 중심의 커리어 궤적

   1. Ion Stoica는 Infact의 어드바이저이자 공동창업자로, Databricks, Anyscale, 그리고 퍼블릭 플랫폼인 Chatbot Arena의 경험을 거쳐 왔다
   2. 핵심 질문: 그의 초점은 "이렇게 많은 사람이 이 critical한 프로젝트를 쓰는 세상에서, 어떻게 하면 사람들이 최고의 품질을 얻을 수 있고, 어디서 가치가 나오는지"를 계속 고민하는 것이었다

2. 오픈소스 우선 철학의 적용

   1. "만들 수 있는 것은 오픈소스로": 무엇을 만들든 오픈소스로 만들고자 했다
   2. "제공할 수 있는 가치는 last mile을 닫는 것": 고객·파트너가 최고의 결과를 얻도록 마지막 단계(last mile)를 상용 서비스로 완결짓는 방식으로 회사의 비즈니스 모델을 구성했다

---

10. 5년 후 전망 — 오픈소스는 프론티어를 따라잡을 것인가

10.1. "실질적 차이는 없을 것" 이라는 결론

1. 차이는 모델 자체가 아니라 유통 전략에 있다

   1. 핵심 재료는 동일: 오픈웨이트든 클로즈드웨이트든, 모델을 만드는 데 필요한 것은 결국 컴퓨터 클러스터, 학습 데이터, 뛰어난 연구자들이라는 동일한 첫 원칙(first principle)에서 출발한다
   2. 실제 차별화 지점은 유통·GTM: Simon은 "결국 차이는 배포·유통 전략(distribution strategy)과 시장 진입 전략(go-to-market strategy)의 문제이지, 능력(capability) 격차는 오늘날조차 크지 않다"고 단언한다

2. 차별화의 진짜 축 — "환경(Environment)"

   1. 데이터가 아니라 환경이 핵심: 누가 어떤 데이터를 확보하느냐보다, 모델이 스스로 더 나아지도록 만드는 "환경"을 누가 더 잘 구축하느냐가 관건이라는 것이 Simon의 주장
   2. Kimi K3의 프론트엔드 코딩 환경 사례: Chatbot Arena에서 K3 관련 유용한 벤치마크 중 하나가 프론트엔드 코딩이었는데, Moonshot이 프론트엔드 코딩을 위한 최고 수준의 환경을 구축해 모델이 코드를 작성하고 렌더링 결과를 보며 반복(iterate)하는 데모를 공개했다 — 이는 데이터 소스가 아니라 "환경을 통한 학습 최적화"의 문제
   3. 내년의 화두는 "재귀적 자기개선": 다음 1년은 open-weight 모델 랩들이 이 환경 구축과 알고리즘적 최적화 선택으로 어떻게 차별화하고, 세간에서 화제인 "재귀적 자기개선(recursive self-improvement)"을 실제 세계와 연결시키는가에 관한 것이 될 것이다

10.2. "우수 연구자들이 특정 진영에 몰려있다"는 통념에 대한 반박

1. 연구자는 오픈/클로즈드가 아니라 "흥미로운 문제"에 끌린다

   1. 미국=폐쇄, 중국=오픈이라는 이분법에 대한 반박: Simon은 우수 연구자들이 open이냐 closed냐를 기준으로 일하는 곳을 고르는 것이 아니라, 흥미로운 문제(interesting problems)에 이끌린다고 답한다
   2. 다만 open-weight는 임팩트 측면에서 확실한 보너스: 다만 open-weight 모델은 연구자에게 임팩트를 극대화할 수 있는 명확한 이점(플러스 요인)을 제공한다

2. RoPE 제거 일화 — "발명자가 스스로 자신의 발명을 걷어냄"

   1. 기술적 배경: Kimi K3 모델의 흥미로운 기술적 포인트 중 하나는 RoPE(Rotary Positional Embedding)를 제거했다는 점이다 — RoPE는 대부분의 Transformer 모델에 오랫동안 표준으로 쓰여온 기법
   2. 아이러니한 반전: 이걸 제거한 사람이 다름 아닌 RoPE를 처음 제안한 논문 저자(Jenning) 본인이었다 — 그는 최초로 RoPE 개념을 소개하는 논문을 썼고, 이번 K3 기술 리포트에서는 "왜 이 경우엔 필요 없는지"에 대한 설명까지 직접 작성했다
   3. 의미: Simon은 이를 "겸손한 뛰어난 연구자들이 스스로 원리를 연구하고 학습의 비밀을 공유하며, 자신의 과거 연구를 인식하고 반복 개선해 나가는 모습이 완전히 한 바퀴 돌아온(come full circle) 느낌"이라며, 이 모델의 탄생을 "일종의 기적(miracle)"이라고 표현했다
   4. AI 이론과 실무의 간극에 대한 여담: Matt는 "AI는 경험적으로는 놀랍도록 잘 작동하지만, 이론가들에게 물어보면 사실상 아무도 왜 그런지 정확히 모르는 이상한 영역"이라며, positional embedding의 중요성을 배웠다가 몇 년 뒤 "사실은 간단한 게 더 낫더라"는 식으로 이해가 한 단계씩 깊어지는 반복적 과정을 짚었다

10.3. Distillation(증류)에 대한 견해

1. "증류가 진행 중이냐"보다 "증류가 핵심 동력이냐"에 초점

   1. 질문의 프레이밍: Matt는 "증류가 일어나고 있는지"는 이미 세상 모두가 추측하는 영역이라 묻지 않겠다며, 대신 "증류가 (중국 랩들에게) 핵심적인 구성요소인지, 아니면 좋은 연구를 하다 보니 부수적으로 발생하는 일인지"를 묻는다
   2. Simon의 입장 — 부수적(incidental)이라는 쪽: Simon은 후자 쪽으로 기운다고 답한다

2. 왜 증류가 핵심 동력이 아니라고 보는가

   1. 환경(Environment)은 증류할 수 없다: 앞서 강조한 "환경"은 RL 환경이며, 다른 사람의 환경을 그대로 복제해 증류할 방법이 없다 — 환경을 구성하고 학습 프로세스 자체를 이해하는 것은 오늘날 기술로는 대부분 불가능한 영역이다
   2. 데이터셋 재작성 정도는 가능하지만 결정적이지 않음: 사전학습 데이터셋을 더 낫게 재작성하는 정도는 어떤 모델로든 할 수 있는 일이지만(지시를 잘 따르는 모델이라면 다 유용), 이것이 오늘날 발전을 이끄는 핵심 요인이라고 보지는 않는다
   3. 결국 진짜 동력은 사람과 알고리즘: 결국 오늘의 진전을 이끄는 것은 매우 뛰어난 사람들이 만든 흥미로운 알고리즘, 데이터, 환경이며 여기에 컴퓨팅이 더해져 모델이 만들어지는 것이다

3. 정책적 함의

   1. "증류만 차단하면 해결된다"는 생각의 함정: Matt는 백악관 입장에서는 "증류만 끄면 모든 문제가 해결된다"고 생각하기 쉽지만, 실제로는 그냥 "전 세계 곳곳의 똑똑한 사람들이 흥미로운 일을 하고 있는 것"에 가깝기 때문에 정책적으로는 "이 현실에 어떻게 적응할 것인가"가 진짜 질문이라고 지적한다

4. 오픈소스가 혁신을 가속하는 방식 — "경주 트랙(racetrack)" 비유

   1. Simon의 에세이 인용: Simon은 자신이 쓴 에세이에서 "오픈소스와 open-weight는 모두가 서로에게 배우고, 각 참가자가 이 경주 트랙에서 어디에 있는지 볼 수 있는 구조를 만들어 혁신을 돕는다"고 언급했다고 밝힌다
   2. 거인의 어깨 위에서 더 빠르게: 서로의 어깨 위에 서서(stand on shoulder of each other) 스스로를 개선할 수 있어, 모두가 더 빠르게 전진할 수 있다는 것이 핵심 논리다

5. 투자 관점의 마무리 코멘트 (Matt)

   1. "전 세계에서" 오픈소스 학습이 늘어나길 바람: a16z가 투자 관점에서 기대하는 것은 중국뿐 아니라 미국뿐 아니라 전 세계에서 더 많은 오픈소스 모델 학습이 이루어지는 것이다
   2. 협업의 마법과 "글로벌 조화(global harmony)": 모두가 참여할 때 얻어지는 협업의 마법이 있으며, 이것이 궁극적으로 "글로벌 조화"로 이어질 수 있다는 낙관적 코멘트로 대화를 마무리한다

---

주요 발언 모음

"VLM is a inference engine. It is kind of like databases and operating system other critical software to power AGI." — Simon Mo

"The fun thought experiment is if GPUs dropped in price by 99%. Then do we get back to a real open-source world?" — Matt Bornstein

"AlexNet, the first neural network to run on GPUs that we care about, ran on two GPUs. That would get you literally nowhere [today]." — Matt Bornstein

"If moderation is never solved... then there's always a place where you have a model where you know and trust that you are publishing to and be able to use from." — Simon Mo

"A lot of our developer within Infact and for VLM are retreating from using Fable 5 because you have a two-hour job and you trigger the red line which is false positive and then you have to lose all of your work... a lot of our developer are using like Kimmy K3 today." — Simon Mo

"It's not just software, right? Like an AI model is not software at the end of the day." — Matt Bornstein

"Who removed [RoPE]? ... he wrote the first paper introducing RoPE as a concept and then he now also wrote the explanation of why you don't need it... a miracle I would say for this model to come alive." — Simon Mo

"I really don't think from currently what we're seeing this is a big cornerstone of what's powering the progress today. In the end what's powering the progress is still just really smart people with very interesting algorithms, data, environment." — Simon Mo (증류에 대해)

핵심 데이터 & 수치

• vLLM 지원 모델 아키텍처: 1,000개 이상, 언제든 50만 개(half a million) GPU에서 동시 구동 중
• Kimi K3 가격 포지션: Claude(Opus)/GPT-5보다는 저렴하지만 GLM 5.2보다는 비쌈 — 이전 대비 10배(10x) 가격 격차를 좁힌 스텝 체인지
• Open-weight fast mode 속도: 초당 최대 400~500 토큰까지 제공 — 이는 시중 일반 fast mode보다 2~3배 빠른 수준. Proprietary 모델은 "regular/fast" 단 2단계인 반면 open-weight는 프로바이더당 최대 10단계 속도 옵션 제공
• AlexNet 학습 규모: GPU 2개로 학습 — 오늘날 프론티어 기준으로는 "말 그대로 아무것도 얻을 수 없는" 규모
• 커뮤니티 검증이 잡아내는 버그 발생률: 약 0.00001% 수준의 극희귀 케이스까지 대규모 배포·커뮤니티 협업을 통해 걸러냄
• 오픈소스 인프라 스타트업들의 동시 창업 시점: vLLM/Inferact, Open Router, Ollama 모두 2022~2023년경(ChatGPT 이전 포함) 시작
• vLLM 프로젝트 존속 기간: 약 4년(2022년 기원), 회사(Inferact)는 그보다 최근에 설립

결론 및 시사점

1. 오픈소스(open-weight) AI는 이미 "선택"이 아니라 "인프라"다. vLLM처럼 데이터베이스·OS급 취급을 받는 추론 엔진이 존재한다는 사실 자체가, 오픈소스가 애호가의 영역을 벗어나 프로덕션 경제 전체를 떠받치는 단계에 도달했음을 보여준다.

2. 오픈소스를 택하는 이유는 시기에 따라 "통제"에서 "비용"으로 무게중심이 이동해왔다. 지난 몇 년은 통제(가드레일, SLA 준수, 시스템 모니터링)가 핵심이었고, 최근 몇 달은 급증하는 토큰 비용에서 벗어나려는 니즈가 강해졌다. 두 축 모두 앞으로도 공존할 것이다.

3. 모더레이션 실패는 오픈소스 수요를 구조적으로 만들어낸다. 폐쇄형 API의 과잉·자의적 가드레일이 정당한 사용까지 막는 한(예: GPU 커널 연구를 차단하는 Anthropic 모델의 false positive 사례), "신뢰할 수 있는 모델을 직접 통제하고 싶은" 수요는 사라지지 않는다. 이는 소셜미디어의 "면책 조항 부재" 문제와 구조적으로 동일하다.

4. 오픈소스 모델의 라이선스는 계속 "상업화"되는 방향으로 진화할 것이다. Llama의 DAU/ARR 조항부터 Minimax, Kimi의 사용량·파생저작물 조항까지, "가져다 마음대로"에서 "지속가능한 경제 구조"로 이동하는 흐름은 앞으로도 이어질 것이며, 이는 탐욕이 아니라 막대한 학습 비용을 감당하기 위한 불가피한 선택이다.

5. 5년 후에도 오픈소스와 프론티어 모델 사이의 능력 격차는 사실상 없을 것이라는 전망이 나온다. 다만 승부는 모델 자체가 아니라 "학습 환경(RL environment)"을 얼마나 잘 구축하느냐, 그리고 유통·GTM 전략에서 갈릴 것이다 — Kimi K3의 프론트엔드 코딩 환경, RoPE 발명자 스스로가 이를 제거한 K3 기술 리포트가 그 증거로 제시된다.

6. 증류(distillation)는 오픈소스 발전의 핵심 동력이 아니라는 시각이 제시된다. RL 환경은 복제·증류가 불가능한 영역이며, 진짜 발전은 뛰어난 사람들의 알고리즘·데이터·환경 구축 역량에서 나온다는 것이 vLLM 리드 메인테이너의 실무적 관찰이다.