The 100,000 Sandbox Problem — Akshat Bubna, Modal CTO

핵심 주제 1: Modal의 탄생과 핵심 철학

1-1. 창업 배경

• Kubernetes는 웹서버 use case를 위해 설계됨: 느린 스케일링, 커스텀 이미지 지원 미흡, DX 최악
• Eric(CEO)의 핵심 인사이트: "워크플로우 오케스트레이션 제품이 왜 이렇게 쓰기 힘든가?" → Kubernetes 때문
• 해결책: ETL, 잡 큐, 버스티 프로세싱을 위한 서버리스 컨테이너 런타임

세부내용 및 근거

• GPU를 ChatGPT 출시 1년 전에 제품에 추가했으나 그것이 이렇게 큰 영향을 미칠 줄 몰랐음
• 초기에는 컴퓨터 비전, XGBoost 같은 고전적 ML 추론이 타겟
• 핵심 원칙: "self-provisioning runtime" — 코드와 인프라 설정을 한 파일에 콜로케이션

1-2. 데코레이터 기반 DSL 철학

• YAML 작성 시간 낭비 제거 → 코드로 인프라를 표현
• 코드와 설정이 같은 파일에 존재하므로 프로그래밍적 조작 가능
• 비판: "이건 DSL이고 벤더 락인 아닌가?" → 반론: 실제 비즈니스 로직 코드는 유저 소유

---

핵심 주제 2: 샌드박스 (The 100,000 Sandbox Problem)

2-1. 샌드박스의 탄생 (2023년 5월)

• RL 롤아웃(rollout) 시 10만 개의 샌드박스가 동시에 필요한 상황 발생
• 에이전트가 스스로 코드를 실행하고 검증하는 루프 구현 필요
• 최초 구현: "small developer" 도구를 루프에 넣어 에이전트가 자기 자신을 반복 개선

세부내용 및 근거

• 2023년 중반 당시 모델 품질 문제: 10회 이상 반복하면 발산, 의미 있는 결과 생성 못 함
• Cognition(데빈 개발사)에 엔지니어를 파견할 정도로 긴밀한 협업
• RAMP의 "Inspect" 에이전트: 스냅샷 + 빠른 스케일링 덕분에 반응형 백그라운드 에이전트 구현 성공

2-2. RL 롤아웃의 버스티니스 문제

• RL 학습 중 롤아웃 단계에서 수천~수만 개의 샌드박스를 순간적으로 필요
• Cursor의 사례: 몇 시간마다 모델에 RL 적용 → 매번 GPU 수천 대 급증
• Modal의 강점: 탄력적 스케일링 — 1,000 → 1,500 GPU로 빠르게 증설 가능

2-3. 샌드박스 최신 기능

• Sidecar 컨테이너: 샌드박스가 실제로 컨테이너 파드(pod)이며 Docker Compose 지원
• 아웃바운드 네트워크 제어: man-in-the-middle 프록시, 자격증명 주입, 도메인별 이그레스 제어
• 멀티노드 샌드박스 통신: 서로 다른 노드의 샌드박스끼리 통신하는 기능 (실험적)

---

핵심 주제 3: 추론(Inference) 플랫폼 진화

3-1. 탄력적 추론 — 제품 시장 적합성 발견

• 처음 PMF 찾은 곳: 커스텀 모델 추론
• 주요 고객: Suno(오디오), Runway(비디오), 로보틱스, 컴퓨테이셔널 바이오
• 핵심 차별화: 예측 불가능한 트래픽 패턴에 대한 오토스케일링

세부내용 및 근거

• 회사가 신제품 런칭 시 트래픽 급증 → 다양한 모델 × 여러 리전 = 복잡한 오토스케일링
• GPU 스냅샷 기능: torch compiler 모델 상태를 스냅샷해두어 콜드 스타트 시간 대폭 단축

3-2. Dlash — 블록 기반 투기적 디코딩 (오픈소스)

• 투기적 디코딩(Speculative Decoding): 작은 드래프트 모델이 토큰을 미리 예측, 큰 모델이 일괄 검증
• 속도 향상: 수용 길이(accept length) 개선 시 2~4배 속도 향상 (품질 저하 없음)
• 커널 최적화는 몇 % 수준이지만, accept length 개선은 곱셈적 성능 향상

세부내용 및 근거

• Dlash: 한 번에 한 토큰이 아닌 블록 단위로 예측
• SG-Lang 팀과 협력하여 오픈소스에 기여 — Modal 외부에서도 사용 가능하도록
• 오픈소스 vFlash 사용 시 독점 제공자와 동등한 성능 달성 가능

3-3. 오토 엔드포인트 (Auto Endpoints)

• 코드 없이 UI/CLI에서 모델 엔드포인트 생성
• Dlash 최적화 자동 적용, 완전한 투명성 제공 (생성된 코드 확인 가능)
• "이젝트(eject)" 기능: 전체 Modal 경험으로 전환 가능
• 다음 단계: 트래픽 섀도잉을 통한 드래프트 모델 자동 학습 (사람 개입 없이)

---

핵심 주제 4: 에이전트 경험 (AX) — DX에서 AX로

4-1. SDK 팀 리오리엔테이션

• **DX(Developer Experience) → AX(Agent Experience)**로 팀 목표 전환
• 에이전트도 수백 개의 Kubernetes YAML 파일을 읽는 것보다 데코레이터 몇 줄이 훨씬 효율적
• 에이전트가 변경 사항을 즉시 실행 중인 시스템에서 확인 가능 (self-provisioning runtime)

세부내용 및 근거

• 고객들이 에이전트가 Modal을 다른 인프라 대비 훨씬 빠르게 사용한다고 확인
• 코드를 아무도 안 보는 시대 → 그렇다면 YAML 대신 코드로 표현하는 의미가 더 없어짐
• 옵저버빌리티(관찰 가능성)의 중요성 증가: 대시보드 품질, CLI 푸시로 에이전트가 자체 조사 가능

4-2. LLM의 Modal 코드 생성 능력

• Claude 4 이전: Modal 코드를 one-shot으로 생성하지 못함
• Claude 4 이후: 즉시(one-shot) 생성 가능
• 아직 어려운 것: 옵저버빌리티 활용 (로그를 보고 올바른 설정 변경 추론)
• "Modal Bench" 계획 중: LLM이 아직 못하는 어려운 케이스 벤치마크

4-3. 에이전트를 위한 클라우드 프리미티브 재정의

• 기존 클라우드: 컴퓨트 + 스토리지 + 네트워킹
• 에이전트 시대: + 스냅샷/복원, 네트워크 제어, GPU 온디맨드, 퍼시스턴트 파일시스템
• I6PN (IPv6 Overlay Network): 같은 워크스페이스 내 Modal 컨테이너 간 프라이빗 통신
  • 원래 분산 학습용으로 만들었으나, 사용자들이 예상치 못한 방식으로 활용 중

---

핵심 주제 5: 멀티클라우드 & 인프라 전략

5-1. 17개 클라우드 제공자 전략

• 자체 데이터센터 없음 → 17개 클라우드 및 네오클라우드 활용
• 차별화: 소프트웨어 레이어에 집중, 자본 경량화로 빠른 움직임 가능
• 자체 신뢰성 레이어 구축: GPU가 갑자기 오프라인 돼도 사용자 워크로드 영향 없음

세부내용 및 근거

• 신뢰성 레이어 덕분에 다른 업체들이 사용 못하는 불안정한 클라우드 용량도 활용 가능
• 데이터 지역성(locality) 수요: EU/US 특정 지역에 고정된 GPU/CPU 필요
• 에이전트 샌드박스를 LM 추론 서버와 같은 지역에 배치 요구 증가

5-2. 컴퓨트 전략 팀

• 역할: 1년/3년 예약의 최적 혼합, 용량 예측, GPU 타입 × 리전 포트폴리오 최적화
• 항공사의 연료 헤징과 유사한 전략적 결정 필요
• 배치 요금제: 지연 시간 비민감 워크로드(컴퓨테이셔널 바이오 등)에 24시간 내 결과 제공, 훨씬 저렴

---

핵심 주제 6: 분산 학습 & 오토 리서치

6-1. 멀티노드 학습

• RDMA 네트워킹 지원 (TCP 스택 바이패스) → 노드 간 3TB/s 내부 네트워킹
• 타겟: 대규모 사전 학습(pre-training)이 아닌 중소 규모 포스트 트레이닝
• 사례: Qwen 모델 포스트 트레이닝으로 추론 품질 향상

6-2. 오토 리서치 (Auto Research)

• 현재 수준: 아키텍처 탐색이 아닌 하이퍼파라미터 탐색 (모델이 가이드하는 효율적 스윕)
• Modal 내부 사용: "auto-inference" 레포 — 에이전트가 Nvidia Nsight 프로파일러 실행, 설정 조정, H200→B200 GPU 전환까지 자동화
• FDE(Field Deployment Engineer) 팀: 응용 추론 연구자 수준의 기술력 보유

---

핵심 주제 7: 생태계 포지셔닝

7-1. 파운데이션 랩과의 관계

• Anthropic 등 주요 파운데이션 랩과 파트너십
• 초기 에이전트 개발: 매니지드 에이전트(Claude, Gemini 등)로 시작
• 프로덕션 등급 에이전트: 전용 샌드박스 제공자 필요 (파일 처리, 스냅샷/복원, 네트워크 제어, GPU)

7-2. 미래 방향

• 수천 개의 회사들이 자체 모델을 포스트 트레이닝 → 오픈소스 모델 추론 수요 급증 예상
• 실시간 오디오/비디오: 지역 라우팅 + 폴백으로 사용자 근처 GPU 배치
• 에이전트 스택: 샌드박스 + 퍼시스턴트 파일시스템 외에 "다음 것들" 준비 중 (미공개)

---

요약 및 핵심 인사이트

1. "The 100,000 Sandbox Problem": RL 롤아웃 시 10만 개 샌드박스 동시 필요 → Modal이 해결해야 할 핵심 스케일링 과제
2. DX → AX 전환: 에이전트도 인간 개발자와 동일한 인프라 인터페이스 혜택을 받음
3. 오픈소스 전략: Dlash, vFlash 등 핵심 기술을 오픈소스화하여 생태계 기여 + 전문성 유지
4. 소프트웨어 레이어 집중: 자체 데이터센터 없이 17개 제공자 위에서 신뢰성 레이어로 차별화
5. Claude 4 변곡점: Modal 코드를 one-shot으로 생성 가능해진 시점이 AX 시대의 분기점