메타데이터
- 채널: aiDotEngineer (AI Engineer 컨퍼런스)
- 발표자: Thiyagarajan Maruthavanan (mtraj)
- 원본 URL: https://www.youtube.com/watch?v=Bck7ABCZRZI
- 날짜: 2026-07-19
- 태그: #AI #추론인프라 #inference #LLM비용 #자체호스팅 #AIEngineer #스타트업
1계층 — 핵심 주장 및 논거
이 발표의 핵심 주장은 한 문장으로 요약된다: "배우려면 빌리고(rent), 벌려면 소유하라(own)." (Rent to learn, own to earn)
발표자는 국내 최대 소매업체 중 한 곳이 Anthropic 추론 비용으로 약 2억 달러를 지출한 뒤 사태가 걷잡을 수 없다고 판단해 자체 인프라를 구축한 사례로 발표를 연다. Uber CTO가 1년치로 책정한 토큰 예산을 4개월 만에 소진했다는 뉴스도 같은 맥락이다. 발표자는 청중 절반이 이미 "시간이 갈수록 지능(intelligence)의 비용이 부풀어 오른다"는 결론에 도달했을 것이라 확신한다고 말한다.
논거의 축은 크게 세 가지다.
첫째, 빌려 쓰는 지능(rented intelligence)은 구조적으로 통제가 어렵다. 추론 사용은 휴대폰 요금제처럼 월 1회 청구서를 받고 마음속에 앵커링할 수 있는 특정 금액이 있는 방식이 아니다. 오히려 카지노 칩처럼 선불 크레딧을 충전(load)하는 방식이다. 조금 넣고, 써보고, 중독되어 점점 더 많이 쓰게 되고, 어느 순간 마음속에 정해뒀던 임계치를 이미 한참 넘어섰다는 걸 깨닫는다.
둘째, 발표자 본인이 이를 직접 경험했다. 그는 Suno.com(텍스트 프롬프트 → 음악 생성)의 역방향, 즉 "노래가 주어졌을 때 어떤 프롬프트가 이 곡을 생성했을까"를 추론하는 앱(Ultrazone/Ulta Sono)을 만들었다. 재미로 만들어 친구들에게 공유했는데 수십만 명의 사용자가 몰렸고, 예상보다 훨씬 큰 수십만 달러의 추론 비용이 발생했다. 원인은 컨텍스트 관리 미흡, 입력 토큰 압축 누락, 에이전트 루프에서 발생하는 낭비성 호출들이며, 근본적으로는 추론 엔드포인트가 워크로드의 실제 형태(shape)를 전혀 모르기 때문에 벌어지는 일이라고 설명한다.
셋째, 보안/통제 리스크도 별개의 문제로 존재한다. 3주 전 발표자의 API 키가 중국에서 탈취되어 엔드포인트를 무단으로 소진당했다. 비용이 7,000달러 → 7,500달러 → 8,000달러로 치솟는 걸 지켜봤고, 리서치·기술 총괄인 공동창업자 덕분에 10,000달러 선에서 겨우 막았다 — 그렇지 않았다면 100,000달러까지 갈 수 있었다고 말한다.
2계층 — 주요 개념 설명 및 사례
렌트(Rented Intelligence) vs 토큰 팩토리(Token Factory) vs 자체 인프라(Just Infra)
발표는 추론 확보 방식을 3단계 스펙트럼으로 제시한다.
-
렌트(Rented Intelligence): Anthropic, OpenAI 같은 프론티어 모델 제공사에 API 호출 단위로 비용을 지불하는 방식. 진입 장벽이 없지만 위에서 설명한 통제 불가능성이 문제다.
-
토큰 팩토리(Token Factory): "왜 Anthropic·OpenAI에 돈을 내는가? 오픈소스 모델을 쓰고, 클라우드 어딘가에 이미 배포된 걸 초당 토큰(tokens per second) 단위로 프로비저닝하면 된다"는 접근. 네오클라우드(neo cloud)나 추론 엔드포인트 제공사들이 이 역할을 한다. AI 트위터 인플루언서 중에는 "차고/지하실에서 직접 추론 인프라를 구축하라"며 GPU 카드를 사서 랙을 짜라고 조언하는 사람들도 있다 — 이것이 로컬 토큰 팩토리다.
-
자체 인프라(Just Infra): 발표자가 도달한 결론. 렌트도, 토큰 팩토리도 아닌 진짜 자기 소유의 추론 인프라.
발표자는 실제로 로컬 토큰 팩토리에 영감을 받아 DGX 박스를 직접 구매했다. Ulta Sono를 Anthropic에서 DGX 박스로 옮겼고 잘 작동했다. 메모리가 병목이 되는 이슈를 한 번 겪었지만, 이후 리서치 랩에 필요한 에이전트들(2개 → 6개 → 8개 → 12개로 점차 확장)을 이 박스 위에서 굴리는 데는 문제가 없었다.
세 엔터프라이즈의 서로 다른 벽
문제는 이 셋업이 "엔터프라이즈에는 신뢰할 수 없다(may not be reliable)"는 점이었다. 발표자에게 동일한 셋업 복제를 요청한 세 곳의 엔터프라이즈가 각각 다른 벽에 부딪혔다:
- 투자 펀드: 이메일 클라이언트 아키텍처 위에서 투자 애널리스트 에이전트를 돌리고 있었는데, 외부 업체가 자신들이 소비할 수 있는 레이트 리밋을 지시하는 것을 원치 않았다 → 통제(control) 문제.
- 병원: 유스케이스 자체는 잘 작동했지만, 이후 감사(audit) 과정에서 서드파티 벤더 의존성이 레드라인(redlined, 승인 불가) 처리됐다 → 감사/컴플라이언스 문제.
- 세무 법인: 완전히 다른 이슈. 지능형 시스템이 세무 추천안을 생성했을 때, 그 추천을 나중에 재현(recreate)할 수 있어야 하는데, 모델 내부에 접근 권한이 없으면 이걸 할 수 없다 → 재현성/투명성 문제.
렌트 모델의 문제가 "빌(bill)"이라면, 엔터프라이즈에서는 통제·컴플라이언스·재현성이라는 2차적 문제들이 렌트/리스 방식 자체를 극도로 비효율적으로 만드는 요인이 된다.
"새 도시로 이사하는 것" 비유
발표자는 이 전환 시점을 새 도시로 이사하는 경험에 비유한다. 처음에는 집을 사지 않고 렌트하거나 Airbnb로 지낸다 — 동네와 도시를 경험해보는 것이다. 하지만 결국은 집을 사야 한다. Airbnb에서 가족을 키울 수는 없다(You cannot raise a family in an Airbnb).
Just Token Max & 책 "Peak Inference"
이 경험들을 정리해 오픈소스 프로젝트 **"Just Token Max"**를 공개했다. Netflix의 "headroom"을 써본 사람이라면 그 대안이라고 이해하면 되고, 여러 지표에서 headroom 대비 우수하다고 벤치마크했다고 밝힌다. 렌트/리스 레이어에서도 입력 비용 대비 토큰 관리, 컨텍스트 관리 등 다층적으로 최적화할 여지가 있다는 걸 이 과정에서 깨달았다고 한다. 또한 자체 추론 인프라를 구축해야 하는 시점의 경제학을 다룬 책 **"Peak Inference"**도 집필했다.
3계층 — 실행 포인트 및 시사점
"언제 렌트를 멈춰야 하는가"에 대한 발표자의 명확한 판단 기준:
- PMF(제품-시장 적합성) 이전 단계의 스타트업/창업자라면 — 아직 유스케이스에 수요가 있는지 검증 중이므로 렌트로 버텨도 된다.
- PMF 이후 단계라면 — 더 이상 렌트만으로는 감당할 수 없다.
- 이미 프로젝트 예산을 책정한 엔터프라이즈라면 — 이는 곧 "이 유스케이스에 PMF가 있다"고 가정하고 있다는 뜻이므로, 자체 인프라 구축을 외면할 수 없다.
AI 시장의 구조적 불확실성도 실행 판단에 영향을 준다. 발표자는 이 시장이 3~6개월마다 규칙이 바뀌는 매우 시끄러운(noisy) 시장이라고 지적한다. Jensen Huang(NVIDIA)은 "토큰 팩토리가 미래"라고 말하고, Satya Nadella(Microsoft)는 "무제한 계량 지능(unmetered intelligence)이 미래이며 로컬이 될 것"이라 말한다. 네오클라우드와 추론 엔드포인트 제공사들은 "우리가 시장 가치를 포착할 주체"라고 주장한다. 이렇게 서로 다른 이해관계자들이 서로 다른 미래를 이야기하는 상황에서, 결국 각자가 자신의 답에 도달해야 한다는 것이 발표자의 결론이다.
실무자에게 주는 구체적 시사점:
- 추론 비용이 예측 불가능하게 커지고 있다면, 그것은 컨텍스트 관리·토큰 압축·에이전트 루프 낭비 등 최적화 여지가 아직 남아있다는 신호일 수 있다 — 렌트 레이어에서도 손볼 곳이 많다.
- API 키 보안(탈취 대응)은 단순 비용 문제가 아니라 순식간에 걷잡을 수 없어질 수 있는 리스크이므로, 조기 경보/차단 체계가 필수다.
- 엔터프라이즈 고객을 대상으로 한다면 "비용" 외에 통제권, 컴플라이언스 감사 통과 여부, 결과 재현성이라는 세 가지 축을 반드시 사전 점검해야 한다 — 이 중 하나라도 걸리면 렌트/토큰 팩토리 방식 자체가 거래를 무산시킬 수 있다.
- 자체 인프라 전환은 "규모가 커서"가 아니라 "PMF를 검증했는가"를 기준으로 판단하라는 것이 발표자의 실질적 조언이다.
4계층 — 핵심 요약 (20줄)
- 발표 주제는 "인지 인프라(추론 인프라)를 언제까지 빌려 쓸 것인가"이다.
- 국내 최대 소매업체 중 하나가 Anthropic 추론에 약 2억 달러를 쓰고 자체 인프라로 전환했다.
- Uber CTO는 1년치 토큰 예산을 4개월 만에 소진했다.
- 렌트형 추론 비용은 휴대폰 요금제와 달리 선불 크레딧 방식이라 카지노처럼 중독적으로 관리 통제를 벗어나기 쉽다.
- 발표자는 노래에서 역으로 프롬프트를 추론하는 앱(Ultrazone/Ulta Sono)을 만들었다가 수십만 사용자와 함께 수십만 달러의 추론 비용 폭탄을 맞았다.
- 원인은 컨텍스트 관리 부족, 입력 토큰 미압축, 에이전트 루프의 낭비성 호출, 그리고 엔드포인트가 워크로드 형태를 모른다는 점이다.
- 3주 전 API 키가 중국에서 탈취돼 비용이 7,000달러에서 8,000달러대로 치솟았고, 공동창업자 덕분에 10,000달러에서 막았다(방치 시 10만 달러 가능성).
- 렌트의 대안으로 제시되는 것이 "토큰 팩토리"— 오픈소스 모델을 네오클라우드/추론 제공사에서 초당 토큰 단위로 쓰는 방식이다.
- 일부는 차고·지하실에서 GPU를 사서 직접 로컬 토큰 팩토리를 구축하라고 권한다.
- 발표자는 실제로 DGX 박스를 사서 Ulta Sono를 옮겼고, 메모리 병목 외에는 잘 작동했다.
- 에이전트를 2개에서 12개로 늘려가며 리서치 랩용으로 확장했지만 문제없이 돌아갔다.
- 그러나 엔터프라이즈에는 이 셋업이 신뢰할 만하지 않다는 걸 깨달았다.
- 투자 펀드는 외부가 레이트 리밋을 지시하는 것을 거부해 "통제권" 문제로 막혔다.
- 병원은 감사 과정에서 서드파티 벤더 의존성이 레드라인 처리돼 막혔다.
- 세무 법인은 추천안을 재현할 수 없다는 "재현성" 문제로 막혔다.
- 결론: PMF 이전 단계는 렌트로 버텨도 되지만, PMF 이후나 예산이 책정된 엔터프라이즈 프로젝트는 자체 인프라가 불가피하다.
- 새 도시 이사 비유 — 처음엔 렌트/Airbnb로 경험하지만 결국 집을 사야 하며, Airbnb에서 가족을 키울 수는 없다.
- 이 경험을 오픈소스 프로젝트 "Just Token Max"(Netflix headroom의 대안)로 공개했고, 책 "Peak Inference"도 집필했다.
- AI 시장은 3~6개월마다 규칙이 바뀌는 시끄러운 시장이며, Jensen Huang·Satya Nadella·네오클라우드 업계가 서로 다른 미래를 주장한다.
- 핵심 한 문장: "배우려면 빌리고, 벌려면 소유하라(Rent to learn, own to earn)."