AI 스타트업이 데이터센터를 직접 구축해야 하는 이유

URL: https://www.youtube.com/watch?v=hj5oRzAnp2M 날짜: 2026-09-06 채널: 20VC 원문 제목: How to Build Your Own Data Center & Why Every Startup Should Do It 출연자: Cliff Weitzman, Speechify 창업자 겸 CEO

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI 스타트업의 경쟁력은 팀만으로 결정되지 않으며, 팀이 빠르게 실험하고 제품을 출시할 수 있도록 데이터·컴퓨트·모델 아키텍처를 함께 확보하는 데서 나온다.==

• Speechify는 학습과 확실한 추론 수요에 필요한 GPU를 직접 소유하고, 부족분과 피크 수요만 하이퍼스케일러에서 빌린다.
• 최신 GPU를 먼저 확보하면 단순한 원가 절감보다 모델 실험 속도, 팀 규모, 제품 출시 속도에서 경쟁 우위를 얻는다.
• AI 기업의 제품은 하나의 API에 머물지 않고, 무료 또는 저가의 초기 쐐기(wedge)에서 음성·에이전트·업무 자동화로 계속 확장되어야 한다.
• 창업자는 이론적 기술 데모가 아니라 실제 사용자가 버그 없는 기능을 쓰는 순간까지 책임져야 하며, 좋은 인재는 현재의 이력보다 기술적 잠재력과 학습 기울기로 선발해야 한다.

핵심 논점은 소프트웨어만 배포하는 시대가 끝났다는 데 있다. 충분한 데이터와 컴퓨트가 없으면 에이전트를 아무리 많이 붙여도 좋은 가설을 검증할 수 없고, 제품을 실제 사용자에게 반복 출시할 수도 없다. GPU를 소유할지 빌릴지는 단순한 시간당 가격 비교가 아니라 학습용 메모리 집적도, 납기, 냉각·전력·보험·운영 리스크, 그리고 팀의 의사결정 속도를 함께 계산해야 하는 전략적 선택이다.

1. 왜 Speechify는 수천만 달러를 GPU에 투자하는가

1.1. 임대 GPU가 엔지니어의 실험을 위축시킨 문제

1. 2022년 GPU 직접 구매의 출발점

   1. Speechify는 2022년에 Nvidia GPU가 들어간 대형 랙(rack)을 구매했다. 목적은 자체 모델 학습이었다.
   2. 최신 Simba 3.2 모델은 음성 품질 기준으로 세계 1위라고 평가받고 있으며, 11 Labs 같은 프런티어 업체보다 10배 저렴하다는 주장이 제시됐다.
   3. 이전에는 GPU를 빌렸지만 엔지니어가 회사에 시간당 수천~수만 달러의 비용을 발생시키는 것을 의식해 사용량을 줄였다.

2. 마이클 조던과 집 안의 농구 골대 비유

   1. NBA 선수가 되려는 마이클 조던에게 농구 연습장 이용료를 매시간 내게 하면 비용 때문에 연습을 아끼게 된다.
   2. 정말 중요한 목표라면 언제든 갈 수 있는 체육관, 더 나아가 집 안에 골대가 필요하다.
   3. Speechify는 핵심 모델을 훈련하는 팀에게 GPU를 그 집 안의 골대처럼 제공하려고 직접 소유를 시작했다.

3. 직접 소유가 만든 효과

   1. 처음의 GPU 구매가 좋은 거래로 판명되었고, 더 좋은 모델을 훈련하면서 투자를 계속 확대했다.
   2. GPU 접근성이 좋아지자 비용을 아끼는 대신 가설을 바로 시험하는 문화가 가능해졌다.
   3. 결정적인 자산은 장비 그 자체보다 엔지니어가 창의적인 아이디어를 떠올린 즉시 실험할 수 있는 시간이다.

1.2. FLOPS당 가격과 소유 비용의 구조

1. GPU 세대가 바뀌어도 연산 단가는 낮아진다

   1. Transformer는 2017년 Google에서 발명됐고, Nvidia A100은 2019년에 출시됐다.
   2. 이후 H100, Blackwell 계열의 B200·B300, 그리고 Rubin 세대가 등장했다.
   3. Rubin은 액체 냉각을 사용하며 Elon Musk가 우주로 보내는 데이터센터 구상에도 등장한 GPU다.
   4. FLOP은 덧셈·뺄셈·곱셈 같은 수학 연산이고, GPU는 초당 몇 조(trillion) 번의 연산을 수행하는지로 측정한다.
   5. 세대가 올라갈수록 GPU 한 장의 가격이 비싸져도 초당 연산량 대비 비용은 낮아지는 경향이 있다.

2. H100의 임대와 구매 비교

   1. H100 한 장의 구매 가격을 약 3만 달러로 잡으면, Google Cloud의 스팟 인스턴스는 시간당 약 5달러, Azure나 AWS는 약 3.5달러일 수 있다.
   2. 시간당 3.5~5달러를 24시간, 365일 내면 1년 임대비는 약 3만5천~5만 달러가 된다.
   3. 1년 임대에 구매가의 약 1.5배를 지불하는 셈이므로, 확실히 계속 사용할 물량은 구매하는 편이 유리하다.
   4. 보증기간은 보통 3년이지만, 청결한 환경에서 냉각과 유지보수를 받는 GPU는 10년가량 작동할 수 있다.

3. 대규모 학습에서는 카드 수보다 메모리 집적이 중요하다

   1. 여러 GPU가 하나의 대규모 메모리에 접근해야 하는 학습은 아무 클라우드 인스턴스나 빌려서 해결할 수 없다.
   2. 데이터가 붙어 있는 거대한 메모리 카드와 GPU 클러스터를 함께 배치해야 하며, 이 조건을 임대로 맞추면 매우 비싸거나 원하는 구성을 확보하기 어렵다.
   3. 오픈소스 코딩 모델을 자체 하드웨어에서 실행하면 Anthropic 같은 서비스에 토큰 단위로 지불하는 것보다 토큰당 비용이 극히 작은 수준으로 떨어진다.

2. GPU의 감가상각, 수요 예측, 데이터센터 운영

2.1. 최신 GPU와 구형 GPU를 함께 쓰는 법

1. 학습과 추론의 시간 가치가 다르다

   1. 학습에서는 가설의 답을 빨리 얻어야 하므로 최신 아키텍처가 압도적으로 중요하다.
   2. 가설을 검증하는 매분마다 경쟁사보다 앞서거나 뒤처질 수 있기 때문에 학습 속도가 곧 경쟁 속도다.
   3. 반면 Speechify의 음성 텍스트 변환·텍스트 음성 변환 추론은 약 100밀리초 안에 결과를 내면 되므로 K80 같은 구형 GPU도 충분하다.
   4. 최신 GPU는 학습과 긴급한 실험에, 구형 GPU는 품질 기준을 충족하는 추론과 덜 중요한 실험에 배치한다.

2. 아이폰 서랍이 아니라 동시에 쓰는 자산

   1. 2011년 아이폰 3G부터 새 아이폰을 계속 사면 집에 다섯 대가 쌓여도 한 번에 한 대만 쓸 수 있다.
   2. 10만 장의 GPU를 소유하면 모든 카드를 동시에 쓸 수 있으므로 구형 자산을 보유했다고 해서 반드시 유휴 자산이 되지는 않는다.
   3. 확정적인 기본 수요는 소유하고, 전용 인스턴스 선불 계약과 스팟 인스턴스를 추가로 섞어 쓴다.
   4. 9월에는 개학으로 사용자가 늘어나므로 수요를 평탄화하기 위해 하이퍼스케일러 임대를 추가한다.

3. 과잉 GPU의 출구

   1. 계획보다 사용량이 적은 시기에는 지인이나 다른 팀에 GPU를 빌려줄 수 있다.
   2. GPU가 학습용으로는 너무 오래되어도 추론용으로 전환할 수 있다.
   3. 은행에 현금을 두거나 장기채를 사서 약 5% 수익을 얻는 것과 비교하면, 1년 임대비가 구매가의 1.5배인 GPU는 자본 수익률이 더 높을 수 있다.

2.2. 구매 물량을 계산하는 방식

1. 수요의 두 종류를 분리한다

   1. 추론은 사용자가 Speechify에 텍스트를 보내고 오디오를 돌려받을 때 백그라운드에서 계산하는 과정이다.
   2. 학습은 대규모 데이터와 모델 아키텍처를 결합해 새 모델이라는 블랙박스를 굽는 과정이다.
   3. Speechify는 6천만 명의 사용자가 읽기·받아쓰기·업무용 Speechify Work를 사용하므로 추론 수요를 무시할 수 없다.

2. 월별 사용률을 기반으로 소유·계약·스팟을 나눈다

   1. 11월의 평균 사용량을 100%라고 놓으면, 10월은 큰 달이라 140%, 12월은 사람들이 집에서 공부·업무를 덜 해 80%일 수 있다.
   2. 정상 사용량의 20%는 직접 구매하고, 다음 25%는 하이퍼스케일러와 장기 계약을 체결한다.
   3. 나머지는 스팟 인스턴스로 채워 수요가 낮은 달의 과잉 커밋을 피한다.

3. 팀 확장까지 포함해 산정한다

   1. 현재 엔지니어는 45명이지만 장기적으로 150명을 목표로 한다.
   2. 45명 중에서도 일부 최고 성과자에게는 개인 전용 DGX 랙이 필요하다.
   3. 팀의 약 25%가 컴퓨트 부족으로 대기하는 상황은, 미식축구팀이 경기장은 있지만 연습할 필드가 부족한 것과 같다.
   4. 장비를 먼저 확보하면 인력 확장 뒤에 컴퓨트를 추가하는 병목을 피할 수 있다.

2.3. GPU 랙을 실제 데이터센터에 넣는 과정

1. 랙 단위 조달

   1. Rubin은 랙 한 개에 72장의 카드가 들어가는 형태로 공급되므로 여러 랙을 구매한다.
   2. B300처럼 최신 Blackwell 제품도 일찍 받을 수 있다면 추가로 구매한다.
   3. 과거 DGX A100 랙도 여러 개를 주문했으며, 트럭으로 데이터센터에 운송한다.

2. 코로케이션 사업자의 역할

   1. Speechify는 데이터센터 공간을 임대하고, 사업자는 네트워크 연결과 전력을 제공한다.
   2. 트럭에서 장비를 내리고 랙을 설치하며 고장 시 수리하는 현장 엔지니어도 제공한다.
   3. 현재 가장 큰 제약은 공간보다 전력이며, 차세대 랙의 열을 식히려면 기존 공랭 설비만으로는 부족하다.

3. 직접 구매의 물류 리스크

   1. Dell은 더 이상 일반 PC 회사만이 아니라 GPU 랙 공급업체로 봐야 한다.
   2. Dell에 주문해도 프랑스에 있는 재고와 공급업체를 거치며 납기가 지연될 수 있다.
   3. Cliff Weitzman은 프랑스의 Pierre에게 계약 납기를 지키라고 압박했고, 늦으면 다른 계약으로 갈아타겠다고 통보했다.
   4. 데이터센터 임대료는 GPU가 늦게 와도 계속 나가므로 납기 지연의 가장 비싼 비용은 빈 공간에 내는 임대료다.
   5. 공급업체나 Nvidia·Dell에 추가금을 내고 대기열을 건너뛰는 거래가 가능하며, Speechify는 GPU 한 장을 네 달 일찍 받기 위해 약 10만 달러를 더 지불한다.
   6. GPU를 실은 트럭이 사고를 당하거나 습기에 노출되거나 뒤집히면 집 여러 채 가격에 해당하는 장비를 잃을 수 있으므로 운송 보험이 필수다.

4. 액체 냉각과 설치

   1. GPU가 내는 열을 공기만으로 제거하기 어려워 물이나 물보다 열용량이 큰 액체를 사용하는 액체 냉각이 필요하다.
   2. Rubin을 설치하려는 데이터센터에는 액체 냉각 설비가 이미 승인되어 있지 않은 경우가 많다.
   3. Speechify는 데이터센터 안에 넣는 ‘사이드카(sidecar)’ 형태의 액체 냉각 장치를 조사해 구매하고, 현장 사업자에게 설치비를 지불했다.
   4. 이 과정은 순수 소프트웨어 기업과 하드웨어를 포함한 AI 기업의 운영 차이를 보여준다.

3. 소유냐 임대냐를 가르는 전략적 기준

3.1. 진행자의 반론과 Cliff의 답변

1. 임대의 유연성과 운영 단순성

   1. 진행자는 구매가 임대보다 연간 1.5배 저렴할 뿐인데, 규모를 쉽게 늘리고 줄일 수 있는 임대가 낫다고 반론했다.
   2. 보험, 운송, 보안, 액체 냉각, 설치와 수리 같은 물류 악몽을 피하고 제품 개발에 집중할 수 있다는 주장이다.
   3. 빠르게 달리는 11 Labs와 경쟁하면서 데이터센터 운영자가 되고 싶지는 않다는 문제 제기도 나왔다.

2. 코로케이션 클러스터가 필요한 이유

   1. 훌륭한 모델을 학습하려면 메모리가 공유되는 GPU를 대규모로 집적해야 하며, 클라우드에서 같은 구성을 임대하면 훨씬 비싸진다.
   2. 클라우드 사업자가 집적 클러스터를 새로 만들 때까지 수년간 커밋해야 하고, 구성 변경을 직접 통제하기도 어렵다.
   3. DGX 사이에서 메모리를 이동시키는 InfiniBand 케이블 하나가 필요해도, 소유자는 즉시 설치할 수 있지만 임차인은 제공자의 우선순위와 설계에 묶인다.
   4. 이런 컴퓨트가 있으면 AI 팀의 규모와 레버리지가 커지고, 최신 Rubin을 Google이 구매할 때까지 기다리는 대신 먼저 구매해 약 1년 먼저 사용할 수 있다.

3. GPU는 비용표가 아니라 경쟁 우위의 표다

   1. 팀이 가장 중요하지만, 강한 팀은 데이터·컴퓨트·아키텍처를 스스로 끌어오는 팀이다.
   2. 지능이 상품화되어 사람이 코드를 손으로 쓰지 않아도 되는 시대에는 좋은 코드를 많이 쓰는 것보다 하루에 좋은 제품·아키텍처 결정을 10번 내리는 것이 중요하다.
   3. 한 결정마다 에이전트 5~18개가 장기 작업을 수행하며 가설을 세우고, 실험하고, 서로의 결과를 검증한다.
   4. 컴퓨트나 데이터가 부족하면 팀의 능력 자체가 제한된다.

3.2. GPU 금융과 자산의 내재가치

1. Nvidia가 만든 GPU 담보 시장

   1. Nvidia는 Blackstone, BlackRock, Apollo, Goldman Sachs와 함께 GPU 구매자에게 자금을 빌려주는 금융 구조를 추진했다.
   2. GPU 구매자가 파산하면 금융기관이 담보로 보유한 GPU를 Nvidia가 가치의 최대 25%까지 되사주는 방식으로 설명됐다.
   3. 이 장치는 은행이 더 낮은 금리로 GPU 구매자에게 대출할 유인을 만들고, GPU에 유동적인 2차 시장과 가격 하한을 만든다.

2. SolarCity와의 비교

   1. Elon Musk는 SolarCity 초기에 Morgan Stanley와 Merrill Lynch를 설득해 태양광 패널의 가격을 30년간의 가치로 광고했다.
   2. 태양광 패널을 담보로 대출받을 수 있게 만든 것이 SolarCity의 핵심 발상이었다.
   3. GPU도 담보로 금융화할 수 있다면 고가의 장비를 단순한 소모품이 아닌 생산 자산으로 취급할 수 있다.

3. 순환경제 비판에 대한 반론

   1. Oracle과 OpenAI가 서로 자금과 인프라를 약속하던 약 1년 전의 거래는 과도한 순환 구조였다고 보지만, Nvidia GPU는 실제로 사용 가능한 물리적 자산이다.
   2. Bitcoin의 내재가치는 설명하기 어렵고, 금은 의료·장신구에 쓰이지만, GPU는 장소와 무관하게 누구나 연산에 사용할 수 있다.
   3. 새 세대가 나와도 구형 GPU의 가치는 초당 테라플롭스라는 측정 가능한 생산능력으로 남는다.
   4. 따라서 GPU 시장에 순환적 자금 흐름이 있어도 완전히 허구적인 거품이라기보다 실질적인 사용가치에 기반한 시장이라는 결론이다.

4. 데이터·컴퓨트·팀이 결합하는 AI 경쟁 구조

4.1. 데이터는 모델과 제품을 동시에 만든다

1. 세 가지 필수 자원

   1. AI 기업에는 컴퓨트, 데이터, 훌륭한 제품을 만드는 팀이 모두 필요하다.
   2. 실제 사용자가 제품을 많이 쓸수록 품질이 좋은지 나쁜지를 판단하는 피드백과 벤치마크가 쌓인다.
   3. 원시 데이터를 데이터셋으로 정리하고 합성 데이터를 만드는 작업에도 GPU가 필요하다.

2. 데이터 구매의 조건

   1. Speechify는 소규모 데이터셋을 구매한 경험이 있으며, PyTorch 공동창업자 Lyn이 만든 Fireworks 같은 업체도 언급됐다.
   2. 각 기업은 자체 데이터로 특정 크기의 특화 모델을 만들겠지만, 보유하지 못한 현실 데이터나 합성 데이터는 외부 공급자에게서 사게 된다.
   3. OpenAI, Anthropic, 11 Labs 같은 기업은 데이터 공급자에게 향후 10~20년 동안 벌 수 있는 매출의 일부를 오늘 지급해 데이터 확보 시간을 산다.
   4. 내부 팀이 데이터를 직접 수집할 수도 있지만, 빠른 성장 기업은 운영 부담을 줄이기 위해 공급자에게 비용을 지불한다.

3. 데이터 마켓플레이스의 위험

   1. 데이터 사업은 ARR이 아니라 매번 새로 체결되는 일회성 거래이므로 구매자가 다음 해에도 재구매할 의무가 없다.
   2. 초기 Merkor 같은 회사가 큰 투자를 받기 어려웠던 이유도 이 반복 매출 불확실성이다.
   3. 데이터가 어떻게 수집됐는지 법적으로 명확히 하고, 데이터 사용 기업에 소송 위험을 보상하는 면책(indemnification)을 제공해야 한다.
   4. 데이터가 실제로 모델 성능을 개선해야 하며, 빠른 공급과 법무·품질 검증을 모두 해내는 운영 역량이 핵심이다.
   5. 결국 좋은 데이터 사업자는 단순 중개인이 아니라 매우 강한 운영 조직이어야 한다.

4.2. B2C에서 B2B로 이동한 이유와 가격 경쟁

1. B2C의 가격 제약

   1. 소비자 고객은 기업 고객보다 적은 금액을 지불하므로, B2C 서비스는 매우 낮은 단가에서 운영해야 한다.
   2. 11 Labs는 B2B를 먼저 공략해 Speechify를 앞질렀고, Speechify의 역사적 제약은 B2C 비용 구조였다.
   3. Speechify는 백만 문자당 10달러 미만의 원가가 필요했고, 11 Labs의 가격은 백만 문자당 100달러, OpenAI 모델과 벤치마크는 백만 문자당 196달러로 제시됐다.
   4. Speechify는 Simba 3.2 API를 B2B에 백만 문자당 10달러로 출시했다.

2. 11 Labs를 놓친 전략적 실수

   1. Cliff는 2022년 런던 자택에서 Patrick과 Mati를 만났고, 11 Labs의 모델을 사용하고 싶었지만 당시 가격이 너무 비쌌다고 회고했다.
   2. 텍스트 음성 변환 API는 시간이 지나면 컴퓨터와 휴대폰에서 직접 실행될 만큼 상품화될 것이라고 판단해 B2B를 피했다.
   3. 그는 이것을 Speechify 역사상 가장 큰 전략적 실수라고 인정했다.
   4. 핵심을 놓친 이유는 첫 제품이 최종 제품이 아니라 사용자를 확보하는 쐐기라는 실리콘밸리의 원칙을 잊었기 때문이다.

3. API에서 에이전트로 확장하는 쐐기 전략

   1. 한 목소리에 최적화된 텍스트 음성 변환 모델은 다른 목소리, 감정 표현, 음성 복제, 음성 인식으로 확장될 수 있다.
   2. 대화의 머뭇거림·웃음·끼어들기·턴테이킹을 처리하는 듀플렉스 모델과 음성 대화 하네스를 붙일 수 있다.
   3. 이후 영업, 고객지원, 업무용 에이전트로 이동하면 구매자는 엔지니어가 아니라 CTO·CIO·CEO가 된다.
   4. Sierra가 말하는 결과 기반 가격(outcome-based pricing)처럼, AI 동료를 제공하고 그 결과에 가격을 매길 수 있다.
   5. 좋은 API를 먼저 만들고, 크리에이터용 제품을 출시한 뒤, 에이전트라는 더 큰 제품으로 이동한 11 Labs가 이 전략을 보여준다.

5. B2B 진입, 시장 경쟁, 복합 스타트업

5.1. 11 Labs·Sierra·Speechify의 경쟁 구도

1. B2B 진입은 어렵지만 배제할 이유는 없다

   1. B2B의 영업·유통·구매 과정은 매우 어렵고, Speechify는 11 Labs와 Sierra를 동시에 상대하게 된다.
   2. 11 Labs는 불과 3개월 전부터 주요 서구 민주국가의 정부 구매를 확보하기 시작했으며, 정부 시장에서 빠르게 임계점을 넘었다고 평가됐다.
   3. Sierra에는 Brett Taylor의 경력과 Sequoia·General Catalyst 등 투자자 네트워크가 있어 경쟁이 특히 어렵다.
   4. 그럼에도 Anthropic이 OpenAI의 뒤에서 시작해 2위가 아니게 되었고, Facebook이 Friendster 뒤에서 시작해 시장을 차지한 사례처럼 후발주자에게도 기회가 있다.

2. Speechify가 다시 경주에 들어가는 이유

   1. 앱스토어에서 텍스트 음성 변환 검색 결과의 B2C 설치 중 98%가 Speechify라는 강점을 갖고 있다.
   2. 사용자가 소비한 단어는 7700억 개 이상이며, 청취 시간으로 환산하면 약 6000년에 해당한다.
   3. 대규모 엔지니어링·AI 팀이 있고 각 엔지니어가 과거보다 10배 많은 일을 할 수 있게 되었으므로, 여분의 역량을 B2C와 B2B에 모두 투입한다.
   4. 핵심 API가 당장 승리하지 않더라도 무료에 가까운 가격으로 사용자를 확보하고 제품을 시스템에 심은 뒤 계속 혁신한다.

3. 독점이 아니라 과점인 시장

   1. Fireworks와 Together AI 같은 추론 업체가 각각 수백억 달러 기업이 될 수 있고, 다른 사업자들도 수백억 달러 가치에 도달할 수 있는 것처럼 AI 인프라에는 여러 승자가 존재한다.
   2. OpenAI가 음성 AI와 코딩 AI에서 기회를 놓쳤던 것은 핵심 LLM에 집중하면서 주변 틈새를 실행하지 못했기 때문이라고 평가됐다.
   3. 한 번 놓친 시장을 다시 되찾는 일은 어렵지만, 경쟁에 아예 참가하지 않는 것이 가장 확실한 패배다.

5.2. 복합 스타트업의 의미

1. 모든 회사가 처음부터 복합 회사일 필요는 없다

   1. 스타트업이 출발부터 모든 제품을 만들 필요는 없지만, 일정 규모가 되면 단일 기능에 머물 여유가 사라진다.
   2. 11 Labs, Anthropic, Ramp, Speechify처럼 제품·시장·기술을 집요하게 확장하는 회사가 승자가 된다.

2. 에이전트가 팀의 범위를 넓힌다

   1. 긴 작업을 수행하는 에이전트를 여러 개 조율하면 문제가 2주 동안 계속 풀리도록 만들 수 있다.
   2. 모든 작업을 강화학습 문제로 바꾸고 목표와 평가 루프를 설정하면 팀의 생산성이 급격히 올라간다.
   3. 결국 강한 팀은 더 빨리 반복하고, 필요한 자원을 확보하고, 도중에 제품 방향을 바꿀 수 있는 팀이다.

5.3. 성장 기업과 시드 기업의 인재 확보

1. 성장 기업에는 거대한 보상 경쟁이 있다

   1. OpenAI와 Anthropic은 IPO 기대까지 겹쳐 최고의 인재에게 강력한 보상 패키지를 제시한다.
   2. Anthropic은 공개기업과 성공한 스타트업의 CTO를 유난히 많이 영입하며, 엔지니어가 가장 사랑하는 제품을 만들었기 때문에 CTO에게 특히 매력적이다.
   3. 성장 단계 기업의 최고 인재 보상은 연 1500만 달러 이상, CRO는 5000만 달러 이상으로 거론될 수 있다.
   4. 최근 18개월 동안 1억 달러 이상을 조달한 AI 기업이 18곳에 달하고, 1억~3억 달러를 시드 단계에서 조달해 기업가치 5억~20억 달러가 된 회사도 약 30곳 있다는 대화가 나왔다.

2. 시드 기업은 오히려 잠재력을 살 수 있다

   1. 1억5000만 달러를 조달한 회사를 일반적인 시드 회사라고 부르기 어렵고, 대학을 갓 졸업한 창업자의 1000만 달러 규모 시드 회사와는 인재 시장이 다르다.
   2. 성장 기업은 거대 기업 및 대형 자금 조달 기업과 경쟁해야 하지만, 시드 기업은 창업자 한 명과 에이전트만으로 과거보다 훨씬 큰 영향을 만들 수 있다.
   3. Google과 Meta가 6년 전 제공하던 현금 상한선 때문에 최고의 인재가 작은 회사의 초기 핵심 엔지니어가 되던 선택지가 다시 나타나고 있다.
   4. 현금의 확실성과 스타트업 지분의 상승 여력 중 무엇을 택할지는 사람마다 다른 위험 선호의 문제이며, 인간의 선택 함수 자체가 바뀐 것은 아니다.

3. Speechify의 채용 기준 변화

   1. 회사가 21명이었을 때 18명은 이전 회사에서 CEO·CTO·엔지니어링 부사장이었던 사람들이다.
   2. 지금도 소프트웨어 공학 교과서를 많이 읽고 원리를 이해하는 능력은 중요하지만, 손으로 작성한 코드의 완성도보다 기술적 소질과 원초적 기술 지능을 더 중시한다.
   3. 수학 올림피아드 참가자, 최상위 코더, Kaggle 수상자, 물리·수학 전공자처럼 코드 경력이 짧아도 빠르게 배우고 오래 몰입할 사람을 채용한다.
   4. 6개월 안에 필요한 지식과 도구를 가르칠 수 있으므로 현재 실력보다 성장 기울기(slope)가 현재 위치(intercept)보다 중요하다.
   5. 대학 졸업자를 뽑아 코칭하는 Duolingo의 방식처럼, 똑똑하고 성실한 사람의 채용 풀이 이전보다 넓어졌다.

6. AI 중심 개발팀의 운영 방식

6.1. 에이전트 오케스트레이션을 조직에 확산하기

1. 연구팀과 제품팀의 차이

   1. Speechify AI 연구팀은 거의 모든 사람이 에이전트를 오케스트레이션한다.
   2. iOS·Mac·Chrome·웹·Android·플랫폼 팀은 각 영역에서 10년 가까이 일한 전문가라 직접 코딩하는 것이 이미 편하다.
   3. 기존 습관을 명령으로 바꾸기보다, 최고의 엔지니어가 에이전트를 조율하는 화면을 Zoom으로 보여주고 블로그·책·Twitter 글을 추천해 변화의 가치를 체감시킨다.

2. 사용 도구와 작업 단위

   1. 사용량은 Claude Code가 가장 많고 Cursor가 그다음이며 Codex 사용도 있지만 상대적으로 작다.
   2. 어떤 하네스를 쓰느냐보다 가능한 많은 토큰을 활용해 자신에게 맞는 작업 루프를 만드는 것이 중요하다.
   3. Linear 티켓 여러 개를 에이전트에게 한꺼번에 넘겨 작업시키는 방식은 제품팀에서도 효과적이다.

3. 새로운 엔지니어의 정의

   1. AI가 기능을 만들고 사람은 탁월한 QA가 된다.
   2. 엔지니어는 기능을 사용해 보고, 엣지 케이스를 찾고, 수정 프롬프트를 만들고, 비용과 아키텍처를 최적화한다.
   3. 궁극적으로 하루에 약 10개의 좋은 제품·엔지니어링·아키텍처 결정을 내리는 사람이 좋은 엔지니어다.

6.2. 토큰 예산보다 생산 환경의 결과를 평가한다

1. 토큰 리더보드를 쓰지 않는 이유

   1. 말로는 토큰을 많이 쓴다고 주장하면서 실제 결과가 빈약한 사람이 많으므로 사용량 리더보드는 잘못된 인센티브가 된다.
   2. Zoom에서 직접 만든 제품을 시연하거나 화면 녹화를 보내고, 실제 사용자가 쓸 수 있는 기능을 배포했을 때 인정한다.
   3. 우유를 병에 담아 길가에 두면 상한다는 비유처럼, 문 앞에 배달하지 않은 우유에는 점수를 주지 않는다.
   4. 공을 골라인·림 앞까지 가져오는 것이 아니라 실제 엔드존·골대·림 안에 넣어야 하며, 이는 버그 없이 프로덕션에 배포하고 사용자가 쓰는 상태다.

2. 19세 엔지니어의 사례

   1. Cliff는 듀플렉스 모델과 대화형 AI 하네스 프로젝트에 대해 14개의 개선 사항을 적어 팀에 전달했다.
   2. 노트북 화면을 휴대폰 쪽으로 돌려 실제 제품을 사용하고, 버그가 드러나는 과정을 녹화해 공유했다.
   3. 19세 엔지니어는 세 번의 학습이 끝나기를 기다리는 동안 모든 요청을 구현해 그날 아침 데모를 보냈다.
   4. 결과물이 실제로 문제를 해결했기 때문에 높은 평가를 받았으며, 토큰을 많이 썼다는 사실은 평가 기준이 아니었다.

3. 토큰 비용의 감각

   1. 작은 기능 하나에 1만5000토큰을 쓰면 비용 감각이 없는 것으로 보고, 이유 없이 토큰을 폭발적으로 쓰는 사람은 해고될 수 있다.
   2. 엔지니어는 최적화를 좋아하므로 토큰 낭비 자체를 불편해하며, 정확한 예산을 맞추기보다 허용 범위 안에서 관리한다.
   3. 비개발자가 두 시간 만에 앱을 만들었지만 웹사이트 전체 2만5000개 페이지를 긁어 API 비용을 크게 만든 사례가 있었다.
   4. 정확한 URL과 데이터베이스 경로를 사용하면 약 20개 노드만 방문하면 되므로, 에이전트에도 가장 저항이 작은 경로를 선택하도록 지시해야 한다.

4. 좋은 장기 작업과 나쁜 토큰 낭비

   1. 2주 동안 목표를 추적하며 1만2500달러 상당의 토큰을 사용해 더 좋은 모델을 만드는 것은 토큰의 올바른 사용이다.
   2. 같은 1만2000달러를 5시간 동안 의미 없는 작업에 태우는 것은 실패다.
   3. 목표와 목표 측정법을 먼저 정하고, 에이전트가 결과를 반복 평가·수정하는 루프를 만든 뒤 종료해야 한다.

6.3. AI 시대의 채용 테스트와 팀 설계

1. 기능 인터뷰와 코드베이스 과제

   1. 지원자에게 실제 기능을 만들게 하고 유닛 테스트로 검증한다.
   2. 오픈소스 저장소처럼 큰 코드베이스를 이해시키고, 변경을 적용한 뒤 무엇을 망가뜨렸는지 직접 확인하게 한다.
   3. 에이전트를 조율해 문제를 끝까지 해결하지 못하는 사람은 현재의 개발팀에서 높은 가치를 만들기 어렵다.

2. 작은 팀과 결과 소유자

   1. 큰 팀보다 각 사람이 자신의 결과를 끝까지 소유하는 작은 팀이 더 즐겁고 빠르게 움직일 수 있다.
   2. 창업자는 여러 에이전트를 자신의 컴퓨터에서 돌리는 동시에, 도메인 전문가인 팀원과 Slack으로 여러 프로젝트를 병렬 운영할 수 있다.
   3. 각 팀원은 에이전트를 활용하는 특정 과제의 결과 소유자가 된다.

3. 에이전트에 대한 몰입과 번아웃

   1. Cliff의 형제 Tyler는 에이전트가 새벽 3시에 무엇을 하는지 확인하려고 알람을 맞춘 적이 있다.
   2. 세 시간마다 에이전트를 점검하고, 운동 중에는 에이전트가 답을 보내며, Speechify 음성 메모로 다음 지시를 내리는 운영도 가능하다.
   3. 이런 몰입은 강력하지만 AI 피로를 일으키므로 팀의 번아웃을 관리해야 한다.
   4. 채용에서는 지금 어디에 있는지보다 얼마나 빠르게 성장할 수 있는지, 즉 절편보다 기울기를 봐야 한다.

7. 음성 AI 시장에서 직접 제품을 만드는 법

7.1. WhisperFlow·Willow와 상품화 논쟁

1. 제품 품질 저하와 비용 구조

   1. 진행자는 WhisperFlow와 Willow를 사용하면서 제품이 점점 나빠졌다고 느꼈고, 대안을 찾기 위해 올린 글에 500개의 대안이 달렸다고 말했다.
   2. WhisperFlow가 자체 모델로 전환하면서 비용을 낮춘 것이 품질 저하의 원인 중 하나로 추정됐다.
   3. 초기 제품은 자체 모델보다 Deepgram 같은 모델과 여러 최적화를 묶은 하네스에 가까웠다는 설명이 나왔다.
   4. 이후 메모 기능 등으로 확장하는 것은 복합 스타트업 전략의 사례로 평가됐다.

2. 발표와 경쟁의 상관관계

   1. Speechify는 의도적으로 펀딩이나 제품을 자주 발표하지 않았고, 기술 업계에서 WhisperFlow보다 브랜드가 작아 보일 수 있다는 점을 감수했다.
   2. 실제 사용자 수 기준으로는 뉴욕 거리에서 Speechify를 아는 사람이 더 많지만, 기술 업계에서는 공개 발표를 많이 한 WhisperFlow가 더 큰 브랜드처럼 보인다.
   3. Peter Thiel의 “경쟁하는 것은 패배자”라는 원칙처럼, 독자적인 시장을 확보한 기업은 모든 기능에서 경쟁자를 따라갈 필요가 없다.

3. Speechify의 재진입

   1. Speechify는 최근 자체 음성 입력 제품으로 Siri, WhisperFlow, 11 Labs와 경쟁하는 제품을 모두 출시했다.
   2. Cliff는 Apple이 2년 전 ChatGPT와 협력해 Siri를 개선한다고 발표했지만 실질적인 변화가 없었던 일을 계기로, Apple이 대신 해결할 것이라는 가정을 버렸다.
   3. 7년 동안 자신의 컴퓨터와 iPhone에 사이드로드해 쓰던 음성 텍스트 변환 경험을 이제 대중용 제품으로 내놓았다.
   4. 핵심 교훈은 시장이 상품화될 것 같아도 무료에 가까운 우수한 제품을 내고, 사용자를 확보한 뒤 다음 기능으로 확장해야 한다는 것이다.

7.2. 고객지원 시장보다 API와 현장 에이전트에 집중

1. 고객지원 시장의 혼잡

   1. Sierra와 Decagon이 자금과 관심을 선점했고, 지난 18개월 동안 1억 달러 이상을 조달한 고객지원 스타트업이 18곳이라는 지적이 나왔다.
   2. 그 아래에는 Intercom·Talkdesk·Crescendo 같은 8~10년 된 기업이 있고, Salesforce·Atlassian 같은 더 오래된 기업도 있다.
   3. 기술 수준이 높은 구매자는 이미 자체 고객지원 시스템을 만들어 둔 경우가 많아 외부 솔루션에 세금을 낼 이유가 약하다.

2. Speechify의 B2B 쐐기

   1. Speechify가 B2B에서 먼저 파는 것은 고객지원 에이전트 자체가 아니라 음성·언어 API다.
   2. Sierra는 자체 모델 연구팀보다 Brett Taylor의 시장 진입과 유통이 핵심이며, Speechify·11 Labs·Gemini·Grok·xAI·Cartesia가 API 경쟁자다.
   3. 더 나은 품질, 더 빠른 속도, 10배 낮은 가격을 제공하면 API에서 분명한 가치 제안을 만들 수 있다.

3. 프런트 디플로이 엔지니어의 역할

   1. 제품을 사무실 안에서만 만들지 말고 B2B 고객과 함께 에이전트를 구축하는 프런트 디플로이 엔지니어를 둬야 한다.
   2. 고객의 실제 문제를 직접 관찰해야 다음에 어떤 제품을 만들어야 하는지 알 수 있다.
   3. 11 Labs가 민간 기업에서 신뢰를 만든 뒤 정부 시장으로 확장한 것도 이 현장 학습의 결과로 해석된다.
   4. 고객지원 솔루션을 만드는 기업이 11 Labs 비용을 10분의 1로 낮추고 싶다면 Speechify API를 검토할 수 있다는 영업 제안도 나왔다.

7.3. Sierra와 11 Labs가 다르게 공략하는 AI 에이전트 시장

1. 두 회사가 모두 큰 회사가 될 수 있는 이유

   1. Brett Taylor는 Google Maps를 시작했고, Meta의 CTO, Salesforce 공동 CEO, OpenAI 이사를 거쳐 Sierra를 창업한 인물로 소개됐다.
   2. AI 에이전트의 전체 시장은 2019년 사람들이 LLM 시장의 크기를 몰랐던 때나 2021년 AI 코딩 에이전트의 크기를 몰랐던 때처럼 아직 과소평가되어 있다.
   3. 따라서 Sierra와 11 Labs가 서로 다른 방식으로 확장해 둘 다 거대한 기업이 될 수 있다.

2. Sierra의 다음 Salesforce 전략

   1. Sierra의 음성은 초기 쐐기일 뿐이며, 핵심은 도구 호출(tool calling)이다.
   2. Brett Taylor가 Shopify에서 기타 매장을 만드는 과정을 화면 공유하며, Sierra로 고객지원·판매·사후 서비스를 처리한 시연이 인상적인 사례로 언급됐다.
   3. Sierra는 고객지원 회사가 아니라 사전 판매부터 사후 판매까지 담당하는 차세대 Salesforce를 만들려 한다.

3. 11 Labs의 음성 중심 확장

   1. 11 Labs는 음성 중심이지만 고객지원 외의 여러 에이전트 영역으로 확장한다.
   2. 11 Labs의 도구 호출은 일부 기능인 반면, Sierra의 핵심 쐐기는 업무 시스템을 실제로 조작하는 도구 호출이다.
   3. 둘은 비슷한 고객지원 시장에서 시작해도 서로 다른 제품 철학과 확장 경로를 가진다.

8. 5년 뒤의 인터페이스와 대형 플랫폼의 선택

8.1. 화면보다 목소리가 기본 인터페이스가 된다

1. 단순한 입력 방식이 대중화를 만든다

   1. Google 검색은 텍스트 상자와 버튼 하나만 제공해 누구나 배울 수 있었고, ChatGPT도 GPT-3보다 간단한 채팅 인터페이스를 제공해 폭발적으로 확산됐다.
   2. 가장 단순한 인터페이스는 말하고 응답을 듣는 대화다.
   3. 5년 안에 컴퓨터·휴대폰·웨어러블과 하루 종일 음성으로 대화하고 화면은 덜 보는 방식이 보편화될 가능성이 높다.

2. 현재 음성 AI의 한계

   1. ChatGPT 음성 기능은 응답이 느리고, 핵심 LLM보다 지능이 낮으며, 더 높은 품질의 모델로 올려주는 에스컬레이션도 약하다.
   2. 이 문제를 해결하면 음성은 화면 기반 UI보다 자연스러운 컴퓨터 조작 수단이 된다.
   3. Meta의 Chris Cox가 음성 중심 방향을 잘 이해하고 있다는 평가가 나왔다.

8.2. Meta와 SpaceX·Tesla를 비교하는 관점

1. 선택은 Meta

   1. “SpaceX나 Meta 중 하나를 살 수 있다면?”이라는 질문에 Cliff는 Meta를 선택했다.
   2. Elon이 산만하다는 이유를 들었지만, 진행자는 여러 사업을 서로 연결하는 풀스택 전략일 수도 있다고 반박했다.

2. Elon의 에너지·제조 포지션

   1. 우주 데이터센터 이야기를 제외하면 데이터센터의 당장 제약은 메모리 카드이고, 곧 에너지 공급과 저장으로 이동한다.
   2. Tesla는 현재 가장 강력한 에너지 저장 장치를 만들고 자체 칩 제조에도 진입하고 있다.
   3. Joe Rogan 인터뷰에서 Elon이 말했듯 복잡한 물리 제품은 제품 설계보다 제조 체계를 만드는 일이 더 어렵다.
   4. Elon은 복잡한 제품을 대량 제조하는 역량에서 세계 최고 수준이며, 우주 데이터센터는 Rubin GPU의 총시장(TAM)을 크게 보이게 만드는 훌륭한 투자자용 서사이기도 하다.

3. Meta의 데이터와 규제

   1. Meta는 세계에서 가장 많은 사용자 데이터를 보유했지만 GDPR과 미국의 규제로 그 데이터를 마음껏 학습에 쓰지 못한다.
   2. 언젠가 이 제약을 해결할 것이라는 신뢰와 Zuck의 창업자 주도 경영이 Meta의 강점이다.
   3. 두 창업자 모두 장기간 멈추지 않을 가능성이 높지만, 더 젊은 Zuck에게는 약 20년의 추가 시간이 있다는 투자 기간의 차이도 제시됐다.

4. CEO 의존도와 내재가치 논쟁

   1. Elon이 사라지면 Tesla와 SpaceX 가치의 70%가 사라질 수 있지만, Zuck이 Meta에서 물러나도 내재가치 전체가 무너지지는 않을 것이라는 의견 차이가 있었다.
   2. Meta는 약 32배의 주가수익비율(PE)을 보이고, SpaceX의 평가는 매우 높으며, Tesla는 수백 배의 PE를 보인다는 수치가 언급됐다.
   3. Zuck이 자본적 지출(capex)을 계속 늘린다고 말할 때마다 시장이 주가를 누르지만, 그 때문에 Meta가 오히려 좋은 투자일 수 있다는 반론도 나왔다.
   4. Benjamin Graham의 ‘시가총액보다 내재가치가 큰 담배꽁초(cigar butt)’ 개념을 기술·사업의 실제 자산에 적용하면 Meta의 기초 자산은 현재 시장 평가보다 클 수 있다.
   5. Elon의 거대한 비전이 실현되면 높은 평가가 정당화될 수 있지만, 그렇지 않으면 조정이 필요하다는 결론이다.

9. AI와 생물학이 여는 희귀질환 연구

9.1. 가족의 자가면역 질환을 데이터 문제로 바꾸다

1. 15주간의 정밀 데이터 수집

   1. Cliff의 가족 구성원은 6년 동안 매우 심각한 자가면역성 신경 염증을 앓고 있다.
   2. Cliff는 15주 동안 매주 혈액 샘플을 채취해 실험실로 보내고, 유전체를 시퀀싱했다.
   3. 단백질이 몸에서 어떻게 발현되는지 보는 단백체학(proteomics)과 매주 RNA 분석을 수행했다.
   4. 매일 기록한 삶의 질과 기분 변화를 분자 데이터와 비교하고, 6년치 자기 보고 데이터까지 GPU 클러스터에서 분석했다.
   5. 의사가 찾아내기 어려운 패턴이 드러났고, 환자 수가 적어 경제성이 낮은 희귀질환도 충분한 데이터가 있으면 연구할 수 있다는 가능성이 생겼다.

2. 환자 집단을 모아 공통 원인을 찾는 계획

   1. 이 질환은 환자용 Facebook 그룹이 있을 정도로 희귀하며, 일반적으로 ‘고아질환(orphan disease)’으로 분류된다.
   2. 머리카락·타액·혈액을 넣어 전체 유전체를 분석할 수 있는 약 5000달러짜리 휴대형 장치를 구입하려 한다.
   3. 같은 질환을 가진 사람들을 밋업으로 모아 유전체를 모두 시퀀싱하고, 대규모 GPU 클러스터에서 비교할 계획이다.
   4. 목표는 환자들 사이에 공통으로 존재하는 후성유전학적(epigenetic) 연결고리를 찾는 것이다.

9.2. 발견에서 치료 설계까지 이어지는 도구 체인

1. 단백질과 결합 분자 설계

   1. 질환과 관련된 단백질 후보를 찾으면 Isomorphic의 AlphaFold에 결과를 넣어 구조를 예측한다.
   2. 문제를 일으키는 단백질 자체뿐 아니라 그 단백질에 결합해 활성화하거나 억제할 분자를 설계할 수 있다.
   3. CRISPR로 유전적 개입을 검토하고, Twist 같은 합성 생물학 업체에 원하는 RNA·DNA 서열을 제작해 배송받을 수 있다.
   4. 설계·실험·시뮬레이션을 Scottsdale, Arizona의 GPU 클러스터에 SSH로 연결한 컴퓨터에서 반복한다.

2. 개인의 경험이 기술 낙관론의 근거가 되다

   1. Cliff는 8세 때 읽기를 배우기 어려워 아버지가 Harry Potter를 소리 내 읽어줘야 했다.
   2. 13세에 미국으로 이주했을 때 영어를 못했지만 Harry Potter 오디오북을 22번 연속 들었고 첫 장을 외울 정도가 됐다.
   3. 형제자매가 다닌 사립고에 입학하지 못했고, 철자 실수와 제한된 독해 속도 때문에 AP 미국사에도 들어가지 못했다.
   4. SAT 영어 지문을 읽는 대신 답을 먼저 읽고 지문에서 답을 찾는 방식으로 훈련했다.
   5. Brown University에서 문학을 읽기 어려워 재생에너지공학을 전공했고, 책을 읽어주는 텍스트 음성 변환 도구를 만들어 졸업했다.
   6. 기술은 그의 난독증과 ADHD를 보완했고, 아버지의 전립선암 병변 위치를 GPU로 찾아내는 데도 도움을 줬다.

3. 희귀질환의 경제성을 뒤집는 컴퓨트

   1. 과거에는 환자가 적어 치료제 개발이 경제적으로 불가능하다고 여겨진 질환이 많았다.
   2. GPU는 초당 1조 회의 연산을 수행하며, 필요한 만큼 여러 장을 묶어 사람이 처리할 수 없는 가설을 시험한다.
   3. 데이터, 컴퓨트, 좋은 질문, 하루 10개의 좋은 가설 또는 제품 결정을 결합하면 ‘돈이 안 되는’ 문제에도 해결 경로가 열릴 수 있다.
   4. Cliff가 “내가 이 질환을 해결할 것을 안다”고 확신한 이유는 개인적 절박함과 새 도구의 조합에 있다.

주요 발언 모음

“가장 지는 확실한 방법은 경주에 참가하지 않는 것이다. 경주에 들어가라.”

“팀은 가장 중요한 부분이지만, 팀이 중요한 이유는 팀이 다른 자원을 가져오기 때문이다. 빠진 자원은 데이터, 컴퓨트, 아키텍처다.”

“좋은 엔지니어는 오늘 열 개의 정말 좋은 제품·엔지니어링 결정을 내리는 사람이다.”

“우유를 만들고 길가에 놓아두면 상한다. 문 앞까지 배달해야 한다.”

“API 제품이 나쁜 전략이라고 생각한 것은 내 큰 실수였다. 사용자가 제품을 쓰기 시작하게 만들고, 그다음 다른 것을 파는 것이 실리콘밸리의 중심 논제다.”

“사람이 얼마나 훌륭한 오늘의 모습인지보다, 얼마나 될 수 있는지를 본다.”

“뒤에서 장군처럼 앉아 ‘저 언덕을 점령해’라고 말하는 뚱뚱한 관리자가 되지 말고, 검을 들고 먼저 적과 맞붙는 전사가 되어야 한다.”

“데이터와 컴퓨트가 있고 좋은 질문을 던지면, 우리가 풀 수 없던 문제도 풀 수 있다.”

핵심 데이터 & 수치

• GPU 직접 구매 시점: Speechify는 2022년에 대형 GPU 랙을 구매했다.
• H100 구매·임대 비교: 구매 약 3만 달러, 클라우드 임대 연간 약 3만5천~5만 달러.
• GPU 자산 수명: 보증 약 3년, 적절한 냉각·관리 아래 약 10년 작동 가능.
• 최신 GPU 납기 프리미엄: GPU 한 장을 네 달 일찍 받기 위해 약 10만 달러 추가 지불.
• Rubin 랙 구성: 랙 한 개에 72장.
• Speechify 이용자: 약 6000만 명.
• 팀 계획: 엔지니어 45명에서 150명으로 확장 목표, 약 25%가 컴퓨트 부족으로 대기.
• 월별 수요 예시: 11월 100%, 10월 140%, 12월 80% 사용률.
• GPU 조달 배분 예시: 기본 수요 20% 직접 구매, 25% 장기 계약, 나머지 스팟 인스턴스.
• GPU 금융: 금융기관 대출의 담보 GPU를 Nvidia가 가치의 최대 25%까지 되사주는 구조.
• 음성 API 비용: Speechify 10달러 미만, Speechify Simba API 10달러, 11 Labs 100달러, OpenAI 벤치마크 196달러(모두 백만 문자당).
• Speechify B2C 점유력: 앱스토어 텍스트 음성 변환 설치의 약 98%.
• Speechify 누적 사용량: 7700억 단어 이상, 약 6000년의 청취 시간.
• 에이전트 작업: 결정마다 약 5~18개 에이전트가 장기 작업을 수행.
• 토큰 사례: 2주간 1만2500달러 사용은 가치 있는 장기 학습, 5시간 동안 1만2000달러를 낭비하는 것은 실패.
• 스크래핑 최적화: 웹사이트 2만5000개 노드 대신 약 20개 노드로 줄인 사례.
• 인재 보상 사례: 성장 기업의 연 1500만 달러 이상, CRO 5000만 달러 이상 패키지가 거론됨.
• 희귀질환 연구: 15주간 주 1회 혈액 샘플, 약 5000달러 휴대형 유전체 장치 구상.

결론 및 시사점

1. 확실한 학습·추론 수요가 있고 모델 품질이 핵심인 기업은 GPU를 단순 비용 항목이 아니라 연구 속도를 사는 생산 자산으로 계산해야 한다.
2. GPU는 최신 세대만 고집할 필요가 없으며, 학습에는 최신 장비를 쓰고 추론에는 구형 장비를 배치해 자산의 생애를 늘릴 수 있다.
3. 직접 소유의 손익은 카드 가격만으로 결정되지 않으며, 메모리 집적, 전력, 액체 냉각, 운송 보험, 납기 지연, 데이터센터 임대료, 금융 비용을 함께 산정해야 한다.
4. 확실한 기본 수요는 구매하고, 예측 불가능한 피크는 장기 계약과 스팟 인스턴스로 채우는 혼합형 조달이 합리적이다.
5. AI 경쟁력은 데이터·컴퓨트·아키텍처·팀·실사용 피드백이 연결된 루프에서 발생한다.
6. 데이터 공급 사업은 반복 매출이 보장되지 않으므로 법적 출처, 면책, 품질 개선, 운영 속도가 모두 필요하다.
7. API가 언젠가 상품화될 것이라는 이유로 시장 진입을 포기하면 안 되며, 첫 제품을 사용자 확보용 쐐기로 보고 계속 확장해야 한다.
8. B2B는 어렵지만, 낮은 가격·높은 품질의 API와 현장 고객 협업을 통해 독자적인 진입점을 만들 수 있다.
9. 제품팀의 가장 중요한 지표는 토큰 소비량이 아니라 버그 없이 프로덕션에 배포되어 실제 사용자가 가치를 얻는지 여부다.
10. AI 시대의 엔지니어는 코드를 직접 많이 쓰는 사람이 아니라 목표·평가·에이전트 루프를 설계하고 결과를 품질 보증하는 사람이다.
11. 채용에서는 현재 이력보다 기술적 잠재력, 수학·과학적 사고, 학습 속도, 에이전트와 함께 일하는 습관을 평가해야 한다.
12. 음성 인터페이스는 화면을 보완하는 기능이 아니라 컴퓨터와 대화하는 기본 인터페이스가 될 가능성이 크다.
13. AI 에이전트 시장은 고객지원보다 넓으며, 도구 호출을 통해 사전 판매·판매·사후 서비스·업무 실행 전체를 재구성할 수 있다.
14. 희귀질환도 환자 데이터, 유전체·단백체 분석, GPU 클러스터, 단백질 설계 도구가 연결되면 개인과 소규모 팀이 연구할 수 있는 문제가 된다.

핵심 요약 (20줄)

Speechify는 모델 학습과 확실한 추론 수요를 위해 2022년부터 Nvidia GPU 랙을 직접 구매했다.

H100은 구매보다 1년 임대가 더 비쌀 수 있어 장기 기본 수요를 소유하는 편이 경제적이다.

GPU 세대가 바뀌어도 구형 장비는 추론과 덜 긴급한 실험에 활용할 수 있다.

최신 GPU를 먼저 확보하는 일은 원가 절감보다 모델 실험 속도와 시장 선점에 더 큰 의미가 있다.

Rubin 랙은 72장의 카드를 담고 전력과 액체 냉각이 데이터센터의 핵심 병목이 된다.

GPU 구매에는 납기 지연, 트럭 보험, 보안, 냉각, 설치, 코로케이션 비용이 함께 따라온다.

확실한 기본 수요는 구매하고 피크 수요는 장기 계약과 스팟 인스턴스로 보충하는 방식이 합리적이다.

GPU는 초당 테라플롭스라는 사용가치가 있어 금융기관의 담보 자산이 될 수 있다.

AI 기업은 데이터·컴퓨트·모델 아키텍처·강한 팀·실사용 피드백을 동시에 확보해야 한다.

데이터 마켓플레이스는 ARR이 아닌 일회성 거래가 많아 법무와 운영 역량이 특히 중요하다.

Speechify는 백만 문자당 10달러의 Simba API로 11 Labs와 OpenAI보다 낮은 가격을 공략한다.

Cliff Weitzman은 API가 상품화될 것이라 보고 B2B를 미룬 판단을 가장 큰 전략적 실수로 인정했다.

첫 API는 최종 제품이 아니라 사용자를 확보하고 다음 혁신으로 확장하는 쐐기가 될 수 있다.

AI 연구팀은 에이전트를 조율하고 제품팀은 실제 기능을 출시한 뒤 탁월한 QA를 수행해야 한다.

토큰 사용량보다 버그 없는 기능을 프로덕션에 배포해 사용자가 쓰게 만드는 일이 성과의 기준이다.

좋은 장기 에이전트 작업은 목표와 평가 루프를 갖추지만 짧은 시간의 무의미한 토큰 낭비는 실패다.

AI 시대 채용은 현재의 코드 작성 이력보다 기술적 잠재력과 빠른 학습 능력을 중시해야 한다.

Sierra와 11 Labs는 서로 다른 쐐기와 확장 경로로 거대한 AI 에이전트 시장을 공략한다.

음성은 텍스트 상자와 버튼보다 자연스러운 인간·컴퓨터 인터페이스가 될 가능성이 높다.

유전체·단백체·RNA 데이터와 GPU·AlphaFold·CRISPR를 결합하면 희귀질환 치료도 개인이 탐색할 수 있다.