URL: https://www.youtube.com/watch?v=3axY1wz2OvA
날짜: 2026-10-21
원 발행일(yt-dlp 메타데이터): 2026-10-20
채널: AI Engineer (aiDotEngineer)
발표자: Oliver Kennon, SemiAnalysis
영상 길이: 17분 42초
📌 핵심 질문 / 이 영상이 다루는 핵심 논점
같은 GPU를 확보해도 운영 역량에 따라 고객이 실제로 쓸 수 있는 지능의 양과 비용은 크게 달라진다. 컴퓨트 시장에서 경쟁력을 결정하는 것은 하드웨어 보유량만이 아니라, 요구 품질·속도·보안에 맞는 작업을 반복적으로 가장 낮은 총비용에 제공하는 운영자다.
- 동일한 B200에서도 추론 서빙 스택에 따라 P90 처리량이 초당 약 200개에서 300개 출력 토큰으로 달라지는 사례가 제시된다.
- GPU 시간당 임대료는 투입 비용이지 산출물의 가격이나 생산 원가 그 자체가 아니며, 유용한 출력 기준으로 비용을 나눠야 한다.
- 가동률·속도뿐 아니라 품질, 가용성, 보안, 운영 신뢰성도 고객이 실제로 쓸 수 있는 지능을 정의한다.
- 공급 부족이 완화되고 고객 선택지가 늘어날 때를 대비해, 시장이 좋을 때 운영 효율과 원가 우위를 쌓아야 한다.
발표자는 GPU 시간을 원재료처럼 취급하는 컴퓨트 시장에서 공급자 간 비교가 가능하려면 같은 품질 기준으로 전달되는 유용한 결과와 전체 비용을 비교해야 한다고 설명한다. 서빙 소프트웨어 설정, 요청 동시성, 안전한 배포와 장애 대응을 포함한 운영자의 실행 능력은 같은 장비가 만들어내는 산출량을 바꾸고, 그 결과 토큰 또는 성공적으로 완료한 작업당 비용을 바꾼다. 따라서 운영자 평가는 컴퓨트 등급과 가격 기준을 정립하는 기반이지만, 선물시장 지표 하나만으로 서비스 품질이나 사업 리스크까지 보장할 수는 없다.
1. 컴퓨트는 투입량과 산출량을 구분해야 하는 상품 시장이다
1.1. 상품 시장의 원가 곡선과 측정 단위
-
상품 시장에서는 같은 쓸모의 결과를 더 낮은 원가로 내는 사업자가 가격 하락에 더 잘 버틴다.
- 상품 시장의 생산자들은 서로 비교 가능한 산출물을 제공하기 위해 경쟁하며, 원가 곡선은 동일한 유용한 작업을 전달하는 데 드는 비용 순으로 생산자를 배열한다.
- 두 업체가 같은 가격을 받는다면 적은 비용으로 결과를 낸 업체가 더 많은 마진을 남긴다.
- 컴퓨트도 공급 부족이나 가격 상승만 보는 대신, 장기적으로 같은 유효 결과를 누가 더 싸게 제공할 수 있는지 비교해야 한다.
-
궁극적인 기준은 필요한 품질로 성공적으로 끝낸 작업당 가격이다.
- Kennon은 이상적인 북극성 지표(north-star metric)를 요구 품질을 충족하며 성공적으로 완료한 작업의 가격으로 제시한다.
- 다만 작업과 품질을 표준화하기 어렵기 때문에 현재는 특히 비슷한 워크로드와 품질 요구를 전제로 한 토큰당 가격이 실용적인 대리 지표다.
- 토큰당 가격은 실제 산출물에 더 가까운 비교값이며, 익숙한 GPU 시간당 달러 가격은 사용한 투입물의 가격에 불과하다.
1.2. GPU 시간은 입력이고, 유용한 지능은 출력이다
-
하드웨어와 전력만으로는 고객이 쓸 수 있는 결과가 만들어지지 않는다.
- 계산의 투입물은 GPU 하드웨어와 전력이며, 소프트웨어와 운영은 이 투입물에서 유용한 지능을 뽑아내는 승수(multiplier)로 작동한다.
- 장비가 가용 상태여도 요청을 처리하고 고객이 실제로 사용할 수 있는 응답으로 바꾸는 실행 체계가 필요하다.
-
운영자는 모델 서빙 소프트웨어를 선택·구현하고 요청 흐름을 유지한다.
- 운영자는 같은 칩에서도 어떤 소프트웨어와 설정을 적용하고 요청을 몇 개씩 동시에 처리할지 결정한다.
- 핵심은 장비가 얼마나 바쁜지가 아니라 특정 작업의 요구사항에 맞는 유효 작업을 얼마나 전달하는지다.
- 그래서 같은 종류의 칩도 운영 방식에 따라 전혀 다른 결과를 낼 수 있다.
2. 같은 B200이 운영 스택에 따라 약 50% 더 많은 출력을 낸다
2.1. 비교 실험의 조건과 성능 차이
-
두 추정치는 같은 모델·GPU·토큰 길이·사용자 경험 목표를 사용한다.
- 두 배포 모두 Nvidia B200 GPU에서 동일한 모델을 서비스하며, 입력은 약 8,000토큰, 출력은 약 1,000토큰인 워크로드를 가정한다.
- 각 사용자에 대한 P50 목표 응답 속도는 초당 출력 토큰 100개다.
- 비교 대상인 서빙 스택은 모델의 응답을 처리하는 소프트웨어 계층이다.
-
P90 처리량은 스택에 따라 초당 약 200개와 300개 출력 토큰으로 갈린다.
- 한 서빙 스택은 P90 시나리오에서 초당 약 200개의 출력 토큰을 만들고, 다른 스택은 약 300개를 만든다.
- 겉으로는 동일한 칩과 인터랙티비티 목표지만 출력량 차이는 약 50%이며, 소프트웨어 설정과 동시에 실행되는 요청 수가 원인이다.
- 이 설정은 모두 운영자가 정하는 선택이므로 성능 격차는 GPU 모델 차이만으로 설명되지 않는다.
2.2. 더 많은 출력이 임차인의 비용과 고객 가치를 바꾼다
-
시간당 청구액이 같고 두 배포가 요구사항을 충족한다면, 출력이 1.5배인 쪽의 허용 가능한 토큰당 임대 지출은 더 낮다.
- 고객은 같은 비용으로 더 많은 사용 가능한 결과를 받으므로, 시간당 GPU 임대료를 허용 가능한 출력 토큰에 나눈 단가가 내려간다.
- 이 비교는 양쪽 결과가 고객의 품질·속도 요구를 충족한다는 전제 아래 성립한다.
- GPU 시간을 사는 추론 사업자에게는 동일한 임대료를 더 많은 유효 응답에 분산할 수 있는 효과가 생긴다.
-
유용한 지능은 성능 숫자 하나가 아니라 사용 조건을 모두 충족하는 결과다.
- 결과는 맡긴 작업을 수행할 만큼 충분히 좋아야 한다.
- 필요한 시점에 도착할 만큼 빨라야 하며, 고객이 필요할 때 이용할 수 있어야 한다.
- 고객 정보는 합의된 접근 경계 안에 머물러야 하므로 보안도 유용성의 구성 요소다.
-
보안 실패는 빠른 GPU의 효용을 무너뜨릴 수 있다.
- Kennon은 SemiAnalysis가 공개한 보안 연구에서 한 고객의 로그와 지표가 모니터링 접근을 통해 다른 고객에게 노출된 사례를 들었다.
- 해당 클러스터의 GPU는 매우 빨랐지만 서비스는 끔찍하게 실패했다. 칩 성능 지표만으로는 이 문제를 포착할 수 없다.
- 클러스터 보안은 성능처럼 계속 관리해야 하며, 대개 운영자가 그 책임을 지지만 제공업체·고객 팀 또는 양측이 나눠 맡을 수도 있다.
3. 운영 역량을 평가하고 프로덕션에서 유지하는 방법
3.1. 성능 개선은 안전한 배포와 반복적인 유지보수를 요구한다
-
더 빠른 서빙 업데이트가 나와도 즉시 프로덕션에 넣는 것이 답은 아니다.
- 먼저 고객의 실제 워크로드에서 새 버전을 시험하고, 응답 품질이 기존 요구를 계속 충족하는지 확인해야 한다.
- 실제 응답을 살펴보고 부하 상태에서 시험한 뒤 언제·어디서·어떻게 배포할지 결정해야 한다.
- 배포 후 문제가 생기면 이전 버전으로 되돌릴 수 있는 경로를 마련해야 한다.
-
배포 뒤에도 유지보수와 장애 대응 책임자가 분명해야 한다.
- 시스템이 운영 환경에서 계속 작동하도록 관리하고 문제가 생기면 대응할 주체가 필요하다.
- 이 작업은 클라우드 제공자, 고객 자체 팀 또는 양측이 맡을 수 있지만, 구매자는 누가 책임지고 실제 수행 역량이 있는지 알아야 한다.
3.2. ClusterMAX는 관리형 GPU 클러스터의 운영 품질을 살핀다
-
SemiAnalysis의 ClusterMAX 3.0은 관리형 클러스터의 운영 역량을 평가한다.
- 평가 항목은 프로비저닝, 신뢰성, 모니터링, 보안이다.
- 실제 테스트, 문서, 고객 피드백을 함께 살펴 좋은 날의 성능뿐 아니라 장비 고장 때 서비스가 어떻게 작동하는지도 파악한다.
- 발표자는 평가 대상을 늘려 ClusterMAX 4.0으로 이어갈 수 있도록 참여를 요청했다.
-
평가 범위와 비교 기준에는 경계가 있다.
- ClusterMAX 등급은 관리형 클러스터에 적용되며, 고객이 운영 업무를 더 많이 맡는 베어메탈 제공에 그대로 적용되지 않는다.
- 특정 관리형 서비스의 등급이 같은 제공업체가 판매하는 모든 제품을 자동으로 대표하지도 않는다.
- 등급은 동료 집단에 대한 상대 기준이며, 가격과 가용성도 중요하지만 토큰 출력량을 직접 측정하는 항목은 아니다.
4. 임대료와 생산원가를 분리해야 유용한 지능의 비용을 계산할 수 있다
4.1. GPU 시간 가격은 추론 생산자의 총원가와 다르다
-
GPU 제공자와 추론 생산자는 비용 구조가 다르다.
- GPU 제공자는 GPU 시간을 임대해 매출을 얻고, 추론 생산자는 그 시간을 사서 응답을 판매한다.
- 추론 생산자에게 임대료는 투입 비용이며, 전체 원가는 임대료에 더해 소프트웨어·인력·기타 서비스 지출을 포함한다.
- 장비 소유자는 하드웨어, 전력, 공간, 지원에 비용을 내며, 자체 GPU로 추론을 제공한다면 장비 투자액을 사용 수명에 걸쳐 배분하고 운영비를 더해야 한다.
-
가격이나 지출만으로는 유용한 지능의 단가를 알 수 없다.
- 생산자가 청구하는 판매 가격과 생산자가 실제로 지출하는 비용은 서로 다른 숫자다.
- 비교 가능한 워크로드에서 같은 기간 동안 서비스 제공에 필요한 지출을 모두 합산하고, 고객이 실제로 사용할 수 있는 결과량으로 나눠야 한다.
- 이 값은 요구조건을 충족한 토큰 또는 성공적으로 완료한 작업당 비용을 보여준다.
4.2. 운영 효율은 원가 우위가 될 수 있지만 그 자체에도 비용이 든다
-
더 많은 허용 가능한 응답은 임대료·장비투자의 배분을 바꾼다.
- 임차 GPU를 쓰는 사업자는 같은 유료 시간으로 더 많은 유효 결과를 내면 임대 비용을 더 넓은 산출량에 분산한다.
- GPU 소유 사업자도 같은 원리로 장비 투자와 운영비를 더 많은 결과에 나눌 수 있다.
-
운영 개선의 추가 산출은 안전한 실행에 드는 추가 지출을 정당화해야 한다.
- 새 업데이트를 검증하고 안전하게 배포하며 계속 작동하도록 유지하는 데는 인력과 비용이 든다.
- 반복 가능한 운영 프로세스는 소프트웨어와 워크로드가 바뀌어도 비용 우위를 지속시킬 수 있다.
- 한 번의 좋은 벤치마크로 지속 우위를 입증할 수는 없다. 매일 새 워크로드를 점검하고 성과를 다시 얻어야 한다.
5. 비용 곡선에서의 위치는 경쟁자와 시장 주기에 따라 달라진다
5.1. 내 원가가 개선돼도 상대 순위는 나빠질 수 있다
-
원가 곡선은 내 개선량이 아니라 경쟁자가 전달하는 결과와 함께 비교해야 한다.
- 같은 작업과 품질을 놓고 한 사업자의 성공 작업당 총원가가 10에서 8로 줄어든다고 가정한다.
- 비교 대상의 원가는 같은 시기에 12에서 6으로 내려간다. 영상 자동자막은 여기서 경쟁자 비용의 방향을 혼동해 표기하지만, 뒤이어 그 경쟁자가 더 싼 생산자가 되어 가격을 낮출 여유를 얻는다고 설명한다.
- 따라서 자신의 성능이 좋아졌더라도 경쟁자가 더 빠르게 개선하면 상대적으로 뒤처질 수 있다.
-
가격 경쟁력은 두 서비스가 고객에게 동등하게 받아들여질 때 의미가 있다.
- 더 낮은 원가를 가진 업체는 고객이 품질과 서비스 범위를 비슷하게 받아들인다는 전제에서 판매 가격을 낮출 여유가 더 크다.
- 자체 제품의 성능 기록만 추적하면 경쟁 상품의 결과와 비용을 놓치기 쉽다.
- 그러므로 실질적인 목표는 요구 품질을 충족하는 유용한 작업의 상대 원가를 지속적으로 개선하는 것이다.
5.2. 공급 부족기에 원가 개선을 미루지 말아야 한다
-
강한 수요와 제한된 공급은 생산자별 원가 차이를 가릴 수 있다.
- 발표자는 당시 수요가 공급을 크게 웃돌고, 적어도 향후 2~3년의 가시 범위에서 그럴 것으로 본다는 맥락을 언급한다.
- 수요가 강하면 원가가 크게 다른 업체도 고객을 얻을 수 있고, 높은 매출은 효율 개선의 시급성을 덜 느끼게 한다.
- 데이터센터를 급히 늘리는 결정에 비해 원가 곡선의 위치를 지키는 일은 덜 매력적으로 보일 수 있다.
-
상품 시장의 수급 사이클을 고려해 호황기에 운영 능력을 키워야 한다.
- 역사적으로 모든 상품 시장에는 수요와 공급의 변동이 있었으며, 현재 다음 변곡점을 보지 못한다고 이번 사이클이 다를 것이라는 뜻은 아니다.
- 레버리지가 큰 기업은 매출 확대뿐 아니라 비용 우위를 선제적으로 만들어 사업 사이클을 견딜 수 있어야 한다.
- 자금 조달과 투자가 가능한 호황기에 운영 능력을 구축해두면 고객 선택지가 늘고 가격 압력이 커질 때 효과가 더 커진다.
6. 등급과 가격 기준이 있어야 비교 가능한 컴퓨트와 선물시장을 만들 수 있다
6.1. 컴퓨트 등급은 구매자가 받는 서비스를 정의한다
-
같은 B200 GPU 시간 상품도 서비스 범위와 고객이 맡는 운영 업무가 다르다.
- 어떤 제안은 관리형 서빙과 운영이 포함되고, 다른 제안은 고객이 더 많은 운영 부담을 직접 맡을 수 있다.
- 따라서 구매자가 어떤 서비스를 서로 비교해도 되는지 알 수 있도록 등급(grade)이 필요하다.
- 등급은 특정 컴퓨트 서비스와 구매자가 기대할 수 있는 것을 기술한다.
-
등급은 모든 작업에서 지능 자체를 서로 바꿔 쓸 수 있게 만들지는 않는다.
- 작업마다 요구 품질과 결과의 유용성이 다르므로 서비스의 비교 범위를 명확히 해야 한다.
- 서비스 등급을 정한 다음에야 그 시장의 임대 가격이 무엇을 의미하는지 해석할 수 있다.
6.2. 가격 지표와 선물 계약은 제한된 위험만 다룬다
-
GPU 시간 임대 가격 벤치마크는 정의된 시장의 가격을 요약할 뿐 생산원가나 산출 지능을 측정하지 않는다.
- 광고된 가격과 실제 체결 가격은 다를 수 있다.
- 서비스 범위, 계약 조건, 어떤 가격을 어떤 방식으로 표본 추출하고 결합했는지가 지표를 좌우한다.
- 운영 품질은 지표가 별도 측정하지 않더라도 실제 가격에 영향을 줄 수 있으므로, 가격 기준만으로 배포가 얼마나 유용한지 알 수 없다.
-
컴퓨트 선물은 임대료 변동을 헤지할 수 있지만 배포 실패까지 보장하지는 않는다.
- 선물은 미래 인도나 현금 결제를 표준화한 계약이며, 현금 결제는 참조 가격에 의존한다.
- 참조 가격의 움직임이 실제 지불하거나 받는 임대료 변동을 얼마나 잘 따라가는지가 헤지의 핵심이다. 지표보다 더 비싸게 거래된다는 사실만으로 헤지가 나쁘다고 단정할 수는 없다.
- 가격과 실제 임대료 사이의 관계가 예상 밖으로 달라지면 가격 위험이 남는다.
- 임대료 헤지는 임대료 변동을 상쇄할 수 있을 뿐, 잘못된 배포를 고치거나 고객의 대금 지급을 보장하지 않는다.
-
운영자 평가는 신뢰할 수 있는 시장을 만드는 한 가지 기반이다.
- 누가 시스템을 운영하는지 알면 서비스 내용을 설명하고 비교 가능한 등급을 정의하는 데 도움이 된다.
- 운영자 평가는 선물 등급, 건전한 벤치마크, 충분한 거래량·유동성 또는 효과적인 헤지를 단독으로 만들어내지 않는다.
- 임대료는 지능 생산자의 총비용 중 한 부분이며, 운영자는 컴퓨트를 고객이 쓸 수 있는 작업으로 바꾸는 책임을 계속 진다.
주요 발언 모음
“GPU는 운영자의 수준에 수렴한다.”
“GPU 시간을 투입물로 보고, 지능을 산출물로 본다.”
“같은 칩, 같은 인터랙티비티 목표인데 출력이 약 50% 더 많다.”
“한 번의 좋은 벤치마크가 그 우위를 입증하지 않는다. 매일 다시 얻어내야 한다.”
“더 나아지고도 뒤처질 수 있다. 경쟁자가 더 빠르게 개선하면 된다.”
“고객이 실제로 사용할 수 있는 출력으로 나누어, 서비스를 전달하는 데 쓴 모든 비용을 세어야 한다.”
핵심 데이터 & 수치
- 영상 길이: 1,062초, 약 17분 42초다.
- B200 비교 입력: 동일 모델에 약 8,000개 입력 토큰과 1,000개 출력 토큰을 사용한다.
- 사용자 응답 목표: 양쪽 배포의 P50 목표는 사용자당 초당 출력 토큰 100개다.
- 서빙 스택 차이: P90 출력 처리량이 한쪽은 약 200토큰/초, 다른 쪽은 약 300토큰/초로 제시된다.
- 출력 증가폭: 동일 GPU·목표 조건에서 약 1.5배, 즉 약 50% 차이다.
- 경쟁 원가 사례: 발표자가 든 가상 수치에서 한 업체의 성공 작업당 총원가는 10에서 8로 낮아지고, 경쟁 업체의 비용은 12에서 6으로 낮아진다. 자동자막은 경쟁자 수치의 방향을 오인식했으나 설명의 결론은 경쟁자가 더 싸져 가격 인하 여력을 얻는다는 것이다.
- 수요 전망 맥락: 발표자는 당시 수요가 공급을 초과하며 2~3년가량 가시성이 있다고 언급하면서도, 미래 수급 사이클은 단정할 수 없다고 인정한다.
- ClusterMAX 범위: 발표 시점은 ClusterMAX 3.0이며, 관리형 GPU 클러스터를 대상으로 한다. 녹취 자동자막은 평가 규모를 “수백 곳, 늘어나는 중”이라고 들리게 인식하므로 정확한 단위·수치는 확정하지 않는다.
결론 및 시사점
- GPU 투입량 또는 임대료만으로 AI 서비스의 경쟁력을 판단하지 말고, 요구 품질을 충족해 성공적으로 완료한 작업당 총비용을 비교해야 한다.
- GPU 운영자를 평가할 때 벤치마크 처리량과 함께 서빙 설정, 요청 동시성, 배포 검증, 롤백, 장애 대응, 보안 책임과 서비스 가용성을 확인해야 한다.
- 한 번의 성능 시연을 지속적인 운영 우위로 오인하지 말고, 실제 고객 워크로드에서 반복적으로 개선 효과를 검증해야 한다.
- 자체 개선 수치뿐 아니라 비교 대상의 원가와 서비스 품질도 계속 추적해야 한다. 상대 원가가 시장 내 가격 결정 여력을 좌우한다.
- 호황과 공급 부족이 지속되는 동안에도 운영 투자를 미루지 않아야 한다. 고객 선택지가 늘어 가격이 내려가는 국면에 원가 우위가 생존력으로 이어진다.
- 컴퓨트 등급·가격 벤치마크·선물 계약은 각각 서비스 범위 정의, 임대료 참조, 임대료 위험 헤지라는 역할을 맡으며, 운영 실패나 고객의 미지급까지 해결해주지는 않는다.
핵심 요약 (20줄)
GPU 하드웨어를 구매하는 일은 잠재력을 확보하는 것이고, 실제 유용한 작업량은 운영자가 결정한다.
컴퓨트 상품 시장에서는 같은 품질의 결과를 더 낮은 원가로 전달하는 생산자가 가격 하락에 더 잘 대응한다.
궁극적인 AI 비용 지표는 요구 품질을 충족하며 성공적으로 완료한 작업당 가격이다.
토큰당 가격은 비교 가능한 워크로드에서 유용한 산출물을 가늠하는 실용적 대리값이고, GPU 시간당 가격은 입력 비용이다.
GPU 하드웨어와 전력에 소프트웨어와 운영 역량이 곱해져 고객이 사용할 수 있는 지능이 만들어진다.
운영자는 모델 서빙 소프트웨어와 설정을 선택하고 요청을 처리해 시스템이 응답을 내도록 한다.
B200 비교는 동일 모델, 약 8,000개 입력 토큰, 1,000개 출력 토큰, 사용자당 초당 100개 토큰의 P50 목표를 가정한다.
같은 조건에서 두 서빙 스택의 P90 출력은 초당 약 200개와 300개 토큰으로 달랐다.
동일한 시간당 비용과 품질 조건에서는 1.5배의 출력이 허용 가능한 토큰당 임대 지출을 낮춘다.
유용한 지능은 작업 품질, 응답 속도, 필요한 시점의 가용성, 합의된 보안 경계를 모두 충족해야 한다.
모니터링 접근이 다른 고객의 로그와 지표를 노출한 사례는 빠른 GPU도 운영 보안 실패를 상쇄하지 못함을 보여준다.
운영자는 새 서빙 업데이트를 실제 워크로드와 부하에서 검증하고 문제가 생기면 이전 버전으로 되돌릴 수 있어야 한다.
ClusterMAX 3.0은 관리형 GPU 클러스터의 프로비저닝, 신뢰성, 모니터링, 보안을 테스트와 문서 및 고객 피드백으로 평가한다.
GPU 임대료와 추론 생산자의 전체 원가는 다르며, 소프트웨어·인력·장비·전력·공간·지원 비용을 포함해야 한다.
성공적으로 쓸 수 있는 출력량이 늘면 임대료나 장비투자를 더 많은 결과에 분산해 작업당 원가를 낮출 수 있다.
운영 개선에는 시험과 안전한 배포 비용이 들며, 한 번의 벤치마크가 아니라 매일 반복되는 실전 성과가 우위가 된다.
자기 원가가 10에서 8로 개선되어도 경쟁자 원가가 12에서 6으로 더 크게 개선되면 상대적으로 뒤처질 수 있다.
공급 부족과 강한 매출은 원가 차이를 가릴 수 있으므로 호황기에 운영 능력과 비용 우위를 쌓아야 한다.
컴퓨트 등급은 구매자가 받는 서비스와 기대치를 정의하지만 모든 작업의 지능을 서로 대체 가능하게 만들지는 않는다.
컴퓨트 선물은 참조 가격과 실제 임대료가 함께 움직일 때 임대료 위험을 줄일 수 있지만 배포 실패나 고객 미지급을 해결하지 않는다.
