1. 핵심 주장
- 오픈 웨이트 ≠ 로컬 실행 가능: GLM 5.2 같은 최첨단 오픈 웨이트 모델은 훌륭하지만, 소비자 하드웨어에서 실행하는 것은 사실상 불가능하다.
- 하드웨어 현실이 냉혹하다: 최고급 소비자 GPU(RTX 5090)조차 VRAM 32GB에 불과 — 대형 모델 실행에 턱없이 부족하다.
- 병렬 에이전트 워크플로우가 핵심 문제: 현대 AI 개발은 수십 개의 에이전트를 동시에 실행하는데, 로컬 하드웨어로는 구조적으로 불가능하다.
- 오픈 웨이트의 진짜 가치는 클라우드 호스팅 경쟁: 로컬 실행이 아니라, 다양한 클라우드 업체가 경쟁적으로 저렴하게 제공하는 것이 핵심 혜택이다.
- 토큰 효율 격차가 비용 차이를 좁힌다: 오픈 웨이트 모델은 토큰당 가격이 저렴해도 더 많은 토큰을 소비하므로, 실제 비용 차이는 예상보다 훨씬 작다.
2. 주요 논점 & 근거
2-1. 오픈 웨이트 모델은 지지하지만, 로컬 실행 과대광고는 반대
테오는 GLM 5.2, DeepSeek 등 오픈 웨이트 모델을 강력히 지지한다. "오픈 웨이트와 오픈 소스는 의미 있게 유사"하며 AI 생태계 발전에 필수적이라고 본다. 특히 정부 규제가 강화되는 현 시점에 더욱 중요하다. 하지만 이 영상의 비판 대상은 "오픈 웨이트"가 아니라, "로컬에서 실행하는 것이 미래다"라는 망상적 주장이다.
2-2. 하드웨어 현실: 수치가 모든 것을 말한다
| 하드웨어 | VRAM | 가격 |
|---|---|---|
| RTX 5080 | 16GB | - |
| RTX 5090 | 32GB | $4,300 |
| RTX Pro 6000 (Blackwell) | 96GB | $13,000 |
| 4x RTX Pro 6000 | 96GB×4 | $75,000 |
| AMD 대안 | 128GB | $12,000 |
| MacBook 128GB (통합 메모리) | 128GB | ~$4,000+ |
- GLM 5.2 실행 요구량: 최소 400GB, 완전 BF16은 1.5TB
- DeepSeek V4 Flash (소형 버전)도 96GB RAM 필요 (Mac 128GB에서 가능하나 3배 느림)
- $75,000 박스로도 Flash 수준만 가능, 그것도 1개 인스턴스만
2-3. 소비자용 "통합 RAM" 옵션의 현실
로컬 실행이 가능한 현실적 옵션은 딱 세 가지:
- Mac 128GB 모델: 통합 메모리라 VRAM으로 활용 가능. 그러나 128GB 옵션만 $3,000 추가, 전체 $10,000+ 수준. 속도는 전용 GPU 대비 3배 느림.
- DGX Spark: 테오 본인이 보유했으나 "쓸모없다"고 평가. CUDA 디버깅용으로나 활용.
- Strix Halo (Framework 데스크톱 등): Mac을 원하지 않을 때 대안이지만 진짜 GPU는 아님.
2-4. 병렬 에이전트 문제 — 구조적 불가능
테오의 실제 워크플로우:
- 에이전트 0~40개를 동시 실행
- T3 코드, Codex 등 여러 도구 동시 사용
- 큰 오케스트레이터 모델 + 여러 서브에이전트 구조
로컬 하드웨어로는 이 워크플로우 자체가 불가능:
- 한 인스턴스도 버거운데 40개는 절대 불가
- 사용하지 않는 GPU는 비용 낭비, 6개 필요 시 5개 하드웨어로는 병목
- 캐싱, vLLM, 배치 처리도 "이 문제를 실질적으로 해결하지 못한다"
2-5. 전기 요금: 숨겨진 비용
- SF에서 RTX 5090 24시간 가동 시 전기료: 하루 약 $5 → 연간 $2,000
- 대형 모델 실행엔 GPU 여러 개 필요 → 비용 곱셈
- 클라우드 요금에는 이미 전기료가 포함, 더 저렴한 지역 데이터센터로 최적화 가능
2-6. 토큰 효율 격차가 가격 차이를 잠식
벤치마크: DeepSWE 실행 비용 비교
- Opus 4.8 xhigh: ~$8/run
- GLM 5.2 max: ~$4/run → 겨우 2배 차이
그런데 토큰당 가격은:
- GLM 5.2: $3/M 토큰
- Opus 4.8: $25/M 토큰 → 8배 이상 차이
이론적 8배 차이가 실질 2배 차이가 되는 이유: 오픈 웨이트 모델은 같은 작업에 훨씬 많은 토큰을 소비한다. 속도가 20% 빠르더라도 토큰을 3배 더 쓰면 의미 없다. (Flash 3.5도 같은 이유로 실패)
3. 사례/데이터/인용
벤치마크 데이터
Deep SWE 벤치마크 (신뢰할 수 있는 몇 안 되는 벤치마크 중 하나):
- 킴마 오픈 웨이트 모델: 30%
- Claude 5.4: 52%
- Opus (낮은 가중치): 41% (단, 토큰 소비량이 매우 많아 실제 비용은 더 비쌈)
STV 벤치마크 경고: "상당히 남용되고 조작이 많은 벤치마크" — 표면적 수치에 속지 말 것.
시장/가격 데이터 (OpenRouter 기준)
GLM 5.2 다양한 호스트 비교:
- Wafer Fast: 115 TPS, 처리량 1025
- Fireworks Fast: 130 TPS, 처리량 660 (신뢰성 이슈)
- Friendly: 117 TPS, 처리량 440
- Deep Infra: ~30 TPS (느리지만 훨씬 저렴)
→ 경쟁이 가격/속도/신뢰성을 동시에 최적화
주요 인용
"로컬 모델은 GLM 52가 아닙니다. 양자화된 Gemma 4와 같은 것들인데, 제대로 작동하지도 않습니다."
"병렬 처리 문제에 부딪히게 됩니다. 제가 작업할 때는 에이전트 수를 1에서 40 사이를 오르락내리락합니다."
"하드웨어를 소유하고 있다고 해서 이 일을 공짜로 할 수 있는 건 아닙니다."
"오픈 웨이트 모델의 진가가 드러납니다. 이러한 서비스들은 호스팅 분야에서 경쟁을 촉진하여... 대부분을 해결할 수 있게 해줍니다."
antirez(Redis 창시자) 사례
Redis 창시자가 Mac에서 DeepSeek V4 실행을 위한 C 런타임을 처음부터 구축하려 시도 중. V4 Flash를 돌리려면 Mac 최소 96GB RAM 필요 → "예외적 사례"지 일반적이지 않음.
4. 시사점 & 액션 포인트
개발자를 위한 시사점
-
오픈 웨이트 모델 = 클라우드에서 쓰자: OpenRouter 등을 통해 GLM 5.2, DeepSeek 등을 경쟁적 가격에 클라우드로 활용하는 것이 최선.
-
비용 분석 시 토큰 수 반드시 포함: 토큰당 가격만 보면 안 된다. 동일 태스크 수행에 소비하는 총 토큰 수를 측정해야 실제 비용을 알 수 있다.
-
에이전트 워크플로우 설계 시 클라우드 API를 기본으로: 병렬 에이전트 실행, 유연한 스케일링은 클라우드 없이 불가능하다.
-
하드웨어 구매 결정 시 VRAM이 핵심 지표: CPU 성능이나 RAM 용량이 아닌 VRAM(또는 통합 메모리)이 LLM 로컬 실행의 병목.
-
오픈 웨이트 모델 선택 시 실용적 기준 적용:
- 작업이 Opus/Sonnet에서도 잘 되고 GLM 5.2에서도 작동하면 → 5.2로 이동
- 비전/스크린샷 등 멀티모달 필요 시 → 프론티어 모델 필요 (GLM 5.2는 시각 없음)
- 에이전트 오케스트레이션, 장기 컨텍스트 → 프론티어 모델 필요
오픈 소스/웨이트 생태계의 진짜 가치
- 경쟁 압력: DeepSeek R1이 업계 전체를 발전시킨 것처럼, 오픈 웨이트 모델의 존재 자체가 클로즈드 모델 기업에 압력
- 호스팅 경쟁: 같은 모델을 여러 공급자가 경쟁하면 가격/속도/신뢰성 모두 향상
- 파인튜닝 자유: 다운로드, 재학습, 용도 맞춤화 가능
- Secure Compute 미래: 클라우드 서버에서 데이터를 암호화된 상태로 추론하는 기술이 발전하면, "개인 정보 보호 + 클라우드 성능" 동시 달성 가능성
경계해야 할 것
- STV 등 조작된 벤치마크에 현혹되지 말 것
- "자체 GPU로 Codex/Claude Code를 대체할 수 있다"는 주장은 거짓
- 보급형 안드로이드 기기의 성능은 2022년 이후 거의 진전 없음 — "기기가 좋아지면 해결된다"는 논리가 통하지 않음
t3dotgg 영상 전체 번역 다이제스트 | 2026-07-09