State of Data — Sean Cai가 밝히는 AI 데이터 마켓의 실체

URL: https://www.youtube.com/watch?v=ZyIoTOAbRfs 날짜: 2026-07-26 채널: AI Engineer (aiDotEngineer)

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

AI 데이터 마켓은 ==2019년식 "매니마다 저임금 라벨러가 이미지에 태그 붙이는" 이미지가 아니라, 데이터를 통해 제너럴리스트 모델을 진짜 전문가로 바꾸는 언더펀디드(underfunded)된 인프라 레이어==이며, 이 시장이 지금 벤치마크 사기·언번들링·엔터프라이즈 피벗이라는 세 가지 큰 변화를 겪고 있다.

• 라벨링/애노테이션 시장(연 100~150억 달러 규모)은 이미 정체되었고, 진짜 알파는 "제너럴리스트 능력을 진짜 전문성으로 바꾸는 데이터"에 badly priced 상태로 존재한다
• 벤치마크의 상당수는 검증되지 않은 도메인 전문가들이 만든 "가짜" 지표이며, 단일 벤치마크 점수는 통계적으로 의미가 거의 없다
• 데이터 마켓의 자금 흐름을 추적하면 랩(Lab)들이 다음에 어떤 애플리케이션 레이어를 출시할지 2~3개월 전에 예측할 수 있다

발표자 Sean Cai는 독립 리서처로서 특정 회사를 대변하지 않고, 데이터 마켓 뒤편의 "머키(murky)한" 실상 — 누가 실제로 데이터를 만들고, 어떻게 거래되고, 왜 벤치마크가 거짓말을 하는지 — 를 폭로하는 형태로 발표를 진행한다.

---

1. 데이터 마켓의 현재 지형과 프레이밍

데이터 마켓에 대한 대중적 이미지는 낡았고, 실제 산업은 이미 "화이트칼라 노동 전체"를 대상으로 하는 훨씬 거대한 언번들링 국면에 들어섰다.

1.1. 데이터 마켓에 대한 오해와 실제 규모

1. 2019년식 이미지는 여전히 존재하지만 핵심이 아니다

   1. 매니마다(Manila) 애노테이터 룸: 사람들이 데이터 마켓 하면 떠올리는 건 스케일(Scale) 초기처럼 매니마다에 애노테이터들이 모여 이미지에 라벨을 붙이는 모습이다. 이건 실제로 존재하고 랩당 연간 100~150억 달러 규모지만, "가장 재미없는 부분"이다
   2. 진짜 badly priced 영역: 모델은 이미 잘 작동한다(work now). 진짜 스케어리(scary)하고 잘못 가격 매겨진 것은 "제너럴리스트 역량을 진짜 전문성(real expertise)으로 바꾸는" 유형의 데이터다

2. 2024년 스케일(Scale) 인수 사건이 전환점

   1. GPQA 데이터셋 스패밍: 2024년 Scale AI가 인수(메타)되던 시기, 업계는 이미 GPQA류 데이터셋을 대량 생산(spamming)하며 이 사실을 인지하고 있었다

1.2. 데이터는 화이트칼라 혁명의 석탄과 철이다 — TAM 프레이밍

1. 비유적 프레이밍
   1. "Data is to the white collar revolution what coal and iron is to the Victorian age": 데이터는 지금의 정보화 시대(정확히는 AI에 의한 화이트칼라 혁명)에서 빅토리아 시대의 석탄·철과 같은 원자재적 위치에 있다
   2. TAM은 버티컬이 아니라 "모든 노동": 발표자가 쓴 글("The TAM is in a vertical")의 요지는, 데이터 마켓의 진짜 시장 규모(TAM)는 특정 산업 버티컬이 아니라 노동 전체(all of labor)라는 것이다

1.3. 산업의 언번들링: 통합 거대 벤더에서 전문화된 벤더로

1. 2년 전: 수직 통합 거인들의 시대

   1. 머라크/서지/스케일 AI: 리마크(Remarque, 문맥상 Mercor로 추정)·Surge·Scale AI 같은 거대 데이터 회사들은 소싱부터 검증까지 전 과정을 자체적으로 다 했다
   2. 이유는 불변 경제학이 아니라 미성숙한 시장: 이렇게 다 직접 한 이유는 그것이 미성숙한 시장에서 유닛 이코노믹스가 성립하는 유일한 방법이었기 때문이지, 원래 그래야 해서가 아니다

2. 현재: 전문화된 벤더가 거인을 이긴다

   1. 스페셜리스트의 우위: 사람 소싱, 환경(environment) 구축, 리워드 설계, 이발(eval) 실행 등 여러 단계에서 전문 벤더가 통합 거인을 능가하기 시작했다
   2. 프래그멘테이션은 영구적: 이 파편화(fragmentation)는 "일시적"이 아니라 "영구적"인 구조로 자리잡고 있다
   3. 품질은 양에 선형적으로 비례하지 않는다: 이 때문에 코티지 인더스트리(cottage industry, 소규모 수공업형 산업) 형태가 나타난다
   4. 랩들의 벤더 다변화 의무화: 랩들은 벤더의 품질-수량 스케일링 능력을 근본적으로 신뢰하지 않기 때문에, 20~30개의 서로 다른 벤더를 쓰도록 사내 규정으로 강제하는 경우도 있다

올해 논의가 전개된 흐름: 1월에는 산업화·언번들링 트렌드(Antikythera 메커니즘 — 지저분한 비즈니스 맥락을 이발(Evals)로 번역하는 비스포크 시스템)를 다뤘고, 이후 Type 1/Type 2 데이터(contrived vs non-contrived) 개념, 그리고 2024년식 GPQA-셀 플레이북이 롱호라이즌·비검증(non-verifiable) 작업에서 왜 무너지는지를 다뤄왔다.

---

2. 모델 개선의 3요소와 데이터의 불균형

모델 성능은 컴퓨트·데이터·탤런트라는 투입 요소의 함수이며, 이 중 데이터가 구조적으로 가장 저평가·저투자된 다리(leg)다.

2.1. Compute, Data, Talent의 불균형 방정식

1. 모델 개선 = f(compute, data, talent)

   1. 3요소 프레이밍: 발표자는 모델 개선을 흔히 회자되는 "compute, data, talent"(자막상 "dodge, compute, data, talent"로 인식됐으나 문맥상 3요소로 추정) 3요소의 함수로 표현하는 자체 제작 차트·수식을 소개한다
   2. 불균형 시 비효율 발생: 이 세 요소 사이에 불균형이 생기면 "일반화된 AI 모델 성능(generalized AI model performance)"의 생산에 비효율이 나타난다

2. CapEx와 매출의 괴리

   1. CapEx는 기하급수적으로 증가: AI 인프라 투자(CapEx)는 지수적으로 증가하고 있다
   2. 매출은 훨씬 뒤처진다: 반면 AI 매출은 그 증가 속도를 훨씬 밑돌고 있으며, 이는 위 불균형 방정식의 결과로 볼 수 있다
   3. 데이터가 언더펀디드 다리: 데이터는 이 방정식에서 가장 저투자된 다리이며, 제너럴리스트 모델을 진짜 전문가로 바꾸는 결정적 역할을 함에도 불구하고 상대적으로 부족(lacking)하다 — 이것이 곧 기회(opportunity)다

2.2. 데이터의 두 유형: State-based vs Process-based

1. State-based 데이터 (2023년식)

   1. 정의: ERP의 행(row)처럼 "최종 출력물" 또는 "저장된 파일" 형태의 데이터
   2. 한계: 2023년식 넥스트 토큰 예측 모델에 맞는 데이터이며, 대부분 프라이버시 법에 감싸인 개인 데이터라 활용에 제약이 크다

2. Process-based 데이터 (현재 실제로 확보 가능한 것)

   1. 정의: trajectory(궤적), reasoning trace(추론 흔적), 의사결정의 시퀀스 — 즉 전문가가 빈 페이지에서 완성된 결과물까지 도달하는 "일이 처리되는 과정" 자체를 담은 데이터
   2. 왜 중요한가: 결과물이 아니라 일이 실제로 어떻게 수행되는지를 델리니에이트(delineate, 윤곽을 그림)하기 때문에, 지금 시대의 모델 학습에 실질적으로 필요한 데이터다

2.3. Type 1 데이터 vs Type 2 데이터

품질 축(quality axis)에서 데이터는 다시 Type 1(순수 캡처)과 Type 2(인위적 제작)로 나뉜다.

1. Type 1 데이터: 순수 캡처(pure capture)

   1. 정의: GitHub 커밋, 세션 리플레이처럼 실제 워크플로우를 그대로 캡처한 데이터로, 비전문가에 의한 리워드 셰이핑이 최소화된 상태
   2. 가치: 리얼리즘이 작업 자체에서 상속(inherited)되기 때문에, 모델을 20%에서 80% 수준으로 끌어올리는 것은 Type 1 데이터다

2. Type 2 데이터: 콘트라이브드(contrived, 인위적) 데이터

   1. 정의: 전문가를 고용해 임의의 세팅에 앉혀놓고 예시를 "제조(manufacture)"하게 만드는 방식
   2. 한계와 용도: 모델이 아직 "초등학교 1학년 수준"일 때는 어떤 전문가든 3학년 교사처럼 가르칠 수 있어 Type 2가 적합했지만, 이는 초기 단계에 국한된 방법론이다

3. 구조적 이유: 데이터는 가장 감가상각(appreciation) 가능한 자산

   1. 프론티어가 움직이면 데이터셋도 낡는다: 데이터셋은 프론티어 데이터 마켓의 프론티어가 움직이는 한에서만 유효하다
   2. 유일한 지속가능 공급원은 살아있는 비즈니스와의 파트너십: 죽은 스타트업의 코드베이스를 사들이는 방식(현재 많은 데이터 회사들이 하는 방식)이 아니라, 살아 움직이는 비즈니스와 파트너십을 맺는 것만이 진짜 지속가능한 공급 방식이다

4. 업계의 더러운 비밀(dirty secret)

   1. Type 2를 Type 1로 속여 파는 관행: 업계 전반에서 사실상 Type 2 데이터를 팔면서 Type 1인 것처럼 포장(bill)하는 경우가 만연하다

---

3. Verifier's Law와 검증 가능성의 3축

어떤 애플리케이션 레이어 도메인이 먼저 성숙할지는 "검증 가능성(verifiability)"이라는 하나의 축으로 대부분 설명된다.

3.1. Jason Wei의 Verifier's Law

1. 법칙의 내용
   1. 정의: "어떤 태스크를 수행하도록 모델을 훈련시키기 쉬운 정도는, 그 태스크가 얼마나 검증 가능한가에 비례한다(The ease of training a model to do a task is proportional to how verifiable the task is)" — 리서처 Jason Wei의 블로그에서 소개된 법칙
   2. 의의: 이 법칙 하나만 이해해도 데이터 마켓의 상당 부분이 더 이상 미스터리하지 않게 된다

3.2. 검증 가능성 3축: 비대칭성, 진실성, 증식성

1. 1축 — 검증의 비대칭성(Asymmetry of verification)

   1. 정의: 태스크를 체크 가능한 단계들로 분해하기가 얼마나 어려운가

2. 2축 — 검증의 진실성(Veracity of verification)

   1. 정의: "정답"이 무엇인지에 대해 얼마나 컨센서스가 존재하는가

3. 3축 — 검증의 증식성(Proliferation of verification)

   1. 정의: 현실 세계가 얼마나 자주 새롭고 이미 검증된(verified) 작업 예시를 제공해주는가

3.3. 코딩이 첫 성숙 시장이 된 이유 — GitHub의 3박자

1. 왜 클로드 사이언스(coding)가 먼저 왔는가

   1. 모델이 좋아진 후 다른 애플리케이션 레이어보다 코딩이 먼저 성숙했다: 이는 우연이 아니라 GitHub(웹 2.0의 산물)이 위 3축을 동시에 해결해줬기 때문이다
   2. 유닛 테스트 = 객관적·분해가능한 정확성(1축)
   3. 커뮤니티 컨센서스 = "동작하는 코드"의 정의에 대한 합의(2축)
   4. 커밋 메시지 = 사실상 무한한, 공짜인 추론 흔적(3축)
   5. 결과: 코딩은 3축 모두 High, High, High를 기록해 가장 먼저 성숙했다

2. 돈이 지금 향하는 곳: 저 검증가능성 도메인

   1. 생물학, 보안, 취향(taste), 금융, 헬스케어, 법률: 이들은 진실성(veracity)도 낮고, 검증(verification)도 낮으며, 검증 가능한 예시들이 대부분 엔터프라이즈 워크플로우 안에 잠겨 있어 웹 2.0 시스템이 거의 캡처하지 못한 영역이다
   2. AI 기업들이 슬랙/지라 로그를 사려는 이유: (문맥상 Mercor로 추정되는) 데이터 기업들이 최근 AI 회사에 다니는 사람들에게 슬랙 로그·지라 로그를 사겠다고 접촉해온 것도 이 3축 논리의 연장선이다
   3. 예측적(predictive) 활용: 어떤 직업의 태스크든 이 3축으로 분류하면 어떤 마켓이 다음에 성숙할지 예측할 수 있다 — 이것이 그냥 서술적(descriptive)이 아니라 예측적(predictive)인 프레임워크라는 점이 핵심
   4. 역사적 순서: 코드 → 검색(search) → 금융 → 헬스케어·법률 → 사이버·생물학·과학적 발견 → (가장 검증 불가능한) 취향(taste) 순으로 시장이 성숙했다

---

4. 벤치마크의 허상 — Type 2 레시피와 굿하트의 법칙

업계에서 유통되는 벤치마크 상당수는 "조용히 가짜(quietly fake)"이며, 그 생산 방식 자체에 구조적 결함이 있다.

4.1. 가짜 벤치마크가 만들어지는 방식

1. 지배적인 Type 2 레시피

   1. 도메인 전문가를 고용해 챗봇으로 태스크를 생성: 전문가들이 챗(ChatGPT 등)을 이용해 그럴듯한(plausible) 태스크를 만들게 한다
   2. 전문가가 직접 태스크를 풀고, 모델이 틀린 것만 체리피킹: 전문가들이 그 태스크를 풀게 하고, 모델이 다르게(divergent) 답한 케이스만 골라낸다
   3. "하드 노스스타 벤치마크"로 포장: 이렇게 골라낸 문제들을 어려운 노스스타(North Star) 벤치마크로 패키징한다
   4. 가장 도착적(perverse)인 부분 — 같은 벤치마크를 힐클라임하기 위해 데이터를 판매: 이 벤치마크를 만든 뒤, 바로 그 벤치마크를 끌어올리기(hill climb) 위한 학습 데이터를 판매한다

2. 굿하트의 법칙, 이윤 동기와 결합

   1. 측정 지표가 타깃이 되는 순간 타락한다: "지표가 타깃이 되는 순간, 그리고 그 타깃을 진짜 도메인 전문가가 아닌 사람들이 설정하는 순간, 그것은 더 이상 아무것도 진짜로 측정하지 못하게 된다"
   2. 시장 전체가 "안개 속 전쟁(fog of war)" 상태: 랩·벤더·엔터프라이즈 모두가 어떤 데이터가 실제로 모델을 개선하는지 사실상 추측만 하고 있다

4.2. 크로스 하네스 디퍼런싱과 벤치마크 사이코시스

1. 구조적 신호: 콘트라이브드 벤치마크의 한계

   1. 단일 격리된 문항만 테스트: 콘트라이브드 벤치마크는 고립된 단일 in-distribution 문제만 테스트하도록 설계되어, 모델이 길고 의존적인 에피소드에 걸쳐 정확한 추론을 지속(sustain)하는지는 애초에 테스트할 수 없다

2. 크로스 하네스/인프라 디퍼런싱이 벤치마크 격차의 주범

   1. 앤트로픽 블로그 및 다수 리서처의 지적: 벤치마크 실행 환경(하네스)과 인프라가 달라지면서 발생하는 성능 격차(cross-harness differencing, cross-infrastructure differencing)가 벤치마크 점수 편차의 주요 원인이다
   2. 관련 벤치마크의 문제: (자막상 "frontier squeezes", "deep squeezes"로 인식되어 정확한 벤치마크명은 불명확하나) 잘 알려진 프론티어급 벤치마크들에서도 헤드라인 지표만으로는 드러나지 않는 높은 위양성/위음성률 문제가 있다

3. 벤치마크 사이코시스(benchmark psychosis)

   1. 단일 스캐폴드 하의 단일 숫자는 노이즈가 심한 샘플: 단일 벤치마크 숫자는 "아무도 제대로 측정하지 않은 분포에서 뽑은 한 개의 샘플"에 불과하다는 것이 발표자의 결론이다

4.3. 실제 사례: 파이낸스 3개 태스크로 본 Opus 4.8 vs 4.7 vs GPT 5.5

1. 실험 설계

   1. 자체 벤치마크 시스템: 발표자는 내부적으로 Vals AI(자막상 "Val's AI")와 유사한 형태의 사설(private) 벤치마크를 운영한다
   2. 3개 실제 벤더발 파이낸스 태스크: ARR 워터폴 재조정(reconciliation), LBO 밸류에이션 메모, 헤지펀드용 롱숏 페어 트레이드 — 모두 롱호라이즌·비검증(non-verifiable) 파이낸스 태스크로, 상대적으로 견고한 결정론적 검증기(deterministic verifier)와 LLM-as-a-judge를 함께 적용했다

2. 핵심 발견

   1. Opus 4.8이 다수의 루브릭에서 4.7보다 못하다: 실제로 돌려보면 여러 루브릭에서 4.8이 4.7보다 나쁜 결과를 낸다
   2. 4.7→4.8 서브버전에서 self-reflection이 과설계됨: 루브릭 분석을 해보면 4.7에서 4.8로 넘어가며 self-reflection이 오버엔지니어링됐다는 것을 확인할 수 있다
   3. GPT 5.5와 Opus 4.8은 같은 태스크에서 3점 이내로 근접하지만 정반대 방향으로 실패한다: GPT는 산술(arithmetic)은 정확하지만 방법론(methodology)을 놓치고, Opus는 방법론은 정확하지만 산술을 놓친다
   4. 좋은 에그노스틱 벤치마킹은 포스트트레이닝 방향성을 드러낸다: 이런 방식으로 제대로 벤치마킹을 하면, 각 팀이 포스트트레이닝에서 어떤 방향으로 갔는지, 그리고 그것이 어떤 데이터로 이어졌는지까지 추론할 수 있다

3. 비유와 결론

   1. "스위스 아미 나이프의 드라이버 비트로 치즈를 자르고 칼이 고장났다고 결론짓는 격": 단일 벤치마크 숫자를 신뢰하는 것은 이런 오류와 같다
   2. "리시트(receipt)"는 랩에 보내는 RL 환경 리포트로만 존재: 이런 세부 데이터는 실제로 RL 환경 리포트 형태로 랩에 전달되지만, 어떤 단일 리더보드 숫자도 이를 보여주지 않는다 — 이 컨퍼런스에 참석한 몇몇 정교한 RL 환경 회사들이 실제로 이런 걸 보여줄 수 있는 곳들이다

---

5. 다음 도메인을 예측하는 법

데이터 마켓의 자금 흐름 자체가 랩들의 다음 애플리케이션 레이어 출시를 예고하는 선행 지표(upstream indicator)로 쓰일 수 있다.

5.1. 데이터 마켓을 선행 지표로 활용하기 — Anthropic 사례

1. 시차를 둔 상관관계
   1. 1월: 사이버시큐리티 데이터 지출 급증: 앤트로픽은 새로운 벤더들로부터 사이버시큐리티 데이터를 대거 사들이고 있었다
   2. 3~4월: 생물학 데이터 지출 급증: 이후 관련 벤더들로부터 생물학 데이터를 대량으로 사들였다
   3. 2~3개월 후: 실제 제품 출시: Metis, Cybor(회사명 발음 불명확, ASR 오인식 가능성 있음), 그리고 Claude bio/life sciences 등이 실제로 출시됐다

5.2. 롱호라이즌 태스크 판별 체크리스트

1. 롱호라이즌 바(bar) 적용 기준 (실제 랩들이 쓰는 기준)

   1. 강제된 스텝 길이(enforced step length)
   2. 상호교환 불가능한 이질적 툴콜(heterogeneous tool calls that aren't interchangeable)
   3. 미래 행동을 실제로 제약하는 상태 전이(state transitions that genuinely constrain future actions)
   4. 의무적인 실패 복구(mandatory failure recovery)
   5. 주의점: "롱호라이즌"의 정의 자체가 벤더마다 스펙 상 상당히 제각각(mixed bag)이다

2. 원본 데이터에서 확인할 신호들

   1. 동일 엔티티에 대한 순차적 의사결정(sequential decisions against one entity)
   2. 스텝별로 추론 가능한 전문가 행동(inferable expert action per step)
   3. 독립된 제3자에 의해 기록된 결과(outcomes recorded by independent parties)
   4. 경제적으로 확보 가능한 고임금 노동(economically available high-wage work)

5.3. 로보틱스라는 반례

1. 모달리티 자체가 아직 정해지지 않은 유일한 예외

   1. ego vs teleop vs UMI: 로보틱스는 데이터를 어떤 모달리티로 수집할지(1인칭 시점, 원격조작, UMI 등)조차 업계 표준이 없다
   2. 로보틱스 데이터 벤더들의 낮은 전문성: 발표자는 로보틱스 데이터 벤더들 사이에 "엄청난 비전문성(huge degree of unsophistication)"이 만연해 있다고 지적하며, "인도에 있는 친구들이 찍은 아이폰 영상 10만 시간을 ego 데이터로 사지 않겠냐"는 식의 제안을 실제로 받은 적이 있다는 일화를 소개한다 (청중 웃음)

2. 시사점: 모달리티 리스크를 안고 죽지 마라

   1. 환경(environment) 회사들의 본질은 연구 가속기: 성공하는 모든 환경(environment) 회사는 결국 벤처 스케일이 아니라 리서치 액셀러레이터에 가까운 부티크 산업이다
   2. 벤처 스케일이 가능한 경우: 그들이 구축한 인프라가 애그노스틱하게 사내에서 엔터프라이즈 애플리케이션 레이어 유스케이스를 돕는 경우에만 벤처로서 스케일이 가능하다 — 데이터 마켓이 지금 형태로 영원히 유지될 것이라 가정하면 안 된다
   3. 결론: "모달리티 언덕 위에서 죽지 마라(don't die in a modality hill)"

마지막 도표(exhibit): 화이트칼라 노동 점유율을 세로축, 태스크 호라이즌을 가로축으로 놓으면, 짧은 호라이즌은 지금 당장 어드레서블(addressable)하지만, 진짜 경제적 가치와 데이터 구축이 몰려있는 곳은 오른쪽의 롱테일 — 깊이 의존적인 롱호라이즌 작업이다. 이 임계선(threshold line)은 누군가 실제 현실 세계 데이터 파이프라인을 구축할 때마다 오른쪽으로 이동한다.

---

6. 모델 레이어의 미래와 데이터 기업의 피벗

인프라 기술의 역사는 랩들이 앱 레이어를 영구적으로 장악하지 못할 것임을 시사하며, 데이터 기업들은 이미 엔터프라이즈로 방향을 틀고 있다.

6.1. 인프라 기술의 역사적 교훈 — 철도, 자동차, AWS

1. 역사적 사실: 인프라 파이오니어는 장기적으로 시장의 10% 이상을 가져본 적이 없다

   1. 철도의 사례: 철도는 회사 타운(company town)을 짓고 폭압적인 임대료를 물렸지만, 자동차가 등장하자마자 국유화됐다
   2. AWS/Google의 사례: 인프라 레이어를 통합했지만 애플리케이션 레이어는 결코 장악하지 못했다
   3. 주의: 발표자는 이것이 앤트로픽에 그대로 적용된다고 단정하지는 않는다고 밝히면서도, "역사를 잊은 자는 그것을 반복하게 된다"는 취지로 경고한다

2. 오픈AI·앤트로픽의 현재 위치

   1. 피에프덤(fiefdom) 구축 중: 지금 OpenAI와 Anthropic은 각자의 영지(fiefdom)를 구축하는 중이며, anti-distillation(증류 방지), 수출 관련 규제 대응, 엔터프라이즈 독점 계약 같은 압력들이 이를 뒷받침한다
   2. "자동차"는 이미 일부 도착했다: GLM 5.2가 다수의 실제 업무 루브릭(real-world rubrics)에서 GPT를 능가한 사례가 대표적 증거이며, 이는 애플리케이션 레이어 회사들이 모델 레이어로부터 디커플링(decouple)될 수 있다는 강력한 증거다
   3. 모델은 전기처럼 완전 대체 가능하지 않다: 모델들이 효율성과 모달리티에서 서로 다르기 때문에 전기처럼 완전히 펀저블(fungible)하지 않으며, 이는 국유화로 가는 것도 아니고 그렇다고 영구적 락인(durable lock-in)으로 가는 것도 아닌 애매한 균형을 만든다
   4. 핵심 질문: 앞으로 무엇을 만들지는 결국 일반 엔터프라이즈가 파운데이션 모델 랩으로부터 모델을 디커플링할 수 있는지에 달려 있다

6.2. 데이터 기업들이 엔터프라이즈로 피벗하는 이유

1. 데이터 회사들의 실제 매출 구조 변화

   1. 성공한 데이터 회사는 모두 엔터프라이즈로 피벗 중: 데이터 마켓에 대해 발표하러 왔지만, 정작 성공적인 데이터 회사들의 매출 중 놀랍도록 큰 비중이 이미 엔터프라이즈로부터 나오고 있다는 것이 발표자의 관찰이다
   2. 일반적으로 예상하지 못한 방식의 엔터프라이즈 매출: "핸드셰이크(handshake)를 기록하고 있어서 공개적으로 말하기 조심스럽다"고 언급하며, 데이터 비즈니스가 사람들이 예상 못한 방식으로 엔터프라이즈화되고 있다고 전한다

2. 엔터프라이즈가 자체 지능을 소유하기 시작할 때 필요한 추상화 레이어

   1. 아직 존재하지 않는 레이어: 엔터프라이즈가 랩의 지능을 "임대"하는 것을 멈추고 자체 지능을 "소유"하기 시작하면, 지금은 존재하지 않는 완전히 새로운 추상화 레이어가 필요해진다

6.3. 앞으로 필요한 추상화 레이어 — 5가지 역할 (발표자가 제시, 시간 관계상 3가지 상술)

1. ① 스몰 모델 서빙·라우팅: 비용·레이턴시·성능 프로파일에 따라 타겟팅된 스몰 모델들을 서빙하고 라우팅하는 역할
2. ② 베이스 모델 마이그레이션에 걸친 RL 데이터셋 관리: 새로운 오픈소스 베이스 모델로 갈아탈 때, 처음부터 다시 시작하는 게 아니라 포스트트레이닝을 자동으로 재실행할 수 있도록 RL 데이터셋을 관리하는 역할
3. ③ Antikythera 메커니즘: 앞서 언급한, 지저분한 비즈니스 맥락을 이발(Evals)로 번역하는 비스포크 시스템 (나머지 2가지 역할은 시간 관계상 상세 설명 생략, 발표 후 별도 논의 제안)

---

7. 결론 및 화자의 새 프로젝트

데이터 회사는 결국 "네오 랩(neo lab)"이 되어야 한다

1. 데이터 비즈니스는 데이터 비즈니스로 머물지 않는다: 지속 가능한 가치는 결국 서비스와 실제 작업의 애플리케이션 레이어로 흘러가기 때문에, 데이터 회사들은 스스로가 "네오 랩"이 되어야 한다는 것을 깨닫고 있다

두 가지 시사점 (Takeaways)

1. 리서처를 위한 조언: 리얼리즘의 정의를 이발(eval)과 태스크를 사들이는 그 벤더에게 아웃소싱하지 마라 — 그것은 사실상 "시험 출제자가 자기 시험을 채점하게 두는 것"과 같다
2. 빌더를 위한 조언: 모트(moat, 해자)는 데이터 자체가 아니라, 실제 작업으로 이어지는 파이프라인이다. 여기에 더해, 모델이 계속 개선되는 동안에도 계속 재훈련할 수 있는 인프라가 진짜 모트다

발표자의 신규 프로젝트 (최초 공개)

발표자는 이 발표에서 자신이 준비 중인 새 프로젝트를 처음으로 공개한다. (자막상 정확한 프로젝트명 인식 불가 — "티켓 스루 메커니즘"류로 들림) 실제 기업들과 협력해 그들의 데이터 자산을 수익화하고, 여러 엔터프라이즈에 RL-as-a-service를 구현하도록 도우며, 앞서 언급한 여러 회사들의 함정(pitfall)을 완화하는 것을 목표로 한다. 발표자는 트위터와 서브스택에서 활발히 글을 쓴다고 밝히며 발표를 마친다.

---

주요 발언 모음

"Data is to the white collar revolution what coal and iron basically is to the Victorian age and the information age right now."

"Specialists outcompete the giants at a lot of steps — sourcing the people, building environments, designing rewards, running evals. The fragmentation... is pretty permanent. It's not transitional."

"The dirty secret of the industry though is that everybody sells type two and bills it as type one."

"The ease of training a model to do a task is proportional to how verifiable the task is." (Jason Wei, Verifier's Law)

"A single benchmark number under a single scaffold is like basically one sample from a distribution who's basically with nobody measured... that's why there's so much what I call benchmark psychosis today."

"It's like taking a Swiss Army knife and using the screwdriver bit to cut cheese and like concluding the knife is broken."

"No pioneer of an infrastructure technology has actually held more than 10% of the market in the long run."

"Successful data companies nowadays are all pivoting to enterprise... an incredibly large amount of their revenues are enterprise now."

"Your moat's not the data, it's the sort of pipeline into real-world work. Plus the infra to keep retraining on it as the models improve underneath you."

핵심 데이터 & 수치

• 연 100~150억 달러: 랩 1곳당 2019년식 애노테이션(라벨링) 마켓 규모 — 발표자는 이를 "가장 재미없는 부분"이라고 평가
• 20~30개 벤더: 일부 랩이 품질-수량 스케일링을 신뢰하지 못해 강제하는 벤더 다변화 규모
• Opus 4.8 vs 4.7: 실제 파이낸스 롱호라이즌 태스크(ARR 워터폴, LBO 메모, 롱숏 페어 트레이드)에서 다수 루브릭 기준 4.8이 4.7보다 낮은 성능
• GPT 5.5 vs Opus 4.8: 동일 태스크에서 3점 이내 근접 점수지만 정반대 실패 패턴(GPT=산술 정확·방법론 부족, Opus=방법론 정확·산술 부족)
• 1~4월 시차: 앤트로픽의 사이버시큐리티(1월)·생물학(3~4월) 데이터 지출 급증 후 2~3개월 뒤 관련 제품(Metis, Cybor, Claude bio/life sciences) 출시
• 시장 성숙 순서: 코드 → 검색 → 금융 → 헬스케어·법률 → 사이버·생물학·과학적 발견 → 취향(taste)

결론 및 시사점

1. 데이터 마켓은 지금 애노테이션 시장이 아니라 "프로세스 기반·롱호라이즌 데이터" 시장으로 재편 중이며, 이 재편의 승자는 통합 거인이 아니라 전문화된 스페셜리스트 벤더다.
2. 벤치마크 숫자를 액면 그대로 신뢰하지 말 것 — 대부분의 하드 벤치마크는 도메인 전문가가 아닌 사람들이 만든 Type 2 데이터에서 파생된 굿하트의 법칙 산물이며, 크로스 하네스 차이만으로도 벤치마크 순위가 크게 흔들린다.
3. 다음에 어떤 도메인이 성숙할지 알고 싶다면 랩들의 데이터 구매 지출을 추적하라 — 이는 2~3개월 뒤 제품 출시를 예측하는 선행 지표다.
4. 리서처는 자신이 데이터를 사는 벤더에게 "무엇이 리얼(real)한가"에 대한 정의권을 넘기지 말아야 하고, 빌더는 데이터 자체가 아니라 실제 워크플로우로 이어지는 파이프라인과 지속적 재훈련 인프라를 모트로 삼아야 한다.
5. 데이터 기업들은 이미 자신들을 "네오 랩"으로 재정의하며 엔터프라이즈 매출 비중을 빠르게 늘리고 있다 — 데이터 비즈니스로만 머무는 회사는 구조적으로 지속가능하지 않다.

---

ASR(자동 자막) 기반 번역으로 일부 고유명사(회사명·벤치마크명 등)는 정확한 표기가 불확실할 수 있음 — 특히 "Remarque/Mercari"(Mercor로 추정), "Metis/Cybor", "frontier squeezes/deep squeezes" 등.