모델 랩(Model Lab)과 에이전트 랩(Agent Lab)이 수렴하고 있다.
앤트로픽(Anthropic)은 자사 고객사와 경쟁하는 퍼스트파티(first-party) 애플리케이션을 계속 개발하고 있다. 한편 하비(Harvey)는 한 바퀴 돌아 다시 모델을 직접 학습시키기 시작했다.
워크로드-하니스 적합성(Workload-Harness Fit)은 어떤 워크로드가 순수한 에이전트 엔지니어링(가중치를 건드리지 않는 하니스)으로 최적화되어야 하는지, 아니면 엔드투엔드 (사전)학습 실행으로 최적화되어야 하는지를 평가하는 프레임워크를 제공한다.
리걸 AI(Legal AI) 워크로드는 다음과 같은 속성을 가진다: 적당한 물량, 태스크당 높은 가치, 검증 가능성은 중간 수준, 태스크당 시간 지평은 중간 길이. 종합하면 리걸 워크로드는 이 스펙트럼의 중간쯤에 위치한다 — 모델 학습이 명확한 정답이라고 할 수는 없다.
하지만 학습의 당위성은 그 어느 때보다 명확해졌다.
엔터프라이즈 AI 시장은 안정화되었고, 인풋/아웃풋 토큰 비용, 토큰 집약도 같은 헤드라인 수치의 불일치를 해소하는 가장 깔끔한 ROI 지표로 '달러당 지능(intelligence per $)'을 채택하는 쪽으로 정착했다. 더 넓게 보면, 엔터프라이즈 내부의 '학습 불가능한(untrainable)' 업무를 반영하지 못하는 벤치마크 극대화 경쟁에서도 벗어났다.
파레토 프론티어(Pareto Frontier)가 자리 잡았고, 구매자들은 벤더가 모델-하니스 조합을 최적화해 이 프론티어를 얼마나 더 밀어낼 수 있는지를 기준으로 평가하고 있다.
하니스란 무엇인가
하니스(harness)란 도대체 무엇인가? '래퍼(wrapper)'라는 경멸적인 용어가 그저 '하니스'로 리브랜딩된 것뿐이라는 농담이 돌아다니지만, 실제로는 원초적 지능(raw intelligence)의 잠재력을 온전히 실현하기 위해 필요한 인프라가 진화한 결과물이다.
랭체인(Langchain)의 이 분석이 이를 잘 설명한다:
모델은 (대부분) 텍스트, 이미지, 오디오, 비디오 같은 데이터를 입력받아 텍스트를 출력한다. 그게 전부다. 별다른 장치 없이는 모델이 다음을 할 수 없다:
- 상호작용 간 지속적인 상태(durable state) 유지
- 코드 실행
- 실시간 지식 접근
- 작업을 완료하기 위한 환경 설정 및 패키지 설치
이것들은 모두 하니스 레벨의 기능이다. LLM의 구조상, 유용한 작업을 수행하려면 이를 감싸는 어떤 형태의 장치(machinery)가 필요하다.
이것이 바로 에이전트 랩들의 전제였다: 특정 도메인에 맞춰 베이스 모델을 감싸는 최고의 하니스를 구축하는 것.
그 공존 관계가 지금 위협받고 있다.
앤트로픽의 하니스 공동 설계
앤트로픽은 자사 모델을 위한 하니스를 공동 설계하고 있다.
제가 좀 편향돼 있다고 생각하긴 하지만, 하니스와 모델을 함께 엮지 않고서는 최대 성능을 끌어내는 것이 불가능하다고 생각합니다.
이제 하니스의 구성 요소, 그리고 어쩌면 하니스의 '두께'도 모델이 점점 더 유능해지면서 시간이 지남에 따라 변할 것입니다. 하지만 우리가 모델을 테스트하고 성능을 평가할 때는 항상 하니스와 함께 테스트해야 합니다.
그러면 세상의 모든 다양한 하니스로 테스트할 것인가? 아닙니다. 우리는 우리가 직접 구축한 하니스를 선택해서 테스트할 것입니다. 그러니 모델을 구축하는 데는 필연적으로 하니스와 함께 테스트해야 한다는 측면이 있고, 이것이 둘을 계속 쌍으로 묶어두게 됩니다.
키미(Kimi) 계열 모델을 만드는 문샷 AI(Moonshot AI)의 공동창업자 양지린(Yang Zhilin)은 이를 회사가 퍼스트파티 앱으로 나아가는 다음 단계의 자연스러운 진화로 본다:
이것이 본질적으로 하는 일은 모델의 학습 과정을 리버스 엔지니어링하는 것입니다. 왜냐하면 모델의 학습 과정 역시 온갖 종류의 수단에 의존하기 때문입니다 — 앤트로픽이 자체 개발한 환경, 도구, 스캐폴딩(scaffolding)을 사용해 이런 모델을 학습시켰다고 상상할 수 있지만, 그것들을 여러분에게 직접 공개하지는 않았습니다.
리버스 엔지니어링을 통해 여러분은 그 분포(distribution)에 더 가까이 다가가게 됩니다 — 어떤 도구가 가장 잘 작동하는가? 어떤 시스템 프롬프트가 가장 잘 작동하는가? 어떤 컨텍스트 엔지니어링 방식이 가장 잘 작동하는가? 이것은 리버스 엔지니어링의 과정입니다.
하지만 모델 회사가 '퍼스트파티 제품'을 만들 때는 완전히 다른 논리를 따른다는 것을 알게 될 것입니다.
더 이상 그 리버스 엔지니어링 과정이 필요 없습니다. 오히려 순방향(forward) 접근이 됩니다. 저는 먼저 도구를 설계하고, 먼저 컨텍스트 엔지니어링 방법을 설계한 다음, 바로 이 환경 안에서 모델을 학습시킵니다 — 그러면 모델이 여러분의 환경 안에서 자연스럽게 더 잘 작동하게 됩니다.
이 둘은 서로 다른 사고방식이지만, 후자가 아마도 더 높은 상한선을 가지고 있을 것입니다.
도구와 모델을 훨씬 더 잘 통합할 수 있습니다. 모델이 무언가를 잘 처리하지 못하면 도구 설계를 조정해서 더 낫게 만들 수 있고, 동시에 엔드투엔드로 학습시킬 수도 있습니다. 이것 역시 개발 방식에서 상당히 큰 변수입니다.
풀사이드의 미니멀 하니스 접근
풀사이드(Poolside)의 아이소 칸트(Eiso Kant)는 코딩과 장기간(long-horizon) 소프트웨어 엔지니어링 태스크에 하니스 개발을 집중해왔다. 그는 도구 레지스트리와 MCP(Model Context Protocol)를 배제하고, 사실상 하니스의 정의 자체를 재구성해 컨테이너, 파일시스템, 프로비저닝된 크리덴셜, 코드베이스로 재정의했다:
이미 모델에서 이런 현상이 더 많이 나타나고 있습니다. 왜냐하면 RL로 모델을 학습시키기 시작하면, 모델은 자유로워지고 싶어 하기 때문입니다. 모델은 자신이 하고 싶은 일을 가장 효율적인 방식으로 하고 싶어 합니다. 그리고 그것은 시스템 프롬프트에 있는 50개 도구 중 하나를 호출하는 것이 아닙니다.
그래서 저는 모델에게 최소한의 하니스, 가능한 한 최소한의 하니스를 주고, 자체 코드베이스를 가진 컨테이너를 주는 것의 아주 큰 팬입니다. API 키와 데이터 소스, 필요한 소소한 라이브러리와 문서에 접근할 수 있는 코드베이스를 모델에게 주고, 그냥 태스크를 자유롭게 실행하도록 놔두는 것입니다. 그리고 저는 그것이 우리가 나아가는 방향이라고 생각합니다. 저는 12개월 안에 20개, 30개, 40개의 도구로 가득 찬 시스템 프롬프트를 단 하나도 보지 못할 것이라고 생각합니다.
다만 그는 특정 역량을 위해 맞춤형 하니스를 구축할 여지가 여전히 기업들에게 있다는 점은 인정한다:
자체 하니스를 가진 파운데이션 모델 회사들은 그것을 정말 강하게 밀어붙일 것입니다. 왜냐하면 운영적으로 그것이 모델을 개선하는 데 있어 과학적 엄밀성을 갖추는 가장 좋은 방법이기 때문입니다.
하지만 우리 모델을 가져다가 하니스 개선에 정말 많은 작업을 하는 누군가는 마땅히 그래야 하듯 우리와 경쟁하게 될 것입니다. 그리고 그것은 단지 하니스가 모델이 할 수 있는 것과 모델에게 필요한 추가 지침 사이의 간극을 메워주는 존재이기 때문입니다. 그리고 모델에게 필요한 것은 데이터와 도구에 대한 접근이며, 그것이 궁극적으로 제가 생각하는 하니스의 정체입니다.
더 유능한 모델을 만들수록 모델의 지시 이행 능력(instruction following)이 개선됩니다. 그러니 추가적인 하니스는 그저 "X, Y, Z를 만나면 이렇게 행동해"라고 말해주는 것에 불과합니다. 그리고 서로 다른 두 개의 하니스를 가진 두 모델이 여러분이 신경 쓰는 동일한 역량에 똑같이 도달할 수 있다고 하더라도, 특정 역량에 정말로 맞춤화된 하니스는 그것을 더 효율적으로 해낼 것입니다.
지금까지 대부분의 모델 랩은 코딩을 중심으로 특정 도메인에 대한 하니스만 구축해왔다. 하지만 기능 출시와 M&A 활동을 보면 그 영역을 확장하려는 의도가 분명하다.
하니스와 모델을 공동 설계함으로써 얻는 이득은, 왜 에이전트 랩들이 모델 학습에 뛰어들어야 하는지, 그러지 않으면 모델 랩이 여러분의 도메인에 자원을 집중시킬 때 도태될 위험을 감수해야 하는지를 설명해준다.
이전에도 언급했듯이, 지난 4년간 학습의 경제학은 극적으로 변화했다. 이는 '랩(lab)'이 된다는 것이 예전처럼 자본 집약적이고 개방형인 R&D를 의미하지 않게 되었다는 뜻이다.
주어진 도메인에서 파레토 프론티어를 밀어내는 것이 에이전트 랩이 매달려야 할 가장 중요한 미션이다.
우리의 목표는 파레토 최적 프론티어의 모든 지점에서 지능과 가격 면에서 최고의 옵션을 제공하는 것입니다. — 샘 알트먼(Sam Altman)
파레토 프론티어와 마진 경쟁
그것이 모델 랩 대비 가장 지속 가능한 차별화 요소가 될 수도 있다.
앤트로픽의 API 사업 추론 총마진(inference gross margin)은 현재 70%를 넘는 것으로 보고되며, 이는 2025년의 약 38~40%에서 상승한 수치다.
에이전트 랩들의 과제는 모델 랩이 따라올 수 없는 마진으로 달러당 최고의 지능을 제공하는 것이다.
모델 랩들이 수익성 높은 API나 광고 사업, 그리고 수백 가지의 경쟁 우선순위를 떠안고 있을 때, 그런 마진을 따라잡는 데 필요한 자원을 집중시킬 능력은 제한적이다. 이런 이유들과 규제 같은 다른 요인들로 인해, 에이전트 랩이 여러 수직 시장에서 궁극적인 승자가 되어야 한다.
리걸, 파이낸스 등 각 도메인에서 파레토 최적 프론티어를 제공하려면, 에이전트 랩 역시 모델과 하니스를 함께 설계해야 한다 — 그리고 바로 그 일이 지금 펼쳐지고 있다.
핵심 요약 (20줄)
- 모델 랩(앤트로픽 등)과 에이전트 랩(하비 등)의 경계가 무너지며 서로의 영역으로 수렴하고 있다.
- 앤트로픽은 고객사와 경쟁하는 퍼스트파티 애플리케이션을 계속 내놓고 있다.
- 리걸 AI 스타트업 하비(Harvey)는 반대로 자체 모델 학습에 뛰어들며 방향을 틀었다.
- '워크로드-하니스 적합성' 프레임워크는 워크로드 특성에 따라 순수 에이전트 엔지니어링이 나을지, 엔드투엔드 모델 학습이 나을지를 판단하는 기준을 제공한다.
- 리걸 워크로드는 물량은 적당하고 태스크당 가치는 높으며 검증 가능성과 시간 지평은 중간 수준이라 학습의 정당성이 명확하지 않았다.
- 그럼에도 엔터프라이즈 AI 시장이 안정화되며 '달러당 지능'이 가장 신뢰받는 ROI 지표로 자리 잡았다.
- 파레토 프론티어가 형성되어 구매자는 모델-하니스 조합 최적화 능력으로 벤더를 평가한다.
- 하니스는 모델이 상태 유지, 코드 실행, 실시간 지식 접근, 환경 설정을 할 수 있게 해주는 필수 인프라다.
- 앤트로픽은 자사 모델과 하니스를 함께 설계해야 최대 성능이 나온다고 명시적으로 밝혔다.
- 앤트로픽은 모델을 테스트할 때 자체 구축한 하니스로만 테스트하며, 이 때문에 모델과 하니스가 계속 쌍으로 묶인다.
- 문샷 AI의 양지린은 퍼스트파티 제품 개발이 기존의 '리버스 엔지니어링' 방식을 '포워드' 방식으로 뒤집는다고 설명한다.
- 도구와 컨텍스트 엔지니어링을 먼저 설계하고 그 환경 안에서 모델을 학습시키는 포워드 접근이 더 높은 성능 상한을 가질 수 있다.
- 풀사이드의 아이소 칸트는 반대로 도구 레지스트리와 MCP를 배제하고 컨테이너·파일시스템·코드베이스 중심의 '최소 하니스'를 지향한다.
- RL로 학습된 모델은 정해진 도구 목록보다 자유로운 실행 환경에서 더 효율적으로 작동하려는 경향을 보인다는 것이 그의 관찰이다.
- 그럼에도 특정 역량에 맞춘 맞춤형 하니스는 여전히 경쟁력을 가지며, 이는 모델 랩과 경쟁할 여지를 남긴다.
- 하니스와 모델의 공동 설계에서 오는 성능 이득 때문에 에이전트 랩은 모델 학습에 뛰어들지 않으면 도태될 위험에 처한다.
- 학습 비용의 구조적 하락으로 '랩'이 된다는 것이 더 이상 극도로 자본 집약적인 일을 의미하지 않게 되었다.
- 앤트로픽의 API 추론 총마진은 2025년 약 38~40%에서 현재 70% 이상으로 크게 상승했다.
- 모델 랩은 API·광고 등 다른 우선순위에 자원이 분산되어 있어, 특정 수직 도메인에서 에이전트 랩만큼의 마진을 따라잡기 어렵다.
- 결국 리걸·파이낸스 등 각 수직 시장에서 파레토 최적을 제공하려면 에이전트 랩도 모델과 하니스를 함께 설계하는 수직 통합의 길로 갈 수밖에 없다.