9월 16일 수요일

모델이 강해질수록 에이전트 하네스에서는 무엇을 지우고 무엇을 더 단단하게 남겨야 하는가?

세 사례가 가리키는 방향은 ‘오케스트레이션을 없앤다’가 아니라 제어의 위치를 바꾸는 일이다. Vercel의 데이터 에이전트는 스키마를 넣은 거대한 프롬프트에서 역할별 다중 에이전트, 상태를 공유하는 단일 에이전트를 거쳐 파일시스템과 스킬을 탐색하는 구조로 이동했다. 파일 기반 에이전트 사례도 직접 작성한 Python 루프를 공통 프레임워크에 넘긴 뒤, 격리된 원격 샌드박스와 범용 도구를 제공하는 단계까지 제어 코드를 줄인다. Codex의 설계 원칙은 이 축소를 모델과 하네스의 공동 설계로 설명한다. 모델이 곧 흡수할 행동을 임시 규칙으로 과도하게 고정하지 않되, 권한·실행 환경·도구 계약·관찰 가능성·평가는 모델이 좋아져도 시스템이 계속 소유해야 한다. 따라서 하네스의 품질은 코드 줄 수나 도구 수가 아니라, 모델이 자율적으로 탐색할 공간과 실패가 밖으로 번지지 않을 경계를 동시에 제공하는지로 판단해야 한다.

1. 01

   처방적 체인에서 탐색 가능한 작업 공간으로

   Vercel의 DZero는 처음에 질의·계획·SQL·보고 에이전트를 잇고 각 역할의 도구를 제한했다. 그러나 단계 사이에는 요약만 전달돼 실패 경로를 되짚기 어려웠고, 최대 100단계의 단일 에이전트로 합친 뒤에도 제작자가 약 30%를 맞힌다고 본 평가와 실제 사용자의 낮은 체감 품질 사이에 간극이 남았다. 전환점은 파일 읽기·쓰기와 Bash를 중심으로 한 샌드박스였다. 모델이 의미 계층을 직접 탐색하고 중간 결과를 파일에 남기자 평가 점수가 사실상 두 배가 됐다. 핵심은 전문 도구를 무한히 추가하는 대신 모델이 이미 익숙한 작은 인터페이스 위에 회사 고유 지식만 얇게 올리는 것이다.

2. 02

   루프는 런타임으로, 비밀과 권한은 환경으로

   파일 중심 에이전트의 다른 구현 경로는 도구 호출·상태·재시도·오류 처리를 애플리케이션 코드에서 관리형 런타임으로 옮긴다. 개발자는 AGENTS.md와 SKILL.md에 도메인 규칙과 절차를 두고, 에이전트에는 Bash·파일시스템·검색 같은 원자적 능력을 제공한다. 원격 실행에서는 샌드박스가 코드를 격리하고 네트워크 프록시가 요청 시점에 자격 증명을 주입해 모델이 실제 토큰을 보지 않게 한다. 허용 도메인으로 네트워크 범위를 제한하면 자율성과 보안 경계를 분리할 수 있다. 코드가 줄어도 비밀 관리와 접근 통제가 사라지는 것이 아니라 더 낮은 환경 계층으로 이동한다.

3. 03

   곧 사라질 목발과 오래 남을 기반을 구분하기

   Codex 사례에서 하네스는 현재 모델이 놓치는 테스트나 안전 행동을 개발자 메시지와 실행 규칙으로 보완하는 ‘목발’이다. 모델 훈련이 그 행동을 흡수하면 지시문과 강제 규칙을 제거할 수 있으므로, 가까운 모델 개선이 해결할 문제에 큰 우회 구조를 쌓지 않는 판단이 필요하다. 반면 로컬 샌드박스의 권한 요청, 관리형 VM의 격리, 도구와 프로토콜, 자원·데이터 접근 계약은 모델 능력과 별개인 시스템 책임이다. 하네스를 작게 만드는 목표는 이런 기반까지 없애는 것이 아니라, 일시적 행동 보정과 지속적 실행 경계를 구별해 전자의 유지비만 줄이는 데 있다.

4. 04

   프로덕션의 차별점은 회사 지식과 검증 루프

   범용 모델과 공통 런타임은 누구나 살 수 있지만, 어떤 데이터를 언제 조회하고 무엇과 연결할지에 관한 조직의 의미 계층은 기성 에이전트가 대신 만들 수 없다. Vercel은 실제 질의에서 반복 패턴을 추출해 약 100개의 스킬로 축적했고, Eve에 내구성·격리 실행·모델 교체·커넥션·도구 호출 추적과 비용 관찰을 결합했다. 파일 기반 구현도 개발자가 소유할 대상을 도메인 규칙, 워크플로, 원자적 도구와 평가로 좁힌다. Codex의 코드 리뷰 사례까지 연결하면 기계적 정확성과 보안 검사는 자동화하되, 사람은 의도·데이터 접근·자원 한도·불변조건을 먼저 합의해야 한다. 에이전트 아키텍처의 핵심 자산은 복잡한 라우터가 아니라 검토 가능한 지식과 반복 가능한 평가다.

설계 기준은 ‘더 많은 도구’도 ‘무조건 코드 삭제’도 아니다. 먼저 파일과 범용 도구로 모델이 스스로 탐색할 수 있게 하고, 반복 성공은 스킬과 의미 계층으로 외부화한다. 다음으로 상태·재시도·격리·비밀 주입은 공통 런타임과 환경에 맡긴다. 마지막으로 회사는 권한 계약, 도메인 지식, 평가, 관찰 가능성과 인간 승인 지점을 직접 소유한다. 새 모델이 나왔을 때 행동 보정 코드는 지울 수 있어야 하지만, 실패를 감지하고 피해를 제한하는 경계는 더 명시적이어야 한다. 하네스가 단순해질수록 무엇을 믿고 무엇을 검증하는지가 코드 밖에서 읽혀야 한다.