10월 22일 목요일
에이전트의 성능은 모델 단독 점수가 아니라 권한 경계, 단계별 산출물, 사람의 승인, 완료 작업당 비용을 하나의 운영 체계로 묶을 때 검증할 수 있다.
자율성은 경계 안에서만 확장된다
규제 은행의 원격 에이전트와 보험사의 레거시 워룸은 서로 다른 규모의 문제를 풀지만, 실행 권한을 둘러싼 통제면과 검증 가능한 산출물이라는 같은 설계 원리를 드러낸다.
실행면과 통제면을 분리한다
Monzo의 Agent Chip은 Slack 이모지라는 얇은 진입점 뒤에 격리 네임스페이스, 여러 파드, 에이전트 이미지, MCP 게이트웨이, 이그레스 프록시를 둔다. 모델은 허용된 로그·트레이스·코드와 저장소를 읽지만, 인증과 권한 부여는 게이트웨이가 맡고 외부 네트워크 경로는 프록시가 제한한다. 프로덕션 바깥 샌드박스에서 비결정적 실행을 허용하면서도 배포 경계는 사람과 기존 개발 절차에 남겨 둔 구조다. 이 분리가 있었기에 내부 도구 하나를 모델에 직접 연결하는 대신, 장애 조사·팀 간 문의·데이터 품질 감시가 같은 접근 계층과 실행 블록을 재사용할 수 있었다.
조사와 변경 사이에 승인 가능한 산출물을 둔다
GEICO의 FleetKit은 조직의 지식·도구·개발 방법·판단권을 Markdown 규칙과 저장소에 담고, 리더 에이전트의 조사 뒤 사람 개입 대기열을 거쳐 빌더 에이전트를 투입한다. 9단계 현대화 여정은 다음 단계로 넘어가기 전에 필요한 파일과 산출물이 생겼는지 결정론적으로 확인했다. HTML 워크시트와 설계 문서는 에이전트가 놓친 제품 맥락을 사람이 채우고, 수정된 내용을 다시 세션 입력으로 돌려주는 인터페이스였다. 최종 목표도 설명문 생성에 머물지 않고 시스템 변경 요청이나 코드 변경인 material change로 닫혔다.
권한 경계와 판단 경계는 서로 다른 층이다
두 사례를 합치면 플랫폼의 신뢰 경계가 두 겹으로 보인다. 첫째는 어떤 데이터와 도구를 읽고 어느 네트워크로 나갈 수 있는지를 집행하는 기술 경계다. Monzo는 이 층을 MCP 게이트웨이와 샌드박스 이미지, 프록시로 중앙화했다. 둘째는 조사 결과가 충분한지, 어떤 변경을 승인할지, 다음 목표를 무엇으로 고를지를 정하는 판단 경계다. GEICO는 도메인 전문가와 의사결정자를 미션별 워룸에 넣고 승인 대기열과 단계별 산출물로 이 층을 명시했다. 접근 권한이 안전하다고 해서 변경이 타당해지는 것은 아니며, 계획이 좋아도 실행 환경의 권한이 무제한이면 운영 가능한 시스템이 아니다.
평가 단위는 모델 호출이 아니라 통제된 변경이다
Monzo는 Agent Chip이 하루 1,800건이 넘는 작업과 기술 조직 병합 PR의 10% 이상을 맡는다고 보고했지만, 변경 초안은 스테이징과 엔지니어 검토를 거친다. GEICO는 하루 1,000달러의 토큰 예산으로 도메인을 지도화하고 오후 4시까지 API 또는 실행 가능한 계획을 시연하는 임무를 세 차례 수행했으며, 실제 도메인 코드에서는 저렴한 Sonnet 계열이 고가 Opus 계열과 동등하거나 더 나은 결과를 내기도 했다. 따라서 운영 지표는 호출 수나 비싼 모델 사용량이 아니라, 권한 경계를 지키고 필수 산출물과 승인 관문을 통과한 변경의 수·비용·복구 가능성으로 잡아야 한다. cron 감시의 세션 재시작, 프롬프트 캐시, 에이전트 조율처럼 주변 비용도 함께 세어야 비교가 성립한다.
빠른 모델과 빨리 끝나는 시스템은 다르다
내부 계산 최적화와 더 높은 추론 능력은 출발점일 뿐이다. 실제 선택은 검증 가능한 완료 시간, 실패 분포, 실행 환경 적합성으로 내려야 한다.
모델·서빙 지표M3.1 Flash의 희소 어텐션, 4비트 KV 캐시와 전문가 연산, 추측 디코딩은 계산과 메모리 이동을 줄인다. 그러나 39개 위치 검색 통과나 평균 점수만으로 14개 기업 보고서의 각주·기간·계산이 맞는지는 증명되지 않는다.
완료 작업·환경 지표더 강한 모델이 저장소 수정, 버그 재현, 컴파일러 재작성까지 수행해도 평가는 사용 가능한 결과로 닫혀야 한다. 발표자의 Rust 기반 TypeScript 컴파일러 사례도 작동 여부, 속도, WASM 지원, 기존 구현과의 일치율이라는 결과 주장으로 제시됐다.
모델·서빙 지표동시 요청을 32건에서 64건으로 늘린 테스트는 총 출력량을 약 1.9배로 높였지만 P95 첫 토큰 대기는 약 1.5초에서 11.3초로 늘렸다. 처리량이 커져도 사용자가 기다리는 꼬리 지연과 검증 완료 시각은 악화될 수 있다.
완료 작업·환경 지표환경 적합성도 속도 변수다. 발표자는 여러 머신의 Claude 오류 중 30% 넘게 Zsh의 개행 차이와 잘못 구성된 ripgrep 명령에서 비롯됐다고 보고 Bash를 택했다. 선호하는 셸보다 에이전트 실패가 적은 런타임이 전체 작업 시간을 줄인다.
모델·서빙 지표추론 수준 High는 Max보다 출력 토큰을 줄였지만 소개된 코딩 테스트 정확도는 80%에서 68%로 낮아졌다. 모델 호출비만 비교하면 누락된 근거를 찾는 검색, 재시도, 실패 실행과 사람의 수정 비용을 놓친다.
완료 작업·환경 지표더 똑똑한 모델은 과거에 비쌌던 포팅과 역공학의 실험 비용을 낮추지만, 생성된 PR을 모두 병합해야 한다는 뜻은 아니다. 시도와 폐기의 비용을 낮추고 목표에 맞지 않는 결과를 버릴 수 있어야 탐색 이득이 남는다.
모델·서빙 지표같은 질문·원문·정보 컷오프와 합격 기준을 먼저 고정하고, 모델·런타임·프롬프트·실패 사례를 보존해야 비교를 재현할 수 있다. 작은 범위로 배포하고 되돌릴 경로도 함께 준비한다.
완료 작업·환경 지표기술 스택은 개발자의 취향보다 에이전트와 팀이 목표를 달성하는 방식에 맞춰야 한다. React Native나 headless Ubuntu처럼 모델이 안정적으로 작업하는 추상화와 환경을 고르되, 실제 실패 분포가 선택 근거여야 한다.
모델 선택표의 마지막 행은 토큰/초가 아니라 ‘검증을 통과한 결과 한 건’이어야 한다. 여기에 첫 응답과 꼬리 지연, 도구 호출·재시도·사람 수정 비용, 런타임 실패, 재현 가능한 입력과 롤백 경로를 함께 기록하면 지능과 속도를 운영 의사결정으로 바꿀 수 있다.
추상화 아래에서 비용을 바꾸는 세 신호
계산 그래프의 입력 계약, 서빙 운영자의 유효 출력, GPU 시장의 물리적 인도 조건은 모두 표면 가격보다 아래 계층을 측정하라고 요구한다.
- 01
단테신경망을 프로그램으로 쓸 때 입력 범위가 명세가 된다
Handwired는 JavaScript를 자동 변환하거나 UI 전체를 생성하지 않는다. 개발자가 TypeScript 빌더 API로 숫자 계산을 직접 연결하고, 브라우저 코드는 이벤트와 HTML 반영을 맡는다. 정수에서 동작하는 ReLU 조건식에 4.5를 넣으면 다른 값이 나오는 사례처럼 범위·간격이 계약의 일부다. 설득력도 신경망이라는 이름이 아니라 일반 코드와의 비교에 있다. 토글은 테스트 3개와 306회 검사를 통과했고, 직접 만든 갤러리는 약 2,300개 입력에서 82,944개 출력값을 대조했다.
- 02
aiDotEngineer같은 GPU의 원가는 유효 출력과 운영 책임에서 갈린다
동일한 B200, 모델, 토큰 길이와 사용자 응답 목표에서도 서빙 스택에 따라 P90 출력이 초당 약 200토큰과 300토큰으로 갈렸다. GPU 시간당 가격은 투입비일 뿐이며, 품질·속도·가용성·보안 조건을 충족한 출력이나 성공 작업으로 총비용을 나눠야 한다. 새 서빙 버전은 실제 워크로드와 부하에서 검증하고 롤백을 준비해야 하며, 모니터링 접근으로 다른 고객의 로그가 노출되는 보안 실패는 빠른 처리량으로 상쇄할 수 없다.
- 03
latentspacepodGPU 계약은 지수보다 먼저 실제 인도 경로를 요구한다
SF Compute는 GPU 용량을 단일 FLOPS 상품으로 뭉개지 않고, 중단 통보 시간·스토리지 복구·WAN·GPU 세대·펌웨어·번인 상태를 주문 속성으로 다룬다. 조건이 늘면 유동성은 분산되지만 실제 작업을 옮기고 다시 실행할 수 있는 용량만 거래할 수 있다. 하드웨어를 소유하지 않는 중립 운영자가 클러스터와 SLA를 맡고, 고객이 인피니밴드 패브릭을 즉시 분할하도록 해 물리적 결제와 프로그램 가능한 데이터센터를 연결한다. 현금 지수와 파생상품은 이 실물 거래 기반 뒤에 놓여야 베이시스 위험을 줄일 수 있다.
아직 못 읽은 북마크
북마크를 고르는 중…