8월 31일 월요일
에이전트의 성능을 제품 성능으로 바꾸는 것은 더 긴 프롬프트가 아니라 실행 단위, 검증 루프, 관찰 가능한 실패와 공급자 경계다.
에이전트를 확장하는 세 층: 스킬, 검증, 운영
조직의 노하우를 재사용 가능한 실행 단위로 만들고, 모델의 새 능력을 방해하지 않으면서, 프로덕션 실패를 누적 개선으로 돌리는 구조를 읽는다.
스킬을 프롬프트가 아니라 조직의 실행 가능한 인터페이스로 본다
에이전트 하네스의 내부 루프는 컨텍스트·도구·메모리·상태·스킬 로더로 한 작업을 수행하고, 외부 루프는 스킬·서브에이전트·MCP·훅을 엮어 업무 순서와 조건을 조정한다. 이때 스킬은 개인이 임시로 저장한 요령이 아니라 두 루프 사이에 조직 노하우를 전달하는 실행 단위다. 재사용성·모듈성·발견 가능성·조합성·일관성을 갖춰야 다른 팀과 하네스로 옮겨도 의미가 유지된다. 반대로 중앙 카탈로그와 소유권, 버전과 수명주기, 정적 평가, 접근 제어가 없으면 비슷한 스킬이 중복되고 프롬프트 인젝션과 민감 로직 노출이 기술 부채로 쌓인다. 자동 진화는 출발점이 아니다. 먼저 메타데이터 검색과 의존성, 평가 결과와 관찰 가능성을 제공해 어떤 스킬이 누구의 책임 아래 어떤 조건에서 실행됐는지 추적할 수 있어야 한다.
새 모델에는 절차를 더하기 전에 방해물을 지우는 실험이 필요하다
모델의 능력은 세대가 바뀔 때마다 달라지므로 과거 모델에 맞춘 스캐폴딩을 영구 계약처럼 유지하면 새 능력을 가릴 수 있다. Claude Code 팀이 소개한 절제 실험은 시스템 프롬프트·도구·하네스 코드를 덜어 낸 뒤 필요한 요소를 한 줄씩 되살리며 실제 기여를 확인하는 방식이다. 실행에는 높은 수준의 과제, 가드레일과 종료 조건을 주되 모델이 스스로 결과를 검증할 수 있게 하고, 특정 절차를 지나치게 강제하지 않는다. 핵심은 자유방임이 아니라 검증 가능한 자율성이다. 어려운 과제를 던지고 결과를 관찰해 프롬프트·스킬·도구를 조정해야 하며, 단일 에이전트의 성공을 확인한 다음에야 동적 워크플로와 루프를 통해 테스트 타임 컴퓨트를 늘릴 수 있다. 모델 업데이트 때마다 기존 하네스가 여전히 이득인지 재검증하는 회귀 실험도 제품 수명주기의 일부가 된다.
프로덕션에서는 자유보다 표현 가능성과 수정의 누적이 먼저다
글로벌 해운의 예외 업무는 선형 자동화가 아니라 여러 상태 머신과 국가별 조건을 조정하는 문제다. 이 환경에서 사람용 SOP의 스크린샷만 에이전트에게 주면 설정·사전 조건·식별자·백엔드 호출·검증·복구가 빠져 행동을 재현하기 어렵다. 사례에서는 국가별 프로세스 코퍼스가 실행 런타임보다 약 20배 크고, 200개가 넘는 인스턴스를 운영하며 수 분에서 최대 10분의 지연을 다뤘다. 지난 9개월 동안 10만 건이 넘는 수정을 쌓았다는 수치는 정확도가 한 번의 프롬프트가 아니라 관찰과 교정의 운영 결과임을 보여 준다. 발견 단계에서는 에이전트가 해법을 탐색하게 하되 프로덕션에서는 권한과 실행을 제한하고, 모든 행동을 트레이스로 남겨 전문가와 엔지니어가 같은 증거를 보게 해야 한다. 실패가 특정 수정과 재생 검증으로 연결될 때 개선은 개인의 경험을 넘어 시스템 자산으로 누적된다.
이번 주 구현자가 따로 확인할 네 가지 경계
추론 비용, 모델 공급 계약, 자연어 로봇의 계층 분리, AI가 빨라진 뒤의 소프트웨어 품질을 짧게 점검한다.
- 01
BZCF | 비즈까페토큰 공장은 모델보다 서빙 구조에서 비용 곡선을 바꾼다
지능의 단가를 낮추는 경쟁은 모델 호출만의 문제가 아니다. KV 캐시 압축, 분산 데이터센터와 서로 다른 칩을 묶는 서빙 구조가 같은 요청을 처리하는 비용을 크게 바꾼다. ‘3~6자릿수 절감’이라는 큰 주장은 워크로드별 캐시 적중률, 통신 비용, 하드웨어 활용률과 품질 손실을 분리해 검증해야 실제 아키텍처 판단이 된다.
- 02
Tech Bridge멀티 모델 도구도 공급 계약이 끊기면 단일 장애점이 된다
Cursor의 소유권 변화 뒤 OpenAI 모델 접근이 11월 12일 종료될 예정이라는 사례는 편집기 UI의 멀티 모델 경험과 실제 공급 경로가 다르다는 점을 드러냈다. 토큰 사용량과 구독 보조금, 데이터 증류 우려가 계약에 얽히면 모델 선택지는 제품 기능이 아니라 운영 리스크가 된다. 자체 API 키와 공식 구독, 대체 가능한 오픈 도구를 어떻게 조합할지 미리 정해야 한다.
- 03
aiDotEngineer자연어 로봇은 에이전트와 동작 정책을 따로 평가해야 한다
Scout 시연은 자연어 에이전트가 이동·조명·카메라 같은 기존 로봇 도구를 선택하고, 정책이나 VLA가 실제 동작을 수행하는 역할 분리를 보여 줬다. 클라우드 학습과 엣지 실행을 나눌 수 있지만 음성 오인식, 지연, 넘어짐과 엉뚱한 도구 선택은 그대로 남는다. 목표 선택의 오류와 물리 실행의 오류를 같은 지표로 뭉개지 않아야 데이터 수집과 안전 가드레일을 정확히 고칠 수 있다.
- 04GeekNews
생성 속도가 오를수록 패치·리뷰·데이터 정리가 새 병목이 된다
긱뉴스에 모인 사례는 로컬 SQLite 동기화의 멱등 커밋과 충돌 처리, LLM이 남긴 장황한 주석, 취약점 소문만으로 빠르게 만들어지는 공격 코드, Codex로 만든 22개 프로젝트의 QA 부담을 함께 보여 준다. 구현량이 늘수록 컴파일러가 잡지 못하는 맥락, 릴리스 속도, 테스트와 데이터 정리가 더 중요해진다. 에이전트 처리량과 별도로 검증 대기시간과 결함 유출을 측정해야 한다.
코드 생성량을 시스템 처리량으로 바꾸는 운영 차이
프론티어 팀의 수치가 모든 조직에서 재현되지 않는 이유를 입력, 피드백, 병렬성 세 축으로 나눠 본다.
도구 추가기존 티켓과 대화 조각을 그대로 넣고 코드 생성을 요청한다. 방향이 모호한 상태에서 구현만 빨라지면 에이전트는 조직이 원하지 않는 결과도 빠르게 만들고, 다음 승인 단계에서 긴 재작업이 생긴다.
업무 시스템 재설계암묵지를 스킬과 조향 파일로 외부화하고 사양·기술 설계에서 의도를 먼저 고정한다. 에이전트가 실행하기 전에 범위, 제약, 완료 조건과 스스로 검증하는 방법을 제공한다.
도구 추가사람이 30초에서 1분마다 생성을 기다리고 결과를 눈으로 확인한다. 빠른 생성기가 사람의 대기열에 묶이며, 코드 작성 속도와 실제 배포 속도의 차이가 커진다.
업무 시스템 재설계린터·단위·통합·성능·보안 테스트와 결정론적 로컬 목을 붙여 에이전트가 여러 수정 루프를 독립적으로 돈다. 사람은 매 단계 승인 대신 실패 증거와 설계 판단에 개입한다.
도구 추가개별 개발자에게 여러 에이전트를 주면서 제품 결정과 리뷰, 출시 승인 구조는 유지한다. 구현 구간은 빨라져도 PM·디자인·경영 계층의 조정 비용이 전체 처리량을 제한한다.
업무 시스템 재설계에이전트가 수 시간 실행되는 동안 사람은 다음 과제와 가역적 결정을 준비하고, 병렬 작업의 결과를 검토할 공통 기준을 만든다. 코드 생성뿐 아니라 결정과 배포의 대기시간을 함께 줄인다.
Amazon 사례의 중앙값 4.5배와 일부 10배 이상이라는 결과는 도구 보유율이 아니라 운영 습관에서 갈렸다. 재현 목표는 최대 배수를 복사하는 것이 아니라 컨텍스트 준비, 자기 검증, 의사결정 대기시간을 각 팀의 병목에 맞게 계측하는 데서 시작한다.
아직 못 읽은 북마크
북마크를 고르는 중…