9월 15일 화요일
에이전트가 코드를 더 빨리 만들고 탐색 규모를 키울수록, 경쟁력은 생성량보다 아키텍처와 검증 경계를 얼마나 명시적으로 설계하느냐에서 갈린다.
코드 생성이 싸진 뒤, 병목은 설계와 검증으로 이동한다
Dioxus의 Rust 개발 사례는 에이전트 도입의 성패가 모델의 타이핑 속도보다 유지보수 가능한 기반, 위험을 겨냥한 테스트, 라인 단위 리뷰에 달렸음을 보여준다.
생산량 폭증은 곧바로 납품 속도가 아니다
Dioxus 팀은 최근 AI 코딩 에이전트가 Rust의 보일러플레이트, 엣지 케이스, borrow checker 부담을 크게 줄이는 것을 확인했다. 수만 줄의 Rust 코드와 오래 미뤘던 기능·버그 수정·통합 초안이 빠르게 만들어졌지만, 실제 머지 기준을 통과한 결과는 극히 적었다. 수천 줄의 생성물이 draft에 머문 경험은 생성량과 배포 가능한 변화량을 구분해야 한다는 경고다. 에이전트가 빠를수록 잘못된 방향의 코드도 더 빨리 누적되므로, 처리량 지표를 작성된 줄 수나 열린 PR 수로 잡으면 병목을 감춘다. Dioxus 사례에서 더 유효한 단위는 호환성을 보존하며 검증을 끝내고 릴리스한 변화다. 실제 Kotlin·Swift 플러그인 통합은 구현 자체가 첫날 끝났지만 출하까지 약 2~3주가 걸렸고, 남은 시간은 테스트 케이스와 실제 기기 검증에 쓰였다. 생성 단계의 가속과 검증 단계의 비용을 분리해 측정해야 에이전트의 실질 효과를 판단할 수 있다.
좋은 기반은 사람과 에이전트가 공유하는 인터페이스다
에이전트가 Rust의 인지적 부담을 흡수한다고 해서 코드베이스의 구조가 덜 중요해지는 것은 아니다. Dioxus는 읽기 쉬운 코드, 단순한 프로젝트 구조, 좋은 오류 메시지와 도구에 수년간 투자했고, 이 기반이 에이전트의 작업 품질에도 그대로 작용했다. 반대로 기능이 기존 구조에 맞지 않을 때 에이전트가 시스템 전체를 자발적으로 재설계하기보다 당장 동작하는 코드를 붙이는 경향이 있으므로, 나쁜 기반에서는 스파게티 코드가 더 빠르게 늘어난다. 유지보수성은 느린 개발을 감수하는 장식이 아니라 이후 기능을 안전하게 추가할 수 있게 하는 처리량의 기반이다. 수백만 명이 의존하는 API를 패치 릴리스에서 깨뜨릴 수 없고 문서·예제·테스트·벤치마크의 불일치가 곧 사용자 문제로 이어지는 프로젝트라면, 인간은 앞으로 필요한 기능과 시스템 진화를 먼저 설계해야 한다. 에이전트에는 그 경계 안의 구현과 반복 검사를 맡기는 편이 구조적 부채를 통제한다.
테스트 수보다 위험을 재현하는 하네스가 중요하다
Dioxus가 확인한 한계는 에이전트가 테스트 코드를 못 쓴다는 것이 아니라, 쉬운 API에 테스트를 붙이고 정작 중요한 실패 경로를 놓치기 쉽다는 점이다. Zed 확장 프로그램의 설치와 실제 동작처럼 엔드 투 엔드 조건이 필요한 기능은 생성자 호출만 검사해서는 보장되지 않는다. 그래서 팀은 테스트해야 할 조건, 테스트용 API, 러너의 책임을 사람이 설계하고 에이전트는 아이디어·커버리지·엣지 케이스를 보강하는 역할로 둔다. 특히 퍼징에서는 에이전트가 다양한 정상·비정상·악의적 입력을 반복 투입하는 하네스를 만드는 데 강점을 보였다. 이 구분은 자동화 게이트 설계에도 적용된다. 테스트 파일 개수나 통과율만 보지 말고 어떤 운영 위험을 재현하는지, 실제 기기·패키징·확장 설치처럼 모의하기 어려운 경계가 포함됐는지, 실패가 릴리스를 멈추는지까지 계약으로 만들어야 한다.
최종 품질 게이트는 의도와 진화를 읽는 리뷰다
Dioxus 팀은 AI 리뷰로 버그를 먼저 찾더라도 들어오는 모든 PR을 사람이 한 줄씩 읽는다. 이유는 코드가 현재 테스트를 통과하는지와 장기 아키텍처에 맞는지가 다른 질문이기 때문이다. 외부 기여자나 에이전트는 당장의 버그 수정 의도를 전달할 수 있어도 코드베이스가 앞으로 어떻게 변해야 하는지까지 자동으로 공유하지 못한다. 따라서 프롬프트는 구현 지시문만이 아니라 변경 이유, 지켜야 할 호환성, 허용하지 않는 우회, 검증 조건을 전달하는 인터페이스가 된다. 운영상 분리는 명확하다. 에이전트는 문서·API 조사, 반복 릴리스 체크, 안정 브랜치 백포트, 주석과 동작의 불일치 탐지처럼 지루하지만 명세화 가능한 작업을 맡는다. 사람은 아키텍처, 테스트가 겨냥할 위험, 머지 여부를 책임진다. 코드 작성 비용이 낮아질수록 읽고 거절할 능력이 오히려 핵심 용량이 된다.
에이전트 규모를 키우기 전에 세워야 할 네 개의 경계
대규모 연구 스웜, 브라우저 작업, 로컬 추론 라우터, 프롬프트 인젝션 사례를 한데 놓으면 성능보다 먼저 검증자·권한·입력 신뢰·기여 추적을 설계해야 한다.
더 많은 에이전트와 컴퓨트를 투입할 때 무엇을 먼저 검증 가능하게 만들어야 하는가?
약 1만 개 에이전트가 Navier–Stokes 문제를 병렬 탐색한 사례는 에이전트 시스템의 핵심이 단순한 동시 실행이 아님을 보여준다. 그룹이 가설과 보조정리를 교환하는 cross-pollination, 검증 가능한 보상으로 채택과 기각을 반복하는 RLVR, 이후의 Lean 형식화와 인간 수학자 검토가 결합돼야 탐색 결과가 주장으로 바뀐다. 88시간과 1,300억 토큰이라는 규모는 탐색 폭을 키웠지만 공식 해결 여부와 수학적 통찰은 별도 검증으로 남았다. 같은 날 개발 신호도 이 경계를 보강한다. 재귀적 자기개선의 병목은 실행보다 다음 연구 방향을 고르고 결과를 판단하는 능력에 있으며, 평범한 산문에 악성 지시를 숨기는 PuzzleMask는 시스템이 읽는 자연어 자체를 신뢰 경계 밖의 입력으로 취급해야 함을 보여준다. 규모 확장은 검증자와 권한 모델이 먼저 정의됐을 때만 유효하다.
- 01
탐색 경계: 병렬화와 판정을 분리한다
에이전트 스웜은 여러 그룹이 서로의 발견을 교환하며 탐색 공간을 넓힐 수 있지만, 다수가 같은 방향으로 움직였다는 사실은 정답의 증거가 아니다. 그룹별 가설 기록, 채택·기각 기준, 독립된 형식 검증을 분리해야 한다. RSI 논의에서도 실행 능력보다 연구 목표 선택과 결과 판단이 병목으로 지목된다. 오케스트레이터의 성공 지표를 완료 작업 수가 아니라 반증 가능한 중간 산출물과 독립 검증 통과로 잡아야 하는 이유다.
- 02
입력 경계: 자연어도 비신뢰 데이터다
PuzzleMask는 평범한 문장 안에 악성 지시를 숨겨 사전 검증을 우회하는 프롬프트 인젝션을 제시한다. 에이전트가 웹 문서, 저장소 문서, 사용자 파일을 읽는 순간 콘텐츠와 명령을 분리하지 않으면 탐색 능력이 곧 공격 표면이 된다. 후보 원문이 강조하듯 자연어 콘텐츠를 데이터로 취급하고, 외부 입력이 시스템 지시나 도구 권한을 바꾸지 못하도록 경계를 둬야 한다.
- 03
실행 경계: 도구 사용에는 승인점이 필요하다
Astra가 비전과 computer use를 결합해 장시간 여행 예약을 수행하고 이미지 도구로 브랜드 결과물을 반복 생성한 사례는 모델이 답변기를 넘어 실행 주체가 됐음을 보여준다. 그러나 결제와 인증, 세부 오류는 별도의 하네스가 필요했다. 브라우저 작업에는 사람 승인, 지출 한도, 인증 장벽을 넣고, 생성 후 선택·수정 루프에는 종료 조건과 결과 검사를 둬야 한다. 로컬 AI 요청을 여러 컴퓨터에 분산하고 호환 API로 앱과 에이전트를 연결하는 라우터 역시 편의와 함께 노드·모델·권한별 관찰 가능성을 요구한다.
- 04
출처 경계: 성능과 기여 추적을 함께 기록한다
대규모 수학 탐색은 선행 연구의 아이디어가 다른 시스템의 가속 자원이 될 때 연구 크레디트와 학습 데이터 경계가 흔들릴 수 있음을 드러냈다. 더 많은 자본과 컴퓨트가 공개된 좌표를 빠르게 점유할 수 있으므로, 결과만 보존해서는 재현과 공정성을 함께 판단하기 어렵다. 어떤 자료가 입력됐고 어느 그룹의 가설이 채택됐는지, 비용과 토큰이 얼마나 들었는지, 최종 검증은 누가 수행했는지를 실행 기록에 남겨야 한다.
실무 체크리스트는 네 질문으로 압축된다. 탐색 결과를 독립적으로 판정하는 검증자가 있는가, 외부 자연어가 시스템 지시로 승격되지 않는가, 결제·인증·파일·컴퓨트 도구에 최소 권한과 승인점이 있는가, 입력·가설·비용·기여의 계보가 남는가. 하나라도 답할 수 없다면 에이전트 수와 실행 시간을 늘리는 것은 성능 확장보다 실패 반경 확장에 가깝다. 먼저 작은 규모에서 이 경계가 실제로 거절하고 중단하는지 시험한 뒤 병렬성과 컴퓨트를 키워야 한다. 원문이 제시한 수학 결과도 Lean 형식화와 인간 검증을 남겨두었고, 생명과학의 모델도 wet lab을 verifier로 둔다. 분야가 달라도 확장의 마지막 단계에는 독립 검증이 남는다.
아직 못 읽은 북마크
북마크를 고르는 중…