불러오는 중입니다
오늘의 공통 과제는 더 큰 모델을 기다리는 일이 아니라, 에이전트의 병렬 실행과 음성의 지연 은닉, 인프라와 안전 통제를 검증 가능한 시스템으로 묶는 일이다.
비동기 작업, 불확실성의 상향 전달, 관찰 메모리를 하나의 하네스로 묶을 때 코딩 에이전트는 긴 작업을 맡길 수 있는 시스템이 된다.
동기식 서브에이전트는 호출이 끝날 때까지 부모 작업을 붙잡지만, Pi의 상호작용형 구현은 Tmux의 별도 패널에서 세션을 실행하고 스폰 호출을 즉시 반환한다. 사용자는 메인 세션을 계속 쓰면서 여러 하위 세션을 관찰하고 후속 메시지를 보낼 수 있으며, 에이전트끼리도 대화한다. 완료된 하위 세션이 오케스트레이터를 깨우기 때문에 병렬성은 단순한 처리량 증가가 아니라 작업 상태를 다시 상위 흐름에 합류시키는 프로토콜이 된다. 이름 기반 재개와 조종을 하나의 메시지 도구로 합치고, 신뢰성이 낮았던 별도 done 호출을 없앤 선택도 같은 원칙을 따른다. 종료는 명시적 선언보다 실제 생성 중단과 대기 상태를 기준으로 판정한다.
Master·Worker·Scout 계층의 핵심은 위임 깊이가 아니라 불확실성의 이동 경로다. Scout가 구현 세부사항을 모르면 추측하지 않고 부모에게 질문하며, 질문을 받은 세션은 답이 올 때까지 살아 있는 대기 상태를 유지한다. Worker가 답할 수 없으면 질문을 Master로 올리고, 답변은 다시 하위 세션으로 전달된다. 이 구조는 실패를 사후 로그에서 찾기 전에 ‘결정에 필요한 정보가 없음’을 실행 중 상태로 노출한다. Bash Guard의 세션별 제어, 충돌하지 않는 질문 UI, 화면에 보이는 각 Tmux 패널은 자율성만 늘리지 않고 사람이 개입할 위치도 남긴다. 에이전트의 품질을 모델 응답 하나가 아니라 질문·대기·재개·종료 전이로 시험해야 하는 이유다.
긴 세션은 메시지를 계속 쌓는 대신 약 10,000토큰 단위의 청크를 observer가 구체적인 관찰로 바꾸고, 오래된 관찰은 주제별 Markdown 장기 메모리로 통합한다. 아직 통합되지 않은 관찰은 단기 메모리, 현재 대화와 압축 꼬리는 작업 메모리로 남는다. 데모에서는 observer가 14개 관찰을 만들고 consolidator가 85개 관찰을 문서로 합쳤다. 도구도 무조건 노출하지 않는다. Playwright 브라우저 확장은 8개 도구가 컨텍스트를 차지하므로 기본 비활성화하고 필요할 때 켠다. 작은 prompt snippet은 항상 존재하는 지침과 큰 스킬 사이에서 사용자가 행동 규칙을 선택하게 한다. 이 운영 감각은 AI 엔지니어의 기초·AI 기능·배포라는 세 층과 연결된다. API와 데이터, 도구 루프를 구성한 뒤 컨테이너화·관찰 가능성·비용·보안을 붙여야 프로토타입이 사용자 시스템이 된다.
빠른 추정은 먼저 움직이고 정확한 결과는 뒤에서 교정한다. 자연스러움은 전사·도구·생성·음성을 취소하고 이어 붙이는 하네스에서 나온다.
프론티어급 추론을 유지하면서 사용자가 기다리지 않는 음성 에이전트를 어떻게 구성할까?
Flux 같은 빠른 스트리밍 전사기는 음성이 들어오는 즉시 추정 텍스트를 만들고, Scribe V2 같은 정확한 배치 전사기는 더 많은 오디오와 질문 문맥으로 이를 교정한다. 새 문맥이 오면 오래된 정확화 작업을 취소하고, 구두점 변화처럼 의미 없는 갱신은 넘긴다. 지연과 정확도를 한 모델에 동시에 요구하지 않고 서로 다른 속도의 결과를 조정한다.
이름·생년월일 확인 같은 작업은 백그라운드 에이전트가 먼저 수행하고 결과를 메인 에이전트의 컨텍스트에 주입한다. 각 전사 감지는 조기 생성을 시작하지만 발화 종료가 확인될 때까지 출력은 보류한다. 더 정확한 전사가 도착하면 불완전한 생성은 취소하고 실제 도구 결과가 포함된 문맥으로 다시 생성한다. 낭비될 수 있는 투기 작업을 받아들이는 대신 왕복 대기 시간을 숨기는 구조다.
접두사 캐시는 한 단어가 아니라 세 단어가 쌓인 뒤 이전에 만든 공통 문구의 오디오를 재사용한다. 동시에 전체 텍스트는 WebSocket으로 Cartesia에 보내 자연스러운 운율의 음성을 만든다. 사용자 이름처럼 고유 토큰에서 캐시가 빗나가면 앞부분은 즉시 재생하고, Cartesia 결과에서는 이미 들려준 접두사를 억제한 뒤 나머지만 잇는다. 작은 끊김 가능성과 응답 시작 속도를 맞바꾸는 선택이다.
이름의 M과 N을 혼동한 뒤 사용자의 말을 끊고 같은 정보를 반복시킨 사례는 ASR 점수만으로 설명되지 않는다. 음성 에이전트는 듣기와 말하기 양쪽에서 소리·단어·상호작용·정신 모델을 시간축에 맞춰야 한다. 사용자가 번호를 찾는 침묵인지 발화를 끝낸 것인지, 어떤 용어를 이해하지 못했는지, 앞선 오류로 얼마나 답답해졌는지를 유지해야 명확화나 사람 연결을 고를 수 있다.
모듈별 성공이 통화 성공을 보장하지 않는다. 전사 교정, 차례 감지, 공유 어휘, 감정 대응, 도구 결과, TTS 연결을 함께 보고 실제 작업 완료와 상담원 전환·통화 포기까지 진단해야 한다. Eva Bench 같은 엔드투엔드 틀은 어느 언어 층이 무너졌는지 찾는 출발점이지 범용 처방이 아니다. 실시간성의 검증 단위는 첫 토큰 지연만이 아니라 사용자의 정신 모델이 통화 끝까지 일관되게 성장했는가다.
이 구조의 공통 패턴은 ‘먼저 추정하고 나중에 교정하되, 잘못 시작한 작업을 취소할 수 있게 한다’는 것이다. 빠른 전사, 백그라운드 도구, 조기 생성, 캐시 음성은 모두 지연을 숨기지만 계산 낭비와 상태 불일치 가능성을 만든다. 따라서 각 경로의 취소 규칙과 문맥 버전, 발화 종료 조건, 중복 음성 억제를 추적하고, 최종 평가는 속도와 정확도뿐 아니라 대화 리듬과 작업 완료까지 포함해야 한다.
추론 수요는 GPU에서 메모리와 저장장치로 병목을 옮기고, 통제 요구는 샌드박스와 평가로 운영 비용을 늘린다. 둘을 구호가 아닌 측정으로 비교해야 한다.
AI 시스템은 더 빨리 확장하면서 어디까지 통제를 강화해야 하는가?
안전은 막연한 멸종 확률보다 실제 incident의 root cause에서 시작한다. sandbox로 활동 범위를 제한하고 runtime 권한, monitor와 continuous monitoring, 출시 전 반복 평가와 regression 검사를 제도화한다. 동시에 확장 비용도 계층별로 본다. 긴 컨텍스트와 에이전트 작업은 GPU·HBM·DRAM을 넘어 NAND·SSD 수요를 키우며, HDD의 속도와 HBM의 용량·가격 사이를 빠른 저장장치가 메운다. 상위 5개 기업이 NAND 시장의 거의 90%를 차지하고 새 공장에는 최소 몇 년이 걸린다는 설명은 성능 목표가 곧 공급망·비용·용량 계획임을 보여 준다.
반대쪽 경계는 안전이 모든 컴퓨팅과 과학을 중앙에서 통제하는 명분으로 확장되는 경우다. 피터 틸의 정체 논지는 1750~1970년의 가속 뒤 물리 세계의 진보 속도가 둔화했고, AI도 1990년대 후반 인터넷 정도의 사건에 머물 수 있다고 본다. AI 위험을 이유로 실험을 봉쇄하면 치매·원자력·우주 같은 원자 세계의 병목은 그대로 남는다. 따라서 위험 감수와 자유를 보존하되, AI가 사회 전체의 정체를 자동 해결한다는 낙관 역시 검증되지 않았음을 인정해야 한다.
공통점세 원문은 확장과 통제가 모두 추상적 구호가 아니라는 점에서 만난다. 계산은 실제 메모리·저장장치·전력과 공급 시간을 요구하고, 안전은 실제 실행 경로·권한·평가 도구를 요구한다.
북마크를 고르는 중…