9월 20일 일요일
에이전트의 신뢰성은 더 큰 모델 하나가 아니라 경계의 데이터 계약, 복구 가능한 상태, 실행 환경과 하드웨어 제약을 함께 설계할 때 만들어진다.
실패 지점을 모델 밖으로 꺼내 설계하라
보이스 에이전트의 연쇄 오류와 범용 에이전트의 비결정성은 같은 처방을 요구한다. 입력·상태·도구·출력의 경계를 명시하고 각 경계를 따로 검증하는 것이다.
비결정적 모델을 프로덕션 시스템으로 감쌀 때 어떤 경계와 상태를 먼저 고정해야 하는가?
보이스 에이전트는 STT, LLM, TTS, 턴 감지를 연결하면 데모가 된다. 그러나 실제 통화에서는 전사 오류, 꼬리 지연, 언어 혼용, 숫자와 고유명사, 사용자의 끼어들기가 계층 사이를 통과하며 증폭된다. 범용 에이전트도 구조는 다르지 않다. 모델은 같은 입력에도 다른 답을 낼 수 있는 추론 코어이고, 저장소·메모리·검색·도구·컨텍스트·반복 루프가 그 출력을 작업 가능한 방향으로 수렴시킨다. 따라서 신뢰성의 단위는 모델 호출이 아니라 경계가 분리된 전체 실행이다. 입력을 검증 가능한 형태로 바꾸고, 단기 상태와 장기 지식을 구분하며, 매 반복에서 필요한 정보와 도구만 선택하고, 오류가 난 지점을 식별해 재시도하거나 중단할 수 있어야 한다.
- 01
지연은 평균이 아니라 파이프라인의 꼬리로 본다
음성 응답의 첫 체감은 사용자가 말을 멈춘 뒤 첫 음성이 나오는 TTFA다. 자료가 제시한 많은 구현은 750~1,200ms에 머물고, 1.2초를 넘으면 사용자가 전화를 끊기 시작한다. 프론티어 모델도 좋은 날의 P50은 450~500ms지만 P90·P95가 1.2~1.3초까지 늘 수 있다. 평균값 하나를 서비스 수준으로 삼으면 STT, 대기열, LLM, TTS 중 어느 계층이 긴 꼬리를 만들었는지 보이지 않는다. 계층별 시간을 따로 기록하고, 빠른 대화 모델과 더 큰 툴 호출 모델을 나누는 선택처럼 비용·지능·지연의 균형을 호출 경로 단위로 검증해야 한다.
- 02
자유 텍스트를 타입이 있는 계약으로 바꾼다
최신 STT도 알려진 평가 데이터에서는 4~6%의 단어 오류율을 남기고, 잡음·억양·도메인 어휘가 섞인 실제 통화에서는 두 자릿수로 올라갈 수 있다. 그러므로 전사문을 진실로 취급해 LLM에 직결하지 않는다. 전화번호·이름·날짜를 타입, 허용값, 길이, 재확인 규칙이 있는 필드로 선언하고, 통화 상태에 필요한 키워드만 동적으로 보강한다. LLM과 TTS 사이에도 이모지·마크다운·숫자·이메일·날짜·발음을 정리하는 제품 소유의 정규화 계층을 둔다. 이 구조는 공급자를 바꿔도 입출력 계약과 필드별 테스트를 유지하게 해 준다.
- 03
메모리와 도구는 매 반복마다 다시 조립한다
하네스 관점에서 모델은 교체 가능한 추론 코어이고, 개발자가 통제할 수 있는 부분은 데이터와 실행 계층이다. 현재 작업을 위한 단기 메모리, 과거 대화·선호·성공 절차를 담는 장기 메모리, 여러 에이전트가 공유하는 메모리를 한 덩어리 컨텍스트로 밀어 넣지 않는다. 큰 창은 그 자체로 단기 메모리일 뿐이며 정보가 늘수록 context rot과 attention 부담이 커진다. 대신 현재 의도, 관련 기억, 선택된 도구와 스킬을 매 observe–reason–act 반복에서 새로 조립한다. 잘못된 도구 호출과 일시 오류는 재시도하되, 하네스가 검증·중단 조건과 patience를 소유해야 무한 반복과 비용 누수를 막을 수 있다.
- 04
저장 위치는 수명과 동시성으로 나눈다
파일은 비정형 상태를 만들고 읽고 수정하기 쉽지만 여러 에이전트가 동시에 쓰면 충돌하기 쉽고 트랜잭션 일관성이 없다. 데이터베이스는 ACID, 백업, 복제, 벡터 검색을 제공하지만 모든 임시 작업까지 구조화하면 실행 부담이 커진다. 자료가 제안하는 절충은 현재 작업의 임시 상태를 파일에 두고, 사용자 선호나 검증된 워크플로처럼 오래 남길 가치가 생긴 정보만 장기 데이터베이스로 승격하는 방식이다. 검색도 임베딩 1차 후보와 cross-encoder 재순위화를 분리해, 모델에 전달하기 전에 관련성을 좁힌다.
검증 순서는 모델 벤치마크에서 시작하지 않는다. 첫째, STT→정규화→타입 필드→LLM→출력 정규화→TTS처럼 실패를 격리할 경계를 적는다. 둘째, 각 경계의 입력 형태와 오류 코드를 고정하고 필드 단위 테스트를 만든다. 셋째, 단기 상태와 장기 기억의 승격 조건, 도구 권한, 재시도 횟수와 중단 조건을 하네스가 소유하게 한다. 마지막으로 P50뿐 아니라 P90·P95 지연, 전사 오류, 잘못된 도구 호출, 복구 성공 여부를 함께 관찰한다. 제공된 근거는 특정 발표와 운영 경험에서 나온 설계 주장과 수치이므로, 다른 언어·통화망·모델·트래픽 분포에서는 같은 경계를 자체 데이터로 다시 검증해야 한다.
복잡성을 둘 장소가 아키텍처를 결정한다
서버 에이전트는 탐색 가능한 환경과 지속 가능한 상태를 만들고, 온디바이스 AI는 모델 구조를 장치의 메모리·지연·전력에 맞춘다.
에이전트의 상태와 실행 제약은 런타임 환경과 모델 구조에 각각 어떻게 반영되는가?
- 1
체인은 역할을 나누지만 작업 기억도 자른다
Vercel의 초기 데이터 에이전트는 질문, 계획, 실행, SQL, 보고를 전용 에이전트 체인으로 나눴다. 역할과 도구는 명확했지만 다음 단계에는 이전 단계의 요약과 작은 스니펫만 전달돼 전체 탐색 경로와 오류 맥락이 사라졌다. 하나의 큰 에이전트로 합치자 복구는 유연해졌지만, 실제 사용자의 예측 불가능한 질문을 사람이 평가 사례로 계속 매핑하는 방식은 확장되지 않았다.
- 2
파일시스템은 모델이 탐색할 외부 상태다
전환점은 도구 순서를 처방하는 대신 격리된 샌드박스에 시맨틱 레이어를 넣고 파일 목록·읽기·쓰기·Bash라는 작은 도구 집합을 제공한 것이었다. 에이전트는 필요한 자료를 찾고, 중간 작업을 파일에 남기고, 실패 뒤 그 결과를 다시 읽을 수 있었다. 자료에서는 이 구조로 평가 점수가 사실상 두 배가 됐다고 설명한다. 반복 질문의 해결 절차는 skills 폴더로 승격하고, 내구성 있는 실행·격리·모델 연결은 런타임의 책임으로 분리했다.
- 3
운영 상태는 재개와 관찰 가능성을 포함한다
에이전트 런타임은 중단 뒤 재개할 수 있어야 하고 안전한 환경에서 명령을 실행하며 필요에 따라 다른 모델과 외부 시스템을 연결해야 한다. 실행 목록, 도구 호출, 단계별 경로, 예상 비용을 남기면 실패를 최종 답변만으로 추측하지 않고 실제 경로에서 찾을 수 있다. 파일 기반 지식과 범용 조작은 단순한 인터페이스를 주지만, 격리·권한·내구성·추적은 별도 운영 계층이 보완해야 한다.
- 4
장치에서는 제약이 모델 구조 안으로 들어간다
온디바이스 AI는 동일한 범용 모델을 줄이는 문제가 아니다. 목표 GPU·NPU·CPU가 주어지면 attention, convolution, SSM, Liquid 계열 연산자를 탐색해 품질·메모리·지연·속도를 함께 맞춘다. LFM2는 CPU 실행을 위해 약 80%의 double-gated 1D convolution과 약 20%의 Group Query Attention으로 단순화됐다. 작은 모델은 제한된 메모리에서 표현력을 얻기 위해 더 강한 구조적 편향과 반복을 활용할 수 있지만, 그만큼 특정 데이터 양식과 장치에 묶인다.
- 5
배포 검증은 벤치마크 밖에서 끝난다
기기에 모델 파일을 넣었다고 생산 등급이 되지는 않는다. 열 제어, 긴 문맥에서의 행동 변화, 실제 사용자 분포, 안정성을 함께 검증해야 한다. 여러 하드웨어를 한 추상화로 지원하면 이식성은 높지만 각 장치의 네이티브 커널과 툴체인에 깊게 최적화한 경로보다 성능이 떨어질 수 있다. 정적 평가도 배포 뒤 입력 분포가 바뀌면 낡는다. 따라서 목표 장치의 지속적인 측정과 사람의 확인을 포함한 업데이트 루프가 필요하다는 것이 근거의 검증 경계다.
두 접근의 공통점은 복잡성을 숨기지 않고 통제 가능한 층으로 이동시키는 데 있다. 서버 에이전트는 작업 상태를 파일과 스킬로 외부화하고 샌드박스·내구성·관찰 계층으로 실행을 감싼다. 장치용 AI는 메모리·전력·지연 제약을 아키텍처 탐색과 네이티브 실행 경로에 반영한다. 구현 전에는 먼저 실패가 남아야 할 위치를 정해야 한다. 탐색과 복구가 핵심이면 파일시스템 런타임의 상태 모델을, 장치 제약이 핵심이면 실제 하드웨어의 열·메모리·꼬리 지연과 배포 툴체인을 우선 검증한다. 어느 쪽도 단일 평가 점수나 프레임워크 이름만으로 생산 적합성을 증명하지 못한다.
아직 못 읽은 북마크
북마크를 고르는 중…