9월 24일 목요일

비결정적 모델을 장시간 신뢰 가능한 에이전트로 만드는 하네스 구조는 무엇인가?

에이전트를 안정화하는 핵심은 모델을 더 결정적으로 만들겠다는 기대가 아니라, 모델 밖에서 관찰·추론·행동의 입력과 종료를 통제하는 데 있다. 첫 원문은 에이전트를 모델과 하네스의 결합으로 보고 저장소, 메모리, 시맨틱 계층, 게이트웨이와 MCP, 도구·스킬, 루프, 컨텍스트를 연결한다. 두 번째 원문은 그 추상 구조를 장시간 코딩 작업의 한 병목, 즉 컨텍스트 포화에 적용한다. 사용량을 세 단계로 관찰하고 에이전트가 자연스러운 중단점에서 스스로 압축하되, 마지막 임계점에서는 하네스가 도구 호출을 막아 압축을 강제한다. 이 둘을 합치면 신뢰성은 단일 컴포넌트가 아니라 상태를 어디에 보존하고, 매 반복에 무엇을 노출하며, 실패를 몇 번까지 허용하고, 무엇을 완료로 인정할지 연결한 제어 정책이 된다. 자동화는 반복 가능한 경계를 제공하고 자율성은 경계 안에서 다음 행동을 선택하는 유연성을 제공한다.

1. 01

   상태를 수명별로 분리한다

   현재 작업의 할 일처럼 짧게 사는 상태는 파일에 두고, 사용자 선호나 성공한 절차처럼 다시 검색해야 하는 상태는 데이터베이스와 장기 메모리로 승격하는 하이브리드가 제안된다. 파일은 생성과 추가가 쉽지만 동시 갱신, 고가용성, 벡터·관계형 검색에는 약하다. 데이터베이스는 ACID와 검색을 주지만 모든 임시 상태를 구조화하는 비용이 따른다. 따라서 저장 기술을 하나로 통일하기보다 수명, 동시성, 검색성에 따라 경계를 정하는 편이 하네스의 실제 트레이드오프에 가깝다.

2. 02

   컨텍스트는 기억이 아니라 캐시다

   긴 컨텍스트를 장기 기억처럼 쓰면 관련성이 희석되고 비용이 커진다. 첫 원문은 매 루프마다 필요한 도구와 스킬만 검색해 넣는 툴박스·스킬박스 패턴을 제시한다. 두 번째 원문은 이를 self-compact 도구로 구현해 notice, warning, force compaction을 분리하고, 압축 전에 목표·결정·다음 행동을 note to self로 남긴다. 중요한 선택은 압축 여부만이 아니다. 어느 지점에서 자율 판단을 허용하고, 어느 지점에서 강제하며, 압축 뒤 어떤 최소 상태로 작업을 재개할지를 함께 설계해야 한다.

3. 03

   실패 예산을 루프에 넣는다

   도구 오류를 즉시 종료로 바꾸면 자율성이 사라지고, 무한 재시도를 허용하면 비용과 환각이 누적된다. 하네스는 문제 난이도와 모델 품질에 따라 호출 한도를 두고, 새 결과를 관찰해 복구 가능한 오류만 다음 반복으로 넘겨야 한다. self-compact의 hard cutoff도 같은 원리다. 에이전트가 계속할 자유를 주되 자원이 임계치를 넘으면 하네스가 개입한다. 운영 관점에서는 호출 횟수, 컨텍스트 사이클, 압축 시점, 복구 여부가 모두 관찰 가능한 상태여야 한다.

4. 04

   완료 정의가 자율성의 출구다

   장시간 실행의 품질은 오래 버티는 시간으로 판단할 수 없다. 두 번째 원문은 plan → build → verify와 Definition of Done, 평가 루브릭을 공통 입력으로 두고 서로 다른 모델·도구의 결과를 격리해 비교한다. 구현 속도나 토큰 수가 좋아 보여도 실제 UI와 요구사항을 확인하지 않으면 완료 증거가 아니다. 하네스는 작업 시작 전에 산출물 위치, 필수 기능, 검증 명령, 규칙 위반 시 중단 조건을 명시하고, 끝에서는 자체 보고가 아니라 실행 가능한 결과로 닫혀야 한다.

따라서 장시간 에이전트를 위한 최소 아키텍처는 짧은 상태와 장기 기억의 분리, 루프별 도구·근거 검색, 자율 압축과 강제 임계점, 제한된 재시도, 명시적 완료 정의, 실행 결과 검증을 하나의 관찰 가능한 제어면으로 묶어야 한다. 모델을 교체해도 이 계약이 유지되어야 비교와 회귀 검증이 가능하다. 반대로 메모리나 압축 기능 하나만 추가하고 종료 조건과 검증 경계를 두지 않으면, 더 오래 실행되는 시스템을 만들 수는 있어도 더 신뢰할 수 있는 시스템을 만들었다고 말하기 어렵다.