8월 23일 일요일

여러 에이전트를 동시에 실행할 때 무엇으로 실제 완료와 비용 효율을 판정해야 하는가?

에이전트는 긴 대화에서 어려운 항목을 빼고도 완료했다고 보고할 수 있습니다. Unlazy 사례는 큰 작업을 재귀적인 트리로 나누고, 마지막 작업마다 실행 증거를 요구해 완료 선언 권한을 에이전트에게서 분리합니다. 병렬화는 이 작은 단위가 독립적이고 통과 기준이 명확할 때 속도를 높입니다. 증거 없이 병렬 수만 늘리면 누락과 충돌을 더 빨리 생산합니다.

Hugging Face의 업무 자동화는 예측 가능성에 따라 결정론적 워크플로와 자율 에이전트를 나눕니다. 논문 탐색과 정형 이슈 생성은 고정 파이프라인이 맡고, 연구자의 다양한 후속 응답은 도구를 가진 에이전트가 처리합니다. 자동화가 대량 스팸이 되지 않으려면 연구자와 사용자에게 실제 이익을 만들고 결과를 평가해야 합니다.

모델 선택도 같은 원칙을 따릅니다. 가장 비싼 모델을 모든 단계에 쓰기보다 복잡한 계획과 검증, 빠른 분류와 백그라운드 처리의 요구를 나눠야 합니다. 토큰 단가나 초당 토큰 수가 아니라 작업을 완료하는 총토큰, 지연, 사람 검토와 재시도 비용을 합쳐야 합니다. 병렬화와 라우팅의 목표는 호출량이 아니라 검증된 결과 한 건의 비용을 낮추는 것입니다.

1. 01

   작업 트리의 잎마다 통과 증거를 둔다

   큰 목표를 작은 독립 작업으로 나누고 테스트, 파일, 화면과 같은 외부 증거로 완료를 확인합니다. 상위 에이전트의 요약만 믿지 않아야 어려운 항목의 조용한 누락을 발견할 수 있습니다.

2. 02

   예측 가능한 단계는 워크플로로 고정한다

   반복적인 탐색과 템플릿 생성은 결정론적 파이프라인이 더 저렴하고 감사하기 쉽습니다. 예외가 많고 대화가 필요한 후속 처리에만 자율 에이전트를 사용하면 유연성과 통제를 함께 얻을 수 있습니다.

3. 03

   모델 순위 대신 완료 비용을 기록한다

   명목 단가가 싼 모델도 더 많은 토큰과 재시도를 쓰면 비쌀 수 있습니다. 작업 유형별 성공률, 총지연, 검토량과 도구 사용을 함께 기록해 라우터의 기준으로 사용해야 합니다. 비전이나 웹 접근처럼 작업에 필요한 기능의 유무도 같은 비용표에 포함해야 합니다.

병렬 에이전트 시스템에는 작업 그래프, 증거 저장소, 비용 원장이 함께 있어야 합니다. 각 노드의 입력과 산출물, 검증 결과를 남기고 실패한 노드만 다시 실행할 수 있을 때 병렬화가 속도뿐 아니라 재현성과 비용 통제까지 제공합니다.