9월 21일 월요일

에이전트 추론 스택은 무엇을 병목으로 보고 어떤 단위로 최적화해야 하는가?

학습은 큰 행렬 연산을 병렬화하는 compute 중심 작업이지만, autoregressive inference는 토큰을 생성할 때마다 모델 가중치와 상태를 읽는다. 원문이 제시한 2014~2024년 비교에서 GPU 부동소수점 연산량은 약 120배 늘었고 메모리 대역폭은 약 17배 늘었다. 이 간극은 추론을 FLOPs보다 메모리 용량·대역폭·이동 비용의 문제로 만든다. 에이전트 워크로드는 여기에 또 하나의 축을 더한다. 계획, 도구 호출, 관찰을 반복하면서 입력이 길어지고, 연속 단계가 대부분의 프롬프트 접두부를 공유한다. Deep Research형 작업은 수십~수백 번의 추론을 분에서 시간 단위로 실행할 수 있다. 따라서 단일 요청의 첫 토큰 지연시간만 줄여서는 충분하지 않다. 가중치와 사용자별 KV 캐시를 어느 계층에 둘지, 공유 접두부가 있는 replica로 요청을 어떻게 보낼지, 하위 에이전트의 변동하는 동시성을 어떻게 스케줄할지까지 묶어 task completion time을 최소화해야 한다.

1. 01

   메모리 벽을 먼저 모델링한다

   추론 원가는 파라미터를 몇 비트로 저장하는지뿐 아니라 사용자별 KV 캐시가 얼마나 커지는지에 좌우된다. 원문은 긴 세션 하나의 캐시가 약 100GB가 될 수 있고, 에이전트 코딩 추적에서는 토큰의 약 96%가 캐시될 수 있다고 설명한다. 캐시된 토큰의 재사용은 새 토큰을 다시 계산하는 것보다 훨씬 싸지만, 저장 공간과 이동 경로를 요구한다. GPU 메모리만으로 끝내지 않고 호스트 메모리와 디스크를 포함한 계층, 양자화에 따른 품질 비용, 축출 정책을 함께 설계해야 한다.

2. 02

   접두부를 계산한 곳으로 요청을 보낸다

   Prefix caching은 앞 단계에서 계산한 KV를 보존하고 새 suffix만 처리하게 한다. 하지만 다음 호출이 캐시가 없는 replica로 이동하면 이 이점이 사라진다. Cache-aware routing은 공유 접두부가 남아 있는 실행 위치로 요청을 보내 지역성을 지키고, 분산 캐시는 여러 replica가 같은 접두부를 재사용하게 한다. 라우터의 부하 균형만 최적화하면 캐시 재계산이 늘 수 있으므로, 대기열 길이와 캐시 적중 가능성을 함께 봐야 한다.

3. 03

   요청 지표를 작업 지표로 올린다

   채팅은 요청 하나가 비교 단위가 되기 쉽지만 에이전트는 여러 호출과 도구 실행이 끝나야 가치가 생긴다. 개별 호출을 가장 빠르게 만드는 스케줄이 전체 작업을 가장 빨리 끝내는 스케줄과 같지 않을 수 있다. 다음 단계가 필요로 할 접두부를 미리 준비하거나, 에이전트 맥락을 아는 축출 정책으로 곧 재사용할 캐시를 남기는 이유다. 벤더의 split test에서 약 7배 속도와 낮은 오류율이 보고됐지만, 운영 판단은 자신의 호출 그래프와 실패율로 다시 검증해야 한다.

4. 04

   효율 향상을 용량 감소로 오해하지 않는다

   와트당 토큰이나 캐시 효율이 좋아져도 데이터센터 수요가 자동으로 줄어드는 것은 아니다. 절약된 전력과 메모리를 더 많은 사용자, 더 긴 컨텍스트, 더 많은 에이전트 단계에 다시 쓸 수 있기 때문이다. 장기적으로는 전력 생산이 중요하지만 원문은 당장 배치를 늦추는 제약으로 자본, 부채, 인허가와 지역의 합의를 함께 지목한다. 시스템 설계의 성능 목표와 실제로 배치 가능한 용량 계획을 분리하지 말아야 한다.

에이전트 추론의 최소 관측 단위는 모델 호출이 아니라 하나의 작업 그래프다. 운영자는 요청별 latency와 throughput에 더해 task completion time, prefix cache hit, 재계산된 토큰, 계층별 KV 점유, replica 이동, 도구 실패 뒤 재시도 비용을 함께 기록해야 한다. 모델 선택도 같은 기준으로 비교해야 한다. 오픈 웨이트 모델의 토큰 단가가 낮아도 캐시 지역성이 깨지거나 장기 작업의 오류율이 높으면 이점이 사라지고, 반대로 더 큰 모델도 높은 캐시 재사용과 짧은 완료 시간으로 총비용을 낮출 수 있다.