9월 19일 토요일

AI 추론·에이전트 클러스터에서 짧은 메시지의 P99를 낮추려면 전송 계층의 무엇을 바꿔야 하는가?

학습에서 오가던 기가바이트급 그래디언트와 가중치에는 링크 처리량이 핵심이었지만, 추론과 에이전트 작업은 분산 KV 캐시 조회, 메타데이터 교환, 배리어 동기화처럼 짧은 왕복을 늘린다. 계산 구간도 밀리초 단위로 짧아지면 한 메시지의 지연이 여러 GPU의 다음 계산을 막는다. 이때 평균보다 P99가 중요하다. TCP와 RDMA는 메시지 경계를 잃은 바이트 스트림과 송신자 중심 혼잡 제어를 사용한다. 여러 송신자가 한 수신자로 몰리는 인캐스트가 생기면 마지막 이그레스 포트에 긴 패킷이 쌓이고, 뒤늦게 온 짧은 메시지는 그 큐를 기다린다. ECN도 수신자를 거쳐 송신자에게 돌아간 뒤 전송률을 조정하므로, 제어가 안정될 즈음 네트워크 상태가 바뀔 수 있다. Homa의 답은 혼잡을 직접 보는 수신자에게 스케줄링 권한을 옮기고, 스트림 대신 길이가 알려진 메시지를 다루는 것이다.

1. 01

   메시지 경계를 보존한다

   Homa의 기본 단위는 요청과 응답으로 이뤄진 RPC 메시지다. 첫 패킷을 받은 수신자는 전체 길이와 남은 양을 알 수 있다. 이 정보가 있어야 최단 잔여 처리 시간 우선, 즉 SRPT로 짧은 메시지를 식별하고 긴 메시지와 독립적으로 우회시킬 수 있다. 바이트 스트림에서 생기는 헤드 오브 라인 블로킹을 데이터 모델부터 제거하는 선택이다.

2. 02

   수신자가 유입량을 허가한다

   송신자는 처음 몇 개의 비예약 패킷만 바로 보내고, 나머지 예약 패킷은 수신자의 그랜트를 기다린다. 수신자는 여러 메시지에 허가를 한꺼번에 내리지 않고 시간에 따라 분배해 마지막 홉 큐의 유입을 조절한다. 송신자가 여러 왕복 뒤 혼잡을 추정하는 구조와 달리, 병목 위치의 관측자가 어느 송신자에게 다음 데이터 덩어리를 허용할지 결정한다.

3. 03

   소프트웨어 정책을 스위치 큐에 투영한다

   그랜트 순서만으로 끝나지 않는다. Homa는 메시지 길이에 따라 스위치 이그레스 포트의 여러 우선순위 큐를 동적으로 고른다. 긴 전송이 낮은 큐에 쌓여 있어도 짧은 메시지는 높은 큐로 통과한다. 수신자 스케줄링과 하드웨어 큐가 같은 SRPT 정책을 실행하기 때문에 짧은 요청의 대기 시간을 직접 줄일 수 있다.

4. 04

   벤치마크와 적용 경계를 함께 본다

   약 50바이트부터 1메가바이트까지 섞은 요청·응답 벤치마크에서 TCP의 짧은 메시지 P99는 1밀리초를 넘었고 Homa는 100마이크로초 미만으로, 발표 기준 약 13배 빨랐다. 긴 메시지도 거의 2배 개선됐다. 그러나 이는 특정 혼합 작업 부하의 결과다. 실제 도입 판단은 메시지 크기 분포, 인캐스트 패턴, 계산·동기화 구간, GPU 유휴 시간을 먼저 측정한 뒤 Linux 커널 모듈로 재현해야 한다. 메인라인 반영 절차가 진행 중이라는 구현 상태도 운영 채택과 구분해야 한다.

Homa의 핵심은 단순한 TCP 튜닝이 아니다. 작업 부하가 대형 전송에서 짧은 메시지 혼합으로 바뀌면, 전송 단위를 메시지로 되돌리고 병목을 보는 수신자에게 제어권을 주며 스위치 우선순위까지 연결해야 한다는 설계 주장이다. 평가도 평균 왕복 시간만으로는 부족하다. P50과 P99, 애플리케이션 처리량, GPU 대기 시간을 함께 비교해야 짧은 메시지 우선 정책이 실제 시스템 병목을 없앴는지 판단할 수 있다. 발표의 수치는 시험할 가설이지 모든 AI 클러스터에 자동으로 적용되는 보장이 아니다.