10월 3일 토요일

AI 인프라를 실제 워크로드에 맡기기 전에 어떤 실패 경로를 검증해야 하는가?

관리형 GPU 클러스터 77곳을 직접 시험하고 시장 323곳을 추적한 평가는 최신 GPU의 보유 여부보다 운영 계층을 본다. 고장 난 자원이 작업에 섞이지 않는지, 통신과 스토리지가 가속기를 굶기지 않는지, 캐시와 자동 확장이 비용을 왜곡하지 않는지, 보안 경계와 서비스 수준 계약이 실제 복구 경로를 담는지가 구매 기준이다. 생성형 AI 제품의 백엔드도 같은 문제를 더 작은 단위에서 만난다. 모델 호출은 비결정적이고 느리며 부분 실패하고, 성공 응답이 좋은 결과를 보장하지 않는다. 따라서 모델을 파이프라인의 외부 노드로 격리하고 이벤트 스트림, 캐시, 재시도 대기열, 폴백, 동적 설정, 품질 대시보드로 감싸야 한다. 두 현장이 공유하는 결론은 단순하다. AI 시스템의 신뢰성은 모델의 평균 성능이 아니라 실패를 발견하고 격리하고 되돌리는 실행 계층에서 결정된다.

1. 01

   구매 전에 실제 장애를 계약의 시험 항목으로 만든다

   GPU 모델과 시간당 가격만 비교하면 공급 부족이 가린 운영 부채를 떠안을 수 있다. 능동형 검사는 유휴 시간에 실제 또는 모의 작업을 실행해 GPU와 링크의 이상을 찾고, 수동형 검사는 고객 작업 중 낮은 비용으로 로그와 상태를 감시한다. XID 장애를 주입했을 때 노드가 즉시 격리되고, 검증과 복구를 거쳐 정상 자원만 다시 작업을 받는지 확인해야 한다. 장애 감지, drain, 예비 자원 투입, 재부팅 또는 수리의 시간을 각각 재고 서비스 수준 계약의 중단 정의와 보상 조건에 연결하는 편이 좋다.

2. 02

   네트워크와 캐시는 비용을 숨기는 두 번째 사양표다

   다중 GPU 통신은 한 번의 최고 수치가 아니라 여러 메시지 크기와 노드 수에서 성능 곡선이 매끄러운지 보아야 한다. 스토리지와 통신 설정이 나쁘면 같은 가속기를 써도 학습이 느려진다. 추론 쪽에서는 캐시 인식 라우팅의 차이가 더 직접적인 비용으로 드러난다. 약 800토큰의 요청 기록을 되풀이한 시험에서 캐시 적중률 75%는 99% 수준과 비교해 같은 정확도의 실행 비용을 약 200달러에서 400달러로 만들 수 있었다. 엔드포인트가 응답한다는 사실과 경제적으로 운영된다는 사실을 분리해 측정해야 한다.

3. 03

   모델을 외부 노드로 두고 전통적 복구 장치를 되살린다

   실서비스의 모델 호출을 외부 노드로 추상화하면 타임아웃, 재시도, 폴백, 격리, 관측이라는 익숙한 시스템 설계를 적용할 수 있다. 토스증권 사례에서는 하나의 이벤트 스트림을 여러 사용자에게 전달하고, 입력을 더 작은 의미 단위로 쪼개며, 생성 결과를 DB와 캐시에 함께 적재해 요청 경로의 지연과 비용을 줄였다. 실패한 작업은 별도 대기열에서 재시도하고 다른 모델로 폴백할 수 있다. 이때 타임아웃은 단순한 인프라 숫자가 아니라 사용자가 기다릴 수 있는 경험의 상한이다.

4. 04

   HTTP 성공과 생성 품질을 다른 지표로 운영한다

   AI 제품은 요청이 성공해도 결과가 쓸모없을 수 있다. 추론 성공률, 시스템 응답, 인프라 상태, 오류 유형을 관찰하는 것과 생성 데이터의 품질을 평가하는 일을 분리해야 한다. 결과 대시보드에서 이상을 보고 조건값을 바꾸고 다시 결과를 확인하는 피드백 루프가 필요하다. 배포가 어려운 시간대에는 키워드와 임계값을 동적 설정으로 분리해 코드 배포 없이 조정할 수 있어야 한다. 마지막 검증 경계는 ‘호출이 끝났는가’가 아니라 ‘제품이 약속한 품질을 냈는가’다.

인프라 선정과 애플리케이션 설계를 같은 체크리스트로 연결하자. 장애를 주입하고, 격리와 복구 시간을 재고, 통신과 캐시 비용을 실제 요청으로 재생하며, 모델 호출과 생성 품질을 별도 지표로 본다. 좋은 AI 운영 계층은 화려한 기능을 많이 보이는 계층이 아니라 고장 난 자원을 자동으로 빼고 비용과 품질의 이상을 빨리 드러내며 안전한 폴백을 실행하는 계층이다. 사양표는 출발점일 뿐이고, acceptance test와 관측 루프가 계약의 본문이어야 한다.