우버의 멀티모달 AI 에이전트 대규모 배포에서 얻은 핵심 평가 전략

URL: https://www.youtube.com/watch?v=Ddx8yOzgw88
날짜: 2026-08-21
채널: Tech Bridge

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==우버는 음식 사진을 자동으로 개선하는 멀티모달 AI 에이전트를 어떻게 대규모 운영 환경에 배포하면서도 원본의 진정성, 상거래 신뢰, 품질 안전성, 비용 효율을 함께 지킬 수 있는가?==

• 고정된 분류 모델 하나로 끝내지 않고, 이미지 이해·라우팅·편집·QA·게시 단계를 각각 평가하고 연결한다.
• 사람의 객관적 라벨을 골든 데이터셋으로 삼되, 운영 중 표본과 사용자 피드백을 계속 수집해 에이전트 설정을 자동 조정한다.
• 여러 겹의 품질·정책 게이트와 관측 가능성, 빠른 롤백을 결합해 창의적인 생성 능력을 안전한 범위 안에 둔다.

Uber Eats처럼 월 단위로 수백만 개 메뉴 항목이 추가되고 1만 개 도시에서 운영되는 마켓플레이스에서는 이미지 한 장의 작은 오류도 대규모 신뢰·전환율 문제로 이어질 수 있다. 따라서 핵심은 가장 창의적인 모델을 선택하는 데 있지 않고, 어떤 이미지를 개선할지부터 어떤 결과를 게시할지까지 모든 결정을 측정 가능하고 되돌릴 수 있는 폐쇄 루프로 만드는 데 있다.

1. 음식 배달 마켓플레이스가 가진 시각 정보 문제

Uber Eats의 사업 규모와 메뉴 이미지 품질 문제가 에이전트 도입의 배경을 만든다.

1.1. 대규모 마켓플레이스에서 이미지가 맡는 역할

1. Uber Eats의 운영 규모

   1. 거래 규모: 배달 마켓플레이스는 현재 연간 약 900억 달러의 런레이트(run rate)를 기록한다.
   2. 상품 증가 속도: 마켓플레이스에는 매년이 아니라 매월 수백만 개의 항목이 추가된다.
   3. 성장과 지역 범위: 전년 대비 약 20% 성장하며 전 세계 1만 개 도시에서 운영된다.
   4. 사업상 비중: 많은 사람이 알지 못하지만 Uber Eats의 배달 마켓플레이스는 현재 Uber의 모빌리티 사업만큼 큰 규모다.

2. 사진이 구매 여정에 미치는 영향

   1. 첫 신호: 사진은 고객이 상점을 접할 때 받는 첫 신호인 경우가 많고, 상점에 대한 초기 인상을 만든다.
   2. 전환의 분기점: 좋은 사진은 고객이 피드를 그냥 스크롤할지, 메뉴 항목을 클릭해 장바구니에 담을지를 가를 수 있다.
   3. 모달리티 확대: 사진뿐 아니라 동영상 같은 시각 모달리티도 Uber Eats에서 점점 더 중요해지고 있다.

1.2. 소규모 상점의 현실과 품질 개선의 긴장

1. 상점이 직접 해결하기 어려운 이유

   1. 품질 격차: 소규모 독립 상점의 사진 품질은 고객이 실제로 받을 음식의 모습을 충분히 반영하지 못하는 경우가 많다.
   2. 시간 부족: 상점 운영자는 메뉴 사진을 관리할 시간과 인력이 부족하다.
   3. 전문성 부족: 음식 사진 촬영과 편집 방법을 잘 알지 못한다.
   4. 비용 부담: 전문 사진 촬영은 비용이 높고, 메뉴가 바뀔 때마다 다시 촬영해야 하므로 부담이 커진다.

2. 품질 개선이 단순한 이미지 생성이 아닌 이유

   1. 진정성 요구: 고객은 실제로 받게 될 음식과 비슷한, 자연스럽고 진짜 같은 사진을 원한다.
   2. AI 생성물 불신: 의미 있는 비율의 고객은 AI가 생성한 이미지를 신뢰하지 않으며, 앱 안에서 모든 음식 사진이 ‘AI 슬롭(AI slop)’처럼 보이는 상황을 원하지 않는다.
   3. 원본 충실성: 편집 결과는 원본 이미지에 충실해야 하며 음식의 실제 구성을 바꾸면 안 된다.
   4. 상점 브랜드 보존: 사진 개선 과정에서 각 상점의 브랜드와 표현 방식을 유지해야 한다.
   5. 시장 다양성 유지: 모든 사진에 동일한 프롬프트를 적용하면 마켓플레이스의 다양한 음식·상점·스타일이 사라지고 획일화된다.

3. 입력 이미지의 긴 꼬리(long tail)

   1. 기술적 결함의 폭: 전 세계 마켓플레이스에는 선명도가 낮거나, 구도가 나쁘거나, 음식이 중앙에 오지 않았거나, 색상이 부정확한 사진이 함께 존재한다.
   2. 사용자 생성 콘텐츠: 전문 촬영물부터 품질 편차가 큰 사용자 생성 콘텐츠까지 넓은 스펙트럼이 입력으로 들어온다.
   3. 글로벌 편차: 지역과 상점 유형이 많아 데이터 분포가 한쪽 품질 수준으로 수렴하지 않는다.

1.3. 에이전트 설계의 여섯 가지 운영 목표

1. 신뢰와 품질의 균형

   1. 진정성과 신뢰 보존: 고객과 상점이 사진을 실제 음식의 신뢰할 만한 표현으로 받아들이게 한다.
   2. 선택적 품질 개선: 모든 사진을 억지로 편집하지 않고 개선이 필요한 사진만 개선한다.
   3. 전역 최적화: 특정 상점이나 세그먼트의 이익을 위해 다른 상점의 노출·성과를 잠식하지 않고 전체 마켓플레이스를 최적화한다.

2. 운영 가능한 AI

   1. 안전한 출시: 잘못된 생성물이 고객에게 노출되지 않도록 안전하게 배포한다.
   2. 지속적 학습: 오프라인에서 한 번 학습한 뒤 고정하지 않고 실제 운영 데이터에 맞춰 계속 학습한다.
   3. 비용 효율과 규모: 전 세계 마켓플레이스의 처리량을 감당하면서도 추론·편집 비용을 통제한다.

2. 창의성과 통제 사이에서 설계한 프로덕션 오케스트레이션

규칙 기반 시스템은 통제력이 크지만 취약하고 확장성이 낮으며, 자율적인 에이전트는 창의적이지만 가드레일 없이는 위험하다. Uber의 원칙은 두 극단 사이의 균형을 만들고 각 단계마다 평가를 넣는 것이다.

2.1. 결정론적 규칙과 자율 에이전트의 균형

1. 규칙 기반 접근의 한계

   1. 장점: 결정론적인 시스템은 행동을 통제하기 쉽다.
   2. 한계: 규칙이 깨지기 쉬운(brittle) 방식으로 작동하고, 전 세계의 복잡한 입력 분포를 모두 다루기 어렵다.

2. 자율성의 장점과 위험

   1. 장점: 에이전트는 더 높은 창의성과 행동 재량을 활용해 다양한 사진을 처리할 수 있다.
   2. 위험: 안전 요구사항과 품질 가드레일을 벗어난 창작은 음식의 실제 모습이나 상점의 정체성을 훼손한다.
   3. 설계 원칙: 창의성은 허용하되 안전·정책·품질 제약 안에 두고, 그 균형 자체를 에이전트와 평가 설계의 출발점으로 삼는다.

2.2. 대표적인 프로덕션 흐름

1. 이미지 이해와 라우팅 에이전트

   1. 멀티모달 이해: LLM이 이미지, 텍스트 설명, 메타데이터를 함께 보고 사진에서 무엇을 인식하는지 설명한다.
   2. 구조화된 출력: 자연어 설명을 구조화된 출력으로 변환하고, 이 결과를 라우터로 보낸다.
   3. 개선 여부 결정: 라우터는 사진을 개선할지 건너뛸지 결정한다. 건너뛰면 원본을 유지하고, 개선 대상으로 판단하면 이미지 편집 에이전트로 보낸다.

2. 이미지 편집과 QA 피드백 루프

   1. 편집 실행: 이미지 편집 에이전트가 라우터의 지시에 따라 사진을 개선한다.
   2. 자기 수정: QA 에이전트가 결과를 평가하고 피드백을 주면 편집 에이전트가 그 피드백을 반영해 다시 편집한다.
   3. 실패 처리: 정해진 여러 번의 루프를 돌고도 통과하지 못하면 게시하지 않는다.

3. 최종 게시 단계

   1. 후처리와 게시 준비 QA: 마지막 후처리 및 QA 단계를 통과해야 메뉴에 게시한다.
   2. 전 과정 기록: 라우팅, 편집, QA, 게시 여부를 포함한 모든 상태와 결과를 로그로 남긴다.

2.3. 플랫 로그 구조가 만드는 진단 가능성

1. 한 오케스트레이션의 모든 에이전트 기록

   1. 구조: 엔드투엔드 오케스트레이션의 에이전트들이 JSON 안에서 계층 깊숙이 숨지 않고 사실상 하나의 플랫 구조로 기록된다.
   2. 사례 분석: 엔지니어링·제품 조직의 기술 담당자와 비기술 담당자 모두 특정 사례를 열어 실패 원인을 진단할 수 있다.
   3. 집계 분석: 개별 사례를 보는 동시에 결과를 집계해 전체 시스템의 패턴과 품질 변화를 확인할 수 있다.

2. 로그를 먼저 만드는 이유

   1. 최적화의 전제: 무엇이 일어났는지 기록하지 않으면 무엇을 최적화해야 하는지 알 수 없다.
   2. 자기 학습의 전제: 로그가 없으면 자체 학습 루프를 만들 데이터도, 회귀를 추적할 기준도 없다.
   3. 운영 문화: Uber는 내부 앱을 실제 사용해 보는 도그푸딩(dogfooding) 문화를 갖고 있으며, 로그와 피드백을 통해 운영 중의 문제까지 다시 에이전트로 전달한다.

3. 라우터 평가: 분류 지표에서 사람과의 정렬까지

라우터의 핵심 질문은 ‘개선이 필요한 사진을 놓치지 않으면서 불필요한 편집도 얼마나 줄이는가’이다.

3.1. 구조화된 판정과 분류 평가

1. 라우터가 이용하는 입력

   1. 멀티모달 입력: 이미지 자체, 텍스트 설명, 관련 메타데이터를 함께 본다.
   2. 루브릭 판정: 구조화된 출력에 정해진 통과·실패 기준을 적용해 이미지의 상태를 평가한다.
   3. 최종 분기: 평가 결과에 따라 개선 또는 원본 유지(skip)를 선택한다.

2. 전통적인 분류기처럼 평가하기

   1. 혼동 행렬: 참양성(true positive), 거짓음성(false negative) 등 사례를 혼동 행렬로 분류한다.
   2. 정밀도와 재현율: 라우팅 성능을 precision과 recall로 측정한다.
   3. 실무적 우선순위: Uber의 라우팅 가드레일은 recall이다. 개선이 필요한 나쁜 이미지가 시스템을 빠져나가도록 놓치지 않는 것이 우선이다.

3. 다중 경로 라우팅으로의 확장

   1. 모델 선택: 모든 입력을 같은 모델로 처리하지 않고, 낮은 지연시간의 작은 모델로 보낼 수 있다.
   2. 트레이드오프: 작은 모델을 사용하면 비용과 사용자 대기시간을 줄일 수 있지만 품질이 낮아질 수 있다.
   3. n×n 행렬: 라우팅 지점이 두 개의 선택지보다 많아지면 혼동 행렬도 2×2가 아니라 n×n이 되며, 각 칸은 특정 분기로 올바르게 라우팅했는지를 나타낸다.

3.2. 최초 모델을 만드는 인간 골든 데이터셋

1. 사람의 라벨을 기준점으로 삼기

   1. 골든 소스: 사람의 라벨을 정답에 가장 가까운 황금 기준(golden source)으로 삼고 모델을 그 판단에 정렬한다.
   2. 대표성 있는 표본: 지역(geography), 음식·접시 유형(dish type), 이미지 품질 유형 등 여러 분포를 대표하는 데이터셋을 수집한다.
   3. 객관적 가이드라인: 라벨러가 개인적 취향이나 주관적 편향에 따라 판단하지 않도록 매우 객관적인 지침을 제공한다.

2. 오프라인 튜닝과 출시 조건

   1. 비교: 에이전트의 출력을 골든 데이터셋의 사람 라벨과 비교한다.
   2. 가드레일 확인: 사전에 정한 가드레일 지표를 충족하는지 평가한다.
   3. 반복: 통과하면 출시하고, 통과하지 못하면 에이전트를 튜닝한 뒤 다시 평가한다.

3.3. 라우팅 실패가 만드는 비용과 충실성 위험

1. 고품질 이미지를 불필요하게 개선한 거짓 양성

   1. 사례: 왼쪽의 치즈버거 사진은 이미 매우 좋은 품질이지만 라우팅 에이전트가 기술적 품질이 낮다고 판단해 개선 대상으로 보낸다.
   2. 비용 손실: 품질 향상 없이 추론·편집 컴퓨팅 비용만 지불하게 된다.
   3. 품질 저하: 이미 좋은 이미지를 다시 생성하면 오히려 품질이 떨어질 수 있다.

2. 개선이 필요한 이미지를 통과시킨 재현율 누락

   1. 사례: 사진에는 닭날개가 6개 있지만 메뉴 설명은 ‘8조각 치킨윙’이라고 적혀 있다.
   2. 라우터의 오류: 라우터가 해당 사진을 승인하면 개선 에이전트가 사진 속 6개를 설명에 맞추려고 2개를 환각해 추가할 수 있다.
   3. 핵심 지표와 연결: 이런 위험은 앞서 정의한 faithfulness(원본 충실성) 지표를 직접 훼손한다.

3. 정적 모델의 한계

   1. 운영 중 지속되는 실패: 오프라인 모델을 훈련해도 실제 환경에서는 긴 꼬리의 예외 사례가 계속 발생한다.
   2. 필요한 변화: 프롬프트, 에이전트, 시스템 자체가 시간에 따라 진화해야 한다.
   3. 전 구성요소 적용: 라우터뿐 아니라 시스템의 모든 구성요소가 운영 중 분포 변화(drift)에 맞춰 스스로 조정될 수 있어야 한다.

4. 드리프트를 흡수하는 지속적 학습과 자동 튜닝

오프라인 골든 데이터셋은 최초 출시의 기준이고, 운영 데이터 기반의 폐쇄 루프는 시간이 지나도 시스템을 날카롭게 유지하는 장치다.

4.1. 운영 데이터에서 문제를 찾는 진단 루프

1. 정기적인 생산 표본 추출

   1. 샘플링: 운영 데이터를 일정한 주기로 표본 추출한다.
   2. 동일 기준 라벨링: 최초 데이터셋과 같은 객관적 가이드라인으로 사람 라벨러에게 표본을 보낸다.
   3. 불일치 탐지: 운영 에이전트의 출력과 사람 라벨의 결과를 비교해 불일치를 찾는다.

2. 진단 에이전트의 역할

   1. 우산형 진단: 진단 에이전트는 사람의 피드백을 입력으로 받아 문제가 전체 시스템의 어느 부분에서 발생하는지 국소화한다.
   2. 자동 파이프라인 호출: 원인을 찾으면 해당 에이전트의 자동 튜닝 파이프라인을 트리거한다.
   3. 재검증: 튜닝 결과를 최초의 골든 데이터셋으로 다시 벤치마크하고, 설계된 지표를 통과한 경우에만 새 모델을 출시한다.

3. 설정 주도(config-driven) 운영

   1. 사람 개입 제거: 진단 에이전트가 설정을 작성하고 자동 튜닝을 트리거하므로 루프 자체에는 사람이 매번 개입할 필요가 없다.
   2. 정적 모델과 살아 있는 시스템의 구분: 오프라인 모델은 정적 기준을 제공하지만, 운영 중의 자동 루프가 시스템을 계속 살아 있게 만든다.
   3. 안전장치: 가드레일에 대한 관측 가능성과 문제가 생겼을 때의 빠른 롤백을 함께 둔다.

4.2. 프롬프트 옵티마이저의 반성·합성 폐쇄 루프

1. 튜닝 입력 만들기

   1. 대상 에이전트 지정: 라우터를 포함해 수정할 대상 에이전트를 정한다.
   2. 보지 못한 평가 샘플: 사람이 라벨링한 unseen 평가 샘플을 준비한다.
   3. 일치·불일치 분리: 에이전트 출력과 사람 라벨 사이의 match와 mismatch를 구분한다.

2. 두 개의 하위 에이전트

   1. Reflect 에이전트: 불일치 사례를 검토하고 잡음(noise)을 제거하며, 데이터셋에 반복적으로 나타나는 시스템적 문제를 찾아 피드백으로 정리한다.
   2. Synthesize 에이전트: Reflect의 피드백과 현재 에이전트 설정을 받아 새 설정을 합성하고 에이전트를 업데이트한다.
   3. 재벤치마크: 새 설정을 다시 벤치마크해 통과 여부를 확인한다.

3. 새 버전 등록과 프로덕션 반영

   1. 등록 조건: 벤치마크를 통과한 경우에만 새 에이전트를 새 에이전트 설정 저장소에 등록한다.
   2. 다음 실행 반영: 다음 운영 실행부터 새 버전의 설정을 자동으로 선택한다.
   3. 폐쇄 루프의 의미: 사람이 매번 프롬프트를 고치는 대신, 데이터 불일치 → 원인 반성 → 설정 합성 → 검증 → 등록이 이어진다.

4.3. 이미지 개선 에이전트의 재시도와 Pass@K

1. 이미지별 개선 프롬프트 생성

   1. 맞춤형 프롬프트: 이미지 설명과 라우터가 전달한 지시를 입력으로 받아 해당 사진에서 무엇을 개선해야 하는지에 맞는 프롬프트를 만든다.
   2. 개선 실행: 생성된 프롬프트에 따라 이미지를 편집한다.
   3. 다차원 QA: QA 에이전트가 플레이트 구성(plating), 원본 충실성(faithfulness), 색상 등 여러 차원을 검사한다.

2. QA 결과에 따른 반복

   1. 통과: QA를 통과하면 게시 단계로 진행한다.
   2. 실패: QA 피드백을 최초 입력과 함께 생성 프롬프트에 다시 넣고 다음 개선을 실행한다.
   3. 두 가지 결과: 최대 K번의 반복 안에 통과하면 게시하고, 끝까지 통과하지 못하면 커버리지(개선 처리 범위)를 포기하고 개선하지 않는다.

3. 고구마튀김 사례

   1. 1차 실패: 고구마튀김 사진은 첫 번째 개선에서 QA가 portion size(분량)가 부정확하고 plating이 비현실적이라고 판단해 거부했다.
   2. 2차 통과: 피드백을 반영한 두 번째 개선에서 QA를 통과했다.
   3. Pass@K 지표: Pass@K는 K번째 반복까지의 통과율을 뜻하며, 반복 횟수가 늘수록 피드백을 더 많이 반영하므로 통과율이 높아지는 것이 이상적이다.

5. 생성 결과 평가와 실패 모드

생성 결과의 ‘더 나음’을 픽셀 차이가 아니라 제품·정책·법무가 합의한 기준으로 정의해야 한다.

5.1. 페어와이즈 비교와 제품 기준의 내장

1. 입력과 출력의 직접 비교

   1. 평가 질문: 입력 이미지와 출력 이미지를 나란히 비교해 출력이 실제로 더 나은지 판단한다.
   2. 개선률 측정: 결과를 pass rate로 집계한다.
   3. 판정값: 각 비교는 yes, no, unsure 중 하나로 귀결된다.

2. ‘더 나은 이미지’의 정의

   1. 조직 간 정렬: 제품 디자인, 정책, 법무와 기준을 맞춘다.
   2. 플랫폼 기준 내장: Uber 플랫폼에서 더 나은 이미지라고 부를 조건을 평가 루브릭 안에 반영한다.
   3. 주요 질문: 결과가 원본에 충실한가, 음식과 구성 요소가 완전한가, 자연스럽고 현실적인가를 묻는다.

5.2. 충실성·완전성 실패

1. 새우를 추가한 결과

   1. 입력과 출력: 출력 이미지에 입력에 없던 새우가 추가됐다.
   2. 판정: 창의적인 편집처럼 보일 수 있지만 원본에 없는 요소를 만들었으므로 faithfulness 실패다.
   3. 운영 의미: 음식의 실제 양과 구성을 바꾸면 고객 신뢰와 상점의 상품 설명이 동시에 훼손된다.

2. 초밥 소스를 제거한 결과

   1. 입력 정보: 초밥 아래쪽에 소스가 있었다.
   2. 출력 오류: 출력에서 소스가 사라졌다.
   3. 판정: 원본 요소를 빠뜨렸으므로 completeness(완전성) 실패다.

5.3. 보상 해킹과 무의미한 변화

1. 창의성에서 과잉 보수성으로의 진동

   1. 1차 시도: 에이전트가 첫 번째 반복에서 더 창의적인 편집을 시도했다.
   2. QA 거부: QA가 결과를 충분히 좋지 않다고 판정했다.
   3. 2차 과잉 반응: 에이전트가 반대 방향으로 과도하게 보수화되어 일반적인 세라믹 접시가 아니라 세라믹 그릇으로 되돌아갔다.

2. Reward hacking의 본질

   1. 겉보기 변화: 입력과 출력의 원시 픽셀은 꽤 다르다.
   2. 실질 변화 부족: 그러나 사용자에게 의미 있거나 영향력 있는 개선은 거의 없는 무의미한 변화(nugatory change)다.
   3. 평가상의 교훈: 픽셀 차이나 단순한 변화량을 보상하면 에이전트가 실제 품질 향상 대신 평가 신호만 공략할 수 있다.

5.4. 객체 일관성·물리적 개연성·멀티모달 불확실성

1. 소스를 가리는 접시

   1. 오류: 출력에서 접시가 소스를 가려 버린다.
   2. 평가 항목: 객체가 서로 어울리는지(object coherence), 장면의 물리 법칙이 말이 되는지(physics plausibility)를 평가한다.
   3. 기반 모델과의 협업: 프런티어 이미지 편집 모델의 문제가 적용 제품으로 새어 나오면 해당 팀에 문제를 알리고 함께 개선한다.

2. 8개 완탕을 확인할 수 없는 사례

   1. 시각적 한계: 입력과 출력만으로는 완탕 8개가 실제로 모두 있는지 확인할 수 없다.
   2. 불확실성 처리: 평가자가 확신할 수 없으므로 unsure를 선택한다.
   3. 프로덕션 판정: 생산 환경에서는 확신 없는 결과를 거부하고 게시하지 않는다.
   4. 멀티모달의 가치: 이미지뿐 아니라 메뉴 설명 같은 텍스트를 함께 읽어야 ‘8개’라는 요구사항과 시각적 결과를 대조할 수 있다.

6. 게시 직전 QA와 스위스 치즈 모델

6.1. 마지막 게시 준비 게이트

1. 후처리 단계

   1. 정책 점검: 플랫폼 정책 위반 여부를 확인한다.
   2. 추가 품질 점검: 앞선 단계에서 다룬 항목을 포함해 더 폭넓은 품질을 다시 확인한다.
   3. 최종 결정: 모든 점검을 통과한 결과만 프로덕션에 게시한다.

2. QA를 여러 번 넣는 이유

   1. 중복의 의도: 이미 앞에서 QA를 했더라도 마지막 게이트를 별도로 둔다.
   2. 홀리스틱 검사: 최종 QA는 더 전체적인 관점에서 여러 문제를 함께 포착한다.
   3. 상류 누락 보완: 앞 단계에서 잡았어야 할 오류가 남아 있는지도 다시 확인한다.

6.2. 스위스 치즈 모델로 실패 확률 줄이기

1. 겹겹의 방어선
   1. 각 단계의 구멍: 각각의 QA는 모든 오류를 완벽히 잡지는 못하지만 서로 다른 실패 모드를 포착한다.
   2. 중첩 방어: 여러 게이트의 검사 구멍이 한 줄로 겹치지 않게 하면 실패가 프로덕션까지 통과할 확률을 줄일 수 있다.
   3. 중복 허용: 일부 검사가 중복되는 것은 비용이 아니라 안전을 위한 합리적인 설계다.

7. 모델 루프를 넘어선 진단·제품 피드백 루프

운영 데이터, 내부 사용, 상점·디자인·제품 조직의 목소리를 모두 하나의 상위 진단 추상화로 모아야 한다.

7.1. 진단기(diagnoser)라는 상위 추상화

1. 서로 다른 피드백의 통합

   1. 모델 루프: 인간 라벨과의 불일치에서 드리프트를 찾는다.
   2. 내부 도그푸딩 루프: 앱을 실제로 사용하며 출시 전 문제를 찾고 출시 후의 문제도 되돌려 받는다.
   3. 제품 피드백 루프: 좋아요·싫어요 버튼과 자유 형식 의견을 수집한다.

2. 진단기의 라우팅

   1. 입력: 여러 루프에서 들어오는 긍정·부정 사례와 자유 형식 피드백을 받는다.
   2. 원인 반성: 전체 시스템 중 어느 에이전트의 설정을 고쳐야 하는지 판단한다.
   3. 선택적 수정: 한 에이전트만 조정할 수도 있고, 여러 에이전트를 함께 조정할 수도 있다.

7.2. 조직 전체의 피드백을 설정 개선으로 연결하기

1. 피드백 주체

   1. 상점: 상점으로부터 직접 의견을 받는다.
   2. 디자인 조직: 디자인팀의 품질 기준과 불만을 진단 단계에 반영한다.
   3. 제품 조직: Uber 내부의 다른 제품팀 의견도 튜닝 입력이 된다.

2. 회귀 검증

   1. 플래그 사례 재생(replay): 좋았던 사례와 나빴던 사례를 다시 실행한다.
   2. 지표 비교: 새 설정을 적용하기 전후의 지표를 벤치마크한다.
   3. 배포 조건: 최신 설정이 기준을 통과한 뒤에만 다음 버전으로 밀어 넣는다.

8. 프로덕션에서의 비즈니스 지표와 세그먼트 튜닝

8.1. 마켓플레이스 건강성 측정

1. 전환(conversion)을 대표 지표로 보기

   1. 장바구니 행동: 고객이 상품을 장바구니에 추가하는 비율의 개선을 본다.
   2. 주문 전환: 실제 주문으로 전환되는 비율을 본다.
   3. 주문 완료: 고객이 주문을 끝까지 완료하는지 확인한다.
   4. 종합 관점: 이미지 품질 점수만 높이는 것이 아니라 마켓플레이스의 품질과 건강성에 실제로 기여하는지 확인한다.

2. 대규모 데이터의 세분화 활용

   1. 지역별 분석: 어느 지리적 세그먼트에서 개선이 나타나는지 나눈다.
   2. 기기별 분석: 디바이스 유형별로 결과가 달라지는지 확인한다.
   3. 음식 유형별 분석: 음식·접시 유형별로 품질과 전환의 변화를 살핀다.
   4. 선택적 튜닝: 세그먼트별 데이터를 분해해 특정 구간에 맞춘 튜닝을 수행한다.

8.2. 전체 최적화와 세그먼트 최적화의 결합

1. 전역 목표

   1. 평균만 보지 않기: 전체 마켓플레이스의 평균 개선만으로 특정 상점·지역의 손실을 숨기지 않는다.
   2. 균형 유지: 전역 성능과 세그먼트별 성능을 함께 추적한다.

2. 운영 의사결정

   1. 데이터 분해: 대규모 프로덕션 데이터의 장점을 살려 지역, 기기, 음식 유형으로 결과를 쪼갠다.
   2. 문제 구간 집중: 개선이 약하거나 악화된 세그먼트에 에이전트 설정과 라우팅을 집중 조정한다.
   3. 안전한 확장: 단일 모델을 전역에 무조건 적용하는 대신 검증된 설정을 점진적으로 확장한다.

주요 발언 모음

“좋은 사진은 고객이 피드를 스크롤할지, 항목을 클릭해 장바구니에 담을지를 가를 수 있다.”

“모든 사진에 같은 프롬프트를 쓰면 마켓플레이스의 다양성이 무너진다.”

“로그부터 시작해야 한다. 로그가 없으면 최적화할 대상 자체가 없다.”

“오프라인 모델은 정적이지만, 운영 루프가 시스템을 살아 있게 만든다.”

“확신할 수 없는 결과는 프로덕션에서 거부한다.”

“QA를 여러 겹으로 두는 스위스 치즈 모델은 실패가 프로덕션에 들어갈 가능성을 줄인다.”

핵심 데이터 & 수치

• 연간 약 900억 달러 런레이트: Uber Eats 배달 마켓플레이스의 현재 규모다.
• 월 수백만 개 항목 추가: 메뉴·마켓플레이스가 매월 추가되는 상품을 감당해야 한다.
• 전년 대비 약 20% 성장: 배달 마켓플레이스의 성장 속도다.
• 전 세계 1만 개 도시: 지역별 데이터 분포와 품질 편차가 생기는 운영 범위다.
• 6개 대 8개 닭날개: 사진 속 수량과 메뉴 설명이 다를 때 라우터 승인 및 생성 환각이 낳는 충실성 위험을 보여 준다.
• 고구마튀김 2회 반복: 1차 QA 거부 후 2차 개선에서 통과한 Pass@K 사례다.
• K회 반복: 이미지 편집 루프가 K번 안에 QA를 통과하면 게시하고, 끝까지 실패하면 개선하지 않는다.
• 2×2에서 n×n으로: 라우팅 분기가 늘어날 때 혼동 행렬도 모든 경로의 올바른 선택을 표현하도록 확장된다.
• yes/no/unsure: 입력과 출력 이미지의 페어와이즈 비교 결과가 취하는 세 가지 판정값이다.

결론 및 시사점

1. 멀티모달 에이전트의 핵심은 생성 능력보다 통제 가능한 평가 구조다. 이미지와 텍스트·메타데이터를 함께 이해하되, 라우터부터 최종 게시까지 각 단계의 성공 조건을 명시해야 한다.
2. 선택적 개선이 무조건적인 개선보다 안전하다. 이미 좋은 치즈버거 사진에 편집을 적용하면 비용만 늘고 품질이 떨어질 수 있으므로, 원본 유지도 중요한 의사결정이다.
3. 재현율 가드레일은 상거래 신뢰와 직결된다. 6개 닭날개를 8개로 바꾸는 환각을 막으려면 개선 대상을 놓치지 않되, 원본 충실성과 수량·구성 검사를 함께 수행해야 한다.
4. 사람의 객관적 라벨은 최초 기준이고, 운영 데이터는 변화 감지 장치다. 대표성 있는 골든 데이터셋과 정기적인 프로덕션 샘플링을 결합해야 한다.
5. 자동 튜닝은 Reflect와 Synthesize를 분리할 때 더 진단 가능해진다. 하나는 불일치에서 잡음과 시스템 문제를 분리하고, 다른 하나는 그 결과로 설정을 합성한다.
6. 어떤 자동 변경도 검증과 롤백 없이 배포하면 안 된다. 새 설정은 골든 데이터셋과 가드레일을 통과하고 관측 가능성이 확보된 뒤에만 등록해야 한다.
7. Pass@K는 생성 에이전트의 반복 개선을 측정하는 실용적 지표다. 고구마튀김 사례처럼 QA 피드백을 반영한 재시도가 실제 통과율을 높이는지 확인할 수 있다.
8. 픽셀 변화량은 품질 향상의 대리 지표가 될 수 없다. 새우 추가, 소스 삭제, 일반적인 그릇으로의 후퇴는 모두 실제 사용자 가치와 다른 방향의 변화를 보여 준다.
9. 불확실성은 실패가 아니라 안전한 거부 신호다. 8개 완탕을 확인할 수 없을 때 unsure로 판정하고 게시하지 않는 것이 신뢰를 지키는 선택이다.
10. 스위스 치즈식 다중 QA는 비용을 감수할 만한 방어선이다. 서로 다른 게이트가 각기 다른 오류를 잡아 하나의 실패가 프로덕션까지 도달할 확률을 줄인다.
11. 진단기는 모델·도그푸딩·사용자 피드백을 하나의 조정 체계로 묶는다. 상점, 디자인팀, 제품팀의 의견도 특정 에이전트 설정 개선으로 연결할 수 있다.
12. 프로덕션 성공은 이미지 점수만으로 정의되지 않는다. 장바구니 추가, 주문 전환, 주문 완료 같은 실제 마켓플레이스 건강성 지표가 최종 검증 대상이다.
13. 세그먼트 분해가 대규모 운영의 장점이다. 지역, 디바이스, 음식 유형별로 결과를 나눠 보면 전역 평균에 가려진 문제를 찾아 특정 구간을 튜닝할 수 있다.
14. 운영 가능한 AI 시스템은 정적 모델이 아니라 살아 있는 폐쇄 루프다. 로그 → 사람·사용자 피드백 → 진단 → 자동 튜닝 → 벤치마크 → 안전한 배포가 반복되어야 한다.

핵심 요약 (20줄)

1. Uber Eats는 연간 약 900억 달러 런레이트와 월 수백만 개 항목 추가 규모의 배달 마켓플레이스를 운영한다.
2. 배달 마켓플레이스는 전 세계 1만 개 도시에서 전년 대비 약 20% 성장하고 있다.
3. 음식 사진은 고객의 첫 인상과 메뉴 클릭·장바구니 추가를 좌우하는 중요한 신호다.
4. 소규모 상점은 시간·전문성·전문 촬영 비용 부족 때문에 실제 음식에 맞는 고품질 사진을 만들기 어렵다.
5. AI 사진 개선은 진정성·상점 브랜드·시장 다양성을 지키면서 선택적으로 품질을 높여야 한다.
6. 동일한 프롬프트를 모든 사진에 적용하면 음식과 상점의 다양성이 사라지고 이미지가 AI 슬롭처럼 보일 수 있다.
7. Uber의 대표적인 오케스트레이션은 이미지 이해·라우팅·편집·QA·후처리·게시 단계로 구성된다.
8. 라우터는 이미지·텍스트 설명·메타데이터를 이해해 개선할 사진과 원본을 유지할 사진을 분기한다.
9. 라우터 평가는 혼동 행렬과 precision·recall을 사용하며, 개선 대상 누락을 막기 위해 recall을 핵심 가드레일로 둔다.
10. 이미 좋은 치즈버거를 개선 대상으로 보내면 컴퓨팅 비용만 들고 품질이 낮아질 수 있다.
11. 사진에 닭날개 6개가 있는데 메뉴가 8개라고 적혀 있으면 생성 모델이 부족한 2개를 환각할 수 있다.
12. 대표성 있는 사람 라벨과 객관적 가이드라인으로 만든 골든 데이터셋이 최초 모델의 정렬 기준이 된다.
13. 운영 데이터를 정기적으로 사람에게 재라벨링하면 드리프트와 모델·사람 판단의 불일치를 발견할 수 있다.
14. 진단 에이전트는 불일치를 일으킨 시스템 위치를 찾아 자동 튜닝 파이프라인을 호출한다.
15. Reflect 에이전트는 잡음과 시스템적 문제를 분리하고 Synthesize 에이전트는 새 설정을 합성한다.
16. 새 설정은 골든 데이터셋 벤치마크와 가드레일을 통과하고 롤백 가능성이 확보된 뒤 프로덕션에 등록된다.
17. 고구마튀김 사례는 1차 QA 실패가 2차 편집 피드백으로 통과될 수 있음을 보여 주며 Pass@K로 측정된다.
18. 새우 추가·소스 삭제·과도하게 평범한 세라믹 그릇으로의 후퇴는 faithfulness·completeness·reward hacking 실패 사례다.
19. 확신할 수 없는 완탕 수량은 unsure로 거부하고, 여러 QA 게이트를 스위스 치즈식 방어선으로 겹친다.
20. 최종 성공은 장바구니 추가·주문 전환·주문 완료를 지역·기기·음식 유형별로 분석하는 살아 있는 폐쇄 루프로 판단한다.