생성 미디어의 다음 단계: 옴니·나노 바나나 리더들의 1년 회고

URL: https://www.youtube.com/watch?v=KLDdXOw6jIc 날짜: 2026-08-31 채널: aiDotEngineer 원문 제목: Leads of Nano Banana, Imagen, Veo, Gemini Omni and Omni Thinking recap the year in Generative Media

📌 핵심 질문 / 생성 미디어는 어떤 제품과 표현 체계로 발전하는가

==생성 미디어의 다음 단계는 더 그럴듯한 단일 데모가 아니라, 이미지·영상·오디오·언어·에이전트가 실제 작업 흐름 속에서 함께 작동하는 제품과 세계 모델(World Model)이다.==

• Nano Banana 2 light와 Gemini Omni Flash API는 저렴한 고품질 생성·편집을 개발자의 자동화 파이프라인 안으로 가져온다.
• 언어는 범용적이고 사전학습(Pre-training)의 지능을 끌어내는 강력한 중간 표현이지만, 감각·시간·공간·인과 관계의 모든 정보를 담기에는 손실이 있다.
• 실제 제품의 품질은 인간 선호도만으로 측정하기 어렵고, 정량 평가·수천 건의 인간 평가·라이브 실험·전문 사용자의 작업 흐름 피드백을 함께 필요로 한다.

생성 모델 연구자는 장기적으로 이해(Understanding)와 생성(Generation), 텍스트와 영상, 영상과 오디오가 한 모델 안에서 결합될 가능성을 탐색하면서도, 당분간은 비용·속도·해상도·길이·제품 목적에 맞는 여러 전문 모델을 병행한다. 연구실 바깥의 사용자가 실제로 어떤 광고·교육 자료·번역·편집·디자인 작업을 수행하는지 알아야 모델이 연구 산출물을 넘어 구체적인 도구가 된다.

1. 무대의 구성과 이번 주의 두 가지 출시

생성 미디어의 발전을 이끈 Google DeepMind 팀은 출시 순간뿐 아니라, 출시 사이에 남은 연구·제품 결정의 배경까지 공유한다.

1.1. 패널과 대화의 출발점

1. 생성 미디어 리더들의 역할

   1. 데메트리오(Demetrio): 영상 모델을 연구하며 사무실 게시물과 자전거·사진 활동으로 Google의 샌프란시스코 ‘오피스 인플루언서’라는 농담을 듣는다.
   2. 셰인(Shane): Gemini RL(Reinforcement Learning), Gemini Omni Thinking 등 추론·에이전트 연구를 맡는다. 과거 저녁 식사에서 진행자에게 회사 투자를 권했다가 회사 이름을 잊었다는 농담을 듣고 “그 얘기는 잊자”고 받아친다.
   3. 니콜(Nicole): Nano Banana와 생성 미디어 모델 전반의 제품화와 출시를 맡는다. 최근 API도 공개했다.

2. 행사의 대화 형식

   1. 메인스테이지 키노트 사이의 긴 세션은 대형 출시 발표가 아니라, 중요한 연구·제품 문제를 되짚는 시간으로 마련된다.
   2. 프런티어 연구소 밖의 사람에게 생성 모델 연구자와 투자 기회에 가까이 다가가는 일은 드물다. “부자가 아니어도 이런 회사에 투자하지 않을 수 없다”는 농담이 대화의 분위기를 푼다.

1.2. Nano Banana 2 light와 Gemini Omni Flash API

1. Nano Banana 2 light의 포지션

   1. 가장 빠르고 저렴한 이미지 모델: Nano Banana 계열에서 가장 빠르고 저렴하며, 원래 Nano Banana보다 성능이 좋아졌다.
   2. 약 3초 지연시간: 생성·편집 품질이 대형 프런티어 모델에 가까워지면서 약 3초의 응답 시간이 아이디어 발상과 반복 수정(Ideation & Iteration)을 크게 쉽게 만든다.
   3. 프로덕션 사용 가능성: 단순 초안뿐 아니라 일부 출력은 바로 제작물로 쓸 수 있을 정도로 품질이 올라왔다. 대다수 사용자는 기존 Nano Banana로 하던 생성·편집 작업을 Nano Banana 2 light로 대체할 수 있다.

2. Gemini Omni Flash API의 공개

   1. Google I/O에서 사전 발표했던 Gemini Omni Flash API가 처음으로 개발자에게 제공됐다.
   2. 영상 생성과 영상 편집을 지원하며, 가격은 Veo 3.1 Fast와 같은 수준으로 책정해 좋은 품질과 접근 가능한 비용을 동시에 노린다.
   3. 모든 영상을 자동화하는 제작자는 Omni가 영상에 나무늘보(sloth)와 라면(Ramen) 같은 캐릭터를 추가했던 사례를 자신의 영상에도 적용하고 싶어 API를 기다려 왔다.

3. Furer가 보여준 ‘이게 무엇을 할 수 있는가’

   1. 팀의 Furer는 Omni로 고양이를 넣는 등 엉뚱하고 재미있는 사용 사례를 가장 잘 발굴하는 인물로 소개된다. 고양이는 동물 중 가장 평범한 선택이라는 자기비하 농담도 나온다.
   2. Furer는 지난 2년 동안 행사 초대를 받았지만 익명 신분 때문에 발표하지 않았다. 사무실에서 그를 만난 사람도 그가 Furer인지 알아보지 못했고, 배지에 Furer라는 이름이 적혀 있지 않았다.
   3. 그는 과거 Replicate에 있었고, Replicate 구성원들이 모두 ‘Deep Fates’라는 미스터리한 캐릭터라는 농담을 했다는 배경이 덧붙는다. 본명은 공개하지 않기로 합의한다.

2. Omni의 실용적 사용 사례와 에이전트 방향

Omni의 핵심은 하나의 프롬프트로 영상을 만드는 데 그치지 않고, 다양한 입력을 받아 작업 목적에 맞는 영상과 편집 결과를 돌려주는 것이다.

2.1. 다중 입력에서 영상으로

1. 스토리보드와 오디오를 함께 쓰는 제작

   1. 여러 이미지를 스토리보드로 넣고, 캐릭터가 말할 목소리의 오디오 트랙을 참조로 제공하면 영상으로 합성할 수 있다.
   2. 이 조합은 단편 영화 제작, YouTube Shorts 제작, 크리에이터의 반복적인 콘텐츠 제작을 돕는다. YouTube에도 크리에이터가 더 쉽게 콘텐츠를 만들도록 하는 Shorts 기능이 출시됐다.

2. 자연어 영상 편집

   1. 자연어로 “무언가를 추가하라”거나 “무언가를 제거하라”고 지시하면서 영상을 편집할 수 있다. 나무늘보를 넣은 데모는 재미있는 사례지만, 핵심은 편집 도구의 진입장벽을 낮추는 데 있다.
   2. 해변 휴가 영상에서 시끄러운 소음을 제거하는 작업도 대표적인 소비자 사용 사례다. 과거에는 어떤 도구를 찾아야 할지 모르거나 도구 자체가 없어 시도하지 않았을 작업을 자연어 한 문장으로 요청할 수 있다.

3. 마케팅·교육·번역

   1. 마케팅 광고 캠페인 제작에 이미 사용되고 있으며, API 공개 뒤에는 퍼스트파티 제품에서 보이지 않던 더 많은 실험이 나올 것으로 기대한다.
   2. 교육 자료를 학습자의 지식 수준과 선호하는 스타일에 맞춰 개인화하는 일은 생성 미디어가 교육의 미래에 기여할 수 있는 방향이다.
   3. 부모가 방문했을 때 Amazon에서 산 기기의 영문 설명서와 도표를 촬영해 “루마니아어로 번역하되 나머지는 그대로 유지하라”고 요청했다. 결과물은 원본과 거의 똑같은 모양으로 유지되면서 번역됐고, Gemini의 텍스트 렌더링과 번역 능력이 실제 문제를 해결했다.
   4. 같은 능력은 영상의 자막 번역, 재더빙(Redubbing), 현지화(Internalization), 화면 속 텍스트의 번역과 유지에도 적용될 수 있다.

2.2. 단일 모델보다 영상 에이전트인가

1. 한 번에 모든 것을 처리하려는 방식의 한계

   1. xAI 영상 팀 연구자 Ethan은 다음 흐름이 단일 모델이 아니라 영상 에이전트(Video Agents)가 될 것이라고 전망했다. 복잡한 결과를 한 번에 생성하기보다 여러 단계의 도구 호출과 검증으로 나누는 방식이다.
   2. 영상 에이전트 방향은 RL과 관련된 연구와 맞닿아 있으며, 한 번에 모든 작업을 해결하려는 접근을 여러 단계로 나누는 흐름을 만든다.

2. 상징적 모델과 영상 파운데이션 모델의 결합

   1. 셰인은 상징적 기반 모델(Symbolic Foundational Model)과 영상 기반 모델(Video Foundational Model)이 함께 작동하는 순간을 가장 기대한다.
   2. 생성 이미지·영상의 초기 발전은 Stable Diffusion과 DALL·E 2 시절 언어 모델이 상세한 캡션을 제공할 만큼 좋아지면서 가속됐다. 언어는 범용 표현이면서 세계의 인과 정보를 조건으로 전달할 수 있다.
   3. 머신러닝의 어려움 중 하나는 허위 상관(Spurious Correlation)이다. 예측에 도움이 되는 특징이 실제 원인인지 알기 어렵다. 해결책은 인과 그래프의 여러 개입을 포함하도록 데이터를 매우 다양하게 만들거나, 언어로 인과 정보를 조건화하는 것이다.

3. 영상 모델이 제공하는 시공간 지능

   1. 약 8개월 전 공개한 평가 논문 **「Video Models as Zero-Shot Learners and Reasoners」**는 영상 모델을 공간·시간 정보의 파운데이션 모델로 보는 관점을 제시했다.
   2. Nano Banana 팀은 뒤이어 Vision Banana 논문을 발표해 Nano Banana를 활용한 시각 추론 가능성을 탐색했다.
   3. 고전 컴퓨터 비전 과제는 영상 모델에 제로샷(Zero-shot)으로 맡길 수 있고, 시각 퀴즈도 아직 개선 여지는 크지만 상당 부분 풀 수 있다.
   4. 로봇공학에서는 영상 모델이 물리 세계에 대한 직관과 월드 모델(World Model) 역할을 보인다. 시각적 추론과 텍스트 추론을 함께 묶는 것이 핵심이다.

4. 현재의 에이전트 조합과 장기적 통합

   1. 통합 모델(Unified Model)과 에이전트 오케스트레이션(Agent Orchestration) 중 어느 쪽이 최종 형태인지는 연구 문제다. 장기적으로는 모든 기능이 하나의 모델로 들어갈 가능성이 있지만, 당장은 Gemini의 영상·이미지 이해 능력과 Omni를 에이전트 방식으로 결합해 많은 일을 할 수 있다.
   2. 제품이 복잡한 작업을 여러 단계로 나누면 영상 생성, 이해, 편집, 계획, 평가가 각각 잘하는 모델을 활용할 수 있다. 반대로 단일 모델은 표현의 일관성과 모달리티 간 상호작용을 학습하기 쉽다는 장점이 있다.

3. 여러 전문 모델에서 하나의 멀티모달 모델로

Gemini Omni라는 이름은 장기적으로 입력과 출력의 모든 모달리티를 다루겠다는 방향을 암시하지만, 연구·공학·제품의 트레이드오프 때문에 전문 모델은 당분간 남는다.

3.1. 모델 통합의 시간표와 모달리티 전이

1. 단기와 장기의 차이

   1. Nano Banana 2 light처럼 빠르고 저렴한 모델과 4K 30초 영상을 만드는 모델은 비용·해상도·길이·학습 방식이 다르므로 같은 체크포인트로 즉시 합치기 어렵다.
   2. 6개월 뒤에도 여러 모델이 목적별로 존재할 가능성이 높지만, 5년 뒤에는 하나의 모델로 수렴할 가능성이 있다.

2. Omni가 암시하는 방향

   1. Gemini Omni라는 명칭은 Gemini가 입력과 출력을 완전히 멀티모달하게 다루는 미래를 가리킨다.
   2. 장기적으로 Omni가 이미지 생성·이미지 편집까지 맡을 수 있지만, 현재 특정 요구를 해결하는 전문 모델은 그 필요가 사라질 때까지 계속 유용하다.

3. 모달리티 사이의 전이 학습

   1. 이미지와 영상 사이에는 가까운 구조가 있어 지식 전이가 자연스럽지만, 코딩과 영상 생성 사이에 얼마나 전이가 있는지는 불분명하다.
   2. 영상과 오디오를 함께 출력하는 일은 실제 세계에서 시청각 사건이 함께 발생하므로 전이 가치가 높다. 반면 3D 표현과 코딩처럼 연결이 덜 명확한 조합도 실험할 가치가 있다.
   3. 모든 조합을 합치는 것이 항상 이득인 것은 아니다. 한 모델에 서로 다른 과제를 넣으면 학습 효율이 떨어질 수도 있어, 실제 사용자가 하고 싶은 일을 기준으로 모달리티 경계를 탐색한다.

3.2. 이해와 생성의 통합

1. 비전 연구자의 이동

   1. 데메트리오는 오래전 객체 검출·인식(Object Detection & Recognition) 중심의 컴퓨터 비전에서 시작해 생성으로 이동했다. 생성은 고양이라는 개념을 고양이 이미지로 매핑하는 모호한 역방향 문제라서 인식보다 어렵다.
   2. 이해 모델이 좋아지면 생성 모델도 좋아진다. 이해 모델이 만드는 합성 라벨이 다시 생성 모델 학습에 쓰이면서 두 방향이 부트스트랩된다.
   3. 니콜도 이미지 이해 연구자가 이미지 생성으로 이동하고, 다시 시간축과 차원이 많은 영상으로 이동하는 경로를 많이 봤다고 말한다.

2. 셰인의 연구 경로와 권고

   1. 셰인은 생성 모델 알고리즘 연구, RL과 로보틱스, 손재주(Dexterity)를 위한 문샷 프로젝트를 거쳤다. 약 6년 전에는 손재주 연구를 이끌었고, 현재는 많은 연구자가 그 방향을 탐구한다.
   2. 약 4년 전에는 상징적 AGI가 물리적 AGI보다 훨씬 빠르게 발전할 것이라 판단해 언어 모델 연구로 옮겼다. 최근에는 데메트리오와 Omni 팀의 협업을 즐기고 있다.
   3. 연구자는 각 커뮤니티의 최상위 연구자가 문제를 바라보는 방식을 직접 접해야 한다. 영상 모델은 초기 언어 모델과 비슷하게 창의적 데모에서 출발해, 지시 따르기·환각 감소·추론·테스트 타임 스케일링으로 발전할 수 있다.

3. 언어 모델 발전과 영상 모델의 유사성

   1. 초기 언어 모델은 이야기를 쓰는 창의적 데모에 가까웠다. GPT-2와 초기 LLM 단계 뒤에 지시 튜닝(Instruction Tuning)이 더해지면서 챗봇으로 쓸 수 있게 됐다.
   2. 챗봇이 된 뒤에도 환각이 많고 지시 수행이 약해 추론에는 부족했지만, 사전학습과 사후학습(Post-training)이 좋아지고 추론용 RL과 테스트 타임 스케일링이 결합하면서 성능이 크게 올라갔다.
   3. 영상 모델도 지시 수행, 일관성, 환각에 해당하는 허위 조정(Coordination) 문제를 개선해 신뢰할 수 있는 월드 모델이 될 수 있다. 시공간 시뮬레이션과 텍스트 시뮬레이션을 섞어 임의의 AGI 문제를 풀게 하는 방향이 제시된다.
   4. 현재 최첨단 멀티미디어 모델 대부분은 영상 이해와 영상 생성을 동시에 충분히 잘하지 못한다. 두 능력은 동전의 양면이므로 한 모델 안에 있어야 한다는 직관과, 실제로 묶었을 때 생기는 비용 사이의 긴장이 남아 있다.

4. 언어라는 중간 표현과 월드 모델

영상·오디오·감각 정보가 언어를 거쳐 모델 안에서 조정될 때, 범용성은 얻지만 감각적 세부와 시간·공간의 인과가 손실될 수 있다.

4.1. 캡션, 코드, 연속 토큰 중 무엇이 필요한가

1. 캡션의 장점과 비효율

   1. X와 Omni 모두 캡션을 활용한다. 이미지의 내용을 설명하는 방식은 이해하기 쉽지만, 영상 전체를 시간축으로 캡션화하면 비효율적이라는 문제가 제기된다.
   2. FFmpeg, Matplotlib, 3Blue1Brown류의 코드 기반 영상 제작처럼 영상이 코드로 표현될 수 있으므로, 코드가 더 적합한 중간 표현인지 질문이 나온다.

2. 코드와 이진 표현 탐색

   1. Gemini 팀은 RL 에이전트와 코딩을 함께 연구하며 코딩 표현을 더 나은 중간 표현으로 탐색하고 있다.
   2. “아예 이진값 0과 1만 출력하면 어떠냐”는 농담은 자연어의 표현 제약을 연속 토큰이나 다른 잠재 표현으로 바꿀 수 있는지 묻는 문제로 이어진다.

3. 자연어 사고 과정이 여전히 유리한 이유

   1. 적응형 계산(Adaptive Compute)은 문제 난도에 따라 더 많은 계산을 할 수 있게 하지만, 현재의 성공적인 레시피는 대규모 사전학습이 먼저 상당한 지능을 학습하게 하는 것이다.
   2. RL 스케일링은 정보를 추출하는 데 계산 비용이 매우 크다. 추론을 자연어에 묶으면 사전학습에서 이미 얻은 지능을 직접 활용할 수 있다.
   3. 자연어는 인간이 소통하는 기본 형식이고, 사람이 상호작용할 제품을 만들 때 가장 자연스러운 기본값이다. 모든 작업에 텍스트가 필요한 것은 아니지만 텍스트는 강력한 백본(Backbone)이다.
   4. RL 극대주의자들은 사고 과정의 언어가 필요 없고 추가 계산만 있으면 된다고 주장한다. 진행자가 David Silver를 그 진영의 예로 추측하자, 그는 최근 회사를 떠나 창업했다는 이야기가 짧게 나온다.

4.2. 월드 모델의 정의와 언어의 손실

1. 월드 모델이라는 넓은 이름

   1. 월드 모델은 행사 전체의 주제지만 명확히 합의된 정의가 없다. 모든 것이 월드 모델이라고 부르는 상황은 개념을 유용하지 않게 만들 수 있다.
   2. Jitendra Malik의 정의와, Jürgen Schmidhuber가 오래전부터 말해 온 model-based RL 관점을 참고할 수 있다. 셰인은 자신에게 월드 모델은 model-based RL의 모델을 뜻한다고 설명한다.
   3. FE(Furer로 들린 인물)가 월드 모델을 분해한 글을 썼다는 언급도 나온다. 서로 다른 정의를 비교하면서 실제 능력과 제품 목적에 맞는 의미를 찾는 태도가 필요하다.

2. 언어만으로는 충분하지 않은 이유

   1. 언어를 모든 변환이 통과하는 좁은 파이프에 놓으면 손실 압축(Lossy Compression)이 된다. 패널은 언어만으로는 부족하고 영상이 이를 보완하는 파운데이션 모델이라고 본다.
   2. 영상 모델은 단순히 예쁜 영상을 만드는 도구가 아니라, 인간과 비슷한 AGI를 만들기 위해 필요한 시공간 기반이라고 강조된다. “강화된 인간”에 머무르지 않고 물리 세계를 이해하려면 영상이 필요하다.

5. 오디오·감각·현실감의 미세한 차이

오디오와 감각 정보는 언어로 완전히 이름 붙이기 어렵고, 인간의 생존과 사회적 판단에 깊이 연결돼 있어 작은 변화에도 민감하다.

5.1. 오디오를 영상과 함께 생성해야 하는 이유

1. Veo 3의 네이티브 시청각 생성

   1. V3는 영상과 오디오를 동시에 생성한 첫 모델로 소개된다. 이전 시스템도 내부적으로 에이전트 해킹을 할 수 있었지만, V3는 하나의 생성 과정에서 두 모달리티를 만든다.
   2. 사람이 말할 때 입술의 움직임과 목소리는 하나의 잠재적 인과 생성 과정에서 나온다. 픽셀 영상을 먼저 만들고 나중에 입술과 오디오를 억지로 붙이는 방식은 동기화가 나쁘고 품질이 낮았다.
   3. 패널은 금괴를 자르는 장면 같은 데모를 떠올리며, 일단 오디오가 있는 모델을 경험하면 “왜 네 모델에는 오디오가 없느냐”고 묻게 된다고 농담한다.

2. 언어로 표현하기 어려운 감각

   1. 음성 합성(TTS)은 상대적으로 단순하지만, 음악·목소리의 톤·피치·방의 울림을 설명할 어휘는 부족하다.
   2. 맛·냄새·촉감·피부색도 비슷하다. 인간은 피부색의 작은 변화를 생존·위협·친교 신호로 민감하게 감지하도록 진화했으며, 언어는 그 차이를 세밀하게 표현하지 못한다.
   3. 한 전문 와인 테이스터는 맛을 설명할 때 데이트 상대를 묘사하는 언어를 쓴다고 말했다. 충분한 맛의 어휘가 없기 때문이다.

3. 영상과 오디오의 현실적 공간감

   1. 팟캐스트 제작에서 오디오는 음악·음성·효과음(SFX), 그리고 큰 방·작은 방·차 안·전화 통화 같은 공간 음향으로 나뉜다.
   2. AI 영상이 스튜디오 녹음처럼 지나치게 깨끗하게 들리는 것은 학습 데이터가 스튜디오 중심이기 때문일 수 있다. 사람이 더 멀리 있으면 소리가 약하고 확산돼야 하며, 몰입형 영상은 이런 물리적 단서를 함께 모델링해야 한다.

5.2. 캡션의 확률성과 미세 표정

1. 정보가 풍부한 표현의 필요

   1. 캡션에 에코·잡음·발화 방식 같은 정보를 충분히 넣지 않으면, 같은 언어 조건에서 여러 가능한 결과가 나와 생성이 지나치게 다중모달해진다.
   2. 이상적인 잠재 표현에서는 대부분의 확률적 변동성(Stochasticity)이 잠재 변수 Z에 들어가고, Z가 주어지면 출력 X가 결정론적으로 가까워져야 한다는 VAE식 직관이 제시된다.

2. 사람이 AI 영상을 알아보는 단서

   1. 사람의 얼굴 표정, 피부 질감, 눈의 미세한 움직임은 AI 생성물의 인공성을 드러낸다. 상대가 고개를 끄덕이는 방식과 미세 표정의 변화만으로도 반응을 읽는 인간의 감각을 아직 따라잡지 못했다.
   2. 이미지 쪽은 현실과 구분할 수 없거나 현실 사진보다 좋아 보이는 결과가 이미 많다. 하지만 영상의 미세한 표정·시선·공간 음향에는 여전히 큰 개선 여지가 있다.

3. 실제 영상보다 선호되는 생성 영상

   1. 팀은 실제 영상의 캡션을 그대로 재활용해 Omni로 동등한 장면을 만든 뒤, 인간에게 나란히 보여 주는 실험을 했다.
   2. 인간은 생성 영상을 상당한 차이로 선호했다. 더 선명하고 HDR처럼 보이며 피부톤이 좋았기 때문이다.
   3. 선호도가 높다고 더 현실적이거나 더 유용한 것은 아니다. RL이 인간 뇌가 좋아하는 시각 신호를 최적화했을 뿐이고, 깊이 검토하면 원본이 해결하는 실제 문제를 더 잘 해결한다는 뜻은 아니다.

6. 미적 기본값, 프롬프트, 인간 선호도의 함정

모델이 사용자의 지시를 따르는 능력과, 지시가 없을 때 세상에 보여 주는 기본 미학(Default Aesthetic)은 별도의 제품 결정이다.

6.1. 감수성과 프롬프트 엔지니어링

1. 전문가와 일반인의 시각 차이

   1. 일본의 한 만화가는 생성 AI에 거부감을 느끼며, 특히 눈길(Eye Gaze)이 아주 조금만 어긋나도 부자연스럽고 소름 끼친다고 말했다.
   2. 수십 년 동안 만화·디자인·건축을 연마한 전문가는 일반인보다 훨씬 많은 미세 차이를 본다. 반대로 길거리의 10명에게 물으면 과도하게 매끈하고 채도가 높은 Instagram 필터 같은 결과를 선호할 가능성이 높다.

2. 프롬프트 엔지니어링은 사라지지 않는다

   1. 약 4년 전 프롬프트 엔지니어링이 사라질지 논쟁이 있었지만, 생성 결과를 통제하려면 사용자가 원하는 차이를 지정하는 수단이 필요하다.
   2. 자동 프롬프팅이 충분히 괜찮은 결과를 만들더라도, 생성 결과에 절대 만족하지 말고 자신의 감수성을 계속 세밀하게 다듬어 차이를 지시해야 한다.
   3. 언어가 제한적일 때는 이미지 레퍼런스 등 참조 입력이 더 나은 지시 수단이 될 수 있다. 모델의 Instruction Following은 언어와 레퍼런스 양쪽을 통해 개선돼야 한다.

6.2. 기본 미학을 정하는 조직적 책임

1. Nano Banana의 인포그래픽 과잉

   1. Nano Banana Pro 출시 후 생성 인포그래픽이 소셜미디어에 폭발적으로 늘었다. 진행자의 피드에도 인포그래픽 논문이 끊임없이 나타났고, 워터마킹으로 얼마나 생성물인지 확인해 보자는 농담이 나온다.
   2. 팀은 기본 미학이 지나치게 복잡했다고 인정한다. 모델이 개념에 관한 모든 정보를 배운 뒤 “이걸 한 장에 다 넣어야지”라고 생각하는 과도하게 열심인 학생처럼 행동했다.
   3. 일본어 인포그래픽은 같은 프롬프트와 내용이어도 밀도가 5배쯤 높아 보인다는 농담이 오간다. 일본의 관료적·고밀도 시각 스타일이 반영된다는 설명이 붙는다.

2. 색상 팔레트와 신뢰할 수 있는 테스터

   1. Omni 팀은 출시 직전에 더 차분한 색을 쓸지, 더 채도가 높게 할지 함께 조정했다. 니콜은 이 과정에 참여했지만 너무 많은 팔레트 논의로 PTSD가 생겨 기억을 잊은 것 같다는 농담을 듣는다.
   2. 모델링 팀이 기본 미학을 정해도 되는지, 창의적 관점이 강한 아트 디렉터와 함께 정해야 하는지는 열린 문제다.
   3. 팀은 신뢰할 수 있는 테스터(Trusted Testers)와 주간 통화를 운영하고, Logan의 팀과 Google 내부 사용자 Furer에게 새 체크포인트의 피드백을 받는다.

3. 보이지 않는 회귀와 보상 해킹

   1. 모델 최적화가 괜찮아 보였는데 테스터가 “풀의 디테일을 망가뜨렸다”고 지적하는 식의 회귀가 있다. 개발자 눈에는 보이지 않는 변화가 실제 사용성에 큰 영향을 준다.
   2. Omni가 사람 손에 결혼반지를 자주 그리는 편향도 발견됐다. 팀이 의도하지 않은 특징이 선호 학습에서 보상으로 작동한 전형적인 보상 해킹(Reward Hacking) 사례다.
   3. 선호 데이터만 따르면 이런 허위 상관을 강화할 수 있다. 인간이 좋아한다고 답한 결과와 실제로 정확하고 유용한 결과를 분리해야 한다.

7. 생성 미디어 평가의 현실

영상의 자유도가 높아질수록 자동 평가만으로는 품질을 판단할 수 없으며, 의미적 일관성과 작업 흐름의 성공까지 측정해야 한다.

7.1. 자동 평가와 인간 평가의 조합

1. 자동 평가가 쉬운 영역

   1. 인포그래픽의 텍스트 렌더링은 OCR로 글자를 추출해 틀린 글자가 있는지 확인할 수 있다. 글자 하나가 틀리면 그 자산 전체를 사용할 수 없으므로 상대적으로 객관적인 평가가 가능하다.
   2. LLM에서는 자동 평가자(Auto-rater)가 비교적 잘 정의된 영역이지만, 미디어 모델에서는 미학·시간·공간·편집 의도를 다뤄야 하므로 훨씬 덜 정립됐다.

2. 사람이 직접 비교하는 방식

   1. 팀은 수천 개의 사례를 대상으로 대규모 인간 평가를 수행한다. 두 모델이 비슷할 때는 방 안에 약 10명이 모여 영상을 나란히 틀어 놓고 어느 쪽을 선호하는지 결정하기도 한다.
   2. 자유 형식 영상 편집은 거의 AGI 완성형에 가까운 복잡한 능력이다. “나무늘보를 추가하라”처럼 구체적인 평가 항목은 만들 수 있지만, 모든 창의적 편집 조합을 포괄할 수 없다.

3. 제품 단계의 보완 신호

   1. 라이브 실험은 더 큰 규모에서 미세한 차이를 관찰하게 한다. 초기 접근(Early Access) 프로그램은 실제 사용자가 모델을 일상 작업에 넣었을 때 생기는 문제를 보여 준다.
   2. 어떤 모델이 특정 인간 평가 샘플에서는 잘해도 누군가의 작업 흐름을 망가뜨릴 수 있다. 매일 모델을 쓰는 전문가와 고유한 미적 감각을 가진 사람의 피드백이 중요하다.

7.2. 미학보다 중요한 영상 이해

1. 의미적 일관성 탐지

   1. 유명 영화의 장면을 재구성했을 때 표면적으로는 그럴듯하지만 사건의 의미와 인과가 맞지 않을 수 있다.
   2. AI가 이런 의미적 불일치를 스스로 발견할 수 있는지가 중요한 평가 문제다. “예쁘다”와 “장면이 말이 된다”는 서로 다른 축이다.

2. 인간 라벨의 점진적 자동화

   1. 사람의 모든 평가 작업은 시간이 지나며 점진적으로 자동화·상각되어야 한다. 특히 영상 이해는 AI 생성물의 오류를 발견하는 강력한 시각 지능 과제다.
   2. 순수 미학·선호도뿐 아니라 사건 이해, 물리성, 편집 의도, 의미 일관성을 평가하는 모델이 필요하다.

8. 어떤 데이터와 사용 흐름이 모델을 개선하는가

고품질 데이터 자체보다, 사람이 실제로 어떤 목적을 위해 어떤 순서로 작업하는지 담은 데이터와 피드백이 더 중요하다.

8.1. 데이터 제안에서 신호와 잡음 가르기

1. 사람들이 제안하는 데이터

   1. 팟캐스터와 마케팅 부서는 영상·게임·현실 세계 영상·이미지·라벨러를 가지고 있으며, 모델 팀과 협력하고 싶어 한다.
   2. 팟캐스터와 미디어 제작자는 머리에 BCI를 씌우고 팟캐스트를 보게 해도 좋다며, 생성 미디어가 처리해야 할 일이 끝없이 많다는 농담을 던진다.

2. 팀이 실제로 원하는 것

   1. 팀은 이미 많은 데이터를 보유했을 가능성이 높아 단순한 데이터 양보다 신호와 잡음을 가르는 일이 핵심이라고 말한다.
   2. “A·B·C를 제공하면 관심이 있다”처럼 누구나 이해할 수 있는 입력 API를 만들면 데이터 보유자가 더 유용한 제안을 할 수 있다.
   3. 일반적으로는 고품질 데이터, 특히 전문적인 제작 환경에서 나온 자료를 원한다. 무작위 YouTube 영상만이 아니라 조명·음향·편집 의도가 명확한 프로덕션 데이터를 찾는다.
   4. 로보틱스 협업과 Google DeepMind의 로보틱스 팀을 고려하면, 손·몸·환경이 연결된 embodied data도 중요하다.

8.2. 결과물이 아니라 작업 궤적을 수집하기

1. 마케팅 캠페인의 실제 궤적

   1. 제품 사진 하나에서 영상 광고를 만들고, 여러 플랫폼 광고 형식에 맞는 자산 묶음으로 변환하는 전체 과정을 데이터로 수집해야 한다.
   2. 어떤 초안을 고르고 어떤 이유로 버렸는지, 눈길이 맞았는지, 브랜드 톤이 맞았는지 같은 중간 판단이 중요하다. 단순히 최종 이미지 하나만 저장하면 이 지식이 사라진다.

2. 현실 작업이 어려운 이유

   1. 이런 과제는 연구자가 직접 만들거나 외주 업체에 맡기기 어렵다. 퍼스트파티 제품은 사용자가 실제로 작업하는 표면을 모두 보유하지 않고, 외주 업체도 제품 사용 맥락까지 갖고 있지 않은 경우가 많다.
   2. 데이터 공급자가 작업의 시작·변환·검수·배포까지의 궤적을 제공한다면, 모델이 한 번의 생성이 아니라 목적을 향한 과정 전체를 배울 수 있다.

3. 상품화의 두 끝

   1. 할리우드 같은 최고급 작품은 장인의 영역으로 남을 수 있지만, 수많은 마케팅·교육·편집 작업은 반복적이고 모델화할 수 있는 상품(Commodity)이 돼야 한다.
   2. 팀은 저렴한 반복 작업과 높은 품질을 모두 원한다. “Commodity를 원한다”와 “고품질을 원한다”는 모순처럼 보이지만, 실제 제품은 두 요구를 동시에 만족해야 한다.

9. 사람 안에 남아 있는 창작 지식과 FDE의 역할

인터넷에 공개된 결과물만으로는 창작자의 판단과 영감을 재현할 수 없으며, 고객과 모델 팀을 연결하는 현장 엔지니어가 사후학습의 핵심이 될 수 있다.

9.1. 대화로만 꺼낼 수 있는 ‘어두운 지식’

1. 결과물 뒤의 99%

   1. 셰인은 정보의 99%가 사람 안에 있고, 적극적인 대화와 친밀한 관계를 통해서만 꺼낼 수 있다고 말한다.
   2. 인터넷에는 논문·소설·광고 같은 결과물이 남지만, 어떤 영감에서 출발했는지, 어떤 대화가 아이디어를 만들었는지, 왜 한 방향을 선택했는지는 보통 남지 않는다.
   3. 이런 비공개 맥락을 ‘어두운 지식(Dark Knowledge)’으로 부를 수 있다. 창작 미디어 데이터도 최종 이미지보다 그 이미지에 도달한 판단 흐름을 필요로 한다.

2. LLM의 기본 패턴과 인간적 연결

   1. 좋은 소설은 독자가 이야기·인물·궤적과 개인적인 연결을 느끼게 하지만, 오늘날 LLM의 글은 기본 패턴으로 수렴하고 묘사와 문장이 비슷해진다.
   2. 빠르게 읽어도 흥미롭지 않은 이유는 인간적 경험과 연결되지 않기 때문이다. 이런 연결감은 수년간 장르를 연마한 인간 전문성에서 나온다.

9.2. FDE를 판매 조직에서 학습 조직으로

1. FDE의 확장된 정의

   1. Google Cloud와 Google DeepMind는 제품 엔지니어를 위한 FDE(Forward Deployed Engineer) 투자를 늘리고 있고, 생성 미디어 창작 영역의 채용도 진행한다.
   2. FDE는 영업이나 솔루션 커스터마이징만 담당하지 않는다. 사전학습과 최종 사용자 경험 사이의 모든 과정을 사후학습(Post-training)으로 볼 수 있으며, 고객의 사용 데이터를 모델 개선에 연결해야 한다.

2. 현장 피드백을 상류 모델로 보내기

   1. FDE는 고객이 모델을 어떻게 쓰는지에 대한 하네스(Harness)와 평가 환경을 만들고, 그 사용 패턴에서 양쪽에 도움이 되는 통찰을 추출한다.
   2. FDE는 판매뿐 아니라 평가 작업자(Eval Worker)로도 활용될 수 있다. 모든 연구·제품 팀이 FDE 트랙을 발표하는 흐름이 빠르게 커지고 있다.

3. 현실적인 이미지 작업의 실패 사례

   1. 인테리어 디자이너는 한 패턴을 10가지 카펫 크기에 맞춰 확장하고, 때로는 매우 특수한 크기에도 같은 패턴을 유지하고 싶어 한다. 모델은 패턴을 일관되게 복제하지 못한다.
   2. 귀걸이 가상 착용(Try-on)은 귀걸이의 실제 크기와 사람 머리의 크기를 함께 고려해야 한다. 이미지가 그럴듯해 보여도 물리적 크기가 맞지 않으면 실제 쇼핑 작업에는 쓸 수 없다.
   3. 모델 팀은 이런 문제를 직접 사용하지 않으면 떠올리기 어렵다. 고객의 일상 작업과 실패 순간을 정기적으로 대화해야 개선 우선순위를 잡을 수 있다.

9.3. 브랜드 언어와 연구 산출물의 차이

1. 브랜드 가이드의 모호함

   1. 브랜드 언어는 이미지나 PDF 묶음으로 주어질 수 있지만, “IKEA의 브랜드 언어는 무엇인가”라는 질문은 단순하지 않다.
   2. 파란색과 노란색이라는 설명만으로는 부족하다. 파란색의 정확한 색조, 노란색의 채도, 여백, 형태, 글꼴, 이미지 구성처럼 브랜드가 실제로 신경 쓰는 세부가 있다.

2. 구체적인 일을 해결하는 제품

   1. 이런 세부는 프런티어 모델 연구의 필수 조건으로 바로 드러나지 않을 수 있지만, 실제 사용자가 해결하려는 구체적인 작업에는 필수다.
   2. 팀의 목표는 연구 산출물(Research Artifact)이 아니라 사람이 반복해서 사용할 수 있는 제품이다. 현장 데이터·전문가 대화·브랜드 규칙이 모델 품질을 제품 품질로 바꾼다.

주요 발언 모음

“언젠가는 모든 것이 하나의 모델로 들어갈 수 있지만, 6개월 뒤에도 목적별 여러 모델이 남을 가능성이 높다.”

“언어만으로는 충분하지 않다. 영상은 인간과 비슷한 AGI에 필요한 보완적 파운데이션 모델이다.”

“생성 결과에 절대 만족하지 말고, 자신의 감수성을 계속 다듬어 차이를 지시해야 한다.”

“모델이 잘못된 작업 흐름을 깨뜨리지 않는지 알려면, 실제로 매일 그 모델을 사용하는 사람과 이야기해야 한다.”

“연구 산출물이 아니라 사람들이 구체적인 일을 해결하는 제품을 만들어야 한다.”

핵심 데이터 & 수치

• 약 3초: Nano Banana 2 light가 제공하는 빠른 지연시간의 목표치로, 아이디어 발상과 반복 수정을 가능하게 한다.
• 4K·30초: Nano Banana 2 light와 대비되는 고해상도·장시간 영상 모델의 전문 영역이다.
• 6개월과 5년: 단기에는 여러 전문 모델이 남고, 장기에는 하나의 멀티모달 모델로 수렴할 수 있다는 시간 감각이다.
• 약 8개월 전: Video Models as Zero-Shot Learners and Reasoners 평가 논문이 언급된 시점이다.
• 약 4년 전: 프롬프트 엔지니어링의 소멸 여부와 상징적 AGI의 발전 방향을 둘러싼 논쟁이 언급된다.
• 약 6년 전: 셰인이 로보틱스의 손재주 문샷을 이끌던 시점으로 설명된다.
• 5배: 일본어 인포그래픽이 같은 정보에서도 더 고밀도로 보인다는 패널의 농담 섞인 비교다.
• 10명: 모델 출력이 비슷할 때 방 안에서 나란히 비교 평가를 수행할 수 있는 인간 평가 규모의 사례다.
• 수천 건: 팀이 인간 평가에 사용하는 사례의 규모다.
• 10가지 카펫 크기: 실제 인테리어 작업에서 하나의 패턴을 여러 규격으로 확장해야 하는 사례다.
• 99%: 공개된 결과물보다 사람 내부의 대화·영감·판단에 남아 있다고 셰인이 추정한 정보의 비중이다.

결론 및 시사점

1. 개발자 관점: Nano Banana 2 light의 빠른 생성과 Gemini Omni Flash API의 영상 생성·편집을 자동화 파이프라인에 넣고, 자연어 편집·번역·재더빙·광고 자산 변환을 작은 단위부터 검증한다.
2. 연구 관점: 언어 캡션만으로 감각과 인과를 모두 표현하려 하지 말고, 영상·오디오·코드·잠재 표현을 결합해 시공간과 의미 일관성을 측정한다.
3. 모델 설계 관점: 전문 모델의 속도·비용·해상도 트레이드오프를 인정하면서, 이해와 생성을 공유하는 통합 방향을 점진적으로 탐색한다.
4. 평가 관점: OCR처럼 자동화 가능한 축, 수천 건 인간 평가, 라이브 실험, 전문 사용자의 작업 흐름, 의미적 일관성을 하나의 평가 체계로 묶는다.
5. 데이터 관점: 최종 이미지·영상보다 제품 사진에서 광고 자산을 만들고 플랫폼별 규격으로 변환하는 전체 궤적과 중간 판단을 수집한다.
6. 제품 관점: 기본 미학은 중립적 사실이 아니라 모델 팀과 신뢰할 수 있는 테스터가 함께 만드는 사회적 기본값이다. 과도한 채도·정보 밀도·반복되는 결혼반지 같은 보상 해킹을 지속적으로 감시한다.
7. 조직 관점: FDE를 영업 인력에 국한하지 말고 고객의 실패를 평가 데이터와 모델 개선으로 연결하는 현장 연구자·평가자로 활용한다.
8. 창작 관점: 브랜드 색조, 눈길, 공간 음향, 패턴 크기처럼 말로 뭉뚱그리기 쉬운 세부가 실제 품질을 결정하므로, 전문가의 감수성과 작업 맥락을 적극적으로 끌어낸다.

핵심 요약 (20줄)

Nano Banana 2 light는 약 3초 지연시간과 프런티어급 품질로 빠른 생성·편집과 일부 프로덕션 출력을 가능하게 한다. Gemini Omni Flash API는 Veo 3.1 Fast와 같은 가격대를 목표로 영상 생성과 자연어 편집을 개발자에게 개방한다. Omni는 스토리보드 이미지와 음성 오디오를 입력받아 단편 영화와 YouTube Shorts 제작을 지원한다. 자연어 영상 편집은 나무늘보 추가부터 휴가 영상의 소음 제거와 광고 캠페인 제작까지 확장된다. 교육 자료를 학습자 수준에 맞춰 개인화하고 설명서의 도표와 레이아웃을 유지한 번역도 실용적인 사용 사례다. 영상 에이전트는 한 번에 모든 결과를 만들기보다 언어 모델과 영상 모델을 여러 단계로 조합한다. 영상 모델은 공간·시간 정보를 가진 파운데이션 모델로서 시각 퀴즈와 로봇의 물리적 직관을 돕는다. 언어는 범용적이고 사전학습 지능을 활용하게 하지만 감각과 인과를 모두 담기에는 손실이 있다. Omni라는 이름은 모든 입출력 모달리티의 통합을 암시하지만 당분간은 목적별 전문 모델이 공존한다. 이해와 생성은 서로를 부트스트랩하며 장기적으로 하나의 멀티미디어 모델 안에서 결합될 가능성이 높다. Veo 3는 픽셀과 오디오를 하나의 생성 과정에서 만들어 입술 움직임과 음성의 동기화 문제를 개선했다. 음악·방의 울림·피부색·맛·냄새 같은 감각은 언어로 정밀하게 표현하기 어려운 정보다. 생성 영상은 더 선명하고 HDR처럼 보여 실제 영상보다 선호될 수 있지만 더 현실적이거나 유용하다는 뜻은 아니다. 전문가의 눈길 감수성과 일반인의 Instagram 필터 선호는 모델 기본 미학을 서로 다르게 평가한다. Nano Banana의 인포그래픽 과잉과 손에 결혼반지를 반복하는 현상은 기본값과 보상 해킹의 위험을 보여 준다. 영상 평가는 OCR 자동 검사와 수천 건 인간 평가, 라이브 실험, 실제 작업 흐름 피드백을 함께 필요로 한다. 자유 형식 영상 편집은 의미적 일관성과 물리성을 포함해 평가해야 하는 거의 AGI 완성형 문제다. 고품질 전문 데이터와 마케팅 캠페인의 시작부터 배포까지 이어지는 작업 궤적이 단순한 최종 결과보다 유용하다. FDE는 고객의 실패와 사용 하네스를 모델링 팀에 전달하는 사후학습·평가 조직으로 확장돼야 한다. 생성 미디어의 다음 경쟁력은 연구 데모가 아니라 인간의 숨은 창작 지식과 구체적인 업무를 제품에 반영하는 능력이다.