Evaling Video Slop — Maor Bril, Character.ai

URL: https://www.youtube.com/watch?v=b_PmGocP4rc 날짜: 2026-07-25 채널: aiDotEngineer

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

AI 비디오 생성 기술은 급격히 발전했지만, ==생성된 영상이 실제로 좋은 이야기를 담고 있는지 평가하는 것==은 여전히 해결되지 않은 문제이며, 이를 빠르고 저렴하게, 그리고 생성 루프 안에 녹여내는 평가 시스템을 어떻게 만들어야 하는가?

• video generation(Kling, SeaDance, VEO, Sora) 품질이 폭발적으로 향상되었음
• 그러나 대부분의 생성 영상은 여전히 환각, 물리법칙 위반, 캐릭터 일관성 문제를 안고 있음
• 기존 frame-level metric(CLIP score, LPIPS)과 LLM-as-judge는 느리고, 절대 점수에 약하며, 이야기 전체를 평가하지 못함
• Character.ai는 전문가 위원회를 작고 빠른 VLM으로 증류하고, 상대 비교(pairwise) + 인간 주석 + 에이전틱 워크플로우로 생성 초기에 평가를 끌어들임

---

1. 생성의 진보와 평가의 뒤처짐

1.1. 비디오 생성의 두 갈래: generation vs. evaluation

1. 생성 모델의 급격한 발전

   1. Kling, SeaDance, VEO, Sora 등으로 비디오 생성 품질이 비약적으로 좋아졌음
   2. 소셜 미디어에는 이 모델 또는 저 모델로 멋진 영상을 만드는 가이드가 넘쳐남

2. 진정으로 어려운 문제는 평가

   1. 어떻게 영상을 만들지가 아니라, 어떻게 좋은 영상을 만들고 그것을 어떻게 판단할지가 핵심
   2. 영상 생성은 스튜디오 비용과 비교하면 거의 무료에 가까워졌지만, 산출물의 대다수는 그리 좋지 않음

1.2. 생성 영상의 전형적인 결함

1. 시각적 환각과 물리적 비일관성

   1. 세 번째 팔, 동시에 열리고 닫히는 문, 공중에 떠 있는 물체, 기형적인 물리 등이 흔함
   2. 고품질 콘텐츠를 얻기 위해서는 여전히 인간의 판단이 필요

2. 긴 형식 영상의 실제 구조

   1. 대부분의 long-form 영상은 짧은 생성 클립 여러 개를 편집한 것
   2. 따라서 짧은 클립 하나의 품질을 일찍 잡아내는 것이 전체 품질에 결정적

---

2. 기존 평가 도구의 한계

2.1. 텍스트·이미지 시대에서 물려온 지표

1. CLIP score

   1. 단일 프레임이 프롬프트와 얼마나 일치하는지 측정하는 데는 유용
   2. 시간축의 일관성, 스토리, 캐릭터 유지, 리듬 등은 평가 불가

2. LPIPS(Learned Perceptual Image Patch Similarity)

   1. 프레임 간의 시각적 드리프트를 감지하는 데 도움
   2. 하지만 개별 프레임 차원의 비교일 뿐, 전체 서사를 보지 못함

2.2. LLM-as-judge의 문제

1. 느리고 비싸다

   1. 엄청난 계산 비용과 지연 시간
   2. 사용자가 대량으로 영상을 생성하는 Character.ai 환경에서는 부담

2. 프롬프트에 민감하고 절대 평가에 약하다

   1. 동일한 모델도 질문 방식에 따라 전혀 다른 답을 낼 수 있음
   2. 이 영상이 1~10점 중 몇 점인가 같은 절대 점수는 사람마다 기준이 달라 재현성이 낮음

---

3. Character.ai의 평가 시스템 진화

3.1. 첫 시도: repeatable benchmark

1. 전문가 위원회(hybrid harness)

   1. frame-level metric + LLM-as-judge + 인간 주석을 조합
   2. 인간이 매 report를 주석 달아 LLM judge의 프롬프트를 보정

2. 한계

   1. 너무 느리고 비쌈
   2. 사용자 생성 시점에 가까이, 가능한 한 일찍 평가를 끌어오지 못함

3.2. 핵심 인사이트: 실패를 일찍 잡아내야 한다

1. 초기 수정의 비용 효율성

   1. 시작 프레임에서 캐릭터 드리프트를 잡으면 전체 생성을 다시 하지 않아도 됨
   2. 6초짜리 클립 하나가 잘못되면 전체 long-form 영상의 품질이 떨어짐

2. 시간축을 가로지르는 축(axis)

   1. 스토리, 리듬(pacing), 사운드 싱크는 단일 프레임이 아니라 시간 전체에 걸쳐 존재
   2. 이런 축들은 생성 루프 안에 실시간으로 평가되어야 의미가 있음

---

4. 작고 빠른 VLM 기반 평가 모델

4.1. 전문가 위원회를 하나의 모델로 증류

1. 증류(distillation)

   1. metric + LLM judge + 인간 판단으로 구성된 전문가 위원회를 작은 VLM 하나로 축약
   2. 단순히 이 영상이 slop인가를 넘어 왜 slop인가까지 설명

2. 작은 VLM 선택 이유

   1. 이미지를 볼 수 있어야 하면서도 빨라야 함
   2. Character.ai의 모델은 3~15초 영상을 약 3초 만에 평가
   3. 더 큰 모델은 성능이 더 좋았지만 느려져서 비용 대비 이득이 없었음

4.2. 상대 비교(pairwise)로 학습

1. 절대 점수의 비현실성

   1. 사람에게 스토리텔링 1~10점을 물으면 6, 5, 4, 8 등 매우 주관적
   2. 반면 두 영상 중 어느 쪽이 더 나은 이야기를 하는가는 대다수가 동의

2. 데이터 구성

   1. 좋은 영상은 인터넷의 고품질 실제 영상, 나쁜 영상은 AI 생성 후 손상시키거나 무작위 slop로 제작
   2. AI detector로 오버피팅되지 않도록 양쪽 영상의 인코딩과 주석 방식을 동일하게 유지

4.3. V1의 실패와 데이터셋 수정

1. 첫 배포의 오만한 오류

   1. 카메라가 4초간 움직이지 않은 영상을 카메라 워크에서 9.2점으로 평가
   2. 유령이 떠다니고 사람이 나는 장면에서 물리가 훌륭하다고 판단

2. 원인: 데이터가 분위기를 학습

   1. 모델이 실제 축(storytelling, physics, consistency)이 아니라 전체적인 gloss와 아티팩트를 학습
   2. 고품질 AI 영상의 광택을 좋음으로, 저품질의 아티팩트를 나쁨으로 판단

3. 해결책

   1. 실제 영상과 AI 영상을 쌍으로 넣되, 동일한 인코딩과 축별 주석 방식 적용
   2. 결과적으로 훨씬 더 신뢰할 수 있는 평가 모델을 얻음

---

5. 복잡한 파이프라인에서 에이전틱 워크플로우로

5.1. 파이프라인의 한계

1. 특정 사용 사례에 강함
   1. 정해진 입력과 출력이 있는 파이프라인은 잘 작동
   2. 사용자가 자신의 캐릭터, 이미지, 목소리로 독특한 이야기를 만들 때는 드리프트 발생

5.2. 에이전트 기반 평가

1. 도구를 갖춘 에이전트

   1. 생성 출력물의 품질을 검증할 수 있는 도구를 제공
   2. 변화에 더 잘 적응하고 자신의 작업을 점검·수정할 수 있음

2. 실용적 교훈

   1. 상대적 비교(relative)가 절대 점수(absolute)보다 낫다
   2. 정말 신경 쓰는 축(storytelling, pacing, physics, sound sync)만 평가
   3. eval을 생성 루프 안에 넣어 가능한 일찍 실수를 잡는다
   4. 궁극적으로 영상은 이야기이므로 이야기 단위로 평가한다

---

6. Q&A: 사운드, 립싱크, 스케일, 오픈소스

6.1. 사운드 평가

1. Atmos를 활용한 품질 평가

   1. 사운드의 품질이 높고 이해 가능한지 확인
   2. 모델은 영상 속 키 프레임, 예를 들어 문이 닫히는 순간을 식별

2. 프롬프트와의 동기화

   1. 프롬프트에 문이 쾅 닫힌다가 있으면 해당 타임스탬프에서 소리의 스파이크를 찾음
   2. 소리가 무슨 소리인지를 직접 인식하기보다, 영상 이벤트와 음향 이벤트의 시간 일치를 확인

6.2. 립싱크

1. 아직 미해결 문제
   1. 말하는 인물(talking head)의 입 모양과 음성의 일치는 해결되지 않음
   2. 일부 캐릭터는 단순히 말하는 애니메이션으로, 입 움직임과 음성 간 상관관계가 없음

6.3. 인간의 취향과 데이터 보강

1. 인간 주석 주기

   1. 팀원이 10~15분씩 영상을 여러 축에서 주석
   2. 이 데이터로 AI judge를 지속적으로 보정하고 다음 모델 버전의 학습 데이터로 사용

2. 취향의 주관성

   1. Maor이 좋다고 생각하는 영상도 동료가 의심할 수 있음
   2. 인간 피드백을 통해 모델의 평가 기준을 점진적으로 정렬

6.4. 스케일과 비용

1. 속도와 용량

   1. 작은 VLM은 한 GPU에서도 구동 가능, 필요하면 100개 인스턴스로 확장 가능
   2. 비용은 영상 생성량과 평가 빈도에 따라 결정

2. 전문가 위원회 vs. 전용 모델

   1. 소규모(수백~수천 개)라면 기존 metric + LLM judge 조합으로 충분
   2. 일일 수만 개 이상의 평가가 필요하면 전용 모델의 단위 경제가 유리

6.5. 오픈소스 harness와 확장성

1. 공개된 repo는 harness

   1. 원하는 LLM이나 에이전트를 연결할 수 있는 구조
   2. Character.ai 내부에는 이 위에 agentic 서비스로 운영되는 버전도 있음

2. 향후 계획

   1. 외부 플랫폼 연결을 위해 telemetry와 trace를 추가할 계획

---

주요 발언 모음

"The hard part was never how to make video. The hard part was how do we generate good enough video and how do we judge if the video is good enough?" "Video is a storytelling medium. Video is just another form of how we tell a story." "Don't score compare... the value of comparing video A versus video B will always give you a better result." "We shipped V1, and it was so wrong. It was wrong, but it was wrong in a very confident way." "Lip syncing is an unsolved problem yet. We're trying though."

핵심 데이터 & 수치

• 평가 모델 추론 시간: 3~15초 영상을 약 3초 만에 평가 (Character.ai 내부 VLM)
• LLM-as-judge의 비용/속도: 수천~수만 개의 일일 평가 시 비용이 기하급수적으로 증가
• 인간 보정 주기: 팀원이 10~15분씩 영상을 주석하며 AI judge 보정

결론 및 시사점

1. 비디오 생성이 발전할수록 평가(evaluation)가 병목이 되고 있다.
2. 단일 프레임 metric이나 거대 LLM judge는 실제 서사·물리·리듬·사운드 싱크를 평가하기에 부족하다.
3. 평가는 절대 점수보다 상대 비교, 그리고 생성 루프 안에 배치되어야 의미가 있다.
4. 전문가 위원회를 작은 VLM으로 증류하면 속도와 비용을 크게 줄이면서도 왜 나쁜지를 설명할 수 있다.
5. 인간 주석과 데이터셋 품질이 모델의 신뢰성을 좌우하며, V1의 자신만만한 오류가 이를 증명한다.
6. 궁극적으로 비디오는 이야기 매체이므로, 평가 기준도 이야기가 제대로 전달되는가로 수렴해야 한다.