AI 슬롭을 끝내는 감각 훈련 — Thais Castello Branco, Taste Labs

URL: https://www.youtube.com/watch?v=sDMGWK4wZ_w 날짜: 2026-09-11 채널: aiDotEngineer

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==생성 비용이 거의 0에 가까워진 시대에 AI 슬롭(AI slop)을 끝내려면, 모델의 생성 능력만 높일 게 아니라 주관적 영역의 품질을 분해·측정하고 맥락·의도·브랜드 적합성을 추론 시점에 검증해야 한다.==

• AI는 코딩·수학처럼 정답을 검증하기 쉬운 영역에서는 빠르게 좋아졌지만, 디자인·글쓰기처럼 “맞다”와 “훌륭하다”가 일치하지 않는 영역에서는 평균적인 결과를 반복하는 경향이 있다.
• Taste Labs는 색상·타이포그래피·레이아웃·대상 독자 같은 디자인 특성을 구조화하고, 여러 특성의 반복을 감지하는 작은 분류기(probe)를 결합해 슬롭을 정량적으로 측정하려 한다.
• 반복에는 창의성 API, 맥락 적합성에는 브랜드 API와 브랜드 시스템 저장소, 사용자 의도에는 애플리케이션 계층의 문맥·판단·검증 도구가 대응한다.

Thais Castello Branco는 Taste Labs가 스텔스에서 나온 지 몇 주 된 회사이며, 개인적으로도 AI 슬롭을 “적”으로 삼고 있다고 소개한다. 핵심 전략은 모델 계층에서 후속학습 데이터와 환경을 설계하는 일과, 애플리케이션 계층에서 에이전트가 사용자의 의도와 브랜드 맥락을 반영하도록 돕는 일을 함께 추진하는 것이다. 인간의 최고 수준 취향을 당장 모델에 이식하겠다는 거대한 논쟁보다, 먼저 바닥에 놓인 품질 기준을 끌어올리고 이를 측정 가능한 문제로 바꾸는 일이 출발점이 된다.

1. Taste Labs의 미션과 두 계층 접근

AI 슬롭은 주관적 영역을 다루는 시스템이 맥락을 잃고 평균으로 수렴할 때 생기며, 이를 줄이려면 모델과 애플리케이션을 동시에 다뤄야 한다.

1.1. 스텔스에서 나온 회사와 디자인이라는 첫 번째 기둥

1. AI 슬롭을 끝내는 것이 회사의 출발점이다

   1. Taste Labs는 발표 시점 기준으로 스텔스(stealth)에서 나온 지 몇 주 된 회사이며, Thais가 창업자다.
   2. 회사 전체의 미션은 “AI 슬롭을 어떻게 끝낼 것인가”이며, Thais는 슬롭을 자신의 개인적인 적이라고 표현한다.
   3. 슬롭을 해결하려면 모델이 잘하는 정형적 작업만 확장하는 것이 아니라, 지금까지 충분히 해독하지 못한 주관적 영역(subjective domains)을 해석해야 한다.

2. 디자인을 첫 번째 적용 영역으로 삼는다

   1. 지금까지 모델과 에이전트를 코딩(coding)과 수학(math)에 능숙하게 만드는 데 막대한 노력이 투입됐다.
   2. 같은 수준의 노력을 디자인(design)과 글쓰기(writing)에도 투입해야 하며, Taste Labs는 그중 디자인을 첫 번째 기둥(pillar)으로 시작한다.
   3. 디자인은 넓고 흐릿해 보이지만, 적절히 쪼개면 일부는 거의 결정론적(deterministic)인 문제로 바뀌고 다른 일부는 데이터와 선호를 요구한다.

1.2. 프런티어 모델 계층에서 하는 일

1. 모델을 평가하고 깨지는 지점을 찾는다

   1. Taste Labs는 프런티어 랩(Frontier Labs)과 협력해 모델을 평가하고, 어떤 상황에서 모델이 무너지는지 이해한다.
   2. 모델이 무엇을 더 잘해야 하는지 파악한 뒤, 문제를 고치는 데 맞는 후속학습(post-training) 데이터나 환경(environment)을 구성한다.
   3. 목표는 “디자인을 잘하게 하자”처럼 큰 문장을 반복하는 것이 아니라, 평가 가능한 세부 능력으로 변환해 각 문제에 맞는 학습·평가 방법을 선택하는 것이다.

2. 디자인을 방법별로 풀 수 있는 단위로 분해한다

   1. 디자인 전체를 한 덩어리의 취향으로 취급하지 않고, 어떤 요소가 어떤 방법으로 가장 잘 해결되는지 식별한다.
   2. 색상 팔레트(color palette) 선택, 대비(contrast), 정렬(alignment)은 문제와 맥락을 충분히 구체화하면 상당히 객관적인 답에 가까워진다.
   3. 이런 요소는 전문가 대부분이 동의할 수 있는 기준을 세울 수 있으므로, 규칙·평가·분류기를 만들기 쉽다.
   4. 반대로 미학(aesthetics)은 전문가 사이에서도 의견이 갈리는 것이 자연스럽다. 이때는 단일 정답을 강요하기보다 실제 선호와 데이터에 가까운 신호에 기대야 한다.

1.3. 애플리케이션 계층에서 해결할 일

1. 오프더셸프 모델의 평균 수렴을 되돌린다

   1. 앱 계층의 에이전트와 회사는 대개 오프더셸프(off-the-shelf) 모델을 사용하며, 이 모델은 스타일을 유지하지 못하고 평균(mean)으로 붕괴하는 경향이 있다.
   2. 서로 다른 사용자의 요구가 들어와도 비슷한 레이아웃·문체·시각 패턴을 되풀이하면, 모델이 창의성을 시스템 밖으로 밀어내고 있는 셈이다.
   3. 애플리케이션은 시스템에 창의성을 다시 넣고, 반복·맥락 불일치·의도 해석 실패가 결과물로 배출되지 않게 해야 한다.

2. 맥락·판단·검증을 앱의 책임으로 만든다

   1. 사용자가 무엇을 원하는지, 브랜드가 어떤 표현을 허용하는지, 결과가 어느 순간에 누구에게 맞는지를 애플리케이션이 이해해야 한다.
   2. 사용자 선호와 브랜드 선호를 파악해 결과가 특정 스타일에 계속 충실하도록(adherence) 만드는 일이 필요하다.
   3. 따라서 문제의 일부는 모델 가중치만 고쳐서 해결되지 않고, 문맥(context), 판단(judgment), 검증(verification)을 앱 계층에 설계해야 해결된다.
   4. Taste Labs가 모델 계층과 앱 계층을 모두 가로질러 일하는 이유도 이 두 종류의 문제를 한쪽에만 떠넘길 수 없기 때문이다.

2. 훌륭함·취향·AI 슬롭의 정체

정답이 곧 훌륭함인 영역과, 특별함·배려·진정성이 품질을 만드는 영역은 평가 방식이 달라야 한다.

2.1. “훌륭하다”를 정의하기 어려운 이유

1. 수학에서는 훌륭함과 정답이 가깝다

   1. 수학에는 대체로 하나의 객관적 답이 있고, 잘했다는 말이 맞았다는 말과 거의 겹친다.
   2. 이런 영역에서는 정확성(correctness)이 품질의 핵심 기준이므로 결과를 비교하고 채점하기 쉽다.

2. 디자인과 글쓰기에서는 정답만으로 부족하다

   1. 훌륭한 트윗(tweet), 작품(art piece), 웹사이트(website)가 무엇인지 한 줄의 객관식 기준으로 정하기 어렵다.
   2. “훌륭하다”는 말은 단순히 오류가 없거나 요구사항을 충족했다는 뜻을 넘어, 그 상황에서 특별하게 느껴지는지를 포함한다.
   3. 그러므로 디자인·글쓰기 평가에는 정형 규칙으로 검증할 수 있는 부분과 데이터·인간 판단으로 다뤄야 하는 부분이 함께 존재한다.

2.2. 사람을 멈춰 세우는 결과의 공통 속성

1. 특별한 경험은 여러 신호의 조합으로 생긴다

   1. 시를 읽거나 카페에 들어갔을 때 이유를 정확히 설명하기 어렵지만 유난히 다르게 느껴지는 순간이 있다.
   2. 그런 결과는 매우 독특하고(unique), 조금 다르며(different), 사람의 주의를 불러 모은다(calls attention).
   3. 세부사항과 제작 과정에 많은 배려·주의·공예(craft)가 들어간 느낌이 있고, 거의 진정성(authenticity)처럼 느껴진다.

2. AI가 평균 밖의 결과를 만들어야 한다

   1. 현재 AI가 놓치는 중요한 부분은 평균적인 결과가 아닌, 의도적으로 분포 밖(out of distribution)의 결과를 만드는 능력이다.
   2. 훌륭함을 정의하는 일은 때로 어렵지만, 슬롭은 대부분의 사람이 공통으로 알아볼 수 있을 만큼 더 쉽게 정의할 수 있다.
   3. AI를 사용할 때 느껴지는 반복(repetition)과 영혼 없음(soullessness)이 바로 많은 사람이 공유하는 슬롭의 감각이다.

2.3. 생성의 민주화와 취향 격차

1. 버튼 하나가 창작 접근성을 바꾼다

   1. 이제 디자이너도 엔지니어도 아닌 지구상의 거의 모든 사람이 버튼 하나를 눌러 전체 파워포인트(PowerPoint), 웹사이트(website), 웹 앱(web app)을 만들 수 있다.
   2. 전문 지식 없이도 결과물을 만들 수 있다는 점은 매우 멋지고 마법 같은 변화다.
   3. 그러나 생성 비용이 사실상 0에 가까워지는 변화에는 결과물의 양이 품질을 압도하는 부작용이 따라온다.

2. 디자이너의 취향은 오랜 훈련의 산물이다

   1. 디자이너는 평생 많은 것을 접하고, 반복되는 패턴을 발견하고, 자기 관점(point of view)을 만들며 취향을 쌓는다.
   2. 정상적인 규범에서 약간 벗어나는 선택을 용기 있게 해보고, 무엇을 하지 말아야 하는지 배우고, 절제(restraint)를 익힌다.
   3. 이 과정은 시간과 기술을 요구하므로 일반 사용자가 디자인을 포함한 모든 영역에서 같은 취향을 개발하기는 현실적으로 어렵다.

3. 모두에게 전문가 취향을 요구할 수는 없다

   1. 슬롭을 없애는 해법을 “모든 사람이 먼저 취향을 가지면 된다”로 정하면 현실적이지 않다.
   2. 더 현실적인 방향은 일반 사용자도 훌륭한 것을 만들 수 있고, 자기 취향이 무엇인지 더 쉽게 이해하도록 도구를 만드는 것이다.
   3. Taste Labs가 취향을 개인에게만 요구하지 않고 시스템·데이터·검증의 문제로 바꾸려는 이유가 여기에 있다.

2.4. AI 슬롭의 세 가지 특징

1. 반복(repetition)

   1. 같은 것이 아주 많이, 계속해서 보이는 현상이다.
   2. 생성이 쉬워질수록 사람들은 빠르게 결과를 복제하고, 시스템은 이미 평균적으로 자주 등장한 패턴을 다시 선택한다.
   3. 반복은 결과가 특정 사람이나 상황을 위해 만들어졌다는 인상을 약화시키고 영혼 없는 느낌을 키운다.

2. 적합성 부족(lack of fit)

   1. 적합성(fit)은 특정한 맥락, 특정한 순간, 특정한 사람에게 결과가 “맞다”고 느껴지는 능력이다.
   2. 예를 들어 한 사람은 반려동물 가게(pet shop) 웹사이트를 요청하고 다른 사람은 금융 회사(finance firm) 웹사이트를 요청했는데, 두 디자인이 수렴해 똑같아진다면 이상하다.
   3. 사람이 두 작업을 정성껏 만들었다면 서로 다른 목적·대상·맥락을 반영해 반드시 같은 결과로 수렴하지는 않을 것이다.
   4. 결국 맥락을 이해하지 못한 채 반복되는 패턴이 적합성 부족을 만들고, 이것이 슬롭으로 이어진다.

3. 낮은 의도(low intent)

   1. 빨리 프롬프트를 입력하고 한 번에 결과를 얻으려는 원숏(oneshot) 사용 방식이 낮은 의도를 만든다.
   2. 더 근본적인 문제는 시스템이 사용자의 의도를 해석하는 단계(intent interpretation)를 충분히 갖추지 못했다는 점이다.
   3. 에이전트는 사용자가 막연히 가진 의도를 더 잘 이해하도록 돕고, 만들려는 대상에 색깔과 맥락을 추가해야 한다.
   4. 사용자의 말 그대로만 즉시 생성하는 대신, 무엇을 왜 만들려는지 드러내는 상호작용이 필요하다.

3. 슬롭을 정량화하는 연구 여정

무언가를 고치려면 먼저 이해하고 측정해야 하며, 주관적 영역도 충분히 구조화하면 검증 가능한 신호를 붙일 수 있다.

3.1. 측정 가능성에 대한 출발점

1. 이해와 측정이 해결의 선행 조건이다

   1. Thais는 문제를 고치려면 먼저 측정하고 먼저 이해해야 한다고 강조한다.
   2. Taste Labs가 주관적 영역을 조금 더 검증 가능한 형태로 바꾸려는 이유는, 그래야 품질에 측정값을 연결할 수 있기 때문이다.
   3. “좋다”와 “나쁘다”를 막연한 감상으로 남겨두지 않고, 관찰 가능한 특성·맥락·패턴으로 바꾸는 것이 연구의 출발점이다.

2. 슬롭을 실제로 측정할 수 있는지 묻는다

   1. 연구의 첫 질문은 슬롭을 정량적으로 측정하고 발견할 수 있는가였다.
   2. 인터넷 디자인이 시간에 따라 어떻게 변했는지, AI 생성 결과와 사람이 만든 결과가 어떻게 다른지 비교할 수 있는 데이터가 필요했다.
   3. 그 결과 단순한 인상비평이 아니라 특정 패턴의 빈도와 결합을 바탕으로 슬롭 가능성을 예측하는 방향으로 나아갔다.

3.2. 200만 개 웹사이트 분석

1. 10년에 걸친 웹 디자인 변화를 훑는다

   1. Taste Labs는 지난 약 10년의 웹사이트 200만 개 이상을 분석했다.
   2. 방식은 인터넷 아카이브인 웨이백 머신(Wayback Machine)을 시간축으로 훑는 것과 비슷했으며, 인터넷과 디자인이 어떻게 변해왔는지 추적했다.
   3. 분석 대상은 색상, 레이아웃 등 웹 디자인의 트렌드가 시간에 따라 어떻게 이동했는지를 보여주는 대규모 관찰 자료였다.

2. 사람이 만든 사이트와 AI가 만든 사이트를 비교한다

   1. 연구팀은 사람 손으로 만든 사이트와 AI가 생성한 사이트를 비교하기 위해 디자인 웹사이트 세트를 합성적으로(synthetically) 생성했다.
   2. 이를 통해 인간 제작물의 변화와 AI 생성물의 반복 패턴을 같은 분석 틀에서 살펴봤다.
   3. 합성 데이터는 AI 결과가 어떤 특성을 얼마나 자주 결합하는지 확인하고, 인간 제작물과의 차이를 찾는 데 사용됐다.

3.3. AI 이전의 동질화와 AI 이후의 가속

1. 인터넷은 AI 이전부터 어느 정도 수렴하고 있었다

   1. 인터넷의 동질화(collapse)는 AI가 등장하기 전에도 이미 관찰됐다.
   2. 사이트들이 더 비슷한 색상 팔레트와 더 비슷한 레이아웃을 사용하기 시작했다.
   3. 디자인 트렌드가 점점 더 빠르게 퍼지는 것이 이런 사전 수렴의 한 원인으로 해석됐다.

2. AI는 반복을 맥락과 무관하게 확대한다

   1. AI가 등장한 뒤에는 반복이 훨씬 강해졌고, 특정 맥락을 고려하지 않은 채 패턴이 나타나는 정도도 커졌다.
   2. 서로 완전히 다른 분류·용도의 사이트에서도 비슷한 디자인 패턴이 보였다.
   3. 반려동물 가게와 금융 회사처럼 요구사항이 다른 사례가 같은 평균적 미감으로 수렴하는 것이 AI 슬롭의 대표적인 문제다.
   4. 따라서 AI 슬롭은 단순히 사이트가 못생겼다는 문제가 아니라, 맥락별 차이를 지우는 통계적 반복 현상으로 볼 수 있다.

3.4. 프로브(probe)와 작은 분류기

1. 패턴 마이닝으로 관찰 특성을 추출한다

   1. Thais가 프로브(probe)라고 부르는 시스템은 대규모 데이터에서 패턴을 채굴(pattern mining)하는 데서 시작한다.
   2. 색상(colors), 타이포그래피(typography), 레이아웃(layout), 대상 독자(audience) 같은 특성을 추출한다.
   3. 추출한 특성을 더 객관적이고 구조화된 단위로 정제해, “이 사이트에 이 패턴이 있는가”처럼 판단할 수 있게 만든다.

2. 각 특성을 감지하는 베이비 클래시파이어를 훈련한다

   1. 각 프로브는 하나의 특성을 감지하도록 훈련된 작은 분류기(baby classifier)처럼 작동한다.
   2. 특정 색상·타이포그래피·레이아웃 조합처럼 슬롭 사이트에서 반복적으로 보이는 신호를 찾아낸다.
   3. 개별 프로브 하나만으로 모든 품질을 판정하는 것이 아니라, 여러 특성이 함께 나타나는지를 확인한다.

3. 프로브의 결합이 슬롭 가능성을 예측한다

   1. 여러 프로브가 동시에 자주 활성화될수록 해당 사이트가 AI 슬롭일 가능성이 높아진다.
   2. 이 결합 빈도를 사용하면 슬롭을 측정하고 예측하는 일이 가능해진다.
   3. 연구에서는 그런 예측 능력이 매우 높게 나타나 흥미로운 결과를 얻었다.
   4. 수치로 공개된 정확도는 없지만, 이 방식은 대부분의 LLM-as-a-judge 방식보다 좋은 성능을 보였다.

4. LLM 판정만으로는 놓치는 정량적 신호를 잡는다

   1. LLM-as-a-judge는 LLM에게 결과가 훌륭한 인간 품질인지 AI 생성 슬롭인지 직접 판정하게 하는 방식이다.
   2. 프로브 기반 접근은 여러 시각적 특성을 분해해 측정하므로, 하나의 전체적인 인상에 의존하는 판정과 다르다.
   3. 이 결과는 AI 슬롭이 단지 사람들이 느끼는 막연한 불쾌감이 아니라, 관찰하고 수량화할 수 있는 패턴이라는 점을 뒷받침한다.

4. 생성보다 비싸진 판단과 추론 시점의 문제

생성 비용이 0에 가까워질수록 무엇을 만들지, 무엇이 맞는지, 어디에서 멈출지를 결정하는 판단(judgment)이 희소하고 중요해진다.

4.1. 취향보다 먼저 말해야 할 것은 판단이다

1. 판단은 옳음을 식별하고 문제를 쪼개는 능력이다

   1. Thais는 생성 비용의 반대편에서 더 비싸지고 중요해지는 것을 굳이 “취향(taste)”이라고 부르기보다 “판단(judgment)”이라고 부르고 싶다고 말한다.
   2. 판단은 무엇이 맞는지 분별하는 능력이며, 문제를 실제로 이해할 수 있는 단위로 쪼개고 해결책을 만드는 능력이다.
   3. 인간의 판단은 생성물이 넘쳐나는 시대에 오히려 더 가치가 커진다.

2. 인간 판단과 도구 시스템을 함께 키워야 한다

   1. 사람의 판단을 대체할 수 있다고 가정하는 대신, 인간의 판단을 더 가치 있게 만드는 환경을 마련해야 한다.
   2. 동시에 문제의 일부를 처리할 올바른 도구와 시스템을 만들어야 한다.
   3. Taste Labs의 제품·연구는 인간의 감각을 없애는 것이 아니라, 그 감각이 필요한 지점을 구조화하고 시스템으로 보강하는 방향이다.

4.2. 모델 계층만 고치면 슬롭이 남는 이유

1. 모델 품질 개선은 필요하지만 충분하지 않다

   1. 많은 논의는 모델 계층에서 모델을 더 좋게 만들고 품질 기준을 높이면 슬롭을 없앨 수 있는지에 집중한다.
   2. Taste Labs도 모델을 개선하는 일이 반드시 해결돼야 하며, 그 작업을 매우 열심히 하고 있다고 인정한다.
   3. 그러나 모델의 사전 능력만 높이는 것으로 애플리케이션이 실제 사용자의 상황을 이해하는 문제까지 해결할 수는 없다.

2. 추론 시간(inference time)에 맥락과 의도가 들어온다

   1. 추론 시점은 에이전트가 최종 사용자와 실제로 상호작용하는 순간이다.
   2. 사용자와의 왕복(back-and-forth) 과정에서 맥락과 의도를 이해하는 일이 바로 이때 발생한다.
   3. 모델의 기본 능력만 개선하고 추론 시점의 문맥·의도·검증을 해결하지 않으면 슬롭은 계속 존재한다.
   4. 그래서 추론 시간 문제는 모델 계층 문제와 동등하거나, 경우에 따라 더 중요하다.

4.3. 반복을 줄이는 창의성 API

1. 에이전트의 영감 머신을 만든다

   1. 반복 문제에 대응하기 위해 Taste Labs는 “창의성 API(creativity API)”라는 이름을 임시로 붙인 시스템을 만들고 있다.
   2. 공식 명칭이 될지는 모르지만, 목적은 에이전트에 영감을 공급하는 영감 머신(inspiration machine)이 되는 것이다.
   3. 시스템은 에이전트가 이미 평균적으로 많이 본 결과가 아니라 분포 밖의 결과를 의도적으로 만들도록 돕는다.

2. 분포 밖 결과는 무작위성과 다르다

   1. 창의성을 모델의 온도(temperature)만 높여 무작위로 만드는 방식은 충분하지 않다.
   2. 온도를 올린 뒤 잘 되기를 손가락 걸고 기다리는 식의 접근은 통제된 창의성이 아니다.
   3. 먼저 특정 영역의 규칙과 기대(expectations)를 이해한 다음, 그 기준을 바탕으로 어디에서 벗어날지 결정해야 한다.

3. 규칙을 알고 선택적으로 깨야 한다

   1. 스타트업 피치 덱(pitch deck)을 만든다고 가정하면, 먼저 좋은 피치 덱이 일반적으로 어떤 모습인지 이해해야 한다.
   2. 그다음 모든 규칙을 버리는 것이 아니라 일부 규칙을 의도적으로 깨서 더 창의적인 결과를 만든다.
   3. 창의성은 상황과 완전히 어긋나는 무작위 행동이 아니라, 해당 범주의 기대를 유지하면서 몇 가지 선택에서 의도적으로 벗어나는 것이다.
   4. 범주에 대한 적합성(adherence)을 지키면서 차이를 만드는 이 균형이 평균으로 수렴하는 슬롭과 구별되는 지점이다.

4.4. 브랜드라는 이미 만들어진 품질 기준을 활용한다

1. 훌륭한 브랜드에는 수십 명의 디자이너가 투입된다

   1. 훌륭한 브랜드는 수십 명의 디자이너가 공예적 완성도, 사고, 배려를 투입해 만든 결과다.
   2. 브랜드 작업은 해당 회사에 무엇이 훌륭한지 이미 어느 정도 정의해 둔 사전 작업(pre-work)이다.
   3. 문제는 많은 AI 시스템이 이렇게 이미 만들어진 기준을 충분히 활용하지 않고, 매번 평균적인 결과를 새로 생성한다는 점이다.

2. 브랜드 적합성(adherence)을 지키지 못하는 문제가 크다

   1. 자막의 “brand endurance”로 들리는 표현은 문맥상 브랜드 적합성 또는 브랜드 충실도(brand adherence)를 가리킨다.
   2. 특정 회사의 색상·레이아웃·타이포그래피·말투가 이미 정해져 있어도 에이전트가 그 기준을 지속적으로 따르지 못하면 품질 기준이 쉽게 무너진다.
   3. 브랜드에 대한 충실도를 높이는 일은 창작물을 매번 새로 평가하는 것보다 상대적으로 직접적이고, 품질의 바닥을 빠르게 끌어올릴 수 있다.

4.5. 브랜드 API: 흐릿한 브랜드를 에이전트가 따를 수 있는 시스템으로

1. 첫 공개 제품과 현재 상태

   1. 브랜드 API(brand API)는 Taste Labs가 대중에게 출시하는 첫 번째 제품이다.
   2. 발표 시점에 여러 디자인 파트너(design partners)와 이미 베타 테스트를 진행하고 있다.
   3. 목표는 브랜드를 단순한 영감 이미지나 긴 문서로 남겨두지 않고 에이전트가 실행할 수 있는 구조로 변환하는 것이다.

2. 브랜드 URL에서 구체적인 구성요소를 추출한다

   1. 사용자가 브랜드 URL을 넣으면 API가 해당 브랜드를 분석해 에이전트가 따를 수 있는 매우 구체적인 구성요소로 추출한다.
   2. 흐릿하고 큰 개념인 브랜드를 색상·서체·레이아웃·표현 방식 등 구조화된 단위로 바꾼다.
   3. 구조화된 결과는 에이전트가 결과물을 만들 때 참고할 수 있고, 사용자가 결과물을 평가할 때 비교 기준으로도 사용할 수 있다.

3. 생성과 검증을 한 흐름으로 묶는다

   1. API는 에이전트가 더 나은 결과를 만들게 하는 데서 끝나지 않고, 에이전트가 계속 기준을 지키는지 판단할 수 있게 해야 한다.
   2. 사용자는 “에이전트가 실제로 궤도를 유지하고 있는가”, “브랜드를 잘 따르고 있는가”, “어디에서 실패했는가”를 확인할 수 있어야 한다.
   3. 이 검증 흐름은 슬롭을 통과시키지 않는 게이트(gate)처럼 작동할 수 있다.
   4. 앞서 말한 베이비 클래시파이어도 이런 게이트의 예가 될 수 있으며, 에이전트가 슬롭을 출시하지 못하도록 막는 데 사용될 수 있다.

4.6. 브랜드가 없는 일반 사용자를 위한 시스템 저장소

1. 모든 사용자가 브랜드를 갖고 있지는 않다

   1. 기존 브랜드 URL을 추출하는 흐름은 이미 정체성과 기준을 가진 회사에 적합하다.
   2. 하지만 앱을 사용하는 일반 소비자는 자기만의 브랜드 시스템이 없을 수 있다.
   3. 이때 “나는 몽환적인(dreamy) 결과를 원한다”처럼 느낌만 말하면, 매 순간 새로 생성하는 방식은 다시 평균적인 슬롭에 빠질 수 있다.

2. 미리 생각해 둔 브랜드 시스템을 검색한다

   1. Taste Labs는 일종의 브랜드 저장소(repository) 또는 인덱스(index)를 만들고 있다.
   2. 저장소에는 이미 만들어지고 서로 일관성을 갖도록 설계된 사전 생성 브랜드 시스템(pre-created brand systems)이 들어간다.
   3. 사용자가 몽환적인 결과를 원하면 즉석에서 무작위로 디자인을 생성하기보다, 이미 응집성(cohesion)을 갖춘 몽환적 브랜드 시스템을 검색해 가져올 수 있다.
   4. 검색·재사용 방식은 매번 생성하는 방식보다 스타일의 일관성과 품질을 보장하기 쉽고, 반복·부적합·낮은 의도라는 슬롭의 세 기둥을 피하는 데 유리하다.

4.7. 실제 사례: General Intelligence Company of New York

1. 브랜드 원본과 기본 에이전트 결과를 비교한다

   1. 사례로 뉴욕의 General Intelligence Company of New York를 소개하며, 매우 인상적인 웹사이트를 가진 회사라고 평가한다.
   2. 회사의 브랜딩으로 슬라이드 덱을 만들어 달라고 Claude Design에 요청하면, 기본적으로 생성되는 결과가 원래 브랜드와 상당히 다르게 나온다.
   3. 시각 자료의 왼쪽은 회사의 원래 브랜드, 가운데는 추출을 사용하지 않은 기본 결과, 오른쪽은 브랜드 추출을 생성 과정에 반영한 결과다.

2. 브랜드 추출이 충실도를 높인다

   1. 브랜드 추출을 생성 과정에 사용하면 결과가 원래 브랜드와 훨씬 높은 충실도(high fidelity)를 보인다.
   2. 큰 색상이나 레이아웃만 비슷해지는 것이 아니라, 세부사항에서도 원래 브랜드에 맞고 “느낌이 옳다”고 받아들일 수 있다.
   3. 사례의 핵심은 브랜드 API가 에이전트의 창작성을 없애는 것이 아니라, 창작이 벗어나면 안 될 기준을 제공한다는 점이다.
   4. 기준을 구조화하면 생성 결과와 브랜드 원본 사이의 차이를 판단하고, 실패 지점을 다시 고칠 수 있다.

5. 인간 취향의 가치와 먼저 올려야 할 품질 기준

인간의 최고 수준 취향과 공예는 계속 중요하지만, 당장의 과제는 모델이 그 정점에 도달하는지 논쟁하기 전에 낮게 깔린 품질의 바닥을 끌어올리는 일이다.

5.1. 인간의 최고 수준 공예는 여전히 깊이 가치 있다

1. 인간 취향을 값싼 것으로 만들 수 없다

   1. 인간의 취향(human taste)과 인간 공예의 정점(peak of human craft)은 앞으로도 깊이 가치 있을 것이라는 데 대부분의 사람이 동의할 수 있다.
   2. 많은 시간 동안 관찰하고 선택하고 절제하며 만든 결과가 주는 특별함은 단순한 평균 패턴 복사와 다르다.
   3. AI가 결과물을 대량 생산한다고 해서 인간의 관점·배려·진정성이 무의미해지는 것은 아니다.

2. 정점에 도달할 수 있는지 논쟁할 단계가 아니다

   1. 현재 모델이 인간 취향의 정점에 도달할 수 있는지 논쟁하는 것은 아직 이르다.
   2. 지금의 품질 기준은 바닥에 가까워, 먼저 모델과 에이전트가 기본적인 적합성·일관성·의도를 충족하게 만드는 일이 시급하다.
   3. 논쟁의 초점을 “AI가 최고 수준의 인간 취향을 완전히 재현하는가”에서 “평균적 슬롭보다 확실히 나은 결과를 꾸준히 내는가”로 옮겨야 한다.

5.2. 분해와 측정으로 품질의 바닥을 높인다

1. 문제를 쪼개면 개선 지점이 보인다

   1. 디자인을 색상·대비·정렬·타이포그래피·레이아웃·대상 독자·브랜드 적합성·사용자 의도 같은 요소로 나누면 무엇이 문제인지 더 분명해진다.
   2. 객관화할 수 있는 요소에는 규칙과 분류기를 적용하고, 의견이 갈리는 미학에는 데이터와 인간 판단을 적용할 수 있다.
   3. 이 구분은 하나의 거대한 “취향 모델”을 만들려는 대신, 각 문제에 알맞은 학습·생성·검증 절차를 선택하게 한다.

2. 측정은 품질 개선의 공통 언어가 된다

   1. 프로브로 반복을 감지하고 브랜드 API로 적합성을 비교하면 결과가 왜 실패했는지를 말할 수 있다.
   2. 추론 시점의 상호작용에서 사용자의 맥락과 의도를 보강하면 낮은 의도의 원숏 생성도 줄일 수 있다.
   3. 인간의 판단과 시스템 검증을 결합하면 “그냥 마음에 안 든다”를 넘어 어떤 특성이 품질을 낮췄는지 설명할 수 있다.
   4. 이렇게 문제를 분해하고 측정하는 모든 작업의 목적은 인간 취향의 정점을 즉시 복제하는 것이 아니라, 최소한의 품질 기준을 현실적으로 높이는 것이다.

주요 발언 모음

“AI 슬롭을 어떻게 끝낼 것인가? 슬롭은 나의 개인적인 적이다.” — “How do we end AI slop? It’s my personal enemy.”

“주관적 영역을 해독해야 한다.” — “To solve this problem of slop, we have to decode subjective domains.”

“무언가를 고치려면 먼저 측정하고 먼저 이해해야 한다.” — “In order to fix something, you first have to measure it and first have to understand it.”

“생성 비용이 0에 가까워질수록 더 비싸지고 중요해지는 것은 판단이다.” — “As the cost of production basically goes to zero, the thing that becomes expensive and matters more than ever is judgment.”

“창의성은 온도를 높이고 잘 되기를 바라는 무작위성이 아니다.” — “It’s not just about turning up the temperature of a model and fingers crossed hoping for the best.”

“먼저 바닥에 놓인 품질 기준을 끌어올려야 한다.” — “How do we first just raise the bar? The bar is really on the ground.”

핵심 데이터·수치

• 200만 개 이상: 약 10년간의 웹사이트를 웨이백 머신과 비슷한 방식으로 분석한 규모다.
• 약 10년: 인터넷과 디자인의 동질화 및 AI 생성 패턴을 비교하기 위해 훑은 시간 범위다.
• 3가지 슬롭 특성: 반복(repetition), 적합성 부족(lack of fit), 낮은 의도(low intent)다.
• 2개 작업 계층: 프런티어 랩과 함께 모델을 평가·훈련하는 모델 계층, 에이전트와 앱의 맥락·판단·검증을 돕는 애플리케이션 계층이다.
• 2개 대표 제품·시스템 방향: 반복을 줄이는 창의성 API와 브랜드 적합성을 구조화·검증하는 브랜드 API다.
• 수십 명의 디자이너: 훌륭한 브랜드 하나를 만드는 데 들어가는 공예·사고·배려의 인력 규모를 비유적으로 제시한 수치다.
• 0에 가까운 생성 비용: 버튼 하나로 파워포인트·웹사이트·웹 앱을 만들 수 있게 된 생성 경제의 변화를 가리킨다.
• 정량 정확도 미공개: 프로브의 “매우 높은” 슬롭 예측 능력은 언급됐지만, 구체적인 정확도·비율·벤치마크 수치는 제시되지 않았다.

결론 및 시사점

1. AI 품질 문제는 코딩·수학처럼 정답이 분명한 영역의 성능 향상만으로 끝나지 않으며, 디자인·글쓰기 같은 주관적 영역의 평가 체계를 별도로 설계해야 한다.
2. “좋은 디자인”을 하나의 막연한 점수로 만들기보다 색상, 대비, 정렬, 타이포그래피, 레이아웃, 대상 독자, 브랜드 적합성으로 분해해야 한다.
3. 반복적으로 나타나는 시각적 특성은 프로브와 작은 분류기로 정량화할 수 있으며, 여러 신호의 결합은 LLM 단독 판정보다 실용적인 슬롭 게이트가 될 수 있다.
4. 생성 비용이 낮아진 만큼 사용자 의도 해석, 맥락 수집, 결과 검증에 제품 설계와 비용을 투자해야 한다.
5. 창의성은 무작위성이나 온도 조절이 아니라, 해당 분야의 규칙과 기대를 이해한 뒤 일부를 의도적으로 깨는 통제된 일탈이어야 한다.
6. 브랜드는 이미 수십 명의 디자이너가 만든 품질 기준이므로, 에이전트가 매번 새로 추측하게 하지 말고 URL에서 실행 가능한 시스템으로 추출해야 한다.
7. 브랜드 API는 생성 지침과 검증 기준을 동시에 제공해 에이전트가 브랜드를 따르는지, 어디에서 실패하는지, 슬롭을 출시하려는지를 판별하게 한다.
8. 브랜드가 없는 일반 사용자에게는 즉석 생성보다 일관성 있게 설계된 브랜드 시스템 저장소를 검색하게 하는 편이 안정적이다.
9. 인간의 취향과 공예는 계속 희소하고 가치 있지만, 현 단계에서 먼저 해야 할 일은 모델이 인간의 정점에 도달하는지 논쟁하는 것이 아니라 품질의 바닥을 높이는 것이다.
10. Taste Labs의 전체 접근은 인간 판단을 폐기하는 대신, 판단이 필요한 부분을 구조화하고 측정·생성·검증 시스템으로 보강하는 방향이다.

핵심 요약 (20줄)

1. AI 슬롭을 줄이려면 코딩과 수학에 쏟은 모델 개선 노력을 디자인과 글쓰기에도 확장해야 한다.
2. Taste Labs는 스텔스에서 나온 지 몇 주 된 회사로 AI 슬롭을 개인적인 적으로 삼고 있다.
3. 디자인은 흐릿한 취향의 덩어리가 아니라 평가 가능한 세부 문제들의 집합으로 분해할 수 있다.
4. 색상 팔레트·대비·정렬은 맥락을 구체화하면 전문가 합의에 가까운 기준으로 평가할 수 있다.
5. 미학처럼 전문가 의견이 갈리는 영역은 단일 정답보다 실제 선호 데이터에 기대야 한다.
6. 앱 계층의 오프더셸프 모델은 스타일을 평균으로 붕괴시키므로 문맥과 판단을 별도로 보강해야 한다.
7. 훌륭한 결과는 독특함·주의 환기·세부 공예·배려·진정성이 결합될 때 특별하게 느껴진다.
8. 버튼 하나로 누구나 파워포인트·웹사이트·웹 앱을 만드는 능력은 생성 비용을 거의 0으로 낮췄다.
9. 디자이너의 취향은 노출·패턴 인식·관점·규범을 벗어나는 용기·절제를 오랜 시간 훈련한 결과다.
10. 모든 사용자에게 전문가 취향을 요구하기보다 훌륭함과 자신의 취향을 쉽게 이해하게 해야 한다.
11. AI 슬롭은 반복·특정 맥락과 맞지 않는 결과·낮은 의도라는 세 가지 특성으로 드러난다.
12. 반려동물 가게와 금융 회사의 웹사이트가 같은 모습으로 수렴하면 맥락 적합성이 사라진 것이다.
13. Taste Labs는 약 10년간의 웹사이트 200만 개 이상을 분석해 디자인 동질화와 AI 반복을 비교했다.
14. 인터넷은 AI 이전에도 비슷한 팔레트와 레이아웃으로 수렴했지만 AI가 그 반복을 맥락과 무관하게 가속했다.
15. 색상·타이포그래피·레이아웃·대상 독자에서 추출한 프로브를 조합하면 슬롭을 정량적으로 예측할 수 있다.
16. 프로브 기반 방식은 LLM에게 인간 품질과 AI 슬롭을 직접 판정시키는 다수의 LLM-as-a-judge 방식보다 잘 작동했다.
17. 생성 비용이 0에 가까워질수록 옳음을 분별하고 문제를 쪼개는 판단의 가치가 커진다.
18. 창의성 API는 규칙과 기대를 이해한 뒤 일부를 의도적으로 깨서 에이전트가 평균 밖의 결과를 만들게 한다.
19. 브랜드 API는 브랜드 URL을 에이전트용 구성요소와 검증 기준으로 바꿔 원래 브랜드에 높은 충실도로 결과를 맞춘다.
20. 인간 취향의 정점을 당장 복제하려 하기보다 문제를 분해하고 측정해 AI 품질의 바닥부터 끌어올려야 한다.