AI 글이 여전히 슬롭처럼 읽히는 이유

title: "AI 글이 여전히 슬롭처럼 읽히는 이유" title_original: "Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI" video_id: "_dTF3NpPzGo" url: "https://www.youtube.com/watch?v=_dTF3NpPzGo" date: "2026-10-22" published_at: "2026-10-22" channel: "aiDotEngineer (AI Engineer)" duration: "19:02" tags: [YouTube다이제스트, AI, 글쓰기, ToneBench, 평가]

📌 핵심 질문 / 핵심 주장

생성형 AI의 글이 왜 유창해져도 여전히 ‘슬롭(slop)’처럼 읽히며, 그 문제를 어떻게 측정하고 줄일 수 있을까? 글쓰기 품질은 유행어 탐지나 한 번의 인상 점수로 환원되지 않는다. 말투, 이야기의 완성도, 지시 준수, 조사 정확도, 반복·일반론·환각을 아우르는 평가와 실제 사람의 검토가 필요하다. ToneBench는 특정 작가의 목소리로 영상 대본을 작성하는 능력을 다면 평가하고, 목표에 도달하기까지 편집자를 덜 괴롭히는 모델을 고르도록 설계됐다.

• ‘슬롭’은 반복적으로 쓰이는 AI식 어휘뿐 아니라 내용의 공허함, 반복, 부정확성, 목소리 부재까지 포함한다.
• 열 개 대본 과제에서 모델별 다섯 초안을 만들고 네 종류 LLM 심사자로 아홉 지표를 평가한다.
• 창작 작업에서는 한 번의 최고 결과보다 평균적인 편집 부담과 사람의 최종 검토가 중요하다.

1. 슬롭의 정의와 벤치마크 필요성

1.1 슬롭은 여섯 가지 결함이 겹친 글쓰기 품질 문제다

1. 과용되는 AI식 어휘(overused words)

   1. ‘delve’처럼 일상적으로 거의 쓰지 않지만 모델이 반복해서 꺼내는 단어가 생성된 티를 낸다.
   2. 문제는 단어 하나를 금지하는 데서 끝나지 않는다. 익숙한 상투어가 문장 전체를 자동 생성물처럼 보이게 하는 패턴이 핵심이다.

2. 지나친 일반론(vague generalities)

   1. ‘대부분의 팀’, ‘대부분의 프로젝트’처럼 범위를 넓게 잡으면서 구체적인 사람·사례·맥락은 주지 않는다.
   2. 글쓴이도 LinkedIn에서 이런 식의 일반론을 쓴 적이 있다고 인정하며, 플랫폼에서 통용되는 게시물 문법과 슬롭이 맞물릴 수 있음을 짚는다.

3. 정보가 없는 그럴듯한 문장(saying nothing)

   1. 듣기 좋은 단어를 매끄럽게 연결하지만 독자가 새로 알게 되는 사실이나 주장, 실행 가능한 내용은 남기지 않는다.
   2. 문장 표면의 유창함과 내용의 밀도는 별개의 품질 축이다.

4. 자기 반복(repetition)

   1. 이미 말한 내용을 표현만 바꿔 다시 반복해 글을 늘린다.
   2. 공허한 일반론과 결합하면 분량은 길어져도 정보량은 거의 증가하지 않는다.

5. 환각(hallucination)과 신뢰성 결여

   1. 조사 자료를 잘못 쓰거나 근거에 없는 내용을 만들어 낸다.
   2. 문장이 자연스럽다는 이유만으로 사실성을 보장할 수 없으므로 연구·근거에 비춰 정확도를 따로 평가해야 한다.

6. 목소리와 어조의 부재(wrong tone / no tone)

   1. 특정한 저자의 표현 습관을 재현하지 못하거나, 서로 다른 사람의 말투를 한꺼번에 뒤섞은 듯한 문장을 만든다.
   2. 저자가 실제로 공유할 법한 생각·사례·표현이 빠지면 글은 기술적으로 맞더라도 ‘내가 쓴 글’처럼 들리지 않는다.

1.2 모델 성능 향상만으로 슬롭이 사라지지 않는다

1. 생성 콘텐츠의 확산

   1. LinkedIn과 X에서 생성형 콘텐츠가 늘고 댓글·답글까지 자동 생성물로 채워지는 상황이 벤치마크의 사회적 배경이다.
   2. 모델이 더 좋아져도 슬롭은 사라지기보다 더 많은 콘텐츠로 확장될 수 있으므로 단순히 모델을 더 학습시키는 접근만으로는 충분하지 않다.

2. Towards AI의 실제 제작 부담

   1. 교육 사업부는 AI 엔지니어링 교육 콘텐츠를 만들며 AI를 업무에 사용한다. 수백 편의 영상을 공개했고, 수천 편의 글을 냈으며, 책 한 권을 출간하고 두 번째 책을 준비 중이다.
   2. 작은 팀에서 생성 초안을 계속 읽고 슬롭을 고치는 일은 특히 번거롭다. 더 나은 초안을 만드는 모델을 선별할 실무 기준이 필요했다.

3. 평가 경험과 팀 구성

   1. Louis-François Bouchard는 석·박사 과정부터 AI 모델 평가를 해왔고, Towards AI는 고객사 평가 파이프라인도 구축한다.
   2. 팀에는 AI 엔지니어 15명과 콘텐츠 제작에 참여하는 창작 작가·편집자가 있어 평가 설계와 실제 글쓰기 검토를 함께 할 수 있다.

2. ToneBench의 목적과 평가 설계

2.1 ‘내 목소리로 쓴 대본’을 실용적인 목표로 삼는다

1. 주관성을 숨기지 않는 목표 정의

   1. ToneBench는 모델이 Louis의 말투로 글을 쓸 수 있는지를 측정한다. 모든 사람에게 통하는 보편적 글쓰기 정답을 제시하는 시험은 아니다.
   2. 결과를 소리 내 읽을 때 자신이 쓰지 않을 표현 때문에 민망하지 않은지를 실용적인 판별 기준으로 삼는다.

2. 모델에 주는 입력은 단순한 한 줄 프롬프트가 아니다

   1. 매 과제에 주제 브리프와 조사 자료(research brief), 저자의 말하기·쓰기 방식, 이전 영상 대본 사례를 넣는다.
   2. 스토리텔링 원칙, 능동태(active sentences), 좋은 글을 쓰는 일반 지침과 그 과제에서 만들어야 할 결과물의 형식·요구사항도 명시한다.
   3. 목표는 모델이 주어진 조사에 기반해 저자가 실제로 썼을 법한 영상 대본 한 편을 완성하게 하는 것이다.

3. 열 개 과제와 오염 점검

   1. 현재 벤치마크에는 공들여 만든 대본 과제 열 개가 있다. 공개된 대본과 아직 공개하지 않은 대본을 함께 사용한다.
   2. 어떤 자료가 평가에 들어가는지 숨겨 두어 모델이 이미 공개된 답을 학습하거나 기억한 데서 점수를 얻는 벤치마크 오염(contamination)을 점검한다.
   3. 과제별 평가 기준(rubric)을 만들고 이를 LLM 심사자가 모델 출력을 평가할 때 사용한다.

2.2 모델별 다섯 초안으로 결과 편차를 측정한다

1. 전체 평가 매트릭스

   1. 발표 당시 약 120개 모델을 평가 대상으로 삼았다.
   2. 각 모델은 열 개 과제마다 대본을 생성하며, 과제당 다섯 개 초안을 만든다. 이후 서로 다른 네 종류의 LLM 심사자가 결과를 분석해 최종 리더보드 점수를 산출한다.
   3. 추가 시험으로 특정 심사 모델(Jev로 들리는 이름)을 넣어 보았지만 계속 사용할지는 결정하지 않았다고 밝혔다.

2. 다섯 초안은 모델 내부 편차(intra-model variability)를 드러낸다

   1. 창작 작업은 같은 모델도 실행마다 결과 차이가 크다. 다섯 개를 보면 운 좋게 잘 나온 한 편이 모델의 전형적인 능력으로 오인되는 일을 막을 수 있다.
   2. 한 모델은 다섯 결과 중 단 한 편에서만 최고급 모델 Opus 5.5에 맞먹는 점수를 내는 이상치(outlier)를 보였다.
   3. 전반적으로 모델의 글쓰기 능력이 낮을수록 초안 간 점수 편차가 넓게 나타났다.
   4. 다섯 회는 평가 비용과 변동성 관찰 사이에서 선택한 절충점이다.

2.3 아홉 지표를 다섯 평가 축으로 묶는다

1. 평가하는 다섯 가지 큰 영역

   1. 말투(tone): 모델이 지정된 저자의 목소리에 맞게 조정되는가.
   2. 글쓰기 품질(writing quality): 도입부(hook), 감정적 전환, 이야기의 흐름 등 좋은 스토리의 요소를 갖추는가.
   3. 지시 준수(instruction following): 분량과 형식을 지키고, 지정된 이미지와 구성 요소를 알맞은 위치에 배치하는가.
   4. 조사 정확도(research accuracy): 조사 브리프를 올바르게 사용하며 사실을 환각하거나 왜곡하지 않는가.
   5. 슬롭(slop): EQBench의 Slop Score와 자체 측정으로 상투적이고 빈약한 문장을 평가한다.

2. 세부 지표와 평가 근거

   1. 총 아홉 개 지표를 사용하되, 각 지표에는 정의·평가 방향·예시를 붙여 심사자 간 해석 차이를 줄인다.
   2. 심사자에게는 평가 대상 대본, 연구 브리프, 저자의 기준 대본과 평가 지침을 함께 전달한다. 지표별 설명과 사례는 약 1,000단어 규모이며, 전체 심사 프롬프트는 약 14,000 토큰에 이른다.
   3. 심사자는 글의 품질을 평가하고, 요구 길이 같은 기계적으로 확인 가능한 사항은 모델명을 가린 상태에서 코드로 따로 점검한다.

3. 말투 점수는 단계적 분류와 평점을 결합한다

   1. 가장 중요한 말투·목소리 지표에서 먼저 결과를 여섯 범주 중 하나로 분류한 뒤 해당 범주에 맞는 점수를 매긴다.
   2. 이 방식은 이진 판정, 범주만 부여하는 방식, 곧바로 백분율 점수만 주는 방식보다 주관적인 창작 품질을 평가하는 데 잘 작동했다.
   3. 각 점수에는 판단 이유와 실제 생성문 예시가 함께 들어가 점수를 검토할 수 있게 한다.

3. 심사 신뢰도, 사람 검토, 구축 비용

3.1 LLM 심사자는 모델 계열 편향을 보일 수 있다

1. 자기 선호와 계열 간 편향

   1. 심사자 모델은 자기 자신 또는 같은 모델 계열의 결과를 선호하는 경향이 있다. OpenAI 계열은 특정 모델 하나가 아니라 자사 계열 전체를 선호하는 현상이 특히 두드러졌다.
   2. Anthropic과 OpenAI가 서로를 싫어하도록 후속 학습(post-training)된 것 같다는 관찰은 발표자의 농담 섞인 해석이지 검증된 결론으로 제시된 것은 아니다.
   3. 특정 작업에 가장 좋은 모델을 찾을 때 한 계열의 심사자만 쓰지 말고 서로 다른 모델 계열의 판단을 비교해야 한다.

2. 수작업 A/B 평가로 사람의 판단을 보탠다

   1. 창작 글은 사람이 평가하는 편이 이상적이지만, 생성 결과가 수천 편이면 전부 수작업으로 읽는 방식은 현실성이 떨어진다.
   2. 저자 본인과 동료 세 명은 전체 대본을 통째로 비교하기보다 서로 비교 가능한 생성 대본 일부를 골라 1,000쌍의 A/B 선택을 수행했다.
   3. 이후 커뮤니티의 도움을 받아 인간 평가를 더 공개적으로 확장하고 싶지만, 영상 공개 시점에는 아직 진행 전이었다.

3.2 벤치마크 구축과 반복 실험은 비싸다

1. 초기 구축에 약 500시간 투입

   1. 대본 열 편을 만들고, 평가 루브릭과 예시를 정리하며, 글쓰기 품질을 수치화하는 방법을 고안하는 데 약 500시간이 들었다.
   2. 네 달 동안 네 개의 20x 구독을 사용해 벤치마크를 반복 실험·수정했고, 구독과 실행 비용으로 수천 달러를 썼다.

2. 작은 프롬프트 변경도 재평가 비용을 크게 만든다

   1. 심사 루브릭의 한 문장을 바꾸면 모델 결과를 다시 평가하는 데 2,000달러 이상 든다.
   2. 생성 모델 입력 프롬프트의 한 줄을 바꾸면 다시 실행하는 데 4,000달러 이상 든다.
   3. 프롬프트·평가기준을 자주 임의로 바꾸기보다, 변경 이유와 비교 계획을 먼저 세워 실험해야 한다.

4. 결과에서 얻은 모델 선택과 작성 전략

4.1 한 번의 최고점보다 지속적으로 편집하기 쉬운 모델을 고른다

1. 창작 글쓰기의 최적화 목표

   1. 한 번에 놀라운 글을 내는 모델을 찾기보다 원하는 결과에 도달할 때까지 덜 성가신 모델을 고르는 편이 실용적이다.
   2. 가까운 시일 안에 사람의 편집 없이 완벽한 글이 나올 것이라고 기대하지 말아야 한다.

2. 비용 대비 성능 비교

   1. 벤치마크에서 GLM 5.3 Flash는 성능이 매우 좋으면서도 가장 높은 결과를 보인 Opus 5.5 Extra High보다 약 50배 저렴했다.
   2. Opus 5.5 Extra High는 Max Thinking과 결과가 비슷하면서 약 2.5배 저렴했으므로, 글쓰기에서 더 비싼 Max Thinking을 항상 선택할 이유는 없다.
   3. 이 수치는 ToneBench의 저자 목소리·대본 과제에서 관찰된 결과다. 모든 글쓰기 업무에 그대로 일반화할 수는 없다.

4.2 상세 프롬프트와 제한된 피드백 루프를 사용한다

1. 긴 프롬프트에 긍정·부정 사례를 모두 넣는다

   1. 저자의 말투, 선호하는 구성, 원하는 표현을 구체적으로 설명하고, 쓸 수 있는 사례를 가능한 한 충분히 제공한다.
   2. 원치 않는 문체, 어색한 표현, 피해야 할 단어와 실패 사례도 명시한다.
   3. 뉴스레터처럼 기존 원문이 있다면 일부 발췌만 주기보다 전체 글을 제공할수록 결과가 나아질 수 있다.

2. 강한 심사자의 피드백은 한정된 횟수만 적용한다

   1. 더 높은 추론 능력을 가진 모델을 심사자로 한 번, 필요하면 최대 1~3회 정도 사용해 작성 모델에 같은 기준의 구체적 피드백을 준다.
   2. 반복해서 자기평가·수정을 시키면 개선 대신 같은 표현을 맴돌거나 슬롭이 다시 늘어나는 루프에 빠질 수 있다.
   3. 정량 분석은 제시하지 않았지만, 제한된 한 차례의 검토만으로도 결과 개선에 큰 도움이 됐다고 밝혔다.

3. 저가 모델 다중 초안과 고성능 선별을 결합한다

   1. API로 대량 생성할 때는 GLM 5.3 Flash 같은 저렴한 모델로 한 과제의 초안 열 편을 생성한다.
   2. Opus 같은 고추론 모델을 심사자로 두어 각 초안의 좋은 부분을 고르고 합치게 한다.
   3. 한 번의 Opus 5.5 생성에 전부 맡기는 것보다 비용을 줄이면서 더 나은 결과를 얻을 가능성이 있다고 제안한다.

4.3 인간 검토와 자체 평가 파이프라인은 여전히 필요하다

1. 벤치마크 점수는 참고 신호이지 절대 판정이 아니다

   1. ToneBench는 저자 한 명의 목소리를 측정하는 매우 주관적인 평가이며, 검증 표본도 하나의 작업 맥락에 한정된다.
   2. 높은 점수를 받은 모델이 모든 사람에게 글쓰기 최선의 모델이라는 뜻은 아니며, 점수를 맹목적으로 신뢰해서는 안 된다.
   3. 모델 간 글쓰기 능력과 상대적 슬롭을 가리는 강한 신호로 활용하고, 실제 게시물에는 사람 검토를 남긴다.

2. 자신의 작업에 맞춘 평가를 만든다

   1. 팀마다 독자·브랜드·작가의 목소리와 정확도 요구가 다르므로 자체 평가 파이프라인을 만들고 업무에 맞는 루브릭을 구성한다.
   2. ToneBench 공개 페이지에는 그래프, 모델 비교, 세부 구현과 방법론이 제공되며 이를 자체 벤치마크 설계의 참고 자료로 삼을 수 있다.

주요 발언 모음

“생성된 글처럼 느껴지는 글을 읽는 건 정말 별로다.”

“한 번에 놀라운 게시물을 뽑는 모델이 아니라, 원하는 결과에 도달할 때까지 가장 덜 성가신 모델을 골라야 한다.”

“창작 글쓰기에서는 완벽한 한 편보다 목표에 도달하기까지의 편집 부담이 중요하다.”

“사람의 검토를 완전히 건너뛸 수는 없다.”

핵심 데이터 & 수치

• 슬롭의 구성: 과용어, 일반론, 내용 부재, 반복, 환각, 목소리 부재의 여섯 결함.
• 과제 수: 대본 열 편. 일부 공개본과 비공개본을 함께 사용해 오염을 살핀다.
• 평가 규모: 발표 당시 약 120개 모델, 과제별 다섯 초안, 서로 다른 네 LLM 심사자.
• 평가 체계: 아홉 지표를 말투·글쓰기·지시 준수·조사 정확도·슬롭의 다섯 영역으로 묶는다.
• 말투 평가: 여섯 범주로 먼저 분류한 뒤 점수화한다.
• 인간 비교: 저자와 팀 동료 세 명이 약 1,000쌍의 A/B 선택을 직접 수행했다.
• 구축 비용: 초기 설계 약 500시간, 네 달간 네 개 20x 구독과 총 수천 달러.
• 재평가 비용: 심사 루브릭 한 문장 변경에 2,000달러 이상, 생성 프롬프트 한 문장 변경에 4,000달러 이상.
• 모델 비용 비교: GLM 5.3 Flash는 Opus 5.5 Extra High보다 약 50배 저렴했고, Extra High는 비슷한 결과의 Max Thinking보다 약 2.5배 저렴했다.
• 실무 제안: 저렴한 모델 초안 열 편을 고추론 심사자가 선별·통합하고, 사람은 최종 검토한다.

결론 및 시사점

1. 슬롭을 특정 금칙어로만 정의하면 내용의 공허함, 반복, 사실 오류, 말투 불일치를 놓친다. 실제 작업의 품질을 구성 요소별로 정의하고 여러 평가 축을 마련해야 한다.
2. 같은 모델도 생성마다 품질이 달라진다. 창작용 모델 비교에는 단일 샘플 대신 여러 초안과 편차 측정이 필요하다.
3. 심사 모델도 자기 계열 선호가 있으므로 모델 계열을 섞고, 사람의 비교 평가로 자동 심사의 편향을 점검해야 한다.
4. 저자 목소리를 재현하려면 긴 맥락과 좋은 예·나쁜 예를 제공하고, 고성능 모델의 피드백은 제한된 횟수로 사용한다.
5. 비용·품질을 함께 보려면 저가 모델의 다중 생성과 고성능 심사자의 선별을 조합하되, 게시 전 사람 검토를 유지한다.

핵심 요약 (20줄)

AI 글의 슬롭(sloppiness)은 특정 유행어 몇 개가 아니라 생성된 티가 나는 문장 전체의 품질 문제다. 대표 결함은 과용어, 막연한 일반론, 실질 정보 부재, 반복, 환각, 개성 없는 말투의 여섯 가지다. 모델 성능이 올라가도 슬롭이 줄지 않고 소셜 미디어에서 규모만 커져 별도 평가가 필요하다. Towards AI는 교육 콘텐츠 수백 개 영상과 수천 편 기사, 첫 책과 다음 책을 제작하며 AI 초안을 쓰고 있다. 작은 팀에서 반복적으로 초안의 슬롭을 검토·수정하는 부담이 창작 글쓰기 평가 기준을 만드는 직접 계기다. ToneBench는 특정 작가의 목소리를 모방해 영상 대본을 쓸 수 있는지를 측정하는 주관적 벤치마크다. 실용적 기준은 결과물을 소리 내 읽어도 본인이 쓰지 않을 표현 때문에 민망하지 않은지 여부다. 각 과제에는 조사 브리프, 저자의 과거 대본 사례, 말투·스토리텔링·능동태 지침과 출력 요구를 담는다. 평가 과제는 열 편이며 일부 공개본과 비공개본을 섞어 벤치마크 오염 여부도 살핀다. 각 모델은 과제별로 다섯 초안을 만들고 네 종류 LLM 심사자가 아홉 지표를 채점한다. 다섯 초안은 모델 내부 결과 편차를 드러내며 한 번의 우연한 고득점을 대표 성능으로 오인하지 않게 한다. 아홉 지표는 말투, 글쓰기 완성도, 지시 준수, 조사 정확도, 슬롭의 다섯 평가 축으로 묶인다. 심사자는 풍부한 예시와 기준으로 톤을 여섯 등급으로 분류한 뒤 세부 점수와 근거 사례를 제시한다. 모델 심사자는 자기 모델 계열을 선호할 수 있어 단일 심사자 대신 서로 다른 모델 계열을 섞어야 한다. 저자와 동료 세 명은 초안 일부를 대상으로 천 쌍의 A/B 비교를 수작업으로 수행했다. 벤치마크 구축에는 약 500시간이 들었고 루브릭 한 줄 변경은 2천 달러 이상 재평가 비용을 만들었다. 모델 입력 프롬프트 한 줄 변경도 4천 달러 이상을 유발해 실험 설계를 신중하게 해야 한다. 단발성 최고 글보다 원하는 결과까지 편집자의 수고를 덜어주는 모델이 창작 작업에 더 유용하다. 장문의 구체적 프롬프트에 긍정·부정 예시를 넣고 강한 모델의 제한적 피드백과 사람 검토를 결합한다. 저렴한 모델로 여러 초안을 뽑아 고추론 심사자가 선별·결합하면 품질과 비용을 함께 개선할 수 있다.