데이터 기업은 왜 측정할 수 없는 광고에 돈을 썼을까?

URL: https://www.youtube.com/watch?v=ptTlJpTNK_U 날짜: 2026-10-21 (YouTube 실제 발행일; 크론 실행일 2026-10-22) 채널: 김바비의 바비위키

---

메타데이터

• 원문 제목: Why a Data Company Spent Money on Unmeasurable Ads | BobbyWiki
• YouTube 표시 제목: 데이터 회사가 측정도 안 되는 광고에 돈을 쓴 이유 | 바비위키
• 영상 길이: 9분 39초
• 다룬 책: Alex Schultz, 《Click Here》
• 핵심 키워드: 증분 효과(incrementality), 대조군(control group), 검색광고, 브랜드 마케팅, 알파(alpha)

---

📌 핵심 질문 / 이 글이 답하는 질문

광고나 업무 방식 뒤에 성과가 나타났다는 이유만으로 그 행동을 성과의 원인이라고 볼 수 있는가? 결과 전체가 아니라 대조군과 비교해 실제 행동이 추가로 만든 증분 효과를 측정해야 한다.

• eBay는 검색광고를 끄고도 유입이 약 0.5%만 감소했으며, 키워드 광고의 순수 거래액 증가분은 0.66%에 그쳤다.
• 관찰된 성과에는 기존 고객의 자연 구매, 계절성, 경기 흐름, 운 등 행동과 무관한 요인도 섞인다.
• 측정 가능한 성과를 과장하지 않고 분석해 쌓은 신뢰는 측정이 어려운 브랜드 마케팅에 도전할 여지를 만든다.

---

1. eBay 검색광고 실험은 광고의 실제 추가 효과를 드러냈다

검색광고를 본 뒤 발생한 구매 전체가 광고의 성과는 아니다. 광고가 없어도 일어났을 거래를 제외한 순수 증가분이 광고의 증분 효과다.

1.1. 광고 중단으로 확인한 유입과 거래의 차이

1. 검색 키워드 광고의 작동 방식

   1. 검색 결과 상단 노출: 소비자가 상품이나 브랜드와 관련된 키워드를 검색할 때 광고를 상단에 노출해 커머스 사이트로 유입시킨다.
   2. 구매까지 연결하는 기대: 광고 클릭으로 방문한 소비자가 구매하면 광고가 거래를 만들었다고 보기 쉽다.
   3. 일상적인 예: 네이버에서 상품명이나 브랜드명을 검색했을 때 여러 쇼핑몰 광고가 먼저 표시되는 방식과 같다.

2. eBay의 실험 설계와 관찰

   1. 검색광고를 끔: eBay는 2012년 검색 키워드 광고를 중단하는 실험을 했다.
   2. 유입 감소는 약 0.5%: 광고가 사라졌지만 사이트 유입은 약 0.5%만 줄었다.
   3. 광고 클릭자의 대체 경로: 상당수 사용자는 광고를 누르는 대신 자연 검색 결과나 직접 탐색을 통해 eBay에 들어왔다.
   4. 클릭과 인과의 구분: 광고를 클릭했다는 사실은 광고가 없었으면 방문이나 구매가 일어나지 않았다는 증거가 아니다.

3. 단골 고객에게 집중된 광고비

   1. 기존 고객의 자연 구매: 자주 이용하는 고객은 광고가 있든 없든 원래 eBay에서 물건을 살 가능성이 높다.
   2. 검색 광고의 기여가 작음: 이들은 검색할 때 광고를 통해 들어오더라도 실제로는 광고가 없어도 구매했을 수 있다.
   3. 비용의 낭비 가능성: 광고 예산 상당 부분이 원래 고객이 될 사람에게 쓰이면, 광고 클릭과 매출은 잡혀도 순증분은 작다.
   4. 고객군별 차이: 신규 고객, 최근 구매가 없는 고객, 구매 빈도가 낮은 고객에게는 광고가 구매를 유도하는 효과가 더 크게 나타났다.

4. 총매출과 순증분의 격차

   1. 단골 매출의 비중: 전체 거래에서 단골 고객이 차지하는 비중이 크면 광고를 통한 구매가 많아 보여도 광고의 추가 기여는 제한된다.
   2. 광고비까지 반영: 광고로 생긴 작은 거래 증가분에서 광고비를 고려하면 실제 경제적 효과는 더 낮아질 수 있다.
   3. 증분 효과 0.66%: eBay 검색광고가 순수하게 늘린 거래액은 약 0.66%에 그쳤다.
   4. 광고 중단 결정: eBay는 낮은 증분 효과를 확인한 뒤 해당 키워드 광고를 중단했다.

1.2. 증분 효과는 대조군과 비교해 계산한다

1. 관찰된 결과와 추가로 생긴 결과

   1. 전체 결과: 광고를 본 집단에서 발생한 총 클릭이나 구매다.
   2. 자연 발생분: 광고가 없었어도 고객의 의도, 기존 브랜드 선호, 구매 습관 때문에 일어났을 결과다.
   3. 순수 증가분: 광고 노출 집단과 적절한 대조군의 차이로 추정하는 광고의 추가 효과다.

2. 대조군이 필요한 이유

   1. 행동이 없었을 때의 기준선: 같은 기간 광고를 보지 않은 비교 집단이 있어야 광고가 없었을 때의 결과를 추정할 수 있다.
   2. 교란 요인의 분리: 계절, 경기, 고객 구성의 변화처럼 광고 외의 원인이 결과를 움직일 수 있다.
   3. 예산 판단의 근거: 매출이나 클릭이 늘었는지만 보지 않고 광고비에 비해 실제 증가분이 충분한지 따져야 한다.

---

2. 성과를 행동의 공으로 돌리면 인과를 착각한다

결과가 행동 뒤에 나타났다는 시간적 순서만으로 그 행동의 효과를 확정할 수 없다. 기업 운영과 투자에서도 비교 기준을 두고 성과의 원인을 분해해야 한다.

2.1. 회사의 매출과 경영 성과에도 다른 원인이 섞인다

1. 추가 근무와 매출 증가의 사례

   1. 관찰한 변화: 직원들이 하루 한 시간씩 더 일한 뒤 매출이 20% 증가했다고 가정한다.
   2. 원인을 바로 확정할 수 없음: 추가 근무가 매출 증가를 일으켰는지, 계절 요인이나 특정 고객의 대량 구매 때문인지는 단순한 전후 비교로 알 수 없다.
   3. 효과의 크기도 미확정: 추가 근무가 실제로 기여했더라도 매출 증가 전체가 아니라 일부일 수 있다.

2. 경영 능력과 사업 환경의 구분

   1. 성공한 실적의 귀속: 경영자는 좋은 실적을 자신의 판단과 운영 능력 덕분이라고 해석하기 쉽다.
   2. 외부 조건의 영향: 산업의 호황이나 경기 사이클이 유리하게 맞아 실적이 좋아졌을 수도 있다.
   3. 비교 없는 자기평가의 한계: 성과만 보고 원인을 나누지 않으면 실제 역량의 효과를 과대평가할 수 있다.

2.2. 투자 수익은 시장 상승과 운을 걸러내야 한다

1. 상승장과 하락장의 자기평가

   1. 상승장의 자신감: 시장이 오를 때는 많은 투자자가 자신의 수익과 종목 선정 능력을 자랑한다.
   2. 하락장의 침묵: 시장이 내리면 자랑하던 투자 판단에 대한 이야기가 줄어든다.
   3. 수익의 혼합 원인: 개인의 수익률에는 투자 실력뿐 아니라 시장 흐름과 운도 반영된다.

2. 금융에서 말하는 알파

   1. 벤치마크 대비 초과성과: 알파는 시장 기준 수익률보다 얼마나 더 벌었는지를 평가하는 개념이다.
   2. 위험 보정: 단순히 변동성을 더 크게 감수한 대가로 수익이 늘어난 것인지 구분해야 한다.
   3. 기간과 운의 고려: 단기 성과에는 운의 영향이 클 수 있으므로 충분한 기간과 여러 조건을 두고 초과성과를 살핀다.
   4. 증분 효과와의 공통점: 시장이 만든 수익을 제외하고 투자 판단이 추가로 만든 부분을 찾는다는 점에서 금융의 알파는 마케팅의 증분 효과와 닮았다.

3. 측정과 비교의 규율

   1. 지표를 세분화: 결과 지표를 구체적으로 측정해 무엇이 변했는지 확인한다.
   2. 기준 집단과 비교: 대조군이나 벤치마크와 견주어 행동의 추가 기여를 판단한다.
   3. 성공 공식을 맹신하지 않기: 결과가 뒤따랐다는 이유만으로 특정 행동이나 도구를 반복해서는 안 된다.

---

3. eBay의 결과를 다른 기업에 그대로 적용할 수는 없다

증분 효과를 측정해야 한다는 원칙은 보편적이지만, eBay에서 효과가 작았다는 이유로 다른 기업의 검색광고도 무의미하다고 결론 내릴 수는 없다.

3.1. 브랜드 지배력에 따라 검색광고의 증분 효과가 달라진다

1. 유명 브랜드의 자연 유입

   1. eBay의 높은 인지도: eBay는 잘 알려진 커머스라 광고가 없어도 소비자가 자연스럽게 찾아와 구매할 수 있다.
   2. 낮은 광고 증분: 광고 클릭과 구매가 기록되어도 광고가 새로 만든 유입이 아니라 원래 발생할 방문일 수 있다.
   3. 기업별 차이: 브랜드 인지도와 기존 고객 기반이 약한 기업은 키워드 광고에서 더 큰 신규 유입과 구매 증가를 얻을 수 있다.

2. 실험 결과의 적용 범위

   1. 조건을 함께 봄: 효과는 브랜드 지위, 고객 충성도, 광고 대상 고객, 경쟁 상황에 따라 달라진다.
   2. 타사에 대한 검증 필요: eBay가 광고를 껐다는 사실만으로 다른 기업의 광고를 중단할 근거가 되지는 않는다.
   3. 자사 데이터로 판단: 자사 고객군과 대조군을 사용해 실제 추가 효과를 측정해야 한다.

3.2. 낮은 직접 효과와 방어 효과를 함께 고려한다

1. 경쟁사의 키워드 광고

   1. 경쟁사 노출: 한 기업이 광고를 멈춘 동안 경쟁사가 같은 검색어에 광고를 내면 고객이 경쟁사 사이트로 이동할 수 있다.
   2. 이탈 방지 목적: 자사 광고의 직접 증분이 낮더라도 경쟁사에 고객을 빼앗기지 않으려는 방어 목적이 생길 수 있다.
   3. 순효과 계산: 광고의 직접 증가뿐 아니라 광고 중단 시 발생할 이탈과 경쟁사의 노출 효과도 함께 평가한다.

2. 결과를 흉내 내는 오류

   1. 표면적 모방: “eBay가 효과가 없어 광고를 중단했으니 우리도 중단하자”는 판단은 eBay와 자사의 조건을 비교하지 않는다.
   2. 증분 효과의 무시: 다른 기업의 결론을 그대로 따르는 것은 결과를 보고 행동하는 방식이며, 정작 자사에서 광고가 만든 추가 효과는 측정하지 않는다.
   3. 올바른 결론: 광고를 할지 말지는 타사의 사례가 아니라 자사 데이터와 목표에 따라 정한다.

---

4. 측정 가능한 성과가 측정하기 어려운 브랜드 마케팅의 신뢰를 만든다

퍼포먼스 마케팅과 브랜드 마케팅은 서로 다른 도구처럼 불리지만, 브랜드에 대한 인식도 궁극적으로 제품의 성과와 연결된다. 측정 가능한 업무에서 신뢰를 쌓으면 불확실성이 큰 캠페인에도 투자할 수 있다.

4.1. 퍼포먼스와 브랜드 마케팅의 차이와 연결

1. 퍼포먼스 마케팅

   1. 즉각적인 지표: 클릭, 전환, 구매처럼 빠르고 수치화하기 쉬운 반응을 목표로 한다.
   2. 측정의 용이성: 결과를 곧바로 집계할 수 있어 예산 대비 성과를 비교하기 쉽다.

2. 브랜드 마케팅

   1. 인식의 변화: 호감도와 브랜드 인지도를 쌓는 것을 목표로 한다.
   2. 성과의 지연과 불확실성: 인식이 바뀐 뒤 구매로 이어지기까지 시간이 걸리며, 단일 캠페인의 기여를 숫자로 분리하기 어렵다.

3. 두 영역을 나누는 데 대한 Schultz의 관점

   1. 성과는 모든 마케팅의 목적: 브랜드 마케팅도 사람들의 인식을 바꿔 궁극적으로 제품 성과를 내려고 한다.
   2. 용어의 이분법에 대한 거부: Schultz는 ‘퍼포먼스 마케팅’이라는 용어를 좋아하지 않으며 두 영역의 이분법을 없애고 싶다고 말한다.
   3. 다른 시간축과 측정 난이도: 퍼포먼스와 브랜드는 성과의 형태와 관찰 시점이 다르지만, 서로 단절된 목적은 아니다.

4.2. 왓츠앱의 루이스 해밀턴 캠페인과 신뢰

1. 메타가 직면한 의사결정

   1. 측정이 까다로운 대형 이벤트: 왓츠앱이 루이스 해밀턴을 앞세운 브랜드 캠페인은 즉각적인 클릭이나 구매로 성과를 입증하기 어렵다.
   2. 데이터 중심 조직의 부담: 메타처럼 숫자로 증명되는 결과를 중시하는 조직은 효과가 명확하지 않은 캠페인을 승인하기 어렵다.

2. 검증 가능한 업무에서 쌓은 신뢰

   1. 성과를 부풀리지 않음: 측정 가능한 캠페인에서 결과 전체를 자신의 공으로 돌리지 않고 실제 증분 효과를 있는 그대로 분석한다.
   2. 효과가 작아도 가치 판단: 관찰된 결과보다 직접 효과가 작다는 사실을 인정하면서도 캠페인의 가치가 있다고 설명한다.
   3. 불확실한 실험의 승인: 정확한 분석과 정직한 설명이 누적되면 측정하기 어려운 브랜드 활동에도 기회를 얻는다.
   4. 기회의 근원: 성과를 과장하지 않는 태도가 동료와 의사결정자의 신뢰를 만들고 다음 시도를 가능하게 한다.

---

5. 증분 효과를 아는 태도가 조직과 개인의 신뢰를 만든다

사람은 결과에 영향을 크게 받으므로 성과의 원인을 자기 능력이나 실행으로만 돌리기 쉽다. 기여도를 냉정하게 분석해야 실제로 통제할 수 있는 요소와 우연히 주어진 요소를 나눌 수 있다.

5.1. 결과를 부풀리지 않는 사람이 신뢰를 얻는다

1. 성과의 정확한 귀속

   1. 분해와 분석: 좋은 결과가 나왔을 때 자신이 한 일, 외부 환경, 고객 구성, 운이 각각 얼마나 기여했는지 따져본다.
   2. 과장 방지: 성공한 모든 일을 자신의 능력 덕분이라고 주장하지 않는다.
   3. 실행의 우선순위: 실제 효과가 확인된 행동과 도구에 집중하고, 효과가 작은 방식에 집착하지 않는다.

2. 신뢰와 더 큰 기회

   1. 검증 가능한 업무에서의 정직성: 결과가 명확한 일에서도 효과를 부풀리지 않는 태도가 신뢰의 기반이다.
   2. 측정하기 어려운 과제에 대한 신뢰: 과거 성과를 정확히 평가한 사람은 정량화하기 어려운 프로젝트도 맡길 만한 사람으로 보인다.
   3. 기회의 확대: 자신의 증분 기여를 정확히 이해하고 설명할수록 더 큰 판단과 실험을 맡을 기회가 생긴다.

5.2. 《Click Here》가 제공하는 실무 방법론

1. 마케팅 현업을 위한 구체적 방법

   1. 대조군 설계: 증분 효과를 확인하기 위해 비교 집단을 어떻게 설계할지 다룬다.
   2. 지표 선택: 어떤 지표를 보고 무엇을 무시해야 하는지 설명한다.
   3. 통합 운영: 퍼포먼스 마케팅과 브랜드 마케팅을 어떻게 함께 굴릴지 메타의 실제 방식을 담는다.

2. 독자에 따라 달라지는 읽기

   1. 메타의 데이터 마케팅: 대기업이 데이터를 활용해 마케팅 성과를 측정하고 실행하는 실무를 엿볼 수 있다.
   2. 비마케터의 적용: 마케팅 도구 자체보다 인과관계를 구분하고 결과를 과장하지 않는 원칙을 업무와 투자에 적용할 수 있다.
   3. 실무자에게 주는 가치: 마케팅 현업자는 책의 실험 설계와 지표 판단을 직접 업무에 참고할 수 있다.

---

주요 발언 모음

“광고 효과가 없는 곳에 돈을 쓰고 있다는 사실이 드러났다.”

“뭘 해서 효과가 났다면 그거 전부를 진짜 효과로 여기는 거다.”

“좋은 성과를 거뒀다면 그게 다 내 실력이고 내가 뭘 해서 된 것이라고 생각할 것이 아니라, 철저하게 쪼개고 분석해야 한다.”

“모든 마케팅은 성과를 내는 것이 목적이다.”

“결과에 비해서 실제 효과가 훨씬 작을지라도 가치가 있었다고 분석하고 설득했다.”

“나의 증분 효과를 정확하게 파악하고 있다면 기회는 오게 되어 있다.”

---

핵심 데이터 & 수치

• 2012년: eBay가 검색 키워드 광고를 끄는 실험을 진행했다.
• 약 0.5%: 광고 중단 뒤 감소한 eBay 유입 규모다.
• 0.66%: 키워드 광고가 순수하게 늘린 eBay 거래액의 증분 효과다.
• 20%: 추가 근무와 매출 증가의 인과를 설명하기 위해 든 가정상의 매출 상승 폭이다. 계절성·대형 고객 구매 등 다른 원인과 분리되지 않은 상태다.
• 9분 39초: YouTube 영상 길이다.

---

결론 및 시사점

1. 결과를 원인으로 착각하지 않는다: 행동 이후 성과가 발생했더라도 대조군과 비교해 그 행동이 추가로 만든 부분을 측정한다.
2. 고객군과 상황을 나눠 본다: 단골·신규·휴면·저빈도 고객은 같은 광고에 다르게 반응한다.
3. 증분 효과를 맥락 속에서 판단한다: eBay의 결과를 다른 기업에 복사하지 말고 브랜드 지배력과 경쟁사의 광고 등 자사 조건을 반영한다.
4. 외부 요인을 성과에서 분리한다: 사업 실적에는 업황과 경기 사이클이, 투자 수익에는 시장과 운이 섞인다.
5. 효과를 부풀리지 않는다: 측정 가능한 영역에서 정직하게 기여도를 분석하는 태도가 신뢰와 불확실한 실험의 기회를 만든다.
6. 《Click Here》의 실무 내용을 활용한다: 대조군 설계, 지표 선택, 브랜드와 퍼포먼스의 통합 운영을 살피되, 핵심 원칙은 모든 의사결정에 적용한다.

핵심 요약 (20줄)

eBay는 2012년 검색광고 중단 실험으로 광고비의 순수 효과를 검증했다.

광고를 끈 뒤 유입은 약 0.5%만 감소해 대부분 광고 클릭자가 자연 검색으로 이동했다.

광고비 상당분은 광고 유무와 무관하게 구매할 충성 고객에게 쓰였다.

신규·휴면·저빈도 고객에게는 광고가 구매를 유도하는 증분 효과가 컸다.

전체 거래액에서 광고가 만든 순증분은 0.66%에 그쳐 eBay는 검색광고를 중단했다.

증분 효과는 행동 이후 관찰된 성과에서 그 행동이 추가로 만든 부분을 가리킨다.

매출이 20% 올라도 추가 근무가 원인인지 계절성이나 우연인지 단순 관찰로는 분리할 수 없다.

경영 실적에는 경영 능력뿐 아니라 업황과 경기 사이클의 영향도 섞인다.

상승장 수익은 투자 실력과 시장 상승·운을 분리한 뒤 판단해야 한다.

금융의 알파는 벤치마크 초과성과를 변동성·기간·운의 영향을 고려해 측정한다.

대조군과 지표 검증은 결과를 원인으로 착각하는 오류를 줄인다.

eBay의 낮은 광고 효과는 브랜드 지배력이 강해 광고 없이도 찾는 고객이 많았던 데서 비롯됐다.

시장 지배력이 낮은 기업은 검색광고로 더 큰 신규 고객 유입을 얻을 수 있다.

경쟁사 광고로 고객이 이탈할 수 있어 검색광고는 방어 전략으로도 필요할 수 있다.

퍼포먼스 마케팅은 클릭·구매를, 브랜드 마케팅은 호감·인지도를 즉각 측정하기 어려운 성과를 추구한다.

모든 마케팅은 인식을 바꿔 제품 성과로 연결하려 하므로 두 영역은 분리되지 않는다.

Alex Schultz는 측정 가능한 성과의 신뢰를 쌓은 뒤 측정이 어려운 브랜드 캠페인도 추진했다.

WhatsApp의 Lewis Hamilton 캠페인은 성과 증명이 어려워도 신뢰를 바탕으로 승인된 사례다.

증분 효과를 과장하지 않는 분석은 의사결정의 신뢰와 더 큰 실험 기회를 만든다.

책 Click Here는 대조군 설계, 지표 선택, 무시할 지표, 퍼포먼스와 브랜드의 통합 방법을 담는다.