에이전트 컨텍스트를 소유할 때의 전환점

• URL: https://www.youtube.com/watch?v=Ot4OPrPH4xY
• 날짜: 2026-08-15
• 채널: aiDotEngineer
• 구분: YouTube 심층 다이제스트
• 원문 제목: The Rise of CaaS: Context-as-a-Service for Agentic AI — Omer Primor, Bright Data
• 원본 업로드일: 2026-08-14
• 발표자: Omer Primor, Bright Data 제품 마케팅 팀 리드

핵심 질문

에이전트가 지식 노동을 수행할 때 웹 검색이나 Context-as-a-Service(CaaS)를 계속 빌려 쓰는 편이 나은가, 아니면 반복적으로 필요한 컨텍스트를 직접 수집·구조화해 소유하는 편이 나은가?

1층 — 한눈에 보는 핵심 주장

1. 웹은 데이터 저장소에서 컨텍스트 공급원으로 바뀐다

1. Bright Data는 웹 데이터를 다루는 기업으로서 전 세계 2만 개가 넘는 팀과 세계 최대 AI 연구소의 70% 이상이 웹에서 데이터를 추출하도록 돕는다.

   • 매일 500억 페이지를 넘는 HTML이 생성되고, 비디오·오디오·기타 미디어 데이터는 20PB를 넘는다.
   • 이 규모는 웹이 단순한 검색 결과 모음이 아니라, 에이전트가 지식 노동에 활용할 수 있는 거대한 외부 기억장치라는 점을 보여준다.

2. AI 에이전트의 등장으로 웹의 역할이 달라졌다.

   • 과거에는 필요한 정보를 찾아 추출하는 것이 목표였다.
   • 이제 에이전트는 웹에서 얻은 정보를 컨텍스트로 삼아 행동을 선택하고, 결론을 만들고, 후속 애플리케이션을 실행한다.
   • 데이터 자체는 더 큰 업무 과정의 한 단계이며, 최종 가치는 데이터에서 이어지는 추론과 행동에 있다.

2. 검색은 일회성 질문에 강하고, CaaS는 반복적인 지식 노동을 겨냥한다

1. 웹 검색은 특정 시점의 답을 빠르게 얻는 데 적합하다.

   • 오늘 특정 운동화의 가격을 찾거나 현재 공개된 Bright Data 채용 공고를 찾는 일은 검색으로 충분하다.
   • 지난 6개월간 가격이 어떻게 바뀌었는지, 어떤 할인이 있었는지, 회사 인원이 시간에 따라 어떻게 변했는지까지 검색 한 번으로 얻기는 어렵다.

2. Context-as-a-Service(CaaS)는 검색보다 넓은 맥락을 수집하고 구조화한다.

   • MCP, CLI, 일반 API를 통해 에이전트가 데이터를 가져오고 그 위에서 추론할 수 있게 한다.
   • 크롤링·검색·추출·인덱싱에 그치지 않고, 엔티티를 중복 제거하고 여러 출처를 결합해 지식 그래프로 만든다.
   • 특정 산업과 업무에 매우 강한 수직형 검색 엔진처럼 작동한다.

3. CaaS가 싹트는 영역은 금융, 시장 조사, 소매·전자상거래, 여행, 인사, 부동산, GTM·영업 인텔리전스다.

   • Bright Data 내부 스타트업 프로그램에 참여한 기업들이 이 영역의 초기 사례로 소개됐다.
   • 기존 데이터 서비스 업체도 에이전트용 제품을 내놓고 있다.
   • ZoomInfo의 GTM AI는 잠재 고객 발굴, 헤드헌팅, 사람 중심의 조사 업무를 에이전트가 수행하도록 겨냥한 보조 브랜드로 제시됐다.

3. 반복 빈도와 컨텍스트 소유권이 경제성을 결정한다

1. 검색·CaaS는 바로 연결해 쓸 수 있다는 점이 강점이다.

   • 일회성 질문, 매번 요구사항이 달라지는 작업, 여러 데이터 경로를 섞어야 하는 작업에 특히 유리하다.
   • 팀별 요구가 다른 조직에서는 모든 팀에 AI 검색 하나를 일괄 적용하기보다 검색과 CaaS, 자체 데이터의 조합을 설계할 수 있다.

2. 같은 질문을 반복할수록 임대 컨텍스트의 비용이 누적된다.

   • 답이 전혀 바뀌지 않아도 반복 쿼리는 최초 쿼리와 같은 비용이 든다.
   • 토큰 비용과 서비스 비용이 함께 쌓이고, 비용을 의식한 팀은 조사 주기를 매일에서 매주·매월로 줄이거나 결과를 10~20개로 제한하게 된다.
   • 그런 절약은 시스템을 작동시키지만, 필요한 지식 노동의 가치를 모두 뽑아내지 못하게 만든다.

3. 반복적이고 규모가 커지는 업무에서는 컨텍스트를 직접 소유하는 편이 유리해질 수 있다.

   • 초기 구축비를 내고 나면 에이전트의 재조회에 별도 서비스 비용이 붙지 않는다.
   • 자체 비즈니스 로직과 내부 데이터를 연결할 수 있고, 원하는 답을 얻을 때까지 같은 질문을 반복할 수 있다.
   • 소유한 컨텍스트는 시간이 지나며 복리처럼 쌓이고, 빌린 컨텍스트는 데이터 노후화와 반복 비용 때문에 약화된다.

2층 — 원문의 흐름과 논점

대주제 1. Bright Data와 웹 데이터의 규모

1. Omer Primor는 Bright Data 제품 마케팅 팀을 이끈다고 소개하고, 청중에게 Bright Data를 아는지 손을 들어 달라고 요청했다.

   • 손을 든 사람이 많지 않자 “좋아요, 더 잘할 수 있겠네요. 브랜드 팀에 전달하겠습니다”라는 농담으로 시작했다.
   • Bright Data는 웹 데이터 기업이며 2만 개가 넘는 팀을 지원하고, 세계 최대 AI 연구소의 70% 이상이 웹에서 데이터를 추출하도록 돕는다고 설명했다.

2. 웹 데이터의 생산량은 기존 데이터 파이프라인의 상식을 넘어선다.

   • 하루 500억 개가 넘는 HTML 페이지가 생성된다.
   • 비디오·오디오·기타 미디어 데이터는 하루 기준 20PB를 넘는다.
   • 거대한 처리량은 웹 데이터 접근을 단순한 스크래핑 기능이 아니라 지속적으로 운영해야 하는 인프라 문제로 만든다.

3. 발표자는 Bright Data에 약 3년 전 합류해 AI와 웹이 연결되는 과정을 가까이에서 지켜봤다고 말했다.

   • 2년이 채 되지 않은 시점까지도 클라우드나 ChatGPT를 통해 웹에 접속하고 검색하는 기능은 지금처럼 당연하지 않았다.
   • AI와 웹의 융합은 이미 끝난 변화가 아니라 여전히 빠르게 진행되는 변화다.

대주제 2. 웹의 본질: 지저분하고, 비정형이며, 계속 변한다

1. 웹은 세계 최대의 데이터 원천이지만, 그대로 믿고 고정해 둘 수 있는 데이터베이스는 아니다.

   • 구조화되지 않은 페이지가 섞여 있고, 같은 엔티티가 여러 출처에 다른 형태로 나타난다.
   • 가장 중요한 특징은 데이터가 계속 바뀐다는 점이다.

2. Bright Data 팀의 분석은 콘텐츠의 유효기간이 산업별로 크게 다르다는 점을 보여준다.

   • 소셜 미디어 데이터는 하루도 지나기 전에 관련성을 잃을 수 있다.
   • 뉴스·금융·소매 데이터는 약 30일이 지나면 수집 당시의 정보 대부분이 더 이상 최신 맥락이 아닐 수 있다.
   • 데이터가 실제로 사라진다기보다, 의사결정에 쓸 수 있는 관련성이 감쇠한다는 의미다.

3. 웹에서 컨텍스트를 추출하는 작업은 스냅샷이나 월간 배치가 아니다.

   • 새 페이지와 새 사건이 계속 생기고 기존 값이 계속 바뀌므로 지속적인 수집·갱신이 필요하다.
   • 에이전트 시스템은 “한 번 얻은 답을 영구 지식으로 간주하는” 설계를 경계해야 한다.

대주제 3. Google 중심 검색에서 에이전트 중심 검색으로

1. 약 3년 전까지 지난 20년의 웹 검색은 사실상 Google 중심이었다.

   • 인간은 검색하고, 필요한 정보를 모은 뒤 업무를 이어 갔다.
   • 이 구도는 사람의 검색 의도를 전제로 했다.

2. 약 1년 반에서 2년 전부터 LLM 챗봇 안에 웹 검색이 들어오며 사람과 에이전트의 경계가 흐려졌다.

   • 같은 챗봇이 사람과 동일한 웹 검색 접근권을 API로 사용할 수 있게 됐다.
   • 검색 트래픽과 검색 의도가 Google 이외 채널로 흘러가기 시작했다.

3. Exa, Parallel, You.com, Tavily 같은 AI 검색 기업은 인간보다 에이전트를 우선해 웹을 색인한다.

   • 에이전트가 읽고 호출하기 좋은 형태로 웹을 구축하고 인덱싱한다.
   • Google의 검색 지배력이 “웹 검색”과 동의어였던 시절은 흔들리고 있다.

4. Amazon과 Microsoft의 움직임은 검색 경쟁이 에이전트 인프라 경쟁으로 번졌다는 신호다.

   • Amazon은 자체 인덱스를 개발해 웹 데이터를 가져오고 AgentCore에서 에이전트의 연락처·정보 검색을 지원하기 시작했다.
   • Microsoft는 전 세계 검색 트래픽의 1~2%를 차지하던 검색 사업을 에이전트 개발·오케스트레이션 제품군의 웹 검색 기능으로 다시 포장했다.
   • 대형 플랫폼까지 진입하면서 AI 검색 공간은 빠르게 붐비고 있다.

대주제 4. 검색의 한계와 CaaS의 등장

1. 현재 상태를 묻는 검색과 시간축의 맥락을 묻는 조사는 서로 다르다.

   • “오늘 특정 운동화 가격은 얼마인가?”는 검색으로 답할 수 있다.
   • “지난 6개월 동안 가격과 할인은 어떻게 변했는가?”는 누적 데이터와 구조화가 필요하다.
   • “현재 채용 공고는 무엇인가?”는 찾을 수 있지만, “채용 규모와 회사 헤드카운트가 시간에 따라 어떻게 바뀌었는가?”는 검색 결과만으로 재구성하기 어렵다.

2. CaaS는 웹의 원재료를 지식 노동에 맞는 컨텍스트로 가공한다.

   • 여러 출처를 크롤링하고 검색하며 필요한 데이터를 추출한다.
   • 회사·사람·직무 같은 엔티티를 구조화하고 중복을 제거한다.
   • 다양한 출처에서 얻은 속성을 결합하고, 엔티티 간 연결을 지식 그래프로 표현한다.
   • 결과적으로 범용 검색보다 특정 도메인에 깊은 수직형 검색 엔진이 된다.

3. CaaS는 Data-as-a-Service의 단순한 이름 변경이 아니다.

   • 공통 데이터셋을 제공하는 데서 끝나지 않고, 에이전트가 특정 업무를 수행할 수 있도록 맥락·접근 방식·구조를 함께 제공한다.
   • AI 검색 엔진은 사람의 검색과 다른 방식으로 에이전트의 지식 작업을 지원하고, CaaS는 검색 결과보다 넓은 작업용 상태를 제공한다.

4. 업계의 자기 증명과 농담도 CaaS의 초기 시장을 보여줬다.

   • 발표자는 Bright Data 스타트업 프로그램에 참여한 기업들이 금융·시장 조사·소매·전자상거래·GTM·영업 인텔리전스 분야에서 활동한다고 말했다.
   • 창업자에게 최대 2만 달러 크레딧과 공동 마케팅을 신청하라고 권한 뒤 “자기 홍보는 이쯤 하겠다”고 웃으며 넘어갔다.
   • ZoomInfo가 출시한 GTM AI의 도메인 확보 비용을 상상해 보라는 농담은 기존 기업이 에이전트 시장에 얼마나 빠르게 맞추는지 강조하는 장치였다.

대주제 5. 웹 컨텍스트 엔지니어링의 선택지

1. 에이전트가 지식 작업을 끝내는 경로는 최소 두 가지다.

   • 필요할 때 AI 검색·CaaS를 호출해 외부 컨텍스트를 임대한다.
   • 반복적으로 필요한 데이터를 직접 수집·구조화해 내부 컨텍스트를 소유한다.

2. 최적화 기준은 단순한 모델 성능이 아니라 업무의 종류와 조직 구조다.

   • 특정 단발성 작업에 맞출지, 비슷한 작업군 전체에 맞출지 결정해야 한다.
   • 서로 다른 팀이 서로 다른 데이터 요구를 가진다면 한 가지 검색 방식을 모든 팀에 강제하는 것은 최적이 아닐 수 있다.
   • 검색, CaaS, 자체 저장소를 작업별로 조합하면 비용 효율을 높일 수 있다.

대주제 6. 100개 기업·25개 필드 실험

1. 비교 실험은 공식 벤치마크가 아니라 실제 선택지를 감각적으로 비교하려는 하루짜리 테스트였다.

   • 하나의 기업 엔티티를 25개 필드로 보강했다.
   • 회사명·도메인·본사처럼 쉬운 필드와 채용·인물처럼 어려운 필드를 함께 넣었다.
   • Opus 4.8을 하니스로 쓰는 루프 안의 루프 에이전트가 필드별로 검색하거나 CaaS에서 가져오고, 완료될 때까지 반복했다.
   • 예산 같은 가드레일을 두어 비교 조건을 맞췄다.
   • 당일 행사 스폰서 전부를 대상으로 100회 실행했다.

2. 커버리지는 검색·CaaS·Google·클라우드 네이티브 검색 사이에 상당히 수렴했다.

   • 주요 CaaS 공급업체 하나는 매우 좋은 결과를 냈다.
   • Google을 사용한 동일한 작업도 정보 추출 성능이 좋았다.
   • 클라우드 자체 검색과 다른 경로도 결과가 잘 수렴했다.

3. 일부 CaaS가 커버리지 하위권에 놓인 이유는 데이터의 범위가 고정되어 있기 때문이다.

   • CaaS 업체는 엔티티에 대해 이미 수집해 둔 정보만 알고 있다.
   • 질문이 보유 범위를 벗어나면 해당 데이터가 존재하지 않는다.
   • 최근 채용을 수집하지 않았다면 새 채용 정보는 나중에 질문해도 갑자기 생기지 않는다.
   • 반대로 검색 에이전트는 새로운 출처를 찾아 계속 탐색할 수 있다.
   • 다만 실험에 넣지 않은 필드에서는 CaaS가 더 큰 장점을 가질 수 있으므로, 일반적인 커버리지보다 특정 업무의 커버리지를 측정해야 한다.

4. 비용은 공급업체 이용료와 데이터 구조화에 드는 토큰 비용으로 나뉜다.

   • CaaS는 서비스 이용료를 낸다.
   • 검색 기반 방식은 결과를 실제로 사용할 수 있게 구조화하기 위한 토큰을 추가로 소모한다.
   • 검색과 CaaS, Google의 많은 경로가 총비용 면에서 비슷한 중심 구간으로 모였고, 일부 업체는 훨씬 비쌌다.
   • 발표자는 가장 비싼 공급업체의 이름을 밝히지 않으며 망신 주지는 않겠다고 농담했다.

5. 저렴한 CaaS는 품질과 데이터 범위를 줄여 롱테일을 공략한다.

   • 소규모 상점이나 사용량이 적은 고객은 많은 데이터와 높은 가격을 원하지 않는다.
   • 틈새 공급업체는 더 낮은 품질을 감수하는 대신 훨씬 싼 데이터로 이 수요를 채운다.
   • CaaS 내부에서도 고가·고품질과 저가·특정 용도라는 시장 분화가 시작됐다.

대주제 7. 규모와 빈도: 임대 컨텍스트의 숨은 비용

1. 그래프의 비용은 100개 기업 전체가 아니라 레코드 하나에 대한 비용이다.

   • “100만 건이 필요하면 어떻게 되는가?”라는 질문은 단일 실행에서 100만 개를 한 번에 넣는다는 뜻이 아니다.
   • 100만은 기업 수와 질문 빈도가 곱해진 결과로 이해해야 한다.

2. 사모펀드 실사를 하는 시장 조사자는 같은 기업을 계속 다시 방문한다.

   • 새 뉴스가 생겼는지 확인한다.
   • 기업에 변화가 있었는지 확인한다.
   • 누가 합류하거나 떠났는지 확인한다.
   • 신규 채용이 생겼는지 확인한다.
   • 이런 반복 질문이 백만 건으로 누적된다.

3. 반복 쿼리는 동일한 답을 돌려줘도 최초 쿼리와 같은 비용을 만든다.

   • 오탐(false positive)은 별도 문제이고, 높은 토큰 비용도 줄어들지 않는다.
   • 시간에 따라 처리량 비용이 계속 생기므로 비용 곡선은 평평해지지 않는다.
   • 팀은 매일 조사하던 기업을 주 1회나 월 1회만 보거나, 결과를 전부가 아닌 10~20개만 받는 식으로 편법을 쓰기 시작한다.

4. 비용을 아끼는 편법은 “컨텍스트를 빌린다”는 구조에서 나온다.

   • 업무를 수행할 환경은 이미 갖춰져 있지만, 임대 컨텍스트를 매번 호출해야 하므로 모든 가치 추출이 부담스러워진다.
   • 컨텍스트를 소유하면 반복 질문에 대한 두려움과 비용 제약이 줄어든다.

대주제 8. 직접 구축하는 경로와 전환점

1. 자체 구축 실험은 웹 데이터를 벡터 데이터베이스에 넣는 가장 단순한 방식에서 출발했다.

   • 기업명을 Google에 넣어 관련 URL을 찾았다.
   • 기업 보강에서 자주 쓰는 출처를 이미 알고 있으므로, 검색·CaaS·ZoomInfo 같은 중간 계층을 거치지 않고 원출처에 접근했다.
   • LinkedIn 기업 페이지, LinkedIn 채용 정보, Crunchbase 같은 출처용 스크레이퍼를 사용했다.

2. 스크레이퍼 스튜디오는 자체 구축의 초기 비용을 낮춘다.

   • 전용 스크레이퍼 두 개를 만들고, 어떤 웹사이트든 5분 이내에 스크레이퍼를 만들 수 있는 AI 도구를 사용했다.
   • 웹사이트 구조가 바뀌면 스스로 고치는 자가 치유(self-healing) 기능이 있다.
   • 출처별 결과를 하나의 엔티티로 병합하고, 충돌 시 기본 휴리스틱으로 우선순위를 정했다.

3. 100개 기업 데이터셋은 AI 비용 0으로 만들어졌다.

   • 토큰 비용은 없었다.
   • 커버리지는 최고 수준은 아니지만 꽤 괜찮았고, 제한된 하루 실험치로는 경쟁력 있는 결과였다.
   • 단일 업무·제한된 컨텍스트·제한된 상황이므로 일반 결론으로 확대하면 안 된다.

4. 진짜 비교 대상은 데이터 자체를 가져오는 비용이다.

   • LinkedIn은 회사·사람·직무를 이미 엔티티로 구조화하고 서로 연결한다.
   • 온톨로지가 이미 존재하는 출처라면, 새로운 지식 그래프를 처음부터 만드는 비용을 피할 수 있다.
   • 이 실험은 가장 복잡한 사례는 아니지만, 직접 구축의 비용 효율을 보여주기에는 충분히 좋은 사례다.

5. 자체 구축에는 설정 시간이 있으므로 즉시 사용 가능한 API와 비용을 사과 대 사과로 비교할 수 없다.

   • 외부 서비스는 바로 API를 호출할 수 있다.
   • 자체 구축은 설정에 시간이 걸리며, 발표자는 일주일의 작업을 5,000달러로 가정해 비교했다.
   • 이 가정을 포함하면 직접 구축이 유리해지는 전환점은 약 15,000개 엔티티 또는 쿼리 이상으로 표시됐다.
   • 실제 임계값은 사용 사례에 따라 10,000·30,000·100,000개로 달라질 수 있다.

대주제 9. 소유한 컨텍스트의 복리 효과

1. CaaS와 AI 검색은 지식 노동이 임시적·변동적·탐색적일 때 매우 강하다.

   • 플러그 앤 플레이로 빠르게 업무를 시작할 수 있다.
   • 각 작업에 서로 다른 데이터 경로를 선택하거나 여러 경로를 섞을 수 있다.
   • 더 가벼운 모델 등으로 추가 최적화도 가능하다.

2. 업무 수요가 지속적이고 일관되며 계속 커지면 직접 구축을 검토해야 한다.

   • 초기 투자 이후 에이전트가 다시 정보를 가져오는 데 별도 서비스 이용료가 붙지 않는다.
   • 첫 답이 마음에 들지 않으면 백 번이고 다시 물을 수 있다.
   • 자체 비즈니스 로직과 자체 데이터 연결이 가능하다.
   • 데이터와 업무 규칙을 함께 소유하면 외부 공급업체의 범위를 넘어서는 조직 특유의 가치가 쌓인다.

3. 15,000번의 실험보다 100만 번의 반복이 전환점을 선명하게 만든다.

   • 100만 번의 질문은 단순한 규모 확대가 아니라 시간에 따른 복리 효과를 포함한다.
   • 웹 데이터는 계속 변하고, 관심 엔티티에 계속 질문할수록 소유한 구조·이력·규칙의 가치가 누적된다.
   • 반대로 임대 데이터는 갱신하지 않으면 감쇠하고, 호출할 때마다 비용이 발생한다.

3층 — 핵심 개념과 실무 해석

소주제 1. 검색, CaaS, 자체 컨텍스트의 역할 분담

1. 검색은 “무엇이 지금 존재하는가?”에 답한다.

   • 새 출처를 발견해야 하거나 질문이 매번 달라질 때 유리하다.
   • 예상하지 못한 필드와 최근 사건을 탐색하는 능력이 강하다.

2. CaaS는 “특정 도메인에서 어떤 엔티티와 속성을 안정적으로 조회할 것인가?”에 답한다.

   • 사전 수집된 엔티티, 구조화된 속성, 출처 간 중복 제거, 산업별 지식 그래프가 강점이다.
   • 보유하지 않은 필드에 대한 탐색 능력은 검색보다 제한적이다.

3. 자체 컨텍스트는 “우리 조직이 반복적으로 축적해야 하는 지식과 규칙은 무엇인가?”에 답한다.

   • 재조회 빈도가 높고, 자체 데이터·비즈니스 로직·이력 데이터가 결합될 때 강하다.
   • 구축·운영·갱신의 책임이 조직에 생기지만, 반복 호출의 한계비용과 외부 의존도가 내려간다.

소주제 2. 전환점을 계산하는 방법

1. 총비용은 대략 다음 요소의 합으로 생각할 수 있다.

   • 임대: 공급업체 호출료 + 검색 결과 구조화 토큰 비용 + 반복 호출 횟수에 따른 비용.
   • 소유: 초기 설계·스크레이핑·정규화·저장소 구축 비용 + 유지보수·갱신 비용.
   • 실제 판단에는 누락·오탐 비용, 데이터 최신성, 지연 시간, 보안, 내부 운영 인력도 포함해야 한다.

2. 질문 빈도가 높아질수록 자체 구축의 고정비가 빠르게 상쇄된다.

   • 같은 회사·사람·직무에 반복해서 질문하는 실사, 시장 모니터링, 채용 인텔리전스, 영업 리서치가 대표 사례다.
   • 모든 요청을 실시간으로 다시 검색하는 대신, 소유한 이력과 업데이트 파이프라인을 활용할 수 있다.

3. 15,000개라는 수치는 규칙이 아니라 설명을 위한 실험상 점이다.

   • 데이터 소스 수, 갱신 주기, 엔티티 복잡도, 모델 비용, 스크레이퍼 유지보수 난이도에 따라 임계값은 크게 달라진다.
   • 발표자는 10,000·30,000·100,000개까지도 가능하다고 열어 두었다.

소주제 3. 데이터 감쇠와 업데이트 설계

1. “수집 완료”는 “업무에 유효함”을 뜻하지 않는다.

   • 소셜 미디어는 하루보다 짧은 유효기간을 가질 수 있다.
   • 뉴스·금융·소매는 약 30일 뒤 수집 당시의 맥락이 크게 약해진다.

2. 소유한 컨텍스트도 갱신이 없으면 임대한 컨텍스트와 마찬가지로 낡는다.

   • 소유의 장점은 데이터를 한 번 저장하는 데 있지 않다.
   • 갱신 주기, 변경 감지, 출처 우선순위, 이력 보존, 엔티티 병합 규칙까지 내부 시스템으로 통제하는 데 있다.

3. 에이전트 시스템은 작업 유형별로 최신성 정책을 달리해야 한다.

   • 소셜 트렌드와 가격은 짧은 주기, 회사 기본 정보와 조직 구조는 상대적으로 긴 주기를 적용한다.
   • 새 채용·경영진 이동·자금 조달 같은 이벤트는 변경 감지 즉시 갱신하는 편이 합리적이다.

소주제 4. 품질을 커버리지 하나로 평가하면 안 되는 이유

1. 25개 필드 실험의 커버리지는 실제 지식 노동의 전부가 아니다.

   • CaaS가 수집하지 않은 필드를 넣으면 CaaS에 불리하고, 이미 구조화된 필드만 넣으면 CaaS에 유리하다.
   • “전체 데이터가 얼마나 많은가”보다 “내 업무에서 필요한 필드를 얼마나 정확하고 최신으로 채우는가”가 중요하다.

2. 평가 축은 정확성·최신성·완전성·출처 추적성·지연·비용·운영 난이도로 나눠야 한다.

   • 검색은 예상 밖의 출처를 찾는 완전성에서 강할 수 있다.
   • CaaS는 반복 조회와 정규화된 엔티티에서 강할 수 있다.
   • 자체 시스템은 업무 규칙과 내부 데이터 결합에서 강할 수 있다.

4층 — 주요 발언 모음

“웹은 더 이상 단순한 데이터 원천이 아니라 컨텍스트의 원천이다.”

“웹은 지저분하고, 비정형이며, 무엇보다도 계속 변한다.”

“컨텍스트를 빌리고 있을 뿐, 우리가 사용하는 컨텍스트를 소유하고 있지는 않다.”

“첫 답이 마음에 들지 않으면 다시 묻고, 필요한 것을 얻을 때까지 백 번이고 물을 수 있다.”

“소유한 컨텍스트는 복리로 쌓이지만, 임대한 컨텍스트는 감쇠한다.”

“일회성 질문이라면 AI 검색을 사용하면 된다. 같은 일을 계속 반복해야 한다면 복리 효과를 놓치고 손해를 볼 가능성이 있다.”

발표 중 웃음을 만든 발언은 Bright Data 인지도를 묻는 손들기 질문, 적은 호응에 대한 “브랜드 팀에 전달하겠다”는 농담, 행사 스폰서에게 같은 말을 100번 넘게 했다는 자기 풍자, GTM AI 도메인 비용을 상상해 보라는 농담, 가장 비싼 공급업체의 이름은 망신 주지 않겠다며 밝히지 않은 장면이었다.

핵심 데이터 & 수치

결론 및 시사점

1. 웹 컨텍스트 엔지니어링은 검색 API를 고르는 문제가 아니라, 업무의 시간축과 컨텍스트 소유권을 설계하는 문제다.

2. 일회성·탐색성·변동성이 높은 질문은 AI 검색과 CaaS의 플러그 앤 플레이 장점으로 빠르게 처리하는 편이 합리적이다.

3. 반복적인 실사·시장 모니터링·채용 조사·영업 리서치처럼 같은 엔티티에 계속 질문하는 업무는 호출 빈도가 비용을 압도할 수 있다.

4. CaaS의 강점은 사전 수집된 엔티티, 지식 그래프, 중복 제거, 다중 출처 결합이며, 약점은 보유 범위 밖의 최신 질문에 즉시 답하기 어렵다는 점이다.

5. 자체 구축의 핵심 이점은 데이터를 저장하는 데 있지 않고, 갱신·이력·비즈니스 로직·내부 데이터 연결을 조직의 자산으로 만드는 데 있다.

6. 15,000개라는 전환점은 보편 법칙이 아니므로, 실제 조직은 질문 빈도·데이터 감쇠율·출처 수·운영 비용을 넣어 자체 손익분기점을 계산해야 한다.

7. 소유한 컨텍스트도 업데이트되지 않으면 낡으므로, 변경 감지와 산업별 갱신 주기를 초기 설계에 포함해야 한다.

8. 가장 현실적인 전략은 AI 검색·CaaS·자체 컨텍스트 중 하나를 숭배하는 것이 아니라, 단발성 탐색에는 검색을 쓰고 구조화된 반복 업무에는 CaaS 또는 자체 시스템을 쓰는 혼합형 설계다.

9. 장기적으로 중요한 질문은 “지금 가장 싼 답을 어디서 얻는가?”가 아니라 “반복되는 질문을 통해 어떤 컨텍스트 자산을 축적하고, 그 자산이 다음 의사결정을 얼마나 싸고 빠르게 만드는가?”다.