과거의 웹을 검색하는 버전 관리형 검색

URL: https://www.youtube.com/watch?v=vS2IA9pq0Q4
날짜: 2026-10-19
채널: aiDotEngineer
발표자: Ryan Ahern, Exa
원제: Version-Controlled Search: The Web as It Was
영상 길이: 19분 12초

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==에이전트가 과거의 특정 시점에 공개된 웹 정보만 검색하게 만들면, 웹 검색에 의존하는 금융 예측과 에이전트 평가를 미래 정보 누출 없이 재현하고 백테스트할 수 있다.== ExaSnapshot은 날짜별 웹페이지 스냅샷으로 과거 검색 결과를 되살려, 예측 신호가 당시에도 존재했는지와 모델이 그 신호를 일반화하는지를 검사한다.

• 에이전트는 사람보다 많은 검색을 반복하고, 검색 품질은 도구 호출 수와 전체 추론 비용에 영향을 준다.
• ExaSnapshot은 URL의 과거 버전을 찾거나 특정 날짜 기준의 검색 결과를 재현하며, 20년에 걸친 4,000억 개 이상의 스냅샷을 제공한다.
• 과거 검색으로 금융 모델의 신호, 검색을 추가한 기존 모델, 웹 검색을 직접 쓰는 에이전트를 모두 검증할 수 있다.

발표는 에이전트 검색 시장에서 Exa가 중시하는 품질·비용·지연 시간에서 출발해, 날짜별 웹 검색이 왜 필요한지 설명한다. 이어 OpenAI 매출 보도 사례와 기업 인수 예측 워크숍을 통해, 오늘의 웹으로 과거를 평가할 때 생기는 미래 정보 누출과 과적합을 어떻게 막는지 보여준다.

1. 에이전트가 새로운 검색자가 된 시장

1.1. 사람의 검색과 에이전트의 검색은 다르게 움직인다

1. 에이전트는 한 번에 답을 얻지 못해도 여러 차례 검색한다

   1. Ryan Ahern은 청중에게 Exa를 써 본 사람, Google에 직접 검색어를 넣어 본 사람, 이제 Google 대신 ChatGPT·Claude·Instinct·Muse 같은 에이전트로 검색하는 사람을 차례로 묻는다. 마지막 질문에서 다수의 손이 올라가자, 검색을 에이전트에 맡기는 변화가 이미 시장에서 널리 나타난다고 짚는다.
   2. 에이전트는 피곤해하지 않고 사용자 요청에 맞춰 여러 검색을 반복할 수 있다. 목표가 명확해질 때까지 질의를 바꾸고 여러 경로를 시도해 과업에 필요한 정보를 모은다.

2. 에이전트의 질의는 사람보다 길고 구체적이다

   1. 사람은 보통 몇 개 키워드로 검색하고, 첫 결과가 만족스럽지 않으면 다른 질의를 한두 번 시도한 뒤 멈추기 쉽다.
   2. 에이전트는 찾으려는 대상과 조건을 상세히 서술하고 여러 검색을 실행해 영역을 폭넓게 파악한다. 따라서 한 과업이 중개하는 검색 횟수가 사람의 검색보다 훨씬 많아질 수 있다.

3. 검색은 에이전트의 작업 경로 안으로 들어간다

   1. Cursor가 코딩 에이전트에게 최신 문서를 찾아 주거나, Gamma가 Apple의 2018년 SEC 자료를 슬라이드에 넣으려 할 때처럼 검색은 에이전트가 과업을 수행하는 도중 호출되는 도구가 된다.
   2. Exa는 에이전트가 웹 전체를 찾도록 자체 크롤링 인프라, 데이터베이스, 임베딩 모델, 검색 아키텍처를 운영한다. 구조화된 데이터셋 바깥에 있는 정보를 웹에서 찾아야 하는 요청을 지원한다.

1.2. 금융·보험·벤처캐피털이 검색을 쓰는 이유

1. 헤지펀드와 자산운용사는 시장의 알파를 찾는다

   1. 투자자는 시장에서 남보다 먼저 포지션을 정하는 데 도움이 되는 정보를 찾는다. 공개된 웹 정보도 투자 판단과 조직의 전략적 위치를 정하는 신호가 될 수 있다.
   2. 발표자는 헤지펀드, 자산운용사, 국부펀드, 벤처캐피털이 서로 다른 과업을 위해 최신 정보를 찾는 Exa 고객군이라고 소개한다.

2. 보험사는 상대방과 위험을 더 정확히 평가한다

   1. 보험사는 거래 상대방이나 보험 대상이 누구인지 파악해야 적절한 인수·보장 판단을 내릴 수 있다.
   2. 웹에서 얻는 정보의 품질이 위험 모델의 정확도와 연결되므로, 판단 시점에 가능한 한 좋은 정보를 확보하는 일이 중요하다.

3. 벤처캐피털은 구조화 데이터 밖의 초기 신호를 찾는다

   1. 투자자는 유망한 스타트업이 빠르게 성장하기 전에 먼저 발견하고 싶어 한다.
   2. 새 기업이 기존 구조화 데이터베이스에 아직 들어 있지 않을 수 있으므로, 스타트업이 실제로 존재하는 웹상의 여러 흔적을 찾아야 한다.

2. 에이전트용 검색에서 품질·비용·속도

2.1. 검색 결과의 품질은 에이전트의 성공률과 도구 호출량을 좌우한다

1. 첫째 원칙은 품질이다

   1. 검색 도구가 에이전트의 도구 호출에 필요한 정보를 정확히 찾아야 전체 작업 경로에서 목표와 어긋나는 정보가 끼어들지 않는다.
   2. 관련성 높은 결과를 얻으면 에이전트가 불필요한 재검색을 줄이고 과업을 성공적으로 마칠 가능성이 높아진다. 검색만 따로 평가하지 않으면 호출 모델과 검색 시스템의 성능이 뒤섞여 어느 쪽이 결과를 만들었는지 구분하기 어렵다.

2. 둘째 원칙은 개별 검색이 아니라 에이전트 전체의 비용이다

   1. 에이전트가 한 과업에서 검색을 여러 번 호출하기 때문에, 검색 한 번의 단가만 보는 것으로는 실제 비용을 판단할 수 없다.
   2. 중요한 것은 에이전트가 목표를 완료하는 전체 궤적에 검색이 주는 가치와, 그 과정에서 검색 결과를 추론 모델에 전달하는 데 드는 총비용이다.

3. Dynamic Highlights는 입력 토큰을 줄인다

   1. 기존 하이라이트 기능은 한 페이지에서 필요한 구절을 골랐지만, Dynamic Highlights는 검색 결과 전체를 대상으로 과업 수행에 적합한 구절을 찾는다.
   2. 발표자는 전체 페이지 텍스트를 보내는 방식보다 토큰을 95% 적게 쓰면서도 더 높은 품질의 결과를 얻을 수 있다고 설명한다. 검색 결과마다 전체 본문을 컨텍스트 창에 넣지 않아도 되므로 추론에 쓰는 입력 비용을 낮춘다.

2.2. 낮은 지연 시간과 긴 검색 작업까지 지원한다

1. 셋째 원칙은 지연 시간이다

   1. 자체 인프라를 보유하면 검색 요청의 지연 시간을 낮게 유지할 수 있다.
   2. 검색이 에이전트의 반복 호출에 포함되는 만큼, 검색 속도는 전체 과업의 응답성에도 영향을 준다.

2. 긴 검색·리서치 작업에는 ExaAgent Ultra를 연결한다

   1. 발표자는 몇 주 전에 공개한 ExaAgent Ultra를 소개하며, 장시간에 걸친 검색 작업을 포함한 여러 벤치마크에서 높은 성능을 보이는 제품이라고 설명한다.
   2. 검색 하네스를 직접 운영하는 데 더해 검색과 에이전트 하네스가 장시간 작업에서 어떻게 상호작용할지까지 조정할 수 있다고 말한다.

3. 검색 도구 자체의 성능을 따로 측정해야 한다

   1. 어떤 모델이 어떤 검색 도구를 호출하느냐에 따라 결과가 달라지므로, 에이전트의 추론 능력과 검색 성능을 한꺼번에 재면 원인을 분리하기 어렵다.
   2. Exa는 검색 도구만의 성능을 더 정확히 측정하려는 새 벤치마크를 공개했다고 소개한다. 이는 검색 품질 개선이 모델 성능 개선으로 오인되거나 그 반대가 되는 문제를 줄이려는 접근이다.

3. 과거 시점의 웹을 다시 검색하는 ExaSnapshot

3.1. 크롤링 기록으로 웹의 시간 버전을 만든다

1. 최신 웹을 계속 확인하는 과정에서 과거 버전도 축적된다

   1. 검색 회사는 인덱스에 최신 정보를 반영하려고 웹을 지속적으로 검색하고 페이지의 새로움을 확인한다.
   2. 페이지가 확인된 시점의 URL 버전을 함께 보관하면, 웹페이지가 어떻게 바뀌었는지 시간에 따른 이력을 만들 수 있다. ExaSnapshot은 발표 기준 20년에 걸친 4,000억 개 이상의 웹페이지 스냅샷을 날짜별로 검색할 수 있게 한다.

2. URL을 지정해 과거의 페이지 내용을 조회할 수 있다

   1. 원하는 URL과 기준 날짜를 주면 그 날짜 또는 그보다 앞선 시점의 페이지 버전을 요청할 수 있다.
   2. 검색 결과가 아니라 개별 URL의 당시 본문이 필요한 경우에 유용하며, 과거 시점의 콘텐츠를 오늘의 최신 페이지와 혼동하지 않게 한다.

3. 검색 자체를 과거 시점으로 되돌릴 수 있다

   1. 두 번째 방식은 과거 날짜를 기준으로 검색을 실행해, 그 시점 또는 이전에 검색될 수 있었던 결과만 받는 버전 검색이다.
   2. 단순히 현재 웹에서 오래된 페이지를 찾는 것과 달리, 그때의 정보 환경에서 어떤 결과가 나왔을지를 재현한다. 이 차이가 백테스트에서 미래 정보를 차단하는 핵심이다.

3.2. OpenAI 매출 보도 사례가 보여주는 시간 차이

1. 당시의 시장 정보와 나중에 정정된 수치는 다를 수 있다

   1. Ryan은 10월 1일 기준의 스냅샷 검색과 발표 자료를 만들 때 확인한 며칠 뒤의 라이브 검색을 비교한다. 10월 초 Axios 보도 등을 통해 OpenAI의 연환산 매출 런레이트가 약 700억 달러라는 논의가 있었다.
   2. 이후 일부 보도는 클라우드 제공업체에 지급되는 매출 통과분을 총매출에서 제외하는 회계 관점이 더 적절하다며, 순 연환산 매출 런레이트가 약 500억 달러에 가깝다고 다뤘다.

2. 현재 결과만 보면 정보가 언제 알려졌는지 알 수 없다

   1. 현재 검색에서는 나중에 나온 보도와 해석이 과거 자료와 함께 노출될 수 있다. 현재의 페이지를 과거 예측에 사용하면 당시에는 알 수 없던 수정된 수치를 모델에 미리 넣게 된다.
   2. 스냅샷으로 10월 초 시점의 웹을 고정하면 그때 공개된 보도만으로 판단했는지 확인할 수 있다. SEC 공시의 각주나 덜 알려진 다른 보도에서 시장이 놓친 회계 차이를 먼저 찾을 수 있었는지도 검사할 수 있다.

3. 목표는 이미 알려진 사실을 찾는 것이 아니라 시장보다 먼저 찾는 것이다

   1. 금융 예측 시스템이 매출의 총액·순액 차이를 감지하도록 설계됐다면, 시장 전체가 이 차이를 알기 전의 검색 결과로 해당 시스템을 시험할 수 있다.
   2. 모델 설정이나 에이전트의 검색 경로를 조정한 뒤 약 50개의 샘플 세트로 기능을 확인하고, 별도의 홀드아웃 세트에서 일반화되는지 평가할 수 있다.

3.3. 과거 시점 평가는 미래 정보 누출과 재현성 문제를 다룬다

1. 학습 시점보다 나중에 올라온 정답을 에이전트가 훔쳐보는 문제

   1. 6월에 작성된 문제와 정답으로 강화학습을 시키더라도, 실제 학습은 9월에 진행될 수 있다. 그 사이 정답이 논문·GitHub PR·블로그에 올라오면 검색 도구를 쓰는 에이전트가 이를 찾아 답을 복사할 수 있다.
   2. 그러면 에이전트가 문제를 실제로 해결했는지, 인터넷에 공개된 정답을 찾아 제출했는지 구분하기 어렵다. 복사가 더 쉬워서 오히려 평가자가 그 답을 더 높게 점수를 줄 수도 있다.

2. 스냅샷으로 당시의 지식 경계를 복원한다

   1. 학습 기준일보다 앞선 날짜의 스냅샷만 검색하도록 설정하면, 나중에 공개된 논문·PR·블로그를 결과에서 제외할 수 있다.
   2. 그 날짜까지 웹에 올라온 정보만 접근하게 하므로 평가가 공정해지고 반복 가능한 실험이 된다.

3. 금융 백테스트에서도 동일한 룩어헤드 바이어스를 막는다

   1. 금융 백테스트는 특정 날짜에 당시 알 수 있었던 정보만 사용해 예측 모델이 어떻게 작동했을지를 계산한다.
   2. 주가와 펀더멘털은 시점별로 정리한 데이터셋이 있어도, 웹페이지 정보에 대해서는 그런 과거 데이터가 부족했다. 웹에서 추출할 트레이딩 신호를 수개월 동안 직접 수집하지 않고도 과거 시점 검색으로 즉시 실험할 수 있다.

4. 웹 검색 신호를 예측 모델에 넣는 세 가지 방식

4.1. 유형 1 — 비정형 웹 정보를 기존의 구조화 모델에 공급한다

1. 전통적인 모델이 쓸 수 있도록 웹 정보를 신호로 변환한다

   1. 기존 머신러닝 모델이나 단순한 의사결정 트리를 유지하면서, 웹의 비정형 자료를 수집해 구조화된 입력으로 바꾸는 방식이다.
   2. 소프트웨어 가격, 웹페이지의 정서(sentiment), 사이트 이용약관처럼 모델 입력으로 쓸 만한 정보를 웹에서 뽑아 배열 형태의 신호로 만들 수 있다.

2. 신호가 발생한 날짜와 원문이 저장됐는지 확인해야 한다

   1. 특정 웹페이지가 당시 보존되지 않았다면 가격 페이지의 과거 내용을 신뢰할 만하게 다시 찾기 어렵다.
   2. 정서 분석도 게시물이 언제 공개됐는지 모르면 당시 시점의 신호로 쓸 수 없다. Snapshot은 날짜 기준으로 원문을 찾을 수 있게 해 모델이 실제로 이용할 수 있었던 정보만 구조화하는 데 도움을 준다.

4.2. 유형 2 — 기존 모델에 에이전트 검색 기능을 추가한다

1. 부정적 보도 조사로 모델의 입력 정보를 보강한다

   1. 기존 모델의 성능이 이미 괜찮더라도, 웹 전반의 부정적 보도(adverse media)를 찾아 요약하는 에이전트 기능 한두 개를 추가하면 더 나아질 것이라는 가설을 세울 수 있다.
   2. 이 기능은 한 번의 검색으로 끝나지 않고 여러 검색과 경로를 시도해 관련 정보를 넓게 모은 뒤 결과를 구조화할 수 있다.

2. 기업 분석에 필요한 매출·인원 등 추정치를 수집한다

   1. 주식 리서치에서는 기업 전체를 살펴 예상 매출, 인원수 또는 투자 판단에 중요한 다른 특징을 모을 수 있다.
   2. 예측 시점에 에이전트가 수집하는 웹 정보를 기존 모델에 입력하고, 그 과정을 과거로 옮겨 어느 시점에 어떤 신호가 있었는지 평가한다.

3. 현재 쓰는 절차와 나란히 비교해 검색의 추가 가치를 본다

   1. 포트폴리오에 기업을 편입하던 4개월 전이나 인수 한 달 전으로 되돌려, 그때 부정적 보도 조사 또는 기업 분석을 실행했다면 어떤 판단을 했을지 확인한다.
   2. 금융기관은 검색이 무조건 더 낫다고 믿는 데 그치지 않고, 기존 프로세스와 비교해 실제로 성과나 위험 평가를 개선했는지 백테스트할 수 있다.

4.3. 유형 3 — 웹 검색을 직접 사용하는 완전 에이전트 예측 시스템을 검증한다

1. 예측 전체가 에이전트의 여러 도구 사용으로 이뤄질 수 있다

   1. 가운데의 머신러닝 모델이나 의사결정 트리만 예측하는 구조를 넘어, 에이전트가 내부 지식·데이터 피드·웹 검색을 활용해 조사와 예측을 함께 수행하는 방식이다.
   2. 이 경우 자체적으로 과거 웹을 모사하는 내부 코퍼스를 새로 만들지 않고도, 검색 도구가 당시 웹을 제공하게 할 수 있다.

2. 라이브 검색이 정답을 바로 노출하는 누출을 차단한다

   1. 기업 인수를 예측하는 에이전트가 인수 발표 뒤의 실시간 웹을 검색하면, 인수 발표 기사 하나를 찾은 뒤 100% 정확도로 인수를 예측한 것처럼 보일 수 있다.
   2. 날짜별 검색은 모델이 실제로 예측했는지, 아니면 나중에 공개된 결과를 웹 검색으로 찾아냈는지를 분리한다. 에이전트의 복잡한 검색 경로도 특정 과거 날짜에 고정해 평가할 수 있다.

5. 인수 예측 워크숍과 과적합 방지

5.1. 약 100명이 함께 실험한 기업 인수 예측

1. 워크숍 참가자들은 인수 가능성을 알려주는 특징을 찾았다

   1. 발표 전날 Snapshot 워크숍에는 약 100명이 참여해 회사가 인수될지를 예측하는 같은 예제를 다뤘다.
   2. 한 참가자의 비교적 높은 점수를 얻은 특징 중 하나는 지난 1년 안에 투자자나 주요 주주가 회사 전체의 매각을 공개적으로 지지하거나 촉구했는지 여부였다.

2. 주가 하락률처럼 명확한 수치 신호도 후보가 됐다

   1. 다른 특징은 해당 회사의 주가가 지난 5년 최고가보다 최소 60% 낮아졌는지였다.
   2. 이런 급락은 잠재적 인수 상황과 연관될 수 있다는 가설을 표현하며, 과거 웹·주가 정보로 해당 시점에 이 특징을 확인할 수 있었는지 평가한다.

3. 회사명이 Dominion인지 묻는 특징은 과적합 사례가 됐다

   1. 같은 특징 목록에는 “회사의 이름이 Dominion인가?”라는 항목도 있었다.
   2. 이처럼 특정 학습 표본에 우연히 맞는 이름을 기준으로 삼으면, 모델이 인수의 일반적 신호를 학습한 것이 아니라 샘플에만 맞춘 것일 수 있다.

5.2. 기다리는 실험에서 날짜 고정 평가와 홀드아웃으로

1. 라이브 운영만으로는 특징의 가치를 알아보기까지 오래 걸린다

   1. 실시간 데이터만으로 특징 설명과 에이전트 구성을 조금씩 바꿔 실제 결과를 기다리면, 신호가 예측에 도움이 되는지 확인하기까지 몇 달이 걸릴 수 있다.
   2. 과거 웹을 이용하면 다양한 날짜와 기업을 대상으로 즉시 평가해, 에이전트가 어떤 특징을 찾았는지와 예측이 맞았는지를 비교할 수 있다.

2. 평가 하네스가 과적합 신호를 찾고 일반화를 확인한다

   1. 스냅샷으로 평가 세트를 만들고 에이전트 하네스에서 반복 실행하면, 회사명 Dominion 같은 표본 특이적 신호가 과적합을 일으키는지 테스트할 수 있다.
   2. 학습에 쓰지 않은 홀드아웃 기업에서도 성능을 확인해, 제안한 특징이 다른 사례에 일반화되는지 검증한다.

3. 의미 검색이 만드는 복잡한 신호도 검증 대상이 된다

   1. 기존 비의미 검색으로 재현하기 어려운 조건도 검색할 수 있다. 예를 들면 평판이 좋은 VC 펀드의 유력 인사 중 AI Engineer 팟캐스트에 출연해 특정 회사에 대해 부정적으로 말한 사람이 있었는지 찾는 식이다.
   2. 복합 조건을 더 자유롭게 만들수록 그 특징이 실제로 예측력을 갖는지 확인하는 절차가 중요해진다. 버전 검색은 정교한 에이전트 특징도 과거 시점에 고정해 성능과 일반화 여부를 점검하게 한다.

주요 발언 모음

“Agents tend to do a pretty good job at understanding how to search because they're allowed to try multiple, multiple times.”
에이전트는 여러 번 재시도할 수 있어 검색 방법을 이해하고 수행하는 데 강점을 보인다.

“They tend to be very verbose. They tend to describe what they want to search in great detail.”
에이전트의 검색 질의는 길고 구체적이며, 찾으려는 내용을 상세히 표현한다.

“What would happen if I had executed that search but at a prior point?”
그 검색을 과거 어느 시점에 실행했다면 어떤 결과가 나왔을지를 묻는 것이 버전 검색이다.

“You can now go back and backtest that.”
이제 과거로 돌아가 그 기능이 실제로 작동했는지 백테스트할 수 있다.

핵심 데이터 & 수치

• 20년: ExaSnapshot에 쌓인 웹페이지 버전의 시간 범위다.
• 4,000억 개 이상: 발표자가 소개한 날짜별 웹페이지 스냅샷 규모다.
• 95% 적은 토큰: Dynamic Highlights가 전체 페이지 텍스트를 보내는 방식과 비교해 줄일 수 있다고 발표자가 설명한 입력 토큰 규모다.
• 약 700억 달러 → 약 500억 달러: OpenAI 연환산 매출 런레이트 보도가 총액과 클라우드 통과분을 제외한 순액의 차이로 재해석된 예시다.
• 약 50개 샘플 세트: 신호를 튜닝한 다음 일반화 가능성을 확인하도록 발표자가 제안한 실험 규모의 예시다.
• 하루·일주일·한 달 전: 인수 발표 전 여러 날짜로 돌아가 예측이 가능했는지 시험하는 간격의 예시다.
• 약 100명: 발표 전날 기업 인수 예측 예제를 함께 실습한 Snapshot 워크숍 참가자 수다.
• 1년·5년·60%: 공개 매각 요구는 지난 1년, 주가 하락은 5년 최고가 대비 60% 이상이라는 워크숍 특징의 기준이다.

결론 및 시사점

1. 에이전트 검색을 평가할 때 검색 한 번의 가격만 보지 말고 결과의 품질, 재검색 횟수, 추론 토큰, 전체 작업 시간과 비용을 함께 측정해야 한다.
2. 금융·위험 모델의 웹 검색 기능은 라이브 데이터만으로 검증하지 말고, 당시 이용할 수 있었던 정보를 날짜별로 복원해 룩어헤드 바이어스를 막아야 한다.
3. 에이전트가 웹을 직접 검색하는 예측 시스템은 발표 후 정답 기사에 접근하지 않도록 검색 시점을 고정해야 한다.
4. 눈에 띄는 학습 표본 특징이 실제 원인 신호인지 검증하려면 표본 분리, 홀드아웃, 다양한 시점의 재현 가능한 평가가 필요하다.
5. ExaSnapshot의 핵심 가치는 과거 페이지를 보관하는 데 그치지 않고, 과거 검색 결과를 에이전트 평가와 금융 예측 실험의 입력으로 되살리는 데 있다.

핵심 요약 (20줄)

1. 에이전트는 사용자 목표를 이해하기 위해 검색 질의를 여러 차례 넓고 구체적으로 반복하며 인간보다 많은 웹 검색을 중개한다.
2. 검색이 에이전트의 핵심 도구가 되면서 검색 결과 품질은 도구 호출 수와 전체 추론 비용에 직접 영향을 준다.
3. Exa는 자체 크롤러·데이터베이스·임베딩 모델·검색 아키텍처를 운영해 에이전트용 웹 검색 결과를 제공한다.
4. 검색 도구 평가는 호출 모델의 추론 능력과 분리해 검색 자체 성능을 비교해야 한다.
5. Dynamic Highlights는 전체 페이지 전송보다 토큰을 95% 줄이며 검색 결과의 과업 관련 구절을 추린다.
6. Exa의 검색 기준은 검색 품질, 에이전트 전체 작업 비용, 낮은 지연 시간 세 가지다.
7. ExaSnapshot은 20년에 걸친 4,000억 개 이상의 웹페이지 스냅샷을 날짜 기준으로 검색한다.
8. 특정 URL의 과거 버전을 찾거나 특정 날짜 당시의 검색 결과를 재현할 수 있다.
9. OpenAI 연환산 매출 사례에서는 약 700억 달러 보도가 클라우드 통과분을 제외한 약 500억 달러 순액으로 재해석됐다.
10. 날짜 고정 검색은 시장이 알기 전의 웹 정보만으로 신호를 발견했는지 확인한다.
11. 과거 지식 누출을 막으면 강화학습 평가와 에이전트 검색 벤치마크를 더 공정하고 재현 가능하게 만들 수 있다.
12. 기업 인수 발표 하루·일주일·한 달 전의 웹만으로 인수 가능성을 예측하는 실험을 구성할 수 있다.
13. 전통적 모델은 과거 웹의 소프트웨어 가격·정서·이용약관을 구조화 신호로 바꾸어 사용할 수 있다.
14. 기존 모델에 부정적 보도 조사나 기업 매출·인원 추정 같은 에이전트 기능을 붙여 추가 가치를 검증할 수 있다.
15. 완전 에이전트 예측 시스템은 내부 지식·데이터 피드·웹 검색을 쓰되 미래 정보가 검색 결과로 새지 않게 해야 한다.
16. 약 100명 규모 워크숍에서는 투자자의 매각 요구와 5년 최고가 대비 60% 하락 같은 인수 신호를 실험했다.
17. 회사명이 Dominion인지 묻는 특징은 특정 학습 표본에만 맞는 과적합 위험을 드러낸다.
18. 날짜별 데이터와 홀드아웃 평가를 쓰면 실제 운영에서 수개월을 기다리지 않고 신호의 일반화 가능성을 점검한다.
19. 의미 검색은 VC 인사의 팟캐스트 출연과 부정 발언 같은 복합 조건을 과거 웹에서 찾아 예측 특징으로 검증할 수 있다.
20. 과거 시점 검색으로 에이전트와 금융 모델을 평가해 검색 신호가 실제 예측력과 위험 판단에 가치를 더하는지 확인한다.