어제의 웹으로 AI 에이전트를 백테스트하는 법 (Ryan Ahern, Exa)

URL: https://www.youtube.com/watch?v=L4dUFimVDKU
날짜: 2026-10-19
채널: aiDotEngineer (YouTube 표시명: AI Engineer)
발표자: Ryan Ahern, Exa
원제: Backtest Your Agent Against Yesterday's Web — Ryan Ahern, Exa
길이: 26분 41초

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI 에이전트가 과거 시점에 내렸을 판단을 제대로 평가하려면, 그 시점에 실제로 알 수 있었던 웹 정보만으로 검색과 예측을 재현해야 한다.== 현재 웹을 그대로 검색해 과거 사건을 예측하게 하면 이미 알려진 결과가 검색 결과에 섞이는 미래 정보 누출(look-ahead bias)이 발생한다. Exa Snapshot은 과거 웹 페이지 버전과 과거 시점 검색을 제공해 이 누출을 막고, 모델과 에이전트의 검색 신호를 백테스트하게 한다.

• AI 에이전트는 인간보다 훨씬 많은 검색을 수행하므로 검색 품질·비용·지연 시간이 시스템 성능을 좌우한다.
• Exa Snapshot은 URL의 과거 콘텐츠를 읽는 기능과 과거 날짜 기준으로 검색하는 기능을 제공한다.
• 기업 인수 예측 실습은 검색 신호의 조합을 조정하는 방법과 작은 데이터셋에 과적합할 위험을 보여준다.
• 성능을 입증하려면 학습·조정에 쓰지 않은 홀드아웃 데이터에서 결과를 확인해야 한다.

발표의 흐름은 에이전트 검색의 필요성과 Exa의 품질·비용·속도, 웹 전체의 시점별 버전 관리, look-ahead bias가 생기는 이유, 세 가지 백테스트 설계 패턴, 기업 인수 예측 실습, 과적합 사례와 홀드아웃의 필요성으로 이어진다. 검색이 현재의 정답을 찾는 능력만 제공하는 데 그치지 않고, 특정 과거 날짜에 검색했을 때 얻었을 결과까지 재현해야 에이전트의 실제 의사결정 능력을 검증할 수 있다는 것이 핵심이다.

1. 에이전트 시대에 검색이 중요한 이유

에이전트의 답변 품질은 모델의 학습 지식뿐 아니라, 필요한 외부 정보를 얼마나 잘 찾아오고 그 정보를 얼마나 효율적으로 활용하는지에 달려 있다.

1.1. 사람의 검색에서 에이전트 검색으로의 이동

1. 청중의 검색 습관을 확인하며 발표를 시작한다

   1. Exa 인지도 확인: Ryan Ahern은 청중에게 Exa를 들어 본 적이 있는지 묻고, 이미 알고 있는 사람과 처음 접하는 사람이 모두 있음을 확인한다.
   2. 기존 검색 경험 확인: Google 같은 검색엔진으로 과거 직장이나 일상에서 조사해 본 사람에게 손을 들어 달라고 한다. 대부분이 경험이 있다고 답한다.
   3. 에이전트 검색 경험 확인: 이제 Google 대신 ChatGPT, Claude 또는 다른 에이전트에 정보를 찾아 달라고 부탁하는 사람에게도 손을 들어 달라고 한다. 청중의 응답을 바탕으로 인간 검색에서 에이전트 검색으로의 변화를 연결한다.
   4. 현장 반응: 발표자는 청중의 참여에 반응하며, 자신이 설명할 변화가 이미 실제 사용 습관에서 진행되고 있다고 말한다.

2. 에이전트는 인간보다 더 많은 검색을 수행한다

   1. 다단계 검색: 사람은 몇 개의 키워드를 입력하고 첫 페이지에서 원하는 것을 못 찾으면 포기하기 쉽지만, 에이전트는 여러 번 검색하고 여러 페이지를 확인하며 원하는 답을 계속 찾아간다.
   2. 반복적인 조사 능력: 에이전트는 질문을 세분화하고 검색 결과를 확인한 뒤 다시 검색할 수 있어, 인간이 수행하기 번거로운 반복 작업을 이어 간다.
   3. 외부 지식 호출: 모델의 지식 범위를 벗어난 질문을 받으면 웹을 찾아야 하며, Exa 같은 검색 도구를 호출해 최신 정보를 가져온다.
   4. 발표자의 가벼운 농담: 사람은 첫 페이지에 답이 없으면 대개 그만두지만 에이전트는 답을 만족시킬 때까지 검색을 계속한다. 발표자는 에이전트가 사용자를 기쁘게 하려는 성향과도 연결해 설명한다.

3. Exa가 실제로 쓰이는 제품 사례

   1. 코딩 에이전트와 문서 검색: Cursor가 답을 위해 특정 라이브러리나 도구의 문서가 필요할 때 Exa로 관련 문서를 찾아 오케스트레이션 에이전트에 전달할 수 있다.
   2. 프레젠테이션과 금융 정보: Gamma에서 Bank of America의 2019년 재무 수익 같은 정보를 찾으려 할 때 Exa 검색 결과를 활용해 슬라이드에 넣을 자료를 찾을 수 있다.
   3. 금융회사 고객: Ryan은 헤지펀드, 국부펀드, 자산운용사, 벤처캐피털과 여러 주제를 다룬다고 설명한다. 헤지펀드는 투자 판단에 사용할 초과수익(alpha)을, 자산운용사는 위험 예측 정보를, 벤처캐피털은 The Verge 같은 매체에 보도되기 전에 유망 스타트업을 발굴할 정보를 원한다.
   4. 공통 요구: 각 고객은 검색을 통해 투자·위험·발굴에 필요한 정보를 더 빠르고 정확하게 얻으려 한다.

1.2. 검색 시스템을 평가하는 세 축: 품질·비용·지연 시간

1. 품질을 계속 측정하는 재생성 벤치마크

   1. 검색은 빠르게 변한다: 고정된 벤치마크를 공개하면 검색 제공업체나 모델 연구소가 그 벤치마크에 맞춰 학습하고 점수를 높이는 데 집중할 수 있다.
   2. 사용자별 평가가 필요하다: Exa는 각 사용자가 자신의 업무 사례에 맞는 벤치마크를 만들고 계속 업데이트하는 재생성(regenerative) 벤치마크를 지향한다.
   3. 최신 정보의 가치: 검색 제공업체를 쓰는 이유는 모델 가중치에 담긴 과거 지식만으로 답하는 대신 최신 정보를 찾기 위해서다. 그러므로 벤치마크도 실제 사용 사례와 함께 진화해야 한다.

2. 검색 비용에는 검색 호출과 입력 토큰이 모두 포함된다

   1. 검색 결과가 컨텍스트 창을 차지한다: 웹 검색은 결과 자체의 호출 비용뿐 아니라 모델에 전달되는 입력 토큰 비용도 만든다.
   2. 필요한 토큰만 반환: Exa는 단일 결과뿐 아니라 여러 결과 전체에서 필요한 토큰을 추려, 코딩 에이전트나 애플리케이션이 답을 만드는 데 드는 입력 비용을 줄이려는 기술을 개발했다고 설명한다.
   3. 시스템 단위 비용: 검색 결과의 양과 맥락을 관리하면 검색 API 비용뿐 아니라 후속 모델 호출 비용도 통제할 수 있다.

3. 짧은 검색부터 장시간 조사까지의 지연 시간

   1. 빠른 검색: Exa는 300밀리초 미만의 검색부터 제공한다고 발표한다.
   2. 대규모 수집 사례: 반대편의 사례로, 발표자는 평가를 위해 “모든 비디오게임 퍼블리셔”를 찾아 달라고 한 검색을 들려준다. 작업은 약 20분 걸렸고, 퍼블리셔 3,212곳과 그들이 협업하는 개발사들을 찾아냈다.
   3. 다양한 아키텍처에 맞는 선택지: 따라서 호출 한 번의 빠른 검색과 광범위한 조사 작업 사이에서 애플리케이션의 필요에 맞는 속도와 범위를 선택할 수 있다는 것이 발표자의 설명이다.

2. Exa Snapshot으로 과거 웹을 재현하기

Exa Snapshot은 현재 검색만 제공하는 대신, 과거의 웹 페이지와 검색 결과를 특정 시점의 상태로 재구성해 모델 평가에 사용할 수 있도록 한다.

2.1. 웹 전체를 대상으로 하는 시점별 버전 관리

1. 페이지 버전을 계속 저장한다

   1. 인덱싱 과정: Exa는 웹을 살펴보고 콘텐츠를 인덱스에 넣으며, 페이지의 새 버전을 발견하거나 과거 시점의 페이지를 새로 발견하면 그 버전도 저장한다고 설명한다.
   2. 규모: 발표 당시 Exa 인덱스에는 약 1,000억 개 문서가 있고, 추적하는 URL은 수조 개 규모라고 제시한다.
   3. 역사적 시점으로 이동: 이 버전 저장을 이용하면 인덱스에 있는 웹 콘텐츠를 과거 시점 기준으로 살펴볼 수 있다.

2. 콘텐츠 버전 관리와 버전 검색은 서로 다른 기능이다

   1. 콘텐츠 버전 관리(content versioning): 이미 알고 있는 URL을 지정하고 날짜를 주면, 해당 날짜의 페이지 또는 Exa가 보유한 가장 가까운 이전 날짜의 페이지를 보여 준다. 그 시점에 제공됐을 페이지 버전을 재현하는 방식이다.
   2. 버전 검색(version search): URL을 미리 정하지 않고, 현재 하듯이 검색 질의를 실행하되 과거 특정 날짜에 검색한 것처럼 결과를 찾는다.
   3. 두 기능의 쓰임: 특정 문서의 역사적 내용만 필요할 때는 URL 버전을, 당시 웹에서 어떤 정보를 발견할 수 있었는지 알아볼 때는 시점 검색을 쓴다.

2.2. 과거 데이터가 중요한 실제 의사결정 사례

1. OpenAI 매출 추정치의 변화

   1. 서로 다른 보도: 과거 Axios 등은 OpenAI의 연환산 매출이 700억 달러에 가까울 수 있다고 보도했지만, 이후 700억 달러인지 500억 달러인지에 대한 보도가 이어졌다고 설명한다.
   2. 회계 정의가 차이를 만든다: 총매출(gross)과 순매출(net)의 차이, 클라우드 제공업체 비용을 고객에게 전가하는 경우 이를 매출로 인식할지 등의 회계 처리 문제가 숫자 차이를 만든다.
   3. 과거 시점 평가: 투자 시스템이 과거 특정 날짜에 이 정보를 검색했을 때 회계 관련 주석까지 찾아낼 수 있었는지 확인하면, 그 신호가 당시 투자 판단에 실제로 가치가 있었는지 검증할 수 있다.

2. 불리한 미디어와 보험·파트너 실사

   1. Ed Sheeran 사례: 발표자는 Ed Sheeran을 둘러싼 불리한 미디어(adverse media)가 최근에 생긴 사례를 언급한다. 사건 전 시점으로 돌아가면 그 전에 이미 존재하던 다른 정보나 위험 신호가 있었는지 확인할 수 있다고 말한다.
   2. 보험 상품의 비유: 발표자는 그가 보험에 그다지 적합하지 않을 수 있다는 취지로 농담 섞인 예를 들어, 유명인 후원이나 보험 계약의 상대방 위험을 미리 살펴보는 상황을 묘사한다.
   3. 상대방 실사: 보험사의 거래 상대방 실사, KYB(기업 고객 확인), KYC(고객 확인), 기업 간 제휴 검토 등에서 웹 검색으로 개인·기업의 성격과 위험을 분류할 수 있다.
   4. 설계 후 검증: 검색 시스템을 설계한 뒤 Snapshot으로 사건 이전에 돌아가 시험하면, 당시 정보만으로 상대방을 올바르게 분류했을지 평가할 수 있다.

3. 기업 인수 예측과 미래 정보 누출

   1. 현재 검색은 결과를 이미 안다: 지금 기업 인수를 검색하면 인수 완료 사실이 뉴스에 노출돼 있을 수 있다.
   2. 예측 시점을 나누어야 한다: 인수 하루 전, 일주일 전, 한 달 전으로 돌아가 각각 당시 찾을 수 있었던 정보로 예측할 수 있었는지 확인해야 한다.
   3. look-ahead bias: 현재 웹 검색 결과를 과거 예측에 사용하면 이미 발표된 인수 사실이 입력에 들어간다. 이때 시스템이 인수 소식을 찾아내고 “인수됐다”고 답해도, 이는 예측 성공이 아니라 미래 정보 누출이다.
   4. 시점 고정: Snapshot 날짜를 결과 발표 직전으로 고정하면, 결과를 직접 확인해 주는 정보를 제외하고 예측을 평가할 수 있다.

2.3. 신호를 설계하고 백테스트하는 방법

1. 관심 신호를 과거 자료에서 추출한다

   1. 채용 신호: 특정 직책이나 인력 이동을 보고 싶은 시스템은 사건 전 시점의 채용 정보를 검색해 예측에 도움이 됐는지 확인할 수 있다.
   2. 경영진 발언: 실적 발표(earnings call), 녹취록, CEO 팟캐스트 인터뷰 등을 기능별 신호로 사용할 수 있다.
   3. 조합별 효과 비교: 어떤 신호가 실제 예측력을 높였는지, 반대로 도움이 되지 않았는지 같은 과거 사례로 비교하며 시스템을 조정한다.

2. 백테스트는 기존 모델부터 완전한 에이전트까지 적용된다

   1. 패턴 A — 기존 모델의 과거 특징 수집: 이미 운영 중인 전통적 모델을 그대로 두고, 당시 사용할 수 있었던 입력 특성(features)만 과거 웹에서 다시 모아 기존 백테스트에 넣는다. 예측에 Exa가 직접 참여하지 않더라도 과거 자료를 회수하는 데 Snapshot을 사용할 수 있다.
   2. 패턴 B — 전통적 모델에 에이전트 기능을 하나씩 추가: 운영 모델의 한 입력 신호를 Exa가 검색하고 비정형 웹 정보를 구조화된 신호로 바꾸도록 한다. 그 신호를 전통적 머신러닝 모델에 넣어 투자 여부 같은 판단을 내린다.
   3. 비결정적 시스템 조정: 에이전트 검색은 완전히 결정적이지 않을 수 있다. 검색 방식을 바꾸거나 질의를 다르게 하면 성공률도 달라지므로, 같은 시점·같은 사례에서 실험을 통제하고 신호를 한 번에 하나씩 추가해야 한다.
   4. 패턴 C — 전체 시스템을 에이전트로 구성: 모델이 실행 시점에 웹 검색 도구를 쓸지 결정하고, 내부 지식과 구조화된 외부 지식을 함께 이용해 판단하는 방식이다. 사람처럼 어떤 자료를 더 찾아볼지 선택하되, 해당 시점에 공개된 정보만 보도록 검색 시점을 고정한다.

3. 코딩 모델 평가에도 같은 원칙을 적용한다

   1. PR 해결 평가: 코딩 모델이 저장소의 PR을 해결할 수 있는지 평가할 때는 PR이 해결되기 직전의 저장소 상태로 시간을 고정한다.
   2. 미래 코드 누출 방지: 평가 시점 이후에 추가된 코드나 해결 내용을 검색 결과로 접하면 안 된다.
   3. 개선 원인 확인: 정보 시점을 동결하면 작업 성공이 모델 가중치나 개선하려는 시스템 구성요소의 변화 덕분인지, 미래 정보가 새어 들어온 덕분인지 구분하기 쉬워진다.

2.4. 기사 게시일만 믿을 수 없는 이유

1. 콘텐츠의 게시일은 뒤늦게 바뀔 수 있다

   1. 정상적인 수정: 기사는 사실관계나 내용을 실제로 업데이트하면서 게시일이 바뀔 수 있다.
   2. 검색엔진 최적화: SEO를 위해 오래된 글의 날짜를 최신으로 보이게 갱신하는 경우도 있다고 발표자는 지적한다.
   3. 결과: 기사에 표시된 게시일만으로는 특정 내용이 당시 이미 공개되어 있었는지 신뢰성 있게 판단하기 어렵다.

2. 버전 기록이 누출 방지의 근거가 된다

   1. URL만 알아도 과거 페이지 회수: 관심 있는 URL이나 웹사이트를 알고 있다면 해당 시점에 저장된 페이지를 가져와 특성으로 변환할 수 있다.
   2. 시점 검색으로 발견 가능성 재현: 어떤 질의를 당시 수행했을 때 어떤 결과를 발견했을지까지 확인할 수 있다.
   3. 주요 효용: 단순히 데이터에 오래된 날짜를 붙이는 것이 아니라, 결과 시점 이전에 실제로 확인 가능한 자료였는지 통제한다.

3. 실습: 기업 인수를 예측하는 검색 신호 만들기

참가자들은 10개 기업 사례를 상대로 인수 가능성을 예측하는 예/아니오 질문을 만들고, 시점별 검색 결과를 이용해 신호의 효과를 비교한다.

3.1. 실습 과제와 점수 방식

1. 상황 설정

   1. 투자기관의 짧은 평가 과제: 참가자는 금융기관에서 일하고, 상사의 상사가 AI Engineer 워크숍에서 웹 검색 기능을 접한 뒤 포트폴리오 매니저에게 보여 주라고 했다는 상황을 상정한다.
   2. 시간 압박과 수작업: 포트폴리오 매니저는 20분만 주며, 참가자는 코딩 에이전트 사용량이 소진되어 직접 작업해야 하는 상황으로 설정된다.
   3. 목표: 기업 인수를 정확히 예측하는 데 가장 유용한 두 가지 특징(feature)을 찾는다.
   4. 시점: 실제 인수 기업은 인수 1일·7일·30일 전으로 돌아가 테스트하고, 인수되지 않은 기업은 임의의 날짜를 기준으로 삼아 혼동 요인을 둔다.
   5. 질문 형식: 각 특징은 기업의 인수를 예측한다고 믿는 예/아니오 질문이다. 예시 질문을 고르거나 새 질문을 입력해 여러 번 시험할 수 있다.

2. 점수와 반복 실험

   1. 정답인 인수 경보: 인수될 기업을 해당 평가 시점에 인수된다고 올바르게 예측하면 1점을 얻는다.
   2. 거짓 양성: 인수되지 않는 기업을 인수된다고 예측하면 1점을 잃는다.
   3. 미탐·패스: 인수를 놓치거나 예측을 보류한 경우에는 점수에 영향을 주지 않는다고 설명한다.
   4. 최고 점수 기록: 여러 특징을 시도할 수 있고 최고 점수는 자동으로 기록된다. 발표자는 처음 실습을 약 30분으로 설정한다고 말하지만, 뒤의 시연에서는 “10초 남았다”고 알린다. 녹취의 시간 흐름상 실습 진행 구간이 압축되거나 건너뛴 듯하므로, 두 발언 모두 발표의 맥락에 포함한다.

3.2. 경영진 교체와 매각 검토 신호를 조합한다

1. 첫 번째 특징: 경영진 교체

   1. 질의: 기업이 CEO 또는 CFO를 잃었거나 임시 경영진을 임명했는지 묻는다.
   2. 검색 결과 사례 — Delivery Hero: Snapshot으로 과거 시점 검색을 해 보니 경영진 교체 신호가 있었고, 이 기업은 실제 인수 사례로 나타난다. 따라서 신호가 유망해 보인다.
   3. 반례 — Qiagen: 녹취에서는 회사명을 처음 “Quagen”처럼 발음한 뒤 후반에 Qiagen으로 언급한다. 이 회사도 경영진 교체가 있었지만 인수되지는 않아, 단일 신호만으로 예측하면 거짓 양성이 생긴다.
   4. 교훈: 인수된 사례 하나를 설명한다고 해서 해당 특징의 예측력이 입증되는 것은 아니다. 비인수 사례의 혼동 요인도 함께 살펴야 한다.

2. 두 번째 특징: 매각 탐색 보도

   1. 질의 추가: 기업이 매각을 검토 중이라고 보도된 적이 있는지 묻는다.
   2. 신호를 OR로 결합: 두 특징 중 하나라도 참이면 인수 예측으로 처리하면 더 많은 인수 사례를 포착하지만, 거짓 경보도 크게 늘어난다.
   3. 신호를 AND로 결합: 두 특징이 모두 참일 때만 인수 예측으로 처리하도록 바꾸자 점수가 조금 개선된다. 즉 경영진 교체와 매각 검토 보도가 함께 나타나는 경우로 좁히는 것이 단독 신호의 OR 조합보다 나은 결과를 낸다.
   4. 발표자의 안내: 그는 결과 화면과 리더보드를 오가며 참가자들에게 질문이 있으면 손을 들라고 하고, 마지막 몇 초 동안 AND/OR 조합을 바꿔 보라고 말한다.

3. 실습 분위기와 수상

   1. 작업 분위기: 발표자는 참가자들이 포트폴리오 매니저 회사에서 일하는 느낌을 받도록 로파이 비트 같은 잔잔한 음악을 틀자고 농담한다.
   2. 시연 속도: 예시 질의는 캐시되어 빨리 실행됐으며, 발표자는 사전 테스트를 해 둔 성능 개선의 사례라고 덧붙인다.
   3. 종료와 축하: 시간이 다 되자 Zane, John, Ree를 무대로 부르고 큰 박수로 축하한다. 발표자는 미스터리 박스 상품을 언급하고, 수상자들이 함께 사진을 찍도록 세워 본다. 영상에서 나중에 스틸 사진을 뽑을 수 있다는 말도 덧붙인다.
   4. 청중 반응: 수상자들의 전략을 공개하는 과정에서 웃음이 나오고, 발표자는 청중을 둘러보며 참가자들이 어떤 특징을 만들었는지 살펴본다.

3.3. 수상 전략이 보여 준 과적합

1. Zane의 규칙과 홀드아웃 부재

   1. 첫 특징: 해당 기업이 상장 회사인지 묻는 특징을 사용했다.
   2. 두 번째 특징: Qiagen, Vitris, Bank of Cyprus로 들리는 회사, American Electric Power를 제외하는 규칙을 추가했다. 녹취의 회사명 표기가 일부 불분명하지만, 특정 기업 이름을 직접 예외 처리한 점이 핵심이다.
   3. 웃음 섞인 반응: 발표자는 청중에게 자신이 홀드아웃 데이터를 넣고 싶었던 이유를 보여 주는 사례라며 농담한다. 특정 평가 기업들을 명시적으로 제외하면 현재 점수는 높아져도 새로운 기업에 일반화되지 않을 수 있다.
   4. 홀드아웃을 제외한 이유: 발표자는 실습을 단순하게 만들려고 홀드아웃 세트를 제거했지만, 그 결정이 참가자들이 쉽게 혼동하지 않도록 하기 위한 것이었다고 설명한다. 동시에 홀드아웃이 왜 필요한지 드러나는 사례가 되었다고 말한다.

2. Ree의 결과

   1. 유사 전략에 대한 농담: 발표자는 Ree가 Zane의 전략을 가져온 것 같다고 말하며, 두 참가자가 옆자리에 앉아 있었을 수도 있다고 농담한다.
   2. 평가의 한계: 작은 평가 세트에서 비슷한 규칙을 복사하거나 조정하는 것이 가능하므로, 순위만으로 일반화 능력을 판단할 수 없다.

3. John의 복합 규칙

   1. 행동주의 투자자 신호: 최근 12개월 안에 활동적인 투자자나 주요 주주가 기업 전체 매각을 공개적으로 요구했는지 확인한다.
   2. 주가 하락 신호: 현재 주가가 지난 5년 고점보다 최소 60% 낮은지 확인한다.
   3. 기업명 예외: 회사가 Dominion인지도 규칙에 포함한다.
   4. 발표자의 평가: 이 전략도 과적합이지만 Zane의 것보다는 성능이 나아 보인다고 말한다.

4. 과적합을 막는 검증 설계

   1. 훈련 사례에만 맞추면 안 된다: 참가자가 이미 결과를 알고 있거나 같은 기업으로 계속 조정하면 개별 기업명 예외처럼 데이터셋에만 맞는 규칙이 생긴다.
   2. 홀드아웃 세트: 특징을 만들고 조정하는 데 사용하지 않은 기업 사례를 따로 두어 최종 평가에 쓴다.
   3. 사례 규모 예시: 발표자는 이미 사건이 있었던 기업 10곳과 사건이 없었던 기업 20곳을 책처럼 정리해 두고, 모델을 반복 조정한 뒤 공개된 사례 집합 밖에서도 성능이 이어지는지 확인하는 예를 든다.
   4. 일반화 여부: 과거 세트에서 높은 점수를 받은 규칙이 미래에도 통할지 확인하려면, 조정에 사용하지 않은 데이터에서 성능을 다시 봐야 한다.

주요 발언 모음

“에이전트는 여러 번 검색하고 여러 페이지를 훑으면서 사용자가 원하는 답을 찾을 때까지 계속한다.”

“현재 검색으로 과거를 예측하면, 이미 알려진 미래의 정보가 평가에 새어 들어간다.”

“시스템에 이 기능이 실제로 가치를 더한다는 것을, 막연한 느낌이나 희망이 아니라 백테스트로 증명하고 싶다.”

“홀드아웃 세트가 없다면 과적합이 왜 위험한지 바로 볼 수 있다. 이 알고리즘이 앞으로도 성공할 거라고 생각하지 않는다.”

“좋은 에이전트 검색, 과거 시점 백테스트, 그리고 홀드아웃 검증을 함께 고려하라.”

※ 위 인용은 영어 발언의 의미를 자연스러운 한국어로 옮긴 것이다.

핵심 데이터 & 수치

• 약 1000억 개 문서: 발표 당시 Exa 인덱스의 문서 규모로 제시됐다.
• 수조 개 URL: Exa가 시점별로 추적한다고 설명한 URL 규모다.
• 300밀리초 미만: Exa가 제공하는 빠른 검색의 지연 시간 사례다.
• 약 20분, 퍼블리셔 3,212곳: 비디오게임 퍼블리셔와 협업 개발사를 찾은 장시간 검색 사례다.
• 700억 달러 대 500억 달러: OpenAI의 연환산 매출 보도가 달라진 사례로, 총매출·순매출 및 클라우드 비용의 회계 처리 문제가 맥락으로 언급됐다.
• 인수 1일·7일·30일 전: 기업 인수 예측 실습에서 검색 시점을 되돌린 구간이다.
• 10개 기업 사례: 인수 기업과 비인수 기업이 섞인 실습 평가 표본이다.
• +1 / -1 / 0점: 올바른 인수 예측은 +1, 거짓 양성은 -1, 미탐이나 패스는 0점으로 설명됐다.
• 지난 5년 고점 대비 60% 하락: John이 사용한 복합 예측 규칙 중 하나다.
• 인수 기업 10곳과 비인수 기업 20곳: 홀드아웃을 설명하며 든 반복 학습·검증 사례의 예시 규모다.

결론 및 시사점

1. 에이전트에게 검색은 외부 지식에 접근하는 핵심 도구다. 에이전트는 인간보다 많은 검색을 수행하므로 품질, 검색 결과의 입력 토큰 비용, 지연 시간을 함께 관리해야 한다.
2. 검색 시스템의 가치를 주장만으로 입증할 수 없다. 검색 기능을 모델에 추가할 때는 과거 사례를 사용해 실제 예측 성능이 개선되는지 측정해야 한다.
3. 과거 성능 평가는 당시 이용 가능했던 정보로만 해야 한다. 현재 웹을 과거 사례에 검색하면 결과를 이미 확인하는 미래 누출이 생기며, 오래된 게시일 표기만으로는 정보의 당시 존재 여부를 보장할 수 없다.
4. Exa Snapshot은 과거 페이지와 검색 결과를 재구성해 준다. 알려진 URL의 페이지 버전을 조회하거나 과거 시점의 검색을 다시 수행해 예측에 쓰인 증거를 검증할 수 있다.
5. 검색 신호는 하나씩 통제해 추가하고 비교해야 한다. 에이전트 시스템은 비결정적일 수 있으므로 어떤 검색 방식과 입력 신호가 개선을 만들었는지 실험별로 분리해야 한다.
6. 작은 공개 데이터셋에서 높은 점수는 일반화의 증거가 아니다. 개별 기업 제외처럼 평가 표본을 외운 규칙은 과적합일 수 있으므로 홀드아웃 세트를 반드시 따로 둬야 한다.
7. 실무에서는 재현성과 시간 경계가 중요하다. 기업 인수, 상대방 실사, 투자 예측, 코딩 PR 해결 모두 실제 의사결정 시점에 접근 가능했던 자료를 고정해야 공정한 백테스트가 된다.

핵심 요약 (20줄)

1. Ryan Ahern은 Exa의 에이전트 검색과 과거 시점 검색을 백테스트에 활용하는 방법을 소개한다.
2. 에이전트는 여러 차례 검색하고 여러 페이지를 검토해 인간보다 더 많은 정보를 찾는다.
3. Cursor는 문서를 찾고 Gamma는 금융 자료를 찾는 사례처럼 Exa 검색은 실제 제품에 연결된다.
4. 헤지펀드와 자산운용사, 벤처캐피털은 투자 신호와 위험 정보, 유망 스타트업을 찾기 위해 검색을 활용한다.
5. Exa는 검색 품질을 위해 사용 사례별로 갱신 가능한 재생성 벤치마크를 제시한다.
6. 검색 비용에는 API 호출뿐 아니라 검색 결과가 모델 컨텍스트를 차지하는 입력 토큰 비용도 들어간다.
7. Exa는 300밀리초 미만 검색부터 약 20분 동안 3,212개 게임 퍼블리셔를 찾은 조사까지 지원한다.
8. Exa Snapshot은 페이지를 새 버전으로 발견할 때마다 저장해 과거 웹 상태를 재현한다.
9. 콘텐츠 버전 관리는 알고 있는 URL의 과거 페이지를 가져오고 버전 검색은 과거 날짜의 검색 결과를 찾는다.
10. 인덱스 규모는 약 1,000억 문서와 수조 개 URL로 설명된다.
11. OpenAI 매출 추정치가 700억 달러와 500억 달러로 달라진 사례는 회계 정의가 투자 신호를 바꿀 수 있음을 보여준다.
12. Ed Sheeran의 불리한 미디어 사례는 보험·KYC·KYB와 거래 상대방 실사에 과거 검색이 쓰일 수 있음을 보여준다.
13. 현재 웹으로 과거의 기업 인수를 검색하면 결과가 이미 알려져 있어 look-ahead bias가 발생한다.
14. Snapshot 날짜를 사건 발표 직전으로 고정하면 그 시점에 실제 공개된 자료만으로 예측을 시험할 수 있다.
15. 과거 백테스트는 기존 모델의 특성 수집, 전통 모델에 검색 신호 추가, 완전한 에이전트 시스템 평가에 적용된다.
16. 기사 게시일은 내용 수정이나 SEO 때문에 바뀔 수 있어 웹의 과거 버전으로 검증해야 한다.
17. 실습에서는 10개 기업을 상대로 인수 1일·7일·30일 전의 신호를 찾고, 거짓 양성에는 감점을 준다.
18. CEO·CFO 교체는 Delivery Hero에서는 맞았지만 Qiagen에서는 틀렸고, 매각 검토 신호와 AND로 결합했을 때 점수가 개선됐다.
19. 수상자의 특정 기업 제외 규칙은 작은 표본에 대한 과적합 사례였고, 주가 60% 하락 같은 복합 규칙도 검증이 필요했다.
20. 검색 시점 고정과 홀드아웃 평가를 함께 해야 과거 성능이 실제 미래에도 이어지는지 판단할 수 있다.