강화학습은 검색을 어디까지 바꿀까 — 빠르고 저렴한 전문 검색 에이전트

자연스러운 제목: 강화학습은 검색을 어디까지 바꿀까 — 빠르고 저렴한 전문 검색 에이전트

URL: https://www.youtube.com/watch?v=iJVxxxHM_Oc
날짜: 2026-09-17
채널: aiDotEngineer
원본 업로드일: 2026-09-16
발표자: Maximilian-David Rumpf, SID.ai 창업자·CEO

---

📌 핵심 질문 / 검색이 강화학습을 만나면 무엇이 달라지는가

==검색 자체를 강화학습(Reinforcement Learning, RL)의 전문 과제로 분리하면, 범용 에이전트가 검색에 쓰던 비용과 컨텍스트를 크게 줄이면서도 더 높은 정확도를 얻을 수 있다.== 목표는 검색 품질을 유지하는 데 그치지 않고, 질문의 난도에 따라 계산량을 조절하는 자율 검색 모델을 만드는 데 있다.

• 에이전트는 작업 시작 전에 전체 토큰의 30~50%를 검색에 쓰며, 검색 결과를 찾을 확률은 고전적 검색보다 약 2배 높지만 비용은 100~1,000배 크고 밀리초가 아닌 수분이 걸린다.
• 고전적 파이프라인은 질의 재작성, 검색 백엔드 호출, 재순위화(reranking)를 설계 시점에 고정하므로, 결과가 질문에 답하지 못해도 다음 행동을 선택하지 못한다.
• 검색은 정답 문서를 찾았는지 쉽게 판정할 수 있고, 학습 중 초당 수천 번 반복할 수 있어 검증 가능하고 반복 가능한 RL 환경이 된다.

질의를 한 번 처리하고 고정된 결과를 반환하는 구조에서 벗어나, 하나의 전문 모델이 데이터베이스와 여러 차례 상호작용하며 검색·읽기·필터링·재검색을 수행하는 구조로 이동한다. SID의 초기 결과는 약 2분이 걸리던 프런티어 모델 기반 검색을 평균 5초로 줄이고, 약 100배 낮은 비용으로 비슷한 과제를 처리할 가능성을 보여준다.

1. 에이전트 검색의 기회와 고전적 파이프라인의 한계

에이전트 검색은 품질을 높이는 대신 비용과 지연 시간을 키웠고, 검색 전용 모델은 그 교환 관계를 다시 설계한다.

1.1. 높은 품질이 만든 비용 구조

1. 에이전트 검색의 품질 우위

   1. 정답 문서 발견 확률: 자연어 질의를 그대로 한 번 조회하는 방식보다 에이전트가 검색 전략을 세우고 결과를 검토하는 방식이 올바른 문서를 찾을 가능성을 약 2배 높인다.
   2. 범용 추론의 효과: 에이전트는 처음 얻은 문서가 충분한지 판단하고, 부족하면 검색어를 바꾸거나 다른 방식으로 다시 조회해 작업에 필요한 컨텍스트를 확보한다.

2. 품질 향상의 대가

   1. 비용: 에이전트 검색은 고전적 검색 질의보다 대략 100~1,000배 비싸다.
   2. 지연 시간: 밀리초 단위의 고전적 검색과 달리 질문 하나를 처리하는 데 수분이 걸릴 수 있어, 모든 검색 요청에 그대로 적용하기 어렵다.

1.2. 검색이 에이전트 토큰을 잠식하는 방식

1. 작업 초반의 검색 집중

   1. 토큰 비중: 에이전트는 전체 토큰의 약 30~50%를 검색에 사용한다.
   2. 컨텍스트 확보: 검색은 대개 작업의 시작 부분에 집중되며, 필요한 배경 정보를 모은 뒤에야 사용자가 요구한 본작업을 진행할 수 있다.

2. 검색 전용 하위 에이전트라는 해법

   1. 역할 분리: 메인 에이전트가 직접 검색하지 않고 검색을 하위 에이전트에 넘기면, 메인 에이전트의 토큰을 본작업에 사용할 수 있다.
   2. 전문화: 검색만 잘하도록 훈련한 모델은 범용 모델의 능력 전체가 필요하지 않으므로, 검색 토큰을 약 100배 저렴한 계산으로 처리할 수 있다.

1.3. 고전적 검색 파이프라인의 고정된 의사결정

1. 전형적인 처리 흐름

   1. 질의 재작성: 질문이 들어오면 LLM이 검색에 적합한 질의로 바꾼다.
   2. 검색과 재순위화: 재작성한 질의를 검색 백엔드에 실행하고, 필요하면 재순위화 모델이 결과의 순서를 정한 뒤 목록을 반환한다.

2. 설계 시점에 얼어붙은 계산

   1. 연결된 로컬 최적화: 질의 재작성기, 검색기, 재순위화기는 각자 맡은 좁은 기능에 맞춰 최적화된 모델들의 연결된 파이프라인이다.
   2. 고정 예산: 어떤 질문이 들어와도 설계자가 정한 같은 단계와 같은 계산량을 사용하므로, 어려운 질문에 계산을 더 쓰거나 쉬운 질문에서 계산을 아끼지 못한다.

1.4. 재순위화기가 알면서도 고치지 못하는 실패

1. 불충분한 결과를 감지하는 능력

   1. 판단 가능성: 재순위화기는 현재 결과가 질문에 답하기에 부족하다는 사실을 알아챌 수 있다.
   2. 행동 부재: 결과가 나쁘다는 판단만 할 뿐 검색어 변경, 추가 조회, 다른 검색 전략 선택을 실행할 권한이 없다.

2. 롱테일 실패의 누적

   1. 예상 밖 질문: 설계자가 미리 준비하지 못한 질문이 들어오면 파이프라인은 그 질문을 처리할 경로를 갖지 못한다.
   2. 끝없는 예외 처리: 운영자는 실패한 사례마다 엣지 케이스와 임시 조정을 추가하지만, 무한한 질문 공간을 무한한 규칙으로 덮을 수는 없다.

2. 인간이 설계한 규칙에서 기계가 발견한 전략으로

검색의 다음 단계는 사람이 모든 전략을 코드로 고정하는 대신, 검증 가능한 목표를 주고 모델이 검색 전략을 발견하도록 만드는 흐름에 놓여 있다.

2.1. 컴퓨터 비전이 보여준 설계의 이동

1. 좁은 기능에서 범용 모델로의 진화

   1. 초기 알고리즘: 컴퓨터 비전은 사람이 만든 원시적인 에지 검출(edge detection) 알고리즘으로 시작했다.
   2. 단일 객체 탐지: 이후 개를 둘러싼 상자처럼 특정 객체와 좁은 과제를 매우 잘 처리하도록 지역 최적화된 모델 세대가 등장했다.

2. VLM이 흡수한 파이프라인

   1. 넓어진 능력: 비전·언어 모델(Vision-Language Model, VLM)은 검색 파이프라인의 여러 부분을 한 모델 안에서 처리할 만큼 범용적인 능력을 보였다.
   2. 시사점: 사람이 각 단계를 별도로 설계하는 방식보다, 모델이 전체 과제의 유용한 표현과 전략을 학습하는 방식이 더 강력한 결과로 이어질 수 있다.

2.2. 체스에서 반복된 패턴

1. 인간 규칙의 한계와 혼합형 전환

   1. Deep Blue: IBM Deep Blue는 인간이 작성한 체스 규칙을 대량으로 모은 시스템에 가까웠다.
   2. Stockfish: Stockfish는 인간 지식과 기계 계산 사이를 잇는 단계로, 기존 통찰을 활용하면서도 더 강한 탐색을 수행했다.

2. 모델 내부로 들어간 전략

   1. AlphaZero와 MuZero: AlphaZero와 MuZero는 체스 전략 대부분을 모델 안에서 학습하며, 인간이 일일이 작성한 규칙에 의존하지 않는 방향을 보여줬다.
   2. 검색에의 대응: BM25와 PageRank 같은 전통 알고리즘, 벡터 검색과 재순위화기 같은 소형 전문 모델을 거쳐, 설계 결정을 모델이 발견하는 순수 RL 검색으로 이동할 수 있다.

2.3. 순수 RL 검색의 구조

1. 모델과 데이터베이스의 반복 상호작용

   1. 행동 루프: 하나의 모델이 데이터베이스에 검색 요청을 보내고, 결과를 읽고, 필요한 정보를 판단한 뒤 다시 검색한다.
   2. 동적 제어: 모델은 검색을 몇 번 할지, 메타데이터 필터를 언제 설정할지, 검색 범위를 어떻게 제한할지를 실행 중에 정한다.

2. 질문별 자원 배분

   1. 난도에 따른 계산: 단순한 질문에는 적은 계산을 쓰고, 매우 어려운 질문에는 더 많은 검색과 추론을 투입한다.
   2. 최종 산출물: 충분한 근거를 얻었다고 판단하는 시점에 검색을 멈추고 순위가 매겨진 결과 목록을 반환한다.

3. 검색이 RL에 적합한 이유와 SID의 학습 결과

검색은 성공 여부를 비교적 명확히 판정할 수 있고 같은 질문을 대량으로 재시도할 수 있어, 보상 기반 학습에 유리한 환경을 제공한다.

3.1. 검증 가능하고 반복 가능한 보상

1. 정답 여부를 직접 판정하는 보상

   1. 검증 가능성(verifiable): 주어진 질문에 대해 올바른 문서를 찾았는지 확인할 수 있다.
   2. 보상 설계: 정답 문서를 찾았는지 여부를 명시적인 신호로 만들 수 있어, 사람의 주관적 평가만으로 학습할 필요가 줄어든다.

2. 초당 수천 번의 시도

   1. 반복 가능한 환경(grindable): 학습 환경에서 같은 종류의 질문을 매우 많이 실행하고 결과를 축적할 수 있다.
   2. 학습 속도: SID의 실제 훈련은 초당 수천 번의 시도 규모로 진행되며, 모델이 여러 검색 경로를 빠르게 비교할 수 있다.

3.2. 범용 모델을 검색 전문 모델로 바꾸기

1. 필요한 능력만 남기는 특화

   1. 언어 능력의 선택적 사용: 검색 성능을 높이는 데 언어 모델의 모든 부분이 극도로 뛰어날 필요는 없으며, 검색 행동과 결과 판정에 필요한 능력이 핵심이다.
   2. 하드웨어 비유: CPU가 이론상 GPU의 작업을 수행할 수 있어도 LLM 추론에는 GPU를 쓰는 편이 훨씬 효과적이듯, 검색에도 범용 모델보다 목적에 맞는 전문 모델이 효율적이다.

2. 사람의 절차를 주입하지 않는 훈련

   1. 최소한의 지시: 모델에 어떤 검색 절차를 따라야 하는지 일일이 알려주지 않고 정답과 지연 시간 같은 보상만 제공한다.
   2. 전략의 발견: AlphaZero가 체스에서 그랬듯 모델이 검색에 유용한 고유 전략과 요령을 스스로 찾아내도록 한다.

3.3. 계산량과 검색 품질의 관계

1. 예측 가능한 품질 상승

   1. 스케일링 관찰: 초기 과제에서 벡터 전용·재순위화기 전용 기준선과 비교하면, 계산량이 늘어날수록 검색 품질이 매우 예측 가능하게 증가한다.
   2. 상한의 부재: 현재 방식에 이론적 상한이 없다고 단정할 수는 없지만, 지금까지 접근법의 성능이 포화되는 징후는 나타나지 않았다.

2. 보상 함수의 확장

   1. 지연 시간 반영: 정답 문서를 찾는 보상에 latency를 함께 넣어 정확도와 속도의 균형을 조절할 수 있다.
   2. 검색 전략 혼합: 서로 다른 retrieval strategy를 보상에 반영하면 모델이 한 가지 검색법에 갇히지 않고 더 높은 성능을 향해 전략을 섞을 수 있다.

3.4. SID의 초기 성능과 병렬 실행

1. 프런티어 모델 대비 시간 단축

   1. SID 모델: 같은 검색 과제에서 SID 모델은 약 2분이 걸리는 프런티어 모델 기반 실행을 평균 약 5초로 줄였다.
   2. 속도 배율: 두 결과의 차이는 약 20배이며, 검색 품질을 유지하는 전문화가 지연 시간에 큰 영향을 줄 수 있음을 보여준다.

2. 비용 단축

   1. 비용 배율: SID 방식은 프런티어 모델을 사용하는 것보다 약 100배 저렴하다.
   2. 남은 과제: 벡터 검색과 재순위화기를 잇는 고전적 파이프라인만큼 낮은 latency에는 아직 도달하지 않았지만, 그 수준에 빠르게 가까워질 여지가 있다.

3. 병렬 실행의 역할

   1. 실행 방식: SID 모델의 한 설정에서는 검색을 병렬로 실행해 전체 처리 시간을 줄인다.
   2. 실용적 효과: 순차적으로 한 경로만 기다리는 대신 여러 검색 시도를 함께 진행하면, 에이전트식 반복의 품질을 유지하면서 지연 시간을 줄일 수 있다.

4. 운영 환경의 컨텍스트 보호와 검색의 미래

검색 전문 하위 에이전트는 메인 에이전트의 컨텍스트를 정제하고, 더 빠르고 싼 검색이 웹 바깥의 지식 노동으로 확장되는 문을 연다.

4.1. 나쁜 결과가 메인 컨텍스트를 오염시키는 문제

1. 기존 에이전트 실행의 오염

   1. 혼합된 결과: 일반적인 에이전트 실행은 좋은 자료와 나쁜 자료를 모두 검색 결과로 받아들인다.
   2. 추론 저하: 나쁜 자료가 자체 컨텍스트 윈도우를 오염시키면, 이후 추론에서 좋은 근거와 불량 근거를 구분하기 어려워지고 정답 가능성이 낮아진다.

2. 검색 하위 에이전트의 필터 역할

   1. 격리된 사고: 하위 에이전트가 검색·읽기·판단·반복을 전담하며, 메인 에이전트가 검색 과정의 모든 중간 결과를 보지 않게 한다.
   2. 정제된 전달: 메인 에이전트는 검색 하위 에이전트가 선별한 좋은 결과만 받아 본작업을 수행하므로, 더 많은 유용한 근거에 집중할 수 있다.

4.2. 도메인별 확장

1. 임의의 도메인에 적용되는 검색

   1. RL 스케일링: RL을 계속 확장하면 어떤 도메인에서든 임의로 높은 수준의 검색 품질에 접근할 수 있다는 전망이 제시된다.
   2. 도메인 특화: 법률, 금융, 지식 기반, 과학, 이메일처럼 서로 다른 데이터와 질문 유형에도 동일한 학습 구조를 적용할 수 있다.

2. 새로운 사용자 인터페이스

   1. 음성: 모델이 더 빨라지고 저렴해지면, 음성 질의에서 기다림을 줄이면서 깊은 검색을 실행할 수 있다.
   2. 전자상거래: 상품·재고·고객 맥락을 함께 탐색해야 하는 전자상거래에도 전문 검색 에이전트를 실시간에 가깝게 적용할 수 있다.

4.3. 웹 바깥의 데이터와 지식 노동

1. 웹의 상대적 한계

   1. 데이터 규모: 공개 웹은 세상에 존재하는 전체 데이터에 비하면 실제로 상당히 작다.
   2. 가치 있는 정보의 위치: 가장 가치 있는 정보는 인터넷 공개 페이지가 아니라 기업과 기관의 내부 데이터베이스에 들어 있는 경우가 많다.

2. JP Morgan 사례

   1. 공개되지 않은 운영 지식: JP Morgan을 어떻게 운영하는지는 웹 어디에도 온전히 공개되어 있지 않다.
   2. 내부 데이터베이스: 그 운영 지식은 JP Morgan 내부 데이터베이스 깊숙한 곳에 존재하므로, 사내 검색이 개선되면 공개 웹 검색보다 더 큰 지식 노동의 영역을 열 수 있다.

주요 발언 모음

“에이전트는 이제 검색의 새로운 패러다임이며, 올바른 문서를 찾을 가능성을 두 배로 높인다.”

“검색 품질은 계산량에 따라 매우 예측 가능하게 증가한다.”

“모델에 무엇을 해야 하는지 말해주기보다, 스스로 검색 전략과 요령을 발견하게 하고 싶다.”

“검색은 검증 가능하고 반복 가능하므로 강화학습에 이상적인 대상이다.”

“나쁜 결과는 에이전트 자신의 컨텍스트 윈도우를 오염시킨다.”

“더 나은 검색은 더 많은 지식 노동 과제를 가능하게 한다.”

핵심 데이터 & 수치

• 30~50%: 에이전트가 작업 초반 검색에 사용하는 토큰 비중이다.
• 약 2배: 에이전트 검색이 고전적 질의보다 올바른 문서를 찾을 가능성의 차이다.
• 100~1,000배: 에이전트 검색이 고전적 검색 질의보다 비싼 대략적인 비용 배율이다.
• 수분 대 밀리초: 범용 에이전트 검색과 고전적 검색의 전형적인 지연 시간 차이다.
• 초당 수천 회: RL 훈련 중 검색 환경에서 질문을 시도하는 반복 규모다.
• 약 20배: SID 전문 모델이 프런티어 모델보다 같은 과제를 빠르게 처리한 배율이다.
• 약 2분에서 평균 5초: 프런티어 모델 기반 실행과 SID 모델 실행의 처리 시간 비교다.
• 약 100배: SID 모델이 프런티어 모델보다 낮춘 검색 비용 배율이다.
• 법률·금융·지식 기반·과학·이메일: 성능을 확인한 벤치마크 범주에 포함된 도메인들이다.
• BM25·PageRank → 벡터·재순위화기 → 순수 RL: 사람이 설계한 검색 규칙에서 모델이 발견한 전략으로 이동하는 단계다.

결론 및 시사점

1. 검색을 메인 에이전트의 부수 기능으로 취급하지 말고, 정답 문서 발견이라는 명확한 보상을 가진 독립적인 학습 과제로 분리해야 한다.
2. 고전적 파이프라인의 엣지 케이스를 계속 늘리는 대신, 검색 모델이 결과를 평가하고 재검색하는 행동 루프를 직접 학습하게 해야 한다.
3. 검색 전문 모델을 하위 에이전트로 배치하면 메인 에이전트의 토큰과 컨텍스트를 보존하면서 더 좋은 근거만 전달할 수 있다.
4. 정확도·latency·비용을 함께 보상에 넣으면 질문 난도에 맞춰 계산량을 조절하는 운영 구조를 만들 수 있다.
5. 초기 결과인 평균 5초·약 100배 저비용은 고전적 검색의 밀리초 지연과는 아직 다르지만, 범용 프런티어 모델의 수분·고비용 구조를 대체할 실용적 경로를 보여준다.
6. RL 검색이 더 빨라지면 음성·전자상거래 같은 상호작용 중심 제품에도 깊은 검색을 넣을 수 있고, 기업 내부 데이터베이스가 다음 확장 영역이 된다.

핵심 요약 (20줄)

에이전트 검색은 고전적 검색보다 올바른 문서를 찾을 가능성이 약 2배 높지만 비용과 지연 시간이 훨씬 크다.

에이전트는 작업 초반 전체 토큰의 30~50%를 필요한 컨텍스트를 찾는 데 사용한다.

고전적 검색은 질의 재작성, 백엔드 조회, 재순위화를 연결한 고정 파이프라인으로 동작한다.

고정 파이프라인의 각 결정은 설계 시점에 정해지고 질문마다 같은 계산 예산을 사용한다.

재순위화기는 결과가 질문에 부족하다는 사실을 알아도 검색어를 바꾸거나 추가 조회를 실행하지 못한다.

예상 밖 질문은 설계자가 준비하지 못한 롱테일 실패를 만들고 운영자는 끝없는 엣지 케이스를 추가하게 된다.

컴퓨터 비전은 에지 검출과 좁은 객체 탐지에서 전체 파이프라인을 다루는 VLM으로 발전했다.

체스는 인간 규칙 중심의 Deep Blue에서 혼합형 Stockfish를 거쳐 전략을 학습한 AlphaZero와 MuZero로 이동했다.

검색도 BM25와 PageRank, 벡터와 재순위화기를 지나 모델이 전략을 발견하는 순수 RL로 이동할 수 있다.

순수 RL 검색 모델은 데이터베이스와 반복적으로 상호작용하며 검색·읽기·필터링·재검색을 수행한다.

모델은 질문 난도에 따라 검색 횟수와 계산량을 조절하고 충분한 결과를 얻으면 순위 목록을 반환한다.

검색은 정답 문서를 찾았는지 쉽게 판정할 수 있어 검증 가능한 보상을 제공한다.

학습 환경은 검색 시도를 초당 수천 번 반복할 수 있어 RL의 반복 가능한 조건을 충족한다.

정답 보상에 latency와 여러 retrieval strategy를 함께 반영하면 정확도와 효율을 동시에 최적화할 수 있다.

SID 모델은 같은 과제에서 프런티어 모델의 약 2분 실행을 평균 약 5초로 줄여 약 20배 빠른 결과를 냈다.

SID 모델의 검색 비용은 프런티어 모델보다 약 100배 낮았고 고전적 파이프라인 수준의 latency도 빠르게 추격하고 있다.

검색 전용 하위 에이전트는 나쁜 결과가 메인 에이전트의 컨텍스트 윈도우를 오염시키는 문제를 줄인다.

메인 에이전트는 하위 에이전트가 검색·판단·반복을 거쳐 선별한 좋은 결과만 받아 정답 가능성을 높인다.

RL 스케일링은 법률·금융·과학·이메일과 같은 도메인에서 임의로 높은 검색 품질을 향한 경로를 제공한다.

더 빠르고 싼 검색은 음성·전자상거래와 JP Morgan 같은 기업 내부 데이터베이스의 지식 노동을 새로 열어준다.