Claude Managed Agents로 리서치 에이전트 구축하기 (파트 2/4)

URL: https://www.youtube.com/watch?v=FGftGOzfohc 날짜: 2026-10-12 채널: aiDotEngineer 원문 제목: Build a Research Agent with Claude Managed Agents (Part 2 of 4) — Anthropic

📌 핵심 질문 / 연구 에이전트를 실전 시스템으로 확장하는 방법

==한 줄짜리 콘솔 에이전트를 스킬·서브에이전트·커스텀 도구·공유 메모리·결과 기반 평가가 결합된 연구 데스크로 확장하면, Claude Managed Agents는 단순한 채팅 인터페이스를 넘어 반복 가능한 작업 시스템이 된다.==

• 콘솔에서 시작한 에이전트를 세션 이벤트 스트림 위의 채팅 UI로 전환한다.
• SEC EDGAR 스킬, 서브에이전트, 커스텀 도구, 공유 메모리로 연구 업무를 분해한다.
• 과업·루브릭·채점기로 결과를 평가하고 통과할 때까지 에이전트가 재시도하게 만든다.

Anthropic의 Priyanka Phatak과 Gabe Cemaj는 AI Engineer World's Fair 워크숍에서 Managed Agents의 구성 요소를 실제 연구 데스크로 조립한다. Nvidia를 대상으로 한 분석 과업을 예로 들어, 에이전트가 자료를 찾고 서브에이전트에 일을 나누고 결과를 저장한 뒤, 사전에 정의한 기준을 만족할 때까지 자기 결과를 고치는 흐름을 보여준다.

1. 콘솔 에이전트에서 연구 데스크로

1.1. 세션 저장과 빠른 시작

1. 콘솔의 역할

   1. 한 줄에서 출발한다: 사용자는 콘솔에 자연어로 과업을 입력하고 Managed Agent 세션을 시작한다.
   2. 상태가 세션에 남는다: 이전 데모보다 세션 저장 방식이 확장되어, 여러 차례의 실행과 중간 결과를 후속 작업에서 활용할 수 있다.

2. 워크숍 저장소

   1. 재현 가능한 출발점: 워크숍 저장소에는 프로젝트 설정, 스킬, 에이전트 정의와 실행 예제가 들어 있다.
   2. 단계적 확장: 먼저 콘솔에서 동작을 확인하고, 같은 구성을 코드와 UI로 옮겨 간다.

1.2. 이벤트 스트림 위의 채팅 UI

1. 세션 이벤트를 화면에 연결한다

   1. 실행 과정이 곧 UI 데이터가 된다: 모델 응답, 도구 호출, 서브에이전트 위임, 결과 반환이 세션 이벤트 스트림으로 노출된다.
   2. 사용자는 진행 상태를 본다: 에이전트가 무엇을 기다리고 있는지와 어떤 도구를 호출했는지를 별도의 추적 계층 없이 채팅 화면에서 확인한다.

2. 연구 데스크의 기본 단위

   1. 질문: 분석 대상과 원하는 결과를 과업으로 정의한다.
   2. 근거 수집: 스킬과 도구가 원천 데이터에 접근한다.
   3. 작업 분해: 서브에이전트가 독립적인 조사나 검증을 맡는다.
   4. 보고: 메인 에이전트가 이벤트와 산출물을 묶어 사용자가 읽을 수 있는 결과로 만든다.

2. 스킬·서브에이전트·커스텀 도구를 조합하기

2.1. SEC EDGAR 스킬과 점진적 공개

1. 도메인 스킬의 의미

   1. SEC EDGAR 접근: 기업 공시를 찾고 읽는 반복 절차를 스킬로 캡슐화하면, 매번 검색 방법을 처음부터 추론할 필요가 없다.
   2. 점진적 공개(progressive disclosure): 처음부터 모든 세부 지침을 프롬프트에 넣지 않고, 과업에 필요한 시점에 스킬의 설명과 지침을 단계적으로 공개한다.

2. 스킬이 연구 품질에 미치는 영향

   1. 도구 선택이 안정된다: 에이전트가 어떤 자료원을 우선해야 하는지 알게 된다.
   2. 조직의 절차가 재사용된다: 숙련자가 한 번 정리한 검색·검증 절차가 이후 세션의 기본 능력이 된다.

2.2. 서브에이전트와 커스텀 도구

1. 서브에이전트의 역할

   1. 병렬 조사: 메인 에이전트는 과업을 여러 조사 단위로 나누고, 각 서브에이전트에 독립 작업을 위임한다.
   2. 전문화된 실행: 한 서브에이전트는 공시를 찾고, 다른 서브에이전트는 수치를 확인하며, 메인은 결과를 합성한다.

2. 커스텀 도구의 역할

   1. 업무 시스템 연결: 조직 고유의 API나 내부 분석기를 도구로 노출한다.
   2. 도구 설명이 계약이 된다: 입력·출력과 실패 조건을 명확하게 정의하면 에이전트가 도구를 안정적으로 호출할 수 있다.

3. 공유 메모리

   1. 세션 간 지식 보존: 한 번 수집한 사실과 분석 결과를 공유 메모리 저장소에 기록한다.
   2. 반복 비용 절감: 다음 세션은 이미 확인한 맥락을 재사용하므로 같은 탐색을 반복하지 않는다.

3. 결과 기반 자기 감독(outcome-based self-supervision)

3.1. 과업·루브릭·채점기

1. 결과를 평가 가능한 형태로 정의한다

   1. Task: 에이전트가 수행해야 할 연구 과업을 구체적인 입력과 출력으로 고정한다.
   2. Rubric: 빠뜨리면 안 되는 근거, 수치, 형식과 품질 조건을 체크리스트로 만든다.
   3. Grader: 결과물을 루브릭과 대조해 통과 여부와 부족한 부분을 반환한다.

2. 자기 감독 루프

   1. 초안 생성: 에이전트가 조사와 분석 결과를 바탕으로 보고서를 만든다.
   2. 채점: 채점기가 보고서의 조건 충족 여부를 검사한다.
   3. 재시도: 기준을 통과하지 못한 항목을 에이전트에 전달하고, 에이전트가 필요한 조사를 보완한다.
   4. 종료: 통과하거나 정해진 비용·횟수 한도에 도달하면 루프를 끝낸다.

3.2. Nvidia 연구 세션

1. 연구 과업의 구성

   1. 대상 기업: Nvidia를 분석 대상으로 삼는다.
   2. 근거 수집: SEC 자료와 연결된 스킬, 서브에이전트, 커스텀 도구를 통해 자료를 찾는다.
   3. 결과 조합: 수집된 사실과 분석을 연구 보고서 형태로 묶는다.

2. 평가 결과의 활용

   1. 누락을 구체화한다: 채점기는 막연한 “더 잘 써라”가 아니라 필요한 근거와 조건을 지적한다.
   2. 스킬을 살아 있는 산출물로 바꾼다: 실행 중 드러난 문제를 스킬 정의에 반영해 다음 세션의 출발점을 개선한다.
   3. 에이전트보다 시스템을 고친다: 매번 모델을 교체하기보다 과업 정의, 도구 설명, 루브릭과 재시도 조건을 조정한다.

4. 운영 질문과 설계 원칙

4.1. Vault와 자격 증명 주입

1. 비밀을 에이전트에 직접 노출하지 않는다

   1. Vault: 자리표시자 형태의 비밀을 보관하고, 외부 시스템으로 요청이 나갈 때 필요한 값으로 교체한다.
   2. Egress 시점 주입: 모델의 추론 문맥에 비밀을 넣지 않고, 실제 도구 호출이 외부로 나가는 순간에만 자격 증명을 주입한다.

2. 운영 효과

   1. 노출 면적 축소: 프롬프트·세션 로그·공유 메모리에 비밀이 남을 가능성을 줄인다.
   2. 환경 분리: 개발·테스트·운영 환경의 자격 증명을 같은 스킬 구조로 다르게 주입할 수 있다.

4.2. Agent SDK와 Managed Agents

1. Managed Agents가 유리한 경우

   1. 실행 인프라가 필요할 때: 세션, 샌드박스, 도구, 이벤트 스트림을 직접 조립하지 않고 관리형 실행 계층을 사용한다.
   2. 운영 규모가 커질 때: 장기 실행, 재시도, 공유 리소스와 관찰 가능성을 플랫폼 기능으로 가져간다.

2. Agent SDK가 유리한 경우

   1. 실행 제어가 핵심일 때: 자체 오케스트레이션이나 기존 시스템과의 세밀한 결합이 필요하면 SDK가 더 적합하다.
   2. 배포 책임을 직접 질 때: 런타임·보안·상태 저장을 직접 운영하는 대신 원하는 수준의 통제권을 얻는다.

4.3. 가드레일·스티어링·세션 포킹

1. 에이전트 루프의 제한

   1. 재시도 한도: 채점 루프가 무한히 돌지 않도록 횟수·시간·비용을 제한한다.
   2. 종료 조건: 통과, 실패, 사람의 승인 대기 등 상태를 명시적으로 구분한다.

2. 세션 제어

   1. Steering: 진행 중인 세션에 방향 수정이나 추가 지시를 전달한다.
   2. Forking: 기존 상태를 보존한 채 다른 가설이나 작업 경로를 별도 세션으로 실험한다.

5. 핵심 데이터와 실용적 설계 체크리스트

• 워크숍 구성: 전체 시리즈 4부 중 2부에서 연구 데스크를 구현한다.
• 분석 예시: Nvidia 연구 세션에서 SEC EDGAR 스킬, 서브에이전트, 커스텀 도구와 공유 메모리를 연결한다.
• 평가 단위: 과업(Task)·루브릭(Rubric)·채점기(Grader)가 자기 감독 루프의 세 요소다.
• 보안 원칙: Vault의 비밀은 egress 시점에 자리표시자를 교체하고 모델 문맥에는 직접 넣지 않는다.
• 품질 원칙: 모델의 점수보다 먼저 평가 데이터와 루브릭이 무엇을 측정하는지 검증해야 한다.

주요 발언 모음

“연구 데스크는 스킬과 서브에이전트, 메모리, 자기 평가 결과를 하나의 작업 흐름으로 묶는다.”

“좋은 채점기는 에이전트가 무엇을 다시 조사해야 하는지 알려 주고, 단순히 점수만 반환하지 않는다.”

결론 및 시사점

1. 콘솔 데모를 운영 시스템으로 확장하려면 세션 이벤트 스트림을 UI와 관찰 가능성의 기반으로 삼아야 한다.
2. 도메인 스킬은 단순한 프롬프트 모음이 아니라 반복 가능한 조사 절차와 조직 지식을 저장하는 실행 자산이다.
3. 서브에이전트는 병렬화 가능한 조사를 맡고, 메인 에이전트는 조정과 합성을 맡을 때 역할이 명확해진다.
4. 결과 기반 평가를 넣으면 에이전트가 자신의 초안을 루브릭에 맞춰 수정하는 폐쇄 루프를 만들 수 있다.
5. 가드레일, 자격 증명 격리, 재시도 한도와 종료 조건을 함께 설계해야 연구 에이전트가 생산 환경에서 신뢰할 수 있다.

핵심 요약 (20줄)

콘솔에서 시작한 Claude 에이전트는 세션 이벤트 스트림을 UI에 연결하면서 연구 데스크로 확장된다.

연구 데스크는 질문·근거 수집·작업 분해·보고를 하나의 실행 흐름으로 묶는다.

SEC EDGAR 스킬은 기업 공시를 찾고 검증하는 반복 절차를 재사용 가능한 자산으로 만든다.

점진적 공개는 과업에 필요한 스킬 지침만 필요한 시점에 노출해 문맥 부담을 줄인다.

서브에이전트는 독립적인 조사와 검증을 병렬로 맡아 메인 에이전트의 부담을 낮춘다.

커스텀 도구는 조직 고유의 API와 분석 시스템을 에이전트의 실행 공간에 연결한다.

공유 메모리는 한 세션에서 확인한 사실과 분석 결과를 다음 세션에서도 재사용하게 한다.

결과 기반 평가는 과업·루브릭·채점기로 에이전트 산출물의 품질을 검사한다.

채점기는 막연한 개선 요구 대신 누락된 근거와 충족하지 못한 조건을 구체적으로 반환해야 한다.

에이전트는 채점 결과를 바탕으로 조사와 보고서를 수정하고 기준을 통과할 때까지 재시도한다.

Nvidia 분석 세션은 공시 스킬과 서브에이전트, 커스텀 도구를 결합한 연구 데스크의 예시다.

실행 중 드러난 문제는 스킬 정의에 반영해 다음 작업의 출발점을 개선할 수 있다.

Vault는 비밀을 모델 문맥에서 분리하고 외부 요청이 나갈 때만 자격 증명을 주입한다.

Managed Agents는 세션과 샌드박스, 이벤트 스트림을 직접 운영하기 어려운 팀에 관리형 실행 계층을 제공한다.

Agent SDK는 자체 오케스트레이션과 세밀한 실행 제어가 필요한 시스템에 더 적합하다.

재시도 루프에는 횟수·시간·비용 한도와 명확한 종료 조건이 반드시 필요하다.

Steering은 실행 중인 세션의 방향을 수정하고, forking은 기존 상태를 보존한 채 다른 경로를 시험한다.

평가 데이터와 루브릭이 부정확하면 에이전트가 높은 점수를 받아도 실제 생산성은 보장되지 않는다.

모델을 교체하기 전에 도구 설명과 작업 정의, 검증 기준을 먼저 고치는 편이 지속적인 품질 향상에 유리하다.

신뢰할 수 있는 연구 에이전트는 모델 하나가 아니라 스킬·도구·메모리·평가·보안의 폐쇄 루프로 완성된다.