컨테인먼트는 AI 에이전트를 속인다: 직원처럼 측정하는 Druid AI 평가 프레임워크

URL: https://www.youtube.com/watch?v=PwCSYy-oGsM 날짜: 2026-10-12 채널: aiDotEngineer

---

📌 핵심 질문 / AI 에이전트의 효과를 무엇으로 측정할 것인가

==사람의 개입 없이 대화를 끝낸 비율인 컨테인먼트(containment)만 보면 AI 에이전트의 실제 비즈니스 효과를 오판할 수 있으므로, 에이전트를 직원처럼 거버넌스·임무·플랫폼·스킬·실행·성과의 전 과정으로 측정하고 매주 사람의 기준선과 비교해야 한다.==

• 높은 컨테인먼트율은 좋은 결과가 아니라, 중요한 고객을 적절한 사람에게 넘기지 않았다는 신호일 수 있다.
• 에이전트의 목표, 허용 오차, 위험·보안·비용의 경계, 설명 가능성, 성공 기준을 사전에 정의해야 한다.
• 기술 지표보다 사업 결과를 더 무겁게 평가하고, 같은 에이전트를 라이브 트래픽에서 반복 측정해 드리프트와 실제 ROI를 확인해야 한다.

Juji AI는 EMEA와 미주 지역의 수백 고객과 수년간 대화형 AI를 운영하면서, 고객들이 “우리 에이전트가 제대로 일하고 있는지 어떻게 아는가?”라고 반복해서 묻는 상황을 경험했다. 명확한 답이 없었기 때문에 자체 벤치마크 모델과 평가 시스템을 만들었고, Dan은 이를 여섯 개 기본 필러와 이를 가로지르는 거버넌스로 설명한다. 발표 후반에는 이 구조를 일곱 개 필러로 묶어 에이전트를 평가한다고 정리한다.

1. 컨테인먼트율이 만드는 잘못된 승자

컨테인먼트는 측정하기 쉽지만, 고객과 사업에 좋은 결정을 했는지는 말해주지 않는다.

1.1. 인턴 비유로 드러나는 대시보드의 함정

1. 은행 고객센터의 여름 인턴 시나리오

   1. 같은 팀에서 같은 직무 설명으로 두 인턴을 고용하고 8월까지의 대시보드를 비교한다.
   2. 인턴 A는 대화의 80%를 직접 처리하고 20%를 선임 은행원에게 넘긴다.
   3. 인턴 B는 96%를 직접 처리하고 4%만 넘기며, 두 인턴 모두 관리 화면은 초록색이다.
   4. 정규직 전환 자리는 하나뿐이므로 표면적인 숫자만 보면 거의 모든 일을 혼자 처리한 인턴 B가 명백한 선택처럼 보인다.

2. 표면 지표와 실제 적합성의 불일치

   1. 인턴 B의 높은 처리율은 선임 은행원을 대화로 계속 방해하지 않았다는 뜻처럼 보인다.
   2. 그러나 정답은 인턴 A다. A의 20% 이관에는 고객 가치가 큰 상황을 알아보고 적절한 전문가에게 연결한 계획된 전환이 포함되어 있기 때문이다.
   3. 따라서 “더 많이 혼자 처리했다”는 사실만으로 에이전트나 직원을 평가하면 업무의 질과 사업 기회를 놓친다.

1.2. 주택담보대출 질문이 보여주는 가치 있는 이관

1. 오전 7시의 고객 질문

   1. 고객이 모바일 앱에서 인증한 뒤 “주택담보대출을 조기에 상환하려면 무엇을 해야 하나요?”라고 묻는다.
   2. 에이전트는 잔액을 조회하고 수학 계산을 수행해 완전한 답변을 줄 수 있어야 하며, 단순한 질문 처리 능력만 보면 직접 종결할 수 있는 상황이다.

2. 질문 뒤에 숨은 신호

   1. 조기 상환을 묻는 고객은 주택담보대출을 재검토하고 있을 수 있고, 이는 재융자(refinancing) 가능성과 은행이 얻을 수 있는 실질적 이익을 의미한다.
   2. 은행은 고객에게 필요한 답을 먼저 제공한 뒤 선임 은행원에게 연락을 연결하라는 규칙을 만든다.
   3. 이 계획된 이관은 인턴 A의 20%에 포함되며, 낮은 컨테인먼트가 아니라 고객 생애가치와 사업 기회를 보존하는 행동이다.

3. 컨테인먼트의 한계

   1. 컨테인먼트율은 사람의 개입 없이 처리한 대화의 비율이며 모든 대시보드에서 쉽게 볼 수 있다.
   2. 그러나 그 숫자만으로는 이관이 실패인지, 혹은 의도된 상담·영업·위험관리 결정인지 구분할 수 없다.
   3. 이 구분이 Juji 고객들이 반복해서 겪은 공백이며, 이를 메우기 위해 벤치마크 모델과 점수 체계를 만들었다.

2. Druid AI 평가 프레임워크의 구조

에이전트가 출시 가능한지 논쟁하는 대신, 26개 구성요소를 사실과 수학적 규칙으로 평가한다.

2.1. 두 그룹과 이를 관통하는 거버넌스

1. 구성(configuration) 그룹

   1. 구성 그룹은 에이전트가 무엇으로 만들어졌는지, 출시 전에 무엇이 존재하는지를 평가한다.
   2. 에이전트의 임무(mandate), 플랫폼 역량, 스킬처럼 운영 전에 정의하고 연결해야 하는 요소가 여기에 포함된다.

2. 런타임(runtime) 그룹

   1. 런타임 그룹은 에이전트가 실행 중 실제로 무엇을 하는지 평가한다.
   2. 어떤 태스크를 만들고 실행하는지, 입력과 맥락을 기록하는지, 결과가 사업 목표에 도달했는지를 살핀다.

3. 거버넌스의 횡단적 역할

   1. 거버넌스는 구성과 런타임의 모든 필러에 흐르며, 사업 관점의 허용 경계를 정의한다.
   2. 오차 허용도, 위험, 컴플라이언스, 관측 가능성(observability), 정확도, 환각(hallucination), 대화의 톤과 분위기를 관찰하고 통제한다.
   3. 발표자는 전체 행동을 관찰·분석하는 구성요소가 총 26개라고 설명한다.

2.2. 구성요소별 0·1·2 점수와 가중치

1. 세 단계 점수

   1. 0점은 해당 구성요소가 없거나 존재하지 않는 상태다.
   2. 1점은 구성요소를 인지하고 측정할 수 있는 상태다. 자동화가 아니어도 사람이 읽고 확인해 수동 측정할 수 있으면 1점을 받을 수 있다.
   3. 2점은 관리(managed)되는 상태다. 시간에 따라 추적하고 관찰하며 분석해야 하며, 어제의 결과와 오늘의 결과가 달라질 수 있다는 동적 특성을 반영한다.

2. 사업 효과 중심의 가중치

   1. 모든 지표를 단순 합산하지 않고 중요도에 따라 가중한다.
   2. 관리 클러스터가 가장 중요하다. 에이전트가 사업 관점에서 기대한 결과를 내고 있는지를 직접 분석하기 때문이다.
   3. 거버넌스 그룹은 39%, 임무(mandate)는 26%, 플랫폼은 12%, 결과(outcome)는 9%의 가중치로 제시된다.
   4. 기술적 측면도 측정하지만, 사업 효과에 집중하므로 순수 기술 지표의 비중은 상대적으로 낮다.

3. 초록색 대시보드의 재평가

   1. 처음에는 초록색으로 보였던 선택도 모든 구성요소를 측정하면 전혀 다른 결과를 낼 수 있다.
   2. 프레임워크는 “준비된 에이전트인가”라는 추상적 논쟁을, 확인 가능한 사실과 계산 가능한 점수의 논쟁으로 바꾼다.

3. 거버넌스: 도입 전에 경계를 정하는 일

거버넌스는 기술을 먼저 적용한 뒤 사업 영향을 확인하는 순서를 뒤집어, 처음부터 사업의 허용 범위와 위험을 정한다.

3.1. 도입 영역과 오차 허용도

1. 어디에 AI를 적용할지 결정하기

   1. 조직에서 경영진의 AI 도입 지시가 내려오면 여러 부서가 먼저 적용되려고 경쟁할 수 있다.
   2. 프레임워크는 어느 기능 영역을 먼저 선택해야 하는지, 그 영역에서 기대하는 결과와 위험이 무엇인지 비교하게 한다.

2. 오차 허용도는 상황별로 다르다

   1. 에이전트마다 허용 가능한 오차의 한계를 먼저 설정한다. 완벽한 결과나 90%를 요구할 수도 있고, 경우에 따라 50%도 충분할 수 있다.
   2. 완전 자율 에이전트는 사람의 검토가 없으므로 더 높은 목표가 필요하다. 결과가 완벽하지 않으면 태스크를 취소해야 할 정도로 엄격할 수 있다.
   3. 인간-AI 협업에서는 AI가 콘텐츠를 만들고 사람이 최종 결정하므로 60% 수준의 오차 허용도도 받아들일 수 있다.

3.2. 위험·컴플라이언스·관측 가능성

1. 위험 계획과 컴플라이언스

   1. 에이전트가 다른 부서와 시너지를 내더라도 정의된 위험 계획에 맞춰 일하는지 확인해야 한다.
   2. 측정 사례의 에이전트들은 정의된 위험과 컴플라이언스가 있어 97% 품질을 기록했다.
   3. SOC 2 정책과 내부 규정을 준수하는지 평가한 결과가 높은 점수에 기여했다.

2. 관측 가능성

   1. 입력, 추론 로직, 의사결정, 외부 통합 호출까지 에이전트의 모든 행동이 로그에 남아야 한다.
   2. 로그가 있어야 문제의 원인을 추적하고, 관리 수준인 2점을 받을 수 있다.

3. 드리프트와 정확도

   1. 최초 출시일에 설정한 경계 안에 계속 머무는지 드리프트를 측정하고 추적한다.
   2. 한 사례에서는 환각이 3%였고, 일부는 자동 측정하고 일부는 사람이 주석을 달아 확인했다.
   3. 정확도를 단발성으로 확인하지 않고 지속적으로 측정·추적해야 한다.

4. 대화의 톤과 분위기

   1. 대화형 에이전트는 정답만 내는 것이 아니라 대화의 톤과 분위기도 관리해야 한다.
   2. 대화에서 톤과 무드를 추출해 추적하면 고객 경험의 변화를 파악할 수 있다.
   3. 발표자는 오차 허용도, 위험, 컴플라이언스, 관측 가능성, 드리프트, 정확도, 톤·무드라는 일곱 가지 중요 지표를 종합적으로 측정한다고 정리한다.

4. 에이전트 임무와 플랫폼 역량

에이전트의 시스템 프롬프트만으로는 업무 범위와 사업 책임을 충분히 정의할 수 없다.

4.1. 에이전트 임무(mandate)의 다섯 경계

1. 목적과 범위

   1. 시스템 프롬프트가 경계를 정하는 것은 일부일 뿐이며, 에이전트가 정확히 무엇을 해야 하는지와 무제한 범위에서 무엇을 해서는 안 되는지를 정의해야 한다.
   2. 기술을 실험하는 데서 멈추지 않고 사업적 목표를 숫자로 설정해야 한다. 예를 들어 계약 갱신률 70%를 기대한다면 이것이 ROI이며, 마지막에 사업 성공으로 측정한다.

2. 정책과 근거

   1. 에이전트가 어떤 정책 경계 안에서 판단해야 하는지 정한다.
   2. 결론을 내릴 때 사용할 사실과 문서, 연결된 시스템을 지정해 맥락을 고립(isolated context)한다.

3. 보안과 도구 접근

   1. 어떤 시스템과 상호작용할 수 있는지 제한해야 한다.
   2. 조직 전체의 4,000개 도구가 연결된 MCP 서버에 무엇을 하는지도 모른 채 접근 권한을 주어서는 안 된다.
   3. 발표자는 에이전트가 허용된 세 개의 엔드포인트에만 접근한다는 사실을 알고 편히 잘 수 있어야 한다고 강조한다.

4. 사용자 경계

   1. 누가 에이전트와 상호작용할 수 있는지 정한다.
   2. 접근 주체와 권한을 분리하지 않으면 같은 에이전트가 서로 다른 위험 수준의 요청을 무차별 처리하게 된다.

5. 예산

   1. 에이전트가 리소스에 2만 달러를 써버리는 식의 비용 충격을 막기 위해 예산 상한을 설정한다.
   2. 목적·범위, 정책·근거, 보안, 사용자, 예산의 다섯 경계가 에이전트 임무를 구성한다.

4.2. 플랫폼 역량과 중앙화

1. 에이전트 간 재사용

   1. 조직은 에이전트들이 매번 같은 기능을 다시 발명하기를 원하지 않는다.
   2. 한 에이전트가 메모리, 핸드오프, 스킬 오케스트레이션을 잘 관리한다면 모든 에이전트가 같은 플랫폼 역량을 재사용해야 한다.

2. 중앙 핸드오프 허브

   1. 각 에이전트가 제각각 핸드오프를 구현하지 않고, 조직의 모든 에이전트와 사람이 상호작용하는 중앙 허브를 둔다.
   2. 개별 에이전트가 중앙 서비스와 실제로 통신하는지 측정한다.

3. 스킬과 도구의 품질

   1. 스킬이 정의되어 있는지만 보지 말고 얼마나 상세한지, 찾기 쉬운지, 얼마나 잘 오케스트레이션되는지를 평가한다.
   2. 여러 스킬을 연결하는 프롬프트가 지나치게 넓거나 좁지 않은지, 스킬이 중앙 저장소에서 오는지 로컬 구현인지 사람이 직접 코딩했는지도 확인한다.
   3. 가장 좋은 에이전트는 도구를 가장 많이 가진 에이전트가 아니라, 필요한 도구를 효과적으로 사용하는 에이전트다.

5. 런타임 실행과 사업 결과

실행 중에는 태스크를 만들고 수행한 과정과 결과를 추적할 수 있어야 한다.

5.1. 태스크의 생성·입력·설명 가능성

1. 태스크 문서화

   1. 에이전트는 임무에서 파생된 태스크를 만들고 실행해야 하며, 태스크 자체가 문서화되어야 한다.
   2. 입력과 필요한 맥락이 기록되어야 나중에 왜 그런 행동을 했는지 설명할 수 있다.

2. 성공 기준

   1. 모든 태스크에는 성공 기준이 연결되어야 한다.
   2. 예를 들어 에이전트가 계약을 갱신했다는 사실만으로는 충분하지 않다. 특정 계약의 갱신이 성공했는지 판정할 기준이 있어야 측정할 수 있다.

3. 결과 점수

   1. 에이전트는 자신이 한 일을 전부 설명해야 하며, 태스크의 주제와 수행 과정이 남아야 한다.
   2. 마지막에는 결과를 확인하고 에이전트의 성공 여부를 하나의 점수로 판정한다.

5.2. 인턴 A와 B의 최종 판정

1. 컨테인먼트가 아닌 종합 점수

   1. 인턴 A의 최종 점수는 83%였다. 초반에 본 직접 처리율은 80%이고 선임에게 넘긴 대화는 20건이었다.
   2. 인턴 B는 이관이 4건뿐이었지만, 거버넌스·임무·최종 사업 결과를 합산하면 A가 승자였다.

2. 클러스터별 비교

   1. 스킬 클러스터만 B가 더 나았다. B는 더 많은 스킬을 가지고 있었다.
   2. 그러나 B에게는 설명 가능성, 성공 추적, 거버넌스 요구사항 준수가 부족했다.
   3. 결과적으로 모든 클러스터에서 B의 많은 스킬보다 A의 관리 수준과 사업 적합성이 더 중요하게 평가됐다.

6. 고용 후에도 끝나지 않는 에이전트 평가

사람은 채용 인터뷰가 끝나면 평가의 큰 단계가 끝나지만, 에이전트는 라이브 트래픽에서 계속 재평가해야 한다.

6.1. 매주 기준선과 비교하기

1. 지속적인 채용 시험

   1. 에이전트를 고용한 뒤에도 매주 라이브 트래픽에서 돌린다.
   2. 사람의 기준선과 비교하며 도구 사용, 점수, 개선, 재테스트를 반복한다.
   3. 같은 에이전트와 같은 초록색 대시보드라도 시간에 따라 실제 점수는 달라질 수 있다.

2. 대시보드와 실제 점수의 분리

   1. 오른쪽의 초록색 선은 Vanny 대시보드 수치로 일 년 내내 92%를 꾸준히 보여준다.
   2. 그러나 실제 평가 점수인 청록색 선은 주간 측정을 시작하면 83%에서 60%로 떨어진다.
   3. 고정된 대시보드 수치는 드리프트와 사업 성과의 변화를 숨길 수 있으므로, 실제 점수의 시계열을 따로 봐야 한다.

6.2. CFO가 묻는 ROI와 일자리 공포

1. ROI 질문 뒤의 두려움

   1. 비즈니스 이해관계자, 특히 CFO와 대화하면 첫 질문은 ROI다.
   2. 이어서 “이 에이전트가 누구의 일자리를 빼앗는가?”라는 두려움이 생긴다.
   3. 대안을 측정하지 않았기 때문에 에이전트 도입이 사람의 일을 없애는지에만 관심이 쏠린다.

2. 대체가 아니라 증폭으로 측정하기

   1. 좋은 인턴은 사람의 부담을 덜고 지루한 일이 책상에서 사라지게 하며, 사람이 남은 일을 더 효율적으로 하게 만든다.
   2. 에이전트도 무엇을 사람의 어깨에서 내려놓았는지, 확보된 시간으로 사업이 무엇을 할 수 있게 되었는지를 측정해야 한다.
   3. 에이전트가 오전 7시와 9시에 잔액을 확인하면 은행원은 다음 날 아침 고객과 주택담보대출을 검토하는 데 시간을 쓸 수 있다.
   4. 에이전트가 은행원의 일을 없앤 것이 아니라 은행원이 더 잘 은행 업무를 하도록 만들었으며, 이 열이 평가표에 들어가야 한다.

7. 2026년 AI 도입 벤치마크와 적용 방법

인턴 비유의 80/20 수치는 가상의 예가 아니라 금융 서비스 AI 도입 벤치마크에서 나온 값이다.

7.1. 네 산업의 컨테인먼트 기준선

1. 익명 집계 성과 데이터

   1. 발표자들은 2026년 금융 서비스 AI 도입의 기준선으로 80% 직접 처리와 20% 이관 비율을 사용했다.
   2. 이 수치는 익명화·집계된 실제 AI 에이전트 성과 데이터에 기반하며, Druid는 15개월 동안 산업별 성과 데이터를 수집했다.

2. 산업별 네 가지 정답

   1. 금융 서비스의 컨테인먼트 기준은 80%다.
   2. 헬스케어는 87%다.
   3. HR·IT는 93%다.
   4. 고등교육은 99%다.

3. 숫자를 순위로 읽으면 안 되는 이유

   1. 고등교육이 금융 서비스보다 더 뛰어난 에이전트를 갖고 있다는 뜻은 아니다.
   2. 금융 서비스의 에이전트 설계가 위험하거나 가치가 높은 대화를 더 많이 사람에게 리디렉션하기 때문에 기준선이 낮을 수 있다.
   3. 각 에이전트는 하나의 보편적 숫자가 아니라 산업별로 다른 올바른 숫자와 비교해야 한다.

7.2. 고객 적용 프레임워크와 공개 보고서

1. 반복 절차

   1. 에이전트의 임무를 정의한다.
   2. 오차·위험·보안·정책·비용의 경계를 설정한다.
   3. 에이전트 성과를 측정한다.
   4. 사람의 결과와 비교해 매주 재평가한다.

2. 도입 목적

   1. 고객들은 계획 중인 에이전트의 성과를 측정하고 사업 이해관계자와 지적인 대화를 나눌 시스템이 생겼다고 평가한다.
   2. 이 프레임워크는 Druid 고객과의 프로젝트에서 사용되어 왔으며, 누구나 무료로 사용할 수 있도록 소개됐다.
   3. 산업별 데이터가 담긴 Druid의 2026 AI 도입 벤치마크 보고서도 무료 다운로드할 수 있고, 발표 화면의 QR 코드로 받을 수 있다.

3. 현장 안내

   1. 발표자들은 Microsoft와 OpenAI 맞은편의 LG 11번 부스에 있으며, 참석자들과 직접 대화하고 싶다고 안내하며 발표를 마친다.

주요 발언 모음

“컨테인먼트율은 사람의 개입 없이 처리한 대화의 비율일 뿐이다.”

“가장 좋은 에이전트는 도구를 가장 많이 가진 에이전트가 아니라 도구를 효과적으로 사용하는 에이전트다.”

“에이전트를 고용하면 채용은 끝나지 않는다. 매주 라이브 트래픽에서 기준선과 비교하고, 점수를 매기고, 개선하고, 다시 테스트해야 한다.”

“좋은 인턴은 당신의 부담을 덜고, 남은 일을 더 효율적으로 하게 만든다. 에이전트도 무엇을 당신의 어깨에서 내려놓았는지로 평가해야 한다.”

“고등교육의 99%가 금융 서비스의 80%보다 낫다는 뜻이 아니다. 금융 서비스에는 설계상 리디렉션이 더 많다.”

핵심 데이터 & 수치

• 고객 기반: Juji AI는 EMEA와 미주 지역에서 수백 고객을 확보하고 수년간 운영됐다.
• 기준 인턴 A: 대화 80% 직접 처리, 20% 선임 은행원 이관, 최종 종합 점수 83%.
• 기준 인턴 B: 대화 96% 직접 처리, 4% 이관, 스킬 수는 더 많았지만 설명 가능성·성공 추적·거버넌스 준수가 부족했다.
• 평가 범위: 에이전트 전체 행동을 관찰·분석하는 구성요소 26개.
• 가중치: 거버넌스 39%, 임무 26%, 플랫폼 12%, 결과 9%이며 나머지 클러스터의 개별 수치는 공개되지 않았다.
• 점수 체계: 구성요소가 없으면 0점, 관찰·측정할 수 있으면 1점, 시간에 따라 추적·분석하면 2점이다.
• 품질 사례: 위험 계획과 컴플라이언스를 정의한 에이전트의 품질은 97%로 제시됐다.
• 정확도 사례: 환각률은 3%였고 자동 측정과 수동 주석을 함께 사용했다.
• 접근 제한 사례: 에이전트가 접근하도록 허용한 엔드포인트는 세 개로 제한하는 예가 제시됐다.
• 비용 제한 사례: 예산 경계 없이 에이전트가 리소스에 2만 달러를 쓸 수 있다는 위험을 예로 들었다.
• 드리프트 사례: Vanny 대시보드는 1년 내내 92%였지만, 주간 실제 점수는 83%에서 60%로 하락했다.
• 산업별 2026 컨테인먼트 벤치마크: 금융 서비스 80%, 헬스케어 87%, HR·IT 93%, 고등교육 99%다.
• 데이터 기간: Druid는 15개월 동안 산업별 AI 에이전트 성과 데이터를 수집했다.

결론 및 시사점

1. 컨테인먼트는 운영 현황을 보여주는 한 지표일 뿐이며, 높은 값 자체를 에이전트의 성공으로 해석하면 안 된다.
2. 의도된 이관, 상담 기회, 위험 회피처럼 사람에게 넘기는 것이 오히려 사업적으로 옳은 상황을 별도로 평가해야 한다.
3. 도입 전에는 에이전트의 임무, 허용 오차, 위험·정책·보안·사용자·예산 경계를 문서화해야 한다.
4. 출시 후에는 입력부터 추론·결정·도구 호출·태스크 결과까지 로그를 남기고, 각 태스크에 측정 가능한 성공 기준을 연결해야 한다.
5. 도구 수와 스킬 수를 늘리는 것보다 중앙 핸드오프, 재사용 가능한 플랫폼 역량, 효과적인 도구 사용, 설명 가능성을 확보하는 편이 중요하다.
6. 대시보드의 고정 수치를 믿지 말고 라이브 트래픽에서 주간 점수와 드리프트를 사람의 기준선과 비교해야 한다.
7. ROI는 절감한 일자리 수가 아니라 사람에게서 제거한 반복 업무와 그 시간으로 가능해진 고부가가치 업무까지 포함해 계산해야 한다.
8. 산업별 컨테인먼트 기준선은 업무 위험과 이관 설계가 다르므로, 산업 간 단순 순위표로 사용해서는 안 된다.
9. 최종적으로 좋은 에이전트는 가장 많이 혼자 처리하는 에이전트가 아니라, 정의된 경계 안에서 설명 가능하게 행동하고 기대한 사업 결과를 반복해서 내는 에이전트다.

핵심 요약 20줄

컨테인먼트율만 보면 AI 에이전트의 실제 사업 효과를 오판할 수 있다.

은행 인턴 A는 80%를 처리하고 20%를 선임 은행원에게 계획적으로 이관했다.

인턴 B는 96%를 처리했지만 높은 직접 처리율이 좋은 판단을 뜻하지 않았다.

조기 주택담보대출 상환 질문은 재융자 기회를 발견해 사람에게 넘겨야 하는 신호다.

의도된 이관은 실패가 아니라 고객 가치와 사업 기회를 보존하는 설계다.

Druid 프레임워크는 구성과 런타임을 거버넌스로 연결해 에이전트를 평가한다.

프레임워크는 에이전트의 전체 행동을 살피는 26개 구성요소를 사용한다.

구성요소는 없으면 0점, 측정 가능하면 1점, 시간에 따라 관리하면 2점이다.

거버넌스 39%와 임무 26%가 기술 기능보다 높은 사업 가중치를 받는다.

거버넌스는 오차 허용도, 위험, 컴플라이언스, 로그와 정확도를 관리한다.

에이전트 임무에는 목적, 금지 범위, 정책, 보안, 사용자, 예산 경계가 필요하다.

4,000개 도구가 있는 MCP 서버에 무제한 접근을 주면 보안과 비용을 통제할 수 없다.

가장 좋은 에이전트는 가장 많은 도구가 아니라 필요한 도구를 효과적으로 쓰는 에이전트다.

모든 태스크는 입력, 맥락, 수행 과정, 성공 기준과 결과를 기록해야 한다.

인턴 A의 종합 점수는 83%였고 스킬이 더 많은 B보다 최종 평가에서 앞섰다.

Vanny 대시보드는 92%였지만 주간 실제 점수는 83%에서 60%로 하락했다.

에이전트는 채용 뒤에도 라이브 트래픽에서 사람의 기준선과 매주 비교해야 한다.

ROI는 없앤 일자리가 아니라 반복 업무를 줄여 사람이 더 가치 있는 일을 하게 한 효과다.

2026년 컨테인먼트 기준은 금융 80%, 헬스케어 87%, HR·IT 93%, 고등교육 99%다.

최종 성공은 혼자 처리한 양이 아니라 경계 안에서 설명 가능하게 사업 결과를 낸 정도다.