9월 17일 목요일

AI가 실제 행동까지 맡을 때 무엇을 자동 실행하고, 언제 사람에게 확인해야 하는가?

정확도를 높이는 일만으로는 행동하는 AI의 신뢰 문제가 풀리지 않는다. 음성 어시스턴트 사례는 같은 79% 정확도에서도 확신이 낮을 때 멈추고, 중간일 때 확인하며, 높을 때 실행하도록 정책을 나누면 사용자의 복구 부담을 줄일 수 있음을 보여 준다. 여기서 중요한 것은 오류 개수만 세는 대신 잘못 실행했을 때 원래 상태로 돌아오는 시간과 수고를 비용으로 보는 것이다. 장기 기억과 결제·예약 권한까지 다루는 개인 에이전트 구상은 이 원리를 더 큰 범위로 확장한다. 어떤 정보는 기억에서 분리하고, 외부 서비스 연결과 거래에는 최소 권한을 주며, 민감한 행동은 별도 감시 체계가 표시한 뒤 사용자가 결정하게 해야 한다. 능력이 커질수록 신뢰는 모델의 자신감이 아니라 행동별 손실과 권한 경계를 운영하는 방식에서 나온다.

1. 01

   오류율보다 복구 비용을 본다

   잘못된 노래를 바로 재생하면 사용자는 오류를 알아차리고 중지한 뒤 다시 요청해야 한다. 반면 이해하지 못했다고 멈추면 한 번 더 말하는 비용만 든다. 발표는 실행, 확인, 중단 각각의 사용자 부담을 다르게 계산해 임계값을 정한다. 고정된 숫자를 보편적 답으로 쓰라는 뜻이 아니라, 기기와 상황, 현재 상태를 잃는 정도에 따라 비용을 다시 측정해야 한다는 원칙이다.

2. 02

   행동 주체와 감시 주체를 분리한다

   개인 에이전트 Muse 구상에서는 로그인 정보와 카드 번호를 일반 기억에 넣지 않고 별도 저장소에 둔다. 외부 서비스에는 필요한 만큼만 읽기·쓰기 권한을 주며, 주 에이전트와 별개의 Sentinel이 밖으로 나가는 데이터와 민감한 행동을 살핀다. 편의를 위해 행동하는 시스템이 스스로 권한 확대까지 승인하지 못하게 만드는 분리가 핵심이다.

3. 03

   자동화 수준은 위험에 따라 달라져야 한다

   노래 선택처럼 되돌리기 쉬운 행동, 현재 시청 상태를 바꾸는 TV 명령, 이메일 발송이나 결제처럼 관계와 자산에 영향을 주는 행동은 같은 기준으로 다룰 수 없다. 낮은 위험에는 빠른 실행을, 애매한 해석에는 짧은 확인을, 되돌리기 어렵거나 민감한 권한에는 중단과 명시적 승인을 두는 식으로 운영 표면별 정책이 필요하다.

도입 전에 확인할 것은 ‘얼마나 똑똑한가’만이 아니다. 잘못했을 때 무엇을 잃는지, 원상 복구에 얼마나 드는지, 어떤 정보와 권한을 분리하는지, 어느 결정에 사람이 남는지를 먼저 정해야 한다. 신뢰는 모든 행동을 막는 승인 절차가 아니라 위험이 큰 순간에 정확히 개입하고 나머지 흐름은 부드럽게 이어 주는 운영 설계다.