10월 19일 월요일

사람이 안심하고 AI에게 일을 맡기려면 어떤 통제권과 증거가 남아야 하는가?

신뢰를 ‘모델이 대체로 맞는다’는 기대에 두면 조직은 두 극단을 오간다. 모든 결과를 사람이 다시 검사해 자동화의 이점을 잃거나, 반대로 넓은 계정 권한을 주고 문제가 생긴 뒤에야 개입한다. 재무 분석 자료는 같은 용어도 조직과 개인이 다르게 이해하며, 사실·가정·해석과 계산 경로를 구분하지 않으면 그럴듯한 숫자가 의사결정을 오염시킨다고 지적한다. 자율 에이전트 자료는 기존의 넓은 로그인 권한이 매번 달라지는 임무의 맥락을 표현하지 못한다고 본다. 두 사례가 만나는 지점은 명확하다. AI가 계획과 실행을 도울수록 사용자는 중요한 가정을 수정하고, 위험한 행동을 승인하며, 무엇이 왜 실행됐는지 되짚을 수 있어야 한다.

1. 01

   결과가 아니라 결정의 경로를 보이기

   재무 업무에서는 입력의 출처만으로 충분하지 않다. 어떤 값이 확정 사실이고 무엇이 가정인지, 계산은 어느 버전의 코드로 수행됐는지, 테스트를 통과했는지를 연결해야 한다. 반복 계산은 확률적인 문장 생성에 맡기지 않고 코드와 도구로 고정한다. 사용자는 전체 분석을 처음부터 다시 하지 않고도 하객 수나 현금 유입 같은 한 가정을 바꿔 그 영향만 확인할 수 있어야 한다. 이는 설명 화면을 덧붙이는 일이 아니라 분석 과정을 작은 결정 단위로 재구성하는 일이다.

2. 02

   권한을 사람의 신원보다 이번 임무에 맞추기

   에이전트가 식당 예약을 반복 시도해 사용자의 계정이 차단된 사례는 선의와 안전한 행동이 같지 않음을 보여준다. 넓은 OAuth 권한을 통째로 주기보다, 지금 수행하는 임무와 조직의 금지 정책, 시간·위치·시스템 상태를 함께 보고 도구 호출을 허용해야 한다. 무조건 끊는 횟수 제한만 두는 대신 사용량 예산을 알려주고, 예산을 넘기려면 감독자의 추가 승인을 받게 하면 에이전트도 행동을 조정할 수 있다.

3. 03

   모델 바깥에 승인과 감사의 경계를 두기

   생각하는 부분과 자격 증명·실행 도구를 분리하면 모델이 스스로 권한을 넓히기 어렵다. 외부 통제 계층이 실제 요청 직전에 허용 여부를 판단하고, 지시자와 목적, 실행, 승인 결과를 에이전트가 바꿀 수 없는 기록에 남긴다. 재무 분석에서도 중요한 결정의 주체는 사람이며, 다른 에이전트의 검토가 책임을 대신하지 않는다. 결국 필요한 것은 모든 단계의 수동 승인도 무제한 자율성도 아니다. 오류 비용에 맞춰 사람이 개입할 검문소를 선택하는 것이다.

도입 전에 팀이 합의할 질문은 ‘어느 모델이 더 정확한가’에서 멈추지 않는다. 어떤 결과를 개선하려는지, 반복 가능한 계산은 어디까지 고정할지, 어떤 행동은 반드시 승인받을지, 사용자가 어떤 단위로 되돌리고 수정할 수 있을지를 먼저 정해야 한다. 여기에 누가 예외를 승인하고, 잘못된 실행을 어디까지 되돌리며, 실패 기록을 다음 정책에 어떻게 반영할지도 포함해야 한다. 권한과 검토 절차는 한 번 정한 체크리스트가 아니라 실제 업무에서 발견한 위험에 따라 갱신되는 운영 자산이다. 정기적으로 승인 기록과 반복 실패를 검토하면 불필요한 검문소는 줄이고 위험한 자동화에는 더 좁은 권한을 적용할 수 있다. 통제는 속도를 막는 벽이 아니라, 어느 범위까지 안전하게 속도를 낼 수 있는지 알려주는 경계다. 이 기준이 보이면 AI는 책임을 흐리는 자동화가 아니라 판단을 더 검토 가능하게 만드는 업무 도구가 된다. 보이지 않는다면 속도가 빨라져도 조직의 위험은 줄지 않는다.