10월 21일 수요일
AI에게 일을 더 맡기려면 ‘잘했다’는 보고보다 검증 가능한 산출물, 독립적인 검토, 사람에게 되돌리는 기준을 먼저 설계해야 한다.
완료 보고를 업무 신뢰로 바꾸는 세 겹의 증거
산출물이 있는지, 사실이 맞는지, 결론이 타당한지는 서로 다른 질문이다. 위험이 클수록 검토를 한 겹씩 더해야 한다.
‘했습니다’ 대신 남아 있어야 할 것
에이전트가 일을 끝냈다는 문장은 완료의 증거가 아니다. 발표자가 2026년 누적 세션을 살폈을 때 중요한 오류는 약 열 건 중 네 건에서 나타났다. 다만 이는 잘못이 최종 산출물까지 흘러간 비율이 아니라, 검토 전 에이전트가 처음부터 실수한 빈도다. 조직이 먼저 바꿔야 할 것은 모델에 대한 기대가 아니라 업무의 반환 조건이다. 맡길 때 제출할 파일, 저장 위치, 확인 명령을 정하고, 검토자는 실제 산출물의 지문을 남기거나 무엇이 왜 빠졌는지를 보고해야 한다. 받아쓰기 앱 사례가 이 차이를 보여 준다. 특정 측정 도구를 쓰라는 지시를 어긴 에이전트는 필요한 파일 없이 완료를 보고했다. 이후 산출물 조건을 명시하자 계측 빌드가 실패했고 컴파일 오류가 25개라는 사실이 드러났으며, 결과는 완료가 아니라 부분 완료로 정확히 분류됐다. 신뢰의 첫 단계는 성공률을 낙관하는 일이 아니라 성공과 실패를 같은 형식으로 확인할 수 있게 만드는 일이다.
사실은 표본이 아니라 대사로 확인한다
산출물이 존재해도 그 안의 사실이 정확하다는 보장은 없다. 스캔된 1년치 회계 명세서를 거래 기록으로 옮긴 사례에서 에이전트의 첫 제안은 몇 건만 표본 검사하라는 것이었다. 그러나 누락, 잘못된 월 배치, 설명과 날짜의 오기는 드문 표본 밖에 남을 수 있다. 이 작업은 두 에이전트가 서로의 결과를 보지 않고 모든 월을 독립 추출하고, 명세서에 인쇄된 월별 잔액을 통제 합계로 삼아 각각 맞추는 방식으로 바뀌었다. 세 번째 에이전트는 두 결과를 거래별로 비교해 차이를 원문으로 판정했다. 그 과정에서 설명·날짜·메모의 차이 56개를 발견했고, 최종 연간 합계는 1센트까지 맞았다. 핵심은 여러 답을 평균 내는 것이 아니다. 같은 자료를 독립적으로 읽게 하고, 불일치가 생기면 원자료가 판정하게 하는 것이다. 사람이 모든 줄을 다시 읽지 않더라도, 무엇을 빠뜨리지 않았는지 확인할 기준과 차이를 해결할 절차는 남아야 한다.
맞는 사실에서 틀린 결론이 나올 때
가장 위험한 오류는 자료가 아니라 전제와 결론에 숨어 있다. 공급업체와의 청구 분쟁에서 초안 작성 에이전트는 계약이 만료됐다고 보고 요구서를 만들었고, 계약서와 청구서를 대조한 자체 감사도 통과했다. 하지만 회사 측 변호사, 공급업체 측 변호사, 숫자를 의심하는 감사인 역할의 검토자들은 원래 작업 이력을 보지 않은 채 산출물과 원자료만 읽었다. 두 변호사 역할은 계약서 깊숙한 3년 자동연장 조항을 각각 찾아냈다. 계약은 3주도 되기 전에 갱신됐고, 초안대로 보내면 오히려 조기 이탈 비용을 부담할 수 있었다. 문제는 작성자의 자체 점검이 자기 전제와 같은 방향으로 기울었다는 데 있었다. 그래서 고위험 문서에는 주장을 측정 사실, 원문 확인 사실, 추론, 가정으로 나누는 자체 감사 뒤에 이해관계가 다른 독립 검토자를 붙이고, 수정본은 앞선 검토를 보지 않은 새 검토자가 다시 확인해야 한다. 위험이 커질수록 검토자를 늘리는 이유는 의견을 많이 모으기 위해서가 아니라 같은 맹점을 공유하지 않기 위해서다.
감독을 줄이는 결정에는 먼저 통과 기준이 필요하다
사람을 빼는 시점은 도입 선언이나 모델의 인상이 아니라, 정책 경계와 반복 측정, 추적, 예외 복귀가 함께 증명한다.
조직은 어떤 근거가 쌓였을 때 에이전트에 대한 사람의 감독을 줄여도 되는가?
자율화의 출발점은 에이전트에게 더 넓은 권한을 주는 일이 아니라 조직이 지키려는 정책을 실행 경계로 만드는 일이다. 정책은 위험과 규정 준수, 승인 조건을 정하는 조직의 제도적 의도다. 실제 업무는 단계와 의존성을 화살표로 잇는 흐름도로 펼쳐 보고, 각 단계마다 결과를 쉽게 검사할 수 있는지, 제한된 반복 안에서 개선할 수 있는지, 실행을 추적할 수 있는지, 실패하면 사람에게 돌려보낼 수 있는지를 묻는다. 이 네 조건이 갖춰진 단계부터 위임해야 한다. 신뢰도 또한 막연한 인상이 아니라 실제 입력을 대표하는 자료 묶음, 반복 평가, 운영 중 기록, 사람의 검토로 측정한다. 처음에는 전수 검토하고, 정책이 정한 임계값에 도달하면 표본 검토로 옮기며, 더 높은 임계값을 넘은 뒤에야 사람을 예외 처리 중심으로 이동시킨다. 원문은 구체적인 합격률 숫자를 제시하지 않는다. 따라서 조직은 자신의 업무 위험에 맞는 임계값과 결과 기준을 도메인 전문가와 먼저 정해야 한다.
- 01
업무 전체보다 단계별로 위임한다
상업 대출을 예로 들면 고객 확인과 재무 검토는 병렬로 진행할 수 있지만, 신용 메모와 위험 검토, 문서화, 최종 의사결정에는 서로 다른 선행 조건과 책임이 있다. 일부 처리가 빨라졌다고 전체 결정을 자동화할 이유는 없다. 결과를 정책에 비춰 판정하기 어려운 최종 의사결정은 사람 중심으로 남기고, 검사와 추적이 가능한 단계부터 에이전트의 역할을 넓힐 수 있다.
- 02
감독 축소는 세 단계로 증명한다
첫 단계에서는 도메인 전문가가 모든 출력을 확인하며 좋은 결과의 기준과 대표 자료를 다듬는다. 측정된 신뢰도가 정책 임계값에 도달하면 사람은 일부 표본을 검토하고, 검토하지 않은 출력은 실행 기록과 반복 평가로 살핀다. 추가 임계값을 통과하면 사람은 정상 처리에서 물러나 오류, 불확실성, 정책 위반 가능성이 있는 예외를 맡는다. 자율화는 사람의 퇴장이 아니라 사람의 시간을 기준 설계와 예외 판단으로 옮기는 과정이다.
- 03
속도가 빨라지면 병목도 이동한다
한 단계의 처리 속도가 빨라지면 다음 단계의 설계 검토나 보안 검사에 더 많은 일이 몰릴 수 있다. 따라서 도입 성과를 에이전트 한 명의 처리량으로만 보면 전체 업무의 대기와 위험을 놓친다. 필수 승인과 검사는 유지하면서 흐름 전체의 대기, 예외, 후속 처리 능력을 관찰해야 한다. 가능한 모든 예외를 미리 열거하기보다 관찰 가능한 예외 경로를 두고, 실제로 생기는 문제를 바탕으로 정책과 용량을 조정하는 편이 중요하다.
감독을 줄여도 되는 시점은 에이전트가 그럴듯해 보일 때가 아니다. 허용 범위가 정책으로 고정되고, 단계별 통과 검사가 믿을 만하며, 대표 입력에서 품질이 반복 측정되고, 실제 실행을 추적할 수 있고, 실패를 사람에게 되돌릴 수 있을 때다. 그때도 최종 정책 판단과 품질 기준의 개선은 사람의 책임으로 남을 수 있다. 조직이 줄여야 할 것은 책임이 아니라 근거 없이 반복되는 확인 업무다. 사람의 개입이 줄어든 뒤에도 데이터와 평가 기준은 실제 결과에 맞춰 계속 다듬어야 한다.
아직 못 읽은 북마크
북마크를 고르는 중…