9월 25일 금요일

AI 도입을 사용량이 아니라 실제 업무 결과로 운영하려면 무엇을 바꿔야 하는가?

AI 도입 초기에 사용자 수와 토큰 소비량은 사람들이 새 도구를 실제로 만지는지 확인하는 데 유용하다. 그러나 활동 지표가 성공 지표로 승격되는 순간, 조직은 일을 잘 끝내는 대신 숫자를 올리는 법을 배우기 쉽다. 토큰을 많이 쓰면 가치가 커진다는 접근과 비용 때문에 무조건 적게 쓰자는 접근은 반대처럼 보이지만, 둘 다 소비량을 목적에 둔다는 점에서는 같다. 에이전트가 계획을 세우고 저장소를 분석하며 도구를 호출하고 테스트까지 이어가는 업무에서는 특히 그렇다. 긴 실행이 유용한 탐색인지, 잘못된 계획과 반복인지 사용량만으로는 구분하기 어렵다. 그래서 기준은 완료된 배포, 절약한 시간, 피한 재작업, 해결한 취약점 같은 운영 결과로 이동해야 한다. Gusto의 Co-Founder 사례는 이 전환을 백오피스 업무에서 더 구체적으로 보여준다. 마사지 스파의 일은 급여 버튼을 누르는 순간부터 시작되지 않는다. Mindbody에서 치료 시간과 부가 판매 데이터를 꺼내고, 스프레드시트에서 보너스·커미션·팁 규칙을 적용한 다음, 계산 결과를 Gusto에 입력해 급여를 실행해야 비로소 끝난다. 사용자가 화면을 몇 번 열었는지가 아니라 이 숨은 연결 업무가 끝났는지가 제품 가치의 단위다.

1. 01

   활동 지표의 자리를 낮춘다

   토큰과 호출 수를 버릴 필요는 없다. 비용 관리와 이상 징후 확인에는 여전히 필요하다. 다만 최종 판단은 결과와 함께 내려야 한다. 사용량이 늘었지만 배포나 품질이 개선되지 않았다면 성공으로 볼 수 없고, 반대로 더 많은 소비가 재작업을 줄이고 결과를 앞당겼다면 그 비용에는 이유가 생긴다. 입력에서 맥락을 잘라 500토큰을 아끼고 뒤에서 디버깅과 재작업에 5,000토큰을 쓰는 사례처럼, 절감이 워크플로의 다른 단계로 옮겨갔는지도 함께 봐야 한다.

2. 02

   측정 단위를 업무의 끝으로 옮긴다

   실행형 AI의 성과는 한 번의 답변보다 업무의 시작과 끝을 연결했는지에 가깝다. Co-Founder는 평범한 말로 설명한 급여·휴가·커미션 같은 절차를 즉시 또는 반복 일정에 따라 수행하는 방향으로 발전했다. 마사지 스파 사례에서는 원자료를 읽고 규칙을 적용해 시간·급여·복리후생·보너스·커미션·팁을 계산한 뒤, 급여 실행과 최종 금액 통지까지 이어진다. 조직이 기록해야 할 것도 채팅 횟수가 아니라 이 연속 과정 중 어디까지 완료됐고 어디에서 사람이 다시 손을 댔는지다.

3. 03

   도입은 작은 검증 주기로 운영한다

   Gusto 팀은 5주 안에 고객에게 보여줄 버전을 만들고 고객 10명의 반응을 확인한 뒤, 다시 5주 동안 피드백을 반영해 공개 대기자 명단까지 갔다. 이 사례에서 중요한 것은 짧은 제작 기간 자체보다 실제 고객 업무를 기준으로 다음 반복을 결정했다는 점이다. 새로운 에이전트를 전사에 넓히기 전에 특정 업무 하나의 시작 자료, 적용 규칙, 완료 조건을 정하고, 고객이나 현업 사용자가 무엇에 반응하고 무엇을 거부하는지 관찰하는 방식이 결과 중심 운영에 맞다.

4. 04

   사람과 플랫폼의 책임을 다시 나눈다

   결과 중심 운영은 사람을 숫자로 압박하는 새 대시보드가 아니다. 개발자는 낡고 중복된 맥락을 걷어내되 업무 설명과 제약, 시스템 맥락은 보존하고, 실행 전에 계획을 세워 불필요한 반복을 줄여야 한다. 플랫폼 리더는 비용과 결과를 같은 시야에 놓고 예산·권한·감사·정책을 제공해야 한다. 리더 역시 결과 보고만 받는 대신 작은 실험을 직접 만져보면 고객 문제와 팀의 제약을 더 정확히 이해할 수 있다. 도입 책임은 도구 사용자 한 명에게 몰리는 것이 아니라 업무 설계자, 현업 확인자, 운영 플랫폼 사이에 나뉜다.

AI 운영의 첫 장부에는 ‘누가 얼마나 썼는가’보다 ‘어떤 업무가 끝났고, 시간이 얼마나 돌아왔으며, 재작업과 오류가 어디서 줄었는가’가 먼저 와야 한다. 시작할 때는 한 업무를 골라 기존 절차와 결과를 기록하고, 에이전트가 처리할 구간과 사람이 확인할 구간을 나눈다. 그다음 비용과 함께 완료율·재작업·품질을 읽으며 범위를 넓힌다. 사용량은 이 결과를 설명하는 보조 지표일 때 유용하다. 좋은 AI 도입은 가장 적은 토큰을 쓰는 조직도, 가장 많은 자동화를 선언한 조직도 아니다. 본업 밖의 반복 노동을 실제로 덜어주면서도 결과를 확인하고 책임질 운영 구조를 만든 조직이다.