핵심 요약
- 조직 3분의 1이 파일럿 100개 이상 돌렸지만 배포는 13%뿐
- 실패 원인은 AI 과잉기대 아니면 과소인식, 결국 통제 문제
- 목표를 막연한 지시가 아닌 측정 가능한 수치로 재정의해야
- 자동 승인 출력도 표본 감사해 실제 오류율 확인이 먼저
AI 지출이 올해 47% 증가해 2조 5000억 달러를 넘어설 것으로 전망됩니다. 하지만 자포스(Zapier) 설문에 따르면 조직의 3분의 1 가까이가 100개 이상의 AI 파일럿을 실행했음에도 이를 전사적으로 폭넓게 배포한 곳은 13%에 불과했습니다. 약 40%는 가장 오래 돌리고 있는 AI 파일럿이 1년 넘게 테스트 단계에 머물러 있다고 답했습니다.
BRG의 AI·의사결정 인텔리전스 부문 매니징 디렉터 제이슨 구(Jason Gu)는 자신의 컨설팅 경험을 근거로, 파일럿이 정체되는 원인을 기술 자체가 아니라 리더십의 통제 문제로 짚었습니다. 그는 실패가 “AI는 모든 걸 할 수 있다”는 과잉 기대나 “우리가 겪는 프로세스·데이터 문제는 모델의 한계 때문”이라는 과소 인식 중 하나에서 비롯된다고 설명하며, 이를 네 가지 리더십 통제 문제로 구분했습니다.
네 가지 통제 지점
첫째는 시작 단계입니다. “AI로 인보이스를 검토하자”는 식의 막연한 지시로는 멀리 가지 못합니다. 대신 “처리 시간을 95% 줄이고 99% 정확도를 달성하며 나머지 1% 예외는 수동 검토로 넘긴다”처럼 구체적인 비즈니스 결과로 문제를 재정의해야 하며, 이 목표에 책임지는 단일 리더가 필요합니다. 이 책임은 AI 전담 리더가 아니라 해당 업무 경험을 가진 사업 리더에게 있어야 한다고 그는 강조했습니다.
둘째는 파일럿 설계입니다. 인보이스 사례에서는 데이터 추출·정규화 이후 결정론적 로직으로 구매주문서·입고내역과 대조하고, 통과분은 정책에 따라 자동 승인하며 예외만 사람에게 넘기는 구조가 이상적입니다. 문서 추출 기술로 광학문자인식(OCR), 멀티모달 모델, 대형언어모델 중 무엇을 쓸지는 문서의 변동성에 달려 있습니다. 그는 통과한 출력이라고 자동으로 정확하다고 가정해서는 안 되며, 자동 승인된 출력 중 의미 있는 비율을 감사해 실제 오류율을 확인해야 한다고 지적했습니다. 생성형 AI를 쓸 필요 없는 곳에 쓰거나, 모든 출력에 사람이 재검토를 거치는 워크플로를 짜는 것이 흔한 설계 오류라고 덧붙였습니다.
셋째는 생산 경제성 평가입니다. 토큰당 비용이나 최초 응답 비용으로 판단하는 것은 실수이며, 모델·툴·인프라 비용은 물론 모든 재시도와 재작업, 인간 검토와 예외 처리, 기술 통합, 평가와 운영, 거버넌스, 잘못된 출력으로 인한 예상 손실까지 포함한 ‘성공한 작업 하나당 완전 부담 비용’을 기준으로 삼아야 한다고 설명했습니다.
한국 기업 AX 시사점
이 글이 짚은 지표는 국내 기업이 AX 전환 계획을 세울 때 참고할 만한 현실적인 기준점입니다. 파일럿을 여러 개 돌리는 것 자체는 성과가 아니며, 100개 넘는 파일럿을 운영하고도 13%만 실제 배포에 이르렀다는 수치는 파일럿 수가 아니라 파일럿 하나하나의 설계 완성도가 관건임을 보여줍니다.
특히 “AI로 ○○ 업무를 자동화하자”는 식의 막연한 목표 설정 단계에서 이미 실패가 예정되는 경우가 많다는 지적은 새겨볼 만합니다. 도입을 검토한다면 목표를 처리 시간·정확도·예외 처리율 같은 측정 가능한 수치로 재정의하고, 그 결과에 책임질 단일 사업 리더를 먼저 지정하는 것이 순서입니다. 또한 자동 승인된 출력을 표본 감사해 실제 오류율을 확인하는 절차 없이 도입 규모를 늘리는 것은, 토큰 비용만 보고 총소유비용을 놓치는 것과 같은 함정에 빠질 위험이 있습니다.
출처: 4 leadership pain points that stall AI pilots — and how to fix them