기업 비용 관리 소프트웨어 업체 매브릭(Mavvrik)이 4월과 5월에 걸쳐 여러 산업의 기업 조직 396곳을 조사한 2026 State of AI Cost Governance Report의 내용을 CIO Dive가 8월 6일 전했습니다. 예상치 못한 AI 지출 문제가 이사회까지 올라갔다고 답한 조직이 절반 가까이였고, 응답자의 4분의 1은 예상하지 못한 비용 때문에 AI 프로젝트를 미루거나 취소했습니다. 예상 밖 AI 비용이 최소 한 건의 사업 결정에 실질적인 영향을 미쳤다는 응답은 3분의 2였고, 청구액이 불어나자 긴급 지출 동결을 시행한 기업은 3분의 1이었습니다.
비용은 모델 요금에만 있지 않습니다
지출은 모델 비용에서만 발생하지 않습니다. 개발자 도구, 데이터 플랫폼, 인프라, 에이전트 워크로드 전반으로 넓게 퍼져 있고, 그 파편화에 감독 부재가 겹치면서 CIO와 재무 책임자가 AI 과제의 전체 비용을 파악하고 투자 대비 수익을 정확히 측정하기 어려워졌다는 것이 이 보도의 진단입니다. 매브릭의 순딥 고엘(Sundeep Goel) CEO는 보고서에서 AI가 인프라를 소비하는 방식과 비용이 쌓이는 방식을 근본적으로 바꾸고 있으며, 예측 가능하던 IT 지출이 이제는 유동적이고 분산돼 있어 귀속시키기가 점점 어려워졌다고 말했습니다.
가트너(Gartner)의 데이터·애널리틱스 리서치 총괄 리타 살람(Rita Sallam)은 조직이 단순한 생성 AI 배포를 넘어 자율 에이전트로 이동하면서 이 문제가 더 뚜렷해진다고 CIO Dive에 이메일로 밝혔습니다. 토큰당 비용 같은 모델 원단가는 내려가는 것처럼 보여도, 에이전트 워크플로가 복잡해지고 더 고도의 추론을 요구하면서 완료된 작업 하나당 실제 비용은 오르고 있다는 설명입니다. 과금이 사용량 기반으로 옮겨가면서, 복잡한 자율 에이전트 워크플로를 돌리는 비용이 애초에 그 워크플로가 만들어 내려던 절감분을 자주 앞지른다고도 했습니다.
ROI는 산수입니다
벤치마킷(Benchmarkit)의 레이 라이크(Ray Rike) CEO는 보고서에서 모두가 AI의 ROI를 말하지만 ROI는 산수이며, 비용을 모르면 ROI를 정확히 계산할 수 없다고 지적했습니다. 숨은 비용이 처음 있는 일은 아닙니다. 와사비 테크놀로지스(Wasabi Technologies)가 지난해 공개한 데이터에서는 예상하지 못한 사용량과 이그레스 요금이 쌓이며 클라우드 스토리지 예산을 초과한 조직이 3분의 2에 가까웠습니다. 그 사이 구글 클라우드, AWS, 마이크로소프트 같은 클라우드 사업자는 커지는 시선에 대응해 일부 스토리지 관련 요금을 낮췄고, 클라우드 비용을 위해 만들어졌던 FinOps 관행은 이제 불어나는 AI 청구서로부터 기업을 지키는 데 쓰이고 있습니다.
도입을 검토한다면
살람은 CIO가 AI 비용 최적화를 사후의 재무 정산 활동이 아니라 아키텍처 요건으로 다뤄야 하며, 비용 최적화를 에이전트 워크플로 안에 직접 설계해 넣어야 한다고 권했습니다. 작업에 모델을 맞추라는 것이 그 요지로, 기아로 될 일에 페라리를 쓰는 실수를 피하라는 표현을 썼습니다. 단순한 질의는 더 저렴한 모델로 라우팅하고, 더 작고 도메인에 특화된 언어 모델을 쓰는 방법도 함께 제시했습니다. 거버넌스와 보안, 데이터 기반에 대한 투자를 AI 배포와 나란히 가져가야 장기 ROI가 유지되며, 사용자에게도 AI 토큰의 재무적 결과를 가르치는 리터러시 교육이 필요하다고 덧붙였습니다. 날씨를 확인하는 데 가장 비싼 추론 모델을 쓰게 두어서는 안 된다는 것입니다.
국내에서 파일럿을 넘어 에이전트를 실제 업무에 붙이는 단계라면, 계약서에 적힌 단가가 아니라 완료된 처리 1건당 비용을 계측 단위로 삼는 편이 순서입니다. 긴급 지출 동결이 3분의 1에서 나왔다는 것은 청구서가 도착한 뒤에야 숫자를 확인한 조직이 그만큼 있었다는 뜻이기도 합니다. 이번 주에 확인해 볼 것은 하나면 충분합니다. 지난달 AI 관련 청구서를 부서별·업무별로 쪼개 귀속시킬 수 있습니까. 쪼갤 수 없다면 ROI 계산도, 모델을 작업에 맞추는 일도 아직 시작 전입니다.