토큰 값은 싸지는데 AI 비용은 왜 계속 느는가 — 가트너가 말하는 '추론의 역설'

가트너(Gartner)가 월요일 발표한 보고서에 따르면, 기업의 AI 추론(inference) 비용은 2028년까지 5배 이상 증가할 것으로 전망됩니다. 기업의 AI 활용이 단순 보조 기능에서 다단계 프로세스로 진화하면서 기술 리더들이 감당해야 할 비용 부담이 커진다는 것입니다.

가트너 수석 디렉터 애널리스트 윌 서머(Will Sommer)는 보고서에서 “AI 역량이 세대를 거듭할수록 더 많은, 그리고 대개 더 비싼 토큰이 필요해진다”며 “지평선 위에 신뢰할 만한 만능 저비용 모델은 보이지 않는다”고 말했습니다.

토큰은 싸지는데 청구서는 커진다

가트너는 현재의 토큰 경제를 세 가지 요인으로 설명합니다. 첫째, 기초 모델(foundational model) 비용 자체는 하락하고 있습니다. 둘째, 이 효율성 향상이 오히려 더 강력하고 비싼 모델을 활용해 고부가가치 AI 애플리케이션을 추구하게 만듭니다. 셋째, 이런 정교한 AI 워크플로는 초기 모델의 단순 챗봇 상호작용보다 훨씬 많은 토큰을 소비하며, 이것이 전체 추론 비용을 끌어올립니다.

서머는 “단순 챗봇은 질의를 읽고 해석해 확률적으로 타당한 답을 빠르게 내놓으면 되지만, AI 에이전트는 끊임없이 추론하고 협상하고 스스로에게 질문해야 한다”며 단순 챗봇과 AI 에이전트 간의 경제성 차이를 설명했습니다. 가트너는 이런 구조 — AI의 전체 비용이 예측 가능한 가치로 이어지는 명확한 경로 없이 계속 상승하는 현상 — 를 “추론의 역설(Inference Paradox)”이라 이름 붙였습니다.

에이전트형 AI로 갈수록 ROI 기준은 높아진다

가트너 보고서는 에이전트형 AI 모델이나 추론 에이전트처럼 더 발전된 시스템에서 ROI를 달성하려면 기본 모델보다 훨씬 높은 수익률이 필요하다고 밝혔습니다. 그렇지 않다면 기업은 비용 대비 효율을 맞추기 위해 복잡한 작업을 완수하도록 모델을 고도로 최적화해야 한다고 서머는 말했습니다. 그는 7월 인터뷰에서 두 가지 선택지 모두 가능하지만 업무 워크플로의 대대적인 개편이 필요하다고 언급했습니다.

서머는 “모든 CIO는 각기 다른 우선순위와 조직에 중요한 사안을 갖고 있다”며 “CIO는 조직의 나머지 구성원들과 함께 무엇이 우선순위인지, AI가 그 문제를 해결하는 데 비용 효율적인 방법인지를 판단해야 한다”고 말했습니다.

비용 예측 실패는 이사회까지 올라간다

비용관리 소프트웨어 기업 매브릭(Mavvrik)의 7월 보고서에 따르면, 조직의 절반가량이 AI 지출 관련 예상치 못한 사안을 이사회에 보고한 경험이 있다고 답했습니다. 가트너는 이달 초 별도 발표에서 AI 최적화 인프라 서비스(대규모 언어모델 학습·운영을 지원하는 컴퓨팅) 지출이 2026년 말까지 420억 달러로 거의 두 배 늘어날 것으로 전망했습니다. 또한 서머는 7월 인터뷰에서 가트너가 전 세계 토큰 소비량을 하루 약 300조 개로 추산하며, 연간 성장률이 500~600%에 달한다고 밝혔습니다.

한국 기업 AX 시사점

가트너의 지적은 토큰 단가 하락을 근거로 AI 도입 비용을 낙관적으로 전망해온 조직에 던지는 경고입니다. 단가가 내려가도 활용 범위와 워크플로의 복잡도가 함께 늘어나면 총비용은 오히려 커질 수 있습니다. 특히 단순 챗봇형 기능에서 에이전트형 자동화로 넘어가는 단계에 있는 조직이라면, 비용 증가가 선형이 아니라 서머가 말한 것처럼 세대를 거듭할수록 가팔라질 수 있다는 점을 전제로 예산을 설계해야 합니다.

서머가 강조한 것처럼 AI 도입의 우선순위는 조직마다 다르며, 결국 관건은 “AI가 이 문제를 해결하는 데 비용 효율적인 방법인가”라는 질문에 스스로 답하는 것입니다. AI 전환을 검토하는 조직이라면, 도입하려는 기능이 단순 응답형인지 다단계 추론이 필요한 에이전트형인지부터 구분하고, 후자라면 토큰 사용량이 늘어날 것을 전제로 ROI 기준선을 다시 세워보는 편이 순서입니다.

출처: Advances in AI capabilities to outpace cost savings