核心摘要
- AI推理成本预计到2028年将增长5倍以上——Gartner
- 代币价格在下降,为何成本却在上升?“推理悖论(Inference Paradox)”
- 从聊天机器人转向智能体,ROI标准将随之提高
- 是时候重新设定我们组织的成本效益标准了
据Gartner周一发布的报告显示,企业的AI推理(inference)成本预计到2028年将增长5倍以上。随着企业AI应用从简单的辅助功能演变为多阶段流程，技术领导者需要承担的成本负担也在不断加重。
Gartner高级总监分析师Will Sommer在报告中表示：“AI能力每迭代一代，就需要更多、且通常更昂贵的代币”，“目前尚未看到一种可靠的、万能的低成本模型出现在地平线上。”
代币变便宜了，账单却变大了
Gartner用三个因素来解释当前的代币经济。第一，基础模型（foundational model）本身的成本正在下降。第二，这种效率的提升反而促使企业利用更强大、更昂贵的模型去追求高附加值的AI应用。第三，这类精细化的AI工作流所消耗的代币量，远超早期模型中简单聊天机器人交互所需的数量，从而推高了整体推理成本。
Sommer说明了简单聊天机器人与AI智能体之间的经济性差异：“简单的聊天机器人只需读取并理解查询内容，快速给出概率上合理的答案即可；而AI智能体则需要不断进行推理、协商，并不断向自身提问。”Gartner将这种结构——即AI整体成本持续上升，却没有清晰路径通向可预测价值的现象——命名为“推理悖论（Inference Paradox）”。
越是智能体化的AI，ROI标准越高
Gartner报告指出，要在智能体型AI模型或推理型智能体等更先进的系统上实现ROI，所需的收益率要远高于基础模型。Sommer表示，若做不到这一点，企业就必须对模型进行高度优化，以完成复杂任务，从而在成本和效率之间取得平衡。他在7月的采访中提到，这两种选择都是可行的，但都需要对业务工作流进行大规模改造。
Sommer表示：“每位CIO都有各自不同的优先事项以及对组织而言重要的议题”，“CIO需要与组织中的其他成员共同判断，哪些是优先事项，以及AI是否是解决该问题的一种具有成本效益的方式。”
成本预测失误甚至会上报至董事会
据成本管理软件公司Mavvrik今年7月发布的报告显示，约有一半的组织表示曾就AI支出方面的意外情况向董事会进行过汇报。Gartner本月早些时候在另一份报告中预测，用于AI优化基础设施服务（支持大语言模型训练与运营的计算资源）的支出到2026年底将几乎翻倍，达到420亿美元。此外，Sommer在7月的采访中表示，Gartner估计全球每日代币消耗量约为300万亿个，年增长率高达500%至600%。
韩国企业AX启示
Gartner的这一指出，向那些基于代币单价下降而对AI导入成本持乐观态度的组织敲响了警钟。即便单价下降，如果应用范围和工作流复杂度同步增加，总成本反而可能进一步攀升。特别是对于正处于从简单聊天机器人功能向智能体型自动化过渡阶段的组织而言，必须以“成本增长并非线性、而是可能如Sommer所言随着代际推进而愈发陡峭”为前提来设计预算。
正如Sommer所强调的，AI导入的优先事项因组织而异，最终的关键在于组织自身能否回答这样一个问题：“AI是否是解决这一问题的具有成本效益的方式？”对于正在考虑推进AI转型的组织而言，首先应区分拟导入的功能是简单的响应型，还是需要多阶段推理的智能体型；若属于后者，则应以代币使用量将持续增加为前提，重新设定ROI基准线，这才是应有的顺序。