核心摘要
- 编码AI运营成本降低约90%获验证
- 目标并非降低单位token价格,而是降低单次任务的整体成本
- 是否所有请求都发送给同一个高性能模型处理
- 本周不妨先统计一下公司内部AI请求按难度划分的数量
LG U+于2026年11月12日举行的记者说明会上公布了一项自主验证结果:在编码领域采用自研AI模型,相比通常使用的模型,可将运营成本降低约90%。会上还透露,计划自2027年起通过与合作伙伴联手及自建基础设施,推进面向企业的AI成本削减业务。其目标不仅是降低单位token价格,而是降低AI完成一项任务所需的整体成本。
LG U+是如何降低AI成本的
LG U+在“AI token优化说明会”上公布的技术主要分为四类。
- 模型路由(Model Routing):即在多个AI模型中为具体任务挑选合适模型的技术。复杂任务交由高性能模型处理,简单任务则交由相对轻量的模型处理。在LG U+内部测试中,一般问题处理成本降低超过25%,编码代理(coding agent)成本降低超过30%。
- 运算处理方式改进:在相同基础设施条件下,将处理效率最高提升了4倍。
- 模型轻量化:将自研端侧(on-device)AI模型体积从原有的2.4~3GB缩减至约800MB,同时相较对比用的云端模型保持95%以上的性能水平。通过小模型生成答案、大模型负责校验的技术,将token生成速度提升了2倍以上,相关两篇论文已被NeurIPS收录。
- AI芯片多元化:目前正在验证除英伟达(NVIDIA)和AMD的GPU之外,利用FuriosaAI的NPU的方案。其目的在于根据任务特性将运算分散到不同芯片上,从而降低基础设施成本。
上述优化技术已应用于AI通话代理“ixi-O”、AI客服中心(AICC)以及公司内部业务自动化场景。ixi-O初期并行使用了LG AI研究院的端侧模型与谷歌Gemini,此后通过调整自研模型及EXAONE等的使用比重,提升了成本效率。此外,LG U+还将在与Kakao合作、计划年底实现商业化的服务“모두의 AI(Everyone's AI)”中负责AI模型的运营工作。
“AI市场的主导权已不再取决于谁能打造更大的模型,而在于能多么精细且经济地实现客户所期望的业务成果。”——LG U+首席技术官(CTO)李相烨
对韩国企业AX的启示
李相烨CTO解释称,随着AI代理的普及,即便单个模型的使用单价较低,如果反复进行不必要的检索与分析,整体成本仍会不断膨胀。在评估AI引入成本时,与其先比较token单价表,不如先弄清楚完成一项任务究竟需要调用模型多少次、使用的是哪种模型,这才是更合理的顺序。25%和30%的路由优化效果是LG U+内部测试所得数据,各机构在应用于自身组织时,仍需按照相同方法亲自测量验证。
本周不妨尝试将公司内部使用的AI请求划分为复杂任务和简单任务两类,并分别统计数量。如果发现连简单任务也全部交由同一个高性能模型处理,那么这部分正是首先应该考虑引入模型路由的对象。
如果觉得有用,欢迎分享。
