LG U+明年进AI Token市场:端侧模型体积缩1/3性能95%

11 月 15 日消息,据韩媒 Etnews 今天报道,韩国电信运营商 LG U+ 将于明年进军 AI Token 业务,利用自主研发的 Token 优化技术帮助企业降低 AI 转型成本。这项业务包含三项核心技术,面向的是把智能体从演示阶段推到生产环境的企业客户。

三项技术压住重复消耗

第一项是用于设计 Agent 任务执行路径的 Harness Engineering,第二项是按问题类型分配模型的智能路由,第三项是为优化推理过程采用的异构半导体芯片组合。LG U+ 希望通过减少智能体执行任务时不必要的重复搜索与验证,配合模型轻量化和推理技术,把成本压到企业能接受的区间。

端侧模型体积缩三分之一

自研端侧 AI 模型在体积缩小三分之一的情况下,性能仍达到通用云端模型的 95% 以上。通过让小模型先生成答案再由大模型验证的组合方式,Token 生成速度提升两倍以上。这类按量计费的模型服务怎么挑档位,可以看看阿里云 Token Plan 四档对比。

Prefill 与 Decode 分开算

基础设施上 LG U+ 采用芯片组合策略,把英伟达与 AMD 的 GPU 搭配韩国本土企业 FuriosaAI 的神经网络处理器使用,分别承担问题分析的 Prefill 与答案生成的 Decode 任务。大规模计算任务与内存带宽要求高的任务分开处理,基础设施成本因此下降。业务落地方式上,公司会同时采用与合作伙伴联合提供和自主建设两种路径,从明年开始全面进入 B2B AI Token 市场。随着 LG U+ 加入,韩国三大电信运营商将全部进入 Token 经济领域。

全部文章归档与模型专题