一家电信运营商卖 Token,卖点不是模型而是排班:把预填充和解码拆到不同芯片上跑,重计算交给 GPU,逐字生成交给 NPU。
官方说法是配合小模型生成、大模型验证,Token 生成速度能提升两倍以上;端侧模型体积缩到三分之一,保留云端模型 95% 以上的性能。
电信公司进场做 Token 生意的逻辑很直白:它有机房、有电价谈判权、有企业客户,缺的只是模型——那就别做模型,做每 token 最便宜的那一层。这类玩家一旦成规模,最先被压价的是纯 API 转售商。
据韩媒 Etnews 报道,LG U+ 计划明年用自研的 Token 优化技术进入 B2B AI Token 市场,方案包括 Agent 路径设计、智能模型路由,以及把英伟达、AMD 的 GPU 与韩国 FuriosaAI 的 NPU 组合起来分别处理 Prefill 与 Decode 任务。其自研端侧模型体积缩小三分之一,仍保持通用云端模型 95% 以上的性能。
一家电信运营商卖 Token,卖点不是模型而是排班:把预填充和解码拆到不同芯片上跑,重计算交给 GPU,逐字生成交给 NPU。
官方说法是配合小模型生成、大模型验证,Token 生成速度能提升两倍以上;端侧模型体积缩到三分之一,保留云端模型 95% 以上的性能。
电信公司进场做 Token 生意的逻辑很直白:它有机房、有电价谈判权、有企业客户,缺的只是模型——那就别做模型,做每 token 最便宜的那一层。这类玩家一旦成规模,最先被压价的是纯 API 转售商。