全国首个!华为联合移动完成重要测试 Token吞吐率大增372%

2026-06-26 11:36:30 来源:快科技
        【每日科技网】

  据“华为数据存储”公众号消息,在2026 MWC上海展期间,华为与中国移动通信集团湖北有限公司(以下简称“湖北移动”)联合宣布,双方已成功完成全国运营商首个AI推理加速解决方案现网测试。

  此次测试基于华为OceanStor A800存储与昇腾A3超节点架构,并搭载UCM(Unified Cache Manager,推理记忆数据管理)能力,在长序列AI推理场景下,实现Token吞吐率最高提升372%的突破性成果,为运营商智算业务的高效部署提供了重要技术支撑。

  据介绍,本次测试在湖北移动现网环境中部署vLLM-Ascend框架,面向MiniMax M2.5、GLM-5.1等主流大模型,模拟了8K至190K长序列输入场景。

  测试结果显示,在MiniMax M2.5模型场景下,启用UCM后,首Token延迟(TTFT)优化26%至62%,单NPU卡Token输出效率(TPS)也获得明显提升。

  其中,在64K序列长度下,TPS提升58%;在128K序列长度下,TPS提升78%。

  在GLM-5.1模型场景下,UCM带来的加速效果更加明显,TTFT优化幅度达到51%至93%,TPS提升56%至372%。

  具体来看,在64K序列长度下,TPS提升313%;在128K序列环境下,TPS最高提升372%。

  华为表示,测试结果表明,随着上下文长度不断增加,AI推理加速方案的优势将持续放大,有效解决了长序列推理中的KV Cache容量瓶颈。

  对于运营商而言,这意味着在大模型推理、智能客服、内容生成、行业智能体等长序列AI业务场景中,现网智算资源有望获得更高利用效率,同时降低长上下文推理带来的性能压力。

全国运营商首个!华为联合湖北移动完成AI推理加速现网测试:Token吞吐率大增372%

免责声明:本文仅代表作者个人观点,与东方科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

行业首款水冷+185Hz超高刷!红魔游戏平板5 Pro平板评测 行业首款水冷+185Hz超高刷!红魔游戏平板5 Pro平板评测

一、前言:9英寸机身里塞下了整个Steam库拿到红魔游戏平板5Pro之前,我对它没太大期待,正常迭代嘛,屏幕更亮一点、帧率更高一点、散热再猛一点,就这样了。真正上手之后,我改了看法,这次的升级不是挤牙

全球首款AI智能体手机核心规格揭晓:骁龙8E5、7100mAh电池

全球首款AI智能体手机——努比亚NaviXUltra在2026世界人工智能大会上迎来首秀。日前,博主“熊猫很禿然”揭晓了新机的核心参数,正面配备一块6.78英寸1.5K直屏,支持144Hz刷新率,采用

14999元!三星Galaxy Z Fold8 Ultra图赏:薄至8.9mm 仅重215g

三星GalaxyZFold8Ultra正式发布,起售价为14999元。该机配备6.5英寸外屏以及8.0英寸内屏,折叠状态下的厚度仅为8.9毫米,重量也只有215克,在超大折叠屏机型中实现了较为出色的轻

三星Galaxy Z Fold8真机图赏:安卓首款阔折叠 12999元

三星电子正式发布新一代GalaxyZ系列折叠屏手机,包含GalaxyZFold8Ultra、GalaxyZFold8以及GalaxyZFlip8三款机型,覆盖了不同用户群体的折叠屏需求。其中Galax

年度最强小折叠!三星Galaxy Z Flip8真机图赏:8999元起

三星GalaxyZFlip8正式发布,国行版起售价为8999元。对比上代GalaxyZFlip7,GalaxyZFlip8在机身设计上进一步瘦身,整机减重8克,轻至180克,厚度仅为6.1毫米,成为G

三星最强大折叠降临!Galaxy Z Fold8 Ultra发布:14999元起

三星全新大折叠GalaxyZFold8Ultra正式发布,起售价为14999元。具体来看,12GB+256GB版本定价14999元,12GB+512GB版本定价16599元,16GB+1TB版本定价1