华为云推出柔性智算FlexNPU 有效降低Token成本

本站3月22日消息,据媒体报道,华为云在中小企业AI解决方案发布会上推出了一项算力黑科技——柔性智算操作系统FlexNPU,将Token消耗这一“吞金兽”有效控制在企业预算范围内,打造面向Agentic时代的极致Token性价比,为企业级智能体的普及突破算力瓶颈｡

据介绍,在AI基础设施层,华为云提供昇腾多代系产品及自研的AI Infra OS,其中FlexNPU柔性智算技术既能满足中小企业小模型训练场景的需求,又可通过弹性调度大幅提升资源利用率｡

在模型服务层,华为云支持业界主流开源模型,让企业既可灵活选择适配业务需求的模型,也能结合自有数据低成本微调专属模型｡

在智能体平台层,华为云提供易用高效的Agent开发环境,助力开发者和中小企业面向行业场景打造企业级智能体｡在智能体应用层,华为云联合伙伴深入洞察分析､营销运营､协同办公､开发运维､内容制作等高频应用场景｡

“我们的推理池平均利用率竟然不足30%,花费重金建设､动辄数万､数十万卡的AI硬件算力池,竟有超过一半以上的算力在‘摸鱼､吃空饷’｡”华为云首席架构师､华为公司Fellow顾炯炯在现场抛出了一组惊人数据｡

他指出,Agent时代企业普遍面临算力痛点:Agent自主规划､多轮迭代､长上下文导致Token消耗量呈指数级增长,如何有效降低Token成本,已成为最核心和迫切的挑战｡

为此,华为云发布了柔性智算FlexNPU,通过构筑强大而灵活的AI Infra层算力调度技术,大幅提升推理池的有效算力利用率,从而以相同的AI硬件算力投入,提供更大的Token吞吐输出｡

顾炯炯用“可大可小､变化随心”的如意金箍棒来形容FlexNPU,表示FlexNPU赋予NPU或GPU算力“柔性或液态化”供给与伸缩的能力,可依据任意业务需求动态变化､随需而动,通过最大化AI算力投入的利用率,最终实现Token性价比的最优化｡

具体而言,柔性智算FlexNPU具备极致共享､极致弹性和极致高可用三大属性｡在大模型推理方面,FlexNPU通过引入基于柔性算力的PD动态混部､在离线推理混部等创新技术,解决了传统PD分离架构下Prefill和Decode集群不均衡的AI Core与显存利用率,以及推理业务潮汐变化规律所导致的大量AI算力空转浪费问题,带来至少40%的Token性价比提升｡

在小模型推理方面,FlexNPU通过实现最小粒度达1% NPU卡及128MB显存的AI Core时分复用与显存空分复用,为小模型提供完美匹配其算力诉求､量体裁衣的虚拟NPU资源,将小模型的平均算力成本降低2至3倍以上｡

在推理高可用保障方面,FlexNPU通过软硬解耦及Token级KV Cache的实时快照,使上层推理框架无需感知底层硬件故障,即可实现故障秒级快速恢复及断点续推,大幅减少Agent推理会话的重计算开销,提升用户推理体验｡