11月21日下午,华为在上海举办“2025 AI容器应用落地与发展论坛”,会上正式发布并开源了创新AI容器技术Flex:ai。
据媒体报道,目前,行业内算力资源的平均利用率仅为30%至40%,据华为介绍,Flex:ai通过算力切分技术,将单张GPU(图形处理器)/NPU(神经网络处理器)算力卡切分为多份虚拟算力单元,切分粒度精准至10%。此技术实现了单卡同时承载多个AI工作负载,在无法充分利用整卡算力的AI工作负载场景下,算力资源平均利用率可提升30%。
与英伟达旗下Run:ai只能绑定英伟达算力卡不同,华为AI容器技术Flex:ai通过软件创新,可实现对英伟达、昇腾及其他第三方算力资源的统一管理和高效利用,有效屏蔽不同算力硬件之间的差异,为AI训练推理提供更高效的资源支持。
图片来源:视觉中国-VCG211478193393
为什么推出Flex:ai?华为方面认为,在大模型时代,容器技术与AI是天然搭档。
容器技术作为一种轻量级虚拟化技术,可以将模型代码、运行环境等打包成一个独立且轻量级的镜像,实现跨平台无缝迁移,解决模型部署存在环境配置不一致的痛点。
同时,容器技术可以按需挂载GPU(图形处理器)、NPU(神经网络处理器)的算力资源,并且按需分配和回收资源,提升集群整体的资源利用率。
第三方机构数据显示,目前AI负载大多已容器化部署和运行,预计到2027年,75%以上的AI工作负载将采用容器技术进行部署和运行。
此外,传统容器技术已经无法完全满足AI工作的负载需求,AI时代需要AI容器技术。
Flex:ai可以大幅提升算力资源的利用率,主要是通过对GPU、NPU等智能算力资源的精细化管理与智能调度,实现对AI工作负载与算力资源的“精准匹配”。
具体来看,Flex:ai的关键能力分别是算力资源切分、多级智能调度、跨节点算力资源聚合。
以算力资源切分为例,Flex:ai可以将单张GPU/NPU算力卡,切分为多份虚拟算力单元,切分粒度精准至10%,实现单卡同时承载多个AI工作负载的效果。
每日经济新闻综合上海证券报、公开信息
每日经济新闻