云原生AI基于智能云容器引擎(CCE)支持GPU显存和算力的共享与隔离,同时集成多种主流深度学习框架,通过对AI任务的编排、管理,提供深度学习训练服务,帮助企业客户提高GPU资源使用效率和提升AI训练速度,快速降本增效。
云原生AI在资源弹性、跨节点架构感知,训练推理效率等多方面的能力显著提升,可最大化地帮助企业实现AI应用的快速交付与落地。
提供了用户态和内核态双引擎:用户态性能最优,内核态隔离性强。用户可以根据自己的需求灵活选择。
调度支持共享混部、独立调度,用户可根据需求灵活选择;支持拓扑感知以及亲和调度。
使用百度自研 AI 加速套件 AIAK-Traning,通信功能优化,TCP 场景提升43.7%,RDMA提升11.4%。
百度自研推理加速引擎AIAK-Inference,推理效率极速提升,ResNet 等可以加速15%-80%。
支持Fluid Operator与PFS、RapidFS等,能实现分布式缓存引擎加速与协同调度,训练效果可以提升5倍以上。
支持数千卡分布式训练,为其提供高效稳定的训练环境。大规模训练资源效能提升:等效算力50%+、数据并行加速比90%+。
支持RDMA容器网络,单机可达1.6Tbps
支持高性能容器存储,可实现百万IOPS、百GB吞吐
节点间tor交换机架构感知
容错(节点故障时框架感知并要求调度器重分配)
端到端自动并行
兼容英伟达、昆仑等多家芯片
容器引擎CCE
GPU云服务器
对象存储BOS