申请试用
登录
新闻中心

商汤大装置加码“算电一体化协同”,推理性能提升4倍!

2024-09-09

随着大模型对算力需求的剧增, “算电一体化协同”势在必行!


去年12月,国家发改委等部门联合印发《深入实施“东数西算”工程 加快构建全国一体化算力网的实施意见》明确提出,2025年底,算力电力双向协同机制初步形成,国家枢纽节点新建数据中心绿电占比超过80%。

作为国内AI基础设施服务的领导者,商汤大装置积极推进训推一体、算电协同等创新技术的应用,并取得显著成效:

根据商汤科技2024 H1财报,在推理场景中,商汤大装置实现了相同算力及电力成本下的每秒请求数(QPS)4倍提升,并实现了推理服务弹性按需伸缩,优化了大规模AI推理的整体成本。


在本周举办的中国智算产业绿色科技大会上,商汤科技大装置事业群智算中心运维总监张煦具体分享了商汤推进“算电一体化协同”,打造下一代可持续AI基础设施的相关实践。

未标题-1.jpg


搭乘“东数西算”东风,打造算电一体化协同管理平台


算电协同的出发点在于通过集约化的AI基础设施建设和运营,降低全生命周期成本(TCO)。提升系统负载率优化算力利用率、通过合理选址和绿电接入降低电费成本,均是实现算电协同的有效手段。


国家“东数西算”工程,更为算电协同提供了政策东风。在我国,西部电力成本相对低廉,清洁能源资源丰富,但应用场景相对较少,需要更多算力基础设施来促进清洁能源的消纳;而东部虽然清洁能源资源相对较少,但用户场景丰富,有着大量的算力需求。西部丰富的清洁能源与东部旺盛的算力需求,形成了良好的互补关系。


政策.png


为助推东部与西部的算电协同,商汤提出了“源、网、储、荷”一体化的解决路径,从发电侧到用户侧进行全方位的协同管理,实现算力基础设施和电力网络的统一规划、智能调度。


在发电侧,商汤通过合理选址,实现绿电能源的本地消纳,并结合大模型赋能虚拟电厂的区域调度;在用户侧,进行精准用电负荷的用能管理,并提高算力复合预测的准确性。

商汤还打造了算电一体化协同管理平台,对算力和电力两个维度的数据进行整合、运营和预测,不断提高CUE(Compute Utilization Efficiency,计算利用效率)、增进算力效率;降低PUE(Power Usage Effectiveness,电源使用效率)、减小电费成本。

框架.png


那么,如何提高CUE,降低PUE?


智算中心的训练任务具有非常大的波动性,且不规律,需求时间段不稳定;而推理任务有规律,需求时间段稳定。如果按传统的训、推分离模式,那么计算资源将闲置。

为此,商汤引入了更加灵活的“训推一体"调度架构,通过动态调度、离线推理、后台微调、断点续训、削峰填谷,最大程度地提高算效CUE,减少资源的闲置和浪费。

在PUE能效优化方面,商汤不仅通过调整暖通运行策略等方式降低能源消耗,还利用基于“日日新”大模型打造的能源大模型体系,对算力的应用场景进行负载率和电力需求量的趋势预测,以实现更精准的能耗管理。

此外,商汤还构建了全生命周期标准化运维管理体系,研发了运维大模型与 AI智能运维管理平台,利用数字化与智能化技术提升运营效率15%,通过动态制冷优化,实现能耗降低5%。


商汤大装置运营总算力突破20,000P,为行业输出高能效比绿色智算服务


目前,商汤已在AIDC开展算电协同试点实践,通过能源大模型进行精准的能耗预测和设备调优调参,有效降低了PUE,并通过软件层面的训练框架优化,不断提升CUE。

截至2024年8月,商汤大装置运营总算力规模已突破20,000 PetaFLOPS。随着算电一体化协同的推进,大装置将能够为行业输出更高能效比的绿色智算服务,帮助更多企业高效、低成本地拥抱生成式AI技术的红利。

根据此前IDC发布的《中国智算服务市场(2023下半年)跟踪》,商汤大装置跻身2023年下半年中国GenAI IaaS服务厂商TOP 3,位居行业第一梯队。


图片

此外,经中国电子技术标准化研究院专家审核,商汤大装置还通过了算力服务能力成熟度(CPMM)增强级评估,成为首个通过该评估的企业。

展望未来,算电协同的推进需要政府的统筹和产业上下游的紧密合作,通过更加灵活、更具针对性的选址和绿电接入,结合架构的调优和软件的优化,真正消除从电力到算力再到AI场景应用上的不等式,推动AI基础设施的可持续发展。