a&s专业的自动化&安全生态服务平台
公众号
安全自动化

安全自动化

安防知识网

安防知识网

手机站
手机站

手机站

大安防供需平台
大安防供需平台

大安防供需平台

资讯频道横幅A1
首页 > 资讯 > 正文

商汤大装置昇腾原生开发实践:集群规模扩展至3倍,线性加速比超97%

以大规模连接性、智能负载均衡等能力,提高大规模集群吞吐量,提升训练效率,实现AI大模型的快速迭代。
资讯频道文章B

  集群规模扩展至3倍后线性加速比高达97%以上、102B 模型训练性能达业界120% 以上……这是商汤基于昇腾计算生态的最新成果。近日,商汤大装置事业群研发总监张行程受邀出席华为全联接大会2024并发表演讲,带来了商汤大模型基于昇腾原生开发实践的主题分享。

  大会上,国际权威数据机构IDC还发布了《AI时代数据中心网络白皮书》,其中介绍了商汤与华为共同解决Al时代数据中心网络建设挑战,以大规模连接性、智能负载均衡等能力,提高大规模集群吞吐量,提升训练效率,实现AI大模型的快速迭代。

  ▎高效大模型原生开发

      历年来,商汤基于昇腾计算生态,共同推进基础模型、行业大模型应用与创新。例如,商汤通过高效并行、通信优化及网络架构感知和任务调度等软硬优化技术,构建了大规模并行训练加速系统,其中102B模型的训练性能达到了业界的120%以上,同时单一任务集群规模扩展至3倍,算力效率损失仅为3%。基于昇腾计算生态,商汤还建设长序列并行训练加速机制,与业界相比,4K序列性能提升1倍以上,32K序列性能持平,甚至还能处理128K长序列训练。目前,商汤日日新大模型从底层软件栈的接入到基础框架优化、再到模型原生开发,在性能、稳定性等关键参数方面超过业界。

  ▎提供端到端的大模型创新支持

  通过与昇腾团队合作,商汤将全栈大模型生产能力产品化,构建了从基础层、模型层、串联层到应用层的高效、完备、易用的大模型生产工具链。通过大模型生产工具链,商汤大装置可为客户提供涵盖算力、软件平台部署及模型迁移等端到端的大模型自主创新落地全流程业务服务。

  不仅如此,面向不同客户的特定应用场景需求,商汤还可提供业务流设计、应用编排、数据迭代等增值服务,助力客户从0到1建立完整的AI能力体系。同时,针对客户不同的吞吐量、部署规模等要求,商汤还会进行专项性能优化,帮助客户进行极致性价比提升,实现成本效益最大化。

  ▎携手共建开放、共享的大模型创新生态

  从基础设施的构建,到大模型的突破,再到应用的繁荣,商汤与华为一直是坚实伙伴。此前,商汤大装置AI云、日日新·商量大语言模型、商汤医疗大模型“大医”先后通过与Atlas系列服务器的相互兼容性测试,为客户提供更为安全、高效、可靠的人工智能全栈解决方案和应用体验。商汤基础大模型、行业大模型基于昇腾原生开发,持续探索在技术联创、产业共建等方面的合作,在本次华为全联接大会上,商汤科技获得“2024昇腾生态最佳实践伙伴奖”。

  今年7月,商汤还获颁“最佳昇腾原生开发伙伴奖”,以及昇腾“领先级应用软件伙伴奖”, 展现了商汤在推动开放、共享的大模型创新生态建设中的积极作用。通过不断的技术联创与资源共享,商汤将持续助力昇腾计算生态发展,并携手为客户提供更加高效、便捷的智算服务,推动AI在各行业的广泛应用与深入融合。

参与评论
回复:
0/300
文明上网理性发言,评论区仅供其表达个人看法,并不表明a&s观点。
0
关于我们

a&s是国际知名展览公司——德国法兰克福展览集团旗下专业的自动化&安全生态服务平台,为智慧安防、智慧生活、智能交通、智能建筑、IT通讯&网络等从业者提供市场分析、技术资讯、方案评估、行业预测等,为读者搭建专业的行业交流平台。

免责声明:本站所使用的字体和图片文字等素材部分来源于互联网共享平台。如使用任何字体和图片文字有冒犯其版权所有方的,皆为无意。如您是字体厂商、图片文字厂商等版权方,且不允许本站使用您的字体和图片文字等素材,请联系我们,本站核实后将立即删除!任何版权方从未通知联系本站管理者停止使用,并索要赔偿或上诉法院的,均视为新型网络碰瓷及敲诈勒索,将不予任何的法律和经济赔偿!敬请谅解!
© 2024 - 2030 Messe Frankfurt (Shenzhen) Co., Ltd, All rights reserved.
法兰克福展览(深圳)有限公司版权所有 粤ICP备12072668号 粤公网安备 44030402000264号
用户
反馈