a&s专业的自动化&安全生态服务平台
公众号
安全自动化

安全自动化

安防知识网

安防知识网

手机站
手机站

手机站

大安防供需平台
大安防供需平台

大安防供需平台

资讯频道横幅A1
首页 > 资讯 > 正文

亚马逊自研人工智能AI芯片:吞吐量提高30%

亚马逊宣布将人工智能处理迁移到自家定制的 AWS Inferentia 芯片。这意味着亚马逊最大的推理(inferencing)服务(例如语音助手 Alexa)将交由更快、更专业的芯片进行处理,而非基于 NVIDIA 的多用途 GPU。
资讯频道文章B

      对于巨头来说,AI已经不再那么神秘,因此,很多有自身需要或者有客户的大厂都会从合作走到自研这一步,现在,巨头亚马逊也逐渐摆脱对NVIDIA的依赖,开始了人工智能芯片的自研,且其芯片吞吐量提高达到30%。

  亚马逊宣布将人工智能处理迁移到自家定制的 AWS Inferentia 芯片。这意味着亚马逊最大的推理(inferencing)服务(例如语音助手 Alexa)将交由更快、更专业的芯片进行处理,而非基于 NVIDIA 的多用途 GPU。

  亚马逊已经将大约 80% 的 Alexa 语音助手处理迁移到 Elastic Compute Cloud (EC2) Inf1 实例上处理。和使用传统 GPU 的 G4 实例相比,Inf1 实例将吞吐量提高了 30%,成本下降了 45%。亚马逊认为,它们是推断自然语言和语音处理工作负载的最佳实例。

  Alexa 的工作方式是这样的:实际的智能音箱(或者扬声器)可以不做任何操作,所有任务都交由 AWS 处理器完成。或者更准确的说,一旦 Echo 设备上的芯片检测到唤醒词,系统就会启动。。它开始实时将音频流传输到云。在数据中心的某个地方,音频被转换为文本(这是推理的一个示例)。然后从文本中提取含义(另一个推理实例)完成所需要的所有操作,例如获取当天的天气信息等等。

  Alexa 完成您的请求后,她需要将答案传达给您。然后,脚本被转换为音频文件(另一个推理示例),并发送到您的Echo设备。回音播放文件,以便于你出行的时候是否决定带上雨伞。显然,推理是工作的重要组成部分。毫不奇怪,亚马逊投入了数百万美元来制造完美的推理芯片。

  Inferentia 芯片由四个 NeuronCore 组成。每个实现一个“高性能脉动阵列矩阵乘法引擎”。每个NeuronCore或多或少地由以线性,独立方式处理数据的大量小型数据处理单元(DPU)组成。每个Inferentia芯片还具有巨大的缓存,从而提高了延迟。

参与评论
回复:
0/300
文明上网理性发言,评论区仅供其表达个人看法,并不表明a&s观点。
0
关于我们

a&s是国际知名展览公司——德国法兰克福展览集团旗下专业的自动化&安全生态服务平台,为智慧安防、智慧生活、智能交通、智能建筑、IT通讯&网络等从业者提供市场分析、技术资讯、方案评估、行业预测等,为读者搭建专业的行业交流平台。

免责声明:本站所使用的字体和图片文字等素材部分来源于互联网共享平台。如使用任何字体和图片文字有冒犯其版权所有方的,皆为无意。如您是字体厂商、图片文字厂商等版权方,且不允许本站使用您的字体和图片文字等素材,请联系我们,本站核实后将立即删除!任何版权方从未通知联系本站管理者停止使用,并索要赔偿或上诉法院的,均视为新型网络碰瓷及敲诈勒索,将不予任何的法律和经济赔偿!敬请谅解!
© 2020 Messe Frankfurt (Shenzhen) Co., Ltd, All rights reserved.
法兰克福展览(深圳)有限公司版权所有 粤ICP备12072668号 粤公网安备 44030402000264号
用户
反馈