a&s专业的自动化&安全生态服务平台
公众号
安全自动化

安全自动化

安防知识网

安防知识网

手机站
手机站

手机站

大安防供需平台
大安防供需平台

大安防供需平台

资讯频道横幅A1
首页 > 资讯 > 正文

大模型时代,AI芯片迎来新机遇

自ChatGPT问世以来,业内对于AI的期待再次提升,用大模型赋能千行百业的浪潮翻涌而起
资讯频道文章B

  AI的「七年之痒」

  2016年,智慧视觉行业「AI」异军突起,前有以AI四小龙为首的CV明星企业的轮番上阵,后有传统企业向智能物联转型的部署,在资本瞩目,跨界巨头入场等的影响下,让行业大展突破了原有的行业边界,在人工智能的风口下,颠覆与重新定义等豪语频出,行业热度达到空前。

  2023年,AI从野蛮生长,开始迈向理性认知,「创新者的窘境」也成为AI在行业七年落地的最令人唏嘘的现象。大浪淘沙,存活下来的企业仍需面临行业转型的挑战。自ChatGPT问世以来,业内对于AI的期待再次提升,用大模型赋能千行百业的浪潮翻涌而起。

  “在过去AI企业都走了一段巨大的弯路,我们认为AI无处不在,AI可以解决用户的问题,但没有人会愿意为一些过度领先的技术买单,因此要普惠AI,商业模式上则必须更加的务实。”谈起AI企业在行业的发展,爱芯元智副总裁史欣向a&s说道。

  混合精度NPU + AI-ISP 开启“真黑光”体验

  无论行业如何变化,“软件是实现智能的核心,芯片是支持智能的基础”的技术逻辑是不变的,因此要谈论行业的技术及应用趋势,仍需从底层技术角度出发。

  面对智慧城市不同场景的碎片化需求,史欣认为,爱芯元智将聚焦于芯片的核心——算力和图像,通过两个抓手,实现图像效果天花板的持续拉高与算力资源的最优配置,助推行业数智化转型。

  而转化成落地产品,便是混合精度NPU + AI-ISP。据笔者了解,与业内常见的搭载外部NPU的形式不同,爱芯元智根据深度神经网络特性,自研业内领先的爱芯通元混合精度NPU,灵活运用低比特混合精度算法,有效提高芯片效能功耗比,降低DDR需求;同时,爱芯元智在芯片设计上将AI引入ISP,使ISP能够不断得到训练,同时AI-ISP突破了传统ISP瓶颈,使画质得到增强,让图像更清晰,满足客户极致视觉需求。

  在过去的几年里,爱芯智眸AI AI-ISP在智慧城市的应用,赢得了市场的认可,其将传统ISP中的HDR、3DNR、RLTM、Demosaic等模块进行AI化,大幅提升了夜视成像的效果。但在a&s测评与实际应用中,不同的AI ISP的产品体验上也会存在差异,这主要是因为不同企业对root数据的处理存在差异,例如有的直接通过YUV像素编码进行图像处理和增强,虽然这样能够实现产品的快速交付部署,但从本质上与传统的ISP区别不大:一是由于定点技术的限制,虽然在某些环境下可以实现良好的夜视效果,但却没有AI自运算与自调节的能力,二是由于缺乏root数据的处理,对于系统的总线带宽、功耗等都会有较大的挑战。

  为了实现“真黑光”的体验,史欣表示,AI-ISP需要从RAW域进入处理,实现总线带宽、算力调度、夜视效果的兼顾,“过去四年,大家看到的是产品在图像上的优化,但其内在的技术演进却没有想象中的简单。相比第一代产品,爱芯智眸AI-ISP通过AI赋能ISP Pipeline里的关键模块,在各种复杂应用场景中全面提升成像效果,为后期智能处理提供高质量的图像、视频素材。爱芯通元混合精度NPU则通过减少数据搬运,在一定程度上减小了内存墙和功耗墙的阻碍,提高整个NPU的效率,从而在端侧边缘侧面积、功耗受限的情况下,以更高的有效算力支持更多的智能算法。简单地说,在AI-ISP将画面真实还原,再通过NPU进行优化,进行更加准确的图像处理,在极低照度下获得超越人眼所见的‘真黑光’效果。”

  探索大模型在端侧、边缘侧的应用

  大模型时代的到来,正在催动行业未来新一轮技术和产业变革。在本次安博会上,不少智慧视觉厂商便向a&s反馈,继语言大模型之后,视觉大模型将成为新的风口,智能视觉产业将迎来新的蝶变。显然要实现的前提是在“芯”上,降低训练和推理的门槛,让方案能得以便捷的部署,让更多的企业能够同享大模型时代的成长机遇。

  截止当前,基于传统CNN模型的云、边、端三角互补的算力主线已经完成,在AI模型从云端往端侧迁移的过程中,Transformer网络结构也在不断进步,作为基于GPT(Generative Pre-trained Transformer)预训练语言模型的消费类产品,ChatGPT的成功也让技术圈看到了Transformer的巨大潜力。

  回顾Transformer视觉模型的发展历史,从基于Transformer网络结构的语义分割模型应用于智能驾驶场景,到分割万物的SAM和基座视觉大模型DINOv2,Transformer视觉模型的应用正走向新的高度。

  但Transformer模型需要海量的参数,才能发挥其价值,目前较为成功的GPT模型,大部分是在“云端”进行训练和落地的,例如业内的头部企业,拥有丰富的系统及产品结构,并且有适用的场景项目,因此相对于中小企业而言,更容易实现大模型的落地。但是要推动大模型产品在市场的广泛应用和发展,从云端前置,解决在端侧、边缘侧高效部署Transformer将是大势所趋。

  Transformer视觉模型能解决什么问题呢?史欣介绍,面对智慧城市长尾场景碎片化的需求,早期的部署成本过高,需要通过数据采集、数据标注、模型训练等冗长的步骤及投入,当场景出现新的状况时,如果数据标注训练没有覆盖,又需要重新的训练,耗时耗力且效果不好。“Transformer大模型具备语义理解能力,拥有比传统CNN模型更强的通用性,不需要预先知道所有的复杂视觉场景,就能理解和执行更广泛的下游任务。有了预训练大模型,采用无监督训练,模型都能识别从未见过的新事物。”史欣进一步补充。

  秉承“普惠AI 造就美好生活”的品牌理念,爱芯元智积极探索Transformer大模型前置的方法论,让中小型企业也能够顺利搭上大模型这班快车。在年中的时候,爱芯元智已经优化了相应SoC芯片AX650N,使其成为Transformer端侧、边缘侧落地平台,在本次安博会上,爱芯元智发布AX630C,其新一代的NPU引擎支持主流的Transformer网络如ViT/DeiT/Swin/SwinV2/DETR等,可以解决训练数据集不足引起的算法精度下降,以及长尾场景下算法的泛化性问题。

  谈及未来行业AI芯片的发展趋势,史欣表示,从芯片的架构设计角度而言,要想让Transformer模型更快部署在边缘侧或端侧,设法降低大模型带宽的使用情况,针对Transformer结构进行优化,让模型变小且易用更具性价比。

  后记

  “AI大模型时代,每个行业和产品都值得被重新定义”,这是新一代技术人的时代壮志。面对瞬息万变的外部环境,突破创新是适应行业的唯一方式,今天看到的AI芯片与大模型的结合只是一个开始,未来相信会有更多新的应用值得被期待。


参与评论
回复:
0/300
文明上网理性发言,评论区仅供其表达个人看法,并不表明a&s观点。
0
关于我们

a&s传媒是全球知名展览公司法兰克福展览集团旗下的专业媒体平台,自1994年品牌成立以来,一直专注于安全&自动化产业前沿产品、技术及市场趋势的专业媒体传播和品牌服务。从安全管理到产业数字化,a&s传媒拥有首屈一指的国际行业展览会资源以及丰富的媒体经验,提供媒体、活动、展会等整合营销服务。

免责声明:本站所使用的字体和图片文字等素材部分来源于互联网共享平台。如使用任何字体和图片文字有冒犯其版权所有方的,皆为无意。如您是字体厂商、图片文字厂商等版权方,且不允许本站使用您的字体和图片文字等素材,请联系我们,本站核实后将立即删除!任何版权方从未通知联系本站管理者停止使用,并索要赔偿或上诉法院的,均视为新型网络碰瓷及敲诈勒索,将不予任何的法律和经济赔偿!敬请谅解!
© 2024 - 2030 Messe Frankfurt (Shenzhen) Co., Ltd, All rights reserved.
法兰克福展览(深圳)有限公司版权所有 粤ICP备12072668号 粤公网安备 44030402000264号
用户
反馈