大模型时代，AI芯片迎来新机遇 - 安防知识网

自ChatGPT问世以来，业内对于AI的期待再次提升，用大模型赋能千行百业的浪潮翻涌而起

　　AI的「七年之痒」

　　2016年，智慧视觉行业「AI」异军突起，前有以AI四小龙为首的CV明星企业的轮番上阵，后有传统企业向智能物联转型的部署，在资本瞩目，跨界巨头入场等的影响下，让行业大展突破了原有的行业边界，在人工智能的风口下，颠覆与重新定义等豪语频出，行业热度达到空前。

　　2023年，AI从野蛮生长，开始迈向理性认知，「创新者的窘境」也成为AI在行业七年落地的最令人唏嘘的现象。大浪淘沙，存活下来的企业仍需面临行业转型的挑战。自ChatGPT问世以来，业内对于AI的期待再次提升，用大模型赋能千行百业的浪潮翻涌而起。

　　“在过去AI企业都走了一段巨大的弯路，我们认为AI无处不在，AI可以解决用户的问题，但没有人会愿意为一些过度领先的技术买单，因此要普惠AI，商业模式上则必须更加的务实。”谈起AI企业在行业的发展，爱芯元智副总裁史欣向a&s说道。

20191011103_90948450_xxl (NXPowerLite).jpg

　　混合精度NPU + AI-ISP 开启“真黑光”体验

　　无论行业如何变化，“软件是实现智能的核心，芯片是支持智能的基础”的技术逻辑是不变的，因此要谈论行业的技术及应用趋势，仍需从底层技术角度出发。

　　面对智慧城市不同场景的碎片化需求，史欣认为，爱芯元智将聚焦于芯片的核心——算力和图像，通过两个抓手，实现图像效果天花板的持续拉高与算力资源的最优配置，助推行业数智化转型。

　　而转化成落地产品，便是混合精度NPU + AI-ISP。据笔者了解，与业内常见的搭载外部NPU的形式不同，爱芯元智根据深度神经网络特性，自研业内领先的爱芯通元混合精度NPU，灵活运用低比特混合精度算法，有效提高芯片效能功耗比，降低DDR需求；同时，爱芯元智在芯片设计上将AI引入ISP，使ISP能够不断得到训练，同时AI-ISP突破了传统ISP瓶颈，使画质得到增强，让图像更清晰，满足客户极致视觉需求。

　　在过去的几年里，爱芯智眸AI AI-ISP在智慧城市的应用，赢得了市场的认可，其将传统ISP中的HDR、3DNR、RLTM、Demosaic等模块进行AI化，大幅提升了夜视成像的效果。但在a&s测评与实际应用中，不同的AI ISP的产品体验上也会存在差异，这主要是因为不同企业对root数据的处理存在差异，例如有的直接通过YUV像素编码进行图像处理和增强，虽然这样能够实现产品的快速交付部署，但从本质上与传统的ISP区别不大：一是由于定点技术的限制，虽然在某些环境下可以实现良好的夜视效果，但却没有AI自运算与自调节的能力，二是由于缺乏root数据的处理，对于系统的总线带宽、功耗等都会有较大的挑战。

　　为了实现“真黑光”的体验，史欣表示，AI-ISP需要从RAW域进入处理，实现总线带宽、算力调度、夜视效果的兼顾，“过去四年，大家看到的是产品在图像上的优化，但其内在的技术演进却没有想象中的简单。相比第一代产品，爱芯智眸AI-ISP通过AI赋能ISP Pipeline里的关键模块，在各种复杂应用场景中全面提升成像效果，为后期智能处理提供高质量的图像、视频素材。爱芯通元混合精度NPU则通过减少数据搬运，在一定程度上减小了内存墙和功耗墙的阻碍，提高整个NPU的效率，从而在端侧边缘侧面积、功耗受限的情况下，以更高的有效算力支持更多的智能算法。简单地说，在AI-ISP将画面真实还原，再通过NPU进行优化，进行更加准确的图像处理，在极低照度下获得超越人眼所见的‘真黑光’效果。”

　　探索大模型在端侧、边缘侧的应用

　　大模型时代的到来，正在催动行业未来新一轮技术和产业变革。在本次安博会上，不少智慧视觉厂商便向a&s反馈，继语言大模型之后，视觉大模型将成为新的风口，智能视觉产业将迎来新的蝶变。显然要实现的前提是在“芯”上，降低训练和推理的门槛，让方案能得以便捷的部署，让更多的企业能够同享大模型时代的成长机遇。

　　截止当前，基于传统CNN模型的云、边、端三角互补的算力主线已经完成，在AI模型从云端往端侧迁移的过程中，Transformer网络结构也在不断进步，作为基于GPT（Generative Pre-trained Transformer）预训练语言模型的消费类产品，ChatGPT的成功也让技术圈看到了Transformer的巨大潜力。

　　回顾Transformer视觉模型的发展历史，从基于Transformer网络结构的语义分割模型应用于智能驾驶场景，到分割万物的SAM和基座视觉大模型DINOv2，Transformer视觉模型的应用正走向新的高度。

　　但Transformer模型需要海量的参数，才能发挥其价值，目前较为成功的GPT模型，大部分是在“云端”进行训练和落地的，例如业内的头部企业，拥有丰富的系统及产品结构，并且有适用的场景项目，因此相对于中小企业而言，更容易实现大模型的落地。但是要推动大模型产品在市场的广泛应用和发展，从云端前置，解决在端侧、边缘侧高效部署Transformer将是大势所趋。

　　Transformer视觉模型能解决什么问题呢？史欣介绍，面对智慧城市长尾场景碎片化的需求，早期的部署成本过高，需要通过数据采集、数据标注、模型训练等冗长的步骤及投入，当场景出现新的状况时，如果数据标注训练没有覆盖，又需要重新的训练，耗时耗力且效果不好。“Transformer大模型具备语义理解能力，拥有比传统CNN模型更强的通用性，不需要预先知道所有的复杂视觉场景，就能理解和执行更广泛的下游任务。有了预训练大模型，采用无监督训练，模型都能识别从未见过的新事物。”史欣进一步补充。

　　秉承“普惠AI 造就美好生活”的品牌理念，爱芯元智积极探索Transformer大模型前置的方法论，让中小型企业也能够顺利搭上大模型这班快车。在年中的时候，爱芯元智已经优化了相应SoC芯片AX650N，使其成为Transformer端侧、边缘侧落地平台，在本次安博会上，爱芯元智发布AX630C，其新一代的NPU引擎支持主流的Transformer网络如ViT/DeiT/Swin/SwinV2/DETR等，可以解决训练数据集不足引起的算法精度下降，以及长尾场景下算法的泛化性问题。

　　谈及未来行业AI芯片的发展趋势，史欣表示，从芯片的架构设计角度而言，要想让Transformer模型更快部署在边缘侧或端侧，设法降低大模型带宽的使用情况，针对Transformer结构进行优化，让模型变小且易用更具性价比。

　　后记

　　“AI大模型时代，每个行业和产品都值得被重新定义”，这是新一代技术人的时代壮志。面对瞬息万变的外部环境，突破创新是适应行业的唯一方式，今天看到的AI芯片与大模型的结合只是一个开始，未来相信会有更多新的应用值得被期待。