安谋科技：生成式AI重塑智能物联“芯”应用 - 安防知识网

通过云跟端的整体配合，云端混合的方式能够真正落地，产生最大的效益。

　　随着端侧AI势如破竹的发展，在最近召开的2024国际AIoT生态发展大会上，安谋科技智能物联业务线业务发展与方案总监商德明先生为所有芯片、端侧AI开发者们介绍端云之间生态互动的产生以及所涉及到硬件的更新、软件和应用的变化。无论是端侧还是云侧，最终要实现的目标是为了带来更大的生态效应，能够支持更多的客户使用相同的方案。通过云跟端的整体配合，云端混合的方式能够真正落地，产生最大的效益。

标题.jpg 　　端侧到底为什么发展起来?

　　1、节约成本

　　不管是什么样的任务、请求，每一次的传输，都会经过大模型的计算，电力成本就会非常高，但是如果在端侧区域去进行一部分推理，帮助用户，成本就会少很多。以及云端能源的耗费，如果我们仍然将重心放在云端上，将来可能全世界开发的能源都要被云端所消耗。

　　2、信息安全

　　端侧的AI嵌入意味着在端侧就能进行信息的识别、处理，在私密性和安全性方面天生有优势。不仅是关乎个人的数据，更是涉及到很多敏感的，需要安全级别高的数据，包括金融、财务等方面，这些非常重要的数据，放在端侧能更好地保证数据的安全性，避免了统一存储云端的不安。

　　3、及时反馈

　　有些性能要依赖网络来解决问题，就会面临延时的问题，网络某种程度上影响了云端运行效率。即时性要求不高的行动或许还能接受，但是有很多关键性的应用，需要及时反馈行动，比如机器人去救火，或者是快速及时的汽车行驶，这些场景对实时性的要求非常高，云侧AI所带来的弊端就显现出来了。

　　端侧AI会带来什么样的变化?

　　1、芯片

　　无论AI如何发展，研发、制作芯片的成本依然非常高。因为芯片一旦进入到设备，比如进入到车里或者服务器里面，它所关联的价值就更高，芯片会有一个非常重大的责任，需要负责端侧在安全、整个功能上的推进。所以芯片的稳定性、鲁棒性和先进性非常重要，更新迭代的速度也很快。

　　然而除了这些常规的性能要求，目前端侧AI所运用到的芯片还需要从不同场景中抓取搜集数据。通过海量芯片在市场上的应用，芯片可以把应用场景以及相关的数据都抓取出来，还可以从全世界所有用户的使用行为中发现问题，为芯片的更新迭代提供参考，或者是从一些特殊的场景去集中收集、汇聚信息，更加完整地去测试各种端侧所处的场景，从而保证技术在不同的场景、不同用户之间可以保持一定的稳定性。

端云协同.jpg 通过这种民意的分析，对客户诉求的把握，从全球范围内吸取用户给予的提示和反馈，来不断的提升产品的质量，对于整个行业也是非常大的价值。再通过大模型的更新，调动所有相应的应用迭代，使得用户能够得到一个更好的服务，让设备成为一个智能化、个性化的助手。

　　2、传感器

　　传统端侧的传感只是起到采集、传输的作用，像一个沉睡中的大脑，但是随着 AI的价值和发展，不仅仅是对传感、对数据的采集、传输，大脑要醒来，对整个数据分析，以及分析过后反馈、采取行动。

　　传感是多模态的，例如自动驾驶、机器人等，在视觉上有8k、4k的摄像头若干个，还有雷达、激光、声音等相关的传感，多模态输入使它的复杂度提高。同时，面对海量的数据，如何使你的架构更加合理，能够更加快速、实时地处理这些数据，精确提供企业需要的足够的判断基础。然后通过AI大模型的生成、AI的判断，能够及时地做出反馈，使得一些相应的动作能够发生。所有端侧设备都面临这样的需求，解决架构上的问题。

　　计算架构要优化就要求算力的提升。之前的发展模式中，计算机或者芯片基本上都是代理，或者以一个CPU的架构思维、判断去做公式的计算，因此一个CPU也就是几个线程、几十个线程的能力去发展。但是随着 GPU的出现，上百万的并行的计算有条件发生，甚至于不仅仅是同一个指令、多个数据并行，现在可以同时很多的指令在一个周期里面多个数据进行计算。

　　3、半导体

　　本身半导体的发展，让我们可以在很小的面积集成更多的单元，所以我们整个芯片硬件的要求、宗旨，就是能够在最小的面积里面放更多的电路，使得软件能在每一个指定周期实现电路的最高利用率。快速地迭代产品，然后以最高的效率使芯片上所有的电路都起作用，发挥它计算和数据处理的能力。

　　端侧AI的具体应用场景以及企业努力的方向

　　随着深层次AI的不断加强，模型的能力也越来越强。模型的轻量化发展能够产生更少的参数，不断加持AIoT设备，同时也很可能会有新的产品形态出现，这些都值得密切的关注。

　　端侧设备、智能家居等已经在推进端侧AI的部署。AR、VR、元宇宙的概念大概四五年前就已经出现，苹果等厂家在开发推进过程中，致力于凝练低功耗的同时更好地呈现显示效果，这就需要它不断提高AI算力的支撑。

　　比如监控领域，对于行业来说，夜视是一个很大的挑战。同时由于它定位的要求，还需要AI赋能虹膜识别、人脸识别等相关领域。以前传统的监控摄像头，如果有10%的设备支持AI人脸识别，就已经算是不错的。但是AI发展到今时今日，监控摄像头具备AI的功能是必选项。所以我们可以预测在未来的三五年，这些端侧设备能够有更好的语义理解，支持大模型作为我们贴身的助手。目前AI手机、AI PC的出现，都是在压缩、小型化大模型的路上努力，最终达到能够在端侧设备进行部署，具备技术能力、功能。

　　对于企业而言，端侧要部署到云侧需要从以下几点努力：

　　1、架构上的互动

　　如果云侧的指令级，跟端侧指令级是一致的，在同一个架构下去开发应用，那么云端的软件站和整个的服务方案可以无缝迁移到端侧的部分。云侧跟端侧之间本身在在软件应用开发上是有一致性和兼容性的，这就可以带来大量的成本和人力的节约。

　　2、软件定义硬件

　　开发模型之后可以通过稳定的技术在端侧部署，软件定义硬件的能力就出现了。不管是什么样的硬件平台，软件模型尤其大模型更新，就可以适配不同的场景。比如智慧农业，大模型应该可以做到今天监测这些水果，明天去观察稻谷麦香，或者又去到一个存储仓库、其他各个需要不同能力的环节去应用。通过模型的更新，一次性地投入硬件，然后产生各种各样的应用效果。

　　3、获取数据

　　要让端侧设备变得更加智慧的话，需要不断收集互联网数据。每个应用场景下都会产生大量的数据，互联网端侧设备需要去感知物理世界，获取、整理，再从中提取到最有效的数据。如果每次都传输原始数据，涉及到的数据量就会非常庞大，通过端侧的提炼抓取，再去反馈给云端，在云端进行训练，就可以使模型的组合更加智慧或全面，进一步再反馈给端侧。

发展热点.jpg 　　端侧AI除了发展到如今的简单应用，大模型通用性的职能以外，还要在软件和生态上相互配合，和整个具体的场景相关联，为行业提供一个指导方案，从而在端侧或者垂直领域能够发挥更重大的作用。