多年来，半导体行业一直致力于将越来越多的组件紧密的集成到单个片上系统中（SoC）。毕竟这对于庞大的应用而言是非常实用的解决方案。通过优化处理器的定位，存储器和外部设备芯片厂商能够将数据路径调整到最短，从而提高功率效率并取得更高的性能，此外还能够显著的降低成本。通过这些方法，该行业已经取得了巨大的成功，SoC几乎是我们所有消费电子产品的标准组件。

AI作为一种标准

       随着更多的公司意识到利用神经网络处理各种任务（比如自然语言处理、图片识别分类）的巨大潜力，引入人工智能要素的产品数量也在稳步增加。与此同时，这些任务的处理过程正在从基于云的架构迁移到本地终端设备来实现，现在专用硬件神经网络加速器也已经嵌入到SoC器件中。

AI正集成到更多的SoC器件中

       从语音激活的消费电子产品（比如虚拟助理）到高级的驾驶辅助系统（ADAS），集成的神经网络人工智能（AI）所面临的机会正在多个细分的市场中展开，不可否认，人工智能（AI）被认为是许多解决方案必不可少的要素。

一种方法不能适用所有

       然而，尽管AI应用程序的数量正在不断增加，但这并不意味着集成有AI加速功能的SoC能够适用所有的场景。实际上，如果我们考虑AI能够覆盖大多数的细分市场，那么由于使用该技术的产品可能有很多不同的处理要求，自然就会产生碎片化的差异。细分的市场对于专用的SoC器件是一种挑战，因此“一刀切”通用的方案不再适用。虽然一些市场（比如智能手机、ADAS）为SoC供应商提供了大量的机会，但是很多针对AI使用的市场目前仍然比较低迷。例如某些产品可能需要AI进行语音处理或图像识别，但不一定两者都需要。同样的智能家居供应商认为将传统的智能手机SoC嵌入AI功能就集成到他们的产品中并不是很好的解决方案，因为这不符合成本效益。

认识AI协同芯片

       现在台式机CPU和移动SoC大多都采用多核芯片，因为它们灵活的可扩展架构使其能够按需提供不同的性能，AI“协同芯片”采用类似的方法，它们不仅仅只被设计成一个，而是多个计算GPU和神经网络加速器（NNA）来为特定的应用提供足够的性能，同时确保对硅片尺寸进行优化，将芯片的成本降至最低。这些处理器会紧挨着主应用处理器（SoC）作为“协同芯片”，承载主应用处理器上的NNA内核需要处理的AI推理任务。

       现在SoC供应商有机会创建一个传统的通用应用处理器，能够经济高效的适用于多个市场，同时可以配套AI协同芯片来满足一些特定应用或小众应用对于AI功能的需求。

       从OEM厂商的角度来看，他们现在可以选择适当地扩展自己的产品解决方案，这取决于他们期望在整个应用方案中对于AI处理操作的开销。

一个AI处理器的例子：根据不同应用NNA的数量可以灵活的增减 

       典型的协同AI SoC芯片包括负责内部事务的通用控制CPU、用于高性能计算的GPU内核（而不是专门用于处理图形和3D变换操作）以及多个NNA（神经网络加速器），根据不同的神经网络和推理引擎可灵活组合，此外还可以根据不同的任务采用不同的精度。举个例子，在双NNA系统中，其中一个NNA可以用来执行图像识别任务，将结果传递给另一个NNA之前能够识别出场景中的人脸部分，另一个NNA会将人脸部分划分为单独的特征从而识别出面部表情。

       另一个例子就是汽车，对六核心的AI协同芯片进行分区，其中三个NNA（每个NNA负责不同的方面）用来识别道路上的标志，与此同时另外三个将专门负责行人检测。NNA的数量和任务的分配是根据应用的需求而确定的。这个概念可以扩展到一系列专用的AI处理器，每个处理器都会集成不同数量的NNA来满足不同任务的性能需求。

从云端到本地

       我们已经看到了部署在云端的专用AI芯片，比如谷歌公司推出的TPU、微软公司和英特尔合作的Brainwave项目采用Stratix FPGA作为解决方案，现在这些主要用于AI的机器学习和算法的训练。

典型的云端AI解决方案——太庞大了！ 

       然而并不是所有的设备都会连接到云服务，面对众多不用的市场应用，业界认为至少可以把一些AI任务用本地设备自身来完成，这么多市场需求非常的复杂，正如我们之前讨论过的，没有完全通用的解决方案。业界的所有供应商都已经开始利用神经网络来实现某些特殊的需求，而且向协同AI芯片的转变有望成为AI处理解决方案又一令人兴奋的一步。