人工智能芯片长什么样?

人工智能将是下一个大事件，或者它将在所有下一个大事件中发挥重要作用，这取决于你的参考点。

这解释了过去18个月该领域的狂热活动。大公司正在花费数十亿美元收购初创公司，研发费用甚至更高。此外，全球各国政府正在向大学和研究机构投入数十亿美元。一场全球竞赛正在进行，以创建最好的架构和系统来处理让人工智能工作所需的大量数据。

市场预期也随之上升。根据Tractica的数据，到2025年，人工智能的年收入预计将达到368亿美元。这家研究机构表示，到目前为止，它已经确定了27个不同的行业领域和191个人工智能用例。

图1所示。人工智能收入增长预测。来源:Tractica

但深入研究，很快就会发现，解决人工智能问题并没有唯一的最佳方法。事实上，对于AI是什么，以及需要分析的数据类型，甚至都没有一个一致的定义。

“这里有三个问题需要解决，”公司总裁兼首席执行官赖克·布林克曼说OneSpin解决方案．“首先，你需要处理大量的数据。二是建立并行处理的互连。第三个是功率，这是你必须移动的数据量的直接结果。所以你真的需要从冯·诺依曼架构转向数据流架构。但那到底是什么样子的呢?”

到目前为止，答案还很少，这就是为什么这个市场上的第一批芯片包括各种现成的cpu、gpu、fpga和dsp的组合。与此同时，一些公司正在开发新的设计英特尔，谷歌，Nvidia，Qualcomm而且IBM在美国，尚不清楚谁的方法会胜出。似乎总是需要至少一个CPU来控制这些系统，但是由于流数据是并行的，将需要各种类型的协处理器。

人工智能中的很多处理都涉及矩阵乘法和加法。大量gpu并行工作提供了一种廉价的方法，但代价是更高的功耗。带有内置DSP块和本地内存的fpga更节能，但它们通常更昂贵。这也是一个软件和硬件确实需要联合开发的领域，但许多软件远远落后于硬件。

“目前在研究和教育机构有大量的活动，”Wally Rhines说，董事长兼首席执行官导师图形．“这是一场新的处理器开发竞赛。也有标准的gpu被用于深度学习，与此同时，有一大堆人在用cpu工作。我们的目标是让神经网络的行为更像人脑，这将引发一场全新的设计浪潮。”

在人工智能领域，视觉处理受到了最多的关注，这主要是因为特斯拉在自动驾驶汽车预计推出前近15年就推出了自动驾驶功能。这为该技术以及处理图像传感器、雷达和激光雷达收集的数据所需的芯片和整体系统架构打开了一个巨大的市场。但许多经济学家和咨询公司正在将目光投向这个市场之外，研究人工智能将如何影响整体生产率。最近的一次报告埃森哲咨询公司预测，人工智能将使一些国家的GDP翻一番以上(见下图2)。尽管预计这将对就业造成重大影响，但整体收入的改善太大了，不容忽视。

图2:人工智能的预期影响。

Aart de Geus，董事长兼联合首席执行官Synopsys对此他指出了电子技术的三次浪潮——计算与网络、移动性和数字智能。在后者中，重点从技术本身转移到它能为人们做什么。

de Geus说:“你将在汽车上看到带有神经网络IP的处理器，用于面部识别和视觉处理。”机器学习是这个的另一面。人们迫切需要更多的功能，而目前的技术水平正在以更快的速度实现这一点。这将推动7nm、5nm甚至更远的技术发展。”

当前的方法
自动驾驶中的视觉处理主导了目前人工智能的大部分研究，但该技术在无人机和机器人技术中也发挥着越来越大的作用。

“对于人工智能在成像中的应用，计算复杂性很高，”公司总裁兼首席执行官Robert Blake说Achronix．“对于无线，数学是很容易理解的。有了图像处理，就像在蛮荒的西部。工作量非常大。这个市场还需要5到10年的时间才能撼动，但可编程逻辑肯定会发挥重要作用，因为需要以高度并行的方式完成可变精度算术。”

fpga非常擅长矩阵乘法。最重要的是，可编程性为设计增加了一些必要的灵活性和耐未来性，因为在这一点上，还不清楚所谓的智能将驻留在设计中的哪个位置。一些用于决策的数据将在本地处理，一些将在数据中心处理。但是每种方法的百分比可能会因不同的实现而改变。

这对人工智能芯片和软件设计有很大影响。虽然人工智能的大局没有太大变化——大多数被贴上标签的人工智能更接近机器学习，而不是真正的人工智能——但对如何构建这些系统的理解已经发生了重大变化。

“对于汽车，人们所做的是将现有的东西组合在一起，”特·舒勒(Kurt Shuler)说Arteris．“然而，一个真正高效的嵌入式系统需要一个高效的硬件系统才能学习。对此有几种不同的方法。如果你观察视觉处理，你所做的是试图弄清楚设备看到的是什么，以及你如何从中推断。这可能包括来自视觉传感器、激光雷达和雷达的数据，然后应用专门的算法。这里发生的很多事情都是试图使用深度和卷积神经网络来模拟大脑中正在发生的事情。”

这与真正的人工智能的不同之处在于，目前的技术水平是能够检测和避开物体，而真正的人工智能将能够增加一个层次的推理，例如如何穿过穿过街道的人群，或者追逐球的孩子是否有可能跑到街道上。在前者中，判断是基于大量数据处理和预编程行为的各种传感器的输入。在后者中，机器将能够做出价值判断，例如转弯避开孩子的许多可能后果，以及哪种是最好的选择。

Shuler说:“传感器融合是20世纪90年代飞机上出现的一个想法。“你把它转换成一种通用的数据格式，机器可以对其进行处理。如果你在军队里，你会担心有人向你开枪。在车里，就是有人把婴儿车推到你前面。所有这些系统都需要极高的带宽，而且它们都必须具备安全性。最重要的是，你必须保护数据，因为安全是一个越来越大的问题。所以你需要的是计算效率和编程效率。”

这是当今许多设计中所缺少的，因为许多开发都是用现成的部件构建的。

“如果你优化网络，优化问题，最小化比特数，并利用为卷积神经网络定制的硬件，你可以在功耗降低方面实现2X到3X的数量级提升，”公司高级架构师Samer Hijazi说节奏也是该公司深度学习小组的负责人。“效率来自软件算法和硬件IP。”

谷歌试图改变这个公式。该公司开发了张量处理单元(tpu)，这是专门为机器学习创建的asic。为了加快人工智能的发展，该公司在2015年将其TensorFlow软件开源。

图3:谷歌的TPU板。来源:谷歌。

其他公司也有自己的平台。但这些都不会成为最终产品。这是一种进化，没有人能确定人工智能在未来十年将如何进化。这在一定程度上是因为这项技术的用例仍在被发现。在一个领域起作用的东西，比如视觉处理，不一定适用于另一个应用，比如确定一种气味是危险的还是良性的，或者可能是两者的结合。

“我们是在黑暗中射击，”阿努什·莫汉达斯说，该公司营销和业务发展副总裁NetSpeed系统．“我们知道如何进行机器学习和人工智能，但在这一点上，它们实际上是如何工作和融合的尚不清楚。目前的方法是拥有大量的计算能力和不同类型的计算引擎——用于神经网络类型应用程序的cpu、dsp——你需要确保它能够工作。但这只是第一代人工智能。重点是计算能力和异构性。”

然而，随着要解决的问题变得更有针对性，这种情况有望改变。就像早期版本的物联网设备一样，没有人知道各种市场将如何发展，所以系统公司投入了一切，并使用现有的芯片技术将产品推向市场。以智能手表为例，其结果是电池在两次充电之间只能维持几个小时。随着针对这些特定应用开发新芯片，通过结合更有针对性的功能，更智能地分配本地设备和云之间的处理方式，以及更好地理解设计中的瓶颈，可以平衡功耗和性能。

“挑战在于找到你不知道的瓶颈和限制，”微软的模型技术总监比尔•奈弗特(Bill Neifert)表示手臂．“但根据工作负载的不同，处理器可能会与软件进行不同的交互，这几乎本质上是一个并行应用程序。因此，如果您正在查看像金融建模或天气地图这样的工作负载，它们对底层系统的压力是不同的。而你只有深入内心才能理解这一点。”

他指出，软件方面正在解决的问题需要从更高的抽象级别来看待，因为这使它们更容易约束和修复。这是谜题的一个关键部分。随着人工智能进入更多的市场，所有这些技术都需要不断发展，以达到科技行业，尤其是半导体行业过去所展示的那种效率。

Mohandass说:“现在我们发现，如果架构只能很好地处理一种计算，它们就会陷入困境。”“但异质性的缺点是，整个分而治之的方法崩溃了。因此，解决方案通常涉及过度配置或不足配置。”

新方法
除了自动驾驶汽车之外，随着人工智能的使用案例越来越多，应用范围将会扩大。

这就是英特尔去年8月收购Nervana的原因。Nervana开发了2.5D深度学习芯片，该芯片利用高性能处理器核心，将数据通过中间体转移到高带宽内存中。与基于gpu的解决方案相比，其既定目标是将深度学习模型的训练时间缩短100倍。

图4:Nervana AI芯片。来源:Nervana

英特尔市场营销副总裁Mike Gianfagna表示:“这些芯片看起来很像高性能计算芯片，基本上是使用硅中间体的2.5D芯片。eSilicon．“你将需要巨大的吞吐量和超高带宽内存。我们已经看到一些公司在考虑这个问题，但还没有几十家。现在还早一点。当你谈到实现机器学习和自适应算法，以及如何将它们与传感器和信息流集成时，这是极其复杂的。如果你看一辆车，你会从多个不同的来源输入数据，并添加自适应算法来避免碰撞。”

他说，这些设备需要解决两个挑战。其一是可靠性和认证。另一个是安全问题。

对于人工智能，可靠性需要从系统层面考虑，包括硬件和软件。ARM去年12月对Allinea的收购提供了一个参考点。另一个来自斯坦福大学在美国，研究人员正试图量化从软件中剔除计算的影响。他们发现，大规模的切割或修剪对最终产品没有显著影响。加州大学伯克利分校一直在开发一种基于计算的类似方法，但准确率低于100%。

“与细粒修剪相比，粗粒修剪不会影响准确性，”斯坦福大学(Stanford University)正在研究节能深度学习的博士生宋汉(Song Han)说。他说，斯坦福大学开发的稀疏矩阵比DRAM少了10倍的计算量，少了8倍的内存占用，少了120倍的能量。他说，将压缩技术应用于斯坦福大学所谓的“高效语音识别引擎”，可以加速推理。(这些发现在Cadence最近的嵌入式神经网络峰会上发表。)

量子计算为人工智能系统增加了另一种选择。Leti首席执行官玛丽·塞梅里亚表示，量子计算是该公司未来的发展方向之一，尤其是在人工智能应用方面。IBM研究院科学和解决方案副总裁达里奥·吉尔解释说，使用经典计算，如果其他三张卡是蓝色的，那么有四分之一的机会猜出四张卡中哪一张是红色的。使用量子计算机和叠加量子比特的纠缠，通过反转纠缠，系统每次都会提供正确的答案。

图5:量子处理器。来源:IBM。

结论
人工智能不是一件事，因此没有一个系统在任何地方都能最优地工作。但AI系统有一些通用的要求，如下图所示。

图6:AI基础。来源:OneSpin

人工智能确实在许多市场上都有应用，所有这些都需要广泛的改进、昂贵的工具和支持的生态系统。在多年来依靠缩小设备来提高功率、性能和成本之后，整个细分市场都在重新思考如何进入新市场。这对架构师来说是一个巨大的胜利，它为设计团队增加了巨大的创意选择，但它也将刺激大规模的开发，从工具和IP供应商一直到包装和流程开发。这就像按下了科技行业的重启按钮，在未来几年，它应该会对整个生态系统的业务有好处。

有关的故事
AI的真正含义是什么?
硅董事长着眼于技术进步，其局限性，以及人工智能的社会影响，以及它将如何改变我们的世界。
神经网络计算爆发
财力雄厚的公司开始为特定的应用定制这种方法，并花费巨额资金收购初创公司。
填补机器学习中的漏洞
第2部分:确保机器按预期运行的短期和长期解决方案。
可穿戴AI系统可以检测对话音调(MIT)
一种人工智能的可穿戴系统，可以根据一个人的说话模式和生命体征来预测谈话是快乐、悲伤还是中性。