在AI中使用模拟

如果你唯一的工具是锤子，那么一切看起来都像钉子。但是发展人工智能(人工智能)应用程序及其计算平台可能忽略了另一种技术——模拟。

半导体行业对数字电子产品有着深刻的理解，并在扩大规模方面取得了非常成功。它是可预测的，具有良好的产量，并且当每个开发团队都希望看到改进时，可用于它的工具和自动化使大问题易于处理。但是扩展即将结束，我们知道应用程序仍然渴望更多的计算能力。与此同时，机器学习所消耗的能量也不能像过去那样增长。

这个行业基本上已经放弃了模拟电路，除了与现实世界的接口和通信。模拟被认为是困难的，容易受到外部干扰，并且耗时的设计和验证。此外，在没有数字辅助的情况下，它无法扩展，而且当涉及到新技术时，它没有看到许多与数字相同的优势。

然而，模拟可能是人工智能某些方面未来发展的关键。

我们是怎么走到这一步的
人工智能应用的核心是乘积函数(MAC)或点积运算。这需要两个数字，将它们相乘，并将结果添加到累加器中。这些数字从内存中提取并存储到内存中。这些操作被重复多次，占据了学习和推理所消耗的绝大多数时间和精力。

机器学习快速发展的一个原因是gpu的可用性。尽管这些设备最初是用于图形处理的，但它们拥有大量的mac和高速内存接口。它们可以比通用CPU更快地执行必要的计算。缺点是gpu倾向于使用浮点运算，这远远超出了AI算法的需求。然而，由于这个原因，大多数研究都使用浮点数。

该行业正试图通过迁移到更适合这项任务的定点数学或改进的浮点形式来减少浪费的时间和电力。最初人们认为12位的精度是必要的，但最新的发展正在推动8位计算。一些单比特处理的研究表明，它只会降低少量的精度。

最新的谷歌TPU是一款针对机器学习的芯片，包含了65536个8位MAC块，功耗非常高，以至于芯片必须水冷。鉴于技术扩展速度正在放缓，我们不能指望增加集成到芯片上的mac数量，除非进一步减少比特数。然而，即使去了一家也会限制你所能获得的收益。还需要更多的东西。

可以在传统的基础上进行改进冯·诺依曼结构．“微控制器性能的不断提高，以及支持机器学习的库和中间件的激增，有助于使推理引擎在远离云的地方运行，更接近网络的边缘，”Rhonda Dirvin说手臂的汽车和物联网业务线。“随着这种迁移，数据在声音识别、物体识别和运动健康振动监测等方面变得更有用。随着数据变得越来越有用，将收集更多的数据。收集数据意味着将我们的模拟世界转化为数字世界，通过混合信号ic实现。新的信号处理功能已经添加到现代MCU中，例如，允许在基于arm的MCU上进行数字信号处理，而不需要额外的DSP。”

这就需要更好的模数转换器(ADC)。“需要adc来将模拟传感器输入转换为数字信号，”微芯片技术混合信号和线性器件部门的高级技术人员工程师Youbok Lee说。“然后使用利用数字机器学习块的人工智能算法处理这个数字信号。随着机器学习应用的普及，将需要更节能的自适应混合信号模拟前端设备。”

模拟能帮上忙吗?
事实证明，人工智能功能可以使用低数量级的功率来执行，而且它能够解决比目前正在开发的人工智能系统复杂得多的问题。这个例子就是哺乳动物的大脑。即使是最耗电的人的大脑，也只消耗大约25W。TPU的功耗可能在200W ~ 300W之间。人脑有大约860亿个处理单元，而人脑有64K个处理单元。我们离可能实现的目标还有好几个数量级。虽然试图复制大脑可能不是理想的前进道路，但这确实表明，从长远来看，把所有的鸡蛋都放在数字篮子里可能不是最有成效的。

一些业内人士对此表示赞同。Alchip美国总经理Hiroyuki Nagashima表示:“由于其高功耗和外形因素，数字AI ASIC可能不是物联网边缘计算的理想解决方案。“混合信号机器学习，像人脑一样受到自然的启发，应该在未来的世界中发挥重要作用。我们是否能够制造出一种机器，它能像人脑一样感知、计算和学习，而且只消耗几瓦的能量?这是一个相当大的挑战，但科学家应该朝着这个方向努力。”

我们已经有了一些构建模块。“模拟点积可以利用模拟滤波器、运算放大器等，”Microchip的Lee说。“例如，你可以比较两个信号或混合它们，你可以根据结果做出决定。在很多情况下，模拟计算比数字计算快得多。”

借助于“旧技术”，Mythic AI的首席执行官迈克·亨利(Mike Henry)摆脱了困境面试他说:“大多数公司推出的硬件与这些算法需要做的事情并不匹配。我们挖掘出了一种古老的技术——模拟计算——我们操纵小电流来计算。这个问题已经讨论了三四十年，但从未成功实施过，但我们相信我们已经提出了一个可行的解决方案。”

Henry看到了人们在推断解决方案所需的能力与半导体公司在合理的封装和功耗中能够提供的能力之间的不匹配。他认为，这将在架构上实现一个量子飞跃，使推理能够更普遍地部署。

有可能生产出一种遵循数字架构但使用模拟电路的芯片。东芝公司生产了一种使用相域模拟技术执行MAC操作的芯片。它利用振荡电路的相位域，动态控制振荡时间和频率。他们声称，该技术可以使传统上由单个数字电路处理的乘法、加法和存储运算共同处理成为可能，使用相同面积的数字电路的八分之一的功率。

在模拟和人工智能的背景下，有几个问题往往会被讨论。它们围绕精确性和可变性展开。模拟的一个问题是它们的精度有限，基本上是由噪音地板上。数字电路没有这样的限制，但随着对精度的要求降低，它正在成为模拟电路所能提供的领域。

“对于处理速度非常快的应用程序，比如自动驾驶汽车，关键要求是快速并行计算，”Lee说。因此，该应用程序需要一个具有非常高的转换速度和零延迟的模拟前端设备，这是非常必要的。为了达到这一要求，准确性就会打折扣。”

还有很多工作要做。Alchip的Nagashima说:“数字数据很容易复制，但模拟数据却不是这样。研究人员已经通过使用浮现的记忆来证明了这一概念MRAM或RRAM．然而，新兴的非易失性存储器(NVM)在大型阵列中面临着不良率和进程变化的问题，这对成像任务至关重要。需要一些突破性的技术，包括新型传感器、新兴存储器和新的机器学习框架美国有线电视新闻网)。”

新的计算概念很重要。“我们的想法是，这些东西可以在一个时间步内为完全连接的神经网络层执行乘法累加，”IBM Research的首席RSM Geoffrey W. Burr解释说。“在一系列处理器上需要一百万个时钟的东西，你可以在模拟领域做到这一点，使用数据所在位置的底层物理。这在时间和能量上有足够有趣的方面，它可能会去某个地方。”

这就留下了可变性的大问题。如果使用模拟电路进行推理，结果可能不是确定的，并且比数字推理引擎更容易受到热、噪声或其他外部因素的影响。

但是模拟在这个领域可能有一些显著的优势。当数字出现问题时，它可能会出现灾难性的错误，而模拟能够更好地容忍错误。”神经网络都很脆弱，”IBM研究院主任达里奥·吉尔在2018年设计自动化会议的一个小组讨论会上说。“如果你已经看到了对抗网络的出现，以及你如何向系统注入噪声来欺骗它对图像进行分类，或者欺骗它如何检测转录的语言，这就告诉你这些系统固有的脆弱性。你可以从一个看起来像公共汽车的东西出发，经过噪音注入后，它会说它是斑马。你可以毒害神经网络，它们会受到各种攻击。”

数字失败，模拟退化。这对模拟神经网络来说是真的吗?如果是的话，它们真的更值得信赖吗?

重新思考问题
在最近的一次圆桌会议上，与会者表示，人工智能基本上是一个统计过程。当在学习过程中施加刺激时，并不一定知道输出会是什么。通过创建良好的数据集，人们试图提高这种确定性，但永远无法确切地知道。同样，大多数研究人员也没有完全理解神经网络中发生了什么。DARPA有一个创建更多可解释的人工智能系统的项目，认为如果你不能解释一个系统正在采取的行动，就不可能信任它。

另一些人认为这样的目标是不可行的三定律人工智能的定义。第三定律指出:“任何简单到可以理解的系统都不会复杂到可以智能地运行，而任何复杂到可以智能地运行的系统都太复杂而无法理解。”

答案可能介于两者之间。吉尔说:“我们必须创造出不那么黑的人工智能。”“它必须更容易解释，(因此)我们对神经网络中发生的事情有了更好的理解，有了调试器，可以处理这些网络中的错误。”

但吉尔也表示，这种可见性可能并不总是必要的。“当你是一个书籍推荐系统时，使用黑盒是可以的，但当你在高风险决策的背景下使用时，在那里有很多投资，或者决策有很高的风险，一个完全的黑盒对很多职业来说是不可接受的。”

李对此表示赞同。“在深度学习人工智能应用中，我们看到各种研究报告表明，某些形式的机器学习任务不需要很高的精度。更好的能源效率和更快的速度比准确性更重要。例如，1位处理仍然可以获得精度高．正因为如此，在低精度的情况下，模拟技术比数字技术更节能，可以用作协处理器来加速传统上在数字技术上执行的工作，但能源效率提高了5倍。”

可能有两种系统吗?一种精度低，但处理速度快，功耗低的系统，当对结果缺乏信心时，可能需要更高精度的系统。该系统可能类似于人类大脑的工作方式，对来自传感器的大量数据执行低精度处理，只关注数据流中非常少量的数据。

“我们一直在合作相变存储器我们已经构建了具有超过100万个PCM元素的芯片，并证明了您可以实现深度学习训练，比传统GPU提高500倍，具有类似的精度水平，”Gil说。“我们也有一个混合精度系统，因此使用PCM矩阵阵列，其中一些精度很低，但非常有效，但你也有一些高精度逻辑，能够微调并获得你需要的某些计算的任意精度。”

结论
显然，模拟人工智能系统要想实用化，还必须克服一些问题。如果对它们的需求增加，我们有信心，研究人员和业内人士将能够解决这些问题。

伯尔说:“有时你必须考虑其他选择。“当2D闪光灯出现在墙上时，3D闪光灯看起来就不再那么困难了。如果我们继续看到现有技术的改进，在这里提供2X，在那里提供另一个2X，那么模拟内存计算将被淘汰，但如果下一个改进是边际的，模拟内存开始看起来更有吸引力。作为研究人员，我们必须在机会到来时做好准备。”

有关的故事
模拟设计失败的原因
很久以前，模拟电路就不再遵循摩尔定律了，但这并不总是有帮助。
人工智能开始重塑芯片设计
技术增加了更大的粒度，但随着体系结构处理更大的数据量，设计的出发点发生了变化。

如何提高模拟设计重用
现有的设计方法仍然效率低下、容易出错且高度定制，但这种情况可能会改变。