使用模拟人工智能

如果你唯一的工具是一把锤子,看什么都像是钉子。但发展人工智能(AI)应用程序和计算平台为他们可能忽略另一个technology-analog。

半导体行业公司数字电子技术的理解,已经非常成功的使其规模。它是可预测的,具有良好的收益,虽然每一个开发团队希望改进,它使可用的工具和自动化驯良的大问题。但扩展即将结束,我们知道应用程序仍然渴望更多的计算能力。同时,机器学习所消耗的功率不能生长在它的方式。

该行业在很大程度上已经被遗弃了模拟电路,除了与现实世界和通信。模拟被视为困难,容易受到外部干扰和耗时的设计和验证。此外,它不规模没有数字的帮助和没有看到许多相同的优点数字新技术的时候。

然而,模拟可能的未来发展的关键方面的人工智能。

我们将怎样到达那里
人工智能应用程序的核心是乘积累函数(MAC)或点积操作。这需要两个数,增加他们在一起,并将结果添加到一个累加器。数字是获取并存储到内存中。这些操作是重复很多次,占绝大多数的时间和力量都被学习和推论。

机器学习中快速增长的一个原因是gpu的可用性。这些设备,尽管最初用于图形处理,有大量的mac和高速内存接口。他们可以执行必要的计算速度远远超过通用CPU。不利的一面是,gpu倾向于利用浮点运算,这是远远超出需要的人工智能算法。然而,大多数研究使用浮点因为这个。

该行业正试图削减浪费时间和力量,迁移到定点数学或修改的浮点形式更适合这项任务。人们最初认为12位精度是必要的,但最新发展推动对8位计算。一些研究是据一位处理显示,只有少量降低精度。

最新的谷歌TPU,针对机器学习的一个芯片,包含65536个8位MAC块和消耗如此多的权力,芯片水冷。鉴于技术扩展正在放缓,我们不能期望增加mac集成到一个芯片上,除非碎片的数量进一步减少。然而,即使要一个可以限制涨幅。需要更多的东西。

可以在传统的改进冯诺依曼体系结构。“微控制器性能的增加和扩散的库和中间件支持机器学习对他们帮助使推理引擎运行远离云接近网络的边缘,”朗达说Dirvin,营销计划的高级主管手臂的汽车和物联网业务。”这种迁移会带来更大的有效性的数据比如声音识别、对象识别和振动监测发动机的健康。随着数据变得更有用,更多的数据将被收集。收集的数据意味着我们的模拟世界,将它转换成数字,通过混合信号集成电路实现。新添加了现代单片机信号处理功能,允许完成数字信号的处理基于arm单片机,例如,不需要额外的DSP为很多应用程序。”

需要更好的模拟数字转换器(ADC)。需要“adc模拟传感器的输入转换为数字信号,“Youbok Lee说,高级技术人员工程师的混合信号和线性设备微芯片技术分工。“这个数字信号处理采用人工智能算法,利用数码机器学习。随着机器学习应用分散、更节能自适应混合信号analog-front设备需要。”

模拟可以帮助吗?
已经证明AI功能可以执行使用数量级少力量,它能够解决问题远比AI系统目前正在开发更复杂。这个例子是哺乳动物大脑。即使是最权力饥渴,人类的大脑,只有消耗大约25 w。TPU的功耗可能在200 w和300 w。它包含64 k处理单元时,人类大脑包含大约860亿。我们有许多数量级从什么是可能的。在试图复制大脑可能不是理想的前进道路,它表明,把所有的鸡蛋都进入数字篮子里可能不是最富有成效的。

业内有些人同意。“数字AI ASIC可能不是理想的物联网解决方案优势计算由于其高功率消耗和形成因素,”说,长岛欲之美国Alchip总经理。“混合信号机器学习灵感来自自然,就像人类的大脑,应该在未来的世界发挥导入的作用。我们能够建立一个机器,可以感知,计算和学习像人类的大脑,并且只使用几瓦的功率?这是一个相当大的挑战,但科学家的目标应该是这个方向。”

我们已经有了一些积木。“Analog-dot-product可以使用模拟滤波器,利用运算放大器,等等,”微芯片的李说。“举个例子,你可以比较两个信号或组合,你可以做决定的结果。在许多情况下,模拟计算数字计算要快得多。”

与“老技术”四周乞求帮助迈克亨利,神话AI的首席执行官,他说面试要这种公司,“大多数公司推出的硬件不匹配这些算法需要做什么。我们挖出一个老technology-analog计算数学我们操纵小电流。它一直在谈论30或40年,但从未成功执行,但我们相信我们想出了一个解决方案。”

亨利看到一个不匹配的功能,人们需要在推论解决方案和半导体公司可以提供一个合理的方案和功耗。他认为需要量子飞跃架构启用推理部署更普遍。

可以产生一个芯片,遵循数字架构但是使用模拟电路。东芝已经产生了一个芯片,执行使用phase-domain MAC操作模拟技术。它使用相位域动态控制振荡电路的振荡频率和时间。他们声称,这项技术可以集体过程乘法,此外,和内存操作常规处理个人数字电路,使用八分之一的数字电路与同一地区的力量。

几个问题往往是在模拟和人工智能的背景下讨论。他们围绕精度和可变性。与模拟的一个问题是它们的精度有限,基本定义的噪音地板上。数字电路没有这样的限制,但随着需要精度降低,它正在成为领域的模拟电路能提供什么。

“应用程序与很高的处理速度,如自动汽车,最关键的条件是快速并行计算,”李说。“因此,这个应用程序需要一个模拟前端设备非常高的转换速度和实现零延迟是非常必要的。达到这个要求精度受损。”

还有很多工作有待完成。“数字数据很容易被复制,但模拟并不是“Alchip的长岛说。“研究人员已经证明了利用等新兴记忆概念MRAM或RRAM。然而,新兴的非易失性存储器(NVM)斗争缺陷率和过程变化大的数组,这对成像任务是至关重要的。几个突破性的技术要求,包括一种新型传感器,新兴的记忆,新的机器学习框架(不是美国有线电视新闻网)。”

新的计算概念是很重要的。”的观点是,这些东西可以执行multiply-accumulates完全连接神经网络层在一个单一的步伐,”杰弗里·w·伯尔解释说,校长RSM在IBM研究。“原本一百万时钟系列的处理器,你可以在模拟域中,利用底层物理数据的位置。有足够的认真有趣的方面的时间和精力,可能会去的地方。”

这使得可变性的大问题。如果模拟电路用于推测,结果可能不确定性和更有可能受到高温的影响,噪音或其他外部因素比数字推论引擎。

但模拟可以在这一领域有显著的优势。当数字出错,它可以灾难性的错误,而模拟能够容忍错误好多了。”神经网络脆弱,”达里奥吉尔说,IBM研究中心主任,在一个小组在设计自动化会议在2018年。“如果你看过对抗网络的出现以及如何注入噪声系统愚弄成一个图像分类或愚弄到它如何检测转录的语言,它告诉你在这些系统固有的脆弱性。你可以从一些看起来像一辆公共汽车和噪声注入后说,斑马。你可以毒害神经网络和他们受到各种各样的攻击。”

数字失败,模拟降解。模拟神经网络会是如此,如果是这样,他们实际上可能更值得信任吗?

重新思考这个问题
人工智能是一个统计过程参与者表示,在最近的一次圆桌会议。当刺激是应用在学习,现在还不知道确定的输出是什么。试图通过创建好的数据集,确定改善,但它永远不会清楚。同样,大多数研究者并不完全理解正在发生的事情在一个神经网络。DARPA计划创造更多可辩解的AI系统,认为如果你不能解释操作系统,相信这是不可能的。

其他人认为这样一个目标不是可行的,和三定律人工智能的定义。第三定律指出,“任何系统简单可以理解不够复杂的智能行为,而任何系统足够复杂行为智能地将过于复杂,不明白。”

答案可能介于两者之间。“我们必须创建的黑盒子的AI,”吉尔说。“它必须更可辩解的,(所以)我们有一个更好的理解什么是发生在神经网络中,调试器,可以处理这些网络中的错误。”

但吉尔也说这能见度可能并不总是必要的。“很好的使用黑盒是书籍的推荐系统,但是当用于高风险的决策的背景下,哪里有大量投资,或决定有很高的风险,总屏蔽盒主要是无法接受这么多的职业。”

李同意这一点。“深入学习人工智能应用程序,我们看到各种研究报道,某些形式的机器学习任务不需要精度高。更好的能源效率和更快的速度比准确更重要。例如,比特处理仍然可以获得精度高。因此,模拟技术可以在低精度比数字更节能,可以用作协同处理器加速传统上的工作负载进行数字但up-to-5x更好的能源效率。”

两种系统的可能吗?一个精度较低,但处理是快速和低功率,可以召唤一个精度更高的系统有一个缺乏信心时的结果。这个系统可能是类似于人类的大脑功能,执行精度处理来自传感器的质量数据,只专注于少量的数据流。

“我们已经处理相变存储器,我们已经建立了芯片超过一百万PCM元素和证明,您可以实现深度学习培训,500 x改善了传统的GPU相似水平的准确性,”吉尔说。“我们也有一个混合精密系统的一些可以在低精度但非常有效使用PCM矩阵数组,但是你也有一些高精度逻辑能够微调和一些计算得到任意精度需要。”

结论
显然有些问题必须克服模拟人工智能系统成为现实。如果对他们的需求的增加,我们可以相信在业内研究人员和人民能够解决这些问题。

“有时你必须看的替代品,”伯尔说。“当2 d flash走到墙上,3 d flash不再显得那么困难。如果我们继续看到改进现有技术,提供2 x和另一个2 x,然后模拟,内存计算会推出,但如果接下来的改进是边际,模拟内存就开始变得更有吸引力。作为研究人员,我们有这个机会到来时做好准备。”

有关的故事
模拟设计失败的原因
模拟电路停止遵循摩尔定律很久以前,但这并没有帮助。
人工智能开始重塑芯片设计
技术增加了更多的粒度,但起点设计转变为架构处理更大量的数据。

如何提高模拟设计重用
现有设计方法仍然是效率低下,容易出错和高度定制的,但那是可以改变的。