接下来是什么神经形态计算

将设备集成到功能系统,有必要考虑这些系统实际上是应该做什么。

不管应用程序,机器学习涉及一个训练阶段和一个推理阶段的任务。在训练阶段,系统提供一个大型数据集,并学习如何“正确”分析它。监督学习的数据集已经标记由人类专家,和任务是产生“正确”答案当面对新的,但相关的例子。

图像搜索算法可能学会图像在一个预定义的类别,例如。在无监督学习,训练数据不是标签,和由该算法来确定类别适用。在推理阶段,系统实际上已经受过的任何任务。它分类未知的图像,它从视频流中提取信息,通过社区自主车辆导航。

近年来机器学习中最重要的进步来自硬件的改进。爱迪生集团的分析师理查德•温莎(Richard Windsor)指出,商业机器学习应用程序仅仅是公司的领导人访问最大的训练数据集和最大的数据中心。例如,杰夫•Wesler IBM阿尔马登研究中心研究主任圣何塞指出,表现最好的ImageNet分类基准使用与6000万年培育出神经网络参数。一个通过一个图像的算法需要200亿的操作。

亚利桑那州立大学研究员Pai-Yu陈(论文6.1在2017年IEDM会议)估计,更复杂的应用程序像是从高清视频特征提取需要三到五个数量级的加速商业上可行。目前尚不清楚多久摩尔定律独自一人将继续提供行业需要的改进。

具体细节取决于算法和网络设计,但训练一个神经网络涉及确定适当的重量为每个网络的参数。区分一只猫和一只乌龟,主要特点是什么?壳牌的硬边,尾巴的曲线,或耳朵的清晰度吗?如何重要的是每一个整体形象吗?

在迭代和许多训练例子,网络调整参数权重来实现一个可接受的水平的准确性。在当前最先进的,需要标记的训练数据的机器学习是一个重要的瓶颈。的MNIST手写数字数据库,常用作为机器学习的起点实验,包含60000个训练图像。ImageNet数据库寻求获得1000标记的图片为每个100000的概念。

从学习推理
推理阶段那么简单地使用那些权重分析新数据。推理任务可以使用lower-precision重量和much-less-powerful硬件。陈先生说,例如,一个图像分类算法可以使用six-bit权重训练,但只有一个或两个推论。

对于许多任务,设计师计划一台超级计算机上执行的重量计算,然后写一个自治或半自治的设备。一个物联网设备可能在工厂预先配置的以适当的权重和参数,例如。

执行推理任务在本地设备级别提供大量的电能节约。将一个图像转移到数据中心需要更多的能量比实际的分类任务。在一个演示Imec的2017年SemiconWest技术论坛,Praveen Raghavan估计传输一个数据中心消耗10位⁶焦耳,而一位本地操作只需要10^-15年焦耳。本地任务也可以更快的无处不在,不需要连接。速度是需要实时响应的应用程序来说尤其重要。Wesler估计一个自治车辆需要200毫秒响应时间或更好。

如果本地推理任务使用重量计算在其他地方,他们在潜在的要求不那么苛刻的忆阻器设备。忆阻器设备的设置和重置操作可以有不同的物理机制,对电脉冲的反应是不同的。一个是不一定其他的倒数。但这种行为是非常具有挑战性的学习应用,动态电阻变化是用于计算和存储新的权重。不大关心推理的应用程序,在权重设置一次,然后反复应用。

换句话说,学习是一个计算任务,而推理是一个更传统的记忆任务。因此,推理任务可能是第一个将记忆电阻器。他们的面积和权力优势静态存储器是重要的,而他们的非线性响应是在推理的情况下不那么相关。

并不是所有的横杆都是平等的
不过,忆阻器设备的局限性造成重大挑战,即使是“简单”推理的应用程序。例如,考虑横梁数组,最简单、最area-efficient提出设计之一。纵横数组行”字线电极交叉的“点线”列。一个忆阻器放置在每个路口都是通过一个独特的词/位线对线。大多数横梁设计添加一个选择晶体管或其它元素为每个设备控制泄漏的影响和相声在数组中。

接下来会发生什么取决于所使用的特定的设备。Damien Querlioz和他的同事们解释,有巨大的记忆电阻设备之间的行为差异。一方面,RAM和导电桥MRAM是随机二进制设备。设备的行为取决于导电路径的形成或磁域的运动,和它交换或不是。特别是在低电压应用程序中,可以有随机变化的反应设备特定的编程脉冲,但是最终的电导是固定的。

相比之下,单纤维的相变内存等设备和RRAM是累积的。增加编程脉冲的数量增加了电导一些最大值。因为每个编程脉冲的影响会有所不同,脉冲的数量和力量需要实现一个给定的电导值也会有所不同。

在这两种类型的设备,过程缺陷和行为过程的可变性会影响最终的设备。物理的电导变化将取决于组成、结构和设备层的均匀性。

图1:不同设备和他们的行为。(一)累积记忆性设备。(b)相变内存。(c)导电桥的记忆。(d)自旋转移力矩磁隧道结(STT-MRAM的基本细胞)。图像从d . Querlioz o . Bichler a·f·文森特和c . Gamrat”Bioinspired内存设备的编程实现一个推理引擎,”在IEEE学报》,103卷,没有。2015年8月8日,页。1398 - 1416年。doi: 10.1109 / JPROC.2015.2437616

细丝的设备,制造错误和处理缺陷会导致“困”设备,切换失败,或会导致系统性偏差转换特征或终极电导值。据温家宝马和密歇根大学的同事们工作在IEDM 2016,卡设备可以通过构建冗余到数组中。系统性偏差可以严重得多,因为重量实际上存入数组可能不匹配的权重计算在训练阶段。编程错误会导致“坚持”设备,单一设备在一个行或列在最大电导值,与其他设备的单一行。设备间和cycle-to-cycle变化还会引起实际上权重数组存储在横梁上不同于那些让其它计算。

因为让其它学习不能占非理想推理硬件,计算参数权重分别从设备执行推理任务并不像看起来那么简单。另一个选择是一种混合的方法,初始权值计算让其它,但额外的培训措施涉及实际的硬件是用来调整最终值。虽然这些“调谐”步骤不需要地方相同的要求原来的计算做的硬件,任何本地培训将需要调整重量向上和向下的能力,因此必须面对的非线性行为记忆电阻器。

高级主管Mahendra Pakala记忆和材料应用材料指出,相变内存比RRAM更成熟。负责设备行为的晶体状态相变内存更稳定,和电导开关状态之间的差别比较大。因此,编程窗口——之间的差距状态导电导和最高最低——往往是更大的。如果这一差距太小,开关状态会变得无法区分。一个设备编程序列集可能重置。

在当前RRAMs,设备阻力的分布是广泛的。出于这个原因,它是不可能写让其它权重RRAM设备使用一个固定的编程方案。然而,莫汉蒂Abinash亚利桑那州立大学和其他研究人员观察(IEDM 2017纸6.3),最终目标是准确的推理结果,不准确的存储任意的重量值。一旦该数组包含近似的价值观,他的团队提出了一个随机稀疏适应算法适应RRAM设备的理想行为通过复制和调优的一小部分RRAM数组在芯片上的记忆。

权值存储在长期RRAM设备也更不稳定。RRAM电导取决于数量和氧气空位分布在导电层。随着时间的推移,导电丝原子可以漂移的影响下应用电场和环境温度。当灯丝的聚合行为作为一个整体是可以预测的,每个原子的运动是概率。因此,斯坦福大学的Tuo-Hung侯解释(IEDM 2017纸11.6),电导的设备可能是二进制,但缺陷的数量是一个模拟的应力时间的函数。电导将遵循威布尔式分布。时间敏感的影响变化很大程度上取决于所使用的编程算法。

接下来是什么?
有更多的神经形态计算比非易失性内存数组。Pakala希望看到更多的开发设备和架构进化为“神经形态”的商业设备之前出现。虽然非常有趣的设计模拟,模拟不能从软件移植到横梁数组没有接口或设备的读写策略。

有关的故事
大脑神经形态计算:建模
竞争模型争相显示大脑是如何工作的,但没有一个是完美的。
3 d神经形态结构
为什么堆积死在计算机科学受到这么多关注。
对神经形态设计
从突触和记忆电阻器电路。
术语之外的冯·诺依曼
神经形态计算和神经网络并不是一回事。
未来电子材料
灵活的电子产品,新的记忆类型,和神经形态计算控制研究。