对神经形态设计

第一部分本系列的考虑生物大脑学习和记忆的机制。

每个神经元有很多纤维,它连接到相邻的神经元突触。如钾和钙离子的浓度细胞内不同于外面的浓度。

细胞膜从而作为电容器。当收到刺激,神经元释放神经递质,增强或抑制离子的流动通过邻近神经元的细胞膜,改变潜在的差异。如果细胞膜的离子积累超过一个阈值,电流放电,沿着神经纤维传播。积累和放电继续发生,形成一系列的电流峰值,直到神经递质消散。

生物的大脑组织层,可以这么说,某个特定的神经元是“前”或“后”给定的突触。视神经视觉信号接收视觉皮层,前为例。任何给定的突触可能会收到电流峰值前和突触后神经元。

这些峰值的相对时间是衡量它们之间的相关性。如果一个信号从突触后神经元收到pre-synaptic信号后,然后可能取决于另一个连接变得更强。如果没有相关性,连接可能会变得较弱。这突触可塑性被认为是基础等“智能”过程记忆,学习,和创造力。

离子通道和丝状RRAM
神经形态系统的设计者试图复制电子硬件的神经机制。作为第一步,个人“神经元”必须能够从上游和输入设备,应用预先确定的权重,并将结果传递给下游设备。虽然精确的人工神经元之间的连接依赖于特定的网络设计,这个过程是一个简单的数学矩阵乘法。

尽管如此,随着矩阵的大小增加,最终性能是有限的冯诺依曼瓶颈——需要阅读输入信号和突触权重矩阵。这个瓶颈提供了一个动机引入memristor-based架构。如果改变了电路元件的电导电流通过的元素——一个特征相变内存和OxRAM,其他设备,设备可以作为一个蓄电池,需要一个预定义的电流脉冲开关数量从0到1。欧姆定律可以使用定义设备的输出电流的模拟产品应用电导电流和设备。

虽然这种简单的机制可以帮助克服冯诺依曼瓶颈,无法模仿行为出现在生物的大脑。生物神经元会变得更强的使用较弱的但是如果不是钢筋。一系列特定的离子电流峰值的作用在一个生物系统依赖于时间,而且在系统中的神经递质浓度峰值出现;同样的声音可以刺激或舒缓的取决于上下文。

更复杂的生物繁殖行为需要仔细看看的物理学忆阻器设备。在大多数设备,提出导电丝形成外部刺激的影响下。OxRAM氧气空位迁移到或长丝的地区,这或多或少的电阻。在相变内存(PCM),电流脉冲加热硫族化物材料,驾驶更导电结晶相的形成。在导电桥的记忆(CBRAM),离子流过电解质层的阳极和阴极之间。

在所有这些情况下,重复信号创建一个更厚,更稳定的导电丝。这钢筋的连接可以比作生物之间的过渡短期和长期记忆。设备设计可以允许独立控制的电导和灯丝的稳定。例如,塞琳娜拉巴贝拉,CEA-Leti研究工程师,和她的同事在法国国家科学研究中心研究树突丝形成在固态电化学电池。在他们的设备中,导电路径可能包含许多精美、相对不稳定的细丝,或一个厚的纤维,这取决于设备的历史。应用控制输入电流的平均电导设备,而脉冲定义了丝直径和稳定性。更复杂的灯丝结构可以开始捕捉丰富的生物突触的行为。

意外和过程变化
生物神经突触的下一个重要的方面是他们的随机性。努力找到合适的词和突然闪烁的洞察力都表明突触并不总是回应刺激以可预测的方式。生物随机性来自当地的离子分布的变化和神经递质,或在细胞膜的渗透性。相结合,这些影响给突触行为随机字符。

在生物的大脑,离子流的可变性导致电流峰值链的形成,而不是孤立的信号,因此大脑的能力来检测信号之间的关系。逐渐衰减的现有连接允许新的连接形式。随机性使得网络从错误中恢复,甚至伤害。嘈杂的信号可能会影响一些关系,但不是全部,留下足够的信息网络来确定正确的结果。

相比之下,电子设备价值的可预测性。晶体管将打开或关闭在明确定义的电压,计算每次预计给相同的结果。迄今为止,记忆电阻器在常规内存有限的成功应用,部分原因在于他们难以实现一致的、可重复的切换性能。丝形成的渗流机制本质上是随机的。缺陷和过程的可变性导致切换性能不同设备间和cycle-to-cycle。对于神经形态的应用程序,这种随机性成为优势。

图1:忆阻器的概念。资料来源:维基百科

传统神经网络首先随机权重鼓励网络探索其参数空间的各个角落,而不是收敛到局部最小值。创造真正的随机性在电子电路是困难的,但是,需要专门的计算资源。在神经网络电路,Vivek Parmar Manan苏瑞指出,印度理工学院的记忆电阻器可以简化引入随机性。在神经回路,忆阻器的随机响应设备可以支持类人脑的可塑性。

图2:忆阻器原型。来源:惠普实验室

总而言之,电导与应用当前记忆电阻器的变化,使他们能够像积累“神经元”,避免冯诺依曼瓶颈。深思熟虑的设备设计,他们的行为可以效仿history-dependent复杂性在生物连接。和他们的内在随机性与离子电流峰值的随机行为。仍然是一个重要的特征能够忘记,重置一个记忆电阻导电状态一样轻松地进行设置。

重塑忆阻突触
理想的设备会不断转变,统一从完全绝缘最大电导和背部。电脉冲可以用于项目设备所需的值,并调整阻力向上或向下在精确的增量。不幸的是,实际设备顽固不符合这个理想。特别是,一直难以实现连续传导行为。在相变内存中,例如,设置和重置转换取决于不同的物理转换。设置设备,脉冲热量和结晶硫族化物层。这种相变可以进步一步一个脚印,根据一个明确定义的脉冲序列。重置设备,然而,需要融化的导电丝,其次是快速淬火保留无定形状态。它不是一个进步的过渡。在OxRAMs,模拟存储多个稳定的价值观,需要使用逐渐增加编程电流。 The most stable behavior can be found in the fully “ON” and “OFF” states.

人工突触设计必须适应所使用的设备的特点。这样做的方法之一是通过使用两个或两个以上的记忆电阻器来模拟一个突触。

一个设计使用PCM设备连接两个记忆电阻器在相反的方向,这样一个给定的脉冲将一种或另一种结晶,而不是两个。这种组合可以增强突触权重和抑郁模型。在设备达到最大电导,电路时重置,然后恢复供应足够的脉冲的相对权重。

在另一个方法中,约翰内斯·比尔和大学的Robert Legenstein技术在奥地利连接多个双稳态记忆电阻器并行。虽然他们每个人单独以二进制的方式表现,单脉冲将影响他们不同,导致一些过渡,而不是别人。这个用多个记忆电阻器的类似于多个离子通道与一个生物突触。

从单一的概念验证memristor-based“突触”,下一步就是一个完整的系统,可以解决实际问题。本系列的下一篇文章将更详细地考虑实用的神经系统。

有关的故事
神经形态Computing-Modeling大脑
竞争模型争相显示大脑是如何工作的,但没有一个是完美的。
悲观、乐观和神经形态计算
机器是否像人类一样解决问题并不重要。
术语之外的冯·诺依曼
神经形态计算和神经网络并不是一回事。
ReRAM怎么了?
经过多年的拖延,这下一代记忆终于获得牵引力。
在热的新芯片
神经形态计算和机器学习主导今年芯片设计的前沿。