为神经形态计算集成忆阻器

目前关于神经形态计算的大部分研究都集中在使用非易失性存储阵列作为人工神经网络(ann)的内存计算组件。

通过使用欧姆定律将存储的权重应用于传入信号，和基尔霍夫定律综上所述，忆阻器阵列可以加速人工神经网络算法中的许多乘法累积步骤。

人工神经网络现在正在进行商业部署。任何对他们表现的改善都是值得追求的。但重要的是要记住，ann与它们的生物学前因有显著不同。在单一类型的算法中提高单个步骤的性能对推进机器学习或神经形态计算几乎没有什么帮助。

在最近的材料研究学会春季会议上，一系列的演讲着眼于忆阻器器件，以及将其集成到更大的系统中所面临的挑战。

在器件层面，变异性仍然是所有忆阻器类型的一个重要问题。缩小特性大小可能会使可变性变得更糟。IBM首席研究人员杰弗里·伯尔(Geoffrey Burr)在一次主题演讲中说先前发表的研究)，神经网络仍然可以在大量故障设备或设备特性随机变化的情况下给出良好的结果。

图1:神经启发的非冯·诺依曼计算，其中神经元通过可编程突触权重的密集网络相互激活，该网络可以使用NVM的密集交叉阵列和2端或3端选择器器件对实现。来源:IBM

然而，在实际电路中，可变性带来了实际的挑战。对相同状态编码的忆阻器应该具有相同的“读取”电流。给定的“写”电压应该将相同的状态存储到所有设备。存储模拟权重和补偿可变的设备特性是可能的，但大大增加了电路的复杂性。初步的重量可以由制造商存储，但仍然需要在现场更新设备，并根据改进的算法重新配置网络。有效的更新需要可预测的设备特性。

控制绝对权重值的需求是有监督的远程学习应用程序的一个工件，其中有一个已知的“正确”答案，网络预计会按需生成。在无监督学习中，可变性可能不那么重要，在无监督学习中，算法被期望在类之间定义自己的决策边界。

南安普顿大学的研究员Alexander Serb和他的同事们证明了在无监督学习中，设备特性的可变性有助于网络的稳定。如果对信号脉冲的响应取决于之前的脉冲，例如，如果电导变化取决于相变存储器元件的先前状态，那么网络可能会更快地收敛到稳定值。可以说，它“记住”了初始态和最终态之间的联系。

当单个设备聚集成电路时，进一步的并发症随之而来。“交叉棒”阵列之所以吸引人，部分原因是它们可以支持非常高密度的“突触”忆阻器连接。然而，大多数提出的设计设想的CMOS“神经元”的数量要少得多，为阵列提供输入和读取结果。

IBM的研究人员分析了这种设计所需要的大规模并行读写操作所固有的工程权衡。按顺序写入单个内存元素只会复制非冯·诺依曼架构试图避免的数据传输瓶颈。然而，这些并行操作必须保持在电路的整体电流和功耗规格范围内。在单个相变存储元件中熔化一根导电丝可能不会产生过多的热量，但同时熔化数千根导电丝则是另一回事。特别是，原位训练的早期阶段很可能在一个步骤中改变数组中的许多值。一次应用大量的编程脉冲可以推动可用驱动电流的限制。

从神经网络到神经形态计算
虽然内存计算可以提高人工神经网络的性能，但Burr指出，制造一个更好的人工神经网络与构建一个神经形态架构是不一样的。

目前实施的人工神经网络很容易混淆。事实上，他们自信地从以前未知的例子中，甚至从随机的噪声中得出荒谬的结论。它们需要大量的数据来对世界做出哪怕是有限的推论，这与生物学习完全相反。

Vicarious AI的联合创始人迪利普·乔治(Dileep George)将人工神经网络的行为描述为更像是刺激-反应条件反射，而不是人类理解的学习。在MRS主题演讲中，他指出，仅靠更好的RRAM或PCM设备无法超越这些限制。它们还需要新的算法和系统设计方法。例如，概率图形模型试图捕捉人类用来将狮子和家猫归为一类的高级不变特征，或者认识到冰做的椅子和木头做的椅子都是椅子，尽管它们的表面非常不同，但它们的轮廓相似。

南巴黎大学的学生爱丽丝·米兹拉希观察到，生物大脑可以承受非常严重的损伤，但仍能正常工作，部分原因是其结构内置冗余。在谈到法国国家科学研究中心所做的工作时，她说，信息不是存储在单个神经元或突触中，而是存储在神经元群中，以及它们彼此之间的连接，以及它们与大脑其他部分的连接中。在视觉皮层中，一组不同的神经元针对不同的波长波段进行了优化。然而，尽管单个神经元可能只对一组狭窄的刺激做出反应，视觉皮层作为一个整体却有非常广泛的范围。

这些研究人员证明了在硬件上也有类似的行为，使用超顺磁隧道结存储器阵列。在这些装置中，两个铁磁体被一个非磁性的隧道势垒层隔开。其中一个磁铁是固定的，而另一个可以定位自己平行或反平行于第一个。

因为铁磁体是多晶的，所以器件的特性并不相同。相反，该小组为每个设备确定了一个独特的调谐曲线，该阵列作为一个整体形成了一个跨越一系列信号的基集。任何单独的信号都可以被编码为基集中元素的加权和。即使一个设备或一系列设备发生故障，也可以从它的邻居推断出它的贡献。

阿贡国家实验室首席材料科学家、研究员Angel yguas - gil讨论了研究人员如何从蜜蜂和其他昆虫中获得灵感。它们的大脑比人类的大脑要小得多，也简单得多，没有新皮层，只有大约100万个神经元——这个数字在当前神经形态硬件的能力范围内。然而，蜜蜂复杂的寻路能力使它能够从几公里外的花粉或花蜜源返回蜂巢，并将位置告诉其他蜜蜂。在昆虫的大脑中，只有一小部分神经单元真正在学习，而其他的神经单元则在调节训练信号的强度。峰值时间依赖的可塑性——人类学习的一个模型——只考虑神经元对之间的相互作用，这种动态可塑性依赖于第三个神经元来控制相互作用。

惠普实验室(Hewlett Packard Labs)的研究员苏哈斯·库马尔(Suhas Kumar)观察到，大脑不是随机的，而是确定的、混乱的。神经振荡最终收敛到一个长期的、确定的吸引子。这个小组使用忆阻器来存储突触权重，混沌NbO2振荡器充当神经元。将这个组合的能量作为一个整体最小化，可以解决旅行推销员问题，而单个神经元的振荡可以使阵列免于陷入局部能量最小。该技术类似于绝热优化，也用于量子退火。

结论
非易失性存储器器件性能和内存计算阵列设计中的重要问题仍然没有解决。材料科学家还有很多工作要做。不过，对于神经形态计算这一更大的挑战，正如伯尔所说，“我们有足够的RRAM论文。”下一步将来自于算法和系统设计。

有关的故事
三维神经形态架构
神经形态计算的下一步是什么
飞机，鸟舍和图像识别
神经形态计算:大脑建模
如何给量子计算机编程