spike神经网络及时放置数据

人工神经网络已经有了各种各样的商业应用，从面部识别到推荐引擎。Compute-in-memory加速器试图通过帮助克服冯·诺依曼瓶颈来提高这些网络的计算效率。

但是成功的人工神经网络也凸显了他们的不足。它们只复制了生物大脑认知能力的一小部分。即使是那些他们可以处理的任务(通常很差)，也需要庞大的数据中心来完成那些未经训练的人类认为微不足道的任务。

在生物大脑中，突触决定了神经元之间的连接强度。如果两个神经元经常一起放电，它们之间的联系就会变得很强。否则，它会完全减弱或断裂。人工神经网络用一组权重来模拟这种行为——对刺激的响应是输入节点的加权和。内存计算加速器寻求优化这些加权和．

然而，突触只是故事的一半。与冯·诺依曼意义上的“计算”不同，生物大脑创造并积累了一系列电脉冲。例如，眼睛中的视杆细胞和视锥细胞对落在视网膜上的光发出电信号。这个“尖刺序列”既捕捉了图像的一部分，又将其置于时间序列中。连续的神经元层将来自整个视网膜的信号组装成复杂的图像，将它们与听觉和其他感官输入结合起来，然后利用知识和经验来评估情况，并在需要时采取行动。突触允许大脑对输入进行优先排序，但神经元负责实际发送和接收信号。尖峰神经网络设计试图模拟这种信号处理行为。

峰值神经网络模型跟踪一个或多个随时间变化的状态变量，而不是累积加权和，因为它们响应输入峰值而进化。生理上,神经电流是由于离子(主要是Na+)通过细胞膜通道的运动。因此，一个简单的模型可能有两个状态变量，膜电位和电流，由一个线性微分方程联系起来。当相关的状态变量达到阈值时，神经元就会激活。更复杂的模型可能涉及更多的变量，反映了由于膜泄漏引起的发射速率的变化，峰值后的恢复时间等等。

尽管这些简单的模型很容易实现，但它们无法捕捉到生物行为的丰富性。神经科学家使用实验技术，比如功能性磁共振成像(fMRI)来观察生物大脑中特定区域对刺激的反应。虽然直接解码神经信号只能在非常有限的情况下实现，但很明显，不同的认知任务涉及不同的神经激活模式。每个神经元都可能连接到数千个对等点，并且能够通过每个连接接收和发送信号。在人脑中，有超过200种已知的神经递质帮助定义神经连接。”神经形态“人工智能模型一方面面临着生物系统的复杂性，另一方面又需要在电路面积、功耗等方面的合理限制内运行。更精确的生物学模型更难实现。

介绍神经电阻
2012年，马修·d·皮克特和惠普实验室的同事们提出了一种“神经电阻”装置，可以捕捉生物神经行为的三个基本要素。第一种，前面已经提到过，是阈值驱动的电峰值。尖峰产生于神经元内部和周围细胞内液之间的电位差。一旦电位差超过一个阈值，神经元就会放电，向邻近的神经元发送电流峰值。在生物神经元中，朗维叶节点沿着神经纤维充电动作电位，促进这些尖刺的无损传播，这是第二个基本特征，也是四肢精细运动控制的先决条件。最后，每个尖峰“放电”神经元一段时间——第三个基本特征是尖峰之间需要一个恢复期。

能够捕获这些最基本行为的最简单的数学模型和硬件实现是“集成和发射”模型。神经元从上游神经元收集输入尖峰，并在这些输入超过阈值时向下游发射尖峰。在复杂程度上的下一个步骤，“泄漏集成和火灾”模型，引入了一个衰减期。细胞膜上的电位差随着时间的推移而消失。为了引起下游峰值，输入速率必须足够高，以比泄漏更快的速度提高电位差。这些模型引入了记忆效应。也就是说，状态变量随着时间的推移而演变，峰值行为取决于那段历史。

整合和触发模型，不管是否有漏洞，仍然不及在生物大脑中看到的复杂激活模式。特别是，生物神经元同时表现出兴奋性和抑制性行为。来自神经元A的信号可以使神经元B更容易或更不容易被激活。第三个神经元C可能控制A和B之间的相互作用。

一个2017调查凯瑟琳·舒曼及其同事在橡树岭国家实验室观察到，霍奇金斯-赫胥黎模型是能够产生生物学上合理结果的最简单模型之一。它用四个微分方程描述的四个状态变量，描述了钠离子和钾离子在细胞膜上流动的电位变化。这个模型是许多构建人工尖峰神经网络的尝试的起点。

神经元和突触有不同的作用，需要不同的电路元件。虽然内存计算加速器可能使用RRAM和其他非易失性内存元素来存储突触权重，但神经元的动态发射-恢复行为需要不同的特征。和互补金属氧化物半导体基于基的设计可以复制霍奇金斯-赫胥黎行为，但魏毅和HRL实验室的同事认为这样做需要非常大的电路占地面积。他们说，基于cmos的设计可以是可扩展的，也可以是生物学上合理的，但不能两者兼而有之。

如果不是CMOS，会是什么?
CMOS器件本身也是确定性的，而真正的神经元行为是随机的。在生物神经元中，膜电位的随机波动源于离子通道的随机行为、随机突触传递、相邻神经元之间的串扰等。这种自然的随机性导致了一些高级模型所喜欢的峰值周期性的变化贝叶斯推理，寻求剥削。

作为CMOS的替代方案，Pickett指出Hodgkins-Huxley模型在数学上等同于一个有两个Mott绝缘体和两个并联电容器的系统。本文的第二部分着眼于基于霍奇金斯-赫胥黎模型的系统设计，以及传统神经网络和spike神经网络之间学习行为的差异。

读第2部分这个故事。

相关的
尖峰神经网络:研究项目还是商业产品?
意见分歧很大，但在这个领域，这并不罕见。
扩展内存计算加速器
新的研究指出了后冯·诺伊曼时代的进步和问题。
内存内计算加速器的上端网络设计权衡
随着更多的数据需要更快地处理，计算范式发生了变化。
未来会有更好的机器训练方法吗?
为什么无监督、强化和Hebbian方法对某些事情有好处，但对其他事情没有好处。
制造比特:2020年5月5日
尖峰神经网络雷达芯片