集中精力研究了生物计算

人工神经网络需要复制飙升生物神经元兴奋性和抑制性为了模仿生物大脑的神经激活模式。

这样做与cmos的设计是具有挑战性的,因为大电路所需的足迹。然而,惠普实验室的研究人员观察到的Hodgkins-Huxley模型,一个生物的模型在数学上相当于一个系统有两个莫特绝缘体和并联电容器。在莫特“neuristor”电路,四个状态变量的金属通道半径两个莫特设备,加上两个功放。

莫特绝缘体突然从绝缘体转变为金属,可以控制热或电。他们可以建模为一个二维数组的细胞形成一个电阻网络。每个组件细胞可能在低或高阻状态。神经元火灾时低电阻细胞的数量达到临界阈值。

热波动和成分和结构的变化会导致阈值不同,给整个设备随机字符的发射行为。虽然莫特过渡在低温下发生在许多材料,签证官₂提供了一个更容易转换为340 k。

在惠普实验室设计中,一系列的电峰值逐渐向转变温度加热设备。当达到阈值时,金属通道半径增加迅速,电容器放电电路。另一个峰值出现之前,电容器必须恢复。输入峰值之间的局部冷却,对应“泄漏”和信号衰减在生物神经元,取决于基体的导热系数和接触。

这种设计的一个版本,提出了在2019年IEEE电子设备由魏易建联和同事HRL实验室会议,可以实现三种不同类型的神经元通过改变输入阻抗的阶段:

• 主音:火持续稳定的直流电流峰值,当刺激的训练。
• 阶段:火只有一个峰值的出现稳定的电流输入,然后静止。
• 混合模式:相位的破裂之后乘火车的主音峰值。

他们可以效仿的23个不同的发射行为发生在生物神经元。不同的燃烧特性可以通过可控电路参数,如电阻,控制面积比率的配对设备,等等。

但今年早些时候,哈维尔·德尔·瓦莱和他的同事们在加州大学圣地亚哥分校指出使用电容来存储每一个细胞的状态限制了可伸缩性。必须大于寄生电容参数的电极线。相反,他们建议使用热流执行计算任务。也在他们的设计中,基于莫特绝缘体,电流峰值从上游神经元通过电阻加热器,热耦合发射元素。

神经元需要学习规则
而飙升神经元行为是强化神经网络实现的先决条件,它不是唯一的要求。亚历山大•瓦伦特CEA-Leti研究工程师,解释说,这样一个网络也需要能够编码数据链的峰值,并需要实现spike-driven学习规则。的形式输出,也上涨,需要翻译行为,或数据的解释,或者其他网络的目的是要做。强化神经网络“学习”方式与传统的人工神经网络,因此可能需要重新重新设计的机器学习算法和神经网络硬件。激增算法神经网络依靠传感器生产高峰链而不是数值和训练集基于这些链,两者都是才刚刚开始出现。

在生物的大脑,在第1部分中提到的,不同的强化行为与不同的认知任务相关联。一些研究表明感官信息如何编码,但更抽象的认知功能尚不清楚。尽管数据编码是一种软件任务,不需要定义网络硬件构建时,不同的方法可能会或多或少地与特定的硬件兼容的特点。

有三个主要的选择。最简单,spike-count编码,忽略了输入信号的变化和简单的计数峰值。Spike-count编码可能,例如,导致神经元后一定数量的对象通过一个传感器。

第二个选择,编码速率,适用于使用“漏水”神经元。神经元只火灾如果阈值的对象数通过传感器在一个给定的时间。

第三个选择,时间编码,开始像生物的行为。它认为峰值的强度数据,而不仅仅是他们的频率。更强的信号——更大的对象通过一个传感器,响亮的声音在一个地区——导致更直接的峰值。皮埃尔Falez和同事里尔大学解释为这样一个网络,增加点火阈值使其认识到更大的模式。很难知道“最佳”提前点火阈值,。不同的潜在的有趣的模式可能有不同的数据签名。这一组射击的方法优化训练神经元向目标开火。训练算法发现阈值,允许他们这样做。

如果神经元是大脑的信号处理器,突触连接。在生物的大脑,突触连接的塑料。个人学习,常用的联系变得更强,而少使用关联较弱。”什么一起火灾,连接在一起换句话说,”。此外,生物的大脑可以保留这些协会秒,或者几十年了。

一个成功的神经网络需要飙升学习规则适应时间spike-based数据的性质。最常提出的备选方案之一是spike-timing-dependent可塑性,更新突触权重根据输入和输出神经元之间的点火时间的差异。当pre-synaptic神经元突触后神经元前峰值,连接钢筋。首先如果突触后神经元火灾,连接削弱。这个规则是直观的,但固有的地方。在生物的大脑,一些刺激可以触发激活在大的大脑区域。尚不知道大脑是如何建立或优化等全球性协会的。

如何使所有这些电线吗
当写神经网络,连接出现一次又一次的重要性。这不是不寻常的生物神经元直接连接到几千的同行。尽管数百万甚至数十亿的晶体管,集成电路经常把盖茨和小逻辑块组成一个电路连接更有限。三维集成电路提供了许多优势在许多应用程序中,帮助减少移动设备和楔传感器成更小的空间。对于神经网络来说,它不仅仅是一个优势。这是至关重要的。

有关的故事
强化神经网络数据在时间的地方
如何有效地我们可以模仿生物强化神经元和突触的过程,神经网络和CMOS是个好选择吗?
强化神经网络:研究项目或商业产品吗?
意见差别很大,但在这种空间并不罕见。
扩大Compute-In-Memory加速器
新的研究指出post-von诺伊曼世界进展和问题。
计算内存加速器,颠覆网络设计权衡
计算范式转移更快更多的数据需要处理。
更好的机器提前训练方法吗?
为什么不受监督,强化和Hebbian方法有利于一些事情,而不是别人。
莫特场效应晶体管是什么?
奇怪的未来和物理设备。