中文 英语
首页
技术论文

MEMprop:基于梯度的学习来训练全记忆snn

受欢迎程度

来自IEEE研究人员的题为“基于梯度的动态RRAM阵列神经形态学习”的新技术论文。

摘要

“我们提出了MEMprop,采用基于梯度的学习来训练完全记忆性峰值神经网络(MSNNs)。我们的方法利用内在的设备动态来触发自然产生的电压峰值。这些由记忆动力学发出的峰值本质上是模拟的,因此完全可微,这就消除了对峰值神经网络(SNN)文献中流行的代理梯度方法的需要。

记忆性神经网络通常要么将记忆电阻器集成为映射离线训练网络的突触,要么依赖联想学习机制来训练记忆性神经元网络。相反,我们将时间反向传播(BPTT)训练算法直接应用于记忆神经元和突触的模拟SPICE模型。我们的实现是完全记忆的,因为突触权重和峰值神经元都集成在电阻性RAM (RRAM)阵列上,而不需要额外的电路来实现峰值动态,例如,模数转换器(adc)或阈值比较器。因此,高阶电物理效应被充分利用,以利用记忆神经元在运行时的状态驱动动态。通过转向非近似基于梯度的学习,我们在几个基准上获得了之前报道的轻量级密集全msnn的高度竞争精度。”

找到这里是技术文件.2022年6月出版。

作者:周鹏,Jason K. Eshraghian,崔东旭,吕伟D.,姜成模。v1 arXiv: 2206.12992

参观半导体工程技术论文库并发现更多芯片行业的学术论文。



留下回复


(注:此名称将公开显示)

Baidu