加速人工智能和提高效率的不同方法。
加速人工智能系统的挑战通常意味着增加更多的处理元素和精简算法，但这些方法并不是前进的唯一途径。
几乎所有的商业机器学习应用都依赖于人工神经网络，它们使用带有反向传播算法的大型数据集进行训练。网络首先分析一个训练示例，通常将其分配到分类bin。这个结果与已知的“正确”答案进行比较，两者之间的差异用于调整应用于网络节点的权重。
该过程重复了所需的尽可能多的训练示例，(希望)收敛到一个稳定的权重集，提供可接受的准确性。这个标准算法需要两条不同的计算路径——一条向前的“推断”路径来分析数据，一条向后的“梯度下降”路径来纠正节点权重。
在生物大脑中，突触连接的强度随着相关神经元的激活(或失效)而增强或减弱，但没有证据表明有单独的突触更新过程。反向繁殖的批评者认为，由于这个原因，反向繁殖在生物学上是不合理的。的联合创始人兼首席技术官杰克·肯德尔雨神经形态他说，错误也会在反向传播过程中累积，从而破坏整体性能。
尽管如此，人工智能社区的一个研究和开发线程寻求更有效地实现反向传播算法。这可以用不太精确的权重来实现，专用加速器芯片，或允许在给定的电路占地面积内容纳更多网络节点的设备。
另一项研究认为反向传播方法本质上是有限的。神经网络训练既耗时又昂贵。特别是，对于自动驾驶汽车等需要实时适应环境的应用来说，需要预先标记数据的大型训练集尤其成问题。从这个角度来看，进一步的进步需要新的学习模型和新的训练算法。
尖峰神经网络是一种经常讨论的替代方法，峰值时间依赖的可塑性通常被提出作为一种学习规则。基于峰值的方法试图模拟生物大脑中的学习动态，与传入的刺激相对应的信号峰值链。
在平衡中寻找答案
不过，电路并不是生物神经元。它们有不同的物理特性，面临不同的工程限制。它们还可以利用现有的具有良好特征的电路元件库，包括模拟和数字元件。
肯德尔解释说，他公司的新机器学习范式，平衡传播，是基于对基尔霍夫定律的重新表述。平衡传播用神经网络的节点定义了一个“能量”函数。物理上，这个“总能量”F是网络总伪功率的度量。它是两个项E和C的和，E是节点之间内部相互作用的度量，而C测量的是网络目标和实际输出值之间的差值，由参数β加权。
总能量随时间的变化由状态变量s的演化来定义:
模型的输出由E在不动点处的分量给出
“求解”模型意味着识别E的组成部分——网络节点值——使f最小化。一个“好的”解决方案是，节点值的这种配置也产生训练数据所期望的分类仓。
图灵奖得主、魁北克人工智能研究所Mila的创始人约书亚·本吉奥(Yoshua Bengio)说，平衡传播并不依赖于传统神经网络的标志——矩阵运算意义上的计算。相反，网络通过一系列的“学习”伊辛保密性退火步骤。首先将β设置为0，使网络放松到一个固定点，并测量由此产生的“自由”输出值，就可以找到解决方案。
然后，在第二个“助推”阶段，β的微小变化将观测到的输出值推向目标值的方向。扰动输出改变了系统的动态——它不再处于平衡状态——网络被允许放松到一个新的固定点，具有新的E. a值数学上严格的处理表明网络松弛对应于传统反向传播中的误差导数的传播，重复调整导致随机梯度下降。
该模型不像传统算法那样提供明确的预测，而是产生由e分量定义的隐式结果。尽管平衡传播理论适用于任何非线性电阻性网络，但用数字硬件实现它需要额外的步骤。为了获得显式解，数字架构需要数值优化能量函数。
模拟解决方案的模拟硬件
相反，Rain Neuromorphics的首席执行官Gordon Wilson指出，忆阻器的开发是在商业模拟网络中实现平衡传播的关键。该公司提出的架构将节点值存储在忆阻元件阵列中，其电导起着突触权重的作用。在每个“轻推”相位之后，电压或电流脉冲会改变电导。
成对的二极管，每个二极管后面都有一个线性放大器，就像“神经元”一样在两层之间传递值。“双向放大器”使用电压源来防止输入和输出节点之间的信号衰减，而电流源则确保反向纠错信号的传播。
虽然模拟结果很有希望，但实际上在硬件上实现这样的网络仍然面临额外的挑战。特别是，器件研究人员仍在学习如何在忆阻器网络中实现可靠的电导变化。尽管如此，Kendall说平衡传播方法将电子学的数学技术直接应用于神经网络问题，简化了编程和电路设计。
有关的故事
编译和优化神经网络
低功耗，提高性能的推理。
spike神经网络及时放置数据
我们如何有效地模拟神经元和突触的生物尖峰过程，CMOS是神经网络的一个好的选择吗?
尖峰神经网络:研究项目还是商业产品?
意见分歧很大，但在这个领域，这并不罕见。
扩展内存计算加速器
新的研究指出了后冯·诺伊曼时代的进步和问题。
内存内计算加速器的上端网络设计权衡
随着更多的数据需要更快地处理，计算范式发生了变化。
未来会有更好的机器训练方法吗?
为什么无监督、强化和Hebbian方法对某些事情有好处，但对其他事情没有好处。
聚焦生物计算
人工智能推理加速
了解做权衡时什么是重要的。
|
|
|
|
|
|
|
|
|
|
留下回复