基于pcm的模拟加速器是深度学习工作负载的明智选择，甚至对于像BERT这样的大型自然语言处理模型也是如此。
文摘:
“深度学习的最新进展是由不断增加的模型规模推动的，网络的参数增长到数百万甚至数十亿。如此庞大的模型需要快速节能的硬件加速器。我们研究了基于非易失性存储器的模拟AI加速器的潜力，特别是相变存储器(PCM)，用于自然语言处理应用的软件等效精确推断。我们通过结合噪声感知训练来对抗固有的PCM漂移和噪声源，以及降低精度的数字注意块计算到INT6，为BERT(变压器双向编码器表示)上的GLUE基准测试演示了一种软件等效精度的路径。”
把这技术论文在这里。公布的07/2021。
Spoon K, Tsai H, Chen A, Rasch MJ, Ambrogio S, Mackin C, Fasoli A, Friz AM, Narayanan P, Stanisavljevic M和Burr GW(2021)基于模拟存储设备的基于变压器的深度神经网络的软件等效精度。前面。第一版。>。15:675741。
留下回复