PCM-based模拟加速器是一个明智的选择对于深度学习工作负载,即使对于像伯特大型自然语言处理模型。
文摘:
“最近的深度学习的进步是由于不断增加的模型尺寸,与网络日益增长的数百万甚至数十亿的参数。这样巨大的模型要求快速和节能的硬件加速器。我们学习的潜力模拟人工智能基于非易失性内存加速器,尤其是相变内存(PCM), software-equivalent精确推理自然语言处理应用程序。我们演示一个路径software-equivalent胶水基准的准确性伯特(双向编码器表示从《变形金刚》),结合noise-aware训练对抗固有PCM漂移和噪声来源,连同reduced-precision数字attention-block计算INT6。”
把这技术论文在这里。公布的07/2021。
拉希勺子K,蔡H,陈,乔丹,Ambrogio年代,Mackin C, Fasoli,卷曲,Narayanan P, Stanisavljevic M和毛刺比起GW(2021)向Software-Equivalent精度的基于变压器深神经网络模拟内存设备。前面。第一版。>。15:675741。
留下一个回复