DGIST(大邱庆北科学技术学院)的研究人员发表了一篇名为“LightNorm:用于设备上DNN训练的面积和节能批量标准化硬件”的新技术论文。这项工作得到了三星研究基金孵化中心的支持。
文摘:
“在训练早期深度神经网络(dnn)时，通过卷积或线性层生成中间特征占据了大部分执行时间。因此，已经进行了广泛的研究，以减少卷积或线性层的计算负担。然而，在最近的移动友好型dnn中，处理这些层所涉及的操作的相对数量已显著减少。因此，其他层(如批处理规范化层)的执行时间比例增加了。因此，在这项工作中，我们对批处理归一化层进行了详细的分析，以有效地降低批处理归一化过程中的运行时开销。在深入分析的基础上，我们提出了一种非常高效的批处理规范化，名为LightNorm，以及它相关的硬件模块。更详细地说，我们融合了三种近似技术，即i)低比特精度，ii)范围批处理归一化和iii)块浮点。所有这些近似技术不仅保持了中间特征图的统计量，而且最小化了片外存储器的访问。通过使用提出的LightNorm硬件，我们可以在不影响训练精度的情况下，在DNN训练期间实现显著的面积和能源节省。这使得提议的硬件成为设备上培训的一个很好的候选人。”
找到技术论文链接她e. 2022年11月提交给IEEE计算机设计国际会议(ICCD), 2022。
作者:卢锡焕，朴俊相，朴大勋，具家贤，崔智克，孔在夏。arXiv: 2211.02686 v1。
留下回复