鲁汶大学和慕尼黑工业大学的研究人员发表了一篇题为“面向异构多核加速器，利用层融合深度神经网络的细粒度调度”的技术论文。
摘要
“为了跟上神经网络不断增长的性能需求，专门的硬件(HW)加速器正在转向多核和芯片架构。到目前为止，这些多加速器系统通过在不同核上的不同输入批次之间使用不同的神经网络层来提高并行性，以提高吞吐量。然而，在对延迟关键型应用程序进行非批处理的逐层调度时，这不能充分利用可用的硬件资源在边缘实现节能执行。
因此，这项工作通过一种名为Stream的开源建模框架，实现了对多层融合dnn的细粒度深度优先调度到多核架构上。Stream能够代表广泛的调度粒度和HW架构，并优化执行计划，以实现有限边缘设备的最小能量、最小延迟和/或最小内存占用。我们验证了三个采用层融合调度的SotA HW实现，显示了与测量效率的紧密匹配。在进一步的探索中使用Stream，我们证明了在细粒度调度范式下，高级架构决策极大地影响了硬件效率，与传统的层粒度调度相比，将能量延迟产品从单核架构的2.4倍降低到异构多核架构的30倍。”
找到这里是技术文件．2022年12月。
Symons, Arne等，“面向异构多核加速器，利用层融合深度神经网络的细粒度调度。”“arXiv预印本arXiv:2212.10612(2022)。
留下回复