密苏里大学和德克萨斯理工大学的研究人员在《IEEE学报》上发表了一篇题为“资源受限边缘设备上深度学习推理的高效加速:综述”的新技术论文。
文摘:
深度神经网络(dnn)或深度学习(DL)的成功集成已经在许多领域取得了突破。然而，将这些高度精确的模型部署到最终用户应用程序的数据驱动、学习、自动和实用的机器学习(ML)解决方案仍然具有挑战性。DL算法通常计算成本高，耗电大，并且需要大量内存来处理数百万个参数的复杂迭代操作。因此，DL模型的训练和推断通常在云中高性能计算(HPC)集群上执行。数据传输到云端会导致高延迟、往返延迟、安全和隐私问题，以及无法实时决策。因此，在边缘设备上处理可以显著降低云传输成本。边缘设备是最接近用户的终端设备，如移动电话、网络物理系统(cps)、可穿戴设备、物联网(IoT)、嵌入式和自主系统以及智能传感器。这些设备的内存、计算资源和功率处理能力有限。因此，已经开发了硬件和软件级别的优化技术，以便在边缘上有效地处理DL部署。了解现有的研究、挑战和机遇是利用具有人工智能(AI)能力的下一代边缘设备的基础。 Mainly, four research directions have been pursued for efficient DL inference on edge devices: 1) novel DL architecture and algorithm design; 2) optimization of existing DL methods; 3) development of algorithm–hardware codesign; and 4) efficient accelerator design for DL deployment. This article focuses on surveying each of the four research directions, providing a comprehensive review of the state-of-the-art tools and techniques for efficient edge inference.
找到开放获取技术文件链接．2023年1月。
M. M. H. Shuvo, S. K. Islam, J. Cheng和B. I. Morshed，“资源受限边缘设备上深度学习推理的有效加速:综述”，《IEEE学报》，第111卷，第1期。1, pp. 42-91, 2023年1月，doi: 10.1109/JPROC.2022.3226481。知识共享许可证．
留下回复