首页
技术论文

在内存小于256KB的智能边缘设备上训练ML模型

受欢迎程度

麻省理工学院和麻省理工学院- ibm沃森人工智能实验室的研究人员发表了一篇名为“256KB内存下的设备训练”的新技术论文。

“我们的研究使物联网设备不仅可以执行推理,还可以不断更新人工智能模型到新收集的数据,为终身设备学习铺平了道路。低资源利用率使深度学习更容易获得,可以有更广泛的覆盖范围,特别是对于低功耗的边缘设备,”资深作者宋汉说麻省理工学院新闻文章

文摘:
“设备上的训练使模型能够通过微调预先训练的模型来适应从传感器收集的新数据。然而,训练内存消耗对于具有微小内存资源的物联网设备来说是禁止的。我们提出了一种算法-系统协同设计框架,使仅256KB内存的设备上训练成为可能。设备上训练面临着两个独特的挑战:(1)神经网络的量化图由于混合比特精度和缺乏归一化而难以优化;(2)有限的硬件资源(内存和计算量)不允许完全向后计算。为了解决优化困难,我们提出了量化感知尺度来校准梯度尺度,稳定量化训练。为了减少内存占用,我们提出了稀疏更新来跳过不太重要的层和子张量的梯度计算。该算法创新通过一个轻量级训练系统——Tiny training Engine实现,该系统对向后计算图进行修剪以支持稀疏更新,并将运行时自动微分转换为编译时间。我们的框架是在微型物联网设备(例如,只有256KB SRAM的微控制器)上进行视觉识别的设备上迁移学习的第一个实用解决方案,使用不到现有框架内存的1/100,同时与tinyML应用程序VWW的云训练+边缘部署的准确性相匹配。我们的研究使物联网设备不仅可以进行推理,还可以不断适应设备上终身学习的新数据。”

找到这里是技术文件。2022年7月出版。

国家科学基金会、麻省理工学院- ibm沃森人工智能实验室、麻省理工学院人工智能硬件计划、亚马逊、英特尔、高通、福特汽车公司和谷歌资助了这项研究。

作者:林骥,朱立庚,陈伟明,王伟琛,甘闯,韩松。v2 arXiv: 2206.15472

相关阅读:
利用人工智能加速边缘计算
优化系统行为可以改善PPA并延长其使用寿命。
为什么TinyML如此重要
令人惊讶的是,并不是所有的事情都需要大量的计算能力来做出重要的决定。
边缘计算知识中心



留下回复


(注:此名称将公开显示)

Baidu