机器学习推论移动到移动设备

这听起来可能有点复古对于开发人员访问超大型数据中心讨论应用程序可以以千字节,但越来越多的重点是小,高度能力的设备。

事实上,谷歌员工研究工程师Pete Warden指向一个新的应用程序,它使用小于100 kb内存和存储,创建一个小于20 kb推理模型,并能每秒处理1000万算术运算。监狱长,技术领先谷歌TensorFlow移动团队正试图推动使用机器学习(毫升)推论到中间、低端智能手机市场,而市场的角逐推理优势集中于高端智能手机。

苹果改变了智能手机市场的格局两年前宣布神经网络加速器在iPhone X A11芯片组的每秒运算6000亿次。本质上推动机器学习推论出数据中心通过允许一些功能在设备上完成。该公司承诺更大的安全,因为更少的数据通过用户的控制之外的云。FaceID身份验证系统,它提供更好的性能和其他毫升的应用。

“主要通过运行设备上你真的能够显示低延迟,这意味着一个很好的用户体验,因为你没有往返延迟,”监狱长说。

这引发了一场巨大的混乱整个半导体行业将更多的AI /毫升推断法更接近用户在一个尚未被称为定义糟糕的空间边缘。

“边缘处理的地区,人们在机器学习非常兴奋,”根据杰夫•米勒产品营销经理导师,西门子业务。“有很多有趣的方法人们需要芯片设计为加速器,但我们仍在开发的早期阶段。它可以计算昂贵,尤其是如果它是通用的硬件上运行。它可以在一个CPU上运行,但这是使它的进化在低功率和低的基础设施需求。”

需求可能推推理加速器通过即使的低端智能手机市场,并将断断续续地传播到其他市场,根据设备或市场的需求,根据林利集团的处理器深度学习指南。超过一半的新智能手机将包括一个深度学习加速器(DLA)到2023年,当所有形式的国防后勤局的市场将达到100亿美元,比30亿年的2018美元。

“但没有什么防止开发人员创建微型版本的推理模型,包括主应用程序的主要功能,或阻止他们使用非常紧凑的代码添加新的功能,可以产生巨大的影响,”谷歌的监狱长说。“想想多少有用的传感器或其他访问设备是如果你能添加声音响应与一个特定的、有限的词汇量,使界面更方便。”

监狱长让他的理由更简约的方法在一个机器学习的某些方面博客。他和一长串的知名商业毫升开发人员和学者扩展和游说的想法——在两个不同的会议ScaledML和TinyML——3月跑在连续几周内英里的彼此。最近的设计自动化会议也在用会话TinyML会谈包括Babblelabs克里斯再生草,玛娜尔El-Chammas神话,和斯科特•汉森Ambiq微谈到了他们试图实施TinyML经验。

传统机器学习(ML)也被认为是资源密集型的尝试由微控制器与嵌入式系统、物联网设备,需求方或其他高效平台,根据汤姆·哈肯伯格IHS Markit首席分析师为嵌入式系统。

“很多人简单地高估推理是多么困难,”哈肯伯格说。“即使在大型数据中心,90%到95%的服务器运行毫升推理模式没有谷歌TPU的帮助或其他专用推理加速器”。

大多数流行的机器学习应用程序在某种程度上在图像旋转、对象或语音功能的客户设计推理asic做的很好。

“人工智能发展的兴趣,以至于很多人都开始做它在未经优化的机器上(一)子系统,应用图形较低需求的大量增殖和积累在四分之一GPU的成本,”哈肯伯格说。

“我们还不知道这些芯片将是什么样子,”根据卡洛斯•Macian AI高级主管战略和产品eSilicon。“至少在数据中心产品,功耗是α,ω你需要知道什么。,热的问题。“大多数这些产品已经在管道和tapeout仍在路上,所以我们还没有见过他们。

标量的硬件上运行毫升模型很少见,但是,由于有一个脱节的过程设计硬件和新的工程技术的发展。

“不仅仅是界面,根据史蒂夫哇,研究员、著名的发明家Rambus。

越来越多
尽管对智能手机和ML服务针对消费者的需求,需要使用设备或靠近边缘滤波器,预处理,减少流动到云的数据量仍将是一个关键问题。

“即便是保守的估计数据量大约每两年翻一番,”吴表示。“没有其他的技术曲线接近。云处理模型我们都习惯可以从体积和沼泽网络从成本的角度来看。所以唯一真正追索权是过程数据接近设备在哪里位于手机或相机,或者边计算数据中心”。

智能手机的市场很大,但全球安装基地只有大约51亿设备,根据GSMA。添加物联网设备,也适合使用推断另一个补充道220亿台设备和不断增长的潜在的升级目标的列表,根据战略分析。

最大的机会是在设备进一步倾斜向下的规模由微控制器处理power-embedded或独立的设备,需求方或自定义出类拔萃。监狱长估计这类设备的安装基础目前约有1500亿,每年有400亿航运。单片机可能不会帮助销售很多新设计的加速器。有限的资源将隔离单片机所有者在一定程度上,并创建一个分离从那些在单片机上运行毫升和加速器运行它。

“我们正在看到一个度量是增加设计的变化,“导师的米勒说。“有很大的趋势看到IC设计特定的市场或用例或产品线。在越来越多的互动,我们看到系统公司寻求一个领域物联网应用程序或服务。他们不仅考虑出售芯片。这些东西需要一段时间来市场,我们只是看到前缘,所以很有可能会。”

单片机没有程序肌肉来执行一个单独的推理模型,即使是训练有素,量化,否则压缩。给出正确的任务,比如分析数值或其他基于文本的信息而不是大量的图形或时间敏感的数据,单片机和dsp常常能处理好压力,虽然不一定非常高水平的性能。

“在耳机等设备,设备可以监听唤醒的话,设计师最重要的事情是找到低功耗架构,”戴夫Pursley说,产品经理HLS节奏。“芯片会花大部分的时间关闭,但这一小部分必须启动监听命令字。如果列表太长或你不小心空间优化设计时,你失去了对区域和权力,这是你不想要的东西。”

技能短缺
寻找有能力这样做的人并不总是容易的,虽然。”有一个真正的短缺,工程技术来构建这些解决方案和程序现在,”IHS”哈肯伯格说。“这是一个原因,我们有时会建议购买英伟达,这是昂贵的,但可以有成本效益的,因为它节省时间。,因为它是一个平台,开发工具,instruction-everything你需要让它工作。”

为小型设备编码并不比平时更加棘手。但这些新机器学习有时误解很基本的事情,如在代码运行,它将去哪里如果应对任何事情。

“如果你有软件设备监听wake-word,你设备上,”监狱长说。”但如果是送东西到云当有趣的事情就会问做什么当它听到后单词可以使更多的云相互作用而不是关注在设备上运行。这是我们经常看到一种模式。”

有关的故事
数据混乱的边缘
处理器和数据类型的差异将产生不可预测的影响人工智能系统。
设计的优势
数据增长引发更多的选项,但到目前为止,还不清楚谁会赢。
机器学习驱动高级合成繁荣
随着端点架构越来越复杂,EDA工具成为关键工具尝试不同的选择。
推测在边缘
为什么需要不同的架构来处理大量数据。