中文 英语

为边缘计算加速

新方法管理和处理数据出现,与标准进行比较的方法。

受欢迎程度

边缘开始成形作为一种限制的数据量需要推高到云处理,为大规模计算体系结构和芯片制造商之间的竞争转变为股权的新的和非常有利可图的市场。

到目前为止,还不清楚体系结构会赢,或者如何分区和数据之间需要处理什么,可以捣毁。然而,人们普遍协议,处理大量数据迁移到云的散装是行不通的权力,带宽和延迟的角度。因此,虽然还有一个重要的角色,另一层需要处理终端设备和大型超大型数据中心,特别是对于图像和流数据。

“互联网,目前,倒退,“富裕Wolsky说,加利福尼亚大学的计算机科学教授,圣芭芭拉分校。“我们需要开始考虑减少对物联网和思考更多关于基础设施。现在,没有规模。我们需要设计一组抽象,包括电力和成本限制。”

这就是边缘适合。最初,他们的想法是,5克通信将减轻另一层的需要,允许廉价物联网设备将数据直接发送到云进行即时处理。但毫米波技术的局限性,加上大量的数据和移动数据所需的时间和精力——是指计算世界方向不同。

“数据从1万亿年物联网设备将打破互联网,”Van Hensbergen称埃里克说,研究员手臂的研究部门。“边缘计算是不可避免的,但它也创造了一个真正有趣的挑战:如何做端到端分布式系统开发。有各种各样的不同的形式因素,各种不同的加速器,它提出了质疑的最佳地点在哪里运行一个特定的函数。所以你运行一个函数近或远吗?如果你是聚合多个传感器,建立基础设施。”

而这仅仅是一个开始的边缘概念开始成形。“你必须处理谁拥有数据,这可能是在工厂设备,基站或者蜂窝数据,”Van Hensbergen称说。“那么你需要建筑师的端到端安全性和找出你建立在隐私和/或如何供应匿名机制。”

设备的优势是什么?
问两人什么是边缘,你可能会得到两种不同的答案。一般来说,一个边缘设备做一些处理的信息,而不是一个物联网设备,或者端点,是由一个数据传感器和运送到云进行处理。虽然这种方法对于某些应用程序,工作时间发送数据,处理它,并返回任何相关可以秒或分钟。

它也不能解决一个关键问题,那就是并不是所有的数据都是平等的价值。例如,考虑一个自治或assisted-driving车辆。如果相机图像传感器检测物体在路上,他们需要立即处理这些数据。但直到他们发现对象,对象的道路可能完全清楚,所以数据流到一个传感器是无用的人,车辆。这一事实仍然没有在路上可能有用的其他车辆接近这片区域在未来,所以处理至少一些云中的数据可能重要的路由的车辆。

最大的问题是如何分区的数据。自主车辆、机器人、无人机、或任何其他系统运动通常被认为是边缘设备,因为这就是分区和一个相当大的部分的处理需要发生。定义还包括一个家庭网关,但它也可以包含一个服务器在更接近比云数据的来源,它可以包括私有云,各种类型的本地电脑。

“今天没有一个物联网的部署是可移植的,”加州大学圣芭芭拉分校的Wolsky说。“你可以沟通和移动数据,数据可能会有一些错误,或者你可以计算。如果你丢失的数据,你可以填补它与某种形式的插值,但通常是不清楚你该怎么做。这是由功率预算或最后期限。也不清楚应该做什么方面的准确性。有一个总体处罚插值。那么你最终作出决定分析基于运行数据的质量,可以很时间。然后质量依赖于部署——有多远,是多么有损你的网络,你有多大的权力?”

方法还有助于维护数据,从隐私和安全的角度来看,数据本身的完整性。

重新考虑计算模型
所有的这些原因,处理数据本地或区域开始越来越有吸引力,是促使企业想出创新的方式处理这个问题。

弗劳恩霍夫为例,开发了一种传感器,剔除了重要的数据从一个图像传感器,而不是整个图像流。

“15年前,他们的想法是,一切将进入云,你会需要大量的带宽,”安德烈亚斯Bruning说,高效电子部门的主管弗劳恩霍夫自适应系统的工程部门。”被定义为边缘路由器和数据从传感器发送到路由器和云。但高效的电子产品,你需要模拟过滤。所以你获取你想要的图片,和你下一个画面。你可以多次每秒为多个成千上万的图片,和你只计算图片。”

而不是花的全帧图像,只传感器收集保存至关重要。如果有两辆车在路上,例如,他们构成的一小部分传感器的视野,唯一的数据保存在多个框架。这两个汽车这大大减少了需要处理的数据量超出了传感器。

“很多人看这是更多的数据的问题,“Bruning说。“我们从另一个角度。它是关于函数的知识。”

边缘的一个关键元素是决定处理数据,并且可以有很大区别。例如,Achronix联手BittWare创建一个作为PCIe加速卡,智能卡上做一些处理,而不是在一个CPU或GPU。

”不同的是,我们不只是想建立一个新的卡,”Steve Mensor说负责营销的副总裁Achronix。“我们的目标是增加新功能。这不仅仅是董事会与一个愚蠢的桶。我们看到的是一个伟大的多样性的工作负载的地方没有余地更多Xeon处理器,因为它们已经刷爆了一个CPU能做什么。”

虽然方法同样适用在云中边缘,卸载处理从CPU的目标是相同的。有多个加速器、内部network-on-chip和GDDR6记忆。

”而不是数据的算法,你的算法的数据,”克雷格•皮特里称BittWare营销副总裁。“也有扩张港口可以直接嵌入到港口在卡和不动很远的数据。所以我们可以清楚如何架构芯片或卡,但是我们也发现这是一个动态市场,它需要适应新的应用程序。我们看到这张卡片的新用途,我们没看到。”


图1:不同工作负载的边缘。来源:Achronix

AI /毫升
虽然基准可以帮助建立一个结构,所面临的挑战是,所有这一切需要设置的背景下如何实际使用这些芯片。这就变得特别明显人工智能机器学习之上许多这些边缘的架构,因为真正弥补性能和权力优势从这些芯片是实现效率通过硬件和软件进行更紧密的整合。

在过去,大多数的开发一直局限于云,因为是算法训练的地方。在培训的情况下,数据越多越好。但推论可以操作一个小得多的数据集,这使得它适合于云和优势。

催生了一个全新的竞争市场,直到6个月前几乎不存在。它包括从汽车到工业和医疗应用程序,和芯片架构的一个关键难题。但是的一个挑战,因为这个市场非常新,是如何比较标准化的方式这些芯片的性能。

“一个基准不是一个好迹象推断芯片的性能,”杰夫•泰特说的首席执行官Flex Logix。“如果你看看ResNet 50 YOLOv3,有很大的差别不仅在计算方面,而且在他们如何使用内存。”

ResNet 50,每张图片需要20亿乘以积累,但是YOLOv3,大约是2000亿乘积累(mac)因为计算工作量要高得多。所以真正做一个有效的比较,它需要了解工作负载,重量和内存子系统的架构。这是特别重要的在汽车,响应时间与安全。

“与边缘应用程序,你几乎肯定要立即回应,“泰特说。“在一辆车,你肯定想知道的人,所以你有机会避免它们。后来发现你不帮你。”

了解一个芯片比较另一个在这个领域已经引发了一场争夺标准化测量在某种程度上类似于CPU的世界上已经做了几十年。MLPerf公司去年开始,如阿里巴巴,英伟达,戴尔EMC,谷歌,Habana实验室,高通、结合斯坦福大学,加州大学伯克利分校和哈佛大学,其中,本周推出500推论基准来自14个不同的公司,连同白皮书所使用的方法。

“我们的目标是能够做横向比较,“伊塔Hubara, Habana研究员。“这将是紧随其后的是功率基准的下一个版本。”


图2:四个场景的推论。来源:MLPerf

其他的考虑
所有这些假设传感器输入是正确的,传感器行为始终和工作在理想条件下,随着时间的推移,传感器将调整占漂移。在现实世界中,没有一个是保证。

“最大的变化是在软件”,杰夫·菲利普斯说,汽车营销主管国家仪器。“你验证输入本身,所以传感器不仅看到它,但它也分类,然后暗示它如何预测下一个运动。大多数车祸涉及自主汽车,传感器看到一个对象,但没有选择正确的行为。它看到对象,分类正确,并准确地预测其未来运动?然后,如何应用于传感器看到所有的东西,除了激光雷达外,其他雷达面前,另一个超声波传感器?所有这些是如何联系在一起?什么是变量的数量变化情况。”

还有其他的变化与优势,相关,包括如何以及在何处存储数据。运动对内存和near-memory计算是一个识别的边缘变化多少。Adesto技术例如,研究如何将模拟数据直接存储在内存中没有将它转换为数字格式。此外,还有努力而不是单个比特存储字符串的数据。算法开始成熟,将会有一个巨大的努力来优化软件利用新硬件。

结论
而边缘的概念并不是全新的,直到最近它被认为是一种从云中获取数据和更快。在过去的一年里已经发生了很大的改变,与动量构建全新的计算架构。

这部分市场的大问题是它是否会巩固在标准化的芯片和计算架构或分裂成更多的单独的应用程序定制解决方案和细分市场。此时在边缘的发展,很难说这将如何演变,或者最终的影响将是未来云计算和终点的设计。

有关的故事
数据混乱的边缘
处理器和数据类型的差异将产生不可预测的影响人工智能系统。
HW / SW设计的智能优势
系统非常具体和电量有限,这使得设计极其复杂。
优势在哪里?
边缘会是什么样子,这和云,什么要求都进行处理和存储,和这一概念将如何演变。
机器学习推论的边缘
如何设计毫升芯片不同于其他类型的处理器。
优化能力的学习优势
使学习边工作需要显著减少,这意味着重新考虑流的所有部分。
边缘知识中心
内存子系统推论芯片边缘
权衡和他们对权力的影响,热,性能和面积。



1评论

瑞安 说:

这非常有助于理解这种新兴空间,和写得很好。谢谢!

留下一个回复


(注意:这个名字会显示公开)

Baidu