AI和IP在边缘计算快5 g和物联网

边计算,处理和分析数据的概念在服务器接近他们所服务的应用,越来越受欢迎,开辟新市场,建立电信服务提供商、半导体公司,和新软件生态系统。杰出的技术一起过去几十年开始启用这个新空间大数据和有很多的信息,现在存储在大型的数据中心,我们可以分析混沌世界上为消费者提供新值。这个概念与物联网的结合,连接一切,从咖啡杯到药片分配器,炼油厂造纸厂,智能护目镜,手表,和价值的消费者可能是无限的。

然而,许多人认为市场没有经验的曲棍球棒增长曲线预期物联网。物联网的连接根本没带足够的消费价值,除了特定的利基市场。在过去的5年,然而,技术进步为人工智能(AI)已经开始改变工业和的值连接的概念可以提供给消费者。这是一个非常激动人心的时刻随着市场的无限潜力可以看到在大数据的结合,物联网,和人工智能,但是我们只在很长一段路的开始。的一个最初的发展,有助于利用组合计算边缘的概念及其对未来的影响的技术路线图。

边缘的概念计算可能不是革命性的,但将会实现。增长这些实现可以解决很多问题,包括减少能源使用大型数据中心,改善安全的私人数据,使破损安全解决方案,减少信息存储和通信成本,通过更低的延迟和创建新的应用程序的能力。

但边缘计算是什么?它是如何使用的,它可以提供一个网络有什么好处?理解边计算,我们需要了解什么是推动其发展,边缘计算应用程序的类型,以及企业如何构建和部署边缘计算今天soc。

边计算、边云、雾计算企业

边缘计算有很多方面,包括“边缘云计算”和“雾计算”。边缘计算通常被描述为在本地运行的应用程序服务器的概念以移动云过程接近结束时设备。

“企业计算”历来以类似的方式使用边缘计算但不一定更准确地描述网络功能和计算的位置。雾计算,由思科,基本上是一样的边缘计算虽然有许多人描绘雾上方或下方边缘计算空间甚至边缘计算的一个子集。

供参考,终点设备和端点通常被称为“边缘设备”,不与边缘计算混淆,这个界定对于我们的讨论是很重要的。边缘计算可以采取多种形式,包括小聚合器,当地的本地服务器,或微数据中心。微数据中心可以在固定区域分布,甚至可移动的存储容器,皮带上的18轮大型卡车。

边缘的价值计算

传统上,传感器、摄像头、麦克风和一个数组不同的物联网和移动设备收集数据从它们的位置和发送数据到一个集中的数据中心或云。

到2020年,超过500亿的智能设备在全球范围内将连接。这些设备将生成字节的数据(ZB)每年增长到2025年150多ZB。

互联网是建立可靠的骨干设备,连接到云,帮助确保数据包到达目的地。

然而,将这些数据发送到云带来了一些巨大的问题。首先,150 zb的数据将创建能力问题。其次,它从它的位置是昂贵的传输数据的集中式数据中心的能源、带宽和计算能力。项目估计,只有12%的当前数据是分析公司,拥有它,只有3%的数据有助于任何有意义的结果(这是97%的数据收集和传播,浪费,为我们“环境数学家”)。这清楚地概述了运营效率需要解决的问题。第三,电力消耗的存储、传输和分析数据是巨大的,找到一个有效的方法来减少成本和浪费显然是必要的。引入边缘计算本地存储数据降低输电成本;然而,技术效率也需要删除垃圾数据,和今天的主要方法是人工智能功能。因此,大多数本地服务器上所有应用程序添加人工智能功能,和占主导地位的基础设施正在安装新的低功耗计算边缘服务器cpu与连通性AI加速度soc, gpu的形式和asic或这些芯片的数组。

除了解决能力、精力和成本问题,边缘计算还使网络可靠性随着应用程序可以继续在广泛的网络中断函数。威胁和安全可能是改善通过消除一些资料,如全球数据中心拒绝服务(DoS)攻击。

最后,计算边缘的最重要的一个方面是能够提供低延迟实时虚拟现实等用例拱廊和移动设备视频缓存。减少延迟将产生新的服务,使设备在自动车辆提供许多创新的应用程序,游戏平台,或具有挑战性的、快节奏的制造环境。

应用驾驶边缘计算

最直言不讳的司机边计算5 g的基础设施。5 g电信提供商上看到了一个机会来提供服务的基础设施。除了传统的数据和语音连接,5 g电信提供商正在构建生态系统主机独特的本地应用程序。通过将服务器所有的基站,移动电话运营商可以向第三方开放其网络的主机应用程序,从而提高了带宽和延迟。

像Netflix的流媒体服务,通过他们的Netflix开放连接程序与当地互联网服务提供商,已经工作多年,主机高流量的内容更贴近用户。5 g的多路存取的边缘计算(MEC)倡议,电信提供商看到为流媒体内容提供类似服务的机会,游戏,和未来的新的应用程序。电信提供商对每个人都相信他们可以打开此功能作为有偿服务,使任何人都需要低延迟支付溢价定位应用程序的边缘,而不是在云中。

信任的研究认为,到2026年整个边缘计算市场将b约9.6美元。相比之下,研究和市场分析认为移动边缘计算从几亿美元今天市场的增长到2026年的超过2.77美元。尽管电信是最直言不讳的和可能增长最快的引擎,他们估计仅占三分之一的总计算市场优势。这是因为网络规模、工业和企业集团还将提供边缘计算硬件、软件和服务的传统市场,预计边缘计算也将开放新的应用程序的机会。

受欢迎的快餐店是朝着更加自动化的厨房为了保证食品质量,减少员工培训,提高操作效率,确保客户体验满足期望。菲尔是一个快餐连锁店,成功地使用本地服务器来聚集数以百计的传感器和控制器与当地相对廉价的设备,在本地运行,防止任何网络中断。这是2018年菲尔概述博客声称“通过智能厨房设备我们可以收集更多的数据。通过将数据应用到我们的餐厅,我们可以建立更多的智能系统。通过建造更多的智能系统,我们可以更好地扩展我们的业务。“博客接着轮廓,许多餐馆现在可以处理业务,3 x数量的原计划由于计算边缘的帮助。

总的来说,一个成功的边缘计算基础设施需要结合本地服务器的计算能力,人工智能计算功能,和连接到移动/汽车/物联网计算机系统(图1)。

图1:边缘移动云计算过程更接近终端设备通过使用微数据中心来分析和处理数据。

用例边缘计算——微软全息透镜

了解延迟使用边缘计算的好处,罗格斯大学和Inria的分析了边缘的可伸缩性和性能计算(或者,正如他们所说的,“边缘云”)使用微软全息透镜。

在使用情况下,全息透镜读取条形码扫描仪,然后使用场景分割在构建导航用户特定的房间,箭头显示在全息透镜。用于小数据包的过程映射坐标和更大的连续视频验证数据包延迟传统边缘计算与云计算的改进。全息透镜最初读取二维码,边缘服务器发送映射坐标数据,使用4字节加标题,1.2毫秒(女士)。服务器发现坐标并通知用户的位置是什么,总共16.22 ms。如果你同样的数据包发送到云,大约需要80 ms(图2)。

图2:比较延迟边缘设备云服务器和边缘设备边缘云服务器。

同样,他们测试了延迟当使用OpenCV场景分割全息透镜的用户导航到一个适当的位置。30 fps全息透镜实时视频,图像处理,边缘计算服务器3.33 GHz的英特尔i7处理器15 gb RAM。流媒体数据计算边缘服务器4.9毫秒。处理OpenCV图片女士花了额外的37个,总共47.7 ms。云服务器上相同的过程花了接近115 ms,显示一个明确的优势减少延迟计算的好处。

这个案例研究边缘计算延时,显示了很大的益处,但有这么多的新技术在未来将更好地实现低延迟。

5 g轮廓用例小于1毫秒延迟今天(图3)和6克已经讨论减少到10年代微秒(µs)。5 g和wi - fi 6正在增加的带宽连接。5克打算增加10 gbps, wi - fi 6已经支持2 gbps。AI加速器声称在不到20µs场景分割是一个重要的改进援引英特尔i7处理器处理每一帧的大约20 ms在上述例子技术论文。

图3:带宽提高到10 gbps,相比10年代和100年代的议员在图2中,从全息透镜到路由器和路由器到边缘服务器结合人工智能处理的改进(20 20我们女士)使往返延迟< 1毫秒。

显然,如果边缘计算显示的好处在云计算,不会进入边缘移动计算设备的最优解决方案吗?不幸的是,并不是今天的所有应用程序(图4)。在全息透镜的案例研究中,数据使用一个SQL数据库,将太大存储的耳机。今天的边缘设备,特别是设备身体穿,没有足够的计算能力来处理大型数据集。除了计算能力,软件在云或边缘服务器是便宜比边缘设备的软件开发,因为云/边缘软件不需要压缩成更小的内存资源和计算资源。

图4:云计算和比较优势与端点设备计算。

因为某些应用程序运行理想情况下基于计算能力,存储功能,内存可用性和延迟功能不同位置的基础设施是在云中,边缘服务器或在边缘设备有一个趋势支持未来混合动力计算功能(图5)。边缘计算是初始建立混合计算基础设施在世界各地。

图5:人工智能安装在全息透镜,在边缘服务器,云使混合计算架构和优化计算,基于应用程序需要的内存和存储资源。

理解边缘计算部分

计算是计算边缘位置接近比云应用程序。然而,300英里,3英里或300英尺?云计算的世界上,理论上有无限的内存和无限的计算能力。设备,理论上有足够的计算和内存资源获取和发送数据到云上。这两个理论都有点超出了现实,但我们用这个作为一个方法来描述计算不同级别的优势。随着云计算资源接近终点设备或应用程序,从理论上讲,存储、内存和计算资源变得越来越少。使用这些资源的权力也降低。靠拢的好处不仅降低功率,降低延迟和增加效率。

三个基本边缘空间内计算架构开始出现(图6)。第一和最接近传统数据中心是微型版本的区域数据中心云计算农场放在战略来减少延迟,但保持尽可能多的计算、存储和内存。许多公司和创业公司解决这个空间但soc专门解决区域数据中心很难区分从今天典型的云计算解决方案,专注于高性能计算(HPC)。

本地服务器和备用服务器,第二边缘计算部分,是许多SoC的解决方案解决能耗和连接边缘计算具体的需求。今天还有一个大型商业化开发软件,特别是采用更灵活的平台,使集装箱码头工人和Kubernetes等。Kubernetes使用前面描述的菲尔的例子。本地服务器的最有趣的一段关于半导体供应商是引入芯片组的出现相邻服务器处理所需的人工智能加速度SoC。显然,一个AI加速器位于计算农场在云中,但略有不同阶级的AI加速器建立边缘服务器,因为这就是市场预计增长和有机会捕获立足在这个有前途的空间。

第三段为边缘计算包括聚合器和网关旨在执行有限的功能,也许只有运行一个或几个应用程序与最低的延迟和功耗最小。

这三个部分定义了支持真实世界的应用程序。例如,麦肯锡已经确定107多个用例的分析计算边缘。ETSI,通过集团规范002 v.2.1.1 MES, 35岁以上定义用例5 g MEC包括游戏、服务水平协议、视频缓存,虚拟现实,交通重复数据删除,等等。这些应用程序有一些预定义的延迟需求基于基础设施的边缘服务器可能存在的地方。OpenStack基金会是另一个组织合并计算边缘与中心办公室到他们的努力重新架构作为一个数据中心(绳)延迟预期,传统电信办公室分布在网络现在托管云服务器。

5 g市场预计用例低至1毫秒延迟往返,从边缘设备,边缘到边缘服务器,回设备。为实现这一目标的唯一方法就是通过一个本地网关或聚合器,一路的云一般需要100 ms。6 g计划,介绍了在2019年的秋天,宣布的目标10年代µS延迟。

每个边缘计算系统支持类似的架构包括一个网络SoC的SoC,一些存储、服务器SoC,现在人工智能AI加速器加速器或数组。每种类型的系统提供自己的延迟、功耗和性能。一般指南描述这些系统如图6所示。市场正在发生变化,这些数字可能会随着技术进步迅速。

图6:比较边缘的三个主要SoC架构计算:区域数据中心/边缘云;本地服务器/本地服务器;和聚合器/网关/访问。

边计算影响服务器系统soc怎么样?

许多边缘计算应用程序的主要目标是在新服务与低延迟。支持更低的延迟,许多新系统是采用一些最新的行业包括作为PCIe 5.0接口标准,LPDDR5, DDR5, HBM2e, USB 3.2, CXL, PCIe-based NVMe,和其他下一代基于标准的技术。每一种技术都提供了更低的延迟通过带宽相比上一代的改进。

比开车更加明显减少延迟的AI加速度计算系统所有的这些优势。AI加速度是由一些服务器芯片提供新的指令,例如x86指令扩展avx矢量- 512神经网络(AVX512 VNNI)。很多时候,这些额外的指令集不足以提供所需的低延迟和低功率实现预期的任务,所以自定义AI加速器被添加到新系统。这些芯片所需的连接通常采用最高带宽主机加速器连接成为可能。例如,使用5.0作为PCIe迅速扩张的今天是由于这些带宽需求直接影响延迟,最常见的切换配置有多个AI加速器。

CXL是另一个界面,正逐渐成为专门建造更低的延迟和提供缓存一致性。缓存一致性很重要由于异构计算需求和广泛的人工智能算法的内存需求。

除了本地网关和聚合器服务器系统,一个AI加速器通常不提供足够的性能,扩展这些加速器要求非常高的带宽到并行转换器。最新发布的phy支持56 g和112 g连接。到需求支持缩放AI已经见过许多不同的实现。以太网规模可能是一个选择在一个基于标准的实现,和一些解决方案今天提出这个概念。然而,今天许多实现利用可能的最高的带宽并行转换器与专用控制器。不同的架构可能会改变未来的SoC架构的服务器系统将网络,服务器,AI和存储组件更加集成的SoC和4中不同的SoC今天正在实现。

图7:常见的服务器SoC发现边上有可变性的处理器数量,基于以太网的吞吐量和存储能力的任务,权力,延迟和其他需求。

AI算法正在推动对内存带宽的限制要求。举个例子,最近伯特和GPT-2模型需要分别为345和1.5 b参数。显然大容量内存功能需要承载这些以及许多复杂应用程序旨在执行在云的边缘。为了支持这种能力,设计师采用DDR5新的芯片组。除了能力挑战,人工智能算法的系数需要访问多个积累的大量计算在并行非线性序列。因此,HBM2e是最新技术,快速应用与许多实例化每个死去。

图8:常见的AI SoC与高速度、高带宽、内存、主机加速器,高速模模具接口扩展多个AI加速器。

移动目标和边缘分割的计算

如果我们仔细看看不同类型的边缘计算需要我们将看到区域数据中心,本地服务器、网关和聚合有不同的计算,延迟和功率需求。未来需求显然是专注于降低往返的延迟反应,降低应用程序特定的力量优势,并确保有足够的处理能力来处理特定的任务。

电力消耗的服务器soc基于延迟和处理需求不同。下一代的解决方案不仅更低的延迟和更低的权力,但也包括人工智能功能,特别是人工智能加速器。这些人工智能加速器的性能也在改变基于这些需求的比例。

然而,很明显,人工智能和边缘计算需求快速变化和我们今天所看到的许多解决方案进行多次在过去的2年,并将继续这样做。今天的表现可以分类但数量将继续移动,提高性能,降低功耗,降低整体延迟。

图9:下一代服务器soc和AI的加速器将边缘计算更快。

结论

边缘的计算是一个非常重要的方面使更快的连接。它将使云服务更接近边缘的设备。它会降低延迟和为消费者提供新的应用程序和服务。将扩散AI功能,移动的云。它将成为未来基本技术,使混合计算,计算决策可以在本地实时,在云或设备基于延迟需求,电力需求和整体存储和性能需求。