边缘计算中的AI如何推动5G和物联网

边缘计算是在服务器上处理和分析数据的概念，它与所服务的应用程序更接近。边缘计算越来越受欢迎，并为老牌电信供应商、半导体初创公司和新的软件生态系统开辟了新的市场。在过去的几十年里，技术是如何结合在一起，以大数据为起点，让这个新领域成为可能的，这是非常聪明的，因为有了大量的信息，现在存储在大型数据中心，我们可以分析世界上的混乱，为消费者提供新的价值。将这一概念与物联网相结合，并将一切事物连接起来，从咖啡杯到药丸分药房，从炼油厂到造纸厂，从智能护目镜到手表，对消费者的价值可能是无限的。

然而，许多人认为，市场并没有经历物联网预期的曲棍球棒式增长曲线。物联网的连通性并没有带来足够的消费者价值，除了特定的利基市场。然而，在过去的五年里，人工智能(AI)的技术进步已经开始彻底改变行业和连接可以为消费者提供的价值的概念。这是一个非常令人兴奋的时刻，因为市场可以看到大数据、物联网和人工智能结合的无限潜力，但我们只是在漫长道路的开始。帮助利用这一组合的最初发展之一是边缘计算的概念及其对未来技术路线图的影响。

边缘计算的概念可能不是革命性的，但其实现将是革命性的。这些实现将解决许多日益严重的问题，包括减少大型数据中心的能源使用，提高私有数据的安全性，启用故障安全解决方案，降低信息存储和通信成本，以及通过降低延迟能力创建新的应用程序。

但是什么是边缘计算呢?如何使用它，它能为网络提供什么好处?要了解边缘计算，我们需要了解是什么推动了它的发展，边缘计算应用程序的类型，以及公司今天是如何构建和部署边缘计算soc的。

边缘计算，边缘云，雾计算，企业
边缘计算有很多术语，包括“边缘云计算”和“雾计算”。边缘计算通常被描述为在本地服务器上运行的应用程序的概念，目的是将云进程移动到更接近终端设备的位置。

传统上，“企业计算”的使用方式与边缘计算类似，但更准确地描述了网络能力，而不一定是计算的位置。雾计算由Cisco创造，基本上与边缘计算相同，尽管有许多人将雾描述为边缘计算空间的上方或下方，甚至作为边缘计算的一个子集。

作为参考，端点设备和端点通常被称为“边缘设备”，不要与边缘计算混淆，这种划分对我们的讨论很重要。边缘计算可以采取多种形式，包括小型聚合器、本地本地服务器或微型数据中心。微型数据中心可以区域性地分布在固定的或甚至可移动的存储容器中，这些存储容器可以绑在18轮卡车上。

边缘计算的价值
传统上，传感器、摄像头、麦克风以及一系列不同的物联网和移动设备从其所在位置收集数据，并将数据发送到中央数据中心或云。

到2020年，将超过500亿年智能设备将实现全球互联。到2025年，这些设备每年产生的数据量将超过150zb。

互联网的主干是为了可靠地将设备相互连接和连接到云，帮助确保数据包到达目的地。

然而，将所有这些数据发送到云端会带来几个巨大的问题。首先，150zb的数据会产生容量问题。其次，就能源、带宽和计算能力而言，将如此多的数据从原始位置传输到集中式数据中心的成本很高。据估计，目前只有12%的数据被拥有这些数据的公司分析，只有3%的数据有助于产生任何有意义的结果(对我们这些“环境数学家”来说，这是收集和传输的97%的数据，浪费了)。这清楚地概述了需要解决的运营效率问题。第三，存储、传输和分析数据的功耗是巨大的，显然需要找到一种有效的方法来降低成本和浪费。引入边缘计算在本地存储数据可以降低传输成本;然而，也需要提高效率的技术来消除数据浪费，目前主要的方法是依靠人工智能能力。因此，所有应用程序中的大多数本地服务器都在添加AI功能，目前安装的主要基础设施是新的低功耗边缘计算服务器cpu，以gpu和asic或这些芯片阵列的形式连接到AI加速soc。

除了解决容量、能源和成本问题外，边缘计算还可以提高网络可靠性，因为应用程序可以在广泛的网络中断期间继续运行。此外，通过消除一些威胁配置文件(如全球数据中心拒绝服务(DoS)攻击)，安全性可能得到改善。

最后，边缘计算最重要的一个方面是能够为虚拟现实街机和移动设备视频缓存等实时用例提供低延迟。减少延迟将产生新的服务，使设备能够在自动驾驶汽车、游戏平台或具有挑战性的快节奏制造环境中提供许多创新应用程序。

“通过在边缘处理传入数据，需要发送到云端和返回的信息就更少了。这也显著降低了处理延迟。一个很好的类比是，一家受欢迎的披萨餐厅在更多的社区开设了较小的分店，因为在主要地点烘焙的披萨饼在送到远处的顾客手中时会变冷。”

Michael Clegg |超微物联网和嵌入式副总裁兼总经理

驱动边缘计算的应用
边缘计算最受欢迎的驱动力之一是5G基础设施。5G电信供应商看到了在其基础设施上提供服务的机会。除了传统的数据和语音连接，5G电信供应商正在构建生态系统，以承载独特的本地应用程序。通过将服务器放在所有基站旁边，移动运营商可以向第三方的主机应用程序开放他们的网络，从而提高带宽和延迟。

像Netflix这样的流媒体服务，通过他们的Netflix Open Connect计划这些公司已经与本地isp合作多年，在更接近用户的地方提供高流量内容。通过5G的多接入边缘计算(MEC)计划，电信供应商看到了为流媒体内容、游戏和未来新应用提供类似服务的机会。电信供应商相信，他们可以将这一功能作为付费服务向所有人开放，使任何需要较低延迟的人都可以支付额外的费用，在边缘而不是云中定位应用程序。

Credence Research认为，到2026年，全球经济将全面复苏边缘计算市场将在106亿美元左右。相比之下，研究和市场分析认为，移动边缘计算市场将从今天的几亿美元增长到2026年的27.7亿美元以上。尽管电信行业的呼声最高，而且可能是增长最快的引擎，但据估计，它们只占边缘计算市场总量的三分之一左右。这是因为网络规模、工业和企业集团也将为其传统市场提供边缘计算硬件、软件和服务，这些市场期望边缘计算也将为新应用程序打开机会。

受欢迎的快餐店正在向更加自动化的厨房发展，以确保食品质量，减少员工培训，提高运营效率，并确保客户体验达到预期。Chick-fil-A是一家快餐连锁店，它成功地使用内部服务器将数百个传感器和控制器与相对便宜的本地设备结合起来，以防止任何网络中断。2018年的一份报告概述了这一点菲尔的博客声称“通过制造更智能的厨房设备，我们可以收集更多数据。通过将数据应用到我们的餐厅，我们可以构建更智能的系统。通过构建更智能的系统，我们可以更好地扩大业务规模。”该博客接着概述说，由于边缘计算的帮助，许多餐馆现在可以处理原来计划的3倍的业务量。

总的来说，一个成功的边缘计算基础设施需要结合本地服务器计算能力、AI计算能力以及与移动/汽车/物联网计算系统的连接(图1)。

图1:边缘计算通过使用微型数据中心分析和处理数据，使云处理过程更接近终端设备。

“随着物联网(IoT)连接越来越多的设备，网络正在从主要的高速公路到中心位置，转变为类似于互联的、中间存储和处理设备的蜘蛛网。边缘计算是在生成数据的客户端附近捕获、存储、处理和分析数据的实践，而不是在集中的数据处理仓库中。因此，数据存储在网络‘边缘’的中间点，而不是始终存储在中央服务器或数据中心。”

James Stanger博士|首席技术传道者| CompTIA

边缘计算用例-微软HoloLens
为了了解使用边缘计算的延迟好处，罗格斯大学和Inria分析了边缘计算(或他们称之为“边缘云”)的可伸缩性和性能微软全息透镜．

在该用例中，HoloLens读取条形码扫描仪，然后使用建筑物中的场景分割，通过HoloLens上显示的箭头将用户导航到特定的房间。该过程同时使用了映射坐标的小数据包和连续视频的大数据包来验证边缘计算相对于传统云计算的延迟改进。HoloLens最初读取QR码，将映射坐标数据发送到边缘服务器，使用4个字节加上头部，耗时1.2毫秒。服务器找到坐标并通知用户位置，总共耗时16.22毫秒。如果将相同的数据包发送到云，大约需要80毫秒(图2)。

图2:比较边缘设备到云服务器与边缘设备到边缘云服务器的延迟。

同样，他们在使用OpenCV进行场景分割以将Hololens用户导航到适当位置时测试了延迟。HoloLens以30帧/秒的速度流媒体视频，图像在边缘计算服务器上处理，使用英特尔i7 CPU，频率为3.33 GHz，内存为15GB。将数据流传输到边缘计算服务器需要4.9毫秒。处理OpenCV图像需要额外的37 ms，总共47.7ms。在云服务器上，相同的过程花费了近115毫秒，显示了边缘计算在减少延迟方面的明显优势。

这个案例研究显示了边缘计算在延迟方面的显著优势，但未来还有很多新技术可以更好地实现低延迟。

5G概述了目前延迟小于1毫秒的用例(图3)，6G已经在讨论将延迟降低到10秒微秒(µs)。5G和Wi-Fi 6正在提高连接带宽。5G计划将速度提高到10Gbps，而Wi-Fi 6已经支持2Gbps。人工智能加速器声称场景分割不到20毫秒，这比上面描述的示例技术论文中引用的英特尔i7 CPU处理每帧大约20毫秒有了显著的改进。

图3:与图2中10s和100s的Msps相比，带宽提高到10Gbps，从Hololens到路由器，再到路由器到边缘服务器，再加上AI处理的改进(20ms到20µs)，使得往返延迟<1ms。

显然，如果边缘计算显示出了优于云计算的优势，那么将计算一直转移到边缘设备不是最佳解决方案吗?不幸的是，并非所有应用程序都适用(图4)。在HoloLens案例研究中，数据使用的SQL数据库太大，无法存储在耳机中。今天的边缘设备，尤其是物理磨损的设备，没有足够的计算能力来处理大型数据集。除了计算能力之外，云或边缘服务器上的软件的开发成本比边缘设备上的软件要低，因为云/边缘软件不需要压缩到更小的内存资源和计算资源中。

图4:将云计算和边缘计算与端点设备进行比较。

由于某些应用程序的理想运行是基于计算能力、存储能力、内存可用性和我们基础设施不同位置的延迟能力(无论是在云中、在边缘服务器中还是在边缘设备中)，因此有一种支持未来混合计算能力的趋势(图5)。边缘计算是全球混合计算基础设施的初步建立。

图5:安装在Hololens、边缘服务器和云中的AI使混合计算架构能够根据应用程序需求优化计算、内存和存储资源。

理解边缘计算细分
边缘计算是指比云更接近应用程序的计算位置。但是，这是300英里，3英里还是300英尺?在计算领域，云理论上拥有无限的内存和无限的计算能力。在设备上，理论上有足够的计算和内存资源来捕获数据并将数据发送到云端。这两种理论都有点超出现实，但让我们用它作为一种方法来描述不同级别的边缘计算。随着云计算资源越来越接近终端设备或应用，理论上，存储、内存和计算资源会越来越少。这些资源所消耗的能量也降低了。距离更近的好处不仅降低了功率，还降低了延迟，提高了效率。

三种基本的边缘计算架构开始在空间中出现(图6)。首先也是最接近传统数据中心的是区域数据中心，它是云计算农场的微型版本，在战略上放置以减少延迟，但保留尽可能多的计算、存储和内存。许多公司和初创公司都在解决这一领域的问题，但专门针对区域数据中心设计的soc与当今专注于高性能计算(HPC)的经典云计算解决方案几乎没有区别。

本地服务器和内部部署服务器是第二大边缘计算领域，许多SoC解决方案专门解决边缘计算的功耗和连接需求。如今，软件也有了很大的商业化发展，特别是采用了更灵活的平台，支持Dockers和Kubernetes等容器。Kubernetes在前面描述的Chick-Fil-A示例中使用。对于半导体供应商而言，本地服务器领域最有趣的部分是引入与服务器SoC相邻的芯片组，以处理所需的AI加速。显然，AI加速器位于云计算场中，但为边缘服务器构建的AI加速器略有不同，因为这是市场预计将增长的地方，有机会在这个充满希望的空间中获得立足点。

边缘计算的第三部分包括聚合器和网关，它们旨在执行有限的功能，可能只运行一个或几个应用程序，具有尽可能低的延迟和最小的功耗。

这三个部分中的每一个都被定义为支持现实世界的应用程序。例如，麦肯锡(McKinsey)已经确定107个用例的边缘计算分析．ETSI通过其集团规范MES 002 v.2.1.1定义了超过35个5G MEC用例，包括游戏、服务水平协议、视频缓存、虚拟现实、流量重复删除等等。每个应用程序都有一些预定义的延迟需求，这取决于边缘服务器可能存在于基础设施中的哪个位置。OpenStack基金会是另一个将边缘计算纳入其工作的组织，该组织将中央办公室重新架构为数据中心(CORD)的延迟预期，其中分布在整个网络中的传统电信办公室现在托管边缘云服务器。

5G市场预计用例从边缘设备到边缘服务器，再回到边缘设备的往返延迟低至1毫秒。实现这一点的唯一方法是通过本地网关或聚合器，因为一直到云通常需要100毫秒。2019年秋季推出的6G计划宣布了10秒µS延迟的目标。

每个边缘计算系统都支持类似的SoC架构，包括一个网络SoC、一些存储、一个服务器SoC，现在还有一个AI加速器或AI加速器阵列。每种类型的系统都提供自己的延迟、功耗和性能级别。图6描述了这些系统的一般指导方针。市场正在发生变化，随着技术的进步，这些数字可能会迅速变化。

图6:边缘计算的三种主要SoC架构对比:区域数据中心/边缘云;本地服务器/本地服务器;和聚合器/网关/访问。

边缘计算如何影响服务器系统soc ?
许多边缘计算应用程序的主要目标是围绕与较低延迟相关的新服务。为了支持更低的延迟，许多新系统正在采用一些最新的行业接口标准，包括PCIe 5.0、LPDDR5、DDR5、HBM2e、USB 3.2、CXL、基于PCIe的NVMe和其他基于下一代标准的技术。与前几代相比，这些技术都通过带宽改进来降低延迟。

比减少延迟的动力更明显的是，所有这些边缘计算系统都增加了人工智能加速。AI加速是由一些服务器芯片提供的新指令，如x86扩展avx - 512向量神经网络指令(AVX512 VNNI)。很多时候，这个额外的指令集不足以提供预期任务所需的低延迟和低功耗实现，因此自定义AI加速器被添加到大多数新系统中。这些芯片所需的连接通常采用最高带宽主机来加速连接。例如，由于这些直接影响延迟的带宽需求，PCIe 5.0的使用正在迅速扩展，最常见的是在具有多个AI加速器的某种交换配置中。

CXL是另一个正在获得发展势头的接口，因为它是专门为降低延迟和提供缓存一致性而构建的。由于人工智能算法的异构计算需求和大量内存需求，缓存一致性可能非常重要。

除了本地网关和聚合服务器系统之外，单个AI加速器通常无法提供足够的性能，因此需要使用非常高带宽的芯片对芯片SerDes phy来扩展这些加速器。最新发布的phy支持56G和112G连接。支持AI扩展的芯片对芯片需求已经有许多不同的实现。以太网可能是在基于标准的实现中扩展的一种选择，目前有一些解决方案提供了这个概念。然而，今天的许多实现都利用了具有专有控制器的最高带宽SerDes。不同的架构可能会改变未来服务器系统的SoC架构，将网络、服务器、AI和存储组件整合到更集成的SoC中，而不是目前正在实现的4个不同的SoC。

图7:基于任务数量、功率、延迟和其他需求，在处理器数量、以太网吞吐量和存储能力变化的边缘发现的普通服务器SoC。

人工智能算法正在推动内存带宽需求的极限。举个例子，最新的BERT和GPT-2模型分别需要345M和1.5B参数。显然，需要高容量内存功能来承载这些应用程序，以及许多打算在边缘云中执行的复杂应用程序。为了支持这种能力，设计人员正在为新的芯片组采用DDR5。除了容量挑战之外，AI算法的系数还需要在非线性序列中并行进行大量的多次累积计算。因此，HBM2e是一种最新的技术，每个模具都有许多实例化，正在被迅速采用。

图8:具有高速、高带宽、内存、主机到加速器和用于扩展多个AI加速器的高速模对模接口的普通AI SoC。

边缘计算的运动目标和分割
如果我们仔细研究边缘计算的不同类型的需求，我们会发现区域数据中心、本地服务器和聚合网关具有不同的计算、延迟和电源需求。未来的需求显然集中在降低往返响应的延迟，降低特定边缘应用程序的功率，并确保有足够的处理能力来处理特定任务。

服务器soc的功耗根据延迟和处理需求而不同。下一代解决方案不仅将降低延迟和功耗，还将包括AI功能，特别是AI加速器。这些AI加速器的性能也会根据这些需求的规模而变化。

然而，很明显，人工智能和边缘计算的需求正在迅速变化，我们今天看到的许多解决方案在过去两年中已经取得了多次进展，并将继续这样做。今天的性能可以进行分类，但数字将继续变化，提高性能，降低功耗，降低总体延迟。

图9:下一代服务器soc和AI加速器的加入将使边缘计算变得更快。

结论
边缘计算是实现更快连接的一个非常重要的方面。它将使云服务更接近边缘设备。它将降低延迟，并为消费者提供新的应用程序和服务。它将使人工智能能力激增，将它们移出云端。它将成为实现未来混合计算的基础技术，在混合计算中，计算决策可以根据延迟需求、电力需求以及整体存储和性能需求在本地、云中或设备上实时做出。