边缘与云之间的权衡

越来越多的处理是在边缘上完成的，但云计算与边缘计算之间的平衡将如何变化尚不清楚。答案可能既取决于技术限制，也取决于数据的价值和其他商业原因。

钟摆一直在云中进行所有处理和在边缘进行越来越多的处理之间摇摆。这是有充分理由的。本地处理减少了延迟，提高了可靠性和安全性，并有助于解决数据隐私问题。随着越来越强大的边缘处理器架构，以及许多应用程序所需的分辨率的降低，更多的边缘计算正在迅速获得关注。

但这种转变能走多远?我们真的需要吗云或者，它将成为一个分布式的功能，跟随其他几个技术的领导?

从今天开始，边缘计算正在上升。“算法开发的方式和计算机架构的方向意味着，从架构的角度来看，越来越多的计算可能会越来越接近边缘，”ibm的首席执行官西蒙·大卫曼(Simon Davidmann)说治之软件．“如果你的设备靠电池运行，这将限制你的计算量，这可能是限制因素之一，但电池正在变得越来越好。如果不在边缘进行，就必须与基地进行通信，这也会消耗大量电力。”

边缘计算本身也在变得越来越快。“由于处理技术，由于人工智能硬件设计的创新，由于我们在8位等定点处理，您可以将大量处理能力放在移动平台等设备上，”该公司产品营销、管理和业务开发集团总监普林·德赛(Pulin Desai)说节奏．“显然，有一些限制，但你不能认为你只有非常少量的处理。这些设备有很强的处理能力。”

但边缘计算也有局限性。Cadence公司Tensilica AI产品营销总监苏哈斯•米特拉(Suhas Mitra)表示:“当你因为设备不够强大而无法在边缘做某事时，你就必须在云端做。”“今天，我们看到越来越多的人走向边缘，但还有一些人留在云端。基本上就是这样——一些在边缘，一些在云中。问题是，平衡在哪里?这取决于我们谈论的网络类型和用例。”

它还取决于工作负载。公司IP核产品管理高级总监弗兰克•费罗(Frank Ferro)表示:“事情迁移到边缘的原因是，每次你通过网络移动数据时，成本都很高。Rambus．“这需要消耗能源。这关乎效率。顾客不想再等了。所以如果你的应用程序想要快速运行，你想要让它们尽可能靠近边缘。您在本地可以做的越多，通过网络移动数据就越少。或者使用人工智能，你在云中训练这些大型模型，然后把它们推到端点进行推断。”

对于任务关键型应用程序，几乎没有其他选择，只能将计算移到离数据源更近的地方。Rambus的产品营销经理乔•罗德里格斯(Joe Rodriguez)表示:“你不会希望在关键任务上依赖互连。“这只是一种自然进化，让它们走到边缘。它们很可能共存。云将被用于有大型数据集的地方，你在后台处理，而较小的东西可以进化并处于边缘。平衡将在问题和技术可用性之间进行调整。”

限值器
虽然边缘技术的计算量越来越大，但它也有局限性。其中之一就是存储。

山猫软件技术(Lynx Software Technologies)董事会技术顾问弗拉维奥•博诺米(Flavio Bonomi)表示:“我很欣赏云的大数据存储能力，以及它如何实现对多个分布式部署的管理和可见性。”“然而，在本地存储数据更私密。人们和组织不相信大型云计算公司会善意地使用他们的数据。在边缘存储数据将支持一个更安全的环境。云不能有效地用来控制实时决策所需的移动数据。云计算非常适合预测数据分析，但超快速决策需要在本地处理丰富的数据。因此，如果我们要看到从数据驱动到人工智能驱动的工作流程的演变，未来就在于将大量计算能力转移到边缘。”

在使用蜂窝技术移动数据时，这一点尤其明显。5克会在一定程度上有所帮助，特别是毫米波，但它仍然不是最有效的方法。“无线链路始终是网络中最昂贵的链路，”at的AI inference高级营销总监萨姆·富勒(Sam Fuller)说Flex Logix．“你总是要考虑在我处理的地方和我需要沟通的内容之间的权衡，以最大限度地降低链接的成本。在视觉或视频处理等高带宽应用中，试图通过5G链路处理数据是疯狂的。如果你在谈论一条短信，或者你在谈论音频数据之类的东西，也许这样做是有意义的。但你总是要考虑带宽价格的权衡。”

数据是新的石油
其中一个折衷方案是缩小接近源的数据量。此时，数据可以在本地进行处理和存储，也可以发送到云端进行进一步处理。“将数据传输到云端需要大量的能量，”微软高级系统集成小组负责人兼高效电子部门主管安迪•海尼格(Andy Heinig)表示弗劳恩霍夫IIS的自适应系统工程部。“边缘预处理非常有意义，因为数据在人工智能上下文中通常包含很少有价值的信息。在许多情况下，几个小时内都没有什么特别的事情发生，然后就有一个小事件应该被发现。”

在这种情况下，云的真正价值在于对处理过的数据进行更广泛的分析，而对时间不那么敏感。Mythic公司负责产品和业务开发的高级副总裁Tim Vehling表示:“边缘系统可能需要为其主要任务进行自己的分析。“例如，一架无人机正在检查一座电力塔。它可能会检测到一些东西，并立即采取行动，找出问题是什么。当它返回到它的总部时，它可能会传输更多您想要在云中分析的数据。可以进行不同层次的处理。”

经过预处理的数据可以进一步细化。Imperas的Davdimann说:“你不需要所有的字节。“你需要高质量的数据，而不是盲目的数据。与人工智能相关的大量计算是不需要动脑的。你做了很多处理来决定我面前的是什么。你不需要转移所有的像素。对于诊断来说，这是一个不同的问题。你可能想知道为什么某些东西会做出错误的决定。当您收集高质量数据时，您通常会发现有几种方法可以使用它。这是一种抽象信息的方式。”

平衡这些非常不同的数据用例对于日益智能的汽车至关重要。Cadence公司的米特拉说:“这是一个例子，说明优势有两种作用。“一个是推理。这是获取网络并运行它的能力。它不时地维护本地数据和关于正在运行的用例的统计信息。这是元数据。然后，每天晚上或每周，它都会向上游发送这些信息。当你想到数百万人在一段时间内发送这些信息时，网络就变得更有用了。他们将看到在模拟甚至驾驶测试中无法覆盖的情况。他们需要合作，但如何合作是由用例决定的。”

数据传输还会引发隐私和安全问题，这是在哪里处理数据以及从那里将哪些数据发送到云的另一个考虑因素。Mythic的veling说:“你可能不被允许或不想在私人或公共场合传输人脸识别或人物图像等信息。“这可能会迫使你在本地进行分析，只传输元数据结果。你可以根据需要获得原始数据。这是另一种情况，你仍然需要高速连接到云，但你可能想在本地进行模型处理，因为这些隐私问题。”

架构迁移
人工智能向边缘的迁移引发了计算机架构的深刻变化。“在过去，人们试图构建具有大量并行进程的硬件，但他们没有关注如何对其进行编程，”Davidmann说。“我们有太多的硅，以至于每个人都试图建立并行工艺，但没有应用。如果你快进到今天，我们有用于机器学习和人工智能的大型软件套件和框架，比如Tensor和Caffe。人们现在正在构建硬件，试图加速软件。这推动了对更好的硬件架构的需求，以满足这些软件算法的需求。人工智能在并行处理器上工作得很好。所以现在我们有了所有这些硬件并行架构，以满足更快执行人工智能算法的需求。”

这也导致人们对数据格式的态度发生了转变。Vehling说:“几年前，人们对是否可以量化一个模型并获得必要的精度存在疑问。”“这似乎不再是一个问题，这种争论也基本消失了。你不会听到很多人说他们需要浮点或16位来保证准确性。对于大多数应用程序，特别是在边缘分析方面，从准确性的角度来看，8位，甚至4位可能是可以的。”

准确性必须与其他因素相平衡。Cadence公司的德赛表示:“人们花了大量时间关注准确性要求，以及满足这一要求需要什么。“在某些工作负载或特定用例中，人们可能会接受4位。这使它们能够获得更高的性能、更高的吞吐量、更低的能量或更少的内存需求。这和我们从浮点数到8位的情况是一样的。有时候人们需要混合模式。在网络中运行8位的部分可能是可以接受的，但其他部分需要16位，而其他部分则需要4位。”

这带来了另一个架构上的变化。“在RISC-V世界中，新的向量引擎刚刚得到批准，”Davidmann说。您可以将引擎配置为32位浮点、bfloat16或定点。他们建立了向量引擎，所以如果你有一个32位的单词，但处理的是8位的，你可以并行计算。它是一个单指令多数据(SIMD)引擎。你得到了更好的吞吐量，因为你用更少的周期做更多的操作。这意味着架构稍微复杂一些，但这意味着你在不增加太多硅的情况下，每个周期可以获得更多的计算量。”

边二分法
这种灵活性创造了机会。Flex Logix负责推理销售、营销和应用的副总裁Dana McCarty表示:“随着边缘硬件的性能水平不断提高，他们实际上正在考虑部署能够利用这种性能来获得更好吞吐量和准确性的模型。”“他们在精简模型，以便在边缘上工作，但一些客户现在正在远离这种模式，转而使用更丰富的框架，因为他们看到，在他们想要的功率范围内，他们可以从中获得更好的性能。”

这就对硬件产生了新的要求。Rambus的Ferro说:“通常情况下，当你构建边缘系统时，你只有一点点DDR内存。“但现在他们正试图进行越来越多的在线处理，而他们的DDR需求正在爆炸式增长，以至于无法管理处理量。所以HBM已经开始填补边缘的空白。”

这反过来又在边缘处理器中造成了分歧。“我们看到TinyML倡议它在微型微控制器上运行人工智能，”韦林说。“另一方面，你有这些大规模的模型在云中训练和部署。我想问题是，‘边缘设备会是什么样子?’是会有更多的超级微型模型出现，还是他们会越来越想要运行更大、更复杂的模型?”

软件驱动硬件。米特拉说:“研究算法的人不知道硬件和软件在他们的路线图中能走多远。”“他们的工作是让人们相信，改进解决方案需要新的设计和新技术。有一个缺口。这主要不是因为无法快速前进的先天能力，而是云中的自由度数量略大的事实。他们可以走得更快。”

用例限制
硬件有局限性。其中一些限制是由技术状态造成的，另一些则是由功率、成本或形式因素造成的。“尽管如此，他们正在寻找相对高性能的分析模型，而这是很难做到的，”Vehling说。“这就是我们所说的高性能优势。如何有效地解决所有这些参数?如何满足高性能、大型号、低延迟，同时又具有低功耗、低成本和小尺寸?这是一种神奇的组合，如果一家公司能够解决这些项目的交集，那就可以成为一款本垒打的产品。”

要做到这一点，可能需要新的设计工具。“当人们构建更好的架构时，我们必须构建更好的工具，”Davidmann说。“大型架构中的许多智能都是芯片上的网络，以及事物如何通信。我们可以在一个较低的层次上对其进行建模，也可以将其抽象出来。从软件开发的角度来看，您并不真正关心数据是如何流动的。你只是假设你可以访问你需要的数据。有两种类型的问题。一个是功能精度，这是行业一直关注的问题。但我们看到的最大挑战是性能分析——如何建模移动数据的成本?这是一套非常具有挑战性的工具。 Companies need to do architecture performance analysis. The size of modern chips makes that quite a challenge in terms of how you accurately model it and the amount of analysis you can do.”

在边缘学习
虽然一些计算肯定会转移到边缘，但其他计算操作似乎牢牢地安置在云中。这对于AI/ML/DL算法的训练尤其如此。Flex Logix的富勒说:“关于培训，尤其是初始培训，有一个问题是它需要很长时间。“这是非常密集的计算。我们说的是训练一个模型比推理要紧张100万到10亿倍。当人们谈论在边缘学习时，他们并不是在谈论那种水平的训练。他们所谈论的本质上是修改、调整或使现有的训练过的模型适应特定的用例。”

Vehling表示同意。“可能会有一些再培训，或小型培训，可能会转移到边缘。这尤其适用于您可能想要引入稍微不同的数据集的情况。我不认为你会看到全新的，从零开始的模型训练。这仍将是一个云或基于服务器的应用程序。但你可以在边缘设备上对模型进行一些调整或再训练。”

培训可能是本地的。Mitra说:“如果你的手机上运行了一个语音激活工作负载，那么网络将针对每个人的声音进行训练。”“我们说话的方式或语调存在微妙的差异，随着我们的学习，这些模型将会得到完善。这是一种微调，从长远来看对所有人都有好处。”

这取决于用例。山猫公司的博诺米表示:“人工智能训练产生了大量数据，这些数据几乎完全被实现并存储在云中。”“随着我们看到越来越多的计算处于边缘，组织能够创建一个变化来处理，而不是在本地寻找模式。当你在边缘并行运行数字双胞胎时，你可以让一个模型从另一个模型中实时学习和应用一些东西，改善对现实世界系统的控制。”

它可能需要拆分函数。“大多数机器学习模型都有一个特征提取组件，称为主干，”富勒说。“然后是决策部分，它利用这些特征并处理它们，以提供可以采取行动的东西。这通常被称为头部。你可能有一个大的特征提取组件(主干)，然后是多个头部，每个头部以不同的方式查看数据。而大脑更有可能在边缘地带接受培训或再培训。”

有一个迁移学习的概念，一旦系统部署到现场，就可以根据他们所看到的和所学到的内容进行更新。这使它们更好地适应特定的用例。富勒补充说:“边缘需要具有适应性，你需要能够随着时间的推移调整模型，使它们更适合应用。”“这将是这类工作的关键组成部分。它将是集中开发、培训、部署和现场更新服务的结合。”

局势是不稳定的。米特拉说:“曲线将继续向一个或另一个方向弯曲。”“现实情况是，他们会合作，这是他们目前不常做的事情。这将使他们能够使网络运行得更好或更快，使网络个性化。”

曲线会向云端弯曲吗?博诺米说:“‘系统的系统’的架构已经从集中式处理转变为分布式处理。”“云计算的显著好处包括大量的开发人员和易于开发。这意味着向云端转移是很有可能的。”

相关的
理解新的边缘推断架构
如何驾驭大量令人困惑的选择和术语。
边缘推理架构激增
是什么让一个人工智能系统比另一个更好取决于很多不同的因素，包括一些不完全清楚的因素。
开发新型推理芯片的挑战
设计、开发、测试和修改边缘加速器IC所涉及的内容。