系统设计将发生翻天覆地的变化

数据中心正在经历一场根本性的变革，从标准的处理模型转向基于定制硬件、更少的数据移动和更多的资源池的更以数据为中心的方法。

在网络搜索、比特币挖矿、视频流媒体、数据中心都在竞相提供最高效、最快的处理。但是，由于存在如此多不同类型的数据、组件之间的生命周期差异以及软件的如此多变化，这些变化的规模、速度和广度都是前所未有的。

“现在最大的转变是，人们不再在单个服务器层面思考，尤其是云提供商。他们考虑的是机架和整个数据中心。Rambus．“这意味着围绕数据中心架构的思考必须涵盖在任何时间点使用数据中心的广泛人群。有人想做小工作，有人想做大工作，还有人想做大工作。其中一些超出了单个服务器的数据容量。架构师必须考虑所有这些工作的规模，并决定如何开始提供特别是未来这些巨大工作将需要的内存能力。”

自2012年思科进行了一项市场研究以来，情况发生了巨大变化，当时思科假设大量数据流量将主要由视频消费驱动。虽然视频仍然代表了很大一部分数据，但在数据中心中处理和存储的大量数据涉及其他类型的数据，以及从这些数据中挖掘和分析。

设计IP的产品营销总监阿里夫·汗(Arif Khan)说:“去年大流行爆发时，分析和推出疫苗所需的时间在几个月左右，这是一项巨大的数据分析工作。节奏．“这就是数据和人工智能结合起来的力量。并不是说他们把所有的分子都试了一遍。这实际上是以数据为中心的分析。和基因组学一样，如今的生物科学也是计算科学。流体力学是数字运算。这些AI和ML应用程序都发生在云中，这就是所有数字运算发生的地方。这是一个以数据为中心的世界。”

基础设施依赖于在云中捕获、分析和处理的数据。但所有这些机器都依赖于可用的数据，所以数据不能再放在传统的硬盘上了。随着系统的运行，数据必须相当接近访问它的系统，因此出现了更新的内存层次结构和技术，使内存更接近处理单元。

图1:全球数据增长预测。资料来源:IDC 2018/Cadence

解集
一种正在获得关注的方法是分解内存和计算基础设施的概念，其中cpu、内存和存储被池化。

验证域IP at的产品营销经理Anika Malhotra说:“数据中心正在从每个服务器都有专用的处理和内存，以及网络和加速器等其他资源的模型转变为使用共享资源池的分解模型，这种共享资源池可以有效地组成以满足特定工作负载的需求，无论其要求是什么。Synopsys对此．“分解和可组合性使计算资源适合工作负载，带来许多好处，包括更高的性能、更高的效率，并降低数据中心的总拥有成本(TCO)。”

其他人也同意。“分解将是下一个数据中心计算架构时代的关键元素，因为它对于确保大规模的性能、效率和TCO效益至关重要，”该公司市场、汽车和物联网业务线的高级经理Kshitij Sudan说手臂．

计算快通(CXL)被视为这些下一代分解服务器体系结构的关键组件。CXL内存扩展和池化芯片对于传统体系结构和分解体系结构都是必不可少的。

“我们如何为大工作量和小工作量组合正确的资源?CXL是这一发展的关键推手，它提供了除直接连接DRAM之外的额外内存，以解锁内存连接内存中的池化架构，”Rambus接口IP总经理Matt Jones说。“由于对内存的需求无法满足，当你开始使用池时，还有效率的概念，以及计算和内存之间的资源匹配。这提供了共享和最佳利用内存的能力，不仅从每个工作负载的基础上，而且还利用了每个这些元素的生命周期。”

图2:CXL内存池。来源:Rambus

未来的大变化
连接设备的数量迅速增加，无论是可穿戴设备、汽车还是安全摄像头，都为从数据中提取价值创造了新的机会。

Synopsys公司的DesignWare IP解决方案营销经理斯科特·杜兰特(Scott Durrant)说:“我可能不知道今天我需要问什么问题，但也许下周我就会意识到，‘哇，了解X对我来说真的很有帮助，也很有价值。“我一直在收集这个大型数据集。我可以分析它，找到X的答案，并从中获得价值。因此，人们将数据视为一种核心价值，而不是为了实现特定目的而购买应用程序。他们构建应用程序，然后说，‘我需要一个特定的数据架构或数据模型来支持我在这个应用程序中所做的事情。现在，以数据为中心的架构说，‘让我们建立一个数据模型，我们可以用它来分类和描述我们正在收集的所有数据。然后我们可以利用各种应用程序来检查和分析这些数据。’这将如何影响目前和未来数据中心正在开发和使用的soc ?”

庞大的数据存储库需要在各种应用程序之间进行分析和共享，SoC必须能够有效地加载数据、分析数据并将结果写回数据存储。“这意味着这些soc上的接口现在需要能够以有效的方式处理这些非常大量的数据，”Durrant说。“效率意味着一些不同的东西，包括非常低的延迟和低功耗。这就是CXL等协议发挥作用的地方，还有高速以太网和PCI Express，以及我们用来在设备内部、设备之间以及数据中心机架之间移动数据的所有这些接口。”

由于DRAM的寿命可能比CPU更长，因此能够购买这些设备并在其整个生命周期内使用，开始为等式带来额外的效率。

Rambus的Jones说:“我们设想在扩展设备上构建的内存池设备将通过PHY和控制器的重要构建块支持多台主机，并允许多台主机共享一组DRAM资源。”“在DRAM的情况下，通过CXL网格架构，许多主机可以匹配适当数量的内存。这样就可以将适当数量的CPU资源池与适当数量的内存与工作负载进行互连，然后将其退役，然后在网络中重新使用，这将推动新的软件模型和新的使用。我们看到，这种类型的硬件开启了数据中心的一些进化。”

Cadence的设计IP产品营销总监Tony Chen表示，过去，系统性能基本上受到微处理器性能的限制。“如今，瓶颈实际上更多地出现在数据流量的移动中，无论是来自内存还是各种插件加速器之间的处理器通信，我们看到用户在数据移动中遇到了瓶颈。所以他们要求更低的延迟和更快的速度。即使引进了GDDR和HBM，网速每两年提升一次，用户还是希望网速每两三年再提高2倍。这种转变也有成本方面的考虑。用户总是试图降低数据中心的成本，因此他们试图共享内存，试图将内存整合在一起。用户如何进行架构权衡实际上是一个非常复杂的问题，因为有很多事情需要考虑。这是成本和性能之间的平衡。”

这也意味着数据中心架构的设计和验证非常具有挑战性，特别是有这么多系统公司在开发自己的芯片。这些公司正在用他们自己的定制处理器，使用非x86的isa来突破界限，这正在影响其他人正在做的事情，因为他们看到了所有这些活动。

“这类公司正在提供和存储令人难以置信的海量数据，”at的设计经理亚历山大•米贾托维奇(Aleksandar Mijatovic)表示Vtool．“他们的需求是把集中的数据中心作为所有真理的中心，把旧的构建架构的方式放在一边，根据数据是不可改变的，所有计算都是暂时的，来构建它，使它更有组织。这与所有处理系统相反，在所有处理系统中，数据来来去去，但处理保持不变。其核心是数据存储、数据处理和数据传输的分离。这三层都可以单独查看，根据您强调的重点，您将得到不同类型的体系结构。他们变得如此习惯于这种处理方式，以至于他们忘记了其他部分也可以是一个焦点。现在，随着数据量的增加，处理以及其他一切都变得不那么稳定，我们正在走向以数据为中心的时代。”

这需要全新的设计。Vtool的验证工程师momcio Kovrlija指出:“每个应用程序都有自己的资源，至少从它的角度来看是这样，但我们必须管理它们。对于每个应用程序，这些资源不能是相同的，尽管应用程序应该感觉所有资源都只用于其应用程序。例如，我们必须创建存储层、分发和管理层，以及每个应用程序将在其中运行的应用层。这类似于一个以太阳为中心的系统，其中太阳将是数据，而所有其他行星将是实际的应用程序。必须为此创建一个模型。它可能不像在真实系统中那么复杂，但在某种程度上，需要对它进行建模，以从整个体系结构的角度检查一切是否正常工作——不仅是我们能否发送和接收数据，还包括资源管理是否以正确的方式进行。”

考虑到数据中心的这些新兴技术的目标之一是支持这些不同的应用程序，如何选择正确的存储、计算和网络组合，使这些按需组合，并使它们能够混合和匹配，并相互交换信息，这是一个不小的成就。

Synopsys的高级产品营销经理加里·拉格尔斯(Gary Ruggles)指出，这是CXL在对话中经常出现的原因之一。CXL承诺让整个系统中的所有内存在任何需要它的人之间共享。这个想法是，你有所有这些cpu和主机系统有内存。所有这些内存外接卡都有内存。有内存的加速器可以解决问题，甚至是智能网卡。所有这些东西都有内存，当你有大量的内存闲置时，你会有大量的冗余和浪费。CXL允许共享和利用系统资源。”

更大的图景
最大的变化之一是数据中心不再仅仅是计算机的集合。

“在过去，你只有一台带处理器的服务器，然后是一台虚拟机，等等，”微软的首席执行官西蒙·大卫曼(Simon Davidmann)说治之．“现在的数据中心非常不同。在公共版本中，你可以获得不同的处理器类型，无论是x86、Arm还是其他。或者，如果你想在fpga上进行模拟或仿真，你可以在云中完成。人们还将其用于一些金融科技应用，在fpga中进行算法分析，而不是在指令处理器上运行。在私人数据中心，一些世界领先的公司——亚马逊、苹果、Facebook、谷歌、微软——已经建立了自己的芯片来进行自己的计算类型，无论是为自己的业务提供推理引擎，比如用于图像识别的计算，还是其他。这类似于人们多年来一直在谈论的东西，拥有大量核心的高度并行处理能力。因为它们几乎是特定于应用程序的，比如用于这些类型的机器学习应用程序的推理引擎，所以它们可以为此设计架构。”

因此，虽然该软件可用于AI/ML，但计算可能太慢。“因此，人们试图共享多个处理器，构建这些芯片/处理元素/设计，这些芯片/处理元素/设计高度并行，高度专注于机器学习和人工智能推理，”大卫曼说。“他们的软件运行速度太慢，所以他们可以针对硬件。但他们做的不仅仅是一个专有机器。他们这样做是为了在他们的数据中心中大规模地使用它。数据中心正在改变，为不同的应用领域提供高性能解决方案，如机器学习，他们在数据中心中放置的代理具有针对这些应用领域的架构，这些架构往往包括用于多核之间通信的芯片网络，然后是它们上的加速器，如向量引擎。”

这一活动只是强调了x86替代品的崛起，从Arm到RISC-V，到目前正在开发的任何数量的专有的新指令集体系结构。

“几年后，我们将在高性能计算或服务器领域看到RISC-V，”公司首席技术官Zdenek Prikryl说Codasip．“我们还没有做到，但RISC-V很快就会做到。对于人工智能或机器学习来说，这可能是一个更好的选择，因为这仍然是一个移动的目标，对许多人来说，这意味着很多事情。RISC-V在这方面非常重要，因为它允许这些创新，并根据人们需要的算法进行更改。”

Prikryl说RISC-V的这种转变已经开始了。“它将穿越到高端。现在我们可以看到，对于嵌入式来说，它已经成熟了。我们可以看到其他厂商的cpu也在那里，他们做得很好，我们将在几年内看到向高端的转变。我们将看到能够运行Android的cpu，实际上我们已经有了一些原型，我们将在后面看到采用。我们也将看到生态系统的增长，因为生态系统对RISC-V很重要。”

其他人也附和这一观点。微软营销副总裁库尔特•舒勒表示:“这与硬件指令集架构无关Arteris IP．“这是关于硬件指令集架构的软件。这就是为什么如果你看看x86 ISA，它今天仍然存在的原因之一是因为为它创建了如此多的软件。对于Arm和其他产品，你必须在里面创造这些东西。一旦达到某个拐点，事情就会变得非线性。我不知道我们是否已经做到了，但事情正在朝着这个方向发展。一个转变正在发生，这意味着，从大局来看，在这些x86芯片的配套芯片集成方面，通常它们不在同一个包中，因为它是英特尔芯片产品，通常会进入英特尔或AMD主板。还有一个带有加速器的PCIe卡，所以你会受到PCIe所能提供的功能的限制。当事情发展到Arm方面时，这些人不仅仅是说他们将拥有一大堆Arm内核，而且只是cpu。他们说，‘我们这样做是因为我们想要做一些定制的功能——可能是搜索算法，或者其他我们想要比使用一堆PCIe卡的x86服务器更有效地完成的功能。’他们在创新，但他们是在芯片上创新。”

Shuler说，有趣的是，使用RISC-V ISA，硬件加速基本上可以内置到CPU指令集架构中。“你执行这个操作码，向它发送一些数据，然后CPU外部会发生一些事情。这可能是类似于内存计算的东西。它不是处理CPU堆栈中的某些东西，而是处理其他地方的数据。你可以灵活地使用RISC-V架构，或者如果你有Arm架构许可证的话。你不仅可以这样做，你还可以有自己的芯片，上面有一大堆的内存。所以你可以有RISC-V或Arm内核，你有硬件加速器和周围的一堆内存，你基本上是在做内存计算。在高层次上，你所做的基本上都是内存访问，但在低层次上，实际上是在底层进行计算。这对于一些神经网络活动非常有效。你仍然在冯·诺依曼的架构中，CPU是大脑，或者CPU至少调度一切。 It’s a renaissance in SoC design.”

RISC-V能走多远，目前谁都说不准。“任何时候你开始对指令集架构做一些事情，你都必须有编译器、调试器、软件堆栈和工具。所有需要做的就是像一个超级规模的公司说他们将为任何ISA投资1亿或2亿美元到软件工具链上。这就是需要做的阻止和处理，以使其更加普遍。现在人们都在玩它。修改指令集架构来做定制指令，这实际上是一大堆硬件，除了CPU复杂之外——随着这些家伙之间的竞争越来越激烈，这将变得越来越普遍，因为对于处理这些庞大的数据中心，以及这么多搜索或这么多购买的人来说，这实际上是一个相当小的成本。”Shuler指出。

结论
这个行业正处于一个需要完成大量计算的阶段，硬件、架构和硅都在一起为它提供良好的解决方案。

“经常有人抱怨，‘我们拿摩尔定律怎么办?我们有太多的硅，我们不知道该怎么处理，”Imperas的Davidmann说。“‘我们如何如此快地获得时钟频率，因为我们有这些串行或必须更快的应用程序?但实际上，我们已经有了处理器架构、芯片上的网络和加速器，这些都能很好地用于这些人工智能。有些人在用RISC-V或Arm等通用的东西来做，但有些人在自己构建一切。”

今天的数据中心，无论是商业的还是私人的，都在增加更多的计算能力，使用更好的技术来更快更有效地进行计算。

大卫曼说:“这是一个非常有趣的时代，数据中心的使用越来越多，但这些数据中心的一些领域非常专门，适用于特定的用途。”“其中一部分是这些人工智能推理引擎，从EDA的角度来看，这很棒，因为他们必须建造这些新型芯片。任何真正想要取得成功的人都需要在他们的数据中心中安装一些复杂的定制芯片来做好工作。无论他们是购买一整张卡还是自己制作，他们都需要比标准处理器更多的计算能力。这是关键。运行应用程序需要的软件比在标准处理器架构和芯片架构上运行的软件更多，因此他们不得不采用新的架构和多种新的加速器，如向量加速器，以及带有noc的新soc。”

相关的
超越缩放提高功率和性能
如何降低数据中心的总拥有成本。
使用模型驱动数据中心体系结构更改
世界访问数据的方式正在改变。数据中心正在进化以适应环境。
新AI处理器架构面临的挑战
在数据中心获得一个人工智能席位正在吸引大量投资，但也存在巨大的逆风。
RISC-V针对数据中心
随着生态系统的成熟，开源架构在更复杂的设计中获得了一些吸引力。