CXL和OMI:竞争还是互补?

系统设计人员正在寻找任何他们能找到的增加内存带宽和容量的想法，关注从内存改进到新型内存的所有事情。但是更高级的体系结构更改可以帮助满足这两种需求，即使将内存类型从cpu中抽象出来。

有两个新的协议正在帮助实现这一点，CXL和OMI。但一个迫在眉睫的问题是，它们是否会共存，或者其中一种会胜过另一种。

微软数据中心产品营销副总裁Mark Orthodoxou表示:“随着处理器中CPU内核数量的增长，人们普遍希望为CPU内核提供更多的内存带宽和内存容量。Rambus．“人们已经没有能力添加DRAM通道了。”

虽然这两个新协议在概念上有一些高级的相似之处，但它们并不相同。但对于它们是否真的相互竞争，似乎有很多困惑。甚至还有广泛的误解，尤其是关于OMI。

如今，每个人都在关注数据，既关注不断增长的数据量，也关注如何最好地管理数据。

MemVerge的联合创始人兼首席执行官查尔斯·范(Charles Fan)表示:“金融服务行业希望为欺诈检测添加更多数据源，以便能够立即产生结果。”“社交媒体需要更多的数据来源来描述用户，但要提供即时的结果。电子商务零售商需要更多的数据来源，但需要即时推荐。芯片设计中有1万亿个晶体管，但它们需要在与前几代芯片相同的时间周期内进入市场。基因组研究人员希望获得更多的细胞数据，但他们希望缩短发现疫苗的时间。”

所有这些都需要更多的内存来支持更多的计算。“仅仅在接下来的两年里，就需要1000倍的计算和100倍的内存，”范说。

内存和存储
现代计算系统有两层内存结构。一种是工作内存，它位于处理器的本地，用于快速访问，它通常是某种形式的DRAM。然后是存储，这是一种内存形式，它在逻辑上和物理上通常离处理器更远。这通常是非易失性存储器，如闪存，甚至硬盘驱动器。

这种安排反映了功能、成本和访问的混合。“内存”往往是更快的技术，尽管成本高于存储技术。即使考虑到速度，它也不足以跟上现代处理器的速度，这就是处理器上的SRAM缓存对性能如此关键的原因。

“存储”倾向于由非常大容量的内存组成，以每比特为基础是非常便宜的。但它们的访问时间可能比DRAM所能提供的慢几个数量级。

在过去的十年里有很多关于内存存储类它具有存储器的一些特性，但具有存储器的性能。mram、rram和pcram是这一跨界类别的典型代表其他的想法在研究周期的早期。

在内存和存储中同时使用一种技术的前景是诱人的，但它将给需要与内存接口的ic设计人员带来一些挑战。大多数芯片都有特定的DRAM接口。如果您可以使用MRAM或RRAM，那么您将CPU连接到哪个接口?这些存储器可能都有不同的访问协议。

存储有不同的挑战，但内存类型的激增也造成了类似的困境。此外，存储中的数据通常必须批量检索以供实际使用。复制操作既费时又耗力。

这两种情况都将受益于一种方法，即抽象出所使用的特定内存的细节，这样芯片设计者和某种程度上的软件开发人员就不必那么关心特定系统的内存细节了。它还可能使软件在不同系统之间更易于移植，这在数据中心中尤其有价值。

今天，它需要高级程序或系统来管理和构建不同内存和存储资源池。这种“大内存”程序提供了一种增加带宽和内存容量的方法。

“围绕大内存计算的论点是，与其不断努力使存储越来越快，不如利用其他新硬件，并辅以合适的软件，”范说。“我们可以构建一个软件定义的内存池，它可以作为应用程序需要处理的所有活动数据的平台，从而减少或消除活动应用程序数据的内存和存储之间的数据传输。”

CXL和OMI协议都提供了抽象，尽管是在较低的级别上。但作为新兴的解决方案，这两者很容易混淆。OMI几乎没有在网上大肆宣传，对它的认识似乎低于CXL的认识。取决于你与谁交谈，他们做或不做同样的事情，因此他们之间存在竞争。

CXL和/或OMI的出现并不一定会影响大内存管理系统的使用。相反，它使物理内存连接更容易处理。Fan说:“我们依赖于CPU通过接口/内存管理器访问内存，因此我们的软件不依赖于内存互连，包括CXL、OMI和DDR4/5。”

近内存和OMI
cpu需要快速使用工作内存。DRAM多年来一直提供最好的速度/成本组合，而且随着技术的发展，这种情况很可能会继续下去。即便如此，还是有办法改善这种表现，但要付出代价。

DRAM的致命弱点是驱动内存的一组长线。它们的高电容使其很难继续提高内存速度和增加更多内存。

有两种变化有所帮助。一种是RDIMM，其中地址和控制信号被缓冲在芯片上。这样可以在保持数据信号不变的情况下加速这些信号。lrdimm通过缓冲数据又向前迈进了一步。这增加了一个时钟周期的延迟，但加快了线路速度，并允许更多的内存。

图1:rdimm缓冲区地址和控制信号;lrdimm还可以缓冲数据信号。其目的是拥有更短、更少电容的线路和更快的访问速度，以额外的时钟周期延迟为代价。来源:客观分析

但是用于访问的端口需要很多引脚——lrdimm每通道152个引脚，Objective Analysis的Jim Handy在去年的热互连会议上说。8个通道需要1216个引脚。

Orthodoxou说:“由于引脚数量非常大，驱动这些引脚所需的面积也非常大，因为这是一个并行接口。”

HBM是提供更高访问速度的另一种替代方案。虽然价格昂贵，但它提供了最高的带宽。但是它的总线有1000比特宽。还有其他的挑战，在a中描述白皮书尾身茂。

“虽然HBM是一种帮助，但它比标准DRAM贵得多，而且仅限于不超过12个芯片的堆栈，这限制了它在低容量存储阵列上的使用，”论文说。“HBM也很复杂和不灵活。现场无法升级基于hbm的内存。因此，只有在没有其他解决方案的情况下才采用HBM内存。”

OMI诞生于OpenCAPI世界，出于延迟的考虑，OMI规范被分离出来。它旨在通过两种方式解决这些近内存挑战——转向SerDes，以及使用on-DIMM控制器。用于OMI通道的内存称为差分内存(differential dimm)，简称ddimm。

SerDes连接将取代目前ddr风格的接口，以更少的信号提供更高的速度。该控制器部分提供了与LRDIMM上的寄存器相同的功能，在进程中增加了大约4ns的总体内存延迟。

OpenCAPI联盟的技术总监和董事会顾问Allan Cantle说:“OMI延迟包括通过内存本身的延迟，这是从内部连接到主机的传输端口再到主机的内部接收连接的往返读延迟。”

图2:LRDIMM与DDIMM的比较。DDIMM左侧的蓝色框为控制器。延迟增加了几纳秒。来源:客观分析

此外，该控制器还可以连接到许多不同类型的内存。它充当内存和处理器之间的桥梁。就处理器而言，所有内存看起来都像OMI，其他细节都由DDIMM处理。

这允许系统构建器混合和匹配所使用的内存类型。每个通道可以是它自己的内存类型。事实上，只要控制器支持，单个DDIMM可以具有可用的混合内存。

图3:混合内存系统的概念示例，其中每个通道使用不同的内存技术。来源:客观分析

然而，目前还不清楚系统是否真的会以这种方式组成。有些人认为，抽象的价值并不在于创建异构内存池，而是使具有单一接口集的单个CPU可以访问由任何这些类型的内存构建的同构内存池。

“近内存将总是更多地选择同构内存，而不太需要抽象异构内存类型，”at验证IP的产品经理Gordon Allan说西门子EDA．

带宽将高于标准DRAM接口，尽管HBM仍将更快。也就是说，拥有更少的引脚意味着SoC上内存通道所需的硅将会更小，这使得OMI在带宽/面积的基础上与HBM更具竞争力。由于接口占用空间较小，如果与其他接口相比，OMI可以使用更多的通道，则聚合带宽可能会更高。

为了使这种新模式完全出现，首先需要控制器芯片，然后才需要ddimm。这一进程已经开始，但还有很长的路要走。即便如此，到目前为止，OMI的普及速度还是很慢。

图4:显示控制器和多个DRAM芯片的DDIMM。2U的版本也是可用的。来源:OpenCAPI联盟

Allan说:“我们还没有接到客户向我们要求这项技术的要求，但OMI的开发还处于早期阶段。”“它是由IBM和其他公司推广的一个相对较新的进入者。它还没有被业界广泛采用，但肯定有很多人对它感兴趣，因为它声称可以同时扩展DDR的容量优势和HBM的性能带宽优势。但在这一点上，这仍然是一个大胆的、未经证实的说法。”

远内存和CXL
远存储器的情况更为复杂。除了与特定类型的内存相关的问题外，经常需要复制大块内存也是一个重要的问题，特别是对于像机器学习这样内存或存储需求很大的应用程序，尤其是在数据中心中。

这些都是CXL要解决的问题。“CXL对数据传输、存储和计算进行了优化和虚拟化，”华为技术有限公司系统设计组工程总监Levent Caglar说Synopsys对此．

这在数据中心应用程序中非常有用。“高性能计算领域由过多的计算结构组成，”阿里夫汗，产品营销组主管，IP集团节奏．“cpu、gpu、加速器、fpga等都连接到不断增长的内存池。CXL解决了异构计算的需求，同时保持缓存的一致性并允许内存的可扩展性。”

但它也很复杂。“我们需要考虑存储的三个不同方面，”西门子EDA的Allan说。“首先是共存的处理器和内存。在处理管道的另一端，我们有一致的内存和到存储的链接，其中数据必须与其他处理和通信元素共享。我们在数据中心有更大规模的存储搜索和检索。CXL位于这些领域的第二和第三个领域。”

图5:CXL控制器框图。CXL的功能依赖于PCIe实现物理互连。来源:Rambus

在抽象方面，CXL在概念上类似于OMI，充当一个桥梁，允许处理器与内存类型无关。“从系统其余部分的角度来看，内存在逻辑上尽可能接近CPU，”cagar说。

但是CXL比OMI有更广泛的职权范围，有更多的用例要涵盖。“OMI和CXL在试图解决的近内存问题上非常相似，”Orthodoxou说。“他们的不同之处在于CXL试图解决远内存问题。”

查找第二部分提高内存效率和性能
CXL和OMI将促进内存共享和池化，但它们的效果如何以及在哪里工作得最好仍有争议。