CXL拿起蒸汽在数据中心

CXL获得牵引在大型数据中心作为一种提高利用率计算的不同元素,如记忆和加速器,同时最小化需要额外的机架式服务器。但标准正在迅速扩展和修改,很难跟上所有的变化,都需要验证和验证往往在越来越多的异构和定制的设计。

在其核心,计算表达链接(CXL)是一种cache-coherent互连协议的记忆,处理器,和加速器,可以使灵活的架构更有效地处理不同的工作负载类型和大小。这反过来将有助于缓解压力数据中心用较少的资源做更多的事,一个看似巨大的挑战在爆炸中需要处理的数据量。

在过去,典型的解决方案是把更多的计算资源在任何能力问题。但随着摩尔定律放缓,电力所需的电力和冷却机架式服务器继续上升,系统公司一直在寻找替代的方法。这已经成为更重要的电网限制和社会可持续发展的要求增加。

主要由英特尔和作为PCIe标准,基于CXL提供了一个吸引人的命题在这些冲突的动态。优化数据中心使用内存的方式可以提高性能,同时减少栈复杂性和系统成本。具体来说,CXL允许低延迟连接和内存一致性CPU和内存之间的连接设备,在这些领域保持数据一致。

来说,这是特别重要的高容量的工作负载,比如人工智能训练,更多的数据通常相当于增加精度,以及所需的大规模模拟越来越多的电动车辆,智能工厂,药物发现,和天气映射,等等。

CXL协会,成立于2019年,创始成员谷歌,微软,HPE,戴尔EMC,思科,元,华为推出了第一个版本的规范,基于作为PCIe 5.0。AMD,自那以后,英伟达、三星、手臂,瑞萨,IBM, Keysight, Synopsys对此,马维尔,其中,加入了各种能力,gen z技术和OpenCAPI技术一直在折叠。8月,3.0规范引入了带宽的两倍,支持多级开关和一致性改进内存共享。

至于标准,这一进展非常迅速。并给予支持的风潮CXL财大气粗的公司,似乎很有可能这个标准将成为无处不在。但它的快速发展也使得IP开发人员很难迅速从一个主版本的标准。

乐观的前景
“我们应该看到这在认真在接下来的几年里,”Arif Khan说,产品营销作为PCIe组主任CXL和接口IP节奏。他指出,CXL-based应用程序的潜在市场总额预计将达到200亿美元到2030年,据一些内存制造商预测。

其他人也同样乐观。“有成千上万的客户为他们的下一代soc采用CXL,加速器,SmartNICs gpu,以及内存扩展设备,”理查德·所罗门说,串行总线控制器IP技术营销经理Synopsys对此。

“几乎每个人都与CXL能力,建立他们的服务器“禁闭室阿赛说,高级规划和营销经理Keysight技术。“标准如电平和CXL达成协议标准之间的工作,确保可操作性。CXL也收到gen z和开放的技术资产,作为CXL提供类似的功能,但CXL强大的持久力。”

不过,广泛采用需要时间,不管多快进步的标准。尽管共享资源的吸引力,数据中心是保守时采用任何新技术。任何故障都可以花费数百万美元的停机时间。

“虽然有很多兴奋CXL左右,该技术仍处于早期,”Jeff Defilippi说高级产品管理主管手臂的基础设施业务。“扩散发生的解决方案将需要进行严格的功能和性能验证过程与oem和云服务提供商之前看到生产部署。”

Varun Agrawal,高级职员Synopsys对此产品营销经理注意到,无数的记忆和服务器SoC公司已经表示支持CXL在过去三年。但带来的产品可以完全支持CXL拓扑和带宽市场是一个缓慢的过程。“越来越多的设计现在选择采用CXL通过CXL作为PCIe datapath公司的。io,视图的扩张在其他类型的设备。CXL扩散在数据中心的产品推出缓慢,其中一个原因是缺乏验证和确认的基础设施。”

用户社区日益寻找CXL交易人,虚拟模型和主机的解决方案,软件速度适配器,和接口卡硬件解决方案作为第一要求,虽然计划验证/确认,Agrawal指出。“CXL充分体现了软件首先方法企业启动硬件软件验证,软件启动、并行和合规实现上市目标。”

系统级验证也是一个要求。“根据支持的功能,验证可以跨内存资源共享等功能,池、扩张;主机和设备之间的一致性;安全路由;热的删除和添加;多个域不同的虚拟层次结构;和互连性能,尤其是延迟.cache和.mem”Agrawal解释道。

受欢迎的属性
为什么CXL被领养,尽管这些差距?所罗门说Synopsys对此CXL最初的重点是缓存一致性,和行业感兴趣的非对称一致性协议。只是到了后来,关注的焦点转移到解决传统记忆附件和DRAM接口的局限性。

“现在你有这个缓存方法和附加内存,和他们每个人驾驶CXL到数据中心以不同的方式,”他解释道。“SmartNICs,对于人工智能和机器学习,数据处理单元,附加设备服务器集中在智能处理数据在服务器而不是主机CPU。这些人是真正感兴趣的缓存一致性互连。hyperscalers, CXL创建一个处理器和内存之间的分离,允许一个更高效的资源配置之间的工作需要不同的大量的挥发性和非易失性内存。”

此外,低延迟,凝聚在互联,并能够支持内存数据中心应用的层次需求使得CXL吸引力,”Agrawal说。”是作为PCIe PHY层,它使用现有的互操作性有助于推动早期采用和增加了产品生命周期”。

这使得CXL适合数据中心的应用程序。“CXL提供了内存访问CPU缓存一致性,“Keysight的阿赛说。“这也使池的内存资源,这是理想的,因为它增加了DRAM在数据中心的整体利用率。”

虽然CXL有多个用例,手臂Defilippi说云提供商的能力是极其乐观跨一组节点共享内存容量,增加GB /个vCPU关键应用程序。“云供应商的成本是高昂的,提供丰富的DRAM的所有系统。但通过访问CXL-attached池DRAM,他们现在可以采取系统只有2 gb /个vCPU和分配额外的DRAM能力,使这些系统更适合广泛的工作负载。(我已经高度供应的系统。e, 8 gb /个vCPU),额外CXL-attached内存现在可以使他们适合应用程序需要大量的内存占用,像一些ERP系统,今天可能不会运行在云中。在这个例子中,CXL成为额外的工作负载迁移到云网关”。

CXL 2.0的发布2020年11月推出了内存池与多个逻辑设备,抑扬顿挫的可汗说:是一个关键的改进的规范。“这池功能允许资源共享,包括系统内存,跨多个系统。而CXL设计加速器,它支持内存接口。分层配置上也能够支持异构的记忆——高带宽内存包,快DDR5连接到处理器,和慢记忆CXL模块。记忆是一个重要的数据中心的成本项目,和池是一种有效的方法来管理系统”。

图1:CXL 2.0引入与单个和多个逻辑设备内存池。来源:节奏

CXL和定制
去年的3.0引入CXL更进一步,通过多层次与fabric-like实现切换。“这使得实施全球织物附加内存,它分解处理单元的内存池,“汗说。“内存池也可以是异构的,各种类型的内存。在未来,我们可以设想一个叶/脊柱架构用树叶NIC, CPU,内存,和加速器,一个相互关联的脊柱开关系统围绕CXL 3.0。”

图2:CXL 3.0提供了fabric-like实现多级切换。来源:节奏

这是相关的数据中心,因为没有一个统一的系统架构在AI / HPC的世界。

汗解释今天的服务器提供一个合理的超集,这些应用程序可能需要,经常导致闲置和浪费能源。“异类应用程序需求非常不同的优化实现的解决方案。常见的HPC应用程序工作负载/ AI /毫升每个有不同的系统需求。分类系统的愿景是建立大型银行的资源:记忆,gpu,计算、存储资源构建灵活,根据需要可组合架构。换句话说,CXL铺平了道路的分类和组成的系统通过启用这些功能”。

CXL的记忆范式也打开门新的定制CXL设备,如池式内存控制器。

“另一个新兴的用例将异构计算,利用缓存一致性在CXL设备内存共享主机CPU和CXL附加设备。这里的编程模型仍在制定当中,但我们的目标是能够分享更大的数据集之间的主机和一个加速器,这是非常吸引人的东西像毫升训练。定制人工智能芯片的主机的开发和gpu /转专业,这可能是一个有吸引力的选择,”Defilippi说。

当谈到CXL定制芯片设计的数据中心,Keysight阿赛指出,这些设计必须确保互操作性CXL规范如果他们想要缓存一致性或访问某些共享内存资源。“一个常见的定制芯片设计是智能网卡,在CXL已经成为非常普遍的作为传输数据的技术。”

安全问题,Synopsys对此“Agrawal看到事务和系统级别的安全特性可能驱动定制数据敏感应用程序的设计,考虑到多个公司致力于自己的应用层接口CXL优化他们的设计。

结论
有更广泛的记忆生态系统内的其他定制的可能性,因为它涉及到数据中心和HPC,包括结合开源标准来创建新产品。

蓝移的记忆力是英国后面的芯片启动另一个内存架构称为剑桥架构。公司使用RISC-V和CXL部署技术。首席执行官和首席技术官彼得Marosan说使用这些开放标准允许该公司节省1000万美元的潜在支出在一个现成的CPU从制造商,和“打开门,我们的市场和我们整个群体。”

至于在地平线上,加里•Ruggles Synopsys对此高级产品营销经理说,他开始看到第一调查CXL 2.0和3.0 CXL汽车行业。“当你看汽车现在,他们漫游超级计算机。这些人不应该令人震惊的看着同样的东西我们看数据中心。”