数据中心转向新的记忆

DRAM扩展和选择开始出现在数据中心正在处理的数据量,存储和访问继续飙升。这是对数据中心的体系结构有很大的影响,现在的目标是把处理更接近数据和减少延迟无处不在。

记忆一直是一个关键的冯·诺依曼计算架构。今天通常部署在数据中心整体DDR4-based,以及一些遗留DDR3,直接连接到CPU。但是那些过于缓慢的许多新应用程序内的数据中心,包括人工智能、机器学习和深度学习,所以正在努力提高工作速度可以访问数据,而不必对力量产生巨大影响的预算。

DDR5将提供一些前显著提高动态随机存取记忆体verions。多年来,内存制造商坚持DDR4就没有后续。改变一次视频,几乎无处不在的图像处理进入了视野与智能手机和其他移动设备的引进。根据电平,DDR5 DDR4将提供两倍的带宽和密度,并允许更好的渠道效率。

但DDR5孤独可能会不够。所产生的数据量传感器在各种连接设备在多个市场爆炸,所以是对计算能力的需求理解所有的数据。机器学习/ AI /深度学习,分别扩展市场充满了连接设备,只是增加了需要额外的记忆类型。

GDDR5一个选项,这是一个类型的同步图像随机存取存储器(SGRAM)。GDDR5开发用于显卡,游戏机,高性能计算。英伟达显卡使用这项技术,例如,与深度学习和帮助机器学习应用程序。

“如果你看看机器学习和深度学习基本上就是两件事——一个数据集,必须训练,以及由此产生的模型,然后可以被部署和推断,“说Sarvagya Kochak,高级产品营销经理Rambus。“数据的训练极其密集的需要大量的计算资源,这就是为什么重型gpu促成良缘。这些是精度低,gpu与cpu更适合于浮点操作。fpga也可以使用,一些公司这样做。他们提供更好的能源消耗数据。很大程度上取决于模型的类型正在工作。”

所有这些架构有一个共同点。有大量的数据需要处理和存储,需要访问它非常迅速。到目前为止,没有记忆类型是所有需求,促使一些不寻常的数据中心内部的组合技术。

“我们开始看到这些应用程序的人试图做AI-type事情,深度学习,和超级计算,而这正是我们看到很多兴趣HBM2(高带宽内存2),”马克·格林伯格说,产品营销组主任抑扬顿挫的IP组。“一堆HBM2设备给你的每秒内存带宽,也就是巨大的。但是我们今天的技术,你只能存储在一堆HBM2 4 g。宏大计划的事情,那不是大量的数据,所以你无法HBM存储一个非常大的数据库。但你可能会存储索引HBM到大型数据库。这种架构可能包括,例如,一些小数量的字节的HBM,可快速访问,然后更大数量的内存可以存储在DRAM巴士,DRAM或NVM。所以你真的使用两种解决方案。”

图1:HBM2配置。来源:SK海力士

而通用内存趋势更多的带宽和容量仍然成立,如何获得有改变。

“我们正在以非常高的利率提供的带宽HBM2技术,目前正在用于图形应用程序,对于网络开关式应用程序,和超级计算/高性能计算类型的应用程序,”格林伯格说。“你不会发现,但在一个主流的服务器。主流服务器更多能力。如果你想运行大量的虚拟机或一些大型数据库应用程序之类的这些服务器,然后你需要大量的记忆存储接近CPU。存储接近CPU是很重要的。你可以把字节和tb的数据在一个固态硬盘或磁盘,但它是一种遥远的的时间来访问数据。结果,现在的趋势之一是试图在DRAM总线上总是把更多的内存,可以用DDR5或可能把一些DRAM总线上的闪存。如果你想把一些flash在DRAM总线上,有几种不同的方法,包括NVDIMM-N协议。”

限制和解决方案
有技术障碍需要克服,然而。例如,DRAM多少可以直接连接到CPU是有限的,这仍然是一个大问题对吞吐量和处理的整体性能。

“这是第一题,“Kochak说。”,从根本上而言,最大的挑战是由于DRAM的伸缩率设备并不能保持。这是困难的大内存制造商像三星,SK海力士和微米密度越来越高。现在,4 -和8-gigabit设备运输在大量的大规模生产。16个千兆应该在一年或两年,但这带来了一个非常重要的挑战,因为如果你看着它从CPU的角度来看,CPU速度没有过去十年了。他们或多或少地趋于平稳,因为晶体管速度不能超过了他们吧。”

补偿、CPU供应商增加更多的核心处理器的内部。但这增加了一套自己的问题。

“这种方法的问题是,在CPU是一个集成内存控制器,与DRAM dimm接口,“Kochak说。”年长的cpu,肯定会有两个内存控制器。现在有四个内存控制器。很快就会有六个内存控制器和投影甚至可能有八个每CPU内存控制器。有更多的内存控制器的原因是因为需要更多的数据来满足所有的核心,所以如果有更少的内存控制器,数据不能被美联储从DRAM内核。如果核心饿了,他们就没有什么意义了。随着核数量的上升,有一个要求更多的带宽从DRAM进入系统”。

所以需要大量的内存,因为从根本上带宽正在上升。但是随着带宽的持续上升,甚至需要更多的内存。“如果你看看内存的速度增加,以及每个CPU内存连接速率,它不是一个漂亮的照片,”他说。

英特尔一直试图解决一些与3 d XPoint容量问题,相变存储器与DRAM-like应该提供如同容量性能。

“从用例的角度来看,只是把一个非易失性内存(NVM)设备内存通道系统中没有任何意义,”Kochak说。“你必须要有这样的基础设施,使主机系统使用,这个平台,和应用程序知道这非易失性内存,你可以做很酷的东西。”

持久的记忆
这就是NVDIMM进入画面。非易失性DIMM (NVDIMM)是标准的DRAM同时也有闪光的持久性。典型的NVDIMM模块包含DRAM、flash、控制逻辑,一个独立的电源保留关键内存数据通过意外断电事件,系统崩溃或计划关闭。这类型的设备称为持久记忆的一部分。

图2:NVDIMM模块。来源:HPE

NVDIMM-N让flash DRAM总线作为后备机制的功率损耗,格林伯格说。“很多这些服务器需要能够恢复自己的状态,如果停电了。如果你想象某种机器,有一些与之相关的财务能力和事务开始功率下降,它必须能够回来,记住这是做什么,完成交易。还有其他类似的技术,同时,如整体依靠电池,电池使DRAM磁盘上的数据。”

Kochak说,虽然英特尔等多个公司,微米,索尼,维京技术,三星和网表已经航运NVDIMMs,还有工作在SNIA(存储网络行业协会)促进标准,并形成一个单独的组创建一个编程模型使用持久的记忆。

随着时间的推移,他认为应用程序开发人员要意识到如何使用持久记忆。“今天我们的软件驱动,和开发的一个关键的心境DRAM是不稳定的,你可以在DRAM丢失数据,所以总是设计您的系统,你可以预期的失败。要做到这一点,有很多事情比如检查点,日志和日志记录。如果你不需要做这些操作,您可以找出方法更快和有效地使用相同的基础设施,提高应用程序的性能。那么你不需要做所有这些处理不稳定的系统内存,因为其他操作系统内存将非易失性”。

然而,这不是一个标准的即插即用的方法。在NVDIMMs设计时,连接到CPU或SoC,每一个都是不同的。

“每个人都想要不同的东西,这是一种反射一点SoC有点不同,”格林伯格说。“每个SoC的内存需求是不同的,所以他们在各种各样的方面不同于非常高的水平。他们支持容量或焊接在板是内存?DIMM支持渠道多少?有多快?什么类型?哪些功能需要支持吗?每个人都有一个不同的需要,每个人都试图为性能优化区域和力量。给人们这种灵活性的能力是非常重要的。”

的一个主要考虑让记忆符合CPU需求持续增加内存带宽,他说。“我们不断有人要求我们帮助他们推动的边界频率,并试图增加内存总线频率尽可能多。还有是一个重要的需求增加的DRAM可以连接到总线上。有两种新方法的DRAM总线速度在企业数据中心存储空间。一个是使用DDR5代替DDR4。的主流方式。将你的记忆管从DDR4 DDR5。然后如果你真的想要果汁方向的能力,这一点,你可能会开始观察NVDIMM - p .”

会工作吗?
设计系统与先进的记忆并不简单。本·怀特黑德存储产品模拟专家部门导师,西门子业务说,他花了很多时间与公司讨论他们的方法和工具,以创建先进的记忆。

”一个NVDIMM既有技术DRAM技术,所以它看起来像一个DRAM DIMM的形式,但它也有一个非易失性部分,无论是flash或者其他东西。如果你把一个闪存固态硬盘,设计和验证设计的挑战远远大于实际的设计本身因为现在flash的特征非常复杂,导致设计的挑战。你能想出一个架构和设计,满足建筑要求,但真正肉出来,确认它是做需要做的事情是非常复杂的。”

问题的范围从垃圾收集、编写放大和写因为根据NAND闪存的状态在你写的时候,它可能会导致许多更多写道。

“如果你写某一地址,如果地址是穿出,然后你需要移动它,”怀特海德说。“所以你擦掉,然后写数据块到另一个位置。导致另一个打扰,那块移动。所以你可以有8、10、16写的一块从主机写一个街区。这种放大的主机的主机看到和交通原因做一个惊人的数字后端上的瓶颈和性能问题,你真的无法预测。”

这需要一个验证方法来创建这些情况,Whitehead解释道。“你不一定必须创建他们——通常这些情况发生后六到八小时的车程在操作。一旦开满了几次,然后你真的开始看到这些性能特征,这些瓶颈开始发生。设计本身并不简单,但是您可以创建块管理这些功能,无论是在固件或硬件。但是测试这些块,现在我只是谈论SSD,已经成为一个极端的挑战。”

一种方法是收集所有需要编写一个闪存,并将其同DRAM,这样系统看起来像一个DRAM。不利的一面是,双打的复杂性。

“你真的需要看到整个系统的能力模拟器,或者只是一些捕捉能力,系统不分区成子块,这个区块或子系统我们认为工作很好,”他说。“你必须把它放在系统知道。我们没有时间去创建一个子系统,所以固体和IP-centric所以完美,它将工作在任何系统,因为没有足够的时间。我们可以创造,但时间、金钱和费用需要将太多。公司必须得到这些块到一个系统级尽可能快,这样他们就可以找到真正的bug,只有与配置和船舶产品。这是挑战。有一个巨大的物理模拟的NAND闪存,你必须处理在系统级别。”

结论
随着新应用,如深度学习、机器学习和人工智能应用推动数据中心来提高处理性能更快地处理大量的数据,该行业是设计有趣的新方法来实现内存的服务器架构。在这个快速发展的空间,生态系统是加固数据应该驻留的地方,应该如何架构系统,瓶颈将会在未来。

记忆是在这个世界上的一个重要组成部分,在这一点上没有单一的解决方案,解决所有问题。

有关的故事
新的记忆和架构
到目前为止没有广泛采用,但许多人认为改变是不可避免的。
中国揭开记忆计划
政府和行业投资数百亿美元,但到目前为止,结果是喜忧参半。
新的嵌入式记忆之前
选择成长为新一波的单片机能够NVM要求更多。
FeFETs是什么?
这个新的内存栈如何与现有的非易失性内存。