DRAM选择成为核心设计考虑因素

芯片制造商正在密切关注各种DRAM选项，因为他们正在努力解决芯片上或封装中的问题，将附加内存提升为影响系统性能、功耗和成本的关键设计元素。

这些都是越来越重要的问题，需要进行一些权衡，但普遍的共识是，为了达到每瓦处理更多数据所需的更高性能水平，必须提高电源效率。的味道越来越浓动态随机存取记忆体使用以及如何访问它，对于在给定的功率预算内实现性能目标起着巨大的作用。

“低功耗空间是关于如何保持信号完整性，达到所需的性能水平，同时提高电源效率，”Steven Woo说Rambus．“在移动领域，下一代设备所需要的性能是无止境的。有很多概念以前只用于一种类型的内存，比如多通道，现在正在不同的市场上实现。”

主要的问题集中在其他类型的存储器借鉴了哪些概念，以及低功耗市场将如何开始影响主存储器的工作。低功耗工程团队一直专注于试图节省电力，并保持在一定的功率范围内。Woo说:“考虑到dram都是基于相同的基本电池技术，它是关于如何优化它周围的一切，如何优化低功耗环境，以及如何优化高性能环境。”

Rami Sethi，公司副总裁兼总经理瑞萨电子表示同意。“人们普遍承认，随着时间的推移，DDR总线支持多插槽配置的能力将面临越来越大的挑战。当你运行宽并行伪差分，主要是单端风格的总线到每秒6,7,8千兆传输速度时，首先你会失去第二个插槽。在某些情况下，您将无法在这些速度下支持多插槽配置。当这种情况发生时，你的记忆容量实际上减少了一半。DRAM扩展和密度的增加将弥补部分损失，您可以继续向内存控制器添加越来越多的通道。但最终会失去动力，这种方法无法获得所需的增量容量。”

Stuart Clubb，数字设计实施技术产品管理总监西门子EDA，指出了类似的趋势。“几年前，NVIDIA发布了一份能源成本比较报告，显示在相同的计算工作量下，使用主存(特别是DRAM)与使用本地CPU寄存器的能源成本要高出约200倍。过去的其他论文详细介绍了1级缓存读取和主存之间近20倍的功耗差异。按说，任何减少迭代主存访问的方法都是有益的。”

此外，随着功率和能量变得更加重要的产品指标，使用特定于应用程序的加速器来补充通用计算资源的情况正在增加。

“无论是内存处理、计算存储、SoC或PCI服务器端基于总线的加速器，还是在线预处理，对降低主存相关能源成本的高效硬件的需求正在增长，”Clubb说。“专门的加速器需要为低能耗的特定任务而建造。而传统RTL能力评估而且优化工具可以在一般的RTL设计工作中提供帮助，在这个加速器空间中，我们已经看到高级合成的使用在增加。探索设计空间，尝试不同的架构，并最终使用具有竞争力的低功耗RTL构建这些加速器HLS就是增加价值。具有本地化低功耗内存解决方案的自定义加速器的优势在于，当不使用时，您可以完全关闭它们，这是CPU/GPU/ npu类型的解决方案所不能做到的。无论你多么努力地优化你的主存架构，数据移动的能源成本可能是你真正想要尽可能避免的。”

浑水
在数据中心内部，这需要一些权衡。移动数据有成本，但是服务器的供电和冷却也有成本。允许多个服务器根据需要访问内存可以提高整体内存利用率。

这是主要的驱动因素之一计算快通，一个cpu到内存的互连规范。“CXL基本上允许串行连接，”瑞萨的Sethi说。“你减少了所需的引脚数量。您可以将基于CXL的模块放置在离CPU更远的地方，这比使用直接DDR附加获得的可扩展性更好。这些模块看起来更像存储设备、ssd或PCIe扩展卡，因此可以在外形上获得更大的密度。然后，CXL还为缓存一致性、负载存储、内存访问等提供了许多协议钩子，因此它开始允许DRAM看起来更像直接连接的DRAM，或者至少像非均匀内存访问(NUMA)风格的DRAM访问。”

这反过来又需要更多地考虑如何构建内存，以及使用哪种类型的内存。“当人们在DDR和LPDDR之间进行选择时，实际上，有些东西会在很长一段时间内都是DDR。如果您正在构建一个大型服务器，您可能会使用DDR构建内存。如果您正在构建一个移动电话，您可能会使用LPDDR构建内存。双方都有非常明确的立场，”该公司产品营销、DDR、HBM、Flash/存储和MIPI IP的集团总监Marc Greenberg指出节奏．“然而，中间部分就不那么清晰了。在过去的五年里，它变得越来越模糊，例如，LPDDR被用于传统上可能专属于DDR内存的地方。”

每一种都有其优点和缺点，但有足够多的重叠使事情变得复杂。“DDR内存的一个优点是能够以可移动的方式增加容量，如果你想增加更多gb的存储空间，或者有很多gb的存储空间，在大多数情况下，DDR是实现它的方法。LPDDR存储器提供的是一定范围的内存密度和容量，与它们所进入的移动设备相匹配。但在某些情况下，这些能力也与某些类型的计算功能相匹配。我们看到LPDDR内存开始进入服务器领域的一个领域是各种机器学习/人工智能加速器。”

每种内存类型都有许多属性，从可以在接口上添加多少容量到添加容量的难易程度，以及支持多少带宽。还需要考虑电源和企业可靠性标准。Greenberg指出，在某些情况下，lpddr比DDR内存更符合某些类型系统的需求，即使是传统的DDR类型应用程序也是如此。

兰迪·怀特，内存解决方案项目经理Keysight技术他认为有两个或多或少的选择- DDR或LPDDR, HBM和GDDR用于更专业的设计。“除非你专注于一个小众应用，否则选择其实只有两个。DDR可能占数据中心和桌面之间内存总量的60%到70%。LPDDR占30%或更多，而且这个比例还在增长，因为它跟踪从手机引入到其他移动设备的新产品的数量。与此同时，LPDDR往往领先主流DDR一年或更长时间。年复一年都是这样，那么为什么LPDDR总是在挑战极限呢?他们也总是更早地得到规格。这是因为手机是目标设备，这是捆绑了很多钱的地方。你不希望内存成为瓶颈。”

选择正确的内存
怀特说，这一决定归结于两件事之一:容量和应用。“你需要超过64g的内存吗?”一部电话或一个移动应用程序将使用16g到32g的系统内存。这与存储所有视频和文件不同。你为此花了很多钱，而你的手机供应商会卖给你相应的选项。但是系统内存是固定的。你不知道，它就是有用。对于手机来说，你真的不需要那么多。一台运行数千台虚拟机、进行金融交易、工程、数据库查询或Netflix流媒体的服务器需要tb级的内存，这是一个数量级或更多。这是第一选择标准。 How much do you want?”

第二个要考虑的是它的去向。“你要做的是什么形式的东西?服务器需要大量内存，所以它们有很多DIMM插槽。但是如何才能把64g的多块内存芯片装进一部手机呢?这个电话可以放在你的手掌上。别忘了显示器、电池和工艺，所以空间限制是不同的。”怀特说。

另一个需要考虑的因素是移动设计的演变。“你需要更强的计算能力，”他说。“你需要更多的内存，但空间正在缩小。你是怎么处理的?这真是一个令人着迷的趋势。处理器和内存本身之间有更多的集成。如果你看一下5年或10年前的旧手机，处理器位于电路板的一部分，然后信号被路由到电路板上-可能是一英寸或两英寸-到离散内存组件，信号来回传输。现在我们看到了芯片堆叠和封装对封装的趋势。现在你最多可以堆叠16个，这就是你如何获得32g或更多的内存，因为这些内存芯片不超过2或4 g。集成变得如此之高，无论是空间还是速度，如果你不在电路板上传输那么远，你就能获得更好的信号完整性。”

与此同时，这并不意味着系统架构师发现更容易进行权衡。事实上，工程团队在DDR、LPDDR、GDDR6甚至HBM之间多次改变主意的情况并不少见，Cadence的Greenberg说。

他说:“人们会在这些决定之间来回徘徊，尝试一下，权衡一下所有的选择，看看效果如何，有时在评估一段时间后会改变类型。”“他们通常做系统级建模。他们会有一个视图和神经网络的模型，还有一个记忆接口和记忆本身的模型。他们会在上面运行流量，看看效果如何，然后进行性能评估。然后他们会考虑每一件要花多少钱，因为，例如HBM内存以非常合理的每比特能量具有极高的带宽而脱颖而出。但是使用HBM内存也有很多相关的成本，因此工程团队可能会从HBM开始，运行模拟，当所有的模拟看起来都不错时，他们就会预算并意识到他们将为连接HBM的芯片支付多少钱。然后他们会开始研究其他技术。HBM确实提供了价格卓越的性能。你到底愿不愿意付这个价钱?有一些应用程序需要HBM，而这些设备最终的价格点可以证明内存的使用是合理的。但还有很多其他设备不需要这么高的性能，在某些情况下，它们可以归结为GDDR6、LPDDR5和DDR5。”

图1:考虑通道效应的GDDR6 16G数据眼仿真。来源:节奏

此外，当重点是低功率时，假定LPDDR不能被击败。这是不对的。

“真正的低功耗内存是HBM，”该公司产品营销高级经理Graham Allan说Synopsys对此．HBM是最终的点对点，因为它在同一个包中，在某种形式的中间体上。在SoC上的物理接口和DRAM上的物理接口之间有一条非常短的路由。它总是点对点的，短路径的，未终止的，所以我不会消耗任何终止能力。如果你看一下电源效率，即传输一个比特信息所需要的能量——通常以皮焦耳/比特或千兆字节/瓦特表示——HBM的电源效率是所有DRAM中最好的。所以HBM是真正的低功耗DRAM。

另一种降低功耗的方法是将DRAM核心的电源从I/O中分离出来，这是存储器历史上没有利用到的。“DRAM总是喜欢只有一个电源，”Allan说。“整个DRAM芯片中的所有部件都在同一个电源上运行，LPDDR4使用的是1.2伏电源。数据眼高350到400毫伏，使用1.5伏电源。一些非常聪明的人说，‘我们为什么要这样做?为什么我们不使用更低的电压来获得相同高度的数据眼呢?当然，在上升和下降时间上会有一点妥协，因为我们不是用相同的驱动强度驱动这些晶体管。但这是点对点的，应该没问题。这就是后来的LPDDR4x。LPDDR4和LPDDR4x之间的主要区别是从DRAM中取出电源并进行切割——一个电源用于I/O，一个电源用于DRAM。”

可以理解的是，每个可以使用LPDDR4x的人都会使用，因为DRAM供应商基本上只有一个可以支持任何一种工作电压的芯片。

“对于主机来说，不幸的是，如果你是为LPDDR4设计的，你将把LPDDR4信号驱动到DRAM，”Allan说。“如果你是一个LPDDR4x DRAM，你会说，‘这些信号对我来说有点太强了，电压太高了。我不能保证我的长期可靠性不会受到你给我的东西的影响。因此，从技术上讲，您违反了DRAM的超调/欠调规格。“你必须经历一个过渡的过程。我们的客户正在寻求DDR4到LPDDR4x的帮助。在一天结束的时候，这并不是一个巨大的电力节省。对于整个子系统来说，它可能在15%的范围内节省电力。这是因为DRAM的核心需要大量的能量，你没有改变电源供应链，所以你没有改变它们的工作方式。您只是改变I/O在总线上传输数据的电压。你在SoC上的PHY上做这个你在DRAM上的PHY上做这个。 Now interestingly enough, as we’ve gone from HBM2 and HBM2e to HBM3, we’ve gone from a common 1.2 voltage for HBM2e, to a 0.4 volt operating supply for the I/Os on HBM3. So we’ve reduced it by a third. That’s a big power savings, especially when there are 1,024 of these going up and down.”

可靠性问题
根据Rambus的Woo的说法，与上述所有考虑因素相对应的是对系统可靠性的日益关注。“可靠性正在成为一个更加突出的一流设计参数。在更小的过程几何中，事情变得更复杂，事情会相互干扰，设备可靠性也会更难一些。我们看到，由于电容电池越来越小，刷新时间/刷新间隔正在下降。这些都反映出可靠性正变得越来越重要。问题是，随着完整性越来越具有挑战性，这些DRAM设备的架构会发生怎样的变化?它是更多的模上ECC或类似的东西被使用吗?这一切都发生了，因为它现在是一个更加突出的问题。”

那么接下来会发生什么，行业将如何向前发展?Woo说:“我们倾向于看到在组件层面上存在真正难以解决的问题，要么是因为技术上的困难，要么是因为成本非常昂贵。”“我们倾向于看到这些问题上升到系统层面，人们试图在系统层面找到解决这些问题的方法。”

相关的
CXL和OMI:竞争还是互补?
这取决于你问谁，但两者都有优点。
DRAM正在发生什么变化
缩小功能对内存的影响。
权力现在成为更多市场的首要关注
在以性能为主要目标的市场中，设计人员不再把功率和性能作为一组单独的要求来考虑。