HBM2 Vs. GDDR6: DRAM中的权衡

美国半导体工程公司(Semiconductor Engineering)的产品管理高级总监Frank Ferro坐下来讨论新的DRAM选择和考虑因素Rambus;Marc Greenberg，公司产品营销集团总监节奏;Graham Allan, DDR PHYs公司的高级产品营销经理Synopsys对此;和Tien Shiah，内存营销高级经理三星电子．以下是那次谈话的节选。

SE:目前内存领域面临的最大挑战是什么?

左至右:Frank Ferro, Graham Allan, Tien Shiah, Marc Greenberg。图片来源:半导体工程/Susan Rambo

铁:主要的问题是延迟和带宽，这些都没有太大的变化。但现在的关键区别是，我们看到了一个转变，从我们有足够的带宽，计算是瓶颈，到内存又是瓶颈。这催生了许多不同的技术。HBM几年前突然冒出来，现在GDDR出现在每个人的雷达上。在某种程度上，我们仍然受到内存供应商的摆布，因为我们正在基于他们的规格和JEDEC规格构建物理层。但在建筑上，我们正在寻找创新的方法。这是下一步。

艾伦:我们的客户面临着大量的选择，如果你属于不需要普通界面的人，而你有一些具有挑战性的东西或相对较高的带宽要求，你就会面临所有这些选择，你不知道该去哪一个。如果你不是主要的CPU供应商之一，这是一个非常困难的市场，因为你没有从DRAM供应商那里得到很多见解。内存市场有很多秘密，比如一个DRAM的价格是多少。您可以找到大量DDR4的成本，但如果您想知道HBM或GDDR6的售价，则无法得到答案。而且每个月都在变化，因为DRAM价格波动很大。我们的主要活动之一就是引导客户了解所有这些不同的选择，以及权衡是什么。

什叶派当前正在处理的数据量呈指数级增长。如果你看看我们在计算机方面所经历的一切，我们从一台计算机开始，然后我们将这些计算机连接到互联网，然后我们发展到基本上每个人都在口袋里携带一台计算机。现在我们在这里人工智能波。向人工智能的转变比之前的浪潮发生得更快，每一波浪潮中，我们都看到了数据量的指数级增长。所以我们一直在积累数据，因为存储很便宜。现在的关键是能够处理这些数据。能够理解这些数据的公司将会是成功的公司。大型云计算公司最初已经积累了大量数据，他们正在使用人工智能来处理这些数据。企业现在也在尝试这样做。但是，如果使用屋顶线模型来确定应用程序是否受计算或内存限制，那么AI应用程序将受到内存带宽的限制。为了解决这个问题，我们在HBM中看到了很多有趣的东西。我们已经看到HBM的收入出现了数量级的增长。

格林伯格:不同记忆选择的多样性让人纠结。有客户来找我说，‘我真的很想去看GDDR6，或者LPDDR5或HBM2。我们试图引导他们。对于基于服务器的设备，他们在同一个模具上选择了两个。我见过在同一个骰子上有DDR5和HBM2或GDDR6的人。有一段时间，内存行业专注于两种内存类型，DDR和LPDDR。GDDR已经出现了，但只用于图形和少量其他应用程序。所有这些产品现在都在超越它们的界限。《GDDR》远远超出了它的图像起源。LPDDR远远超出了移动电源存储器的范畴。 We see a lot of overlap and confusion.

SE:现在有很多新的架构，比如高级封装、内存中计算和近内存计算。这些架构能解决内存瓶颈吗?

铁:记忆的多样性是这些架构的一部分。有些体系结构更特定于应用程序。所以如果你要做一个特定类型的计算函数，你要看它的最佳内存。在网络中，您可能会看到HBM执行包缓冲，或者ddr执行其他类型的管理功能。soc和网络处理器开始根据它们看到的工作负载类型优化内存子系统。在人工智能方面，培训正朝着HBM方向发展。推理负担不起HBM，所以他们倾向于GDDR6。甚至一些低端的ai也在向LPDDR4和最终LPDDR5的方向发展，因为它们的网卡受到特定功率预算的限制。所以你有一个AI卡使用LPDDR，下一个使用GDDR6，高端的使用HBM。

格林伯格:人工智能市场非常年轻，很多人工智能公司还没有决定长大后要做什么。所以他们都选择了一种特定的内存类型，然后一个月后你和他们谈话，他们的路线图改变了，他们为不同的市场选择了不同的内存类型。推动这一趋势的不仅仅是内存行业。人工智能也是这些高带宽内存的主要用户之一。由于这是一个年轻的市场，这些公司的计划也在曲折中发展。

SE:数据中心的人工智能是用于训练，还是用于推理?

格林伯格:两者都有。当然还有数据中心人工智能，这是一个很大的市场。但也有人想在边缘领域做人工智能。人们希望在两者之间做人工智能。然后是汽车，这是另一个市场。

艾伦如果你看看DRAM(大规模内存)和计算的结合，大约20年前，我为一家DRAM设计公司工作。当时我们正在和多伦多大学合作，我们创造了计算内存，或称CRAM。它拥有与DRAM一样的小型计算单元。这是访问DRAM带宽并获得计算能力的绝佳方式，但它不起作用，我认为它永远也不会起作用。dram是唯一能够大批量生产的东西。dram是大容量的野兽。如果不是，它们将非常昂贵。他们的生产线都在输出DDR4和LPDDR4，他们还在输出DDR5和GDDR。他们已经把这些生产线包装好了。试图用一种未经验证的商业模式，硬塞一些独特的东西进去，是行不通的，因为他们可以马上用已经赚到的钱赚钱。 It’s going to be very hard to change that. It would require a new application with very, very high volume.

SE:对于内存计算来说尤其如此，对吗?

艾伦是的，这是一种组合，你试图通过不使用两种不同的芯片来避免接口。这是一种反芯片的方法。

格林伯格我们给人们的类比是，函数(x) = x + 1。我们在计算领域一直都在这么做。现在通常使用内存，你要做的就是向内存发送一个命令，读取这个内存，将数据传输回CPU，然后CPU会做它所知道的最愚蠢的事情，就是给数字加1，然后再通过PCB将它发送回DRAM。这需要大量的时间。它会占用CPU几个时钟周期，而且会消耗大量能量。如果你能够寻址x加1，并且你只发送一个事务到内存中，这是可以的。这是内存中计算的最简单的例子。它非常节能，人们已经尝试了20年了。

艾伦:但是你还是要读它才能用它做任何事情。

格林伯格:在某一时刻。

艾伦我们正在迈出一小步。使用DDR5，你可以写全零。

格林伯格:这是一个内存清除函数，很有用。

艾伦:是的。不需要任何计算能力的东西。

铁:即使像HBM3这样的东西即将到来，你也有逻辑坐在那里，它已经在DRAM中了。因此，在标准DRAM中使用硅是有机会的。你没有做任何超级定制的事情。但是您可以利用这个逻辑层，看看可以在那里做些什么。它仍然是DDR，您可以组织和阅读它。

艾伦:这是基本层模具，有相当多的空空间在那里。

铁:是的，而且它是两全其美的。它看起来仍然像一个标准的DRAM，具有兼容的内存空间，但也有逻辑空间。但它也必须是标准的和高容量的，以降低成本。

什叶派:如果你看一下HBM的路线图，它主要是针对HPC(高性能计算)和AI类型的市场。有了人工智能，你需要更快的训练时间和更准确的训练。更快的训练时间意味着更快的记忆力。每一代HBM的速度都在提高。如果你想要更精确的训练，你需要更深入的神经网络。有了更多的层次和更深的神经网络，你就需要更大的容量。所以每一代HBM的容量都在增加。使用HBM2E，我们将速度提高了33%，密度增加了一倍。现在我们有8g和8g的堆栈，而不是4g和8g的堆栈。我们正在解决两个对人工智能很重要的向量，即更快的训练和更准确的训练。 Those kinds of applications initially were driving the AI market. But we’re seeing that other spaces are starting to adopt HBM, too, just because of the need to process data and move it around. Another big area where we’re seeing HBM adoption is in networking, whether it’s in the terabit-class switches that need packet buffers, or some of the evolving smart NICs (network interface cards). The smart NICs do a lot of offloading, both in terms of the network stack offload as well as the direct connection to the storage. Those are new applications. It’s all about processing data and moving around data.

SE:目前的瓶颈在哪里?是在记忆里吗?是将数据移到内存中吗?还是在处理器中?

格林伯格:我们看到内存带宽问题。不管是HBM还是GDDR6，我们都希望使用高带宽内存。这种极端的带宽是有代价的，人们总是试图在实现解决方案的成本与可以获得的带宽之间取得平衡。这一直是需要考虑的。如果成本不是一个目标，那么您将追求您可以实现的最高带宽，因为通常内存带宽对于计算系统总是有利的。但在某些时候你必须考虑你的预算。

SE:这就是GDDR6胜出的地方吗?

什叶派:在某些应用中，可以。如果你看看像高性能计算和人工智能这样的东西，特别是对于高端应用程序，在这些系统中，每性能的美元不是一个因素。他们追求最高的性能。HBM使快速超级计算机成为可能。在其他一些应用中，经济学确实发挥了作用。他们关注的是每千兆比特每美元的性能。您可以对HBM和GDDR进行盈亏平衡分析，将每种技术的每千兆美元与您可以启用的带宽进行比较。

铁:即使在GDDR6出现之后，我们还是有一些HBM客户对系统的整体成本感到有点惊讶。现在还早。他们需要进入2.5D制造的物理设计，以及中间体的成本和中间体的翘曲和热量。有很多物理设计回到PCB设计，以节省成本。我们有客户看了HBM后选择了GDDR6，也有一些选择了相反的方式。这里有一个灰色区域，但是一旦您确定了应用程序，那么GDDR6或HBM就成为了一个明确的选择。

相关文章及视频
DRAM的权衡:速度Vs.能量
第2部分:哪种类型的DRAM最适合不同的应用，以及为什么性能和功率会有如此大的差异。
内存选项和权衡
什么样的记忆在哪里最有效，为什么?
内存权衡在人工智能和汽车应用中加剧
为什么选择内存并将其构建到系统中变得越来越困难。
内存计算的挑战成为焦点
研究人员正在探索绕过冯·诺依曼瓶颈的方法。
内存中与近内存计算
随着规模效益的下降，新的方法正在争夺人们的注意力。
GDDR6 - HBM2权衡
哪种类型的DRAM在哪里工作得最好。
负载下延迟:HBM2 Vs. GDDR6
为什么选择内存取决于数据流量。
目标:减少50%的内存容量
有可能将内存的功耗降低50%吗?是的，但是它需要在内存和体系结构级别上进行工作。
混合内存
科技快讯:DRAM扩容还能持续多久?