中文 英语
18.luck新利
的意见

官方消息:HBM3戴上了带宽之王的王冠

最新版本的高带宽内存标准如何跟上日益苛刻的应用程序。

受欢迎程度

出版HBM3更新到高带宽内存(HBM)标准,一个新的带宽之王被加冕。高级工作负载的狂热性能需求,以及AI/ML训练的领先地位,推动了对更快交付比特的需求。内存带宽是计算性能的关键因素,因此需要以HBM3作为新的基准来加速标准的发展。

以下是HBM3提供的功能:

  • 提供,首先,更高的数据速率。HBM3将每针数据速率提高到每秒6.4千兆比特(Gb/s),是HBM2的两倍(比HBM2E的3.6 Gb/s数据速率提高了78%)。
  • 保持前几代的1024位宽接口。带宽是数据速率和接口宽度的乘积,因此6.4 × 1024等于6554 Gb/s。除以8位/字节,主机处理器和单个HBM3 DRAM设备之间的带宽可能达到每秒819千兆字节。
  • 内存通道数量增加一倍,达到16个,并支持32个虚拟通道(每个通道有两个伪通道)。通过更多的内存通道,HBM3可以支持每个设备更高的DRAM堆栈和更细的访问粒度。
  • 支持最多12个高堆栈的3D DRAM设备(提供未来扩展到每个堆栈高达16个设备),设备密度最高为32Gb。一个12层高的32Gb设备堆栈转换为一个48GB容量的HBM3 DRAM设备。
  • 将主机处理器和HBM3 DRAM设备的2.5D架构安装在中间机上,以支持数千条信号迹线的路由。因此,与前几代一样,HBM3是2.5D/3D架构。
  • 通过将工作电压降至1.1V和使用低摆动0.4V信令来提高能源效率。

让我们在一个潜在的用例中总结这一切。未来的AI加速器实现有6个HBM3 DRAM设备。在6.4 Gb/s时,总聚合内存带宽为4.9 TB/s。每个12 x 32Gb HBM3 DRAM设备的容量为48GB,因此AI加速器可以访问288 GB的直接连接HBM3内存。

这是巨大的能力。HBM3扩展了最初被称为“慢而宽”的HBM内存架构所设定的带宽性能记录。虽然接口仍然很宽,但HBM3在6.4 Gb/s的速度下运行已经非常快了。在所有条件相同的情况下,更高的速度意味着更高的功率。宽接口的动机(这需要更高的复杂性2.5D架构)是在低数据速率下以低功耗提供高带宽。为了补偿,HBM3降低了工作电压(上面列表中的最后一项)以获得更高的电源效率。

但是天下没有免费的午餐,对于已经具有挑战性的2.5D设计来说,更低的电压意味着更低的设计边际。幸运的是,Rambus支持您的8.4 Gb/s HBM3内存子系统,它提供了足够的设计空间和扩展空间。为了帮助您成功地利用HBM3内存的全部潜力,Rambus提供了插入器和包参考设计。

Rambus内存子系统包括一个模块化和高度可配置的内存控制器。控制器经过优化,以最大化吞吐量和最小化延迟,其内存参数是运行时可编程的。它拥有超过50个HBM2和HBM2E客户实现,在各种配置和数据流量场景中都展示了效率。

虽然通往更高性能的道路是一段旅程,而不是终点,但最新一代HBM承诺提供一些非常非凡的功能。所有人都为新的内存带宽之王HBM3欢呼。

额外的资源:



留下回复


(注:此名称将公开显示)

Baidu