2.5 d内存提供了带宽、容量和功率效率所需的人工智能训练,但增加了复杂性。
最大的AI /毫升神经网络训练模型现在超过一个巨大的1000亿参数。的增长率在过去的十年里每年10倍的速度,我们前往兆参数模型在不久的将来。考虑到巨大的价值,它可以来源于AI /毫升(关键任务是五六世界上市值最高的公司),有一个巨大的必须为培训开发特定于应用程序的硅。这些人工智能加速器需要极高的内存带宽和容量以保持他们的处理引擎全速地运行。
高带宽内存(HBM)已经演变为“去”内存AI /毫升培训。它使用一个2.5 d / 3 d建筑超越2 d内存的带宽和容量性能DDR等架构。“3 d”指DRAM设备堆积。在标准的DDR设备,通常有一个单一的DRAM模。HBM,记忆装置是一个包包含多个DRAM死去。最新版的HBM、HBM2E 12-high成堆的DRAM模都受支持。与内部12-high死堆栈,HBM2E DRAM设备可以达到24 g的内存容量(GB)。
的“2.5 d”部分2.5 d / 3 d建筑来源于接口实现。HBM使用“宽,缓慢”界面。我们将讨论如何“慢”正日益成为一个用词不当,但是让我们关注“宽。“HBM雇佣了1024位宽数据总线HBM存储设备连接到一个AI加速器。也有时钟、电源管理和命令/地址连接需要它把痕迹的数量需要1700左右。最先进的人工智能加速器可能连接到四到六HBM设备,现在我们将超过10000的痕迹。
这是远远超过可以印在一个标准的PCB。硅插入器作为中介连接内存堆栈(s)和处理器。硅插入器的使用是什么使这个2.5 d体系结构。与IC,间隔可以在硅蚀刻痕迹插入器来实现所需的数量HBM接口(s)。
“慢”指适度数据速率如何提供高带宽。与第一代HBM,界面操作在1吉比特每秒(Gb / s),在一个1024位宽总线的带宽128 Gb / s。HBM2E, Rambus使得最大数据率为4 Gb / s,这是彻头彻尾的快,远高于DDR4记忆的高端性能。当配上可用的最快HBM2E DRAM设备从SK海力士,额定3.6 Gb / s, Rambus HBM2E接口可以提供460 Gb / s的内存带宽。在加速器和四个HBM2E设备组成的一个架构,我们可以实现一个巨大的带宽超过每秒1.8 TB (TB / s)。
另一个大的好处这个架构的扩展z维是处理器和内存可以保存在非常接近。与“相对缓慢”数据率、功耗最小化。鉴于AI /毫升的部署培训企业加速器和超大型数据中心,热量和权力约束是至关重要的。
高带宽、高容量和功率效率,HBM2E内存提供什么AI / ML培训需求,当然,总是有一个问题。设计权衡HBM增加复杂的3 d设备和2.5 d结构。硅插入器是一个额外的元素,必须设计和制造特点。3 d堆叠内存相比出货量很小的巨大体积和制造经验积累使传统DDR-type记忆。网络是实现和制造成本高HBM2E比高性能内存使用GDDR6 DRAM等传统的制造方法。
设计师可以大大减轻高复杂性的挑战与选择IP供应商。集成解决方案如HBM2E内存接口从Rambus易于实现和提供一个完整的内存接口子系统组成的验证PHY和数字控制器。此外,Rambus插入器设计中有着丰富的经验与silicon-proven HBM2 / HBM2E实现受益于Rambus的混合信号电路设计历史,深信号完整性/电源完整性和过程技术专业知识,和系统工程能力。Rambus提供了一个插入器HBM2E客户参考设计。
AI /毫升的进步是惊人的,并没有减缓。改进的计算机硬件和软件方方面面将继续需要继续高速增长。记忆,AI /毫升培训需求带宽、容量和功率效率。Rambus HBM2E内存接口,包括体育和内存控制器,提高了标准最高的性能可用于人工智能/毫升培训。
额外的资源:
网站:HBM2E内存接口解决方案
网站:HBM2E记忆PHY
网站:HBM2E内存控制器
|
|
|
|
|
|
|
|
|
|
留下一个回复