HBM实现巨大的内存带宽的能力在一个小足迹大于增加的成本和复杂性培训硬件。
人工智能和机器学习(AI /毫升)收益以闪电的速度增长。在过去的8年里,人工智能训练能力上升了300000倍(每年10倍),开车迅速改善,并且在计算硬件和软件的方方面面。内存带宽就是这样的一个关键领域的关注使AI的持续增长。
诞生于2013年,高带宽内存(HBM)是一种高性能的3维叠加SDRAM的架构。和它的前辈一样,第二代HBM2指定8每堆栈内存死,而加倍销转移利率2 Gbps。HBM2达到每包256 GB / s的内存带宽(DRAM堆栈),HBM2规范支持每包8 GB的容量。
在2018年末,电平宣布HBM2E规范支持增加带宽和容量。转移利率上升到每针3.2 Gbps, HBM2E可以达到410 GB / s的每个堆栈内存带宽。此外,HBM2E支持12 -高栈24 GB /堆栈的内存容量。
所有版本的HBM运行在较低数据率相比,高速内存GDDR6等。高带宽是通过使用一个非常宽的接口。具体来说,每个HBM2E堆栈运行在3.2 Gbps连接到相关的处理器通过一个接口1024数据”电线。“命令和地址,电线的数量增长到1700。这是远远超过可以支持标准的PCB。因此,硅插入器连接的中间层使用内存堆栈(s)和处理器。作为SoC,精细的数据可以在硅蚀刻痕迹插入器来实现所需的电线HBM所需的接口。
HBM2E提供能够实现巨大的内存带宽。四个HBM2E堆栈连接到一个处理器将提供超过1.6 TB / s的带宽。和3 d堆叠的内存,高带宽和高容量可以达到在一个非常小的足迹。进一步,通过保持数据率相对较低,内存接近处理器,系统整体力量保持低。
设计权衡HBM增加复杂性和成本。插入器是一个额外的元素,必须设计和制造特点。3 d堆叠记忆出货量苍白相比的巨大体积和制造经验积累使传统DDR-type记忆(包括GDDR)。网络是实现和制造成本更高HBM2E比记忆在GDDR6或DDR4使用传统制造方法。
然而,对于人工智能培训应用,所带来的好处HBM2E优越的选择。性能卓越,可以交易和更高的实现和生产成本与节约空间和能量。数据中心环境中,物理空间逐渐受到限制,HBM2E紧凑的建筑提供了实实在在的利益。功率转换降低热负荷较低的环境中冷却通常是最高的运营成本。
培训、带宽和容量需求至关重要。这是尤其如此,因为培训功能的速度翻倍的大小每3.43个月(10 x年增幅前面所讨论的)。现在培训工作负载运行在多个服务器来提供所需的处理能力翻虚拟化。考虑到创造的价值通过培训,有一个强大的“上市时间”尽快完成培训运行的动力。此外,培训应用程序运行在数据中心越来越制约权力和空间,所以有优质的解决方案,提供功率效率和更小的尺寸。
鉴于所有这些需求,HBM2E AI是理想的内存解决方案培训硬件。它提供了良好的带宽和容量功能:410 GB / s的内存带宽为一个12 - 24 GB的容量高HBM2E堆栈。其三维结构提供这些特性在一个非常紧凑的形式因素和力量由于低界面速度较低,内存和处理器之间的距离。
设计师既可以实现的好处HBM2E记忆和减轻IP的实现挑战他们的选择供应商。Rambus提供了一个完整的HBM2E内存接口子系统组成的co-verified PHY和控制器。一个集成的接口方案大大降低了实现复杂度。此外,Rambus的广泛的混合信号电路设计历史,深信号完整性/电源完整性和过程技术专业知识,和系统工程能力帮助确保first-time-right设计执行。
AI /毫升培训功能的发展需要持续和全面改善硬件和软件来保持目前的速度。作为这种混合的一部分,记忆是一个关键的推动者。HBM2E记忆是一个理想的解决方案提供的带宽和容量低功率在一个紧凑的足迹触及所有AI /毫升训练的关键性能要求。与伴侣喜欢Rambus,设计师可以利用HBM2E记忆的能力来强化他们的下一代AI加速器。
|
|
|
|
|
|
|
|
|
|
留下一个回复