持续增加的内存容量和带宽需要保持AI加速器和处理器的瓶颈。
在我4月Semi新利体育下载注册Engineering Power-High性能低的博客,我写道:“今天,AI /毫升训练神经网络模型可以超过100亿参数,很快它将超过1000亿。”“很快”没多久到达。在5月底,OpenAI 1750亿年发布了一个新的参数GPT-3语言模型。这代表着100 x跳过GPT-2 15亿大小的参数,模型OpenAI介绍2019年2月一年多以前。自2012年以来的趋势线的大小反映了10 x年度增加训练模型,建议我们可以见证2021年培训模型超过一万亿个参数。
即使在其',摩尔定律不能提供改进必要跟上10 x年度需求增加。计算机硬件和软件的进步在每一个方面是需要保持这个速度。最集中的区域中必须持续增加内存容量和带宽保持AI加速器和处理器的瓶颈。
GDDR6和高带宽内存(HBM)已成为高性能内存解决方案AI /毫升的关键。GDDR6提供优秀的带宽和强度通过超过二十年的大批量生产。这些特征使它一个出色的选择高可靠性的AI /毫升推理应用,如高级驾驶员辅助系统(ADAS)。
但是对于应用程序,就像AI /毫升训练无法满足其需要的带宽,HBM没有竞争对手的表现。最新的迭代HBM HBM2E,雇佣了1024位(128字节)接口运行在3.2吉比特每秒(Gbps)提供每秒410字节(GB / s) / HBM2E DRAM“堆栈”。
栈是指HBM内存设备的三维结构。HBM结合通过摩尔定律“缩放”与“扩大”3 d-packaging DRAM。通过在z维缩放,HBM可以交付能力大幅提高。最新一代HBM2E支持12-high成堆的DRAM提供24 GB /堆栈的内存容量。
HMB2E的“宽,缓慢”接口,3.2 Gbps的“慢”至少相对于16 + Gbps GDDR6速度,使一个架构,提供巨大的带宽和容量以一种非常高效的方式。这是另一个好处AI /毫升培训由于其广泛的超大型数据中心部署。最大的超大型数据中心消耗的100兆瓦的电力、热力和电力管理是关键任务。
高带宽、高容量、紧凑和功率效率,HBM2E内存提供什么AI /毫升的培训要求。架构使用六HBM2E设备堆栈可以实现几乎每秒2.5 TB(结核/ s)的带宽和150 GB的内存容量。除了未来的一代又一代的HBM HBM2E架构提供了额外的可伸缩性超出3.2 Gbps。今年7月,SK海力士宣布它已经达到3.6 Gbps HBM2E内存的大规模生产。宽界面,增加0.4 Gbps由50 GB / s数据率跳跃带宽460 GB / s /堆栈。
HBM的权衡实现优秀的带宽是实现2.5 d设计的复杂性。1024数据之间的“线”HBM DRAM堆栈和加速器上的界面,添加时钟、电源管理和命令/地址,在HBM接口痕迹的数量增长到1700。这是远远超过可以支持标准的PCB。因此,硅插入器连接的中间层使用内存堆栈(s)和加速器。硅插入器的使用是什么使这个2.5 d体系结构。与IC,间隔可以在硅蚀刻痕迹插入器来实现所需的数量HBM接口。
设计师可以大大减轻高复杂性的挑战与选择IP供应商。集成解决方案如HBM2E内存接口从Rambus易于实现和提供一个完整的内存接口子系统组成的验证PHY和数字控制器。此外,Rambus插入器设计中有着丰富的经验与silicon-proven HBM2 / HBM2E实现受益于Rambus的混合信号电路设计历史,深信号完整性/电源完整性技术专业知识,和系统工程能力。为每一个客户接触,Rambus插入器的设计提供了参考和包HBM2E实现知识产权许可的一部分。
它仍然是早期人工智能/毫升革命,没有放缓的需求更多的计算性能。改进的计算机硬件和软件方方面面需要保持这炎热的步伐。记忆,AI /毫升培训需求最大带宽、容量和功率效率。HBM2E记忆代表着最先进的解决方案推动人工智能/毫升训练性能。
额外的资源:
研讨会:GDDR6 AI和HBM2E内存解决方案
白皮书:AI GDDR6 HBM2E:内存解决方案
网络:Rambus GDDR6 PHY和Rambus GDDR6控制器
网络:Rambus HBM2E PHY和Rambus HBM2E控制器
产品简介:GDDR6 PHY和GDDR6控制器
产品简介:HBM2E PHY和HBM2E控制器
解决方案简介:GDDR6接口解决方案和HBM2E接口解决方案
|
|
|
|
|
|
|
|
|
|
留下一个回复