人工智能处理器性能快速增长,使内存架构的选择更重要。
今天,人工智能处理器快得多,他们经常不得不等待数据从内存。不幸的是,与现状,记忆只是不够快释放真正的那些新和高度发展的人工智能处理器的性能。简单来说,人工智能处理器性能快速增长,和记忆还没有行动起来。这将创建一个瓶颈,或Rambus所谓的“人工智能记忆差距”需要解决。
行业专家们摸不着头脑,问同一个问题:内存体系结构最适合人工智能是什么?答案并不简单。技术领导人正在考虑多种多样的路径,在某种程度上是因为没有人知道正确的答案。足够但它是一个至关重要的问题,业内记忆专家搜索那些许多路径。
AI加速器和记忆问题包括高带宽、访问时间和内存的能源消耗在人工智能处理器芯片。在培训或推理人工智能应用程序中,卷积神经网络(cnn)或深神经网络(款)处理引擎连接到内存中。当数据涉及到深层神经网络(款)引擎,阅读是获取从内存中;款引擎计算的信息,然后写回内存。内存存储与关键权重系数和参数。毫无疑问,记忆AI过程中起着非常关键的作用。
带宽、访问时间、能耗、容量和性能——所有影响如果内存芯片上或者芯片外,远离AI处理器。如果它在芯片,那么人工智能处理器能与它交互和处理数据非常快。但当内存芯片,需要两到六倍的时间来访问内存。
同时,在芯片消耗相当大的力量或能量。这就是为什么它是至关重要的,一个高效的内存解决方案涉及成本高度可接受的权衡,权力,性能和面积对当今人工智能芯片款引擎。
市场上有不同类型的记忆,传统约会率(DDR)和一些更奇异的品种,像电阻RAM (ReRAM)和磁阻的RAM (MRAM)。这些和其他有不同的价值主张,优点和缺点。
然而,来弥补这个内存松在短期内,有几个竞争者谈到最近- GDDR6和高带宽内存代2增强(HBM2e)。当然,GDDR6适合许多重要的应用,包括网络、图形、汽车ADAS,一些人工智能的。
然而,HBM2e带来更多的AI,特别是人工智能处理器。HBM2e提供更好的所有权的总成本、性能、力量,和区域(PPA)和上市时间/时间的收入。
首先,更高的性能,更高的带宽,HBM2e明显更好的访问时间DDR4相比,DDR5,甚至GDDR6因为它是直接连接死死在2.5 d包装,参见图1。
图1 - HBM2e连接死死SoC或ASIC在2.5 d包装。
面积呢?传统DRAMs是芯片,这意味着他们需要相当数量的I / o。芯片尺寸和外围增加,因为它需要更多的空间。另一方面,HBM2特性死死连接在一个包中。因此,I / O的需求大幅减少,尽管HBM死,死是一个广泛的互连。但HBM2提供板空间减少,更小的尺寸,和区域利益。
现在,让我们来谈谈。如前所述,当数据从款引擎到内存,将数据路径一路从款处理器芯片外。需要相当大的力量或能量的芯片在GDDR6的情况下。
但随着HBM2e,因为这是一个死,死连接和接近处理器,功耗大大降低。总的来说,HBM给你更可接受的功耗,性能和面积比其他的记忆。
该行业正在进一步人工智能的进展,感谢HBM2e。当前HBM代广泛使用于主要芯片制造商,如三星和SK海力士。此外,它满足所有权的全部成本(TCO)和上市时间/时间收入条件是至关重要的在整个人工智能应用程序的成功公式。
|
|
|
|
|
|
|
|
|
|
留下一个回复