记忆权衡加强人工智能、汽车应用

努力做更多处理边缘给内存压力设计,使用模型和配置,导致一些复杂的权衡在各种各样的设计市场。

问题是这些架构演变与新市场,它并不总是清楚数据将在这些芯片,设备之间、系统之间。芯片架构越来越复杂,处理大量的数据在汽车和人工智能应用程序中,但它并不总是清楚,数据将被优先考虑,让设计团队之间的平衡融合和共享记忆来降低成本,或增加更多的和不同种类的记忆提高性能和更低的权力。

和潜在的安全需求,设计以及市场有所不同。在某些情况下,如各种类型的图像传感器在汽车(激光雷达,雷达和摄像机),有这么多的数据,它必须是在本地处理。在人工智能芯片也是如此,100 x改善性能是至关重要的。

导致各种不同的方法,从near-memory计算、小记忆散落在哪里死亡或包旁边多种处理器、内存计算的运动数据最小化。这些方法的目的是消除内存瓶颈通过减少数量的加载和存储,并使用更少的能量也这样做。

“内存计算可以模拟、数字或两者,”戴夫Pursley说,校长高级产品经理抑扬顿挫的数字&验收小组。”因此,在内存中做计算的想法可能是一个越来越明显的趋势,实际上在计算似乎相差很大。”

新的记忆
尽管这一切在市场波动,片上存储器和片外DRAM保持事实上的领袖。专家们预测即将死亡的DRAM多年,但它仍然是最具成本效益和可靠的选择。动态随机存取记忆体密度高,有一个相对简单的架构使用电容器作为存储元素,低延迟和高的性能。它还拥有几乎无限的访问耐力和使用相对较低的权力。

虽然DRAM密度增加放缓,新的架构等HBM2允许增加密度垂直叠加模块而不是使用容量。这种方法还允许DRAM位于接近处理元素散布在一个死亡或在一个包。

静态存储器与此同时,昂贵的和有限的密度,但极快,证明。记忆芯片上的挑战是销售或分享他们,和在某些情况下,增加冗余涉及到安全的地方。

“所有这些需求的类型影响记忆,记忆,和片上和片外存储器之间的权衡,以及互联的复杂性来访问每一个记忆,”Ryan Lim说,高级主要的物联网架构师手臂。

低功耗内存
与记忆的一个关键问题就是力量,还有多种因素可以在多大的权力发挥作用的各种消耗内存类型和配置。例如,移动数据的记忆在7海里可能需要更多的权力,因为RC延迟电线。这反过来也会产生热量,这可能破坏信号完整性的进出的内存。

同时,较慢的数据通路片外使用高带宽内存可以节省电力和高速GDDR6一样快。这些决策取决于多种因素,从终端设备的平均售价的方式记忆最终将被使用。

也有极低功耗版本针对手持设备的记忆,越来越多的包括所有边缘设备电池。

“这些记忆非常高效,操作范围,优化用电和数据率为电池驱动的设备,”史蒂文说哇,研究员、著名的发明家Rambus。“他们也可以在多个操作模式,允许它们消耗很少的能量匹配需求的产品,如手机和平板电脑在待机时,并迅速过渡到更高性能/高功率模式时积极处理是必要的。”

低功耗的记忆还支持多个包装选项,允许他们与手机处理器实现紧密堆积形式因素的典型移动电话,以及被放置到多氯联苯支持高容量配置的平板电脑和其他消费设备。

不足为奇的是,发展这些记忆是一个挑战。“低功耗的记忆被设计的时候,有一个范围的数据速率,他们支持,这些往往是相当高的数据率,相对而言,低功耗的记忆,“Woo说。“这是通常由一个或两个主要用途,所以它有一些行业的大,它必须是一个行业,有足够的资金来支持一个新的产品。从历史上看,当然,这是手机市场。如果你跟不同的手机制造商,他们想要更多的性能和更好的功率效率,因为他们希望能够延长电池寿命。为其他公司希望采用低功耗的记忆,他们说,‘谢天谢地,有别人的帮助使这个所以我指望供应存在,我会以同样的方式使用它,他们保证可以使用它。这些公司将倾向于尝试运行记忆大约在同一数据率”。

通常这些记忆是合格的运行在几个不同的数据速率,这通常是比较相似的。“可能有4.2吉比特每秒的数据率,另一个是3.2,它是相同的部分,”他解释道。“什么,是允许内存制造商,制造这些零件,做所谓的装箱。这种情况有时候有些部分不屈服,和/或不会全速运行,但它给了他们一个地方卖,因为一些人会买较之部分以更便宜的价格。装箱允许市场动态。往往是这样,人们将如何运行这些部分是合格的,他们往往都是在一系列的性能。”

人工智能和记忆
记忆中起着很大的作用人工智能,人工智能是扮演一个重要角色在几乎所有的新技术。但也有人工智能芯片,芯片里面有人工智能的应用,和帮助占的一些不同的方式使用内存的情况。瞬间的速度和最低的力量,最好的方法是将所有相同的死亡。这并不总是工作,因为空间是有限的,但它有助于解释为什么人工智能芯片的数据中心和培训应用程序比许多其他类型的芯片将被部署在推理应用程序端点设备。另一种方法是将一些内存芯片外,要么提高吞吐量和减少内存通过设计的距离,或者限制片外数据流。

在这两种情况下,片外存储器比赛很大程度上可以归结为两个口味的DRAM-GDDR和HBM。

“GDDR,从工程和制造的角度看,看起来很像其他类型的后发DDR和LPDDR等“Woo说。“你可以把它放在一个标准的PCB,路线,可以使用同样的制造过程。HBM更新,它涉及叠加和硅插入器因为HBM有很多连接,运行较慢的speed-wide而缓慢。每个HBM堆栈将有一千个连接,需要如此之高的密度互连。这是远远超过PCB可以处理。这就是为什么一些公司使用的是硅插入器,因为你可以腐蚀这些线非常接近对方。这很像芯片上的连接,所以你肯定可以得到更多的联系。”

HBM通常采用最高性能和最佳功率效率,但这成本越来越需要更多的工程时间和技巧。GDDR,几乎没有尽可能多的DRAM和处理器之间的联系,但是他们跑快得多,从而影响信号的完整性。

图1:在各种类型的DRAM权衡。来源:Rambus

PPA
权力,性能和面积仍然是关键因素,尽管架构更改和新技术的漩涡。

“所有这三支球队都非常重要,但很大程度上取决于应用程序。法扎德Zarrinfar指出,知识产权部门的董事总经理导师,西门子业务。“例如,如果你拥有一个可移植的应用程序中,权力是非常重要的。但即使权力本身是分成两个pieces-dynamic和静态的。的一部分力量是动态的力量。的一部分权力是静态功耗。如果无线通信的应用程序,如果有很多计算,动态能力是非常重要的。但如果它是在某种可穿戴式设计,通过自然睡眠,醒来,跑,回去睡觉,静态/漏电源是非常重要的。”

特性,比如透明的轻度睡眠允许设计人员大幅减少泄漏。在这里,记忆银行不工作去源偏见模式减少泄漏,而其他银行直接访问总是工作。在深度睡眠的部分设计,数据可以保留通过实现技术电源管理、管理Vdd和最小化泄漏。如果不需要保留的数据,关闭模式进一步减少泄漏。

一切有关汽车功率效率也是至关重要的。“在电动汽车、电池的寿命是非常重要的,所以电力消耗是相当重要的,”Zarrinfar说。“人们想要一个真正统一的特点从-40°C到125°C,甚至在某些情况下150°C。他们不想在泄漏爆炸性增长,高温,他们想要保持它在线性范围内尽可能多。再一次,我们必须关注能耗和泄漏在全方位的温度。这是非常重要的,”

无论应用领域,权力仍然是一个主要的考虑因素。“我们看到,在SoC设计前进更小的几何图形,”他说。“记忆的消费越来越多,以及嵌入式内存的内容。经常,我们看到超过50%的死亡是内存。所以人们必须注意功耗内存绝对。”

图2:平均死总面积分区1999 - 2023来源:Semico研究

结论
尽管一系列革命性的技术和创新的架构,记忆仍是任何设计的一个核心部分。虽然有新的内存类型,如相变和spin-torque,大部分的市场仍然牢牢插在什么已被证明在各种条件下,经过多年的使用甚至滥用。最大的变化是如何将现有的记忆,共享,设计定位,并最终如何使用它们。虽然这听起来像一个简单的问题来解决,它不是。

“选择正确的内存解决方案通常是获得最优系统性能的最重要的决定,“Vadhiraj Sankaranarayanan领导说,高级技术营销经理Synopsys对此近期发表的白皮书。这是说起来容易做起来难。

有关的故事
理解DRAM
使用什么样的内存位置和原因。
内存与Near-Memory计算
新方法正在争夺注意力扩展福利减少。
以不同的方式使用内存
优化复杂芯片需要决定系统整体架构,和记忆是一个关键变量。
嵌入式相变内存中
什么可以让这种记忆下一代记忆的人群中脱颖而出。