为什么选择标准内存如此混乱

系统架构师越来越开发定制内存架构基于特定的用例,增加设计过程的复杂性,即使记忆的基本构建块已经存在了超过半个世纪。

权衡的数量已经飙升的数据量。内存带宽应用,现在是一个控制因素和传统的内存类型不能跟上改善原始计算能力。实际上,处理器和内存,在许多方面,一项研究对比。但是有方法这一问题,系统架构师的责任找出最好的解决方案。

“每个新一代的处理器想计算速度更快,且更省电,”史蒂文说哇,Rambus研究员、著名的发明家。“两种方式有更多的处理引擎,并运行在更高的速度。处理器需要晶体管开关迅速,他们需要大量的许多处理引擎来实现。摩尔定律已经给我们可靠的晶体管的数量的增加,使大量的计算逻辑。”

最好的处理器——那些用于服务器和AI /毫升应用程序的数据量移动通过这些芯片将要求晶体管开关快速来回移动数据到内存足够快把那些晶体管工作。但这些类型的系统是漏水的,进而产生热量,影响性能。

记忆方程是一个关键部分,每一个新一代的DRAM需要提供更高的能力和更多的带宽来满足处理引擎。记忆还需要更高效,。

“DRAMs是便宜比高性能处理器,影响设计和制造方法,可以让他们使用,“Woo说。“积木DRAM是为了保留电荷,代表0和1的数据存储。与处理器使用快速交换晶体管也泄漏,今日不能使用相同的设计方法,因为他们买不起电荷泄漏或数据将丢失。DRAM核也有他们在经济上能提供多少带宽的限制。更高的带宽需求推高渴望DRAM核心频率,但它成为不切实际的达到所需的核心频率highest-bandwidth今天后发展出。这引起了DRAM核心是如何组织的变化(银行集团就是一个例子),和添加新的时间的约束,完全可以实现带宽的条件。”

图1:HBM物理层显示高速互连多个频道。来源:Rambus

不仅仅是硬件
这是图片的一部分。软件对记忆选择和功率效率有很大的影响。

“4 mb的片上存储器芯片,”保罗·希尔说Adesto产品营销总监。“软件变大。很少会变小,所以软件工程师正在努力得到他的应用程序由客户需求到4 mb的内存芯片上发射。现在你想加入无线更新。当自定义应用程序代码需要8位或16位?这就是为什么他们仍然需要出去使用外部内存来补充片上内存。”

通常的代码用于在无线下载更新补丁现有软件,但很少是删除。这可以创建软件膨胀,这就是为什么系统倾向于缓慢的随着时间的推移,它有一个直接影响多少内存是必需的。

“任何单片机主要应用程序使用无线更新内存,但做一个无线更新,您现在需要下载另一个形象,双打所需的内存。他们可能还想保留一个工厂形象,这是恢复图像中出现问题。这是原始大小的三倍。现在你的图像需要12位或16位的代码空间。外部内存仍然是那些边缘设备的一部分,我们正在激增。安培数越多,系统吸引,降低压降,开始产生问题。这就是为什么我们所有的系统现在运行在比过去更广泛的电压范围。无论什么电压系统开始,它仍然工作始终在1.65到3.6伏范围。我们现在看1.2伏特功能因为采用1.2伏特开始有意义因为你比你少消耗40%的电力将在1.8伏特。对于那些真正节能的应用程序,1.2伏特有意义即使主机应用程序的数量可以在1.2伏特仍然是建筑工作。”

这些挑战只生长在强度时的前沿应用,如人工智能、机器学习和深度学习进入画面。这些依赖于移动大量数据通过一个芯片,和快速的运动数据之间来回处理元素,如cpu、gpu, dsp和fpga / eFPGAs sram和达利克,特别是在数据训练阶段。

“有需要增加实时分析数据等应用程序自动驾驶汽车为了,例如,基于交通更新路由信息,或使实时决策的突发性障碍,“Munish Goyal说,导师,高级产品工程经理西门子业务。“大多数即将到来的基于人工智能的应用程序需要电脑来处理更高的速度,存储和输入数据和HBM(高带宽内存)已成为一个技术有望解决这些数据密集型应用程序的要求。”

HBM使DRAM带宽的提高从根本上改变后发展出的方式配置。HBM是一种高速、系统封装(SiP),包含成堆的垂直互连DRAM芯片和多种接口,使更多的存储容量和数据带宽比内存产品使用传统线bonding-based包。

这当然有助于数据的性能通过开放更多的频道。但它在内存中没有解决一个根本问题,即它不能跟上原材料由于半导体物理学计算能力。

“DRAM位单元的核心——电容器由一个开关控制和喂养成一个放大器,根本上是一个模拟装置,而不是一个数字,”马克·格林伯格说,产品营销组主任节奏的IP组。“正因为如此,一个萎缩的过程几何允许电路可能变小,但这并不使它更快。DRAM生产已有近50年来在这一点上,和DRAM的核心设备的基本结构在所有时间保持不变。同样,NAND闪存已经存在了超过30年,已经极大地能力,但不是在速度差不多。”

一起,DRAM和NAND闪存市场超过1000亿美元,和有大量的公司、大学和研究机构在选择设备来取代或这两种技术。任何人想取代DRAM或NAND所面临的挑战是有几十年,数十亿美元的投资在这些技术,更不用说整个全球半导体行业已经使用这些技术。

“任何non-DDR、LPDDR GDDR或HBM不是主流,”格雷厄姆·艾伦说,高级产品营销经理DDR phy Synopsys对此。“很难产品任何可以与DRAM竞争。这就是为什么你开始看到DDR-like接口在新的记忆。如果这不是一个大客户驾驶它,你想要一些帮助抵消成本。”

内存设备的有效性测量领域的能力、速度/带宽、延迟、易用性、可靠性、成本、权力,保留/一生和工艺性。任何新的设备需要在至少一个地区要大大好于今天存在获得牵引力,没有放弃在任何其他领域。所以尽管大规模营销推动混合内存立方体(HMC) -内存堆放在逻辑和连接在矽通过——只在狭窄的市场片技术取得了成功。

“HMC减少DRAM的延迟,使它受网络公司,”艾伦说。“但它已经很难找到机会超越非常利基市场,因为没有办法竞争成本。”

新变化之前
然而,传统DRAM不是静止的。“速度增加,我们看到在DRAM通过改变物理接口(体育)之间的SoC或CPU DRAM,“节奏的格林伯格说。“增加来自改变DRAM的结构装置,而不是改变它的核心,和并行访问到DRAM的核心。而我们通常增加界面的速度从DDR4 DDR5或LPDDR4 LPDDR5,或采用新的信号与一个接口(如GDDR6或者像HBM2E 2.5 d方法与技术,这些速度增加来自更多的并行访问DRAM数组,而不是通过改变DRAM数组本身。”

改变PHY基本上涉及更改内存类,如从DDR的LPDDR GDDR6 HBM。“每次你做出的改变,你会得到一个更高的带宽接口,”他说。“但基本内存不会改变的勇气。的核心发生了什么在80%或90%的死亡并不是真正从根本上不同的内存类之间的不同。这只是你如何接口变化。”

当谈到的一些流行的方式,人们在谈论改变DRAM数组本身,这是一个许多维度来解决问题。有问题的能力和成本。

“你可以更快的DRAM数组”,格林伯格说。“他们只是倾向于花费超过人们真的愿意支付他们。你也可以完全改变了记忆。如果你想要一个非常快的内存,SRAM仍然存在。非常快,但是没有人愿意为此付出代价,你不能把能力SRAM。和看小说内存架构,它似乎出来相对频繁的现在,我们看到的是什么通常被称为小说,非易失性内存产品。虽然这些是有趣的概念,到目前为止没有一个能够推动DRAM或快闪记忆体各自的栖身之所。这可能会改变。在碳纳米管的承诺和在其中的一些新技术。只是没有意识到在全球工业生产规模。”

这取决于应用程序结束时,因为有很多方面需要优化,包括带宽、容量、功率和成本。反过来,这些影响延迟,碎片的数量可以访问总线,和整体系统功率预算。

“你显然试图同时优化所有的事情,”格林伯格说。“选择是不同的,这取决于这些事情对你是最重要的之一。还有更多的事情也区分DRAM和闪存,例如,无论是波动,和延迟发生。也发挥到方程,和那些会玩到方程相比DRAM, flash,和新兴小说非易失性内存架构。”

答案可能会非常不同的服务器插入墙壁和一个移动设备上运行一个电池。和选择不同的根据人工智能训练芯片架构,以及是否使用一个推论的芯片数据中心或一辆汽车或其他边缘应用程序。

一个新的内存架构的经验法则是,需要20年给市场带来新的内存体系结构。“已经证实在过去几次,实际上源于这一事实使一些在实验室非常不同于使它在生产环境中,你必须满足全球需求每年数十亿的元件,能够做到可靠,可制造的,和在适当的成本,”格林伯格说。“这就是一些非传统的内存技术跌倒。真是的,如果我们看一下30到50年的投资在其他一些内存技术,大量的投资在这些设备的可制造性。我们显然是站在巨人的肩膀上,但是我们是站在巨人向前,我们无法看到,因为,因为所有的投资在现有技术?这是一个有趣的困境。如果你能完全打破了模具和去新的内存技术,市场可能接受它。但这新的内存技术会大大优于现有技术在至少一个或两个维度,然后至少不差的其他维度。这是一个艰巨的任务。”

结论
记忆权衡正变得越来越复杂,但到目前为止,传统的内存类型被证明很难推翻。但是优化内存的这些新体系结构也变得更加复杂。

带来的挑战时间/访问限制在DRAM处理器,它想要达到最高的性能,现在必须意识到自己的数据访问模式和架构的达利克为了充分利用他们的潜能,并获得最大的带宽。理解和坚持不断增长的约束是至关重要的处理器架构师,Rambus Woo说。

编者斯珀林对此报道亦有贡献。

有关的故事
为LPDDR5棘手权衡
新的内存提供了更好的性能,但这仍然不能做出选择简单。
解决内存瓶颈
移动大量数据系统不再是通往成功的途径。太缓慢,消耗了过多的权力。是时候把方程。
将内存中处理工作?
冯诺依曼结构变化,避开可能的关键硬件低功耗毫升。
使用不同的内存来提高速度
获取数据的内存快添加一些意想不到的挑战。
内存中计算挑战成为舆论焦点
在冯诺依曼瓶颈研究者挖掘方法。
GDDR6钻取:应用程序、权衡和规格
相比之下GDDR6其他内存类型和它的效果最好。
机器学习推论的边缘
如何设计毫升芯片不同于其他类型的处理器。