新的记忆方法和问题

新的内存类型和方法正在开发和测试，因为DRAM和摩尔定律都失去了动力，这极大地增加了接下来会发生什么以及它将如何影响芯片设计的困惑。

在半导体行业努力应对这些变化的过程中，存储器层次结构中什么适合哪个位置变得不那么清晰了。新的体系结构，例如扇出而且2.5 d芯片上需要多少级缓存，以及高速连接和更短的距离是否能提供相同或更好的芯片外性能。但这只是一部分。由于DDR4没有明显的继任者，人们提出了更多的问题，比如使用哪种类型的内存做什么，它们应该如何打包和使用，以及这些新内存将如何影响磁盘级别的数据存储。

有很多因素需要考虑:

•静态存储器在骰子上占据了宝贵的空间。事实上，在一些芯片中，它可以占到SoC的80%。如果可以使用高带宽连接将其中一部分移出芯片，那么芯片要么可以做得更小——这对产量和成本有直接影响——要么可以包含以前不适合芯片的额外功能。
•随着芯片上添加的功能越来越多，复杂SoC上对内存资源的争夺正在增长。将部分内存移出芯片可以缓解线路拥塞，从而减少热量和其他物理影响。其结果是提高了内存以及其他组件的可靠性和性能。
•隔离内存并根据处理器调整内存大小可以大大提高功耗和速度，特别是如果软件编写支持它的话。在过去，在这个领域有很多谈论但很少努力，很大程度上是因为SRAM和动态随机存取记忆体都是经过验证的技术。但随着降低能耗的压力越来越大，这类决定正得到越来越多的认真关注。
•在数据中心，需要移进和移出内存的数据量非常大，而且还在不断增长。管理大数据正从一个宏观问题转变为一个需要在处理器层面上给予更多关注的问题。了解如何最好地处理这些数据，以及将其存储在本地还是集中更有意义，都可能对内存架构产生重大影响。

芯片上，芯片外，完全芯片外
有多少内存以高速静态RAM (SRAM)的形式留在芯片上，有多少内存以动态RAM的形式移出芯片，过去是一个简单的计算，因为它涉及同质处理器和少得多的数据。现在情况已经不同了。除了这个主题的变体，例如用于L3缓存的eDRAM，现在有更多的异构计算元素分散在SoC周围。这就需要更好地了解复杂芯片中的瓶颈会出现在哪里，以及处理这些瓶颈的最佳方法。

高速缓存允许将常用的指令或数据存储在离处理器非常近的地方。但是由于缓存大小受限于可以放在骰子上的内容，因此它们是分层设置的，这取决于需要访问数据的频率和延迟的容忍度。

“当你添加L2缓存，你会得到另外3%的改进，”的首席执行官查理程说Kilopass．“这听起来可能不多，但这是一件大事，因为你只需要等待3个周期，而不是浪费100个周期。如果你升到L3，你会得到2%的改善，到了L4，你会得到另外2%的改善。剩下的2%不是DRAM就是SSD。”

Cheng说L4缓存已经模糊了SRAM和DRAM之间的界限。“这个界限真的很有趣。你能做些什么来优化边界呢?”

这个问题的答案很复杂。对于SoC来说，这个边界可能是由高速接口连接的板上的额外内存。在数据中心，它可能涉及额外的缓存级别和完全不同的DRAM架构，强调将数据移动到更靠近处理器的位置。因此，数据可以更接近处理器，而不是在距离服务器数百英尺远的地方，通过网络连接，根据流量的不同有不同的延迟。

微软解决方案营销副总裁Steven Woo表示:“世界正走上向外扩展更多服务器的道路。Rambus．“问题是，数据分布在如此多的服务器上，你可能会冒着在高延迟网络上长时间接触数据的风险。我们已经研究了很多改变这个等式的方法。我们正在试验的解决方案之一是具有FPGA灵活性的卡，包括24个DIMM模块。所以你可能有一张卡，一张卡上有1.5 tb的数据。这允许你在内存中执行程序的某些部分。”

这代表了一种完全不同的方式来看待如何以及在哪里存储和访问大量数据。一种可能的方法是将这些巨大的内存卡移到服务器机架内部，从而大大缩短数据传输的距离。“你过去常常把数据拖到处理器上，”Woo说。“在没有那么多数据的情况下，这种方法很有效。但现在我们有tb到pb的数据，最慢的方法是移动这些数据。将计算转化为数据的效率要高得多。”

新的内存类型
还有其他方法可以解决内存延迟和带宽问题。新的内存类型，例如磁阻的内存，ReRAM如今，铁电RAM比过去受到了更多的关注。

MRAM一直被吹捧为通用内存，这个想法自20世纪90年代以来就一直在流传，当时有人建议用一种内存来取代SRAM和DRAM。到目前为止，这种情况还没有发生，而且可能永远也不会发生。虽然DRAM和SRAM在可制造性方面继续发光，但据报道，MRAM的大规模生产仍然难以实现。

磁阻的内存磁存储数据。相比之下，DRAM和SRAM使用电荷存储数据。另一个竞争者ReRAM通过改变介电材料中的电阻来工作。FeRAM与DRAM类似，但使用铁电层而不是介电层。

但DRAM也正在失去动力，因此有必要制定某种继任计划。虽然JEDEC路线图上有用于移动设备的低功耗DDR5，但标准DRAM的路径以DDR4结束。为了继续降低成本，有人努力将DDR4扩展到新的流程几何，但目前很少有人支持将架构扩展到DDR5。

“在过去的30年里，无论PC制造商购买什么，都是成本最低的内存选项，”英特尔的首席技术官德鲁·温加德(Drew Wingard)说超音速．“这是一去不复返了。除了DDR4，什么都没有。”

接下来可能是一种新的内存类型，或者是使用相同技术的一种新的体系结构方法。例如，混合内存立方体使用连接到逻辑层并与之连接的DRAM堆栈在矽通过．

另一种选择是高带宽内存接口(HBM2)到DRAM芯片堆栈，这些芯片内部连接到tsv，外部连接到一个或多个芯片使用microbumps。HBM的主要优点是比目前的DRAM技术提高了速度，更小的外形尺寸和双重来源(目前两者都在销售HBM)三星SK海力士。自2015年初商用以来，HBM已经在网络和图形市场的2.5D封装中得到商业应用，预计今年还会有更多的设计。

温嘉德说:“如果你从性能和功率的角度来看HMC和HBM，使用截然不同的架构的数据非常有吸引力。”“使用HMC，您可以通过消除数据的局部性来提高性能。而HBM则截然不同。基本上就可以去掉SoC和DRAM之间的衬垫环。”

最好的选择
哪条路线是最好的，这取决于设计团队想要达到的目标。对于廉价和快速的实现，目前最简单的选择仍然是SRAM和DRAM的组合。对于更高级的设计——动力和性能是有竞争力的指标，公司有更多的时间和金钱用于探索——有更多的选择可以考虑。每种方法都有优点和缺点。因此，需要在前期和整个设计过程中完成的工作量急剧增加。

“高级用户要经历数百种配置，”奥迪的模型技术总监比尔•内弗特(Bill Neifert)说手臂．“你需要准确地对所有这些事情建模，模型的准确性可以让你了解性能权衡的影响。”他指出，这也适用于系统配置，包括互连结构、缓存大小和内存控制器配置。

一个重要的考虑因素是热效应。需要移动的数据越多，热量就越大。但同样的事实是，温度越高，数据的移动速度就越慢，因为为了保护电路，一旦达到热极限，系统就会自动减速。

“如果你看看高端服务器，最大的瓶颈是内存接口，而不是计算能力，”Arvind Shanmugavel说有限元分析软件Apache业务部门。“传输的数据越多，热量就越大。你需要从芯片、封装和电路板层面来看待这个问题。但当你从20nm转移到16/14nm和10nm时，你还必须处理自热等问题。局部温度效应加剧。这里有更高的热梯度积聚。”

Shanmugavel指出，温度升高的首要影响是可靠性，特别是金属线在故障前燃烧的速度有多快。“温度的微小变化对寿命有很大影响。对于与微凸点连接的集成电路，公差的微小变化都可能导致问题。从历史上看，你会设计一个尽可能快地运行的处理器，然后在此基础上进行调优。现在，你需要理解热包络的最大性能。所有这些都必须进行模拟。”

闪存、磁盘等多种选择
其他内存类型也有变化。闪存对于计算机的基本输入输出系统(BIOS)至关重要，因为它可以很容易地更新。闪存的问题是，它比DRAM或机电磁盘磨损得更快。他们正在寻找一种可以取代基于NAND闪存的固态硬盘的替代品，这种替代品寿命更长。

这就是背后的动力3 d XPoint它是由英特尔和美光(Micron)开发的，是SSD的一种更快、更强大的替代品。内存使用3D晶格排列来堆叠NVM，重点是降低延迟和吞吐量。英特尔声称其存储速度比NAND快1000倍，续航时间比NAND长1000倍，存储密度比NAND大10倍。这种内存预计将于明年开始以英特尔的Optane名称出现在电脑中。

还有只读存储器，包括可编程ROM、现场可编程ROM和一次性可编程NVM，其中位设置由保险丝或反保险丝锁定。这些都在内存层次结构中发挥了作用，由于OTP的温度弹性和更好的安全性，它在汽车电子等领域获得了一席之地。

即使是旋转磁盘驱动器也通过融合驱动器(闪存和标准磁存储的结合)和一些新的选择得到了提升，比如热辅助磁记录，它允许数据写入比过去小得多的规模，这可能在未来几年内推出。此外，甲板上还有瓦状磁记录，通过重叠轨道增加密度，以及充满氦气的驱动器，减少摩擦，降低整体功耗。

但是这些技术的成功与否不仅仅取决于内存层次结构中的一个元素，从缓存一直到磁盘。这取决于所有这些，不像过去SRAM和DRAM是固定的数字，现在它们都在变化。

结论
从片上SRAM一直到外部磁盘存储，内存层次结构的每个级别都在考虑变化。重点仍然是提高密度以减少面积，降低功耗和提高性能，但如何实现所有这些都必须改变。

已经有许多体系结构和打包选项可以更快速地将数据移进和移出内存，越来越多地关注新的内存类型以及利用内存的不同方式。随着该行业将重点转向提高效率和解决新的瓶颈，还会有更多的行业涌现。但是，在什么时候，针对哪些应用，目前都难以评估。变化同时发生在世界各地，这使得预测变得更加困难。

有关的故事
MRAM内部
DRAM的下一步是什么?
1xnm DRAM挑战
平面和3D DRAM的内部指南