挑战DRAM的极限

如果人类真的创造了一个真正有自我意识的人工智能，它很可能会表现出等待数据到来的挫败感。

基于dram的计算机内存的访问带宽在过去20年里提高了20倍。同期容量增加了128倍。但卡耐基梅隆大学的研究人员凯文·张(Kevin Chang)表示，延迟只提高了1.3倍数据通路为了解决这个问题。

现代计算机，尤其是数据中心服务器严重倾向于内存数据库、数据密集型分析，并越来越倾向于机器学习和深度神经网络训练功能，依赖于大量高速、高容量的内存来保持运转。尽管研究人员多年来一直在寻找更好、更快的替代品，动态随机存取记忆体当性能是优先考虑的时候，仍然是一个几乎普遍的选择。

IC Insights的数据显示，这有助于解释今年DRAM销量激增的原因，尽管供应有限推动今年DRAM平均售价上涨了74%。飞涨的价格推动DRAM市场创造了创纪录的720亿美元收入，推动IC市场的总收入增长了22%。IC Insights报告称，如果没有DRAM价格的额外提振(DRAM价格在12个月内上涨了111%)，2017年整体IC市场的增长将仅为9%，而2016年为4%。

对于DRAM来说，这是一个令人印象深刻的数字。DRAM是一种过时的技术，许多人希望取代它，因为它的速度不如处理器。目前或正在考虑的替代方案有很多，但专家们似乎认为它们只是取代DRAM价格/性能优势的一半措施。它也留下了与cpu的性能差距，即使计划改进DRAM性能和新的DRAM架构，如HBM2以及混合内存立方体。

JEDEC公司的系统和解决方案副总裁、杰出发明家Steven Woo表示，DDR5是JEDEC公司的下一代DRAM规格，密度和带宽将是DDR4的两倍，这可能会加快速度Rambus的技术总监办公室。

这对于性能密集型、对时间敏感的金融科技应用以及其他高端分析、高性能计算和超级计算应用非常重要，特别是在与专门的加速器结合使用时。

Woo说:“显然需要更大的内存带宽和内存容量，但DDR5本身是不够的，目前还不清楚其他几种方法中哪一种会获得成功。”“我们已经看到很多处理周期正在远离传统的x86进程——更多的加密货币挖掘和培训神经网络比如，转向GPU和专用芯片，甚至是架构的变形，将部分处理转移到数据中心的存储，或者作为边缘计算或雾计算。”

图1:新标准的引入。来源:节奏

Babblabs首席执行官、斯坦福大学X系统的战略顾问克里斯·罗文表示，gpu显然是神经网络机器学习应用程序训练的首选，但芯片和系统制造商也在尝试一些稍显开开开合的选项，比如GDDR5，这是一种为游戏机、显卡和高性能计算机开发的同步图形RAM，英伟达就是这样使用它的。

图2:内存在芯片层次结构中的位置。来源:Rambus

由SK海力士和三星生产的HBM2，在增加逻辑处理和存储器的层上放置多个高速DRAM芯片，使存储器比GDDR5更接近处理器插入器这为处理器提供了高速数据链接。HBM2是一种必不可少的元素2.5 d在包装领域，极快的速度至关重要。HBM2是一种JEDEC标准，与IBM和美光(Micron)开发的混合内存立方体(Hybrid Memory Cube)竞争在矽通过将不同的内存层连接到基本逻辑层。

使用光学连接硅光子学也可以加快进度。到目前为止，硅光子学的大部分应用都在数据中心的服务器机架和存储之间，以及高速网络设备内部。行业专家预计，在未来几年内，这一技术将向处理器靠拢，特别是随着封装的全面审查和设计流程的扩展，将包括这一技术。光学的优点是热量很低，速度极快，但仍然需要将光波转换成电信号来存储和处理数据。

也有新的互连标准，如gen z，CCIX，OpenCAPI。还有一些新的内存类型，例如ReRAM，英特尔的相变3D Xpoint，3 d与非、磁相变MRAM。

NVDIMM速度较慢，但容量大得多，通过添加电池或超级电容器而变得不可挥发，这使得它们可以比普通DRAM缓存更多的数据，同时使用更少的功率，并确保它们不会在断电时丢失交易数据。透明市场研究公司(Transparency Market Research) 8月份的一份报告显示，支持NVDIMM的芯片制造商包括美光(Micron)和Rambus。到2025年，NVDIMM的销售额可能会从2017年的7260万美元增长到1.84亿美元。

Rowen说，这些选项的范围可能令人困惑，但将使它更容易为机器学习、大型内存数据库或视频流定制内存性能——每种都有不同的瓶颈。“有一些主流选择可以推动带宽曲线——DDR3、DDR4、DDR5，但你也可以尝试其他选择，以匹配你正在尝试的内存带宽。”

Rowen说，对于愿意学习编写直接控制NAND内存的代码的人来说，整个问题可能比看起来要简单，而不是通过使NAND看起来像硬盘驱动器并隐藏了向其写入数据的难度的协议和接口层。“凭借低廉的成本、容量和可用性，我看到了很多机会，可以让闪存在存储体系中占据越来越多的位置。”

DRAM很冷
每种存储架构都有其优点，但它们至少都有一个其他集成电路共有的缺点——它们会产生热量。Rambus公司内存和接口部门的首席科学家克雷格·汉佩尔(Craig Hampel)表示，如果你能可靠地散热，你就能把内存、处理器、图形协处理器和内存打包得更紧密，节省可以用于更多服务器的空间，并通过减少内存和系统所有其他组件之间的延迟来提高性能。

根据2014年的一份报告，液态冷却——在介电矿物油中浸泡组件——将香港比特币矿商Asicminer的HPC集群的冷却成本降低了97%，并将其空间需求减少了90%文章IEEE谱。

Rambus自2015年以来一直与微软合作开发内存量子计算作为微软构建拓扑量子计算机努力的一部分。由于量子处理器必须在低温(低于-292°F/-180°C或93.15K)下运行，因此DRAM Rambus正在为该项目进行测试。Hampel说，当Rambus公司在4月份扩大这一项目时，公司已经确信，该项目可以带来显著的性能提升。

图3:Cyrogenic计算和存储。来源:Rambus

当互补金属氧化物半导体例如，当温度足够低时，CMOS芯片的数据泄漏就会完全停止。它变得几乎不挥发。性能提高到内存可以赶上处理器的速度，消除了IC行业中最顽固的瓶颈之一。在非常低的温度下，在4K到7K之间，导线有效地超导，允许芯片使用很少的能量进行长距离通信。(见相关视频。)

低温系统还有一个额外的好处。Hampel说，它们可以比空调更快地吸收存储芯片堆栈中的热量，允许更大密度的堆叠、立方或以其他方式组装的处理器有效地合作。“去除热量可以将服务器机架的大小压缩70%，这意味着数据中心每立方英尺的密度提高了。这使得它们更容易维护，也更容易放置在你以前无法到达的地方。”

更重要的是，如果处理器层面的效率提升在数据中心的其他领域基本一致，那么低温系统可以减少对更多数据中心的需求，使现有的数据中心在成本和计算能力方面都更加高效。

甚至不需要很冷就能获得最大的好处;将内存冷却到大约77开尔文(-321°F/-196°C)可以提供大部分效率。

“液氮很便宜——每加仑几十美分——成本曲线不会变得非常陡峭，直到你接近过冷，大约4开尔文，”Hampel说。“降到50开尔文左右，也没那么贵。”

处理器接近
该公司战略总监Jeroen Dorgelo表示，过冷可能会延长DRAM在数据中心的使用寿命，但随着行业从超大规模向zettascale迈进，目前所提供的芯片或标准都无法承受数据流的影响迈威尔公司的存储组。他说，DRAM速度快，但耗电量大。NAND的速度不够快，无法进行扩展，而且大多数尖端内存——3D XPoint、MRAM、ReRAM——也无法进行足够的扩展。

然而，大多数数据中心还没有解决的问题是，它们需要变得比现在更加分布式。Marvell公司连接、存储和基础设施业务部门网络技术总监亚尼夫•科佩尔曼表示，这有助于减少需要长距离传输的数据量，同时将大部分繁重的工作留在数据中心。

来自社交媒体的数据压力物联网IDC数据中心硬件分析师Shane Rau表示，几乎所有其他地方都在向数据中心扩张施加压力——在全国各地建立两到三个超大规模的数据中心，而不是在中心建立一个超大规模的怪物。

“这是一个不同的规模，但问题仍然是关于延迟，”劳说。“如果我有一个离我更近的数据中心，也就是说，我不需要把所有的数据都移动到那么远的地方，我可以在我的笔记本电脑上完成一些处理，更多的是在本地的数据中心完成，所以在数据到达目的地之前，它已经被预先消化了一些。很多人都在谈论把处理能力放在存储上，以平衡每个设备的瓶颈。现在，大规模的问题似乎更多的是让边缘的数据中心做一些工作，在数据起源和最终去向之间进行部分工作。”

有关的故事
数据中心开始使用新的内存
DDR5、nvdimm、SGRAM、3D XPoint增加了更多选项，但解决方案可能是混合的，而且要复杂得多。
技术讲座:低温DRAM
在极低的温度下使用DRAM会发生什么?
记忆测试挑战，机会
高级存储芯片的业务正在蓬勃发展，但测试它们变得越来越困难。
HBM在带宽和功率方面超越了DDR
设计挑战和工具流差距出现了，但现实世界的PPA指标也是如此。
DRAM的下一步是什么?(2016年2月)
随着DRAM扩展速度放缓，供应商开始寻找替代封装和新的内存类型和架构。