计算存储终于到来了吗?

计算存储背后的想法并不新鲜。只是像许多概念一样，这个想法远远领先于技术。

简而言之，计算存储将处理能力提升到存储级别。它消除了将数据从存储系统加载到内存中进行处理的需要。在存储和计算资源之间移动数据效率很低，计算系统虽然增长迅速，但无法跟上不断扩展的数据集。

存储容量正在突飞猛进地增长，但数据处理仍未改变——将数据从存储加载到内存中，对其进行处理，然后写出更改。存储工业网络协会曾说过，很简单，“存储架构基本上没有改变，可以追溯到磁带和软盘时代。”

也有一些解决方案，比如SAP HANA这样的内存数据库，可以减少在存储之间移动数据的需求。阵列中的闪存驱动器通过将控制器和闪存存储直接连接到主机的PCI Express总线，可以绕过驱动器和CPU之间传统的较慢的SAS和SATA接口。

但这还不够。随着服务器内存达到tb级，用于大数据/分析、人工智能和机器学习的数据集正在达到pb级。

计算存储将处理过程放到存储媒体上，在数据所在的地方进行处理。这在机械驱动器中是不可能实现的，但在固态存储中是可以实现的，而且越来越有吸引力，因为移动数据的成本比处理数据的成本更高。

在一个例子中，研究加州大学欧文分校(University of California, Irvine)和NGD Systems公司的研究表明，大多数系统至少能提高2.2倍，性能提高8到9倍并节省能源是可能的。

对于大多数用户来说，计算存储并不受重视。事实上，他们甚至可能不知道它正在发生，因为这通常是从他们所看到的内容中抽象出来的。但对于大型数据中心来说，这些方法每年可以节省数百万美元。关键是要让这一切尽可能无缝，或者对最终用户基本不可见。

微软公司的技术研究员和杰出发明家史蒂文·吴(Steven Woo)说:“软件正在抽象一个概念，即存在一个服务器Rambus．“他们只需要知道有这种支持计算模型的基础设施，当满足某些条件时，它就会执行代码。在哪里执行代码并不重要。重要的是，当条件满足时，代码将运行。这很重要，因为目标是提高利用率。所以，现在你可以启动这一小段代码，让它在某个地方运行，而不是租用一台虚拟机，有时因为你打字不够快或没有足够的作业而让它闲置。”

图1:移动数据的经济学。来源:Rambus

计算存储是提高这种效率的一个选择，但肯定不是唯一的选择。然而，它正开始吸引更多的关注。

三星和Xilinx验证了这一概念
计算存储已经悄然出现好几年了。自2018年以来，IBM一直在其闪存阵列中提供FPGA，称为Flashscore模块。它可以简单地卸载和加速存储堆栈，以及压缩内容。

IBM研究员和IBM Flash Storage的CTO Andy Wall相信计算存储将继续走向主流。“就FCM而言，我们正在卸载一些相当耗时的东西，而且很难在软件中处理。因此，数据的存储减少变得更容易，”他说。

去年11月，三星和Xilinx发布了SmartSSD计算存储驱动器(CSD)，他们声称这是业界第一个可适应的计算存储平台。它结合了三星2.5英寸U.2 SSD，单端口PCI Express Gen 3适配器，启动容量为3.84TB，采用Xilinx Kintex Ultrascale+ KU15P FPGA处理器。除了闪存，每个驱动器还配有4GB 2400MHz DDR4内存。

虽然它看起来像一个消费设备，但SmartSSD绝不是。它提供200万小时的平均故障前时间(MTBF)，高达每秒800,000 I/O操作(IOPS)的随机写速度和110,000 IOPS/秒的随机读速度。

Jamon Bowen，数据中心集团业务开发和产品营销总监赛灵思公司他说，计算存储基本上有两个好处。首先，您有一个针对工作负载优化的加速器，而不是通用计算设备。其次，通过避免移动数据，可以避免内存污染，以及移动数据所带来的强大功能和复杂性。

Bowen补充说，在许多计算场景中，有相当多的事情需要在确定的时间内发生。他说:“通过硬件解决方案，你可以保证性能和有保证的延迟，这在等待结果的时候很重要。”

基本用例
但是，不要一开始就指望计算存储来完成繁重的工作。专家们一致认为，它将从卸载工作负载开始，并首先进行准备处理，这既是由于处理能力的限制，也是由于人们刚开始接触计算存储的概念。

英特尔Optane解决方案和战略高级总监克里斯·托拜厄斯(Chris Tobias)说:“你必须先弄清楚你想要放弃什么东西，最先弄清楚这一点的人将率先开拓市场。”“你必须首先找出最简单的任务，这些任务在某种程度上与存储最相关。通用计算还远远不能实现你的存储。”

Objective Research的首席分析师吉姆·汉迪(Jim Handy)指出，在现有的被称为分片的技术的数据库中，有可能使用这种技术。分片是指将数据库分成多个片段，然后每个片段彼此并行处理。

Handy说:“这是一种加快数据库运行速度的方法，但它最终会导致很多问题，因为你最终会发现不同区域的东西坏了，需要重新组合在一起，这就是所谓的连接。”“这些都是非常、非常容易出错的事情。”大多数主要的数据库，无论是商业数据库还是开源数据库，都以自己的方式支持分片。事实上，MySQL以不支持它而闻名。

但是，他指出，当您将数据库分开时，实际上并没有修改数据。一旦它被分解，你就在搜索它，可能还会对它进行排序，如果你对批次进行了不同的排序，那么在连接碎片时就需要解决这个问题。Handy说，计算存储使分片、搜索、排序和连接变得更容易，因为它们都在同一个内存空间中。

用于计算存储的神经形态处理器开发商Lewis Rhodes Labs创始人兼首席执行官David Follett表示，这也有助于减少边缘收集的数据量。他指出，现代商用喷气式飞机每次飞行都会产生平均4tb的数据，这些数据在飞行结束时被下载到一个大型数据库中，其中包含全球任何特定时间飞行的所有飞机的信息。

“数据太多了，”Follett说。“但从广泛意义上讲，它还不具有成本效益，无法变现。如果你能收集到数据就太好了。接下来的挑战是我们如何有效地利用这些资源。”

边缘的计算存储提供了减少不必要数据的机会，只将有价值的数据发送到主数据中心系统。

应用程序重写在卡片上?
计算存储的优点是消除或减少了数据移动。但这种功能上的改变也可能意味着应用运行方式的根本性转变。对于Hadoop和Spark等企业应用程序或甲骨文(Oracle)的数据库是否需要重写，专家们意见不一。

英特尔Optane解决方案和战略高级总监克里斯·托拜厄斯(Chris Tobias)说:“你能利用这一点的唯一方法就是彻底重组你的软件。”“你现在所做的是，你说我们有这个(应用程序)，计算存储做得很好。我们将把这个责任从服务器软件中剥离出来，然后将这个片段的多个副本分配给SSD，这是它们都将执行那个片段的地方。必须有人把服务器软件分割成进入ssd的部分。”

Pliops的总裁兼首席商务官史蒂夫•芬格胡特(Steve Fingerhut)表示，这取决于应用程序。该公司正在开发自己的计算存储处理器。但这需要在架构上进行重大更改，基本上必须重写应用程序才能移动整个功能。

“如果它需要一些独特的东西，或者对架构进行重大改变，那就会产生很多摩擦。这对公司来说是很难接受的。使用一个开放的规范，比如块接口，意味着公司可以移植到它，并且知道他们在未来有极大的灵活性。他们不会局限于任何一家供应商，”他说。

但芬格胡特补充说，商业软件应用可能会慢慢接受这种方法。“超大规模的数据中心运营商正在购买这种产品，这些人完全控制着他们的软件和硬件。”

汉迪还认为，大型软件供应商可能会采取观望态度。如果计算存储在他们的客户群中大受欢迎，他们就会支持它。“但我不认为他们会率先支持计算存储。那就是超规模的。”他说。

计算存储供应商ScaleFlux的首席执行官钟浩表示，向计算存储的转变都是从api开始的，而不是应用程序。他引用了英伟达的CUDA语言作为适合不同GPU应用程序的API和库的完美例子。为了利用计算存储、数据库和大数据，也需要发生类似的事情。

“需要发生的是，一旦计算存储有了这个标准API，它们就可以轻松地参与这些框架。数据库供应商可以采用这些api并拥有两个版本(数据库)，这意味着他们可以使用计算存储来大大加快工作负载。与此同时，如果计算存储不可用，他们的软件可以留在那里。”

违背物理定律
Follett指出，科技行业擅长发展技术，但由于固有的矛盾，它将在推进计算存储方面面临真正的挑战。

“从根本上讲，存储喜欢密集，而且它喜欢相对凉爽。计算倾向于密集和相对热。这两件事是完全相反的。固态硬盘通常有75摄氏度左右的热隔断。所以SSD会在75摄氏度的温度下自我节流，这在U.2中紧密包装，并配有一个相当大的FPGA时就会发生，”他说。

U.2硬盘看起来像SATA消费级硬盘，也就是2.5英寸的塑料外壳。你怎么在那上面装散热片?

他说:“如果你想做任何有计算意义的事情，你必须弄清楚你要用这些热量做什么。”“你得想办法把它弄出来。这是一个基本的障碍。你把暖气放在哪里?”

沃尔不同意这种说法，他说你可以在企业设备中冷却ssd，包括服务器和全闪存阵列。“NVMe规范限制U.2到25W，但所有这些服务器和存储单元都提供了冷却机制，以确保驱动器保持在其温度限制之下。我们已经有了冷却ssd的机制，”他说。

Bowen说，SmartSSD CSD的设计是在U.2的标准25W电源范围内运行。“联合设计的很大一部分是确保SSD和FPGA部分同时工作以满足这一限制，就像NAND在写入过程中使用更多的功率。FPGA的功率是基于负载的IP和时钟速率。”

他补充说，有一种称为企业存储形式因子(EDSFF)的规范，它预计需要更多的功率，并支持更低的功率(12.5 W - E1)。s薄)和更高(70W -E3L 2T)。该规范现在由SNIA管理。

未来的发展
鲍文认为，计算存储的发展势头正在增强。事实上，在NVMe联盟中有一个技术提案，将计算添加到NVMe框架中。

该联盟将使用标准NVMe驱动程序来调用加速器函数，并在存储和设备之间传输数据，而不是让每个计算存储供应商(如三星、Pliops、ScaleFlux等)自行实现。

Zhong还认为，在NVMe标准中添加计算存储将增加对这一概念的支持，随着该标准的成熟，一些主要数据中心将在未来12到18个月内开始部署。

相关的
将数据和计算更紧密地结合在一起
这一点都不简单，但是功耗/性能和延迟的好处是潜在的巨大的。
计算数据所在位置
计算存储方法推动了功率和延迟的权衡。
新电源，性能选项在边缘
随着芯片制造商利用各种架构选择，权衡也在增加。
数据中心数据过载
哪些体系结构和接口最适合不同的应用程序。