定义边缘内存需求

定义边缘计算内存需求是一个日益严重的问题对于芯片制造商争夺一块这个市场,因为它不同的平台,通过应用程序,甚至用例。

边缘计算起着作用人工智能、汽车、物联网数据中心,以及衣物,每个有显著不同的内存需求。所以重要的是要有内存需求敲定在设计过程的早期,随着处理单元和电源,性能和面积权衡。

”在物联网领域,“边缘”像思科公司比‘边缘’不同NXP等公司,“观察到罗恩·洛曼,物联网战略营销经理Synopsys对此。“他们有完全不同的定义和类型的处理要求的规模看起来大不相同。肯定有不同的想法在边缘是什么。现在最热门的趋势是AI的一切并不是数据中心被认为是边缘,因为他们正在做边缘推理,将优化。”

内存IP提供商理解用户从不同的角度,所以讨论在应用程序级别开始。“你可以非常低的一端开始,所有的记忆是嵌入在chip-including非易失性内存(NVM)——当你搬到更先进的处理器在更高级的应用程序像数字一样,家,工业,和移动,你开始利用外部DRAM,外部SPI(串行外围接口)也不闪,或外部wider-bus NVM也不闪,”洛曼说。“在数据中心,周围有很多收养HBM2由于带宽和微微焦耳每一点是重要的,当你做的大型应用程序像人工智能。真的是采取到应用程序上下文的角度如何定义什么是边缘。”

集团产品营销主管马克•格林伯格DDR, HBM, flash /存储和MIPI IP节奏表示同意。“有一个真正的多样性的优势。这真的可能是一个卑微的东西,恒温器,或一个物联网按钮。它可以是任何东西,从一个边缘服务器之前,可以收集和汇总所有的数据进一步加载到云。边缘的云就像一个真正的边缘cloud-not很好定义的。”

虽然可能是一个广泛的在边缘设备,这些设备可以有一个相对强大的CPU, Greenberg指出。“内部可能有视力或显示功能,可以被认为是类似于一个2 g手机。如果你想想一个2 g手机,它有一个小的相机不是很好,但它有一个相机,可以看东西和拍照。它有一个小显示器。显然它有计算能力。和网络连接,有时手机网络或无线网络。这些芯片,我们有10到20年前,2 g手机正重新成为IoT-type设备。一切都更新内部,但架构仍然看起来非常相似。这些物联网的内存类型设备已经不是非常高的速度DRAM,我们使用应用程序处理器,但更多的内存通过SPI总线和设备使用四通道或八频道的SPI - quad-SPI或octal-SPI和使用的内存作为外部内存当外部内存是必要的。”

简单的数字应用程序,这些方法仍然工作。“最初的数字家庭的定义与移动反映在他们过去所选择的技术从易失存储器的角度来看,“洛曼说Synopsys对此。“许多设备被插在墙上,所以他们会利用便宜的内存可能如DDR3 DDR4,和在未来,DDR5。”

人工智能的影响
人工智能添加到应用程序和内存需求发生变化。经常需要更多的内存,额外的带宽,和最新的流程节点。

“人工智能需要高性能内存”,洛曼说。“这是真正推动高绩效的信封。也是推动信封与密度的内存,和试图让低泄漏。人工智能算法实际上需要异构计算,所以有时你做的标量,有时你做标准向量DSP,有时你做大规模并行矩阵乘法就像CNN引擎。这些异构计算功能可能需要不同的内存技术。”

AI应用也推动下一代存储技术的限制,和用户正在寻求整合DDR和LPDDR不是28 nm,但是在22日12日或7海里为了提高存储密度,采用和降低泄漏finFET过程的技术。所以当AI不一定改变记忆用户想要的类型,它需要他们的下一代。

然而,一个大的转变发生在种总的内存架构用于人工智能应用,Lowman断言。“人们不得不创建芯片的类型,不要只使用标准的公共汽车和标准技术。他们想要使用正确的大小,密度高静态存储器,正确的缓存大小,大小合适的低泄漏SRAM,大小合适的高性能存储器。为此,他们采用新技术除了现有的技术。”

此外,特别是当移动云边缘设备的数据,而不是使用最新的DDR,有增加HBM 2.0采用更高的带宽,他指出。“有趣的是这些芯片是他们也采用DDR因为AI有巨大的产能需求所以你必须都DDR和HBM 2.0。鉴于这些动态,用户不得不变得非常创新的体系结构作为一个整体,采用很多不同的技术和配置以差异化的方式。”

在许多方面,机器学习芯片看起来像其他类型的高性能计算芯片被派过去,除了他们如何使用内存。“AI /机器学习应用程序使用更多内存带宽比其他类型的计算应用程序,但他们不使用很多gb的内存。他们使用很多吉比特每秒。这是一个很多带宽,但是不是那么多能力的mb,”格林伯格说。

这可以归结为算法的性质。“神经网络通常保存在外部DRAM,”他解释说,“和神经网络需要知道的东西存储在DRAM。你需要走出去,接触这些东西很多的记忆,阅读,更新它们,读取,更新他们。有很多事务机器学习SoC和内存之间发生,但没有那么多神经网络中的节点,需要有一个巨大的神经网络函数的能力。”

今天,人工智能或ML芯片的内存子系统可能非常高带宽,与GDDR6等大量使用图像记忆,以及最新一代的DDR技术像LPDDR5 DDR5, HBM2和后代的HBM标准。

图1:边缘设备内存needs-iPhone 8与Fitbit截然不同。

对于每一个应用程序,有一个甜蜜点所需的内存来执行大部分的需要执行的任务,指出Magdy Abadir,负责营销的副总裁Helic。“嵌入式应用程序,运行相同的任务一次又一次,就像在汽车(非自治应用程序)你在哪里做事像发动机控制,这些类型的应用程序可以被描述为他们花多长时间,他们需要多少内存。然后你可以找出最好的记忆,包括这些类型的设备来实现良好的性能,一个体面的安全级别,和准确性的任务你做。”

移动是另一个例子。“手机做的任务可以pre-characterized直到流10同时视频和电话说,“真不走运,我不能这样做。所以可能会有限制强加在某些领域,”Abadir说。”尽管如此,总有更多的内存需求,无论应用程序是什么,但是你不能做过头。你不想要的记忆闲置,而你不想低于它,因为它只是导致很多分页和去记忆不密切的计算。有很多解决方案,让记忆更加技术缓解这个问题,并减少访问时间为这些记忆打开了门更多的应用程序来利用这些记忆。”

有多少内存分配给汽车的无线应用程序或应用程序取决于正在运行的基准和最大的市场机会在哪里。”有很多性能建模的人花费他们所有的生活什么都不做但创建这些表,在那里他们添加更多的内存和/或使用不同的处理器或不同的架构,”他说。“一些数字上升,一些数字下降。这是一个平衡。”

系统权衡总是复杂的,特别是当它涉及到内存,因为超过一半的死亡区域可能被记忆。

“谈到性能(速度)、权力和区域,建筑师不断权衡的问题,”说,法扎德Zarrinfar IP业务的董事总经理导师,西门子业务。“例如,如果电力消耗超过了极限,然后热管理包装等不良后果,和包装的成本就会上升。如果系统成本超过规范,该产品可能无法去市场。因此,功耗也可能成本含义。”

这些担忧被看到,甚至在汽车领域由于热操作条件。生产,所有的知识产权,包括记忆,必须满足这些条件,Zarrinfar说。

先进的边缘节点
边缘芯片也被设计在最先进的流程节点时,需要大量计算的硬件。”摩尔定律还在,但改变其性格,所以我们仍然可以把更多的晶体管在技术节点,死于向下”Greenberg指出。”,但在最近的技术节点,晶体管尚未获得成本优势,我们看到从先前的技术过程。如果我们看看从130纳米到90年过渡到40到28 nm,每次我们走一个流程节点,我们得到了更多的晶体管的死,我们也下去dollars-per-transistor或microcents-per-transistor基础上的成本。现在,当我们朝着非常先进finFET节点,成本函数已趋向稳定。我们肯定还是会更多的晶体管每死,这是伟大的,但它并不总是让我们付出更少。”

什么样的边缘设备真的需要一个7海里死和需要完成的计算,一定不能在16或28 nm ?“有些事情确实存在,我们看到,可能被认为是一个边缘设备要求7纳米处理一些人工智能应用程序试图不仅视力与他们,但他们所看到的,”格林伯格说。

认为物联网的相机连接到智能门铃,或智能安全摄像头。”不仅仅是一个信号,处理,和发送信号到云,”他说。“这是试图找出如果有运动帧,如果看到什么是有意义的。不仅是,“我看到了一些举措。“现在”,是一块垃圾还是一只狗跑过我的视野,还是威胁的东西我应该保护吗?不仅如此,也许应该做一些认可。有人接近。是谁?它的一个居民吗?送东西的人吗?它的人真的是不应该吗? Having that amount of processing happening at the edge is one of the directions that things are going, and that’s the sort of case where a 7nm SoC might start to make sense even at the edge of the cloud.”

这已经开始发生。洛曼指出,人工智能芯片的市场比人们认为它已经。“据估计,到2022年或2023年,50%的芯片组将人工智能功能,但是今天我们已经看到这种情况的发生。全面,他们做不同的事情,让它工作。他们中的一些人只是做小事情,他们中的一些人所做的已完成。真是有趣的不同采用IP。”

展望未来,对内存的需求越来越多,死在内存的百分比增加,更严格的要求基于应用程序结束时,导师是Zarrinfar说。“如果你看看汽车,资格更严格。铸造厂,这些类型的芯片提供一个过程需要担心大量的资格,有成本含义。”

这可能会影响选择设计团队,因为铸造不太可能提供合格的汽车每个流程节点的IP。“这是一个参数设计团队玩,因为当设计师必须做出决定,某些过程节点可以为他们做的工作,如果不是automotive-qualified他们合格的使用过程。正因为如此,有很多汽车28 nm HPC +和超越的需求,”Zarrinfar说。

有关的故事
挑战在边缘
真正的产品开始进入市场,但这仅仅是开始新一波的技术问题。
处理移动到边缘
定义不同的市场和供应商,但爆炸在本地数据需要更多的处理要做。
高性能记忆挑战
能力,速度,力量和成本成为关键因素为AI /毫升应用程序在内存中。
技术讨论:单片机内存选项
一看包嵌入式NVM和系统之间的权衡。