带宽、计算能力,正成为许多人工智能应用的主要瓶颈。
深神经网络(款)是一个系统,设计类似于我们目前的理解大脑的生物神经网络。款发现使用在许多应用程序中,在快速推进,推动现有硅的限制,影响新计算架构的设计。图1显示了一个非常基本的神经网络形式,每一层中有几个节点连接到所有其他节点的相邻层。每个节点上执行一个简单的计算节点的输入的总和。因为高水平的层间连接的神经网络,扩展这种类型的神经网络更大的尺寸意味着需要更多的存储网络的参数。此外,更高的内存和接口带宽需要加载,存储,和更新这些模型参数,以及大量的例子用来训练神经网络。
图1:简单的神经网络的例子。
sprint定制如果解决方案
作为深度学习的任务变得更加复杂和决策需要更高的精度,这些神经网络可以急剧变大。每一层可以多维为了捕捉和分析输入数据的许多方面。图2显示了一个示例的面部识别看起来深神经网络。
图2:深神经网络的示意图表示。来源:NVIDIA开发的博客
许多公司正在使用硬件加速通过fpga和gpu来构建神经网络。这些加速器是更有效的比通用cpu计算所需的数学函数在整个网络。定制的解决方案如谷歌TPU, TensorFlow量身定做,提供了一个两位数多个改善比cpu或gpu性能/瓦特。
结合自定义硅与神经网络规模日益增大,收益,很明显,有很多硅业务来捕获。因此,有一个公司正迅速飙升推理和学习创新和开发解决方案。
新兴的瓶颈:带宽和互联
自定义允许设计师来优化性能和功耗和硅与硅与最有效的接口设计和内存解决方案手头的任务。在许多人工智能应用程序,执行计算的能力不是当前的瓶颈,而这是带宽和可用性的数据计算。正如前面详细的史蒂夫·吴、内存系统扮演着一个关键角色,神经网络芯片设计和有多个选项,满足特定需求的学习和推理方面的深度学习应用。片上存储器之间HBM(它使用一个插入器),和更传统的pcb记忆GDDR和DDR,选择正确的解决方案对于一个给定的系统取决于目的评估用例和各种设计权衡。
训练神经网络时,有几个因素驱动需要高带宽内存解决方案。第一个是输入数据的数量和质量。例如,当进行面部识别的高质量图像,必须学习为了教一个神经网络来识别不同个体的脸非常大。第二个是需要不断重新测试和培训,以及验证结果与新的数据集,以保持较低的错误率。根据应用程序,新数据到达非常频繁,需要不断学习。另一个司机带宽模型的实际大小。当模型包括许多层和节点需要高内存带宽和接口速度保持神经网络的学习和推理在高峰速度。
在推理方面的方程,输入到系统本身可以非常大。例如,应用程序(如ADAS或全自动车辆有许多高分辨率传感器/摄像机,经常需要分析实时决策。
结论
与应用程序像自主车辆,基因解码、语音识别虚拟助理和其他许多人中间,深度学习已经被证明是一个有用的,留在这里。这就是为什么深度学习广泛而看似无穷无尽的机会是一个定制的硅和新系统架构的关键驱动因素,利用硬件加速和先进的神经网络。成功的关键驱动因素对今天和未来的这些应用程序提供足够的内存和互连性能为了保持加速器和神经网络运营速度最高。选择正确的内存和接口的解决方案是至关重要的,包括理解用例以及相关的设计折衷的解决方案。
|
|
|
|
|
|
|
|
|
|
留下一个回复