深度学习的传播

深度学习正在广泛的应用中获得吸引力，提供比目前的机器学习更微妙和更复杂的行为。

这些属性对于安全关键设备(如辅助或自动驾驶车辆)以及自然语言处理尤其重要，在自然语言处理中，机器可以根据对话上下文识别单词的意图。

与人工智能和机器学习一样，深度学习在研究领域已经存在了几十年。改变的是，从数据中心到简单的微控制器，它被添加到许多类型的芯片中。随着算法在训练和推理方面变得越来越高效，机器学习/人工智能连续体的这一部分开始在广泛的使用模型中出现，一些用于非常狭窄的应用，一些用于更广泛的上下文决策。

Babblabs公司首席执行官克里斯•罗文表示:“部分原因是出于对自动驾驶汽车芯片需求的预期。“神经网络技术正在发挥作用，就功率而言，成本相当适中。因此，增加深度学习子系统是有意义的。我们看到很多创业公司进入这个市场。仅在深度学习领域就有25个。有些公司面向云计算，希望在云计算上击败英伟达(Nvidia)。但也有一些属于低端市场。在这两种情况下，对高度结构化的矩阵乘法计算有一个非常专业的习惯用法，但在这里您需要尽可能快的低到中等位精度。人们对计算能力的需求几乎是无限的。”

这对各种工具、芯片、软件和专业技术来说是个好兆头。

“在汽车市场有很多模式识别，”Wally Rhines说，总裁兼首席执行官Mentor是西门子旗下的企业．“你也可以从数据中心需求增长的数据中看到这一点。有几十家公司在为自适应学习做特殊用途的处理器。”

深度学习在所有这些市场以及许多其他市场中占据着越来越大的份额。“它已经被用于iPhoneX的面部识别和自然语言处理，它被设计用于自动驾驶汽车，并执行诸如识别物体是狗还是猫等任务，”该公司营销副总裁迈克·吉安法格纳(Mike Gianfagna)说eSilicon该公司目前正在开发深度学习芯片。“从表面上看，深度学习芯片很像数据中心芯片。它可以使用HBM存储训练数据并将其快速传输到芯片的内存堆栈，它可能使用自定义内存。不过，它比网络芯片更容易实现。一个网络芯片可能需要50到90个块，但它们都是不同的。在深度学习中，有大量的块，但有很多相同块的重复。所以地点和路线更容易。心肌块收缩更强，表现良好。”

从商业角度来看，深度学习、机器学习和人工智能可以实现规模经济，继续推动PC、智能手机/平板电脑和云销售。

“在过去，每秒几十亿次被认为是很大的容量，”罗文说。“但现在，即使是边缘设备也可以进行数亿次乘法运算。如果你有数万亿美元，它们就可以派上用场。你可以从Nvidia最新一代的芯片上看到这一点。他们现在的速度是每秒100万亿次，而不是每秒10万亿次。但这些设计也变得越来越专业化，通用功能越来越弱。有非常紧凑的方式来提供这种规模的计算。”

图1:深度学习与机器学习的比较。来源:XenonStack

什么是深度学习?
尽管如此，深度学习的定义仍然有点模糊。它位于人工智能的保护伞下，或与机器学习并列，或作为一个子集。不同之处在于机器学习使用为特定任务开发的算法。深度学习更多的是一种基于矩阵多层的数据表示，其中每一层都使用前一层的输出作为输入。这种方法更接近于模拟人类大脑的活动，人类大脑不仅可以判断棒球正在运动，还可以大致判断它将落在哪里。

然而，在这一切的背后，对于深度学习究竟是如何工作的，尤其是在它从训练转向推理的过程中，人们并没有达成共识。深度学习更多的是复杂行为的数学分布。为了实现这种表示，并对其进行塑造，需要使用许多体系结构。深度神经网络和卷积神经网络是最常见的。循环神经网络也被使用，它增加了时间的维度。rnn的缺点是大量的处理、内存和存储需求，这限制了它在大型数据中心的使用。

英国计算机科学家和认知心理学家杰弗里·辛顿(Geoffrey Hinton)也一直在推动这一想法胶囊网络，它将神经网络的层中层叠加起来，基本上增加了这些层的密度。根据Hinton的说法，结果要好得多，因为它可以识别高度重叠的数字。这是贯穿当今许多研究的主题之一——如何加快整个过程。

这个问题太复杂了，远远超出了人类大脑解决一切问题的能力，所以所有这些都必须建模或理论化。对于芯片制造商来说，这并不是什么新鲜事。自从芯片达到了1微米的工艺节点，就很难在设计中可视化所有不同的部分。但在计算机科学领域，许多进步基本上都是二维的。旋转或倾斜的对象在数学上更难表示，这需要大量的计算资源。为了提高速度和效率，研究人员正试图找出减少这些计算的方法。尽管如此，这仍然是一个巨大的挑战，而且对于深度学习专家来说，这在很大程度上是不透明的。

“在某种程度上，深度学习是一个黑盒子，”at的首席技术官迈克尔·舒登弗雷(Michael Schuldenfrei)说最优+．“很难理解实际的决策过程。你可以解释机器学习算法的模型。我们做了很多比较不同算法的工作。深度学习算法比机器学习算法更复杂。但我们在所有这些问题中发现的一件事是，从这些算法得出的答案在不同的产品中可能是不同的。所以在产品A上，随机森林效果很好。在产品B上，另一种算法或算法的组合效果更好。”

深度学习算法可以追溯到20世纪80年代末。该公司的杰出工程师大卫·怀特说:“这项工作主要始于美国邮局，他们需要识别手写数字节奏．“他们意识到需要一种方法来减小输入空间的大小，所以他们使用了额外的层来提取特征。从那以后，深度学习算法有了很多进步。”

深度学习算法通常比机器学习需要更多的计算能力。“深度学习中使用的架构是特定的，”怀特说。“它使用卷积、池化和特定的激活函数。有些技术与机器学习类似，有些则不同。”

然而，并不是所有东西都能从这种方法中受益。

“更多参数的本质是你可以模拟非常复杂的行为，”Babblabs的罗文说。“但你必须用相应的数据集来训练它。如果你拿一个简单的问题来说，深度神经网络并不会更准确。统计建模只能到此为止。人类可以学习很多关于物体的东西，以及当你旋转物体时它们是如何移动的。这是内置在人类大脑中的，比目前的机器学习或深度学习的例子更少。今天，机器不知道你什么时候旋转一个物体。它不知道透视。它只能从足够多的数百万个例子中学习。”

DL在更多市场
虽然深度学习和机器学习的分界点并不总是明确的，但这些不同部分的应用正成为人们关注的焦点。

“用于嵌入式视觉的深度学习已经得到了很好的定义，”微软的产品经理戈登·库珀(Gordon Cooper)说Synopsys对此嵌入式视觉处理器组。“我们还看到它被用于雷达和音频，在那里你可以应用CNN算法。我们看到了很多关于IT流程以及将深度学习和人工智能应用于这些流程的请求。”

使这项技术越来越容易获得的是现成的技术构建模块，包括现成的算法，以及各种现成的、定制的和半定制的处理器、加速器和廉价的内存。“使用rnn，你看到的是长短期记忆(LSTM)，”库珀说。“如果电源不是问题，你可以使用GPU。也有嵌入式芯片，你得到较少的性能，而是专注于功率和面积。带宽仍然是一个大问题——特别是如何从dram获取数据——所以芯片内部有内存管理技术和乘法/累加。”

图2:深度学习应用的增长。来源:半导体工程

芯片公司也已经通过在内部使用这种技术获得了一些第一手经验。

eSilicon的Gianfagna说:“我们现在使用机器学习来管理我们的I/O吞吐量计算场，这是非常具有挑战性的。”“我们跟踪所有cpu，并根据作业对它们进行校准，并创建预测负载。它基本上是预测负载平衡，大部分是在软件中完成的。像谷歌和AWS(亚马逊网络服务)这样的云公司使用深度学习来实现工作流程和负载平衡，并为此使用硬件。深度学习可能是这些业务中硅含量最高的部分。”

这项技术的最新应用之一涉及机器人技术。Cadence公司的怀特说:“关键是这些设备需要不断学习，因为机器人执行的任务会发生变化，不同的环境也会发生变化。”“因此，如果你在菲律宾而不是欧洲制造，软件可能必须适应。很多物联网也是如此。传感器在非常不同的环境条件下进入系统。这需要自适应系统，这将是机器学习、深度学习和人工智能的下一波浪潮。对于监测不同波长的气体传感器，随着传感器的退化，信号会发生变化。所以问题是，一个系统是否能够适应这种变化，并继续发挥作用。你不希望每次相机镜头上出现凝结就关闭系统。”

深度学习也出现在了手机上。苹果的iPhone X使用深度学习进行面部识别。“你也可以用它来改善移动设备上的图片，应用基于深度神经网络技术的滤镜，”Synopsys的库珀说。“但每个市场都有自己的需求。因此，对于癌症检测来说，挑战在于获得足够的数据点。几万是不够的。在汽车行业，情况正好相反，你有几个小时的视频，但你怎么处理所有这些数据呢?这里的关键在于你如何使用技术来找到视频中重要的部分。”

结论
半导体行业才刚刚开始触及深度学习如何有效应用的表面，并开始了解它在哪些地方能带来价值，哪些地方不能带来价值。在此基础上，如何用最少的能量更快地完成所有必要的训练和推理将是一场争夺。

在过去，这项技术与大型计算机和超级计算机密切相关。但随着深度学习被分解成更小的部分，用于更有限的应用，它将对越来越多的市场产生更大的影响。这个市场的上涨才刚刚开始。

有关的故事
机器学习的下一阶段
芯片制造商将推理技术视为这项技术的下一个重大机遇。
机器学习的黑暗面
机器学习需要防止对抗性使用的技术，以及更好的数据保护和管理。
Babblabs:深度学习语音处理
初创公司将深度学习技术应用于高级语音处理。