在神经网络的下一个什么?

更快的芯片,更负担得起的存储和开放图书馆是给神经网络新的动力,和公司现在的过程中如何优化在各种市场。

神经网络的根源可以追溯到1940年代末与克劳德·香农的信息论,但直到几年前这种技术进展相对缓慢。扑自治车辆——依靠神经网络来收集数据从许多传感器——改变了这一切。建立公司工作正在进行中,创业,大学在全球范围内,和资金涌入神经网络、嵌入式等以及相关的市场视野,机器学习和人工智能。

“大众市场经济学,增加处理能力,改善计算视觉技术=创建新的大众市场的机会,”Tim Ramsdale说成像和远景集团的总经理手臂。“但所有这是必须要做到的。延迟最小化是至关重要的。有灯打开就出现在门口是至关重要的。这意味着至少每秒30帧,并且最好60帧每秒。为此你必须处理的优势,和边缘的处理意味着低权力。”

这项技术的核心是几个基本组成部分:算法,非常快速的硬件,优化技术和方法,使这些算法使用低功率工作更快。挑战是降低所需的计算是通过训练这些系统更高效。

图1:一个基础课网络。来源:迈克尔·a·尼尔森,”神经网络和深度学习”,决心出版社,2015年。

“关键阶段对神经网络训练模型,由于训练过程不断改进,更新训练模型的挑战是经常在目标硬件和算法执行提供足够的电力,”博Zalewski说,硬件部门的总经理Aldec。

fpga可以成为一个伟大的解决这两个问题,他说,因为re-programmability允许容易更新训练模型的硬件,而可编程逻辑提供了空间和并行架构加速算法。“从深层上优于技术出现在商业,工业和安全性至关重要的市场,关键是要提供有效的流程来更新这些新的改进算法的实现。这就是科学与工程。因此,高级合成生长等技术允许快速从c++实现HDL代码转换。的挑战,当然,硬件平台实现最优的结果,或选择适当的算法。”

需求方也开始出现在嵌入式视觉方面,。像fpga,他们可以被编程。但与fpga使用浮点数学,一个向量使用定点DSP做计算。

“动态定点可以照顾多个问题,”汤姆•说,系统架构师Synopsys对此。他指出,这些算法运行的最大的问题是低功率,和最好的方法来实现,通过改变卷积的顺序向量化。“如果你组织循环,你可以使用,因此减少带宽最大化数据。”

工作区域前
不清楚处理架构——CPU、GPU, FPGA或DSP -最终将被证明是赢家。到目前为止,陪审团是什么效果最好,什么市场。但是有很多幕后工作来提高这些系统。

这是关于智慧更上一层楼,说Anush莫汉达斯·,营销副总裁和业务发展NetSpeed系统。“我们真的燃烧草地上让机器学习SoC架构和SoC设计——这就是自动化。任何一个多变量的问题将是真正的人类的机器或一维计算。你带来类似的机器学习或自学算法和它会表现得更好。”

市场经济支持这个。“这是在一个地方,现在如果你想做一些类似机器学习的概念有但现在你不需要重新发明所有的算法——你可以从谷歌获得这些算法,您可以运行您的服务器在一个AWS (Amazon Web Services)服务器,”他说。“它需要在80年代和90年代更多的投资,所以酒吧是很高的。当时,最热的区域神经网络股市——神经网络预测股市更好。但人实际上是有数百万的人,数十亿美元投资于这样的技术。”

自那时以来,许多都发生了变化。计算技术已经足够便宜,购买或租赁服务,以支持这种模式。“这是一个融合的成本计算,更负担得起的存储和有一些开放的图书馆,所以我们不需要重新发明轮子和发展的事情,“莫汉达斯·说。

每个公司知道什么时候开发的棘手的部分算法在内部,或者使用什么商业化很容易,实际上可以归结为公司文化。“Facebook将采取一切有,精益求精,而不是试图重新发明轮子,”他说。“还有像IBM这样的公司,其核心是创新。他们对自己想出一些非常新的和创新的。它更多的是一种文化的事情。谁不是在数十亿美元的类别重用别无选择,因为其他人都这么做,和不这样做的成本很高。”

处理噪声
此外,开发一个神经网络是一个很大的挑战,和必须做出许多决定,包括如何以及何时被处理的数据。

马提亚Pollach、机器学习和人工智能工程师导师,西门子业务解释说,其自主驾驶平台设计中,导师的团队第一次看到其他工程团队在做什么。“有非常强大的深层神经网络是现在很多人做,但是我们看着它,认为这是不理想的,因为传感器——特别是在它们消耗数据,和融合,从信息技术的角度来看并不理想。有对象列表或目标列表,一切预处理,而这正是我们没有想做的事,因为最大的目标是非常低的延迟,最大程度的信心。”

他解释说,看一个雷达传感器,例如,获得的数据通常是非常嘈杂。有很多道路反射,或称为幽灵是什么目标。“你看到的传感器并不是一个真正的目标。出于这个原因,这取决于所使用的传感器——平均而言,至少有五帧对象的雷达传感器已经看到或目标之前,它实际上出现在对象列表来确认目标——你介绍延迟,这是我们不想做。”

团队意识到的最佳途径是原始数据处理,即使数据率更高,因为它可以用硬件加速。“造福我们的传感器融合,以及我们如何预处理数据使一个更好的方法处理或处理的数据量,“Pollach说。“在一个简单的例子,假设你正在接近一个十字路口,和系统显示在你的面前。一个很粗略的分类说,它可能是一个行人,告诉你大概在什么地方。然后系统提供未经过滤的信息,这意味着像素,激光雷达点,也是原始的雷达数据。没有丢弃。这意味着整个图像没有像其他公司一样进行分析与深度学习。图像的一个片段,激光雷达,雷达数据可以与之相关的网络。这意味着不需要一大堆的数据分析。你可以选择你想花你的资源。 One of the big things is giving hints and telling the neural network it doesn’t have to look at everything in detail. It just has to look at what is really relevant for the driving mission right now.”

与众不同的想法
换句话说,研究人员开始以不同的方式看问题。

“如果人们设计数字通信系统没有香农理论的出现,人们会部署吗?你打赌他们会,因为人们部署的原因不是因为他们一定会理解的,”说,沉着的Hijazi深度学习集团董事兼高级建筑师节奏。“人们使用,因为他们需要的东西,它的工作原理。人们没有任何主流应用程序部署人工智能在过去并不是因为他们不懂理论,使其工作或如何变得更好。因为它是部署不够好。同样,没有硬件能够部署它,这就是为什么它没有被使用。”

然而,对于某些应用机器学习现在不够好。“具体来说,深度学习已经证明是足够的对于某些应用程序。“足够好”的阈值和大量的应用程序意味着人类能做的一样好或更好。鉴于这个阈值已经过了一直在几个应用程序中,深度学习将伴随我们很长一段时间。要发展和化身本身远吗?绝对,它将与我们很长一段时间。警告是有人聪明,人背后的理论,可以获得更低成本solution-achieving相同的应用程序的性能,使用机器学习或深度学习将逐步淘汰生长速率深学习正如今天我们所知道的那样,用别的东西代替它。短,深度学习将部署,因为它已经足够好了。”

押注未来
在一天结束的时候,真正推动神经网络编程概念的全部数据,用这些数据是什么。

“有一个肮脏的小秘密,”库尔特·舒勒指出,负责营销的副总裁ArterisIP。“每个人都主要是针对汽车,因为人们会为此付出代价。半导体的原因,谷歌,和其他人都卷入这不仅是由于汽车市场,因为今天你会为此付出代价。因为同样的技术将进入广告当你走进购物中心(电影)的少数派报告。“你想买一些牙膏来让你的牙齿更白?的东西会无处不在,对于某些公司,如果他们不这样做,他们不仅拒之门外的汽车。他们锁定的未来。”

所有迹象指出神经网络存在相当长一段时间。特定技术泡沫表面为无处不在的方法将继续在学术界和工业。

有关的故事
加速神经网络
添加更多的维度创建更多的数据,所有这些都需要使用新的建筑方法处理。
卷积神经网络电力
采用机器学习方法的图像识别的生长;其他应用程序需要力量和性能改进。
伟大的机器学习竞赛
芯片产业复位技术开始成形;没有明显的赢家。
在人工智能和深度的学习
发生了什么在人工智能和今天的硬件跟上?
在神经形态计算
一般视觉首席执行官谈到为什么有兴趣重燃这样的技术和在未来将如何使用它。
神经形态芯片Biz升温
旧概念得到新的关注随着设备扩展变得更加困难。
五个问题:杰夫棺材
嵌入式视觉联盟的创始人兼总裁BDTI谈到的创建联盟和神经网络的出现。