中文 英语

卷积神经网络动力前进

采用这种机器学习方法的图像识别增长;其他应用程序需要改进电源和性能。

受欢迎程度

虽然这个术语可能不会立即被识别出来,但卷积神经网络(cnn)已经成为我们日常生活的一部分,而且预计在不久的将来会变得更加重要。

卷积神经网络是一种以大脑视觉皮层区分一个物体和另一个物体的方式为模型的机器学习。这有助于解释为什么今天最常见的用途是图像识别,这是今天这个市场获得真正吸引力的地方。但它也有许多潜在的用途,远远超出图像识别,因为它降低了功耗,提高了性能。

“像Facebook、雅虎或谷歌这样的网站试图在人们上传的所有图片中找到你的工作,在很大程度上已经用神经网络完成了,”谷歌的首席技术官德鲁·温加德(Drew Wingard)说超音速他指出,驾驶辅助也使用类似的技术。“识别人行横道上的人或你即将撞到的路灯柱——这是同样的事情。总的来说,计算机视觉是一个巨大的领域,这也是一些最令人印象深刻的结果,因为在这个领域人们已经做了大量的工作。在计算机视觉方面,有很多工作都在尝试提出传统的算法来尝试进行计算机视觉,人们开始将cnn应用于这些计算机视觉问题。他们用更少的努力获得了更好的结果,这改变了cnn的观点。突然间,它们看起来像是一种解决这些问题的实用方法,而以前它们从来没有这样做过。他们总是在寻找问题的解决方案。”

那么这项技术还能做什么呢?Mike Thompson, DesignWare ARC处理器公司的产品营销高级经理Synopsys对此他说,该公司正在寻求能够推动CNN技术在市场上得到更广泛的应用。关键的障碍是在保持性能水平目标的同时显著降低功耗。这适用于视觉,特别是汽车领域,以及监控、一般物体检测和增强现实。

对于试图为高强度计算活动选择正确处理器的工程团队来说,在不牺牲性能或功耗的情况下保持所需的功能是最重要的。这就是cnn的亮点所在。

史蒂夫·罗迪,IP集团的高级产品线集团总监节奏在过去一年左右的时间里,美国见证了cnn的迅速发展和爆发——而且它们似乎具有显著的持久力。

Synopsys公司嵌入式视觉子系统研发总监皮埃尔·波林(Pierre Paulin)也认为cnn正处于急剧上升的轨道上。他说,两年前与他交谈的客户中有一半都在询问cnn,但现在这个数字接近95%。“在汽车领域,这是相对较新的,但一些关键公司已经在这个领域进行了投资,并用它生产产品,我们看到这在汽车领域确实正在发生。cnn如此受欢迎的另一个关键方面是,你可以训练它们做任何事情。在过去,你必须为行人或四辆车做特殊用途的特征检测,每个人都开发了自己的特征检测,这是习惯。”

CNN是什么?
罗迪将CNN定义为“结构化的蛮力猜测”。’”人们一直说,如果你有100万只猴子,100万台打字机,100万年,你就能写出莎士比亚的作品。就像这样。”

cnn并不新鲜。第一个神经网络计算产品出现在30年前晶片机以及其他一些收缩阵列的东西,Roddy指出。“人们说我们将在短短几年内复制人类大脑。当然,这并没有发生。它消失了,在某种意义上又回来了。现实情况是,你拥有如此强大的计算能力。”

他解释说,cnn有一个训练和部署的概念,这是两个非常不同的步骤。“部署是很明显的,比如当你有一个特定的网络时,一系列的计算,基本上都是过滤和抽取数据。例如,你拿一张3000万像素的巨大图像,销毁所有数据,得到答案为1或0,一个是,“是的,我认得它,它是猫的脸,”或者“不,它不是。”在计算上,这都是重型DSP。这是一个非常受计算限制的DSP,所以就爆炸而言,它正合我们的胃口——比计算多两个数量级。人们需要以节能的方式来做这件事。但真正让它成为可能的是,你现在有了亚马逊网络服务和庞大的百万处理器数据中心。”

CNN所遵循的基本模型是神经系统模型。

“如果你有100万只猴子,100万台打字机,再过100万年,你就能写出莎士比亚的作品。”

温加德解释说:“它有两个有趣的特点:大规模并行和高度连接,但大多数连接都没有被使用。”“可能使用的突触数量是有限的,但学习算法已经建立了一组权重,可能附着在给定神经元上的突触数量基本上是无限的。但是你给突触上每个信号的权重是高度可变的,一旦你太接近于零,突触就不会对神经元的行为有太大的改变。这就是它有趣的地方。如果你将它与其他大规模并行的东西进行比较——矩阵乘法之类的,所有东西都将与其他东西相乘——你可以构建这些有效使用的数组。但在CNN的背景下,它不是这样的,因为很多系数都是零。建立足够的沟通来进行所有无用的沟通并不是很好。从架构的角度来看,尝试确定什么是最好的方式,什么是最好的硬件架构来映射这个概念是很有趣的。”

为什么是现在?
工程团队永远都在寻求为他们的用例选择正确的处理器,在不影响性能或功耗的情况下保持功能是至关重要的。cnn符合这个要求,而且更容易使用。

罗迪说:“cnn正蓬勃发展的原因是,它们有效地表明,你不需要编写程序就能进行复杂的模式识别。”“挑战在于高端模式分析识别——无论是在布鲁塞尔所有地铁摄像头上搜索某一张特定的脸,还是在你走到前门时验证你的脸,然后自动为你开门。或者,你车上的四个摄像头以每小时70英里的速度在高速公路上行驶,以每秒60帧的速度拍摄高分辨率视频,试图找出其他车辆的位置,车道的位置,以及速度标志的内容。这是一个巨大的计算量,但是同时具备图像科学背景和出色的嵌入式编程技能的人并不多。为了解决像汽车上的ADAS这样的问题——我想在高速公路上飞驰,识别交通标志,并以一种有效的方式做到这一点——你必须找到有图像科学背景的人。这是维恩图的一部分。其他重叠的部分是拥有良好的嵌入式GPU或DSP编码技能的人。你要找的是这两者的重叠部分。它不是很大。”

他指出,培训方面并不一定涉及编写任何代码。所以你可以用一组已知的数据标记数据——100万张街道标志的图片,100万张猫的图片和100万张狗的图片,100万张乳房x线照片,你标记哪些是癌症,哪些不是。“从本质上讲,你启动其中一个数据中心,这些培训程序启动许多候选潜在目标,并一次猜测几个小时。然后你意识到,这个随机生成的计算集,比任何人手写的任何东西都要多100次计算密集型,碰巧在乳房x光检查中识别癌症方面比最好的25年训练的放射科医生做得更好。这基本上绕过了没有足够多的程序员在领域成像或股票交易模式和计算机技能之间具有重叠技能集的整个瓶颈。你给它数据,告诉它结果,让它找到模式。你可以将数据的所有者从需要知道如何编程和编码中解放出来。对于那些体积巨大的东西,比如可以看到周围的手机,可以看到周围的汽车,让这些东西运转所需的马力是巨大的。”

这也可以用于分析从股票交易模式到销售汽车的大数据分析,再到谷歌眼镜的自动翻译。它的第一个也是最明显的应用是视觉识别。

例如,来自汽车行业的规格指出,计算倾向于8位甚至6位,因为数据一直在被破坏。

“你正在拍摄高分辨率的图像,你要做的第一件事就是开始快速地扔掉数据,以便能够快速得出答案:奶奶是在人行道上,还是不在人行横道上?”罗迪说。“是还是不是?”在可预见的未来(即两到四年),实现这些cnn的计算需求几乎是无限的。这就像一场淘金热,GPU人员或DSP人员甚至CPU人员能够在一个问题上投入更多的马力,因为突然之间,对于如此多的问题,一个解决方案是可以达到的。实际上,你可以考虑安装5个摄像头,不断监视汽车周围,寻找威胁。”

这可以用于分析从股票交易模式到销售汽车的大数据分析,再到谷歌眼镜的自动翻译。

从电源的角度来看,这意味着即使使用最新最好的gpu技术(运行功率约为270瓦),在混合动力汽车中运行ADAS应用程序也需要专门的硬件来实现。在这个用例中,270瓦是不可接受的。他说:“我们正在与DSP厂商、GPU厂商和其他厂商竞争如何将270瓦的功率降至2.7瓦,因为几瓦的功率很容易部署。”

随着研究人员对cnn实际工作原理的了解越来越多,算法也在不断进化,在将循环次数减少一半的同时,将精度保持在1%以内。突破性进展每季度报告一次,有时是每月报告一次。

温加德指出,如果它是大规模并行的,就有很多方法来解决这些问题。“你需要一如既往地小心计算和通信之间的比例。它相对适合于局部计算和相对可控的距离通信,所以从功率的角度来看这是很好的,但你谈论的是做很多很多的操作,它快速的原因是因为它们可以并行完成,但无论你如何分割,你都要做很多工作,所以你不得不担心它。这意味着你选择的架构很重要。”

Synopsys的汤普森说:“考虑到处理所需的处理,对于这类应用来说,如果你考虑用GPU来做这件事,你就会谈论功率,对于很多应用来说,这是不可忍受的,所以我们构建了一个带有完全可编程的专用CNN引擎的IP。它的美妙之处在于,它允许我们用一种结构来实现CNN,这种结构在功耗上与普通硬件非常接近,但它是完全可编程的,可以用于更广泛的范围。

架构问题
对于处理器来说,很多问题都归结于架构。对于cnn来说,也是一样的。温加德说,cnn从许多有利的角度来看待它。“有一个网络的创建,这是一个训练过程,你试图弄清楚与所有突触相关的系数。这意味着您不知道有多少连接正在被使用。因此,你可能想要使用的架构可能与你在训练神经网络后使用的架构不同,你只是试图在训练过的网络上运行大量图像。”

他说,目前后期培训的主要方法是使用gpu阵列。“出于合理合理的原因,gpu拥有非常强大的内部通信路径,显然它们已经成为非常大规模的并行单元,这些单元擅长做算术。因此,一旦网络经过训练,这是一个非常好的匹配。”

培训过程为新架构提供了很多机会。温嘉德补充说,有一个有趣的问题是,这种训练是否会经常进行,使其成为一个非常关键的阶段。“现在,人们使用传统的计算机来完成大部分工作,这比他们有一些专门的架构花费的时间要长得多,但他们不会经常这样做,因为他们可能需要。现在我们进入真正的应用问题,即我们多久需要再培训一次,是什么情况导致我们再培训,以及大脑模型是什么。我们愿意认为我们的大脑一直在学习,一直在训练。”

使用cnn进行学习正在发生,而且还在继续,所以今天的解决方案可能在一年内很快就会过时。这就是为什么今天的供应商正在采用可编程方法,相信在未来会有更多的关注。

资源
嵌入式神经网络峰会

有关的故事
《人工智能与深度学习
《神经形态计算内幕
神经形态芯片业务升温
五个问题:杰夫·比尔



留下回复


(注:此名称将公开显示)

Baidu