神经网络计算爆炸

神经网络并行处理先进开始生根的许多市场从预测地震和飓风解析核磁共振图像数据集,以识别和分类肿瘤。

随着这种方法中实现更多的地方,这是定制和解析的方式,许多专家从来没有设想。而且驾驶新研究如何可以应用这些计算架构。

Fjodor van Veen,深度学习阿西莫夫研究所研究员在荷兰,已经确定了27个不同的神经网络结构类型。(参见下面的图1)。主要是特定于应用程序的区别。

图1:神经网络架构。来源:阿西莫夫研究所

神经网络是基于的概念阈值逻辑算法,首次提出在1943年由沃伦·麦克洛克、神经生理学,沃尔特·皮特,逻辑学家。研究进程在接下来的70年里,但后来它真的开始飙升。

“宇宙大爆炸发生在2012 - 2013年两个里程碑式的论文发表时,都使用gpu,”罗伊·金说,Nvidia的加速计算组产品团队领导。其中一个文件是由杰弗里•辛顿和他的团队从多伦多大学的(现在在谷歌还半场),名为“ImageNet与深卷积神经网络分类”。然后在2013年,来自斯坦福大学的Andrew Ng(现在也百度首席科学家)和他的研究小组发表了“与COTS HPC系统深度学习。”

Nvidia很早就认识到,深层神经网络是人工智能(AI)的革命的基础,开始投资的方式将gpu带入这个世界。金指出,卷积神经网络、复发性神经网络短期和长期记忆(LSTM)网络,其中,每个旨在解决一个特定问题,如图像识别、语音或语言翻译。他指出,英伟达招聘硬件和软件工程师在所有这些领域中。

今年6月,与一个大新闻,谷歌了在半导体神经网络军备竞赛。谷歌专有硬件工程师规范Jouppi,公布细节公司耗时数年的努力,张量处理器单元(TPU),一个ASIC实现神经网络的组件硅作为反对使用原始硅计算能力和内存银行和软件最重要的是,这是,谷歌也。

TensorFlow TPU优化,谷歌的软件库使用数据流图进行数值计算。它已经运行在谷歌数据中心一年多。

不仅仅是建立玩家争夺的一块市场,。初创企业Knupath和Nervana加入追求与神经网络工程师的晶体管。英特尔为Nervana上个月支付了4.08亿美元。

硅“引擎”,Nervana发展是由于在2017年的某个时间。Nervana暗示放弃内存缓存,因为它有8 Tb /第二内存访问速度。但事实上,Nervana始建与2014年600000美元的种子资金和卖了近680倍,投资两年后,证明了多么严重的行业和金融家太空这个市场有多热。

市场驱动
汽车是这项技术的核心应用程序,特别是对于ADAS。“关键是,你必须决定什么是图像,得到卷积神经网络算法,”查理Janac说,董事长兼首席执行官Arteris。“有两种方法。一个是GPU。另一个是ASIC,最终获胜,耗能更低。但是一个很好的实现硬件和软件紧密耦合的系统。”

紧密耦合系统的到达这一点,不过,取决于一个深刻的理解到底是什么问题需要解决。

“我们必须发展不同的选择对于技术,”玛丽Semeria说,公司的首席执行官Leti。“这是全新的。首先,我们必须考虑使用。这是一个完全不同的方式驾驶技术。这是一个神经形态技术推动。你需要什么?然后,根据您开发一个解决方案。”

这个解决方案可以非常快。,一个节奏顾问说,这些系统可以每秒数以万亿计的操作运行。但并不是所有的这些操作是完全准确的,而且必须是内置在系统,。

“你必须采用统计测量管理的正确性,“再生草说。“你是使用更多的高度并行架构。”

什么是最重要的?
不过,比较这些系统并不容易。在讨论Google TPU, Jouppi强调团队的方法之一世界各地的研究人员和工程师可以基准他们的工作和他们使用的硬件和软件的性能:ImageNet。ImageNet是一家集1400万大学的研究人员保持独立的图像,它允许工程团队时间速度系统找到对象和分类(通常的一个子集)。

本月晚些时候的结果ImageNet大规模视觉识别的挑战(ILSVRC) 2016年将被释放,作为共存的一部分欧洲计算机视觉(大会)发生在阿姆斯特丹。

所有的球员将这里所讨论的,包括Nvidia,百度、谷歌和英特尔。高通也会有,因为它开始关键的软件库,Nvidia已经。Nvidia将展示其DGX-1深度学习用具和杰森嵌入式平台,针对视频分析和机器学习。

阿诺德Smeulders Gevers西奥,一般的2016年大会主席,告诉半导体工程的许多与会者大会工作领域的半导体技术(相对于硅)上运行的软件,使计算机视觉。

“最近,半导体技术强国已经开发出计算视觉感兴趣,”他们说,通过电子邮件。“现在,电脑可以了解什么类型的事情和类型的场景出现在一个图像。这需要一个描述图像的特征和机器学习从注释的例子。在过去的五年里,这些算法增加了极大的力量使用深度学习架构。计算密集型,芯片制造商包括高通、华为、三星、英特尔以及AI-firms如苹果、谷歌、亚马逊、和大量的高科技初创企业输入计算机视觉的阶段。”

Smeulders Gevers说兴趣已发展到这样的高度,会场达到最大容量在登记前一个月将结束。

大会的先前版本增加了每年约有100人参加在很长一段,截至1200年与前版在苏黎世。“今年,我们已经达到1500与会者会议之前的一个月。在这一点上我们不得不关闭注册建筑雇佣,荷兰的皇家剧院,不能持有更多的轻松,”他们写道。

行业这个复杂和不断变化的,它是具有挑战性的工程经理找到必要的技能。,这也引发了人们对电气工程和计算机科学学生学习他们的课程是否会被淘汰之前,他们可以在市场上应用它们。那么可能学生对电子产品感兴趣,特别是半导体作用在计算机视觉中,领域找到一份工作?

“作为图像识别的很多数据每30分之一,只有自然,有半导体行业的关注,“Smeulders和Gevers说。“由于大量的数据,直到最近,注意力局限于处理图像产生另一个图像(更明显,更强调元素图像)或减少图像(一个目标区域,或一个压缩的版本)。这是图像处理领域:图像,图像。但最近,计算机视觉领域,解释什么是可见的形象经历了一个富有成效的时期。理解图像的本质,正在形成和深层网络有被分析的方式,是现代计算机视觉的关键部件,”他们写道。

随机信号处理、机器学习和计算机视觉领域的学习和培训。

大会的亚洲是亚洲闭路。在奇数年,国际闭路举行。Smeulders Gevers指出,计算机视觉和模式识别会议,每年夏天在美国举行,补充了闭路但有一个略微不同的重点。谷歌认为,在前100名的来源研究在所有学科进行审查,唯一的会议列表中。论文定于7月11月15日的会议在火奴鲁鲁。

Nvidia的金和其他人认为2012年至2013年是一个“大爆炸”为gpu在这些神经网络应用程序利用计算机视觉任务。下一个大爆炸是什么?

“自2004年的种族分类的图像内容重新开始,几个算法的步骤已经铺平了道路,”Smeulders和Gevers写道。“一个是SIFT-feature尺度不变特征变换。另一袋的单词和其他编码方案,和特征定位算法以及特征学习大量的图像数据集。然后gpu铺平了道路使用深度学习网络进一步提高性能,因为他们有加快学习的数据集。这意味着任务要求周现在可以在一夜之间运行。下一个大爆炸将再次在算法方面。”

考虑到大量的资金涌入这个市场,毫无疑问,一些大的领先。有多大还有待观察,但鉴于活动在这个方法的数量和投资涌入,期望非常高。

有关的故事
卷积神经网络电力
采用机器学习方法的图像识别的生长;其他应用程序需要力量和性能改进。
在人工智能和深度的学习
发生了什么在人工智能和今天的硬件跟上?
在神经形态计算
一般视觉首席执行官谈到为什么有兴趣重燃这样的技术和在未来将如何使用它。
神经形态芯片Biz升温
旧概念得到新的关注随着设备扩展变得更加困难。
五个问题:杰夫棺材
嵌入式视觉联盟的创始人兼总裁BDTI谈到的创建联盟和神经网络的出现。