工具来设计有线电视新闻网

如果神经网络比CPU架构简单,创建它们为什么这么困难?

受欢迎程度

卷积神经网络正成为中流砥柱在机器学习和人工智能,允许一个分布式传感器网络收集数据,然后将它们发送到中央大脑进行处理。

这是一个相对简单的想法相比,今天的技术,和的想法卷积神经网络已经有一段时间了。但构建成硬件和软件被证明是相当艰巨,所在系统的复杂性。

“几乎每一家公司正在it-Google、英特尔、高通、晶格半导体、英伟达,”诺曼Chang说,首席技术专家半导体业务单元有限元分析软件。“在做建筑方面,它比一个简单的CPU。所以卷积网络芯片的设计我不认为是更复杂的。”

这些设计也可以利用标准工具RTL上下来。但有一个心态变化需要使所有的工作。神经网络能很高程度的并行性,使用非常广泛的数据路径或非常大量的核心并行操作。

“你谈论一些大数量的一切的宽度或功能的复制,”Chris再生草说的首席执行官Cognite合资企业。“因此,能力的工具和能力来处理非常宽的数据路径和很长的电线有点强调在这种情况下。”

因为工程团队希望过程可移植性,以及区域和权力之间做出权衡和时钟频率以同样的方式,他们在其他类型的高性能的逻辑设计,主流数字图书馆,合成,place-and-route和仿真工具直接相关和使用非常严重。

”,它开始看不同的是当你在移动堆栈和问如何计划这个,“再生草解释道。“我如何思考原型运行的应用程序吗?这就是编程模型神经网络和其他种类的差异计算元素开始真的会变得相当大。”

真正的深度学习应用程序的本质是体现在它的数据集,用于训练网络。这个创意部分定义了系统的功能,但不是写在一块C代码或Matlab代码或任何其他传统的编程语言。相反,它是写在数据集。

“实际结构的神经网络评估可以捕捉到一块C代码或Python代码或Matlab代码或者张量流的代码,但这只是真正的表示一个相当简单的通用结构,一直训练,“再生草说。“这是一种骨架的肉和其他数据应用的培训。应用程序的性质和编程的意义是非常不同的在这些神经网络应用程序的上下文中。所以它是不受传统编程技术,不是把熬夜的人,提出了一种新的算法体现在一块c,更多的是利用一个新的数据源,允许他们训练在一个非常不同的方式。”

沉着的Hijazi高级工程设计架构师在IP组节奏说,在不久的将来,CNN技术正确地传播,有两个产品需要,将进入市场。

首先,新硬件架构是必要的。这些将显示芯片和IP,并将成为可用的芯片和系统设计师。第二,增强工具还在进行中,使cnn,让网络的优化设计从权力的角度为power-conscious自动化网络设计的应用程序。

“张流动和咖啡馆的世界需要进化或者是为了增强的架构在设计过程中要注意的问题,”他解释道。”有重要的关于这一主题的研究,这是今天做的基础技术和科学。是什么意思设计power-conscious CNN或深度学习算法为特定应用程序?有两个概念是被剥削和分析。一个是消除冗余。第二个是稀疏的设计。这些是人们试图实现两个主要线程或注入到设计过程,以确保模型一样简洁而有限的,因为他们可以。中需要自动化的概念设计工具的电力参数变成一个网络设计过程中优化维度。在未来两年内,我们将开始看到这些工具逐渐进入市场。”

再生草指出的各种工具在更高的层次上是不同的,所以在很多方面编程被训练。“因此,训练工具取代编程工具和数据管理取代软件管理。考虑验证,它实际上很容易获得正确的硬件。但是现在系统的正确性与硬件的正确性,甚至程序的正确性和更多的充足率和用于训练数据集的正确性。过去如果一个缺陷被发现在某些嵌入式系统使用传统的编程方法会有一些软件的家伙撞到跟他的手他的额头,说,“哦,我倒没有想到这个。现在会有一些数据经理击中他的手掌,他的额头说,“呃,我的数据集没有任何这种情况的例子。所以偏执的验证不会消失。它转移到一个新的地方。”

此外,所以很少有来源可能来自于EDA工具的用户可能习惯了,考虑到不同的组织有不同的方法包括技术训练的或岗位培训,是否Hijazi说。这方面的一个例子是量子化的,可包括从浮点转换网络定点。“这是一个现在在讨论的话题。工业和学术界都聚集在这是一个好主意,因为深度学习不需要浮点。然而,所有的框架都是浮点设计网络,和量化投资发生在网络设计。时至今日,做适当的量化是一个有争议的话题,并没有特定的工具可以将浮点数转换为固定的行业。”

下一步将培训量子化的格式,甚至目前欠发达,他说。

然而,在消除冗余的面积,技术更加成熟。消除冗余的概念设计是网络和池确保每一层的网络层是尽可能小,并没有冗余,这样两个过滤器不做同样的工作。“思想是显而易见的。但是如何增强现有的框架来支持软件架构的主题不容易回答。没有一个答案。它可以作为一个框架设计工具本身的一部分,或者它可以在上面一层。都是同样有效的选项,“Hijazi补充道。

其他工具公司目前采取的方法使用压缩和修剪技术在现有开发工具和硬件以减少带宽和计算,指出戈登•库柏产品营销经理Synopsys对此的嵌入式视觉处理器。

对于这些硬件提供商,工具很容易成功的一半,他说。“一半我们的研发人员都集中在工具方面,不仅仅是研发方面,因为你必须有工具容易使用和有效且高效。在一天结束的时候它是一个移动的目标,是一个有趣的挑战。我们在第三代cnn因为行业也在向更高的分辨率,和工具变得越来越重要,因为我们前进。”

同时,CNN设计说明硬件和软件设计师之间的巨大鸿沟,据兰迪·艾伦,高级研究主任导师,西门子业务。“我是一个奇怪的世界上,因为我已经做了一些。我的论文是第一个1983年的关于如何做矩阵乘法。但是我也做风投。所以我做了硬件方面的东西,。作为一般规则,有一个巨大的鸿沟,很难桥,这是遇到的一件事。”

有工具来帮助与权力的挑战将会特别有用。“如果你观察使用GPU这种类型的东西,你有大量的计算能力。如果你能判断矩阵的大小,你工作和需要的东西,你可以关闭部分的GPU,分配的权力或做正确的资源分配,”艾伦说。“分割矩阵的方式优化权力是你可以做的事情。例如,如果你正在做一个1000 x 1000矩阵乘法和你有一个128 -处理器GPU,它不会过分64的过程,让他们工作。你可以做的另一个问题与其他64或64门。会的类型,你可以做的事情在这类型的东西。”

虽然不是完全难以想象的一些行业标准的方法,不过更有可能的是,创业公司将给市场带来解决方案。

“可能会发生什么是启动公司将出现并建立合适的工具,帮助分东西,”艾伦说。“那么它将去那个方向。我说启动公司的一部分原因是因为EDA公司或硬件公司真的没有足够的知识和了解应用程序的运行方式能够上来做类似的东西。和应用程序的人真的没有足够的了解电力或电力的问题甚至是一个问题来关注它。这可能会有人跨越两个时,提出了一些。”



2的评论

安Steffora Mutschler 说:

你好,谢谢你的评论。请直接给我发邮件(电子邮件保护)

mita56 说:

完美的安。谢谢你的回应。我将会下降你的电子邮件和建立一个快速和主席聊天。

留下一个回复


(注意:这个名字会显示公开)

Baidu