大的变化在人工智能设计

半导体工程坐下来讨论人工智能及其与史蒂文哇,移动到边缘的企业解决方案副总裁技术和杰出的发明家Rambus;克丽丝阿迪,执行董事马克西姆集成;副总裁Steve罗迪手臂的产品学习小组;和Vinay Mehta推理技术营销经理Flex Logix。以下是摘录的谈话。

SE:人工智能,机器学习,深度学习——不管这片你想叫它——是出现在几乎所有的这些天。这是什么影响会对权力和性能?

吸引:我们看到一个扩张的派,所以市场变得更大。虽然很多工作已经完成数据中心在过去,我们看到一些搬出去的数据中心。显然,大量的推理会更多的向终点,但数据中心仍然是非常相关的。我们看到增加使用所有不同的领域——数据中心,边缘和端点。也许最有趣的部分是不同的排名需要的重要的在每一个地方。仍然有希望在数据中心做繁重的训练,但是一些边缘和端点。端点很重推理,显然发生了一些推论数据中心,太。用例显示混合和匹配,重使用的培训或推理,这取决于如果你在数据中心和端点。最重要的排名取决于如果你在数据中心,边缘或端点。

罗迪:我们也看到。数据科学家生活在数据中心。探索在网络架构,探索在自定义运营商——都将生活在数据中心,或许永远,只是因为你需要培训和再培训的能力。但随着部署增加边缘,发生两件事。是一个日益复杂的工具,无论是在训练工具集本身,如整个模型优化工具箱内部TensorFlow帮助准备模型部署在受约束的环境——来自硅供应商的工具,和手臂等IP供应商,帮助压缩和转换模型,这样你就不会运行相同的版本的模型在一个边缘环境中你会在数据中心。你也需要大量的降低复杂性的集群和修剪,也许一个数量级,几乎在精度。这是你可能不需要做的如果它运行在数据中心约为5秒一个推理,你只运行一天几百次。但当你决定把它在一个设备,很明显你需要更多的比,加上更有效硅和专用处理器的优势。在手臂,我们的业务许可处理器。我们有一整行转专业和嵌入式转专业,所以你看到双重攻击降低这种复杂性在边缘,使其工作10 x和减少网络的复杂性,并在硅的效率显著增加。数据科学家,当然,让它更复杂,提出新的算法和新的形状的新网络的复杂性。它只是一个永无止境的比赛更多的权力,更多的准确性和硅的能力。

“阿蒂”:作为一个实际的硅供应商,我看到一个西部的方法在什么人推出加速发生在边缘解决电源问题。有些人试图与他们做更多的事——他们TinyML, TensorFlow Lite运行一个简单的程序,简单的推断现有皮层M4Fs,例如。然后你有一大堆的初创公司,有自己的独特的硬件架构。有时是类固醇的DSP,有时这是从头开始。这将是战场上的所有这些不同的方法来获得更多的,或者给市场带来新的解决方案,可以推测在低功率和足够快是有用的。

罗迪:是的,我喜欢开玩笑说,机器学习是充分就业的行为为人们在硅和IP业务,因为它赋予更多的开发人员创建更多的独特的解决方案。你不需要嵌入式DSP的程序员。你只是训练数据集的云,然后工具有助于降低下来。有更多的计算周期。通常需要更多的计算周期与神经网络,而不是做一些与精雕细琢嵌入式C程序,但神经网络花费更少的时间来培养。你看到这个爆炸的机会——不同的应用程序,硅的不同的功能——和爆炸与许多类型的特质,着很多意义的解决方案对某些应用程序。

梅塔:当你在做这个培训,没有一个版本或者一组权重为单个模型,给你一个有用的应用程序。它被称为彩票的假设。训练模型和修剪时,研究人员发现,您可以使用相同的初始权值进行再培训,相同重量的修剪模型,并最终给你一个10倍减少。这些方法允许我们从数据中心到边缘移动。但是一样好,,很高兴当TensorFlow只是负责。很高兴当TensorFlow或工具箱从手臂或Nvidia是否适合你。有些人在他们的环境,他们包含操作。在数据中心中您可以开发一个模型,只会在某某的硬件上运行,而且只有在一种环境中运行这些利基应用程序。

SE:最有趣的努力你看到可以打破我们远离使用蛮力在加速吗?

吸引:为提高培训,一些有趣的突破——尽管这些年长转移学习之类的东西。你训练模型,就像一种语言,如果它是一个浪漫的语言你可以用它来训练另一个浪漫的语言,因为它有类似的结构。很多不同的例子存在转移学习使用。这是一个大突破。有很多工作在修剪,修剪等模型。如果你把一个模型和训练它全部连接,删除它,并把它修剪模型和转移的形式学习使用它,这就是现在的另一种方式,你可以得到双倍的收益因为部分训练网络知道如何做某事。你不需要做尽可能多的数学运算。很多精密工作一直做很有趣,。转移到bfloat16,然后使用更高的精确度,编号为积累而不是实际的Mac操作。这些都是非常大的事情,帮助推动事情的发展。在某些方面,谈话是民主化的人工智能的移动这个想法。有伟大的工具包,并且有好的技术现在工具包是采用,因此这一点小公司更容易不拥有尽可能多的基础设施建设取得重大进展等做一些培训和推理。这些都是一些大,我见过更有趣的事情。

罗迪:民主化是一个好的关键字,因为有更多的职业化和商业化的工具和技术来让更多的应用程序开发人员能够访问模型和个性化为一个特定的应用程序。这就是所谓的学习转移。如果你要部署一个相机在工厂自动化系统中,我们要认识到的事情在你工厂流或生产线。你不需要从一开始就和数据科学家和大规模数据集和训练和所做的一切网络体系结构研究。你意识到,‘哦,我只是需要一个模型,是由某人商业化生产系统。我只需要识别特定的对象,特殊的部件,我的特殊的组装线,甚至更容易部署不必雇佣一群数据科学家。”

吸引:过去当人们真的在这个东西,它几乎是一个需要理解数学背后发生了什么。但这些天,这些很好的工具包和TensorFlow——还有很多其他的新闻——你不需要了解数学。导致这个更大的民主化的技术。

“阿蒂”:我们让我们的手在大学和研究公司在我们所认为的圣杯,也就是把数据集在一个程序将搜索程序空间和给你最好的优化的神经网络。所有的硅供应商有一个挑战当我们描述的功能部分。我们不知道,因为这取决于你的网络优化,您可以运行你的神经网络加速器完整,试图识别10个关键字,或者你可以真正的优化运行模型,观察VGA图像两次或做更复杂的东西。所以对架构搜索工具我们看到市场上一些有趣的事情。不幸的是,其中一个是吞并后一些不错的进步。一些大学的研究很有趣。但是我们都在等待那一刻,程序可以计算出计划,然后开发人员不再需要。那么人工智能真的接管。

罗迪:是的,你真的看到,在发表论文之类的NeurIPS会议,在前几年,四五年前,这将是一个新的操作符,一个新的网络拓扑,几个百分点的改善准确性。现在是更多关于自动化技术,神经结构搜索。它真的是超级模型搜索所有可能的组合,它是一个智能技术不需要做一个详尽的搜索和尝试找到合适的数据集。一系列爆炸功能将帮助推动效率边缘的东西,因为如果你能找到一个拓扑结构固有的两倍效率被认为是最好的,你可以得到2 x或增加电池寿命性能。

请继续关注第2部分

相关的
赢家和输家的边缘
没有公司拥有这个市场,不会很长时间。
在建筑智能化系统的挑战
专家在餐桌上:看看今天的智能设备,以及需要如何演变。
人工智能系统的内存访问
记忆的选择如何影响能力和性能。