架构设计的人工智能

半导体工程坐下来谈论今天所需要的使人工智能训练和推论Manoj Roge,战略规划的副总裁Achronix;泰Garibay,首席技术官Arteris IP;首席执行官克里斯再生草Babblelabs;大卫白色,杰出的工程师节奏;成王、高级工程副总裁Flex Logix;和Raik Brinkmann,总裁兼首席执行官OneSpin。以下是摘录的谈话。

唐森:Manoj Roge,泰Garibay,克里斯再生草,大卫白色,成王,Raik Brinkmann

SE:我们如何得到AI尽快投入使用?显然推论是一个巨大的一部分。了解它的最好方式是什么?

再生草:相关的事情了解的基本思想深度学习或神经网络是,你有一个大、可训练的一些隐藏的数学模型系统和编程复杂函数的行为,而是你的行为训练这个复杂的函数通过提供大量的例子。典型的数以百万计的例子为大量输入。正确的答案是什么?这个函数应该的行为方式是什么?深度学习自动训练函数的机制,使它成为一个非常有效的模仿,不管它是什么你想模型:人类的大脑,物理学的行为,不管它是什么。有两个不同的维度,这种事在现实使用。

首先是培训过程迭代和详尽保持暴露这个网络的输入,逐步发展数学函数,让它尽可能匹配。,通常是一个非常计算密集型任务。它需要重型计算在大多数情况下。今天是经常做的云,它经常在gpu上完成,因为软件的那里和计算资源。但当你把它去上班,你不需要迭代训练它,你只是评估函数。所以你只提供输入,其已经训练,和它产生的最佳逼近正确答案。这是确定的。这是一个计算函数,它实际上是在概念上很简单。通常是一种繁殖的夹心蛋糕,并增加了和非线性函数和你经历层层,但它是非常确定的。概念上很简单,计算困难,但现在,您可以运行在很多不同种类的硬件实时虽然正在取得巨大的进步在硬件使它更快和更低的权力和更便宜。

Garibay:这是关键。我们这里谈论的是推理的快速进化硬件而言,最关键的是,减少能耗,鉴于很多推理,推理急剧增长的真正的机会是在边缘的电池约束或热信封的限制,大部分的限制部署推理几十亿的边缘在功率效率。

白色的:我一直在AI /机器学习空间的自90年代初以来有一个巨大的墓地的产品人们试图应用机器学习和人工智能,墓地是一个诅咒,因为它很容易想出一个好主意,和一个算法,创造凉爽的原型。然后这之间的巨大鸿沟和可伸缩的部署产品的使用机器学习。至少我的观察,巨大的鸿沟的原因之一,有一个鸿沟你买的一切,特别是在机器学习和人工智能,这是因为很多解决方案是很确定的,我认为成功的关键是能够建立在灵活性和适应性和学习这些方法。如果你用的例子物联网,我和物联网供应商交谈,他们可以使物联网传感器完全在一个实验室工作。但你带他们走出实验室,把它们放在一个工厂在菲律宾和所有这些不可预见的环境条件影响那些他们从未真正设想的传感器。所以,一般来说,建筑的灵活性,适应性为这些系统是机器学习和深度学习有很多问题。与此同时,我们必须超越那种认为学习是确定性的我们如何构建实时学习和自适应系统。我认为这是真正的关键部分能够更好的桥梁这一差距。

王:你是说训练同时进行推理,因为推理的性质是一种非确定性的结果?培训,另一方面,是非常复杂的。

Garibay的一件事我想要发生的是我们能够优化训练,在某种程度上,在现场。有算法所做的工作如何我做基本级别的培训,然后添加无需重做这一切。

王:如果你错了,如何正确和增加培训?

白色的:有两种不同的方式去做。有些人会做一个本地校准或再培训现场环境条件,但工厂的条件,例如,总是会发生变化。所以我看到更大的建筑系统,承诺可以扩大适应。

SE:这些算法应该运行吗?边缘,或云?

Roge:第一,已经说了,有两个组件,培训和推理。然后你要添加另一个维度,在云中你做它,你会得到更多的计算能力,或者做你边上吗?对于边缘,必须有两个标准为什么你想在边缘。一个是可用性的网络带宽,第二,是实时的方面。像在自主驾驶,你等不及了。你必须实时交通状况;甚至几分之一秒可能导致事故所以即使培训需要发生在边缘。另一个很好的例子是工厂。所有这些关键任务系统必须训练有素的边缘。我们看它的方式,我们将进入架构,将使用情况下你需要做培训的优势进入精度要求,等等。 You may not need a double precision floating point and things like that, whereas for a lot of complex in the cloud, you may need that kind of precision, and GPUs are good at it.

今天的风景是gpu主要用于培训,和cpu推理在云中,但会改变,我们会进入下一个话题,它是架构,和你需要的推理。

Brinkmann:你提到了推理的选择之间的边缘或在云中。我想添加一个向量,你需要考虑你为什么执行推理边缘是隐私和安全。它实际上是一个大问题,数据树叶前提和通过各种渠道进入其他前提。你可能想保持原始数据本地出于这个原因,不仅仅是因为带宽限制或延迟,这是一个大问题。也是数据的隐私和安全这是主要的问题在某些应用程序中,一个更有理由也许看边缘。

Garibay:这绝对是在波计算营销案例为我们的朋友。如果需要,我们将会看到。

再生草:还有基本带宽的原因,和成本的原因,特别是当你看高数据速率传感器和相机是高数据率的典范。你根本无法想象这个世界200亿年的CMOS传感器都要发送数据到云上。你做算术,不管是网络带宽还是云存储和云计算,你肯定得到错误的答案。所以很显然的原因:延迟、隐私、安全、成本、过程的力量,至少部分,事实上大部分的计算周期必须接近这些高数据率的边缘设备。如果你有一个温度计每分钟生产一个字节,没关系,你去做。但当你谈论视频处理,一定程度上音频,你有一个有一个整体的重力拉回到边缘。

Roge:我只是想给一些数据点,克里斯。将会有30至500亿到2020年连接设备。今天,不到百分之一的数据进行了分析,这些连接设备喷涌而出。会有大量的数据;它每两年翻一番;它不是经济寄给云处理当处理器的优势。

Brinkmann:一个有趣的趋势,我想添加这个推理方面是你看到推理上执行相同的数据以不同的方式。如果你要作为一个例子,如果你有一个特定的传感器,以防止有人闯入你的房子或一种传感器,应该认识到特定的人,你不想跑的推理算法识别一个特定的人,对权力的原因,例如。那么你将会是一个相机图像传感器和分析数据,看是否有任何运动;这是一个非常简单的事情。一旦这是真的,你开始下一个算法:其实有一个人,也许是另一个算法密集型比第一个要更强大。一旦你看到有人,你运行人脸识别,这是一个更多的计算密集型和权力集中,但如果你层,你可以在电池运行这样的东西很长一段时间,因为你不经常运行很重影响算法;你层,这是一个有趣的方法,你可以把这个人工智能计算边缘真的可以部署在技术设备上的东西。有很多十亿连接设备,你有权力,所以我无法想象在2000万年或200亿年电线将世界各地的修补这些小物联网设备;他们中的大多数将电池供电的,这就是你想出各种解决方案说,好的,我们如何延长电池寿命的一生从几天到几周5或10年。

SE:这涉及到体系结构。将需要有特定的架构选择根据一个算法处理?选择是什么?最好的方法是什么架构的方法吗?

再生草:我有一种模型,它构建Raik究竟是什么说,我所说的认知层次,其实说底部,你想要尽可能简单的处理因为总是在它的一部分。然后,如果发现感兴趣的东西,感兴趣的东西可能是简单的运动,它升级到下一个水平可能是另一个进程或另一个处理器在同一芯片有一个更复杂的过程,每一点的数据进入消耗更多的能量,但它叫做少得多。它加工水平,因此,即使在今天,你可能有三个或四个级别的这种过程。金字塔的顶端很可能住在云,因为如果是人脸识别,你只确认如果是真的脸也许一天两次,甚至你的电池供电的设备可以承受实际上与外面的世界交流一天两次,这样你可以有你想要的目标就是一个系统,表现一样聪明聪明的元素,和消散能力最小的元素,希望不是。

我认为这是你思考建筑的自然的方式。然后你进入的细节,对于你给定的算法,这些层可以识别和你有多痴迷权力呢?因为很明显今天分层系统比单片系统更复杂的设计。,所以如果你真的把信封放在了智力或能力,你会倾向于采取特殊行动,特别是如果你想节省电力或成本优势,构建层次结构我认为这项投资是要偿还,你会看到更多。

白色的:克里斯的观点,最具价值的数据会让云。

Garibay:从层次结构的角度来看,有一个层次结构的数据。智慧的一部分,其中一个原因,英特尔收购Mobileye Mobileye是能够收集大量的驾驶数据给他们安装基础,但他们怎么知道哪些数据是值得挽救吗?特斯拉是一样的问题。必须有足够的处理那辆车边说,“噢,那很有趣。让我们寄回总部,因为你不能倾倒整个数据集了有层次的数据——非常高的带宽,接近传感器,过程,过程,过程中,然后在每一层,变得越来越低带宽,然后做出选择,高带宽这个或那个的信息的例子,出于某种原因,这条边设备决定可能有用的时间。现在的数据中心,云可能会决定,“我以前见过。我不需要它。但边缘设备将做出自己的选择,努力优化其使用当地的带宽。

有关的故事
安全漏洞在机器学习和人工智能
机器学习的主要目的是使用机器训练其他机器。但是如果有恶意软件或其他的训练数据的缺陷?
IBM AI在不同的方向
人工智能和深度学习是好,他们不适合,为什么精度有时不利于这些系统。
机器学习应用到芯片
目标是提高质量,同时减少收入,但这并不总是那么清楚。