IBM AI在不同的方向

杰夫六须鲇,副总裁兼实验室主任IBM与半导体工程研究阿尔马登,坐下来,讨论在人工智能的改变和挑战仍然存在。以下是摘录的谈话。

SE:改变在人工智能是什么?为什么?

六须鲇:最有趣的事情人工智能现在 是,我们已经从狭窄的人工智能,我们证明你可以使用一个深度学习神经网络很好的图像识别或自然语言processing-basically点任务竞争对手在许多情况下,人类能做什么。特别是在图像识别,神经网络可以比人类做得更好。这很棒,但它真的很窄。我们进入我们称之为广泛的人工智能,现在我们要把这些有趣的地方点解决方案,找出如何将它们集成到事情将帮助别人完成他们的工作,或一个实际的任务之外,‘我想要认识到在互联网上猫。猫的认识是一个有趣的演示,但你没有任何商业价值。

SE:接下来的步骤是什么,发生什么?

六须鲇:我们专注于问题的行业或企业中人工智能可以帮助一个人在他们的角色。在卫生保健领域,有很多方法,人工智能可以帮助放射科医生通读他们看到的图像。但有一个方法可以帮助他们理解为一组症状,潜在的诊断是什么?不仅需要个人能够识别放射学的光点图。这意味着能够理解上下文的电子医疗记录和这个人。下面是测试结果,从那个人出来。这里有什么症状表现。这是核磁共振成像扫描。“你把这放在一起说,”好吧,这里的信号是你需要看。

SE:所以你要找的是更深层次的上下文。

六须鲇:没错。我们很长一段路从系统的先进的推理和上下文,放射科医生,例如。但是我们得到的,我们可以把组件这些东西,把它们一起给放射科医生非常简化的一组信息。可以用来加快速度的放射科医生来决定。

SE:这是概率,对吧?

六须鲇:是的,在大多数情况下你想出一个答案,就像90%的自信。我们的目标是达到很高的信心水平。这是挑战AI-making确保你所做的事情非常高的信心。但你还需要礼物的方式非常清楚专家,谁来决定最终确定,这就是我们要做的,这是下一步。我们真的不希望人工智能系统去那么远。我们想要增加的专家能做什么。但是最终,我们仍然想要人类的人让最后的决定,因为他们仍然有能力有一个更广泛的环境比AI能做什么。

SE:是基于不想取代工作,还是因为这是一个有价值的工具?

六须鲇:这是后者。我知道你听到人们谈论AI将接管世界,但现实是,有人工智能的东西确实很好,它不做的事情非常好。所以它可能是真的很准确,但它仍然会犯错误。与人类不同,理解它犯了一个错误的能力是非常有限的。你必须回去再重新培训网络。那么你需要人类提出并找出下一步是什么。人类擅长的事情像一个目标或者真的知道我们的目标是——真正的目标,不仅认识到短暂的形象。他们了解周围的环境,道德,意味着什么做某些治疗病人。一些治疗侵袭性,不影响一个人的生活方式。人类是更好的在所有这些价值观和目标和步骤。 So we want to do is, just like we did with automation in the past, look at how many things can we get done for that person or that expert so this becomes more automatic. Then they can do the part they do really well. AI improves their productivity, improves the number patients they can see, and hopefully reduces error rates.

SE:这还允许地区差异和偏见,对吧?

六须鲇:这是一个有趣的点。现在在人工智能的一个挑战是,它只是一样好数据训练。即使它在一个非常大的训练集,不会覆盖每一个可能的情况。和你的观点,你可以尝试在当地训练AI对于每个单独的地方使用它,或者你会说,“它有一个很好的基础。我将有一个专家谁将它从人工智能系统,使那些在本地的下一步我在哪里。或数据集,下面是一些我想增加这个人工智能训练了我的局部区域。

SE:在过去,机器学习和人工智能识别猫你不得不把一只猫从各个角度的照片。有改变吗?有更好的理解如何识别猫吗?

六须鲇:我们仍然在这些深层神经网络的模式发现特征图像和显示不同的图片。从你得到这个对象你想找到,我们已经告诉它是一只猫。它没有理解,一只猫需要有腿和耳朵和尾巴像人类那样。它仍然不做太多推理就看到什么。因此它仍受制于潜在错误。这可能是学习功能太强烈了。如果你看一些算法的一只猫和一只狗,猫往往有尖尖的耳朵。但是狗有时有尖尖的耳朵。所以它必须意识到学习足够的例子,“这里是规则的例外。“只是因为那是一只猫并不总是意味着它是一只猫,所以我需要学习,异常很好。 This is a very different style of learning than we think humans do.

SE:怎么说?

六须鲇:我们正在做的一件事现在研究的是如何更好的在这个人工智能方面。有两个原因。这是一个人工智能作为一个黑盒的问题。如果神经网络是训练有素识别猫,但是你不知道为什么它识别猫,这可以是一个问题。即使犯错误,你如何理解它犯了一个错误,尤其是如果它是一个微妙的错误。你需要更好地理解神经网络如何工作,哪些特性的神经网络识别,允许你做更多的研究,以及如何询问了解不同层次神经网络是真的捡。这是,这是一个原因。第二个原因是,我们不仅需要大量的数据,但是带安全标签的数据时,说,“这是一只猫。这是一只猫。另一只猫”,比人类的学习方式有很大的不同。 But one of the things I’d argue humans also do is learn by getting lots and lots of images and lots and lots of angles. The difference is that the human only needs a couple of those labeled for them. As a little kid, you probably saw cars around you at some point you asked your mom what that is. She said it’s a car, and then you immediately were able to take that information and start to extrapolate. ‘That’s probably a car and that’s probably a car.’ You get to see thousands of cars from thousands of different angles, and your brain constantly says, ‘Okay, that’s still a car.’ But at some point you might see something much larger and you asked your mom what that is, and she told you it’s a truck. It’s not just a car even though it has a lot of attributes of a car. And the amazing thing is that your brain is able to extrapolate so much from just a few labeled examples, but also seems to know at some point that maybe that’s not right. AI Systems can’t do that today.

SE:我们一直听到的一个问题是效率低下的一些算法。我们在这方面取得进展吗?

六须鲇:深度学习在硬件方面,我们使用了大量的矩阵乘法缺乏更好的东西。原因我们已经取得了如此多的进步是我们现在有足够的硬件运行的能力,你需要做一个规模很大的神经网络。所以神经网络与我们合作的80年代和90年代是类似于我们今天使用的,但是在很多,规模要小的多,因为你只是不能运行处理。但这需要大量的电力。我们甚至可以做的唯一原因今天非常有效,因为我们使用gpu的很多培训。gpu非常擅长,但他们仍然是相当权力饥渴,和目前的工作,使他们更有效率。进步让他们更加有效率的重点是构建更好的硬件而不是寻找改善算法的新方法。所有这些肯定会继续在后台,但真正的焦点是,假设神经网络是一个很好的路要走,因为他们似乎。我们知道这需要大量的数学计算,我们不会摆脱数学,那么如何有效地运行它?“如果我看这个硬件上我们自己的路线图,我们使用与Nvidia gpu培训和我们的合作伙伴。我们的电力系统是非常有效地训练。 But it looks like you actually go to lower precision over time.

SE:低多少?

六须鲇:现在,使用32位浮点只是因为我们一直使用。但事实是你可能不需要32位。你可以做16位,甚至8位浮点做培训。尽管这意味着你个人乘法稍微不那么准确的最后,你不在乎是否每个数字是准确的。你关心的是通过这些数字,这是给你正确答案在另一边?现在的测量精度。

SE:更多的权重,对吧?

六须鲇:是的。所以你真的需要32位浮点这些重量吗?原来,这是不可能的。

SE:这是喜欢使用你的眼睛专注于一幅画的一部分,而错过了其他的图片,对吗?

六须鲇:完全正确。如果你能去降低精度,得到巨大的节省电力,节省面积巨大,和潜在的速度。毫无疑问这一举动方向精度降低。我在这里要讲的培训。之后我要去推测。如果你要更少的精度,为什么还要考虑回到模拟,因为模拟某些操作极其有效吗?模拟的问题是它容易出错。我们有噪音,所以它不会像数字一样。移动数字是正确的决定,尤其是大量增殖和积累的一步,进入一个神经网络,基本上是公正的基尔霍夫定律。如果我想到有两层神经网络,我带着这个节点的输出一定重量基本上就是乘法和我发送输入下一个节点,然后从所有节点需要这些输入,总结回答,然后决定是否要做一些与基于总强度的走了进来。好吧,如果你想,如果我能有这些节点之间的可变电阻,那么当前的数量会从每个节点进入它将有所不同,基于电阻是什么,这里的总电流就会有些其他电流。所以我做了积累乘以运行电流通过电阻。如果你让这些所有可变电阻这就是你的训练重量改变电阻的价值?这将给你一个粗略的大量增殖和积累下一个节点,这是非常有效的。不涉及的数学知识。这是真的,我们运行电流。

这是SE:有多远?

六须鲇:我们已经演示了它。在过去的几年里我们一直在做这个和相变内存、非易失性。它可以有不同层次,所以你可以做多个层面,多个比特在一分之一阻力。你有限的数字空间,因为你想要确保他们足够飘飘然的,噪音不是问题。你可以清楚地阅读这一,二,三,四,不管数量是多少。在这种情况下,我们不关心如果不精确。我们要增加或减少阻力一点点基于训练算法是告诉我们做什么。我们真正关心的是材料,可以有很多不同的国家。我们认为一千年可能是很多。没关系,如果他们没有超级定义良好的,只要他们一个线性过程。 So every time I give it an extra pulse of voltage, it moves up by roughly the same amount every time. And more importantly, when I go in the other direction, it moves down by roughly the same amount. That’s actually the challenge on the materials side—getting material that has a nice uniform property because in phase change memory, in one direction it tends to be fairly linear while the other direction is just a reset, so it tends to jump back.

SE:你基本上使用精度作为另一个旋钮把?

六须鲇:是的,因为如果你觉得今天gpu的工作方式,他们很耗电的原因之一是训练数据进入系统的CPU内存。这是你要的每一张图片都会尝试和训练。但实际上所有这些神经元的权重被存储在GPU内存。他们得到了所以你可以经历,让你改变,让任何更新,然后你必须回去并将它们存储在内存中。你花费大量的精力只是移动这些模型,来回几百兆字节,和GPU。如果你只有电阻坐在那里,你不需要做什么。所有你要做的就是继续调整这些数字每次经过,把这一个,这一个,但没有什么是存储和记忆,跑了。一切都发生在这里,你只是通过图像数据流和更改。这是更有效。现在你已经放弃的准确性,因为你不知道这些是什么。 But in the end, once they get set, they will hold their resistance accurately at that point.

SE:现在你不需要担心你之前调优算法相同的方式,对吧?相反,你利用你的硬件架构。

六须鲇:是的,这是非常重要的,在可预见的未来,因为神经网络似乎真的好算法。我们学习更多的意味着什么,但实际上找到好方法来有效地运行它们是重要的,当你获得真正大的尺度。

SE:引发这种变化的方向?

六须鲇:这个想法XPoint记忆。这是非常有效的高密度数据存储。但面临的挑战之一是,你必须确保你所有的水平都是不同的,因为他们所做的一切必须是数字。然后有人意识到,“等等,我还有另一个应用程序可以使用这个没有任何记忆,它不在乎如果不精确。这可能是五六年前。现在我们已经做了一些模拟表明,你将能够得到同样的对你的神经网络输出精度可以与最先进的神经网络。一直是问题的一部分,你最终达到同一水平,因为你知道你有一些不准确吗?

图1:培训和使用新方法测试精度匹配TensorFlow测试数据(灰色)。TensorFlow曲线对应于10个不同的初始网络条件和测序的训练图像,说明适度的运行偏差固有的神经网络训练。权重的分配(b)为初始状态和时代1、5、10和20,累积分布的阵列电导(c) G (G +和G -在一起)。注意,一半的G +几乎是零,相应的负权值,同样为G -设备积极的权重。最后,(d)显示了初始g分布和连续分布在重量转移到基于硬件的PCM设备。来源:IBM /本质

SE:实际上,你已经更接近人类的方法呢?

六须鲇:如果你看看大脑,你有很好的连接。在这些连接有变化。但如果你看看大脑是如何工作的,它有同样的问题。如果你尝试看看实际相当于它们之间的连接,它是关于4比特精度。是的,它是,它是模拟,但如果你看的州的数量,它的强劲,你可以大致模仿这个4比特整数。有一个有趣的论文有人给我显示之间的关联连接大脑和智慧。我就会直观地表示,连接=更多的情报。他们找到一个反向相关。看起来似乎很聪明的人其实更仔细地修剪或策划连接。所以他们仍然有很多连接,虽然不是不一定最大数量。 But they do seem to have patterns associated with them. So maybe the brain is pruning more carefully what connections are most important for actually getting the problems done, versus having a fairly inefficient neuron that has lots of connections everywhere.

SE:这会导致大量的噪声,对吧?

六须鲇:是的。大数据和分析你可以找到大量的相关性,但相关性,你真的关心吗?

SE:推论方面发生了什么?

六须鲇:这是一分之一的意义上说,这一个简单的问题,你只需要运行神经网络。你不必担心调整权重了,因为他们已经为你,这意味着你实际上可以减少更精确。当你做培训和误差反向传播,你做你想要做一些小的上下运动的权重,以确保你不会错过关键水平。所以你需要某种程度的模拟或浮点精度。不过,一旦你让他们设置,可以减少量化的实际金额。这是最终的版本TrueNorth芯片,我们发布了一个几年前在这里,随便一点的准确性,对吧?你连接或不连接到一个神经元。权重是0或1。这是很明显的限制,你可以做什么。我们表明,你真的可以几乎任何神经网络到地图。这是大量的工作,这是非常低效的区域,因为你真的只有一比特的准确性。然而,这是非常有效的。现在的问题是什么是正确的精度级别,您可以从编程的角度来看都有效,但仍得到权力优势。