中文 英语

《乘数与奇点

人工智能读起来很有趣,但物理学会限制它能走多远、多快。

受欢迎程度

1993年,计算机科学家弗诺·文奇和科幻作家他首先描述了一个被称为奇点的事件,即机器智能与人类智能相匹配,然后超越人类智能的点。从那以后,顶级科学家、工程师和未来学家一直在问,我们离那个事件还有多远。

2006年,雷·库兹韦尔出版了一本书,奇点即将来临在这篇文章中,他扩展了人工智能(AI)将进入自我完善周期的“失控反应”的假设。他认为,随着每一代新的、更聪明的人越来越快地出现,这将导致智力爆炸,从而产生一种强大的超级智能,在质量上超过所有人类智能。人们已经确定了各种日期,目前的共识是2040年,但就连埃隆·马斯克也担心,五年后“人工智能将变得危险”。

但目前还不清楚人工智能和朝着奇点前进的步伐是否接近现实。在五年内,我们可能会拥有更多的技术节点,这意味着我们可以期望晶体管数量是今天的两倍。但是,虽然每个晶体管的功率可能会下降一点,但热量将继续限制这些芯片的功能。由于热限制,许多芯片不能同时使用所有的计算能力。

如果我们把时钟倒回几十年,我们就能追溯是什么让我们走到这一步。

计算的核心
每一项进步的核心都是与乘法运算相关的进步,以及将数据移进和移出这些乘法器的能力,以及与它们相关的可编程性元素。

“乘法是最引人注目的算术运算,在许多基本功能的计算中起着核心作用——过滤、卷积、变换、加权,”Cognite Ventures的首席执行官说。然而,罗文总是警告不要忽视上述提到的其他方面。

第一个重大进步是无线通信和数字信号处理器(DSP)的兴起。它提供了单周期乘法运算,在此之前,只有固定功能的硬件才提供这种运算。“无线通信曾经被视为硬计算问题的缩影,”IP Group的高级架构师Samer Hijazi说节奏.“这一直是并且将继续是最难计算的问题之一。这是一个np -完全(非确定性多项式-完全)问题。DSP为您提供了广泛的乘法器阵列,特别是定点乘法器阵列。你可以信任和使用多少比特?随着人们更多地了解需要什么,所需的准确性也在不断发展。”

随着应用程序变得越来越复杂,它们倾向于使用各种各样的算术。Rowen解释说:“计算通常使用多种位精度(8b、16b、32b,有时是奇数位长度)和多种数据格式(整数、定点、浮点)。”“这意味着实现通常需要足够的灵活性来涵盖算术运算、位精度和数据格式的混合——而不仅仅是一种形式的乘法——来处理必要的计算,而不会过多地影响精度、效率或程序员的生产力。”

人工智能的诞生
人工智能一直是科幻小说的一个元素,就像科技界的许多其他事物一样,它确实对发展进程产生了影响。“对于人工智能来说,有一种算法已经卷土重来,并使整个行业再次崛起,”希贾兹说。“这是90年代末的一种算法,叫做卷积神经网络(CNN).”

在它的关键,卷积只是一个三维滤波器。Hijazi解释说:“它对整个场景进行重复过滤。“它会寻找你与场景中每个位置相关的特定模式,并试图查看它是否存在。你一次做多个图案,而且是分层做的。在第一层中,您正在寻找一些模式并创建模式相关映射或特征映射,然后在生成的第一个映射上运行另一个相关映射,依此类推。因此,我在彼此之上构建了一个连续的模式层。他们每个人在某些领域都是有限的。”

卷积神经网络最初是由纽约大学数据科学中心主任扬·勒丘恩开发的。他目前是Facebook的人工智能研究主管。第一个应用程序是试图识别信件上的邮政编码。“它没有成为主流,因为他们没有必要的计算能力,”希贾兹指出。“只有大规模gpu的可用性,才有可能显示出这些算法比专家开发的算法的优越性。”

技术方向
虽然乘数可能很重要,但它只是系统的一部分。Rowen说:“即使是一个极端的视觉处理器,在构建卷积神经网络内循环时,每周期可以支持数百次乘法运算,但它只占用了10%多一点的核心硅区域用于乘法阵列本身。”另一个区域分配给操作数寄存器、累加器、指令获取和解码、其他算术运算、操作数选择和分布以及内存接口。

现代的图形处理器(GPU)它被大量用于实现cnn,也有一个广泛的内存子系统。Hijazi说:“对于图形来说,另一个必不可少的部分是庞大的分层内存子系统,数据从一层移动到另一层,以实现屏幕上像素的平滑过渡。”“这对于图像来说是必不可少的,但对于人工智能任务来说却不是必需的。它可以使用一种不那么耗电的内存架构。”

许多人正在研究的另一个解决方案是现场可编程门阵列(FPGA).Hijazi继续说:“fpga有许多DSP片,这些只是一组定点乘法器。“它们中的大多数是24位乘法器,这实际上是深度学习推理部分所需的三到四倍。这些DSP片必须耦合到将利用FPGA结构来移动数据的内存层次结构。FPGA的功耗可能与GPU没有太大区别。”

Rowen提供了支持可编程解决方案的另一个原因。“很少有应用程序如此简单,发展如此缓慢,以至于它们可以容忍完全固定的功能实现。可编程性可能以FPGA查找表和路由的形式出现,也可能以处理器和dsp的形式出现,但一定程度的可编程性几乎总是需要保持平台足够灵活,以支持一组相关应用程序,甚至只是单个应用程序随着时间的推移而发展。”

但GPU和FPGA中的这些DSP切片可能并不适合AI。“可能只需要4位乘法,”Hijazi说。“因此,降低乘数成本的竞赛是我们如何推进人工智能的核心。乘数是昂贵的,我们需要大量的乘数。这限制了这种新发现能力的灵活性。”

人工智能专用芯片似乎将被生产出来。“到2017年年底,我们将看到许多针对人工智能的芯片和一些可演示的技术,”英特尔公司技术通信总监珍·伯尼尔(Jen Bernier)预测想象力的技术.“随着企业为人工智能开发芯片,他们需要考虑本地处理数据和将数据传输到云端进行进一步处理和数据聚合的需求增加。”

今天的现实
那么我们离奇点还有多远呢?希贾兹说:“我们今天使用的算法是在上世纪90年代创建的,在媒体上引起了大量炒作。”“但这一切都源于一种算法及其解决一个有趣问题的能力——计算机视觉。关于推断这种能力的炒作已经产生了很多热情,媒体喜欢50年代人工智能的原始假设,这可能会成为现实。人工智能并没有取得重大飞跃。开发出一种算法,就能实现一种进步。”

人们正在寻找方法将该算法用于其他任务,例如谷歌使用它来玩围棋游戏。另一个例子与语音识别有关。“虚拟助理将几乎无处不在,”伯尼尔说。“语音识别和交互将被整合到越来越多的设备中,我们将看到新型的可听设备。这项技术将继续发展,以实现越来越多的交互性。”

在这一领域预期的其他进展将在2017年预测

但这些能直接引导我们到达奇点吗?人工智能能发明出让我们走到这一步的算法或硬件结构吗?人工智能很可能帮助我们优化现有的东西,但这不是奇点。工程师们似乎以一种更理性的方式看待未来。

有关的故事
认知计算对芯片设计意味着什么
独立思考的计算机的设计将不同于一般的SoC;生态系统将受到重大影响。
卷积神经网络动力前进
采用这种机器学习方法的图像识别增长;其他应用程序需要改进电源和性能。
神经网络计算爆发
财力雄厚的公司开始为特定的应用定制这种方法,并花费巨额资金收购初创公司。
25岁生日快乐,哈尔!
自HAL投入运营以来,人工智能取得了长足的进步。



8的评论

医学博士 说:

篇好文章。

witeken 说:

没有讨论Nervana-Intel ASIC方法?

布莱恩•贝利 说:

Nervana是一种提高方程式学习方面性能的方法,这是本文没有直接涉及的内容。它是汽车、物联网设备等中的推理端,因此提供了在可用功率预算的情况下可以实现的限制。学习方面需要比推理多一到两个数量级的计算,这也可能使奇点的概念更不可能发生。为了接近人类的大脑,我们必须让学习像推理一样廉价。

另一个角度 说:

本文中遗漏的一个要点是,神经网络体系结构正在进化,以便对给定的硬件平台更有效。因此,与此同时,硬件节点将变得更加高效,神经网络架构也将如此。这可能很好地支持了2040年的日期。然而,我怀疑“奇点”这个笼统的术语是否抓住了AI将如何部署以及AI将如何改变构成世界的物理和虚拟操作的实际现实。只有当人工智能能够广泛而细致地影响物理世界和虚拟世界时,对它的恐惧才会变得合理。沃森已经是一个有趣的人工智能,但对我的世界根本没有实际影响。人工智能最终将智能到足以构成威胁,但我相信它将以人类能够经历危机并实施控制机制的速度发生,从而以更有建设性的方式发展。变化是不可避免的,但也是可控的。

布莱恩•贝利 说:

谢谢你的评论。我同意硬件架构将会发展,这是我试图说明的一点,关于我们目前如何测试许多人工智能任务所需的精度。使用24位精度用于推断是非常浪费的,尽管对于学习可能还不够。我也同意你的看法,如果没有适当的控制和监管。这项技术可能应用不当,从而间接造成风险。举个例子,让业界认为人工智能目前有能力并且应该被信任来驾驶汽车,这可能是危险的。

菲利普这种巧克力 说:

非常好的文章。假设CNN仍然是人工智能的核心架构,那么结论确实是有效的。然而,我倾向于相信人工智能将迅速发展,不会基于“传统”架构。别忘了我们的大脑里没有乘数。我们也不要忘记,我们的大脑并不使用冯·诺依曼的架构,不运行软件,不需要获取指令,把它们放在缓存中,等等……我们的大脑做的是“内存处理”(主要是模式匹配)而不是数学运算。人工智能的未来很可能离gpu很远。我敢打赌,快速R/W NV内存和FPGA技术的混合将是一个很好的进步,最终半导体可能不是人工智能的正确支持。

布莱恩•贝利 说:

谢谢你的好评。我同意你的观点,在大脑中,当我们等待的时候,我们没有做乘法。我在考虑在文章中增加一个部分,比较大脑中的类似动作与半导体中的类似动作的功耗——也许我会在以后的文章中这样做。我也同意与NV相关的处理确实是未来一个有趣的方向。

罗伯·内夫 说:

有趣的文章。作为一名程序员,我从不同的角度看待它。有很多人在讨论摩尔定律(实际上是观察)暗示人工智能会自动变得更好。但随着本文的深入,算法也需要改进,仅仅增加晶体管可能会让它更快,但不会让它更好。摩尔定律没有软件推论。
从更广泛的角度来看,人工智能可以擅长模式识别,这是智能的一个重要组成部分,但对于真正的智能来说,仍然缺少很大的部分。尤其是情感,它会导致野心或激励。现在一个人工智能程序会完全按照你说的去做,然后它就停止了。对于可怕的天网场景(在某些时候我并不完全排除这种可能性),自我意识是隐含的,而我们离那还远得很。
但在不久的将来,它肯定会对就业市场造成严重破坏。我最近在一家无收银员商店看到了一些东西。人工智能可以很容易地与客户互动,并提供他们想要的产品。我最好现在就停下来……

留下回复


(注:此名称将公开显示)

Baidu