中文 英语
首页
技术论文

神经网络如何思考(MIT)

通用技术揭示了经过训练处理语言的神经网络的内部工作原理。

受欢迎程度

资料来源:麻省理工学院计算机科学与人工智能实验室,David Alvarez-Melis和Tommi S. Jaakkola

技术论文链接
麻省理工学院的文章

通用神经网络训练
麻省理工学院的研究人员提醒说,人工智能研究已经被称为神经网络的机器学习系统所改变,神经网络通过分析大量的训练数据来学习如何执行任务。在训练过程中,神经网络不断调整数以千计的内部参数,直到它能够可靠地执行某些任务,例如识别数字图像中的物体或将文本从一种语言翻译成另一种语言。但就其本身而言,这些参数的最终值几乎不能说明神经网络是如何工作的。了解神经网络在做什么可以帮助研究人员提高他们的表现,并将他们的见解转移到其他应用中,计算机科学家最近开发了一些聪明的技术来预测特定神经网络的计算。

但最近,在2017年自然语言处理经验方法会议上,麻省理工学院计算机科学与人工智能实验室的研究人员提出了一种新的通用技术,用于理解被训练来执行自然语言处理任务的神经网络,其中计算机试图解释用普通或“自然”语言(而不是结构化语言,如数据库查询语言)编写的自由格式文本。

他们说,这项技术适用于任何以文本为输入、以符号串为输出的系统,比如自动翻译器。由于它的分析结果来自于不同的输入,并检查对输出的影响,因此它可以与在线自然语言处理服务一起工作,而无需访问底层软件。

事实上,该技术适用于任何黑盒文本处理系统,而不管其内部机制如何。在他们的实验中,研究人员表明,该技术也可以识别人类翻译工作中的特质。

研究小组解释说,这项技术类似于一种被用来分析神经网络的技术,这种神经网络经过训练,可以执行计算机视觉任务,比如物体识别。系统地干扰或改变图像的不同部分,并将图像重新提交给物体识别器的软件可以识别出哪些图像特征导致哪些分类。但将这种方法应用于自然语言处理并非易事。



Baidu