机器学习的阴暗面

机器学习可以用于许多目的,但并不是所有的好还是故意的。

虽然大部分的工作进行重点是机器学习算法的发展,如何培养这些系统,以及如何使他们跑得更快,多做,这项技术有一个阴暗面。一些涉及到组织的观察还可以用于机器学习。有些仅仅是偶然的。但在这一点上,没有监管。

安德鲁说:“算法人写算法Kahng,圣地亚哥加州大学的教授。“一般来说,算法在芯片设计已经确定的,而不是统计。人类可以理解它们是如何工作的。但是人们希望在这个世界上的深度学习从合适的神经网络模型在经典的冯·诺依曼机,做十倍交叉验证,就是这样。得到统计可能效果很好。但这不是IC设计师和验收和切换的概念——或者甚至ASSP / SOC产品的概念,知道如何忍受。”

但当数据是坏或故意损坏数据?这可能下来的DNA工程师和产品部门,根据Kahng。

这些数据可以无意中损坏。在培训系统偏差是一个众所周知的问题,但很难阻止。

“我们发现,在早期版本的软件我们基于种族,它犯了错误,我们甚至没有意识到,“赛斯内曼说,eSilicon主席。“你必须有一个相当复杂的说话者和成员的文化甚至指出错误。是愚蠢的动力你的孩子不知道你教他们讨厌豌豆,因为你讨厌豌豆。”

这可以迅速失控,因为这些系统是用于创建其他系统。“过去人类软件写道,“内曼说。“现在数据写软件。我们有一个系统,如果我们泵足够的数据,它将为您编写软件。这不是要写一个用户接口或至少目前还没有。”

最小化问题
处理这些问题的一种方法是添加制衡到机器学习。“当我们人类面对犯太多的错误,我们做什么呢?我们问一个人检查另一个人的工作,”资深的工程总监NVIDIA Ting Ku说。“有一个敌对的网络机制,反复核对,所以也许几层的冗余处理,数据损坏问题是必要的。这不是不寻常的。我们这样做已经几千年了。当我不相信一个人,我有两个家伙。如果我不相信两个家伙,我得到国会的投票,因为我们不想要一个国王,我们想要一大堆人负责决策。我们想利用,这样即使一个人挨枪,我们还好。本质上一样的回答我们如何管理人类社会——裁员。”

哈里·福斯特验证首席科学家,导师,西门子业务,指向“trust-and-verify”方法作为解决方案。

当然,最佳实践仍然适用。机器学习需要良好的编码方法,断言萨西Obilisetty Synopsys对此研发主管。“你必须编写安全的代码,您必须编写更安全的代码,你必须有制衡。假设你没有你期望输出。你必须有冗余,确保QoR或无论你想输出,你不会妥协。”

多糟糕这取决于应用程序。的数据损坏问题是比不上自主驾驶,有致命的错误,”诺曼Chang说,半导体业务单元在ANSYS的首席技术专家。“我们需要学习与坏数据,客户会想出一个策略来应对糟糕的数据。”

而安全至上的系统肯定是比失败更重要tapeout 1000万美元,tapeout仍然是一个严重的问题。

”仍然存在,当你有一个要工具,有可能一个人你可以去说,“这没有得到我期望的输出。你能再看看算法和真的让我相信这是正确的,”首席执行官Chris再生草说Cognite企业。“而尤其是深层神经网络,很难找出它是通过培训解决方案。这是在深度学习的大力推动社会有更多的可审核性,提高透明度,更多的分析工具对模型本身,这些很重要。但在一段时间内将会有一个令人费解的手工编写和学习模型之间的差距。”

更邪恶的模型,他说奇怪和有趣的例子存在的人想出输入游戏系统,就像其他比他们真正是什么。到目前为止,还没有发生芯片设计过程,否则一个相当安全的过程。为什么,例如,会无意中试图欺骗的工具。

偏见在这里扮演一个角色。那么一个错误的决定由一名工程师,这可能只是一个诚实的错误放在数据库作为训练的一部分。但这可以产生重大影响,Ku说。“你引用坏一个,让一个糟糕的决定,整个决策过程得到错误的一边倾斜。对大多数人来说这是一个令人担忧的事情。反复核查帮助与引导数据。”

另一个策略包括实现数据的时间到期。“如果数据是真的,真的老了,我把它用更少的重要性,“他说。“数据更新有点更相关。所以希望我们10年前的错误已经被遗忘了。”

有一个内置的保障。”这一概念的使用数据类型的多样性也给你隐式交叉检查,“再生草说。“你真的需要几个不同的数据视图,即使是相同的数据库中心。可能没有新的真实的信息。你可能有不同的偏见或不同的缺陷数据提取并准备和标记,甚至会创造一些自我检查过程中隐含的。”

不过,因为机器学习就是来点,它被应用在更广泛的基础上,有很多的未知数。首席执行官西蒙Davidmann治之软件,说事情可能出错原因有恶意,东西可以偷和滥用其他事情发生。当一个更好的体系结构是必要的,这样可以实现机器学习得更快,因为一切都需要学习,他不相信人们开始考虑它的安全方面。讨论始终围绕加快这一进程的方法,他说。

所有这一切与进步的阴暗面,一般来说,Davidmann继续说。“事实证明,很多嵌入式世界担心的安全方面他们做什么。如果错误的种子有初,你怎么发现的?这是真实的一切。偶尔一个医学专业的东西真的愚蠢的故意,因为出现了错误和人类是不可靠的。所以我们要得到这个。事情会出错在机器学习应用程序中,这通常会因为有人把后门在意外或故意。他们可能做恶意。但这是一个概率的游戏。只要概率非常低,这将是,我们要住在一起。”

结论
我们是否能生活在机器学习中固有的错误数据还有待观察。这是一种技术方法,是刚刚开始推出,与不确定性,尚未完全定义。但这肯定是一个更需要讨论的地方。

编者斯珀林对此报道亦有贡献。

有关的故事
机器学习满足集成电路设计
有多层机器学习可以帮助创建的半导体,但没有像其他应用领域一样简单。
伟大的机器学习竞赛
芯片产业复位技术开始成形;没有明显的赢家。
在机器学习填补漏洞
第2部分:短期和长期的解决方案,以确保机器的行为预期。
机器学习缺少什么
第1部分:教学机器如何做人是一回事。理解可能的缺陷之后,又是另一回事。
建立芯片,可以学习
机器学习,人工智能,需要的不仅仅是力量和性能。
一个人工智能芯片是什么样子?
作为人工智能的市场升温,那么困惑如何建立这些系统。
人工智能风暴酝酿
人工智能的加速度将有大的社会和商业的影响。