机器学习不仅仅是cnn

神经网络——尤其是卷积神经网络(cnn)——在过去的几年里受到了大量的关注，但它们并不是唯一有用的机器学习结构。

对于机器来说，学习如何解决问题还有许多其他的方法，并且还有替代机器学习结构的空间。

”神经网络可以完成所有这些非常复杂的模式识别工作，特别是卷积神经网络，”节奏．“它们的缺点是太大了，需要大量的数据才能训练它们。”

有些结构，比如决策树，在概念上和神经网络一样古老，但它们不是神经网络。其他人则以新的方式利用更常见的神经网络结构。我们将在这里介绍其中一些，以了解它们是什么以及它们有什么好处，从更熟悉的东西开始建立基线。

常规神经网络
人工神经网络(ANNs)是最常见的结构，它深化了最初的感知器概念。它们提供了许多层，首先识别提供给它们的数据中的重要特征，然后用这些信息做一些有用的事情，比如对图像进行分类或翻译语言。

卷积神经网络(cnn)可以说拥有最专用的硬件解决方案。它们可以是巨大的，而且还在变得越来越大。他们擅长根据视觉数据——静止图像和视频——做出推断。

还有一些著名的循环神经网络(rnn)，它们是一类一般的结构，其特点是能够处理时间序列或顺序数据。这意味着他们需要保留一些数据，因为早期数据可能会为后期数据的决策提供信息。因此，虽然cnn只有前馈，但rnn有一些层，它们可以存储数据以供将来使用，甚至可以将数据反馈给更早的层。

对于普通的rnn，过去事件的记忆很快就会消失。LSTMs——长短期记忆单元——是一种RNN，它具有在较长一段时间内保留过去事件的记忆。与之相关的是门控循环单元(gru)，它以一种更简单的方式完成lstm的工作。

rnn本质上是按顺序查看数据。然而，我们会看到另一种方法，它被证明比基本的RNN更有效，而且它正在受到关注。

与我们将要讨论的其他结构相比，人工神经网络更擅长所谓的知识转移。AI和ML解决方案的研发总监Venki Venkatesh说:“你在特定的样本上进行训练，一旦你得到了全新的样本，你就可以继续你离开的地方。Synopsys对此的数字设计组。如果添加了新的数据，其他一些方法需要完全的再培训。

ann擅长模式识别——无论是视觉的还是音频的。而且它们很大。法伦说:“从系数的数量来看，这些模型真的很大。”“但这让它们做了所有这些对我们人类来说不明显的事情。”

如果线性或多项式曲线拟合可以被认为是最简单的决策引擎，那么ann就是最复杂的。下面的一些结构位于中间。

决策树
决策树就像它听起来的样子:一个简单的树，在每个节点上都做出一个决策，推理根据该决策沿着路径进行。具体的决定将部分受到开发人员的影响，部分受到培训的影响。

图1:一个简单的决策树示例。来源:维基百科

与传统的神经网络不同，决策树不从数据中提取特征。所谓的“功能工程”是由开发团队完成的。Cadence的法伦说:“cnn自然会做功能工程。“决策树没有这种能力。”

其他人也同意。“决策树和其他类似结构通常需要更少的输入，而不是整个图像作为输入，”微软的高级技术人员Michael Kotelyanski说上的创新．一些特征工程需要将输入图像转换为低维输入向量。但推理和训练的计算强度可能不那么高。”

给定这些特征，开发人员指定决策应该有多少层深，然后训练决定哪些特征用于树的哪个阶段，以及具体的决策将是什么。

法伦说:“它经历了与神经网络相同的训练过程，但不是神经网络结构。”“这是一个树结构，决定我使用哪个变量和什么值。”

考虑一个包含20个问题的数字游戏。每个问题都将推理引向一个特定的方向。它们经常用于启发式可能在机器学习之前使用的方法中。事实上，这些启发式也可能在树中分层。不同之处在于，在旧的情况下，决策是由开发人员专门创建的，而机器在决策树中学习启发式。

决策树对人类来说比人工智能更容易理解。检查树并理解每个点上的决策比理解人工神经网络中的权重和连接要容易得多。

当培训数据是敏感的和专有的时，这很有帮助，因为非专业的内部开发人员可以更容易地进行培训，而不涉及其他任何人。“决策树对我们大多数人来说更容易理解，”法伦解释说。“你不需要一个专家团队来让他们正确训练。我们必须拥有更简单、更可靠的模型，因为它们必须能够在客户现场使用客户数据进行训练。”

例如，在尝试优化布局或识别布局中可能的产量限制因素时，EDA工具可能使用决策树。“当我们在软件流程中使用它们时，我们所取代的是启发式，”Fallon说。例如，“我们看着模拟原理图，然后说，‘哪些晶体管应该组合在一起?他们是连在同一个网里的吗?它们的宽度一样吗?它们的长度一样吗?它们的尺寸一样，但类型一样吗?’”

随机森林
随机森林使决策树更进一步。为了提高决策的可靠性，随机森林涉及许多决策树，通过平均或组合不同树的结果来有效地众包答案。

图2:由训练数据的不同子集上训练的多棵决策树组成的随机森林。每棵树的结果被组合或平均。来源:Venkata使人盲目崇，Cc by-sa 4.0

法伦说:“它们的工作方式是，比方说，你放入100棵树，然后从训练数据中随机提取100个不同的子集。”“每棵树都是在不同的数据子集上训练的。平均而言，他们在提出正确答案方面比给一棵树所有数据要好得多。”

如果决策树有20个问题，那么随机森林就像100个人独立地回答同样的20个问题，然后把结果结合起来。或者更像《家庭宿怨》，“调查显示”……

随机森林可以与ann一起作为分类器工作。“决策树、随机森林和其他类似的分类器可以减少深度学习分类器的负载和差异，”Onto Innovation的软件产品管理总监迈克·麦金太尔(Mike McIntyre)说，他以视觉检查缺陷为例描述了这种用法。一阶分类器能够使用一些描述符，例如大小、形状、颜色、背景和位置，并将缺陷预分类到相对较高的水平(70%到80+%)。具有低置信度或未知分类的缺陷，或那些被认为足够重要的缺陷，会被送入二级ANN分类器，而后者的运行成本更高。”

增强树，或者增强梯度的机器
增强树类似于随机森林，因为它们涉及决策树的集合。但是，这些树不是独立地创建所有的树，然后在最后结合它们的输出，而是按顺序构建和计算。

第一棵树可能是所谓的“弱学习者”。因此，构建了第二棵树，以改进弱相关训练点的学习。然后第三棵树在第二棵树的基础上进行了改进。换句话说，与随机森林不同，这些树不是不相关的。它们是相互派生的。

一些人认为，平均而言，增强树可以比随机森林做得更好——除非你的训练数据有噪声，这可能会导致过拟合。Venkatesh说:“我知道在一些应用中，增强树的表现远远好于神经网络。”

生成式对抗网络，简称GANs
为了更好地理解GANs，将它们分成两个独立的概念是有帮助的。

第一个是“生成”部分。如果你想到一个经典的CNN，它需要大量的数据——图像中的像素——通过识别特征，它将内容抽象到越来越小的层。有些人认为这是一种压缩形式，因为理论上压缩后的版本仍然包含原始图像中的所有信息，只是表达得更简洁。因此，您应该能够获取压缩版本并解压它——也就是说，通过反向网络将其扩展为原始图像。这个反向过程可以用来从某个分布函数生成图像。

第二个概念是“对抗性”方面。我们引入了两个网络，一个是生成器(可能是图像生成器)，另一个是“鉴别器”，用于评估生成的图像或其他工件。鉴别器之前已经接受过训练，可以识别生成器将要输出的任何信号。GAN训练包括生成器创建图像，然后让鉴别器决定是否将其视为“真实的”。

Synopsys的IP战略营销经理罗恩·洛曼(Ron Lowman)说:“这基本上就是让两个cnn互相竞争。

Keith Schaub，微软公司技术和战略副总裁效果显著，进一步解释了这个概念。对于基本的分类问题(例如，“它是热狗吗?”)，一种算法生成假热狗图像，而另一种算法猜测图像是否是假的。这种反反复复的过程会一直持续下去，直到达到一种平衡，在这种平衡中，‘造假者’会产生惊人的逼真的图像、声音、声音或任何分类。”

图3:基本GAN架构。生成器从随机种子创建一个图像。鉴别器根据它的训练评估图像，看看它是否能分辨真假。结果返回到生成器和鉴别器，以便它们改进。资料来源:Bryon Moyer/Semiconductor Engineering

例如，鉴别器可以访问梵高创作的艺术品样本。然后，生成器生成图像，鉴别器判断这些图像是否是梵高创作的。如果不是，则更新生成器和鉴别器。这种反馈作为训练生成器来创建更好的图像，并为鉴别器做更好的裁决工作。最终，生成器将学会创建欺骗鉴别器的图像。当鉴别器说图像(或创建的任何人工制品)有50%的机会是真实的和假的时，就达到了这一点。

例如，GANs允许算法拍摄你的面部照片，并计算出你10年后的样子。或者，它可能会帮助你说出你穿新衣服、换了发型或换了别人的脸会是什么样子。

在更值得怀疑的方面，它们也有助于制造假货和深度假货，如果不是不可能的话，也很难从真实的图像或视频中区分出来。Venkatesh说:“在这个应用中，他们使用了一些名人的样本。“然后他们创造了人脸图像——都是人工创造的。但它们看起来太真实了，你根本看不出这是一张人工生成的脸。”

变形金刚
这是一个改变了顺序输入处理方式的结构。rnn按顺序获取数据，而变压器可以按顺序计算数据。它在自然语言处理(NLP)中得到了广泛的应用。在这种情况下，您可以一次处理整个句子，而不是从头到尾扫描一个句子。

Synopsys ARC EV处理器产品营销经理Gordon Cooper指出:“像变压器这样的新技术正在问世，有望取代LSTM和rnn。

这有助于加快处理速度，因为你可以同时运行句子的不同部分。它在用于语言翻译的BERT系列网络中得到了很好的效果，但它也被用于对象分类。

变形金刚利用的一个概念被称为“注意力”。它侧重于分析网络中似乎更突出的部分，以推断出一组给定的数据。向量或矩阵中较大的数字是引擎关注的重点。

这些算法可能涉及多个步骤，但因为它们可以一次处理整个句子，所以它们可以根据不同的语言正确地对单词进行重新排序。如果一个词一个词地处理句子，这样的结构听起来会更生硬，一点也不自然。或者，可能需要单独的重新排序步骤。

支持向量机，或svm
最初的二维分类问题可以简单地描述为寻找一条直线或曲线，将一组数据清晰地分为两部分，每一部分都属于不同的类。

但如果数据是混合的呢?那么就没有办法识别分界线或曲线了——至少在二维空间里是这样。支持向量机所做的是反复提升问题的维度，直到可以找到一个干净的分界线，称为“超平面”。虽然准确，但训练速度较慢，因此它们更适合小型、干净的数据集。

图4:在左侧，可以在两组点之间拟合一条曲线，以便对它们进行分类。在右边，这是不可能的(在合理的范围内)，因此SVM将使用维数来实现这样的分割。例如，如果右边的节点有一个表示页面上方高度的第三维，那么所有橙色节点可能都在蓝色节点之上，从而很容易进行清晰的分离。资料来源:Bryon Moyer/Semiconductor Engineering

图神经网络，简称GNNs
gnn有助于图分析。例如，给定一个带有一些标记节点的图，GNN将尝试标记未标记的节点。

社交媒体图就是一个很好的例子，其中每个节点代表一个用户，边缘代表连接。可以对图进行操作，根据特征相似性对节点进行聚类，对节点进行分类，预测还没有连接的连接，以及许多其他操作。

大量的现象可以用图表来说明，因此gnn可以在许多应用中发挥作用，包括其他网络可以处理的图像和语言。但它远不止于此。例如，分子可以表示为原子和化学键的图形。

当图发生变化时，一些gnn可以像cnn一样动态学习。当新节点添加到图中时，其他节点需要完全重新训练。

图卷积网络，简称GCNs
GCNs可能被认为是一种GNN和CNN的交叉。如果您将图像视为像素的二维图，那么CNN非常适合处理该图。但对于更一般的图形，它就不那么适用了。

这就是GCNs的工作。它们做了类似的聚集节点及其邻居的工作，但内核或过滤器不必对每个节点都相同。你可以把它看作一个广义的CNN，尽管数学是不同的。类似地，有些人将CNN称为特定的GCN。

也就是说，GCNs比cnn更新，是一个活跃的研究领域。

图匹配网络，简称gmn
图匹配网络用于评估不同图之间的相似性。gmn不是取两个图，在每个图上运行计算，然后比较结果，而是以裸形式在两个图上工作，例如，在进行计算之前找到图中相似的节点。它使用所谓的交叉图注意力来关注关键节点。

生成匹配网络，简称gmn
是的，这是一个与之前的GMN完全不同的GMN。

生成匹配网络根据分布创建样本。事实上，这是GAN的另一种更直接的方式。实际上，他们创建一个图，然后将其与参考图进行比较，最终试图在多次迭代中减少比较误差。

gmn在概念上比GANs更简单，但在实践中，比较生成图和参考图所需的计算是艰巨的。Venkatesh说:“gmn需要基于样本比较两个概率函数(‘真实’和‘生成’的概率函数)。”“这很难做到。实际上，他们不容易建立和训练。”

因此，虽然GANs可能看起来是一种更间接的做事方式，但它们的使用远远超过gmn。

结论
许多不太常见的推理方法仍在被广泛研究。开发得更好的系统可能更侧重于数据中心，而不是在边缘运行的系统。因此cnn和基于变压器的网络比其他网络更有可能出现在边缘，而且它们也是吸引人的网络专用硬件平台．

的首席执行官Geoff Tate说:“学术界的技术探索了很多东西，然后最广泛的部署是在数据中心。Flex Logix，主要研究边缘推理。“我们看到的几乎所有东西都是各种各样的cnn。”

早期研究中的网络可能会进入主流，也可能不会，要么是在数据中心，要么是在边缘。如果他们中的任何一个达到了cnn的普及程度，那么我们可能会看到努力的调整硬件对他们来说也是如此。

相关的
开发人员转向模拟神经网络
用模拟电路和光子学代替数字电路可以提高性能和功率，但这并不是那么简单。
编译和优化神经网络
低功耗，提高性能的推理。
无矩阵数学的神经网络
加速人工智能和提高效率的不同方法。
如何测量ML模型的准确性
对一个应用程序足够好的东西可能对另一个应用程序不够。