机器学习成为硅谷IP

新的机器学习(ML)架构不断出现。到目前为止，每个新产品都实现在待售的芯片中，与主机处理器、内存和加速器板上的其他芯片一起放置。但随着时间的推移，更多的这种技术可以作为IP出售，可以集成到片上系统(SoC)中。

这一趋势在最近的会议上很明显，越来越多的公告涉及到可能有或没有物理芯片可用的IP。

“对于那些想直接进入机器学习并使他们的产品更智能，只需购买具有现有工装流程的人工智能芯片，并将其添加到现有的架构平台上就更容易了，”ibm ICW业务线的首席工程师丹尼·沃森(Danny Watson)说英飞凌．“展望未来，当他们在整个产品组合中做出平台决策时，他们就会将架构直接集成到SoC中。”

这可能会加速ML在专用应用程序中的采用，并且它可能是ML硬件提供商进入市场的更快途径。虽然这可能会为系统设计人员增加选择，知识产权随之而来的是一系列的挑战。

全新的东西
虽然新技术每天都以这样或那样的形式出现，但大多数引进的技术都是进化的。通常，它涉及到更快的版本，新的通信协议，或不同的数据存储方式。一些全新的东西出现了，增加了以前不可能的功能，这种情况远不常见。

这就是为什么ML的影响如此巨大。虽然这项技术背后的想法已经存在了一段时间，但直到最近，硅技术才使ML能够在以前被认为是不可行的规模上部署。ML是一个全新的概念，而不仅仅是一种不同的做事方式或整合方式。它使解决以前无法处理的问题成为可能，并使系统设计师能够构思出直到最近都无法想象的设备。

但作为一个新概念，目前还没有最好的方法。该行业一直处于研究如何使其发挥作用的早期阶段，有许多可调整的部分。因此，有许多解决问题的不同方法的建议和方案。

这也不是一个万能的解决方案。对一个问题最有效的方法对另一个问题可能不是最优的。挑战在于弄清楚有多少是专门化的，有多少是通用的。

芯片行业上一次处于这种情况是在几十年前——也许是SSI逻辑或微处理器的可用性。从那时起，一切都得到了改进和更好的整合。几十年后，这些功能作为IP被广泛使用。

新的“城里的新孩子”
现在，机器学习所必需的技术已经可用，这个行业似乎正在绘制一个与逻辑相似的轨迹，但在一个极度压缩的时间尺度上。第一个巨大的挑战是如何最好地实现ML功能。与一开始的逻辑一样，这意味着执行ML功能的单个芯片的可用性。系统设计人员可以将它们作为加速器，或者与主CPU并行(如果芯片包含主机)，或者使用它们的CPU作为主机来控制ML任务。

这些芯片最初设计在专用于ML的板或模块上。由于最初的重点是云，具有PCIe接口的整个板可能专用于ML训练或推断。但是，随着ML作为IP而不是单个芯片提供，ML功能可以被包装到soc中，这反过来又减少了电路板上的总体占用空间。

但随着行业越来越多地转向芯片和分解大型soc，这种商业模式可能适用于一些初创公司。“如果你现在还没有硬件，那么你可能会战略性地说，‘好吧，我将把它作为IP出售，’”该公司推理产品销售和营销副总裁Dana McCarty说Flex Logix．

图1:新的神经体系结构在很大程度上已经被实现为自己的芯片，并被包含在电路板上(左)。现在产品开始在芯片上包含IP(右)。资料来源:Bryon Moyer/Semiconductor Engineering

云与边缘
ML IP的推动力部分取决于ML将在哪里实例化。最初ML的重点是云或者其他数据中心在美国，加速器板已被证明是一个很好的解决方案。考虑到未来的分解数据中心，在那里可以根据需要提取资源，情况就更加如此了。在云中，单独使用ML功能更有意义，这样只需要将所需的内容捆绑到特定的项目中。如果它被构建到每个服务器中，那么当服务器处理不需要ML的项目时，它可能处于空闲状态。

因此，数据中心的形式因素是一种约束。“云和数据中心有更多的固定基础设施，”腾讯人工智能和软件产品营销总监尼克·尼(Nick Ni)说AMD．“你不能仅仅改变PCIe的外形尺寸。已经部署了大量的数据中心服务器，所以你必须在限制范围内生活。”

随着推理转移到边缘那没必要。“边缘是完全不同的，”倪说。“灵活性更大。但它在今天也很少被采用，因为硬件中有太多的随机性。在汽车、无人机和医疗应用领域，这一比例只有2%。硬件市场仍有巨大的未开发潜力，到目前为止，没有人是赢家。”

对于边缘来说，集成到SoC中是有意义的。与基于服务器的应用程序不同，这些应用程序倾向于关注特定的问题，因此可以定制解决方案。边缘设备往往很小，所以拥有更少的包也是有意义的。与专用芯片相比，SoC设计人员可以更直接地管理ML IP块的功率和性能。

通常有两种类型的ML芯片——一种用于训练，带有反向传播功能，另一种仅用于推断。在可预见的未来，培训很可能是一种基于云的活动，因此面向培训的机器学习架构的IP版本是否有意义并不明显。

嵌入式ML函数更可能专注于推理。在某种程度上，这样的设备可能希望随着时间的推移改进其模型，数据将被发送回云端进行进一步的训练，而不是尝试在边缘设备本身进行训练(除了limited增量式学习)．如果新的训练技术出现，这种情况可能会改变，但对于目前的主流来说，知识产权可能仅限于推理。

标准的影响
转向IP通常是由限制某些功能的创造性的标准所推动的。例如，在实现PCIe时，差异化不能依赖于添加新功能，因为这些功能本身是在标准中指定的。所以区分是基于这些特征是如何实现的。速度通常在标准中被捕获，所以更快通常与可用的头部空间有多大有关。这使得功率和成本成为硅基产品差异化的主要特征。

但另一个巨大的机会在于易用性。特别是，基于标准的IP提供了一组定义良好的实现选项，如总线宽度、安全性选择或可选特性。如果一家公司能够让设计师更容易地实现自己的IP，那么在竞争中就不会有太多的价格压力。

但受益于知识产权的不只是标准。英飞凌的Watson指出，以音频市场为例，基于芯片的实现已经逐渐转向IP，以实现更大的集成，尽管这并不是标准限制可用选项的结果。

介于基于标准和完全特殊的IP之间的IP块已经成为事实上的标准，通常是由于市场力量。例如，Arm处理器并不是如何实现处理器的行业标准，正如RISC-V越来越受欢迎所显示的那样，但它们已经足够普遍，以至于人们期望某种类型的处理器可以作为IP使用。

处理器是最重要的soc，因此根据定义，SoC必须为处理器使用IP，而不是专用处理器芯片。soc试图尽可能多地集成到一个平台架构中，该平台架构可以利用足够多的设计来实现足够多的销量，以偿还开发芯片的巨大成本。

与cpu一样，嵌入式系统中的ML处理器也是包含在SoC中的逻辑候选。它们大多是纯逻辑构建的，因此没有明显的技术壁垒。因此，架构师很自然地会将它们拉到SoC中以获得更好的性能和更低的功耗。

这使得ML IP不同于基于标准的IP。“以蓝牙为例，你有特定的公司提供IP，”沃森说。“这很难，因为规范已经定义好了，你能提供的创新是有限制的。对于机器学习，我们不具备这一点，每个人都认为他们可以做得更好。”

这并不是说标准最终不会进入ML领域。Watson说:“这是一个标准没有推动实现的领域。”“这是一种落地的东西，现在标准正在努力追赶。因为它是一个颠覆者，每个人都想确保当他们创造IP和标准最终得到定义时，他们是提供IP或专用芯片的大玩家。”

sdk使问题复杂化
虽然实现机器学习的新硬件思想仍在以很高的速度涌现，但机器学习的作用软件堆栈变得越来越重要-有人会说甚至比硬件本身更重要。

“软件是如此复杂，以至于硬件只是整体价值的一小部分，”麦卡蒂说。

AMD的倪毅表示同意。“这个领域全是软件工具，而且非常复杂，”他说。“人们往往过于关注硬件，而无法创造出效率提高10%的IP。如果你问任何人工智能客户，他们今天使用英伟达的最大原因是软件。他们的软件成熟且陈旧。软件投资常常被新进入者低估。”

但购买芯片的公司也越来越需要这些投资。英特尔战略和增长高级经理Anoop Saha表示:“制造芯片永远都不够西门子EDA．“你需要在上面加上软件堆栈。它很昂贵，在看到芯片并获得收益之前，你必须投入大量资金。”

随着ML芯片数量的增加，竞争主要取决于在给定硬件上实现ML功能的难易程度。它越简单，日常设计师就越能使用它。对专业数据科学家的依赖越多，硬件的影响力就越小。因此，虽然软件开发工具包(SDK)已经成为任何ML产品的重要组成部分，但在提供芯片时更容易处理。芯片成为它自己的独立世界，这些工具可以独立于它所进入的系统的其他部分运行。

不过，ML并不像IP那样简单。芯片供应商卖给系统构建者，而IP供应商卖给芯片构建者，后者再卖给系统构建者。Saha说道:“如果你是一名IP开发者，你便不知道你的客户将如何使用你的IP。“你的客户可能不知道它将如何在市场上使用。”

SDK也是如此。SoC构建器不会使用SDK，但系统构建器会。这意味着这些工具必须通过芯片设计者传递给系统构建者。芯片级SDK可以假设硅的配置，但假设ML IP是带选项出售的，面向IP的SDK必须有额外的灵活性层，以考虑不同的可能实现。

此外，系统构建者将从SoC供应商那里获得这些工具，而不是直接从IP提供商那里。该SoC已经有了自己的SDK，因此SDK的ML部分自然会包含在SoC SDK的其余部分中。因此，IP提供商需要确保其ML SDK具有适当的钩子，以便集成到更大的工具集中。SoC供应商还需要努力将IP工具包装到自己的集合中，以使其看起来无缝和实用。这使得拥有一个易于集成的SDK几乎与拥有易于集成的硅IP一样重要。

沃森说:“我们来设计一下包装，让它看起来像是我们送的。”“在本质上，它利用了来自这些IP提供商之一的SDK，但这是从用户那里抽象出来的。”

ML - IP有进一步的并发症。SoC验证意味着调试必须经过深思熟虑。Saha说:“你必须确保，如果客户站点出现问题，你能够将错误追踪到你的IP。”“你的物理设计将变得更加复杂，你可能会遇到设计闭合的问题。”

即使在系统中部署了芯片，这个问题仍然存在。“假设你在实地发现了一个问题，”他补充说。“你如何将错误带回你的IP?一旦你出现了错误，你如何重现这个错误并修复它?”

努力、价值和边际
集成ML函数可能特别具有挑战性。SoC构建者可能会想要定制IP的零碎部分。如今，一个包装严密的解决方案不太可能出现，因为还有很多新的方案在出现。因此，IP供应商可能有一个高度接触的过程，包括与客户合作修改基本IP。

Saha指出:“如果你正在创建IP，并且必须为每个客户定制，那么这将是一个失去价值的主张，并且会变得非常痛苦。“为特定的用例定制它需要大量的手工工作。”

IP供应商越容易定制IP，每次销售所需的工作就越少，业务的可扩展性也就越大。他说:“你必须建立一个容易定制的东西，可以很容易地分成不同的架构、不同的性能和带宽水平，这样你就不需要经常定制它。”“最重要的是，你应该能够跨越不同的技术来构建它。”

从好的方面来看，知识产权可以以较低的风险提供更多的市场准入。萨哈说:“你瞄准的是不同的市场。“这是一种更简单的变现方式，不那么复杂，出错的几率也更小。”

但保证金问题更为复杂。“制造和生产芯片的公司总是能够获得更多的价值，因为他们处于最前沿，他们可以设定价格，”他继续说。“对于知识产权公司来说，这将变得更加困难，除非你有一些与众不同的东西，可以收取更高的费用。”

ml解决方案提供商的规模和概况也可能影响芯片vs. IP的决策。大公司将能够向广泛的客户销售芯片，而小公司通过向大公司出售IP可能会获得更好的吸引力，从而间接获得他们更成熟的客户群。

沃森说:“最好尝试将IP提供到SoC硅中，因为它的覆盖范围最大。”“你不会得到同样的利润，但在10件商品上获得2美元的利润更好，还是在10万件商品上获得50美分的利润更好?”

芯片和IP都有机会
一些提供知识产权的公司也提供了一个芯片——涵盖了机会的两面。萨哈说:“我看到很多公司都在做边缘推断，他们被资助设计芯片。”“但后来他们决定将其作为IP出售给不同的SoC供应商。”

一些产品将只提供IP，尽管这些公司通常会制造测试芯片以验证其设计。“几乎所有设计IP的人都有一个测试芯片，”Saha指出。

当然，芯片和IP的经济状况是不同的。例如，随着新型存储器的出现，DRAM和闪存对专用存储器芯片的新进入者竖起了几乎不可逾越的障碍。另一方面，嵌入式内存IP可以提供许多DRAM和闪存无法提供的价值。

以类似的方式，ML芯片和IP需要能够在经济上证明自己。当然，在这种情况下，没有高度优化的在位者受到威胁，所以新进入者将相互竞争，而不是一个根深蒂固的敌人。价格点还没有合理化，这一过程可能会对芯片和知识产权都很混乱。

所以游戏行业绝对不会进入全ip模式。“我看到了芯片和IP，”Flex Logix的高级营销总监山姆·富勒(Sam Fuller)说。“两者我都看到很多。”

但IP作为一个选项的出现也表明，ML正在被集成到比以往任何时候都多的功能中，而且这一趋势没有放缓的迹象。