为功率和性能定制芯片

Sandro Cerato，电力与传感器系统事业部高级副总裁兼CTO英飞凌科技他接受了《半导体工程》的采访，讨论了随着边缘技术、人工智能和更多定制解决方案的推出，芯片设计的根本性变化。以下是那次谈话的节选。

SE:芯片市场开始分为三个不同的领域:终端、边缘和云。这有什么影响?

水蕨:我们正在制造的产品或我们必须设计的产品都在不断进化。不管你是在做一个传感器，还是只是一个计算部分传感器或者是连接到云端还是边缘。你需要知道这三个，因为如果你改变了其中任何一个，它都会影响到所有的功能。当你设计一个产品时，你是在设计一个功能。例如，如果你有气体传感器，它们在网络中校准。这是我们的一大关注点，因为现在我们必须为网络运营商创造知识。

SE:所以你是在考虑一个更大的系统，而不仅仅是芯片，对吗?

水蕨:没错，你无法逃避。如果你想想人工智能，它是在云或者在边缘？在边缘，有许多不同的人工智能。有很多不同的功能，取决于它们的位置。这让我可以和我的吸尘器交流，吸尘器连接到一个网络上，这个网络的一部分是非常智能的。

SE:这也意味着每一个设计都是非常独特的。设计团队还必须提高性能，限制功率，通常使用不同的组件组合，并延长使用寿命。这些目标不容易结合在一起。

水蕨:这并不容易。例如，我们正在设计一个集成天线的雷达芯片。我们正在处理天线，无线电和快速接口，如SPI(串行外围接口)。那你怎么使用这个雷达芯片呢?它们是60千兆赫的小芯片大小。如果你看了手册，读了500页，你仍然不知道如何制作它。所以对我们来说，做到这一点的唯一方法就是做一个使用雷达的应用程序。但是使用雷达的应用不仅仅是创造一个微控制器，也许还有人工智能。我们为此开发了人工智能，因为它可以实现雷达可以探测到的东西。所以在新冠肺炎疫情期间，我们为慕尼黑和新加坡的食堂开发了一个应用程序，它会告诉人们什么时候可以进去或出去，这取决于入住率。 We had to develop everything, including the software that counts people. In the past, we would develop a reference design that was one board. Now we have to develop everything, including the software that counts the people, the dashboard, the complete system. That even includes software in the cloud. We get data from other sensors. We use recalibration measures. And now, we also have to understand all the blocks and develop the training software for the AI, the overall AI infrastructure, and make that available to Amazon or to Alibaba, for example. The expansion is incredible. Even with power tools, you could add Bluetooth. But where is the Bluetooth connected? What kind of information is given to the cell phone or to the cloud? You have to learn everything and then decide what piece of the business you want.

SE:这无疑会成为一个更大的问题。但是当你这样做的时候，你有定制能力吗?你能否以一种模块化的方式来构建它，这样你就可以出售部分解决方案或全部解决方案?

水蕨:所以如果你想想雷达这样的设备，定制是在软件中。我们在德累斯顿有一个数据采集实验室，用于人工智能培训。我们有一台与雷达配合工作的照相机。相机使用标准算法，然后你将其分类并与你从雷达获得的图像结合起来。然后你存储它，我们有数据集管理。我们用来自相机的信息分类过程来训练我们为无线电选择的神经网络，然后我们开发用例。这可以是一个手势，或者有人进入房间并四处走动，或者可以涉及更多的人。您必须使客户能够在他们的应用程序中使用它。有些人用它来监控办公室办公桌上正在发生的事情。其他人则将其用于移动设备。 The piece of hardware is always the same, but all of these applications are software. That’s how we develop in a more modular way. We have an infrastructure. We develop applications on that infrastructure. Data is a big topic, and we have to standardize the way that we collect data. If we don’t do that, we cannot manage it.

SE:有不同的数据类型，你必须划分流量和优先级。然后你还必须在漂移，干扰，老化和安全问题的背景下看待它。这是怎么做到的呢?

水蕨:是的，有很多问题。你可以用传感器融合把相同的信号源组合在同一个盒子里，或者你可以把所有这些都组合在网络里。在一天结束的时候，你组合的方式只会改变地方。您可以在云级别上组合所有这些东西，也可以在方框中组合它们。有了警报系统，你可能想知道是否有人在打破窗户。为此，我们将压力传感器和麦克风结合在一起。如果你打破了窗户，你改变压力，你的过滤器就可以分析声音，以确定有人打破了窗户。但是使用相同类型的传感器，您还可以检测窗口是打开还是关闭。如果你只有声音，你无法分辨玻璃碎了是因为它掉在地板上，还是窗户碎了。我们也可以把雷达和超声波结合起来，或者和飞行时间结合起来，我们可以提高精度。 This combination can be local, it can be on a network, or it can be in the cloud.

SE:那校准呢?

水蕨:如果你放CO₂建筑物周围的传感器，或者你在城市的路灯上安装其他类型的传感器，你拥有的传感器越多，你就越能依靠平均这些测量数据来校准。一旦你了解了功能和老化的影响，你就可以开发这些算法。如果你在建筑物中安装雷达传感器，在白天你可以用它来确定房间的占用率。如果你下载了一个无线更新的不同软件，你可以改变功能。它可以成为一个报警系统或其他东西，它可以与摄像机相结合。一旦雷达探测到移动，摄像机就会打开。然后你的人工智能部分开始进行识别。算法或软件可以不时地更新，通常是在无监督的训练下进行。训练可以在云中完成，然后在边缘上使用，神经网络不需要改变。

SE:这引发了一些有趣的问题。如果你将一个应用程序与另一个应用程序进行比较，那么某些应用程序的老化是否有所不同?它是否以不同的方式利用传感器。还有更多的安全问题吗?

水蕨:安全是一个大话题，也是一个尚未完全解决的问题。在典型的通信安全中，有各种身份验证方法。有些更便宜，有些更有效，所有这些都在不断发展。但如果你想想当你部署人工智能时，它会让边缘更加自主。通过通信系统，最终你通过高层通信。这意味着每一个错误的命令都可能在边缘产生更大的后果。想象一下在工厂中运行的自动引导车辆(AGV)。你给它下命令，比如“从A点移动到B点”，在B点有一个人来确保它工作。但假设你使用5G将机器直接连接到云中的服务器，云中有一种病毒可以越过所有的防火墙，告诉AGV该去哪里。这可能是一场灾难。 So how you secure this — either in the cloud or on the edge to make sure you are not creating problems — is not resolved. On the edge, you don’t know what happened in the cloud. You can authenticate that the cloud is good and the communication is good, but you may not detect a problem. One solution is to have agents. You can have security agents that run on the cloud that talk to other agents at the edge.

SE:这些代理是做什么的?

水蕨:它们定义了一个安全的操作区域。你在一边定义一个安全的操作区域，在另一边定义一个安全的操作区域，它们交换通信。您可以在一天内多次更改固件。在过去，你有一个应用程序，它在整个生命周期中总是做同样的事情。如果你改变了软件，你就改变了功能，你就得到了带有新功能的更新。当你把一个产品投入市场，你就会得到一个新的版本来解决问题。对我来说也是一样物联网设备。但现在，他们是AI物联网，这使他们能够增加功能的数量和他们能做的事情。同样的钱，你能得到更多。还有一个人工智能部分纯粹是在软件中，因为现在我们正在学习如何减少代码。所以现在你可以使用人工智能算法对气体进行分类，它可以在低成本的ARM6处理器上运行，具有自主性和多种功能。

SE:但现在你还需要了解潜在的交互和优化，对吗?

水蕨:是的，这就是衰老的原因。气体传感器的老化是很重要的，因为这会改变精度。首先，你需要描述这些设备的特性，这样你就可以补偿老化。要做到这一点，你需要知道电学行为，这样你就可以校准它。我们计划在触摸传感器上做同样的事情。你可以通过网络和云来做，你就有了这些校准的服务。这是用来感知的。电源也有老化的问题，我们在开关电源中看到了这一点。你可以精确地校准这一点，但你也需要明白，设备的其他部分是可以改变的，你也需要一个算法来补偿这一点。

SE:当芯片投入使用时，你需要了解所有可能的交互作用，因为它通常是更复杂系统的一部分，对吗?

水蕨:是的，我们正在转向更多数字类型的组件，这比模拟系统有了巨大的改进。我们已经销售了超过2亿的适配器充电器数字控制器。这是传统的模拟计算，我们得到了百万分之几的回报。这些回报大多是用于漂移或处于规范边缘的产品。由于它们的使用方式不尽相同，其中一些出现了问题。对于模拟器件，随着器件的老化，会有漂移偏差。当你进入数字领域时，门槛会更高，所以你的质量会更好。在模拟中，你还必须有足够的裕度来补偿漂移，并允许你重新校准。

SE:在过去，我们也曾经很好地区分了主板上的内存和处理器。现在我们开始看到内存处理和近内存处理，以及各种不同类型的记忆。这对你的设计有什么影响?

水蕨:我们现在正在设计一些基于Arm的M55的产品，这是一个RISC处理器和AI加速器的组合。在此基础上，我们添加了另一个小得多的块来优化内存并预处理信息。因此，内存不再只是一个大块。它现在是你产品功能中不可分割的一部分。如果将内存放置在离处理器太远的地方，就会消耗大量电能，最终会导致性能问题。所以你建立了非常近的记忆，并根据神经网络进行定制。这是一种与标准化系统完全不同的方法，在标准化系统中，您优化不同块的配置并将所有内容连接到总线上。你不再把内存看作一个大块。现在不同的功能有不同类型的内存。为了安全性，您还必须考虑不同类型的内存。

SE:这些努力有多少是围绕AI展开的?

水蕨:在我的研发机构中，70%的人专注于人工智能。当我们开始这项工作时，我们将人工智能应用于电力和传感器。在这一切开始的时候，我们认为我们将拥有1tb的数据，高计算量，以及具有加速度的机器。从那以后，我们了解到，根据我们要做的事情的类别，它可以用几兆字节的内存完成。人工智能的小型化部分是你选择的神经网络类型和压缩数据的工具的组合。我们发现，一个特定的人工智能应用程序实际上可以免费适用于我们目前正在付费的应用程序。如果你想想气体传感器，例如，如果你在我们的石墨烯传感器中寻找三种气体，我们只使用5kb。神经网络中有两条指令可以进入低成本的ARM处理器。甚至M0也可以用。通过使用模拟，你可以在软件中做什么，你量化什么，你压缩什么，这都有很大的影响。

SE:这也意味着你能够很好地理解问题，对吧?

水蕨:绝对的。如今，两家从事物联网工作的公司的区别并不在于工具，现在每个人都可以使用人工智能或模拟工具，甚至是技术人员。这是对应用的理解。然后你就会意识到你需要使用什么特征来训练你的神经网络，你也会了解神经网络的复杂程度。在这个过程的最后，您还知道在不丢失信息的情况下可以压缩多少数据。因此，实现人工智能的关键价值在于理解应用程序。与应用程序最接近的人是能够使用少量内存构建小型神经网络并使一切正常工作的人。有很多语音分类数据可用，但你找不到雷达，例如。我们必须为此创建一个数据库，这个数据库有一个值，因为它对我们知道我们需要的特性进行分类。今天，如果你有一部高清电影，你可以在大屏幕上看到所有的细节。 But if you put the video in a watch, you don’t need the same level of information.

SE:你如何确定你需要什么?

水蕨:在过去，我们向一家公司销售组件，该公司负责开发应用程序。现在我们站在客户面前，但我们不一定知道客户想要什么。它的技术含量不能高到只有工程师才能使用。如果你谈论用户体验，我们谈论的是直觉。我们必须进入一个不同的层面，学习用户方法，这是新的。工程师和用户之间存在脱节。现在我们也必须向较小的公司销售，而不仅仅是通过分销商。过去我们去了三个客户的参考设计。现在我们有成千上万的客户，他们直接与我们联系，我们正在询问他们需要的产品。

SE:那么设计方面有什么变化吗?因为它不再仅仅是硬件或软件的问题了。这是一个多维度的团队。

水蕨:是的，你必须定义将所有这些东西组合在一起的方式，并使它们对你自己和客户来说都易于使用。例如，从赛普拉斯收购后，我们得到了一个叫做可编程SoC的产品。所以你有标准的块，你可以配置不同的功能。此外，还有一个具有可配置FPGA的微控制器底座。你可以想象你可以用它做多少事情，1万个单位很好，甚至可能是100万个单位，但在那之后你需要做别的事情。在这里，你真正关注的是总拥有成本，在这种情况下，重要的是为特定市场开发应用程序所需的时间，而不是芯片的成本。你需要一个图书馆。它必须是有组织的，必须有一个系统来改变区块和调试它。