在建筑智能化系统的挑战

半导体工程坐下来与杰夫DeAngelis定义边缘会是什么样子,工业和医疗业务的董事总经理马克西姆集成;诺曼,首席技术专家有限元分析软件;人工智能的高级主管安德鲁·格兰特想象力的技术;托马斯•Ensergueix高级汽车和物联网业务主任手臂;Vinay Mehta推理技术营销经理Flex Logix;和首席技术官约翰•Sanguinetti的适应。以下是摘录的谈话。本文的第一部分,点击在这里。

SE:直到最近,几乎所有的情报在人工智能系统是在云中。现在是向下运动边缘。问题是人工智能算法几乎每天都在变化。现在我们有了这些系统相连的东西,但是他们不一定要同步。情报网络,和更新的网络还是网络的设备?

DeAngelis:有一个整体的智能设备,取决于自己所处的位置。它可能是一个设备,恒温器,或者需要更灵活。我们观察的基本水平的信息需要收集的应用程序。我们能够提取某些类型的参数,而不管你什么样的智能算法叠加,这些基本信息将被要求做出决定。在某些情况下我们离开嵌入式处理器,在那里你可以定制应用程序的处理器叠加的基础上你所需要的东西。在其他情况下,我们只提供基本信息。如果更多的设备,或一个类别的设备,我们需要目标,我们可以优化一组特定的IP来定制和嵌入到的逻辑设备。所以不灵活,嵌入式,但是这是一个低成本的方式提供一个高级的智能的产品类型。另一方面,如果你需要集成嵌入式处理器,使您能够定制,根据发展需要发生什么事。所以对我们来说,重要的是所需的基本水平的诊断信息与设备发生了什么——根据它位于网络。 And then, finally, it’s this capability of providing the overlay of some type of algorithm. With the ability to start doing AI acceleration and learning, these types of ICs are becoming more prominent, as well. So there’s the ability to embed some of that technology into these devices, and you’re going to get the span from high level to more appliance-like devices.

SE:不同的应用程序?

DeAngelis:是的,它是一系列的解决方案。基本上有三类。有设备,有一些中间有OTP或MTP功能,您可以自定义的部分。然后是高端嵌入式处理器,有完整的灵活性。但这中间区域是关键,你能够提供一组核心的硬件可定制或修改最后的测试设备想要成为什么样的人。这就是我们得到规模经济和低成本的解决方案。

Ensergueix的多样性:物联网是极端的。有数百个应用程序和数以百计的片段。我们一直在试图减少复杂性的工作负载,从软件的角度比我们见过的。这是常见的在我们所说的三V的——视觉、声音和振动。振动是感知运动或质量维护。与声音,我们看到越来越多的语音芯片的设备。这是伟大的在这个时候COVID-19病毒因为你没有触摸东西被激活。和愿景,我们看到越来越多的检测或检测的情况下,由一个小装置,当地决定。你可以扩展这方面的硬件设计。我们正在建造更多的平台,您可以在cpu和转专业规模。 For example, with our NPU we can scale the number of neural network processors and we can scale the number of MACs from 32 up to 256. So if you have a base design, for each IP you can select the performance level you want. One of the big risks is that for each of new SoC, or each new ASIC, you are starting from scratch. You have to be careful about security. We feel much more comfortable having a very well-proven security architecture on the chip, and then re-using that without affecting the performance too much. For example, we have been promoting the platform security architecture at Arm, which is really all the best practices to build a secure device that will be connected to the Internet.

格兰特:用例是非常重要,所以是什么样的网络可以运行。如果是面部识别之类的工具,或它是一个机器人,消毒的街道,这些是相似但不同的。的能力是足够灵活运行上百神经网络,他们不断改变,能够使用离线工作流程重新编译,那么也许推动设备将至关重要。我们跟很多人的价值是在他们所能做的平台,你给他们。他们的区别来自。我们曾经开玩笑说,每当一个客户来跟你说话,你会说你可以做这个或者你可以做的。但下次他们进来的时候,他们的性能需求增长了一倍,因为每次他们去想,“这很有趣,我们可以这样做。我们从来没想过。”,他们将做他们的研究,开始增加他们的需求。这是伟大的,因为我们现在看到的是市场变化和发展在我们眼前。 That opens up lots of opportunities for everyone.

常:如果你看看模型3或模型S特斯拉,这些实际上是智能设备。我们在这一趋势的开始。特斯拉是专注于上传推理引擎。它已经训练。它已经可以看到和听到,做各种各样的感应。但它没有当场做主动学习。所以对于智能设备,在接下来的两到三年重点将服务器上的推理引擎及其适应性。一旦你找到你可以适应它,训练它,经过两到三年的焦点将转向主动学习。这意味着你需要一个更有效的毫升或DL引擎对这些设备可以使他们主动学习的环境。这是一个非常重要的特点。 If you have a sensor or an intelligent device on Mars, it takes a long time for a signal to come back to Earth. But your survival may be determined in 10 seconds. You need to make some changes on the spot. That’s one of the new trends that will show up in a couple of years. People will be focusing on the active learning part of the intelligent device.

Ensergueix:我们已经看到一些预测性维护项目的一种传感器,学习什么是电动机的正常条件功能,例如。你插入一个很小的设备,有单片机,它需要最初几小时或几天学习什么是正常振动在不同的环境中。所以我们开始看到第一个的第一步,我们很兴奋地看到更多的学习能力。

梅塔:我们真正关注的推理部分,从螺母和螺栓的角度来看是远比训练更简单。训练神经网络需要支持反向传播而不仅仅是推理。所以使用粗糙的近似,你需要做一半的工作量就做出决定,而不是做出决定,然后学习什么是更好的决定。特斯拉的致动器,你还让设备操作和模型在一组选项。致动器,你需要将数据发送回数据中心为了重新训练模型。它可以告诉当事情是重要的,可以做出更好的决定,但在这一点上无法作出更好的决定。仍然需要一个数据中心做处理。但从实际的工作负载,我们看到的是有很多的脑回的网要求同样的基本计算单元操作,很容易由一个广义矩阵乘法算法可以很容易地分解为一组用积累的数量。如何建筑师这些乘积累会给你更好的性能对于一些特定类的矩阵乘法在卷积2 ds和一些DSP过滤器,但也许与其说LSTM(长短期记忆)语音识别单词生成类的人工智能。所以在哪里应用程序限制或有界足够的,如果我们给这个客户,他们可以做一些有用吗?但也不能无限,所以你不能建立一个架构来做这工作。

来源:Flex Logix

SE:你在运动设计的东西和事情可能随时间改变。所以它需要相当复杂的即使是低成本。你与真实的世界,现在你必须处理漂移和老化。同时,这一切都被集成到别的东西。这些互相冲突的碎片一起去怎么样?

常:如果你看一个智能设备打包系统,你需要的数字和模拟部分的设计。每一个都有不同的问题。一个是二进制,另是一个连续变量。在设备方面,他们有不同的需求。共存的传感器和致动器,然后将智能添加到设计中,需要考虑系统的角度和设计每个组件共存。包括考虑环境因素,如是否运行在40°、155°。利用的工具还是在北极环境?你必须pre-think所有这些条件在设计的系统级或chip-package-system水平。当然,使用多重物理量模拟,现在很发达,你可以考虑大多数物理模拟。这意味着你不需要真正在恶劣环境中测试它。 You can do the testing through the simulation. And then, through the learning of the simulation, you can build a reduced order model of the machine learning inference engine model. Then you can upload it to the intelligent device, and that goes with that device to a deployment location and becomes part of that device. It’s a grand scheme for the intelligent device, and if you can do some local learning, that’s even better. But you also need to have built-in security to make sure no one can crack the device and then get into into your network to the servers for the whole company.

Sanguinetti:我们一直在讨论所有这些需要这些功能,我们可以看到在一个边缘设备在未来。包括机器学习和智力和反应在一个动态的特定应用程序的需求。我们也有一个巨大的问题,可以解决我们已经知道的东西。如果你看变压器的维护,你可以把传感器附近的变压器和分析气体了,告诉时失败。它不会立即失败,所以你有时间发送数据到服务器并去解决它。但这并不需要机器学习。这是已知的功能是什么,废气的成分是什么。有很多类似这样的事情,真的不需要那么多的情报。然而我们仍然没能让它在经济上可行的实现这种功能的电子系统。如果你能做一个合理的价格,你可以每一个电力公司的电网自动化。 There’s a gulf between where we are today and where things are going. In the EDA world, we’ve always understood that making a leap too far was was never a good idea, while with incremental change you could succeed. We may very well be in a situation like that now.

相关的材料
相互矛盾的要求的优势
成本、电力和安全与情报的必要性,局部处理和定制。
为边缘计算加速
新方法管理和处理数据出现,与标准进行比较的方法。
内存问题的人工智能芯片边缘
内存中计算变得非常关键,但记忆和流程节点是什么?