在前沿部署人工智能

普什卡·阿普特和汤姆·萨蒙著

人工智能(AI)的快速发展使得这项技术对许多行业都很重要，包括金融、能源、医疗保健和微电子。人工智能正在推动一个数万亿美元的全球市场，同时帮助解决一些棘手的社会问题，如跟踪当前的大流行，预测飓风和野火等气候驱动事件的严重程度。

如今，人工智能算法主要在大型数据中心运行，也就是在云中。要在边缘使用这种智能，必须将数据传输到云端，在那里进行分析，然后将结果传输回边缘——操作现场的设备，无论是跟踪桥梁强度的传感器、手机、医疗植入物还是自动驾驶汽车。

目前主要在云端使用人工智能的方法存在的问题是，它会消耗大量能源，并可能引入数据传输延迟和安全漏洞。然而，由于严格的边缘设备尺寸、成本、能源预算和计算能力限制，使边缘本身更加智能的解决方案也面临着自己的挑战。为了扩大人工智能的规模，必须解决这些挑战。

为了探索尖端人工智能挑战和解决方案，SEMI的技术管理平台-首席技术官(CTO)论坛将于7月15日举行^th聚集了22家领先微电子公司的首席技术官，包括埃森哲、先进微器件、优德、应用材料、布鲁尔科学、戴尔技术、陶氏/杜邦、EMD材料、恩特吉斯、银河半导体、GridMatrix、HPE、Imec、Lam Research、Microchip、高通、量子半导体、Resilinc、Soitec、Teradyne、东京电子和Veeco。高通公司的Evgeni Gousev博士和斯坦福大学的Boris Murmann教授两位杰出的主讲人分享了他们激动人心的想法，并与首席技术官进行了发人深思的讨论。以下是本次论坛的主要收获。

为什么边缘AI很重要

可持续性:随着人工智能应用的激增，它们需要更多的计算能力，消耗更多的能源。今天，人工智能产生的碳比航空业还多——这是不可持续的!增强边缘智能可以实现低功耗本地数据处理，从而减少能源消耗和温室气体排放。

延迟:人工智能令人兴奋的承诺之一是支持实时决策的能力。最小化延迟(延迟)是实现这一承诺的关键——自动驾驶汽车看到障碍物或医疗植入物感应到异常，必须立即决定下一步行动。边缘AI是这一功能的关键推动者，因为它可以提供快速诊断和可操作的情报。

隐私和安全:随着我们的生活越来越依赖于数字设备，隐私和网络安全正成为人们最关心的问题，这并不奇怪。个人、公司甚至整个国家都成为数字错误和恶意黑客的牺牲品。在边缘执行智能操作的能力减少了数据传输中的漏洞，提高了隐私和安全性。

连通性:5G网络和千兆以太网已经到来，但还远未普及。即使在连接良好的环境中，当视频通话变得不稳定或直接断开时，通信的局限性也很明显。这种脱节在世界各地服务不足的社区和偏远地区更为明显。边缘人工智能独立于通信网络运行，这可能会产生生死攸关的影响——例如，在偏远的农村诊所或森林深处的环境保护行动中。

多样性、公平性和包容性:这是边缘AI的一个微妙的、经常被低估的好处——它本质上是民主化的，因为它把控制权交给了在该领域操作的问题所有者。不需要依赖可能昂贵的云服务或通信网络的存在，这扩大了人工智能与世界各地人口的接触，同时为更多的创新者提供了机会。

如何让边缘AI发生

虽然边缘AI的概念并不新鲜，但要真正实现它的全部潜力，还需要付出很多努力。将强大的计算和分析能力打包在一个功率预算极其有限的小型廉价设备中是一个巨大的挑战。边缘AI需要以下推动因素才能快速发展。

系统级的方法:Gousev博士和Murmann教授都强调，边缘AI开发需要整体思维，共同优化整个硬件-软件-系统堆栈。硬件必须专门设计为能源效率和运行毫瓦的电力预算。这与目前使用硬件的方法正好相反。研究人员正在探索模拟计算和内存计算等创新方法。软件基础设施和工具必须成熟，并且需要开发特定于边缘并适应神经网络的节能算法。由于这些边缘设备将无处不在，因此在设备中设计安全性并预先消除算法中的道德偏见也非常重要。

智能数据管理:由于边缘设备的计算能力和能量预算都非常有限，因此有效的数据管理至关重要。边缘AI算法和架构需要稀疏或压缩的数据集。Murmann教授提供了一个如何实际实现这一点的例子——通过使用像素梯度而不是实际像素来保存信息，可以减少输入数据的体积。他补充说，用于模型训练的数据质量也必须提高——例如，使用来自手机的公共图像，由于故障和遮挡，往往会给系统带来“错误的训练”。

生态系统开发:Gousev博士强调了为边缘AI构建强大生态系统的重要性。他描述了他担任主席的非营利组织tinyML的活动。tinyML被广泛地定义为机器学习架构、技术、工具和方法，能够在毫瓦(或以下)功率范围内对各种传感形式(视觉、音频、运动、化学等)执行设备上分析，主要针对电池供电的设备。tinyML正在创建一个兴趣社区，并建立真正边缘AI设备在未来激增所需的意识和生态系统。

供应链实施:边缘人工智能技术需要全栈优化，包括包装和材料等供应链元素。例如，人工智能系统的成本可以通过使用创新的封装技术(如异构集成和2.5D或3D)来降低，以取代昂贵的片上系统(SoC)解决方案。材料行业必须跟上对数量和创新日益增长的需求，以实现边缘人工智能。微电子工业还必须密切跟踪材料制造的环境、健康和安全(EHS)问题以及影响技术发展的全球监管变化。

激励和发展人才:确保微电子行业有足够的人才可能是让领导者们夜不能寐的最大担忧。缓解人才短缺需要多方面的方法。该行业必须通过专注于社会公益和可持续发展的应用来激励学生。薪酬必须具有竞争力，并与早期的职业实习相结合。该行业必须将其对人才的搜索范围扩大到技术世界中已经存在的常见嫌疑人之外——它必须做出特别的努力，向高中和中学中服务不足的社区伸出援手。为这一庞大的学生群体提供令人兴奋的就业机会，并为他们提供所需的教育资源和工具，可能是解决人才短缺问题的长期解决方案的基础。从短期来看，该行业必须投资培训现有员工，使他们精通人工智能数据技术。

边缘人工智能显然，这是一种令人兴奋的承诺，即让智能触手可及，随需而动。边缘人工智能可以通过提高可持续性和多样性、公平性和包容性来促进社会公益。然而，成功取决于如下所述的几个促成因素。虽然企业将出于竞争原因继续创新，但仅靠这一点是不够的——这需要一个村庄!SEMI在竞争前领域提供了几个可以提供帮助的合作项目，包括智能数据-人工智能、供应链实现和劳动力发展方面的举措，这些项目正在应对前沿人工智能挑战，并可以发挥重要的推动作用。SEMI和tinyML合作，可以支持行业实现边缘AI的承诺。

Tom Salmon是SEMI协同技术平台副总裁。

Pushkar P. Apte，博士，战略技术顾问，并领导SEMI的智能数据- ai计划。