建立你的第一个人工智能芯片吗?先读这个

当人工智能(AI)功能进入新市场,选择IP AI SoC集成提供了关键的组成部分。但在IP之外,设计师们找到一个明显的优势在利用人工智能技术,服务,和工具,以确保设计按时交付,以高水平的质量和价值最终客户为新的和创新的应用程序。

在过去的十年中,设计师们已经开发出硅技术先进的深度学习数学以足够快的速度运行的探索和实现人工智能应用,如目标识别、语音和面部识别等等。机器视觉的应用程序,现在常常比人类更准确,是一个关键的函数驱动的新芯片系统(SoC)的投资来满足日常应用人工智能的发展。

除了视觉之外,深度学习是用来解决复杂的问题,如5 g 5 g蜂窝基础设施和简化操作任务的实现通过能力配置,优化和自我修复,称为自组织网络(儿子)。5 g网络将添加新层的复杂性,包括波束形成,额外mmWave光谱,载波聚合,和更高的带宽,所有这些都需要机器学习算法来优化并适当地处理数据在一个分布式系统。

行业巨头和数以百计的创业公司都专注于驾驶AI功能到许多新的soc和芯片行业,从云服务器农场家庭助理在每一个厨房。SoC设计是使用更多的例子从生物学不仅仅是他们目的复制的神经网络。超越他们的竞争和不断改善他们的产品,设计师们拥抱的概念使用的先天与后天的设计,设备的基本构建块和设计工具、服务和专业的芯片。

培养AI soc超越硅设计
AI功能添加到SoC凸显了对人工智能与今天的SoC架构弱点。视觉、语音识别、和其他深度学习/机器学习算法是资源匮乏的时候上实现soc non-AI应用程序的构建。选择和集成IP清楚地确定一个AI SoC的基线有效性,这使得“DNA”或自然,AI SoC。(见:一个人工智能SoC的DNA)。例如,引入定制的处理器,或阵列的处理器,可以加速在人工智能应用程序所需的大量的矩阵乘法。

然而,培养设计元素会影响部分功能在硬件或有IP可以优化更有效和优化AI出类拔萃。设计过程优化、测试和基准SoC的性能需要工具、服务和/或专业知识,优化人工智能系统。培养在设计过程中设计与定制和优化可以最终确定SoC在市场上的成功。

使用工具、服务和专业知识,提高功耗,性能和成本正变得越来越重要,因为AI soc继续增加复杂性。设计师需要一个广泛的培养方法来加速他们的设计过程和硅的成功。

排名前三的AI设计的挑战
依靠传统的设计过程不会导致高性能、市场领先的人工智能解决方案,每个公司的目标。设计师必须考虑一系列广泛的半导体解决方案。一个2018年Semico市场报告指出,“训练和推理都是架构不断完善到达最优配置提供适当水平的性能。”

数据中心架构包括gpu, fpga、asic cpu,加速器,和高性能计算(HPC)的解决方案,而异构的手机市场是一个大杂烩芯片上的加工解决方案,比如isp、dsp、多核应用程序处理器、音频和传感器处理子系统。这些异构的解决方案与专有sdk杠杆有效适应AI和深度学习能力。此外,汽车市场看到大变化基于预期的自治能力。例如,带宽和计算能力的5级自主soc支持性能远远超过2 +自主soc水平,可以预期。

这些人工智能设计中的三个一致的挑战包括:

• 增加专门的处理能力,更有效的执行必要的数学矩阵乘法和点等产品
• 高效的内存访问处理所需的独特的系数权重和激活等深刻的学习
• 可靠、行之有效的实时接口到chip-to-cloud,传感器数据,加速器主机连接

机器学习算法的一个最大的障碍是内存访问和处理能力的传统的SoC架构并不高效。例如,流行的冯诺依曼体系结构一直批评作为人工智能不够有效,导致一个种族建立一个更好的机器(即。、SoC系统设计)。

那些幸运的第二代和第三代人工智能有针对性的soc设计添加了更高效的人工智能硬件加速器和/或选择将功能添加到现有的互联网服务供应商和需求方,以适应神经网络的挑战。

然而,简单地添加一个有效的矩阵乘法加速器或高带宽内存接口被证明是有用的但不足以成为市场领导者的人工智能,加强概念的具体优化在专门为人工智能系统的设计。

机器学习和深度学习适用于各种应用程序,所以设计师大大不同他们如何定义特定的硬件实现的目标。此外,机器学习数学的进步日新月异,使建筑灵活性很强的要求。垂直整合的公司,他们可以设计的范围缩小到特定的目的,提高优化,而且适应灵活地匹配另外,进化算法。

最后,基准在人工智能算法和芯片仍处在起步阶段讨论的林利微处理器报告”AI基准仍不成熟”:

“几个流行的基准程序评估CPU和图形性能,但即使是人工智能工作负载越来越普遍,比较人工智能性能仍然是一个挑战。许多芯片厂商报价只在每秒浮点操作或执行率峰值,integer-only设计,操作每秒。但像cpu,深度学习加速器(国防后勤局)经常操作远低于峰值理论性能由于瓶颈在软件,内存或其他设计的一部分。每个人都同意性能应该测量真实的应用程序运行时,但他们不同意什么应用程序,以及如何运行它们。”(2019年1月)

有趣的新基准开始解决特定市场。作为一个例子,MLPerf目前解决培训AI soc的有效性,并计划扩大。虽然这是一个伟大的开始解决挑战的基准测试,培训AI soc是许多不同的市场的一个小子集,算法框架,和压缩技术,影响系统的结果。

另一个组织,AI-Benchmark,重点是基准AI功能手机。手机使用少量的芯片组,一些与初代版本,不包括其他人工智能加速度比传统的处理器,而是实现AI-specific软件开发工具包(sdk)。这些基准测试表明,利用现有non-AI-optimized处理解决方案没有提供所需的吞吐量。

处理器或阵列处理器的选择通常有最高评级操作每秒或一个特定的频率为一个特定的工艺。处理器性能也是由每条指令的能力。另一方面,接口IP(作为PCIe MIPI, DDR)和IP(逻辑库,内存编译器),基础水平最大理论内存带宽和数据吞吐量,接口的IP,通常由标准组织定义的。

然而,一个系统的真正性能不是这些部分的总和;它在于能够正确连接处理器,内存接口和数据管道连接在一起。总系统性能是由于每一个集成块的功能以及如何优化这些。

而设计师处理器取得了快速的进步,sdk,数学和其他贡献AI SoC的设计方面,这些变化的能力做一个横向比较困难。

压缩边缘的角色
压缩将边缘的人工智能的一个关键组件,如在相机做实时人脸识别,汽车自主导航,或数字视频进行超分辨率图像。市场似乎只是挠的表面使用压缩。理解算法的类型和水平的精度一定程度的压缩使,是困难的,也需要迭代的试验和错误。

人工智能驱动器合作设计
虽然硬件/软件的作用共同设计讨论多年AI soc可能会放大实际实现的重要性。合作设计一个人工智能芯片的概念并不局限于硬件和软件。记忆和处理器还需要协同设计专门为AI。

例如,合作设计是明显存在多少谷歌tpu / Intel Xeon系统中主机处理器,这是配置和软件程序手册中列出的单板计算机。

使用不同的AI框架相同的人工智能算法的另一个例子是合作设计可以提高效率。每个框架的输出需要不同的记忆能力。理解记忆能力之前,硬件设计使设计者优化,区域,和性能。

合作设计的人工智能对内存和处理势在必行。例如,深的学习算法需要存储的重量、激活和其他组件。有趣的是,激活深层学习算法可以重新计算每次减少内存存储。尽管额外的处理资源或额外的处理必须占时间,好处在内存中储蓄和功耗可以大于惩罚。同样,in-memory-compute为AI soc技术未来可能发挥作用。

这些合作设计的例子是由新投资在人工智能和这一趋势将继续需要新的和额外的专业知识。

合作设计的权衡系统架构需要由人工智能实现专家可以优化。专家先验知识不仅对各种东西的工作原理在之前的设计中,但是他们也有一个很好的理解适当的工具和服务,更好的使设计的成功。在人工智能设计过程中,设计师采用模拟器,原型、和建筑探索能够快速实现最佳设计实践。

例如,让我们来一个芯片组,必须执行一个非常困难的任务在一个非常有限的预算。管道在SoC的带宽必须足够大,将数据从处理器内存或其他系统组件没有利用大量资源。管道越小,可以添加更多的处理器和内存。管道越大,处理和内存可用越少,这直接影响人工智能性能。这些权衡可以用模拟器建模、原型环境和建筑探索工具给人工智能设计关键的市场优势。

培养AI soc的设计
开发过程对soc继续变化,但本质上包括标准系统规范和建筑设计等阶段;逻辑和功能电路设计;物理设计,验证和分析;制造、包装和测试;和硅后验证。新的AI功能可以添加复杂性在每个阶段。集成IP清楚地规定一些理论上的最大功能,但如何设计是培养使实现蠕变接近理论最大值。

系统和架构设计
因为传统架构为AI soc是低效的,发现了系统规范要求越来越多的建筑探索优化设计。建筑服务更重要,因为传统的架构已经被认为是低效率的。

此外,AI soc正在修改代代相传,利用有经验的设计团队优化和定制。深入学习算法包括许多重量和理想都存储在片上存储器存储节省电力和处理努力,和定制优化SRAM编译器对权力和密度是一个明显的趋势。

人工智能对安全漏洞提供了新的挑战。人工智能的数据往往是私人的,开发的算法是非常昂贵的,腐败的代价只是出现了可能是灾难性的最终结果的准确性。实现一个完整的信任的根子系统或安全的飞地可以是有价值的,但可能需要额外的咨询,以确保特定的违反保护基于配置文件定义的威胁在SoC的早期发展过程。

电路设计
机器学习数学需要标量、矢量和大规模矩阵乘法,专用处理器设计可以优化具体的算法。定制的处理器是一个最流行的IP为新的AI SoC发展的解决方案。工具来设计定制的处理器都成为内在价值确保门口的优化水平杠杆和重用和跟上生态系统支持自定义所需的处理器。例如,RISC-V已经得到普及;然而,它只定义了一个指令集,很多时候需要额外的特殊指令处理机器学习,以及必要的编译器和优化的具体设计实例化。设计的成本、支持和软件实现必须由内部设计团队和支持的长期计划。有工具和支持管理这对成功的实现可以带来极大的好处。

开发一个AI SoC需要一些市场上最具创新力的IP。例子包括快速等新技术的采用HBM2e,PCIe5,CCIX和最新的MIPI。培养这些标准的设计实现技术,设计师需要先进的模拟和原型设计解决方案支持早期的软件开发和性能验证。这些工具被采纳更定期为AI,又由于不成熟和复杂的设计。

物理设计、验证与分析
预先构建的AI SoC验证环境中只能利用那些AI SoC发展的经验。因此,设计服务和企业设计第二和随后的一代芯片固有优势第一来者上市时间。设计师可以依靠服务作为一个有效的方法利用AI SoC技术来加快产品上市时间、释放内部设计团队专注于差异化的功能设计。

硬化服务接口IP,它是另一个优化工具,使得低功率和低区实现。硬化IP使房间在SoC宝贵的片上存储器和处理器更好的人工智能性能所需的组件。

最后,基准不同的AI图轻松快速地有专业知识和建立工具链。手为基准测试活动写这些图表可以是一个艰巨的任务,但很必要了解如果SoC设计可以提供所需的值。依靠处理器工具有效基准这些图表和迅速加快了系统设计,确保它符合要求。

测试和包装
AI soc正在使用的一些最先进的FinFET过程节点来提高性能,降低功率,提高片上内存和计算能力。但是,从测试的角度来看,最新的流程节点测试模式的数量增加,并增加潜在的缺陷。测试集成、维修和诊断功能帮助设计师克服可测试性障碍。工具,如Synopsys对此DesignWare星内存系统和星等级制度是有效地解决人工智能测试的需要。

等新技术HBM2和未来HBM2e需要特殊包装专业知识和能力,导致需要特殊撞计划和其他包装相关专业知识的发展人工智能出类拔萃。

结论
除了硅的设计,设计师们发现一个明显的优势在利用人工智能技术,服务,和工具。在一起,他们确保按时交付的设计和高水平的质量和最终客户价值,解决处理,性能和内存带宽要求。