音频、视觉进步加强集成电路设计权衡

飙升的音频和视觉传感器数量大大增加设计芯片和系统的复杂性,迫使工程师可以影响性能的权衡,权力,和成本。

总的来说,这些传感器生成这么多数据,设计师必须考虑如何处理不同的数据,如何区分,如何优化特定的应用程序。权衡包括从不间断,一直在倾听功能,屏幕上的时间长,必须平衡要求,延长了电池的使用寿命更长。最重要的是,有持续的数据安全性的担忧,以及增加需要上下文感知的人工智能算法。

估计有140亿智能传感器将连接到互联网在2025年底,乔·戴维斯说,产品管理高级主管对权力的完整性西门子EDA。”,这些只是传感器连接到互联网,这是成长最快的,因为它是可以获取数据和做一些事情。这不仅仅是观察并拍照。做一些数据的处理。”

例子:索尼公司的设备可以识别乱穿马路的人没有侵犯隐私。“它执行动作识别,然后发送一个信号,”戴维斯说。”,因为所有的传感和本地处理,这不是派人的脸在互联网上,所以它可以保护他们的隐私。在建筑方面,供应商在这个空间传统上一直处于非常成熟的节点和优化这些技术。很多技术仍然存在,但现在处理需要,他们不得不嫁给这些传感器和更先进的技术。”

在许多情况下,权力的预算是非常有限的,因为它需要运行在一个或多个电池。“设备越来越电池集中想要运行在非常小的电池,”普拉卡什Madhvapathy说,产品营销总监Tensilica音频/语音需求方节奏。“用户希望看到很长的电池寿命和连续操作一整天,所以人们。设备需要不间断的,为方便用户。他们也需要智能理解用户的意图在一个特定的时刻,没有被告知明确要做什么。”

与此同时,这些设备需要更多的计算能力,因为他们需要处理更多的数据。“用例过去现在演变成更复杂的用例,终端消费者的期待更多的设备比以前,“Madhvapathy说。”,一直是一个积极的反馈循环,设备本身显示更多的能力,这已经引起了制造商和最终消费者的预期。这导致需要更多的计算能力在设备本身。”

Madhvapathy观察到这两个因素似乎相互矛盾。“你想要在一个案例中,不间断,电池寿命长。在其他情况下,您正在寻找更多的计算能力,也就是消耗电池寿命。挑战成为这两个如何共存,制造商或OEM如何创建一个产品提供两全其美?”

这是明显的车辆越来越多的自主权,这需要数以百计的上衣(每秒tera操作)。”在这种情况下,电力/能源,有一点点的权衡你必须做,但你不希望使用相同的产品你用在低端领域,”博卡阿莫勒说,产品管理和营销主管Tensilica愿景和AI需求方在节奏。“在一个典型的产品开发周期中,你开始细分市场确定产品关注的范围为低,中,高的产品,或好,更好,最好的类型的方法。很难有一个产品可以跨整个频谱。可以广泛的跨度范围内,但是如果你正在谈论的东西去一个不间断的能力,但也必须是可重构的无人驾驶车辆运行的一般不会发生。如果真的发生,它将过度设计和不符合要求的任何部分。”

这适用于音频或视觉部分。曾经是离散正日益被集成到一个系统或子系统。

“更大的扩散的人工智能,我们开始看到很多合并这些产品之间的家庭,”博卡说。“在不间断的空间,它开始开发人员说,“我只是想做音频处理,如关键字定位和关键字检测。“现在他们添加一些视觉处理人类存在检测,例如。采取进一步的,开发人员不想两个不同的“诱导多能性”这种类型的综合处理。他们想要一个IP,可以做视觉处理以及音频处理,这是低端的一面。在高端方面,它更多的是,我有一个检测系统,基于摄像头这人,或ADAS /步行/路标检测,但同时我也做短程雷达处理。我不想放在一个单独的块或IP块处理。我只是想要一个块的处理,即使它的多。”

通讯问题
芯片架构师的另一个问题是沟通能力图片和视频很快为特定的应用程序。

显示今天明显比过去更高的分辨率,进而要求更高的带宽。问题在于PHY速度没有跟上提高分辨率,说Hezi萨尔州,产品营销主管手机、汽车和消费者IPSynopsys对此。这是明显的增加的带宽需求AR / VR和移动应用程序,需要增加PHY带宽。至少现在,解决方案包括压缩标准,如VESA DSC和VESA VDCM。

引入了“视觉无损压缩的市场,这将减少对速度的需求phy和更快的转换,使较低的权力,因为你不需要发送相同的数据,”萨尔州说。“你可以压缩,数据仍然或多或少地在同一个球场每一点权力是有效地控制。这种压缩被全面实施,HDMI,显示端口,MIPI,用于移动以及在汽车。”

最初反对这种方法是由安全问题的担心失去的像素,或者如果一个像素不是见过或第二个毫秒。在有多个意见这个问题时,屏幕在一个汽车司机安全通常不习惯,和压缩可以节省大量的资源。

“然后,架构的问题变得简单,”萨尔州说。“权衡下来,‘什么是帧缓冲会实现吗?你会使用多少内存内部的SoC与外部多少东西?你需要多少车道的沟通?功率预算是什么?“所有的这些都是由大量的带宽需要驱动显示。”

由于应用的广度,A / V芯片和IPs必须高度器用户和特定于应用程序的实现一个最优系统。这意味着,当系统架构师设计的芯片,他们必须考虑的各种工作负载运行,并选择需要满足性能的计算模块和权力配置文件。

“我们最大的挑战是解决涉及更高的数据速率,“Rami塞提说,副总裁和总经理瑞萨电子。“你将会看到越来越多的计算能力走向边缘,做尽可能多的和没有移动到云的一切。即使在网络设备,我们将看到更多的局部计算的需要。我们甚至看到更多的人讨论计算在内存中,只是将处理尽可能靠近数据。”

与此同时,这些计算元素越来越专业。“我们使界面运行得更快,更有效,更可靠,”塞提说。“但是,有机会把额外的功能。所有的数据通过我们的芯片,在CPU和内存之间。我们可以添加更多的价值与安全在数据处理方面,和潜在的数据压缩算法”。

其他人也同意。“如果你想要通用的硬件,如CPU,你可以把一切在x86和一只手臂CPU、“Madhvapathy说。”,但它不会功耗不会compute-efficient,因为他们不是设计为特定类别的工作负载。你永远不会只设计任何一个工作负载。你设计一个或两个类的工作负载,以便你不关注的范围。但至少在工作负载,需求方最终会被更高效的处理,无论是从时间和功率比主cpu。这就是为什么这一趋势在过去十年已将处理从cpu到dsp进行有效的处理,对视觉和音频和演讲。”

相同的权衡和变通是发生在消费电子领域,,哪里有要求更大的计算性能和更长的电池寿命。“传统的工程师工作优化低功率或高绩效,“罗迪厄克特说,高级营销总监Codasip。“向前为数不多的方法之一是硬件专业化以满足特定的应用程序的要求。25年前,这是通过创建一个ASIC。但asic缺乏灵活性,许多应用程序需要编程来处理不同版本的标准,如编码,或处理固件更新。”

因此,尽管通用处理器可以处理广泛的软件任务,更节能。“如果他们使用专门的软件,很可能许多处理器的特性,因此电路,将未使用或未充分利用的,”厄克特说。“相比之下,如果一个软件的工作量是异形识别计算瓶颈,然后可以设计专门的处理器地址计算的瓶颈,但不包括不必要的功能。这样的设计应该是精益的电路,以及提供良好的性能。”

不过,这就产生了其他的问题。从头创建一个专门的处理器需要多学科的方法技巧的许多公司,它的一个原因RISC-V打开指令集获得牵引力。它简化了设计通过提供一组基本的整数指令,可选的扩展,并规定团队创建自定义指令。“另一个简化是当处理器许可使用处理器描述语言,”他说。“核心描述可以修改和调整在一个较高的水平,和RTL验证环境,和软件工具链可以合成的高层描述。”

更多的工具来
不过,西门子EDA的戴维斯维护没有特别好的工具在系统层面因为很多这是移动得太快。“没有机会在市场上开发这些模型和部署。回来的日子,一切都是在数据建模的书,一切都在网上,你可以把你的系统在一起,做所有的早期系统的权衡。但这些功能发展如此之快,这些模型并不可用。人们通常使用电子表格之类的做这样的分析。有些能力,但当你得到IC级,每个制造商,每个设计公司不得不接触和合作伙伴与他们的铸造厂理解权衡的环境。有很多的工作,会发生在这些地区为了使这些权衡。”

而工具提供商正在研究工具,需要今天能够做这个分析。“人们的梦想能够坐下来,拿出最优解决方案。但像往常一样,当你向前突出,今天你要设计这个芯片架构。明年他们将设计它,它会让工厂和部署一年之后。我希望三年后的未来,”戴维斯说。

为了应对这些问题,答案是越来越多地使用某种类型的异构集成先进的包装。可以有最先进的处理较低的泄漏在数字方面,和结婚,到模拟电路可以在流程开发最意义的几何图形。

“很多这些历史上成熟的节点企业所做的所有这些传感器和放大器和降噪——所有这一切需要先进的加工,他们引进的先进技术在低功率的计算资源,”戴维斯说。“现在我们讨论的是系统级集成,所以2.5 d / 3 d栈变得更具挑战性。数字死,以及一个或多个模拟死了,因为如果我要把在一个传感器和一台收音机,我可能有三种不同的技术包中的所有放在一起。我们看到很多。我们也看到硅光子学,尤其是在计算中心。计算中心用来没事的,只要你没有融化硅。的态度,我们可以插到墙上。谁在乎呢?他们在乎现在,当他们有几十万到上百万的这些核心建筑,与大型冷却塔顶部,因为它是产生大量的热量。”

架构,使用die-on-die或package-on-package将更多的共同解决一些问题。“这取决于你指的是哪个应用程序,“说Synopsys对此萨尔河。“有时候房地产是很重要的,所以你用package-on-package。有时延迟是非常重要的。有时你想做这样的本地计算。然后你把DDR的死亡。这样做会提高性能,减少延迟,提高对权力。这意味着当你处理视频数据,它可以更有效地完成。某种die-to-die接口更复杂的系统将变得越来越普遍。汽车ADAS是一个候选人。 Mobile is a candidate on the SoC side. Even in an application like an IP camera or network video recorder, if you are a company that owns the whole thing — you have the AI engines in the cloud and you’re providing the full service, all the electronics, and you’re also manufacturing the SoCs — then you potentially could do an SoC that can go to the IP camera. You also may be able to connect two dies using die-to-die technology, so you can do the network video recording that connects all the IP cameras together.”

提高效率的先进的音频/视频系统,硬件是必要的,非常专业。“希望这在智能手机和电脑已经完成,提高电池寿命在所有这些设备——不管音频,视觉,PC, ADAS,等等这些系统可能是——你可以完全运行,系统没有100%,“Aakash贾尼说,技术营销主管Movellus。“否则,你只是要杀了你的系统。这使得切换不同的权力领域的想法,创造完全不同的领域力量,无论你是做波前分析一分钟和你完全推测下一个第二。你会很快有你的系统在动态功率开关。如果没有,这将转化为实时延迟。”

这远远超出音频/视觉系统。“当平衡增加了智能芯片,必须平衡电池寿命、“贾尼说。“你需要非常细粒度的功率控制,根据不同的工作负载。电力系统在不同工作负载和电源管理需要平行,你可能会看到,这样你不仅浪费周期通过燃烧力量。”

最大的一个设计约束和设计师正在努力处理问题是电压下垂或红外下降。“因为时钟与任何系统交织在一起的他们,因为他们如此大的权力因素,他们有一个非常个人与电压的关系会枯萎,”他解释说。”这些系统切换,尤其是高频系统中,智能手机,电脑,甚至在数据中心中,有大的波动。时钟网络不仅是一个因素,但它被设计也可能是一个解决方案。”

结论
大局,所有这些低级的挑战必须设置对一个长期的观点,和设计必须是可伸缩的。

“今天你所做的不是你明天要做什么,”注意到保罗•Karazuba Expedera营销主管。“从设计的角度来看,大多数的公司硬件一代不感兴趣。他们感兴趣的许多代维持增长的公司。今天我做在音频或视频领域可能是4 k的相机。我可能会在一个8 k相机在几代。你需要有一个架构,尺度——而不仅仅是建筑,但潜在的设计语言和软件生态系统内工作。你不想要去一个完全不同的体系结构与每一代所以你需要一些,你作为一个系统工程师,系统架构师,或者芯片设计有信心,你的解决方案要能够规模和你的供应商将能够支持未来需要你的产品。

将人工智能添加到混合,增殖不仅广泛在音频/视频应用,事情变得更加复杂。

“根据市场,你必须今天开始设计的算法不存在,这是完全违反直觉,“Karazuba说。“在汽车,例如,如果你今天设计芯片,它不上市三年了。它必须是市场的10年。在这13年,神经网络,它是处理不会保持不变。先进的神经网络,和自定义神经网络,和网络不存在的今天,这些都是系统工程师需要做出决策,所以他们可以尝试设计为不存在的东西。”

- - - - - -埃德·斯珀林对此报道亦有贡献。