在汽车传感器融合的挑战

汽车工业是集中精力研究了传感器融合的最佳选择所需处理的复杂性和可靠性越来越自主车辆,为另一种的转变来自多个设备的数据是如何管理和利用车辆内部。

走向更大的自治权被证明是更复杂的比任何人预期的。有长寿命高可靠性要求零场失败。此外,这些车辆必须是安全的,安全,充分意识到自己的环境在所有天气和驾驶条件。他们需要这样做在一个点,成本是可以承受的。

把焦点集中在传感器融合为前进道路上,结合多元化和互补的传感方法。

“如果我们看ADAS更紧密地和适合在车里,我们看到许多子系统用于许多不同的功能,”首席研发工程师Pieter van der狼说Synopsys对此。“不同的技术像雷达,激光雷达和摄像头都是在一个单一的汽车使用,例如,远程雷达巡航控制、短程雷达探测其他交通,以及激光雷达和各种各样的其他功能的基于成像子系统。因为有很多子系统在车里,这是非常重要的组件成本低。”

图1:传感器融合。来源:Synopsys对此

每个传感器模式是基于不同的物理原理,不同的目标,不同的模式。他们都有不同的目的。有些重叠,但他们都需要单独功能,以及在一起。

“雷达用于探测、定位和跟踪对象在很远的距离上,”约瑟夫Notaro说,全球汽车战略和业务发展副总裁半导体。“激光雷达使用光测量范围(变量的距离)来生成一个三维图像周围的区域。和视觉传感器捕获光子通过镜头来生成一个“图像”,不仅可以帮助检测,但识别对象,交通标志、行人。实时操作对AV / ADAS系统至关重要,所以面临的主要挑战之一是“同步”的各个传感器所捕获的数据提取准确和相关信息。每个传感器获取信息所使用的技术是不同的,所以每个形态操作的深刻理解是必须有效地融合这些不同的数据集。”

汽车行业发生了显著的变化在定义电子/电气(E / E)的体系结构。最初的想法是把一台超级计算机的一辆车,用愚蠢的传感器。这是不切实际的多个原因。

“在这个模型中,我们传输的所有数据和处理数据在一个地方,”Robert Schweiger说导演,汽车解决方案节奏。“人们很快意识到,传感器不太那里,汽车内的接口,在网络连接,不提供原始传感器数据传输所需的带宽。但传感器融合最大的挑战是,每个人都做一个专有的解决方案。这就是为什么我们甚至还没有达到三级生产自主权。每个人都在追求一个不同的解决方案。”

向对象融合
汽车架构到处变化正在发生。”一段时间,原始传感器融合是一个大问题,”大卫·弗里茨说高级主管自治和ADAS soc导师,西门子业务。“我如何把这些原始数据和集中处理,这样我可以比较和对比,这个处理吗?的行业,不管我跟索尼和没关系如果我跟一个OEM或一级或二级。他们都是朝着同一个方向。有一些突破在过去两年内,允许一个全新的方法,这使得更多的工程意义。

直到最近,他们的想法是,一切需要计算复杂和艾城的一切,这会消耗大量的电力。

“他们的想法是有很多训练集中,因此,说,一群Nvidiagpu或转专业之类的,”弗里茨说。“发生了什么是一个转变的高性能、大功率、高成本的解决方案是基于arm的东西,非常小,非常低的力量,非常划算,摆脱这些通用的人工智能推理引擎,可以自动生成和自定义。现在成本1.50美元,把所有的力量在传感器。”

有两个原因,这是极其重要的。“首先,你有机会训练那些特定的人工智能算法处理的情况下,传感器,”他解释道。“例如,一个传感器可能比另一个雾的处理方式不同,所以一个中央计算机可以处理所有可能毫无意义。以同样的方式,你必须考虑随着时间的推移,这些传感器可以降低这一事实。可以为不同的相机传感器非常不同,例如,你可以训练你的算法,以适应。有很多事情在传感器水平你想处理传感器水平。第二,而不是发送这些tb的原始数据大,沉重的网络在车里,这是敏感的振动和其他事情,为什么我们不发送一个简短的小32字节的包,说,这是一个母亲推着婴儿的马车。这里是在三维空间中,这是他们领导的方向。“没有更多的意义比中央计算过程我们称之为对象?这就变成了对象融合,而不是原始的传感器融合。”

不过,一些oem厂商认为所有的人工智能算法需要来自他们。一些传感器供应商认为他们需要更多的处理能力的传感器。”,然后,在以太网方面,现在我们已经在生产1 Gbps,它可能仍然不够快,连接高端雷达传感器,“Schweiger说。“我们需要去2.5到5,甚至10 Gbps。并行,最新发布的MIPI A-PHY规范版本,它提供了第一个16 Gbps的化身。现在有很多不同的事情,人们需要找出如何利用这些东西,当他们将成为可用。”

另一个趋势是对运动非常先进的工艺技术,因为SoC的复杂性正坐在中央计算单元是巨大的。“我们看到巨大的芯片的硅区域。我们看到巨大的芯片的处理能力。我们看到各种各样的接口,你可以想象这些芯片。我们看到客户对7海里向下运动,5 nm,”Schweiger说。

传感器融合问题
传感器融合的一个重大问题是相互竞争的软件架构。包括从AUTOSAR适应开源软件像Autoware,专有的解决方案从特斯拉,Waymo,戴姆勒(Daimler);从Nvidia和商业平台,英特尔。这只是在建筑方面。

也有像Nvidia公司的硬件平台竞争,英特尔,伟世通,和Aptiv等。所有这些公司都建立自己的硬件平台,所以目前没有标准。这些公司创造一个平台,试图赢得客户。Nvidia被认为是主要的,因为它已经在很长一段时间的市场,发展其随着CUDA平台软件环境。但是当它被认为是一个伟大的原型系统,它对生产可能太贵了。戴姆勒,承诺明年s级,实现三级自主生产,自主驾驶平台的成本可以平摊在一个昂贵的豪华车。相同的定价更适中的车辆将不会如此。

添加到这些挑战专有的人工智能芯片,硬件加速器,和接口标准,以及高功率消耗和传感器鲁棒性,系统开发和自主车开始看起来更令人生畏。

数据问题
另一个关键因素在雷达和激光雷达数字信号处理芯片互连,不同处理之间来回的路线数据元素在芯片内。,目前没有标准,即使他们是必要的。

“你可以说西部,但是你也可以说有吨的创新发生的,”库尔特·舒勒说,负责营销的副总裁Arteris IP。“这是真的还是在传感器芯片还是ADAS大脑芯片。最终你希望能够解释事物象征意义而言,和有一个过渡层,这样一旦你得到这些数据,作为其传输的数据是在某种形式的通用语,双方可以理解,即使他们是两个独立的公司。我不知道多少处理需要将东西从更多的原始数据格式到一些有用的东西。最后,必须有一个数据格式”。

现在,最重要的问题数据的数量和它的产生更多的来源。“我们将来会发生数据将会更快,更高的分辨率,”史蒂文说哇,研究员、著名的发明家Rambus。“我们仍然在早期,和有许多传感器与今天的决议。但是很多人都在谈论如果他们需要做出更好的决策,需要更精细的分辨率相机,以及激光雷达之类的东西。我们需要得到数据更快。”

此外,为了做出正确的决定,有一个时间的数据需要分析。“在一个简单的例子,可能有视频摄像头,只是看着前面的一辆车,”吴表示。“有可能会落后于其他对象,并为几分之一秒被包括。所以有一个大窗口的数据有助于确定这些事情。所以问题是我们需要保持多少数据来做出一个好的决定。为了做一个好决定,需要在内存中数据基本上,你需要能够通过它迅速流分析,找出发生了什么。”

功能性问题
的上下文中所有的这种复杂性,传感器需要正常工作。但一个传感器只在理想条件下它的性能一样好。

“这意味着它是尽善尽美在晴朗的夏日,”拉里·威廉姆斯说,杰出的工程师有限元分析软件。“然而,即使在最理想的条件下有挑战的反应结合雷达,激光雷达,相机,也许也惯性导航,一些车辆的加速度计。我们还看这些传感器在实际环境的退化。假设一个雷达看到多个车辆。你想确定这是一个自行车或一个人骑自行车。系统比较,或包括,来自摄像机的信息融合,并根据是否有意义作出决定。但在各种场景中,会发生什么?例如,我们都曾经历过开车回家在下午晚些时候,西行的旅行与太阳在你的眼睛。太阳还在相机的眼睛。相机是退化的这种情况下,雷达并非如此。那么,好的方面是,有多种形式的传感。 One can enhance the other when it’s degraded. But in other situations, the degradation can be even more, especially in the rain. In the rain, the entire environment is diminished even more so. There’s raindrop accumulation on the lens of the camera, which is going to distort the image. There’s not just the precipitation from the sky, but there’s another vehicle that just drove by that blows extra raindrops onto the camera. One of the things we’ve been exploring is what happens in a real-world environment, not in the ideal environment. We can stimulate the ideal environment. But as sensors degrade, how does that degrade the performance of the system? It’s hard enough to do it with the ideal of sensors, but then it’s even worse under real-world conditions.”

这影响传感器融合。

“我们有一个严重依赖人工智能说我们如何培养一个AI引擎在这些车辆来理解他们的环境中,我们能做的,”威廉姆斯说。“但从仿真的角度来看,我们看看如何做这个培训。通常,这提出了一个人工智能引擎,大脑内的车辆。面对许多不同的情况下,它的工作原理来识别或分类场景中的对象是什么。这样做是反复,最终训练的神经网络在这个机器学习方法在人工智能引擎,理解不了这些事情。你要怎么可能火车吗?你需要做的成千上万的病例与仿真测试环境。丰田公司的首席执行官说,非常著名,88亿路英里需要旅行之前,你可以让这些车辆足够安全。这是不可能的88亿英里。Waymo和特斯拉和其他所有的数据,最后报告说他们只有约600万英里的记录。 You’ve got to do 1,000 times that to get even close. It’s important to understand the power of simulation and analysis for this kind of engineering task and software development.”

的行驶里程,可以捕获更多的场景,其中包括一个整体类的场景,永远不会被驱动的。

“假设我测试一个道路场景和我有一个油罐车一方面,校车在另一边,和我们一块冰,”肖恩·卡彭特说,对高频在Ansys高级产品经理。“我不会设置,驱动它。但在模拟,我可以粉碎尽可能多的碎片。我可以检查危及生命或property-damaging场景,我不会接近任何一个好的模拟,我真的可以检查一个主动安全系统仿真的方式我不可能做在路上。”

安全问题
安全是越来越自主车辆的另一个方面,这是一个受到很多关注,因为传动系必须连接互联网的无线更新其一生。结合安全和安全让这一切更紧迫。

“只是安全本身或安全本身留下了一个大洞,“导师的弗里茨说。“一旦我们理解可靠性和安全性,这些天在安全的最大变化是,最后人们理解,安全不是软件问题。真正的安全是一个硬件问题。我们必须能够显示没有物理路径的重要信息和外部世界——但确实需要访问的软件运行在这些信息以安全的方式。大多数黑客通过堆栈溢出,或一个机制或另一个。那些很容易关闭。但这并不阻止他们寻找的东西没有人认为,如果身体没有外面的世界,专有信息之间的联系,他们永远不会得到它。这里需要什么发生SoC本身来保证隔离外界的密码或密钥之类的东西需要一个IP安全部分。”

这是所有的一部分原因是被合并到出类拔萃,但整合导致自身的问题。“客户怎么能用于建筑系统100 ecu所有基于微控制器使过渡到统一系统?”节奏的Schweiger问道。“一个SoC巩固系统提供了很多机会让他们小,更多的权力高效,更高的性能,所以有这些选项。但是如果你从来没有一个SoC设计的,这意味着你必须建立团队,真正理解SoC设计或建筑。当然,您可以使用服务公司在建设芯片,但有人需要定义什么是必要的,必须有一定程度的理解。这就是为什么有各种各样的不同的方法。总有汽车制造商雇佣芯片设计者做自己的芯片。还有其他可能更不愿意在这一领域的oem厂商。但在一天结束的时候,如果你真的想自主驾驶,最有可能需要进入芯片设计。”

他们还需要了解如何内置安全芯片。“我们越来越多地看到人们已经明白安全的重要性,安全是其中之一,你不能设计您的系统,然后试着改造它,希望有一个安全的环境。现在当人们考虑他们的芯片的体系结构,它真的已经成为一个主要的设计要求,不仅你思考你的处理器内核必须做什么和如何你要喂它的数据,以及如何你想来回移动数据,而且集成视图的安全。”

但即使最好的努力,总会将汽车安全威胁。

“有时我们说不想模拟这些实际可能发生的事情,因为我们不认为人们有能力这样做,“说Alric Althoff高级硬件安全工程师龟岛的逻辑。“如果有人有能力,这使他们在更多的防御,DoD-type心态。我所看到的那些建筑车辆检测和训练模式,自由空间探测、边界检测,他们的帽子不是谈论明显失去一个传感器,或失去一个形态,模型如何回应。如果你给模型控制,和你不了解模型认为关于这个世界,你不能问这些问题。也许我们还没有发达的技术询问模型对其决定。我们怎么知道它将如何应对?这些事情是非常重要的。”

这与传感器融合变得尤其复杂。“在传感器融合,与富达改善我们涉及更多的形式,还有传感器的独立性,“Althoff说。“我们如何能让我们的传感器融合突然完全独立?如果突然他们的相互依存是锁在你失去一个,突然真的开始表现不正常的车辆,这是不好的。我们真的必须能够适应融合和独立,并决定关键的边界在哪里,因为在雨和雾,视觉传感器会失去敏锐度。激光雷达不可能。激光雷达知道现在这是唯一视觉传感器?系统知道吗?和它如何回应?它是激光雷达信号,告诉它进入超高保真度模式之类的? Perhaps something like a spare tire: it can’t run like that all the time.”

这是物理的一面。车内,数字硬件需要保护和防伪。“堵CAN总线的车辆和刷新固件是简单至极,所以还有一个方面,如果有人互换一个传感器,”他说。“传感器与系统验证自己吗?系统对传感器的要求是什么,“你现在诚信是什么?的相机有一个破碎的镜头吗?它可能会工作的很好,但在关键时刻,你失去真正重要的东西。有一种相互作用的物理世界和数字世界,我们必须克服在不同领域的工作。我们都需要在同一个房间里,说话。”

模块化设计并不能帮助很重要。“在电子产品设计,我们经典为模块化设计,我们设计的关注点分离,这样的这段并不影响另一块,除了通过这个狭窄的接口,”“他说。“但我们正在进入一个崭新的世界,即全面的验证和事物之间的相互关系成为一个真正的焦点。我们真的需要超越我们的心态模块化,并有双视图去哪里之间来回的经典方法和新技术,甚至附加了人工智能可以帮助我们找到我们盲目的事情,其中包括安全。一个敌对的健壮的模型需要在神经网络的训练过程或决策函数。我们需要预测的替代,我们需要预测,人们要覆盖。甚至家里爱好者要覆盖神经网络在他们的车辆与新的神经网络,使他们得到更高的性能车。”

相关的
今天的MEMS陀螺仪是“足够好”?
大的改善精度可能需要新的应用程序和市场动态。
数据策略在汽车再次转移
车辆数据怎样和在哪里获得加工继续进化。
跟踪汽车迅速变化的生态系统
关系和设计策略在通量为原始设备制造商和一级年代抓住主导地位。
5汽车的主要变化
新技术的发展将如何改变汽车工业的轨迹。
汽车传感器数据应该处理?
爆炸的数据和问题关于如何最好地利用它推出自主车辆减速。