竞争的汽车传感器融合方法

随着今天的内燃机被电动/电子车辆所取代，机械系统传感器将被大量的电子传感器所取代，以实现高效操作和不同程度的自主驾驶。其中一些是新的传感器将单独运行，但许多突出的传感器将需要将其输出与其他传感器的输出相结合或“融合”，以实现其价值最大化。

现在还不明显的是传感器融合将发生在车辆中，或者数据将如何组合、排序和优先级。

“很明显，今天的汽车有太多的传感器数据，而没有足够的处理能力，传感器融合将会发生，”该公司IP销售和营销副总裁Andy Jaros说Flex Logix．“这将如何实现仍在发展中，将取决于汽车系统设计师对每款车型的决策。”

来自摄像头、雷达和激光雷达等传感器的数据流可以通过多种方式组合起来，以提供新的或更可靠的信息。处理发生的位置有助于告知网络架构，但它也会影响人工智能(AI)如何对数据进行操作。

“原始数据预计将与摄像头或其他传感器融合，然后进入感知引擎，以产生可能更好的结果，”福特汽车高级总监Willard Tu说赛灵思公司．

关于这将如何运作，目前还没有普遍的共识，但有很多意见。公司高级产品营销经理约翰•斯旺森(John Swanson)表示:“说实话，我觉得现在有点宗教色彩了。Synopsys对此．

传感器融合基础
自从大约10年前的大型电子传感器推广以来，传感器融合一直很流行。这个想法是通过结合几个不完美的传感器的结果，可以得到一个更好的整体测量。一种看待它的方式是，一个传感器可以掩盖另一个传感器的弱点。例如，今天将加速度计、陀螺仪和磁力计的数据结合起来，可以提供更好的位置和导航信息。

“(在汽车上)传感器融合的目的是建立对车辆的感知，就像它是人一样，因为人类有视觉、听觉和嗅觉，”法国汽车安全公司的技术产品经理Thierry Kouthon说Rambus．“汽车没有这个，所以我们必须用具有相同精度的东西来取代它。”

在电动/电子(E/E)车辆中，大多数焦点都集中在与视觉相关的传感器上:摄像头、雷达和激光雷达。它们远不是车辆上唯一的传感器，但与性能相关的传感器——监测车辆运行状况的监视器——更有可能自行运行。

这些监控器很可能会进入电子设备本身，尽管它们与内燃机(ICE)所需的监控器完全不同。“在内燃机中，至少有15个外部监控器监控发动机本身，”奥迪汽车总经理Gal Carmel指出proteanTecs．“但在电动汽车中，你不再有发动机了。你有一个电池，你有一个电池管理系统。所以你看到的趋势基本上是把所有这些显示器都放进电子设备里。”

视觉传感器要复杂得多，它们必须处理的情况——变化的光线、天气、广泛的感兴趣的物体——意味着每种传感器都有其优点和缺点。这个想法是，通过将它们一起使用，人们可以以一种或另一种方式覆盖所有情况。

图1:使用传感器融合的场景理解和导航。来源:西门子

原则上，传感器融合可以以几种不同的方式工作。对于一种方法，来自所有传感器的所有输出一直被组合在一起，在不同的情况下以不同的度量。在另一种情况下，系统主要依赖于一个传感器，比如摄像头，除非环境对摄像头数据的质量有疑问——比如低光。其他传感器选项作为冗余，在需要时介入。

卡梅尔说:“如果你观察所有这些传感器，是的，它们提供了某种重叠或冗余，但它们也提供了不同的能力。”

其他数据也可以融合进来，比如GPS和地图数据。车辆的位置可能是由GPS与视野中可识别的地标和车道标记融合确定的，但它可以与地图数据进行交叉检查，以确保计算出的位置是合理的。

Rambus的Kouthon表示:“这也可以一直用于V2X连接，也就是交通灯和铁路道口等基础设施。”“其他汽车也可以与你沟通，并告诉你，‘小心，你试图超车的卡车前面有另一辆车，你看不到。’”

所以数据融合的方式有很多，而融合的质量是一个区别。

所有的传感器都需要吗?
当然，每个传感器都代表一种成本，所以使用更少的传感器成本更低。虽然目前有三种主要的视觉传感器，但对于这三种传感器是否都能持续下去，人们意见不一。从3个传感器减少到2个的能力特别依赖于传感器融合和AI的质量。

该公司产品营销总监维克拉姆•帕特尔(Vikram Patel)表示:“当有足够的数据，人工智能足够智能时，其中一个传感器就会被淘汰。英飞凌．“如果这些原始设备制造商只使用雷达和摄像头就能摆脱困境，我想他们会的。”

的激光雷达当然，制造商有不同的看法。帕特尔补充说:“那些人认为我们可以只用激光雷达和雷达，或者便宜的雷达，而不用摄像头。”

最高级别的传感器融合的目标是使用最好的数据做出决策。这对于那些需要做出生死决定的高级系统来说是至关重要的——高级驾驶辅助系统(ADAS)或L4/L5自主系统。决策的质量是游戏的结局。这具体意味着什么取决于一个人在车里的位置。

在局部层面——比如，在汽车的一个角落——这可能意味着决定视野中的物体是什么。对于侧面摄像头来说，这可能意味着识别潜在的行人或标志。在汽车前部，摄像头可能需要看到更远的前方，并能够计算接近速度。

在“全球”层面，这必须满足ADAS和自动驾驶的需求。这是将来自汽车周围的输入信息结合起来，以创建车辆环境的完整图像。“所有的测量，行人，物体检测，地标的理解，车道标志最终导致一个简单的碰撞时间，”Carmel说。

三种类型的处理
要做到这一点，需要三种不同的计算，这可能很容易混淆。首先是视觉数据的简单处理。这是基本的图像处理工作，如颜色转换、去除噪声和规范化数据，所有这些工作都旨在提高下游计算中使用的数据的质量。

英飞凌的Patel表示:“与我交谈过的每个客户都在谈论将纯原始ADC或FFT数据转换为更智能或更清晰的数据。“噪音已经被过滤掉了，只有峰值被击中，然后你把它移到你使用的管道中。”

接下来的两个问题可能有些交织在一起。融合结合来自不同来源的数据，和机器学习(ML)使图像有意义。严格来说，传感器融合不是ML, ML也不是传感器融合。但是数据可以在呈现给ML引擎之前进行融合，或者ML可以在预融合的单个数据流上使用，然后ML结果可以融合在一起。

融合架构还必须能够处理车辆外部产生的数据。“智能城市基础设施(与内部汽车传感器融合)存在类似的问题，”该公司自动驾驶和ADAS高级总监大卫•弗里茨(David Fritz)表示西门子EDA．“一方面，它检测物体并对它们进行分类。我如何将这些信息以一种容易被消费的方式输入到车辆中?如果他们发送原始数据，他们消耗的5G带宽将是惊人的。想象一下纽约市的一万个十字路口，所有这些路口都同时传输着tb级的数据。它会淹没整个系统。这是不可能的。”

“让我们假设他们想出了一些压缩的方法来做到这一点，”他继续说。“然后，车辆本身将不得不增加计算能力来解压数据。”

让外部源通信车辆可以使用的对象元数据将简化数据融合。

图2:左侧是传感器数据直接传输到中央处理器的场景，要么完全原始，要么经过一些小的数据清理。它可以通过一个连接到区域控制器，也可以直接连接到中央处理器。在右侧，传感器数据在区域内进行本地分类，元数据被发送到中央处理器。资料来源:Bryon Moyer/Semiconductor Engineering

如果这成为处理事情的方式，那么所有这些对象共享都需要一些元数据标准化。弗里茨说:“我们还没有发现整个行业有任何标准化的动向，尽管这是不可避免的。”“它很可能是由一个事实上的标准驱动的，这个标准由谁先走出来，谁拥有最多的市场份额。”

然而，这并不是一个需要解决的大问题。“对于有限数量的事情，你实际上必须有标准化的元数据，”他补充道。“每一项的数据量都很小。”

这一切将发生在哪里?
那么考虑到所有这些计算工作，它将发生在车辆的哪个位置呢?这是驱动车辆架构设计的考虑因素之一。所谓的“分区”架构似乎已经成为一种首选方法，即使不是所有制造商都支持。

宝马汽车解决方案总监Robert Schweiger表示:“下一代架构是区域架构节奏．“在汽车的每个角落，都有一个区域控制器，负责管理安装在该物理区域某处的传感器。”

这个想法是，相当多的工作是由控制器在汽车的有限部分完成的——比如说，左前面的部分。这项工作的结果可以被传送到中央计算机，在那里，局部的片段可以被组装成一个全局视图。

帕特尔说:“我们看到带状建筑的发生仅仅是因为复杂性。”“在分区方案中更容易管理和移动数据。”

围绕这一问题的讨论往往集中在原始数据和处理过的数据之间，但这并不是那么明确。帕特尔警告说:“‘原始数据’这个词可能会导致很多混淆，因为不同的人对原始数据有不同的定义。”“这不是你今天看到的完全经过处理的对象数据。但您将看到部分处理完成，结果将通过以太网管道发送。”

其他人也同意。“如今，大多数传感器融合都是面向对象的，而不是原始的，”Tu指出，“面向对象的方法对性能的要求更低。原始融合将需要更复杂的处理，而且技术是新颖的。”

分区方法通过以模块化和可扩展的方式分配工作来简化系统。例如，低端汽车可能有两个区域，而高端汽车可能有六个或更多。将分区控制器作为一个通用元素，更有可能使控制器体积更高，并且需要控制成本。

Synopsys的斯旺森说:“这可能是一个中间立场出现的地方。”“所以在分区架构中，你要做某种程度的抽象，把它交给中央处理单元。”

一些原始设备制造商——尤其是那些从头开始的新公司——可能会选择一种架构，将所有事情集中完成。但至少到目前为止，这些原始设备制造商还没有试图吸引广泛的市场，而是专注于高端市场。

“如果我是特斯拉，我主要生产高端汽车，”帕特尔说。“我真的不关心低成本汽车的规模。通用和大众——他们会在乎的。”

他并不是唯一一个看到这种分歧的人。Kouthon说:“传统的原始设备制造商，比如宝马、戴姆勒和福特，都是老趋势。“现在有一种新的趋势——Aptivs、特斯拉、Waymos——它们对事物的看法截然不同。”

例如，特斯拉使用了一个极其强大的中央处理器。Kouthon说:“这个芯片接收所有的摄像头信号、超声波信号和雷达信号，并进行集中处理。“他们的理由是，我们将在中央处理器和传感器之间的线路上提供冗余，以降低故障的几率。”

这种线路冗余反映了他们在车载数据传输和向电子设备供电方面所做的专有工作。通过使用环形架构，可以实现这样的冗余，而无需在网络中增加两倍的电线。

当然，可靠性对汽车来说很重要。斯旺森指出:“如果你只使用一个中央处理器，你就把很多可靠性放在了一台计算机上。”

也可以说，并非所有决策都需要集中做出。斯旺森说:“当地可能可以做出很多决定。”“你不需要超级计算机来控制雨刷的频率。”

什么会进入这个区域?
考虑到区域方法，我们现在可以解决在哪里做什么的问题，尽管供应链中不同利益相关者可能会有一些推拉。

例如，相机制造商可能希望通过自己进行分类，然后提供对象元数据来进行区分。至少，它们可以在ml前和融合前进行大量的图像处理。

区域控制器可以实现传感器本身不执行的任何本地处理。可能是信号清理，可能是局部ML，也可能是局部传感器融合。这一决定的一个重要驱动因素是用于移动数据的带宽。在该区域进行的任何本地处理都会自然地压缩原始数据。该区域可以发送目标元数据，而不是将原始相机数据发送到中央计算机。

区域控制器可以对其视图内的对象进行初始分类。Cadence公司的Schweiger表示:“区域控制器将对来自这些传感器的数据进行预处理，并将更高级别的对象数据发送到中央计算单元。“你可以在区域控制器中进行预融合[即早期融合]，然后在中央计算机中对所有四个区域控制器进行最终融合。预融合还可以减少数据量。”

这与决定使用哪些网络来传输所有这些数据密切相关。西门子与OEM进行了一些合作，模拟了不同的设置。

弗里茨解释说:“我们做了整个汽车的三个模型。“在其中一台设备上，我们会将原始传感器数据通过汽车以太网传输到中央计算机。中央计算机将完成所有传感器融合、目标检测、分类和决策。我们做的第二件事是问，‘如果我们在边缘上做一些传感器计算呢?’这将减少约40%的网络带宽。”

在这个模型中，西门子从边缘向中央计算机发送一个3D点云。“第三种选择是在靠近传感器的边缘进行所有操作，”弗里茨说。“然后我们要做的就是传递对象的元数据——它的位置、分类、运动方向，诸如此类。我们看到，第一种情况下需要超过10 Gbps来传输所有原始传感器数据，这远远超过了当前以太网的最大可用带宽1 Gbps。只有最后两个方案被认为是可行的。我们倾向于物体融合，而不是任何类型的3D点云。”

这表明，在该区可以实施相当多的工作。但是有多少呢?区域控制器的一个重要考虑因素是成本，这可能会限制在可接受的价格点上可以包含的重型ML硬件的数量。那将是划分工作的一个重要因素。

Schweiger警告说:“从经济角度来看，你不能把最大的人工智能性能放在区域控制器上，因为硅面积太大了。”“所以这意味着你需要一个组合。”

也就是说，由于原始设备制造商试图在区域和中心找到传感器融合和机器学习的最佳组合，处理的分区方式可能仍然是专有的。Schweiger指出:“如何在车辆中分配某些任务可能是OEM的秘密武器。

或者简单地说，没有一种方法适合所有人。Cadence设计IP营销总监Tom Wong补充道:“这完全取决于制造商及其理念。“他们在核心中拥有可用的计算资源，以及他们愿意消耗的电量。”

暂时的问题?
尽管如此，仍有一种坚定的信念，即在没有限制的情况下，可以通过将所有原始数据输入中央计算机进行计算来做出最佳决策。通过压缩初始原始数据，所有的预处理都牺牲了一些信息以减少带宽。这可能不是最优的，但目前已经足够好了，特别是考虑到车辆暂时会受到带宽限制。

从这个角度来看，在我们能够更有效地将所有数据带到中心之前，将这些区域用于传感器融合和ML将是一个过渡性的事情。“目前，这些公司仍在开发非常智能的传感器模块，”Schweiger说。“但以后，这种情况将会改变，并将转向中央计算单元。”

这何时会发生，谁都说不准，因为即使我们设计了更快的网络，我们也在添加更多的数据。这表明，在未来很长一段时间内，该区域可以承载一些基础计算。

然而，如果这种转变真的发生了，它并不一定标志着地带性结构的终结。许多与传感器融合或ML无关的任务仍然可以在本地执行，而区域架构提供了一种高效而方便的方式来实现这一点。

Schweiger说:“也许有些东西不需要数据融合。“你只需要预处理一些东西，比如雷达传感器的波束形成。这是一个传感器的个人问题，它不会驱动决策。”

因此，尽管原始设备制造商试图在区域和中心之间提供传感器融合和ML计算的最佳组合，但随着时间的推移，它将迁移到中心。例如，这可能会反对对处于边缘的相机进行分类，这可能会引发相机制造商认为他们需要什么来实现差异化，而原始设备制造商想做什么之间的争论。

Schweiger指出:“一旦原始设备制造商解决了这些问题，一切都将更具可扩展性，更容易维护。“它可以有一个更干净的软件架构，因为你不需要刷新100个ecu。”

Kouthon表示了认同。他说:“有了这样一个网络，你可以把所有东西都放到中央计算机上，通过空中更新就容易得多了，因为每次你只需要更新几件东西。”

就目前而言，不同的原始设备制造商可能会在不同的地方划定区域和中心之间的界限。无论是软件还是可编程硬件，灵活性都很重要。Flex Logix的Jaros说:“关于传感器融合的许多问题，我们听到了双方的争论。“我们认为答案是使用eFPGAs为了让系统设计人员拥有一个支持两种场景的芯片，在传感器附近或中央处理器中进行融合。”

但考虑到汽车的设计，这将是一个缓慢的过程。“你将在2026年左右在市场上看到这样的解决方案，”弗里茨说。每个人都需要关注事态的发展，并在必要时准备好调整自己的策略。