汽车传感器数据应该处理?

全自动汽车来了,但不是最初的炒作建议尽快因为有一长串的技术问题仍需解决。

的一个基本问题仍然需要解决的是如何处理来自各种各样的大量的数据传感器车辆,包括摄像头、雷达、激光雷达和声纳。数据是外部世界的数字表示,需要实时处理使用各种不同的处理场景。问题是没有一个商定的办法,今天没有单处理器或架构,所能做的一切。

“CPU和GPU的组合是什么?副总裁兼首席策略师”维克问Kulkarni的半导体业务单元有限元分析软件。”这是一个从所有设计师目前常见的问题,因为如果你看看纯GPU处理这些信息,它消耗了过多的权力。结果,我们认为在设计社区的一个客户是创建一个GPU和CPU的组合,然后动态地分配工作负载从这三个数据流进入传感器融合网络,然后将这些信息传递给ECU。这个行业现在没有好的公认的可接受的解决方案,但各种设计团队绝对是工作。工作负载和电源管理——有太多的权力被ADAS处理。”

事实上,当涉及到处理传感器数据,目前的方法指出,允许扩展不同ADAS的水平,但最好的办法,目前仍然存在争议。

“必须有一个架构他们能做到这一点,问题是,“你怎么做呢?“库尔特·舒勒说,负责营销的副总裁Arteris IP。”有很多兴趣获得更多硬件加速器来管理通信软件,并直接管理内存。为此,缓存一致性增长的重要性。但你缓存相干系统规模如何?这一定是在一个有组织的方式,以及加一大堆的主人和奴隶,如额外的集群”。

技术只是一个谜。汽车生态系统仍适应自主开发和方法。除了传统的汽车OEM和分层的供应商,有一个全新的水平的供应商进入市场。

”几大一级的年代已失去他们调用层0.5供应商(Aptiv和麦格纳),试图产生一个更全面的、整体的解决方案,他们可以直接卖给oem厂商,”大卫·弗里茨说自主车辆SoC高级领导人导师,西门子业务。“周围的oem厂商把他们的底盘,叫它做。理论上是这样的。的危险,当然,是汽车成为下一个富士康,区分绝缘螺丝和皮革。但另一边,你可能会更快地进入市场。”

与0.5的一层供应商是否传感器融合是路要走或如果做更多更有意义的计算传感器本身,一个首席技术官说,某些类型的传感器数据集中处理好,而其他类型的传感器数据更好的边缘处理车,即传感器,弗里茨说。

“从那时起,一些传感器公司说,他们正在执行大量计算作为传感器的可交付成果的一部分,”他说。相机传感器”意味着什么,例如,是它需要区分从其他。而不是原始相机传感器数据传递给一些中央单位,也是处理激光雷达和雷达和其他一切,它处理数据本身,因为它知道传感器数据的细微差别。可能会有一个小的Arm处理器的传感器,该处理的,因为它可以做很多非常低的力量,你不需要一个大的GPU。所以通过原始数据,用垫和距离传感器传递对象。现在假设你是一个激光或雷达供应商和你做同样的事情。那么中央处理系统得到这组对象和标签,这样”,这是一个人,这是一辆自行车,这是一辆车。这是遥远的。“现在的决策过程是分开的知觉过程。”

工程团队可以专注于最困难的问题的一部分。“如果激光雷达告诉我没有屈服的迹象,但相机说产量标志,你做什么工作?如果雷达说有什么东西在我的面前,但是相机和激光雷达没有看到它,你会怎么做?这些都是难题,”弗里茨说。“现在,所有的数据从一个相机,例如,你通过所有这些街道,相机传感器收集大量的数据,和你保持它。与数据在那个舞台上,你会怎么做?我用这些数据来训练传感器本身做得更好我们调用对象分类和检测。大规模数据意味着更多的传感器供应商,这种飞跃比那些试图大规模计算原始传感器融合,所有这些东西在一个集中的位置。”

tb的数据传递到网络中心位置每秒钟可以停顿在一辆车,车辆增加重量,增加能耗。“如果可以做传感器本身的经济,这是我希望看到的方向走。和这样的反馈我们的oem厂商,和0.5秒说他们考虑类似的事情。整个世界是这个方向。我只是不知道如何快速的转变会发生,”他说。

时间这些天每个人都是一个问题,至少在某些情况下推出日程被推迟。

“一年前,如果你跟10汽车客户,他们都有同样的计划,“说杰夫•泰特的首席执行官Flex Logix。“每个人都直接全自动,7海里,他们需要大量的推理的吞吐量。他们想要许可证知识产权他们将整合成一个完整的ADAS芯片设计。他们不想买芯片。这个故事有变卦。现在他们可能会买现成的硅,缝合在一起,做他们想做的事,他们会采取小步骤,而不是立刻去5级。现在我们有人们告诉我们我们的推论为汽车应用芯片看起来非常有吸引力。他们不是积极地努力做自己。六个月前,汽车就像一个IP躺。现在看起来好像是一个潜在的芯片销售。”

思想的差距
从另一个角度看,目前业内前沿介于ADAS 2级和3级。这些主要包含摄像机和雷达,包括RGB相机,这是标准的摄像头,以及彩色摄像机。车辆舱室内,有更多的单色相机,与近红外照明,为不同类型的相机系统。

然后,在一些高端汽车和舰队卡车,还有depth-sensing相机,这通常是两个摄像头配置基线在汽车或指向外的道路上。相机主要技术今天在ADAS系统,随着雷达,这是主要的视觉系统以及一些超声波传感器用于备份相机的停车,或超声波传感器安装在尾部。

“未来,我们看到的是高像素摄像头,“Pradeep巴蒂亚指出,产品营销组主任人工智能产品在IP组节奏。“曾经是1像素的相机现在2像素的摄像头,他们搬到一个更高的cameras-4像素范围和更高的分辨率高,智能手机的移动世界所做的一样,但速度较慢。高级视觉应用程序将包括环绕相机系统,这是外部摄像头安装在顶部的车辆从4、8、12或16个摄像机,这取决于它是什么级别的车。”

机舱内,除了围绕观点,有司机在开发监控系统属于ADAS伞。“司机监控包括driver-facing相机——一个相机安装在仪表板或在后视镜上,70 - 100厘米的距离,巴蒂亚说。”也在机舱内,一些公司正在超越单一相机和车内安装三个相机或更多,因为他们希望监视有多少人坐在车里。坐在第二排的人是谁?坐在第三排是谁?一些设计包括多达5车内摄像头监控的大小,重量和性别的乘客安全气囊可以更安全地部署。”

所有这一切加起来,必须处理大量的数据。

有多个策略如何处理这些数据。巴蒂亚指出,两个主要的分布式ECU模型和改进模型。“模型在分布式ECU, ECU坐在边缘。数据被捕获,edge-based端点或ecu。在其他模型中我们看到,标准ecu正在加装一个AI IP引擎,或补强协同处理器。例如,有许多ecu中部署市场一级年代一直在努力很多年了。他们有他们所有的控制/家/管家软件代码,这是非常重要的软件从一个安全的观点。然后他们想螺栓一个AI引擎除此之外,或一个AI添加处理器来处理一些迁移到传感器融合,以及人工智能网络。”

当这样做时,一级年代被小心地不去打扰当前软件安装基地或系统安装基础,他说。“他们不想重新设计一切从头开始。他们想确保他们现有的ECU已经航运多年,被设计成今天数以百万计的汽车。现在他们试图做的是确定,如果他们迁移到人工智能,需要5到10上衣(每秒tera操作)的实时性能,他们可以改造现有的设计在相同ECU机械箱形式因素,保持相同的保暖内衣裤,相同的机械,电气和电力需求。他们非常谨慎,但这是一个领域,我看到一些设计,他们看着早期部署。”

另一方面,有一些一级年代和oem从头设计全新的ecu,巴蒂亚说。

数据收集
收集数据的一种方法是实现一个感知系统,Kulkarni说。

图1:硬件在回路用例。来源:有限元分析软件

感知系统是由供应商提供的形式下Mobileye物理平台运行一些软件(红盒子,左上,图1)和一个照相机。OEM的目的是了解这种感知系统将与其他多个驾驶条件下车辆。物理相机由仿真模型抽象(相机传感器绿箱子)覆盖其所有光学方面(镜头,滤色器,图像传感器,等等),放置在一个给定的位置在一个虚拟的汽车。这个虚拟车是放置在一个虚拟环境。

模拟传感器放置在一个现实世界,可以减轻生产合成相机图像。这张图片需要被发送到EyeQ ECU与相同的格式提供的物理相机。另一方面,EyeQ平台可以控制物理相机,将发布命令,可以修改参数对返回的形象有影响。黄色框的作用是充当代理模拟IOs和EyeQ ECU之间的IOs,本质上是相同的,但在不同的格式。

另一方面,这个EyeQ ECU软件将与其他系统交互,通常提供的OEM或其他供应商。物理连接是通过CAN总线。如果这些系统物理模拟的一部分,他们可以通过他们可以直接连接接口。这不是见用例。其他系统模拟和连接到模拟总线(蓝框)。为了连接可以EyeQ ECU的物理端口,需要一个物理适配器(黄色的总线接口盒)。这反过来影响全球通过车辆动力学仿真。

Kulkarni强调这例尤为重要,因为知觉系统提供商通常不会给OEM访问他们的IP,并只会提供一个物理平台。然而,OEM必须集成多个感知系统(可能相机+雷达+激光雷达)和了解这一切与环境交互和其他组件。如果没有这个用例,唯一的可能性就是物理试验(把系统在实际开车)。“与我们提出的,数以百万计的虚拟英里可以在多个驱动条件下,反馈发送到知觉系统提供者,可以修改他们的系统这是前几次尝试真正的路上。”

管理知识产权自主车辆
自主汽车发展的另一个重要方面是管理硬件和软件知识产权的许多部分组成ADAS系统,产品管理总监Amit Varde说ClioSoft。“工程/实现功能安全需求往往跨越实现织物包括软件、FPGA和ASIC。探索现有IPs的适用性和新的或修订的管理ip可以令人生畏。工程师需要工具来探索什么是IP实现候选人,以及合作的方式和利用工程资源在他们公司。”

因为汽车电子正在迅速改变,能够重用IP符合安全要求和测试标准是至关重要的,这就是IP管理系统可以跟踪所有的IP数据,测试长椅,文档和元数据是一个至关重要的组件的可重用性,特别是在汽车电子,Varde说。

“生态系统建立在IP提供准备访问开放的问题,提醒用户新版本或关键信息,并利用一个社区的用户在需求,得到帮助是必不可少的设计成功,”他补充道。“这些工具必须管理知识产权资产的修正,包括测试装具模块和测试结果,以便工程师与适当的批准,可以很容易地访问IP和理解每个IP资产包含的材料清单。他们需要跟踪IP与缺陷管理工具将使用和集成。注入缺陷不仅必须包括从一致性异常和严重程度,但IP受到影响,他们被用来发送适当的警报/通知。”

结论
全自动汽车制造在生产水平在某种程度上,但有巨大的技术和后勤障碍发生之前解决。包括从最好的方法处理数据流来自各种相机、雷达、激光雷达和声纳传感系统。,以及整个生态系统同步分享重要信息错误的开发过程和技术本身。

自主驾驶仍在地平线上,但它可能需要一些时间在电子工业可以找出多么遥远的地平线。

编者斯珀林对此报道亦有贡献。